使用kibana和elasticsearch日志实时绘制图表

前言:

       此文接的是上篇,上次的内容是,用python操作elasticsearch存储,实现数据的插入和查询。  估计有些人一看我的标题,以为肯定是 logstash kibana elasticsearch的组合。这三个家伙也确实总是勾搭在一块。 其实logstash是可以被别的替换,比如常见的fluented 。剩下的那两个,kibana和elasticsearch是一伙的,不好做分离。


        这次用的不是那种开源的、cs模式日志收集应用,还真不是。而是自己直接从程序里面把日志打到elasticsearch里面(可以是python,也可以用shell的curl)。然后通过kibana把elasticsearch数据读出来,直接绘图。 


      我个人还是不喜欢用elasticsearch做存储,他的一些语法说明不够犀利,主要原因还是他的DSL让我头疼。  我还是喜欢把结果打到mongodb里面。 对于我来说mongodb的查询语句是我很喜欢的。


      不扯了,开始切入主题。  我这里的想法比较简单和方便,比如需要监控一些数据,我们完全可以把结果打到elasticsearch里面。  而不是我前面说的那样,还需要从库里面取出数值,然后再用前端画图,另外数据的接口还不好控制,真心是麻烦,当然对于熟练前后端的人来说,这也仅仅是麻烦而已。



下图是我以前的一个项目,通知平台的前端,当时开发的时候,真是十分的蛋疼,一会搞数据层,一会搞前端的ajax模板,但是带来的好处也不少,尤其是提高自己的前后端细节的写码能力。  


wKioL1OLYLnwKW6_AAHgKg7ZqSc755.jpg 

但说起来,感觉如果用kibana3的话,在一定程度来说,很是方便。  只需要给elasticsearch下面的数据格式就行了。


index是索引,在elasticsearch里面,一切皆索引(我说的)

type是格式,咱们做图表的时候,基本是根据type做归类的。比如,web相关的为一个索引,然后nginx和varnish为不同的type。 当然也可以再细化,把那个nginx服务都可以做一个索引。 只要你不觉得乱套就行了。 很多人担心elasticsearch的大数据能力,其实我没怎么把他看做大数据处理,就把他做个临时一个月的存储,做一些个日志分析,监控啥的。 (个人喜欢

@message 是主数据内容

@timestamp是时间,kibana默认是根据这个来做时间段的。


wKiom1OLZjCzvSd7AAdc_GQw_kg046.jpg

上面的数据有些乱,咱们可以把键值对分化的更细致点。

原文:http://rfyiamcool.blog.51cto.com/1030776/1421049

wKiom1OLaIPwPuSJAAP31UHq0ao293.jpg


但是kibana3二次开发起来,对于初学者来说,是有难度的。  


原文:http://rfyiamcool.blog.51cto.com/1030776/1421049


        

      如果懒得写前端和数据接口,完全可以把日志和数据放到elasticsearch处理。我的开发主要是python,用pyes,只需要把数据扔给elasticsearch就行了。 格式是json的样子,看下面,用kibana可以做多条件的查询,我想搜 nginx,squid,tornado的类型,类型,出错的频率。


除了query,还有用regexp正则的方式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
(111|222)
aaa.*
a{3}b{3}        # match
a{2,4}b{2,4}    # match
a{2,}b{2,}      # match
.{3}.{3}        # match
a{4}b{4}        # no match
a{4,6}b{4,6}    # no match
a{4,}b{4,}      # no match
(ab)+       # match
ab(ab)+     # match
(..)+       # match
(...)+      # no match
(ab)*       # match
abab(ab)?   # match
ab(ab)?     # no match
(ab){3}     # match
(ab){1,2}   # no match


wKioL1OLXQ3wHLClAATHJUUgeds301.jpg

查询,web的日志,看下css,js,jpg,bootstrap.css,bootstrap.js 访问的一些比率 ~


wKioL1OLdb3xRhMJAAQY2PYBirY863.jpg






 本文转自 rfyiamcool 51CTO博客,原文链接:http://blog.51cto.com/rfyiamcool/1421049,如需转载请自行联系原作者


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/392940.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

android 网络调试 源代码,Android源代码调试环境搭建

我们在调试Android应用程序的时候,有时候遇到一些莫名其妙的问题,因此我们需要查看Android内部是如何调用的。我们都知道Android是一个伟大的开源项目,因此debug的时候肯定是支持源代码级别调试的。采用源代码调试,一方面有利于发…

如何使用HTTP压缩优化服务器

鉴于互联网上的宽带有限,网络管理人员任何旨在加速接入速度的努力都是有价值的。其中的一个方法就是通过HTTP压缩技术实现接入速度的加速,它通过减少在服务器和客户端之间传输的数据量,显著地提高网站的性能。数据压缩本身并不新鲜。但是&…

OpenGL研究3.0 多边形区域填充

OpenGL研究3.0 多边形区域填充 DionysosLai(906391500qq.com)2014-06-22 所谓多边形区域填充。就是将多边形内部区域,所有已相同色块填充。注意:这里讨论的多边形是简单多边形(即不考虑诸如五角星这样的相交多边形)。简单多边形&a…

ping、网络抖动与丢包

基本概念: ping: PING指一个数据包从用户的设备发送到测速点,然后再立即从测速点返回用户设备的来回时间。也就是俗称的“网络延迟” 一般以毫秒(ms)计算 一般PING在0~100ms都是正常的速度,不会有较为明显的卡顿。 测试…

[luoguP2801] 教主的魔法(二分 + 分块)

传送门 以为对于这类问题线段树都能解决,分块比线段树菜,结果培训完才知道线段树是一种特殊的分块方法,有的分块的题线段树不能做,看来分块还是有必要学的。 对于这个题,先分块,然后另开一个数组对于每个块…

鸿蒙系统适配开发,捕获科技拟建立鸿蒙开发组 为区块链钱包客户适配鸿蒙系统做筹备...

遭遇美国“实体清单”封杀的第85天,华为“鸿蒙”横空出世!8月9日下午,在华为全球开发者大会上,当余承东正式宣布鸿蒙系统(Harmony OS)发布的时候,全场掌声雷动!世界上第一个由中国企业自主研发的全平台微内…

关于VCP(Virtual Com Port)拓展的调试经历(一)

* The Overview 前日,接到老板部署的任务,将现有的基于STM32L151与L432的LoRaWAN程序中添加USB CDC(Communication Device Class)功能,并枚举为VCP(Virtual Com Port)用以替代以往的串口打印。很疑惑为什么以前架构代码的时候没有添加进去。。…

三星s6 android 8.0,再见Android 8.0,三星s6全系列系统都停止了,第一代国王已经倒下了吗?...

对于Android用户而言,最令人兴奋的事情是系统更新,因为该更新意味着更流畅的体验和更加用户友好的功能. 但是,旧的三星S6并不是那么幸运,并且不再错过Android 8.0.三星s6的全系列指的是三星s6,三星s6 edge,…

Exchange 2010无法安装问题解决方法

当你在活动目录(AD)森林中安装多台全局编录服务器(GC)之后,默认情况下你会发现在AD站点里面自动生成二条站点连接,从上面的截图可以看到目前在AD森林的Default-First-Site-Name(默认站点)里面有6台GC。 从上面的截图可以看到目前只有一台叫做Sh-Site1GC(全局编录服务器)是处于运…

一加6android9玩飞车掉,解锁新速度:一加6T深度评测

解锁新速度:一加6T深度评测2019-11-02 14:28:595点赞2收藏4评论创作立场声明:我们只谈智能硬件,向改变生活的智能硬件Say“嗨”!作为安卓旗舰机成员,一加这个品牌在玩机一类的同学手里可是大放光彩,各种刷机…

探讨跨域请求资源的几种方式

[转自:http://www.cnblogs.com/dojo-lzz/p/4265637.html] 什么是跨域JSONPproxy代理corsxdr由于浏览器同源策略,凡是发送请求url的协议、域名、端口三者之间任意一与当前页面地址不同即为跨域。具体可以查看下表(来源) JSONP 这种…

python处理excel文件(xls和xlsx)

一、xlrd和xlwt 使用之前需要需要先安装,windows上如果直接在cmd中运行python则需要先执行pip3 install xlrd和pip3 install xlwt,如果使用pycharm则需要在项目的解释器中安装这两个模块,File-Settings-Project:layout-Project Interpreter&a…

Mina、Netty、Twisted一起学(五):整合protobuf

protobuf是谷歌的Protocol Buffers的简称,用于结构化数据和字节码之间互相转换(序列化、反序列化),一般应用于网络传输,可支持多种编程语言。protobuf怎样使用这里不再介绍,本文主要介绍在MINA、Netty、Twi…

2021年南宁二中高考成绩查询,2021广西高考圆满结束,6月23日可查询成绩

6月8日下午,2021年高考统考圆满结束。今年广西参加高考统考考生人数40.05万余人,比2020年增加了2.2万人。我区预计6月23日可查询高考成绩,6月24日起可陆续填报志愿,我区的网上咨询会将于6月25日至27日举办。▲高考结束&#xff0c…

29 Python - 字符与编码

字符与编码 01 字符串本质 Python字符串相关概念 字符串 str 字节 bytes 字节数组 bytearray 电脑字符串存储机制 字符库:A、B每个字符有一个代码点如A是65 B为66,这种是方便人类读写的形式,但是最终需要存入计算机的CPU和内存&…

WPF:从WPF Diagram Designer Part 4学习分组、对齐、排序、序列化和常用功能

在前面三篇文章中我们介绍了如何给图形设计器增加移动、选择、改变大小及面板、缩略图、框线选择和工具箱和连接等功能,本篇是这个图形设计器系列的最后一篇,将和大家一起来学习一下如何给图形设计器增加分组、对齐、排序、序列化等功能。 WPF Diagram D…

ASP.NET Core跨域设置

项目中经常会遇到跨域问题,解决方法: 在appsettings.json 文件中添加json项 {"Logging": {"LogLevel": {"Default": "Warning"}},"AllowedHosts": "*","AppCores": "https…

CSS设计指南(读书笔记 - 背景)

本文转自william_xu 51CTO博客,原文链接:http://blog.51cto.com/williamx/1140006,如需转载请自行联系原作者

火车头如何才能设置发布的时候,如果是有html代码就直接的转换掉,互联网上笑话抽取及排重---火车头采集器的使用和MD5算法的应用...

10011311341 吕涛、10011311356李红目的:通过熟悉使用火车头采集器,在网络上采取3万条笑话并进行排重,以此来熟悉web文本挖掘的一些知识。过程:本次学习,主要分成两个部分。第一部分是笑话文本的采集,第二部…

win10上面安装win7的虚拟机怎么相互ping通

最近干了一些很蛋疼的事,这些都是自己踩过的坑,记录下来方便自己以后查阅 首先我的目的就是为了在自己的PC机上面部署一个SVN服务器,然后安装一个客户端,自己写的软件就可以定期入库,做好自己的版本控制,但…