mysql查看日志命令_面对成百上千台服务器产生的日志,试试这款轻量级日志搬运神器!

v2-01e01e2f75424694de313c1b9eea2d83_1440w.jpg?source=172ae18b
之前我们搭建的ELK日志收集系统,主要是用来收集SpringBoot应用的日志。其原理是应用通过Logstash插件,使用TCP向Logstash传输日志,从而存储到Elasticsearch中去。但是有很多中间件的日志都是直接存储在文件中的,比如NginxElasticsearchMySQL,此时我们就需要一个搬运工来把日志搬到Elasticsearch中去,Filebeat正是这样一个日志搬运工,本文将详细介绍它的使用方法,希望对大家有所帮助。

SpringBoot实战电商项目mall(40k+star)地址:https://github.com/macrozheng/mall

Filebeat简介

Filebeat是一款轻量级日志采集器,可用于转发和汇总日志与文件。Filebeat内置有多种模块(Nginx、MySQL、Redis、Elasticsearch、Logstash等),可针对常见格式的日志大大简化收集、解析和可视化过程,只需一条命令即可。

Filebeat安装及配置

安装Filebeat之前,我们需要先安装好Elasticsearch和Kibana,具体参考《你居然还去服务器上捞日志,搭个日志收集系统难道不香么!》,注意使用7.6.2版本。
  • 我们先下载Filebeat的安装包,下载地址:https://www.elastic.co/cn/downloads/past-releases/filebeat-7-6-2

v2-ddb43515906666fa908b1d9b4864a5d0_b.jpg
  • 下载完成后解压到指定目录,注意图中所示的三个地方;

v2-1b2a242a8875c45d5824a59b9d4b7cb4_b.jpg
  • Kibana中早就提供好了Filebeat收集各种日志的教程,我们先进入首页,访问地址:http://localhost:5601/app/kibana#/home

v2-94e8b265ab8830c323bb5924ae4975f3_b.jpg
  • 点击Add log data按钮,可以发现支持的中间件还是很丰富的,涵盖了常用的;

v2-9b11c2092d2387884bf2c74965e665d9_b.jpg
  • 点开Nginx的日志收集教程看下,是不是很详细;

v2-45b3daad80386e637d929a14e5091af9_b.jpg
  • 接下来我们就要开始配置Filebeat了,配置好Elasticsearch和Kibana的连接地址,修改Filebeat的安装目录下的配置文件filebeat.yml即可,修改内容如下。
output.elasticsearch:hosts: ["localhost:9200"]
setup.kibana:host: "localhost:5601"

收集Nginx日志

我们先拿Nginx来练练手,体验下Filebeat的日志收集功能吧。
  • 使用如下命令开启Filebeat的Nginx日志收集模块;
filebeat modules enable nginx
  • 开启完成后,进入modules.d目录下,你会发现nginx.ymldisable后缀没有了,说明已经被开启;

v2-7536647f7ed0b6b227e59e2ddefc06c3_b.jpg
  • 接下来修改nginx.yml文件,配置好Nginx的accesserror日志路径;
# Module: nginx
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.6/filebeat-module-nginx.html- module: nginxaccess:enabled: truevar.paths: ["I:/developer/env/nginx-1.8.1/logs/access.log"]error:enabled: truevar.paths: ["I:/developer/env/nginx-1.8.1/logs/error.log"]
  • 由于启用了Nginx日志收集模块,我们需要通过如下命令对Filebeat进行设置;
filebeat setup

v2-51a0e150c236cc503bfd0318afb02677_b.jpg
  • 通过如下命令启动Filebeat服务;
filebeat -e
  • 我们可以通过之前使用的Kibana中的Nginx教程页面,检查下数据是否成功被收集了;

v2-70bd11af690b9d4161a9a62aa3d3c808_b.jpg
  • 点击Nginx logs dashboard按钮可以查看收集到的Nginx日志,先看看概览日志;

v2-be732a7e9d21d2cb9112d45c9c1d8b67_b.jpg
  • 再看看详细日志,从此不用再去服务器上捞Nginx日志了!

v2-04f9e83c4d1b00eee0cd7e7050c081ba_b.jpg

收集Elasticsearch日志

接下来我们再试试收集Elasticsearch的日志。
  • 使用如下命令开启Filebeat的Elasticsearch日志收集模块;
filebeat modules enable elasticsearch
  • 接下来修改elasticsearch.yml配置,配置好Elasticsearch的日志路径;
# Module: elasticsearch
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.6/filebeat-module-elasticsearch.html- module: elasticsearchserver:enabled: truevar.paths: ["I:/developer/env/elasticsearch-7.6.2/logs/elasticsearch.log"]slowlog:enabled: truevar.paths: ["I:/developer/env/elasticsearch-7.6.2/logs/elasticsearch_index_indexing_slowlog.log","I:/developer/env/elasticsearch-7.6.2/logs/elasticsearch_index_search_slowlog.log"]deprecation:enabled: truevar.paths: ["I:/developer/env/elasticsearch-7.6.2/logs/elasticsearch_deprecation.log"]
  • 设置并启动Filebeat服务;
filebeat setup
filebeat -e
  • Discover页面中查看Elasticsearch日志。

v2-435fb75b0f8233cbbaca5dc11d55fa86_b.jpg

收集MySQL日志

再来试试收集MySQL的日志。
  • 使用如下命令开启Filebeat的MySQL日志收集模块;
filebeat modules enable mysql
  • 接下来修改mysql.yml配置,配置好MySQL的日志路径,主要是错误日志和慢查询日志;
# Module: mysql
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.6/filebeat-module-mysql.html- module: mysqlerror:enabled: truevar.paths: ["C:/ProgramData/MySQL/MySQL Server 5.7/Data/DESKTOP-5NIMJ19.err"]slowlog:enabled: truevar.paths: ["C:/ProgramData/MySQL/MySQL Server 5.7/Data/DESKTOP-5NIMJ19-slow.log"]
  • 设置并启动Filebeat服务;
filebeat setup
filebeat -e
  • 点击MySQL logs dashboard按钮可以查看收集到的MySQL日志;

v2-4c46c4caf0960cfc5f220fbd91aa233e_b.jpg
  • 查看MySQL收集到的日志详情。

v2-ffbef4a966539db076958c2d2d78fa37_b.jpg

总结

本文主要介绍了使用Filebeat去收集Nginx、Elasticsearch和MySQL的文件日志,其他中间件的日志收集用法也基本相同,用Filebeat收集中间件日志是不是方便!

本文 GitHub https://github.com/macrozheng/mall-learning已经收录,欢迎大家Star!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/292760.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

单元测试 | 如何Mock IHttpClientFactory

前言编写单元测试时&#xff0c;常常需要使用Mock框架&#xff08;例如Moq&#xff09;生成测试类的依赖接口的"模拟"实现&#xff0c;并验证接口是否按预期使用&#xff1a;_mediatorMock new Mock<IMediator>();_mediatorMock.Setup(x > x.Send(It.IsAny…

Wireshark和 TcpDump抓包分析心得

1. Wireshark与tcpdump介绍 Wireshark是一个网络协议检测工具&#xff0c;支持Windows平台和Unix平台&#xff0c;我一般只在Windows平台下使用Wireshark&#xff0c;如果是Linux的话&#xff0c;我直接用tcpdump了&#xff0c;因为我工作环境中的Linux一般只有字符界面&#x…

遇到可爱女生如何搭讪?

1 旺仔落泪▼。。。2 养狗一日&#xff0c;用狗一时&#xff08;素材来源网络&#xff0c;侵删&#xff09;▼3 试图混进芒果里的鹦鹉&#xff08;素材来源网络&#xff0c;侵删&#xff09;▼4 把滴滴司机的坐垫沾走了▼5 如何高效记单词&#xff08;素材来源网络&#xf…

Tomcat 上添加虚拟相对路径

为什么80%的码农都做不了架构师&#xff1f;>>> <Context docBase"D:/SHARP" path"/test" reloadable"true" /> 转载于:https://my.oschina.net/zz006/blog/754631

198道K8sDocker面试真题大汇总,全网最全八股!

最近看到两个数据&#xff0c;想跟你们分享一下&#xff1a;一是&#xff0c;目前云原生开发人员已经达680万&#xff08;SlashData数据&#xff09;&#xff1b;二是&#xff0c;云和容器技术首超Linux&#xff0c;成最受青睐技能&#xff08;Linux基金会数据&#xff09;。云…

iptables 手册

iptables防火墙可以用于创建过滤(filter)与NAT规则。所有Linux发行版都能使用iptables&#xff0c;因此理解如何配置iptables将会帮助你更有效地管理Linux防火墙。如果你是第一次接触iptables&#xff0c;你会觉得它很复杂&#xff0c;但是一旦你理解iptables的工作原理&#x…

Android之如何看混淆后的错误日志代码

第一步&#xff1a; 找到混淆的mapping.txt文件 build -> outputs -> mapping -> release -> mapping.txt 或者&#xff1a;1项目目录的progurad下有一个mapping.txt文件 这是混淆后的名字 和原名字的映射关系。 第二步: 找到项目用的sdk依次定位到sdk -> to…

男朋友的回答可以多敷衍?

1 跟最好的朋友好到什么程度&#xff08;素材来源网络&#xff0c;侵删&#xff09;▼2 不要在妈妈打麻将的时候要生活费&#xff08;素材来源网络&#xff0c;侵删&#xff09;▼3 现在卖家还要发毒誓了&#xff08;素材来源网络&#xff0c;侵删&#xff09;▼4 刘德华老师…

学习Java,容易被你忽略的小细节(2)

昨天心情真的太糟糕了&#xff0c;写完《学习Java&#xff0c;值得注意你注意的问题&#xff08;1&#xff09;》之后&#xff0c;迎来些许的支持以后就是一片片的谴责。我的主页上涌现出许许多多Java方面的牛人&#xff0c;谴责我水平太低&#xff0c;写的问题太初级。搞得我非…

controller是什么意思_SpringMVC是什么??

SpringMVC是什么&#xff1f;一&#xff0c;首先是一个MVC框架。在web模型中&#xff0c;MVC是一种很流行的框架&#xff0c;通过把Model&#xff0c;View&#xff0c;Controller分离&#xff0c;把较为复杂的web应用分成逻辑清晰的几部分&#xff0c;是为了简化开发&#xff0…

You third iOS app,这个APP要放到手机上面运行,才会成功,才会新建记录。

当提示如上图所示时&#xff0c;很可能你只有在苹果设备上运行才可以提示成功&#xff0c; iCloud is available。 转载于:https://www.cnblogs.com/liqiwa/p/5933542.html

客户要求ASP.NET Core API返回特定格式,怎么办?(续2)

前言前2次&#xff0c;我们都是假设客户需要返回不同的字符串格式。但是&#xff0c;有可能客户要求的返回是非本文格式&#xff0c;比如文件流。怎么办&#xff1f;思路前提&#xff0c;当然还是使用同一API接口&#xff0c;不影响现有使用方式。虽然ASP.NET Core Web API默认…

第四章例题、心得及问题。

例题4-1&#xff1a; #include<stdio.h> #include<math.h> int main(void) {int denominator,flag;double item,pi;flag1;denominator1;item1.0;pi0;while(fabs(item)>0.0001){itemflag*1.0/denominator;pipiitem;flag-flag;denominatordenominator2;}pipi*4;pr…

springboot springcloud区别_SpringCloud微服务全家桶-第一篇!为什么要用微服务

从今天开始&#xff0c;学习SpringCloud微服务全家桶。一、引导1、什么是微服务&#xff1f;2、微服务之间是如何独立通讯的3、springCloud和Dubbo有哪些区别&#xff1f;4、什么是服务熔断&#xff1f;什么是服务降级5、微服务的优缺点分别是什么&#xff1f;6、微服务技术栈有…

C#之Lock

lock 关键字将语句块标记为临界区&#xff0c;方法是获取给定对象的互斥锁&#xff0c;执行语句&#xff0c;然后释放该锁。 class Program{static void Main(string[] args){Thread t new Thread(LockObject.MonitorIncrement);Thread t1new Thread(new ThreadStart(LockObje…

记一次 .NET 某消防物联网 后台服务 内存泄漏分析

一&#xff1a;背景 1. 讲故事去年十月份有位朋友从微信找到我&#xff0c;说他的程序内存要炸掉了。。。截图如下&#xff1a;时间有点久&#xff0c;图片都被清理了&#xff0c;不过有点讽刺的是&#xff0c;自己的程序本身就是做监控的&#xff0c;结果自己出了问题&#xf…

高性能网站建设的最佳实践(二)

原文译自雅虎开发者社区&#xff0c;转载译文请标明出处。关注我的sina微博&#xff0c;共同进步&#xff01;为了让网页响应速度更快Exceptional Performance团队列出了一系列的最佳实践&#xff0c;包括35个最佳实践条目&#xff0c;分成7种类型类。避免重定向标签&#xff1…