elk:filebeat日志收集工具和logstash相同
filebeat是一个轻量级的日志收集工具,所使用的系统资源比logstash部署和启动时使用的资源要小得多
filebeat可以运行在非Java环境,它可以代理logstash在非Java环境上收集日志
filebeat无法实现数据的过滤,一般是结合logstash的数据过源功能一块使用
filebeat收集的数据可以发往多个主机。远程收集
四台一起
tar -xf filebeat-6.7.2-linux-x86_64.tar.gz
yum install ntpdate -y
ntpdate ntp.aliyun.com
elk1
100dd
nohup 表示在后台记录执行命令的过程
/filebeat 运行文件
-e 使用标准输出的同时进行syslog文件输出
-c 指定配置文件
logstash收集日志的过程
input (从哪里收集)
filter(过滤)
output (发送es实例)
本地收集
远程收集,远程收集多个日志。
mysql
yum -y install nginx和httpd
elk1
mysql
xxxxxxxx.out
logstash可以使用任意端口,只要没被占用都可以使用,推荐从1024之后开始
logstash 性能上的优化: logstash启动是在jvm虚拟机当中其中,启动一次至少500M内存
pipeline.workers: 2
logstash的工作线程,默认值就是cpu数,4 2 8 4给一半即可
pipeline.batch.size: 125
一次性能够批量检索事件的大小 125条
pipeline.batchdelay: 50
查询更新的延迟。50毫秒,也可以自行调整。15 10 也要看机器性能