filebeat日志收集工具

filebeat日志收集工具和logstash相同

filebeat的优点：

filebeat是一个轻量级的日志收集工具，所使用的系统资源比logstash部署和启动时使用的资源要小的多

filebeat可以运行在非Java环境。它可以代替logstash在非Java环境上收集日志

filebeat收集的数据可以发往多个主机。远程收集

filebeat的缺点：

filebeat无法实现数据过滤，一般是结合logstash的数据过滤功能一起使用。

filebeat无法实现标准化输出

filebeat的数据流向和架构图：

1、filebeat收集数据发送到logstash

2、 logstash过滤数据并形成标准输出

3、 logstash发送到es主机上

4、 es主机发送给kibana形成视图方便客户端查看

logstash可以使用任意端口，只要没被占用，都可以使用，推荐：1024之后开始

filebeat部署

准备四台主机

20.0.0.10:logstash+kibana+filebeat
20.0.0.20:es1
20.0.0.30:es2
20.0.0.75:mysqlvim /etc/logstash/logstash.yml
64行
path.data: /opt/log
重启服务即可yum -y install ntpdate
#时间同步
ntpdate ntp.aliyun.com yum -y install nginx
#安装nginx
开启nginx
vim /usr/local/nginx/html/index.html
this is nginx到浏览器页面访问测试一下
20.0.0.10:8080回到10主机
cd filebeat
cp filebeat.yml filebeat.yml.bck
vim filebeat.yml
Logstash output部分
output.logstash:解除注释
hosts: ["20.0.0.10:5044"]解除注释15 filebeat.inputs:16 - type: log17   enabled: true18   paths:19     - /usr/local/nginx/logs/access.log20     - /usr/local/nginx/logs/error.log21   tags: ["nginx"]22   fields:23     service_name: 20.0.0.10_nginx24     log_type: nginx25     from: 20.0.0.10cd /opt/logvim nginx.confinput {beats { prot => "5044"}}output {if "nginx" in [tags] {elasticsearch {hosts => ["20.0.0.20:9200","20.0.0.30:9200"]index => "%{[fields][service_name]}"-%{+YYYY.MM.dd}}}stdout {codec => rubydebug}}
nohup ./filebeat -e -c filebeat.yml > filebeat.out &#nohup表示在后台记录执行命令的过程#./filebeat运行文件#-e使用标准输出同时禁用syslog文件输出#-c指定配置文件cd /opt/loglogstash -f file_nginx.conf --path.data /opt/ng3 &

到浏览器测试一下

logstash收集日志的过程：

input（从哪收集）

filter（过滤）

output（发送es实例）

远程收集多个日志

MySQL主机
vim /etc/my.conf
general_log=ON
general_log_file=/usr/local/mysql/data/mysql_general.log
#开启日志功能和指定日志位置
systemctl restart mysqld.service
#重启MySQL服务
打开MySQL进入创建一个库和一个表给日志创造一点信息yum -y install httpd
#安装httpd服务
yum -y install nginx
#安装nginx服务
修改nginx的端口号为8080到浏览器访问测试一下httpd和nginx
20.0.0.75:80
20.0.0.75:8080在MySQL主机上安装filebeat
cd filebeat
cp filebeat.yml filebeat.yml.bak
vim filebeat.yml
打开optput
hosts： [20.0.0.10]
filebeat.inputs:
- type: logenabled: truepaths:- /usr/local/nginx/logs/access.log- /usr/local/nginx/logs/error.logtype: ["nginx_75"]fields:service_name: 20.0.0.75_nginxlog_type: nginxfrom: 20.0.0.75- type: logenabled: truepaths:- /var/log/httpd/access.log- /var/log/httpd/error.logtype: ["httpd_75"]fields:service_name: 20.0.0.75_httpdlog_type: httpdfrom: 20.0.0.75- type: logenabled: truepaths:- /usr/local/mysql/data/mysql_general.logtype: ["mysql_75"]fields:service_name: 20.0.0.75_mysqllog_type: mysqlfrom: 20.0.0.75回到elk主机
cd /opt/log
vim nhm_75.conf
input {beats { port => "5045"}
}output {if "nginx_75" in [tags] {elasticsearch {hosts => ["20.0.0.20:9200","20.0.0.30:9200"]index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"}}if "httpd_75" in [tags] {elasticsearch {hosts => ["20.0.0.20:9200","20.0.0.30:9200"]index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"}}if "mysql_75" in [tags] {elasticsearch {hosts => ["20.0.0.20:9200","20.0.0.30:9200"]index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"}}stdout {codec => rubydebug}
}回到MySQL主机
nohup ./filebeat -e -c filebeat.yml > filebeat.out &回到elk主机
logstash -f nhm_75.conf --path.data /opt/nhm回到MySQL主机修改端口号
hosts: ["20.0.0.75:5045"]
nohup ./filebeat -e -c filebeat.yml > filebeat.out &到elk主机
logstash -f nhm.conf --path.data /opt/nhm2 &到浏览器查看一下es索引是否创建成功
再到kibana上创建索引查看是否有日志记录

logstash性能优化

logstash是在jvm虚拟机当中启动。启动一次至少占用500MBs

vim /etc/logstash/logstash.yml
41行
pipeline.workers: 2
#定义了logstash的工作线程，默认值就是cpu数。4核最好给2，8核给2，给一半即可
pipline.batch.size: 125
#一次性批量处理检索时间的大小
#125是条数。可以根据自行修改
50行
pipeline.batch.delay: 50
#查询更新的延迟
#50是50毫秒，也可也自行调整
#生产中一般10-15毫秒。也要看机器性能

工作中一般看时间戳和message信息