目录
一、ELFK(Filebeat+ELK)
1. Filebeat的作用
2. ELFK工作流程
3. ELFK的部署
3.1 服务器配置
3.2 服务器环境
3.3 安装filebeat
3.4 修改filebeat主配置文件
3.5 在logstash组件所在节点(apache节点)上新建一个logstash配置文件
3.6 浏览器验证
一、ELFK(Filebeat+ELK)
1. Filebeat的作用
由于logstash会大量占用系统的内存资源,一般我们会使用filebeat替换logstash收集日志的功能,组成ELFK架构。 或用fluentd替代logstash组成EFK(elasticsearch/fluentd/kibana),由于fluentd是由Go语言开发的,一般在K8S环境中使用较多。
2. ELFK工作流程
(1)filebeat将日志收集后交由logstash处理
(2)logstash进行过滤、格式化等操作,满足过滤条件的数据将发送给ES
(3)ES对数据进行分片存储,并提供索引功能
(4)kibana对数据进行图形化的web展示,并提供索引接口
3. ELFK的部署
3.1 服务器配置
务器 | 配置 | 主机名 | ip地址 | 主要软件部署 |
---|---|---|---|---|
node1节点 | 2C/4G | node1 | 192.168.80.111 | ElasticSearch、Kibana |
node2节点 | 2C/4G | node2 | 192.168.80.112 | ElasticSearch |
apache节点 | - | apache | 192.168.80.113 | Logstash、Apache |
filebeat节点 | - | filebeat | 192.168.80.114 | Filebeat |
在ELK的基础上,增加一台filebeat服务器,因此只需再前述ELK部署的前提下进一步操作。 ELK的部署过程 |
3.2 服务器环境
filebeat节点
[root@localhost ~]# hostnamectl set-hostname filebeat
[root@localhost ~]# su
[root@filebeat ~]# systemctl stop firewalld
[root@filebeat ~]# systemctl disable firewalld
[root@filebeat ~]# setenforce 0
3.3 安装filebeat
filebeat节点
[root@filebeat ~]# cd /opt
[root@filebeat opt]# rz -E
rz waiting to receive.
[root@filebeat opt]# ls
[root@filebeat opt]# rpm -ivh filebeat-6.6.1-x86_64.rpm
3.4 修改filebeat主配置文件
filebeat节点
[root@filebeat opt]# cd /usr/local/filebeat/
[root@filebeat filebeat]# cp filebeat.yml filebeat.yml.bak
[root@filebeat filebeat]# vim filebeat.ymlfilebeat.prospectors:
##21行,指定log类型,从日志文件中读取消息
- type: log
##24行,开启日志收集功能,默认为falseenabled: true
##28行,指定监控的日志文件- /var/log/*.log
##29行,添加收集/var/log/messages- /var/log/messages
##31行,添加以下内容,注意格式fields: service_name: filebeatlog_type: logservice_id: 192.168.80.115
#-------------------------- Elasticsearch output ------------------------------
该区域内容全部注释
#----------------------------- Logstash output --------------------------------
##157行,取消注释
output.logstash:
##159行,取消注释,指定logstash的IP和端口号hosts: ["192.168.80.113:5044"][root@filebeat filebeat]# /usr/bin/filebeat -e -c filebeat.yml
#启动filebeat,-e记录到stderr并禁用syslog /文件输出,-c指定配置文件
3.5 在logstash组件所在节点(apache节点)上新建一个logstash配置文件
[root@apache ~]# cd /etc/logstash/conf.d/
[root@apache conf.d]# vim logstash.confinput {beats {port => "5044"}
}
output {elasticsearch {hosts => ["192.168.80.111:9200", "192.168.80.112:9200"]index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"}stdout {codec => rubydebug}
}[root@apache conf.d]# /usr/share/logstash/bin/logstash -f apache_log.conf
3.6 浏览器验证
浏览器访问http://192.168.80.111看是否生成filebeat索引
浏览器访问http://192.168.80.111:5601登录kibana, 添加“filebeat-*”索引后在“Discover”中查看filebeat日志收集情况。
总结:
这是一种更加完善和灵活的架构,适合处理复杂的日志数据
在这种模式下,filebeat (beats)负贵收日志文件,并将其发送到ogstash进行处理。logtash可以对日志数据进行更多的过滤、转换和增强的操作 ,并将其发送到Elasticsearch进行索引。kibana则可以用来查看和分析日志数据