elk（filebeat）日志收集工具

elk：filebeat日志收集工具  和logstash相同

filebeat是一个轻量级的日志收集工具，所使用的系统资源比logstash部署和启动时使用的资源要小得多

filebeat可以运行在非Java环境。他可以代理logstash在非java环境上收集日志

filebeat无法实现数据的过滤，一般是结合logstash的数据过滤功能一块使用

filebeat收集的数据可以发往多个主机，即远程收集

logstash收集日志的过程：

input（从哪里收集）

filter（过滤）

output（发送es实例）

logstash可以使用任意端口，只要没被占用都可以使用，推荐1024之后开始

本机获取收集nginx的日志实验：

四台服务器

192.168.233.11

192.168.233.12

192.168.233.13

192.168.233.21

先关闭四个主机的防火墙和安全机制

cd 到opt目录下，把这个软件包拖到elk1（就是有logstash的主机）

解压软件包

tar zxvf filebeat-6.7.2-linux-x86_64.tar.gz

改名文件以及改配置文件

在四台主机操作重启配置文件

四台主机一块安装时间同步软件

yum install ntpdate -y

四台主机同步操作时间同步

data查看一下

在elk1安装一台nginx

yum -y install nginx，如果报错改端口号

改完nginx的配置文件 记得重启服务

在elk1安装一台httpd

开启httpd的服务

一个设置this httpd 一个设置this nginx

做httpd的配置文件

做nginx的配置文件

在浏览器查看

直接输IP就是httpd 加上8080端口就是nginx，因为上面的步骤将nginx的端口号改掉了

找到nginx日志的位置

cd /var/log/nginx

看他是不是绿色 如果不是绿色就赋权

先cd到opt 再cd到这个目录

给文件做备份

打开这个配置文件

在148行左右注释elasticsearch outputs

在167行左右取消logstash output的注释

在24行左右把enabled后面改成true ，path后面插七行/var/log/nginx/access.log

/var/log/nginx/error.log

tags:[“nginx”]

fields:

  service_name:192.168.233.11_nginx

  log_type:nginx

  from:192.168.233.11

（以上操作没标注的就都是在elk1操作）

配置logstash

创建目录log 写一个配置文件

写配置文件

cd到/opt/filebeat目录下

启动filebeat

出现这个没问题

nohup是指在后台记录执行命令的过程

.filebeat 运行文件

-e 使用标准输出的同时syslog文件输出

-c 指定配置文件

执行过程输出到filebeat.out这个文件当中 &后台运行

再开启一台elk1的终端

cd到opt里面的filebeat

然后查看日志

cd 到opt目录下的log

执行nginx.conf文件

出现问题先杀进程，以下是查看系统进程

然后杀进程

最后出现这个算成功

刷新

然后命中就会自动出现

远程收集多个日志实验

(Nginx+Apache+Mysql日志)

实验组件

logstash节点：20.0.0.10

Node1节点：node1/20.0.0.20       Elasticsearch

Node2节点：node2/20.0.0.30   Elasticsearch

日志来源服务器：20.0.0.81                   MYsql  Nginx  Apache  Filebeat

实验步骤

1.安装Filebeat并配置

#81

cd /opt/

--上传filebeat-6.7.2-linux-x86_64.tar.gz--

tar -xf filebeat-6.7.2-linux-x86_64.tar.gz

mv filebeat-6.7.2-linux-x86_64 filebeat

cd filebeat/

vim filebeat.yml

filebeat.inputs:

- type: log

  enabled: true

  paths:

    - /var/log/nginx/access.log

    - /var/log/nginx/error.log

  tags: ["nginx_81"]

  fields:

    service_name: 20.0.0.81_nginx

    log_type: nginx

    from: 20.0.0.81

- type: log

  enabled: true

  paths:

    - /etc/httpd/logs/access_log

    - /etc/httpd/logs/error_log

  tags: ["httpd_81"]

  fields:

    service_name: 20.0.0.81_httpd

    log_type: httpd

    from: 20.0.0.81

- type: log

  enabled: true

  paths:

    - /usr/local/mysql/data/mysql_general.log

  tags: ["mysql_81"]

  fields:

    service_name: 20.0.0.81_mysql

    log_type: mysql

    from: 20.0.0.81

--------------Elasticsearch output-------------------

(全部注释掉)

----------------Logstash output---------------------

output.logstash:

  hosts: ["20.0.0.10:5045"]      #指定logstash的IP和端口

2.配置logstash

10：

cd /opt/log/

vim nhm_81.conf

input {

        beats { port => "5045"}

}

output {

        if "nginx_81" in [tags] {

           elasticsearch {

                hosts => ["20.0.0.20:9200","20.0.0.30:9200"]

                index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"

           }

        }

        if "httpd_81" in [tags] {

           elasticsearch {

                hosts => ["20.0.0.20:9200","20.0.0.30:9200"]

                index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"

           }

        }

        if "mysql_81" in [tags] {

           elasticsearch {

                hosts => ["20.0.0.20:9200","20.0.0.30:9200"]

                index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"

           }

        }

stdout {

        codec => rubydebug

       }

}

3.启动filebeat

nohup ./filebeat -e -c filebeat.yml > filebeat.out &

logstash -f nhm_81.conf --path.data /opt/test2 &

4.结果