多服务器 elk 搭建 [elasticsearch 7.0 ]

大家好，我是烤鸭：

今天分享一下多服务器的elk搭建。

1. 流程规划

2. 执行搭建

最新的版本和对应下载地址可以在官网查询到
https://www.elastic.co/cn/products/

2.1 elasticsearch 7.0 搭建

2.1.1 下载

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.0.0-linux-x86_64.tar.gz

我这边的目录是 /opt/web_app/elk/elasticsearch-7.0.0/

tar -zxvf elasticsearch-7.0.0-linux-x86_64.tar.gz

2.1.2 安装

由于es 不允许root账户启动，先创建用户和用户组

groupadd elk
useradd -g elk elk
#添加权限
chown -R elk:elk /opt/web_app/elk/elasticsearch-7.0.0/

2.1.3 修改配置

elasticsearch.yml 修改内容
cluster.name: test1
node.name: test1-node1
network.host: 0.0.0.0 #允许外网访问
discovery.seed_hosts: ["内网ip"]	#集群ip
cluster.initial_master_nodes: ["test1-node1"] #默认节点

2.1.4 启动和停止：

su elk
cd /opt/web_app/elk/elasticsearch-7.0.0/
./bin/elasticsearch &
ps -ef|grep elasticsearch 
kill pid

启动成功，访问如图：

2.1.5 异常记录：

  1、 Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000085330000, 2060255232, 0) failed; error='Cannot allocate memory' (errno=12)

       修改 elasticsearch 目录中 config/jvm.options

vim config/jvm.options
#-Xms2g和-Xmx2g  改为 -Xms512m和-Xmx512m

2、 max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

vi /etc/sysctl.conf
#添加下面配置：
vm.max_map_count=655360 #单个jvm能开启的最大线程数
sysctl -p

3、 max number of threads [3795] for user [esuser] is too low, increase to at least [4096]

 #linux最大线程数（ulimit -u可以查看）#root用户下进行： cat /etc/security/limits.d/20-nproc.conf#注释这两行：（最前面加#）* soft nproc 2048root soft nproc unlimited#在后面加四行：*  soft nproc 5000*  hard nproc 5000root soft nproc 5000root hard nproc 5000

4、 max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

vi /etc/security/limits.conf   
#用户最大打开文件数(ulimit -n可以查看)
#添加如下内容:
soft nofile 65536
hard nofile 131072
soft nproc 2048
hard nproc 4096

2.2 kinaba 搭建

由于在es 6.0之后X-Pack 就不再开源了，如果想做权限控制的话，可以用nginx。这里由于是内网访问，就暂时没考虑安全方面的。

2.2.1 下载

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.0.0-linux-x86_64.tar.gz
#我这边的目录是 /opt/web_app/elk/kibana-7.0.0-linux-x86_64
tar -zxvf kibana-7.0.0-linux-x86_64.tar.gz

2.2.2 修改配置文件

更改配置文件:

 vi /opt/web_app/elk/kibana-7.0.0-linux-x86_64/config/kibana.ymlserver.host: "0.0.0.0"server.maxPayloadBytes: 1048576000    # 防止日志内容过大，kinaba 自动挂掉elasticsearch.hosts: ["http://127.0.0.1:9200"] # kinaba 和 es在一台服务器部署的，所以这里是127.0.0.1

2.2.3 启动和停止

./bin/kinaba &
ps -ef|grep node
ps -ef|grep 5601
kill pid

启动成功，如图：

2.3 logstash 搭建

2.3.1 下载

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.0.0.tar.gz
#我这边的目录是 /opt/web_app/elk/logstash-7.0.0
tar -zxvf logstash-7.0.0.tar.gz

2.3.2 修改配置文件

 vi /opt/web_app/elk/logstash-7.0.0/config/logstash.conf#输入input {beats {port => 5044}}#过滤器 （可不加，为了看着格式方便）#filter{#    #去除换行符#    mutate{#    gsub => [ "message", "\r", "" ]   #    }#     #    #逗号分割#    mutate {  #      split => ["message",","]     #    }#     #    #字段里的日期识别，以及时区转换，生成date#    date {#      match => [ "mydate", "MM/dd/yyyy HH:mm:ss" ]#      target => "date"#      locale => "en"#      timezone => "+00:00"  #    }#     #    #删除无用字段#    mutate {    #      remove_field => "mydate"    #      remove_field => "@version"    #      remove_field => "host"    #      remove_field => "path"    #    }#    #将两个字段转换为整型#    mutate{#    convert => { "size" => "integer" }#    convert => { "attachments" => "integer" }#    }#}#输出#不同的服务器，不同的tag，下面用于区分不同的服务器生成不同的index索引output {if "test1" in [tags]{elasticsearch {hosts => ["http://127.0.0.1:9200"]index => "etc_manage-%{+YYYY.MM.dd}"}}if "test2" in [tags]{elasticsearch {hosts => ["http://127.0.0.1:9200"]index => "test2-%{+YYYY.MM.dd}"}}}

2.3.3 启动和停止

cd /opt/web_app/elk/logstash-7.0.0/
./bin/logstash -f config/logstash.conf
ps -ef|grep logstash
kill pid

2.4 filebeat 搭建

在需要的服务器安装 filebeat
我这里是另外两台服务器。

2.4.1 下载

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.0.0-linux-x86_64.tar.gz
#我这边的目录是 /opt/web_app/elk/filebeat
tar -zxvf filebeat-7.0.0-linux-x86_64.tar.gz

2.4.2 修改配置文件(这里展示其中一台的配置文件，另一个类似，tag不同)

 vi /opt/web_app/elk/filebeat/filebeat.ymlpaths: #监听的日志路径- /opt/web_app/logs/*.log# 和logstash的filter配合使用，filter不配置的话，这个可以不配#multiline.pattern: ^\[ #必须匹配的正则表达式模式#multiline.negate: true #定义是否应取消在模式下设置的模式。 默认值为false。#multiline.match: aftertags: ["test1"] #标签，用于区分不同的服务器来源或者日志来源output.logstash: #输出到logstash的地址和端口hosts: ["logstath的ip:5044"]

filebeat 多行日志的处理
https://www.cnblogs.com/toSeek/p/6120778.html?utm_source=itdadao&utm_medium=referral

2.4.3 启动和停止

 ./filebeat -e -c filebeat.yml &ps -ef|grep filebeatkill pid

2.4.4 问题

解决kibana后台服务挂的方法
https://blog.csdn.net/qq_37184313/article/details/79168526

关于老版本kibana进程会挂掉的问题
https://blog.csdn.net/caocao80/article/details/87601513

vi /opt/web_app/sh/check_kibana.shkibana_pid_num=`lsof-i:5601 | wc -l`if[ "${kibana_pid_num}" = 0 ]
then
echo"kibana Down"
cd/opt/Kibana/kibana-5.4.0-linux-x86_64
nohup./bin/kibana >/dev/null &
else
echo"kibana Live"
fiecho '0 1/1 * * * ? sh /opt/web_app/sh/check_kibana.sh' >> /var/spool/cron/root