log4j 集成 ELK环境搭建

一、前言

1.需要准备一台linux服务器（最好是CentOS7）,内存至少4g以上（三个组件都比较占用内存）

2.需要有docker使用经验

3. 三个软件的版本要一致

二、安装ElasticSearch

这里先创建一个网络：因为我们还需要部署kibana容器、logstash容器，需要让这些容器互联，也可以让ELK环境于其他容器的在网络上隔离。

1.创建一个自定义网络

docker network  create --driver bridge  --subnet 192.168.0.0/16 --gateway 192.168.0.1 my_elk_net

2.创建ES 容器

#搜索镜像
docker search elasticsearch
#下载镜像
docker pull elasticsearch:7.12.1docker run -d \--name es \-e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \-e "discovery.type=single-node" \-v /soft/es/data:/usr/share/elasticsearch/data \-v /soft/es/plugins:/usr/share/elasticsearch/plugins \--privileged \--network my_elk_net \-p 9200:9200 \-p 9300:9300 \
elasticsearch:7.12.1

3 验证es容器

curl localhost:9200

三 docker安装kibana

1.安装kibana

docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
-e "I18N_LOCALE=zh-CN" \
--network=my_elk_net \
-p 5601:5601 \
kibana:7.12.1

四 docker安装 logstash

docker run -d -p 5044:5044 -p 9600:9600 --name logstash --network=my_elk_net logstash:7.12.1

三个容器创建完成

查看在自定一网络下三个容器的ip地址

1 设置ES的地址


#进入容器
docker exec -it logstash /bin/bash

1.1 进入 /usr/share/logstash/config 配置目录修改 logstash.yml 文件

cd /usr/share/logstash/config

1.2 注意此处是ES 容器的ip地址

http.host: "0.0.0.0"
#设置跟es的服务地址
xpack.monitoring.elasticsearch.hosts: [ "http://192.168.0.2:9200" ]

（2）设置logstash收集日志的输入和输出

2.1 进入到目录 /usr/share/logstash/pipeline 下面修改 logstash.conf

input {tcp {mode => "server"host => "0.0.0.0"  # 允许任意主机发送日志port => 5044codec => json_lines    # 数据格式}
}output {elasticsearch {# ElasticSearch 的地址和端口hosts  => ["http://192.168.0.2:9200"]# 指定索引名,可以根据自己的需求指定命名index  => "log-%{+YYYY.MM.dd}"         codec  => "json"}stdout {codec => rubydebug}
}

2.2 修改完所有的配置后，需要重启logstash容器

docker restart logstash

五应用系统对接logstash

1 进入logstash jar包

            <dependency><groupId>biz.paluch.logging</groupId><artifactId>logstash-gelf</artifactId><version>1.12.0</version></dependency>

2 在log4j的xml配置文件中加入logstash的配置

            </DefaultRolloverStrategy></RollingFile><Socket name="logstash" remoteHost="115.29.200.225" port="5044" protocol="TCP"><PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %class{36} %L %M - %msg%xEx%n"/></Socket></Appenders>