一、整体规划如图:
【filebeat】
需要收集日志的服务器,安装filebeat软件,用于收集日志。logstash也可以收集日志,但是占用的系统资源过大,所以使用了filebeat来收集日志。
【kafka】
接收filebeat的日志,进行队列及缓存,kafka使用集群的方式搭建,避免了filebeat直接向logstash传送的拥塞及日志丢失。
【logstash】
主动抓取kafka的日志信息,对日志进行过滤,分析,处理等操作。
【elasticsearch】
简称es,存储logstash处理过的日志信息,采用集群的方式搭建。
【kibana】
图形化的方式展示es的数据信息。
二、IP地址及服务器规划
filebeat :10.10.10.56 /usr/local/filebeat
kafka集群:10.10.10.71-73 /usr/local/kafka
zookeeper集群:10.10.10.71-73 /usr/local/zookeeper
logstash:10.10.10.74 /usr/local/logstash
es集群:10.10.10.65-67 /usr/local/elasticsearch
kibana:10.10.10.65 /usr/local/kinan
kibana中文:10.10.10.66 /usr/local/kibana
三、java的安装
所有服务器均需要安装java的环境
centos 7.9默认已安装java 1.8_242所以不需要再次安装java了
下/载java
tar -zxvf java**.gz -C /usr/local
设置java环境变量
vi /etc/profile
末尾加
export JAVA_HOME=/usr/loca/java/jdk1.8.0_201
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
source /etc/profile
java -version 查看版本
默认系统自带java,就不需要重新安装