文章目录
- 一、前置准备
- 1. 部署总览
- 2. 技术选型
- 3. 全局配置
- 4. 软件下载
- 5. 操作声明
- 二、jdk安装
- 2.1. 上传
- 2.2. 解压
- 2.3. 设置环境变量
- 三、zk集群
- 3.1. 上传
- 3.2. 解压
- 3.3. 创建目录
- 3.4. 编辑配置
- 3.5. 添加配置
- 3.6. myid
- 3.8. 关闭防火墙
- 3.9. 启动zk
- 3.10. 监控状态
- 3.11. 效果图
- 四、kafka集群
- 4.1. 上传
- 4.2. 解压
- 4.3. 数据目录
- 4.4. 修改kafka的配置文件
- 4.5. 依次启动kafka
- 五、 验证集群
- 5.1. 创建topic
- 5.2. 启动生产者
- 5.3. 启动消费者
- 5.4. 生产消息
- 5.5. 消费消息
- 六、filebeat
- 6.1.上传
- 6.2. 解压
- 6.3. 修改配置
- 6.5. 启动filebeat
- 七、logstash
- 7.1. 上传
- 7.2. 解压
- 7.3. 新建配置
- 7.4. 启动logstash
- 7.5. 参数说明
- 八、es集群
- 8.1. 上传
- 8.2. 解压
- 8.3. 编辑配置
- 8.4. 修改系统参数
- 8.5. 启动es
- 8.6. 监控日志
- 8.7. 效果图
- 九、node.js+镜像
- 9.1. 下载node.js
- 9.2. 解压
- 9.3. 重命名
- 9.4. 创建软连接
- 9.5. 验证
- 9.6. cnpm镜像
- 9.7. cnpm软连接
- 十、安装es-head插件
- 10.1. 下载插件
- 10.2. 解压
- 10.3. 安装依赖
- 10.4. 配置
- 10.5. 启动插件
- 十一、安装kibana
- 11.1. 上传到app目录并解压
- 11.2. 修改配置
- 11.3. 启动kibana
- 11.4. 验证elk是否安装成功
- 11.5. 防火墙配置
一、前置准备
1. 部署总览
服务器 | 部署组件 | 开放端口 |
---|---|---|
192.168.159.136 | filebeat es kafka zookeeper kibana | zookeeper:2181、2888、3888 kafka:9092 es:9200、9300、9100 kibana:5601 |
192.168.159.137 | es kafka zookeeper logstash | zookeeper:2181、2888、3888 kafka:9092 es:9200、9300、9100 kibana:5601 |
192.168.159.138 | es kafka zookeeper nodejs | zookeeper:2181、2888、3888 kafka:9092 es:9200、9300、9100 kibana:5601 |
2. 技术选型
软件 | 版本 |
---|---|
jdk | 1.8.0_301 |
zookeeper | 3.4.10 |
kafka | 2.12-2.1.1 |
filebeat | 6.7.2 |
logstash | 6.7.2 |
elasticsearch | 6.7.2 |
kibana | 6.7.2 |
filebeat | 6.7.2 |
3. 全局配置
# 136节点、137节点、138节点同时操作:# 1. 使用root用户进行登录
# 创建 /app目录
mkdir /app
如果/app已经存在忽略次操作# 2. 创建用户
useradd app
passwd app# 密码:Elk123456
# 如果用户已经存在忽略次操作直接使用app用户登录即可 跳过3的第一个命令# 赋予权限:
chown app.app /app -R# 调整家目录:
vim /etc/passwd# 切换app用户
su - app
4. 软件下载
zookeeper-3.4.10.tar.gz
wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
kafka_2.12-2.1.1.tgz
wget https://archive.apache.org/dist/kafka/2.1.1/kafka_2.12-2.1.1.tgz
filebeat-6.7.2-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.7.2-linux-x86_64.tar.gz
logstash-6.7.2.tar.gz
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.7.2.tar.gz
elasticsearch-6.7.2.tar.gz
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.7.2.tar.gz
kibana-6.7.2-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.7.2-linux-x86_64.tar.gz
5. 操作声明
默认使用app用户,如果使用root用户操作会进行说明。
二、jdk安装
136节点、137节点、138节点同时操作
2.1. 上传
上传jdk压缩包jdk-8u301-linux-x64.tar.gz到/app 目录下
2.2. 解压
cd /app
tar -zxvf jdk-8u301-linux-x64.tar.gz
2.3. 设置环境变量
- 切换到root用户执行命令
su - root
- 编辑文件
vi /etc/profile
- 修改环境变量
export JAVA_HOME=/app/jdk1.8.0_301
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
- 刷新环境变量
source /etc/profile
- 切换app用户
su - app
- 验证版本
java -version
------------------------------以下均使用app用户操作------------------------------
三、zk集群
136节点、137节点、138节点同时操作
3.1. 上传
上传Zookeeper安装包到/app目录
3.2. 解压
cd /app
tar -zxvf zookeeper-3.4.10.tar.gz
3.3. 创建目录
- 创建data及logs目录
cd /app/zookeeper-3.4.10
mkdir dataDir
mkdir dataLogDir
3.4. 编辑配置
cd /app/zookeeper-3.4.10/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
3.5. 添加配置
修改内容为:(此处三台服务器配置相同),建议同时操作
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/app/zookeeper-3.4.10/data
dataLogDir=/app/zookeeper-3.4.10/data
clientPort=2181
server.1=192.168.159.136:2888:3888
server.2=192.168.159.137:2888:3888
server.3=192.168.159.138:2888:3888
3.6. myid
- 第一台服务器中添加myid文件
echo "1" > /app/zookeeper-3.4.10/dataDir/ myid
- 第二台服务器中添加myid文件
echo "2" > /app/zookeeper-3.4.10/dataDir/myid
- 第三台服务器中添加myid文件
echo "3" > /app/zookeeper-3.4.10/dataDir/myid
3.8. 关闭防火墙
systemctl stop firewalld
3.9. 启动zk
3个节点依次启动
cd /app/zookeeper-3.4.10/
bin/zkServer.sh start
3.10. 监控状态
bin/zkServer.sh status
zookeeper启动成功图片(图3.1)如下:无报错,Mode为leader或者follower都可以
3.11. 效果图
四、kafka集群
4.1. 上传
上传kafka安装包kafka_2.12-2.1.1.tgz到/app 目录下`
4.2. 解压
tar -zxvf kafka_2.12-2.1.1.tgz
4.3. 数据目录
- 进入到kafka安装目录下,创建data文件夹
cd kafka_2.12-2.1.1/
mkdir data
4.4. 修改kafka的配置文件
vim config/server.properties
- 136节点
#broker的id
broker.id=1
#绑定服务器ip
host.name=192.168.159.136
listeners=PLAINTEXT://192.168.159.136:9092
advertised.listeners=PLAINTEXT://192.168.159.136:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
#保存数据的目录路径
log.dirs=/app/kafka_2.12-2.1.1/data/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
#设置日志留存策略
log.retention.hours=168
log.retention.bytes=10737420000
#日志段大小
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
#配置zookeeper,ip表示zookeeper集群中各个节点ip
zookeeper.connect=192.168.159.136:2181,192.168.159.137:2181,192.168.159.138:2181
zookeeper.connection.timeout.ms=6000
message.max.byte=52428880
group.initial.rebalance.delay.ms=0
#设置删除topic
auto.create.topics.enable = false
delete.topic.enable=truelog.cleanup.policy=delete
log.segment.delete.delay.ms=0
- 137节点
#broker的id
broker.id=2
#绑定服务器ip
host.name=192.168.159.137
listeners=PLAINTEXT://192.168.159.137:9092
advertised.listeners=PLAINTEXT://192.168.159.137:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
#保存数据的目录路径
log.dirs=/app/kafka_2.12-2.1.1/data/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
#设置日志留存策略
log.retention.hours=168
log.retention.bytes=10737420000
#日志段大小
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
#配置zookeeper,ip表示zookeeper集群中各个节点ip
zookeeper.connect=192.168.159.136:2181,192.168.159.137:2181,192.168.159.138:2181
zookeeper.connection.timeout.ms=6000
message.max.byte=52428880
group.initial.rebalance.delay.ms=0
#设置删除topic
auto.create.topics.enable = false
delete.topic.enable=truelog.cleanup.policy=delete
log.segment.delete.delay.ms=0
- 138节点
#broker的id
broker.id=3
#绑定服务器ip
host.name=192.168.159.138
listeners=PLAINTEXT://192.168.159.138:9092
advertised.listeners=PLAINTEXT://192.168.159.138:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
#保存数据的目录路径
log.dirs=/app/kafka_2.12-2.1.1/data/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
#设置日志留存策略
log.retention.hours=168
log.retention.bytes=10737420000
#日志段大小
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
#配置zookeeper,ip表示zookeeper集群中各个节点ip
zookeeper.connect=192.168.159.136:2181,192.168.159.137:2181,192.168.159.138:2181
zookeeper.connection.timeout.ms=6000
message.max.byte=52428880
group.initial.rebalance.delay.ms=0
#设置删除topic
auto.create.topics.enable = false
delete.topic.enable=truelog.cleanup.policy=delete
log.segment.delete.delay.ms=0
4.5. 依次启动kafka
- 136/137/138节点依次启动
cd /app/kafka_2.12-2.1.1/
nohup bin/kafka-server-start.sh config/server.properties &
五、 验证集群
验证集群是否安装成功
5.1. 创建topic
在其中一个节点上创建一个topic:
- 这里演示采用136节点,创建一个topic:
cd /app/kafka_2.12-2.1.1/
bin/kafka-topics.sh --zookeeper 192.168.159.136:2181,192.168.159.137:2181,192.168.159.138:2181 --create --topic test2 --partitions 3 --replication-factor 1
5.2. 启动生产者
- 在其中一个节点上启动kafka生产者
这里演示采用136节点:
cd /app/kafka_2.12-2.1.1/
bin/kafka-console-producer.sh --broker-list 192.168.159.136:9092 --topic test2
5.3. 启动消费者
- 在集群其他的节点上启动消费者,这里演示采用137和138节点:
137节点:
cd /app/kafka_2.12-2.1.1/
bin/kafka-console-consumer.sh --bootstrap-server 192.168.159.137:9092 --topic test2
138节点:
cd /app/kafka_2.12-2.1.1/
bin/kafka-console-consumer.sh --bootstrap-server 192.168.159.138:9092 --topic test2
5.4. 生产消息
Kafka生产者发送一条消息,看能否在消费端能够接收到消息,如果都能接收到消息表示kafka集群可用。
这里演示场景:136节点 作为生产者发送消息 137节点和138节点作为消费者消费消息
5.5. 消费消息
137节点作为消费者消费消息
138节点作为消费者消费消息
从以上截图中,可以看出136节点作为消费者发送消息“send msg 123456”,137节点和138节点作为消费者可以正常接收消息。
六、filebeat
登录136节点,使用app用户操作
6.1.上传
- filebeat-6.7.2-linux-x86_64.tar.gz文件,并上传app
6.2. 解压
cd /app
tar -zxvf filebeat-6.7.2-linux-x86_64.tar.gz
6.3. 修改配置
- 修改filebeat.yml配置文件如下
vim /app/filebeat-6.7.2-linux-x86_64/filebeat.yml
- 修改path路径
/app/test.log
- Elasticsearch output这里的配置需要修改
修改前:
修改后:
6.5. 启动filebeat
nohup /app/filebeat-6.7.2-linux-x86_64/filebeat -e -c /app/filebeat-6.7.2-linux-x86_64/filebeat.yml &
七、logstash
7.1. 上传
下载logstash-6.7.2.tar.gz文件,并上传app目录
7.2. 解压
tar -zxvf logstash-6.7.2.tar.gz
7.3. 新建配置
- 新建config目录下配置文件kafkaInput_esOutPut.conf
vim /app/logstash-6.7.2/config/kafkaInput_esOutPut.conf
内容如下:
input {kafka {bootstrap_servers => "192.168.159.136:9092,192.168.159.137:9092,192.168.159.138:9092"group_id => ["elk"]topics => ["app-log"]auto_offset_reset => "latest"consumer_threads => 5decorate_events => true}
}
output {stdout {codec => rubydebug}elasticsearch {hosts => ["192.168.159.136:9200,192.168.159.137:9200,192.168.159.138:9200"]index => "kafka-logs-%{+YYYY-MM-dd}"flush_size => 20000idle_flush_time => 10sniffing => truetemplate_overwrite => true }
}
7.4. 启动logstash
cd /app/logstash-6.7.2
nohup bin/logstash -f /config/kafkaInput_esOutPut.conf --config.reload.automatic &
7.5. 参数说明
--config.reload.automatic
选项的意思是启用自动配置加载,以至于每次修改完配置文件以后无需停止然后重启Logstash
查看进程是否启动成功
ps -ps |grep logstash
八、es集群
8.1. 上传
上传到/app目录
8.2. 解压
cd /app
tar -zxvf elasticsearch-6.7.2.tar.gz
8.3. 编辑配置
vim /app/elasticsearch-6.7.2/config/elasticsearch.yml
- 修改配置文件config/elasticsearch.yml
- 136节点
# ======================== Elasticsearch Configuration =========================
cluster.name: es-application
node.name: node-1
path.data: /app/elasticsearch-6.7.2/data
path.logs: /app/elasticsearch-6.7.2/logs
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.159.136:9300", "192.168.159.137:9300","192.168.159.138:9300"]
discovery.zen.minimum_master_nodes: 2
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-methods: OPTIONS, HEAD, GET, POST, PUT, DELETE
- 137节点
# ======================== Elasticsearch Configuration =========================
cluster.name: es-application
node.name: node-2
path.data: /app/elasticsearch-6.7.2/data
path.logs: /app/elasticsearch-6.7.2/logs
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.159.136:9300", "192.168.159.137:9300","192.168.159.138:9300"]
discovery.zen.minimum_master_nodes: 2
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-methods: OPTIONS, HEAD, GET, POST, PUT, DELETE
- 138节点
# ======================== Elasticsearch Configuration =========================
cluster.name: es-application
node.name: node-3
path.data: /app/elasticsearch-6.7.2/data
path.logs: /app/elasticsearch-6.7.2/logs
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.159.136:9300", "192.168.159.137:9300","192.168.159.138:9300"]
discovery.zen.minimum_master_nodes: 2
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-methods: OPTIONS, HEAD, GET, POST, PUT, DELETE
8.4. 修改系统参数
3个节点同时操作,切换root用户修改系统参数,执行如下命令
su - root
- 第一处
echo "vm.max_map_count=655360" >> /etc/sysctl.conf && /sbin/sysctl -p
- 第二处
vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
8.5. 启动es
3给节点依次启动es
su - app
cd /app/elasticsearch-6.7.2
bin/elasticsearch -d
8.6. 监控日志
tail -f logs/es-application.log
8.7. 效果图
http://192.168.159.136:9200/
http://192.168.159.137:9200/
http://192.168.159.138:9200/
http://192.168.159.136:9200/_cat/health
九、node.js+镜像
登录138节点,使用root用户操作,官网下载node.js
9.1. 下载node.js
https://nodejs.org/en/download/
- 下载
wget https://nodejs.org/dist/v16.13.1/node-v16.13.1-linux-x64.tar.xz
9.2. 解压
tar -xvf node-v16.13.1-linux-x64.tar.xz
9.3. 重命名
mv node-v16.13.1-linux-x64 nodejs
9.4. 创建软连接
ln -s /app/nodejs/bin/node /usr/bin/nodeln -s /app/nodejs/bin/npm /usr/bin/npm
9.5. 验证
验证node.js是否安装成功
node -v
9.6. cnpm镜像
- 使用cnpm操作
npm install -g cnpm --register=https://register.npm.taobao.org
9.7. cnpm软连接
ln -s /app/nodejs/bin/cnpm /usr/bin/cnpm
十、安装es-head插件
10.1. 下载插件
10.2. 解压
unzip elasticsearch-head-master.zip
10.3. 安装依赖
cd elasticsearch-head-master
cnpm install
10.4. 配置
- 现在head插件还无法连接到es,需要修改以下配置文件
vim /app/elasticsearch-head-master/Gruntfile.js
10.5. 启动插件
cd /app/elasticsearch-head-master目录下
npm run start
安装完成,输入对应地址显示如下结果:
http://192.168.159.138:9100/
http://192.168.159.138:9200/
十一、安装kibana
登录136节点,使用app用户操作
11.1. 上传到app目录并解压
tar -zxvf kibana-6.7.2-linux-x86_64.tar.gz
11.2. 修改配置
- 修改config/kibana.yml配置文件
cd /appvim kibana-6.7.2-linux-x86_64/config/kibana.yml
末尾添加如下配置:
server.host为当前机器ip
server.port: 5601
server.host: "192.168.159.136"
elasticsearch.hosts: ["http://192.168.159.136:9200","http://192.168.159.137:9200","http://192.168.159.138:9200"]
11.3. 启动kibana
切换到bin目录启动nohup ./kibana &
cd /app/kibana-6.7.2-linux-x86_64/
nohup bin/kibana &
http://192.168.159.136:5601/app/kibana
11.4. 验证elk是否安装成功
咱们在logstash的配置文件中配置的topic是app-log
- 创建topic
cd /app/kafka_2.12-2.1.1/bin/
./kafka-console-consumer.sh --bootstrap-server 192.168.159.138:9092 --topic app-log
- 创建消费组
- 137节点:
cd /app/kafka_2.12-2.1.1/bin/
./kafka-console-consumer.sh --bootstrap-server 192.168.159.138:9092 --topic app-log --consumer-property group.id=elk
- 138节点:
cd /app/kafka_2.12-2.1.1/bin/
./kafka-console-consumer.sh --bootstrap-server 192.168.159.138:9092 --topic app-log --consumer-property group.id=elk
- 测试
- 1.往136节点/app/test.log文件写入一行数字,之后查看es中是否可以查询到
cd /app
echo "123456789033333" >> test.log
cat test.log
/app/kafka_2.12-2.1.1/bin/kafka-consumer-groups.sh --bootstrap-server 192.168.159.138:9092 --group elk --describe
- 2.es查询到了
- 3.kibana也成功抓取到了
11.5. 防火墙配置
- 136/137/138节点:
firewall-cmd --zone=public --add-port=2181/tcp --permanent
firewall-cmd --zone=public --add-port=2888/tcp --permanent
firewall-cmd --zone=public --add-port=3888/tcp --permanent
firewall-cmd --zone=public --add-port=9092/tcp --permanent
firewall-cmd --zone=public --add-port=9100/tcp --permanent
firewall-cmd --zone=public --add-port=9200/tcp --permanent
firewall-cmd --zone=public --add-port=9300/tcp --permanent
firewall-cmd --zone=public --add-port=5601/tcp --permanent
firewall-cmd --reload