文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州
▲ 本章节目的
⚪ 掌握网站流量项目的 Flume—>Kafka 连通;
⚪ 掌握网站流量项目的实时业务系统搭建;
一、Flume—>Kafka 连通
1. 实现步骤
1. 启动三台服务器。
2. 启动 Zookeeper 集群。
执行指令:
sh /home/software/zookeeper-3.4.8/bin/zkServer.sh start
3. 启动 Kafka 集群。
4. 创建 Kafka 主题。
执行指令:
sh kafka-topics.sh --create --zookeeper hadoop01:2181
--replication-factor 1 --partitions 1 --topic fluxdata
5. 启动 Hadoop。
6. 配置 flume 并启动。
在 flume 的 data 目录,执行如下指令:
../bin/flume-ng agent -n a1 -c ./ -f ./weblog.conf
-Dflume.root.logger = INFO, console
weblog.conf配置文件示例如下:
a1.sources = r1