本文为转载篇!原文:
https://www.cnblogs.com/zhangyinhua/p/7803486.html
https://www.cnblogs.com/ciade/p/5495218.html
原理
一、Flume简介
flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。
但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后一个发行版本 0.9.4. 中,日
志传输不稳定的现象尤为严重,为了解决这些问题,2011 年 10 月 22 号,cloudera 完成了 Flume-728,对 Flume 进行了里程碑式的改动:重构核心组件、核心配置以
及代码架构,重构后的版本统称为 Flume NG(next generation);改动的另一原因是将 Flume 纳入 apache 旗下,cloudera Flume 改名为 Apache Flume。
备注:Flume参考资料
官方网站: http://flume.apache.org/
用户文档: http://flume.apache.org/FlumeUserGuide.html
开发文档: http://flume.apache.org/FlumeDeveloperGuide.html
二、Flume特点
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,
并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。
flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位,它携带日志数据(字节数组形式)并且携带有头信息,这些Event由Agent外部的Source生成,当
Source捕获事件后会进行特定的格式化,然后Source会把事件推入(单个或多个)Channel中。你可以把Channel看作是一个缓冲区,它将保存事件直到Sink处理完该事件。
Sink负责持久化日志或者把事件推向另一个Source。
1)flume的可靠性
当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障,从强到弱依次分别为:end-to-end(收到数据agent首先将
event写到磁盘上,当数据传送成功后,再删除;如果数据发送失败,可以重新发送。),Store on failure(这也是scribe采用的策略,当数据接收方crash时,将
数据写到本地,待恢复后,继续发送),Besteffort(数据发送到接收方后,不会进行确认)。
2)flume的可恢复性
还是靠Channel。推荐使用FileChannel,事件持久化在本地文件系统里(性能较差)。
三、Flume的一些核心概念
Client:Client生产数据,运行在一个独立的线程。
Event: 一个数据单元,消息头和消息体组成。(Events可以是日志记录、 avro 对象等。)
Flow: Event从源点到达目的点的迁移的抽象。
Agent: 一个独立的Flume进程,包含组件Source、 Channel、 Sink。(Agent使用JVM 运行Flume。每台机器运行一个agent,但是可以在一个agent中包含
多个sources和sinks。)
Source: 数据收集组件。(source从Client收集数据,传递给Channel)
Channel: 中转Event的一个临时存储,保存由Source组件传递过来的Event。(Channel连接 sources 和 sinks ,这个有点像一个队列。)
Sink: 从Channel中读取并移除Event, 将Event传递到FlowPipeline中的下一个Agent(如果有的话)(Sink从Channel收集数据,运行在一个独立线程。)
3.1、Agent结构
Flume 运行的核心是 Agent。Flume以agent为最小的独立运行单位。一个agent就是一个JVM。它是一个完整的数据收集工具,含有三个核心组件,分别是
source、 channel、 sink。通过这些组件, Event 可以从一个地方流向另一个地方,如下图所示。
3.2、source
Source是数据的收集端,负责将数据捕获后进行特殊的格式化,将数据封装到事件(event) 里,然后将事件推入Channel中。 Flume提供了很多内置的
Source, 支持 Avro, log4j, syslog 和 http post(body为json格式)。可以让应用程序同已有的Source直接打交道,如AvroSource,
SyslogTcpSource。 如果内置的Source无法满足需要, Flume还支持自定义Source。
source类型:
3.3、Channel
Channel是连接Source和Sink的组件,大家可以将它看做一个数据的缓冲区(数据队列),它可以将事件暂存到内存中也可以持久化到本地磁盘上, 直
到Sink处理完该事件。介绍两个较为常用的Channel, MemoryChannel和FileChannel。
Channel类型:
3.4、Sink
Sink从Channel中取出事件,然后将数据发到别处,可以向文件系统、数据库、 hadoop存数据, 也可以是其他agent的Source。在日志数据较少时,可
以将数据存储在文件系统中,并且设定一定的时间间隔保存数据。
Sink类型:
四、Flume拦截器、数据流以及可靠性
4.1、Flume拦截器
当我们需要对数据进行过滤时,除了我们在Source、 Channel和Sink进行代码修改之外, Flume为我们提供了拦截器,拦截器也是chain形式的。
拦截器的位置在Source和Channel之间,当我们为Source指定拦截器后,我们在拦截器中会得到event,根据需求我们可以对event进行保留还是
抛弃,抛弃的数据不会进入Channel中。
4.2、Flume数据流
1)Flume 的核心是把数据从数据源收集过来,再送到目的地。为了保证输送一定成功,在送到目的地之前,会先缓存数据,待数据真正到达目的地后,
删除自己缓存的数据。
2) Flume 传输的数据的基本单位是 Event,如果是文本文件,通常是一行记录,这也是事务的基本单位。 Event 从 Source,流向 Channel,再到 Sink,
本身为一个 byte 数组,并可携带 headers 信息。 Event 代表着一个数据流的最小完整单元,从外部数据源来,向外部的目的地去。
值得注意的是,Flume提供了大量内置的Source、Channel和Sink类型。不同类型的Source,Channel和Sink可以自由组合。组合方式基于用户设置的配置文件,非常灵活。
比如:Channel可以把事件暂存在内存里,也可以持久化到本地硬盘上。Sink可以把日志写入HDFS, HBase,甚至是另外一个Source等等。Flume支持用户建立多级流,
也就是说,多个agent可以协同工作,并且支持Fan-in、Fan-out、Contextual Routing、Backup Routes,这也正是Flume强大之处。如下图所示:
4.3、Flume可靠性
Flume 使用事务性的方式保证传送Event整个过程的可靠性。 Sink 必须在Event 被存入 Channel 后,或者,已经被传达到下一站agent里,又或者,
已经被存入外部数据目的地之后,才能把 Event 从 Channel 中 remove 掉。这样数据流里的 event 无论是在一个 agent 里还是多个 agent 之间流转,
都能保证可靠,因为以上的事务保证了 event 会被成功存储起来。比如 Flume支持在本地保存一份文件 channel 作为备份,而memory channel 将
event存在内存 queue 里,速度快,但丢失的话无法恢复。
五、Flume使用场景
Flume在英文中的意思是水道, 但Flume更像可以随意组装的消防水管,下面根据官方文档,展示几种Flow。
5.1、多个agent顺序连接
可以将多个Agent顺序连接起来,将最初的数据源经过收集,存储到最终的存储系统中。这是最简单的情况,一般情况下,应该控制这种顺序连接的
Agent 的数量,因为数据流经的路径变长了,如果不考虑failover的话,出现故障将影响整个Flow上的Agent收集服务。
5.2、多个Agent的数据汇聚到同一个Agent
这种情况应用的场景比较多,比如要收集Web网站的用户行为日志, Web网站为了可用性使用的负载集群模式,每个节点都产生用户行为日志,可以为
每 个节点都配置一个Agent来单独收集日志数据,然后多个Agent将数据最终汇聚到一个用来存储数据存储系统,如HDFS上。
5.3、多级流
Flume还支持多级流,什么多级流?结合在云开发中的应用来举个例子,当syslog, java, nginx、 tomcat等混合在一起的日志流开始流入一个agent
后,可以agent中将混杂的日志流分开,然后给每种日志建立一个自己的传输通道。
5.4、load balance功能
上图Agent1是一个路由节点,负责将Channel暂存的Event均衡到对应的多个Sink组件上,而每个Sink组件分别连接到一个独立的Agent上 。
六、Flume核心组件
Flume主要由3个重要的组件构成:
1)Source: 完成对日志数据的收集,分成transtion 和 event 打入到channel之中
Flume提供了各种source的实现,包括Avro Source、 Exce Source、 Spooling
Directory Source、 NetCat Source、 Syslog Source、 Syslog TCP Source、
Syslog UDP Source、 HTTP Source、 HDFS Source, etc。
2)Channel: Flume Channel主要提供一个队列的功能,对source提供中的数据进行简单的缓存。
Flume对于Channel, 则提供了Memory Channel、 JDBC Chanel、 File Channel,etc
3)Sink: Flume Sink取出Channel中的数据,进行相应的存储文件系统,数据库,或者提交到远程服务器。
包括HDFS sink、 Logger sink、 Avro sink、 File Roll sink、 Null sink、 HBasesink, etc。
6.1、Source
Spool Source 如何使用?
在实际使用的过程中,可以结合log4j使用,使用log4j的时候,将log4j的文件分割机制设为1分钟一次,将文件拷贝到spool的监控目录。
log4j有一个TimeRolling的插件,可以把log4j分割的文件到spool目录。基本实现了实时的监控。 Flume在传完文件之后,将会修 改文
件的后缀,变为.COMPLETED(后缀也可以在配置文件中灵活指定)
Exec Source 和Spool Source 比较
1) ExecSource可以实现对日志的实时收集,但是存在Flume不运行或者指令执行出错时,将无法收集到日志数据,无法何证日志数据
的完整性。
2) SpoolSource虽然无法实现实时的收集数据,但是可以使用以分钟的方式分割文件,趋近于实时。
3)总结:如果应用无法实现以分钟切割日志文件的话,可以两种 收集方式结合使用。
6.2、Channel
1)MemoryChannel可以实现高速的吞吐, 但是无法保证数据完整性
2)MemoryRecoverChannel在官方文档的建议上已经建义使用FileChannel来替换。
FileChannel保证数据的完整性与一致性。在具体配置不现的FileChannel时,建议FileChannel设置的目录和程序日志文件保存的目录
设成不同的磁盘,以便提高效率。
6.3、Sink
Flume Sink在设置存储数据时,可以向文件系统中,数据库中, hadoop中储数据,在日志数据较少时,可以将数据存储在文件系中,并
且设定一定的时间间隔保存数据。在日志数据较多时,可以将相应的日志数据存储到Hadoop中,便于日后进行相应的数据分析。
使用案例
一、安装
1.下载安装包
2.配置环境变量
3.修改配置文件(案例给出)
4.启动服务(案例给出)
5.验证 flume-ng -version
二、flume的案例
案例1:Avro 可以发送一个给定的文件给Flume,Avro 源使用AVRO RPC机制
(a)创建agent配置文件
vi /home/hadoop/flume-1.5.0-bin/conf/avro.confa1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type= avroa1.sources.r1.channels = c1a1.sources.r1.bind = 0.0.0.0a1.sources.r1.port = 4141# Describe the sinka1.sinks.k1.type= logger# Use a channel which buffers events in memorya1.channels.c1.type= memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1
(b)启动服务 flume agent a1
flume-ng agent -c .-f /home/hadoop/flume-1.5.0-bin/conf/avro.conf -n a1 -Dflume.root.logger=INFO,console
(c)创建指定文件
echo "hello world" > /home/hadoop/flume-1.5.0-bin/log.00
(d)使用avro-client发送文件
flume-ng avro-client -c . -H m1 -p 4141 -F /home/hadoop/flume-1.5.0-bin/log.00
(f)在m1的控制台,可以看到以下信息,注意最后一行: hello world
案例2:Spool 监测配置的目录下新增的文件,并将文件中的数据读取出来
需要注意两点:
1) 拷贝到spool目录下的文件不可以再打开编辑。
2) spool目录下不可包含相应的子目录
(a)创建agent配置文件
vi /home/hadoop/flume-1.5.0-bin/conf/spool.confa1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type= spooldira1.sources.r1.channels = c1a1.sources.r1.spoolDir = /home/hadoop/flume-1.5.0-bin/logsa1.sources.r1.fileHeader = true# Describe the sinka1.sinks.k1.type= logger# Use a channel which buffers events in memorya1.channels.c1.type= memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1
(b)启动服务flume agent a1
flume-ng agent -c . -f /home/hadoop/flume-1.5.0-bin/conf/spool.conf -n a1 -Dflume.root.logger=INFO,console
(c)追加文件到/home/hadoop/flume-1.5.0-bin/logs目录
echo "spool test1" > /home/hadoop/flume-1.5.0-bin/logs/spool_text.log
(d)在m1的控制台,可以看到以下相关信息:
Event: { headers:{file=/home/hadoop/flume-1.5.0-bin/logs/spool_text.log} body: 73 70 6F 6F 6C 20 74 65 73 74 31 spool test1 }
案例3:Exec 执行一个给定的命令获得输出的源,如果要使用tail命令,必选使得file足够大才能看到输出内容
(a)创建agent配置文件
vi /home/hadoop/flume-1.5.0-bin/conf/exec_tail.confa1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type= execa1.sources.r1.channels = c1a1.sources.r1.command= tail-F /home/hadoop/flume-1.5.0-bin/log_exec_tail# Describe the sinka1.sinks.k1.type= logger# Use a channel which buffers events in memorya1.channels.c1.type= memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1
(b)启动服务flume agent a1
flume-ng agent -c . -f /home/hadoop/flume-1.5.0-bin/conf/exec_tail.conf -n a1 -Dflume.root.logger=INFO,console
(c)生成足够多的内容在文件里
for i in {1..100};do echo "exec tail$i" >> /home/hadoop/flume-1.5.0-bin/log_exec_tail;echo $i;sleep 0.1;done
(e)在m1的控制台,可以看到以下信息:
Event: { headers:{} body: 65 78 65 63 20 74 61 69 6C 20 74 65 73 74 exec tail test }Event: { headers:{} body: 65 78 65 63 20 74 61 69 6C 20 74 65 73 74 exec tail test }
案例4:Syslogtcp 监听TCP的端口做为数据源
(a)创建agent配置文件
vi /home/hadoop/flume-1.5.0-bin/conf/syslog_tcp.confa1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type= syslogtcpa1.sources.r1.port = 5140a1.sources.r1.host = localhosta1.sources.r1.channels = c1# Describe the sinka1.sinks.k1.type= logger# Use a channel which buffers events in memorya1.channels.c1.type= memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1
(b)启动flume agent a1
flume-ng agent -c . -f /home/hadoop/flume-1.5.0-bin/conf/syslog_tcp.conf -n a1 -Dflume.root.logger=INFO,console
(c)测试产生syslog
echo "hello idoall.org syslog" | nc localhost 5140
(d)在m1的控制台,可以看到以下信息:
Event: { headers:{Severity=0, flume.syslog.status=Invalid, Facility=0} body: 68 65 6C 6C 6F 20 69 64 6F 61 6C 6C 2E 6F 72 67 hello idoall.org }
案例5:JSONHandler
(a)创建agent配置文件
vi /home/hadoop/flume-1.5.0-bin/conf/post_json.confa1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type= org.apache.flume.source.http.HTTPSourcea1.sources.r1.port = 8888a1.sources.r1.channels = c1# Describe the sinka1.sinks.k1.type= logger# Use a channel which buffers events in memorya1.channels.c1.type= memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1
(b)启动flume agent a1
flume-ng agent -c . -f /home/hadoop/flume-1.5.0-bin/conf/post_json.conf -n a1 -Dflume.root.logger=INFO,console
(c)生成JSON 格式的POST request
curl -X POST -d '[{ "headers" :{"a" : "a1","b" : "b1"},"body" : "idoall.org_body"}]' http://localhost:8888
(d)在m1的控制台,可以看到以下信息:
Event: { headers:{b=b1, a=a1}body: 69 64 6F 61 6C 6C 2E 6F 72 67 5F 62 6F 64 79 idoall.org_body }
案例6:Hadoop sink
(a)创建agent配置文件
vi /home/hadoop/flume-1.5.0-bin/conf/hdfs_sink.confa1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type= syslogtcpa1.sources.r1.port = 5140a1.sources.r1.host = localhosta1.sources.r1.channels = c1# Describe the sinka1.sinks.k1.type= hdfsa1.sinks.k1.channel = c1a1.sinks.k1.hdfs.path = hdfs://m1:9000/user/flume/syslogtcp a1.sinks.k1.hdfs.filePrefix = Sysloga1.sinks.k1.hdfs.round = truea1.sinks.k1.hdfs.roundValue = 10a1.sinks.k1.hdfs.roundUnit = minute# Use a channel which buffers events in memorya1.channels.c1.type= memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1
(b)启动flume agent a1
flume-ng agent -c . -f /home/hadoop/flume-1.5.0-bin/conf/hdfs_sink.conf -n a1 -Dflume.root.logger=INFO,console
(c)测试产生syslog
echo "hello idoall flume -> hadoop testing one" | nc localhost 5140
(d) 在m1上再打开一个窗口,去hadoop上检查文件是否生成
hadoop fs -ls /user/flume/syslogtcphadoop fs -cat /user/flume/syslogtcp/Syslog.1407644509504
案例7:File Roll Sink
(a)创建agent配置文件
vi /home/hadoop/flume-1.5.0-bin/conf/file_roll.confa1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type= syslogtcpa1.sources.r1.port = 5555a1.sources.r1.host = localhosta1.sources.r1.channels = c1# Describe the sinka1.sinks.k1.type= file_rolla1.sinks.k1.sink.directory = /home/hadoop/flume-1.5.0-bin/logs# Use a channel which buffers events in memorya1.channels.c1.type= memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1
(b)启动flume agent a1
flume-ng agent -c . -f /home/hadoop/flume-1.5.0-bin/conf/file_roll.conf -n a1 -Dflume.root.logger=INFO,console
(c)测试产生log
echo "hello idoall.org syslog" | nc localhost 5555echo "hello idoall.org syslog 2" | nc localhost 5555
(d)查看/home/hadoop/flume-1.5.0-bin/logs下是否生成文件,默认每30秒生成一个新文件
ll /home/hadoop/flume-1.5.0-bin/logscat /home/hadoop/flume-1.5.0-bin/logs/1407646164782-1cat /home/hadoop/flume-1.5.0-bin/logs/1407646164782-2hello idoall.org sysloghello idoall.org syslog 2
案例8:Replicating Channel Selector Flume支持Fan out流从一个源到多个通道
有两种模式的Fan out,分别是复制和复用。在复制的情况下,流的事件被发送到所有的配置通道。在复用的情况下,事件被发送到可用的渠道中的一个子集。Fan out流需要指定源和Fan out通道的规则。这次我们需要用到m1,m2两台机器
(a)在m1创建replicating_Channel_Selector配置文件
vi /home/hadoop/flume-1.5.0-bin/conf/replicating_Channel_Selector.confa1.sources = r1a1.sinks = k1 k2a1.channels = c1 c2# Describe/configure the sourcea1.sources.r1.type= syslogtcpa1.sources.r1.port = 5140a1.sources.r1.host = localhosta1.sources.r1.channels = c1 c2a1.sources.r1.selector.type= replicating# Describe the sinka1.sinks.k1.type= avroa1.sinks.k1.channel = c1a1.sinks.k1.hostname= m1a1.sinks.k1.port = 5555a1.sinks.k2.type= avroa1.sinks.k2.channel = c2a1.sinks.k2.hostname= m2a1.sinks.k2.port = 5555# Use a channel which buffers events in memorya1.channels.c1.type= memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100a1.channels.c2.type= memorya1.channels.c2.capacity = 1000a1.channels.c2.transactionCapacity = 100
(b)在m1创建replicating_Channel_Selector_avro配置文件
vi /home/hadoop/flume-1.5.0-bin/conf/replicating_Channel_Selector_avro.confa1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type= avroa1.sources.r1.channels = c1a1.sources.r1.bind = 0.0.0.0a1.sources.r1.port = 5555# Describe the sinka1.sinks.k1.type= logger# Use a channel which buffers events in memorya1.channels.c1.type= memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1
(c)在m1上将2个配置文件复制到m2上一份
scp -r /home/hadoop/flume-1.5.0-bin/conf/replicating_Channel_Selector.conf root@m2:/home/hadoop/flume-1.5.0-bin/conf/replicating_Channel_Selector.confscp -r /home/hadoop/flume-1.5.0-bin/conf/replicating_Channel_Selector_avro.conf root@m2:/home/hadoop/flume-1.5.0-bin/conf/replicating_Channel_Selector_avro.conf
(d)打开4个窗口,在m1和m2上同时启动两个flume agent
flume-ng agent -c . -f /home/hadoop/flume-1.5.0-bin/conf/replicating_Channel_Selector_avro.conf -n a1 -Dflume.root.logger=INFO,consoleflume-ng agent -c . -f /home/hadoop/flume-1.5.0-bin/conf/replicating_Channel_Selector.conf -n a1 -Dflume.root.logger=INFO,console
(e)然后在m1或m2的任意一台机器上,测试产生syslog
echo "hello idoall.org syslog" | nc localhost 5140
(f)在m1和m2的sink窗口,分别可以看到以下信息,这说明信息得到了同步:
Event: { headers:{Severity=0, flume.syslog.status=Invalid, Facility=0} body: 68 65 6C 6C 6F 20 69 64 6F 61 6C 6C 2E 6F 72 67 hello idoall.org }
案例9:Multiplexing Channel Selector
(a)在m1创建Multiplexing_Channel_Selector配置文件
vi /home/hadoop/flume-1.5.0-bin/conf/Multiplexing_Channel_Selector.confa1.sources = r1a1.sinks = k1 k2a1.channels = c1 c2# Describe/configure the sourcea1.sources.r1.type= org.apache.flume.source.http.HTTPSourcea1.sources.r1.port = 5140a1.sources.r1.channels = c1 c2a1.sources.r1.selector.type= multiplexinga1.sources.r1.selector.header = type#映射允许每个值通道可以重叠。默认值可以包含任意数量的通道。a1.sources.r1.selector.mapping.baidu = c1a1.sources.r1.selector.mapping.ali = c2a1.sources.r1.selector.default = c1# Describe the sinka1.sinks.k1.type= avroa1.sinks.k1.channel = c1a1.sinks.k1.hostname= m1a1.sinks.k1.port = 5555a1.sinks.k2.type= avroa1.sinks.k2.channel = c2a1.sinks.k2.hostname= m2a1.sinks.k2.port = 5555# Use a channel which buffers events in memorya1.channels.c1.type= memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100a1.channels.c2.type= memorya1.channels.c2.capacity = 1000a1.channels.c2.transactionCapacity = 100
(b)在m1创建Multiplexing_Channel_Selector_avro配置文件
vi /home/hadoop/flume-1.5.0-bin/conf/Multiplexing_Channel_Selector_avro.confa1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type= avroa1.sources.r1.channels = c1a1.sources.r1.bind = 0.0.0.0a1.sources.r1.port = 5555# Describe the sinka1.sinks.k1.type= logger# Use a channel which buffers events in memorya1.channels.c1.type= memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1
(c)将2个配置文件复制到m2上一份
scp -r /home/hadoop/flume-1.5.0-bin/conf/Multiplexing_Channel_Selector.conf root@m2:/home/hadoop/flume-1.5.0-bin/conf/Multiplexing_Channel_Selector.confscp -r /home/hadoop/flume-1.5.0-bin/conf/Multiplexing_Channel_Selector_avro.conf root@m2:/home/hadoop/flume-1.5.0-bin/conf/Multiplexing_Channel_Selector_avro.conf
(d)打开4个窗口,在m1和m2上同时启动两个flume agent
flume-ng agent -c . -f /home/hadoop/flume-1.5.0-bin/conf/Multiplexing_Channel_Selector_avro.conf -n a1 -Dflume.root.logger=INFO,consoleflume-ng agent -c . -f /home/hadoop/flume-1.5.0-bin/conf/Multiplexing_Channel_Selector.conf -n a1 -Dflume.root.logger=INFO,console
(e)然后在m1或m2的任意一台机器上,测试产生syslog
curl -X POST -d '[{ "headers" :{"type" : "baidu"},"body" : "idoall_TEST1"}]' http://localhost:5140 && curl -X POST -d '[{ "headers" :{"type" : "ali"},"body" : "idoall_TEST2"}]' http://localhost:5140 && curl -X POST -d '[{ "headers" :{"type" : "qq"},"body" : "idoall_TEST3"}]' http://localhost:5140
(f)在m1的sink窗口,可以看到以下信息:
Event: { headers:{type=baidu} body: 69 64 6F 61 6C 6C 5F 54 45 53 54 31} Event: { headers:{type=qq} body: 69 64 6F 61 6C 6C 5F 54 45 53 54 33}
(g)在m2的sink窗口,可以看到以下信息:
Event: { headers:{type=ali} body: 69 64 6F 61 6C 6C 5F 54 45 53 54 32}
可以看到,根据header中不同的条件分布到不同的channel上
案例10:Flume Sink Processors failover的机器是一直发送给其中一个sink,当这个sink不可用的时候,自动发送到下一个sink
(a)在m1创建Flume_Sink_Processors配置文件
vi /home/hadoop/flume-1.5.0-bin/conf/Flume_Sink_Processors.confa1.sources = r1a1.sinks = k1 k2a1.channels = c1 c2#这个是配置failover的关键,需要有一个sink groupa1.sinkgroups = g1a1.sinkgroups.g1.sinks = k1 k2#处理的类型是failovera1.sinkgroups.g1.processor.type= failover#优先级,数字越大优先级越高,每个sink的优先级必须不相同a1.sinkgroups.g1.processor.priority.k1 = 5a1.sinkgroups.g1.processor.priority.k2 = 10#设置为10秒,当然可以根据你的实际状况更改成更快或者很慢a1.sinkgroups.g1.processor.maxpenalty = 10000# Describe/configure the sourcea1.sources.r1.type= syslogtcpa1.sources.r1.port = 5140a1.sources.r1.channels = c1 c2a1.sources.r1.selector.type= replicating# Describe the sinka1.sinks.k1.type= avroa1.sinks.k1.channel = c1a1.sinks.k1.hostname= m1a1.sinks.k1.port = 5555a1.sinks.k2.type= avroa1.sinks.k2.channel = c2a1.sinks.k2.hostname= m2a1.sinks.k2.port = 5555# Use a channel which buffers events in memorya1.channels.c1.type= memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100a1.channels.c2.type= memorya1.channels.c2.capacity = 1000a1.channels.c2.transactionCapacity = 100
(b)在m1创建Flume_Sink_Processors_avro配置文件
vi /home/hadoop/flume-1.5.0-bin/conf/Flume_Sink_Processors_avro.confa1.sources = r1a1.sinks = k1a1.channels = c# Describe/configure the sourcea1.sources.r1.type= avroa1.sources.r1.channels = c1a1.sources.r1.bind = 0.0.0.0a1.sources.r1.port = 5555# Describe the sinka1.sinks.k1.type= logger# Use a channel which buffers events in memorya1.channels.c1.type= memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1
(c)将2个配置文件复制到m2上一份
scp -r /home/hadoop/flume-1.5.0-bin/conf/Flume_Sink_Processors.conf root@m2:/home/hadoop/flume-1.5.0-bin/conf/Flume_Sink_Processors.confscp -r /home/hadoop/flume-1.5.0-bin/conf/Flume_Sink_Processors_avro.conf root@m2:/home/hadoop/flume-1.5.0-bin/conf/Flume_Sink_Processors_avro.conf
(d)打开4个窗口,在m1和m2上同时启动两个flume agent
flume-ng agent -c . -f /home/hadoop/flume-1.5.0-bin/conf/Flume_Sink_Processors_avro.conf -n a1 -Dflume.root.logger=INFO,consoleflume-ng agent -c . -f /home/hadoop/flume-1.5.0-bin/conf/Flume_Sink_Processors.conf -n a1 -Dflume.root.logger=INFO,console
(e)然后在m1或m2的任意一台机器上,测试产生log
echo "idoall.org test1 failover" | nc localhost 5140
(f)因为m2的优先级高,所以在m2的sink窗口,可以看到以下信息,而m1没有:
Event: { headers:{Severity=0, flume.syslog.status=Invalid, Facility=0} body: 69 64 6F 61 6C 6C 2E 6F 72 67 20 74 65 73 74 31 idoall.org test1 }
(g)这时我们停止掉m2机器上的sink(ctrl+c),再次输出测试数据:
echo "idoall.org test2 failover" | nc localhost 5140
(h)可以在m1的sink窗口,看到读取到了刚才发送的两条测试数据:
Event: { headers:{Severity=0, flume.syslog.status=Invalid, Facility=0} body: 69 64 6F 61 6C 6C 2E 6F 72 67 20 74 65 73 74 31 idoall.org test1 }Event: { headers:{Severity=0, flume.syslog.status=Invalid, Facility=0} body: 69 64 6F 61 6C 6C 2E 6F 72 67 20 74 65 73 74 32 idoall.org test2 }
(i)我们再在m2的sink窗口中,启动sink:
flume-ng agent -c . -f /home/hadoop/flume-1.5.0-bin/conf/Flume_Sink_Processors_avro.conf -n a1 -Dflume.root.logger=INFO,console
(j)输入两批测试数据:
echo "idoall.org test3 failover" | nc localhost 5140 && echo "idoall.org test4 failover" | nc localhost 5140
(k)在m2的sink窗口,我们可以看到以下信息,因为优先级的关系,log消息会再次落到m2上:
Event: { headers:{Severity=0, flume.syslog.status=Invalid, Facility=0} body: 69 64 6F 61 6C 6C 2E 6F 72 67 20 74 65 73 74 33 idoall.org test3 }Event: { headers:{Severity=0, flume.syslog.status=Invalid, Facility=0} body: 69 64 6F 61 6C 6C 2E 6F 72 67 20 74 65 73 74 34 idoall.org test4 }
案例11:Load balancing Sink Processor load balance type和failover不同的地方是,load balance有两个配置,一个是轮询,一个是随机
两种情况下如果被选择的sink不可用,就会自动尝试发送到下一个可用的sink上面。
(a)在m1创建Load_balancing_Sink_Processors配置文件
vi /home/hadoop/flume-1.5.0-bin/conf/Load_balancing_Sink_Processors.confa1.sources = r1a1.sinks = k1 k2a1.channels = c1#这个是配置Load balancing的关键,需要有一个sink groupa1.sinkgroups = g1a1.sinkgroups.g1.sinks = k1 k2a1.sinkgroups.g1.processor.type= load_balancea1.sinkgroups.g1.processor.backoff = truea1.sinkgroups.g1.processor.selector = round_robin# Describe/configure the sourcea1.sources.r1.type= syslogtcpa1.sources.r1.port = 5140a1.sources.r1.channels = c1# Describe the sinka1.sinks.k1.type= avroa1.sinks.k1.channel = c1a1.sinks.k1.hostname= m1a1.sinks.k1.port = 5555a1.sinks.k2.type= avroa1.sinks.k2.channel = c1a1.sinks.k2.hostname= m2a1.sinks.k2.port = 5555# Use a channel which buffers events in memorya1.channels.c1.type= memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100
(b)在m1创建Load_balancing_Sink_Processors_avro配置文件
vi /home/hadoop/flume-1.5.0-bin/conf/Load_balancing_Sink_Processors_avro.confa1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type= avroa1.sources.r1.channels = c1a1.sources.r1.bind = 0.0.0.0a1.sources.r1.port = 5555# Describe the sinka1.sinks.k1.type= logger# Use a channel which buffers events in memorya1.channels.c1.type= memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1
(c)将2个配置文件复制到m2上一份
scp -r /home/hadoop/flume-1.5.0-bin/conf/Load_balancing_Sink_Processors.conf root@m2:/home/hadoop/flume-1.5.0-bin/conf/Load_balancing_Sink_Processors.confscp -r /home/hadoop/flume-1.5.0-bin/conf/Load_balancing_Sink_Processors_avro.conf root@m2:/home/hadoop/flume-1.5.0-bin/conf/Load_balancing_Sink_Processors_avro.conf
(d)打开4个窗口,在m1和m2上同时启动两个flume agent
flume-ng agent -c . -f /home/hadoop/flume-1.5.0-bin/conf/Load_balancing_Sink_Processors_avro.conf -n a1 -Dflume.root.logger=INFO,consoleflume-ng agent -c . -f /home/hadoop/flume-1.5.0-bin/conf/Load_balancing_Sink_Processors.conf -n a1 -Dflume.root.logger=INFO,console
(e)然后在m1或m2的任意一台机器上,测试产生log,一行一行输入,输入太快,容易落到一台机器上
echo "idoall.org test1" | nc localhost 5140echo "idoall.org test2" | nc localhost 5140echo "idoall.org test3" | nc localhost 5140echo "idoall.org test4" | nc localhost 5140
(f)在m1的sink窗口,可以看到以下信息:
Event: { headers:{Severity=0, flume.syslog.status=Invalid, Facility=0} body: 69 64 6F 61 6C 6C 2E 6F 72 67 20 74 65 73 74 32 idoall.org test2 }Event: { headers:{Severity=0, flume.syslog.status=Invalid, Facility=0} body: 69 64 6F 61 6C 6C 2E 6F 72 67 20 74 65 73 74 34 idoall.org test4 }
(g)在m2的sink窗口,可以看到以下信息:
Event: { headers:{Severity=0, flume.syslog.status=Invalid, Facility=0} body: 69 64 6F 61 6C 6C 2E 6F 72 67 20 74 65 73 74 31 idoall.org test1 }Event: { headers:{Severity=0, flume.syslog.status=Invalid, Facility=0} body: 69 64 6F 61 6C 6C 2E 6F 72 67 20 74 65 73 74 33 idoall.org test3 }
说明轮询模式起到了作用。
案例12:Hbase sink
(a)在测试之前,请先将hbase启动
(b)然后将以下文件复制到flume中:
cp/home/hadoop/hbase-0.96.2-hadoop2/lib/protobuf-java-2.5.0.jar /home/hadoop/flume-1.5.0-bin/libcp/home/hadoop/hbase-0.96.2-hadoop2/lib/hbase-client-0.96.2-hadoop2.jar /home/hadoop/flume-1.5.0-bin/libcp/home/hadoop/hbase-0.96.2-hadoop2/lib/hbase-common-0.96.2-hadoop2.jar /home/hadoop/flume-1.5.0-bin/libcp/home/hadoop/hbase-0.96.2-hadoop2/lib/hbase-protocol-0.96.2-hadoop2.jar /home/hadoop/flume-1.5.0-bin/libcp/home/hadoop/hbase-0.96.2-hadoop2/lib/hbase-server-0.96.2-hadoop2.jar /home/hadoop/flume-1.5.0-bin/libcp/home/hadoop/hbase-0.96.2-hadoop2/lib/hbase-hadoop2-compat-0.96.2-hadoop2.jar /home/hadoop/flume-1.5.0-bin/libcp/home/hadoop/hbase-0.96.2-hadoop2/lib/hbase-hadoop-compat-0.96.2-hadoop2.jar /home/hadoop/flume-1.5.0-bin/libcp/home/hadoop/hbase-0.96.2-hadoop2/lib/htrace-core-2.04.jar /home/hadoop/flume-1.5.0-bin/lib
(c)确保test_idoall_org表在hbase中已经存在。
(d)在m1创建hbase_simple配置文件
vi /home/hadoop/flume-1.5.0-bin/conf/hbase_simple.confa1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type= syslogtcpa1.sources.r1.port = 5140a1.sources.r1.host = localhosta1.sources.r1.channels = c1# Describe the sinka1.sinks.k1.type= loggera1.sinks.k1.type= hbasea1.sinks.k1.table = test_idoall_orga1.sinks.k1.columnFamily = namea1.sinks.k1.column = idoalla1.sinks.k1.serializer = org.apache.flume.sink.hbase.RegexHbaseEventSerializera1.sinks.k1.channel = memoryChannel# Use a channel which buffers events in memorya1.channels.c1.type= memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1
(e)启动flume agent
flume-ngagent -c . –f /home/hadoop/flume-1.5.0-bin/conf/hbase_simple.conf -n a1 -Dflume.root.logger=INFO,console
(f)测试产生syslog
echo "hello idoall.org from flume" | nc localhost 5140
(g)这时登录到hbase中,可以发现新数据已经插入
hbase shellhbase(main):001:0> listTABLE hbase2hive_idoall hive2hbase_idoall test_idoall_org=> ["hbase2hive_idoall","hive2hbase_idoall","test_idoall_org"]hbase(main):002:0> scan "test_idoall_org"hbase(main):004:0> quit
如有侵权,请告知!