fluentd主从配置

       fluentd是一个免费的、完全开源的日志管理工具，可以对日志进行收集、处理、存储。对于一些高流量的网站或者特殊的架构，需要fluentd高可用配置。

       以下是在测试环境搭建模拟fluentd主从配置，模拟主从切换。

 

服务器	服务
192.168.199.1	elasticsearch
192.168.199.2	kafka
192.168.199.3	fluentd（主）
192.168.199.4	fluentd（备）

fluentd（主）配置

<source>
  @type kafka_group
  brokers 192.168.199.2:9092
  consumer_group testlog
  topics testlog
  format json
  message_key message
  add_prefix test
</source>
<match test.testlog>
  type elasticsearch
  hosts 192.168.199.1:9200
  reload_connections false
  time_key_format %Y-%m-%dT%H:%M:%S.%N%z
  logstash_format true
  logstash_prefix testlog
  utc_index true
  include_tag_key true
</match>
<source>
  @type forward
  port 24224
</source>
<source>
  @type http
  port 8888
</source>
<match mytag.test>
  @type forward
 <server>
    host 192.168.199.3
    port 24224
 </server>
 <server>
    host 192.168.199.4
    port 24224
    standby
 </server>
 flush_interval 60s
</match>

fluentd（备）配置

<source>
  @type kafka_group
  brokers 192.168.199.2:9092
  consumer_group testlog
  topics testlog
  format json
  message_key message
  add_prefix test
</source>
<match test.testlog>
  type elasticsearch
  hosts 192.168.199.1:9200
  reload_connections false
  time_key_format %Y-%m-%dT%H:%M:%S.%N%z
  logstash_format true
  logstash_prefix testlog
  utc_index true
  include_tag_key true
</match>
<source>
  @type forward
  port 24224
</source>
<match mytag.test>
  @type forward
 <server>
    host 192.168.199.3
    port 24224
 </server>
 <server>
    host 192.168.199.4
    port 24224
    standby
 </server>
 flush_interval 60s
</match>

 

故障模拟：
   1.按主备顺序启动，查看日志，主节点日志会提示监听本地24224端口，并连接ES；备节点日志会提示监听本地24224端口
   2.模拟主宕（停止服务），备节点日志会提示独立代理服务器（主），使用备节点，连接ES。
   3.当主节点恢复之后，备节点过一段时间（大概十分钟左右），备节点日志提示主服务恢复，主节点日志会提示监听本地24224端口。

 fluentd主备依次启动后,显示日志如下：

主日志：
2017-12-08 14:07:29 +0800 [info]: listening fluent socket on 0.0.0.0:24224
2017-12-08 14:08:30 +0800 [info]: Connection opened to Elasticsearch cluster => {:host=>"192.168.199.1", :port=>9200, :scheme=>"http"}

备日志：
2017-12-08 14:07:40 +0800 [info]: listening fluent socket on 0.0.0.0:24224

 模拟将主节点宕掉，备节点会显示如下日志：

2017-12-08 14:13:39 +0800 [warn]: detached forwarding server '192.168.199.3:24224' host="192.168.199.3" port=24224 phi=16.068447980484642
2017-12-08 14:13:39 +0800 [warn]: using standby node 192.168.199.4:24224 weight=60
2017-12-08 14:14:41 +0800 [info]: Connection opened to Elasticsearch cluster => {:host=>"192.168.199.1", :port=>9200, :scheme=>"http"} 

 当主节点恢复后，备节点会显示如下日志：

2017-12-08 14:20:38 +0800 [warn]: recovered forwarding server '192.168.199.3:24224' host="192.168.199.3" port=24224

 

主备流程架构图：

 

 具体可参考：https://docs.fluentd.org/v0.12/articles/high-availability