filebeat
官方文档
配置文件 filebeat.yml
filebeat.inputs:# Each - is an input. Most options can be set at the input level, so
# you can use different inputs for various configurations.
# Below are the input specific configurations.- type: log# Change to true to enable this input configuration.enabled: true# Paths that should be crawled and fetched. Glob based paths.paths:- /var/log/testlog/*.log# 由于是入门，其他配置暂且忽略 ，将读取到的日志信息，输出给logstash
output.logstash:# The Logstash hostshosts: ["192.168.153.129:5044"]
启动filebeat
./filebeat -e -c filebeat.yml -d 'publish'
如果遇到下面的情况导致没法读取传输数据
INFO最近30秒钟内没有非零指标
我们可以删除注册表文件registry，注册表文件存储了Filebeat用来跟踪其最后读取位置的状态和位置信息
删除（备份）后，重启filebeat即可。
下边是正常工作
logstash
官网
第三方配置详解
常用的logstash正则表达式规则
logstash 可以对filebeat 发来的数据进行格式化或过滤，还可以发送给其他服务。
首先我们需要创建一个配置(在logstash 根目录)
vim kafka-config.conf
由于我们这个案例输出给的是kafka，所以我们需要基本配置一下
input {# 这是filebeat 发送数据接收的端口beats {port => "5044"}}output {# kafka的配置kafka {codec => jsontopic_id => "test-logstash"# kafka 所在的主机及端口bootstrap_servers => "192.168.201.209:9092"batch_size => 1}
}启动logstash
bin/logstash -f kafka-config.conf
kafka
创建测试 topic （最好在filebeat 和 logstash 启动前创建好，并启动kafka）
# 测试的kafka我是放在windows上的
kafka-topics.bat --create --bootstrap-server localhost:9092 --topic test-logstash
启动 kafka Tools ，查看数据
