ElK 8 收集 Nginx 日志

1. 说明

elk 版本：8.15.0

2. 启个 nginx

有 nginx 可以直接使用。我这里是在之前环境下 docker-compose.yml 中启动了个 nginx：

nginx:restart: alwaysimage: nginx:1.26.1ports:- "80:80"- "443:443"volumes:#- ./nginx/html:/usr/share/nginx/html- ./nginx/logs:/var/log/nginx#- ./nginx/certs:/etc/nginx/certs- ./nginx/conf/nginx.conf:/etc/nginx/nginx.conf- ./nginx/conf/conf.d:/etc/nginx/conf.d

刚开始如果没有 nginx 配置，可以先不映射配置目录和文件，先启动，然后 docker cp 把配置和目录拷贝出来，再挂载进去。

配置 nginx/conf/conf.d/default.conf：

#
upstream kibana_servers {server kibana:5601 weight=1 max_fails=3 fail_timeout=30s;
}server{listen 80;server_name localhost;# root /usr/local/nginx/html ;# rewrite ^(.*) https://$server_name$1 permanent;location / {proxy_pass http://kibana_servers/;proxy_set_header Host $host:$server_port;proxy_set_header X-Forwarded-Host $host:$server_port;proxy_set_header X-Forwarded-Server $host;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;proxy_set_header X-Forwarded-Proto $scheme;proxy_set_header X-Real-IP $remote_addr;proxy_connect_timeout  30s;proxy_read_timeout     90s;proxy_send_timeout     90s;client_max_body_size   50m;client_body_buffer_size 16k;  # 默认是 8k 或 16k，可以根据需要调整}
}

3. filebeat 接入到 es

根据指引 filebeat 直接接入到 es。
filebeat接入指引

filebeat 安装参考 《Docker compose 安装 ELK》中 “6. 安装 filebeat”。

filebeat 的目录下，设置 nginx 日志路径 modules.d/nginx.yml：

- module: nginx# Access logsaccess:enabled: true# Set custom paths for the log files. If left empty,# Filebeat will choose the paths depending on your OS.var.paths: ["/data/docker/elk/nginx/logs/access.log*"]# Error logserror:enabled: true# Set custom paths for the log files. If left empty,# Filebeat will choose the paths depending on your OS.var.paths: ["/data/docker/elk/nginx/logs/error.log*"]

主配置 filebeat.yml：

filebeat.config.modules:# Glob pattern for configuration loadingpath: ${path.config}/modules.d/*.ymloutput.elasticsearch:hosts: ["https://10.1.205.165:9200"]username: "filebeat_writer"password: "YOUR_PASSWORD"ssl:enabled: true# fingerprint=$(openssl x509 -fingerprint -sha256 -noout -in certs/ca/ca.crt | awk -F"=" '{print $2}' | sed 's/://g')ca_trusted_fingerprint: "33CB5A3B3ECCA59FDF7333D9XXXXXXXXFD34D5386FF9205AB8E1"# certs/ca 目录从 es 中拷过来certificate_authorities: ["certs/ca/ca.crt"]# output.logstash:
#   hosts: ["10.1.205.165:5044", "10.1.205.166:5044"]setup.kibana:host: "10.1.205.165:5601"logging.level: warning

Dev Tools 创建角色：

PUT /_security/role/filebeat_writer_role
{"cluster": ["monitor"],"indices": [{"names": ["filebeat*"],"privileges": ["create_doc","create","delete","index","write","all","auto_configure","manage"],"allow_restricted_indices": false}],"applications": [],"run_as": [],"metadata": {},"transient_metadata": {"enabled": true}
}

Dev Tools 创建用户：

POST /_security/user/filebeat_writer
{"password" : "YOUR_PASSWORD","roles" : [ "filebeat_writer_role" ],"full_name" : "Filebeat Writer","email" : "filebeat_writer@example.com","metadata" : {}
}

启用模块：

./filebeat modules enable nginx
./filebeat modules enable all-filesets#
./filebeat setup
./filebeat -e

成功后，在 kibana 的 nginx log dashboard 中可以看到数据
成功

4. filebeat 接入 logstash

主配置 filebeat.yml：

filebeat.config.modules:# Glob pattern for configuration loadingpath: ${path.config}/modules.d/*.yml# output.elasticsearch:
#   hosts: ["https://10.1.205.165:9200"]
#   username: "filebeat_internal"
#   password: "YOUR_PASSWORD"
#   ssl:
#     enabled: true
#     # fingerprint=$(openssl x509 -fingerprint -sha256 -noout -in certs/ca/ca.crt | awk -F"=" '{print $2}' | sed 's/://g')
#     ca_trusted_fingerprint: "33CB5A3B3ECCA59FDF7333D9XXXXXXXXFD34D5386FF9205AB8E1"
#     # certs/ca 目录从 es 中拷过来
#     certificate_authorities: ["certs/ca/ca.crt"]output.logstash:hosts: ["10.1.205.165:5044", "10.1.205.166:5044"]setup.kibana:host: "10.1.205.165:5601"logging.level: warning

有问题的配置我就不贴了，最终配置在下面，注释有说明解决问题的关键。
启动 filebeat 后，在 kibana Dev Tools 中查询：

GET filebeat-*/_search
{"size": 1,"sort": [{}]
}

结果发现 ingest pipeline 处理异常，经过一段时间排查，找到了 相同问题链接
问题
然后下面是最终的可用 Logstash Pipeline 设置 logstash/pipeline/filebeat.conf：

#
input {beats {port => 5044}
}filter {if [@metadata][pipeline] {# 这里解决上面 `[event][original]` 已存在问题ruby {code => "event.remove('[event][original]')"}} else if [log_type] == "k8s" {# 将嵌套字段提升为顶层字段mutate {rename => {"[kubernetes][namespace]" => "kubernetes_namespace""[kubernetes][node][name]" => "kubernetes_node_name""[kubernetes][pod][ip]" => "kubernetes_pod_ip""[kubernetes][pod][name]" => "kubernetes_pod_name""[container][runtime]" => "container_runtime"}}# 使用 prune 过滤器保留所需字段prune {whitelist_names => ["@timestamp", "log_type", "container_runtime", "kubernetes_namespace", "kubernetes_node_name", "kubernetes_pod_ip", "kubernetes_pod_name", "message"]}}
}output {if [@metadata][pipeline] {elasticsearch {hosts => ["https://es01:9200", "https://es02:9200", "https://es03:9200"]user => "logstash_writer"password => "logstash_password"ssl_enabled => truessl_certificate_authorities => "/usr/share/logstash/certs/ca/ca.crt"action => "create"pipeline => "%{[@metadata][pipeline]}"index => "%{[@metadata][beat]}-%{[@metadata][version]}"manage_template => false}} else if [log_type] == "k8s" {elasticsearch {hosts => ["https://es01:9200", "https://es02:9200", "https://es03:9200"]index => "k8s-%{+YYYY.MM.dd}"user => "logstash_writer"password => "logstash_password"ssl_enabled => truessl_certificate_authorities => "/usr/share/logstash/certs/ca/ca.crt"}} else {# 默认索引elasticsearch {hosts => ["https://es01:9200", "https://es02:9200", "https://es03:9200"]index => "logstash-%{+YYYY.MM.dd}"user => "logstash_writer"password => "logstash_password"ssl_enabled => truessl_certificate_authorities => "/usr/share/logstash/certs/ca/ca.crt"action => "create"manage_template => false}}
}

logstash 角色和用户权限同上面 filebeat 角色和用户。

5. 总结

Filebeat 收集 nginx、mysql 等日志，没有特别需求，最好直接接入 ES 中，少了一层 logstash 其实性能更好，问题也相对较少，官方文档推荐的。

参考资料：
[1] https://www.elastic.co/guide/en/logstash/8.15/use-ingest-pipelines.html
[2] https://www.elastic.co/guide/en/elasticsearch/reference/8.15/ingest.html
[3] https://www.elastic.co/guide/en/beats/filebeat/8.15/filebeat-installation-configuration.html
[4] https://discuss.elastic.co/t/aws-ingest-pipeline-error-in-processor-rename-message-to-event-original/341472/8
[5] https://www.elastic.co/guide/en/ecs-logging/overview/master/intro.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/879507.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【题解】—— LeetCode一周小结37

【题解】—— LeetCode一周小结37

🌟欢迎来到 我的博客 —— 探索技术的无限可能！ 🌟博客的简介（文章目录） 【题解】—— 每日一道题目栏 上接：【题解】—— LeetCode一周小结36 9.合并零之间的节点 题目链接：2181. 合并零之间…
阅读更多...
Unity实战案例全解析：PVZ 植物放置分析

Unity实战案例全解析：PVZ 植物放置分析

前篇：Unity实战案例全解析：PVZ 植物卡片状态分析-CSDN博客 植物应该如何从卡牌状态转为实物？ 其实就只需要考虑两个步骤加一个后续处理： 1.点击卡牌后就实例化 需要一个植物状态枚举，因为卡牌分为拿在手上和种植下…
阅读更多...
CS61C 2020计算机组成原理Lecture01-数字表示，溢出

CS61C 2020计算机组成原理Lecture01-数字表示，溢出

1. 原码 原码就是符号化的数值，其编码规则简单直观：正数符号位用0表示，负数符号位用1表示，数值位保持不变。 x0.1101，则[x]原0.1101；x1101，则[x]原01101x -0.1111，则[x]原1.1111&…
阅读更多...
Oracle从入门到放弃

Oracle从入门到放弃

Oracle从入门到放弃 左连接和右连接Where子查询单行子查询多行子查询 from子句的子查询select子句的子查询oracle分页序列序列的应用 索引PL/SQL变量声明与赋值select into 赋值变量属性类型 异常循环游标存储函数存储过程不带传出参数的存储过程带传出参数的存储过程 左连接和…
阅读更多...
opencv之Canny边缘检测

opencv之Canny边缘检测

文章目录 前言1.应用高斯滤波去除图像噪声2.计算梯度3.非极大值抑制4.应用双阈值确定边缘5.Canny函数及使用 前言 Canny边缘检测是一种流行的边缘检测算法，用于检测图像中的边缘。它通过一系列步骤将图像中的像素边缘突出显示出来，主要分为以下几个步骤…
阅读更多...
PCL 点云随机渲染颜色

PCL 点云随机渲染颜色

目录 一、概述 1.1原理 1.2实现步骤 1.3 应用场景 二、代码实现 2.1关键函数 2.2完整代码 三、实现效果 PCL点云算法汇总及实战案例汇总的目录地址链接： PCL点云算法与项目实战案例汇总（长期更新） 一、概述 本文将介绍如何使用PCL库…
阅读更多...
uniapp升级Vue3：避坑指南与步骤详解

uniapp升级Vue3：避坑指南与步骤详解

为什么要升级到 Vue3 Vue3 是 Vue.js 的最新版本，相比 Vue2，它带来了许多改进和新特性，比如更小的包体积、更好的性能、更强大的组合式 API 等。通过升级到 Vue3，我们可以享受到这些新特性带来的好处，提升项目的开发效…
阅读更多...
模拟视频推到WVP推流列表

模拟视频推到WVP推流列表

效果 1. wvp创建RTMP 2. 使用ffmpeg将本地的视频转为rtmp ffmpeg -re -i F:rtsp\123.mp4 -c copy -f flv rtmp://192.168.1.237:1935/cd/10001?sign=Z4Y3eYeSg
阅读更多...
计算机网络408考研 2022

计算机网络408考研 2022

https://zhuanlan.zhihu.com/p/695446866 1 1 1SDN代表软件定义网络。它是一种网络架构，旨在通过将网络控制平面从数据转发平面分离出来，从而实现网络的灵活性和可编程性。在SDN中，网络管理员可以通过集中式控制器 来动态管理网络流量&…
阅读更多...
Google高级应用

Google高级应用

网站管理员中心 Google Search Console 谷歌高级搜索：https://www.google.com.hk/advanced_search?hlzh-CN&fg1 基础语法 AND/强迫包含NOT/-除去相关内容~搜索同义词*取代所有字符.取代一个字符" "双引号 强调OR/|或条件搜索()查询分组 高级语…
阅读更多...
C#笔记10 Thread类怎么终止(Abort)和阻止(Join)线程

C#笔记10 Thread类怎么终止(Abort)和阻止(Join)线程

Thread类 C#笔记8 线程是什么？多线程怎么实现和操作？-CSDN博客 C#笔记9 对线程Thread的万字解读 小小多线程直接拿下！-CSDN博客 上次说过怎么简单的使用多线程，怎么创建多线程，但是没有具体分析它的终止和释放。 线…
阅读更多...
【乐吾乐大屏可视化组态编辑器】使用手册

【乐吾乐大屏可视化组态编辑器】使用手册

1 总览 开始设计：大屏可视化设计器 - 乐吾乐Le5le 1.1 画布 画布即绘画区域，将图形拖拽到画布进行编辑，绘制大屏。 1.2 菜单栏 顶部菜单导航，一级菜单可设置Logo、公司名称、文件编辑、常用编辑、查看、帮助，设置大…
阅读更多...
text2sql(NL2Sql)综述《The Dawn of Natural Language to SQL: Are We Fully Ready?》

text2sql(NL2Sql)综述《The Dawn of Natural Language to SQL: Are We Fully Ready?》

《The Dawn of Natural Language to SQL: Are We Fully Ready?》(github)出自2024年6月的NL2SQL(Natural language to SQL )综述论文。这篇论文尝试回答如下三个问题： 问题1:NL2SQL的现状是什么？(Q1:Where Are we Now?) 论文图1总结了近20年NL2SQL方法…
阅读更多...
Cyber Weekly #24

Cyber Weekly #24

赛博新闻 1、OpenAI发布最强模型o1 本周四（9月12日），OpenAI宣布推出OpenAIo1系列模型，标志着AI推理能力的新高度。o1系列包括性能强大的o1以及经济高效的o1-mini，适用于不同复杂度的推理任务。新模型在科学、编码、数…
阅读更多...
比亚迪电动汽车的市场占比太惊人

比亚迪电动汽车的市场占比太惊人

比亚迪（BYD）在中国电动汽车市场的崛起无疑是近年来最显著的现象之一。凭借其强大的技术整合、丰富的产品线以及价格优势，比亚迪已经迅速成为中国乃至全球电动汽车领域的领导者。在2024年，比亚迪的市场份额在中国汽车市场达到了惊人…
阅读更多...
SSHamble：一款针对SSH技术安全的研究与分析工具

SSHamble：一款针对SSH技术安全的研究与分析工具

关于SSHamble SSHamble是一款功能强大的SSH技术安全分析与研究工具，该工具基于Go语言开发，可以帮助广大研究人员更好地分析SSH相关的安全技术与缺陷问题。 功能介绍 SSHamble 是用于 SSH 实现的研究工具，其中包含下列功能： 1、针…
阅读更多...
MySQL练手题--公司和部门平均工资比较（困难）

MySQL练手题--公司和部门平均工资比较（困难）

一、准备工作 Create table If Not Exists Salary (id int, employee_id int, amount int, pay_date date); Create table If Not Exists Employee (employee_id int, department_id int); Truncate table Salary; insert into Salary (id, employee_id, amount, pay_date) va…
阅读更多...
危机中的机遇：客户服务在品牌危机管理中的角色与价值

危机中的机遇：客户服务在品牌危机管理中的角色与价值

在瞬息万变的商业环境中，品牌危机如同暗流涌动的漩涡，随时可能将企业卷入深渊。然而，正如古语所云：“祸兮福之所倚”，危机之中往往也蕴藏着转机与机遇。在这一过程中，客户服务作为企业与消费者之间的桥梁&a…
阅读更多...
各类元器件调试记录-E+H

各类元器件调试记录-E+H

一、EH压力传感器 适用型号为： Cerabar S PMC71, PMP71/75 Deltabar S FMD76/77/78, PMD70/75 Deltapilot S FMB70 调试过程：(后续补上图片) 一、湿标(湿调) 1、前提条件：罐体可以灌满和实际水箱水位高度 2、调试步骤： A、调节语…
阅读更多...
C++在Linux实现多线程和多进程的TCP服务器和客户端通信

C++在Linux实现多线程和多进程的TCP服务器和客户端通信

多进程版本 服务器 #include <arpa/inet.h> #include <stdlib.h> #include <stdio.h> #include <string.h> #include <unistd.h> #include <sys/socket.h> #include <sys/wait.h> #include <signal.h> #include <string&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023