【Ubuntu】简洁高效企业级日志平台后起之秀Graylog

简介

Graylog 是一个用于集中式日志管理的开源平台。在现代数据驱动的环境中，我们需要处理来自各种设备、应用程序和操作系统的大量数据。Graylog提供了一种方法来聚合、组织和理解所有这些数据。它的核心功能包括流式标记、实时搜索、仪表板可视化、告警触发、内容包快速配置、索引设置、日志发射器管理和处理管道。

  1. 流（Streams）：流作为对传入消息进行标记的方法。它可以实时将消息路由到不同的类别，并使用规则指示Graylog将消息路由到适当的流中。

  2. 搜索（Search）：Graylog提供了一个搜索页面，可以直接搜索日志。使用类似于Lucene的简化语法，用户可以从下拉菜单中配置相对或绝对的时间范围。搜索结果可以保存，也可以作为仪表板小部件进行可视化，从搜索界面直接添加到仪表板中。

  3. 仪表板（Dashboards）：仪表板是对日志事件中包含的信息进行可视化或摘要的方式。每个仪表板由一个或多个小部件组成，通过使用字段值生成数据来可视化或摘要事件日志数据，如计数、平均值或总数。用户可以创建指标、图表、图形和地图来更直观地呈现数据。

  4. 告警（Alerts）：通过事件定义和条件创建告警。当特定条件满足时，将其存储为事件，并触发通知。

  5. 内容包（Content Packs）：内容包可以加速特定数据源的设置过程。它可以包含输入/提取器、流、仪表板、告警和处理管道。例如，用户可以为支持安全用例创建自定义输入、流、仪表板和告警。然后，将内容包导出，并在新安装的Graylog实例上导入，以便节省配置时间和工作量。

  6. 索引（Indexes）：索引是OpenSearch和Elasticsearch中存储数据的基本单位。索引集提供了保留、分片和复制等存储数据的配置选项。通过在每个索引上设置值，如保留和轮换策略，可以对不同的数据应用不同的处理规则。

  7. Graylog Sidecar：Graylog Sidecar是一种管理日志发射器（如Beats或NXLog）的代理工具。这些日志发射器用于收集Linux和Windows服务器的操作系统日志。日志发射器读取本地日志文件，然后将其发送到集中式日志管理解决方案。Graylog支持管理任何日志发射器作为后端。

  8. 处理管道（Processing Pipelines）：Graylog的处理管道允许用户对特定类型的事件运行规则或一系列规则。通过与流关联，管道可实现消息的路由、拒绝列表、修改和丰富，提高数据处理的灵活性。

通过这些核心功能，Graylog提供了强大而灵活的工具来帮助用户收集、解析和分析日志数据，从而发现问题并做出相应决策。无论是小型企业还是大型组织，Graylog都为日志管理提供了全面可靠的解决方案。

Graylog最简架构

Graylog基于把日志存储在数据节点、使用Elasticsearch或OpenSearch作为搜索引擎来提供强大的日志管理和分析功能。

  • Graylog服务器
    Graylog服务器是Graylog架构中的核心组件，它通过与数据节点交互，为用户提供一个简化的数据访问和搜索接口。用户可以通过Graylog服务器提交搜索查询，而无需直接与数据节点进行交互，从而极大地简化了数据的访问和处理过程。
  • 数据节点
    日志数据存储在数据节点中，其中可以使用Elasticsearch或OpenSearch作为存储引擎。这两个开源搜索引擎具备强大的索引和搜索能力，使用户能够高效地查询和分析大量的日志数据。Graylog 5.1仅支持Elasticsearch的7.10.2版本！我们建议您使用OpenSearch 2.5作为数据节点以支持Graylog 5.1。
  • MongoDB
    MongoDB用于存储元数据，如用户信息和流配置。这些数据并不包含实际的日志数据，因此对系统性能影响较小。MongoDB运行在Graylog服务器进程旁边，占用的磁盘空间很小。
    在这里插入图片描述

之前的文章中【Graylog之最小化部署安装（Ubuntu 22.04）】有介绍如何在Ubuntu 22.04上最小化安装Graylog，这次我们换成在Docker中最小化来部署Garylog，同时我们也将原来的Elasticsearch换成了OpenSearch。

部署

主机设置

在启动 OpenSearch 之前，您应该查看一些重要的系统设置，这些设置可以影响服务的性能。

  • 关闭主机上的内存分页和交换以提高性能。
 sudo swapoff -a
  • 增加 OpenSearch 可用的内存映射数量。
# 检查 sysctl.conf 文件中是否已经存在 vm.max_map_count 设置
if grep -q "vm.max_map_count" /etc/sysctl.conf; then# 如果已存在设置，则使用 sed 命令将其修改为 262144sudo sed -i 's/vm.max_map_count.*/vm.max_map_count=262144/' /etc/sysctl.conf
else# 如果不存在设置，则在文件末尾添加新的设置echo "vm.max_map_count=262144" | sudo tee -a /etc/sysctl.conf
fi# 重新加载内核参数
sudo sysctl -p# 通过检查值来验证更改是否已应用
cat /proc/sys/vm/max_map_count

拉取如下三个镜像

docker pull mongo
docker pull opensearchproject/opensearch:latest
docker pull graylog/graylog:5.1

编辑Docker Compose文件并启动

version: '3'
services:mongo:image: mongorestart: alwaysvolumes:- mongo_data:/data/dbnetworks:- graylog-netopensearch:image: opensearchproject/opensearch:latestrestart: alwaysenvironment:- cluster.name=graylog- node.name=opensearch- discovery.type=single-node- network.host=0.0.0.0- action.auto_create_index=false- plugins.security.disabled=true- "OPENSEARCH_JAVA_OPTS=-Xms1g -Xmx1g"ulimits:memlock:soft: -1hard: -1nofile:soft: 65536hard: 65536volumes:- opensearch_data:/usr/share/opensearch/datanetworks:- graylog-netgraylog:image: graylog/graylog:5.1restart: alwaysenvironment:- GRAYLOG_PASSWORD_SECRET=GrayLog@12345678- GRAYLOG_ROOT_PASSWORD_SHA2=8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918- GRAYLOG_HTTP_EXTERNAL_URI=http://127.0.0.1:9000/- GRAYLOG_TRANSPORT_EMAIL_ENABLED=true- GRAYLOG_TRANSPORT_EMAIL_HOSTNAME=smtp.tech.com- GRAYLOG_TRANSPORT_EMAIL_PORT=25- GRAYLOG_TRANSPORT_EMAIL_USE_AUTH=false- GRAYLOG_TRANSPORT_EMAIL_USE_TLS=false- GRAYLOG_TRANSPORT_EMAIL_USE_SSL=false- GRAYLOG_ELASTICSEARCH_HOSTS=http://opensearch:9200- GRAYLOG_ROOT_TIMEZONE=Asia/Shanghaientrypoint: /usr/bin/tini -- wait-for-it opensearch:9200 --  /docker-entrypoint.shnetworks:- graylog-netdepends_on:- mongo- opensearchports:- 9000:9000- 1514:1514- 1514:1514/udp- 2055:2055volumes:- graylog_data:/usr/share/graylog/data- /etc/timezone:/etc/timezone- /etc/localtime:/etc/localtime
volumes:mongo_data:driver: localopensearch_data:driver: localgraylog_data:driver: local
networks:graylog-net:

以上主要定义了三个服务：MongoDB、OpenSearch和Graylog，并设置了它们的相关配置。
MongoDB服务使用mongo镜像，设置了持续重启（restart: always）。它将/data/db目录挂载为mongo_data卷，并与graylog-net网络关联。
OpenSearch服务使用opensearchproject/opensearch:latest镜像，同样设置了持续重启。它定义了一系列环境变量用于配置OpenSearch，包括集群名称、节点名称、发现类型、网络主机、禁用安全插件等等。此外，还设置了内存锁定和文件打开限制等系统限制。/usr/share/opensearch/data目录被挂载为opensearch_data卷，并与graylog-net网络关联。
Graylog服务使用graylog/graylog:5.1镜像，同样设置了持续重启。它定义了一系列环境变量来配置Graylog，包括密码密钥、根密码哈希、HTTP外部URI、电子邮件传输配置、OpenSearch主机等等。入口点是/usr/bin/tini -- wait-for-it opensearch:9200 -- /docker-entrypoint.sh，它在启动Graylog之前将等待OpenSearch服务就绪。Graylog服务与graylog-net网络关联，并依赖于MongoDB和OpenSearch服务。端口映射包括9000用于Web界面、1514和2055用于接收日志数据。关于Graylog的一系列环境变量都可以通过环境变量进行设置。只需将参数名称以GRAYLOG_为前缀，并全部使用大写字母。具体配置参考【service.conf】。

另外，该docker-compose.yml文件定义了三个卷：mongo_data、opensearch_data和graylog_data，它们分别用于持久化存储MongoDB、OpenSearch和Graylog的数据。
最后，定义了一个名为graylog-net的网络，用于连接MongoDB、OpenSearch和Graylog服务。
请注意，您需要根据您自己的配置和需求进行适当的更改，例如更改密码、主机名、网络配置等。保存并命名为docker-compose.yml文件，然后在包含该文件的目录中运行以下命令启动这三个服务：

docker-compose up -d

这将启动MongoDB、OpenSearch和Graylog服务，并您可以通过访问http://hostip:9000/来访问Graylog的Web界面。以上YML文件中定义的默认用户名密码为 admin/admin
在这里插入图片描述

Reference:
[1] https://opensearch.org/docs/latest/install-and-configure/install-opensearch/docker/
[2] https://go2docs.graylog.org/5-0/setting_up_graylog/server.conf.html
[3] https://www.joda.org/joda-time/timezones.html
[4] https://go2docs.graylog.org/5-1/downloading_and_installing_graylog/docker_installation.htm
[5] https://hub.docker.com/r/graylog/graylog
[6] https://hub.docker.com/r/opensearchproject/opensearch
[7] https://hub.docker.com/_/mongo

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/44407.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

IDEA开发项目时一直出现http404错误的解决方法

IDEA开发项目时一直出现http404错误的解决方法

系列文章目录 安装cv2库时出现错误的一般解决方法_cv2库安装失败 SQL＞ conn sys/root as sysdbaERROR:ORA-12560: TNS: 协议适配器错误的解决方案 虚拟机启动时出现“已启用侧通道缓解”的解决方法 Hypervisor launch failed； Processor does not pr…
阅读更多...
Component name “Home“ should always be multi-word

Component name “Home“ should always be multi-word

错误 解决方案 在根目录找到eslintrc.js文件，配置关闭名称的校验，在该文件中，找到rules进行配置，如下代码： rules: {vue/multi-word-component-names: off, // 关闭名称校验}
阅读更多...
VScode替换cmd powershell为git bash 终端，并设置为默认

VScode替换cmd powershell为git bash 终端，并设置为默认

效果图 步骤 1. 解决VScode缺少git bash的问题_failed to start bash - is git-bash.exe on the syst_Rudon滨海渔村的博客-CSDN博客效果解决步骤找到git安装目录下的/bin/bash.exe，复制其绝对路径，例如D:\Program Files\Git\bin\bash.exe把路径的右斜…
阅读更多...
.netcore grpc身份验证和授权

.netcore grpc身份验证和授权

一、鉴权和授权（grpc专栏结束后会开启鉴权授权专栏欢迎大家关注） 权限认证这里使用IdentityServer4配合JWT进行认证通过AddAuthentication和AddAuthorization方法进行鉴权授权注入；通过UseAuthentication和UseAuthorization启用鉴权授权增加…
阅读更多...
搭建私有镜像仓库Harbor

搭建私有镜像仓库Harbor

目录 系统环境： 安装Docker-Compose 下载并安装Harber 启动Harbor！！！ 系统环境： Centos7.9Docker-ce:24 安装Docker-Compose curl -L "https://github.com/docker/compose/releases/download/v2.20…
阅读更多...
Android音视频剪辑器自定义View实战！

Android音视频剪辑器自定义View实战！

Android音视频剪辑器自定义View实战！ - 掘金 /*** Created by zhouxuming on 2023/3/30** descr 音视频剪辑器*/ public class AudioViewEditor extends View {//进度文本显示格式-数字格式public static final int HINT_FORMAT_NUMBER 0;//进度文本显示格式-时间…
阅读更多...
[PyTorch][chapter 52][迁移学习]

[PyTorch][chapter 52][迁移学习]

前言： 迁移学习（Transfer Learning）是一种机器学习方法，它通过将一个领域中的知识和经验迁移到另一个相关领域中，来加速和改进新领域的学习和解决问题的能力。 这里面主要结合前面ResNet18 例子，详细讲解一…
阅读更多...
linux:Temporary failure in name resolutionCouldn’t resolve host

linux:Temporary failure in name resolutionCouldn’t resolve host

所有域名无法正常解析。 ping www.baidu.com 等域名提示 Temporary failure in name resolution错误。 rootlocalhost:~# ping www.baidu.com ping: www.baidu.com: Temporary failure in name resolution rootlocalhost:~# 一、ubuntu/debian（emporary failure i…
阅读更多...
云原生反模式

云原生反模式

通过了解这些反模式并遵循云原生最佳实践，您可以设计、构建和运营更加强大、可扩展和成本效益高的云原生应用程序。 1.单体架构：在云上运行一个大而紧密耦合的应用程序，妨碍了可扩展性和敏捷性。2.忽略成本优化：云服务可能昂贵&am…
阅读更多...
发布一个开源的新闻api(整理后就开源)

发布一个开源的新闻api(整理后就开源)

目录 说明: 基础说明 其他说明: 通用接口： 登录: 注册: 更改密码(需要token) 更换头像(需要token) 获取用户列表(需要token): 上传文件(5000端口): 获取文件(5000端口)源码文件，db文件均不能获取: 验证token(需要token): 获取系统时间: 文件…
阅读更多...
AlexNet阅读笔记

AlexNet阅读笔记

ImageNet classification with deep convolutional neural networks 原文链接：https://dl.acm.org/doi/abs/10.1145/3065386 中文翻译：https://blog.csdn.net/qq_38473254/article/details/132307508 使用深度卷积神经网络进行 ImageNet 分类 摘要 大…
阅读更多...
【Redis】Redisson分布式锁原理与使用

【Redis】Redisson分布式锁原理与使用

【Redis】Redisson分布式锁原理与使用 什么是Redisson？ Redisson - 是一个高级的分布式协调Redis客服端，能帮助用户在分布式环境中轻松实现一些Java的对象，Redisson、Jedis、Lettuce 是三个不同的操作 Redis 的客户端，Jedis、Le…
阅读更多...
【Golang系统开发】搜索引擎(3) 压缩倒排索引表

【Golang系统开发】搜索引擎(3) 压缩倒排索引表

写在前面 假设我们的数据集中有 800000 篇文章，每篇文章有 200 词条，每个词条有6个字符，倒排记录数目是 1 亿。那么如果我们倒排索引表中单单记录文档id，不记录文档内的频率和偏移信息。 那么 文档id 的长度就必须是 l o g 2 8…
阅读更多...
【不带权重的TOPSIS模型详解】——数学建模

【不带权重的TOPSIS模型详解】——数学建模

目录索引 定义：问题引入：不合理之处：进行修改： 指标分类：指标正向化：极小型指标正向化公式：中间型指标正向化公式：区间型指标正向化公式： 标准化处理(消去单位)&#xff…
阅读更多...
基于Java/springboot铁路物流数据平台的设计与实现

基于Java/springboot铁路物流数据平台的设计与实现

摘要 随着科学技术的飞速发展，社会的方方面面、各行各业都在努力与现代的先进技术接轨，通过科技手段来提高自身的优势，铁路物流数据平台当然也不能排除在外，从文档信息、铁路设计的统计和分析，在过程中会产生大量的、各…
阅读更多...
浙大数据结构第八周之08-图7 公路村村通

浙大数据结构第八周之08-图7 公路村村通

题目详情： 现有村落间道路的统计数据表中，列出了有可能建设成标准公路的若干条道路的成本，求使每个村落都有公路连通所需要的最低成本。 输入格式: 输入数据包括城镇数目正整数N（≤1000）和候选道路数目M&#xff08…
阅读更多...
【C++】模板进阶

【C++】模板进阶

🌇个人主页：平凡的小苏 📚学习格言：命运给你一个低的起点，是想看你精彩的翻盘，而不是让你自甘堕落，脚下的路虽然难走，但我还能走，比起向阳而生，我更想尝试逆风…
阅读更多...
华为PPPOE配置实验

华为PPPOE配置实验

华为PPPOE配置实验 网络拓扑图拓扑说明电信ISP设备配置用户拨号路由器配置查看是否拨上号是否看不懂？ 看不懂就对了，只是记录一下命令。至于所有原理，等想写了再写 网络拓扑图 拓扑说明 用户路由器用于模拟家用拨号路由器，该设备…
阅读更多...
最新AI系统ChatGPT程序源码/支持GPT4/自定义训练知识库/GPT联网/支持ai绘画(Midjourney)+Dall-E2绘画/支持MJ以图生图

最新AI系统ChatGPT程序源码/支持GPT4/自定义训练知识库/GPT联网/支持ai绘画(Midjourney)+Dall-E2绘画/支持MJ以图生图

一、前言 SparkAi系统是基于国外很火的ChatGPT进行开发的Ai智能问答系统。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。 那么如何搭建部署AI创作ChatGPT？小编这里写一个详细图文教程吧&#xff01…
阅读更多...
自动执行探索性数据分析 （EDA），更快、更轻松地理解数据

自动执行探索性数据分析 （EDA），更快、更轻松地理解数据

一、说明 EDA是 exploratory data analysis (探索性数据分析 )的缩写。所谓EDA就是在数据分析之前需要对数据进行以此系统性研判，在这个研判后，得到基本的数据先验知识，在这个基础上进行数据分析。本文将在R语言和python语言的探索性处理。 摄…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023