Loki 微服务模式组件介绍

目录

一、简介

二、架构图

三、组件介绍

Distributor(分发器)

Ingester(存储器)

Querier(查询器)

Query Frontend(查询前端)

Index Gateway(索引网关)

Compactor(压缩器)

Table Manager(表管理器)

Ruler(规则引擎)

四、各组件协作流程

五、优势

一、简介

   Loki 是一个用于日志聚合和查询的系统,广泛用于 Kubernetes 和微服务架构中。Loki 的微服务模式将其核心功能拆分为多个独立的组件,每个组件专注于特定的任务。以下是 Loki 微服务模式下主要组件的功能和作用介绍:

二、架构图

三、组件介绍

Distributor(分发器)

功能:

  • 接收日志数据(通常通过 push 协议或 Promtail)。

  • 将日志数据分发到 Ingester 组件进行存储和处理。

  • 通过 hash-ring 算法,根据日志流的标签(labels)计算分区,并将数据路由到正确的 Ingester

作用:

  • 作为日志数据的入口,负责任务分配和路由。

  • 提供高可用性和水平扩展能力,允许多个 Distributor 节点同时运行。


Ingester(存储器)

功能:

  • 接收 Distributor 分发的日志数据。

  • 将日志数据暂时存储在内存中,并以分片的形式写入持久化存储(如对象存储)。

  • 处理读取请求并提供实时日志查询能力。

作用:

  • 实现日志的实时存储和处理。

  • 确保高吞吐量和低延迟的写入性能。

  • 负责将日志数据以批次的形式写入持久存储。


Querier(查询器)

功能:

  • 处理来自用户的查询请求(通过 Loki API 或 Grafana)。

  • Ingester 和持久化存储中读取日志数据。

  • 对日志数据进行过滤、聚合和返回。

作用:

  • 提供强大的查询功能(使用 LogQL)。

  • 同时支持实时日志查询(从 Ingester 获取)和历史日志查询(从对象存储获取)。


Query Frontend(查询前端)

功能:

  • 接收用户的查询请求,并将其分解为多个小查询任务。

  • 对查询任务进行缓存以提高性能。

  • 将查询任务分发到 Querier

作用:

  • 优化查询性能,尤其是复杂和大范围查询。

  • 提供请求分片、聚合以及缓存能力,减少 Querier 的工作负载。


Index Gateway(索引网关)

功能:

  • 管理和写入日志的索引数据到后端存储(如对象存储、Cassandra)。

  • 提供索引的读取能力,帮助快速定位日志。

作用:

  • 实现高效的日志索引存储和管理。

  • 减少日志查询的延迟,通过索引快速找到日志所在的存储位置。


Compactor(压缩器)

功能:

  • 定期从对象存储中读取分片的日志数据。

  • 对分片日志数据进行合并、去重和优化。

  • 写入优化后的数据回对象存储。

作用:

  • 优化日志数据的存储格式,降低存储成本。

  • 提升查询效率,通过压缩和去重减少查询的数据量。


Table Manager(表管理器)

功能:

  • 为存储后端(如 DynamoDB、Bigtable)管理表的生命周期。

  • 创建、删除和更新索引表。

作用:

  • 提供后端存储的表管理能力。

  • 确保索引表结构与 Loki 的存储需求匹配。


Ruler(规则引擎)

功能:

  • 基于日志数据定义和执行规则。

  • 触发警报规则或生成预聚合的日志查询结果。

作用:

  • 提供告警功能:允许基于日志数据的实时或周期性告警。

  • 支持基于 LogQL 的规则评估。


四、各组件协作流程

  1. 日志接入

    1. Distributor 接收日志数据,并通过标签分片分发给对应的 Ingester。

  2. 数据存储

    1. Ingester 将日志数据暂存内存,并定期将其写入对象存储。

    2. Index Gateway 管理日志索引,方便快速查询。

  3. 数据查询

    1. 用户通过 Loki 或 Grafana 发起查询请求。

    2. Query Frontend 接收请求并优化分片后发送给 Querier。

    3. Querier 从 Ingester(实时数据)或对象存储(历史数据)中读取日志并返回结果。

  4. 优化与维护

    1. Compactor 对存储中的日志数据进行合并和优化。

    2. Ruler 定期评估规则并触发告警。


五、优势

  • 模块化:每个组件独立运行,可单独扩展。

  • 高可用:各组件支持水平扩展,提供更高的吞吐量和容错能力。

  • 灵活性:可以根据需求调整组件的资源和部署策略。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/63705.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++ OpenGL学习笔记(1、Hello World空窗口程序)

终于抽出时间系统学习OpenGL 教程,同时也一步一步记录怎样利用openGL进行加速计算。 目录 1、环境准备1.1、库的下载1.2、库的选择及安装 2、OpenGL第一个项目,Hello World!2.1、新建hello world控制台项目2.2、配置openGL环境2.2.1 包含目录配置2.2.2 …

Linux系统命令基础

Linux命令⾏ [pypylinux ~]$ 普通⽤户py,登陆后 [rootpylinux ~]# 超级⽤户root,登录后root代表当前登录的⽤户 分隔符pylinux 主机名~ 当前的登录的位置,此时是家⽬录# 超级⽤户身份提示符 $ 普通⽤户身份提示符操作系统⽬录分隔符 Linux目录…

不同版本的 Redis 的键值对内存占用情况示例

不同版本的 Redis 的键值对内存占用情况示例 文章目录 不同版本的 Redis 的键值对内存占用情况示例Redis 6.0redisObjectdictEntrysds🍀 数据结构🍀 sdslen() 函数🍀 sdsReqType() 函数🍀 sdsHdrSize() 函数 内存分配 - malloc() …

实现 WebSocket 接入文心一言

目录 什么是 WebSocket? 为什么需要 WebSocket? HTTP 的局限性 WebSocket 的优势 总结:HTTP 和 WebSocket 的区别 WebSocket 的劣势 WebSocket 常见应用场景 WebSocket 握手过程 WebSocket 事件处理和生命周期 WebSocket 心跳机制 …

2024.7 XAI 遇见 LLM:可解释 AI 与大型语言模型之间关系的调查

https://arxiv.org/pdf/2407.15248 问题 Q1:XAI 技术当前如何与 LLMs 集成?Q2:将 LLMs 与 XAI 方法融合的新兴趋势是什么?Q3:当前相关文献存在哪些差距,哪些领域需要进一步研究? 挑战 LLMs …

RIP实验

要求及分析 路由器上分别配置环回 连接路由器的线路网段为12.1.1.0/24、23.1.1.1.0/24 R1和R3连接的网络地址分别为192.168.1.0/24/192.168.2.0/24 整个网络使用RIP达到全网可达 配置 先配置路由器各接口ip和环回和pc ip网关掩码(图略) 进行 RI…

Oracle 中间件 Webcenter Portal服务器环境搭建

环境信息 服务器基本信息 如下表,本次安装总共使用2台服务器,具体信息如下: Webcenter1服务器 归类 SOA服务器 Ip Address 172.xx.xx.xx.xx HostName wcc01.xxxxxx.com Alias wccprd01 Webcenter2服务器 归类 OSB服务器 Ip Addr…

macOS 配置 vscode 命令行启动

打开 vscode 使用 cmd shift p 组合快捷键,输入 install 点击 Install ‘code’ command in PATH Ref https://code.visualstudio.com/docs/setup/mac

分层架构 IM 系统之多媒体功能设计与实现

现在 IM 系统已经不仅限于文本消息的通讯了,多媒体数据占据越来越多的比重,比如:文件传输、语音通话、视频通话等。 在前面的文章(《基于需求分析模型来结构化剖析 IM 系统》)中我们分析过,“多媒体消息”…

0.gitlab ubuntu20.04 部署问题解决

安装依赖: ① sudo apt-get update 出现: 解决方式: 去 /etc/apt/sources.list.d 这个目录删除或注释对应的list文件 第三方软件的源一般都以list文件的方式放在 /etc/apt/sources.list.d 这个目录 重新运行sudo apt-get update 安装…

Next.js v15 - 服务器操作以及调用原理

约定 服务器操作是在服务器上执行的异步函数。它们可以在服务器组件和客户端组件中调用,用于处理 Next.js 应用程序中的表单提交和数据修改。 服务器操作可以通过 React 的 “use server” 指令定义。你可以将该指令放在 async 函数的顶部以将该函数标记为服务器操…

什么是3DEXPERIENCE SOLIDWORKS,它有哪些角色和功能?

将业界领先的 SOLIDWORKS 3D CAD 解决方案连接到基于单一云端产品开发环境 3DEXPERIENCE 平台。您的团队、数据和流程全部连接到一个平台进行高效的协作工作,从而能快速的做出更好的决策。 目 录: ★ 1 什么是3DEXPERIENCE SOLIDWORKS ★ 2 3DEXPERIE…

[Unity]【图形渲染】【游戏开发】Shader数学基础4-更多矢量运算

在计算机图形学和着色器编程中,矢量运算是核心的数学工具之一。矢量用于描述空间中的位置、方向、速度等各种物理量,并在图形变换、光照计算、纹理映射等方面起着至关重要的作用。本篇文章将详细讲解矢量和标量之间的乘法与除法、矢量的加法与减法、矢量的模与单位矢量、点积…

【漏洞复现】CVE-2023-37461 Arbitrary File Writing

漏洞信息 NVD - cve-2023-37461 Metersphere is an opensource testing framework. Files uploaded to Metersphere may define a belongType value with a relative path like ../../../../ which may cause metersphere to attempt to overwrite an existing file in the d…

Bcrypt在线密码加密生成器

具体前往:在线Bcrypt加密工具--使用bcrypt及生成salt的迭代次数强度参数计算生成哈希(摘要)

wxWidgets使用wxStyledTextCtrl(Scintilla编辑器)的正确姿势

开发CuteMySQL/CuteSqlite开源客户端的时候,需要使用Scintilla编辑器,来高亮显示SQL语句,作为C/C领域最成熟稳定又小巧的开源编辑器,Scintilla提供了强大的功能,wxWidgets对Scintilla进行包装后的是控件类:…

构建高性能异步任务引擎:FastAPI + Celery + Redis

在现代应用开发中,异步任务处理是一个常见的需求。无论是数据处理、图像生成,还是复杂的计算任务,异步执行都能显著提升系统的响应速度和吞吐量。今天,我们将通过一个实际项目,探索如何使用 FastAPI、Celery 和 Redis …

【win10+RAGFlow+Ollama】搭建本地大模型助手(教程+源码)

一、RAGFlow简介 RAGFlow是一个基于对文档深入理解的开源RAG(Retrieval-augmented Generation,检索增强生成)引擎。 主要作用: 让用户创建自有知识库,根据设定的参数对知识库中的文件进行切块处理,用户向大…

C/C++圣诞树

系列文章 序号直达链接1C/C爱心代码2C/C跳动的爱心3C/C李峋同款跳动的爱心代码4C/C满屏飘字表白代码5C/C大雪纷飞代码6C/C烟花代码7C/C黑客帝国同款字母雨8C/C樱花树代码9C/C奥特曼代码10C/C精美圣诞树11C/C俄罗斯方块12C/C贪吃蛇13C/C孤单又灿烂的神-鬼怪14C/C闪烁的爱心15C…

投标心态:如何在“标海战术”中保持清醒的头脑?

在竞争激烈的市场环境下,“标海战术”——即大规模参与投标——已经成为许多企业争取市场份额的重要策略。然而,盲目追求投标数量可能导致资源浪费、团队疲劳以及战略目标的模糊化。在这种高强度的竞争模式中,如何保持清醒的头脑,…