消息中间件之RocketMQ源码分析(十八)

Broker CommitLog索引机制中的构建过程

1.创建ConsumeQueue和IndexFile。

ConsumeQueue和IndexFile两个索引都是由ReputMessageService类创建的
RequestMessageService类图
在这里插入图片描述
ReputMessageService服务启动后的执行过程。
doReput()方法用于创建索引的入口,通常通过以下几个步骤来创建索引:
在这里插入图片描述

  • 第一步:从CommitLog中查找未创建索引的消息,将消息组装成DispatchRequest对象.该逻辑主要在
    CommitLog.checkMesageAndReturnSize()方法中实现
    在这里插入图片描述
  • 第二步:调用doDispatch()方法,该方法会循环多个索引处理器(这里初始化了
    CommitLogDispatcherBuildConsumeQueue和CommitLogDispatcherBuildIndex两个索引处理器)
    并调用索引处理器的dispatch()方法来处理DispatchRequest

CommitLogDispatcherBuildConsumeQueue索引处理器用于构建ConsumeQueue,CommitLogDispatcherBuildIndex用于构建IndexFile
ConsumeQueue是必须创建的,IndexFile是否需要创建则是通过设置messageIndexEnable为True或False来实现的,默认为True.ConsumeQueue的索引信息被保存到PageCache后,其持久化的过程和CommitLog异步刷盘的过程类似,执行DefaultMessageStore.FlushConsumeQueueService服务
在这里插入图片描述

索引创建失败怎么办?

如果消息写入CommitLog后Broker宕机了,那么ConsumeQueue和IndexFile索引肯定就创建失败了,
此时ReputMessageService如何保证创建索引的可靠性呢?
ConsumeQueue和IndexFile每次刷盘时都会做Checkpoint操作,Broker每次重启的时候可以根据Checkpoint信息得知哪些消息还未创建索引,

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/704215.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

运用工具Postman快速导出python接口测试脚本

Postman的脚本可以导出多种语言的脚本,方便二次维护开发。 Python的requests库,支持python2和python3,用于发送http/https请求 使用unittest进行接口自动化测试 一、环境准备 1、安装python(使用python2或3都可以)…

【数据结构与算法】常用算法 前缀和

🎉🎉欢迎光临🎉🎉 🏅我是苏泽,一位对技术充满热情的探索者和分享者。🚀🚀 🌟特别推荐给大家我的最新专栏《数据结构与算法:初学者入门指南》📘&am…

离散数学——树思维导图

离散数学——树思维导图 文章目录 前言内容大纲参考 前言 这是当初学习离散数学时整理的笔记大纲,其中包含了自己对于一些知识点的体悟。现将其放在这里作为备份,也希望能够对你有所帮助。 当初记录这些笔记只是为了在复习时更快地找到对应的知识点。…

Cubase学习:Cubase高效技巧,快速复制,快速写音符

1小节后再写 写歌时,建议在第3小节开始写。 快速复制 可以选中后CtrlD,进行快速的复制粘贴。 快速写音符 先是切换到选择状态,按Alt时写音符,松开时回到选择状态。 写一个音时,先确定是哪个区域的,再…

Python爬虫之极验滑动验证码的识别

极验滑动验证码的识别 上节我们了解了可以直接利用 tesserocr 来识别简单的图形验证码。近几年出现了一些新型验证码,其中比较有代表性的就是极验验证码,它需要拖动拼合滑块才可以完成验证,相对图形验证码来说识别难度上升了几个等级。本节将…

MinIO搭建指南:构建高性能的私有云存储服务

MinIO搭建指南:构建高性能的私有云存储服务 摘要:本文将指导您一步步搭建MinIO,一个高性能的开源对象存储服务,用于构建私有云存储解决方案。我们将介绍MinIO的基本概念、安装配置、以及如何与应用程序集成。 一、MinIO简介 Mi…

如何在Linux部署Portainer并结合内网穿透远程管理本地Docker容器

文章目录 前言1. 部署Portainer2. 本地访问Portainer3. Linux 安装cpolar4. 配置Portainer 公网访问地址5. 公网远程访问Portainer6. 固定Portainer公网地址 前言 Portainer 是一个轻量级的容器管理工具,可以通过 Web 界面对 Docker 容器进行管理和监控。它提供了可…

数据分析---Python与sql

目录 Python的pandas,如何实现SQL中的leftjoinPython的pandas,如何实现SQL中的unionPython的pandas,如何实现类似SQL中的where进行限制Python的pandas,如和实现SQL中的group byPython的pandas,如何删除某一列Python的pandas,如何实现SQL中的leftjoin 在Python的pandas库中…

[C++]std::function用法

从函数指针到std::function 函数指针的作用大家应该十分熟悉,它使得我们可以把函数当成参数传递。在C语言中,这种方法几乎非常完美,可以实现基本上所有的传递函数的操作。但是在C中,由于仿函数的出现,C语言中的函数指针…

python装饰器@runWithTry的解析

出发点: 在函数的开始位置有时会看到runWithTry的字样,这样的好处是什么呢? 解析: Python 装饰器,用于包装一个函数,可能为了提供异常处理、日志记录、性能监测等额外功能。在 Python 中,装饰…

如何选择使用哪种剪枝方法?

确定使用哪种剪枝方法通常需要考虑多个因素,包括你的模型类型、任务类型、数据集特性以及训练资源。以下是一些指导原则: 模型类型: 决策树: 对于决策树,可以考虑使用预剪枝或后剪枝。预剪枝通常在构建树的过程中根据节点属性进行判断,而后剪枝则在树已构建完成后根据一些…

用c# 自己封装的Modbus工具类库源码

前言 Modbus通讯协议在工控行业的应用是很多的,并且也是上位机开发的基本技能之一。相关的类库也很多也很好用。以前只负责用,对其并没有深入学习和了解。前段时间有点空就在这块挖了挖。想做到知其然还要知其所以然。所以就有了自己封装的Modbus工具类库…

Mysql 常用数据类型

数值型(整数)的基本使用 如何定义一个无符号的整数 数值型(bit)的使用 数值型(小数)的基本使用 字符串的基本使用 字符串使用细节 日期类型的基本使用

前缀和算法

一、简析前缀和 有一系列元素 A [ a 0 , a 1 , . . . , a n , . . . ] A[a_0,~a_1,~...,~a_n,~...] A[a0​, a1​, ..., an​, ...],前缀和 p r e _ s u m [ n ] A [ 0 ] A [ 1 ] ⋅ ⋅ ⋅ A [ n ] pre\_sum[n]A[0]A[1]A[n] pre_sum[n]A[0]A[1]⋅⋅⋅A[n]。 …

Orange3数据预处理(列选择组件)数据角色及类型描述

在Orange3的文件组件中,datetime、categorical、numeric以及text代表不同种类的数据类型,具体如下: datetime:代表日期和时间类型的数据。通常用于时间序列分析、生存分析和其他需要考虑时间因素的机器学习任务中。例如&#xff0…

图像读取裁剪与人脸识别

图像读取 Image read ⇒ \Rightarrow ⇒ torchvision.datasets from torchvision import datasets dataset datasets.ImageFolder(data_dir, transformtransforms.Resize((512, 512)))Return value illustration dataset[0][0]是PIL.Image objects,这利用IPyth…

小红书关键词爬虫

标题 1 统计要收集的关键词,制作一个文件夹2 爬取每一页的内容3 爬取标题和内容4 如果内容可以被查看,爬取评论内容5 将结果进行汇总,并且每个帖子保存为一个json文件,具体内容6 总结1 统计要收集的关键词,制作一个文件夹 例如,我要收集旅游相关的,就收集: 旅游、旅行…

模型训练基本结构

project_name/ │ ├── data/ │ ├── raw/ # 存放原始数据 │ ├── processed/ # 存放预处理后的数据 │ └── splits/ # 存放数据集划分(训练集、验证集、测试集等) │ ├── noteboo…

关系型数据库事务的四性ACID:原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)和持久性(Durability)

关系型数据库事务的四性ACID:原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)和持久性(Durability) 事务的四性通常指的是数据库事务的ACID属性,包括原子性&…

Python从入门到精通指南【第101篇—入门到精通】【文末送书-24】

文章目录 Python从入门到精通指南第一步:入门基础1.1 安装Python1.2 Hello World1.3 变量和数据类型1.4 控制流程 第二步:深入学习2.1 函数和模块2.2 列表、元组和字典2.3 文件操作 第三步:高级主题3.1 面向对象编程3.2 异常处理3.3 正则表达…