Kafka中的时间轮算法

1. Kafka与时间轮:

        Kafka的定时器底层使用时间轮算法。Kafka时间轮是层次时间轮,并且支持时间轮复用。

优点:

  • 高效的插入操作:
    • 时间轮底层数据结构(桶),使用双向链表的设计使得插入操作的时间复杂度达到O(1)。
    • 把相同到期时间的任务放到桶中,在DQ中只插入一次。
  • 层级时间轮,时间轮有升降级机制。
  • 复用过期时间格。

优秀文章:

Kafka如何通过层级时间轮实现延时消息队列?_kafka基于时间轮如何实现延迟队列-CSDN博客 -> 非常不错的文章

时间轮(TimingWheel)-CSDN博客 -> 使用图例方式演示

2. Kafka时间轮(TimingWheel)算法:

  • 时间轮的算法思想可以通过我们日常生活中的钟表来理解。
  • 一个存储定时任务的环形队列。底层采用数组实现,数组中的每个元素存放一个定时任务列表(TimerTaskList)。
  • 定时任务列表是一个环形的双向链表,链表中的每一项表示一个定时任务项(TimerTaskEntry),其中封装了真正的定时任务(TimerTask)。

3. Kafka如何支持大跨度的定时任务呢?

两种解决方案:使用增加轮次/圈数的概念(Netty 的 HashedWheelTimer )、使用多层时间轮的概念 (Kafka 的 TimingWheel)。

多层时间轮就更像我们钟表的概念。秒针走的一圈、分针走的一圈和时针走的一圈就形成了一个多层时间轮的关系。

4. Kakfa时间轮中DelayQueue的作用:

1.使用DelayQueue推进时间轮往前走,并且避免时间轮的空推进。

2.使用DelayQueue获取到期的任务。

拓展:时间轮使用DQ,如何避免空推荐?

Kafka则是通过DelayQueue来推进,是一种空间换时间的思想:

  • DelayQueue 中保存着所有的 TimerTaskList 对象,根据时间来排序,这样延时越小的任务排在越前面。
  • 外部通过一个线程(叫做ExpiredOperationReaper)从 DelayQueue 中获取超时的任务列表 TimerTaskList,然后根据 TimerTaskList 的 过期时间来精确推进时间轮的时间,这样就不会存在空推进的问题啦。

拓展:时间轮用到了DQ,为什么不直接用DQ?

1.性能高:

1.1 DQ插入和删除操作都是O(log n),时间轮算法的插入和删除操作都是 O(1) -> 底层是任务的添加和删除是基于链表实现的。

1.2 DQ只存放了TimerTaskList,并不是所有的TimerTask,所以数量并不多。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/31316.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

若电路板上的二极管损坏后怎么确定型号呢?

若电路板上的二极管损坏后,还可以看清原来管子的型号,换用一个同型号的二极管即可。若看不清型号或管子未标注型号,一般可以根据该二极管在电路中的作用来代换。电路板上的二极管坏了,如何确定它的型号?。 一般来说看…

气象数据NC、grb2解析成矢量json、CMIS、MICPS及图片应用到webgis

一、基础概念 气象数据通常以多种格式存储和交换,以适应不同的应用需求和处理工具。以下是一些常见的气象数据格式及其转换方法的概述: 常见气象数据格式 1. NetCDF(Network Common Data Form):一种自描述、自包含的…

如何在MATLAB中创建各种常用的图形

本文将介绍如何在MATLAB中创建各种常用的图形。将涵盖以下内容: 基本的二维图形 折线图(Line Plot)散点图(Scatter Plot)条形图(Bar Plot)面积图(Area Plot) 三维图形 三…

OceanBase-docker安装、连接数据库、修改mysql用户密码

OceanBase-docker安装、连接数据库、修改mysql用户密码 安装拉取镜像开启容器验证 连接数据库1.直接连接的方式修改数据库密码2.先进入镜像再连接数据库的方式进入镜像无密码有秘密 本人使用docker安装的oceanbase 安装 拉取镜像 docker pull oceanbase/oceanbase-ce:3.1.4 …

WACV2024论文3D相关速览48篇

WACV2024 3D相关论文阅读 Paper1 Self-Supervised Edge Detection Reconstruction for Topology-Informed 3D Axon Segmentation and Centerline Detection 摘要小结: 许多基于机器学习的轴突追踪方法依赖于带有分割标签的图像数据集。这需要领域专家的手动标注,既…

基于kubeadm部署k8s-v1.26 All-in-One

测试环境 AnolisOS-8.6-x86_64-minimal.iso Virtual Box,4 vCPU, 8G RAM, 40 vDisk 系统配置 关闭selinux,默认已关闭 sed -i ‘s#SELINUXenforcing#SELINUXdisabled#g’ /etc/selinux/config 关闭防火墙 systemctl disable --now firewalld 允许ipta…

R语言——绘图与数据可视化

1、练习将25个点的符号绘制出来,然后用rainbow()返回25个颜色,后5个符号形状的背景颜色用蓝色填充,图的标题为"符号图",x轴标题为符号索引,y轴标题为符号形状。 2、根据员工的销售业绩画饼状图,添…

[保姆级教程]在uniapp中使用vant框架

文章目录 导文安装 Vant在uniapp项目中的pages.json中配置easycom,实现组件的自动按需引入:在页面中使用Vant Weapp组件,例如使用按钮组件(Button):其他安装报错官网地址 导文 在 uni-app 中使用 Vant 框架…

【YOLOv10改进[Backbone]】使用轻量化去雾网络unfog_net改进v10雾霾天气场景的目标检测 — 去雾检测

本文将进行使用轻量化去雾网络unfog_net改进v10雾霾天气场景的目标检测,助力YOLOv10目标检测效果的实践,文中含全部代码、详细修改方式以及手撕结构图。助您轻松理解改进的方法。

关于OS中逻辑地址与物理地址转换

首先将逻辑地址134D从十六进制转为2进制 0001 0011 0100 1101 1)1K的时候对应2的10次方 页面大小占10位 从后往前数 0001 00 || 11 0100 1101 前面的转为十进制为4 对应页号4内容1A转为2进制01 1010将这个替换原来的前六位数字 即0110 1011 0100 1101 再转换为…

安装 pipenv 包管理器

Pipenv与虚拟环境 — pipenv 2020.8.13.dev0 文档 安装 pipenv pipx install pipenv 升级 pipenv pip install --user pipenv 如果安装了 Homebrew或Linuxbrew brew install pipenv brew upgrade pipenv 这会执行一次 user installation 来避免破坏系统的包。如果安装完成后…

智慧工厂监控可视化解决方案(160页WORD)

方案介绍: 本智慧工厂监控可视化解决方案通过集成先进的物联网和大数据技术,为制造业企业提供了全面的数字化转型支持。通过实时监控、数据分析、可视化展示等功能,帮助企业提升生产效率、降低运营成本、优化产品质量和能源利用率&#xff0…

C# 语言在AGI 赛道上能做什么

自从2022年11月OpenAI正式对外发布ChatGPT依赖,AGI 这条赛道上就挤满了重量级的选手,各大头部公司纷纷下场布局。原本就在机器学习、深度学习领域占据No.1的Python语言更是继续稳固了自己AI一哥的位置。凭借着Microsoft 和 OpenAI 长期以来一直是紧密相连…

【CT】LeetCode手撕—300. 最长递增子序列

目录 题目1- 思路2- 实现⭐300. 最长递增子序列——题解思路 3- ACM 实现 题目 原题连接&#xff1a;300. 最长递增子序列 1- 思路 模式识别&#xff1a;最长递增子序列——> 利用动规五部曲 解决 ——> 借助 i 和 j 指针&#xff0c;其中 j < i 动规五部曲 1.定义…

rust内存分配,内存回收,内存泄露

内存泄露 首先我们先来讲内存泄露,rust中有两种方式可以造成内存泄露。 循环引用 如下的代码执行之后我们在控制台与系统监视器中监控进程执行过程,测试路程如下。首先在控制台打印main function start的时候内存还未分配太多,索引进程占用内存还是很小的。等到空太太打印s…

【功能详解】银河麒麟操作系统“安全启动”是如何发挥作用的?

2023年12月&#xff0c;财政部、工信部发布了7项信息类产品《政府采购需求标准》&#xff0c;为包括操作系统在内多项产品的政府集中采购提供政策支撑。其中&#xff0c;安全、可信作为国产操作系统的基本要求备受关注。 安全体系的构建离不开操作系统本身的硬实力&#xff0c…

C++排序

一些问题 为什么向sort传递一对反向迭代器可以实现vector按降序排序&#xff1f; 对于 std::sort 函数而言&#xff0c;它的排序规则默认使用 < 运算符进行比较。这意味着当你传递一对正向迭代器给 sort 函数时&#xff0c;它会比较元素 a 和 b 是否满足 a < b 的条件&…

LabVIEW项目管理中如何平衡成本、时间和质量

在LabVIEW项目管理中&#xff0c;平衡成本、时间和质量是实现项目成功的关键。通过制定详细的项目计划、合理分配资源、严格控制进度、进行质量保证和灵活应对变化&#xff0c;项目管理者可以有效地协调这三者的关系&#xff0c;确保项目按时、按质、按预算完成。 1. 制定详细…

CVPR最佳论文:谷歌基于Spectral Volume从单图生成视频

一、摘要&#xff1a; 论文&#xff1a;Generative Image Dynamics&#xff0c;https://arxiv.org/pdf/2309.07906 项目主页&#xff1a;https://generative-dynamics.github.io/ 本文提出了一种新颖的方法来模拟场景运动的图像空间先验。通过从真实视频序列中提取的自然振荡…

高考志愿填报:选择好专业还是好学校?

人不走空 &#x1f308;个人主页&#xff1a;人不走空 &#x1f496;系列专栏&#xff1a;算法专题 ⏰诗词歌赋&#xff1a;斯是陋室&#xff0c;惟吾德馨 高考志愿填报&#xff1a;选择好专业还是好学校&#xff1f; 每年高考结束后&#xff0c;考生和家长面临的一个…