kafka（六）——存储策略

存储机制

kafka通过topic作为主题缓存数据，一个topic主题可以包括多个partition，每个partition是一个有序的队列，同一个topic的不同partiton可以分配在不同的broker（kafka服务器）。

关系图

在这里插入图片描述

partition分布图

名称为t_zd的topic为3分区2副本，其在3节点kafka集群的分布如下：

在这里插入图片描述

概念

topic

主题，即消息存放的目录。

Partition

  • 一个topic可以分为多个partition；

  • 每个partition是一个有序的队列；

  • 每个partition实际对应一个文件夹，包含多个segment文件；

  • partition中的每条消息都会分配一个有序的id，即offset；

segment

  • Kafka用于存储消息的基本单元；
  • segment指partition文件夹下产生的文件；
  • segment文件命名与offset有关，为log start offset；
  • 每个分段都有一个起始偏移量和一个结束偏移量，用于定位消息的位置；
  • 一个segment对应一个日志文件（[offset].log）、时间索引文件（[offset].timeindex）和索引文件（[offset.index]），日志文件是用来记录消息，索引文件用来保存消息的索引；
  • segment的大小可以通过server.properties配置文件中log.segment.bytes来配置，默认1G；

在这里插入图片描述

索引文件(index)

  • 记录固定消息量的索引编号范围；
  • Kafka在查询时，先从Index中定位到小范围的索引编号区间，再去Log中在小范围的数据块中查询具体数据，此索引区间的查询方式称为：稀疏索引；

日志文件(log)

  • 负责消息的追加、读取和索引等操作；
  • 每条消息有自增编号，只追加不修改；

消息（message）

示例

[root@192 zd-first-topic-0]$ls
00000000000000000000.index  00000000000000000000.timeindex  partition.metadata
00000000000000000000.log    leader-epoch-checkpoint
[root@192 zd-first-topic-0]$sh bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.log --print-data-logDumping 00000000000000000000.log
Log starting offset: 0
baseOffset: 0 lastOffset: 0 count: 1 baseSequence: 0 lastSequence: 0 producerId: 0 producerEpoch: 0 partitionLeaderEpoch: 0 isTransactional: false isControl: false deleteHorizonMs: OptionalLong.empty position: 0 CreateTime: 1712889750352 size: 79 magic: 2 compresscodec: none crc: 3489688351 isvalid: true
| offset: 0 CreateTime: 1712889750352 keySize: -1 valueSize: 11 sequence: 0 headerKeys: [] payload: hello kafkabaseOffset: 1 lastOffset: 1 count: 1 baseSequence: 1 lastSequence: 1 producerId: 0 producerEpoch: 0 partitionLeaderEpoch: 0 isTransactional: false isControl: false deleteHorizonMs: OptionalLong.empty position: 79 CreateTime: 1712889754967 size: 84 magic: 2 compresscodec: none crc: 2134132965 isvalid: true
| offset: 1 CreateTime: 1712889754967 keySize: -1 valueSize: 16 sequence: 1 headerKeys: [] payload: kafka first testbaseOffset: 2 lastOffset: 2 count: 1 baseSequence: 2 lastSequence: 2 producerId: 0 producerEpoch: 0 partitionLeaderEpoch: 0 isTransactional: false isControl: false deleteHorizonMs: OptionalLong.empty position: 163 CreateTime: 1712889762442 size: 85 magic: 2 compresscodec: none crc: 3019058576 isvalid: true
| offset: 2 CreateTime: 1712889762442 keySize: -1 valueSize: 17 sequence: 2 headerKeys: [] payload: kafka second test
[root@192 zd-first-topic-0]$

参数说明

  • baseOffset：当前消息起始位置的offset；
  • position：消息在日志分段文件中对应的物理地址；
  • size：消息长度；

关系图

在这里插入图片描述

副本机制

  • kafka副本机制提高了数据可靠性；
  • Kafka默认副本1个，生产环境一般配置为2个，保证数据可靠性，但性能相对降低；
  • Kafka中将副本分为Leader副本和Follower副本；
  • Kafka生产者只会把数据发往Leader副本，Follower副本找Leader副本进行数据同步；
  • Kafka分区中的所有副本统称为AR（Assigned Repllicas），AR = ISR + OSR；
    • ISR：表示和Leader保持同步的Follower集合。如果Follower长时间未向Leader发送通信请求或同步数据，则该Follower将被踢出ISR。该时间阈值由replica.lag.time.max.ms参数设定，默认30s。Leader发生故障之后，就会从ISR中选举新的Leader；
    • OSR：Follower与Leader副本同步时，延迟过多的副本；

producer的acks参数表示当生产者生产消息的时候，写入到副本的要求严格程度。

  • acks为0：生产者将消息发送至主副本，不等确认可继续发送下一条消息，数据可能丢失。

在这里插入图片描述

  • acks为1：生产者将消息发送至主副本，等主副本确认可继续发送下一条消息。

在这里插入图片描述

  • acks为-1或all：生产者将消息发送至主副本，等主副本和从副本同步完成后可继续发送下一条消息。

在这里插入图片描述

日志清理机制

配置参数

  • log.retention.hours: 控制日志文件保留的最长时间；
  • log.retention.bytes: 控制日志文件保留的最大大小；
  • log.retention.minutes: 控制日志文件保留的最短时间；
  • log.retention.check.interval.ms: 日志清理器检查日志是否满足清理条件的频率；
  • log.cleaner.enable: 是否启用日志清理；
  • log.cleanup.policy: 对于超过保留时间的日志文件，如何处理，默认delete。支持日志压缩（compaction）和delete+compaction；

日志删除

基于时间的删除策略

  • log.retention.hours: 控制日志文件保留的最长时间，默认168小时（7天）；
  • log.delete.delay.ms：执行延迟时间，默认1分钟；

执行日志分段的删除任务时，会首先从Log对象中维护的日志分段的跳跃表中移除需要删除的日志分段，然后将日志分段所对应的数据文件和索引文件添加.deleted后缀。最后转交给名称为delete-file任务来删除以.deleted为后缀的文件，执行延迟时间可通过参数log.delete.delay.ms控制，默认为1分钟。

基于日志大小的删除策略

  • log.retention.bytes: 控制日志文件保留的最大大小；
  • log.delete.delay.ms：执行延迟时间，默认1分钟；

该策略会依次检查每个日志中的日志分段是否超出指定的大小（log.retention.bytes），对超出指定大小的日志分段采取删除策略。

日志压缩

压缩方式

  • 通过GZIP或Snappy压缩器压缩日志段；
  • 通过删除不必要的元数据来减少日志的大小；

参数配置

# 对于segment log进行压缩
log.cleaner.enable=true
# 设置压缩后的日志保留的最长时间
log.retention.hours=168
# 设置日志清理进程的运行频率（以小时为单位）
log.cleanup.policy=compact
# 设置压缩后的日志文件保留的最大大小
log.retention.bytes=1073741824
# 设置segment文件的压缩类型
log.cleaner.io.buffer.size=524288
log.cleaner.io.max.bytes.per.second=1048576
log.cleaner.dedupe.buffer.size=134217728
log.cleaner.threads=2
log.cleaner.min.cleanable.ratio=0.5

压缩流程

  • Kafka的后台线程会定时将topic遍历两次，第一次将每个Key的哈希值最后一次出现的offset记录下来，第二次检查每个offset对应的Key是否在较为后面的日志中出现过，如果出现了就删除对应的日志；
  • 日志压缩是针对Key的，在使用时应注意每个消息的Key值不为NULL；
  • 压缩是在Kafka后台通过定时的重新打开Segment来完成的；

img

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/811267.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

利用细粒度检索增强和自我检查提升对话式问题解答能力

利用细粒度检索增强和自我检查提升对话式问题解答能力

🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/ 论文标题：Boosting Conversational Question Answering with Fine-Grained Retrieval-Augmentation and Self-Check 论文地址：https://arxiv.org/abs/2403.18243 检索增强生成…
阅读更多...
力扣53 最大子数组和 Java版本

力扣53 最大子数组和 Java版本

文章目录 题目描述代码 题目描述 给你一个整数数组 nums ，请你找出一个具有最大和的连续子数组（子数组最少包含一个元素），返回其最大和。 子数组 是数组中的一个连续部分。 示例 1： 输入：nums [-2,1,-…
阅读更多...
Echarts使用dataTool写可自定义横坐标的盒须图（箱线图）

Echarts使用dataTool写可自定义横坐标的盒须图（箱线图）

在vue2中的完整盒须图组件代码 可自适应浏览器窗体变化&#xff0c;可自定义横坐标&#xff0c;无需写箱线图数据处理逻辑。dataTool是echarts自带的&#xff0c;无需额外安装&#xff0c;只要引入。 <template><span><div ref"BoxPlotChart" id&qu…
阅读更多...
phpstorm 快捷键

phpstorm 快捷键

PHPstorm最常用的快捷键&#xff0c;提高开发效率 - 知乎 (zhihu.com) 四年精华PHP技术文章整理合集——PHP框架篇 (qq.com) 四年精华PHP技术文合集——微服务架构篇 (qq.com)
阅读更多...
程序“猿”自动化脚本（一）

程序“猿”自动化脚本（一）

1.剪贴板管理器&#x1f4cb; 您是否曾经发现自己在处理多个文本片段时忘记了复制的内容&#xff1f;有没有想过有一个工具可以跟踪您一天内复制的所有内容&#xff1f; 该自动化脚本会监视您复制的所有内容&#xff0c;将每个复制的文本无缝存储在时尚的图形界面中&#xff0c…
阅读更多...
Python向文件里写入数据

Python向文件里写入数据

直接上代码 name "测试" data name.encode("utf-8")# w特点&#xff1a;文件不存在则创建文件并在打开前清空 f open("db.txt", mode"wb")f.write(data)f.close()可以在 db.txt 文件里看到一句话 测试name "Testing" …
阅读更多...
阿里云4核16G服务器可以用来做什么？

阿里云4核16G服务器可以用来做什么？

阿里云4核16G服务器可以用来做什么&#xff1f;可用来搭建游戏服务器&#xff0c;阿里云4核16G服务器10M带宽30元1个月、90元3个月&#xff0c;优惠活动 aliyunfuwuqi.com/go/youhui 阿里云4核16G服务器可以用来做什么&#xff1f;除了搭建游戏服务器&#xff0c;还可以用来哪…
阅读更多...
167. 两数之和 II - 输入有序数组(Java)

167. 两数之和 II - 输入有序数组(Java)

目录 题目描述&#xff1a;输入&#xff1a;输出&#xff1a;代码实现&#xff1a;1.二分&#xff08;折半&#xff09;查找2.双指针向内缩进 题目描述&#xff1a; 给你一个下标从 1 开始的整数数组 numbers &#xff0c;该数组已按 非递减顺序排列 &#xff0c;请你从数组中找…
阅读更多...
基于 GPIO 、Pinctl子系统、设备树的LED 驱动程序

基于 GPIO 、Pinctl子系统、设备树的LED 驱动程序

理论部分&#xff1a; 编写思路&#xff1a; GPIO 的地位跟其他模块&#xff0c;比如 I2C 、 UART 的地方是一样的&#xff0c;要使用某个引脚&#xff0c;需要先把引脚配置为 GPIO 功能&#xff0c;这要使用 Pinctrl 子系统&#xff0c;只需要在设备 树里指定就可以。在…
阅读更多...
力扣HOT100 - 41. 缺失的第一个正数

力扣HOT100 - 41. 缺失的第一个正数

解题思路&#xff1a; 原地哈希 就相当于&#xff0c;让每个数字n都回到下标为n-1的家里。 而那些没有回到家里的就成了孤魂野鬼流浪在外&#xff0c;他们要么是根本就没有自己的家&#xff08;数字小于等于0或者大于nums.size()&#xff09;&#xff0c;要么是自己的家被别…
阅读更多...
springCloud项目打包 ，maven package或install打包报错

springCloud项目打包 ，maven package或install打包报错

解决思路一&#xff1a; <build><plugins><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId><version>2.3.7.RELEASE</version></plugin><plugin>&…
阅读更多...
【应急响应事件】记一次矿机木马事件

【应急响应事件】记一次矿机木马事件

事情起因&#xff0c;是因为实验室有一台服务器的占用率从开机启动就是100%&#xff0c;很怀疑就是中了某种矿机木马&#xff0c;拿去挖矿了&#xff0c;然后经过师兄的不懈努力&#xff0c;终于找到了木马文件&#xff0c;给他命名为virus_sample 然后我就拿着样本去逆了 木马…
阅读更多...
OSCP靶场--Peppo

OSCP靶场--Peppo

OSCP靶场–Peppo 考点(ident枚举服务用户名ssh登陆rbash绕过 docker提权) 1.nmap扫描 ## ┌──(root㉿kali)-[~/Desktop] └─# nmap 192.168.158.60 -sV -sC -Pn --min-rate 2500 -p- Starting Nmap 7.92 ( https://nmap.org ) at 2024-04-10 09:32 EDT Nmap scan report…
阅读更多...
使用 Docker 部署 Linux-Command 命令搜索工具

使用 Docker 部署 Linux-Command 命令搜索工具

1&#xff09;介绍 Linux-Command GitHub&#xff1a;https://github.com/jaywcjlove/linux-command Linux-Command 仓库搜集了 580 多个 Linux 命令&#xff0c;是一个非盈利性的仓库&#xff0c;生成了一个 Web 网站方便使用&#xff0c;目前网站没有任何广告&#xff0c;内…
阅读更多...
T2.数据库原理

T2.数据库原理

2.1 关系模型概述 1.域 域&#xff1a; 一组有相同数据类型的值得集合 2.笛卡尔积 笛卡尔积&#xff1a; 设任意的N个域D1,D2,…,Dn。 3、关系的定义和性质 &#xff08;1&#xff09;关系的数学定义&#xff1a; 在笛卡儿积中取出有实际意义的元组来构造关系。 关系也是…
阅读更多...
设计模式学习笔记 - 设计模式与范式 -行为型：15.命令模式：如何利用命令模式实现一个游戏后端架构

设计模式学习笔记 - 设计模式与范式 -行为型：15.命令模式：如何利用命令模式实现一个游戏后端架构

概述 行为型设计模式只剩下3个模式了&#xff0c;它们分别是&#xff1a;命令模式、解释器模式、中介模式。这 3 个设计模式使用频率低、理解难度大&#xff0c;只在特定的应用场景下才会用到&#xff0c;所以这 3 个设计模式你只需要稍微了解即可。 本章学习其中的命令模式。…
阅读更多...
C++11 数据结构1 线性表的概念，线性表的顺序存储，实现，测试

C++11 数据结构1 线性表的概念，线性表的顺序存储，实现，测试

一 线性表的概念 线性结构是一种最简单且常用的数据结构。 线性结构的基本特点是节点之间满足线性关系。 本章讨论的动态数组、链表、栈、队列都属于线性结构。 他们的共同之处&#xff0c;是节点中有且只有一个开始节点和终端节点。按这种关系&#xff0c;可以把它们的所有…
阅读更多...
双指针问题的常见剪枝

双指针问题的常见剪枝

双指针问题的常见剪枝&#xff1a; 一.leecode第15题&#xff1a; 给定一个包含 n 个整数的数组 nums&#xff0c;判断 nums 中是否存在三个元素 a &#xff0c;b &#xff0c;c &#xff0c;使得 a b c 0 &#xff1f;请找出所有和为 0 且 不重复 的三元组。 示例 1&…
阅读更多...
力扣376 摆动序列 Java版本

力扣376 摆动序列 Java版本

文章目录 题目描述代码 题目描述 如果连续数字之间的差严格地在正数和负数之间交替&#xff0c;则数字序列称为 摆动序列 。第一个差&#xff08;如果存在的话&#xff09;可能是正数或负数。仅有一个元素或者含两个不等元素的序列也视作摆动序列。 例如&#xff0c; [1, 7, …
阅读更多...
leetcode每日一题第四十六天

leetcode每日一题第四十六天

递归解法 class Solution { public:int search(vector<int>& nums, int target) {return midsearch(nums,target,0,nums.size()-1);}int midsearch(vector<int>& nums, int target, int low,int high){if(low < high){int mid (lowhigh) / 2;if(nums[…
阅读更多...
最新文章

Copyright @ 2022~2023