kafka参数配置参考和优化建议 —— 筑梦之路

对于Kafka的优化,可以从以下几个方面进行思考和优化:

  1. 硬件优化:使用高性能的硬件设备,包括高速磁盘、大内存和高性能网络设备,以提高Kafka集群的整体性能。

  2. 配置优化:调整Kafka的配置参数,包括消息存储、副本数、日志段大小、缓冲区大小等,以提高Kafka的吞吐量和稳定性。

  3. 网络优化:优化Kafka集群的网络设置,包括网络带宽、延迟和可靠性,以确保消息能够快速、可靠地传输。

  4. 分区优化:合理划分分区,避免分区过多或过少,以充分利用集群资源并提高消息的并发处理能力。

  5. 监控优化:建立完善的监控系统,及时发现和解决Kafka集群的性能瓶颈和故障,以保障Kafka的稳定运行。

  6. 客户端优化:优化生产者和消费者的配置和代码,以提高消息的生产和消费效率。

总的来说,Kafka的优化需要综合考虑硬件、配置、网络、分区、监控和客户端等多个方面,以达到提高性能和稳定性的目的。下面我将主要从Kafka使用参数设置来说明优化的主要思路,其基本核心思想就是提高Kafka的吞吐量和降低网络延迟。

 

生产者端(Producer)的参数

  • acks:默认值为1,表示指定分区中成功写入消息的副本数量。一般不需要修改。

  • max.request.size:默认值为1048576,即1M1。这个参数比较重要,表示生产端能够发送的最大消息大小。为了避免因消息过大导致发送失败,建议适当调大,比如调到10485760即10M。

  • retries:默认值为0,表示生产端消息发送失败时的重试次数。为了解决因瞬时故障导致的消息发送失败,比如网络抖动、leader换主,其中瞬时的leader重选举是比较常见的。因此这个参数的设置显得非常重要。建议设置为一个大于0的值,比如3或者更大值。

  • compression.type:默认值为none,表示生产端是否对消息进行压缩。一般不需要修改。

  • buffer.memory:默认值为33554432,即32M。表示生产端消息缓冲池或缓冲区的大小。一般不需要修改。

  • batch.size:默认值为16384,即16KB。发送到缓冲区中的消息会被分为一个一个的batch,分批次的发送到broker 端,这个参数就表示batch批次大小。可以根据实际情况或者压测情况来更改这个值,这个值太小,会导致频繁的网络请求,从而导致吞吐量下降,这个值太大会导致一条消息需要等待很长的时间才能发送出去,会增加网络的延迟。

  • linger.ms:默认值为0。用来控制batch最大的空闲时间,超过该时间的batch也会被发送到broker端。建议修改范围10~100之间,影响结果可以参考batch.size.

  • request.timeout.ms:默认值为30000,即30s。这个参数表示生产端发送请求后等待broker端响应的最长时间。一般不需要修改。

  • max.in.fight.requests.per.connection:默认值为5。这个参数非常重要,表示生产端与broker之间的每个连接最多缓存的请求数。一般不需要修改。

代理端(Broker)的参数

  • broker.id:默认值为0。每个broker都可以用一个唯一的非负整数id进行标识。你可以选择任意你喜欢的数字作为id,只要id是唯一的即可。

  • log.dirs:默认值为/tmp/kafka-logs。kafka存放数据的路径。这个路径并不是唯一的,可以是多个,路径之间只需要使用逗号分隔即可;每当创建新partition时,都会选择在包含最少partitions的路径下进行。

  • port:默认值为6667。server接收客户端连接的端口。根据实际网络环境和安全需求进行设置。

  • zookeeper.connect:默认值为null。ZooKeeper连接字符串的格式为:hostname:port。为了当某个host宕掉之后你能通过其他ZooKeeper节点进行连接,你可以按照以下方式制定多个hosts:hostname1:port1, hostname2:port2, hostname3:port33。

  • message.max.bytes:默认值为1000000。server可以接收的消息最大尺寸。重要的是,consumer和producer有关这个属性的设置必须同步,否则producer发布的消息对consumer来说太大。

  • num.network.threads:默认值为3。server用来处理网络请求的网络线程数目。一般你不需要更改这个属性。

  • num.io.threads:默认值为8。server用来处理请求的I/O线程的数目。这个线程数目至少要等于硬盘的个数。

  • background.threads:默认值为4。用于后台处理的线程数目,例如文件删除。你不需要更改这个属性。

  • queued.max.requests:默认值为500。在网络线程停止读取新请求之前,可以排队等待I/O线程处理的最大请求个数。根据实际业务需求进行设置。

  • fetch.min.bytes:表示Broker端积攒了多少数据就可以返回给consumer端

  • fetch.max.bytes: 默认值:50MB  消费者获取服务端一批数据最大的字节数, 这个参数主要受到下面两个参数的限制

message.max.bytes = broker配置 max.message.bytes = topic配置

消费者端(Consumer)的参数

  • fetch.min.bytes:默认值为1。消费者从服务器获取的最小数据量。如果设置为1,则消费者尽可能地从服务器获取数据;如果设置为1MB,则消费者会等待直到1MB的数据可用才从服务器获取。

  • fetch.max.wait.ms:默认值为500。消费者等待从服务器获取数据的最长时间。

  • max.partition.fetch.bytes:默认值为1048576,即1MB。消费者一次从服务器获取每个分区的最大字节数。

  • session.timeout.ms:默认值为30000,即30s。消费者在被认为死亡之前可以与服务器断开连接的时间。

  • auto.offset.reset:默认值为latest。消费者在读取一个没有偏移量的分区或者偏移量无效的情况下该如何做。

原文链接:Kafka主要参数设置及优化建议 

作为搜集。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/634965.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

免费的爬虫软件【2024最新】

在国际市场竞争日益激烈的背景下,国外网站的SEO排名直接关系到网站在搜索引擎中的曝光度和用户点击量。良好的SEO排名能够带来更多的有针对性的流量,提升网站的知名度和竞争力。 二、国外网站SEO排名的三种方法 关键词优化: 关键词优化是SEO…

Red Hat Enterprise Linux 9.3 安装图解

引导和开始安装 选择倒计时结束前,通过键盘上下键选择下图框选项,启动图形化安装过程。需要注意的不同主板默认或者自行配置的固件类型不一致,引导界面有所不同。也就是说使用UEFI和BIOS的安装引导界面是不同的,如图所示。若手动调…

ITK + ANT,无法显示三维

背景:之前用ANT保存ima格式的数据,选择的是保存所有的序列 用python将dicom转为nii的格式, import nibabel as nib import torch"""不管是nii还是nii.gz都是二维的,为啥呢"""fobj nib.load("…

【AUTOSAR】RTE 接口类型、应用场景差别及实例讲解

目录 摘要 概念 CS接口 SR接口 接口选择 对于CPU负载率的影响

Qt弹框展示

1.相关说明 文件选择弹框、目录选择弹框、保存文件弹框、颜色选择弹框、字体选择弹框、进度条弹框、输入对话框、标准消息框等 2.相关界面 3.相关代码 #include "widget.h" #include "ui_widget.h" #include <QFileDialog> #include <QProgressD…

Red Hat Enterprise Linux 6.10 安装图解

引导和开始安装 选择倒计时结束前&#xff0c;通过键盘上下键选择下图框选项&#xff0c;启动图形化安装过程。需要注意的不同主板默认或者自行配置的固件类型不一致&#xff0c;引导界面有所不同。也就是说使用UEFI和BIOS的安装引导界面是不同的&#xff0c;如图所示。若手动调…

Pytorch 对比TensorFlow 学习:Day 17-18: 循环神经网络(RNN)和LSTM

Day 17-18: 循环神经网络&#xff08;RNN&#xff09;和LSTM 在这两天的学习中&#xff0c;我专注于理解循环神经网络&#xff08;RNN&#xff09;和长短期记忆网络&#xff08;LSTM&#xff09;的基本概念&#xff0c;并学习了它们在处理序列数据时的应用。 1.RNN和LSTM基础…

HashMap1.7和1.8的区别

HashMap1.7和1.8的区别 1.JDK1.7用的是头插法&#xff0c;而JDK1.8及之后使用的都是尾插法 那么为什么要这样做呢&#xff1f;因为JDK1.7是用单链表进行的纵向延伸&#xff0c;当采用头插法时&#xff0c;再多线程环境下并发扩容的时候&#xff0c;会容易出现环形链表死循环问…

go 语言(九)----struct

定义一个结构体 type Book struct {title stringauth string }结构体使用 package mainimport "fmt"//定义一个结构体 type Book struct {title stringauth string }func main() {var book1 Bookbook1.title "Golang"book1.auth "zhang3"fmt…

使用 TiUP 部署 TiDB 集群

TIDB优点 支持分布式且支持事务的关系型数据库&#xff0c;不用考虑分库分表 同时满足了可伸缩&#xff0c;高可用&#xff0c;关系型&#xff0c;支持事务。 基本上按官网的文档来就行了。 在线部署 以普通用户身份登录中控机。以 tidb 用户为例&#xff0c;后续安装 TiUP …

用git bash调用md5sum进行批量MD5计算

对于非常大的文件或者很重要的文件&#xff0c;在不稳定的网络环境下&#xff0c;可能文件的某些字节会损坏。此时&#xff0c;对文件计算MD5即可以校验其完整性。比如本次的 OpenStreetMap 导出包&#xff0c;我的学弟反馈通过网盘下载无法解压&#xff0c;并建议我增加每个文…

MOS管和IGBT管的定义与辨别

MOS管和IGBT管作为现代电子设备使用频率较高的新型电子器件&#xff0c;因此在电子电路中常常碰到也习以为常。可是MOS管和IGBT管由于外形及静态参数相似的很&#xff0c;有时在选择、判断、使用容易出差池。MOS管和IGBT管可靠的识别方法为选择、判断、使用扫清障碍&#xff01…

android使用相机 intent.resolveActivity returns null

问题 笔者使用java进行android开发&#xff0c;启动相机时 intent.resolveActivity returns null takePictureIntent.resolveActivity(getPackageManager()) null详细问题 笔者使用如下代码启动相机 // 启动相机SuppressLint("LongLogTag")private void dispatc…

【LGR-172-Div.4】洛谷入门赛 #19(A—H,c++详解!)

文章目录 【LGR-172-Div.4】洛谷入门赛 #19A.分饼干 I题目描述输入格式输出格式样例 #1样例输入 #1样例输出 #1 样例 #2样例输入 #2样例输出 #2 提示样例解释 1样例解释 2数据范围与约定思路: 代码 B.分饼干 II题目描述输入格式输出格式样例 #1样例输入 #1样例输出 #1 样例 #2样…

2024--Django平台开发-订单项目管理(十四)

day14 订单管理系统 1.关于登录 1.1 UI美化 页面美化&#xff0c;用BootStrap 自定义BooStrapForm类实现。 class BootStrapForm:exclude_filed_list []def __init__(self, *args, **kwargs):super().__init__(*args, **kwargs)# {title:对象,"percent":对象}fo…

c++ extern

在 C++ 中,对于使用extern 关键字,我们再熟悉不过了。接下来我们一起探讨一下关于extern 关键字的使用方法以及应用场景。 变量的声明 当你在多个文件中使用同一个全局变量时,你需要在使用它们的文件中用 extern 关键字进行声明,而在一个文件中定义它(分配存储空间)。假…

【推荐系统】item-id 作为特征的意义

因为其实 模型本身就是 基于记忆&#xff08;拟合&#xff09; 的&#xff0c; 是有一些 预测/泛化 的能力&#xff0c;但不影响模型在记忆的出发点&#xff0c; 所以把item-id embedding后作为特征&#xff0c;就是一个让模型记住每个item信息的方式

Python--对于类的一些练习

#定义一个类 class Person():def eat(self):print(我喜欢吃零食)def drink(self):print(我喜欢喝冰红茶) #类的实例化 p1 Person() p1.eat() p1.drink() #定义一个类 class Person():def speak(self):print(self)print(很高兴见到你) #类的实例化 p2 Person() print(p2)#打印…

电路复习总结

又到了个人最喜欢的电路复习环节&#xff0c;废话不多说一个个复习过来 1.电路基本概念 2.向量表示 现在在看美少女老师教学某一种正弦交流电的办法学的就很舒服 知道复数和极坐标还挺重要可以便于后面数值计算 2024年1月18日19:44:57 根本整理不出来什么东西i 在学习中逐…