Kafka参数了解

Kafka配置参数完整说明

1. 基础配置

参数名说明推荐值参考值
broker.idbroker的唯一标识符每个节点唯一的整数1
delete.topic.enable是否允许删除topictruetrue
listenersbroker监听地址SASL_PLAINTEXT://host:9092SASL_PLAINTEXT://172.24.77.15:9092
advertised.listeners对外发布的监听地址SASL_PLAINTEXT://public_ip:9092SASL_PLAINTEXT://172.24.77.15:9092
log.dirs日志数据目录/data/kafka/data/data/kafka/data
zookeeper.connectZK连接字符串host1:2181,host2:2181,host3:2181172.24.77.10:2181,172.24.77.11:2181,172.24.77.12:2181

2. 安全配置

参数名说明推荐值参考值
security.protocol安全协议SASL_PLAINTEXTSASL_PLAINTEXT
sasl.mechanism.inter.broker.protocolbroker间通信认证机制SCRAM-SHA-256SCRAM-SHA-256
sasl.enabled.mechanisms启用的认证机制SCRAM-SHA-256,PLAINSCRAM-SHA-256,PLAIN
allow.everyone.if.no.acl.found无ACL时允许所有操作falsetrue(测试环境)
super.users超级用户列表User:adminUser:super
authorizer.class.name授权器类名kafka.security.auth.SimpleAclAuthorizerkafka.security.auth.SimpleAclAuthorizer

3. 网络配置

参数名说明推荐值参考值
num.network.threads网络线程数3-53
num.io.threadsIO线程数88
socket.send.buffer.bytes发送缓冲区大小10485760 (10MB)102400 (100KB)
socket.receive.buffer.bytes接收缓冲区大小10485760 (10MB)102400 (100KB)
socket.request.max.bytes请求最大大小104857600 (100MB)104857600 (100MB)
replica.socket.receive.buffer.bytes副本复制接收缓冲区1048576 (1MB)65536 (64KB)

4. 主题和分区配置

参数名说明推荐值参考值
num.partitions默认分区数33
default.replication.factor默认副本因子33
min.insync.replicas最小同步副本数22
auto.create.topics.enable是否自动创建主题falsetrue
offsets.topic.replication.factoroffsets主题副本因子33

5. 性能调优参数

参数名说明推荐值参考值
num.replica.fetchers副本拉取线程数33
replica.fetch.max.bytes副本拉取最大字节数1048576 (1MB)1048576 (1MB)
replica.lag.time.max.ms副本最大延迟时间5000 (5秒)10000 (10秒)
replica.fetch.wait.max.ms副本拉取最大等待时间1000 (1秒)1000 (1秒)
log.flush.interval.messages刷盘消息数阈值1000010000
log.flush.interval.ms刷盘时间间隔1000 (1秒)1000 (1秒)

6. 日志管理

参数名说明推荐值参考值
log.retention.hours日志保留时间168 (7天)168 (7天)
log.segment.bytes日志片段大小1073741824 (1GB)1073741824 (1GB)
log.retention.check.interval.ms日志清理检查间隔300000 (5分钟)300000 (5分钟)
log.cleanup.policy日志清理策略deletedelete
log.message.timestamp.type消息时间戳类型LogAppendTimeLogAppendTime

7. 事务和幂等性配置

参数名说明推荐值参考值
transaction.state.log.replication.factor事务主题副本因子33
transaction.state.log.min.isr事务主题最小ISR22
unclean.leader.election.enable是否允许非ISR副本成为leaderfalsefalse

8. 其他配置

参数名说明推荐值参考值
group.initial.rebalance.delay.ms消费组初始重平衡延迟3000 (3秒)3000 (3秒)
broker.rackbroker机架信息rack1kafka-rac1
message.max.bytes消息最大大小1000012 (≈1MB)1000012 (≈1MB)
zookeeper.connection.timeout.msZK连接超时时间18000 (18秒)18000 (18秒)
zookeeper.session.timeout.msZK会话超时时间18000 (18秒)12000 (12秒)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/885723.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++初阶——vector

一、什么是vector vector是表示可变大小的数组的序列容器,就像数组一样,vector也采用连续空间来存储元素。也就是说它的访问和数组一样高效,但是它的大小是动态可变的,并且它的大小会被容器自动处理。 二、vector的构造 常用的构…

迁徙线,动态轨迹线

使用canvas结合贝塞尔曲线实现&#xff0c;效果如下 <template><div class"box"><div class"mapBox"><div class"map"><img src"/img/dataCockpit/map.png" alt"" /><div class"dot&…

SQLI LABS | Less-39 GET-Stacked Query Injection-Intiger Based

关注这个靶场的其它相关笔记&#xff1a;SQLI LABS —— 靶场笔记合集-CSDN博客 0x01&#xff1a;过关流程 输入下面的链接进入靶场&#xff08;如果你的地址和我不一样&#xff0c;按照你本地的环境来&#xff09;&#xff1a; http://localhost/sqli-labs/Less-39/ 本关是堆…

NVM 介绍及使用指南

在日常的开发工作中&#xff0c;我们往往会遇到需要在同一台机器上同时管理多个版本的 Node.js 的情况。为了解决这个问题&#xff0c;我一个同事推荐了NVM&#xff08;Node Version Manager&#xff09;。NVM 是一个用于管理 Node.js 版本的工具&#xff0c;可以方便地在不同的…

web——[SUCTF 2019]EasySQL1——堆叠注入

这个题主要是讲述了堆叠注入的用法&#xff0c;来复现一下 什么是堆叠注入 堆叠注入&#xff1a;将多条SQL语句放在一起&#xff0c;并用分号;隔开。 1.查看数据库的名称 查看数据库名称 1;show databases; 发现有名称为ctftraining的数据库 2.对表进行查询 1;show tabl…

【ARM】MDK-烧录配置文件无权限访问

【更多软件使用问题请点击亿道电子官方网站】 1、 问题场景 客户代码编译正常、调试出现报错<Error: Flash Download failed - "Cortex-M4"> 仿真器识别正常&#xff0c;keil-Debug内显示相关信息、设备启动正常。 记录排查步骤&#xff0c;找到配置文件位…

深度解析 ICP 备案、公安备案、等保备案编号与统一社会信用代码

1. 前言 在当今数字化时代&#xff0c;各类网站和系统如雨后春笋般涌现&#xff0c;为了确保网络安全、合法运营以及用户信息保护&#xff0c;不同类型的备案工作应运而生。其中&#xff0c;ICP 备案、公安备案和等保备案尤为重要&#xff0c;它们各自对应的备案编号不仅是一串…

11个简单易用的电商购物车设计案例

文章目录 前言正文1.扁平化设计购物车2.无表格布局购物车3.美食购物车4.响应式购物车5.jQuery购物车6.动态价格更新购物车7.标签式滑动购物车8.动态商店与购物车一体化设计9.简约清爽的购物车设计10.基于Vue.js的购物车11.域名购物车 总结 前言 现在的电子商务网站&#xff0c…

turtlesim修改窗口大小;添加自己的小乌龟;

目前手边有humble版本ROS。以此为教程。其他版本以此类推 github中搜索ros&#xff0c;然后选择ros官网&#xff08;九点方阵那个图标&#xff09;。然后 在branch中&#xff0c;选择humble&#xff0c;然后复制链接。 git clone https://github.com/ros/ros_tutorials.git -…

电阻按材料分类、不同的电阻

TOC 按电阻材料工艺进行分类 3.1.线绕电阻&#xff1a; 使用高电阻率的康铜、锰铜或镍铬合金丝缠绕在陶瓷骨架&#xff08;一般采用陶瓷、塑料、涂覆绝缘层的金属骨架&#xff09;上制作而成的。玻璃釉绕线电阻表面被覆一层玻璃釉&#xff1b;涂漆线绕电阻表面被覆一层保护有…

spark的学习-06

SparkSQL读写数据的方式 1&#xff09;输入Source 方式一&#xff1a;给定读取数据源的类型和地址 spark.read.format("json").load(path) spark.read.format("csv").load(path) spark.read.format("parquet").load(path) 方式二&#xff1a…

react-markdown内容宽度溢出和换行不生效问题

情景复现&#xff1a; 解决办法&#xff0c;添加样式进行限制 /* index.css */ .markdown-container {word-break: break-word; /* 强制长单词断行 */white-space: pre-wrap; /* 保留空白符序列&#xff0c;但是正常地进行换行 */overflow-wrap: break-word; /* 在长单词或…

java双向链表解析实现双向链表的创建含代码

双向链表 一.双向链表二.创建MyListCode类实现双向链表创建一.AddFirst创建&#xff08;头插法&#xff09;二.AddLast创建&#xff08;尾叉法&#xff09;三.size四.remove(指定任意节点的首位删除)五.removeAll(包含任意属性值的所有删除)六.AddIndex(给任意位置添加一个节点…

VMWare虚拟机NAT模式下与外部主机(非宿主机)通信

VMWare虚拟机NAT模式下与外部主机(非宿主机)通信 1. VMWare虚拟机网络 VMWare的三种网络工作模式&#xff1a; Bridged&#xff1a;桥接模式NAT&#xff1a;网络地址转换模式Host-Only &#xff1a;仅主机模式 VMWare 网络连接配置界面如下&#xff1a; 在本次测试环境中&a…

Mac保护电池健康,延长电池使用寿命的好方法

使用Mac的过程中&#xff0c;如何延长电池的使用寿命是大家非常关心的问题&#xff0c;而养成一个良好的充电习惯能够有效的延长电池的使用寿命 避免过度充电和过度放电能够有效的保护电池&#xff0c;因此长时间的充电与长时间放点都不可取&#xff0c;但是在日常的使用过程中…

显示器接口种类 | 附图片

显示器接口类型主要包括VGA、DVI、HDMI、DP和USB Type-C等。 VGA、DVI、HDMI、DP和USB Type-C 1. 观察 VGA接口:15针 DP接口&#xff1a;在DP接口旁&#xff0c;都有一个“D”型的标志。 电脑主机&#xff1a;DP(D) 显示器&#xff1a;VGA(15针) Ref https://cloud.tenc…

qt QUndoCommand 与 QUndoStack详解

1、概述 QUndoCommand 和 QUndoStack 是 Qt 框架中用于实现撤销/重做&#xff08;undo/redo&#xff09;功能的两个核心类。QUndoCommand 是表示单个可撤销操作的基类&#xff0c;而 QUndoStack 则负责管理这些命令的堆栈&#xff0c;提供撤销和重做操作的接口。 QUndoCommand…

双指针(二)双指针到底是怎么个事

一.有效的三角形个数 有效的三角形个数 class Solution {public int triangleNumber(int[] nums) {Arrays.sort(nums);int i0,end nums.length-1;int count 0;for( i end;i>2;i--){int left 0;int right i-1;while(left<right){if(nums[left]nums[right]>nums…

springboot的增删改查商城小实践(b to c)

首先准备一张表&#xff0c;根据业务去设计表 订单编号是参与业务的&#xff0c;他那订单编号里面是有特殊意义的&#xff0c;比如说像什么一些年月日什么的&#xff0c;一些用户的ID都在那编号里面呢&#xff1f;不能拿这种东西当主件啊 根据数据量去决定数据类型 价格需要注意…

动态规划-背包问题——416.分割等和子集

1.题目解析 题目来源 416.分割等和子集——力扣 测试用例 2.算法原理 1.状态表示 这里背包问题基本上和母题的思路大相径庭&#xff0c;母题请见 [模板]01.背包 &#xff0c;这里的状态表示与装满背包的情况类似&#xff0c;第二个下标就是当选择的物品体积直接等于j时是否可…