kafka-保姆级配置说明(broker)

一. important
##broker ID,cluster唯一标识,数字类型
##此值可以不指定,有集群自动创建(由当前集群现有的brokerID + 1)。
##默认值为-1
broker.id=5
#broker.id.generation.enable=true
##zookeeper连接地址
zookeeper.connect=10.0.3.70:2181,10.0.3.71:2181,10.0.4.70:2181/kafka
zookeeper.connection.timeout.ms=6000
zookeeper.session.timeout.ms=6000
##broker绑定的ip和端口
##不能与host.name同时配置
listeners=PLAINTEXT://10.0.3.79:9092
port=9092
##broker数据文件保存的目录,建议数据目录使用单独的高性能磁盘驱动
##默认值为:/tmp/kafka-logs
log.dir=/data/kafka
##自动创建的topics所具有的replication个数
default.replication.factor=2
##每个topic默认的partion个数,默认值为1
##建议此值有producer自主决定,因为涉及到partition sharding的设置
num.partitions=1

二. topics:

##[topics]
##后台线程的个数,后台线程用于leader平衡、consumer活性检测
##日志文件切分或回收等
##默认为10
background.threads=10
##设置指定topic的数据压缩类型,
##允许值“producer”、“gzip”、“snappy”、“lz4”
##“producer”值表示压缩算法由producer端指定
##默认值为“producer”
compression.type=producer
##是否允许删除topic
##无论是否关闭,我们总是可以使用admin工具删除topic
delete.topic.enable=false
##是否允许自动创建topic,如果producer端指定的topic尚未被创建时。
##基于admin管控,可以设置为false。
##默认为true
auto.create.topics.enable=true
##是否开启partition leaders自动rebalance机制
##后台线程将会间歇性的检测并适时触发“rebalance”
##默认为true
auto.leader.rebalance.enable=true
##controller检测partition均衡性的频率,单位秒
##默认值为300
leader.imbalance.check.interval.seconds=300
##允许每个broker上失衡leader的占比。
##如果某个broker失衡leader的占比超过此值,controller将会触发rebalance。
##默认为10,百分比
leader.imbalance.per.broker.percentage=10
##是否开启将不在ISR列表的replicas选举为leader,这是最后的手段(即ISR列表中的replicas都已不可达)
##尽管这样可能会导致数据丢失。
unclean.leader.election.enable=true
##consumers的会话过期时间:
##超时后将会认为此cusumers已下线,其上相应的partiton消费将会转发给此group的其他consumers
group.max.session.timeout.ms=30000

三. logs:

##[log]
##log partition上累积N条消息后进行磁盘刷新
##默认值为:9223372036854775807
##默认情况下,磁盘文件刷新时机由OS确定,broker不主动刷盘
#log.flush.interval.messages=100000
##topic中消息刷盘的时间间隔,在此之前,消息将会保存在内存中
##如果不设置此值,将会有“log.flush.scheduler.interval.ms”值决定。
##默认值:null
#log.flush.interval.ms=1000
##默认值:9223372036854775807
#log.flush.scheduler.interval.ms=1000
##默认值:
log.flush.offset.checkpoint.interval.ms=60000
##log数据保留的最大尺寸,超过此值后,历史log数据将会被删除
##默认为-1,表示log数据“不按照尺寸”方式评估
log.retention.bytes=-1
##log数据保留的小时数,默认为168(一周)
log.retention.hours=168
##当没有logs需要清理时,后台线程sleep的时间
log.cleaner.backoff.ms=15000
##开启log清理
##如果不开启,log文件(数量、尺寸)将会一直增加,不会被删除
log.cleaner.enable=true
log.cleaner.threads=1
##日志清理的策略:delete、compact;默认值为delete
##delete:删除历史log文件
##compact:合并压缩,即将相同的key的消息进行compact,相同key的多条消息值保留最近一条。(非compression)
log.cleanup.policy=delete
##log超期(超尺寸)检测的时间间隔,以判断segment是否可以被删除(加入删除列表)
log.retention.check.interval.ms=300000
##log片段切分的时间间隔(roll),默认值为168
log.roll.hours=168
##单个log片段的大小,超过此值将会被roll,默认值为1G
log.segment.bytes=1073741824
##间隔多少字节后,在offset index文件中添加一个条目
##此值越小,index文件越大,根据offset定位log文件越快
##默认值为4096,此处调整为1M
log.index.interval.bytes=1048576
##offset index文件的最大尺寸,超出后将会roll out
##默认值10M
log.index.size.max.bytes=10485760
##log片段文件预分配,*linux系统不需要,window平台上建议开启。
log.preallocate=false

四. replicas:

 ##[replicas]
##当需要满足producer端“required.acks=-1”的请求时,
##ISR列表中replicas的最小个数。(in-sync replicas)
##默认值为1(即leader)
min.insync.replicas=1
##replicas从leader中同步(fetch)数据的线程数量,建议为1
##增加此值可以提高follower broker的并发度
num.replica.fetchers=1
replica.fetch.max.bytes=1048576
replica.fetch.wait.max.ms=500
##如果follower在此时间内没有发送任何fetch请求、或者不能与leaders跟进
##leader将会把此follower从ISR列表中移除。(直到此follower跟进为止)
replica.lag.time.max.ms=10000
##当follower fetch数据时遇到异常,等待的时间间隔(重试)
replica.fetch.backoff.ms=1000
##offset消息提交需要的acks,默认为-1(all),且决不能覆盖
##offset请求是一种特殊的请求,它必须在相应的partiton所在ISR列表中全部提交确认后
offsets.commit.required.acks=-1
##offset请求提交将会被delay,知道offset topic的所有replicas收到提交或者超时
##类似于producer端的请求超时。
offsets.commit.timeout.ms=5000
##offset topic的partitions个数,属于broker内部机制,建议不要调整此值
offsets.topic.num.partitions=50
offsets.topic.replication.factor=3

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/893592.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

推箱子游戏

java小游戏2 一游戏介绍 二图像准备 墙、箱子、人、箱子目的地,人左边、人右边、人上边、人下边 三结构准备 地图是什么,我们把地图想象成一个网格,每个格子就是工人每次移动的步长,也是箱子移动的距离,设置一个二维数…

如何分辨ddos攻击和cc攻击?

DDoS(分布式拒绝服务)攻击和 CC(Challenge Collapsar)攻击都属于网络攻击手段,主要通过消耗目标服务器资源使其无法正常提供服务,但它们在攻击原理、攻击特征等方面存在区别: 攻击原理 DDoS 攻…

期权帮|如何利用股指期货进行对冲套利?

锦鲤三三每日分享期权知识,帮助期权新手及时有效地掌握即市趋势与新资讯! 如何利用股指期货进行对冲套利? 对冲就是通过股指期货来平衡投资组合的风险。它分为正向与反向两种策略: (1)正向对冲&#xff…

软件质量与测试报告5-压力测试 JMeter 与 Badboy

A.百度搜索引擎压力测试 通过在Badboy下执行如下的测试场景来生成压力测试的脚本: a) 在Badboy的地址栏里面输入www.baidu.com,回车; b) 在右下区域打开的百度的主页上输入搜索关键字JMeter,回车; c) 在…

每日一题 417. 太平洋大西洋水流问题

417. 太平洋大西洋水流问题 代码使用队列进行广度搜索&#xff0c;分别遍历太平洋 和大西洋的河流&#xff0c;取交集。 class Solution { public:vector<vector<int>> pacificAtlantic(vector<vector<int>>& heights) {set<pair<int,int&…

Java设计模式 九 桥接模式 (Bridge Pattern)

桥接模式 (Bridge Pattern) 桥接模式是一种结构型设计模式&#xff0c;它的核心思想是将抽象部分与实现部分分离&#xff0c;使它们可以独立变化。这种模式通过组合而不是继承的方式来扩展功能&#xff0c;从而减少类之间的耦合度。 1. 模式结构 桥接模式的结构包括以下角色&…

USB——cherry 键盘分析

文章目录 cherry USB 键盘分析描述符结构设备描述符配置描述符集合配置描述符接口 1 描述符HID 描述符端点 IN 描述符接口 2 描述符HID 描述符端点 IN 描述符端点 OUT 描述符字符串描述符语言 ID (字符串索引为 0)厂商字符串(字符串索引为 1)产品字符串(字符串索引为 2)HID 报告…

关于自动控制原理中三阶系统瞬态响应与稳定性实验的研究报告

一、引言 1.1 研究背景与意义 自动控制原理作为现代工业生产、航空航天、智能交通等众多领域的关键理论基础&#xff0c;对提高生产效率、提升产品质量以及保障系统安全稳定运行起着举足轻重的作用。在实际应用中&#xff0c;自动控制系统能够根据预设的目标和反馈信息&#…

Mybatis多条件查询:Map传参与对象传参解析

Mybatis 多条件查询常见且关键&#xff0c;本文探讨两种方法——Map 传参和 Java Bean 对象传参&#xff0c;展示用法及区别&#xff0c;总结应用场景和优缺点。 1. Map传参方式 原理&#xff1a;Mybatis允许我们通过一个Map对象来传递动态SQL中的参数。Map的键对应于SQL语句中…

vue2和vue3组件之间的通信方式差异

Vue2 vs Vue3 组件通信方法对比 1. 父子组件通信 1.1 Props 传递 Vue2 <!-- 父组件 --> <template><child-component :message"message"></child-component> </template><script> export default {data() {return {message:…

wangEditor富文本编辑器,Laravel上传图片配置和使用

文章目录 前言步骤1. 构造好前端模版2. 搭建后端存储3. 调试 前言 由于最近写项目需要使用富文本编辑器&#xff0c;使用的是VUE3.0版本所以很多不兼容&#xff0c;实际测试以后推荐使用wangEditor 步骤 构造好前端模版搭建后端存储调试 1. 构造好前端模版 安装模版 模版安…

RedisTemplate和Redisson的使用和区别

文章目录 一. 数据缓存1.1 **为什么要用缓存**1.2 缓存的实现1.3 Redis1.4 Redis 数据结构1.5 实现方式1.6 对比1.7 实现定时预热缓存1.7.1 什么是热缓存1.7.2 什么时候用缓存预热1.7.3 缓存预热带来的问题1.7.4 怎么实现缓存预热1.7.5 预热缓存的注意点1.7.6 缓存预热 - 定时任…

程朱理学基本知识

文章目录 一、儒家兴起和衰落周期二、程颐和程颢三、朱熹四、程朱理学和女性改嫁 理学根本特点就是将儒家的社会、民族及伦理道德和个人生命信仰理念&#xff0c;构成更加完整的概念化及系统化的哲学及信仰体系&#xff0c;并使其逻辑化&#xff0c;心性化、抽象化和真理化。这…

kotlin 简介

Kotlin 是一种现代化、跨平台的编程语言&#xff0c;由 JetBrains 开发&#xff0c;并于 2011 年首次发布。它可以用于多种开发场景&#xff0c;包括 Android 应用开发、后端服务开发、Web 开发&#xff0c;以及跨平台应用开发。 以下是对 Kotlin 的核心介绍&#xff1a; Kotl…

three.js+WebGL踩坑经验合集(2):3D场景被相机裁切后,被裁切的部分依然可以被鼠标碰撞检测得到(射线检测)

three.js内置了Raycaster类实现鼠标的碰撞检测&#xff0c;用它可以实现3D物体的鼠标点击&#xff0c;移入移出&#xff0c;触屏检测一类的业务功能。 该功能虽然强大&#xff0c;但同事们普遍反映不是那么好用&#xff0c;因为它不像其它配套了可视编辑的3D引擎一样&#xff…

Spring Boot spring.factories文件详细说明

优质博文&#xff1a;IT-BLOG-CN 前言&#xff1a;经常看到 spring.factories 文件&#xff0c;却没有对它进行深入的了解和分析&#xff0c;今天我们就一起揭开面纱看看它的内在。 spring.factories 文件是 Spring Boot 自动配置机制的核心部分之一。它位于每个 Spring Boo…

从前端视角看设计模式之行为型模式篇

上篇我们介绍了 设计模式之结构型模式篇&#xff0c;接下来介绍设计模式之行为型模式篇 责任链模式 责任链模式允许将请求沿着一条链传递&#xff0c;直到有一个对象处理它为止。每个处理者都有机会处理该请求&#xff0c;或者将其传递给链中的下一个处理者&#xff0c;每个处…

[2025分类时序异常检测指标R-AUC与VUS]

梳理了一下分类中常见的指标&#xff0c;这些指标与时序异常检测中新提出的A-RUC与VUS之间的关系 真正例(True Positive,TP): 被正确识别为正样本的数量。真负例(True Negative,TN): 被正确识别为负样本的数量。假正例(False Positive ,FP): 被错误识为正样本数量假负例(Fals…

Unity中实现伤害跳字效果(简单好抄)

第一步骤安装并导入Dotween插件&#xff08;也可以不用导入之后直接下载我的安装包&#xff09; 官网DOTween - 下载 第二步&#xff1a; 制作跳字预制体 建议把最佳适应打开&#xff0c;这样就不怕数字太大显示不全了。 第三步&#xff1a;创建一个空对象并编写脚本JumpNumbe…

【设计模式-行为型】观察者模式

一、什么是观察者模式 说起观察者模式&#xff0c;不得不说一位观察者模式的高级应用者&#xff0c;朱元璋。不知道大家有没有看过胡军演的电视剧《朱元璋》。这部剧背景是元朝末年&#xff0c;天下大乱&#xff0c;朱元璋自幼父母双亡&#xff0c;沦为乞丐&#xff0c;后遁入空…