kafka-保姆级配置说明(broker)

一. important
##broker ID,cluster唯一标识,数字类型
##此值可以不指定,有集群自动创建(由当前集群现有的brokerID + 1)。
##默认值为-1
broker.id=5
#broker.id.generation.enable=true
##zookeeper连接地址
zookeeper.connect=10.0.3.70:2181,10.0.3.71:2181,10.0.4.70:2181/kafka
zookeeper.connection.timeout.ms=6000
zookeeper.session.timeout.ms=6000
##broker绑定的ip和端口
##不能与host.name同时配置
listeners=PLAINTEXT://10.0.3.79:9092
port=9092
##broker数据文件保存的目录,建议数据目录使用单独的高性能磁盘驱动
##默认值为:/tmp/kafka-logs
log.dir=/data/kafka
##自动创建的topics所具有的replication个数
default.replication.factor=2
##每个topic默认的partion个数,默认值为1
##建议此值有producer自主决定,因为涉及到partition sharding的设置
num.partitions=1

二. topics:

##[topics]
##后台线程的个数,后台线程用于leader平衡、consumer活性检测
##日志文件切分或回收等
##默认为10
background.threads=10
##设置指定topic的数据压缩类型,
##允许值“producer”、“gzip”、“snappy”、“lz4”
##“producer”值表示压缩算法由producer端指定
##默认值为“producer”
compression.type=producer
##是否允许删除topic
##无论是否关闭,我们总是可以使用admin工具删除topic
delete.topic.enable=false
##是否允许自动创建topic,如果producer端指定的topic尚未被创建时。
##基于admin管控,可以设置为false。
##默认为true
auto.create.topics.enable=true
##是否开启partition leaders自动rebalance机制
##后台线程将会间歇性的检测并适时触发“rebalance”
##默认为true
auto.leader.rebalance.enable=true
##controller检测partition均衡性的频率,单位秒
##默认值为300
leader.imbalance.check.interval.seconds=300
##允许每个broker上失衡leader的占比。
##如果某个broker失衡leader的占比超过此值,controller将会触发rebalance。
##默认为10,百分比
leader.imbalance.per.broker.percentage=10
##是否开启将不在ISR列表的replicas选举为leader,这是最后的手段(即ISR列表中的replicas都已不可达)
##尽管这样可能会导致数据丢失。
unclean.leader.election.enable=true
##consumers的会话过期时间:
##超时后将会认为此cusumers已下线,其上相应的partiton消费将会转发给此group的其他consumers
group.max.session.timeout.ms=30000

三. logs:

##[log]
##log partition上累积N条消息后进行磁盘刷新
##默认值为:9223372036854775807
##默认情况下,磁盘文件刷新时机由OS确定,broker不主动刷盘
#log.flush.interval.messages=100000
##topic中消息刷盘的时间间隔,在此之前,消息将会保存在内存中
##如果不设置此值,将会有“log.flush.scheduler.interval.ms”值决定。
##默认值:null
#log.flush.interval.ms=1000
##默认值:9223372036854775807
#log.flush.scheduler.interval.ms=1000
##默认值:
log.flush.offset.checkpoint.interval.ms=60000
##log数据保留的最大尺寸,超过此值后,历史log数据将会被删除
##默认为-1,表示log数据“不按照尺寸”方式评估
log.retention.bytes=-1
##log数据保留的小时数,默认为168(一周)
log.retention.hours=168
##当没有logs需要清理时,后台线程sleep的时间
log.cleaner.backoff.ms=15000
##开启log清理
##如果不开启,log文件(数量、尺寸)将会一直增加,不会被删除
log.cleaner.enable=true
log.cleaner.threads=1
##日志清理的策略:delete、compact;默认值为delete
##delete:删除历史log文件
##compact:合并压缩,即将相同的key的消息进行compact,相同key的多条消息值保留最近一条。(非compression)
log.cleanup.policy=delete
##log超期(超尺寸)检测的时间间隔,以判断segment是否可以被删除(加入删除列表)
log.retention.check.interval.ms=300000
##log片段切分的时间间隔(roll),默认值为168
log.roll.hours=168
##单个log片段的大小,超过此值将会被roll,默认值为1G
log.segment.bytes=1073741824
##间隔多少字节后,在offset index文件中添加一个条目
##此值越小,index文件越大,根据offset定位log文件越快
##默认值为4096,此处调整为1M
log.index.interval.bytes=1048576
##offset index文件的最大尺寸,超出后将会roll out
##默认值10M
log.index.size.max.bytes=10485760
##log片段文件预分配,*linux系统不需要,window平台上建议开启。
log.preallocate=false

四. replicas:

 ##[replicas]
##当需要满足producer端“required.acks=-1”的请求时,
##ISR列表中replicas的最小个数。(in-sync replicas)
##默认值为1(即leader)
min.insync.replicas=1
##replicas从leader中同步(fetch)数据的线程数量,建议为1
##增加此值可以提高follower broker的并发度
num.replica.fetchers=1
replica.fetch.max.bytes=1048576
replica.fetch.wait.max.ms=500
##如果follower在此时间内没有发送任何fetch请求、或者不能与leaders跟进
##leader将会把此follower从ISR列表中移除。(直到此follower跟进为止)
replica.lag.time.max.ms=10000
##当follower fetch数据时遇到异常,等待的时间间隔(重试)
replica.fetch.backoff.ms=1000
##offset消息提交需要的acks,默认为-1(all),且决不能覆盖
##offset请求是一种特殊的请求,它必须在相应的partiton所在ISR列表中全部提交确认后
offsets.commit.required.acks=-1
##offset请求提交将会被delay,知道offset topic的所有replicas收到提交或者超时
##类似于producer端的请求超时。
offsets.commit.timeout.ms=5000
##offset topic的partitions个数,属于broker内部机制,建议不要调整此值
offsets.topic.num.partitions=50
offsets.topic.replication.factor=3

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/893592.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

推箱子游戏

java小游戏2 一游戏介绍 二图像准备 墙、箱子、人、箱子目的地,人左边、人右边、人上边、人下边 三结构准备 地图是什么,我们把地图想象成一个网格,每个格子就是工人每次移动的步长,也是箱子移动的距离,设置一个二维数…

如何分辨ddos攻击和cc攻击?

DDoS(分布式拒绝服务)攻击和 CC(Challenge Collapsar)攻击都属于网络攻击手段,主要通过消耗目标服务器资源使其无法正常提供服务,但它们在攻击原理、攻击特征等方面存在区别: 攻击原理 DDoS 攻…

期权帮|如何利用股指期货进行对冲套利?

锦鲤三三每日分享期权知识,帮助期权新手及时有效地掌握即市趋势与新资讯! 如何利用股指期货进行对冲套利? 对冲就是通过股指期货来平衡投资组合的风险。它分为正向与反向两种策略: (1)正向对冲&#xff…

软件质量与测试报告5-压力测试 JMeter 与 Badboy

A.百度搜索引擎压力测试 通过在Badboy下执行如下的测试场景来生成压力测试的脚本: a) 在Badboy的地址栏里面输入www.baidu.com,回车; b) 在右下区域打开的百度的主页上输入搜索关键字JMeter,回车; c) 在…

Mybatis多条件查询:Map传参与对象传参解析

Mybatis 多条件查询常见且关键,本文探讨两种方法——Map 传参和 Java Bean 对象传参,展示用法及区别,总结应用场景和优缺点。 1. Map传参方式 原理:Mybatis允许我们通过一个Map对象来传递动态SQL中的参数。Map的键对应于SQL语句中…

wangEditor富文本编辑器,Laravel上传图片配置和使用

文章目录 前言步骤1. 构造好前端模版2. 搭建后端存储3. 调试 前言 由于最近写项目需要使用富文本编辑器,使用的是VUE3.0版本所以很多不兼容,实际测试以后推荐使用wangEditor 步骤 构造好前端模版搭建后端存储调试 1. 构造好前端模版 安装模版 模版安…

three.js+WebGL踩坑经验合集(2):3D场景被相机裁切后,被裁切的部分依然可以被鼠标碰撞检测得到(射线检测)

three.js内置了Raycaster类实现鼠标的碰撞检测,用它可以实现3D物体的鼠标点击,移入移出,触屏检测一类的业务功能。 该功能虽然强大,但同事们普遍反映不是那么好用,因为它不像其它配套了可视编辑的3D引擎一样&#xff…

Spring Boot spring.factories文件详细说明

优质博文:IT-BLOG-CN 前言:经常看到 spring.factories 文件,却没有对它进行深入的了解和分析,今天我们就一起揭开面纱看看它的内在。 spring.factories 文件是 Spring Boot 自动配置机制的核心部分之一。它位于每个 Spring Boo…

从前端视角看设计模式之行为型模式篇

上篇我们介绍了 设计模式之结构型模式篇,接下来介绍设计模式之行为型模式篇 责任链模式 责任链模式允许将请求沿着一条链传递,直到有一个对象处理它为止。每个处理者都有机会处理该请求,或者将其传递给链中的下一个处理者,每个处…

[2025分类时序异常检测指标R-AUC与VUS]

梳理了一下分类中常见的指标,这些指标与时序异常检测中新提出的A-RUC与VUS之间的关系 真正例(True Positive,TP): 被正确识别为正样本的数量。真负例(True Negative,TN): 被正确识别为负样本的数量。假正例(False Positive ,FP): 被错误识为正样本数量假负例(Fals…

Unity中实现伤害跳字效果(简单好抄)

第一步骤安装并导入Dotween插件(也可以不用导入之后直接下载我的安装包) 官网DOTween - 下载 第二步: 制作跳字预制体 建议把最佳适应打开,这样就不怕数字太大显示不全了。 第三步:创建一个空对象并编写脚本JumpNumbe…

考研机试:学分绩点

描述 北京大学对本科生的成绩施行平均学分绩点制(GPA)。 既将学生的实际考分根据不同的学科的不同学分按一定的公式进行计算。 公式如下: 一门课程的学分绩点 该课绩点 该课学分 总评绩点 所有学科学分绩点之和 / 所有课程学分之和 …

【玩转全栈】----YOLO8训练自己的模型并应用

继上篇: 【玩转全栈】---基于YOLO8的图片、视频目标检测-CSDN博客 相信大家已经可以训练一些图片和视频了,接下来我将为大家介绍如何训练自己的特定模型,并用其进行检测 目录 准备数据 图片数据 标识数据 配置文件 运行 测试训练结果 存在的问…

OpenCV文字绘制支持中文显示

OpenCV版本:4.4 IDE:VS2019 功能描述 OpenCV绘制文本的函数putText()不支持中文的显示,网上很多方法推荐的都是使用FreeType来支持,FreeType是什么呢?FreeType的官网上有介绍 FreeType官网 https://www.freetype.or…

我谈《概率论与数理统计》的知识体系

学习《概率论与数理统计》二十多年后,在廖老师的指导下,才厘清了各章之间的关系。首先,这是两个学科综合的一门课程,这一门课程中还有术语冲突的问题。这一门课程一条线两个分支,脉络很清晰。 概率论与统计学 概率论…

ElasticSearch JavaRestClient查询之快速入门

文章目录 查询操作流程概述构建并发起请求1. 创建请求对象2. 设置请求体3. 发送请求 查询结果的解析1. 解析结果结构2. 获取总条数3. 获取命中的数据 完整示例代码总结 查询操作流程概述 Elasticsearch 查询操作大致可以分为两个部分: 构建并发起请求:…

Quartus:开发使用及 Tips 总结

Quartus是Altera(现已被Intel收购)推出的一款针对其FPGA产品的综合性开发环境,用于设计、仿真和调试数字电路。以下是使用Quartus的一些总结和技巧(Tips),帮助更高效地进行FPGA项目开发: 这里写目录标题 使用总结TIPS…

elementUI Table组件实现表头吸顶效果

需求描述 当 table 内容过多的时候,页面上滑滚动,表头的信息也会随着被遮挡,无法将表头信息和表格内容对应起来,需要进行表头吸顶 开始编码💪 环境:vue2.6、element UI step1: 给el-table__h…

用于牙科的多任务视频增强

Multi-task Video Enhancement for Dental Interventions 2022 miccai Abstract 微型照相机牢牢地固定在牙科手机上,这样牙医就可以持续地监测保守牙科手术的进展情况。但视频辅助牙科干预中的视频增强减轻了低光、噪音、模糊和相机握手等降低视觉舒适度的问题。…

Vue3轮播图左右联动

1、轮播图部分,右边鼠标移入,左边对应展示轮播图 可以在swiper 官网 Swiper中文网-轮播图幻灯片js插件,H5页面前端开发 选择vue中使用swiper npm i swiper 左右两边的联动:左边的轮播图和右边的小的列表他们的列表组成结构是一样的&#…