linux中kafka主题修改分区,kafka_2.11-2.0.0的部署与配置修改

1 [yun@mini01 config]$ pwd

2 /app/kafka/config3 [yun@mini01 config]$ vim server.properties4 ############################# Server Basics #############################5 # 每一个broker在集群中的唯一标示★★★6 # 比如mini01 为0 mini02 为1 mini03 为27 broker.id=0

8

9 ############################# Socket Server Settings #############################10 # The address the socket server listens on. It will get the value returned from11 # java.net.InetAddress.getCanonicalHostName() ifnot configured.12 # FORMAT:13 # listeners = listener_name://host_name:port

14 # EXAMPLE:15 # listeners = PLAINTEXT://your.host.name:9092

16 # 启动kafka服务监听的ip和端口,默认为java.net.InetAddress.getCanonicalHostName()获取的ip17 #listeners=PLAINTEXT://:9092

18

19 # broker通知到producers和consumers的主机地址和端口号20 # 如果未设置,使用listeners的配置。否则,使用java.net.InetAddress.getCanonicalHostName()返回的值21 # 对于ipv4,基本就是localhost了 127.0.0.1最后就是访问失败22 #advertised.listeners=PLAINTEXT://your.host.name:9092

23 # 在不同的机器,名称不同 如mini01、mini02、mini03★★★24 advertised.listeners=PLAINTEXT://mini01:9092

25

26 # broker 处理消息的最大线程数,一般情况下不需要去修改27 num.network.threads=3

28

29 # broker处理磁盘IO 的线程数 ,数值应该大于你的硬盘数30 num.io.threads=8

31

32 # 发送缓冲区buffer大小,数据不是一下子就发送的,先回存储到缓冲区了到达一定的大小后在发送,能提高性能33 socket.send.buffer.bytes=102400

34

35 # kafka接收缓冲区大小,当数据到达一定大小后在序列化到磁盘36 socket.receive.buffer.bytes=102400

37

38 # 这个参数是向kafka请求消息或者向kafka发送消息的请求的最大数,这个值不能超过java的堆栈大小39 socket.request.max.bytes=104857600

40

41 ############################# Log Basics #############################42 # kafka数据的存放地址,多个地址的话用逗号分割 /tmp/kafka-logs-1,/tmp/kafka-logs-2

43 log.dirs=/app/kafka/logs44

45 # 默认的分区数,一个topic默认1个分区数46 num.partitions=1

47

48 # 每个数据目录在启动时用于日志恢复和关闭时用于刷新的线程数。49 num.recovery.threads.per.data.dir=1

50

51 ############################# Internal Topic Settings #############################52 # 组元数据内部主题“__consumer_offset”和“__transaction_state”的复制因子53 # 对于开发测试之外的任何内容,建议使用大于1的值来确保可用性,比如3。54 offsets.topic.replication.factor=3

55 transaction.state.log.replication.factor=3

56 transaction.state.log.min.isr=3

57

58 ############################# Log Flush Policy #############################59 # 在持久化到磁盘前message最大接收条数60 #log.flush.interval.messages=10000

61 log.flush.interval.messages=10000

62

63 # 持久化的最大时间间隔64 #log.flush.interval.ms=1000

65 log.flush.interval.ms=3000

66

67 ############################# Log Retention Policy #############################68 # 默认消息的最大持久化时间,168小时,7天69 # segment 文件保留的最长时间,超时则被删除70 log.retention.hours=168

71

72 # 当分片的大小超过该值时,就会被删除。该功能不依赖于log.retention.hours。为 -1没有大小限制73 #log.retention.bytes=1073741824

74 log.retention.bytes=-1

75

76 # 滚动生成新的segment文件的最大时间77 log.roll.hours=168

78

79 # 单个分片的上限,达到该大小后会生成新的日志分片 1G80 log.segment.bytes=1073741824

81

82 # 日志分片的检测时间间隔,每隔该时间会根据log保留策略决定是否删除log分片83 log.retention.check.interval.ms=300000

84

85 # 默认为true 启用日志清理器进程在服务器上运行86 log.cleaner.enable=true

87

88 # 默认为true 【当前版本】 启用删除主题。 如果此配置已关闭,则通过管理工具删除主题将不起作用89 delete.topic.enable=true

90 ############################# Zookeeper #############################91 # Zookeeper connection string (see zookeeper docs fordetails).92 # This is a comma separated host:port pairs, each corresponding to a zk93 # server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".94 # You can also append an optional chroot stringto the urls to specify the95 # root directory forall kafka znodes.96 zookeeper.connect=mini01:2181,mini02:2181,mini03:2181,mini04:2181,mini05:2181

97

98 # Timeout in ms forconnecting to zookeeper99 zookeeper.connection.timeout.ms=6000

100

101

102 ############################# Group Coordinator Settings #############################103 # 在开发测试环境下该值设置为0,保证启动后马上可以使用。但在生产环境下,默认值3秒更适合104 group.initial.rebalance.delay.ms=3000

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/349214.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python中字符串乘法_python leetcode 字符串相乘实例详解

给定两个以字符串形式表示的非负整数 num1 和 num2 ,返回 num1 和 num2 的乘积,它们的乘积也表示为字符串形式。示例 1:输入: num1 "2", num2 "3"输出: "6"示例 2:输入: num1 "123", num2 "456&quo…

嵌入式基于linux电机控制器,基于嵌入式Linux的移动机器人控制系统

使用select机制监控是否语音识别结果,在超出等待时间后,会退出等待并重新初始化语音模块LD3320,释放公共资源,这样也使得系统能够及时响应LD3320的MP3播放功能,避免了在长时间没有语音识别结果时,系统进入卡…

jdk8运行jdk7的代码_即使在jdk中也有错误的代码

jdk8运行jdk7的代码Java 7,TreeSet和NullPointerException。 最近,我尝试用Java 7编译一个用Java 6开发的项目。在执行测试过程中发生了很多有趣的事情,在Java 6中使用Java 7平稳运行的测试失败了! 因此,我必须理解为什…

zen of python什么意思_如何理解「The Zen of Python」?

import thisThe Zen of Python, by Tim PetersPython之禅 ,by Tim PetersBeautiful is better than ugly.优美好于丑陋(Python 以优美的代码为其风格,不要写丑陋的代码)Explicit is better than implicit.明了好于隐晦(Python的每一行代码、每一个变量、…

linux用pipe创建的文件类型,linux文件类型之 管道

inux管道管道是Linux中很重要的一种通信方式,是把一个程序的输出直接连接到另一个程序的输入,常说的管道多是指无名管道,无名管道只能用于具有亲缘关系的进程之间,这是它与有名管道的最大区别。有名管道叫namedpipe或者FIFO(先进先出),可以用函数mkfifo(…

Spring Webflux – Kotlin DSL –实现的演练

在先前的博客文章中,我描述了Spring Web Framework中的响应式编程支持Spring Webflux如何使用基于Kotlin的DSL使用户能够以非常直观的方式描述路由。 在这里,我想探索一些底层实现。 描述一组端点的样本DSL看起来像这样: package sample.ro…

python 正则表达式提取数据_Python爬虫教程-19-数据提取-正则表达式(re)

本篇主页内容:match的基本使用,search的基本使用,findall,finditer的基本使用,匹配中文,贪婪与非贪婪模式Python爬虫教程-19-数据提取-正则表达式(re)正则表达式:一套规则,可以在字符串文本中进…

c语言作业请输入一个运算符,C语言书面作业1(有答案版)..doc

C语言书面作业1(有答案版).书面作业1(数据类型、变量、输入/输出、运算符与表达式、选择结构、循环结构)一、判断题:在正确的说法前面填写T,在错误的说法前面填写F(每题1分)[得分: ]()()()()标识符中可以出现下划线但它不可以放在标识符的开头…

windows server 驱动精灵_还在用Windows文件共享?我来教你一键摆脱Windows海量小文件使用和备份的噩梦...

每当我问到客户,“你用什么存储产品作为文件共享?”经常听到的一个答案(自豪滴)是,“文件共享需要存储么?我们用Windows就可以做到。”Windows就是个百宝箱,什么都能往里装,就像你家冰箱一样。众所周知&…

c语言编写日历作业,c语言实现一个简单日历

满足三个需求:1.输入一个年份,输出是在屏幕上显示该年的日历。假定输入的年份在1940-2040年之间。2.输入年月,输出该月的日历。3.输入年月日,输出距今天还有多少天,星期几,是否是公历…

将EntityManager.refresh添加到所有Spring数据存储库

在我以前的文章《从Spring Data JPA访问EntityManager》中,我展示了如何扩展单个Spring Data JPA存储库以访问EntityManager.refresh方法。 这篇文章演示了如何将EntityManager.refresh添加到所有Spring Data Repository。 源代码 第一步是定义您的界面- package …

pb 应用 迁移 linux_功能化生物炭应用研究取得系列进展

土壤营养元素流失、重金属污染是当前全球面临的突出环境问题。生物炭因其具有比表面积较大、吸附性能高和成本低等优点而在环境修复领域日益受到广泛关注,被作为水处理吸附剂、土壤修复改良剂广泛应用于农业土壤改良和环境中重金属的修复和钝化。但通常情况下&#…

Java命令行界面(第26部分):CmdOption

由于Tweet,我了解了本系列中第26个基于Java的功能强大的库,该库用于解析命令行参数 。 CmdOption在其GitHub主页上被描述为“一个通过注释配置的,用于Java 5应用程序的简单注释驱动的命令行解析器工具包。” 该项目的副标题是“命令行解析从未…

vector c++ 赋值_面对拷贝赋值时发生的自我赋值的正确态度时接受而不是防止

C.62: Make copy assignment safe for self-assignmentC.62:保证拷贝赋值对自我赋值安全Reason(原因)If x x changes the value of x, people will be surprised and bad errors will occur (often including leaks).如果xx改变了x的值,人们会觉得很奇怪&#xff0…

c语言字符流缓冲区,深入理解C语言的IO及缓冲操作

http://www.shangxueba.com/jingyan/1837313.html2014与文件I/O围绕文件描述符操作不同,标准I/O的操作是围绕流进行的。流:对于流,《C和指针》里有一段解释得很好:ANSI C进一步对I/O的概念进行了抽象。就C程序而言,所有…

maven插件依赖_当Maven依赖插件位于

maven插件依赖问题: 我们进行了一个集成测试,该测试创建了一个Spring ClassPathXmlApplicationContext ,同时这样做导致NoSuchMethodError爆炸。 事实证明,我们对Spring构件的依赖版本存在冲突。 这本身不是一个不寻常的问题-使用…

华为编程规范_华为 Java 编程规范出炉,究竟和官方文档有何不同?

来源:blog.csdn.net/chenleixing/article/details/441739851、引言这个标准是衡量代码本身的缺陷,也是衡量一个研发人员本身的价值。华为作为一家全球化的 IT 公司,十几万员工,无论是人事管理,还是代码管理&#xff0c…

变量是否在数组内c语言,函数内创建的数组在调用后,是否就不存在

函数内创建的数组在调用后,是不是就不存在本帖最后由 test_lockxxx 于 2014-04-23 09:31:06 编辑第1种写法:char *getABC(){char str[10];strcpy(str,"12345");return str;}void main(){char *p getABC();printf("%s\n",p); //这…

惯用并发:flatMap()与parallel()– RxJava常见问题解答

简单,有效和安全的并发是RxJava的设计原则之一。 然而,具有讽刺意味的是,它可能是该库中最容易被误解的方面之一。 让我们举一个简单的例子:假设我们有一堆UUID并且对于每个UUID ,我们必须执行一组任务。 第一个问题是…

python%20开发工具_20招让你的Python飞起来!

今天分享的这篇文章,文字不多,代码为主。绝对干货,童叟无欺,主要分享了提升 Python 性能的 20 个技巧,教你如何告别慢Python。原文作者 开元,全栈程序员,使用 Python, Java, PHP和C。1. 优化算法…