Pulsar 社区周报 | No.2024-06-07 | Apache Pulsar 新分支 3.3 版本发布

各位热爱 Pulsar 的小伙伴们,Pulsar 社区周报更新啦!这里将记录 Pulsar 社区每周的重要更新,每周发布。

本期主题:Apache Pulsar 新分支 3.3 版本发布

Apache Pulsar 新分支 3.3 版本发布:Apache Pulsar 3.3.0[1]

包含的 PIP:

  • PIP-315: Configurable max delay limit for delayed delivery #21798

  • PIP-321 Introduce allowed-cluster at the namespace level #21648

  • PIP-324: Alpine Docker images #21716

  • PIP-325: Add command to abort transaction #21731

  • PIP-326: Create a BOM to ease dependency management #21747

  • PIP-329: Strategy for maintaining the latest tag to Pulsar docker images #21872

  • PIP-330: getMessagesById gets all messages #21873

  • PIP 342: Support OpenTelemetry metrics in Pulsar client #22178

  • PIP-343: Use picocli instead of jcommander #22181

  • PIP-344 Correct the behavior of the public API pulsarClient.getPartitionsForTopic(topicName) #22182

  • PIP-335: Oxia metadata plugin #22009

  • PIP-339: Introducing the --log-topic Option for Pulsar Sinks and Sources #22071

详细新特性和 bugfix 等,请详见 Apache Pulsar 3.3.0 release-notes[2] 页面(版本策略[3])。

BIGO 百页小册《Apache Pulsar 调优指南》

Hi,Apache Pulsar 社区的小伙伴们,社区 2024 上半年度的有奖问卷调查来啦!

参与问卷调查可优先获得 BIGO 冯文智大咖贡献的100 页小册 《Apache Pulsar 调优指南》 ,精彩不容错过,详情请看问卷。

点击链接参与有奖问卷调查:👇🏻

Apache Pulsar 中文社区有奖问卷调查(2024 上半年度)

dfe9880bade6d4c54c95e3de11753e3c.png

Pulsar Weekly Merge Stars

感谢以下的小伙伴,感谢你们本周为 Apache Pulsar 做的精彩贡献(排名不分先后)

1cba60dd25a52f1b745335ac5efdc3ad.png
Pulsar Weekly Merge Stars

@MMirelli,@shoothzj,@dependabot[bot],@thetumbled,@mattisonchao,@AnonHxy,@rdhabalia,@poorbarcode,@horizonzy,@nodece,@entvex,@heesung-sn,@dragosvictor,@michaeljmarshall,@jiangpengcheng,@dlg99,@yaalsn,@merlimat,@zymap,@yangl,@lhotari

apache/pulsar

fix

  • [fix][meta]检查是否在 RocksdbMetadataStore 中关闭了元数据存储 [4] @lhotari

  • [fix]从BookieRackAffinityMapping中移除阻塞调用 [5] @merlimat

  • [fix] [broker]修复了Broker因为损坏的schema ledger导致无法加载stats-internal的问题。[6] @rdhabalia

  • [fix]移除函数中Java serde的开箱即用选项 [7] @merlimat

  • [fix]JWT CLI 工具应强制执行令牌验证 [8] @merlimat

  • [fix][sec]升级Bouncycastle库以解决CVEs [9] @lhotari

  • [fix] [conf]修正配置名称和拼写错误。[10] @thetumbled

  • [fix] [broker]默认禁用 loadBalancerDirectMemoryResourceWeight [11] @thetumbled

  • [fix] [broker]默认情况下禁用 loadBalancerMemoryResourceWeight [12] @thetumbled

  • [fix]将 io.airlift:aircompressor 从 0.20 升级到 0.27 [13] @dependabot[bot]

  • [fix][cli]修复通过 \"pulsar tokens create\" 创建的令牌过期问题 [14] @entvex

  • [fix][ci]修复在 x86 alpine 上 snappy-java 原生库加载失败 [15] @yaalsn

  • [fix] [broker]修正 ThresholdShedder 的文档并移除无用的方法。[16] @thetumbled

  • [fix] [broker]仅在内存中维持最后活跃信息。[17] @thetumbled

  • [fix][ml]修复 RangeCache 中的竞态条件 [18] @lhotari

  • [fix]将/pulsar-function-go中的google.golang.org/protobuf从1.32.0升级到1.33.0 [19] @dependabot[bot]

新特性

  • [improve]重构了BK ClientFactory,现在返回未来(futures)结果。[20] @merlimat

  • [improve][build]在构建 Docker 镜像时支持 git worktree 工作目录 [21] @lhotari

  • [improve][broker]减少OpenTelemetry消费者属性数量 [22] @dragosvictor

  • [improve]将 Jetcd 升级到 0.7.7 并将 VertX 升级到 4.5.8 [23] @merlimat

  • [improve]验证Functions utils中的用户路径 [24] @merlimat

  • [improve]在long -> int转换前验证参数范围 [25] @merlimat

  • [improve]使用Google re2/j库处理用户提供的正则表达式 [26] @merlimat

  • [improve][misc]将 OTel 库升级到 1.38.0 版本 [27] @lhotari

  • [improve] [pip]PIP-357:在负载均衡模块中修正配置名称。[28] @thetumbled

  • [improve][ml]RangeCache重构后续:使用StampedLock代替synchronized [29] @lhotari

  • [improve][ml]RangeCache 重构:测试竞争条件并防止无限循环 [30] @lhotari

  • [improve]升级到 Oxia client 0.3.0 [31] @zymap

  • [improve] [pip]PIP-356:支持从最早位置开始的地理复制 [32] @poorbarcode

  • [improve] [client]PIP-344 支持特性标志 supportsGetPartitionedMetadataWithoutAutoCreation [33] @poorbarcode

  • [improve][ci]添加 arm64 镜像构建 [34] @nodece

others

  • [feat][broker]PIP-264:增加broker web执行器指标 [35] @dragosvictor

  • [feat][broker]PIP-264:增加schema registry指标 [36] @dragosvictor

apache/bookkeeper

fix

  • [fix]修复 Auditor 忽略了在 Auditor 启动之前关闭的 bookies [37] @dlg99

新特性

  • [improve][tests]向后兼容性测试:新增版本,Pulsar升级案例,从旧服务器读取检查 [38] @dlg99

others

  • 文档:修复 Google Kubernetes Engine 链接。[39] @shoothzj

  • 测试:在testSequenceReadLocalEnsemble中关闭bookkeeper客户端 [40] @shoothzj

  • 任务:删除已废弃的配置项 ensemblePlacementPolicyOrderSlowBookies [41] @shoothzj

  • 将RocksDB升级到版本7.10.2 [42] @dlg99

  • 从 testDecommissionBookie 方法中移除 @FlakyTest 注解 [43] @shoothzj

  • 修复Windows上的RocksDB配置路径处理问题 [44] @shoothzj

  • 替换 assert 语句为显式检查[45] @shoothzj

  • SingleDirectoryDbLedgerStorage 有时跳过乐观缓存写入 [46] @michaeljmarshall

  • 防止因为 SingleDirectoryDbLedgerStorage 中的竞争引起的双重刷新 [47] @michaeljmarshall

  • 修复 ledger-api 文档中的 bookkeeper-server-shaded 版本 [48] @yangl

  • 在 AuditorPlacementPolicyCheckTest 中,将 RegistrationManager 放在 finally 块中关闭。[49] @horizonzy

  • 修复在getLogSegmentNames中的zkGetLogSegmentNames重复调用问题 [50] @AnonHxy

  • 关闭为空的segments产生的烦人日志记录 [51] @mattisonchao

streamnative/function-mesh

others

  • 调整一些代码以避免重复 [52] @jiangpengcheng

apache/pulsar-client-go

others

  • [feat]PIP-188 支持蓝绿迁移 [53] @heesung-sn

apache/pulsar-helm-chart

others

  • 添加 defaultPulsarImageRepository 配置 [54] @lhotari

  • 升级 kube-prometheus-stack 到 59.x.x [55] @lhotari

  • 支持 NodePort 代理服务 [56] @MMirelli

  • 允许代理的服务 clusterIP 自定义 [57] @MMirelli

活动新闻

  • 国内下一场 Meetup 计划将在北京举办,目前正在筹办中,相关合作等信息课联系 Pulsar Bot 咨询。

  • 2024 年 7 月 26-28 日:阿帕奇软件基金会亚洲大会(CommunityOverCode Asia 2024)Messaging 专题[58]

参考资料

[1]

Apache Pulsar 3.3.0: https://pulsar.apache.org/release-notes/versioned/pulsar-3.3.0/

[2]

Apache Pulsar 3.3.0: https://pulsar.apache.org/release-notes/versioned/pulsar-3.3.0/

[3]

发版策略: https://pulsar.apache.org/contribute/release-policy/

[4]

[fix][meta]检查是否在 RocksdbMetadataStore 中关闭了元数据存储 : https://github.com/apache/pulsar/pull/22852

[5]

[fix]从BookieRackAffinityMapping中移除阻塞调用 : https://github.com/apache/pulsar/pull/22846

[6]

[fix] [broker]修复了Broker因为损坏的schema ledger导致无法加载stats-internal的问题。: https://github.com/apache/pulsar/pull/22845

[7]

[fix]移除函数中Java serde的开箱即用选项 : https://github.com/apache/pulsar/pull/22832

[8]

[fix]JWT CLI 工具应强制执行令牌验证 : https://github.com/apache/pulsar/pull/22831

[9]

[fix][sec]升级Bouncycastle库以解决CVEs : https://github.com/apache/pulsar/pull/22826

[10]

[fix] [conf]修正配置名称和拼写错误。: https://github.com/apache/pulsar/pull/22822

[11]

[fix] [broker]默认禁用 loadBalancerDirectMemoryResourceWeight : https://github.com/apache/pulsar/pull/22821

[12]

[fix] [broker]默认情况下禁用 loadBalancerMemoryResourceWeight : https://github.com/apache/pulsar/pull/22820

[13]

[fix]将 io.airlift:aircompressor 从 0.20 升级到 0.27 : https://github.com/apache/pulsar/pull/22819

[14]

[fix][cli]修复通过 "pulsar tokens create" 创建的令牌过期问题 : https://github.com/apache/pulsar/pull/22815

[15]

[fix][ci]修复在 x86 alpine 上 snappy-java 原生库加载失败 : https://github.com/apache/pulsar/pull/22804

[16]

[fix] [broker]修正 ThresholdShedder 的文档并移除无用的方法。: https://github.com/apache/pulsar/pull/22798

[17]

[fix] [broker]仅在内存中维持最后活跃信息。: https://github.com/apache/pulsar/pull/22794

[18]

[fix][ml]修复 RangeCache 中的竞态条件 : https://github.com/apache/pulsar/pull/22789

[19]

[fix]将/pulsar-function-go中的google.golang.org/protobuf从1.32.0升级到1.33.0 : https://github.com/apache/pulsar/pull/22261

[20]

[improve]重构了BK ClientFactory,现在返回未来(futures)结果。: https://github.com/apache/pulsar/pull/22853

[21]

[improve][build]在构建 Docker 镜像时支持 git worktree 工作目录 : https://github.com/apache/pulsar/pull/22851

[22]

[improve][broker]减少OpenTelemetry消费者属性数量 : https://github.com/apache/pulsar/pull/22837

[23]

[improve]将 Jetcd 升级到 0.7.7 并将 VertX 升级到 4.5.8 : https://github.com/apache/pulsar/pull/22835

[24]

[improve]验证Functions utils中的用户路径 : https://github.com/apache/pulsar/pull/22833

[25]

[improve]在long -> int转换前验证参数范围 : https://github.com/apache/pulsar/pull/22830

[26]

[improve]使用Google re2/j库处理用户提供的正则表达式 : https://github.com/apache/pulsar/pull/22829

[27]

[improve][misc]将 OTel 库升级到 1.38.0 版本 : https://github.com/apache/pulsar/pull/22825

[28]

[improve] [pip]PIP-357:在负载均衡模块中修正配置名称。: https://github.com/apache/pulsar/pull/22823

[29]

[improve][ml]RangeCache重构后续:使用StampedLock代替synchronized : https://github.com/apache/pulsar/pull/22818

[30]

[improve][ml]RangeCache 重构:测试竞争条件并防止无限循环 : https://github.com/apache/pulsar/pull/22814

[31]

[improve]升级到 Oxia client 0.3.0 : https://github.com/apache/pulsar/pull/22807

[32]

[improve] [pip]PIP-356:支持从最早位置开始的地理复制 : https://github.com/apache/pulsar/pull/22806

[33]

[improve] [client]PIP-344 支持特性标志 supportsGetPartitionedMetadataWithoutAutoCreation : https://github.com/apache/pulsar/pull/22773

[34]

[improve][ci]添加 arm64 镜像构建 : https://github.com/apache/pulsar/pull/22755

[35]

[feat][broker]PIP-264:增加broker web执行器指标 : https://github.com/apache/pulsar/pull/22816

[36]

[feat][broker]PIP-264:增加schema registry指标 : https://github.com/apache/pulsar/pull/22624

[37]

[fix]修复 Auditor 忽略了在 Auditor 启动之前关闭的 bookies : https://github.com/apache/bookkeeper/pull/4419

[38]

[improve][tests]向后兼容性测试:新增版本,Pulsar升级案例,从旧服务器读取检查 : https://github.com/apache/bookkeeper/pull/3981

[39]

文档:修复 Google Kubernetes Engine 链接。: https://github.com/apache/bookkeeper/pull/4418

[40]

测试:在testSequenceReadLocalEnsemble中关闭bookkeeper客户端 : https://github.com/apache/bookkeeper/pull/4416

[41]

任务:删除已废弃的配置项 ensemblePlacementPolicyOrderSlowBookies : https://github.com/apache/bookkeeper/pull/4415

[42]

将RocksDB升级到版本7.10.2 : https://github.com/apache/bookkeeper/pull/4413

[43]

从 testDecommissionBookie 方法中移除 @FlakyTest 注解 : https://github.com/apache/bookkeeper/pull/4408

[44]

修复Windows上的RocksDB配置路径处理问题 : https://github.com/apache/bookkeeper/pull/4407

[45]

替换 assert 语句为显式检查: https://github.com/apache/bookkeeper/pull/4390

[46]

SingleDirectoryDbLedgerStorage 有时跳过乐观缓存写入 : https://github.com/apache/bookkeeper/pull/4306

[47]

防止因为 SingleDirectoryDbLedgerStorage 中的竞争引起的双重刷新 : https://github.com/apache/bookkeeper/pull/4305

[48]

修复 ledger-api 文档中的 bookkeeper-server-shaded 版本 : https://github.com/apache/bookkeeper/pull/4108

[49]

在 AuditorPlacementPolicyCheckTest 中,将 RegistrationManager 放在 finally 块中关闭。: https://github.com/apache/bookkeeper/pull/4080

[50]

修复在getLogSegmentNames中的zkGetLogSegmentNames重复调用问题 : https://github.com/apache/bookkeeper/pull/4050

[51]

关闭为空的segments产生的烦人日志记录 : https://github.com/apache/bookkeeper/pull/4048

[52]

调整一些代码以避免重复 : https://github.com/streamnative/function-mesh/pull/760

[53]

[feat]PIP-188 支持蓝绿迁移 : https://github.com/apache/pulsar-client-go/pull/1210

[54]

添加 defaultPulsarImageRepository 配置 : https://github.com/apache/pulsar-helm-chart/pull/503

[55]

升级 kube-prometheus-stack 到 59.x.x : https://github.com/apache/pulsar-helm-chart/pull/502

[56]

支持 NodePort 代理服务 : https://github.com/apache/pulsar-helm-chart/pull/500

[57]

允许代理的服务 clusterIP 自定义 : https://github.com/apache/pulsar-helm-chart/pull/498

[58]

CommunityOverCode Asia 2024 议题征集正式启动!: https://mp.weixin.qq.com/s/byAbsKwC7XofWwxGBiylCw

联系我们

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。GitHub 地址:http://github.com/apache/pulsar/

619acb1f4509999956e6c7da3db1500a.png
Pulsar 中文社区 Logo(部分)

诚挚邀请您加入 Apache Pulsar 社区,与全球开发者一起学习、分享和成长,共同塑造云原生消息流平台的未来,一起打造更加开放和高效的开源技术生态!

c552503dfd85bd54b36e446dd9185212.png
Pulsar 进群说明

推荐阅读

干货文章

e9b5b84740fd60ad07bd12afbf8cda7e.jpeg
技术探究 | Flipkart 带来 Apache Pulsar 集群调优指南

62d50b5ded01faaa2b1961cf0c80bc00.jpeg

Apache Pulsar 为滴滴大数据运维带来了哪些收益?

31399ec0a48bfa4ada089cca4bd0e865.jpeg

技术探究 | 得物技术对 BookKeeper 存储架构做源码级剖析


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/851529.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

必备:产品经理工作文档大全

产品经理(英文:Product manager,缩写:PM)也称产品企划,是指在公司中针对某项或某类的产品进行规划和管理的人员,主要负责产品的研发、制造、营销、渠道等工作。 产品经理是很难定义的一个角色&a…

DeepSORT(目标跟踪算法)中的数值表格与调参的关系

DeepSORT(目标跟踪算法)中的数值表格与调参的关系 flyfish DeepSORT(目标跟踪算法)中的马氏距离详解(很详细) DeepSORT(目标跟踪算法)中 可以设置阈值进行异常检测或目标跟踪的原…

问题:在信息点统计表中,对于没有信息点的工作区或者房间填写,表明已经分析过该区域 #微信#职场发展#职场发展

问题:在信息点统计表中,对于没有信息点的工作区或者房间填写,表明已经分析过该区域 参考答案如图所示

学历还算能力的一部分吗(机器人方向)

前篇 在人工智能时代,学历还算是能力的一部分吗? 之前写过一篇,现在感觉应该是不严谨,不准确的。 AI如何看待能力,学历,文凭-CSDN博客 那一篇讨论了:{文凭}⊂{学历}⊂{能力} 本篇 不合格且…

【Echarts系列】带图片的饼图

【Echarts系列】带图片的饼图 序前提说明示例数据格式代码动态旋转图片 序 为了节省后续开发学习成本,这个系列将记录我工作所用到的一些echarts图表。 前提说明 因为饼图中间需要添加图片,所以比较特殊,对于饼图中间数据的对齐很容易出现…

正大国际期货:原油投资出现亏损的五种心理弱点

在原油投资当中,有五种心理弱点最容易导致投资者失败,必须注意加以克服! 盲目胆大心理。 有些投资者从未认真系统地学习过投资理论技巧,也没有经过任何模拟训练,甚至连最起码的投资基础知识都不明白,就贸然的进入原油…

企业管理/市场经营/自我管理,500+个经典职场工具 . rar

​500N个实用管理工具包,精选人力资源从业者必备之132项工具、40个管理者实效管理工具、成功自我管理的29个工具、常见的9种营销分析工具等,成功自我管理必备工具。 与班主任联系,即可获得完整资料包! 1.PEST分析 2.五力分析 3.…

哈尔滨等保如何做?

哈尔滨等保测评是确保信息系统安全稳定运行的重要一环,它涉及到对业务、资产、安全技术和安全管理的全面调研和评估。本文将详细阐述哈尔滨等保测评的实施步骤和注意事项,帮助读者更好地理解和执行等保测评工作。 首先,我们需要明确等保测评的…

Hexo+Github搭建个人博客教程

hexo官网:https://hexo.io/zh-cn/ butterfly 主题设置:https://butterfly.js.org/ GitHub地址:https://github.com/jerryc127/hexo-theme-butterfly 基础命令 初始化博客命令:hexo init “文件名” 开启本地服务(本…

Docker:Docker容器使用

文章目录 容器与宿主机复制容器环境变量设置镜像的导出和导入 由于篇幅原因,把后续的使用搬到这篇来 容器与宿主机复制 启动一个nginx服务 rootVM-24-7-ubuntu:~# docker run --name nginx -p 80:80 -d nginx 7a1578bedd97ffc48e9516d03a148c69e216a30f2d18f2624…

【MySQL】复合查询+表的内外连接

复合查询表的内外连接 1.基本查询回顾2.多表查询3.自连接4.子查询4.1单列子查询4.2多列子查询 5.在from子句中使用子查询6.合并查询7.表的内连和外连7.1内连接7.2外连接7.2.1左外连接 7.2.2右外连接 点赞👍👍收藏🌟🌟关注&#x1…

Java程序设计————从控制台输入

向控制台输入信息可以借助Scanner扫描器类来实现 语法: Scanner input new Scanner(System.in); 提示 (1)在使用Scanner类型之前,需要首先指明Scanner类所在的位置,既通过代码 import java.util.Scanner; &…

超强的文本转语音模型ChatTTS,一键打包,免费使用

超强的文本转语音模型ChatTTS,一键打包,免费使用 项目简介项目亮点安装使用python 代码直接引入一键启动包安装部署 ChatTTS webUI 小结一下 文本转语音(TTS)在生活中的应用非常的广泛,比如有声小说、语音导航&#xf…

电脑安全模式怎么进?详细步骤一学就会!

电脑安全模式是一种特殊的启动模式,加载最少的驱动程序和服务,帮助用户解决系统问题,如驱动程序冲突、病毒感染或系统文件损坏。进入安全模式可以帮助您诊断和修复问题,恢复系统的正常运行。本文将介绍电脑安全模式怎么进的三种方…

长期套餐是不是永久套餐?注意:并不是!

当我们在网上选择流量卡时,除了有短期套餐外,还有不少标注着长期套餐的流量卡,那么,长期套餐是不是永久套餐呢?能一直使用吗? ​ 在这里小编要说一下,长期套餐≠永久套餐 长期套餐就是字面意思…

上海斯歌荣获“2023年度杰出数字化转型方案提供商”奖项

为表彰上海斯歌在各行业的数字化转型事业中所做出的突出贡献,经CIO时代、新基建创新研究院专家组评审认定,授予上海斯歌“2023年度杰出数字化转型方案提供商”奖项。荣获该殊荣,不仅是业界对上海斯歌解决方案专业能力及落地实施能力的又一次认…

字符编码字符集那些事

此篇文章仅为网上资料的汇总,方便自己查询使用,原文如下: 参考文章1:一文读懂字符编码 参考文章2:菜鸟教程字符集 参考文章3:百度字符集 参考文章4:一个线上BUG彻底搞懂MySQL字符集,工作也快搞丢了 参考文章5:深入理解MySQL字符集…

Kaggle -- Titanic - Machine Learning from Disaster

新手kaggle之旅:1 . 泰坦尼克号 使用一个简单的决策树进行模型构建,达到75.8%的准确率(有点低,但是刚开始) 完整代码如下: import pandas as pd import numpy as npdf pd.read_csv("train.csv&quo…

我用香橙派做了一个Klipper 3D打印控制器

一个好用的Klipper 3D打印机,一定离不开一个可以稳定进行无线通信,而且性能足够,最重要是价格亲民的上位机。 所谓Klipper,简单来说就是一套可以通过联动上、下位机来有效提升3D打印精度的固件。它拥有高精度的步进电机控制&#…

【图书推荐】《Spark 3.0大数据分析与挖掘:基于机器学习》

本书重点 学习Spark 3.0 ML模块的机器学习算法,用于大数据分析与挖掘。 内容简介 Spark作为新兴的、应用范围广泛的大数据处理开源框架,吸引了大量的大数据分析与挖掘从业人员进行相关内容的学习与开发,其中ML是Spark 3.0机器学习框架使用…