技术流 | ClickHouse工具ckman v3.1.3 sinker v3.1.8 版本发布

【本文作者:擎创科技 ClickHouse专家,ckman作者禹鼎侯】

在这个端午小长假里,ckman和clickhouse_sinker分别带来了全新的版本。让我们一起来看看,新版本都有哪些新特性吧!

ckman v3.1.3新版本特性

ckman v3.1.3作为3.1最后一个迭代版本,并没有带来比较大的功能特性,主要还是BUG修复和现有功能优化。(后续推出的3.2.x版本,将带来普通用户、只读用户管理,clickhouse-keeper集成等全新功能,预计七、八月份发布)

v3.1.3主要更新内容如下:

  1. 增加节点指标仪表盘展示(仅clickhouse23.3以后版本支持)

图片

点击后跳转:

图片

2. 修复:merge指标progress和merge耗时显示不正确的问题

3. 优化:销毁集群时,同步删除zookeeper上task_queue节点

4. 修复:同时增加多个节点时,仅有第一个节点会同步表schema的问题

5. 优化:同步逻辑表schema时,对于分布式表和逻辑表,不再删除重建,而是增量加列,避免表删除后创建不及时,导致查询报错

6. 修复:增加quotas时报错

7. 修复:clickhouse 24.3版本,集群管理页面磁盘展示不出来的问题

8. 优化:重构恢复只读表的逻辑,仅在只读节点上执行restore replica命令

9. 优化:获取标指标不再使用'{cluster}'宏,避免导入的集群无此宏报错

10. 修复:表指标页面展示分区时,排除掉inactive的part

11. 修复:由于alter_sync仅在23.3以后版本生效,23.3以前的版本alter操作仍为同步操作

clickhouse_sinker v3.1.8 新版本特性

1. 优化:动态列增加改为异步方式(23.3版本以前仍为同步方式)

2. 优化:如果没有指定http-port,则禁用http服务,避免安全漏洞(旧逻辑为随机端口)

3. 优化:当指定http-port时,如果端口冲突(如同一台机器上启动多个实例), 端口自动+1

4. 功能:支持IPv4/IPv6数据类型

5. 功能:增加record_pool_size做流控功能,防止启动瞬间内存爆炸

6. 优化:clickhouse-client默认启用lz4压缩

7. 功能:增加kafka producer高级配置参数,由于优化rebalance带来的重复消费、heartbeat error等问题

8. 功能:支持http协议,支持华为MRS kerberos认证

9. 优化:第一次连接clickhouse时,在分片内随机选择一个节点,而不是

默认取第一个,防止上百个sinker进程同时运行,造成第一个副本负载高,副本之间同步压力大

10. 优化:未指定shardingkey时,按照offset路由到每个分片,当kafka的topic有多个partition时,offset会重复,造成短时间内写入不均衡的问题

如何体验新版本

你可以从GitHub上最新的release页面下载对应的rpm安装包:

ckman:

https://github.com/housepower/ckman/releases/tag/v3.1.3

clickhouse_sinker:

https://github.com/housepower/clickhouse_sinker/releases/tag/v3.1.8

———— The END ————

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/26382.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

磁盘挂载lvm

新拿到一个主机,挂载磁盘,但是之前实在是没做过,这里也算是学了点东西,挂载分pv vg lv这些,这里第一个坑就是直接挂载这个后续没办法扩容,如果挂载的盘上装的数据库那就惨了,只能把数据迁移走再扩容了,下面是可扩容的操作建议全部按下面的步骤来。 查看磁盘 vdb盘就是…

加强设备管理:信息系统与日常运维的深度融合

在当今这个信息化高速发展的时代,企业信息系统的稳定运行至关重要。设备作为信息系统的硬件基础,其性能和健康状况直接影响到整个信息系统的可靠性和效率。因此,加强设备管理,将各信息系统和日常运维工作紧密结合,定期…

3D场景的交互设计有什么软件吗?

需求:类似于游戏那样在3D房间内,能通过鼠标或键盘操作在房间里自由行走。 对于3D场景的交互设计,尤其是像设计一间房间并允许用户在其中自由行走这样的需求,以下几款软件应该会适合: 1、博维数孪:专业从事…

Rust在前端领域有哪些应用?

​ 随着技术的飞速发展,编程语言的选择对项目的影响日益重要。Rust作为一种新兴的编程语言,以其独特的性能和安全性优势,开始在前端领域崭露头角。 1. 高性能的WebAssembly:Rust可以编译成WebAssembly,这是一种可以在…

另辟蹊径的终端防病毒

在数字时代的浪潮中,网络安全问题愈发凸显,防病毒成为了保护信息安全的重要一环。而白名单作为一种有效的安全策略,在防病毒方面发挥着不可或缺的作用。 首先,我们需要明确白名单的概念。白名单是一种管理和安全实践,用…

ROS——自定义话题消息和使用方法

定义Person话题 定义Person发布者 /*** 该例程将发布/person_info话题&#xff0c;自定义消息类型&#xff1a; test_topic::Person*/#include <ros/ros.h> #include <test_topic/Person.h> //包含的头文件&#xff0c;ros相关的头文件&#xff0c;及自定义头文件…

Vue25-内置指令02:v-text指令

一、v-html对比v-text v-html支持结构的解析&#xff0c;v-text不支持结构的解析。 二、v-html的安全性问题 2-1、cookie的原理&#xff08;node.js&#xff09; 7天免登录&#xff0c;cookie实现。 cookie的本质就是类似于json的字符串&#xff0c;格式是&#xff1a;key-va…

Java学习之-SpringAI

文章目录 一、SpringAI是什么二、准备工作1.GPT-API-free2.AiCore3.eylink 三、对话案例实现1.创建项目2.实现简单的对话 四、聊天客户端ChatClient1.角色预设2.流式响应 五、聊天模型六、图像模型(文生图)七、语音模型1.文字转语音(文生语音)2.语音转文字 八、多模态九、函数调…

python面试题2:lambda是什么?有什么优点?(难度--简单)

文章目录 题目回答1. lambda是什么2. lambda的优点 题目 lambda是什么&#xff1f;有什么优点&#xff1f; 回答 1. lambda是什么 lambda是一个匿名函数&#xff0c;也可以被称为一个简单小型的匿名函数&#xff0c;往往用于解决简单的代码问题&#xff0c;通常以一行代码的…

【云计算】Docker部署Nextcloud网盘并实现随地公网远程访问

配置文件 切换root权限&#xff0c;新建一个nextcloud的文件夹&#xff0c;进入该目录&#xff0c;创建docker-compose.yml [cpslocalhost ~]$ su root Password: 666666 [rootlocalhost cps]# ls Desktop Documents Downloads Music Pictures Public Templates Vide…

CPN tools学习——可执行的 PN

目录 1添加令牌 2.转换防护Guard 1添加令牌 左侧新建颜色集和变量的声明定义&#xff1a; 为库所分配颜色集&#xff1a;左键tab键 P1处&#xff1a;添加多重集合&#xff0c;表示添加了两个令牌&#xff0c;第一个令牌值为A&#xff0c;第二个为B。 P2处&#xff1a;表示…

优化SQL查询的策略和技巧 - AI提供

优化SQL查询以提高处理大型数据集的数据库性能是一个重要课题。 以下是一些关键策略和技巧&#xff0c;可以帮助您提升查询效率&#xff1a; 1、创建合适索引&#xff1a; 针对频繁出现在WHERE、JOIN、ORDER BY和GROUP BY子句中的列创建索引。索引能够显著加速数据检索过程。…

在AI云原生时代应该如何应对复杂的算力环境

引言 随着在2019年ChatGPT4的爆火,AI这个之前常常被人觉得非常高深的技术渐渐的被越来越多的人们所了解,越来越多的公司、组织和开发者开始投入AI的使用和开发中来.随着AI和LLM的火热,算力资源也变的越来越紧缺,所以如何高效的管理和使用算力资源也变成了必须要面对的问题。 …

vue2动态路由实现

实现一个简单的动态路由&#xff1a; 1、先定义菜单页面组件的结构&#xff0c;使用的是elementUI的NavMenu 导航菜单 <template><div><el-menu default-active"1" router><el-submenu :index"item.path" v-for"item in menu_…

借助大语言模型快速学习金仓数据库 KES

基础概念 KES 人大金仓数据库管理系统 KingbaseES&#xff08;KES&#xff09; 是由 北京人大金仓信息技术股份有限公司 (以下简称“人大金仓”)自主研发的面向全行业、全客户关键应用的企业级大型通用数据库管理系统。产品融合了人大金仓在数据库领域几十年的产品研发和企业级…

ai智能机器人让呼叫中心工作更轻松

AI智能机器人在呼叫中心工作中确实能带来许多优势&#xff0c;使工作更轻松和高效&#xff1a; 自动化处理&#xff1a;AI机器人可以自动处理大量的呼叫任务&#xff0c;减轻人工的重复性工作负担&#xff0c;节省时间和成本。 快速响应&#xff1a;机器人能够立即响应客户的呼…

TiKV 源码分析之 PointGet

作者&#xff1a;来自 vivo 互联网存储研发团队-Guo Xiang 本文介绍了TiDB中最基本的PointGet算子在存储层TiKV中的执行流程。 一、背景介绍 TiDB是一款具有HTAP能力(同时支持在线事务处理与在线分析处理 )的融合型分布式数据库产品&#xff0c;具备水平扩容或者缩容等重要特…

Python写UI自动化--playwright(安装)

Playwright是微软推出的开源自动化测试工具&#xff0c;专为跨浏览器端到端测试设计。Playwright可以在多个浏览器引擎上运行测试&#xff0c;包括基于Chromium的浏览器&#xff08;如Chrome、Edge&#xff09;、Firefox和WebKit&#xff08;Safari的技术基础&#xff09;。支持…

标星好多好多k,这2个开源项目绝了!

在这个信息爆炸的世代&#xff0c;不妨让我给大家精选并介绍一些优质的开源项目&#xff0c;让大家感受到开源世界的美好。 我的数据我做主 每个人的微信聊天记录里都藏着无数珍贵的回忆和秘密。如果有一个宝盒&#xff0c;能够帮你把这些记忆永久保存&#xff0c;甚至让它们活…

PyTorch 统计属性-Tensor基本操作

最小 min, 最大 max, 均值 mean&#xff0c;累加 sum&#xff0c;累乘 prod … >>> a torch.arange(0,8).view(2,4).float() >>> a tensor([[0., 1., 2., 3.],[4., 5., 6., 7.]])>>> a.min() ## 最小值&#xff1a;tensor(0.) >>> a.ma…