技术流 | ClickHouse工具ckman v3.1.3 sinker v3.1.8 版本发布

【本文作者:擎创科技 ClickHouse专家,ckman作者禹鼎侯】

在这个端午小长假里,ckman和clickhouse_sinker分别带来了全新的版本。让我们一起来看看,新版本都有哪些新特性吧!

ckman v3.1.3新版本特性

ckman v3.1.3作为3.1最后一个迭代版本,并没有带来比较大的功能特性,主要还是BUG修复和现有功能优化。(后续推出的3.2.x版本,将带来普通用户、只读用户管理,clickhouse-keeper集成等全新功能,预计七、八月份发布)

v3.1.3主要更新内容如下:

  1. 增加节点指标仪表盘展示(仅clickhouse23.3以后版本支持)

图片

点击后跳转:

图片

2. 修复:merge指标progress和merge耗时显示不正确的问题

3. 优化:销毁集群时,同步删除zookeeper上task_queue节点

4. 修复:同时增加多个节点时,仅有第一个节点会同步表schema的问题

5. 优化:同步逻辑表schema时,对于分布式表和逻辑表,不再删除重建,而是增量加列,避免表删除后创建不及时,导致查询报错

6. 修复:增加quotas时报错

7. 修复:clickhouse 24.3版本,集群管理页面磁盘展示不出来的问题

8. 优化:重构恢复只读表的逻辑,仅在只读节点上执行restore replica命令

9. 优化:获取标指标不再使用'{cluster}'宏,避免导入的集群无此宏报错

10. 修复:表指标页面展示分区时,排除掉inactive的part

11. 修复:由于alter_sync仅在23.3以后版本生效,23.3以前的版本alter操作仍为同步操作

clickhouse_sinker v3.1.8 新版本特性

1. 优化:动态列增加改为异步方式(23.3版本以前仍为同步方式)

2. 优化:如果没有指定http-port,则禁用http服务,避免安全漏洞(旧逻辑为随机端口)

3. 优化:当指定http-port时,如果端口冲突(如同一台机器上启动多个实例), 端口自动+1

4. 功能:支持IPv4/IPv6数据类型

5. 功能:增加record_pool_size做流控功能,防止启动瞬间内存爆炸

6. 优化:clickhouse-client默认启用lz4压缩

7. 功能:增加kafka producer高级配置参数,由于优化rebalance带来的重复消费、heartbeat error等问题

8. 功能:支持http协议,支持华为MRS kerberos认证

9. 优化:第一次连接clickhouse时,在分片内随机选择一个节点,而不是

默认取第一个,防止上百个sinker进程同时运行,造成第一个副本负载高,副本之间同步压力大

10. 优化:未指定shardingkey时,按照offset路由到每个分片,当kafka的topic有多个partition时,offset会重复,造成短时间内写入不均衡的问题

如何体验新版本

你可以从GitHub上最新的release页面下载对应的rpm安装包:

ckman:

https://github.com/housepower/ckman/releases/tag/v3.1.3

clickhouse_sinker:

https://github.com/housepower/clickhouse_sinker/releases/tag/v3.1.8

———— The END ————

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/26382.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

3D场景的交互设计有什么软件吗?

需求:类似于游戏那样在3D房间内,能通过鼠标或键盘操作在房间里自由行走。 对于3D场景的交互设计,尤其是像设计一间房间并允许用户在其中自由行走这样的需求,以下几款软件应该会适合: 1、博维数孪:专业从事…

另辟蹊径的终端防病毒

在数字时代的浪潮中,网络安全问题愈发凸显,防病毒成为了保护信息安全的重要一环。而白名单作为一种有效的安全策略,在防病毒方面发挥着不可或缺的作用。 首先,我们需要明确白名单的概念。白名单是一种管理和安全实践,用…

ROS——自定义话题消息和使用方法

定义Person话题 定义Person发布者 /*** 该例程将发布/person_info话题&#xff0c;自定义消息类型&#xff1a; test_topic::Person*/#include <ros/ros.h> #include <test_topic/Person.h> //包含的头文件&#xff0c;ros相关的头文件&#xff0c;及自定义头文件…

Vue25-内置指令02:v-text指令

一、v-html对比v-text v-html支持结构的解析&#xff0c;v-text不支持结构的解析。 二、v-html的安全性问题 2-1、cookie的原理&#xff08;node.js&#xff09; 7天免登录&#xff0c;cookie实现。 cookie的本质就是类似于json的字符串&#xff0c;格式是&#xff1a;key-va…

Java学习之-SpringAI

文章目录 一、SpringAI是什么二、准备工作1.GPT-API-free2.AiCore3.eylink 三、对话案例实现1.创建项目2.实现简单的对话 四、聊天客户端ChatClient1.角色预设2.流式响应 五、聊天模型六、图像模型(文生图)七、语音模型1.文字转语音(文生语音)2.语音转文字 八、多模态九、函数调…

【云计算】Docker部署Nextcloud网盘并实现随地公网远程访问

配置文件 切换root权限&#xff0c;新建一个nextcloud的文件夹&#xff0c;进入该目录&#xff0c;创建docker-compose.yml [cpslocalhost ~]$ su root Password: 666666 [rootlocalhost cps]# ls Desktop Documents Downloads Music Pictures Public Templates Vide…

CPN tools学习——可执行的 PN

目录 1添加令牌 2.转换防护Guard 1添加令牌 左侧新建颜色集和变量的声明定义&#xff1a; 为库所分配颜色集&#xff1a;左键tab键 P1处&#xff1a;添加多重集合&#xff0c;表示添加了两个令牌&#xff0c;第一个令牌值为A&#xff0c;第二个为B。 P2处&#xff1a;表示…

在AI云原生时代应该如何应对复杂的算力环境

引言 随着在2019年ChatGPT4的爆火,AI这个之前常常被人觉得非常高深的技术渐渐的被越来越多的人们所了解,越来越多的公司、组织和开发者开始投入AI的使用和开发中来.随着AI和LLM的火热,算力资源也变的越来越紧缺,所以如何高效的管理和使用算力资源也变成了必须要面对的问题。 …

vue2动态路由实现

实现一个简单的动态路由&#xff1a; 1、先定义菜单页面组件的结构&#xff0c;使用的是elementUI的NavMenu 导航菜单 <template><div><el-menu default-active"1" router><el-submenu :index"item.path" v-for"item in menu_…

借助大语言模型快速学习金仓数据库 KES

基础概念 KES 人大金仓数据库管理系统 KingbaseES&#xff08;KES&#xff09; 是由 北京人大金仓信息技术股份有限公司 (以下简称“人大金仓”)自主研发的面向全行业、全客户关键应用的企业级大型通用数据库管理系统。产品融合了人大金仓在数据库领域几十年的产品研发和企业级…

TiKV 源码分析之 PointGet

作者&#xff1a;来自 vivo 互联网存储研发团队-Guo Xiang 本文介绍了TiDB中最基本的PointGet算子在存储层TiKV中的执行流程。 一、背景介绍 TiDB是一款具有HTAP能力(同时支持在线事务处理与在线分析处理 )的融合型分布式数据库产品&#xff0c;具备水平扩容或者缩容等重要特…

Python写UI自动化--playwright(安装)

Playwright是微软推出的开源自动化测试工具&#xff0c;专为跨浏览器端到端测试设计。Playwright可以在多个浏览器引擎上运行测试&#xff0c;包括基于Chromium的浏览器&#xff08;如Chrome、Edge&#xff09;、Firefox和WebKit&#xff08;Safari的技术基础&#xff09;。支持…

标星好多好多k,这2个开源项目绝了!

在这个信息爆炸的世代&#xff0c;不妨让我给大家精选并介绍一些优质的开源项目&#xff0c;让大家感受到开源世界的美好。 我的数据我做主 每个人的微信聊天记录里都藏着无数珍贵的回忆和秘密。如果有一个宝盒&#xff0c;能够帮你把这些记忆永久保存&#xff0c;甚至让它们活…

新加坡裸机云多IP服务器为何适合跨境外贸业务

新加坡裸机云多IP服务器在跨境外贸业务中展现出了卓越的适配性&#xff0c;其独特优势为外贸企业提供了强大的支持。以下将详细阐述为何新加坡裸机云多IP服务器是跨境外贸业务的理想选择。 首先&#xff0c;新加坡裸机云多IP服务器在性能上表现出色。由于去除了虚拟化层的开销&…

大数据在商业中的应用——Kompas.ai如何助力企业决策

引言 在现代商业中&#xff0c;大数据逐渐成为企业决策的重要工具。通过对海量数据的分析和处理&#xff0c;企业可以获得重要的市场信息和决策支持。本文将探讨大数据在商业中的应用&#xff0c;并介绍Kompas.ai如何通过AI技术助力企业决策。 大数据的发展及其重要性 大数据…

为什么要学习Flink系统管理及优化课程?

Flink系统是一种流式处理框架&#xff0c;能够高效地处理大规模数据流。然而&#xff0c;要确保Flink系统的正常运行&#xff0c;就需要进行系统管理和优化。系统管理是指对Flink集群的监控、调度和维护&#xff0c;而系统优化则是指通过调整参数和优化算法&#xff0c;提高Fli…

Anime Girls Pack

动漫女孩包 35个动画&#xff08;就地&#xff09;支持人形。 8情绪。 角色列表&#xff1a;原艾艾琪惠美子惠理文子星薰和子佳子奈子理子凛老师小樱老师津雨僵尸女孩01 下载&#xff1a;​​Unity资源商店链接资源下载链接 效果图&#xff1a;

[vue2]深入理解路由

本节目标 单页应用程序路由概念VueRouter基本使用组件分类存放路由模块封装声明式导航其他路由配置路由模式编程式导航案例-面经基础版 单页应用程序 单页应用程序(SPA): 所有的功能都在一个HTML页面上实现 网易云音乐: 网易云音乐 多页应用程序(MPA): 不同功能通过切换不同…

Kotlin 协程真的轻量吗?

前言 在官方文档的介绍中,提到了: 协程是轻量的 并给出了一个例子: fun main() = runBlocking {repeat(50_000) {// 启动大量的协程launch {delay

计算机网络之网络层知识总结

网络层功能概述 主要任务 主要任务是把分组从源端传到目的端&#xff0c;为分组交换网上的不同主机提供通信服务。网络层传输单位是数据报。 分组和数据报的关系&#xff1a;把数据报进行切割之后&#xff0c;就是分组。 主要功能&#xff1a; 路由选择与分组转发 路由器…