ClickHouse数据迁移(远程)

一、背景

        公司最近买了新的服务器,旧的服务器上面安装了ClickHouse22.2.2.1,新的服务器上面安装了ClickHouse24.9.2.42,两个版本之间要做历史数据迁移

        旧服务器:80(IP最后一段,以下代称),ClickHouse版本:22.2.2.1

        新服务器:84(IP最后一段,以下代称),ClickHouse版本:24.9.2.42

        由于使用ClickHouse官方提供的clickhouse-backup工具出了一些问题,所以采用此种方式进行,下面进行方法的详细步骤说明。

二、步骤

        注:为了不影响旧服务器上面的业务,所以新建了一张表进行测试。

        1、数据快照准备

                进入ClickHouse的数据存储路径

                cd /icc/tools/clickhouse/data

                创建shadow路径

                sudo mkdir -p clickhouse/shadow

                赋权给clickhouse用户组

                sudo chown clickhouse:clickhouse clickhouse/shadow

                进入clickhouse-client

                在default库下面创建test表(用来测试迁移数据)                

                进行表冻结

                这里冻结表后,不影响这张表的正常使用(新增、查询)

                alter table test freeze;

                冻结以后,ClickHouse会在刚刚创建的shadow文件夹中自动生成数据快照

        2、远程拷贝

                执行远程拷贝命令

                sudo scp -r clickhouse/shadow/1/ 84用户名@84IP:/icc/tools/clickhouse/shadow

                -r:拷贝整个文件夹及子目录里面所有的文件

                84用户名:新服务器的用户名

                84IP:新服务器IP

                /icc/tools/clickhouse/shadow:新服务器上的目标地址

                在84的/icc/tools/clickhouse/shadow目录下

                数据拷贝成功,整个迁移过程就成功了一半!加油

        3、数据恢复

                在84上default库中创建test表(表结构要跟80上的test表保持一致,default库也可以自定义)

                在84服务器上找到test表(找到这张表存储数据的软连接)  

                其中data/data/default,这是ClickHouse存储数据路径下的default库的数据文件路径

                data/store/9b7/9b7fc213-0bf1-44e5-84cd-62ddd19417fa/这个路径下有一个detached文件夹,把第2步中的原始文件拷贝进去

                sudo cp -rl /icc/tools/clickhouse/shadow/1/store/f12/f1217640-24fd-43b1-8af0-cbfa6d6c6be2/all_1_5_1/ data/store/9b7/9b7fc213-0bf1-44e5-84cd-62ddd19417fa/detached

                注意这里使用了sudo拷贝,detached文件夹下的所有文件都是root用户组,这样clickhouse识别不了,需要赋权给clickhouse用户组

                sudo chown -R clickhouse:clickhouse data/store/9b7/9b7fc213-0bf1-44e5-84cd-62ddd19417fa/detached

                数据到此就准备好了。

                接下来执行恢复数据命令(进入clickhouse-client界面之后)

                alter table test attach partition ALL

                

                大功告成

三、总结

        1、freeze执行后,新插入这张表的数据,不会被迁移

        2、可以通过以下命令删除之前备份的快照

                alter table test unfreeze with name '1';

                这里的1就是在shadow下面生成的文件夹名称

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/61470.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spring Boot日志总结

文章目录 1.我们的日志2.日志的作用3.使用日志对象打印日志4.日志框架介绍5.深入理解门面模式(外观模式)6.日志格式的说明7.日志级别7.1日志级别分类7.2配置文件添加日志级别 8.日志持久化9.日志文件的拆分9.1官方文档9.2IDEA演示文件分割 10.日志格式的配置11.更简单的日志输入…

「Qt Widget中文示例指南」如何为窗口实现流程布局?(二)

Qt 是目前最先进、最完整的跨平台C开发工具。它不仅完全实现了一次编写,所有平台无差别运行,更提供了几乎所有开发过程中需要用到的工具。如今,Qt已被运用于超过70个行业、数千家企业,支持数百万设备及应用。 本文将展示如何为不…

阿里云服务器(centos7.6)部署前后端分离项目(MAC环境)

mysql安装和部署 下载前准备 确定一下系统的glibc版本,可以使用以下命令进行查看,当前系统glibc版本:2.17 rpm -qa | grep glibclinux系统会自动携带一个数据库,需要把它给卸载掉,通过以下代码可以查看mariadb 并卸…

道路机器人识别交通灯,马路,左右转,黄线,人行道,机器人等路面导航标志识别-使用YOLO标记

数据集分割 train组66% 268图片 validation集22% 91图片 test集12% 48图片 预处理 没有采用任何预处理步骤。 增强 未应用任何增强。 数据集图片: 交通灯 马路 右转 向右掉头 机器人识别 人行横道 黄线 直行或右转 数据集下载: 道路…

偏差-方差权衡(Bias–Variance Tradeoff):理解监督学习中的核心问题

偏差-方差权衡(Bias–Variance Tradeoff):理解监督学习中的核心问题 在机器学习中,我们希望构建一个能够在训练数据上表现良好,同时对未见数据也具有强大泛化能力的模型。然而,模型的误差(尤其…

Linux服务器安装mongodb

因为项目需要做评论功能,领导要求使用mongodb,所以趁机多学习一下。 在服务器我们使用docker安装mongodb 1、拉取mongodb镜像 docker pull mongo (默认拉取最新的镜像) 如果你想指定版本可以这样 docker pull mongo:4.4&#…

STM32 使用ARM Compiler V6 编译裸机 LWIP协议栈报错的解决方法

在lwip 的cc.h 中使用以下宏定义,来兼容 V5 和 V6编译器 #if defined (__ARMCC_VERSION) && (__ARMCC_VERSION > 6010050) /* ARM Compiler V6 */ #define __CC_ARM /* when use v6 compiler define this */ #endifV6编译的速度确实比V5块了好多倍。 …

使用ESP32通过Arduino IDE点亮1.8寸TFT显示屏

开发板选择 本次使用开发板模块丝印为ESP32-WROOM-32E 开发板库选择 Arduino IDE上型号选择为ESP32-WROOM-DA Module 显示屏选择 使用显示屏为8针SPI接口显示屏 驱动IC为ST7735S 使用库 使用三个Arduino平台库 分别是 Adafruit_GFXAdafruit_ST7735SPI 代码详解 首…

图像显示的是矩阵的行和列,修改为坐标范围。

x 3; y 3; f1x x^2 y^2; guance1 f1x; F (x, y) sqrt((x.^2 y.^2 - guance1).^2); % 使用点乘 [x, y] meshgrid(0:1:5, 0:1:5); Z F(x, y); figure; imagesc(Z); % 由于 imagesc 使用矩阵索引作为坐标,我们需要手动添加刻度 % 这里我们假设 x 和 y 的范围…

【K230 CanMV】图像识别-摄像头获取图像 Sensor 函数全解析

引言:随着图像处理技术的不断发展,摄像头在嵌入式系统中的应用越来越广泛,尤其是在智能监控、自动驾驶、机器人视觉等领域。K230作为一款高性能的嵌入式处理器,提供了强大的图像处理能力,支持多种类型的摄像头接入与图…

基于FPGA的FM调制(载波频率、频偏、峰值、DAC输出)-带仿真文件-上板验证正确

基于FPGA的FM调制-带仿真文件-上板验证正确 前言一、FM调制储备知识载波频率频偏峰值个人理解 二、代码分析1.模块分析2.波形分析 总结 前言 FM、AM等调制是学习FPGA信号处理一个比较好的小项目,通过学习FM调制过程熟悉信号处理的一个简单流程,进而熟悉…

论文笔记(五十九)A survey of robot manipulation in contact

A survey of robot manipulation in contact 文章概括摘要1. 引言解释柔顺性控制的概念:应用实例: 2. 需要接触操控的任务2.1 环境塑造2.2 工件对齐2.3 关节运动2.4 双臂接触操控 3. 接触操控中的控制3.1 力控制3.2 阻抗控制3.3 顺应控制 4. 接触操控中的…

拥抱 OpenTelemetry:阿里云 Java Agent 演进实践

作者:陈承 背景 在 2018 年的 2 月,ARMS Java Agent 的第一个版本正式发布,为用户提供无侵入的的可观测数据采集服务。6 年后的今天,随着软件技术的迅猛发展、业务场景的逐渐丰富、用户规模的快速增长,我们逐渐发现过…

学习ASP.NET Core的身份认证(基于Session的身份认证3)

开源博客项目Blog中提供了另一种访问控制方式,其基于自定义类及函数的特性类控制访问权限。本文学习并测试开源博客项目Blog的访问控制方式,测试程序中直接复用开源博客项目Blog中的相关类及接口定义,并在其上调整判断逻辑。   首先是接口A…

电子应用设计方案-31:智能AI音响系统方案设计

智能 AI 音响系统方案设计 一、引言 智能 AI 音响作为一种新兴的智能家居设备,通过融合语音识别、自然语言处理、音频播放等技术,为用户提供便捷的语音交互服务和高品质的音乐体验。本方案旨在设计一款功能强大、性能稳定、用户体验良好的智能 AI 音响系…

可变电阻和电位器

1.可变电阻和电位器 (1)可变电阻:阻值可以调整的电阻。 (2)电位器:为了获得某个电位(电势、电压)的器件。其本质就是在一个固定阻值的电阻中间增 加一个触点,滑动电阻的中…

RK3568平台开发系列讲解(PWM篇)PWM 子系统框架

🚀返回专栏总目录 文章目录 一、PWM 设备驱动层二、PWM 核心层三、PWM 适配器驱动层沉淀、分享、成长,让自己和他人都能有所收获!😄 📢整个 PWM 子系统可以用下面的框图来描述: 再上图中 PWM 子系统被划分为了三个层次, 分别为用户空间、 内核空间和硬件层, 内核空…

CSAPP Cache Lab(缓存模拟器)

前言 理解高速缓存对 C 程序性能的影响,通过两部分实验达成:编写高速缓存模拟器;优化矩阵转置函数以减少高速缓存未命中次数。Part A一开始根本不知道要做什么,慢慢看官方文档,以及一些博客,和B站视频&…

【趣味升级版】斗破苍穹修炼文字游戏HTML,CSS,JS

目录 图片展示 开始游戏 手动升级(满100%即可升级) 升级完成,即可解锁打怪模式 新增功能说明: 如何操作: 完整代码 实现一个简单的斗破苍穹修炼文字游戏,你可以使用HTML、CSS和JavaScript结合来构建…

hadoop环境配置-vm安装+麒麟ubantu

一.VM版本 选择16版本,15版本存在windows蓝屏的情况,也不用设置HV等相关设置 激活下载参考下述博客:https://blog.csdn.net/matrixlzp/article/details/140674802 提前在bois打开SVM设置,不设置无法打开新建的虚拟机 ubantu下载…