如何将 gz 文件通过 local data 导入 OceanBase?

在很多领域,数据的传输是基于 csv,并且,为了方便,属于同一张表的多个 csv 文件还是打包成 gz 文件进行传输。

当 gz 文件传输到下游时,需要将 gz 中的 csv 数据导入数据库,最直接的方法是:

  1. 在客户机解压 gz
  2. 编写 local data local infile 命令将解压后的文件按照通配符全部载入服务机上的数据库里

这种方法有一个弊端:解压 gz 文件,既耗费时间,也耗费存储空间。

有没有办法把 gz 文件直接导入到 OceanBase 中呢?我们有两种思路:

  1. 让 OceanBase 识别 gz 文件,支持类似下面的命令:
load data local infile '/home/xiaochu.yh/foo.gz' INTO table test.t1 fields terminated by '|';

这个方案在 v4.3.3 中支持

  1. 使用 zcat 动态解压至 Unix 管道,并通过 /dev/stdin直接导入数据到 OceanBase:
zcat  foo.gz | mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "load data local infile '/dev/stdin' INTO table test.t1 fields terminated by '|';"

下面的例子中,将 1.txt2.txt 打包成 foo.gz,然后导入到数据库。使用效果如下:

[xiaochu.yh]cat 1.txt
1|1
1|1
1|1[xiaochu.yh]cat 2.txt
2|2
2|2[xiaochu.yh]gzip -c 1.txt 2.txt > foo.gz[xiaochu.yh]mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "delete from t1;"[xiaochu.yh]zcat foo.gz | mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "load data local infile '/dev/stdin' INTO table test.t1 fields terminated by '|';"[xiaochu.yh]mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "select * from t1;"
c1      c2
1       1
1       1
1       1
2       2
2       2

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/31029.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ADB获取当前正在显示的Activity和Fragment

获取当前显示的Activity adb shell "dumpsys window | grep mCurrentFocus" 获取添加到FragmentManager并且正在显示的Fragment adb shell "dumpsys activity top | grep #[0-9]: | tail -n 1" 原文链接https://blog.csdn.net/sunshine_guo/article/de…

如何快速解决屏幕适配问题

下面将利用postcss插件快速解决屏幕适配问题。仅用少量代码,新手均可快速使用。 Step1. 安装 npm install postcss-px-to-viewport-8-plugin --save-dev Step2. 新建 postcss.config.js 文件,做基础配置 module.exports {plugins: {postcss-px-to-v…

20240620每日后端---------Spring Boot中的 5 大设计模式最佳实践和示例 这些是我经常使用的设计模式并且非常喜欢

在本文中,我们将深入探讨五种基本设计模式,并探讨在 Spring Boot 项目中有效应用它们的最佳实践。每个模式都将附有一个实际示例来演示其实现。 单例模式 Singleton 模式确保一个类只有一个实例,并提供对它的全局访问点。这对于管理资源&am…

绝地求生PUBG联名补偿奖励来了 补偿奖励介绍详情解析

《绝地求生》(PUBG) 作为一款战术竞技型射击类沙盒游戏,从上线以来就深受玩家小伙伴们的喜爱,即便是没有玩过的小伙伴,对“吃 鸡”二字想必也是很耳熟的,这正是《绝地求生》(PUBG) 的别称。 在北京时间6月12日,由于绝…

通过注解@ConfigurationProperties和全局配置文件中配置数据绑定

1、创建创建出两个JavaBean:User和Address 2、在User类上加注解 Component // 标记为组件,放到spring的ioc容器里 ConfigurationProperties(prefix "user") // 和配置文件绑定,可以从配置文件中的注入数据 public class User {…

性能工具之 JMeter 常用组件介绍(七)

文章目录 一、后置处理器1、Regular Expression Extractor(正则表达式提取器)2、JSON Extractor(JSON表达式提取器)3、Regular Expression Extractor(正则表达式提取器) 二、小结 本文主要介绍JMeter主流后置处理器的功能 一、后置处理器 从上面可以看出后置处理可以插件挺多&a…

CASS界址点顺序重排

1、绘制一个宗地,如下: 2、注记界址点号,如下 3、【地籍】--【调整宗地内界址点顺序】,如下: 重排完成后,点击工具栏的【重】按钮,即可刷新标注。

C++的动态内存分配

使用new/delete操作符在堆中分配/释放内存//使用new操作符在堆中分配内存int* p1 = new int;*p1 = 2234;qDebug() << "数字是:" << *p1;//使用delete操作符在堆中释放内存delete p1;在分配内存的同时初始化//在分配内存的时初始化int* p2 = new int(100…

什么是CSRF攻击,SpringSecurity如何防御?

CSRF攻击概述 CSRF&#xff08;跨站请求伪造&#xff0c;Cross-Site Request Forgery&#xff09;是一种常见的网络攻击方式。在这种攻击中&#xff0c;攻击者诱导已经登录的用户在不知情的情况下发送请求到一个应用程序&#xff0c;从而在没有用户意识并且使用用户自身权限的…

Mybatis Plus 详解 IService、BaseMapper、自动填充、分页查询功能

结构直接看目录 前言 MyBatis-Plus 是一个 MyBatis 的增强工具&#xff0c;在 MyBatis 的基础上只做增强不做改变&#xff0c;为简化开发、提高效率而生。 愿景 我们的愿景是成为 MyBatis 最好的搭档&#xff0c;就像 魂斗罗 中的 1P、2P&#xff0c;基友搭配&#xff0c;效…

电子期刊制作教程:跟着步骤轻松学会制作

随着数字时代的快速发展&#xff0c;电子期刊以其独特的便捷性和互动性&#xff0c;已经成为信息传播的重要载体。你是否也想掌握制作电子期刊的技能呢&#xff1f;今天&#xff0c;就让我来为你一步步解析电子期刊的制作过程&#xff0c;带你轻松学会制作属于自己的电子期刊。…

Zookeeper 一、Zookeeper简介

1.分布式系统定义及面临的问题 分布式系统是同时跨越多给物理主机&#xff0c;独立运行的多个软件所组成的系统。类比一下&#xff0c;分布式系统就是一群人一起干活。人多力量大&#xff0c;每个服务器的算力是有限的&#xff0c;但是通过分布式系统&#xff0c;由n个服务器组…

阵列波束形成与维纳滤波

本篇文章是博主在通信等领域学习时&#xff0c;用于个人学习、研究或者欣赏使用&#xff0c;并基于博主对通信等领域的一些理解而记录的学习摘录和笔记&#xff0c;若有不当和侵权之处&#xff0c;指出后将会立即改正&#xff0c;还望谅解。文章分类在通信领域笔记&#xff1a;…

EtherCAT主站IgH解析(二)-- 如何将Igh移植到Linux/Windows/RTOS等多操作系统

版权声明&#xff1a;本文为本文为博主原创文章&#xff0c;转载请注明出处 https://www.cnblogs.com/wsg1100 如有错误&#xff0c;欢迎指正。 本文简单介绍如何将 igh 移植到 zephyr、freertos、rtems、rtthread等RTOS &#xff0c;甚至 windows 上。 ##前言 目前&#xff0…

八股文打卡day36——数据库(13)

面试题&#xff1a;讲一下数据库的三大范式&#xff1f; 我的回答&#xff1a; 1.第一范式&#xff1a;就是要求数据表中的字段是不可再分的&#xff0c;具有原子性。 2.第二范式&#xff1a;前提得先满足第一范式&#xff0c;并且要求数据库表中的每个非主属性都完全依赖于主…

算法设计与分析 实验4 动态规划法求扔鸡蛋问题

目录 一、实验目的 二、问题描述 三、实验要求 四、实验内容 动态规划法 算法描述 算法伪代码描述 算法复杂度分析 数据测试 二分优化的动态规划法 算法描述 二分优化&#xff1a; 算法伪代码 算法复杂度分析 数据测试 单调决策优化的动态规划法 算法描述 算…

多线程下JVM内存模型 和 volatile关键字

1、线程的概念 线程&#xff08;thread&#xff09;是操作系统能够进行运算调度的最小单位。它被包含在进程之中&#xff0c;是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流&#xff0c;一个进程中可以并发多个线程&#xff0c;每条线程并行执行不同的任务…

微软修复Wi-Fi驱动高危漏洞 影响Windows所有版本 可通过局域网发起攻击

微软修复 WiFi 驱动程序中的高危安全漏洞&#xff0c;该漏洞影响 Windows 所有版本&#xff0c;可以通过公共 WiFi 等发起攻击。如果攻击者能够接入到目标设备所处的网络中&#xff0c;则可以悄无声息完成攻击&#xff0c;不需要用户进行任何交互。 在本月例行安全更新中微软修…

zdppy_amauth如何测试给用户批量绑定角色接口

第一步&#xff1a;先实现新增用户的单元测试 import unittest import reqclass TestUserAddRoles(unittest.TestCase):def assertApiSuccess(self, resp):"""断言API接口的响应是成功的"""self.assertEqual(200, resp.status_code)data resp.…

oracle 主从库中,从库APPLIED为YES ,但是主库任然为NO

主库 从库 从库已经APPLIED但是主库为APPLIED&#xff0c; 主数据库和备用数据库之间的ARCH-RFS心跳Ping负责更新主数据库上v$archived_log的APPLICED列。 在主数据库上有一个指定的心跳ARCn进程来执行此Ping。如果此进程开始挂起&#xff0c;它将不再与远程RFS进程通信&#…