Sqoop学习详细介绍！！

一、Sqoop介绍

Sqoop是一款开源的工具，主要用于在Hadoop(HDFS/Hive/HBase)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。

二、安装

1).解压
tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/installs
2).重命名
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop1.4.6
3).修改配置文件
cd /opt/installs/sqoop1.4.6/conf
mv sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh
#增加配置，注意修改路径
export HADOOP_COMMON_HOME=/opt/installs/hadoop3.1.4
export HADOOP_MAPRED_HOME=/opt/installs/hadoop3.1.4
export ZOOCFGDIR=/opt/installs/zookeeper3.4.6
export HIVE_HOME=/opt/installs/hive3.1.24).将mysql的驱动jar复制到sqoop的lib目录下 (底层需要用JDBC操作MySQL数据库)
cp /opt/installs/hive3.1.2/lib/mysql-connector-java-8.0.26.jar /opt/installs/sqoop1.4.6/lib/5).配置sqoop环境变量
export PATH=$PATH:/opt/installs/sqoop1.4.6/bin

三、sqoop-import

在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。

-- 测试数据库的表是否可以连接，显示库中的所有表
sqoop list-tables --connect jdbc:mysql://hadoop10:3306/test1 --username root --password 123456

1). RDBMS（mysql） -> HDFS

sqoop import \
--driver com.mysql.jdbc.Driver \
--connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \
--username root \
--password 123456 \
--table t_sex \
--num-mappers 4 \
--fields-terminated-by '\t' \
--target-dir /mysql/t_user \
--delete-target-dir

参数                                  作业
--driver                        mysql驱动
--connect                    数据库连接url  jdbc:mysql://ip:3306/数据库
--username                 连接mysql数据库用户名
--password                 连接mysql数据库密码
--table                         mysql中test1数据库中表名
--num-mappers           sqoop底层是mapreduce, 指定启动的maptask个数，海量数据可以并                                    行抽取
                                  解释：sqoop抽取任务会转换成mr作业，该mr作业由于不需要对数据进行聚合，所有只需要保留maptask阶段，没有reduceTasksqoop，需要依赖hadoop的HDFS和Yarn
--fields-terminated-by    数据写入HDFS存储到文件中，列与列之间的分隔符
--target-dir                     存储到HDFS的目标路径,配置的是目录，并且该目录应该不存在
--delete-target-dir          如果存在，则提前删除 

 mysql中的表：

运行1：

 查看：

yarn：

hdfs：

运行2： 

sqoop import \
--driver com.mysql.cj.jdbc.Driver \
--connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \
--username root \
--password 123456 \
--table t_sex \
--columns "id,name" \
--where "id > 2" \
--target-dir /mysql/t_user \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by ','

参数
--columns     指定列名
--where       指定查询条件

查看hdfs：

运行3：

 

sqoop import \
--driver com.mysql.cj.jdbc.Driver \
--connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \
--username root \
--password 123456 \
--num-mappers 2 \
--split-by id \
--fields-terminated-by '\t' \
--query 'select id, name,sex from t_sex where $CONDITIONS and id > 2' \
--target-dir /mysql/t_user \
--delete-target-dir

参数             作用
--split-by      根据指定字段进行拆分，相当于datax的splitPK。根据这一列的值把数据分成几部分
--num-mappers   指定并行度,简写-m 
--query         查询语句。$CONDITIONS相当于占位符，写where条件必须有写这个

查看hdfs：

 

 2). RDBMS -> Hive

运行：

sqoop import \
--driver com.mysql.cj.jdbc.Driver \
--connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \
--username root \
--password 123456 \
--table t_sex \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "," \
--hive-overwrite \
--hive-database test_hive \
--hive-table hive_user

 --hive-import              代表将数据导入hive
--fields-terminated-by   导入hive后，存储在HDFS上文件的分隔符
--hive-database          hive的数据库
--hive-table             上边指定库下的表，可以不存在，会自动创建
--hive-overwrite         将表中数据覆盖

查看hive：

 四、sqoop-export

在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS关系型数据库）中传输数据，叫做：导出，即使用export关键字。

1). HDFS|hive -> RDBMS

① 准备数据，上传hdfs的sqoop目录下

vi a.txt 
# 在文件中添加如下内容
1 zhangsan true 20 2020-01-11
2 lisi false 25 2020-01-10
3 wangwu true 36 2020-01-17
4 zhaoliu false 50 1990-02-08
5 win7 true 20 1991-02-08#在hdfs上创建sqoop目录(目录名称随意，不过需要和后边对应),将文件上传到sqoop目录下
hdfs dfs -mkdir /sqoop
hdfs dfs -put a.txt /sqoop

② 在mysql中创建表

注意：导出并不会自动创建对应的表，需要提前自己创建 
create table t_user2(id int primary key auto_increment,name VARCHAR(32),sex boolean,age int,birthDay date
) CHARACTER SET=utf8;

 ③ 将hdfs上的数据导入mysql表中

sqoop export \
--connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \
--username root \
--password 123456 \
--export-dir /sqoop \
--input-fields-terminated-by ' ' \
--columns "id,name,sex,age,birthDay" \
--table t_user2 \
--update-key id \
--update-mode allowinsert

--export-dir   指定导出数据的目录
--table        mysql中的表名
--columns      字段名
--update-mode  如果是allowinsert,则允许不但能够导入新数据的时候，还可以更新之前的数据
               如果是updateonly,则只会更新以前的数据，不添加新数据
--update-key   如果指定列的值已经存在，则会触发修改操作，否则添加，一般指定主键列

查看mysql:

 五、sqoop应用问题汇总

1.sqoop在导入或者导出的时候，空值问题处理。

注意：不用直接通过工具界面修改表中的数据，制造空数据，需要重新添加一条
Hive 中的 Null 在底层是以“\N”来存储，而 MySQL 中的 Null 在底层就是 Null，为了保证数据两端的一致性。导入数据时采用--null-string 和--null-non-string。
导出数据时采用--input-null-string 和--input-null-non-string 两个参数。--null-string含义是 string类型的字段，当Value是NULL，替换成指定的字符
--null-string  '\\N'  替换为  \N

导入（mysql-->hive）：

sqoop import \
--driver com.mysql.cj.jdbc.Driver \
--connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \
--username root \
--password 123456 \
--table t_user \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "," \
--hive-overwrite \
--hive-database test_hive \
--hive-table hive_user    \
--null-non-string   '\\N' \
--null-string  '\\N'

mysql表中有空数据： 

 查看hive表：

 

 

 导出（hive-->mysql）：

sqoop export \
--connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \
--username root \
--password 123456 \
--export-dir /user/hive/warehouse/test_hive.db/dept \
--input-fields-terminated-by '\t' \
--columns "deptno,dname,loc" \
--table dept \
--update-key deptno \
--update-mode allowinsert \
--input-null-non-string   '\\N' \
--input-null-string   '\\N'

在hive表中插入空值数据：

 在mysql查看表：

2.将mysql数据导入到hive分区表中

sqoop import \
--driver com.mysql.cj.jdbc.Driver \
--connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \
--username root \
--password 123456 \
--table t_person2 \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "," \
--hive-overwrite \
--hive-database test_hive \
--hive-table t_person2    \
--null-non-string   '\\N' \
--null-string  '\\N' \
--hive-partition-key dt \
--hive-partition-value 20231220

 查看mysql表：

查看hive表：

 3.将hive分区表导出到mysql

在mysql建表：

 

sqoop export \
--connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \
--username root \
--password 123456 \
--export-dir /user/hive/warehouse/test_hive.db/t_person2/dt=20231220 \
--input-fields-terminated-by ',' \
--table t_person2 \
--update-key dt \
--update-mode allowinsert \
--input-null-non-string   '\\N' \
--input-null-string   '\\N'

查看表：

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/26858.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

虚拟声卡实现音频回环

虚拟声卡实现音频回环

虚拟声卡实现音频回环 一、电脑扬声器播放声音路由到麦克风1. Voicemeeters安装设置2. 音频设备选择 二、回声模拟 一、电脑扬声器播放声音路由到麦克风 1. Voicemeeters安装设置 2. 音频设备选择 以腾讯会议为例 二、回声模拟 选中物理输入设备“Stereo Input 1”和物理输出设…
阅读更多...
GlusterFS企业分布式存储

GlusterFS企业分布式存储

GlusterFS 分布式文件系统代表-nfs常见分布式存储Gluster存储基础梳理GlusterFS 适合大文件还是小文件存储？ 应用场景术语Trusted Storage PoolBrickVolumes Glusterfs整体工作流程-数据访问流程GlusterFS客户端访问流程 GlusterFS常用命令部署 GlusterFS 群集准备环…
阅读更多...
修改版的VectorDBBench更好用

修改版的VectorDBBench更好用

原版本VectorDBBench的几个问题 在这里就不介绍VectorDBBench是干什么的了，上官网即可。 1.并发数设置的太少 2.测试时长30秒太长 3.连接milvus无用户和密码框，这个是最大的问题 4.修改了一下其它参数 由于很多网友发私信问一些milvus的相关技术问…
阅读更多...
【机器学习】支持向量机（个人笔记）

【机器学习】支持向量机（个人笔记）

文章目录 SVM 分类器的误差函数分类误差函数距离误差函数C 参数 非线性边界的 SVM 分类器（内核方法）多项式内核径向基函数（RBF）内核 源代码文件请点击此处！ SVM 分类器的误差函数 SVM 使用两条平行线，使用…
阅读更多...
基于flask的网站如何使用https加密通信

基于flask的网站如何使用https加密通信

文章目录 内容简介网站目录示例生成SSL证书单独使用Flask使用WSGI服务器Nginx反向代理参考资料 内容简介 HTTPS 是一种至关重要的网络安全协议，它通过在 HTTP 协议之上添加 SSL/TLS 层来确保数据传输的安全性和完整性。这有助于防止数据在客户端和服务器之间传输时…
阅读更多...
高考志愿专业选择：计算机人才需求激增，人工智能领域成热门

高考志愿专业选择：计算机人才需求激增，人工智能领域成热门

随着2024年高考的落幕，数百万高三学生站在了人生新的十字路口，面临着一个重要的抉择：选择大学专业。这一选择不仅关乎未来四年的学习生涯，更可能决定一个人一生的职业方向和人生轨迹。在众多专业中，计算机相关专业因其…
阅读更多...
如何用Xinstall CPS结算系统打破传统营销桎梏，实现用户增长？

如何用Xinstall CPS结算系统打破传统营销桎梏，实现用户增长？

在互联网流量红利逐渐衰退的今天，App推广和运营面临着前所未有的挑战。如何快速搭建起满足用户需求的运营体系，成为了众多企业急待解决的问题。而在这个关键时刻，Xinstall CPS结算系统应运而生，以其独特的优势帮助企业解决了一系列…
阅读更多...
【DPDK学习路径】九、学习分支

【DPDK学习路径】九、学习分支

第八节给出了如何以轮询的方式从网卡中收取数据报文，目前为止已经学会了一些DPDK的简单用法，接下来的学习路径将有多条：1、开发功能；2、软件架构；3、性能调优。 上述排序依据的是难易程序，对于哪些对网络协…
阅读更多...
深度学习500问——Chapter11：迁移学习（2）

深度学习500问——Chapter11：迁移学习（2）

文章目录 11.2 迁移学习的基本思路有哪些 11.2.1 基于样本迁移 11.2.2 基于特征迁移 11.2.3 基于模型迁移 11.2.4 基于关系迁移 11.2 迁移学习的基本思路有哪些 迁移学习的基本方法可以分为四种。这四种基本方法分别是：基于样本的迁移，基于模型的迁移&a…
阅读更多...
编程入门高中：探索数字世界的无限可能

编程入门高中：探索数字世界的无限可能

编程入门高中：探索数字世界的无限可能 在信息化社会的浪潮中，编程技能逐渐成为了新时代人才的必备素养。对于高中生而言，掌握编程技能不仅可以提升个人竞争力，还能为未来的职业发展奠定坚实基础。本文将围绕编程入门高中展开探讨…
阅读更多...
PTA 7-2 信息排序整理

PTA 7-2 信息排序整理

某生物实验室记录了n种(n<1000)病毒信息&#xff0c;每种病毒都有编号、传染性和致病性三个基本信息&#xff0c;编号是1000-9999的人工编号&#xff0c;其中的传染性和致病性是用0-100的数值代表其严重程度。请你帮实验室完成这些病毒信息的处理&#xff0c;即按传染性升序…
阅读更多...
PTA:7-188 水仙花数

PTA:7-188 水仙花数

作者 王秀秀 单位 山东交通学院 任务描述 本关任务&#xff1a;输出100到999之间的所有的“水仙花数”。所谓的“水仙花数”是指一个3位数&#xff0c;其各位数字立方和等于该数本身。 例如&#xff0c;153是一个水仙花数&#xff0c;因为 15313 53 33 提示 关键在于对一…
阅读更多...
zlib demo

zlib demo

zlib简介 zlib是一个开源的数据压缩库&#xff0c;用于在应用程序中进行数据的压缩和解压缩操作。它提供了一组函数和数据结构&#xff0c;可以实现广泛的压缩算法&#xff0c;其中最常用的是Deflate算法。zlib库的设计简单、高效&#xff0c;并且具有广泛的应用领域。 压缩&…
阅读更多...
Sa-Token鉴权与网关服务实现

Sa-Token鉴权与网关服务实现

纠错&#xff1a; 在上一部分里我完成了微服务框架的初步实现&#xff0c;但是先说一下之前有一个错误&#xff0c;就是依赖部分 上次的学习中我在总的父模块下引入了spring-boot-dependencies&#xff08;版本控制&#xff09;我以为在子模块下就不需要再引用了&#xff0c;…
阅读更多...
Opencv图像梯度计算

Opencv图像梯度计算

Opencv图像梯度计算 Sobel算子 可以理解为是做边缘检测的一种方法。 首先说明自己对图像梯度的简单理解&#xff1a;简单理解就是图像的颜色发生变化的边界区域在X方向和Y方向上的梯度值 Gx Gy 而Gx和Gy处的梯度的计算—使用下面的公式来进行计算。 G x [ − 1 0 1 − 2 0 …
阅读更多...
【计算机网络】 传输层

【计算机网络】 传输层

一、传输层提供的服务 1.1 传输层的功能 1.1.1 传输层的功能如下&#xff1a; 传输层提供应用进程之间的逻辑通信&#xff08;即端到端的通信&#xff09;。与网络层的区别是&#xff1a;网络层提供的是主机之间的逻辑通信。 1.1.2 复用和分用 传输层要还要对收到的报文进行…
阅读更多...
前段。html

前段。html

<!DOCTYPE html> <html xmlns:th"http://www.thymeleaf.org"> <head> <meta charset"UTF-8"> <title>用户列表</title> </head> <body> <h1>用户列表</h1> <table> …
阅读更多...
Web前端专科实习：技能提升、实践挑战与职业展望

Web前端专科实习：技能提升、实践挑战与职业展望

Web前端专科实习&#xff1a;技能提升、实践挑战与职业展望 在数字化时代&#xff0c;Web前端技术作为连接用户与互联网世界的桥梁&#xff0c;其重要性日益凸显。作为一名Web前端专科实习生&#xff0c;我有幸在这个充满机遇和挑战的领域进行实践学习。接下来&#xff0c;我将…
阅读更多...
【计算机毕业设计】258基于微信小程序的课堂点名系统

【计算机毕业设计】258基于微信小程序的课堂点名系统

&#x1f64a;作者简介&#xff1a;拥有多年开发工作经验&#xff0c;分享技术代码帮助学生学习&#xff0c;独立完成自己的项目或者毕业设计。 代码可以私聊博主获取。&#x1f339;赠送计算机毕业设计600个选题excel文件&#xff0c;帮助大学选题。赠送开题报告模板&#xff…
阅读更多...
想建独立站，又怕收款有风险，该怎么办？看这篇就够了

想建独立站，又怕收款有风险，该怎么办？看这篇就够了

小编关注独立站话题已久&#xff0c;了解到许多商家想建独立站但是又担心收款有风险&#xff0c;特别是FP独立站&#xff0c;由于FP商品的特殊性&#xff0c;更容易导致收款账号被封。 今天&#xff0c;小编就在这里教大家一招&#xff0c;解决收款难题&#xff01; 解决收款难…
阅读更多...
最新文章

Copyright @ 2022~2023