Sqoop技术文档笔记

Sqoop是一个用于在Hadoop和关系型数据库之间传输数据的开源工具。它可以将结构化数据从关系型数据库(如MySQL、Oracle、SQL Server等)导入到Hadoop的分布式文件系统(HDFS)或hive中,并且可以将数据从HDFS、hive导出到关系型数据库中。

1.安装配置

1.解压缩

sudo tar -zxvf sqoop-1.4.2.bin__hadoop-2.0.0-alpha.tar.gz   -C  /opt/module/

2.改名

mv  sqoop-1.4.2.bin__hadoop-2.0.0-alpha.tar.gz   ./sqoop

3.添加环境变量

sudo vim /etc/profile

输入内容:

export SQOOP_HOME=/opt/module/sqoop

export PATH=$PATH:$SQOOP_HOME/bin 

刷新配置文件:source /etc/profile

 4.添加权限

sudo chown -R root:root ./sqoop
root:root=>所属组名:所属组群名

 5.修改配置文档

cd /usr/local/src/sqoop/conf
mv sqoop-env-template.sh sqoop-env.shsudo vim sqoop-env.sh
# Modify the configuration file sqoop-env.sh
export HADOOP_COMMON_HOME=/usr/local/src/hadoop
export HADOOP_MAPRED_HOME=/usr/local/src/hadoop
export HBASE_HOME=/usr/local/src/hbase
export HIVE_HOME=/usr/local/src/hive
export ZOOCFGDIR=/usr/local/src/zookeeper
export ZOOKEEPER_HOME=/usr/local/src/zookeeper

6.配置mysql的Driver驱动器放在sqoop的lib中

cp /opt/software/mysql-connector-java-5.1.37.jar   ../lib/

7.测试是否配置成功

sqoop list-databases -connect  jdbc:mysql://bigdata1:3306 --username root --password 123456

常用命令

常用命令
命令名称命令说明
import将关系型数据库数据导入到HDFS、HIVE、HBASE
export将HDFS、HIVE导入到关系型数据库中
help        获取帮助信息
list-database查看所有数据库
list-tables查看所有表
create-hive-table创建hive表
eval查看sql的执行文档
version产看sqoop版本信息

 

 

 

 

 

 

 

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/111023.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

安装VSCode,提升工作效率!iPad Pro生产力进阶之路

文章目录 前言1. 本地环境配置2. 内网穿透2.1 安装cpolar内网穿透(支持一键自动安装脚本)2.2 创建HTTP隧道 3. 测试远程访问4. 配置固定二级子域名4.1 保留二级子域名4.2 配置二级子域名 5. 测试使用固定二级子域名远程访问6. iPad通过软件远程vscode6.1 创建TCP隧道 7. ipad远…

mac 启动mysql Error: Failure while executing; `/bin/launchctl bootstrap gui/501

Error: Failure while executing; /bin/launchctl bootstrap gui/501 /Users/<myUserName>/Library/LaunchAgents/homebrew.mxcl.mysql8.0.plist exited with 5.homebrew 给的提示看不到具体消息 查看 homebrew.mxcl.mysql8.0.plist文件&#xff0c;能看到具体的启动命令…

Netty使用SslHandler实现加密通信-双向认证篇

“不积跬步&#xff0c;无以至千里。” 说明 其实Netty使用SslHandler实现加密通信单向认证和双向认证在代码上区别不大&#xff0c;下面是双向认证的代码示例 引入依赖 <dependency><groupId>io.netty</groupId><artifactId>netty-all</artifac…

webrtc基于DTLS的端口复用技术

DTLS协议: DTLS(Datagram Transport Layer Security)数据包安全传输协议,用于在不可靠的数据包传输协议上(如UDP)提供数据的安全传输。 UDP多路复用: 一个UDP多路复用&#xff0c;被用来处理共享同一个UDP端口的多个并发的UDT连接。类似同一个tcp port上创建多个socket connec…

【复盘】主从延迟以及 Waiting for tablemetadata lock 线上问题

背景 今晚DBA给一个大表添加索引&#xff0c;1000多W&#xff0c;正好风控系统这个时间段有查询这个表的请求&#xff0c;于是就出现了复制延迟。 这是正常下的延迟 可以看出基本都是是100毫秒以下。 Waiting for tablemetadata lock&#xff0c;并且业务跑的SQL出现锁等待…

append_ocr_trainf

read_image (Image, D:/图像文件/字符识别/1-1.bmp) access_channel (Image, Image1, 1) * draw_rectangle2 (3600, Row, Column, Phi, Length1, Length2) gen_rectangle2 (Rectangle, 96.0436, 715.9526, 0.0173917050943654, 110.186941, 18.041084) reduce_domain (Image1, …

多线程处理文件集合,先拆分,在执行

try {File file new File(path);File[] files file.listFiles();log.info("当前共有文件 "files.length"个");List<File> filesList new ArrayList<>(Arrays.asList(files));List<List<File>> dividedLists SplitListUtils.sp…

[笔记] 十进制转n进制

思路 n对 xa取模&#xff0c;就是xa-1 位上的数字&#xff0c;因为模出来的数不足xa 举例来说就是5&211&#xff0c;这个1就是20位上的1 当前位取完后&#xff0c;n/xa&#xff0c;表示n将对x(a1)进行取模&#xff08;进入下一位&#xff09; 重复此操作直至n0。 代码实现 …

开发者职场“生存状态”大调研报告分析 - 第四版

听人劝、吃饱饭,奉劝各位小伙伴,不要订阅该文所属专栏。 作者:不渴望力量的哈士奇(哈哥),十余年工作经验, 跨域学习者,从事过全栈研发、产品经理等工作,现任研发部门 CTO 。荣誉:2022年度博客之星Top4、博客专家认证、全栈领域优质创作者、新星计划导师,“星荐官共赢计…

.mxdown-V-XXXXXXXX勒索病毒感染后的下一步:恢复您的文件

引言&#xff1a; 在数字时代&#xff0c;计算机用户日益面临着来自网络犯罪分子的各种威胁&#xff0c;其中包括勒索病毒&#xff0c;如.mxdown-V-XXXXXXXX。这种勒索病毒可以对你的个人和商业数据文件进行加密&#xff0c;并要求支付赎金才能解锁它们。本文91数据恢复将介绍…

矩阵键盘中断扫描

/*----------------------------------------------- 内容&#xff1a;如计算器输入数据形式相同 从右至左 使用行列扫描方法 中断方式可以有效提供cpu工作效率&#xff0c;在有按键动作时才扫描&#xff0c;平时不进行扫描工作 -------------------------------------…

centos 7.9每天定期发送最新备份文件到另外一台服务器

1.需求 在本地化部署的过程中&#xff0c;为了使系统相对来说高可用&#xff0c;一般情况下&#xff0c;我们都会做一个负载&#xff0c;但是客户又会考虑成本&#xff0c;所以只有可怜巴巴的两台服务器&#xff0c;要全部服务都做负载&#xff0c;这个就实现不了。所以只能把…

1.13.C++项目:仿muduo库实现并发服务器之TcpServer模块的设计

文章目录 一、LoopThreadPool模块二、实现思想&#xff08;一&#xff09;管理&#xff08;二&#xff09;流程&#xff08;三&#xff09;功能设计 三、代码 一、LoopThreadPool模块 TcpServer模块&#xff1a; 对所有模块的整合&#xff0c;通过 tcpserver 模块实例化的对象&…

Python中的元组

Python 元组 Python 的元组与列表类似&#xff0c;不同之处在于元组的元素不能修改。以下是关于Python元组的一些基本信息&#xff1a; 元组的使用&#xff1a;元组是一个不可变的序列类型&#xff0c;使用小括号 () 来定义。元组没有增加元素append、修改元素、删除元素pop的…

【ListCtrl可以显示一部分吗】2023/10/14 下午1:38:38

2023/10/14 下午1:38:38 ListCtrl可以显示一部分吗 2023/10/14 下午1:38:45 ListCtrl是一个控件库,它可以在窗口中显示可滚动的列表。您可以使用SetItemCount方法设置要显示的项数,但在视图上只有部分项会显示,用户可以滚动以查看其他项。如果您想要指定要显示的具体项,…

Linux高性能服务器编程——ch2笔记

第2章 IP 协议详解 2.1 IP服务的特点 无状态&#xff1a;IP通信双方不同步传输数据的状态信息。IP数据报相互独立&#xff0c;缺点是无法处理乱序和重复的IP数据报。上层协议如果是面向连接的协议&#xff08;TCP&#xff09;&#xff0c;能够自己处理乱序和重复的报文段。IP…

【广州华锐互动】利用AR进行野外地质调查学习,培养学生实践能力

在科技发展的驱动下&#xff0c;AR&#xff08;增强现实&#xff09;技术已经在许多领域中找到了应用&#xff0c;包括医疗、教育、建筑和娱乐等。然而&#xff0c;有一个领域尚未充分利用AR技术的潜力&#xff0c;那就是野外地质调查。通过将AR技术引入到这个传统上需要大量人…

想找就能找!如何找回iPhone中被隐藏或主屏幕上被删除的应用程序

本文介绍了如何取消隐藏你在iPhone上隐藏的应用程序&#xff0c;以及如何检索你从iPhone中删除的应用程序。 如何取消隐藏隐藏的应用程序 你过去可能在iPhone上隐藏了应用程序&#xff0c;因为你不经常使用它们&#xff0c;或者你只是喜欢几个整洁的主屏幕。如果你决定将隐藏…

Write-Ahead Log(PostgreSQL 14 Internals翻译版)

日志 如果发生停电、操作系统错误或数据库服务器崩溃等故障&#xff0c;RAM中的所有内容都将丢失&#xff1b;只有写入磁盘的数据才会被保留。要在故障后启动服务器&#xff0c;必须恢复数据一致性。如果磁盘本身已损坏&#xff0c;则必须通过备份恢复来解决相同的问题。 理论…

Web前端—盒子模型:选择器、PxCook、盒子模型、正则表达式、综合案例(产品卡片与新闻列表)

版本说明 当前版本号[20231019]。 版本修改说明20231018初版20231019补充了综合案例二新闻列表的代码及完善部分代码 目录 文章目录 版本说明目录盒子模型01-选择器结构伪类选择器基本使用:nth-child(公式)伪元素选择器 02-PxCook03-盒子模型盒子模型-组成边框线四个方向单方…