Sqoop技术文档笔记

Sqoop是一个用于在Hadoop和关系型数据库之间传输数据的开源工具。它可以将结构化数据从关系型数据库（如MySQL、Oracle、SQL Server等）导入到Hadoop的分布式文件系统（HDFS）或hive中，并且可以将数据从HDFS、hive导出到关系型数据库中。

1.安装配置

1.解压缩

sudo tar -zxvf sqoop-1.4.2.bin__hadoop-2.0.0-alpha.tar.gz -C /opt/module/

2.改名

mv sqoop-1.4.2.bin__hadoop-2.0.0-alpha.tar.gz ./sqoop

3.添加环境变量

sudo vim /etc/profile

输入内容：

export SQOOP_HOME=/opt/module/sqoop

export PATH=$PATH:$SQOOP_HOME/bin

刷新配置文件：source /etc/profile

4.添加权限

sudo chown -R root:root ./sqoop
root:root=>所属组名：所属组群名

5.修改配置文档

cd /usr/local/src/sqoop/conf
mv sqoop-env-template.sh sqoop-env.shsudo vim sqoop-env.sh
# Modify the configuration file sqoop-env.sh
export HADOOP_COMMON_HOME=/usr/local/src/hadoop
export HADOOP_MAPRED_HOME=/usr/local/src/hadoop
export HBASE_HOME=/usr/local/src/hbase
export HIVE_HOME=/usr/local/src/hive
export ZOOCFGDIR=/usr/local/src/zookeeper
export ZOOKEEPER_HOME=/usr/local/src/zookeeper

6.配置mysql的Driver驱动器放在sqoop的lib中

cp /opt/software/mysql-connector-java-5.1.37.jar ../lib/

7.测试是否配置成功

sqoop list-databases -connect jdbc:mysql://bigdata1:3306 --username root --password 123456

常用命令

常用命令
命令名称	命令说明
import	将关系型数据库数据导入到HDFS、HIVE、HBASE
export	将HDFS、HIVE导入到关系型数据库中
help	获取帮助信息
list-database	查看所有数据库
list-tables	查看所有表
create-hive-table	创建hive表
eval	查看sql的执行文档
version	产看sqoop版本信息