sqoop

1）概述

sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。
导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；
导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等

2）工作机制

将导入或导出命令翻译成mapreduce程序来实现，在翻译出的mapreduce中主要对inputformat 和outputformat进行定制

3）sqoop安装：

1.前提有hadoop与jdk

下载：官网

2.修改配置文件

改名字

cd $SQOOP_HOME/conf
mv sqoop-env-template.sh sqoop-env.sh

在sqoop-env.sh中添加

export HADOOP_COMMON_HOME=/uer/local/chun/hadoop-2.7.7/ 
export HADOOP_MAPRED_HOME=/uer/local/chun/hadoop-2.7.7/ 
export HIVE_HOME=/usr/local/hive

把jdbc驱动包加入到lib下，注意驱动版本向下兼容

4）启动验证

cd $SQOOP_HOME/bin
sqoop-version

预期的输出：

sqoop-version
Warning: /usr/local/sqoop-1.4.6/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /usr/local/sqoop-1.4.6/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty
19/08/27 21:08:58 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6
Sqoop 1.4.6
git commit id c0c5a81723759fa575844a0a1eae8f510fa32c25
Compiled by root on Mon Apr 27 14:38:36 CST 2015

无法找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty：

因为hbase和hadoop版本有点不兼容，咱们没出现什么错误，就咱们不更换，我这里hbase是2.1.5，换到2.0.6就可以。

5）验证sqoop到mysql业务库之间的连通性：

 sqoop-list-databases --connect jdbc:mysql://localhost:3306 --username root --password adminsqoop-list-tables --connect jdbc:mysql://localhost:3306/test --username root --password admin

6）Sqoop的数据导入

“导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据（或者Avro、sequence文件等二进制数据）

1。从mysql导出到hdfs

bin/sqoop import   \       //sqoop命令表导入
--connect jdbc:mysql://localhost:3306/hive   \ 
//告诉jdbc，连接mysql的url连接MySQL使用的库
--username root  \       //连接mysql的用户名
--password admin   \     //连接mysql的密码
--target-dir  \             //目标的目录
/sqooptest  \
--fields-terminated-by ‘,’  \   //指定输出文件中的字段分隔符
--table emp   \            //你要导的表
--split-by id   \            //如果你的map指定的个数大于1，那就必须指定一个字段
--m 1                     //指定的maptask（）

\可以转到下一行继续写

可以查看导出的数据 cat查看part-m-*

hdfs dfs -cat /mysql/import1/part-m-*
dake 22 failedman
dake 23 goodman
chun3 25 failedman
chun1 24 successfulman
chun2 23 goodman

2.导入关系表到HIVE

sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password root --table emp --hive-import  --split-by id  --m 1

3.导入表数据子集

bin/sqoop import \
--connect jdbc:mysql://localhost:3306/test \
--username root \
--password admin \
--where "city ='sec-bad'" \
--target-dir /wherequery \
--table emp_add \--m 1