当使用Sqoop进行数据传输时，以下是更详细的步骤和示例：
步骤1：安装和配置Sqoop
- 下载Sqoop并解压缩到指定目录。
- 配置
sqoop-env-template.sh文件，设置JAVA_HOME、HADOOP_COMMON_HOME等环境变量，并另存为sqoop-env.sh。 - 配置
sqoop-site-template.xml文件，设置数据库连接信息等，并另存为sqoop-site.xml。
步骤2：连接到关系型数据库
- 使用
sqoop list-databases --connect jdbc:mysql://hostname --username user --password pass列出数据库服务器上的所有数据库。 - 使用
sqoop list-tables --connect jdbc:mysql://hostname/database --username user --password pass列出指定数据库中的所有表格。
步骤3：导入数据到Hadoop
- 使用以下命令将数据从MySQL导入到Hadoop：
sqoop import --connect jdbc:mysql://hostname/database --username user --password pass --table tablename --target-dir /user/hadoop/tablename --m 1
- 可以添加
--columns参数指定要导入的列，--where参数指定条件过滤数据。
步骤4：导出数据到关系型数据库
- 使用以下命令将Hadoop中的数据导出到MySQL：
sqoop export --connect jdbc:mysql://hostname/database --username user --password pass --table tablename --export-dir /user/hadoop/tablename
- 可以使用
--input-fields-terminated-by指定字段分隔符，--input-lines-terminated-by指定行分隔符。
步骤5：增量导入
- 使用增量导入功能仅导入新数据：
sqoop import --connect jdbc:mysql://hostname/database --username user --password pass --table tablename --check-column last_update --incremental append --last-value "2024-03-21 00:00:00"
步骤6：并行导入
- 通过设置
--num-mappers参数指定并行任务数量，加快数据导入速度：
sqoop import --connect jdbc:mysql://hostname/database --username user --password pass --table tablename --target-dir /user/hadoop/tablename --num-mappers 4
步骤7：其他操作
- Sqoop还支持压缩数据、自定义映射转换、并行复制等功能，可以根据具体需求使用相关参数和配置。
参考资料
大数据技术之Sqoop-CSDN博客
Sqoop基本原理及常用方法_sqoop_所行化坦途-Byzer 白泽
