sqoop从mysql导入hdfs_3.使用sqoop从mysql 导入数据到hdfs

使用sqoop从mysql 导入数据到hdfs

注意:

需要将mysql的jdbc驱动包放到lib目录下

在conf目录中,执行

cp sqoop-env-template.sh sqoop-env.sh

#修改 ~/.bashrc,增加

export HADOOP_CLASSPATH=/opt/hadoop-2.6.0-cdh5.13.0/lib:/$HIVE_HOME/lib/*

source ~/.bashrc

#执行:

#其中:employee_sql 是mysql中要同步的表。

#name,type是要同步的字段

#-m 没有主键时,需要指定为1.同步的有主键时,可以不写,这是个并行参数,可以提高效率。

# test_emp 是hive中的表。可以提前建,也可以后面建

./sqoop import --connect jdbc:mysql://localhost/test --username root -password 1234567 --table employee_sql --columns "name,type" --hive-import -m 1 --hive-table test_emp

#执行完毕后,只是把数据文件放到了hdfs文件系统上。目录是HIVE的默认目录。

#此时,在hive上新建一个表 test_tmp,便可查到导入的数据了。

附加数据:

mysql 中数据:

CREATE TABLE `employee_sql` (

`name` varchar(100) DEFAULT NULL,

`dept_num` int(11) DEFAULT NULL,

`employee_id` int(11) DEFAULT NULL,

`salary` int(11) DEFAULT NULL,

`type` varchar(100) DEFAULT NULL,

`start_date` date DEFAULT NULL

)

;

mysql> select * from employee_sql;

+---------+----------+-------------+--------+------+------------+

| name | dept_num | employee_id | salary | type | start_date |

+---------+----------+-------------+--------+------+------------+

| Michael | 1000 | 100 | 5000 | full | 2014-01-29 |

| Will | 1000 | 101 | 4000 | full | 2013-10-02 |

| Will | 1000 | 101 | 4000 | part | 2014-10-02 |

| Steven | 1000 | 102 | 6400 | part | 2012-11-03 |

| Lucy | 1000 | 103 | 5500 | full | 2010-01-03 |

| Lily | 1001 | 104 | 5000 | part | 2014-11-29 |

| Jess | 1001 | 105 | 6000 | part | 2014-12-02 |

| Mike | 1001 | 106 | 6400 | part | 2013-11-03 |

| Wei | 1002 | 107 | 7000 | part | 2010-04-03 |

| Yun | 1002 | 108 | 5500 | full | 2014-01-29 |

| Richard | 1002 | 109 | 8000 | full | 2013-09-01 |

+---------+----------+-------------+--------+------+------------+

11 rows in set (0.01 sec)

hadoop中的数据

hadoop@server01:~$ hdfs dfs -ls /user/hive/warehouse/test_emp

Found 1 items

-rwxr-xr-x 1 hadoop supergroup 116 2018-11-08 16:01 /user/hive/warehouse/test_emp/part-m-00000

hadoop@server01:~$ hdfs dfs -cat /user/hive/warehouse/test_emp/part-m-00000

Michaelfull

Willfull

Willpart

Stevenpart

Lucyfull

Lilypart

Jesspart

Mikepart

Weipart

Yunfull

Richardfull

#hive中查看数据表

0: jdbc:hive2://localhost:10000> select * from test_emp;

INFO : Compiling command(queryId=hadoop_20181108170505_ed2ee34d-2ee9-444b-b316-427a91e2e552): select * from test_emp

INFO : Semantic Analysis Completed

INFO : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:test_emp.name, type:string, comment:null), FieldSchema(name:test_emp.type, type:string, comment:null)], properties:null)

INFO : Completed compiling command(queryId=hadoop_20181108170505_ed2ee34d-2ee9-444b-b316-427a91e2e552); Time taken: 0.098 seconds

INFO : Concurrency mode is disabled, not creating a lock manager

INFO : Executing command(queryId=hadoop_20181108170505_ed2ee34d-2ee9-444b-b316-427a91e2e552): select * from test_emp

INFO : Completed executing command(queryId=hadoop_20181108170505_ed2ee34d-2ee9-444b-b316-427a91e2e552); Time taken: 0.0 seconds

INFO : OK

+----------------+----------------+--+

| test_emp.name | test_emp.type |

+----------------+----------------+--+

| Michael | full |

| Will | full |

| Will | part |

| Steven | part |

| Lucy | full |

| Lily | part |

| Jess | part |

| Mike | part |

| Wei | part |

| Yun | full |

| Richard | full |

+----------------+----------------+--+

11 rows selected (0.158 seconds)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/470055.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JAVA微信开发:[17]如何获取所有关注用户

该方法获取所有关注公共账号的微信用户的openId集合&#xff0c; 再通过openId集合既可以获取所有的用户的信息。 /** * 获取所有的关注用户 * * return */ public List<String> getAllWeiXinUser() { GetExistAccessToken getExistAccessToken GetExistAccessToken…

JS中this的四种用法

1.在一般函数方法中使用 this 指代全局对象 function test(){this.x 1;alert(this.x);}test(); // 12.作为对象方法调用&#xff0c;this 指代上级对象 function test(){alert(this.x); } var o {}; o.x 1; o.m test; o.m(); // 1 3.作为构造函数调用&#xff0c;this 指代…

mysql lib 5.5.28_mysql5.5.28在Linux下的安装

mysql5.5.28在Linux下的安装1. 下载mysql2. 解压假如tar包在/home/zdw/software目录下#tar -xvf mysql-5.5.28-linux2.6-i686.tar.gz3. 移动到/usr/local/mysql#mv mysql-5.5.28-linux2.6-i686 /usr/local/添加快捷方式mysql指向mysql-5.5.28-linux2.6-i686#ln -s mysql-5.5.28…

mysql与缓存脏读_MySQL 事务的隔离级别问题 之 脏读

1. 脏读所谓的脏读就是指一个事务读取了另一个事务未提取的数据。试想一下&#xff1a;a账户要给b账户100元购买商品&#xff0c;如果a账户开启一个事务&#xff0c;执行下面的update语句做了如下转账的工作&#xff1a;update account set moneymoney-100 where namea;update …

PHP MYSQL关键词统计系统_PHP MySQL Order By 关键词

ORDER BY 关键词ORDER BY 关键词用于对记录集中的数据进行排序。语法SELECT column_name(s)FROM table_nameORDER BY column_name注释&#xff1a;SQL 对大小写不敏感。ORDER BY 与 order by 等效。例子下面的例子选取 "Persons" 表中的存储的所有数据&#xff0c;并…

mysql 数据库引擎介绍_MYSQL 数据库引擎介绍

一般来说&#xff0c;MySQL有以下几种引擎&#xff1a;ISAM、MyISAM、HEAP、InnoDB和Berkley(BDB)。注意&#xff1a;不同的版本支持的引擎是有差异的。当然啦&#xff0c;如果你感觉自己的确技术高超&#xff0c;你还能够使用MySQL来创建自己的数据库引擎&#xff0c;这个已经…

linux解压eclipse启动时无法找到jre环境的解决办法

使用软链接的方法&#xff1a; 1.打开终端进入到eclipse安装主目录下&#xff1a;mkdir jre 2.cd jre 3.ln -s /home/zhoushuo/app/jdk1.8.0_102/bin bin转载于:https://www.cnblogs.com/shuo1208/p/5927218.html

linux as5 启动mysql_Red Hat AS5进入救援模式的步骤

当因为某些原因导致无法通过正常引导进入系统&#xff0c;如GRUB损坏或者误删除了某些重要的系统配置文件&#xff0c;或者进行某些特殊的系统维护任务&#xff0c;例如忘记了root用户的口令需要进行重置。就需要使用Linux救援模式。(1)放入操作系统光盘(2)boot&#xff1a;下输…

VC使用sqlite

SQLite可以到官方站点(http://www.sqlite.org/download.html)下载&#xff1a;Linux,Mac OS X, Windows下的已编译文件以及源代码、帮助文档。 SQLite官方下载只提供给我们一个sqlite3.dll跟一个sqlite3.def文件&#xff0c;并没有提供用于VC6.0的lib文件&#xff0c;可以利用s…

mysql5.7.10 二进制包_MYSQL5.7二进制包的安装

mysql5.7 二进制包安装1. 下载包wget http://mirrors.sohu.com/mysql/MySQL-5.7/mysql-5.7.12-linux-glibc2.5-x86_64.tar.gz2. 解压tar xxvf mysql-5.7.12-linux-glibc2.5-x86_64.tar.gzmv mysql-5.7.12-linux-glibc2.5-x86_64 /usr/local/mysql3. 初始化useradd -M -s /sbin/…

easyUI文本框textbox笔记

知识点&#xff1a; 1.图标位置 Icon Align属性&#xff0c;有left和right两个&#xff1b; 2.textbox的setvalue方法&#xff0c;getvalue方法。 <div style"margin:10px 0 20px 0"><span>Select Icon Align: </span><select οnchange"$…

python代码计算字数_Python计算一个文件里字数的方法

本文实例讲述了Python计算一个文件里字数的方法。分享给大家供大家参考。具体如下&#xff1a;这段程序从所给文件中找出字数来。from string import *def countWords(s):wordssplit(s)return len(words)#returns the number of wordsfilenameopen("welcome.txt",r)#…

《A First Course in Probability》-chape4-离散型随机变量-几种典型分布列

超几何分布&#xff1a; 超几何分布基于这样一个模型&#xff0c;一个坛子中有N个球&#xff0c;其中m个白球&#xff0c;N-m个黑球&#xff0c;从中随机取n(不放回)&#xff0c;令X表示取出来的白球数&#xff0c;那么&#xff1a; 我们称随机变量X满足参数为(n,m,M)的超几何分…

sid更新 续订sas软件_顶级统计软件sas9.4 64位sid 有效期至2017年6月底

去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉去掉[_SID_]Version9.4Revision9.4Platform_longMicrosoft Windows Workstation for x64Platform_shortwx6Order9BHX96License_prodSASSetnumid1200146…

农历01

1、NongLi.cpp // NongLi.cpp : Defines the entry point for the console application. //#include <stdio.h> #include "xDate.h"// http://www.chinapyg.com/forum.php?modviewthread&tid2928int main(int argc, char* argv[]) {xDate *dateX new xDa…

java内联_JAVA中的内联函数

在说内联函数之前&#xff0c;先说说函数的调用过程。调用某个函数实际上将程序执行顺序转移到该函数所存放在内存中某个地址&#xff0c;将函数的程序内容执行完后&#xff0c;再返回到转去执行该函数前的地方。这种转移操作要求在转去前要保护现场并记忆执行的地址&#xff0…

两端对齐布局与text-align:justify

百分比实现 首先最简单的是使用百分比实现&#xff0c;如下一个展示列表&#xff1a; 1 <!DOCTYPE html>2 <html>3 <head>4 <meta charset"UTF-8">5 <title></title>6 <style type"text/cs…

java拆分单元格_Java 拆分Excel单元格数据为多列

一、概述及使用工具在Excel表格里面&#xff0c;可设置将单元格中的文本数据按分隔符拆分为多列&#xff0c;下面通过Java程序来介绍具体实现方法。这里使用Free Spire.XLS for Java(免费版)来实现数据分列&#xff0c;需要导入Spire.Xls.jar文件到Java程序&#xff0c;可参考以…

win10下安装centos7双系统

国庆最后一天了&#xff0c;闲来无事装个双系统&#xff0c;用虚拟机的linux总有些不方便。 window下安装linux双系统有两中方法&#xff1a; 1.U盘安装 &#xff08;我采用的方法&#xff0c;后面详述&#xff09; 2.EasyBCD工具安装 &#xff08;使用EasyBCD完美实现Windows7…

css 相对定位与绝对定位

相对定位的规律&#xff1a; 使用相对定位的盒子&#xff0c;会相对于它原来的位置&#xff0c;通过偏移指定的距离&#xff0c;到达新的位置。 使用相对定位的盒子仍在标准流中&#xff0c;它对父亲和兄弟盒子都没有任何影响。 绝对定位的规律&#xff1a; 使用绝对定位的盒子…