hive mysql集群安装_HIVE完全分布式集群安装过程(元数据库: MySQL)

[root@node01 mysql]# mysql -u hive -p

Enter password:

mysql> create database hive;

Query OK, 1 row affected (0.00 sec)

mysql> use hive;

Database changed

mysql> show tables;

Empty set (0.00 sec)

3)解压缩hive安装包

tar -xzvf hive-0.9.0.tar.gz

[hadoop@node01 ~]$ cd hive-0.9.0

[hadoop@node01 hive-0.9.0]$ ls

bin  conf  docs  examples  lib  LICENSE  NOTICE  README.txt  RELEASE_NOTES.txt  scripts  src

4)下载mysql连接java的驱动 并拷入hive home的lib下

[hadoop@node01 ~]$ mv mysql-connector-java-5.1.24-bin.jar ./hive-0.9.0/lib

5)修改环境变量,把Hive加到PATH

/etc/profile

export HIVE_HOME=/home/hadoop/hive-0.9.0

export PATH=$PATH:$HIVE_HOME/bin

6)修改hive-env.sh

[hadoop@node01 conf]$ cp hive-env.sh.template hive-env.sh

[hadoop@node01 conf]$ vi hive-env.sh

7)拷贝hive-default.xml 并命名为 hive-site.xml

修改四个关键配置 为上面mysql的配置

[hadoop@node01 conf]$ cp hive-default.xml.template hive-site.xml

[hadoop@node01 conf]$ vi hive-site.xml

javax.jdo.option.ConnectionURL

jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true

JDBC connect string for a JDBC metastore

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

Driver class name for a JDBC metastore

javax.jdo.option.ConnectionUserName

hive

username to use against metastore database

javax.jdo.option.ConnectionPassword

hive

password to use against metastore database

8)启动Hadoop,打开hive shell 测试

[hadoop@node01 conf]$ start-all.sh

hive> load data inpath 'hdfs://node01:9000/user/hadoop/access_log.txt'

> overwrite into table records;

Loading data to table default.records

Moved to trash: hdfs://node01:9000/user/hive/warehouse/records

OK

Time taken: 0.526 seconds

hive> select ip, count(*) from records

> group by ip;

Total MapReduce jobs = 1

Launching Job 1 out of 1

Number of reduce tasks not specified. Estimated from input data size: 1

In order to change the average load for a reducer (in bytes):

set hive.exec.reducers.bytes.per.reducer=

In order to limit the maximum number of reducers:

set hive.exec.reducers.max=

In order to set a constant number of reducers:

set mapred.reduce.tasks=

Starting Job = job_201304242001_0001, Tracking URL = http://node01:50030/jobdetails.jsp?jobid=job_201304242001_0001

Kill Command = /home/hadoop/hadoop-0.20.2/bin/../bin/hadoop job  -Dmapred.job.tracker=192.168.231.131:9001 -kill job_201304242001_0001

Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1

2013-04-24 20:11:03,127 Stage-1 map = 0%,  reduce = 0%

2013-04-24 20:11:11,196 Stage-1 map = 100%,  reduce = 0%

2013-04-24 20:11:23,331 Stage-1 map = 100%,  reduce = 100%

Ended Job = job_201304242001_0001

MapReduce Jobs Launched:

Job 0: Map: 1  Reduce: 1   HDFS Read: 7118627 HDFS Write: 9 SUCCESS

Total MapReduce CPU Time Spent: 0 msec

OK

NULL    28134

Time taken: 33.273 seconds

records在HDFS中就是一个文件:

[hadoop@node01 home]$ hadoop fs -ls /user/hive/warehouse/records

Found 1 items

-rw-r--r--   2 hadoop supergroup    7118627 2013-04-15 20:06 /user/hive/warehouse/records/access_log.txt

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/563175.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

php海外研发,国外主流PHP框架比较

【IT168技术分析评论】最近简单的使用了目前在国内用的比较多的几个主流国外PHP框架(不包括国内框架),大致对这些框架有个直观上的感受,简单分享一下,对于哪些做框架选型的时候,权当一个参考。主要参考的框架包括:Code…

php 正则提取日期,PHP正则匹配日期和时间(时间戳转换)的实例代码

先来一个比较简单实用的代码日期YYYY-MM-DD$str "";$isMatched preg_match("/^d{4}(-|/|.)d{1,2}1d{1,2}$/", $str, $matches);var_dump($isMatched, $matches);php需要一定的时间格式才能转换成时间戳(表示从格林威治时间1970年01月01日00时00分00秒起至…

php7生命周期,PHP 的生命周期与模块的sapi 原理

PS : SAPI:php所提供与其他程序的接口。先说说sapi 这是应用层与核心层的桥梁,用翻译的方式来做个比较恰当的比喻吧。这是一个中国人 名字叫Code这是叫做php-cli的英语翻译,擅长体育翻译这是个叫做php-cgi的翻译,擅长画…

php分解质因数,用PHP如何实现将一个整数分解为质因数的积?

先对数字进行因式分解算法再过滤结果集中,不符合的结果集。class Helper{public function chechPrime($num){for ($i floor(sqrt($num)); $i > 1; --$i) {if ($num % $i 0) {return false;}}return true;}public function getFactorNumber(array &$result,…

php oracle 中文字段,怎么解决php oracle乱码问题

php oracle乱码是由于没有正确的配置字符集信息导致的,其解决办法就是通过PLSQL运行“select * from V$NLS_PARAMETERS;”获取oracle的字符集,并重新设置正确的字符集即可。PHP Oracle 中文乱码问题通常缺省配置连接Oracle在处理中文时都会遇到乱码问题&…

php中数组生成下拉选项,php数组生成html下拉列表的方法

这篇文章主要介绍了php数组生成html下拉列表的方法,涉及php根据数组动态创建html代码的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下本文实例讲述了php数组生成html下拉列表的方法。分享给大家供大家参考。具体如下:这段代码可根据定义好的php数组动态生成一…

用matlab数学综合实验,MATLAB与数学实验(第2版)

MATLAB与数学实验(第2版)作者:艾冬梅 李艳晴 张丽静 刘琳出版日期:2014年06月文件大小:46.48M支持设备:¥18.00在线试读适用客户端:言商书局iPad/iPhone客户端:下载 Android客户端&#xff1a…

mysql主从复制超简单,mysql简单主从复制

在master配置文件中追加log-binmysql-binserver-id1log-bin-indexmaster-bin.index[mysqld]group_replication.so### 重启mysql服务sudo /etc/init.d/mysql restart### 在slave配置文件中追加server-id2relay-log-indexslave-relay-bin.indexrelay-logslave-relay-bin[mysqld]#…

php 输出中文的引号,如何将php英文引号转换为中文引号

如何将php英文引号转换为中文引号发布时间:2020-07-30 10:17:27来源:亿速云阅读:57作者:Leah这期内容当中小编将会给大家带来有关如何将php英文引号转换为中文引号,文章内容丰富且以专业的角度为大家分析和叙述&#x…

SpringBoot运维(二)-- SpringBoot配置文件的4个级别

目录 1. 4个级别的分类 2. 加载优先顺序 3. 4个级别的应用场景 1. 4个级别的分类 4个级别分别是: 类路径下配置文件(一直使用的是这个,也就是resources目录中的application.yml文件)。 类路径下config目录下配置文件。 程序包所在目录中配置文件

matlab破损皮革定位,matlab-code-of-TDOAFDOa 干扰源定位代码,应该在 的求解过程中有帮助。 276万源代码下载- www.pudn.com...

文件名称: matlab-code-of-TDOAFDOa下载 收藏√ [5 4 3 2 1 ]开发工具: matlab文件大小: 38 KB上传时间: 2014-05-31下载次数: 25提 供 者: qqq详细说明:干扰源定位代码,应该在干扰源定位的求解过程中有帮助。-code for tdoa and fdoa文件列表(点击判断是否您…

php里面没有mssql,为什么没有正确使用PHP / MSSQL的日期/时间?

我最近将服务器上运行的PHP版本升级到5.3.20.从那以后,每当我从MSSQL数据库(mssql_query)中提取日期时,我就会得到奇怪的错误日期.我检查了区域设置,默认时区设置为’Australia / Brisbane’,我还检查了php.ini设置并确认mssql.datetimeconvert已关闭.当选项打开时,日期似乎通过…

debian 安装php gd2,如何在Debian Linux中为PHP安装Ioncube

在Debian Linux系统中安装PHP Ioncube加载器。 Ioncube用作PHP应用程序的加密和解密实用程序,通过它我们可以保护数据安全。 它还可以限制PHP应用程序执行未授权。 它还有助于加速提供的页面。 IonCube加载器(Ioncube Loaders)用于在Web服务器上运行时解码编码文件。…

python3异步协程爬虫,simpyder

Simpyder - Simple Python SpiderSimpyder - 轻量级协程Python爬虫特点轻量级:下载便利,依赖较少,使用简单。协程:单线程,通过协程实现并发。可定制:简单配置,适应各种爬取场合。快速开始下载#使…

oracle备份能备份索引吗,ORACLE会使索引失效的条件

1. 没有 WHERE 子句2. 使用 IS NULL 和 IS NOT NULLSELECT ... FROM emp WHERE comm IS NULL; comm 列的索引会失效3. WHERE 子句中使用函数如果没有使用基于函数的索引,那么 where 子句中对存在索引的列使用函数时,会使优化器忽略掉这些索引。例如&…

php如何输出关联数组的值,php - 如何从PHP关联数组中获取确切的输出 - SO中文参考 - www.soinside.com...

我试图在关联数组上使用foreach循环创建一个html表。这是关于数组的更多细节。$assoc_array array("0" > array("project_id" > "1","emp_id" > "123","emp_name" > "Max","project&…

PHP2002,php - 错误:SQLSTATE [HY000] [2002]没有这样的文件或目录 - SO中文参考 - www.soinside.com...

首先像这样更改您的连接:$host localhost;$db nairobi;$user admin;$pass 123456;$charset utf8mb4; // Always set charset for database$port 3308; //Your port can be 3306 or 3307$dsn "mysql:host$host;dbname$db;port$port;charset$charset"…

linux生成文件自带时间,linux生成固定日期文件及删除一定日期前的文件

一、按照一定日期格式命名文件1、按照一定的格式输出日期:date "%y%m%d"格式说明:% : 印出 %%n : 下一行%t : 跳格%H : 小时(00-23)%I : 小时(01-12)%k : 小时(0-23)%l : 小时(1-12)%M : 分钟(00-59)%p : 显示本地 AM 或 PM%r : 直接显示时间 …

linux文件属性是什么意思,Linux文件属性

Linux是一种多用户系统,不同的用户处于不同的地位,拥有不同的权限。为了保护系统的安全性,Linux对不同用户访问同一文件的权限做了规定。我们可以使用ls -l命令来显示一个文件的信息:37944FD1-FBEF-4EDC-80BA-B5276F4242A9.png我们…

linux文件赋予755权限,Linux文件和目录的777、755、644权限解释

Linux文件和目录的权限1.文件权限在linux系统中,文件或目录的权限可以分为3种:r:4 读w:2 写x:1 执行(运行)-:对应数值0数字 4 、2 和 1表示读、写、执行权限rwx 4 2 1 7 (可读写运行)rw 4 2 6 (可读写不可运行)rx 4 1 5 (可读可运行不可写)示例…