Apache Hive的部署与体验

一、Apache Hive概述

什么是分布式SQL计算？
以分布式的形式，执行SQL语句，进行数据统计分析。
Apache Hive是做什么的？

很简单，将SQL语句翻译成MapReduce程序，从而提供用户分布式SQL计算的能力。
传统MapReduce开发：写MR代码->得到结果
使用Hive开发：写SQL->得到结果
底层都是MR在运行，但是使用层面上更加简单了

二、Hive部署与体验

1、安装MySql数据库

# 更新密钥
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022# 安装Mysql yum库
rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm# yum安装Mysql
yum -y install mysql-community-server# 启动Mysql设置开机启动
systemctl start mysqld
systemctl enable mysqld# 检查Mysql服务状态
systemctl status mysqld# 第一次启动mysql，会在日志文件中生成root用户的一个随机密码，使用下面命令查看该密码
grep 'temporary password' /var/log/mysqld.log# 修改root用户密码
mysql -u root -p -h localhost
Enter password:mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'Root!@#$';# 如果你想设置简单密码，需要降低Mysql的密码安全级别
set global validate_password_policy=LOW; # 密码安全级别低
set global validate_password_length=4;	 # 密码长度最低4位即可# 然后就可以用简单密码了（课程中使用简单密码，为了方便，生产中不要这样）
ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';/usr/bin/mysqladmin -u root password 'root'grant all privileges on *.* to root@"%" identified by 'root' with grant option;  
flush privileges;

2、配置Hadoop

配置如下内容在Hadoop的core-site.xml中，并分发到其它节点，且重启HDFS集群

<property><name>hadoop.proxyuser.hadoop.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.hadoop.groups</name><value>*</value></property>

3、下载Hive

点此官网链接下载

# 解压
tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /export
# 创建软连接
ln -s /export/apache-hive-3.1.3-bin /export/hive

4、下载MySql驱动包

点此官网下载

# 将下载好的驱动jar包，移动到Hive安装目录lib下：
mv mysql-connector-java-5.1.34.jar /export/hive/lib/

5、在Hive目录conf下，创建hive-env.sh文件，内容如下：

export HADOOP_HOME=/export/hadoop
export HIVE_CONF_DIR=/export/hive/conf
export HIVE_AUX_JARS_PATH=/export/hive/lib

6、在Hive目录conf下，创建hive-site.xml文件，内容如下：

<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://node1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>root</value></property><property><name>hive.server2.thrift.bind.host</name><value>node1</value></property><property><name>hive.metastore.uris</name><value>thrift://node1:9083</value></property><property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value></property></configuration>

7、初始化元数据库

先创建数据库： hive，在mysql中执行：

CREATE DATABASE hive CHARSET UTF8;

执行元数据库初始化命令：

cd /export/hive
bin/schematool -initSchema -dbType mysql -verbos

8、启动hive（使用hadoop用户）

# 创建一个hive的日志文件夹： 
mkdir /export/server/hive/logs
# 启动元数据管理服务（必须启动，否则无法工作）
# 前台启动：
bin/hive --service metastore 
# 后台启动：
nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &
# 启动客户端，二选一（当前先选择Hive Shell方式）
# Hive Shell方式（可以直接写SQL）： 
bin/hive
# Hive ThriftServer方式（不可直接写SQL，需要外部客户端链接使用）： 
bin/hive --service hiveserver2

执行成功图示
至此，Apache Hive的部署与体验结束！！！