任务8：安装大数据统计分析工具Hive

任务描述

知识点：Hive安装应用

重  点：

  • 基于CentOS系统，安装配置Hive
  • 创建访问Hive数据库的用户，并授予访问权限

内  容：

  • 安装Hive
  • 配置MySQL、设置远程访问权限
  • 配置Hive
  • Hive服务端、客户端访问

任务指导

1. Hive简介

Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。Hive十分适合对数据仓库进行统计分析。

2. 安装Hive过程如下（在master节点安装）：

  • 安装Hive
    • 创建hive目录，解压Hive软件包；
  • 配置MySQL数据库；
    • 进入mysql数据库
    • 创建hive数据库，用来保存Hive元数据
    • 创建访问Hive数据库的用户，并授予访问权限
  • 配置Hive；
    • 配置环境变量并使之生效
    • 修改Hive相关配置
    • 根据模板创建hive-env.sh和hive-site.xml文件
    • 配置hive-env.sh和hive-site.xml文件
    • 根据hive-site.xml配置，创建缓存目录
    • 修改bin/hive-config.sh 文件
    • 将mysql-connector-java-5.1.41-bin.jar包复制到/home/hive/apache-hive-2.1.0-bin/lib目录下
    • 从master上分发hive到slave 
    • 在slave端修改 conf/hive-site.xml 文件
  • 启动Hive
    • 启动Hadoop集群
    • 初次启动之前需要初始化数据库
    • 启动metastore服务
    • 在 Hive服务器端(master)访问
    • Hive客户端(slave)访问

任务实现

1. 安装Hive（在master节点安装）

        1）创建/home/hive/目录，命令如下：

# mkdir /home/hive

        2）安装包apache-hive-2.1.0-bin.tar.gz已存放在/home/software/目录下。

        3）进入/home/software目录，命令如下：

# cd /home/software/

        4）解压apache-hive-2.1.0-bin.tar.gz 到 /home/hive/ 目录下，命令如下：

# tar -zxvf apache-hive-2.1.0-bin.tar.gz -C /home/hive/

2. 配置MySql数据库

        1）进入mysql数据库：

# mysql -uroot -proot

 2）创建hive数据库，用来保存Hive元数据，语句如下；

mysql> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

        3）创建访问Hive数据库的用户，并授予访问权限：

mysql> grant all on *.* to 'hive'@'%' IDENTIFIED BY 'hive';
mysql> grant all on *.* to 'hive'@'localhost' IDENTIFIED BY 'hive';

        4）刷新权限列表，并退出MySQL

mysql> FLUSH PRIVILEGES;
mysql> exit;

3. 配置Hive

        1）配置环境变量

 使用【# vim /etc/profile】命令，编辑/etc/profile文件，在文件最后，添加如下内容：

export HIVE_HOME=/home/hive/apache-hive-2.1.0-bin
export PATH=:$PATH:$HIVE_HOME/bin

 使用【# source /etc/profile】命令使环境变量生效。

# source /etc/profile

        2）修改Hive相关配置

 进入$HIVE_HOME/conf目录根据模板创建hive-env.sh和hive-site.xml文件

  • 进入conf目录
# cd $HIVE_HOME/conf
  • 从模板复制并创建hive-env.sh文件
# cp hive-env.sh.template hive-env.sh
  • 修改$HIVE_HOME/conf/hive-env.sh文件
# vim hive-env.sh

添加如下内容：

HADOOP_HOME=/home/hadoop/hadoop-2.9.2/
export HIVE_CONF_DIR=/home/hive/apache-hive-2.1.0-bin/conf
  • 使用【vim hive-site.xml】新建hive-site.xm配置文件
# vim hive-site.xml

添加内容如下所示：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定Hive元数据要访问的地址 -->
<property> <name>hive.metastore.uris</name> <value>thrift://master:9083</value><description>Thrift   URI for the remote metastore. Used by metastore client to connect to remote   metastore.</description> 
</property>
<!-- Hive元数据库连接地址 -->
<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>
<!-- JDBC连接驱动 -->
<property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value>
</property>
<!-- 数据库连接用户名 -->
<property><name>javax.jdo.option.ConnectionUserName</name><value>hive</value>
</property>
<!-- 数据库连接密码-->
<property><name>javax.jdo.option.ConnectionPassword</name><value>hive</value>
</property>
<!--配置缓存目录-->
<property><name>hive.exec.local.scratchdir</name><value>/home/hive/apache-hive-2.1.0-bin/iotmp</value>
</property>
<property><name>hive.downloaded.resources.dir</name><value>/home/hive/apache-hive-2.1.0-bin/iotmp</value>
</property>
</configuration>
  • 根据hive-site.xml配置，创建缓存目录：
# cd /home/hive/apache-hive-2.1.0-bin/
# mkdir iotmp
  • 修改 /home/hive/apache-hive-2.1.0-bin/bin/hive-config.sh 文件
# vim /home/hive/apache-hive-2.1.0-bin/bin/hive-config.sh

添加如下内容：

export JAVA_HOME=/home/java/jdk1.8.0_221
export HIVE_HOME=/home/hive/apache-hive-2.1.0-bin
export HADOOP_HOME=/home/hadoop/hadoop-2.9.2/
  • 如果Hive使用MySql作为元数据存储方式，则需要添加MySql的驱动程序到Hive的lib目录下

 下载mysql-connector-java-5.1.41-bin.jar文件，存放到/home/software目录中，并复制到/home/hive/apache-hive-2.1.0-bin/lib目录下。

# cp /home/software/mysql-connector-java-5.1.41-bin.jar /home/hive/apache-hive-2.1.0-bin/lib/
  • 如果不在master节点上访问Hive，则需要：

        1）配置slave节点为客户端；

        2）从master上分发hive到slave 。

# scp -rq /home/hive/ root@slave1:/home/
# scp -rq /etc/profile root@slave1:/etc/

4. 启动Hive（在master节点上）

  • 需要先启动hadoop（如已启动，无需再次启动）
# cd /home/hadoop/hadoop-2.9.2/
# sbin/start-all.sh
  • 初次启动之前需要初始化数据库，以后不需要
# schematool -initSchema -dbType mysql
  • 启动metastore服务
# hive --service metastore &
  • 在 Hive服务器端(master)访问
# hive
hive> show databases;
OK
default
Time taken: 1.332 seconds, Fetched: 2 row(s)
hive> create database test;
OK
Time taken: 0.152 seconds
hive> create table test1(id int);
OK
Time taken: 0.174 seconds
hive> show tables;
OK
test1
Time taken: 0.026 seconds, Fetched: 1 row(s)
  • Hive客户端(slave)访问（步骤可选）
# hive
hive> show databases;
OK
default
test
Time taken: 0.219 seconds, Fetched: 2 row(s)
hive> use default;
OK
Time taken: 0.015 seconds
hive> show tables;
OK
test1
Time taken: 0.022 seconds, Fetched: 1 row(s)

注意：

  • 启动顺序：Hadoop -> Hive
  • 所创建的数据库及其表都是默认存放在hdfs的 /user/hive/warehouse 目录底下。存放路径也可以进行更改，在hive-site.xm配置文件中，添加如下内容：
<property> <name>hive.metastore.warehouse.dir</name> <value>hdfs://master:9000/hive/warehouse</value> 
</property>

上一个任务下一个任务

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/623447.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

多线程——阻塞队列

多线程——阻塞队列

什么是阻塞队列 相比于一般的队列&#xff0c;有两个特点 1.线程安全 2.带有阻塞功能 1&#xff09;队伍为空时&#xff0c;出队列就会出现阻塞&#xff0c;阻塞到其他线程入队列为止 2&#xff09;队伍为满时&#xff0c;入队列就会出现阻塞&#xff0c;阻塞到其他线程出队列…
阅读更多...
中国移动宽带复机短信代码

中国移动宽带复机短信代码

发送”SQKDFJ“到10086、然后在10分钟之内&#xff0c;会收到另外一个号码发来的确认短信&#xff0c;回复”是“即可。
阅读更多...
九州金榜｜15岁初三男孩抑郁休学摆烂打游戏，高压教育要不得！

九州金榜｜15岁初三男孩抑郁休学摆烂打游戏，高压教育要不得！

有一次和朋友一块聚餐&#xff0c;邻座是一位妈妈、和她大概七八岁的儿子&#xff0c;小男孩长得很帅气&#xff0c;没有像同龄人那样调皮捣乱&#xff0c;而是和妈妈很温馨的就餐。 看的出来一家人的素质很高&#xff0c;就餐过程中桌面保持的很整洁&#xff0c;交流声音也不…
阅读更多...
你和家酿啤酒的距离，只差一台爱咕噜智能啤酒机

你和家酿啤酒的距离，只差一台爱咕噜智能啤酒机

喝过工业啤酒&#xff0c;喝过精酿啤酒&#xff0c;但是你喝过在家自酿的啤酒吗&#xff1f; 啤酒是世界上消耗较多的饮料之一&#xff0c;而我国的啤酒年消耗量位居世界第一。近年来&#xff0c;随着越来越多的精酿啤酒涌入市场&#xff0c;精酿啤酒的概念与文化被更多消费者…
阅读更多...
揭秘小米手机被疯狂吐槽的存储扩容技术

揭秘小米手机被疯狂吐槽的存储扩容技术

前段时间&#xff0c;在小米14的发布会上&#xff0c;雷布斯公布了名为“Xiaomi Ultra Space存储扩容”的技术&#xff0c;号称可以在512G的手机中再搞出来16G&#xff0c;256G的手机中再搞出8G。对于普通用户来说&#xff0c;能多得一些存储空间&#xff0c;无异是个很好的福利…
阅读更多...
PID横向控制和仿真实现

PID横向控制和仿真实现

文章目录 1. PID介绍2. PID横向控制原理3. 算法和仿真实现 1. PID介绍 PID是一种常见的控制算法&#xff0c;全称为Proportional-Integral-Derivative&#xff0c;即比例-积分-微分控制器。PID控制器是一种线性控制器&#xff0c;它将设定值与实际值进行比较&#xff0c;根据误…
阅读更多...
Python轴承故障诊断 (11)基于VMD+CNN-BiGRU-Attenion的故障分类

Python轴承故障诊断 (11)基于VMD+CNN-BiGRU-Attenion的故障分类

目录 往期精彩内容&#xff1a; 前言 模型整体结构 1 变分模态分解VMD的Python示例 2 轴承故障数据的预处理 2.1 导入数据 2.2 故障VMD分解可视化 2.3 故障数据的VMD分解预处理 3 基于VMD-CNN-BiGRU-Attenion的轴承故障诊断分类 3.1 定义VMD-CNN-BiGRU-Attenion分类网…
阅读更多...
【C#】当重复使用一段代码倒计时时，使用静态类和静态方法，实现简单的this扩展方法

【C#】当重复使用一段代码倒计时时，使用静态类和静态方法，实现简单的this扩展方法

欢迎来到《小5讲堂》 大家好&#xff0c;我是全栈小5。 这是《C#》序列文章&#xff0c;每篇文章将以博主理解的角度展开讲解&#xff0c; 特别是针对知识点的概念进行叙说&#xff0c;大部分文章将会对这些概念进行实际例子验证&#xff0c;以此达到加深对知识点的理解和掌握。…
阅读更多...
多特征变量序列预测(三)——CNN-Transformer风速预测模型

多特征变量序列预测(三)——CNN-Transformer风速预测模型

目录 往期精彩内容&#xff1a; 前言 1 多特征变量数据集制作与预处理 1.1 导入数据 1.2 数据集制作与预处理 2 基于Pytorch的CNN-Transformer 预测模型 2.1 定义CNN-Transformer预测模型 2.2 设置参数&#xff0c;训练模型 3 模型评估与可视化 3.1 结果可视化 3.2 …
阅读更多...
高效构建Java应用：Maven入门和进阶（五）

高效构建Java应用：Maven入门和进阶（五）

高效构建Java应用&#xff1a;Maven入门和进阶&#xff08;五&#xff09; Maven实战案例&#xff1a;搭建微服务Maven工程框架5.1 项目需求和结构分析5.2项目搭建和统一构建 总结 Maven实战案例&#xff1a;搭建微服务Maven工程框架 5.1 项目需求和结构分析 需求案例&#xf…
阅读更多...
SSH镜像、systemctl镜像、nginx镜像、tomcat镜像

SSH镜像、systemctl镜像、nginx镜像、tomcat镜像

目录 一、SSH镜像 二、systemctl镜像 三、nginx镜像 四、tomcat镜像 五、mysql镜像 一、SSH镜像 1、开启ip转发功能 vim /etc/sysctl.conf net.ipv4.ip_forward 1sysctl -psystemctl restart docker 2、 cd /opt/sshd/vim Dockerfile 3、生成镜像 4、启动容器并修改ro…
阅读更多...
常用python代码大全-python使用argparse模块处理命令行参数

常用python代码大全-python使用argparse模块处理命令行参数

argparse 是 Python 的一个标准库模块&#xff0c;用于从命令行解析参数。这个模块使编写用户友好的命令行接口变得更加简单。下面是一个使用 argparse 模块处理命令行参数的示例代码&#xff1a; import argparse# 创建 ArgumentParser 对象 parser argparse.ArgumentParser…
阅读更多...
使用Python模拟掷骰子游戏的技术指南

使用Python模拟掷骰子游戏的技术指南

引言&#xff1a; 掷骰子游戏是一种非常经典的娱乐活动&#xff0c;通过投掷骰子来获取随机数值&#xff0c;并根据规则进行比较和判断。本文将介绍如何使用Python模拟掷骰子游戏&#xff0c;并通过案例讲解帮助读者更好地理解和实践。 实现步骤&#xff1a; 1. 导入必要的库…
阅读更多...
【编码魔法师系列_构建型4】原型模式（Prototype Pattern）

【编码魔法师系列_构建型4】原型模式（Prototype Pattern）

学会设计模式&#xff0c;你就可以像拥有魔法一样&#xff0c;在开发过程中解决一些复杂的问题。设计模式是由经验丰富的开发者们&#xff08;GoF&#xff09;凝聚出来的最佳实践&#xff0c;可以提高代码的可读性、可维护性和可重用性&#xff0c;从而让我们的开发效率更高。通…
阅读更多...
10.抽象工厂模式

10.抽象工厂模式

江湖上再也没人找林家的麻烦了。因为林平之一怒之下将辟邪剑谱公诸天下。一下子印出去几万份&#xff0c;江湖上人人都能轻而易举的得到这本无尚武学&#xff1b;然而江湖人士却陷入深深的矛盾之中&#xff1a; 不练&#xff0c;别人练了&#xff0c;分分钟秒杀你&#xff1b;练…
阅读更多...
SV-7041T 30W网络有源音箱校园教室广播音箱，商场广播音箱，会议广播音箱，酒店广播音箱，工厂办公室广播音箱

SV-7041T 30W网络有源音箱校园教室广播音箱，商场广播音箱，会议广播音箱，酒店广播音箱，工厂办公室广播音箱

SV-7041T 30W网络有源音箱 校园教室广播音箱&#xff0c;商场广播音箱&#xff0c;会议广播音箱&#xff0c;酒店广播音箱&#xff0c;工厂办公室广播音箱 SV-7041T是深圳锐科达电子有限公司的一款2.0声道壁挂式网络有源音箱&#xff0c;具有10/100M以太网接口&#xff0c;可将…
阅读更多...
我为什么要写RocketMQ消息中间件实战派上下册这本书？

我为什么要写RocketMQ消息中间件实战派上下册这本书？

我与RocketMQ结识于2018年&#xff0c;那个时候RocketMQ还不是Apache的顶级项目&#xff0c;并且我还在自己的公司做过RocketMQ的技术分享&#xff0c;并且它的布道和推广&#xff0c;还是在之前的首席架构师的带领下去做的&#xff0c;并且之前有一个技术神经质的人&#xff0…
阅读更多...
LeetCode第155题 - 最小栈

LeetCode第155题 - 最小栈

题目 设计一个支持 push &#xff0c;pop &#xff0c;top 操作&#xff0c;并能在常数时间内检索到最小元素的栈。 push(x) —— 将元素 x 推入栈中。 pop() —— 删除栈顶的元素。 top() —— 获取栈顶元素。 getMin() —— 检索栈中的最小元素。 示例: 输入&#xff1a; [&q…
阅读更多...
爬虫入门学习（二）——response对象

爬虫入门学习（二）——response对象

大家好&#xff01;我是码银&#xff0c;代码的码&#xff0c;银子的银&#x1f970; 欢迎关注&#x1f970;&#xff1a; CSDN&#xff1a;码银 公众号&#xff1a;码银学编程 前言 在本篇文章&#xff0c;我们继续讨论request模块。从上一节&#xff08;爬虫学习(1)--reque…
阅读更多...
【C++】异常机制

【C++】异常机制

异常 一、传统的处理错误的方式二、C异常概念三、异常的使用1. 异常的抛出和捕获&#xff08;1&#xff09;异常的抛出和匹配原则&#xff08;2&#xff09;在函数调用链中异常栈展开匹配原则 2. 异常的重新抛出3. 异常安全4. 异常规范 四、自定义异常体系五、C 标准库的异常体…
阅读更多...
最新文章

Copyright @ 2022~2023