【大数据技术基础 | 实验十】Hive实验：部署Hive

在这里插入图片描述

文章目录

    • 一、实验目的
    • 二、实验要求
    • 三、实验原理
    • 四、实验环境
    • 五、实验内容和步骤
      • （一）安装部署
      • （二）配置HDFS
      • （三）启动Hive
    • 六、实验结果
      • （一）启动结果
      • （二）Hive基本命令
    • 七、实验心得

一、实验目的

  1. 理解Hive存在的原因；
  2. 理解Hive的工作原理；
  3. 理解Hive的体系架构；
  4. 并学会如何进行内嵌模式部署；
  5. 启动Hive，然后将元数据存储在HDFS上。

二、实验要求

  1. 完成Hive的内嵌模式部署；
  2. 能够将Hive数据存储在HDFS上；
  3. 待Hive环境搭建好后，能够启动并执行一般命令。

三、实验原理

Hive是Hadoop 大数据生态圈中的数据仓库，其提供以表格的方式来组织与管理HDFS上的数据、以类SQL的方式来操作表格里的数据，Hive的设计目的是能够以类SQL的方式查询存放在HDFS上的大规模数据集，不必开发专门的MapReduce应用。

Hive本质上相当于一个MapReduce和HDFS的翻译终端，用户提交Hive脚本后，Hive运行时环境会将这些脚本翻译成MapReduce和HDFS操作并向集群提交这些操作。

当用户向Hive提交其编写的HiveQL后，首先，Hive运行时环境会将这些脚本翻译成MapReduce和HDFS操作，紧接着，Hive运行时环境使用Hadoop命令行接口向Hadoop集群提交这些MapReduce和HDFS操作，最后，Hadoop集群逐步执行这些MapReduce和HDFS操作，整个过程可概括如下：
（1）用户编写HiveQL并向Hive运行时环境提交该HiveQL。
（2）Hive运行时环境将该HiveQL翻译成MapReduce和HDFS操作。
（3）Hive运行时环境调用Hadoop命令行接口或程序接口，向Hadoop集群提交翻译后的HiveQL。
（4）Hadoop集群执行HiveQL翻译后的MapReduce-APP或HDFS-APP。

由上述执行过程可知，Hive的核心是其运行时环境，该环境能够将类SQL语句编译成MapReduce。

Hive构建在基于静态批处理的Hadoop之上，Hadoop通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此，Hive并不能够在大规模数据集上实现低延迟快速的查询，例如，Hive在几百MB的数据集上执行查询一般有分钟级的时间延迟。

因此，Hive并不适合那些需要低延迟的应用，例如，联机事务处理（OLTP）。Hive查询操作过程严格遵守Hadoop MapReduce的作业执行模型，Hive将用户的HiveQL语句通过解释器转换为MapReduce作业提交到Hadoop集群上，Hadoop监控作业执行过程，然后返回作业执行结果给用户。Hive并非为联机事务处理而设计，Hive 并不提供实时的查询和基于行级的数据更新操作。Hive的最佳使用场合是大数据集的批处理作业，例如，网络日志分析。

Hive架构与基本组成如图所示：

在这里插入图片描述

四、实验环境

  • 云创大数据实验平台：
    在这里插入图片描述
  • Java 版本：jdk1.7.0_79
  • Hadoop 版本：hadoop-2.7.1
  • Hive 版本：hive-1.2.1

五、实验内容和步骤

相对于其他组件，Hive部署要复杂得多，按metastore存储位置的不同，其部署模式分为内嵌模式、本地模式和完全远程模式三种。当使用完全模式时，可以提供很多用户同时访问并操作Hive，并且此模式还提供各类接口（BeeLine，CLI，甚至是Pig），这里我们以内嵌模式为例。
由于使用内嵌模式时，其Hive会使用内置的Derby数据库来存储数据库，此时无须考虑数据库部署连接问题，整个部署过程可概括如下。

（一）安装部署

在master机上操作：首先确定存在Hive

ls /usr/cstor/hive/

在这里插入图片描述

（二）配置HDFS

先为Hive配置Hadoop安装路径。

待解压完成后，进入Hive的配置文件夹conf目录下，接着将Hive的环境变量模板文件复制成环境变量文件。

cd /usr/cstor/hive/conf
cp hive-env.sh.template hive-env.sh
vim hive-env.sh

这里使用cp命令而不是mv命令，是因为我们可以备份一份之前的文件，我们只是复制一份修改，而不是替换。

在配置文件中加入以下语句：

HADOOP_HOME=/usr/cstor/hadoop

在这里插入图片描述

然后在HDFS里新建Hive的存储目录，进入hadoop的bin目录内：

cd /usr/cstor/hadoop/

在HDFS中新建/tmp和/usr/hive/warehouse两个文件目录，并对同组用户增加写权限。

bin/hadoop fs -mkdir /tmp
bin/hadoop fs -mkdir -p /usr/hive/warehouse
bin/hadoop fs -chmod g+w /tmp
bin/hadoop fs -chmod g+w /usr/hive/warehouse

在这里插入图片描述

（三）启动Hive

在内嵌模式下，启动Hive指的是启动Hive运行时环境，用户可使用下述命令进入Hive运行时环境。

启动Hive命令行：

cd /usr/cstor/hive/
bin/hive

在这里插入图片描述

六、实验结果

（一）启动结果

使用bin/hive命令进入Hive环境验证Hive是否启动成功。

cd /usr/cstor/hive/
bin/hive

在这里插入图片描述

（二）Hive基本命令

进入Hive环境后，使用show tables，show function后如下图所示则表示配置成功。

显示表：

show tables;

在这里插入图片描述

因为目前我们没有创建表所以返回了一个OK。

显示Hive内置函数：

show functions;

在这里插入图片描述

退出Hive环境：

exit;

七、实验心得

  通过本次Hive部署实验，我深刻理解了Hive在Hadoop大数据生态圈中的重要地位和作用。Hive作为一个数据仓库，不仅提供了以表格方式组织和管理HDFS上数据的便利，更以类SQL的方式简化了对大规模数据集的操作，极大地降低了开发成本。

  在实验过程中，我学习了Hive的内嵌模式部署方法，掌握了如何将Hive数据存储在HDFS上，并成功启动了Hive环境。通过实际操作，我深刻体会到了Hive环境搭建的复杂性和细致性，每一个步骤都需要谨慎操作，稍有疏忽就可能导致部署失败。

  同时，我也认识到Hive并非为联机事务处理而设计，其查询操作过程严格遵守Hadoop MapReduce的作业执行模型，因此在大规模数据集上实现低延迟快速查询方面存在一定的局限性。这使我更加明确了Hive的最佳使用场合——大数据集的批处理作业。此外，我还学会了使用Hive的基本命令，如查看表格和函数等，这些命令为我在后续的实验和学习中提供了有力的支持。

  总之，本次Hive部署实验不仅让我掌握了Hive的部署和使用方法，更让我对Hive的工作原理和体系架构有了更深入的理解。我相信，在未来的学习和工作中，我将能够更好地运用Hive来处理和分析大规模数据集。

附：以上文中的数据文件及相关资源下载地址：
链接：https://pan.quark.cn/s/b0f6f0d06704
提取码：PNp2

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/886299.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

MQTT从入门到精通之MQTT Dashboard

MQTT从入门到精通之MQTT Dashboard

MQTT Dashboard 1 Dashboard简介 EMQX 提供了一个内置的管理控制台，即 EMQX Dashboard。方便用户通过 Web 页面就能轻松管理和监控 EMQX 集群，并配置和使用所需的各项功能。 访问地址：http://ip:18083 首次登录访问账号：admin…
阅读更多...
[Codesys]常用功能块应用分享-BMOV功能块功能介绍及其使用实例说明

[Codesys]常用功能块应用分享-BMOV功能块功能介绍及其使用实例说明

官方说明 功能说明 参数 类型 功能 pbyDataSrcPOINTER TO BYTE指向源数组指针uiSizeUINT要移动数据的BYTE数pbyDataDesPOINTER TO BYTE指向目标数组指针 实例应用-ST IF SYSTEM_CLOCK.AlwaysTrue THENCASE iAutoState OF0: //读写完成信号在下次读写信号的上升沿或复位信号…
阅读更多...
推荐一款流程图和图表绘制工具：WizFlow Flowcharter Pro

推荐一款流程图和图表绘制工具：WizFlow Flowcharter Pro

WizFlow Flowcharter是一款易于使用、功能丰富的Windows流程图和图表绘制工具。它允许用户使用超过一百种预定义的形状和箭头定义形状“样式”。您可以将自己的样式保存在图表模板中，以建立自己的绘图方法。WizFlow附带了完整的流程图模板，以帮助您入门。…
阅读更多...
Java集合 List——针对实习面试

Java集合 List——针对实习面试

目录 Java集合 ListJava List的三种主要实现是什么？它们各自的特点是什么？Java List和Array（数组）的区别？Java List和Set有什么区别？ArrayList和Vector有什么区别？什么是LinkedList？…
阅读更多...
数据结构 -- 二叉搜索树

数据结构 -- 二叉搜索树

二叉搜索树 概念 二叉搜索树又称为二叉排序树，它或为空树，或为具有以下性质的二叉树： 若它的左子树不为空，则左子树上所有节点的值都小于等于根节点的值。若它的右子树不为空，则右子树上所有节点的值都大于等于根节…
阅读更多...
D3 可以加载的数据格式有哪些？（12种）

D3 可以加载的数据格式有哪些？（12种）

D3.js 支持多种数据格式，这些格式涵盖了从简单的表格数据到复杂的地理数据。以下是一些常见的数据格式及其加载方法： D3.js 数据加载方法 d3.blob(input, init) 用途: 加载二进制数据，返回一个 Blob 对象。参数: input: 数据源 URL。init: …
阅读更多...
stm32在linux环境下的开发与调试

stm32在linux环境下的开发与调试

环境安装 注：文末提供一键脚本 下载安装stm32cubeclt 下载地址为：https://www.st.com/en/development-tools/stm32cubeclt.html 选择 linux版本下载安装 安装好后默认在家目录st下 > $ ls ~/st/stm32cubeclt_1.16.0 …
阅读更多...
【从零开始的LeetCode-算法】3270. 求出数字答案

【从零开始的LeetCode-算法】3270. 求出数字答案

给你三个 正 整数 num1 &#xff0c;num2 和 num3 。 数字 num1 &#xff0c;num2 和 num3 的数字答案 key 是一个四位数&#xff0c;定义如下&#xff1a; 一开始&#xff0c;如果有数字 少于 四位数&#xff0c;给它补 前导 0 。答案 key 的第 i 个数位&#xff08;1 < …
阅读更多...
蓝桥杯每日真题 - 第12天

蓝桥杯每日真题 - 第12天

题目&#xff1a;&#xff08;数三角&#xff09; 题目描述&#xff08;14届 C&C B组E题&#xff09; 解题思路&#xff1a; 给定 n 个点的坐标&#xff0c;计算其中可以组成 等腰三角形 的三点组合数量。 核心条件&#xff1a;等腰三角形的定义是三角形的三条边中至少有…
阅读更多...
项目技术栈-解决方案-注册中心

项目技术栈-解决方案-注册中心

项目技术栈-解决方案-注册中心 ZookeeperEureka、Nacos、Consul和Etcd参考文章 服务注册中心&#xff08;Registry&#xff09;&#xff1a;用于保存 RPC Server 的注册信息&#xff0c;当 RPC Server 节点发生变更时&#xff0c;Registry 会同步变更&#xff0c;RPC Client 感…
阅读更多...
uniapp适配暗黑模式配置plus.nativeUI.setUIStyle适配DarkMode配置

uniapp适配暗黑模式配置plus.nativeUI.setUIStyle适配DarkMode配置

uniapp适配暗黑模式配置 目录 uniapp适配暗黑模式配置setUIStyleDarkMode 适配app-plus manifest.json配置theme.json配置pages.json配置页面切换代码实现同步手机暗黑配置额外适配 参考官方文档&#xff1a;https://uniapp.dcloud.net.cn/tutorial/darkmode.html 主要用到api…
阅读更多...
Wireshark中的length栏位

Wireshark中的length栏位

注&#xff1a;Ethernet II的最小data length为46&#xff0c;如果小于&#xff0c;会补全到46. 1.指定网卡抓取的&#xff0c;链路为ethernet。 IPv4 Ethernet II 长度为 14 bytes - L1ipv4 header中的length包括header和payload的总长度 - L2wireshark中length表示抓取的pac…
阅读更多...
前端开发迈向全栈之路：规划与技能

前端开发迈向全栈之路：规划与技能

一、前端开发与全栈开发的差异 前端开发主要负责构建和实现网页、Web 应用程序和移动应用的用户界面。其工作重点在于网页设计和布局&#xff0c;使用 HTML 和 CSS 技术定义页面的结构、样式和布局&#xff0c;同时运用前端框架和库如 React、Angular 或 Vue.js 等构建交互式和…
阅读更多...
ISUP协议视频平台EasyCVR视频设备轨迹回放平台智慧农业视频远程监控管理方案

ISUP协议视频平台EasyCVR视频设备轨迹回放平台智慧农业视频远程监控管理方案

在当今快速发展的农业领域&#xff0c;智慧农业已成为推动农业现代化、助力乡村全面振兴的新手段和新动能。随着信息技术的持续进步和城市化进程的加快&#xff0c;智慧农业对于监控安全和智能管理的需求日益增长。 视频设备轨迹回放平台EasyCVR作为智慧农业视频远程监控管理方…
阅读更多...
前端web

前端web

题目&#xff1a;制作带有下拉悬停菜单的导航栏 效果图 一、先制作菜单栏 <body> <div id"menu"> <div id"container"> <div class"item">游戏1 <div cla…
阅读更多...
Vue之插槽（slot）

Vue之插槽（slot）

插槽是vue中的一个非常强大且灵活的功能&#xff0c;在写组件时&#xff0c;可以为组件的使用者预留一些可以自定义内容的占位符。通过插槽&#xff0c;可以极大提高组件的客服用和灵活性。 插槽大体可以分为三类&#xff1a;默认插槽&#xff0c;具名插槽和作用域插槽。 下面…
阅读更多...
unity3d————Resources异步加载

unity3d————Resources异步加载

知识点一&#xff1a;Resources异步加载是什么&#xff1f; 在Unity中&#xff0c;资源加载可以分为同步加载和异步加载两种方式。同步加载会在主线程中直接进行&#xff0c;如果加载的资源过大&#xff0c;可能会导致程序卡顿&#xff0c;因为从硬盘读取数据到内存并进行处理…
阅读更多...
fatal error C1083: 无法打开包括文件: “stdio.h”: No such file or directory

fatal error C1083: 无法打开包括文件: “stdio.h”: No such file or directory

在 Windows 上的 “终端” 里&#xff0c;对于已经执行过 cmake -S . -B build -G Ninja 的工程&#xff0c;执行了 cmake --build build出现了报错&#xff1a; fatal error C1083: 无法打开包括文件: “stdio.h”: No such file or directory 原因是&#xff0c;当前 “终端…
阅读更多...
SpringBoot+Vue3实现数据可视化大屏

SpringBoot+Vue3实现数据可视化大屏

前端工程的地址:UserManagerFront: 数据可视化前端 (gitee.com) 效果展示&#xff0c;可以展现出来了&#xff0c;样式可能还有一些丑。 后端代码 后端主要是拿到数据并对数据进行处理&#xff0c;按照前端需要的格式进行返回即可。 import com.njitzx.entity.Student; impor…
阅读更多...
vue3： toRef, reactive, toRefs, toRaw

vue3： toRef, reactive, toRefs, toRaw

vue3&#xff1a; toRef, reactive, toRefs, toRaw 扫码或者点击文字后台提问 <template><div>{{ man }}</div><hr><!-- <div>{{ name }}--{{ age }}--{{ like }}</div> --><div><button click"change">修…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023