hadoop hive集群_基于伪分布式Hadoop搭建Hive平台详细教程

一、搭建环境的前提条件

  环境:Linux系统

  Hadoop-2.6.0

  MySQL 5.6

  apache-hive-2.3.7

  这里的环境不一定需要和我一样,基本版本差不多都ok的,所需安装包和压缩包自行下载即可。但是注意hive和hadoop都是2.x系列版本的。

  这里提供一个我下载的hive版本的链接,读者有需要可以自取:http://mirror.bit.edu.cn/apache/hive/hive-2.3.7/

  这里需要提前搭建好hadoop环境和MySQL环境,具体可以看我的博客链接:Hadoop2.0伪分布式平台环境搭建Linux环境下MySQL 5.6安装与配置----亲测有效----纯离线安装

二、搭建的详细步骤

1.使用mysql来存储hive元数据

  将hive下载完成后解压到指定目录下,注意这里的3.1版本改成我们前面的2.3版本即可。 

8676103c02a00dbf95262c0e8270e4ce.png

  登录mysql

04dc842ec46805d9aecdecfb2c280123.png

  建立hive用户

16a3b4db77f5b8c81ae3795b9a5d3019.png

  赋予hive用户足够权限

3292b1bd892d759fec48e042dd89f0aa.png

  刷新mysql的系统权限相关表

7eadcacebf785e5e56c88a76486db37e.png

  重启mysql服务,注意:这里需要使用 service mysqld restart 这个命令

b5b2d3ff6bf9860f8390423510fe0acf.png

  使用hive用户登录mysql

2651b1cfb537f4f3b2550f413afa2006.png

  创建Hive专用元数据库

57fba2af901a743fc0d3669e653b9cbe.png

2.配置hive

  创建配置文件hive-site.xml

11a1d48c6802c870be720a33c4f0600d.png

  在xml输入以下内容,这里面的password是刚才创建hive用户的密码,我这里是123456

cda9d558da5abb943a25531d534f60d7.png

  把mysql的jdbc驱动包复制到hive的lib目录下,下载网址https://dev.mysql.com/downloads/connector/j/,读者如有需要可联系我私发。

1dd394c394b50141e04c921ad500285a.png

  hive初始化

725878f4542ce39f96e89468af98c6b1.png

  初始化的结果

c19ecee94d1d3cc4c5d9d09adb4c0336.png

  配置PATH环境变量进入profile文件

277ab79bb961998537e34e50bfb22ea2.png

  输入以下内容

b655a8874ac5977ee46c9818f9e87aba.png

  修改配置文件hive-env.sh ,执行以下命令

18f2777cbadcb6bd632ddddcf2f7c240.png

  在hive-env.sh添加以下内容,这里的jdk与hadoop版本视自己本身情况而定。

0eb1069cd3d76a31a9be18b9710b77d4.png

3.启动hive

  先开启hadoop集群,使用jps查看是否开启

e338fa8f537d7f7ddcb3bab7c4db6bbd.png

  启动hive

2b25f68b670975950f20811836124155.png

  在Hive中创建表student

b3ba51096defeb0886b8c2b983f12508.png

  关闭hive的话使用exit;即可

hive>exit;

  使用mysql查看

74049e91b79371fbd050847640e0d721.png

  显示hive数据库中的数据表

d83ae90e8c54a7e885fcf6e264262cdc.png

  查看hive的元数据信息

bc62903db5009e0ff135e2ae4a553266.png

7ceb2bca0e0708285e8c2bd73fc6eb0d.png

三、总结

  我这篇博文是基于MySQL和Hadoop伪分布式搭建的一个hive平台,在搭建的过程中也遇到了一些问题,也请教了一些同事,最终成功搭建出来了,希望这篇博文能够对各位有所帮助。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/311607.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

cg word List 3

cg word List 3 如果存在什么问题,欢迎批评指正!谢谢!

.NET Core开发实战(第7课:用Autofac增强容器能力)--学习笔记(上)

07 | 用Autofac增强容器能力:引入面向切面编程(AOP)的能力这一节讲解使用第三方框架来扩展依赖注入容器什么情况下需要我们引入第三方容器组件?大部分情况下,默认的容器组件足够使用当需要一些非常特殊的场景如下&…

sql 对groupby 后的数据limit_SQL(三)——汇总分析

1. 汇总分析函数的3个功能:①功能;②输入(参数);③输出(返回值)查询课程编号为“0002”的总成绩:查询选了课程的学生人数:2.分组sql分组:group bygroup by 实现数据分组&…

cg word List4

cg word List4 如果存在什么问题,欢迎批评指正!谢谢!

通过 Serverless 加速 Blazor WebAssembly

Blazor ❤ Serverless我正在开发 Ant Design 的 Blazor 版本,预览页面部署在 Github Pages 上,但是加载速度很不理想,往往需要 1 分钟多钟才完成。项目地址:https://github.com/ElderJames/ant-design-blazor[1] 求 Star。当寻求解…

eclipse中tomcat启动不了_Eclipse怎样与Tomcat集成

1 打开eclipse2 打开Window -> Show View -> Servers3 点击No servers are available.Click this link to create a new server...4 选择 Apache -> Tomcat v9.0 Server,tomcat的版本可以根据本机安装的tomcat版本选择,然后点击Next5 Name不需要…

树的存储结构-双亲表示法

特点:找双亲容易&#xff0c;找孩子难 代码如下&#xff1a; #include <iostream> using namespace std; typedef char ElemType; #define MAX_Tree_size 100 typedef struct PTNode {ElemType data;int parent;//双亲位置域 }PTNode;typedef struct {PTNode nodes[MA…

cg word List5

## cg word List5 如果存在什么问题&#xff0c;欢迎批评指正&#xff01;谢谢&#xff01;

x509trustmanager怎么验证证书_GeoTrust通配符证书和多域名SSL证书对比评测

GeoTrust SSL证书类型很丰富&#xff0c;能够满足多样的需求&#xff0c;而GeoTrust通配符证书和多域名SSL证书都是支持多个域名的SSL证书&#xff0c;这时候就有网友问了&#xff0c;GeoTrust通配符证书和多域名SSL证书选择哪个好呢&#xff1f;接下来安信证书就为大家做个详细…

树的存储结构-孩子链表

特点:找孩子容易&#xff0c;找双亲难 代码如下&#xff1a; #include <iostream> using namespace std; typedef char ElemType; #define MAX_tree_size //孩子结构 typedef struct CTNode {int child;struct CTNode *next; }*ChildPtr; //双亲结点结构 typedef stru…

【视频教程】使用 ASP.NET Core 3.x 构建 RESTful Web API 已完结

使用 ASP.NET Core 3.x 构建 RESTful Web API 的视频教程已经完结&#xff0c;共50讲&#xff0c;约10.5小时。B站可看&#xff0c;点击原文链接。度娘盘可下载完整视频&#xff1a;https://pan.baidu.com/s/1VPE3bkAVQI_RO3tDrxod4w提取码: hsmj源码以及PPT&#xff1a;https:…

ASP.NET Core 借助 Helm 部署应用至 K8S

前言玩K8S也有一段时间了&#xff0c;借助云服务提供商的K8S控制台&#xff0c;已经可以很方便的快速部署应用至K8S。通过简单的点击&#xff0c;可以一次性帮忙创建K8S 对象&#xff1a;Deployment、Service、Ingress、ConfigMap等。但是当服务的规模上来后&#xff0c;这种方…

.Net Core中IOC容器的使用

本文由江北原创投稿&#xff0c;独家授权技术在于分享&#xff08;公众号ID&#xff1a;sharecore&#xff09;&#xff0c;未经许可&#xff0c;不得转载。作者&#xff1a;江北打代码之前先说一下几个概念,那就是什么是IOC、DI、DIP虽然网上讲这些的已经有很多了,我这里还是要…

qiankun 微前端_qiankun 微前端应用实践与部署(二)

下面是两种方案的简要描述。传统部署方式通过配置 nginx 端口到目录的转发。具体可查看上一篇文章特点需要对外开放子应用对应的端口&#xff0c;将编译好的应用文件放到对应的配置目录。docker 部署方式首先构建主应用与子应用的 docker 镜像&#xff0c;通过 docker run 或者…

在树莓派上使用 PowerShell 调用 Azure 上的 .NET Core API 获取疫情数据

点击上方蓝字关注“汪宇杰博客”导语最近因为疫情被关在家里&#xff0c;做了个无聊成就&#xff1a;我们将在树莓派上用 PowerShell 调用 Azure 上的一个 .NET Core 写的 API 来获取疫情数据。疫情数据API疫情数据来源于腾讯新闻的一个实时更新的页面&#xff0c;原始 API 地址…

gitlab 删除分支_初识gitlab工作流

git对我来说挺难理解的&#xff0c;平时遇到问题也是绕着走&#xff0c;倒也没啥大问题&#xff0c;但基于git软件的工作流却很重要&#xff0c;尤其对于一个组织来说。git工作流、github工作流、gitlab工作流都属于特性分支(feature branches)的类别&#xff0c;今天主要理解g…

.NET Core开发实战(第7课:用Autofac增强容器能力)--学习笔记(下)

07 | 用Autofac增强容器能力&#xff1a;引入面向切面编程&#xff08;AOP&#xff09;的能力如何获取没有命名的服务呢&#xff1f;// 获取没有命名的服务&#xff0c;把 namd 去掉即可 var servicenamed this.AutofacContainer.Resolve<IMyService>(); servicenamed.S…