大数据之 Hive 快速搭建的详细步骤

Hive

hive 搭建三种模式:

  • 内嵌模式
  • 本地模式
  • 远程模式

内嵌模式

Hadoop 和 Hive 整合

修改 hadoop/etc/下的 core-site.xml:

<property><name>hadoop.proxyuser.root.hosts</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.root.groups</name><value>*</value>
</property>
#上传并解压安装包
cd /opt/
tar zxvf apache-hive-3.1.3-bin.tar -C apps
# 修改简化名字
mv apache-hive-3.1.3-bin hive3.1
#解决hadoop、hive之间guawa版本差异
cd /opt/apps/hive
rm -rf lib/guava-19.0.jar
# 拷贝 hadoop 下的jar 到hive下
cp /opt/apps/hadoop-3.2.4/share/hadoop/common/lib/guava-27.0-jre.jar .#修改hive环境变量文件 添加HADOOP_HOME
cd /opt/apps/hive3.1/conf/
# 修改文件名
mv hive-env.sh.template hive-env.sh
# 编辑文件
vim hive-env.sh
# 添加如下内容
export HADOOP_HOME=/opt/apps/hadoop-3.2.4
export HIVE_CONF_DIR=/opt/apps/hive3.1/conf
export HIVE_AUX_JARS_PATH=/opt/apps/hive3.1/lib#初始化 metadata
cd /opt/apps/hive3.1
# 初始化 使用内嵌数据库 derby 注意:如果先配置了环境变量时,这里不用写bin/
bin/schematool -dbType derby -initSchema
#启动hive服务
bin/hive

为了方便任何目录下可以通过 hive 启动 Hive 服务,可以配置环境变量

[zhang@node1 hivetest]$ vim ~/.bashrc # 添加如下配置
HIVE_HOME=/opt/apps/hive3.1
PATH=~/mybin:$JAVA_HOME/bin:$HIVE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

添加完成后,就可以在任意位置启动了,但是注意!!!!!

注意:

使用内嵌模式时,任何目录启动时,都需要进行初始化操作,否则启动会抛出异常

Caused by: MetaException(message:Version information not found in metastore.)

常见错误

错误1
Caused by: java.net.ConnectException: Call From node1/192.168.184.11 to node1:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefusedat sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)

原因:没有启动 Hadoop 集群

错误2
Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)Vat org.apache.hadoop.conf.Configuration.set(Configuration.java:1357)

原因:hadoop 和 Hive 的 jar 包版本冲突

解决办法:

删除 hive 目录下的: sudo rm guava-19.0.jar

拷贝 hadoop/share/hadoop/common/lib/ 下的 jar 包到 hive 下

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/806330.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Harmony鸿蒙南向驱动开发-SPI

SPI即串行外设接口&#xff08;Serial Peripheral Interface&#xff09;&#xff0c;是一种高速的&#xff0c;全双工&#xff0c;同步的通信总线。SPI是由Motorola公司开发&#xff0c;用于在主设备和从设备之间进行通信。 运作机制 在HDF框架中&#xff0c;SPI的接口适配模…

AutoTest 框架分析OneFlow框架的算子对齐任务

本文介绍OneFlow的算子AutoTest框架来分析我们在开发算子时OneFlow是如何完成算子对齐任务的。该自动测试框架还可以轻松移植到其他深度学习训练框架。代码在这里。 1. 传统算子对齐 任何深度学习训练框架都需要验证算子的正确性。那么,在深度学习框架中验证算子正确性的一般…

【MATLAB源码-第6期】基于matlab的QPSK的误码率BER和误符号率SER仿真。

1、算法描述 QPSK&#xff0c;有时也称作四位元PSK、四相位PSK、4-PSK&#xff0c;在坐标图上看是圆上四个对称的点。通过四个相位&#xff0c;QPSK可以编码2位元符号。图中采用格雷码来达到最小位元错误率&#xff08;BER&#xff09; — 是BPSK的两倍. 这意味著可以在BPSK系统…

瑞山集团携手数环通iPaaS,实现ERP与CRM无缝对接

01 客户背景 瑞山集团位于粤港澳大湾区核心商圈----佛山市&#xff0c;是一家致力于各种新型材料添加剂应用推广&#xff0c;集科研、销售和服务于一身的新材料企业&#xff0c;产品覆盖了塑料黏胶剂、水性涂料、3D打印材料、电子材料、纳米材料等各种行业。 公司旗下拥有几间不…

计算机视觉 | 基于 ORB 特征检测器和描述符的全景图像拼接算法

Hi&#xff0c;大家好&#xff0c;我是半亩花海。本项目实现了基于 ORB 特征检测器和描述符的全景图像拼接算法&#xff0c;能够将两张部分重叠的图像拼接成一张无缝连接的全景图像。 文章目录 一、随机抽样一致算法二、功能实现三、代码解析四、效果展示五、完整代码 一、随机…

【面试题】微博、百度等大厂的排行榜如何实现?

背景 现如今每个互联网平台都会提供一个排行版的功能&#xff0c;供人们预览最新最有热度的一些消息&#xff0c;比如百度&#xff1a; 再比如微博&#xff1a; 我们要知道&#xff0c;这些互联网平台每天产生的数据是非常大&#xff0c;如果我们使用MySQL的话&#xff0c;db实…

第十一届蓝桥杯大赛软件赛省赛C/C++ 大学 B 组

第十一届蓝桥杯大赛软件赛省赛C/C 大学 B 组 文章目录 第十一届蓝桥杯大赛软件赛省赛C/C 大学 B 组1、字串排序2、门牌制作3、既约分数4、蛇形填数5、跑步锻炼6、七段码7、成绩统计8、回文日期9、子串分值和10、平面切分 1、字串排序 // 转载博客链接 https://blog.csdn.net/we…

【QT+QGIS跨平台编译】175:【QGIS_App跨平台编译】—【错误处理:未定义的class APP_EXPORT】

点击查看专栏目录 文章目录 一、未定义的class APP_EXPORT二、错误处理 一、未定义的class APP_EXPORT 报错信息&#xff1a; 二、错误处理 第18行增加&#xff1a; #include "qgis_app.h"

潍微科技-水务信息管理平台 ChangePwd SQL注入漏洞复现

0x01 产品简介 水务信息管理平台主要帮助水务企业实现水质状态监测、管网运行监控、水厂安全保障、用水实时监控以及排放有效监管,确保居民安全稳定用水、环境有效保护,全面提升水务管理效率。由山东潍微科技股份有限公司研发,近年来,公司全力拓展提升水务、水利信息化业务…

uniapp区分app、h5、小程序

APP端 标签内 <!-- #ifdef APP-PLUS --><view> APP端 </view> <!-- #endif --> JSCSS内 /*#ifdef APP-PLUS*/console.log(APP端) /*#endif*/ H5端 标签内 <!-- #ifdef H5 --><view> H5端 </view> <!-- #endif --> JSC…

【STM32篇】DRV8425驱动步进电机

【STM32篇】4988驱动步进电机_hr4988-CSDN博客 在上篇文章中使用了HR4988实现了步进电机的驱动&#xff0c;在实际运用过程&#xff0c;HR4988或者A4988驱动步进电机会存在电机噪音太大的现象。本次将向各位友友介绍一个驱动简单且非常静音的一款步进电机驱动IC。 1.DRV8425简介…

JAVAEE—实现一个UDP通信的demo

文章目录 UDP的特点无连接的不可靠性面向报文阻塞控制 实现UDP通信需要的类和方法DatagramSocket APIDatagramPacket API构造方法DatagramPacket 常用方法 InetSocketAddress API 实现UDP通讯的代码UDP 服务器UDP客户端 UDP的特点 无连接的 首先UDP是无连接的&#xff0c;什么…

TRON x HTX DAO 2024 香港之夜:共建香港元宇宙金融自由港

4月9日&#xff0c;由波场TRON主办&#xff0c;HTX DAO协办的“TRON x HTX DAO 2024 香港之夜”主题活动在香港盛大举行。多位参与HTX DAO生态建设的项目方代表、委员会成员、知名KOL等出席并就HTX DAO发展及加密业态进行演讲。 活动现场&#xff0c;波场TRON创始人孙宇晨通过视…

详解Spring event如何优雅实现系统业务解耦、实现原理及使用注意项

1.概述 在我们平时的项目业务系统开发过程中&#xff0c;一个需求功能的业务逻辑经常出现主线业务和副线业务之分。比如&#xff0c;在当下移动端电商app进行注册账号操作&#xff0c;注册成功之后会发送短信、邮箱、站内信等通知&#xff0c;发放红包活动抵用券&#xff0c;推…

git commit -m提交后如何回退和直接覆盖当前提交记录

在 Git 中&#xff0c;如果你已经执行了 git commit -m "你的提交信息" 并希望回退或覆盖这个提交&#xff0c;有几种方法可以实现。以下是针对这两种需求的解决方案&#xff1a; 回退提交 如果你想回退最近的提交&#xff08;即撤销上次的提交&#xff09;&#x…

LinuxAndroid: 旋转编码器input输入事件适配(旋转输入)

rk3588s: 旋转编码器input输入事件适配 基于Android 12 kernel-5.10版本 参考文档&#xff1a; https://blog.csdn.net/szembed/article/details/131551950 Linux 输入设备调试详解&#xff08;零基础开发&#xff09;Rotary_Encoder旋转编码器驱动 通用GPIO为例 挂载input输…

日志监控思路分享,只监控日志内容,不存储

有一个这样的需求&#xff0c;就是实时监控日志文件的内容&#xff0c;不需要存储&#xff0c;仅当某行日志内容触发某个规则时调用一段业务逻辑就行了。比如用户触发限流规则&#xff0c;就将其封禁并发送钉钉通知到运维群。 看到这个需求首先想到的就是日志采集工具&#xff…

在 CentOS 7 上安装 Redis

在 CentOS 7 上安装 Redis 可以通过几个简单的步骤完成。以下是一种常用的方法&#xff1a; 更新系统&#xff1a; 在安装任何新软件之前&#xff0c;最好先更新系统的软件包列表&#xff0c;以确保安装的软件版本是最新的。可以使用以下命令来更新&#xff1a; sudo yum up…

零售EDI:Princess Auto EDI对接

Princess Auto 是一家加拿大零售连锁店&#xff0c;专门从事农场、工业、车库、液压和剩余物品的销售。 Princess Auto 总部位于马尼托巴省温尼伯&#xff0c;截至 2024 年 1 月在 10 个省份拥有并经营 55 家商店以及三个配送中心。各种商品均以其“Powerfist”和“Pro.Point”…

HTML5 有哪些新特性

HTML5 是 HTML 标准的一个重大更新&#xff0c;它引入了许多新特性和改进&#xff0c;旨在提高 Web 应用的性能、互交性和多媒体支持。以下是 HTML5 的一些关键新特性&#xff1a; 1. 语义化标签 新增了一系列语义化标签&#xff0c;如 <article>、<section>、&l…