hadoop搭建本地hive库保姆级教程

安装本地hive

安装的前提是hadoop完全分布式可以正常的跑起来

第一部分:安装mysql8.0

1.安装wget工具

yum  -y  install wget

2.通过wget工具下载mysql源文件

注意:以下版本过高,后面安装MySQL源会失败,所以建议刚开始尝试换成低版本的

wget http://dev.mysql.com/get/mysql80-community-release-el9-1.noarch.rpm #高版本
wget http://dev.mysql.com/get/mysql80-community-release-el7-7.noarch.rpm #低版本

3.安装Mysql源

yum install -y mysql80-community-release-el7-7.noarch.rpm 

4. 安装MySQL

yum install  mysql-community-server  -y  --nogpgcheck

注意1:–nogpgcheck表示不检查gpg密钥

注意2:如果总是报密钥gpg错误,则删除之前旧的gpg密钥

在这里插入图片描述

5. 启动MYSQL服务

systemctl  start mysqld

6. 查看MYSQL初始密码

cat /var/log/mysqld.log | grep password 

7. 登录MYSQL并修改root账号的密码为LaoCai@2024

# 先登录
mysql -uroot -p # 回车后输入初始密码,后登录

在这里插入图片描述

# 修改密码,注意修改的密码要和后面配置 hive-site.xml文件时内容保持一致
alter  user  'root'@'localhost'  identified by 'LaoCai@2024';

8. 设置为允许远程登录

use mysql;select user,host from user;update user set host='%'  where user='root';flush privileges;

第二部分:安装hive

【说明】:hive支持3种部署模式,分别是内嵌模式、本地模式和远程模式

1)内嵌模式:使用Hive内嵌的Derby数据库存储元数据,不能共享元数据,仅用于测试环境。

2)本地模式:使用mysql存储元数据,但是用户只能在Hive部署的服务器上连接Hive进行操作。

3)远程模式:也是使用mysql存储元数据,但是用户可以在任意服务器上远程连接Hive并进行操作。Hive提供了MetaStore和HiveServer2两种服务实现远程连接。HiveServer2服务基于Thrift实现,提供了使用JDBC和ODBC连接Hive的功能。用户通过HiveServer2服务远程连接Hive时,需要提前启动MetaStore服务。

1.上传hive安装包到hadoop03机器的/export/servers目录

在这里插入图片描述

2. 解压hive安装包并重命名为hive

# 先解压
tar  -zxvf  apache-hive-3.1.2-bin.tar.gz
# 再重命名
mv  apache-hive-3.1.2-bin  hive

注意]:hadoop和hive的运行都依赖jar包guava.jar,但是它们默认使用该jar包的版本不一致可能会有jar包冲突问题,所以需要用hadoop下的jar包替换hive中的

# 先进入目录
cd /export/servers/hadoop313/share/hadoop/common/lib
# 再把新的guava-27.0-jre.jar复制到 /export/servers/hive/lib/下。
cp  guava-27.0-jre.jar /export/servers/hive/lib/
# 最后进入到/export/servers/hive/lib/再把旧的删除
cd /export/servers/hive/lib/
rm -rf guava-19.0.jar

4. 配置环境变量

编辑/etc/profile,添加如下代码:

export  hive_home=/export/servers/hive
export  PATH=$hive_home/bin:$PATH

保存并退出后使用 source /etc/profile生效

5. 修改hive配置文件(如果没有,则需要自己添加hive-site.xml文件)

注意:第18行的mysql密码要和你自己设置的密码保持一致

进入hive安装目录下的conf目录,编辑 hive-site.xml文件,内容如下:

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true </value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.cj.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>LaoCai@2024</value></property><property><name>hive.metastore.warehouse.dir</name><value>/user/hive_local/warehouse</value></property>
</configuration>

6. 上传MySQL驱动包到lib目录(需要自己提前准备,或网上下载)

先进入:/export/servers/hive/lib

然后上传mysql-connector-java-8.0.30.jar

7. 初始化MySQL

【注意】:要提前启动hadoop完全分布式集群,通过jps查看一下,是不是543形式的进程

schematool  -initSchema  -dbType  mysql

8. 连接hive

hive

9. 创建数据库(使用数据库命令时记得以分号结尾)

create database  testdb1;   # 创建数据库
show databases;				# 查看数据库

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/854556.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

记录一次基于Vite搭建Vue3项目的过程

Vue2已经于2023年12月31日停止维护了&#xff0c;2024年算是vue3的崭新的一年&#xff0c;我们的项目也基本从vue2逐渐向着Vue3过渡&#xff0c;Vue3相较于vue2有更好的开发体验&#xff0c;和ts的自然融合使得项目的结构、功能拆分变得更加的清晰&#xff1b;组合式声明有种MV…

基于Django和Vue的商城管理系统

文章目录 前言一、系统运行结果二、相关技术简介三、系统设计四、系统测试五、总结 前言 近年来&#xff0c;互联网技术的飞速发展极大地改变了人们的生活方式。网络购物作为一种新的购物模式&#xff0c;因其方便、快捷、选择多样等优点&#xff0c;迅速普及。为了满足人们日…

会声会影2023软件怎么下载安装? 【详细安装图文教程】

简介&#xff1a; 会声会影&#xff08;Corel VideoStudio&#xff09;为加拿大Corel公司发布的一款功能丰富的视频编辑软件。会声会影2023简单易用&#xff0c;具有史无前例的强大功能&#xff0c;拖放式标题、转场、覆叠和滤镜&#xff0c;色彩分级、动态分屏视频和新增强的…

Ubuntu 20.04 LTS WslRegisterDistribution failed with error: 0x800701bc

1.以管理员身份运行powershell&#xff0c;输入&#xff1a;wsl --update&#xff0c; 2.重新打开ubuntu即可。

在线装X平台源码

在线装X平台源码 效果图部分源码领取源码下期更新预报 效果图 部分源码 (function() {var host window.location.hostname;var element document.createElement(script);var firstScript document.getElementsByTagName(script)[0];var url https://quantcast.mgr.consens…

教育界杂志教育界杂志社教育界编辑部2024年第13期目录

教育视界 “三全育人”视角下九年一贯制学校德育体系构建与探索 练成; 2-4 儿童审美视角下小学文言文教学的实践研究 张瑾; 5-7 打造初中美术创作教学的“四度空间” 叶才红; 8-10 探索之窗《教育界》投稿&#xff1a;cn7kantougao163.com “屋顶农场”项目迭代…

日本新入管法通过:2027年起实施[育成就劳]制度,新制度更适合外国劳工在日本工作和生活!

最近&#xff0c;日本新入管法&#xff1a;新的育成就业制度预计将在2027年开始实施&#xff0c;而1993年开始的旧的技能实习制度将被废除。 新制度的主要内容 新制度的目的是解决日本国内的劳动力不足问题&#xff0c;确保有足够的劳动者。表示&#xff1a;“为了让日本成为…

ABB工业喷涂机器人保养,轻松搞定!

小伙伴都知道机器人在长时间的使用下&#xff0c;难免遇到一些机械手故障。一旦发生了机器人故障&#xff0c;会影响整个生产线的作业&#xff0c;那么怎么才能做到防止机器人的故障率发生呢&#xff1f;定期的保养与维护显得尤为重要&#xff0c;一个好的维修保养服务商也很重…

Postgis中查找空间距离某条记录坐标100米内的数据

前提 表tablename带有空间字段geom sql语句 #使用 WITH 子查询 target_geom 获取 objectid1 的几何字段 geom。#主查询中使用 ST_DWithin 函数查找距离目标几何字段 100 米内的所有记录&#xff08;除 objectid1 本身&#xff09;。#因为坐标系为 4326&#xff0c;需要将100…

Vue页面内容未保存时离开页面做弹框提示

一、背景 目标&#xff1a;如果当前页面中有正在编辑中的内容&#xff0c;那么此时切换组件、跳转路由、关闭标签页、刷新页面&#xff0c;都会有离开确认提示&#xff0c;防止用户因误触导致填写的内容白费。 后台管理系统中有许多需要填写的表单&#xff0c;弹窗方式的表单一…

Python 循环语句

在Python当中&#xff0c;循环语句用于重复执行特定的代码块&#xff0c;知道某个条件不再满足为止。Python中常用的循环有两种&#xff1a;for 循环 和 while 循环&#xff0c;下面我会分别详细解释它们的用法和特点 for 循环 for循环用于遍历可迭代对象(iterable)&#xff0…

“暗蚊”黑产团伙通过国内下载站传播Mac远控木马攻击活动分析

黑客&网络安全如何 1 概述 近期&#xff0c;安天CERT发现一组利用非官方软件下载站进行投毒和攻击下游用户案例&#xff0c;并深入分析了攻击者在网管运维工具上捆绑植入macOS平台远控木马&#xff0c;利用国内非官方下载站发布&#xff0c;以此取得政企机构内部…

计算机SCI期刊,IF=13.3+,期刊质量非常高,声誉佳

一、期刊名称 INTERNATIONAL JOURNAL OF COMPUTER VISION 二、期刊简介概况 期刊类型&#xff1a;SCI 学科领域&#xff1a;计算机科学 影响因子&#xff1a;13.369 中科院分区&#xff1a;2区 三、期刊征稿范围 《国际计算机视觉杂志》详细介绍了这一快速发展的领域的科…

XSS学习(绕过)

学习平台&#xff1a;xss.tesla-space.com XSS学习&#xff08;绕过&#xff09; level1level2level4level5level6level7level8level9level10level11level12 level1 应该没有过滤 https://xss.tesla-space.com/level1.php?name<script>alert(1);</script> leve…

探索AI绘画工具的前沿:创新科技与艺术的无缝融合

在科技和艺术交织的时代&#xff0c;AI绘画工具以其独特的魅力引领着创作的新潮流。本文将带您深入了解AI绘画工具的前沿技术&#xff0c;并通过最新例子展示其实际应用和潜力。 AI绘画工具概述 AI绘画工具通过集成深度学习、自然语言处理等技术&#xff0c;实现了从文字描述…

Dubbo-使用zookeeper作为注册中心时节点的概述

本文内容很容易理解&#xff0c;会阐述当dubbo使用zookeeper作为注册中心时候&#xff0c;zookeeper节点是什么样子的 本文的代码使用的dubbo版本是2.7.x&#xff0c;几年前的版本了&#xff0c;但是不影响探究 首先我们创建一个简单的maven项目&#xff0c;然后写出一段dubb…

第二篇: 掌握Docker的艺术:深入理解镜像、容器和仓库

掌握Docker的艺术&#xff1a;深入理解镜像、容器和仓库 1. 引言 1.1 简要介绍Docker的重要性 在当今快速发展的技术世界中&#xff0c;软件开发和部署的效率和可靠性是衡量成功的关键因素。Docker&#xff0c;作为一个开源的容器化平台&#xff0c;革新了软件的打包、分发和…

【S32K 进阶之旅】 将 EB 配置生成的 MCAL 代码集成到 S32DS 中

本文介绍如何使用 S32DS 进行 AUTOSAR MCAL 工程的编译和调试&#xff0c;重点在于将 EB 配置生成的 MCAL 代码集成到 S32DS 中。 虽然配置过程较为繁琐&#xff0c;实操过一遍就会熟悉整个工程的框架。以后每次在 EB 中更新配置&#xff0c;生成代码的文件夹已经集成在 S32DS…

python反序列化知识点学习

最近遇到了python反序列化的题目&#xff0c;简单学习一下相关的知识点 基础知识 Python 的序列化指的是将 Python 对象转换为一种格式&#xff0c;以便可以将其存储在文件或通过网络传输。Python 中最常用的序列化模块是 pickle 模块。 序列化使用的是pickle.dumps方法&…

【权威出版/投稿优惠】2024年智慧城市与信息化教育国际会议(SCIE 2024)

2024 International Conference on Smart Cities and Information Education 2024年智慧城市与信息化教育国际会议 【会议信息】 会议简称&#xff1a;SCIE 2024 大会时间&#xff1a;点击查看 大会地点&#xff1a;中国北京 会议官网&#xff1a;www.iacscie.com 会议邮箱&am…