大数据学习——安装hive

一. 安装准备

1. 打开虚拟机,启动配置了NameNode节点的虚拟机(一般和mysql在同一台虚拟机)并连接shell

二. 安装

1. 上传hive安装包

hive安装包

提取码:6666

切换到/opt/install_packages目录下

可以将之前解压的rpm文件删除

将安装包拖至目录下

2. 解压

tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/softs/

切到/opt/softs目录下,修改包名称

cd /opt/softs

mv apache-hive-3.1.2-bin/ hive3.1.2

3. 配置环境变量

vim /etc/profile

添加以下内容

#HIVE_HOME
export HIVE_HOME=/opt/softs/hive3.1.2
export PATH=$PATH:$HIVE_HOME/bin

重新加载配置文件

source /etc/profile

输出路径检查

echo $HIVE_HOME

4. 解决jar包冲突

        进入hive3.1.2目录下

        cd /opt/softs/hive3.1.2

        ll

        cd lib

        ll

(1)将log4j-slf4j-impl-2.10.0.jar设置为不可用(修改后缀的方式)

        mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak        

(2)上传mysql连接的jar包

       jar包

       提取码:6666

       将jar包拖至jar目录下

        将上传的jar包拷贝到hive的lib目录下

        cp /opt/jar/mysql-connector-java-5.1.37.jar /opt/softs/hive3.1.2/lib/

(3)调整guava-*.jar包

        复制一个窗口,到hadoop目录下去找类似的包

cd /opt/softs/hadoop3.1.3/share/hadoop/common/lib/

ll

把高版本的jar包拷贝到hive 的lib目录下

cp guava-27.0-jre.jar /opt/softs/hive3.1.2/lib

执行成功后回到原窗口检查

将原来版本的加上bak后缀

mv guava-19.0.jar guava-19.0.jar.bak

三. 配置文件的修改

修改hive的conf文件

cd /opt/softs/hive3.1.2/conf/

1. hive-site.xml内容如下,编写完成后上传到conf目录下

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  
  <property>
  <!-- jdbc 连接的 URL hostname根据实际进行修改 -->
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://bigdata03:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
  </property>
  
  <!-- jdbc 连接的 Driver-->
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  
  <!-- jdbc 连接的 username-->
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  
  <!-- jdbc 连接的 password  root密码根据实际修改-->
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
  </property>
  
   <!-- Hive 默认在 HDFS 的工作目录 -->
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
   </property>
   
   <!-- 指定 hiveserver2 连接的 host hive的安装host根据实际进行修改 --> 
  <property>
    <name>hive.server2.thrift.bind.host</name>
    <value>bigdata03</value>
  </property>
  
  <!-- 指定 hiveserver2 连接的端口号 --> 
  <property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
  </property>
  
 
  <!-- yarn作业获取到的hiveserver2用户都为hive用户 --> 
  <property>
    <name>hive.server2.enable.doAs</name>
    <value>false</value>
  </property>
  
  <!-- hiveserver2的高可用参数,开启此参数可以提高hiveserver2的启动速度 -->
  <property>
    <name>hive.server2.active.passive.ha.enable</name>
    <value>true</value>
  </property>
   
</configuration>

2. 在hadoop中core-site.xml中添加如下配置

    <!-- 安装hive时 在hadoop中core-site.xml中添加如下配置 -->
    <!-- 从任何主机登录的root用户可以伪装成一个属于任何group的用户 -->   

   <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>

vim /opt/softs/hadoop3.1.3/etc/hadoop/core-site.xml 

3. 将修改同步到另外两台虚拟机

scp core-site.xml root@bigdata04:/opt/softs/hadoop3.1.3/etc/hadoop/

scp core-site.xml root@bigdata05:/opt/softs/hadoop3.1.3/etc/hadoop/

分别到另两台虚拟机上查看

cat /opt/softs/hadoop3.1.3/etc/hadoop/core-site.xml

四. 初始化hive的元数据库

1.开启mysql并连接数据库

2. 进行初始化

再复制一台虚拟机

 cd /opt/softs/hive3.1.2/bin

schematool -dbType mysql -initSchema

3. 查看

在原虚拟机上查看数据库

use hive;

show tables;

五. 启动hive

在复制的虚拟机上执行hive命令

出错喽

因为没启动hdfs

启动一下

start-dfs.sh

再次启动hive

如果启动有问题,可以查看hive日志

tail -500f /tmp/root/hive.log

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/26591.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C语言调用so/dll动态库

文章目录 windows系统linux系统windows 与 linux下 C 调用动态库的差异 C语言调用动态链接库 windows系统 windows系统下&#xff0c;C语言调用win下的动态库dll&#xff0c;使用头文件<windows.h>。 准备基础C代码 lauf.c #include <stdio.h>// 定义函数&#x…

算法课程笔记——线段树维护矩阵

算法课程笔记——线段树维护矩阵 2

前后端知识点汇总

springboot项目启动 springboot集成naocs和redis springboot集成mybatis springboot集成mybatisPlus 集成rabbitMq 集成sa-token satoken介绍 sa-token官网Sa-Token 是一个轻量级 Java 权限认证框架,主要解决:登录认证、权限认证、单点登录、OAuth2.0、分布式Session会…

【stm32】基于I2C协议的OLED显示(利用U82G库)

【stm32】基于I2C协议的OLED显示&#xff08;利用U82G库&#xff09; 一、实验目的二、探究任务三、原理探究3.1 I2C接口3.1.1 概述3.1.2 主要特点3.1.3 功能描述3.1.4 从模式3.1.5 主模式3.1.6 时序协议 3.2 OLED屏3.2.1 工作原理3.2.2 汉字点阵显示原理3.2.3 汉字点阵取模 四…

【后端开发】服务开发场景之高性能(CDN与负载均衡,数据库优化,消息队列)

【后端开发】服务开发场景之高性能&#xff08;CDN与负载均衡&#xff0c;数据库优化&#xff0c;消息队列&#xff09; 文章目录 1、内容分发网络&#xff08;CDN &#xff09; & 负载均衡算法CDN是什么&#xff1f;&#xff08;静态资源加速&#xff09;CDN的应用场景&am…

OV5647与树莓派bullseye 64bit的兼容性问题

OV5647与树莓派bullseye 64bit的兼容性问题 1. 源由2. 问题3. 分析方法一&#xff1a;使用 pyudev 库方法二&#xff1a;使用 v4l2-ctl 工具方法三&#xff1a;直接读取 /dev 目录方法四&#xff1a;使用 OpenCV方法五&#xff1a;使用 Picamera方法六&#xff1a;使用 libcame…

『原型资源』Axure自带图标库不够用,第三方经典图标库来袭

​今天小编为大家带来第三方经典图标库&#xff0c;己确认内容可用现推荐给大家。直接上手就可不用自己画哈~ 获取原型文档请与班主任联系&#xff01; 先睹为快&#xff0c;合适再拿走不谢&#xff1a; 图标太多&#xff0c;截取部分给大家参考o(*&#xffe3;︶&#xffe3;*…

Java最新面试题(全网最全、最细、附答案)

一、Java基础 1、基础概念与常识Java 语言有哪些特点? 简单易学&#xff08;语法简单&#xff0c;上手容易&#xff09;&#xff1b;面向对象&#xff08;封装&#xff0c;继承&#xff0c;多态&#xff09;&#xff1b;平台无关性&#xff08; Java 虚拟机实现平台无关性&a…

OCP学习笔记-007 SQL语言之二:DML

2. DML - Data Manipulation Language 数据操纵语句,用于添加、删除、更新和查询数据库记录,并检查数据完整性,常用的语句关键字主要包括insert、delete、udpate和select等。(增添改查) 事务:A transaction consists of a collection of DML statements that form a logi…

Vue 3获取DOM元素的大小以及相对于视口的位置的getBoundingClientRect属性

在Vue 3中&#xff0c;可以使用ref来获取DOM元素的getBoundingClientRect属性。 如果元素已挂载&#xff0c;我们使用 getBoundingClientRect 方法来获取元素的位置和大小信息。这个方法返回一个对象&#xff0c;其中包含了 left、top、right、bottom 等属性&#xff0c;这些属…

LVS负载均衡集群企业级应用实战-LVS/NAT模式(三)

目录 LVS/NAT模式 一. 环境准备 二. 对虚拟服务器操作 三. 对真实服务器操作 四. 打开网站验证 LVS/NAT模式 一. 环境准备 主机名主机IP模拟服务器系统用途localhost 10.36.178.156 192.168.226.137 虚拟服务器 Rocky_linux 客户兼负载均衡机分发IPlocalhost192.168.226…

关于Linux桌面系统的普及 这里是一些建议

Linux 桌面系统在普及方面面临一些挑战&#xff0c;尽管它在服务器和开发者社区中非常受欢迎。为了提高其普及率&#xff0c;可以从以下几个方面着手&#xff1a; 1. 改善用户体验 用户界面友好性&#xff1a;提升桌面环境的易用性和美观度&#xff0c;使其更符合普通用户的习…

记C#优化接口速度过程

前提摘要 首先这个项目是接手的前一任先写的项目&#xff0c;接手后&#xff0c;要求对项目一些速度相对较慢的接口进行优化&#xff0c;到第一个速度比较慢的接口后&#xff0c;发现单接口耗时4-8秒&#xff0c;是的&#xff0c;请求同一个接口&#xff0c;在参数不变的情况下…

【个人博客搭建】(24)统一api接口返回格式

统一接口的返回格式是为了方便开发的数据对接。 在现如今前后端分离的趋势下&#xff0c;需要对接各种类型的数据 所以&#xff0c;我们需要一个标准的数据格式。 1、定义数据格式&#xff1a;例如下边就是一个常见的格式 {"succeed":true,"code": 200,&q…

【算法——动态规划(从dfs回溯开始推导dp)】

基础理论 递归&#xff1a; 递&#xff1a;大问题分解子问题的过程 &#xff1b; 归&#xff1a;产生答案 dp&#xff1a;只进行归&#xff1b;用已知的最底层的&#xff08;递归的边界&#xff0c;搜索树的底&#xff09;&#xff0c;推出未知 《视频索引》 一句话&…

TDengine数据迁移

前言 taosdump 是一个支持从运行中的 TDengine 集群备份数据并将备份的数据恢复到相同或另一个运行中的 TDengine 集群中的工具应用程序。 taosdump 可以用数据库、超级表或普通表作为逻辑数据单元进行备份&#xff0c;也可以对数据库、超级 表和普通表中指定时间段内的数据记录…

蓝牙BLE上位机工具开发理论线索梳理_5.Windows WinRT API包Microsoft.Windows.SDK.Contracts

1. WinRT API包介绍 本文介绍下Windows WinRT API包&#xff08;Microsoft.Windows.SDK.Contracts&#xff09;&#xff0c; 如图1是SDK包的描述。 图1 Microsoft.Windows.SDK.Contracts Windows WinRT API包使您能够将最新的Windows运行时API支持添加到您的。net Framework 4.…

ArcGIS JSAPI 高级教程 - ArcGIS Maps SDK for JavaScript - 探测效果(地图探测、地图窥探)

ArcGIS JSAPI 高级教程 - ArcGIS Maps SDK for JavaScript - 探测效果&#xff08;地图探测、地图窥探&#xff09; 实现原理 ArcGIS Maps SDK for JavaScript 从 4.29 开始增加 RenderNode 类&#xff0c;可以添加数据以及操作 FBO&#xff08;ManagedFBO&#xff09;&#xf…

媲美Sora,免费使用!带物理模拟的,文生视频模型

6月13日&#xff0c;知名3D建模平台Luma AI发布最新文生视频模型Dream Machine&#xff0c;向所有用户免费开放使用。 Dream Machine除了支持文本之外&#xff0c;还可使用图片作为引导来生成视频&#xff0c;其生成的视频质量、动作一致性、色彩、光影、饱和度、运镜等方面&a…

Mysql学习笔记-进阶篇

一、存储引擎 1、MYSQL体系结构 连接层、服务层、引擎层、存储层&#xff1b; 2、存储引擎简介 存储引擎就是存储数据、建立索引、更新/查询数据等技术的实现方式。存储引擎是基于表的&#xff0c;而不是库的&#xff0c;所以存储引擎也可被称为表类型。 1&#xff09;在创…