我的私人笔记(安装hive)

1.hive下载:Index of /dist/hive/hive-1.2.1

或者上传安装包至/opt/software:rz或winscp上传

2.解压

cd /opt/software

tar -xzvf apache-hive-1.2.1-bin.tar.gz -C /opt/servers/

3.重命名

mv apache-hive-1.2.1-bin hive

4.配置环境变量

vi /etc/profile

export HIVE_HOME=/opt/servers/hive  

export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile

5.修改hive-env.sh配置文件,配置Hadoop环境变量

cd /opt/servers/hive/conf

cp hive-env.sh.template hive-env.sh

vi hive-env.sh

//添加如下信息

export JAVA_HOME=/opt/servers/jdk

export HADOOP_HOME=/opt/servers/hadoop

export HIVE_HOME=/opt/servers/hive

export HIVE_CONF_DIR=/opt/servers/hive/conf

6.添加hive-site.xml配置文件,配置MySQL相关信息

vi hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>

<configuration>

<property>

    #指定HDFS内hive数据临时文件存放目录。启动hive,HDFS即自动创建

    <name>hive.exec.scratchdir</name>

    <value>/user/hive/tmp</value>

</property>

<property>

    #指定HDFS内hive数据存放目录。HDFS自动创建

    <name>hive.metastore.warehouse.dir</name>

    <value>/user/hive/warehouse</value>

</property>

<property>

    #指定hive查询日志本地存放目录

    <name>hive.querylog.location</name>

    <value>/user/hive/log</value>

</property>

## 配置 MySQL 数据库连接信息

<property>

<!-- 元数据库的链接地址 mysql -->

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=GMT</value>

</property>

<property>

<!-- 指定mysql驱动 -->

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<property>

<!-- 指定mysql用户名 -->

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

</property>

<property>

<!-- 指定mysql密码 请输入自己的MySQL连接密码 -->

<name>javax.jdo.option.ConnectionPassword</name>

<value>123456</value>

</property>

</configuration>

启动集群

start-all.sh

7.在hdfs 中创建下面的目录 ,并且授权

hdfs dfs -mkdir -p /user/hive/warehouse

hdfs dfs -mkdir -p /user/hive/tmp

hdfs dfs -mkdir -p /user/hive/log

hdfs dfs -chmod -R 777 /user/hive/warehouse

hdfs dfs -chmod -R 777 /user/hive/tmp

hdfs dfs -chmod -R 777 /user/hive/log

8.上传mysql驱动

cd /opt/servers/hive/lib

传mysql驱动

创建临时目录:

mkdir /opt/servers/hive/tmp

9. 初始化MySQL数据库

cd /opt/servers/hive/bin

schematool -dbType mysql -initSchema

(schemaTool completed出现这一句说明成功)

{若运行schematool -dbType mysql -initSchema 显示没有找到命令则大概率是环境变量有问题}

{

若运行schematool -dbType mysql -initSchema 没有成功

1.看Navicat for MySQL是否可以连接mysql

2.在mysql命令窗口中查看是否有hive这个库

show databases;

drop database hive;(有就要删除掉)

}

10.查看现在的hadoop中的HDFS存了什么

hadoop fs -lsr /

11.进入hive并创建一个测试库和测试表

[root@hadoop01 conf]$ hive

    hive> create database hive1;

    hive> show databases;

12.查看mysql的hive数据库变化

[root@hadoop01 conf]$ mysql -u root -p

    切换成hive数据库并查看DBS表

    mysql> use hive;

    mysql> select * from DBS;

13.复制hive到hadoop02和hadoop03

scp -r /opt/servers/hive/ hadoop02:/opt/servers/

scp -r /opt/servers/hive/ hadoop03:/opt/servers/

14.在hadoop01服务器上启动hiveserver2

hiveserver2

15.在hadoop02上执行

cd /opt/servers/hive

bin/beeline

        beeline> !connect jdbc:hive2://hadoop01:10000

        Enter username for jdbc:hive2://hadoop01:10000: root

        Enter password for jdbc:hive2://hadoop01:10000: ***

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/64184.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机网络 概述部分

目录 计算机网络在信息时代的作用 计算机网络的重要特征 网络&#xff0c;internet,Internet的区别 局域网 广域网的区别 网络协议的分层 计算机网络在信息时代的作用 计算机网络的重要特征 连通性&#xff1a;彼此联通&#xff0c;交换信息 共享性&#xff1a;信息共享…

Java实现根据关键词搜索当当商品列表数据方法,当当API接口申请指南

要通过当当网的API获取商品列表数据&#xff0c;您可以使用当当开放平台提供的接口来实现。以下是一种使用Java编程语言实现的示例&#xff0c;展示如何通过当当开放平台API获取商品列表&#xff1a; 首先&#xff0c;确保您已注册成为当当开放平台的开发者&#xff0c;并创建…

老程序员教你如何笑对问题,轻松培养逻辑思考和解决问题的能力

原文链接 ​​​​​​​老程序员教你如何笑对问题&#xff0c;轻松培养逻辑思考和解决问题的能力 故事发生在一个阳光明媚的午后&#xff0c;我们的主人公&#xff0c;老李&#xff0c;一位拥有十年工作经验的 Python 老程序员&#xff0c;正悠哉地在喝着咖啡。 这时&#x…

Android 12 源码分析 —— 应用层 三(SystemUIFactory及其Dependency解析)

Android 12 源码分析 —— 应用层 三&#xff08;SystemUIFactory及其Dependency解析&#xff09; 在上一篇文章中&#xff0c;介绍了SystemUI的启动流程&#xff0c;并且简单提及了Dagger2用来管理各个SystemUI中要用的依赖。而这部分代码就在&#xff1a;mContextAvailableC…

Java动态代理

所有interface类型的变量总是通过某个实例向上转型并赋值给接口类型变量的&#xff1a; CharSequence cs new StringBuilder(); //父类(CharSequence) 指向 子类&#xff08;StringBuilder&#xff09;&#xff0c;且没有强转符号 > 向上转型。 有没有可能不编写实现类…

扫盲:常用NoSQL数据库

前言 关系型数据库产品很多&#xff0c;如 MySQL、Oracle、Microsoft SQL Sever 等&#xff0c;但它们的基本模型都是关系型数据模型。 非关系型数据库又称为&#xff1a;NoSQL &#xff0c;没有统一的模型&#xff0c;而且是非关系型的。 常见的 NoSQL 数据库包括键值数据库、…

构建前端之光:JavaScript插件的研发艺术

前言 在前端开发的宇宙中&#xff0c;星星是网页&#xff0c;而照亮这个宇宙的&#xff0c;是我们前端开发者手中的JavaScript插件。插件就像乐高积木&#xff0c;可以将我们的代码块组装成复杂而精美的页面。本文将引导你走进JavaScript插件的世界&#xff0c;探讨如何开发、…

python unitest自动化框架

以下举一个最简单的unitest实例&#xff0c;包含备注&#xff0c;自己拉取代码运行一次就知道原理了 import unittest import osclass TestSample(unittest.TestCase):classmethoddef setUpClass(cls) -> None:print(整个测试类只执行一次)def setUp(self) -> None:prin…

const {}解构赋值

定义&#xff1a;ES6允许按照一定模式&#xff0c;从数组和对象中提取值&#xff0c;对变量进行赋值&#xff0c;这被称为解构&#xff08;Destructuring&#xff09;。 解构赋值的基本规则&#xff1a;只要等号右边不是对象或数组&#xff0c;就先将其转换为对象。由于undefi…

Prometheus+grafana安装配置

Prometheus安装配置 Prometheus下载地址 官方地址&#xff1a;Download | Prometheus 可根据系统版本下载想要的安装包&#xff0c;复制链接地址 wget https://github.com/prometheus/prometheus/releases/download/v2.33.3/prometheus-2.33.3.linux-amd64.tar.gzwg 解压pr…

系列五、Java操作RocketMQ简单消息之同步消息

一、概述 同步消息的特征是消息发出后会有一个返回值&#xff0c;即RocketMQ服务器收到消息后的一个确认&#xff0c;这种方式非常安全&#xff0c;但是性能上却没有那么高&#xff0c;而且在集群模式下&#xff0c;也是要等到所有的从机都复制了消息以后才会返回&#xff0c;适…

游戏服务器成DDoS最大攻击重灾区

游戏产业的迅猛发展也让游戏产业成为被黑客攻击的重灾区。什么原因让游戏行业成为DDoS的攻击重点。总结有如下原因和主要手段&#xff1a; 1.游戏行业的攻击成本较低&#xff0c;攻防成本1&#xff1a;N。随着DDoS攻击的打法越来越复杂&#xff0c;攻击点更是越来越多&#xff…

php 字符串格式化绕过SQL注入

0x00 前言 CTF 加解密合集CTF Web合集网络安全知识库 本篇介绍php 字符串格式化绕过SQL注入相关知识 0x01 正文 php中的sprintf函数中&#xff0c;如果出现%1$/就会识别为 而在addslashes函数中&#xff0c;会给特殊字符加上一个\ 那么如果输入的是%1$ 经过addslashes处理…

【链表OJ 10】环形链表Ⅱ(求入环节点)

前言: &#x1f4a5;&#x1f388;个人主页:​​​​​​Dream_Chaser&#xff5e; &#x1f388;&#x1f4a5; ✨✨刷题专栏:http://t.csdn.cn/UlvTc ⛳⛳本篇内容:力扣上链表OJ题目 目录 leetcode142. 环形链表 II 1.问题描述 2.代码思路 3.问题分析 leetcode142. 环形链…

04、添加 com.fasterxml.jackson.dataformat -- jackson-dataformat-xml 依赖报错

Correct the classpath of your application so that it contains a single, compatible version of com.fasterxml.jackson.dataformat.xml.XmlMapper 解决&#xff1a; 改用其他版本&#xff0c;我没写版本号&#xff0c;springboot自己默认的是 2.11.4 版本 成功启动项目…

Vulnhub: Ragnar Lothbrok: 1靶机

kali&#xff1a;192.168.111.111 靶机&#xff1a;192.168.111.226 信息收集 端口扫描 nmap -A -sC -v -sV -T5 -p- --scripthttp-enum 192.168.111.226 作者提示修改hosts文件 目录爆破 gobuster dir -u http://armbjorn -w /usr/share/wordlists/dirbuster/directory-l…

Java自定义异常

Java标准库定义的常用异常包括&#xff1a; 当我们在代码中需要抛出异常时&#xff0c;尽量使用JDK已定义的异常类型。例如&#xff0c;参数检查不合法&#xff0c;应该抛出IllegalArgumentException&#xff1a; static void process1(int age) {if (age < 0) {throw new…

事务的特性

事务具有四个特性&#xff0c;这四个特性通常被称为ACID特性&#xff0c;它们是&#xff1a; 原子性&#xff08;Atomicity&#xff09;&#xff1a;事务是一个原子操作单元&#xff0c;其对数据的修改要么全部执行&#xff0c;要么全不执行。如果一个事务在执行过程中出错&am…

mysql中的with

概念 WITH 子句是 MySQL 中的一种 SQL 结构&#xff0c;又称为 Common Table Expression (CTE)。它在不影响原有 SQL 语句的情况下&#xff0c;允许开发人员临时创建一个内存中的结果集&#xff0c;然后对其进行操作。 作用 WITH 子句的主要用途是创建一个暂时的结果集&…

2023高教社杯数学建模思路 - 案例:ID3-决策树分类算法

文章目录 0 赛题思路1 算法介绍2 FP树表示法3 构建FP树4 实现代码 建模资料 0 赛题思路 &#xff08;赛题出来以后第一时间在CSDN分享&#xff09; https://blog.csdn.net/dc_sinor?typeblog 1 算法介绍 FP-Tree算法全称是FrequentPattern Tree算法&#xff0c;就是频繁模…