Hive2.1.1的安装教程(元数据放在本地Mysql)

  • 目录
    • 1.上传tar包
    • 2.解压
    • 3. 设置环境变量
    • 4.设置Hive的配置文件
    • 5.启动Hive
    • 6.安装MySQL
    • 7.下载MySQL的驱动包
    • 8.修改Hive的配置文件
    • 9.启动Hive
    • 10.查看MySQL数据库

目录

1.上传tar包

jar包地址:http://hive.apache.org/downloads.html

2.解压

tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/local/ 

进入到/usr/local目录下,将解压后的文件重命名为hive-2.1.1

mv apache-hive-2.1.1-bin/ hive-2.1.1

3. 设置环境变量

export HIVE_HOME=/usr/local/hive-2.1.1
export PATH=$PATH:$HIVE_HOME/bin

使配置立即生效

source /etc/profile 

hive没有提供hive –version这种方式查看版本,执行hive –help查看
这里写图片描述

4.设置Hive的配置文件

在目录$HIVE_HOME/conf/下,执行命令
cp hive-log4j2.properties.template hive-log4j2.properties拷贝一份重命名 ,并修改property.hive.log.dir = /usr/local/hive-2.1.1/logs/
暂时只配置这些

5.启动Hive

Hadoop集群要先启动

Starting from Hive 2.1, we need to run the schematool command below as an initialization step. For example, we can use “derby” as db type.$ $HIVE_HOME/bin/schematool -dbType <db type> -initSchema

这是Hive的官方文档上描述的,Hive2.1的启动需要先执行schematool命令
由于Hive默认内嵌的是derby数据库,先使用默认的数据库运行
执行schematool -dbType derby -initSchema进行初始化

这里写图片描述
执行命令hive进入到Hive Shell操作
这里写图片描述
此时Hive安装成功。
默认情况下,Hive的元数据保存在了内嵌的derby数据库里,但一般情况下生产环境使用MySQL来存放Hive元数据。

6.安装MySQL

参考:https://blog.csdn.net/qq_16633405/article/details/81872456

7.下载MySQL的驱动包

下载MySQL的驱动包放置到$HIVE_HOME/lib目录下,本机使用的版本是mysql-connector-Java-5.1.36-bin.jar。

8.修改Hive的配置文件

在目录$HIVE_HOME/conf/下,执行命令cp hive-default.xml.template hive-site.xml拷贝重命名
将hive-site.xml里面的property属性配置全部删除,Hive会加载默认配置。
添加如下内容(只需要将最后两个属性更改为你mysql的用户名和对应的登录密码就OK了,其他全部照搬):

<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property><property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property><property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property><property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
<description>password to use against metastore database</description>
</property>
</configuration>

9.启动Hive

Hadoop集群要先启动

9.1 执行命令hive
出现不能实例化metadata的错误
这里写图片描述
以及MySQL连接被拒绝的错误
这里写图片描述
9.2 首先解决MySQL连接被拒绝问题

mysql -uroot -proot
grant all privileges on *.* to root@'spark' identified by 'root';
flush privileges;
exit;

这里写图片描述
*.*代表全部数据库的全部表授权,也可以指定数据库授权,如test_db.*;
all privileges代表全部权限,也可以insert,update,delete,create,drop等;
允许root用户在spark(Linux系统的主机名,IP映射)进行远程登陆,并设置root用户的密码为root。
flush privileges告诉服务器重新加载授权表。

9.3 解决不能实例化metadata的错误
Hive2.1的启动需要先执行schematool命令进行初始化

schematool -dbType mysql -initSchema 

这里写图片描述
9.4 再次执行hive,进入到Hive Shell

这里写图片描述
此时Hive和MySQL连接安装部署成功。

10.查看MySQL数据库

hive-site.xml配置的是jdbc:mysql://spark:3306/hive?createDatabaseIfNotExist=true,即如果不存在hive数据库会创建
默认MySQL里的数据库
这里写图片描述

此时在MySQL里查看数据库,多出了hive数据库
这里写图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/456785.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

App性能优化之内存优化

2019独角兽企业重金招聘Python工程师标准>>> 为什么要进行内存优化呢&#xff1f;其实我们可以反过来想。如果不进行内存优化会产生什么样的问题&#xff1f; App的运行是有内存限制的&#xff0c;超过限制会产生OOM&#xff0c;导致App崩溃。如果内存不进行优化&am…

Linux 网络编程详解四(流协议与粘包)

TCP/IP协议是一种流协议&#xff0c;流协议是字节流&#xff0c;只有开始和结束&#xff0c;包与包之间没有边界&#xff0c;所以容易产生粘包&#xff0c;但是不会丢包。 UDP/IP协议是数据报&#xff0c;有边界&#xff0c;不存在粘包&#xff0c;但是可能丢包。 产生粘包问题…

执行Hive语句报错:FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Access denied for user '

安装个Hive真不省心&#xff0c;各种问题。最近安装好Hive后执行Hive语句时碰到这样的错误&#xff1a; hive> show databases; FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Access denied for user rootlocalhost (using password: YES) NestedThr…

阿里云部署django项目流程【centos7+python3+mysql】

购买阿里云服务器 到[阿里云官网]&#xff0c;选择轻量应用服务器&#xff0c; 步骤如图所示&#xff1a; 地域随便选择哪一个&#xff0c;镜像的话&#xff0c;对比了CentOS&#xff0c;Debian&#xff0c;Ubuntu&#xff0c;我最终选择了CentOS&#xff0c;因为流行嘛&…

对于频繁的写数据处理方式

添加一个新的表情的时候 调用 recentEmotions方法 将所有表情写入数组 每次都是 添加一个新的表情进来 要将沙盒中的所有表情首先加载进数组&#xff0c;然后将表情添加到数组里面 然后在将数组写入沙盒 处理方式 没有必要每次都要到沙盒里面读取数组文件 类方法 不能访问 成员…

Scrapy 框架【学习笔记01】

Scrapy 框架 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架&#xff0c;用途非常广泛。 框架的力量&#xff0c;用户只需要定制开发几个模块就可以轻松的实现一个爬虫&#xff0c;用来抓取网页内容以及各种图片&#xff0c;非常之方便。 Scra…

scrapy startproject【学习笔记02】

入门案例 学习目标 创建一个Scrapy项目定义提取的结构化数据(Item)编写爬取网站的 Spider 并提取出结构化数据(Item)编写 Item Pipelines 来存储提取到的Item(即结构化数据) 一. 新建项目(scrapy startproject) 在开始爬取之前&#xff0c;必须创建一个新的Scrapy项目。进入…

TotoiseSVN的上手教程

本文转自&#xff1a;http://www.cnblogs.com/xilentz/archive/2010/05/06/1728945.html TotoiseSVN的基本使用方法&#xff1a; 一、签入源代码到SVN服务器 假如我们使用Visual Studio在文件夹StartKit中创建了一个项目&#xff0c;我们要把这个项目的源代码签入到SVN Serv…

【转载】Android 关于arm64-v8a、armeabi-v7a、armeabi、x86下的so文件兼容问题

转自&#xff1a;【欧阳鹏】http://blog.csdn.net/ouyang_peng Android 设备的CPU类型(通常称为”ABIs”) armeabiv-v7a: 第7代及以上的 ARM 处理器。2011年15月以后的生产的大部分Android设备都使用它.arm64-v8a: 第8代、64位ARM处理器&#xff0c;很少设备&#xff0c;三星 G…

HDFS的简介及基本操作(常用的命令参数介绍)

目录前言&#xff1a;1、HDFS基本概念2、HDFS基本操作总结&#xff1a; 目录 前言&#xff1a; 总算有空来接着写大数据的学习笔记了&#xff0c;今天就把之前学过的HDFS的基础知识详细的介绍一下&#xff0c;如有哪点写的不足希望大家多多指教。 1、HDFS基本概念 1.1、前…

TensorFlow训练单特征和多特征的线性回归

线性回归 线性回归是很常见的一种回归&#xff0c;线性回归可以用来预测或者分类&#xff0c;主要解决线性问题。相关知识可看“相关阅读”。 主要思想 在TensorFlow中进行线性回归处理重点是将样本和样本特征矩阵化。 单特征线性回归 单特征回归模型为&#xff1a;ywxb 构建模…

大数据之HDFS应用开发(java API)

目录1、搭建开发环境2、获取api中的客户端对象3、DistributedFileSystem实例对象所具备的方法4、HDFS客户端操作数据代码示例 目录 1、搭建开发环境 window下开发的说明: A、在windows的某个目录下解压一个hadoop的安装包 B、将安装包下的lib和bin目录用对应windows版本平…

shell脚本执行方式,更方便更快捷。

在进行linux测试时编写脚本是必不可少的。最近经常使用Linux&#xff0c;感觉太频繁地敲击键盘有些累了&#xff0c;于是想到了Shell脚本。可以把太多的命令写成一个脚本&#xff0c;这样每次执行一遍 shell文件&#xff0c;就可以省去了敲击键盘的时间。于是在网上搜了一些有…

慕课网_《Java实现对称加密》学习总结

时间&#xff1a;2017年4月11日星期二说明&#xff1a;本文部分内容均来自慕课网。慕课网&#xff1a;http://www.imooc.com教学示例源码&#xff1a;https://github.com/zccodere/s...个人学习源码&#xff1a;https://github.com/zccodere/s... 第一章&#xff1a;对称加密算…

大数据之MapReduce详解(MR的运行机制及配合WordCount实例来说明运行机制)

目录前言&#xff1a;1、MapReduce原理2、mapreduce实践&#xff08;WordCount实例&#xff09; 目录 今天先总体说下MapReduce的相关知识&#xff0c;后续将会详细说明对应的shuffle、mr与yarn的联系、以及mr的join操作的等知识。以下内容全是个人学习后的见解&#xff0c;如…

20155222 2016-2017-2 《Java程序设计》第8周学习总结

20155222 2016-2017-2 《Java程序设计》第8周学习总结 教材学习内容总结 Java NIO(New IO)是一个可以替代标准Java IO API的IO API&#xff08;从Java 1.4开始)&#xff0c;Java NIO提供了与标准IO不同的IO工作方式。 Java NIO: Channels and Buffers&#xff08;通道和缓冲区&…

BAT经典面试题精简版(基础知识附答案)

文章目录目录J2SE基础JVM操作系统TCP/IP数据结构与算法目录 J2SE基础 九种基本数据类型的大小&#xff0c;以及他们的封装类。 原始类型封装类 booleanBoolean charCharacter byteByte shortShort intInteger longLong floatFloat doubleDouble Switch能否用string做参数&…

使用2to3.py 转换 python2.x 代码 到python3

1.使用Windows 命令提示符&#xff08;cmd&#xff09;cd到2to3.py 脚本所在位置&#xff0c;如下图&#xff1a; 找不到的2 to 3.py的去 pycharm中双击shift搜索一下 2.紧接着运行 2to3.py 脚本&#xff08;可省略&#xff09; 3.执行你想要转换的文件 python 2to3.py -w H:…

iis6.0与asp.net的运行原理

这几天上网翻阅了不少前辈们的关于iis和asp.net运行原理的博客&#xff0c;学的有点零零散散&#xff0c;花了好长时间做了一个小结&#xff08;虽然文字不多&#xff0c;但也花了不少时间呢&#xff09;&#xff0c;鄙人不才&#xff0c;难免有理解不道的地方&#xff0c;还望…

Android学习笔记进阶十之Matrix错切变换

刚开始我也不懂啥叫错切变换&#xff0c;一看效果图你就恍然大悟。 对图像的错切变换做个总结&#xff1a; x x0 b*y0; y d*x0 y0; 与之对应的方法是&#xff1a; [java] view plaincopyMatrix matrix new Matrix(); matrix.setSkew(0.0f, 0.5f);