Hive安装与配置MySQL元数据库

一.MySQL的安装

1.1 更新获取最新软件源,并安装MySQL。

sudo apt-get update
sudo apt-get install mysql-server

1.2 启动和关闭MySQL服务器。

service mysql start
service mysql stop

1.3 确认MySQL 是否启动成功,MySQL 处于LISTEN状态则表示启动成功。

 sudo netstat -tap | grep mysql

1.4 安装过程中若提示设置密码则设置登录密码,若没有提示设置密码,则需要修改默认密码。若 mysql -u root 和mysql -u root -p 都无法登录则需要修改密码。如下修改密码步骤。

1.5 查看mysql 相关信息。

sudo cat /etc/mysql/debian.cnf

1.6 设置无需验证密码登录,打开my.cnf文件,添加skip-grant-tables,需要关闭mysql 服务。

service mysql stop
vim /etc/mysql/my.cnf

在文件末尾添加如下内容,按i进入输入模式。

[mysqld]
skip-grant-tables

1.7 保存内容,由于文件是只读文件,需要通过如下方式保存。
按Esc,然后Shift+ : ,输入如下命令,保存文件。

 w !sudo tee %

1.8 启动服务,无密码登录mysql。

service mysql start
mysql -u root -p

1.9 选择一个数据库,我选择mysql。

show databases;
use mysql;

1.20 执行如下命令,查询plugin 字段和更新plugin字段为默认值。

select plugin from user where user='root';
update user set plugin = 'mysql_native_password';
select plugin from user where user='root';

1.21 执行更新密码操作。

update user set authentication_string =password('root') where user ='root' and host='localhost';

1.22 刷新权限。

flush privileges;

1.23 退出mysql ,关闭服务,修改my.cnf文件,删除skip-grant-tables。

exit
service mysql stop

1.24 重启mysql ,密码更新成功。

1.25 设置利用sqoop 导入MySQL中文乱码问题,是由于character_set_server默认为latin1。

在这里插入图片描述
1.26 配置文件,修改编码,添加character_set_server=utf8。

vim sudo /etc/mysql/mysql.conf.d/mysqld.cnf

在这里插入图片描述
1.27 重启服务,查看设置。

service mysql restart
mysql -u root -p
show variables like "char%";

在这里插入图片描述

二.Hive 的安装与配置

2.1 准备Hive 3.1.2。
https://pan.baidu.com/s/1h3UNBcXOeI3IYVYIOEhY_Q
提取码: yj3x

2.2 进入Hive3.1.2所在目录,解压文件到/usr/local目录。

sudo tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /usr/local
cd /usr/local/
sudo mv apache-hive-3.1.2-bin hive
sudo chown -R hadoop:hadoop hive #hadoop为当前登录的用户名

2.3 修改环境变量

vim ~/.bashrc

添加如下内容。

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export HADOOP_HOME=/usr/local/hadoop

使配置生效。

source ~/.bashrc

2.4 修改配置文件hive-site.xml。

cd /usr/local/hive/conf
mv hive-default.xml.template hive-default.xml
vim hive-site.xml

添加如下配置,保存退出。

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value><description>JDBC connect string for a JDBC metastore</description></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value><description>Driver class name for a JDBC metastore</description></property><property><name>javax.jdo.option.ConnectionUserName</name><value>hive</value><description>username to use against metastore database</description></property><property><name>javax.jdo.option.ConnectionPassword</name><value>hive</value><description>password to use against metastore database</description></property>
</configuration>

2.5 下载mysql jdbc 包,解压并配置,如下相关命令。

tar -zxvf mysql-connector-java-5.1.40.tar.gz 
cp mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar /usr/local/hive/lib 

2.6 登录数据库,并进行相关设置操作创建数据库hive。

 service mysql start #启动mysql服务mysql -u root -p  #登陆shell界面create database hive;

2.7 配置mysql 允许hive 接入。

grant all on *.* to hive@localhost identified by 'hive';   #将所有数据库的所有表的所有权限赋给hive用户,后面的hive是配置hive-site.xml中配置的连接密码
flush privileges; 

2.8 启动hive ,已经配置了PATH,可以直接输入启动名利,否则需要加上路径。

start-dfs.sh #启动Hadoop的HDFS
hive  #启动hive

2.9 相关错误解决。

在这里插入图片描述

  • 出现 java.lang.NoSuchMethodError:com.google.common.base.Preconditions.checkArgument
    是因为hive内依赖的guava.jar和hadoop内的版本不一致造成的。
  • 解决方法
    1.查看hadoop安装目录下share/hadoop/common/lib内guava.jar版本
    2.查看hive安装目录下lib内guava.jar的版本 如果两者不一致,删除版本低的,并拷贝高版本的 问题解决。

在这里插入图片描述

  • 出现 org.datanucleus.store.rdbms.exceptions.MissingTableException: Required table missing : “VERSION” in Catalog “” Schema “”. DataNucleus requires this table to perform its persistence operations.
  • 解决办法:
cd /usr/local/hive
./bin/schematool -dbType mysql -initSchema

2.10 Hive 简单编程
导入的数据集是HDFS 文件目录的数据,不是本地数据。

create table docs(line string);
load data inpath 'input' overwrite into table docs;
create table word_count as 
select word, count(1) as count from
(select explode(split(line,' '))as word from docs) w
group by word
order by word;

查看结果,也可以通过网页方式查看结果。

select * from word_count;

2.11 源文档
http://dblab.xmu.edu.cn/blog/2440-2/#more-2440

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/484162.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

国际领先的人工智能团队值得我们学习和深思

‍来源&#xff1a;陈德旺科学网博客链接地址&#xff1a;http://blog.sciencenet.cn/blog-57940-1299162.html如其说&#xff0c;人工智能&#xff08;AI&#xff09;现今热潮是Hinton等图灵奖获得者引发的&#xff0c;不如说是DeepMind&#xff08;深度思考&#xff0c;简称深…

Curr Biol:间隔学习可巩固记忆的奥秘

来源&#xff1a;brainnews已有一些实验现象表明当把连续的学习过程在一定时间范围内做间隔&#xff08;spaced&#xff09;后&#xff0c;学习效率将大大提高&#xff0c;这种效应称为“间隔效应”。然而迄今为止尚未有进一步的研究来探索间隔学习是如何影响与记忆相关的神经环…

Flume原理及使用案例

本文为转载篇&#xff01;原文&#xff1a; https://www.cnblogs.com/zhangyinhua/p/7803486.html https://www.cnblogs.com/ciade/p/5495218.html 原理 一、Flume简介 flume 作为 cloudera 开发的实时日志收集系统&#xff0c;受到了业界的认可与广泛应用。Flume 初始的发行版…

Hadoop相关技术

一.Hadoop 的优化与发展 1.1 局限与不足 抽象层次低&#xff0c;需要人工编码&#xff1b;表达能力有限&#xff1b;开发者自己管理作业之间的依赖关系&#xff1b;难于看到程序的整体的逻辑&#xff1b;执行迭代操作效率低;实时性差&#xff1b;资源浪费&#xff1b; 1.2 改…

网络的性能指标与分组交换网络

同个人网站&#xff1a;http://tsundere-x.top/ 计算机网络概述&#xff08;三&#xff09; 计算机网络概述&#xff08;一&#xff09; 网络协议 网络协议规定了通信双方具体的通信规则&#xff0c;包括消息的传递细节。协议的三要素&#xff1a;语法、语义、同步 语义&#…

Hadoop分布式集群安装配置

1.1 安装环境 操作系统deepin 15.11, VMware Workstation&#xff0c;hadoop 3.1.3 版本。在deepin 操作系统中安装 VMware Workstation&#xff0c;在 VMware Workstation中安装两个deepin系统&#xff0c;采用两个节点作为集群环境&#xff0c;一个作为Master节点&#xff0…

复杂性理论研究的核心问题是什么

文章来源&#xff1a;学习时报作者&#xff1a;陈一壮我曾提出复杂性理论的核心不是一般的涌现而是自组织&#xff0c;以突出其相对于传统系统论的特点。普利高津也讲到过&#xff1a;“复杂性诞生”于“物理―化学系统的自组织”。但是我又想到必须对这个自组织的概念作进一步…

【译】索引进阶(四):页和区

【译注&#xff1a;此文为翻译&#xff0c;由于本人水平所限&#xff0c;疏漏在所难免&#xff0c;欢迎探讨指正】 原文链接&#xff1a;传送门。 在之前的章节中&#xff0c;我们在有索引和没有索引的情况下执行同一个查询&#xff0c;比较了各自需要的工作。我们的最主要的评…

网络体系结构

计算机网络的体系结构 网络体系结构是从功能上描述计算机网络结构计算机网络体系结构简称网络体系结构&#xff0c;是分层结构每层遵循某个/些网络协议完成本层功能计算机网络体系结构是计算机网络各层及其协议的集合体系结构是一个计算机网络的功能层次及其关系的定义体系结构…

计算机网络安全-RSA加密原理

一. 安全的攻击类型 危及信息安全的举动. 中断&#xff1a;对可用性的攻击&#xff0c;包括对硬件,通信线路的破坏等&#xff1b; 截获:对机密性的攻击&#xff0c;如窃听等&#xff1b; 篡改&#xff1a;对完整性的攻击&#xff0c;如改变数据或文件&#xff1b; 伪造&…

为什么神经网络不适合理解自然语言 ?

来源&#xff1a;AI前线作者&#xff1a;Ben Dickson译者&#xff1a;王强策划&#xff1a;刘燕过去十年中&#xff0c;人工智能行业的一大趋势就是通过创建更大的深度学习模型来解决问题。这种趋势在自然语言处理领域最为明显&#xff0c;这也是人工智能最具挑战性的领域之一。…

Spark详解

一.Spark 简介 Spark 和Scala 1.1 Spark 是基于内存计算的大数据并行计算框架&#xff0c;可用于构建大型的、低延迟的数据分析应用程序&#xff1b; 1.2 Spark 的特点&#xff1a; 1.3 Scala是一门现代的多范式编程语言&#xff0c;可扩展式语言&#xff1b; 1.4 Scala 特性&…

应用层协议与网络应用

网络应用的体系结构 1、客户机/服务器&#xff08;Client-Server&#xff0c; C/S&#xff09; 服务器&#xff1a; 7*24小时提供服务永久访问地址/域名利用大量服务器实现可拓展性 客户机&#xff1a; 与服务器通信&#xff0c;使用服务器提供的服务间歇性接入网络可能使…

oc之脚本

进入Build Phases页面&#xff0c;点击加号选择“New Run Script Phases”创建Run Script 在这里添加Run Script&#xff0c; 1.每次编译运行版本号&#xff08;bundleVersion&#xff09;自增1 buildNumber$(/usr/libexec/PlistBuddy -c "Print CFBundleVersion" &q…

案例分享|突破卡脖子技术,研制协作机器人核心零部件的方向与思考

来源&#xff1a; 机器人大讲堂协作机器人&#xff0c;作为一种新型的智能机器人&#xff0c;扫除了人机协作的障碍&#xff0c;让机器人彻底摆脱护栏或围笼的束缚&#xff0c;让机器人与人可以在生产、制造与服务上协同作战&#xff0c;充分发挥机器人的效率及人类的智能&…

Spark安装及其sbt和maven 打包工具安装

一&#xff0e;安装准备 需要先安装hadoop,Java JDK,采用 Hadoop(伪分布式)&#xff0b;Spark(Local模式) 的组合&#xff0e;spark和sbt&#xff0c;maven的版本&#xff1a;spark-2.4.5-bin-without-hadoop.tgz 和sbt-1.3.8.tgz,maven-3.6.3&#xff1b; https://pan.baidu.…

SpringBoot集成Spring Security(一)登录注销

同个人网站 https://www.serendipper-x.cn/&#xff0c;欢迎访问 &#xff01; SpringBoot集成Spring Security&#xff08;二&#xff09;注册 、密码加密、修改密码 写在前面 Spring Security是一种基于 Spring AOP 和 Servlet 过滤器的安全框架。它提供全面的安全性解决方案…

什么是1+N模式的新一代城市大脑建设方案

来源&#xff1a;城市大脑全球标准研究组前言&#xff1a;2021年上半年&#xff0c;我们在城市大脑的最新探索和研究中&#xff0c;提出了1N模式的新一代城市大脑建设方案。其中“1”是世界统一标准的城市神经元网络&#xff0c;“N”是N条城市云反射弧&#xff0c;这是基于互联…

图计算-Pregel-Hama

一.图计算简介 1.1 图计算是专门针对图结构数据的处理&#xff0e; 许多大数据都是以大规模图或网络的形式呈现&#xff1b;许多非图结构的大数据&#xff0c;也常常被转换为图模型后进行分析&#xff1b;图结构很好地表达了数据之间的关联性&#xff1b;关联性计算是大数据计…

英伟达推出全球首个元宇宙平台,豪砸数亿是为什么?

来源&#xff1a;AI科技大本营(ID:rgznai100)编译&#xff1a;禾木木翻译&#xff1a;AI科技大本营NVIDIA 在 SIGGRAPH 推出首个全球元宇宙平台&#xff0c;并赢得了最佳展示奖。目前处于公测阶段&#xff0c;它对 NVIDIA RTX 和 GeForce RTX GPU 用户免费开放。用户在安装完 N…