Spark On Hive原理和配置

目录

一、Spark On Hive原理

        （1）为什么要让Spark On Hive？

二、MySQL安装配置（root用户）

        （1）安装MySQL

        （2）启动MySQL设置开机启动

        （3）修改MySQL密码

三、Hive安装配置

        （1）修改Hadoop的core-site.xml

        （2）创建hive-site.xml

        （3）修改配置文件hive-env.sh

        （4）上传mysql连接驱动

        （5）初始化元数据 （Hadoop集群启动后）      

        （6）创建logs目录，启动元数据服务

        （7）启动Hive shell

四、Spark On Hive配置

        （1）创建hive-site.xml（spark/conf目录）

        （2）放置MySQL驱动包

        （3）查看hive的hive-site.xml配置

        （4）启动hive的MetaStore服务

        （5）Spark On Hive测试

        （6）Pycharm-spark代码连接测试

一、Spark On Hive原理

        （1）为什么要让Spark On Hive？

        对于Spark来说，自身是一个执行引擎。但是Spark自己没有元数据管理功能，当我们执行： SELECT * FROM person WHERE age > 10的时候， Spark完全有能力将SQL变成RDD提交。

        但是问题是，Person的数据在哪? Person有哪些字段?字段啥类型? Spark完全不知道了。不知道这些东西，如何翻译RDD运行。在SparkSQL代码中可以写SQL那是因为，表是来自DataFrame注册的。 DataFrame中有数据，有字段，有类型，足够Spark用来翻译RDD用.。如果以不写代码的角度来看，SELECT * FROM person WHERE age > 10 spark无法翻译，因为没有元数据。

        解决方案：

        Spark提高执行引擎能力，Hive的MetaStore提供元数据管理功能。选择Hive的原因是使用Hive的用户数量多。

Hive与SparkOnHive流程示意图

二、MySQL安装配置（root用户）

        （1）安装MySQL

        命令：

        rpm  --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

        rpm -Uvh https://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm

        yum -y install mysql-community-server

        （2）启动MySQL设置开机启动

        命令：

        systemctl start mysqld

        systemctl enable mysqld

        （3）修改MySQL密码

        命令：

        查看密码：grep 'temporary password' /var/log/mysqld.log

        修改密码：

mysql -uroot -p  #登录MySQL，密码是刚刚查看的临时密码set global validate_password_policy=LOW;   #密码安全级别低set  global  validate_password_length=4;  #密码长度最低四位ALTER USER 'root'@'localhost' IDENTIFIED BY '密码'; # 设置用户和密码
# 配置远程登陆用户以及密码
grant all privileges on *.* to root@"%" identified by 'root' with grant option;flush privileges;

三、Hive安装配置

        （1）修改Hadoop的core-site.xml

        添加内容如下:

     <property>
            <name>hadoop.proxyuser.noregrets.hosts</name>
            <value>*</value>
    </property>
    <property>
            <name>hadoop.proxyuser.noregrets.groups</name>
            <value>*</value>
    </property>

        上传解压安装Hive压缩包并构建软连接
        命令：

        解压：tar -zvxf apache-hive-3.1.3-bin-tar-gz -C /export/servers

        构建软连接：ln -s /export/servers/apache-hive-3.1.3-bin/ /export/servers/hive

        （2）创建hive-site.xml

        命令：

        cd /export/servers/hive/conf

        vim hive-site.xml

        添加内容如下：

<configuration>

        <!-- 存储元数据mysql相关配置 -->

        <property>
            <name>javax.jdo.option.ConnectionURL</name>
            <value>jdbc:mysql://pyspark01:3306/hive?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8</value>

        </property>

        <property>

                <name>javax.jdo.option.ConnectionDriverName</name>

                <value>com.mysql.jdbc.Driver</value>

        </property>

        <property>

                <name>javax.jdo.option.ConnectionUserName</name>

                <value>root</value>

        </property>

        <property>

                <name>javax.jdo.option.ConnectionPassword</name>

                <value>root</value>

        </property>

        <!-- H2S运行绑定host -->

        <property>

                <name>hive.server2.thrift.bind.host</name>

                <value>pyspark01</value>

        </property>

        <!-- 远程模式部署metastore metastore地址 -->

        <property>

                <name>hive.metastore.uris</name>

                <value>thrift://pyspark01:9083</value>

        </property>

        <!-- 关闭元数据存储授权 -->

        <property>

                <name>hive.metastore.event.db.notification.api.auth</name>

                <value>false</value>

        </property>

</configuration>

        （3）修改配置文件hive-env.sh

        命令：

        cd /export/servers/hive/conf

        cp hive-env.sh.template hive-env.sh

        vim hive-env.sh（修改第48行内容）

        内容如下：

        export HADOOP_HOME=/export/servers/hadoop
        export HIVE_CONF_DIR=/export/servers/hive/conf
        export HIVE_AUX_JARS_PATH=/export/servers/hive/lib

        （4）上传mysql连接驱动

链接：https://pan.baidu.com/s/1MJ9QBsE3h1FAxuB3a4iyVw?pwd=1111 
提取码：1111 

        MySQL5使用5的连接版本，MySQL8使用8的连接版本。

        （5）初始化元数据 （Hadoop集群启动后）      

        命令：

        登录数据库：

        mysql -uroot -p

        CREATE DATABASE hive CHARSET UTF8;        #建表

        cd /export/server/hive/

        bin/schematool -initSchema -dbType mysql -verbos

        #初始化成功会在mysql中创建74张表

        （6）创建logs目录，启动元数据服务

        命令：

        创建文件夹：mkdir logs

        启动元数据服务：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &

        （7）启动Hive shell

        命令：bin/hive（配置环境变量可直接使用hive）

四、Spark On Hive配置

        （1）创建hive-site.xml（spark/conf目录）

        添加内容如下：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!--告知Spark创建表存到哪里-->
        <property>
                <name>hive.metastore.warehouse.dir</name>
                <value>/user/hive/warehouse</value>
        </property>
        <property>
                <name>hive.metastore.local</name>
                <value>false</value>
        </property>
<!--告知Spark Hive的MetaStore在哪-->
        <property>
                <name>hive.metastore.uris</name>
                <value>thrift://pyspark01:9083</value>
        </property>
</configuration>

        （2）放置MySQL驱动包

        （3）查看hive的hive-site.xml配置

        确保有如下配置：

        （4）启动hive的MetaStore服务

        命令：

        nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &

        （5）Spark On Hive测试

        ①创建表sparkonhive

        命令：

        在spark目录下：

        bin/spark         

        spark.sql('create table sparkonhive(id int)' )

        ②进入查看查看

        命令：

        hive目录：

        bin/hive(配置过环境变量可直接使用hive)

        （6）Pycharm-spark代码连接测试

        在Linux的sparkSQl终端或者hive终端创建学生表，然后使用spark代码查询。

        命令：

        create table student(id int, name string);

        insert into student values(1,'张三'),(2, '李四');

        使用spark代码查询

        在Spark代码中加上如下内容

# cording:utf8
import string
from pyspark.sql import SparkSession
import pyspark.sql.functions as F
from pyspark.sql.types import IntegerType, StringType, StructType, ArrayType
if __name__ == '__main__':spark = SparkSession.builder.\appName('udf_define').\master('local[*]').\config('spark.sql.shuffle.partitions', 2).\config('spark.sql.warehouse.dir', 'hdfs://pyspark01:8020/user/hive/warehouse').\config('hive.metastore.uris', 'thrift://pyspark01:9083').\enableHiveSupport().\getOrCreate()sc = spark.sparkContextspark.sql('''SELECT * FROM student''').show()

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/121967.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Spring Boot进阶(94)：从入门到精通：Spring Boot和Prometheus监控系统的完美结合

Spring Boot进阶(94)：从入门到精通：Spring Boot和Prometheus监控系统的完美结合

&#x1f4e3;前言 随着云原生技术的发展&#xff0c;监控和度量也成为了不可或缺的一部分。Prometheus 是一款最近比较流行的开源时间序列数据库&#xff0c;同时也是一种监控方案。它具有极其灵活的查询语言、自身的数据采集和存储机制以及易于集成的特点。而 Spring Boot 是…
阅读更多...
Android-宝宝相册（第四次作业）

Android-宝宝相册（第四次作业）

第四次作业-宝宝相册 题目 用Listview建立宝宝相册&#xff0c;相册内容及图片可自行设定&#xff0c;也可在资料文件中获取。给出模拟器仿真界面及代码截图。 &#xff08;参考例4-8&#xff09; 创建工程项目 创建名为baby的项目工程&#xff0c;最后的工程目录结构如下图所…
阅读更多...
报错：SSL routines:ssl3_get_record:wrong version number

报错：SSL routines:ssl3_get_record:wrong version number

一、问题描述 前后端联调的时候&#xff0c;连接后端本地服务器&#xff0c;接口一直pending调不通&#xff0c;控制台还报以下错误&#xff1a; 立马随手搜索了一下解决方案&#xff0c;但是emmm&#xff0c;不符合前端的实际情况&#xff1a; 二、解决方法&#xff1a; 实际…
阅读更多...
SpringCore完整学习教程5，入门级别

SpringCore完整学习教程5，入门级别

本章从第6章开始 6. JSON Spring Boot提供了三个JSON映射库的集成: Gson Jackson JSON-B Jackson是首选的和默认的库。 6.1. Jackson 为Jackson提供了自动配置&#xff0c;Jackson是spring-boot-starter-json的一部分。当Jackson在类路径上时&#xff0c;将自动配置Obj…
阅读更多...
理解V3中的proxy和reflect

理解V3中的proxy和reflect

现有如下面试题 结合GeexCode和Gpt // 这个函数名为onWatch&#xff0c;接受三个参数obj、setBind和getlogger。 // obj是需要进行监视的对象。 // setBind是一个回调函数&#xff0c;用于在设置属性时进行绑定操作。 // getlogger是一个回调函数&#xff0c;用于在获取属性时…
阅读更多...
【阅读和学习代码】VoxelNet

【阅读和学习代码】VoxelNet

文章目录 将点特征 转换为 voxel 特征稀疏张量 到 稠密张量&#xff0c;反向索引参考博客 将点特征 转换为 voxel 特征 https://github.com/skyhehe123/VoxelNet-pytorch/blob/master/data/kitti.py 【Python】np.unique() 介绍与使用 self.T &#xff1a; # maxiumum numbe…
阅读更多...
php简单后门实现及php连接数据库

php简单后门实现及php连接数据库

php简单后门实现 代码 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>easybackdoor</title>…
阅读更多...
云服务器搭建Spark集群

云服务器搭建Spark集群

文章目录 1. Local 模式1.1 安装local模式1.2 命令行工具1.3 提交本地应用 2. Standlone模式2.1 集群配置2.2 修改配置文件2.3 启动集群与停止集群2.4 提交应用到集群环境2.5 提交应用的参数详细说明2.6 配置历史服务2.7 配置高可用&#xff08;HA&#xff09; 3. Yarn模式&…
阅读更多...
如何使用ffmpeg制作透明背景的视频

如何使用ffmpeg制作透明背景的视频

最近我们尝试在网页上叠加数字人讲解的功能&#xff0c;发现如果直接在网页上放一个矩形的数字人视频&#xff0c;效果会很差&#xff0c;首先是会遮挡很多画面的内容&#xff0c;其次就是不管使用任何任务背景&#xff0c;画面都和后面的网页不是很协调&#xff0c;如图所示&a…
阅读更多...
提升技能，挑战自我——一站式在线题库小程序

提升技能，挑战自我——一站式在线题库小程序

在这个信息爆炸的时代&#xff0c;我们总是在寻找一种方式&#xff0c;让自己在众多的知识海洋中快速提升技能&#xff0c;挑战自我。今天&#xff0c;我要向大家推荐一款全新的在线题库小程序KD蝌蚪阿坤&#xff0c;它将帮助你实现这个目标。 KD蝌蚪阿坤是一款全面的在线题库…
阅读更多...
5 个编写高效 Makefile 文件的最佳实践

5 个编写高效 Makefile 文件的最佳实践

在软件开发过程中&#xff0c;Makefile是一个非常重要的工具&#xff0c;它可以帮助我们自动化构建、编译、测试和部署。然而&#xff0c;编写高效的Makefile文件并不是一件容易的事情。在本文中&#xff0c;我们将讨论如何编写高效的Makefile文件&#xff0c;以提高我们的开发…
阅读更多...
Python---练习：有一物，不知其数，三三数之余二，五五数之余三，七七数之余二，问物几何？

Python---练习：有一物，不知其数，三三数之余二，五五数之余三，七七数之余二，问物几何？

案例&#xff1a; 有一物&#xff0c;不知其数&#xff0c;三三数之余二&#xff0c;五五数之余三&#xff0c;七七数之余二&#xff0c;问物几何&#xff1f; 人话&#xff1a; 有一个数字&#xff0c;不知道具体是多少&#xff0c;用3去除剩2&#xff0c;用5去除剩3&#…
阅读更多...
Linux中shell脚本中的变量

Linux中shell脚本中的变量

目录 一、变量的定义 二、shell脚本中变量的定义方法 1、变量名称 2、环境级别 3、用户级别 4、系统级别 5、删除设定的变量 三、变量的转译 1、转译 2、声明 3、变量的数组 四、Linux中命令的别名设定 五、用户环境变量的更改 脚本中的传参 1、非交互模式 2…
阅读更多...
android studio启动Task配置

android studio启动Task配置

Android studio 高版本默认不开启Task配置&#xff0c;需要自己手动开启 1.低版本配置路径&#xff1a;&#xff08;复制他人图片&#xff09; 2.高版本路径&#xff1a;添加下图勾选配置即可 3.gradle task 3.1 初识task gradle中所有的构建工作都是由task完成的,它帮我们处…
阅读更多...
Anaconda下载和安装

Anaconda下载和安装

1.概述 1&#xff09;包含conda&#xff1a;conda是一个环境管理器&#xff0c;其功能依靠conda包来实现&#xff0c;该环境管理器与pip类似。 2&#xff09;安装大量工具包&#xff1a;Anaconda会自动安装一个基本的python&#xff0c;该python的版本Anaconda的版本有关。该…
阅读更多...
2023年清洁电器行业数据分析：洗地机市场规模持续倍增，进入赛点

2023年清洁电器行业数据分析：洗地机市场规模持续倍增，进入赛点

洗地机作为清洁电器领域的明星品类&#xff0c;正在成为继扫地机器人之后拉动清洁电器市场大盘的又一核心动力。 在清洁电器领域&#xff0c;扫地机器人、洗地机和吸尘器是三大热门品类。截至今年9月份&#xff0c;根据鲸参谋平台的数据显示&#xff0c;吸尘器的规模继续大幅下…
阅读更多...
嵌入式 Tomcat 调校

嵌入式 Tomcat 调校

SpringBoot 嵌入了 Web 容器如 Tomcat/Jetty/Undertow&#xff0c;——这是怎么做到的&#xff1f;我们以 Tomcat 为例子&#xff0c;尝试调用嵌入式 Tomcat。 调用嵌入式 Tomcat&#xff0c;如果按照默认去启动&#xff0c;一个 main 函数就可以了。 简单的例子 下面是启动…
阅读更多...
系列十八、请描述下bean的生命周期

系列十八、请描述下bean的生命周期

一、概述 bean的生命周期是指bean从创建到销毁的整个过程。 二、生命周期 bean的生命周期是指bean从创建到销毁的整个过程&#xff0c;大致可以分为如下四个过程&#xff1a; 2.1、实例化 实例化可以通过如下几种方式完成&#xff1a;&#xff08;参考系列十五&#xff09…
阅读更多...
maven之父子工程版本控制案例实战，及拓展groupId和artifactId的含义

maven之父子工程版本控制案例实战，及拓展groupId和artifactId的含义

<parent>标签 用于父子工程项目&#xff0c;什么是父子工程&#xff1f; 顾名思义&#xff0c;maven父子项目是一个有一个父项目&#xff0c;父项目下面又有很多子项目的maven工程&#xff0c;当然&#xff0c;子项目下面还可以添加子项目&#xff0c;从而形成一个树形…
阅读更多...
python DevOps

python DevOps

在云原生中&#xff0c;python扮演的角色是什么&#xff1f; 在云原生环境中&#xff0c;Python 作为一种高级编程语言&#xff0c;在多个方面扮演着重要角色。云原生是指利用云计算的各种优势&#xff08;如弹性、可扩展性和自动化&#xff09;&#xff0c;构建和运行应用程序…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023