【大数据】Docker部署HMS(Hive Metastore Service)并使用Trino访问Minio

本文参考链接置顶： Presto使用Docker独立运行Hive Standalone Metastore管理MinIO（S3）_hive minio_BigDataToAI的博客-CSDN博客

一. 背景

团队要升级大数据架构，需要摒弃hadoop，底层使用Minio做存储，应用层用trino火spark访问minio。在使用trino访问minio时，需要使用hive的metastore service，经过调查HMS(Hive Metastore Service)是可以独立于hive组件的，即不需要整体安装hive，只部署HMS就可以使用trino通过HMS来访问minio。

二. 环境和步骤

1. 一台centos7服务器，装有docker, IP地址10.38.199.202

2. 使用mysql5.7.35作为HMS的元数据存储，使用dockers部署mysql服务

3. 使用docker部署HMS，这里部署在另外一台server上，IP地址10.38.199.201

4. 部署minio对象存储服务（本篇略去，使用已提供的服务）

5. 部署trino，配置metasotre服务及访问minio，trino部署在IP地址10.38.199.203

三. 部署mysql服务

1.拉取mysql镜像，版本5.7.35

docker pull mysql:5.7.35

2.查看镜像

docker images|grep mysql

3.启动mysql服务

docker run -p 3306:3306 --name mysql --privileged=true \
-v /usr/local/mysql/log:/var/log/mysql \
-v /usr/local/mysql/data:/var/lib/mysql \
-v /usr/local/mysql/conf:/etc/mysql \
-v /etc/localtime:/etc/localtime:ro \
-e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7.35

4.查看mysql容器

docker ps|grep mysql

5.查看mysql日志

docker logs -f mysql

启动成功

6.使用DBEVEA连接mysql服务，成功连接，并查看database

7.创建一个HMS的空数据库metastore，后面HMS会用这个数据库存储元数据

四. 部署HMS，mestasotre service

1.部署前需要几个安装包

  • jdk安装包，自行下载，版本1.8以上
  • HMS安装包hive-standalone-metastore-3.1.2-bin.tar.gz，地址Central Repository: org/apache/hive/hive-standalone-metastore/3.1.2
  • mysql connect jar包mysql-connector-java-5.1.49.jar，地址https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.49
  • hadoop环境包hadoop-3.2.2.tar.gz，HMS需要依赖于它，地址Index of /dist/hadoop/common/hadoop-3.2.2

2.编写metastore.xml

编写前注意几个参数

minio的参数必须给出

  • fs.s3a.endpoint
  • fs.s3a.access.key
  • fs.s3a.secret.key

mysql参数

  • javax.jdo.option.ConnectionURL
  • javax.jdo.option.ConnectionUserName
  • javax.jdo.option.ConnectionPassword

metastore参数

  • metastore.thrift.uris  准备发布的metastore service URL
  • metastore.warehouse.dir hive表数据存储位置
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>fs.s3a.access.key</name><value>bymOcmUZ6K8n5ApBu7Ee</value></property><property><name>fs.s3a.secret.key</name><value>lVtSARGXqypPpCRQ7LesGsfhRw3dE4imZoBs8ydS</value></property><property><name>fs.s3a.connection.ssl.enabled</name><value>false</value></property><property><name>fs.s3a.path.style.access</name><value>true</value></property><property><name>fs.s3a.endpoint</name><value>http://10.38.199.211:9000</value></property><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://10.38.199.202:3306/metastore?useSSL=false&amp;serverTimezone=UTC</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value></property><property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value></property><property><name>metastore.thrift.uris</name><value>thrift://10.38.199.201:9083</value><description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description></property><property><name>metastore.task.threads.always</name><value>org.apache.hadoop.hive.metastore.events.EventCleanerTask</value></property><property><name>metastore.expression.proxy</name><value>org.apache.hadoop.hive.metastore.DefaultPartitionExpressionProxy</value></property><property><name>metastore.warehouse.dir</name><value>/tmp</value></property>
</configuration>

将这些包和metastore.xml文件放在同一目录

3.创建Dockerfile

编写Dockerfile

FROM centos:centos7WORKDIR /installADD jdk.tar.gz /installRUN pwd
ADD hive-standalone-metastore-3.1.2-bin.tar.gz /install
RUN mv /install/apache-hive-metastore-3.1.2-bin metastoreADD hadoop-3.2.2.tar.gz /install
#RUN mv /install/hadoop-3.2.2 hadoopRUN ls
ADD mysql-connector-java-5.1.49.jar ./metastore/libENV JAVA_HOME=/install/jdk
ENV HADOOP_HOME=/install/hadoop-3.2.2RUN rm -f /install/metastore/lib/guava-19.0.jar \&& cp ${HADOOP_HOME}/share/hadoop/common/lib/guava-27.0-jre.jar /install/metastore/lib \&& cp ${HADOOP_HOME}/share/hadoop/tools/lib/hadoop-aws-3.2.2.jar /install/metastore/lib \&& cp ${HADOOP_HOME}/share/hadoop/tools/lib/aws-java-sdk-bundle-*.jar /install/metastore/lib# copy Hive metastore configuration file
ADD metastore-site.xml /install/metastore/conf/# Hive metastore data folder
VOLUME ["/tmp"]WORKDIR /install/metastoreRUN bin/schematool -initSchema -dbType mysqlCMD ["/install/metastore/bin/start-metastore"]

创建镜像，创建的同时会在mysql的metastore数据库中创建基表

查看mysql中的metastore数据库中是否创建了基表，成功

4.启动metastore service容器并查看状态

--启动容器
docker run -d -p 9083:9083/tcp --name minio-hive-metastore minio-hive-standalone-metastore:v1.0--查看容器
docker ps|grep minio-hive-metastore

五. 部署并配置trino

trino单机部署不再介绍，catalog中参数配置如下，最新配置了hiveminio.properties这个catalog

启动trino

bin/launcher start

六.测试trino通过HMS访问minio

1.进入trino控制台

./trino --server http://10.38.199.203:8091 --catalog hiveminio --schema default
show schemas;show tables;

2.创建一个schemas “zytest”，指向mino的buket “zytest”，并创建一张表sample_table，插入一行数据，检查mimio界面是否插入成功

3.文件挂载，在minio的zytest下面，创建一个新的path external_path，然后放入一个parquet文件

在trino中创建表挂载这个目录，并查询表数据

至此，整个测试完成！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/166268.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

干货 | 携程酒店基于血缘元数据的数据流程优化实践

干货 | 携程酒店基于血缘元数据的数据流程优化实践

作者简介 九号&#xff0c;携程数据技术专家&#xff0c;关注数据仓库架构、数据湖、流式计算、数据治理。 一、背景 元数据MetaData狭义的解释是用来描述数据的数据&#xff0c;广义的来看&#xff0c;除了业务逻辑直接读写处理的那些业务数据&#xff0c;所有其它用来维持整个…
阅读更多...
kafka详细讲解与安装

kafka详细讲解与安装

Kafka是一种分布式流处理平台&#xff0c;具有高吞吐量、可扩展性和容错性。它最初由LinkedIn开发&#xff0c;现已成为Apache软件基金会的顶级项目。Kafka广泛应用于实时数据流处理、日志收集、消息队列等场景。 以下是关于Kafka的简要讲解和安装步骤&#xff1a; 一、Kafka…
阅读更多...
ubuntu22.04 arrch64版操作系统编译zlmediakit

ubuntu22.04 arrch64版操作系统编译zlmediakit

脚本 系统没有cmake&#xff0c;需要通过apt先进行下载&#xff0c;下面的脚本已经包含了 # 安装依赖 gcc-c.x86_64 这个不加的话会有问题 sudo yum -y install gcc gcc-c libssl-dev libsdl-dev libavcodec-dev libavutil-dev ffmpeg git openssl-devel gcc-c.x86_64 ca…
阅读更多...
csrf漏洞修复

csrf漏洞修复

漏洞说明&#xff1a;通过篡改请求头中的Referer值依旧能够访问到接口。 通过http请求头里面的Referer随意访问接口 通过下面两个代码类程序来实现你的程序不会被攻击&#xff0c;里面有两个实体&#xff0c;如果你感觉这个程序对你有用&#xff0c;联系我&#xff0c;我私发…
阅读更多...
CentOS 7 安装 Weblogic 14 版本

CentOS 7 安装 Weblogic 14 版本

安装JDK程序 注意&#xff1a;安装weblogic前&#xff0c;先安装JDK&#xff01;&#xff08;要求jdk(1.7以上)&#xff09;&#xff1a; 一、创建用户组weblogic及用户weblogic groupadd weblogic useradd -g weblogic weblogic二、将下载好的jdk及weblogic上传至/home/webl…
阅读更多...
2分钟快速实现非逻辑卷磁盘扩容

2分钟快速实现非逻辑卷磁盘扩容

在虚拟机环境中&#xff0c;您可以扩展虚拟硬盘的大小而不影响数据。以下是扩展 /dev/sdb 磁盘从200G到500G并扩展 /dev/sdb1 分区到新大小的步骤&#xff1a; 关闭相关服务&#xff1a;确保没有服务正在访问 /app 分区。 关闭虚拟机&#xff1a;关闭您要更改磁盘大小的虚拟机…
阅读更多...
「首届广州百家新锐企业」名单出炉！数说故事遴选入围

「首届广州百家新锐企业」名单出炉！数说故事遴选入围

11月20日&#xff0c;由中共广州市委统战部、市工商联、市工信局、市国资委、市科技局联合主办的首届广州百家新锐企业融通创新交流会在广州成功举办。 为推动广州市中小民营企业的创新发展&#xff0c;践行新发展理念&#xff0c;厚植广州产业根基&#xff0c;现场发布首届广…
阅读更多...
qt实现播放视屏的时候，加载外挂字幕(.srt文件解析)

qt实现播放视屏的时候，加载外挂字幕(.srt文件解析)

之前用qt写了一个在windows下播放视频的软件&#xff0c;具体介绍参见qt编写的视频播放器&#xff0c;windows下使用&#xff0c;精致小巧_GreenHandBruce的博客-CSDN博客 后来发现有些视频没有内嵌字幕&#xff0c;需要外挂字幕&#xff0c;这时候&#xff0c;我就想着把加载…
阅读更多...
SELinux零知识学习二十六、SELinux策略语言之类型强制（11）

SELinux零知识学习二十六、SELinux策略语言之类型强制（11）

接前一篇文章：SELinux零知识学习二十五、SELinux策略语言之类型强制（10） 二、SELinux策略语言之类型强制 3. 访问向量规则 AV规则就是按照对客体类别的访问许可指定具体含义的规则，SELinux策略语言目前支持四类AV规则： allow：表示允许主体对客体执行允许的操作。nevera…
阅读更多...
docker compose启动多个服务，如何查看多个服务的日志

docker compose启动多个服务，如何查看多个服务的日志

使用docker-compose的--scale启动多个服务&#xff0c;如何查看多个服务的日志 docker-compose -f yml路径 logs -f --tail 100第一个-f指定yml路径&#xff0c;不然会报错误no configuration file provided: not found 第二个-f是ogs的参数&#xff0c;表示实时刷新&#xff…
阅读更多...
YOLOv5结合华为诺亚VanillaNet Block模块

YOLOv5结合华为诺亚VanillaNet Block模块

🗝️YOLOv5实战宝典--星级指南：从入门到精通，您不可错过的技巧   -- 聚焦于YOLO的 最新版本， 对颈部网络改进、添加局部注意力、增加检测头部，实测涨点 💡 深入浅出YOLOv5：我的专业笔记与技术总结   -- YOLOv5轻松上手， 适用技术小白，文章代码齐全，仅需 …
阅读更多...
力扣labuladong一刷day19天花式遍历

力扣labuladong一刷day19天花式遍历

力扣labuladong一刷day19天花式遍历 文章目录 力扣labuladong一刷day19天花式遍历一、48. 旋转图像二、54. 螺旋矩阵三、59. 螺旋矩阵 II 一、48. 旋转图像 题目链接&#xff1a;https://leetcode.cn/problems/rotate-image/ 思路&#xff1a;把矩阵向右旋转90度&#xff0c;要…
阅读更多...
完美解决AttributeError: ‘NoneType‘ object has no attribute ‘append‘

完美解决AttributeError: ‘NoneType‘ object has no attribute ‘append‘

文章目录 一、原始代码二、修改后的代码--最后一行代码append进行了修改总结 一、原始代码 logits_list [] # 创建一个空列表来存储每个logitslabels_list []for i, batch in enumerate(test_tasks):with torch.no_grad():logits, labels, loss, acc self.fast_adapt(batc…
阅读更多...
斯坦福大学引入FlashFFTConv来优化机器学习中长序列的FFT卷积

斯坦福大学引入FlashFFTConv来优化机器学习中长序列的FFT卷积

斯坦福大学的FlashFFTConv优化了扩展序列的快速傅里叶变换(FFT)卷积。该方法引入Monarch分解&#xff0c;在FLOP和I/O成本之间取得平衡&#xff0c;提高模型质量和效率。并且优于PyTorch和FlashAttention-v2。它可以处理更长的序列&#xff0c;并在人工智能应用程序中打开新的可…
阅读更多...
【Python百宝箱】Python中的音视频处理: 探索多样化的库和工具

【Python百宝箱】Python中的音视频处理: 探索多样化的库和工具

Python中的音视频处理: 探索多样化的库和工具 前言 在数字化时代&#xff0c;音视频处理不仅仅是娱乐产业的需求&#xff0c;还渗透到了教育、医疗、安防等多个领域。Python作为一门强大而灵活的编程语言&#xff0c;为开发人员提供了丰富的资源来处理和分析音视频数据。本文…
阅读更多...
SQL Server Profiler基础使用

SQL Server Profiler基础使用

文章目录 SQL Server Profiler基础使用简介如何打开直接打开Microsoft SQL Server Management Studio工具栏打开 配置跟踪新建跟踪跟踪属性配置常规配置事件选择 启动跟踪跟踪时执行脚本跟踪记录 暂停跟踪停止跟踪 SQL Server Profiler基础使用 简介 一个图形界面工具&#x…
阅读更多...
逆矩阵相关性质与例题

逆矩阵相关性质与例题

1.方阵的行列式&#xff1a;就是将方阵中的每一个元素转换至行列式中。 1.性质一&#xff1a;转置方阵的行列式等于转置前的行列式。&#xff08;对标性质&#xff1a;行列式与它的转置行列式相等&#xff09; 2.性质二&#xff1a;|ka||a|*k的n次方&#xff0c;n为方阵阶数。 …
阅读更多...
芯片设计—低功耗isolation cell

芯片设计—低功耗isolation cell

&#xff08;一&#xff09;低功耗isolation cell的目的 低功耗架构设计需要前后端拉通规划&#xff0c;前端设计有PMU功耗管理单元&#xff0c;比如A模块电压常开&#xff0c;B模块电压可关断&#xff0c;那么请思考&#xff0c;当B模块关断电压后&#xff0c;B模块输出到A模…
阅读更多...
PDF控件Spire.PDF for .NET【转换】演示：将在 C#/VB.NET 中将 PDF 转换为 PCL

PDF控件Spire.PDF for .NET【转换】演示：将在 C#/VB.NET 中将 PDF 转换为 PCL

本文我们将演示如何通过调用 Spire.PDF 提供的方法 PdfDocument.SaveToStream() 将 PDF 页面转换为 HTML、Word、SVG、XPS、PDF 并将它们保存到流中。并且从Spire.PDF版本4.3开始&#xff0c;它新支持转换定义范围的PDF页面并将其保存到流中。 Spire.Doc 是一款专门对 Word 文…
阅读更多...
精益制造中的周转箱和工具柜优势

精益制造中的周转箱和工具柜优势

制造业&#xff08;Manufacturing industry&#xff09;是指机械工业时代利用某种资源&#xff08;物料、能源、设备、工具、资金、技术、信息和人力等&#xff09;&#xff0c;按照市场要求&#xff0c;通过制造过程&#xff0c;转化为可供人们使用和利用的大型工具、工业品与…
阅读更多...
最新文章

Copyright @ 2022~2023