Atlas Hook 导入 Hive 元数据

Atlas 部署之后就可以导入 Hive 元数据,这部分工作由 Atlas 组件 Hook 来完成。初次导入 Hive 元数据需要通过执行 shell 脚本来完成,然后,Atlas 就可以自动同步增量元数据信息了。下面我介绍一下如何完成这些工作。

初次导入 Hive 元数据

看了很多教程,按图索翼进行操作时,遇到了各种错误,还好,最后我成功了,成功的感觉真的很棒。

第一步:修改 hive-site.xml

首先,在 hive-site.xml 文件中添加如下配置:

<property><name>hive.exec.post.hooks</name><value>org.apache.atlas.hive.hook.HiveHook</value>
</property>

hive-site.xml 文件路径为 $HIVE_HOME/conf

第二步:解压 apache-atlas-2.2.0-hive-hook.tar.gz

解压 apache-atlas-2.2.0-hive-hook.tar.gz,并复制到 Atlas 主目录

cd /opt/module/apache-atlas-sources-2.2.0/distro/target
tar -zxvf apache-atlas-2.2.0-hive-hook.tar.gz
cp -r apache-atlas-hive-hook-2.2.0/* /opt/module/apache-atlas-2.2.0

第三步:修改 hive-env.sh

修改 hive-env.sh 文件,添加如下命令:

export HIVE_AUX_JARS_PATH=$ATLAS_HOME/hook/hive

修改之后需要重启 Hive。不过,我重启之后依然没有效果,没有找到原因,我直接将 $ATLAS_HOME/hook/hive 目录下文件全部移动至 $HIVE_HOME/lib/auxlib 目录下(需要先创建该目录)

mkdir /opt/module/hive/lib/auxlib
cp -r /opt/module/apache-atlas-2.2.0/hook/hive/* /opt/module/hive/lib/auxlib

总之,如果你发现执行 $ATLAS_HOME/hook-bin/import-hive.sh 时报错找不到类,而该类所属的 jar 包在其他目录(比如 hadoop),你可以先尝试修改 hive-env.sh 文件的 HIVE_AUX_JARS_PATH 配置,多个路径以英文逗号分隔,如果还是不行,那么你可以直接将该 jar 包复制到 $HIVE_HOME/lib/auxlib 一份,如果连续发现 hadoo 相关 jar 包报错,可以将 $HADOOP_HOME/share/hadoop 目录下的 jar 包复制到 /opt/module/hive/lib/auxlib

第四步:搞定几个关键 jar 包

没有如下几个 jar 包,你大概率很遇到报错

jackson-module-jaxb-annotations-2.10.5.jar

jackson-jaxrs-base-2.10.5.jar

jackson-jaxrs-json-provider-2.10.5.jar

hadoop-hdfs-client-3.1.3.jar

前三个 jar 在 ATLAS_HOME/server/webapp/atlas/WEB-INF/lib/ 目录下可以找到,复制到 $HIVE_HOME/lib/auxlib 目录一份,hadoop-hdfs-client-3.1.3.jar 需要自己下载,上传至目录 $HIVE_HOME/lib/auxlib 即可。

到这里,准备工作就做完了,依次启动 hadoop、zookeeper、hbase、hive、atlas 之后,即可执行 import-hive.sh 脚本,尝试导入 Hive 元数据,如果还有报错,对症分析或者联系我。

自动同步增量元数据

Atlas Hook 可以实现自动同步增量元数据,只需要你启动 Kafka 集群即可。
Atlas 2.2.0 版本支持自动捕获如下几种 Hive 元数据变更操作:

  • create database
  • create table/view, create table as select
  • load, import, export
  • DMLs (insert)
  • alter database
  • alter table (skewed table information, stored as, protection is not supported)
  • alter view

如上就是今天分享的内容,希望能帮助到你。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/589622.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LLM、AGI、多模态AI 篇一:开源大语言模型简记

文章目录 系列开源大模型LlamaChinese-LLaMA-AlpacaLlama2-ChineseLinlyYaYiChatGLMtransformersGPT-3(未完全开源)BERTT5QwenBELLEMossBaichuan

使用Py2neo进行Neo4j图数据库的增删改查操作

使用Py2neo进行Neo4j图数据库的增删改查操作 Neo4j 是一个高效的图形数据库管理系统&#xff0c;它将数据结构存储为图形而非表格。Py2neo 是一个客户端库&#xff0c;用于使用 Python 语言与 Neo4j 交互。它提供了一系列简单易用的 API&#xff0c;使得在 Python 中进行图形数…

Linux常用命令大全总结及讲解(超详细版)

前言&#xff1a; Linux 是一个基于Linux 内核的开源类Unix 操作系统&#xff0c;Linus Torvalds于 1991 年 9 月 17 日首次发布的操作系统内核。Linux 通常打包为Linux 发行版。 Linux 最初是为基于Intel x86架构的个人计算机开发的&#xff0c;但此后被移植到的平台比任何其…

K8S 中对 Windows 节点的利用

目录 漏洞概述 漏洞详情 ​编辑 漏洞验证 补丁分析 在集群中探索 参考资料 在许多组织中&#xff0c;所运行的很大一部分服务和应用是 Windows 应用。Windows 容器提供了一种封装进程和包依赖项的方式&#xff0c;从而简化了 DevOps 实践&#xff0c;令 Windows 应用程序…

【xdma】 pcie.bar设置

FPGA优质开源项目– PCIE通信 xdma 两者保持一致 FPGA开源项目 – PCIE I/O控制卡 xdma PCIe的XDMA应用 读写部分分为两种&#xff0c;一种是数据的读写&#xff0c;另一种是配置数据的读写&#xff0c;在数据读写部分&#xff0c;DMA通过MIG控制DDR完成数据读写。配置数据…

2023年终总结及计划

2023年在今晚就要过去&#xff0c;唯一的感受就一个字&#xff1a;快&#xff01;还没什么感觉就过去了。今年总体感觉自己在忙忙碌碌&#xff0c;为了某个节点冲刺熬夜加班&#xff0c;但是最终收获甚微。夜深人静&#xff0c;又该到了静下来想想的时候了。 一、收获 1、生活…

使用 Tkinter 制作一个进制转换工具,好用!

在平时工作学习当中&#xff0c;我们经常会编写一些简单的 Python GUI 工具&#xff0c;以此来完成各种各样的自动化任务&#xff0c;比如批量处理文件&#xff0c;批量处理图片等等。当我们进行这些工具的编写之时&#xff0c;往往只关注了功能的实现&#xff0c;而忽略了页面…

加速写代码的板子

加速写代码的板子 计算中位数整合字符串 计算中位数 先说结论&#xff0c;无论数组总个数n为奇数还是偶数&#xff0c;都可以用下式表示 n u m s [ n / 2 ] 和 n u m s [ ( n − 1 ) / 2 ] nums[n/2] 和nums[(n-1)/2] nums[n/2]和nums[(n−1)/2] 当n 4时为nums[2]与nums[1] …

基于Docker的软件环境部署脚本,持续更新~

使用时CtrlF搜索你想要的环境&#xff0c;如果没有你想要的环境&#xff0c;可以评论留言&#xff0c;会尽力补充。 本文提供的部署脚本默认参数仅适合开发测试&#xff0c;请根据实际情况调节参数。 数据库 MySQL version: 3.9 services:mysql:image: mysql:8.0.35container…

Android 软键盘的显示和隐藏

文章目录 Android 软键盘的显示和隐藏核心方法软键盘工具类点击空白区域隐藏软键盘方式一方式二 Android 软键盘的显示和隐藏 核心方法 显示软键盘&#xff1a; InputMethodManager#showSoftInput(View view, int flags)隐藏软键盘&#xff1a; InputMethodManager#hideSof…

【Unity美术】Unity工程师对3D模型需要达到的了解【二】

&#x1f468;‍&#x1f4bb;个人主页&#xff1a;元宇宙-秩沅 &#x1f468;‍&#x1f4bb; hallo 欢迎 点赞&#x1f44d; 收藏⭐ 留言&#x1f4dd; 加关注✅! &#x1f468;‍&#x1f4bb; 本文由 秩沅 原创 &#x1f468;‍&#x1f4bb; 收录于专栏&#xff1a;Uni…

python使用句柄控制windows窗口

方法一&#xff1a;通过类名和标题搜索窗体并返回句柄&#xff0c;以整个windows窗口开始查找 hwnd win32gui.FindWindow(lpClassNameNone, lpWindowNameNone) hwnd win32gui.FindWindow(None,命令提示符) 方法二&#xff1a;从给定的子窗口之后开始&#xff0c;比如给定…

一元函数微分学——刷题(8

目录 1.题目&#xff1a;2.解题思路和步骤&#xff1a;3.总结&#xff1a;小结&#xff1a; 1.题目&#xff1a; 2.解题思路和步骤&#xff1a; 先看A&#xff0c;既然存在&#xff0c;那么f(x)和x属于同阶无穷小&#xff0c;所以f(0)0&#xff0c;没问题 再看C&#xff0c;结…

UntiyShader(七)Debug

目录 前言 一、利用假彩色图像 二、利用Visual Studio 三、帧调试器 前言 Debug&#xff08;调试&#xff09;&#xff0c;是程序员检查问题的一种方法&#xff0c;对于一个Shader调试更是一种噩梦&#xff0c;这也是Shader难写的原因之一——如果效果不对&#xff0c;我们…

Linux用户登出或者终端关闭后继续运行的方法

nohup 是一个 POSIX 命令&#xff0c;它的名称来源于“no hang up”的缩写。这个命令的基本用途是运行一个命令&#xff0c;使得该命令在用户登出或者终端关闭后继续运行。nohup 命令通常与后台运行的命令&#xff08;使用 & 符号&#xff09;结合使用&#xff0c;以便在终…

ubuntu22.04安装anacoda遇到的坑

这几天把用了3年的windows10换成了ubuntu22.04 各种环境都得配置&#xff0c;本文记录下遇到的坑。 1、anacoda在ubuntu上也可以用官方也提供了安装包&#xff0c;但是没有图形界面&#xff0c;需要以命令行的方式安装和运行配置 1.1 安装&#xff1a;官网下载后&#xff0c;…

极速文件搜索工具Everything结合内网穿透实现远程搜索本地文件

文章目录 前言1.软件安装完成后&#xff0c;打开Everything2.登录cpolar官网 设置空白数据隧道3.将空白数据隧道与本地Everything软件结合起来总结 前言 要搭建一个在线资料库&#xff0c;我们需要两个软件的支持&#xff0c;分别是cpolar&#xff08;用于搭建内网穿透数据隧道…

ShuffleNet V2:高效CNN架构设计实用指南

摘要 目前&#xff0c;神经网络架构设计主要以计算复杂度的间接指标&#xff08;即 FLOPs&#xff09;为指导。然而&#xff0c;直接指标&#xff08;如速度&#xff09;还取决于其他因素&#xff0c;如内存访问成本和平台特性。因此&#xff0c;这项工作建议在目标平台上评估…

1 - 数据库服务概述 | 构建MySQL服务 | 数据库基本管理 | MySQL基本类型

数据库服务概述 | 构建MySQL服务 | 数据库基本管理 | MySQL基本类型 数据库服务概述构建mysql服务安装mysql软件包连接mysql服务器 修改密码 密码管理修改密码策略&#xff08;需要登陆&#xff09;破解数据库管理员root密码&#xff08;数据库服务处于运行状态但是root忘记了密…

win/linux 环境查看动态库包含的函数

我们打包了动态库&#xff0c;还要查看是否包含一些函数&#xff0c;需要导出这些函数 在win 环境下可以使用 .def 格式的文件进行操作 ######################################################### 跳过这一步&#xff0c;回到主题&#xff0c;在两个系统平台如何查看动态库包…