Flink 集成和使用 Hive Metastore

1. AWS EMR 的 Flink 使用 Hive Metastore

想在 Flink 中使用 Hive Metastore 其实只需要将 Flink Hive Connector 以及 Hive Metastore 有关的 Jar 包部署到 `${FLINK_HOME}/lib` 下即可，稍后我们会介绍一下具体做法。但是，如果是 AWS EMR，会有所不同，主要是 EMR 中的默写包是改写过的，特别是和 Hive Metastore 的交互要多留心，因为 EMR 上还有另外一套 Metatstore：Glue Data Catalog，所以，简单的复制开源的 Jar 包可能会有问题，最好做法还是从 EMR 集群上拷贝本地带 `amzn` 后缀的 Jar 包。

EMR 官方文档给出了具体脚本：https://docs.aws.amazon.com/emr/latest/ReleaseGuide/flink-configure.html，以下是以 EMR 6.15 ( Flink 1.17.1）版本为例修改后的脚本：

sudo -u flink cp /usr/lib/hive/lib/antlr-runtime-3.5.2.jar /usr/lib/flink/lib 
sudo -u flink cp /usr/lib/hive/lib/hive-exec-3.1.3*.jar /usr/lib/flink/lib 
sudo -u flink cp /usr/lib/hive/lib/libfb303-0.9.3.jar /usr/lib/flink/lib 
sudo -u flink cp /usr/lib/flink/opt/flink-connector-hive_2.12-1.17.1-amzn-1.jar /usr/lib/flink/lib

部署好 Jar 包，如果是 Session 模式，需要重新启动新的 Session。在 Flink 中使用 Hive Metastore 的方法是：在 Flink Sql Client 中执行：

CREATE CATALOG hive WITH ('type' = 'hive','hive-conf-dir' = '/etc/hive/conf'
);USE CATALOG hive;CREATE TABLE IF NOT EXISTS your_table (
...
);

2. 开源 Flink 使用 Hive Metastore

如果是开源 Flink，需要根据 [https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/hive/overview/#dependencies](https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/hive/overview/#dependencies) 提供的依赖项（以 Flink 1.17.1 版本为例）：

<dependency><groupId>org.apache.flink</groupId><artifactId>flink-connector-hive_2.12</artifactId><version>1.17.1</version>
</dependency><dependency><groupId>org.apache.flink</groupId><artifactId>flink-table-api-java-bridge_2.12</artifactId><version>1.17.1</version>
</dependency><!-- Hive Dependency -->
<dependency><groupId>org.apache.hive</groupId><artifactId>hive-exec</artifactId><version>3.1.3</version>
</dependency>