【Hadoop】解决Hive创建内部表失败：正确配置事务管理器

谁让你我静似月
只能在心里默念
檐下燕替我飞到你身边
谁让你我静似月
各自孤单错弄弦
风吹的帘落见月人不眠
🎵 周笔畅《谁动了我的琴弦》

在使用Apache Hive进行数据处理时，创建内部表是一项常见的操作，它允许用户在Hive中管理数据的存储和查询。然而，在配置或使用事务管理器（如org.apache.hadoop.hive.ql.lockmgr.DbTxnManager和org.apache.hadoop.hive.ql.lockmgr.DummyTxnManager）时的错误可能导致创建内部表失败。本文旨在探讨这一问题的根本原因，并提供解决方案，以帮助开发者和数据工程师避免此类问题。

事务管理器和Hive内部表

Hive支持两种类型的表：内部表（又称托管表）和外部表。内部表的数据完全由Hive管理，表删除时，数据也会随之被删除。为了支持ACID（原子性、一致性、隔离性、持久性）操作，Hive引入了事务管理器。根据配置，Hive可以使用DbTxnManager（支持事务的管理器）或DummyTxnManager（不支持事务的简单管理器）。

DbTxnManager
DbTxnManager是支持ACID操作的事务管理器。它允许在Hive中执行如插入、更新和删除等事务性操作。使用此管理器，Hive可以处理复杂的数据更新场景，但它要求Hive配置为事务模式，并且表必须使用支持事务的格式（如ORC）。
DummyTxnManager
相反，DummyTxnManager不支持事务操作。它用于简单的数据加载和查询，不适用于需要事务支持的场景。当Hive配置为使用DummyTxnManager时，尝试执行ACID操作会导致失败。

常见问题及解决方案

问题1：尝试创建ACID表时失败
当Hive配置为使用DummyTxnManager时，尝试创建支持ACID特性的内部表可能会失败，错误信息通常表明该操作不被允许。

解决方案
确保Hive配置为使用DbTxnManager。这涉及到修改hive-site.xml配置文件，设置hive.txn.manager为org.apache.hadoop.hive.ql.lockmgr.DbTxnManager。
启用事务支持，并确保使用ORC文件格式。

问题2：使用DbTxnManager时的配置错误
即使设置了DbTxnManager，如果没有正确配置其他相关的事务和ORC文件格式设置，创建内部表的操作仍可能失败。

解决方案
在hive-site.xml中启用事务支持：

<property><name>hive.support.concurrency</name><value>true</value>
</property>
<property><name>hive.enforce.bucketing</name><value>true</value>
</property>
<property><name>hive.exec.dynamic.partition.mode</name><value>nonstrict</value>
</property>
<property><name>hive.compactor.initiator.on</name><value>true</value>
</property>