Python trino执行hive insert overwrite不生效的问题

使用python的trino包执行insert overwrite，但是overwrite却没有生效的问题

根据trino的官网介绍的insert overwrite的开启方式，开启hive的insert overwrite会话，使当前会话的insert into语句支持insert overwrite，也即支持插入数据根据分区覆盖更新的功能

但是在使用Python代码执行时总是没有生效，在花了不少时间debug之后，终于找到了原因竟是因为开启insert overwrite session的语句没有执行fetchall()而导致没有生效

下面是执行的的代码示例

import trinodef insert_overwrite_query(trino, ...):conn = trino.dbapi.connect()cursor: Cursor = conn.cursor()overwrite_sql = "SET SESSION hive.insert_existing_partitions_behavior = 'OVERWRITE'"cursor.execute(overwrite_sql)query = """insert into hive.schema.table ..."""cursor.execute(query)res = cursor.fetchall()...

overwrite_sql在执行之后需要执行cursor.fetchall()才会生效，在此之前实在不明白这条sql为什么需要fetchall()？fetchall()的作用不是在需要返回数据时才执行吗？

在一番搜寻之后才了解到fetchall()的真正运作机制

通常查询的结果集会存储在内存之中，好的数据库连接处理一般会将查询结果集存放在服务端的内存，在接收请求时才会返回给客户端，也就是说只有在执行fetchall()之后前面的insert overwrite session也会确切地被执行

另外就是python trino中的fetchall()的作用了，一番源码观察之后，确定了trino的查询机制

查询是分批次查询的，数据量大的数据会首先使用post请求查询一批数据，然后接下来如果客户端还需要剩余的结果，会使用get请求查询接下来的所有数据之后结束或者连接中断

根据cursor.fetchall() 找到了其数据实际上来自于一个生成器对象TrinoResult，在fetchall()的时候实际上执行了list(TrinoResult(...))取得了查询结果（实际上你执行list(cursor.execute(query))也会得到fetchall()相同的结果）

class TrinoResult(object):def __init__(self, query, rows=None, experimental_python_types: bool = False):self._query = queryself._rows = rows or []self._rownumber = 0self._experimental_python_types = experimental_python_types...def __iter__(self):# Initial fetch from the first POST requestfor row in self._rows:self._rownumber += 1yield rowself._rows = None# Subsequent fetches from GET requests until next_uri is empty.while not self._query.finished:rows = self._query.fetch()for row in rows:self._rownumber += 1logger.debug("row %s", row)if not self._experimental_python_types:yield rowelse:yield self._map_to_python_types(row, self._query.columns)