llamaindex实战-本地模型和Pandas数据对话

概述

本文介绍如何使用llamaindex的 PandasQueryEngine引擎，通过使LLM将自然语言转换为 Pandas python 代码。PandasQueryEngine 的输入是 Pandas 数据帧，输出是响应。 LLM 推断要执行的dataframe操作以检索结果。

可以通过python接口把不同数据源的数据读取成Pandas结构中。

注意：该引擎目前还处于实验阶段，有时候会出现语法错误。

实现步骤

（1）准备panda数据集；

（2）创建LLM大模型对象。这里可以使用不同大模型。我这里使用的是本地部署的Ollama中的模型。

（3）创建PandasQueryEngine查询对象；

（4）使用查询引擎对象来查询数据；

完整代码

import logging
import sys
import pandas as pd
from llama_index.experimental.query_engine import PandasQueryEngine
from llama_index.llms.ollama import Ollama# 准备数据
df = pd.DataFrame({"city": ["Toronto", "Tokyo", "Berlin"],"population": [2930000, 13960000, 3645000],}
)## 构建LLM模型对象
llm = Ollama(model="llama3", request_timeout=360)# 创建查询引擎
query_engine = PandasQueryEngine(df=df, llm=llm, verbose=True, synthesize_response=True)# 查询最高人口数
response = query_engine.query("What is the city with the highest population?",
)#print(str(response.metadata["pandas_instruction_str"]))
print(str(response.metadata["raw_pandas_output"]))# 查询平均数
response2 = query_engine.query("What is the average population?",
)
print(str(response.metadata["raw_pandas_output"]))