构建LangChain应用程序的示例代码：40、如何使用各种本地版本的 LLaMA2 进行文本到SQL的转换指南

概述

开源的本地大型语言模型（LLMs）非常适合那些需要数据隐私的应用场景。SQL是一个很好的例子。本指南展示了如何使用各种本地版本的 LLaMA2 进行文本到SQL的转换。

包安装

Python
安装命令：
! pip install langchain replicate

大型语言模型（LLM）访问方式

有几种方式可以访问 LLaMA2。

本地运行

使用 Ollama.ai 进行本地运行。

安装和设置详情：查看这里
本地 LLMs 完整指南：查看这里

外部 API

使用 Replicate 进行外部 API 访问，但这不是私有的。

# 本地运行设置
from langchain_community.chat_models import ChatOllama
llama2_chat = ChatOllama(model="llama2:13b-chat")
llama2_code = ChatOllama(model="codellama:7b-instruct")# 外部API设置
from langchain_community.llms import Replicate
REPLICATE_API_TOKEN = getpass()  # 安全获取API令牌
os.environ["REPLICATE_API_TOKEN"] = REPLICATE_API_TOKENreplicate_id = "meta/llama-2-13b-chat:f4e2de70d66816a838a89eeeb621910adffb0dd0baba3976c96980970978018d"
llama2_chat_replicate = Replicate(model=replicate_id, input={"temperature": 0.01, "max_length": 500, "top_p": 1}
)llm = llama2_chat

数据库连接

连接到 SQLite 数据库。

创建特定数据库的代码和步骤：查看这里

from langchain_community.utilities import SQLDatabase# 创建并连接到 SQLite 数据库
db = SQLDatabase.from_uri("sqlite:///nba_roster.db", sample_rows_in_table_info=0)# 获取数据库架构信息的函数
def get_schema(_):return db.get_table_info()# 执行 SQL 查询的函数
def run_query(query):return db.run(query)

查询 SQL 数据库

按照这里的可运行工作流程进行。

# 根据 SQL 数据库类型（如 MySQL、Microsoft SQL Server 等）更新模板
from langchain_core.prompts import ChatPromptTemplatetemplate = """
根据下面的表架构，编写一个 SQL 查询来回答用户的问题：
{schema}问题：{question}
SQL 查询：
"""
prompt = ChatPromptTemplate.from_messages([("system", "给定一个输入问题，将其转换为 SQL 查询。无前言。"),("human", template),]
)# 将查询结果转换为字符串输出
from langchain_core.output_parsers import StrOutputParser
from langchain_core.runnables import RunnablePassthrough# 执行 SQL 查询并获取响应
sql_response = (RunnablePassthrough.assign(schema=get_schema)| prompt| llm.bind(stop=["\nSQLResult:"])| StrOutputParser()
)# 调用函数并传入问题
sql_response.invoke({"question": "What team is Klay Thompson on?"})

’ SELECT “Team” FROM nba_roster WHERE “NAME” = ‘Klay Thompson’;’

审查结果

使用 LangSmith 追踪 LLaMA2-13 的 Replicate API 和本地运行结果。

回答问题

根据表架构、问题、SQL 查询和 SQL 响应编写自然语言回答。

from langchain_core.prompts import ChatPromptTemplatetemplate = """
根据下面的表架构、问题、SQL 查询和 SQL 响应，编写一个自然语言回答：
{schema}问题：{question}
SQL 查询：{query}
SQL 响应：{response}
"""
prompt_response = ChatPromptTemplate.from_messages([("system","给定一个问题和 SQL 响应，将其转换为自然语言回答。无前言。",),("human", template),]
)# 构建完整链并调用
full_chain = (RunnablePassthrough.assign(query=sql_response)| RunnablePassthrough.assign(schema=get_schema,response=lambda x: db.run(x["query"]),)| prompt_response| llm
)full_chain.invoke({"question": "How many unique teams are there?"})

AIMessage(content=’ Based on the table schema and SQL query, there are 30 unique teams in the NBA.')

与 SQL 数据库对话

接下来，我们可以添加记忆功能。

from langchain.memory import ConversationBufferMemory
from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder# 记忆功能模板
template = """
给定一个输入问题，将其转换为 SQL 查询。无前言。根据下面的表架构编写一个 SQL 查询来回答用户的问题：
{schema}
"""
prompt = ChatPromptTemplate.from_messages([("system", template),MessagesPlaceholder(variable_name="history"),("human", "{question}"),]
)# 初始化记忆功能
memory = ConversationBufferMemory(return_messages=True)# 构建带记忆功能的查询链
sql_chain = (RunnablePassthrough.assign(schema=get_schema,history=RunnableLambda(lambda x: memory.load_memory_variables(x)["history"]),)| prompt| llm.bind(stop=["\nSQLResult:"])| StrOutputParser()
)# 保存记忆的函数
def save(input_output):output = {"output": input_output.pop("output")}memory.save_context(input_output, output)return output["output"]# 带记忆的 SQL 响应
sql_response_memory = RunnablePassthrough.assign(output=sql_chain) | save
sql_response_memory.invoke({"question": "What team is Klay Thompson on?"})

’ SELECT “Team” FROM nba_roster WHERE “NAME” = ‘Klay Thompson’;’

构建带记忆功能的完整链并回答问题

# 使用记忆功能回答问题
full_chain = (RunnablePassthrough.assign(query=sql_response_memory)| RunnablePassthrough.assign(schema=get_schema,response=lambda x: db.run(x["query"]),)| prompt_response| llm
)full_chain.invoke({"question": "What is his salary?"})