使用Anthropic API生成结构化输出的工具
Anthropic API最近增加了工具使用功能。
这对于生成结构化输出非常有用。
! pip install -U langchain-anthropic
可选配置：
import osos.environ['LANGCHAIN_TRACING_V2'] = 'true' # 启用追踪
os.environ['LANGCHAIN_API_KEY'] = # 设置你的API密钥
我们如何使用工具来产生结构化输出？
函数调用/工具使用仅生成有效载荷。
有效载荷通常是JSON字符串，可以传递给API，或者在本例中，传递给解析器以产生结构化输出。
LangChain提供了llm.with_structured_output(schema)，使得生成符合模式的结构化输出变得非常容易。
from langchain_anthropic import ChatAnthropic
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field# 数据模型
class Code(BaseModel):"""代码输出"""# LLM
llm = ChatAnthropic(model="claude-3-opus-20240229",default_headers={"anthropic-beta": "tools-2024-04-04"},
)# 结构化输出，包括原始内容将捕获原始输出和解析器错误
structured_llm = llm.with_structured_output(Code, include_raw=True)
code_output = structured_llm.invoke("Write a python program that prints the string 'hello world' and tell me how it works in a sentence"
)
初始推理阶段：
code_output["raw"].content[0]
工具调用：
code_output["raw"].content[1]
JSON字符串：
code_output["raw"].content[1]["input"]
错误：
error = code_output["parsing_error"]
error
结果：
parsed_result = code_output["parsed"]
Python：
parsed_result.prefix
Python：
parsed_result.imports
Python：
parsed_result.code
更具挑战性的例子：
动机例子，用于工具使用/结构化输出。
这里是我们想要回答有关代码问题的一些文档。
from bs4 import BeautifulSoup as Soup
from langchain_community.document_loaders.recursive_url_loader import RecursiveUrlLoaderLCEL文档url = "https://python.langchain.com/docs/expression_language/"
loader = RecursiveUrlLoader(url=url, max_depth=20, extractor=lambda x: Soup(x, "html.parser").text
)
docs = loader.load()根据URL对列表进行排序并获取文本d_sorted = sorted(docs, key=lambda x: x.metadata["source"])
d_reversed = list(reversed(d_sorted))
concatenated_content = "\n\n\n --- \n\n\n".join([doc.page_content for doc in d_reversed]
)
问题：
如果我们想强制使用工具怎么办？
我们可以使用回退策略。
让我们选择一个代码生成提示，根据我的一些测试，它没有正确调用工具。
我们看看是否可以纠正这个问题。
# 此代码生成提示调用工具使用
code_gen_prompt_working = ChatPromptTemplate.from_messages([("system",""" You are a coding assistant with expertise in LCEL, LangChain expression language.
Here is the LCEL documentation:-------
{context}-------
Answer the user question based on the
above provided documentation. Ensure any code you provide can be executed with all required imports and variables
defined. Structure your answer: 1) a prefix describing the code solution, 2) the imports, 3) the functioning code block.
Invoke the code tool to structure the output correctly.Here is the user question:""",),("placeholder", "{messages}"),]
)# 此代码生成提示没有调用工具使用
code_gen_prompt_bad = ChatPromptTemplate.from_messages([("system","""You are a coding assistant with expertise in LCEL, LangChain expression language.
Here is a full set of LCEL documentation:-------
{context}-------
Answer the user question based on the above provided documentation. Ensure any code you provide can be executed
with all required imports and variables defined. Structure your answer with a description of the code solution.Then list the imports. And finally list the functioning code block. Here is the user question:""",),("placeholder", "{messages}"),]
)
数据模型：
class Code(BaseModel):"""代码输出"""
LLM：
llm = ChatAnthropic(model="claude-3-opus-20240229",default_headers={"anthropic-beta": "tools-2024-04-04"},
)
结构化输出：
包括原始内容将捕获原始输出和解析器错误
structured_llm = llm.with_structured_output(Code, include_raw=True)
检查错误：
def check_claude_output(tool_output):"""检查解析错误或未能调用工具"""
带有输出检查的链：
code_chain = code_gen_prompt_bad | structured_llm | check_claude_output
让我们添加检查并重试。
def insert_errors(inputs):"""在消息中插入错误"""
这将作为回退链运行。
fallback_chain = insert_errors | code_chain
N = 3 # 最大重试次数
code_chain_re_try = code_chain.with_fallbacks(fallbacks=[fallback_chain] * N, exception_key="error"
)
测试：
messages = [("user", "How do I build a RAG chain in LCEL?")]
code_output_lcel = code_chain_re_try.invoke({"context": concatenated_content, "messages": messages}
)
Python：
parsed_result_lcel = code_output_lcel["parsed"]
Python：
parsed_result_lcel.prefix
Python：
parsed_result_lcel.imports
Python：
parsed_result_lcel.code
示例跟踪捕获错误并纠正：
跟踪链接
介绍了如何使用Anthropic API来生成结构化输出。它首先建议安装langchain-anthropic库，然后通过设置环境变量启用追踪和API密钥。文件中展示了如何定义数据模型，创建ChatAnthropic实例，并使用with_structured_output方法来生成符合特定模式的结构化输出。接着，通过示例代码演示了如何调用API、处理原始输出、捕获解析错误，并展示了如何通过回退机制和错误检查来增强工具调用的鲁棒性。最后，提供了一个测试用例，展示了如何使用构建的链来回答问题并获取结构化代码输出。
)
)
