re:Invent 2023技术上新｜Amazon Bedrock现提供对Anthropic最新模型Claude 2.1访问权限

亚马逊云科技已在 Amazon Bedrock 中推出 Anthropic 的 Claude 2.1 基础模型（FM）。此前，Anthropic 推出了其最新模型 Claude 2.1，此模型为企业提供了一些关键功能，如业界领先的 200,000 个令牌化上下文窗口（是 Claude 2.0 上下文的 2 倍）、降低幻觉率、提高长文档的准确性、系统提示以及用于函数调用和工作流编排的测试版工具使用功能。

随着 Claude 2.1 在 Amazon Bedrock 中推出，您可以使用 Anthropic 提供的更加诚实可靠的 AI 系统构建企业级生成式 AI 应用程序。现在，您可以在 Amazon Bedrock 控制台中使用 Anthropic 提供的 Claude 2.1 模型。

以下是 Amazon Bedrock 中全新 Claude 2.1 模型的一些主要亮点：

200,000 个令牌化上下文窗口 – 在处理产品指南、技术文档、财务或法律声明等长文档时，企业应用程序需要更大的上下文窗口和更准确的输出。Claude 2.1 支持 200,000 个令牌，相当于大约 15 万字或超过 500 页的文档。向 Claude 上传大量信息时，您可以进行汇总、问答、趋势预测，并对多个文档进行比较和对比，以起草业务计划和分析复杂的合同。

准确性大幅提升 – 与 Claude 2.0 相比，Claude 2.1 在诚实性方面也取得了显著进步，幻觉率降低了 2 倍，开放式对话和文档问答中的幻觉率降低了 50%，错误答案减少了 30%，错误得出文档支持特定主张的结论比率降低了 3-4 倍。Claude 了解的内容越来越多，将更有可能提出异议，而不是产生幻觉。凭借这种更高的准确性，您可为客户和员工构建更可靠的任务关键型应用程序。

系统提示 – Claude 2.1 现在支持系统提示，这项新功能可以通过多种方式提高 Claude 的表现，包括在角色扮演场景中提高角色深度和角色一致性，特别是在较长的对话中，以及更严格地遵守指南、规则和指令。这代表了结构性变化，但与以前提示 Claude 的方式相比，内容上并没有变化。

用于函数调用和工作流编排的工具 – Claude 2.1 作为测试版功能提供，现在可与您现有的内部流程、产品和 API 集成，以构建生成式 AI 应用程序。Claude 2.1 可以准确地检索和处理来自其他知识源的数据，并为给定任务调用函数。Claude 2.1 可通过使用私有 API 和网络搜索 API 搜索数据库来回答问题，将自然语言请求转换为结构化 API 调用，或者连接到产品数据集以提出建议并帮助客户完成购买。目前，该功能仅限于特定的抢先体验合作伙伴使用，计划在不久的将来开放使用。如果您有兴趣抢先体验，请联系您的亚马逊云科技账户团队。

要了解有关 Claude 2.1 特征和功能的更多信息，请访问 Amazon Bedrock 上的 Anthropic Claude 和 Amazon Bedrock 文档。

Amazon Bedrock 上的 Anthropic Claude：
https://aws.amazon.com/bedrock/claude/

Amazon Bedrock 文档：
https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html#acessing-api

Claude 2.1 实际操作

要开始使用 Amazon Bedrock 中的 Claude 2.1，请访问 Amazon Bedrock 控制台。在左下角的窗格中选择模型访问权限，然后选择右上角的管理模型访问权限，提交您的用例，并请求对 Anthropic Claude 模型进行模型访问。访问模型可能需要几分钟。如果您已经拥有对 Claude 模型的访问权限，则无需单独申请 Claude 2.1 的访问权限。

Amazon Bedrock 控制台：
https://console.aws.amazon.com/bedrock/

要在聊天模式下测试 Claude 2.1，请在左侧菜单窗格的 Playgrounds 下选择文本或聊天。然后选择 Anthropic，再选择 Claude v2.1。

通过选择查看 API 请求，您还可以通过亚马逊云科技命令行界面（Amazon CLI）和 Amazon SDK 中的代码示例访问模型。以下是 Amazon CLI 命令的示例：

Bash

$ aws bedrock-runtime invoke-model \--model-id anthropic.claude-v2:1 \--body "{\"prompt\":\"Human: \\n\\nHuman: Tell me funny joke about outer space!\n\nAssistant:", "max_tokens_to_sample": 50}' \--cli-binary-format raw-in-base64-out \invoke-model-output.txt

左滑查看更多

您可以使用 Claude 2.1 模型提供的系统提示工程技术，将输入和文档放在任何引用或利用该内容的问题之前。输入可以是自然语言文本、结构化文档或使用<document> 、<papers> 、<books> 或标签等的代码片段。您还可以使用聊天记录等对话文本以及分块文档等检索式增强生成（RAG）结果。

以下是支持座席根据公司文档回答客户问题的系统提示示例。

Text

Here are some documents for you to reference for your task:
<documents><document index="1"><document_content>(the text content of the document - could be a passage, web page, article, etc)</document_content>
<document index="2"><source>https://mycompany.repository/userguide/what-is-it.html</source>
</document>
<document index="3"><source>https://mycompany.repository/docs/techspec.pdf</source></document>
...
</documents>

左滑查看更多

要了解有关在 Amazon Bedrock 上进行提示工程的更多信息，请参阅 Amazon Bedrock 文档中包含的提示工程指南。您可以学习 Amazon Bedrock 文本模型（包括 Claude）的一般提示技巧、模板和示例。