⎣模型⎤Claude3——给奥特曼一点点压力！

微信公众号|人工智能技术派

作者|hws

Claude系列模型是由美国创业公司Anthropic基于transformer架构研发，该公司是一群在2021年OpenAI离职员工(包括前首席科学家Ilya Sutskever和Dario Amodei)创建的。Anthropic先前已发布Claude1和Claude2，效果相当不错模，紧追OpenAI。过去短短半年，Claude3效果已优于GPT-4，从跟随者变为引领者。下面将简要介绍一下本次发布的Claude3特点。

推理效果优于GPT-4

本次发布的Claude3 包含3个版本模型：Haiku、Sonnet和Opus。从下图可以看出Opus版模型在多个常用评估集子(包括:包括本科级别专业知识-MMLU、研究生级别专家推理-GPQA、基础数学-GSM8K等)上效果全面超过GPT-4。特别是一些任务上，zero-shot效果甚至比GPT-4 few-shot效果好，总体结果是比较惊艳的（国内已有人体验过效果，详见参考文献）。

误拒大幅减少

为了尽量模型推理结果合法性(如涉及种族歧视), 大模型通常会主动拒绝回答一些问题，但会时常会因为理解不到位误拒一些合理的问题，Claude2这方面问题比较突出，Claude3有了较大改善。

推理速度快

Claude3推理速度上也有明显提升，Claude3-Sonnet要比Claude2快2倍，且效果明显优于Claude2(如下图)

丰富产品矩阵

作为一家创业公司，Anthropic本着坚定通用大模型路线，并将高性能模型作为其吸引融资的主要标杆，辅以小模型布局边缘市场。下图是官方提供的三个模型智能化和成本关系图，可以看出三个模型智能化和使用成本有较大差异，用户可以根据需求选择最合适模型。当前，Opus、Sonnet已经开放API接口，Haiku也会于近期开放。

支持多语言

Claude3作为面向全球发布的大语言模型，当前支持在159个国家使用，也就是支持了世界上大部分国家的官方语言，下图给出一些主要语种的识别率。

支持多模态输入

Claude3支持多模态输入，包括图像(包括表格、图表、照片等)、文本等，并且推理效果也非常不错。

支持超长上下文

Claude3可以支持长达200K的上下文窗口，在"大海捞针"测试(一项针对大语言模型上下文记忆检索的特殊能力测试)中，Claude3 Opus准确率已经接近99%。

闭源

官方并没有透露模型具体信息，只大概描述训练数据来源包含三个部分：网上开源的数据、第三方供应的标注数据、内部生产数据。Anthropic尝试了多种数据清洗和筛选方案，如去重和分类。训练过程也只是做个大概描述：首先基于以上数据进行预训练生成pretrain-model，用pretrain-model进行推理，并且人工对推理结果进行校验，如大模型输出5个结果，人工校验发现第3个结果更符合要求，那么将第3个标注为正确结果，基于标注结果重新训练生成最终模型。另外就是强调，Anthropic特别强调安全的一家公司，所以会人工标注来避免模型输出涉及性别歧视、种族歧视、触发法律等相关的结果。

后话......

综合评估当前主要AI企业，OpenAI一直是独一档的存在，此次Anthropic发布的模型应该会给OpenAI带来不小的冲击，同时像Mistral(法国创业公司，成立于2023年由前DeepMind和Meta人员组建)这样的初创企业进步也非常迅速，这种情况下OpenAI应该会迅速开放GPT-5。但作为最早提出Transformer结构的Google，已经被慢慢拉开距离，按说在计算资源、数据资源、人力资源更丰富的大厂应该更容易出效果，目前这种局面不免让人唏嘘不已。同时，也可以看到国内AI厂商，文心一言、千问等仍有不小差距，特别是在Nvidia GPU被限制出口情况下，这种差距有可能会进一步扩大，也希望国内可以弯道超车吧。

[参考文献]

官网介绍

- https://www.anthropic.com/news/claude-2
- https://www.anthropic.com/news/claude-3-family
- https://www-cdn.anthropic.com/de8ba9b01c9ab7cbabf5c33b80b7bbc618857627/Model_Card_Claude_3.pdf