今天分享的是人工智能系列深度研究报告:《AI大模型专题:北京市人工智能行业大模型创新应用白皮书》。
(报告出品方:北京市科学技术委员会、中关村科技园区管理委员会)
报告共计:72页
海量/完整电子版/报告下载方式:公众号《人工智能学派》
综述
作为新一轮科技革命和产业变革的核心引擎,人工智能正在为经济社会发展持续注入新动能,今年以来,大模型技术引领着人工智能领域迈入新发展高度,在世界范围内受到广泛关注。大模型对于人工智能厂商和企业用户而言,是一个重要发展机遇。
人工智能厂商方面,谷歌、微软、Meta、亚马逊等全球科技巨头将大模型视为重要发展机遇,积极投入并且大动作频发。我国众多厂商也投身大模型领域,包括百度、阿里腾讯等互联网大厂,科大讯飞、商汤科技、旷视科技等垂直于AI领域的厂商,以及智谱华章、百川智能、MiniMax 等大模型初创企业。市场上也不乏高校、研究机构的身影,清华大学、中国科学院自动化所、北京智源人工智能研究院等发布了各自的大模型成果。
大模型推动能“涌现”,打开 AI 术发展上限
人工智能大模型,是指通过在海量数据上依托强大算力资源进行训练后能完成大量不同下游任务的模型。在技术层面上,大模型的实现采用“预训练+指令微调+人类反馈的强化学习”的训练范式。首先通过预训练技术将深度学习网络在海量数据上进行自监督训练,然后利用指令数据进行有监督指令微调,提升模型对人类指令的追随能力,最后,基于由人类价值标注数据训练得到的奖励模型所提供的奖励信息进行强化学习,控制大模型的输入符合人类价值判断。在大模型使用时,通过设计提示进行即时学习可以进一步提升大模型完成各类任务的能力。规模化是使大模型强大的重要原因,研究表明当模型规模足够大的时候,会“涌现”智能能力,具备处理新的、更高层次的特征和模式的能力,能够为一系列下游任务带来更好的任务效果。大模型不断扩大的规模由“量变”引发“质变”,模型通用认知能力不断提升大模型能力的迅速发展不仅有助于人类完成“规定动作”,还可能帮助人类去研究和发现未知领域,突破人类过去没有突破过的极限。
大模作为新的“根”设施,动AI范式变革
大模型实现模型生产从“作坊式”到“流水线”的升级大模型出现以前,AI 模型是“定制化、场景化”的开发方式针对特定应用场景需求训练一个个小模型,模型难以复用和积累,导致 AI 落地的高门槛、高成本与低效率。大模型实现基础模型底座的标准化开发和泛在化应用,解决成本困境。
国外大模型行业应用情况
美国大模型商业化应用进展全球领先,商业化进展迅一是网络、存储等基础设施建设完备,技术发展成熟速。为大模型广泛应用打下良好基础。二是具备充足的用于大模型训练推理的高端芯片,算力充沛。三是大模型技术领先以 OpenAI 为代表的大模型公司对美国大模型在全球取得领先地位和广泛落地起到重要推动作用。
北京市大模型产业发展情况
北京汇集了国内最多的人工智能顶尖院校,拥有国内最丰富的顶尖人才资源,近年来,通过建设新型研发机构,持续推出一批原始创新成果,不断提升创新能力。经过多年发展,北京市已成为全国人工智能发展的领头羊,2022 年本市人工智能核心产值规模达 2170亿元,核心企业数量超过1800家,已形成基本完整的产业链,涵盖基础层、技术层和应用层等环节,正在快速构建具有全球影响力的产业生态体系。