14-8 小型语言模型的兴起

过去几年,我们看到人工智能能力呈爆炸式增长,其中很大一部分是由大型语言模型 (LLM) 的进步推动的。GPT-3 等模型包含 1750 亿个参数,已经展示了生成类似人类的文本、回答问题、总结文档等能力。然而,虽然 LLM 的能力令人印象深刻,但它们庞大的规模导致效率、成本和可定制性方面的缺点。这为一种名为小型语言模型 (SLM) 的新兴模型类别打开了大门。

让我们深入了解小型语言模型的兴起:

  • 什么是小语言模型?
  • 开发小型语言模型的动机——效率、成本、可定制性
  • 有用的语言模型可以有多小?
  • 训练高效小语言模型的方法
  • 小型语言模型大放异彩的示例应用
  • 支持创建自定义 SLM 的开发人员框架
  • 空间激光雷达发展与部署的未来机遇与挑战

最后,您将了解小型语言模型在以可定制和经济的方式将语言 AI ​​的强大功能带到更专业领域的前景。

什么是小语言模型?

语言模型是针对大型文本数据集进行训练的 AI 系统,可实现生成文本、总结文档、语言间翻译和回答问题等功能。小型语言模型可以满足大部分相同的需求,但模型大小明显较小。但小型语言模型由什么构成?

研究人员通常认为,参数少于 1 亿的语言模型相对较小,有些甚至会将参数限制在 1000 万或 100 万的较低阈值。相比之下,如今规模庞大的模型参数超过 1000 亿,例如上述 OpenAI 的 GPT-3 模型。

较小的模型尺寸使小型语言模型比最大的模型更高效、更经济、更可定制。然而,它们的整体能力较低,因为语言模型中的模型容量已被证明与尺寸相关。确定实际应用的最佳模型尺寸需要在灵活性和可定制性与纯粹的模型性能之间进行权衡。

小型语言模型的动机

如上所述,与大型语言模型相比,小型语言模型在效率、成本和可定制性方面具有先天优势。让我们更详细地分析一下这些动机:

效率

由于参数较少,小型语言模型在以下几个方面的计算效率明显高于 GPT-3 等大型模型:

  • 由于每个输入需要执行的参数更少,因此它们的推理速度/吞吐量更快
  • 由于整体模型尺寸较小,它们需要的内存和存储空间也较少
  • 较小的数据集足以训练小型语言模型。随着模型容量的增长,对数据的需求也随之增长。

这些效率优势可直接转化为成本节省:

成本

大型语言模型需要大量的计算资源来训练和部署。据估计,OpenAI 开发 GPT-3 的成本约为数千万美元,包括硬件和工程成本。由于资源需求,当今许多公开的大型语言模型尚未盈利。

同时,小型语言模型可以很容易地在许多企业可用的商用硬件上进行训练、部署和运行,而无需花费太多资金。它们合理的资源需求开启了边缘计算的应用,它们可以在低功耗设备上离线运行。总的来说,短期内找到小型语言模型盈利应用的潜力更大。

可定制性

小型语言模型相对于大型语言模型的一个关键优势是可定制性。虽然 GPT-3 等模型在许多任务中表现出了强大的多功能性,但它们的功能仍然代表了一种在各个领域之间平衡性能的折衷解决方案。

另一方面,小型语言模型可以很容易地适应更狭窄的领域和专门的应用。凭借更快的迭代周期,小型语言模型使得通过以下方法尝试针对特定类型的数据定制模型成为可能:

  • 预训练——在特定领域的数据集上启动小模型
  • 微调——持续训练以优化最终任务数据
  • 基于提示的学习——针对专门应用优化模型提示
  • 架构修改——调整模型结构以适应特定任务

对于大型模型来说,这些定制过程变得越来越困难。小型语言模型不仅易于访问,还提供了开发人员可以根据其特定需求进行调整的规范。

有用的语言模型可以有多小?

考虑到上述最小化模型尺寸的动机,一个自然而然的问题出现了——我们可以将语言模型缩小到什么程度,同时仍然保持强大的功能?最近的研究继续探索完成不同语言任务所需的模型规模的下限。

许多研究发现,现代训练方法只需 100 万到 1000 万个参数就能让模型具备基本的语言能力。例如,2023 年发布的一个 800 万个参数的模型在既定的 GLUE 自然语言理解基准上达到了 59% 的准确率。

随着模型容量的增加,性能不断提高。 2023 年的一项研究发现,在从推理到翻译的各个领域,一旦语言模型达到约 6000 万个参数,不同任务的有用能力阈值就会一致通过。 然而,在 2 亿到 3 亿个参数规模之后,回报就会减少——增加额外的容量只会带来渐进的性能提升。

这些发现表明,即使是中型语言模型,只要接触到足够多的正确训练数据,也能在许多语言处理应用中达到合理的能力。然后,性能会达到一个平台期,在这个平台上,大量的计算和数据似乎没有提供什么额外的价值。商业上可部署的小型语言模型的最佳点可能就在这个平台期附近,在广泛的能力和精益的效率之间取得平衡。

当然,经过深度而非广泛调整的专门小语言模型可能需要更少的容量才能在小众任务中脱颖而出。我们稍后会介绍一些应用用例。但首先,让我们概述一下有效训练紧凑但功能强大的小语言模型的流行技术。

高效小型语言模型的训练方法

积极训练日益熟练的小型语言模型依赖于在学习过程中增强数据效率和模型利用率的方法。与大型模型的简单训练相比,这些技术最终为每个参数赋予了更多的能力。我们将在这里分解一些流行的方法:

迁移学习

大多数现代语言模型训练都利用了某种形式的迁移学习,其中模型通过首先在广泛的数据集上进行训练来引导能力,然后再专门针对狭窄的目标领域。初始预训练阶段将模型暴露给广泛的语言示例,这对于学习一般的语言规则和模式很有用。

尽管参数预算有限,但小型语言模型可以在预训练期间捕捉到这种广泛的能力。然后,专业化阶段可以针对特定应用进行细化,而无需扩大模型规模。总体而言,迁移学习大大提高了训练小型语言模型的数据效率。

自监督学习

迁移学习训练通常利用自监督目标,其中模型通过预测输入文本序列中被屏蔽或损坏的部分来发展基础语言技能。这些自监督预测任务可作为下游应用程序的预训练。

最近的分析发现,自监督学习似乎特别有效地赋予小型语言模型强大的能力——比大型模型更有效。通过将语言建模呈现为交互式预测挑战,自监督学习迫使小型模型从显示的每个数据示例中进行深度概括,而不是简单地被动地记住统计数据。这在训练期间可以更充分地利用模型容量。

架构选择

并非所有神经网络架构都具有同等的参数效率,可用于语言任务。精心选择架构可将模型容量集中在对语言建模至关重要的领域,例如注意力机制,同时剥离不太重要的组件。

例如,Efficient Transformers 已成为一种流行的小型语言模型架构,它在训练过程中采用了知识蒸馏等各种技术来提高效率。相对于基线 Transformer 模型,Efficient Transformers 实现了类似的语言任务性能,而参数减少了 80% 以上。有效的架构决策可以放大公司从有限规模的小型语言模型中提取的能力。

上述技术推动了快速发展,但如何最有效地训练小型语言模型仍有许多悬而未决的问题。随着小型语言模型扩展到新领域,确定模型规模、网络设计和学习方法的最佳组合以满足项目需求将继续让研究人员和工程师忙个不停。接下来,我们将重点介绍一些开始采用小型语言模型和定制 AI 的应用用例。

小型语言模型大放异彩的示例应用
 

尽管人们对人工智能的热情通常集中在吸引眼球的大型模型上,但许多公司已经通过部署根据其特定需求定制的小型语言模型找到了实用性。我将重点介绍一些代表性示例,例如金融和娱乐领域,在这些领域中,紧凑、专业的模型正在创造商业价值:

更多资讯,请访问 2img.ai

金融机构生成大量数字数据和文档,可以使用小型定制语言模型来提取见解。具有高投资回报率的用例包括:

  • 交易分类器自动使用会计类别对发票项目进行编码,以加快输入簿记系统的速度。
  • 情绪模型从收益电话会议记录中提取意见,通过检测管理层基调的变化来产生交易信号。
  • 自定义实体有助于将非结构化银行对账单系统化为标准化数据报告业务收入,以进行贷款风险分析。

这些应用程序将语言人工智能转化为直接流程自动化,并改进现有财务工作流程中的分析能力——加速盈利模式,而不是仅仅猜测技术前景。风险管理在金融服务中仍然至关重要,更倾向于狭义的语言模型,而不是通用智能。

娱乐

随着创造性过程与先进技术的融合,媒体、游戏和相关娱乐垂直行业成为语言 AI ​​解决方案最具前瞻性的采用者:

  • 小型语言模型利用自然语言生成,自动创建动画的初稿脚本或散文,创作者随后对其进行完善,从而大幅提高个人生产力。
  • 在开放世界游戏中,对话模型会根据用户环境生成动态对话树,从而扩大虚拟现实范围内的交互自由。
  • 更强大的语言分析功能丰富了娱乐元数据,例如通过字幕内容的模式识别电影主题,以便推荐引擎更好地将观众与他们的独特兴趣联系起来。

娱乐的创意空间为探索小型语言模型生成前沿提供了理想的试验台。尽管鉴于模型的局限性,当前的应用仍需监督,但小型语言模型的效率为开发人员提供了充足的空间来探索创意潜力。

ParagogerAI训练营 2img.ai

用于构建自定义 SLM 的开发人员框架

那么,既然前景如此光明,开发人员如何才能真正开始构建专门定制的小型语言模型呢?开源技术让企业跨领域、跨规模地实现定制语言 AI。以下全方位服务平台能够以经济高效的方式创建和部署定制的小型语言模型:

🤗 Hugging Face Hub — Hugging Face 提供统一的机器学习操作平台,用于托管数据集、编排模型训练管道以及通过 API 或应用程序高效部署预测。他们的 Clara Train 产品专注于最先进的自监督学习,用于创建紧凑但功能强大的小型语言模型。

Anthropic Claude — 由专注于模型安全的 ConstitutionalAI 的开发者开发,Claude 只需几行代码即可轻松训练自定义分类器、文本生成器、摘要器等。内置安全约束和监控可抑制部署期间的潜在风险。

✨ Cohere for AI — Cohere 提供了一个开发人员友好的平台,用于从自己的训练数据或导入的自定义集中提取多达 100 万个参数来构建语言模型。客户端托管选项提供端到端隐私合规性。

Assembler — Assembler 提供用于开发专门针对特定数据输入的读取器、编写器和分类器小型语言模型的工具。其简单的 Web 界面掩盖了模型创建和监控的基础设施复杂性。

上述服务体现了现在已准备好探索语言 AI ​​可能性的公司可以实现的交钥匙体验。机器学习专业知识本身很有帮助,但对于合适的合作伙伴来说,这不再是硬性先决条件。这使得更多行业能够从 AI 专业化中创造价值。

特定领域 SLM 的出现

到目前为止,我们已经介绍了小型语言模型的一般功能,以及它们与大规模通用 LLM 相比在效率、定制和监督方面的优势。然而,通过在小众数据集上进行训练,SLM 还擅长处理专门的用例。

随着大型语言模型规模的扩大,它们变得样样精通,但样样不精。它们的知识和表现在不同领域逐渐减弱。此外,将敏感数据暴露给外部 LLM 会带来数据泄露或滥用方面的安全、合规和专有风险。

这些限制促使各行各业的组织使用内部数据资产开发自己的小型、特定领域的语言模型。定制可以更好地满足他们特定的准确性和安全性需求。接下来我们重点介绍一些主要示例。

金融小语言模型

金融公司还部署 SLM 以满足分析收益表、资产估值、风险建模等需求。领域熟练程度是强制性的,但敏感数据不能泄露到外部。

例如,软银旗下的 Fortia 使用客户数据构建了定制的 SLM,以预测货币汇率和套利交易机会。紧密的专注度使其优于通用的 LLM,低延迟可实现自动化。数据安全也至关重要。

专业领域 SLM 的优势

是什么推动了各个组织和行业开发专有领域特定 SLM?有几个关键优势脱颖而出:

卓越的准确性:针对具有一般语料库无法捕捉到的特性的细分数据集进行专门的模型训练,与外部 LLM 相比,其准确性大幅提升。使用权重印记、适配器模块和自我训练等领域自适应技术增强模型可进一步提高准确性。

保密性:依赖通用外部模型会迫使敏感 IP、财务、医疗保健或其他机密数据暴露在外部。但内部训练的 SLM 的严格架构边界可降低数据泄露或滥用的风险。这也提供了合规性优势。

响应能力:组织拥有完整的模型开发生命周期,可进行微调,以精确匹配客户支持流程等专业用例。直接控制可以在数小时或数天内修改和重新部署模型,而无需与外部 LLM 提供商进行长达一个月的协调。敏捷性可加快迭代速度。

成本效益:大型语言模型不仅需要高昂的训练成本,还需要按查询收费。建立自己的模型可以长期摊销费用。尽管一些过大的数据集仍然受益于预先训练的 LLM 基础,但将学习转移到专门的头脑中。

专用 SLM 面临的挑战

专门的 SLM 确实面临着采用障碍,以平衡优势:

数据充足性:许多组织缺乏大量结构化数据集来从头开始训练稳健的模型。在基础模型之上使用少样本学习适配器等替代方法会有所帮助,但一些数据密集型应用程序仍受益于外部通用模型。不过,增强等数据利用技术会有所帮助。

模型治理:开发性能可靠的 SLM 需要对开发人员工作流程、仪表、模型操作和监督进行投资,而这远远超出了当今许多团队的能力。负责任的专业 AI 仍然需要治理扩展专业知识,即使对于小型模型也是如此。进步依赖于 DevOps 的成熟。

维护成本:即使是紧凑型模型也需要维护,因为数据会发生变化。但 SLM 的监控负担和重建要求比 LLM 要轻得多。尽管如此,由于模型被视为消耗品,随着时间的推移,模​​型腐烂会削弱可靠性。致力于生命周期管理是关键。

小型语言模型的未来机遇与挑战

小型语言模型带来的效率、多功能性和易用性,标志着新一轮工业人工智能应用浪潮的开始,该浪潮针对垂直需求而非一刀切的解决方案量身定制。随着开发人员掌握这些新的可定制代码库所带来的影响,创新空间仍然巨大。

然而,考虑到语言模型固有的社会技术复杂性,即使在小规模的情况下,负责任的实施方面的实践和勤勉也至关重要。最后,让我们简要强调一下未来的有希望的机遇和关键挑战:

机遇

  • 定制化可以弥补通用人工智能服务不足的行业的专业空白,而语言辅助可以提高成果。
  • 混合智能与人类领域专家的结合很可能在短期内被证明是最具建设性的,设计人工智能是为了增强而不是取代工作。
  • 高效训练技术和多任务模型架构的持续进步将进一步扩展小型语言模型的功能。
  • 随着更有针对性的商业回报在各个垂直领域更快地显现出来,定制语言人工智能的采用势头可能会超过普遍采用。

挑战:

  • 在敏感用例中过度依赖人工智能可能会忽视人类的专业知识和做出社会明智决策所需的监督。
  • 当应用模型做出超出其专门训练分布的不受支持的推理时,数据质量和概念漂移问题会迅速加剧。
  • 由于大量小模型掩盖了特定输出产生的原因,尤其是根据行业数据进行个性化时,透明度将变得更加难以捉摸。
  • 恶意利用仍然是任何蓬勃发展的技术所面临的一个问题,需要采取措施防止语言模型直接或间接造成伤害。

只要重视负责任的开发原则,小型语言模型就有可能在未来几年内让大量行业变得更好。随着专业化人工智能的出现,我们才刚刚开始看到这些可能性。

结论

  • 小型语言模型的构成以及它们在功能上与当今规模最大的模型相比如何
  • 效率、成本节约和可定制性等动机推动人们采用小型语言模型而不是通用语言 AI
  • 模型小型化的前沿——通过现代训练技术,语言模型可以缩小到多小,同时保留强大的功能?
  • 现实世界中,公司将专门的小型语言模型应用于教育、医药、金融和娱乐等垂直领域的案例
  • 开发人员资源使企业能够从对 AI 的兴趣转向使用定制语言模型进行实施

小型语言模型的体验式技术将语言 AI ​​的广泛热议提炼为可供商业团队和用户使用的实用构建模块。ParagogerAI训练营 2img.ai

该行业仍处于起步阶段,随着专业模型的传播,解锁新应用需要开发人员的创造力和对影响的深思熟虑。但现在出现的可定制语言智能似乎有望推动 AI 生产力的下一阶段。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/866533.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SonarWiz 8.0.1侧扫 浅剖 测深软件License获取

SonarWiz 8.0.1是功能强大的测绘软件!提供强大的数据采集、后处理等功能操作,您将获得灵活完整的报告,并提供丰富的选项以便进行定制和更灵活的进行操作,软件功能齐全,包括完整的海底测绘解决方案,方便实时…

国产麒麟v10、UOS系统在线比较两个Word文件的内容差异

调用PageOffice的WordCompare方法,同时在线打开两个Word文档,可以切换显示其中的一个文档,或者显示两个文档的对比结果,即可实现在线的文档内容比较功能。此功能可以应用在以下方面: 文档管理中,比较两个版…

C++11|左、右值引用和移动语义

目录 一、左值引用 && 右值引用 1.1什么是左值?什么是左值引用? 1.2什么是右值?什么是右值引用? 1.3左值引用与右值引用比较 二、左、右值引用使用场景(为什么要有右值引用?) 2.1左值引用使用场景: 2.2右…

秋招突击——设计模式补充——简单工厂模式和策略模式

文章目录 引言正文简单工厂模式策略模式策略模式和工厂模式的结合策略模式解析 总结 引言 一个一个来吧,面试腾讯的时候,问了我单例模式相关的东西,自己这方面的东西,还没有看过。这里需要需要补充一下。但是设计模式有很多&…

数字IC设计-VCS和Verdi的使用

#学习记录# 前言:本文以一个简单的计数器来说明vcs和verdi的使用 1 代码文件 1.1 计数器代码 //Engineer:Mr-pn-junction module counter(input clk,input rst,output reg [5:0] count); always(posedge clk or negedge rst)beginif(!rst)coun…

【算法】(C语言):二分查找

二分查找: 获取查找区域的中间位置。若中间位置的数据就是要找的值,则返回true。若要找的值 小于 中间位置的数据,则往左边查找。若要找的值 大于 中间位置的数据,则往右边查找。重复1和2,若没有要找的值,…

业界数据架构的演变

目录 一、概述 二、业务处理-单体架构 三、业务处理-微服务架构 四、数据分析-大数据Lambda架构 五、数据分析-Kappa架构 六、数据分析-LambdaKappa混合架构 七、湖仓一体架构 一、概述 近年来随着越来越多的大数据技术被开源,例如:HDFS、Spark等…

【Linux进程通信】共享内存

目录 共享内存函数 头文件 shmget ftok函数​ shmat shmdt shmctl 共享内存区是最快的IPC 形式。一旦这样的内存映射到共享它的进程的地址空间,这些进程间数据传递不再涉及到操作系统内核,换句话说是进程不再通过执行进入内核的系统调用来传递彼此的数据…

《向量数据库指南》——Milvus Cloud查询增强如何提升 RAG Pipeline 效果?

查询增强 1.假设性问题 这一方法首先使用LLM为每一条文档块生成一些假设问题,这些文档块可以回答与之对应的假设问题。在RAG阶段,进行一个query-to-query的搜索,先搜索到相关的假设问题,然后找到对应的文档块,再通过它们生成最后的回答。 这里的query-to-query指的是embed…

【数据库】仓库管理数据库(练习样例)

某连锁超市需要设计实现一个仓库管理系统,要求每个仓库可以有多名仓库管理员,每个仓库管理员只负责管理一个仓库,同时每个仓库都配备了一名仓库主管;不同的仓库存放的是不同类型的货品,每种货品只存放在固定的仓库中&a…

R语言数据分析案例40-华安中证基金多元线性回归和分析预测

一、引言 基金是一种非常受欢迎的投资工具,由于其具有风险分散、专业管理等特点,越来越多的投资者选择将资金投入基金市场。然而,基金的表现却受到很多因素的影响,如股票市场的整体表现、基金管理人员的能力、基金规模、基金管理…

二二复制模式,发展下属并形成一个销售网络体系来实现收入增长!

二二复制模式,又称为双轨制,是一种直销理念的营销模式,其核心在于通过发展下属并形成一个销售网络体系来实现收入增长。以下是对二二复制模式的详细讲解,包括其优势和玩法介绍,以及适合的行业。 一、二二复制模式的定…

Flutter集成高德导航SDK(Android篇)(JAVA语法)

先上flutter doctor: flutter sdk版本为:3.19.4 引入依赖: 在app的build.gradle下,添加如下依赖: implementation com.amap.api:navi-3dmap:10.0.700_3dmap10.0.700navi-3dmap里面包含了定位功能,地图功能…

香橙派AIpro开发板评测:部署yolov5模型实现图像和视频中物体的识别

OrangePi AIpro 作为业界首款基于昇腾深度研发的AI开发板,自发布以来就引起了我的极大关注。其配备的8/20TOPS澎湃算力,堪称目前开发板市场中的顶尖性能,实在令人垂涎三尺。如此强大的板子,当然要亲自体验一番。今天非常荣幸地拿到…

边界无限陈佩文:红蓝对抗安全演练常态化的各方分析

虽然常态化演练尚未正式开始,但我们仍然希望对各方的表现进行一些分析和预测,以辅助我们对市场的判断和决策。同时,也希望通过这些初步的见解,抛砖引玉,引发更多有价值的讨论和观点。 “船停在码头是最安全的&#xf…

Hi3861 OpenHarmony嵌入式应用入门--SNTP

sntp(Simple Network Time Protocol)是一种网络时间协议,它是NTP(Network Time Protocol)的一个简化版本。 本项目是从LwIP中抽取的SNTP代码; Hi3861 SDK中已经包含了一份预编译的lwip,但没有…

线程间的通信

文章目录 线程间的通讯技术就是通过等待和唤醒机制,来实现多个线程协同操作完成某一项任务,例如经典的生产者和消费者案例。等待唤醒机制其实就是让线程进入等待状态或者让线程从等待状态中唤醒,需要用到两种方法,如下&#xff1a…

红蓝对抗下的内网横向移动渗透技术详解

一、利用Windows计划任务横向移动 Windows计划任务是一个非常实用的功能,可以帮助我们自动完成一些重复性的任务。比如,我们可以设定一个计划任务来自动备份文件、更新软件、执行脚本等,本文主要介绍了如何利用Windows计划任务进行横向渗透。 &#xf…

C#委托事件的实现

1、事件 在C#中事件是一种特殊的委托类型,用于在对象之间提供一种基于观察者模式的通知机制。 1.1、事件的发送方定义了一个委托,委托类型的声明包含了事件的签名,即事件处理器方法的签名。 1.2、事件的订阅者可以通过运算符来注册事件处理器…

Python基础小知识问答系列-过滤列表元素

1. 问题: 如何根据单一条件过滤列表的元素? 如何根据复杂条件过滤列表的元素? 2. 解决方式: 可以使用推导式生成器,进行单一条件的列表元素过滤,尤其是列表内容较多时; 也可以使用filter函数进行列…