从Apple Intelligence到IoT Intelligence,端侧生成式AI时代加速到来

9月10日凌晨1点,苹果新品发布会如期举行,全新iPhone16系列成为苹果生态中真正意义上的第一款原生AI手机,在第二代3nm工艺A18和A18 Pro芯片的加持下,iPhone16系列能够容纳并快速运行以Apple Intelligence为中心的生成式AI功能在手机端侧运行。用库克的话说:“新一代iPhone彻彻底底为Apple Intelligence打造”。

新闻内页2.png

本次发布会的主要亮点除苹果新增的相机控制按钮外,主要集中在苹果对AI生态的全面构建方面。在理解苹果发布会的新功能之前,先带大家回顾一下苹果在生成式AI方面的主要成果。具体来说,苹果开发了两种全新基础语言模型,构成了苹果Apple Intelligence的核心:一个是可以在苹果云服务器中运行的较大参数的大语言模型(LLM),称为AFM-server,专为密集型任务设计,并使用私人云计算(Private Cloud Compute)的系统来保护用户数据;另一个是端侧小语言模型(SLM)AFM-on-device,大约有30亿参数,通过对大语言模型进行剪枝、蒸馏,并通过精选的高质量数据训练和架构调整而来,优化后可以在iPhone和其他终端设备上运行,具备更高效率和响应能力。

新闻内页1.png

▌苹果为何可以称为重新定义了AI手机?

苹果的AI战略通过整合操作系统、软件、模型和数据,强化了对应用场景的理解,训练出了能够深刻洞察用户需求并帮助用户决策的AI Agent。

简单来讲,相较于各类传统的生成式AI应用工具,苹果将AI功能融合到用户使用手机的每一个环节,通过手机端侧运行的小语言模型能力让智能手机真正成为日常生活、办公、娱乐的私人管家,它会收集整理手机端本地的各类信息,在用户使用或有需要时主动提供建议或直接帮助实现。并且因为其端侧模型在本地运行的特性,可以充分保护用户的隐私信息安全、提升信息反馈效率。可以说每一个搭载了AI功能的苹果手机都是一个独立的个体。

▌为何大厂们最终选择了端侧AI赛道?

在大语言模型产品的实际应用中,从业者们逐渐意识到大模型存在产品训练成本高、算力需求高、资源消耗大等难点,以及应用适配性差、网络传输不稳定等缺点。在此背景下,AI模型的发展正在着力摆脱网络、参数的多方限制,努力向更简单、更小体量,为应用场景量身定制和跨应用生态的智能化转变。在端侧AI的实际应用方面,2023年3月谷歌推出参数规模达5620亿的PaLM-E的大模型,并在同年10月发布搭载Google AI基础功能的Pixel 8系列手机。2023年11月,vivo发布1750亿规模的自研蓝心大模型,落地终端侧70亿参数大语言模型;2024年9月6日,荣耀CEO赵明在2024德国柏林消费电子展IFA上面向全球推出行业首个跨应用开放生态AI Agent。

新闻内页3.png

不难看出,端侧小模型将成为未来智能手机乃至各类智能终端的语言模型应用样本。IDC(国际数据公司)预计2024年全球新一代 AI 手机的出货量将超过1.7亿部,约占智能手机整体出货量的15%,Counterpoint预计2027年出货量达到5.22亿部,渗透率达到40%。

从大厂们的选择不难看出,随着端侧算力的提升,端侧AI成为大模型终端落地的最优解,模型语言与应用生态融合发展的AI Agent成为未来的趋势。随着软硬件技术的高速发展,相信除智能手机外,各类IoT终端产品也将逐步落地端侧AI,相关硬件算力和通信交互需求也将持续增长。

▌美格智能持续加码高算力AI模组研发,与行业伙伴共建端侧AI新生态

洞察到端侧AI的优势和广阔前景,美格智能围绕高算力、大带宽、低功耗、广链接,打造多款高算力AI模组产品,为端侧小语言模型落地提供12Tops~48Tops算力支持。

在模组强大算力的支持下,不仅能够在模组上成功运行Stable Diffusion、LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna等大模型产品,展现出卓越的边缘端大模型部署能力,同时模组产品丰富的外围接口,能够以AI模组的形式将语音识别、机器视觉、导航、定位、避障和多模态技术通过各种传感器植入到终端侧,帮助终端产品快速收集和整合信息,打造不断学习进步的智能“大脑”,助力客户快速实现端侧AI落地应用,节约开发成本。

新闻内页4.png

同时,面对端侧AI与物联网生态融合发展的新趋势,美格智能以智能车载为切入打造端云协作的智能物联网解决方案。以美格智能在2023年即已发布的车规级5G R16/R17 + C-V2X系列模组为例,该模组具备的5G通信能力和高算力成为端侧+云端结合的混合式AI的落地形式之一,可广泛应用于AI Agent智能座舱、高阶辅助驾驶、无人驾驶、车路云一体化相关领域。

在通信方面,相关模组产品符合3GPP Release 16/17标准,支持5G NR 独立组网(SA)和非独立组网(NSA),兼容全球主流国家和地区的频段,支持选配C-V2X功能,使用全球统一的ITS 5.9GHz频段部署V2X应用,可采用PC5 Mode4模式直连通信,内置ECDSA硬件引擎,可实现高达6000次/秒的C-V2X验签性能,具备在高速移动环境中提供远距离传输、大带宽、低延时连接的优越性能;在算力方面,模组内置多核心CPU处理器,最大支持22K的算力,在充足算力的支持下,车辆可基于C-V2X构建网联智能,实现由端侧车载计算、路侧边缘计算和中心云计算构成的分级、网络化智能决策与控制,快速进行如车辆碰撞预警、车速引导、红绿灯信息获取等应用。

新闻内页5.png

端侧AI是大模型技术落地的最优解,而端侧AI与云侧大模型协同的混合式AI被行业从业者称为“大模型时代的终极范式”,充分适配智能座舱、智能机器人、手持终端、AR/VR眼镜等产品,成为人工智能落地应用的新方向。同时混合式AI生态的发展又对终端的无线通信能力和算力提出了新的要求,集成了4G/5G 通信能力和高算力芯片以及众多功能接口的智能模组和高算力AI模组,或将成为智能终端厂商们的首选。

从苹果的选择来看,随着端侧算力的不断增长和大模型技术的持续演进,终端侧AI与混合式AI或许将成为大模型时代的最终选择。美格智能也将持续不断推出高算力模组和智能模组解决方案,以模组+解决方案双轮驱动,支持更广泛的垂直领域和合作伙伴共同引领生态发展,以先进的无线通信和AI技术加快实现万物智联的美好愿景。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/53908.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python 基本库用法:数学建模

文章目录 前言数据预处理——sklearn.preprocessing数据标准化数据归一化另一种数据预处理数据二值化异常值处理 numpy 相关用法跳过 nan 值的方法——nansum和nanmean展开多维数组(变成类似list列表的形状)重复一个数组——np.tile 分组聚集——pandas.…

从“游戏科学”到玄机科技:《黑神话:悟空》的视角打开动漫宇宙

近日,中国游戏界迎来了一场前所未有的盛事——由游戏科学公司开发的《黑神话:悟空》正式上线,并迅速成为全球玩家热议的焦点。在居高不下的讨论热度中,有人说他的成功在于对《西游记》为背景进行改编,对原著进行了分析…

数据分析与挖掘课程相关资源

这是在gitee上整的关于这门课的一个开源项目。 https://gitee.com/rainpet/python-data-analysis-and-mining-demo 头歌平台。 常见问题: 1、如何确认conda的版本,执行如下命令: conda list anaconda$2、实验室登陆后,无法上网&a…

基于Java+SpringBoot+Vue+MySQL的智能菜谱推荐管理系统

作者:计算机学姐 开发技术:SpringBoot、SSM、Vue、MySQL、JSP、ElementUI等,“文末源码”。 专栏推荐:前后端分离项目源码、SpringBoot项目源码、SSM项目源码 系统展示 基于SpringBootVue的智能菜谱推荐管理系统【附源码文档】、…

“汉语新解” Prompt新高度,火爆的李继刚

“汉语新解” prompt 是由李继刚设计的一个用于启发人工智能模型进行创意性文本生成的指令模板。这个 prompt 的设计初衷是为了让AI能够以一种独特的方式解析和重新诠释常见的中文词汇,从而产生出具有深刻洞察力和幽默感的文本内容,仿佛是由鲁迅或林语堂…

装杯 之 Linux 指令1

hello,欢迎来到linux世界,在害没有学习linux时,看到别人操作,网课,真高级,感觉好厉害,就是说白了,看起来牛逼。ok,接下来,请大佬们进入linux之旅。 1.ls指令…

mfc140u.dll错误是什么情况?如何将mfc140u.dll丢失的解决方法详细分析

mfc140u.dll是 Microsoft Foundation Class (MFC) 库的一部分,通常与 Visual Studio 2015 及其后续版本相关联。如果系统中缺少 mfc140u.dll,可能会导致依赖该库的应用程序无法启动,并显示错误消息,如“程序无法启动,因…

分类预测|基于麻雀优化支持向量机的Adaboost集成的数据分类预测Matlab程序SSA-SVM-Adaboost

分类预测|基于麻雀优化支持向量机的Adaboost集成的数据分类预测Matlab程序SSA-SVM-Adaboost 文章目录 一、基本原理SSA-SVM-Adaboost 分类预测原理和流程总结 二、实验结果三、核心代码四、代码获取五、总结 一、基本原理 SSA-SVM-Adaboost 分类预测原理和流程 1. 麻雀优化算…

开源FormCreate低代码表单组件的配置项和事件的详解

在使用开源FormCreate低代码表单时,您可以通过各种 props 来定制表单的行为和外观。这些参数允许您控制表单的生成规则、配置选项、双向数据绑定等,为复杂的表单场景提供了强大的支持。 源码地址: Github | Gitee FormCreate组件Props 以下是常用的 pr…

由于安装nvm 引发的vue : 无法将“vue”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。

🎈亲爱的读者朋友们: 如果你觉得这篇文章对你有所帮助,恳请你为我点个赞👍。你的每一个赞都是对我辛勤创作的认可,是我继续前行的动力源泉。 同时,也欢迎你关注我的 CSDN 博客。在这里,我会持续…

探索数据可视化的奥秘:Seaborn库的魔力

文章目录 探索数据可视化的奥秘:Seaborn库的魔力背景:为何选择Seaborn?Seaborn是什么?如何安装Seaborn?简单函数介绍与示例场景应用示例常见问题与解决方案总结 探索数据可视化的奥秘:Seaborn库的魔力 背景…

深度剖析iOS渲染

iOS App 图形图像渲染的基本流程: 1.CPU:完成对象的创建和销毁、对象属性的调整、布局计算、文本的计算和排版、图片的格式转换和解码、图像的绘制。 2.GPU:GPU拿到CPU计算好的显示内容,完成纹理的渲染, 渲染完成后将渲…

c# Csv文件读写示例,如果文件存在追加写入

功能 1.写入 2.读取 导出文件效果 调用示例 注意示例中的ToDataTable()方法是自己的封装的扩展方法&#xff0c;源码在集合扩展方法-CSDN博客 private List<MarkDataModel> createMarkDataList(int count){var markDataModels new List<MarkDataModel>();for (…

RTMP播放器延迟最低可以做到多少?

技术背景 RTMP播放器的延迟可以受到多种因素的影响&#xff0c;包括网络状况、推流设置、播放器配置以及CDN分发等。因此&#xff0c;RTMP播放器的延迟并不是一个固定的数值&#xff0c;而是可以在一定范围内变化的。 正常情况下&#xff0c;网上大多看到的&#xff0c;针对R…

小琳AI课堂:LLaMA 3.1 开源大模型的全新里程碑

引言 大家好&#xff0c;这里是小琳AI课堂&#xff01;今天我们要聊的是Meta最新发布的开源大模型LLaMA 3.1。这个版本在AI界掀起了不小的波澜&#xff0c;不仅在参数规模上有显著提升&#xff0c;还在多项性能上实现了突破。让我们一起来看看LLaMA 3.1带来的新变化和意义吧&a…

爆改YOLOv8|利用SCConv改进yolov8-即轻量又涨点

1&#xff0c;本文介绍 SCConv&#xff08;空间和通道重构卷积&#xff09;是一种高效的卷积模块&#xff0c;旨在优化卷积神经网络&#xff08;CNN&#xff09;的性能&#xff0c;通过减少空间和通道的冗余来降低计算资源的消耗。该模块由两个核心组件构成&#xff1a; 空间重…

PHP轻量级高性能HTTP服务框架 - webman

摘要 webman 是一款基于 workerman 开发的高性能 HTTP 服务框架。webman 用于替代传统的 php-fpm 架构&#xff0c;提供超高性能可扩展的 HTTP 服务。你可以用 webman 开发网站&#xff0c;也可以开发 HTTP 接口或者微服务。 除此之外&#xff0c;webman 还支持自定义进程&am…

Obsidian git sync error / Obsidian git 同步失敗

Issue: commit due to empty commit message Solution 添加commit資訊&#xff0c;確保不留空白 我的設置&#xff1a;auto-backup: {{hostname}}/{{date}}/

Scala尾递归解决爆栈问题

引言 我在上篇中详细的讲了递归的一系列问题&#xff0c;多路递归&#xff0c;爆栈问题&#xff0c;尾递归优化等&#xff0c;今天就实际演示一下尾递归是如何解决爆栈问题的&#xff0c;以及它的原理是什么&#xff1f; 支持尾递归优化的语言 尾递归是一种特殊的递归形式,如果…

SpringBoot开发——整合Logbook进行HTTP API请求响应日志输出

文章目录 1. 简介依赖管理2. 实战案例2.1 基本用法2.2 结合Logback日志记录到文件2.3 自定义核心类Logbook2.4 自定义日志输出Sink2.5 与RestTemplate集成1. 简介 记录HTTP API请求响应日志对于监控、调试和性能优化至关重要。它帮助开发者追踪API的使用情况,包括请求来源、参…