科技云报道:AIGC掀算力需求革命,边缘计算将不再“边缘”

科技云报道原创。

随着以大模型为代表的AIGC时代拉开序幕,算力需求持续爆发,AI与边缘深度融合已是大势所趋,越来越多的企业开始积极布局GenAI。

GenAI技术的商用化部署和应用成为企业竞逐的新阵地,勾勒出大模型从“技术力”转向“生产力”的新生态。

算力就是生产力,更丰富的算力资源成为人工智能竞争的核心基石。

IDC预计,全球AI计算市场规模将从2022年的195亿美元增长到2026年的346.6亿美元,其中GenAI计算市场规模将从2022年的8.2亿美元增长到2026年的109.9亿美元。

GenAI计算占整体AI计算市场的比例将从4.2%增长到31.7%。
在这里插入图片描述

AI算力瓶颈下边缘计算崛起

随着AI大模型爆发,大模型迭代和训练所需的算力呈指数级增长。同时,单个AI超算规模也受到功耗、土地、散热等因素制约,算力供给与需求的缺口持续放大。

此前,ChatGPT官网一度停止Plus付费项目的购买,GPT-4推出之后也已多次下调付费用户访问限制,原因是访问量激增超出了服务器的承受能力。

随着这场GenAI热潮逐步扩张,算力短缺已成为行业面临的共同挑战。

如果说传统算力是AI大模型的筋骨,那么边缘算力就是遍布全身的神经系统。

英伟达指出,为了有效运用算力达成AI应用目标,大规模数据中心势必要增加资本支出以扩大云端运算效能,同时也将带动边缘设备的销售。

在AI向实际场景落地的过程中,边缘算力的重要性将加速凸显。未来的AI运算将呈现出“训练与迭代在云端、推理与内容生产梯度分布(云侧+雾侧+边缘侧)”的格局变化,边缘算力有望成为AI算力的重要组成部分。

相较于传统云端,边缘计算作为一种分布式计算架构,具有低延迟、高安全性、高可靠性、保护用户隐私等优势,其在实时决策在自动驾驶、医疗保健、金融、制造等各个领域都至关重要。

从效率方面看,边缘计算使GenAI模型能够在边缘处理数据,从而显着减少延迟并实现更快洞察。这意味着可以实时做出关键决策,从而提高运营效率、增强客户体验和更好的整体业务成果。

其次,通过利用边缘计算,企业可以在边缘设备网络上分配计算负载,从而优化资源利用率并有效扩展。这种方法最大限度地减少了集中式云基础设施的压力并优化了带宽使用,从而节省了成本并提高了性能。

第三,通过边缘计算,GenAI模型可以直接在边缘设备或本地服务器上运行,最大限度地减少将敏感数据传输到集中式云服务器的需要。

通过使数据更接近其来源,公司可以显着降低与数据泄露、未经授权的访问和合规性问题相关的风险。

从关系上看,边缘计算并不寻求取代云计算,相反是对其重要的补充。边缘计算和云之间的协作可实现混合架构,最大限度地发挥两种范式的优势。

GenAI模型可以利用云的可扩展性和存储功能,同时受益于边缘设备的低延迟和本地处理能力。这种融合确保了GenAI采用的多功能且适应性强的基础设施。

边缘计算重构生产力边界

随着企业开始越来越多地拥抱AI,边缘计算和AI的融合拥有改变全球行业的巨大潜力。通过利用本地化处理、实时洞察和优化的资源利用,可以充分释放AI的全部潜力,同时保护敏感数据并推动组织进入AI时代。

对此,全球科技巨头开始将目光越来越多地转向这一领域。

比如,华为、高通均推出边缘AI产品。去年3月,高通中国在安卓手机上首次演示了模型参数超过10亿的Stable Diffusion;华为于去年7月发布智慧搜图功能,该功能通过对模型进行小型化处理。

华为与高通一定程度上验证了高性能边缘AI的可行性,并且表明通过模型压缩+联网智能的方式有望在边缘端实现AI大模型的体验。

此外,英伟达黄仁勋也表示,人工智能的下一个浪潮将是具身智能。具身智能能够在物理世界中进行操作和感知,输出各种机械动作。

具身智能将边缘算力需求提升到了一个新高度,具身智能的“大脑”不仅要处理视觉信息、生成提示词,更要负责输出指令来执行机械动作。在移动芯片无法满足所需算力的场景下,边缘IDC将是算力的有效补充措施。

AIPC、AI手机、具身智能、自动驾驶等AI新应用的兴起,无疑为边缘云市场带来了巨大影响,这种影响既体现在市场规模的扩张,也反映在技术要求的提升方面。

AIPC、AI手机作为AI普惠的终端,其本质在于云端与本地端的混合协作,通过利用云端的大数据处理能力来丰富本地设备的使用场景。

这种混合协作模式对云计算的性能和稳定性提出了更高的要求,同时也为云计算带来了更多的数据处理和存储需求。

边缘云作为离用户最近的数据处理中心,能够迅速响应这些需求,提供低延迟、高带宽的数据处理服务。

具身智能和自动驾驶的发展,更是推动了边缘云市场的快速增长。智能机器人需要在真实的物理环境下执行各种任务,这就需要边缘云提供强大的实时计算能力和数据交互能力。

不仅如此,边缘AI应用场景仍在持续丰富。边缘云服务提供商Zenlayer技术专家表示,对于实时性要求极高的应用,如自动驾驶和智能制造,边缘计算能够提供毫秒级的低延迟响应。

通过在车辆或生产线上部署边缘计算节点,客户可以实时处理传感器数据,进行决策和控制,从而确保安全和高效的生产运行。

其次,对于需要处理大量数据的应用,如智能视频监控和智慧城市,边缘计算能够减轻中心云的压力,实现数据的本地化处理。

通过在摄像头或传感器附近部署边缘计算设备,可以对视频流进行实时分析,识别异常事件,并及时进行响应。

此外,边缘计算还能够解决大模型在数据传输和隐私保护方面的问题。通过将模型推理过程放在边缘端进行,可以减少数据传输量,降低网络带宽要求,同时保护用户数据的隐私和安全。

事实上,目前已有企业开始探索边缘计算在AI大模型中的应用。

据Zenlayer技术专家介绍,某家专注于大模型技术的初创企业基于Zenlayer提供的一整套SDN解决方案,通过智能路由和数据传输协议优化等手段,搭建了一条高效稳定的数据传输通道,确保大模型在训练、推理等关键环节都能获得及时、准确的数据支持,从而显著提升了模型的应用效果和用户体验。

此外,还有对于一些AI大模型客户希望将算力资源部署至海外,Zenlayer针对这类需求,提供了算力托管或算力租赁服务,将计算资源部署在靠近用户的边缘数据中心,使大模型推理能够在本地进行,极大地降低了数据传输的延迟和成本。

同时,Zenlayer还为客户提供了一系列数据本地存储和传输方案,在满足各个国家对数据合规要求的同时,尽量优化业务交互体验。

结语

如果把视线放得更长远,在AI等众多颠覆性技术的背后,总离不开边缘计算的存在。当全球都沸腾在AIGC的风潮里,边缘云服务商正通过边缘端和云边的融合协同,满足更多元的AI应用场景,以更自如的算力,让AI技术更自如地普惠。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/2039.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

web漏洞合集描述和修复建议

完整Excle文件可移步至知识星球查看下载 星球不定时分享网上各种资料,欢迎大家加入交流。

NX二次开发UF_LAYER(图层相关操作)常用函数

目录 一、概述 二、函数的介绍 2.1 UF_LAYER_ask_category_info (查询图层类别信息) 2.2 UF_LAYER_ask_category_tag(查询图层类别TAG) 2.3 UF_LAYER_ask_status(查询图层的状态) 2.4 UF_LAYER_ask_wo…

docker 报错 error adding seccomp filter rule for syscall clone3

网上有一些说法,例如重新安装docker 但是我自己尝试,用 –security-opt seccompunconfined 就可以,但是需要把这个命令放到紧挨着run的位置,如果放到偏后的位置,可能不起作用。 以下命令是其他网友启动是的命令&…

UG10.如何设置鼠标滚轮操作模型放大缩小方向?

UG10.如何设置鼠标滚轮操作模型放大缩小方向呢?看一下具体操作步骤吧。 首先打开UG10.软件,在主菜单栏选择【文件】下拉菜单,选择【实用工具】。 点击【用户默认设置】。 文章源自四五设计网-https://www.45te.com/45545.html 选中【基本环…

mongodb 安装问题

1. mongodb启动时显示 Illegal instruction (core dumped) mongodb 5.0之后(包括5.0) 开始使用需要使用 AVX 指令集 2.启动时报错 ERROR: child process failed, exited with 1 通过指令 bin/mongod --repair 查看报错信息 根据报错信息进行修改

Ps 滤镜:波浪

Ps菜单:滤镜/扭曲/波浪 Filter/Distort/Wave 波浪 Wave滤镜可以在图像上创建复杂且可控的波浪形变效果。此滤镜提供了丰富的选项,可以精确调整波浪的形状、大小和分布,以实现不同的视觉效果。 “波浪”滤镜通过对图像应用数学波形函数来扭曲图…

自己写的加密案例4——某东方课程头部sign加密

网址:aHR0cHM6Ly9kc2FwaS54ZGYuY24vcHJvZHVjdC92Mi9jbGFzcy9zZWFyY2g 进行抓包分析,发现请求头中由sign加密,简单判断是消息摘要算法。 Sign:d7c68100ca508bb7c8ae284560754303 进行xhr断点,一下子就发现了位置。 s c.sign&…

linux下 Mysql8.0 离线安装

环境:centos7.9 MysqlL8.0.36安装包 链接:https://pan.baidu.com/s/1bKwHr05z8Ye82dT9tntdUA 提取码:3a5z 参考Centos安装MYSQL8(离线可用) 文章目录 1、解压安装2、配置启动2.1 修改配置文件2.2 mysql 启动 3、mysql 测试 1、解压安装 #…

单片机 VS 嵌入式LInux (学习方法)

linux 嵌入式开发岗位需要掌握Linux的主要原因之一是,许多嵌入式系统正在向更复杂、更功能丰富的方向发展,需要更强大的操作系统支持。而Linux作为开源、稳定且灵活的操作系统,已经成为许多嵌入式系统的首选。以下是为什么嵌入式开发岗位通常…

Valentina Studio Pro for Mac:强大的数据库管理工具

Valentina Studio Pro for Mac是一款功能全面、操作高效的数据库管理工具,专为Mac用户设计,旨在帮助用户轻松管理各种类型的数据库。 Valentina Studio Pro for Mac v13.10激活版下载 该软件拥有直观的用户界面,使得数据库管理变得简单直观。…

自动驾驶控制算法

本文内容来源是B站——忠厚老实的老王,侵删。 三个坐标系和一些有关的物理量 使用 frenet坐标系可以实现将车辆纵向控制和横向控制解耦,将其分开控制。使用右手系来进行学习。 一些有关物理量的基本概念: 运动学方程 建立微分方程 主要是弄…

探索数学语言模型的前沿进展——人工智能在数学教育和研究中的应用

数学一直被认为是科学的基石,对于推动技术进步和解决现实世界问题具有重要意义。然而,传统的数学问题解决方式正面临着数字化转型的挑战。MLMs的出现,预示着数学学习和研究方式的一次革命。 MLMs,包括预训练语言模型(…

不安全软件,2024 年供应商该如何应对漏洞?

关键在于代码 使用专用工具和系统分析产品代码编写的各个阶段。 与安全研究人员合作 理想情况下,每个供应商都应该有自己持续的漏洞赏金计划,以测试基础设施、软件发布流程和最终产品。这将有助于在真正的攻击发生之前发现漏洞,保护客户。…

丰田是如何用精益理念改变制造业的?

丰田,这个全球知名的汽车制造商,不仅以其高质量的产品赢得了消费者的信赖,更以其独特的精益理念深刻改变了整个制造业的面貌。那么,丰田究竟是如何用精益理念引领制造业变革的呢?天行健精益管理培训公司解析如下&#…

思科 Packet Tracer 实验八 DHCP基本配置(以路由为中继)

一、实验目的 了解思科网络设备的配置基本特点及 IOS 命令基本操作方法 了解DHCP的工作原理及基本配置 二、实验过程 1) 实验拓扑如下: 2)由于使用DHCP‘协议动态配置ip,所以除了DHCP服务器和路由器接口外其他的主机,服务器的i…

LeetCode 热题 100 Day04

矩阵相关题型 Leetcode 73. 矩阵置零【中等】 题意理解: 将矩阵中0所在位置,行|列置换为全0 其中可以通过记录0元素所在的行、列号,来标记要置换的行|列 将对应位置置换为0 解题思路: 第一个思路: 可以…

CSRF 跨站请求伪造

CSRF漏洞 CSRF(Cross-site request forgery)跨站请求伪造,也被称为“One Click Attack”或者Session Riding,通常缩写为CSRF或者XSRF,是一种对网站的恶意利用。尽管听起来像跨站脚本(XSS)&…

[Linux][多线程][二][线程互斥][互斥量][可重入VS线程安全][常见锁概念]

目录 1.线程互斥1.互斥相关背景概念2.多个线程并发的操作共享变量,会带来一些问题3.互斥量mutex 2.互斥量的接口1.初始化互斥量2.销毁互斥量3.加锁4.解锁5.使用 -- 改善上面代码 3.互斥量实现原理探究1.加锁是如何保证原子性的?2.如何保证锁是原子性的&a…

【计算机组成原理】浮点运算方法和浮点运算器

浮点加法、减法运算 浮点数加减法的步骤结合题目分析步骤 浮点数加减法的步骤 ① 0 操作数检查 ② 比较阶码大小,完成对阶 ③ 尾数进行加减法运算 ④ 结果规格化 ⑤ 舍入处理 ⑥ 判断结果是否溢出 结合题目分析步骤 例:设 x 2010 0.11011011&#x…

Hadoop3:HDFS、YARN、MapReduce三部分的架构概述及三者间关系(Hadoop入门必须记住的内容)

一、HDFS架构概述 Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。 1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件…