产品经理的大语言模型课 04 -模型应用的云、边、端模式对比

算力部署方式的影响因素

最近和人工智能从业者进行了非常广泛的沟通，尝试对模型应用的云、边、端模式进行对比。

2015 年前后语音和图片相关的人工智能应用逐渐兴起，目前在不少通用场景下，都已经有了比较成熟的 AI 应用服务，例如人脸比对、车牌识别等。

而人工智能的落地离不开“计算能力”，或者说算力。考虑到业务场景下各种因素的影响，算力部署的位置选择就有所不同。

数据量

在很多应用场景中，尤其是与物联网终端设备相关的场景下，设备采集的数据非常庞大，如果将所有原始数据上传云端再进行处理，带宽费用可能远超计算成本。
以 200 万像素摄像机为例，即便采用最新的 H.265 编码，一台摄像机一天的录像空间也要 20G 以上。如果所有视频都进行实时上传，占用的带宽就是 2Mb/s，公有云一年的带宽费用就超过 1000 元。

这时，我们通常会考虑在边缘侧，也就是在设备上，或者局域网内，完成数据的初步筛选和处理，减少上传云端的数据量。

计算难度

当面临复杂的计算任务，如人工智能训练、科学模拟或密码学运算时，需要强大的算力支持。这导致对高性能硬件的需求增加，如GPU、TPU或高性能CPU集群。
举个例子，如果你希望部署 DeepSeek R1 满血版，根据某些供应商提供的部署方案，需要两张 H20 的显卡，整体部署费用达到 300 万以上。
绝大多数的项目都没有这么充足的预算。

但是有一些简单的任务，例如图像识别中的目标标定、文字识别、基本人脸比对等，算法成熟，算力要求也不高，这些任务可能只需要 2T，甚至是 0.5T 的算力。
市面上能够提供这种能力的芯片供应商则非常多，我们可以选用一些性价比更高的设备。而这些设备放在专业的机房里，占用带宽资源的同时，又无法提供足够的计算价值，通常难以为公有云提供商带来丰厚的利润，所以他们也无意做这样的事情。
所以我们可以把这些低算力的设备，部署在边缘侧。

前期投入

正如许多餐饮店由于不知道后续经营效果如何，所以在开店早期，对大部分贵重的设备采用租赁的方式。
当提到通过人工智能降本增效时，绝大多数企业主对服务的效果是不明确的，他们自然希望能够小成本验证效果。所以租赁模式就是他们的首选。
而边缘设备，尤其是存在绑定关系的边缘设备，其租赁、回收的难度均较大，这类的供应商往往不存在；而云端租赁正是公有云的成熟商业模式，相对容易实现。

数据隐私

在处理医疗、监管、金融等敏感数据时，算力部署必须符合严格的安全标准和法规要求。很多项目要求数据不能上传公网。
同样因为数据隐私的问题，模型训练的数据往往不是公开的，这也意味着市面上难有公开训练的模型，如果客户自己有充足的数据，自己进行模型的训练和部署。
那么在这些时候，边缘化部署就是唯一的选择。

应用规模与泛化能力

2015 年开始，图像类的人工智能算法就已经开始发展和商业化尝试，但十年过去了，我们看到的通用的图像类人工智能算法并没有很多。
其中一个重要原因正是标注数据的缺失，导致算法训练的效果一般，检出率及检准率不足，导致难以商用。换言之，除非场景足够通用、数据量足够大，都难以训练出一个有效的算法模型。

由于使用人群较小，需求并发少，云端租赁的商业逻辑不成立，云服务商不愿意提供此类服务。实际上找 ISV 协助开发难度也较大。
同时训练数据量小，模型泛化能力不足，一种可行的思路是针对特定的场景，进行模型微调训练，并进行针对性部署，每个场景下的模型都是进行过训练的。

因此针对使用人群较小、数据量不足的场景，边缘化部署就变成了更合理的选择。

云、边、端部署的特点和对比

人工智能算法落地的算力部署，往往有云、边、端三种方式：

云端：将计算资源（如CPU、GPU、存储、网络等）集中部署在远程的数据中心，通过互联网向用户提供计算服务
边缘：计算资源部署在靠近数据源或用户终端的边缘节点上，这些边缘节点可以是小型数据中心、基站、路由器、网关等设备，和终端设备在同一个局域网内
终端：计算资源部署在用户终端设备上，如智能手机、平板电脑、智能摄像头、物联网设备等

特性	云端	边缘	终端
算力	强大，无限制	中等，4T-200T，通常只支持 INT8	较弱，通常小于 4T，通常只支持 INT8，设置 INT4
资源部署	灵活，支持租赁	灵活	固定
模型定制	缺乏	支持	支持
算力浪费	较少	较少	潜在较多
并发处理	难处理	好处理	无并发问题
网络费用	高	低	无网络费用
数据隐私	有风险	安全	安全

典型场景举例

社区人脸门禁

社区人脸门禁场景是一个典型的智能安防应用，它利用人脸识别技术，实现对社区出入口的智能化管理。可以实现以下功能：

业主刷脸直接进出小区、单元门
访客在线填写信息，录入人脸，
记录家政、快递、外卖等人员的出入情况，并进行有效管理

同时我们需要兼顾：

小区业主人脸数据属于个人隐私数据，在采集、存储、使用上，需要注意
社区里通常有个机房，机房里已经部署了服务器，作为小区监控、社区服务的载体
如果宽带供应商除了问题，不应该影响小区业主的使用

为了实现这些功能：

首先需要采集人脸数据，并形成人脸库
在小区大门、单元门等地，安装人脸采集设备（门禁等），可以识别人脸
人脸采集后，我们需要通过算法进行人脸比对

因此比较合理的方案架构，可能就是：

云端：负责图片的初步采集，支持业主、访客等人员上传人脸，并下发到社区边缘计算设备，但不做图片存储
边缘：
- 对人脸图片进行编码，形成特征值，并进行存储，形成人脸库
- 对于终端能力较弱的，可以由边缘进行人脸比对
- 对人脸识别记录进行存储和汇总、分析
终端：
- 进行基本的人脸识别、人脸采集
- 较强的终端可以直接进行人脸比对，并上报识别结果给社区服务器（边缘）

后厨老鼠识别

后厨是食品加工的关键场所，一旦出现鼠患，将极大地增加食品污染的风险。目前食品安全作为政府监管的重要方向，监管需求逐渐提升。
另一方面识别老鼠的行动轨迹，能够帮助企业规范后厨管理，提升连锁店运营能力，保护企业形象。

实现上，就是希望在后厨安装摄像机，或利用原有的摄像机，完成监控画面采集，并对画面中有老鼠的画面和视频进行识别分析。实现后厨老鼠识别的难点在于：

由于涉及企业形象，公开的后厨老鼠数据往往是缺失的，因此目前老鼠识别算法并不成熟
老鼠目标较小，且形态较多，皮鞋、帽子、桌腿等都可能被识别为老鼠，检出和检准率难以同时保障
很多连锁店无法为终端设备提供免费的网络环境，需要借助物联网卡，因此流量费较高

同时我们要综合考虑终端设备和边缘计算设备的成本及能力情况：

目前市面上具有老鼠识别功能的摄像机较少，且价格相对较高，而支持定制的能力较弱
具有边缘计算能力的 AI 盒子供应商较多，产品价格相对较优，且内置 Linux 的系统，可以进行服务定制
以 4T 算力的边缘盒子为例，可以对 4 路摄像机进行单个算法的视频分析

所以目前比较合理的方案架构是：

终端（通常是 2-4 路摄像机）：
- 进行初步的筛查，例如移动侦测等
边缘
- 作为视频存储介质
- 对鼠患高发时段（夜间）的视频进行初步筛查，重在检出而非检准
- 将老鼠识别结果上报到云端
- 其他必要的本地管理能力
云端
- 作为连锁经营统一管理平台
- 对老鼠检出结果进行进一步筛查，重在检准
- 生成老鼠活动轨迹、老鼠识别报告等

这里做一些额外的延伸。后厨还有一些其他的人工智能应用，例如垃圾桶是否敞开、是否戴口罩、是否戴帽子、是否有抽烟等，都可以通过边缘计算盒子来完成。
刚刚有提到 4T 算力的边缘盒子可以对 4 路摄像机进行单个算法的视频分析。那个如果涉及到多个算法，又不想更换算力更强（更昂贵）的设备该怎么办？常见的做法有几种：