目录
深度学习模型的生命周期
编辑 深度学习模型的生命周期
推理相比训练的新特点与挑战
推理系统架构
推理系统 vs 推理引擎
顶层：API接口和模型转换
中层：运行时（计算引擎）
底层：硬件级优化
边缘设备计算
主要问题
边缘部署和推理方式
方式1：边缘设备计算
方式2：安全计算 + 卸载到云端
方式3：边缘设备 + 云端服务器
方式4：分布式计算
方式5：跨设备 Offloading
深度学习模型的生命周期
深度学习模型的生命周期
- 训练过程通过设计合适 AI 模型结构以 及损失函数和优化算法，将数据集以 mini-batch 反复进行前向计算并计算损失 ，反向计算梯度利用优化函数来更新模型，使得损失函数最小。训练过程最重要是梯度计算和反向传播。
- 推理在训练好的模型结构和参数基础上 ，一次前向传播得到模型输出过程。相对于训练，推理不涉及梯度和损失优化 。最终目标是将训练好的模型部署生产环境中
