在线深度学习：爱奇艺效果广告分钟级模型优化

01#

背景

在效果广告投放场景中，媒体侧需要准确衡量每次请求的价值，模型预估值在广告竞价中扮演着核心角色。模型预估精度的提升，是改善媒体侧变现效率、提升广告收益的核心技术驱动力。

此前，爱奇艺效果广告预估模型为小时级模型，从广告投放到效果反馈线上模型有数个小时的延迟。从23年下半年开始，我们致力于从模型时效性优化的方向提升模型能力，将小时级模型升级为分钟级在线深度学习（ODL），在爱奇艺流量取得了6.2%的收入提升。与小时级等离线模型相比，ODL的应用面临着来自工程和效果两方面的挑战，本文总结了ODL落地中遇到的挑战、思考及相应的解决方案。

02#

ODL挑战及解决方案

从整个系统架构来看，ODL的落地需要重点关注如下几个要求和问题：

工程框架：

稳定性：流式链路鲁棒性要求较高，需避免积压或中断；
时效性：推理端模型更新应具备较高的时效性；
兼容性：框架需有良好的灵活性，能够兼容离线/在线、pCTR/pCVR等模型。

模型效果：

解决实时样本延迟反馈问题；
模型灾难遗忘问题；
样本独立同分布要求。

工程框架

1.服务鲁棒性

ODL简要流程如下图所示，为了流式服务鲁棒性，关键节点进行了相应的优化：

图1

a.样本持续稳定输出

在线样本每5分钟生产1个批次。为了从源头保证整个链路正常运转，样本的基础数据源——基于数据湖特征快照，部署了两个集群的高可用方案，样本生产模块能够在集群服务异常时自动切换。

b.模型高效训练

ODL初版上线时，每条样本序列化为json类型发送至Kafka，导致下游分布式训练环节存在大量解析、对齐特征的操作，CPU负载上限仅40%，模型训练效率较低。为了避免Kafka样本积压，只能增加并行训练节点，但异步训练场景中，训练节点增加容易带来梯度过期问题。

为了解决问题，通过在样本发送至Kafka时直接序列化为tensorflow原生支持的Example类型，在同资源下，将Kafka消费QPS上限提升了10倍，CPU负载从40%提升至100%，解决了ODL训练效率瓶颈问题，同时大幅减少分布式训练节点数。

2.模型更新时效性

a.模型训练和导出

天级/小时级等离线训练任务一般是在训练任务完成后，由chief节点导出模型文件。但对于ODL任务来说，chief/worker节点需要持续不断地接收新的样本，因此需要对于evaluator节点进行改造，以在满足batch_size增量要求和10分钟的间隔要求后，导出新版模型。

图2

b.模型部署

模型推理出于灾备和性能考虑，需进行多地、多机房部署。为提高模型更新效率，首先上线了多地机房并行更新，但这也引入了新的性能问题：多地机房数千个容器节点同时从S3下载模型时会遇到速度瓶颈，为了解决该问题导致的模型更新瓶颈，通过icache功能实现机房内P2P分发，降低S3服务压力。

图3

3.框架灵活性

a.兼容不同场景

为保证模型效果（详见02-模型效果），ODL模型每天使用天级模型参数进行初始化，故调度框架在设计时对于天级/小时级/在线模型训练应具备较好的兼容性。同时调度框架支持自定义归因窗口，以兼容不同模型所需求的差异化正样本回收。

b.灾备处理

在监控和灾备处理方面，不仅需要关注服务的执行进度，同时必须对于线上服务质量（样本相关指标/离在线模型预估指标）进行监控。若线上模型学偏（如AUC/预估偏差异常），自动回退至当天warm start版本。

图4

模型效果

1.延迟反馈问题

训练样本的label准确性对于模型学习效果有着直接的影响。

首先，即使样本中混杂比例极低的label冲突样本，仍会导致模型效果严重退化。
其次，在线训练对于样本时效性要求也比较高，从而能够快速感知用户/广告/上下文的变化。

因此，ODL样本需要在准确性和时效性中进行平衡。在实践中进行了如下几点优化：

离线样本：如2.1.3所述，构建天级样本，label准确性高，训练天级模型作为当天ODL模型基线。
ODL样本：首先让曝光日志等待一段时间（归因窗口），归因窗口结束后，发送1条样本至Kafka。若归因窗口内回收到点击，则标记为正样本，反之为负样本。
PU-loss思想：若点击在归因窗口外回收到，且归因时长在有效窗口范围内，则再次发送1条正样本，但是该样本会进行特殊标记，对于此类样本，借鉴了PU-loss思想，在交叉熵损失基础上进行调整，用于修正此前发送的负样本对于损失函数的影响。