论文阅读[2023ICME]Edge-FVV: Free Viewpoint Video Streaming by Learning at the Edge

Edge-FVV: Free Viewpoint Video Streaming by Learning at the Edge

会议信息：
Published in: 2023 IEEE International Conference on Multimedia and Expo (ICME)

作者：
在这里插入图片描述

1 背景

FVV允许观众从多个角度观看视频，但是如果所选视点的视频帧不能及时加载或者从相邻视点的多个视频流合成，用户可能会遇到延迟。

2 挑战

a.FVV视图合成过程可能会消耗大量的带宽和计算资源
b.更多边缘缓存可以减少每个用户虚拟视图合成延迟，但设置缓存越多，每个缓存可能存储更少的参考视点

3 贡献

a.提出了一种边缘辅助FVV系统edge-FVV
b.分析了缓存容量与延迟之间的关系，在虚拟视图合成的延迟和从服务器下载的延迟之间取得平衡

4 系统建模

4.1服务架构

在这里插入图片描述

a.Edge-FVV采用三层架构，由服务器、边缘缓存和用户组成
b.Edge-FVV中，选择一种易于实现的视频帧插值(VFI)方法补充两张原始参考图像之间缺失的视点
c.请求视点和合成的过程

4.2 容量与延迟的关系

部署的缓存越多，每个缓存所服务的用户就越少，从而导致缓存为用户服务所需的虚拟视图合成时间越少。
如果缓存服务的用户较少，则缓存中的引用视点数量可能较少，这反过来又会增加从服务器下载引用视点的可能性。

对于单个参考视频流𝑣𝑘被特定用户使用的概率是在这里插入图片描述

𝑣𝑘 在第i个缓存中没有任何用户使用的概率为在这里插入图片描述

𝑚𝑖表示存储在第i个边缘缓存中的参考视频的数量，其期望在这里插入图片描述

4.2.1 视频下载和合成的延迟

在这里插入图片描述

4.2.2 视频下载和合成的延迟

在这里插入图片描述

4.3 基于机器学习的用户分配

我们将第i个用户可以连接到的边缘缓存表示为该用户的代理集𝐴𝑖，并且Ai的大小为𝑁𝐴。
有两种不同的方式来匹配第i个用户的请求与附近的缓存
(1)分布式:每个用户自主连接到Ai中的代理
基于Multi-armed bandit的分配
(2)集中式:由拥有全局信息的服务器将用户分配给Ai中的代理
基于DQN的分配
服务用户的数量和缓存的参考视频的数量首先被馈送到两个独立的神经网络(即UserNet和VideoNet)中，以嵌入用户特征和视频特征。
然后将这两个特性连接并送到ValueNet中，以生成每个缓存的Q值。
每次用户的请求到来时，服务器都会为该用户选择一个代理。