Evaluation in Neural Style Transfer: A Review
公和众和号:EDPJ(进 Q 交流群:922230617 或加 VX:CV_EDPJ 进 V 交流群)
目录
0. 摘要
1. 简介
2. 神经风格转移方法
0. 摘要
神经风格转移(Neural Style Transfer,NST)领域在过去几年取得了显著的进展,各种方法能够合成具有卓越质量的艺术性和照片逼真的图像和视频。为了评估这样的结果,使用了多样的评估方法和指标,包括基于并排比较的作者意见、量化参与者主观判断的人类评估研究,以及大量客观评估算法性能各方面的定量计算指标。然而,关于最适合和有效的评估程序(能够确保结果的可靠性)目前尚无共识。在这篇综述中,我们深入分析了现有的评估技术,指出了当前评估方法的不一致性和局限性,并为标准化的评估实践提出了建议。我们认为建立一个强大的评估框架不仅能够使NST 方法之间进行更有意义和公平的比较,还将增强对该领域研究结果的理解和解释。
1. 简介
神经风格转移(NST)评估领域的概览如图 1 所示。人类评估研究和计算度量被包括在定量评估类别中。然而,为了与当前文献保持一致,我们将我们的综述结构化为三个评估领域(用蓝色突出显示):定性评估、人类评估研究和定量评估度量。
2. 神经风格转移方法
Jing 等人 [2] 将 NST 算法分为基于图像优化的在线神经方法(在线优化生成模型)和基于模型优化的离线神经方法(离线优化生成模型,然后通过单次前向传递产生风格化结果)。在他们的分层分类法中,较低层次将方法分为非逼真和逼真两个分支,最终的节点将方法进一步分类为图像和视频。在本文中,我们采用类似的分类法(taxonomy),通过区分所研究的 NST 方法应用的媒体(图像和视频)来进行分类。
我们专注于一旦训练完成,就能够在给定输入内容图像/视频的情况下合成风格化输出的模型(根据网络的能力可能还有多个或任意风格的参考样式图像)。我们不包括文本到图像的技术,例如利用 CLIP [6] 的技术。我们对评估技术的综述基于对单一输出的分析。因此,我们不评估风格化的不同方面,比如在各种风格之间的插值。此外,尽管 NST 也应用于 3D 数据,但在这里我们主要关注应用于图像(表 I-VI)和/或视频(表 VII)的 NST 方法所使用的评估技术。