文章链接：https://dl.acm.org/doi/10.1145/3581783.3613436

文章题目

Limited-Reference Image Quality Assessment: Paradigms and Discussions

发表年限

2023

期刊/会议名称

MM’23: Proceedings of the 31st ACM International Conference on Multimedia

动机

• 图像质量评估 IQA 指标是比较和改进图像增强算法的关键。但都存在一个共同的问题，也就是参考信息有限。
• 作者称这种类型的 IQA 任务为 $limited$-$reference$ $IQA$。
• 在图像 $SR$ 和重定向任务中，参考图像的大小与 $SR$ 图像和重定向图像的大小不一致。对于 $UIE$ 和 $LLIE$ 任务，它们的参考图像质量明显较低。这些任务的 IQA 都属于具有有限参考信息的场景。然而，在这些增强过程中，参考信息仍然是保证结构一致性不可或缺的。
• 如何利用有限的参考信息来评估退化图像的质量？
• 特定任务的 IQA 模型通常只关注特定 IQA 任务引入的失真。模型泛化能力较差，在实践中缺乏灵活性。

主要思想或方法架构

• 对于传统的图像处理任务，如图像采集、压缩、传输等，都存在未受损的参考图像。
• 因此，可以通过与其参考图像的像素级相似性指数来评估扭曲图像的质量。

• 其中 $X$ 代表一个完美的参考图像(标记为 $Q(X)=1$)， $Y$ 代表一个扭曲退化的图像。$M_g$ 为一般 FR-IQA 模型。$Q_g$ 为相应的质量分数。
• 然而，对于参考信息有限的场景，上述两个约束无法满足。因此，$M_g$ 不能在这种情况下工作。
• 鉴于此，研究人员针对不同的图像增强任务开发了一系列特定任务的 IQA 模型( $Task$–$Specific$ $IQA$ $Models$ )。

• 其中 $Y$ 表示扭曲的图像，可以是 $SR$ 图像、重定位图像、增强的水下图像、增强的低光图像。$M_{SR}$ 表示特定于 $SR$ 的 IQA 模型，$Q_{SR}$ 是相应的质量分数。

• 特定任务的 IQA 模型泛化能力较差，在实践中缺乏灵活性。因此，作者致力于为参考信息有限的场景开发统一的 IQA 模型。可以表示如下：

• 为了构建统一的 IQA 模型，作者将这个具有挑战性的问题分为两个子问题:

  1. 第一，是否使用参考图像?
  2. 第二，如何使用参考图像?

• 具体来说，对于图 $SR$ 和重定向任务，即使它们的信息有限，它们的参考图像也不会受损。因此，从参考图像中提取的信息/特征通常有利于质量评估。

• 然而，对于 $UIE$ 和 $LLIE$ 任务，它们的参考图像都有不同程度的受损。在这种情况下，从严重受损的参考图像中提取的信息/特征可能会误导质量评估。

• 对于第一个子问题，公式可以修改为：

• 其中 $T(\cdot )$ 表示特征映射函数，目的是将参考图像 $X$ 映射到一个值。
• ${\theta }_T$表示阈值。
• 如果 $T(X)$ $\ge$ ${\theta }_T$ ，$M_u$ 将使用参考图像。否则，$M_u$ 将不使用参考图像。
• 对于第二个子问题，公式可以修改为：

• $F(X)$ 和 $F(Y)$ 分别表示 $X$ 和 $Y$ 的特征表示。理想的统一模型由特征映射函数 $T(\cdot )$、特征提取模块 $F(\cdot )$ 和感知距离计算模块 $M_u(\cdot )$ 组成。

实验结果

• 与 $DISQ$ 模型相比，作者的 $SR$-$IQA$ 指标具有较低的预测偏差。
• 度量标准和平均意见分数 $MOS$ 之间的细微差距表明作者提出的度量标准在 $SR-IQA$ 中取得了卓越的表现。