在许多计算机视觉应用中(例如机器人运动和医学成像),需要将来自多幅图像的相关信息集成到一幅图像中。这种图像融合将提供更高的可靠性、准确性和数据质量。
多视图融合可以提高图像的分辨率,同时恢复场景的 3D 表示。多模态融合结合了来自不同传感器的图像,称为多传感器融合。其主要应用包括医学图像、监控和安全。
一、图像融合级别
工程师根据融合完成的阶段,在三个级别执行图像融合 (image fusion)。
-
像素级图像融合。这种图像融合方法处于较低级别,且易于执行。它包含两个输入图像的特征并生成平均的单个结果图像。
-
特征级图像融合。它从多个来源对图像特征(大小、颜色)进行校正,从而在特征提取后生成增强图像。
-
基于块(区域)的图像融合。这是一项高级技术。它采用多阶段表示并根据区域计算测量值。
二、图像融合的类型
单传感器图像融合方法
将现实世界捕捉为一系列图像。该算法将一组图像组合起来,生成具有最佳信息内容的新图像。例如,在不同的照明条件下,人类操作员可能无法检测到物体,但会在融合后的图像中突出显示它们。
这种方法的缺点是在某些传感领域使用的图像