融合创新！全局特征+局部特征，性能优于Transformer

在图像处理领域，全局特征和局部特征融合是一种常见且十分高效的策略，用于提高图像分析和识别任务的性能。

这种融合策略综合利用了不同特征之间的优势互补，可以提高系统的鲁棒性、提升处理效率及实际应用中提高图像检索的准确率，是CV领域值得深入研究的重要方向。

本次分享全局特征+局部特征10种融合创新方案，有最新的也有经典的，可借鉴的方法和创新点我做了简单介绍，原文以及相应代码都整理了，方便同学们学习。

论文原文以及开源代码需要的同学看文末

方法：本文提出了一种用于自动语音识别（ASR）的高效双并行分支编码器InterFormer。在InterFormer中，作者利用卷积分支提取局部特征，利用Transformer分支捕捉全局表示。在Aishell-1数据集上性能优于Conformer和Transformer模型。

创新点：

本文提出了InterFormer作为一种交互式本地和全局特征融合的方法，以学习更好的ASR表示。InterFormer采用了平行设计，结合了卷积块和Transformer块。此外，还提出了双向特征交互模块（BFIM）和选择性融合模块（SFM）来实现本地和全局特征的交互和融合。
SFM方法能够动态地融合卷积和Transformer分支的特征，并有效地结合来自双分支的信息，以权衡每个分支在不同层中的重要性。

方法：本文提出了一种基于联合局部全局特征的无监督点云异常检测框架，称为PointCore。PointCore只需要一个内存库来存储局部全局表示，并为这些局部全局特征分配不同的优先级，以减少推理过程中的计算复杂度和特征不匹配的干扰。

创新点：

全局和局部配准：
- 作者使用FPFH特征描述符和RANSAC算法实现了点云的全局配准，并引入了点-平面ICP算法来局部优化全局配准的结果。
- 这种方法提高了点云配准的稳定性，并通过最小二乘问题的最小二乘方法解决了配准的损失函数。
内存库构建：
- 作者提出了一种贪婪的下采样算法来对点云进行采样。
- 通过构建内存库，将局部（坐标）和全局（PointMAE）表示存储在单个内存库中，降低了计算复杂度和特征不匹配的干扰。
- 引入了基于排名的归一化方法，可以将不同尺度的值调整到一个概念上的公共尺度，并将密集分布的数据转化为均匀分布，以提高鲁棒性。

方法：论文开发了一种新的地点识别模型UMF，该模型通过融合视觉和LiDAR数据的局部和全局特征，并基于单模态局部特征进行重新排序，以提高Simultaneous Localization and Mapping (SLAM)系统的可靠性和性能。

创新点：

引入Super-Features
- Super-Features 是一种中级场景表示方法，在地点识别任务中表现出色。
- 通过对Super-Features进行对比学习，通过Transformer层传递局部特征来训练Local Super-features Integration Transformer (LIT)。
- Super-Features的构建包括一个迭代的注意力模块，可以生成一个集合，其中每个元素都关注于一个局部和具有辨识度的图像模式。
引入自注意力和交叉注意力
- 在UMF模型中，引入自注意力和交叉注意力机制，以增强模型对输入数据不同部分的动态关注能力。
- 自注意力层使模型能够对单个模态（F Vision或F LiDAR）内的特征分配不同的重要性权重，从而捕捉局部和全局上下文中的模式。
- 交叉注意力层将两个模态（F Vision和F LiDAR）的特征作为输入，从而使模型能够捕捉两个模态之间的相关模式，从而学习更丰富的场景表示。