朋友们，今天给大家推荐一个发小论文很不错的方向：时空特征融合。
时空特征融合是一种提高模型性能和准确性的关键技术，通过结合空间和时间维度的信息，它可以显著提高模型的预测精度和泛化能力，给我们提供更全面的数据洞察和高效的计算方法。
更牛的是，这种方法通过有效的融合策略，可以大幅减少模型训练的计算开销。因此这种技术迅速成为了当前的学术热点，被广泛应用于遥感图像处理等其他需要处理时空数据的领域。
为帮助同学们深入了解该方向，获得论文灵感，我整理了8个时空特征融合最新的idea方案，可以直接参考，开源的代码已附，方便大家理解复现。
论文原文+开源代码需要的同学看文末
MFF-EINV2: Multi-scale Feature Fusion across Spectral-Spatial-Temporal Domains for Sound Event Localization and Detection
方法：本文提出了一种新颖的 SELD 方法 MFF-EINV2，在 MFF 模块中引入了并行子网络并采用 TFCM 提取跨频谱、空间和时间域的多尺度特征，同时利用重复的多尺度融合使每个子网络持续接收来自其他并行表示的信息，结果表明，与 EINV2 相比，该方法在减少参数方面显著降低了68.5%，同时在 SELDscore 上提高了18.2%。
创新点：
-
提出了MFF-EINV2架构，该架构能够有效地从谱域、空间域和时间域提取多尺度特征。
-
引入了重复的多尺度融合，通过不断与其他并行子网络交换信息来增强每个子网络的表示能力。
A Multi-Stage Adaptive Feature Fusion Neural Network for Multimodal Gait Recognition
方法：论文提出了一个多阶段自适应特征融合神经网络（MSAFF），用于处理多模态步态识别问题。这个网络通过在不同阶段进行多模态融合，充分挖掘了不同模态之间的互补优势，特别是在时空特征的提取和融合方面，实验证明其平均识别准确率达到了99.1%，显著超越了其他现有方法。
创新点：
-
多阶段特征融合策略：在特征提取过程中的不同阶段执行多模态融合，以充分利用多模态的互补优势。
-
自适应特征融合模块：考虑了轮廓和骨架之间的语义关联，将不同轮廓区域与其相关的骨骼关节进行融合。
-
特征维度池化：可以显著降低步态表示的维度，同时不影响准确性。
STFEformer: Spatial–Temporal Fusion Embedding Transformer for Traffic Flow Prediction
方法：本研究提出了一种名为STFEformer的交通流量预测模型，通过融合空间、时间和原始特征，有效地捕捉和建模复杂的空间-时间相关性，从而提高了交通数据特征的全面性和准确性。
创新点：
-
引入融合嵌入层和空间-时间自注意力层，有效地捕捉了交通数据的本地、短期和周期性特征。
-
通过空间嵌入和时间嵌入机制，从多个角度提取交通数据的本地和空间-时间特征，为模型提供了更全面的表征能力。
-
基于图遮蔽方法设计了空间自注意力模块，用于突出相似节点之间的交互作用，并捕捉动态的长程空间依赖关系。
Multi-modal Gait Recognition via Effective Spatial-Temporal Feature Fusion
方法：论文提出了一种名为MMGait-Former的有效、新颖的多模态步态识别框架，利用轮廓和骨架构建了更全面的步态表示，以实现更好的识别效果。实验证明MMGaitFormer框架在三种条件下都取得了最佳的平均准确率，与SOTA方法相比，其在平均准确率上提高了4.6%（相对于GaitGL）和20.1%（相对于Gait-Graph）
创新点：
-
通过使用每个骨架关节和每个轮廓部分的先前位置关系，提出了一种基于共同注意力的空间融合模块，用于对空间步态特征进行精细的身体部位融合（FBPF）。
-
提出了一种共同注意力融合模块，用于通过注意力机制（即，细粒度身体部位融合）实现每个身体部位的外部形状（轮廓）和内部结构（骨架）的解释性融合。
关注下方《学姐带你玩AI》🚀🚀🚀
回复“时空特征融合”获取全部论文+开源代码
码字不易，欢迎大家点赞评论收藏
