⌈ 传知代码 ⌋ 辅助任务改进社交帖子多模态分类

💛前情提要💛

本文是传知代码平台中的相关前沿知识与技术的分享~

接下来我们即将进入一个全新的空间，对技术有一个全新的视角~

本文所涉及所有资源均在传知代码平台可获取

以下的内容一定会让你对AI 赋能时代有一个颠覆性的认识哦！！！

以下内容干货满满，跟上步伐吧~

📌导航小助手📌

💡本章重点
🍞一. 概述
🍞二. 主要贡献
🍞三. 技术细节
🍞四. 实验结果
🫓总结

💡本章重点

辅助任务改进社交帖子多模态分类

🍞一. 概述

这篇文章的主要内容是关于如何通过利用图像-文本辅助任务来提高社交媒体帖子的多模态分类效果。研究者们在多模态模型微调过程中联合使用了两种辅助损失：图像-文本对比（Image-Text Contrastive, ITC）和图像-文本匹配（Image-Text Matching, ITM）。ITC 旨在最小化帖子内部图像和文本表示之间的距离，从而有效地弥合图像在传达帖子意义中扮演重要角色时的鸿沟。ITM 则增强了模型理解图像和文本之间语义关系的能力，提高了处理模糊或关系不紧密模态的能力。
研究者们结合了五种多模态模型，并在五个不同的社交媒体数据集上进行了实验，展示了使用这两种辅助任务可以一致性地提高模型性能，最高可提升 2.6 的 F1 分数。文章还提供了详尽的分析，展示了在特定场景下每种辅助任务最有效。
此外，文章还介绍了实验设置、使用的数据集、单模态方法、多模态模型、评估方法和结果。研究者们使用了不同的预训练模型，包括 BERT、Bernice、ResNet152 和 ViT，并在不同的社交媒体任务上进行了实验，如文本-图像关系分类、情感分析、仇恨言论分类、讽刺检测和商业影响力内容检测等。
最后，文章讨论了研究的局限性，包括目前实验仅使用英文数据集，以及辅助任务的加入可能会增加训练时间。尽管如此，作者认为这些额外的时间与大型语言模型的预训练时间相比是相对较小的

🍞二. 主要贡献

文章的主要贡献可以总结为以下几点：

多模态模型微调的辅助任务研究： 文章提出了一个广泛的研究，比较了在微调过程中联合使用图像-文本对比（ITC）和图像-文本匹配（ITM）两种辅助损失的多模态模型。
性能提升： 展示了在五个不同的多模态社交媒体数据集上，使用ITC和ITM作为辅助损失的模型一致性地提高了性能，最高可提升2.6 F1分数。
具体场景分析： 提供了详尽的分析，揭示了在不同类型的图像-文本关系中，个别辅助任务及其组合的有效性。
模型和数据集的多样性： 研究涵盖了五种不同的多模态模型，并在五个不同的社交媒体数据集上进行了实验，这表明了方法的通用性和适应性。
对低资源场景的探讨： 文章还探讨了在不同数量的训练样本下模型的泛化能力和数据效率，这对于资源受限的情况特别重要。
对模型有效性的深入理解： 通过分析Ber-ViT-Att模型在TIR数据集上的预测，文章帮助理解在不同图像-文本关系类型下，辅助任务如何受益。