ConKI：用于多模态情感分析的对比知识注入

总结：提出了一种利用知识注入和分层对比学习来获取更有效的单模态表征的方法。

文章信息

作者：Yakun Yu，Mingjun Zhao

单位：University of Alberta（艾伯塔大学，加拿大）

会议/期刊：Findings of the Association for Computational Linguistics（ACL 2023）（CCF A）

题目：ConKI: Contrastive Knowledge Injection for Multimodal Sentiment Analysis

年份：2023

研究目的

现有的多模态情感分析方法主要基于预训练模型获得的一般知识对模态进行编码，来进行多模态融合和表征学习，从而忽略了特定领域知识的影响。

研究内容

提出了用于多模态情感分析的对比知识注入框架（ConKI），用于学习泛知识表征（来自预训练模型提取的一般知识，如BERT）和特定知识表征（从相关外部数据源获得的领域特定知识）。

• 通过基于适配器架构的知识注入，每种模态不仅学习到一般知识表征，还能学习到来自外部数据源的特定领域知识表征。
• 使用分层对比学习，在单模态内不同知识类型之间、单个样本内不同模态之间、不同样本之间进行对比学习，促进模型学习更有效的特定知识与泛知识表征，从而改善多模态情感预测性能。

研究方法

1.总体结构

首先处理原始多模态输入，得到对应的低级特征序列 I m ∈ { t , v , a } I_{m\in\{t,v,a\}} Im∈{t,v,a}​。然后将每种模态的低级特征$I_m$编码为特定知识表征$A_m$和泛知识表征$O_m$，其中$A_m$由适配器Adapter的知识注入模型生成，而$O_m$​由预训练模型生成（文本使用BERT编码器，视频/音频使用随机初始化的Transformer编码器）。最后，ConKI同时在下游目标数据集上执行两个任务，即主要的MSA回归任务和辅助的分层对比学习子任务。

• MSA任务

  在MSA任务中，首先将每种模态的特定知识表征$A_m$和泛知识表征$O_m$合并起来。然后通过全连接 FC 进行内模态融合。接着使用融合网络 Fusion Network 实现跨模态融合。最后将融合后的表征送入多层感知器 MLP，产生情感预测值$\hat{y}$​.

  

• 分层对比学习任务

  在知识层面、模态层面和样本层面构建负样本和正样本配对。通过整合这些分层对比，ConKI能够全面捕捉表征之间的动态变化，配对策略如下：

  • 由于$A_m$和$O_m$能够捕捉到不同的知识，因此将它们分离开来，使它们相互补充，从而通过知识层面的对比获得更丰富的模态表征。

  • 由于视频的情感是由所有模态决定的，因此通过模态级对比来学习六种表征的共性。

  • 表达相似情感的视频应具有一定的相关性，因此通过样本级对比来捕捉相关性，以帮助进一步学习情绪接近的样本之间的共性。

符号	含义
$t,v,a$	文本模态，视觉模态，音频模态
$I_t\in {\mathbb{R}}^{l_t\times d_t}$	文本模态对应的低级特征序列
$I_v\in {\mathbb{R}}^{l_v\times d_v}$	视觉模态对应的低级特征序列
$I_a\in {\mathbb{R}}^{l_a\times d_a}$	音频模态对应的低级特征序列
l m ∈ { t , v , a } l_{m\in\{t,v,a\}} lm∈{t,v,a}​	每个模态的序列长度
d m ∈ { t , v , a } d_{m\in\{t,v,a\}} dm∈{t,v,a}​	特征向量维度
A m ∈ { t , v , a } A_{m\in\{t,v,a\}} Am∈{t,v,a}​	特定知识表征
O m ∈ { t , v , a } O_{m\in\{t,v,a\}} Om∈{t,v,a}​	泛知识表征

2.Encoding with Knowledge Injection

通过预训练编码器将每种模态编码为泛知识表征$O_m$，通过适配器将每种模态编码为特定知识表征$A_m$。

2.1 Pan-knowledge representations

使用预训练的BERT对文本模态进行编码，最后一层的POOL输出作为文本模态的泛知识表征$O_t$。使用transformer的编码器对音频模态和视频模态进行编码，捕捉音频模态和视觉模态的泛知识表征$O_v,O_a$。
O t , H t = Bert ⁡ ( I t ; θ t Bert ) O m , H m = Encoder ( I m ; θ m encoder ) , m ∈ { v , a } O_t,H_t=\operatorname{Bert}(I_t;\theta_t^{\text{Bert}}) \\ O_m,H_m=\text{Encoder}(I_m;\theta_m^\text{encoder}),m\in\{v,a\} Ot​,Ht​=Bert(It​;θtBert​)Om​,Hm​=Encoder(Im​;θmencoder​),m∈{v,a}
符号含义： H m , m ∈ { t , a , v } H_m, m\in\{t,a,v\} Hm​,m∈{t,a,v}​代表所有层的隐藏状态。

2.2 Knowledge-specific representations

通过知识注入模型（适配器）从外部多模态来源注入特定领域知识，适配器的输出作为各模态的特定知识表征$A_t,A_a,A_v$​。

Adapter由多个模块组成（两个FC层，中间有两个transformer层），每个模块可以插入到预训练编码器的任何transformer层之前（每个模态的适配器插入到各自预训练的编码器外部）。

每个模块都将预训练编码器的中间隐藏层状态和前一个适配器模块的输出作为输入。
A m = Adapter ( H m ; θ m adapter ) , m ∈ { t , v , a } A_m=\text{Adapter}(H_m;\theta_m^\text{adapter}),m\in\{t,v,a\} Am​=Adapter(Hm​;θmadapter​),m∈{t,v,a}
【注】：在外部数据集上仅用MSA任务预训练各模态的适配器，然后利用预训练的适配器为下游目标任务（既包括MSA任务又包括分层对比学习子任务）生成特定知识表征$A_m$。

3.Hierarchical Contrastive Learning

• 单模态内不同知识类型对比（拉远）

  泛知识表征和特定知识表征应相互分离，因为它们属于不同的知识领域，旨在相互补充。这种情况既存在于每个样本内部（i 和 j 代表同一个样本），也存在于批次中的不同样本之间（i 和 j 代表两个不同的样本）。因此，在一个批次中建立知识间负对：
  N 1 i = { ( O m i , A n j ) ∣ m , n ∈ { t , v , a } & i , j ∈ B } ; \begin{gathered}\mathcal{N}_1^i=\{(O_m^i,A_n^j) \mid m,n\in\{t,v,a\}\&i,j\in B\};\end{gathered} N1i​={(Omi​,Anj​)∣m,n∈{t,v,a}&i,j∈B};​

• 单个样本内不同模态对比（拉近）

  对于单个视频样本 i，所有模态都有说话者的共同动机，这些动机决定了整体情感。不同模态的泛知识表征代表相似的含义，因此需要拉近彼此的距离。同样对于特定知识表征，不同模态的特定知识表征也代表相似的含义，也需要拉近之间的距离。因此，建立样本内泛知识表征正对与特定知识表征正对。
  P 1 i = { ( O m i , O n i ) , ( A m i , A n i ) ∣ m , n ∈ { t , v , a } & m ≠ n & i ∈ B } \mathcal{P}_1^i=\{(O_m^i,O_n^i),(A_m^i,A_n^i) \mid m,n\in\{t,v,a\} \& m\neq n\&i\in B\} P1i​={(Omi​,Oni​),(Ami​,Ani​)∣m,n∈{t,v,a}&m=n&i∈B}

• 不同样本间的对比（相同情感拉近，不同情感拉远）

  情感接近与否的判断标准是：将不同样本的情感分数进行四舍五入的取整，相同即为接近，反之亦然。

  • 对于情感接近的两个任意样本 i 和 j，样本 i 的六个表征应该接近样本 j 对应的六个表征。因此，建立不同样本之间表征的正对。

  P 2 i = { ( O m i , O n j ) , ( A m i , A n j ) ∣ m , n ∈ { t , v , a } & r ( y i ) = r ( y j ) & i , j ∈ B & i ≠ j } \mathcal{P}_2^i = \{(O_m^i,O_n^j),(A_m^i,A_n^j)|\quad m,n\in\{t,v,a\}\&r(y^i)=r(y^j)\&i,j\in B\&i\neq j\} P2i​={(Omi​,Onj​),(Ami​,Anj​)∣m,n∈{t,v,a}&r(yi)=r(yj)&i,j∈B&i=j}

  • 对于情感不接近的两个任意样本 i 和 j，样本 i 的六个表征应该远离样本 j 的六个表征。因此，建立不同样本之间表征的负对。

  N 2 i = { ( O m i , O n j ) , ( A m i , A n j ) ∣ m , n ∈ { t , v , a } & r ( y i ) ≠ r ( y j ) & i , j ∈ B & i ≠ j } \mathcal{N}_2^i = \{(O_m^i,O_n^j),(A_m^i,A_n^j)|\quad m,n\in\{t,v,a\}\&r(y^i)\neq r(y^j)\&i,j\in B\&i\neq j\} N2i​={(Omi​,Onj​),(Ami​,Anj​)∣m,n∈{t,v,a}&r(yi)=r(yj)&i,j∈B&i=j}

符号	含义
$y^i$	代表样本 i 的真实标签
$r(\cdot )$	代表取整函数
$B$	代表批次

分层对比学习样本示例，对上面理论知识的解释

4.损失函数

整体损失:
$$\mathcal{L}={\mathcal{L}}_{task}+\lambda {\mathcal{L}}_{con}$$
MSA 任务损失:（均方误差计算）
$${\mathcal{L}}_{task}=\frac{1}{|B|}\sum _i^{|B|}({\hat{y}}^i-y^i{)}^2$$
分层对比损失:

分层对比损失函数将正样本对拉近，将负样本对推远。
$${\mathcal{L}}_{con}=\sum _{i\in B}\frac{-1}{|{\mathcal{P}}_1^i\cup {\mathcal{P}}_2^i|}\times \sum _{(p,q)\in {\mathcal{P}}_1^i\cup {\mathcal{P}}_2^i}\log \frac{f((p,q))}{{\sum }_{(p^{\prime },q^{\prime })\in \mathsf{All}\mathsf{Pairs}}f((p^{\prime },q^{\prime }))}$$

$$\begin{array}{rl}f((p,q))& =\exp (\frac{p}{\Vert p{\Vert }_2}\cdot \frac{q}{\Vert q{\Vert }_2}\cdot \frac{1}{\tau }),\\ & \\ \text{All Pairs}& ={\mathcal{P}}_1^i\cup {\mathcal{P}}_2^i\cup {\mathcal{N}}_1^i\cup {\mathcal{N}}_2^i.\end{array}$$

分层对比损失原理解释

符号	含义
$\lambda$	平衡MSA任务损失与分层对比学习损失的超参数
$	\mathcal{P}_1i\cup\mathcal{P}_2i
$(p,q)$	表示对应集合中的一对，如$(O_t^i,O_v^i)$
$\tau$	代表温度参数，temperature parameter
$y$	真实标签
$\hat{y}$	预测标签
$	B

5.训练过程

首先使用外部数据集，同时固定预训练骨干的模型参数，通过${\mathcal{L}}_{task}$损失函数，对ConKI中的适配器进行预训练。然后通过优化整体损失$\mathcal{L}$​，利用下游目标数据集对 ConKI 进行微调。

结果与讨论

⚠ 斜体是消融实验

• 通过与 SOTA 模型进行对比，证明了 ConKI 的效果最好，各项评估指标都优于以往的 SOTA 模型。
• 通过使用不同的模态组合，证明了使用三种模态的效果是最好的，验证了多模态的有效性。
• 通过对 ConKI 的四个组件（外部数据集的使用( C1 )，用于知识注入的适配器( C2 )，用于泛知识的预训练编码器( C3 )和分层对比学习( C4 )）进行消融，表明了 ConKI 的四个组件都是有效的。
• 通过去除分层对比学习中的知识间负对${\mathcal{N}}_1$，表明 ConKI 学习区分泛知识和特定知识的表征对于分层对比学习至关重要。
• 通过将 ConKI 与经过外部数据集微调的 SOTA 模型进行比较，验证了 ConKI 模型在 MSA 任务上性能的提升不是来自外部数据集，而是与提出的知识注入和对比学习有关。
• 通过可视化在有无对比学习下的六种表征，证明了对比学习的有效性，通过对比学习能够学习到更好的表征。

代码和数据集

代码：未公开

数据集：CMU-MOSI，CMU-MOSEI，CH-SIMS

实验环境：NVIDIA RTX 2080Ti（11G）

附录

1.分层对比学习样本示例

示例批次由三个样本 ( { O t i , O v i , O a i , A t i , A v i , A a i } i = 1 , 2 , 3 ∈ B ) (\{O_t^i,O_v^i,O_a^i,A_t^i,A_v^i,A_a^i\}_{i=1,2,3}\in B) ({Oti​,Ovi​,Oai​,Ati​,Avi​,Aai​}i=1,2,3​∈B)组成，其中样本 1 和样本 2 属于同一情感区间，而样本 3 属于不同的情感区间。（下图中的“1”代表行向量和列向量的正对。“0”代表行向量与列向量的负对）

• 单模态内不同知识类型对比（拉远）。上图蓝色方框中的“0”代表知识间的负对，${\mathcal{N}}_1^B$。

• 单个样本内不同模态对比（拉近）。上图带有红色边框的“1”代表单样本模态之间的正对。

$$\begin{array}{r}{\mathcal{P}}_1^B=\{(O_t^1,O_v^1),(O_t^1,O_a^1),(O_a^1,O_v^1),\\ (A_t^1,A_v^1),(A_t^1,A_a^1),(A_a^1,A_v^1),\\ \begin{array}{r}(O_t^2,O_v^2),(O_t^2,O_a^2),(O_a^2,O_v^2),\end{array}\\ (A_t^2,A_v^2),(A_t^2,A_a^2),(A_a^2,A_v^2),\\ \begin{array}{r}(O_t^3,O_v^3),(O_t^3,O_a^3),(O_a^3,O_v^3),\end{array}\\ (A_t^3,A_v^3),(A_t^3,A_a^3),(A_a^3,A_v^3)\};\end{array}$$

• 不同样本间的对比（相同情感拉近，不同情感拉远）。上图没有红色边框的“1“代表样本间相同情感的正对，蓝色边框外的“0”代表样本间不同情感的负对，${\mathcal{N}}_2^B$。

$$\begin{array}{rlr}& & {\mathcal{P}}_2^B=\{(O_t^1,O_t^2),(O_t^1,O_v^2),(O_t^1,O_a^2),\\ & & \begin{array}{r}(O_v^1,O_t^2),(O_v^1,O_v^2),(O_v^1,O_a^2),\end{array}\\ & & \begin{array}{r}(O_a^1,O_t^2),(O_a^1,O_v^2),(O_a^1,O_a^2),\end{array}\\ & & (A_t^1,A_t^2),(A_t^1,A_v^2),(A_t^1,A_a^2),\\ & & (A_v^1,A_t^2),(A_v^1,A_v^2),(A_v^1,A_a^2),\\ & & (A_a^1,A_t^2),(A_a^1,A_v^2),(A_a^1,A_a^2)\};\end{array}$$

2.Temperature Parameter

深度学习中的温度参数（Temperature Parameter）是什么？点击跳转查看

3.分层对比损失原理解释

$${\mathcal{L}}_{con}=\sum _{i\in B}\frac{-1}{|{\mathcal{P}}_1^i\cup {\mathcal{P}}_2^i|}\times \sum _{(p,q)\in {\mathcal{P}}_1^i\cup {\mathcal{P}}_2^i}\log \frac{f((p,q))}{{\sum }_{(p^{\prime },q^{\prime })\in \mathsf{All}\mathsf{Pairs}}f((p^{\prime },q^{\prime }))}$$

$$\begin{array}{rl}f((p,q))& =\exp (\frac{p}{\Vert p{\Vert }_2}\cdot \frac{q}{\Vert q{\Vert }_2}\cdot \frac{1}{\tau }),\\ & \\ \text{All Pairs}& ={\mathcal{P}}_1^i\cup {\mathcal{P}}_2^i\cup {\mathcal{N}}_1^i\cup {\mathcal{N}}_2^i.\end{array}$$

分层对比损失函数${\mathcal{L}}_{con}$其实可以看做是带有temperature parameter的softmax loss损失函数的改写。
$$\text{Softmax Loss}=-\frac{1}{N}\sum _{i=1}^N\sum _{k=1}^K{y}_{i,k}\log \left(\frac{\exp (z_{i,k}/T)}{{\sum }_{j=1}^K\exp (z_{i,j}/T)}\right)$$

$|{\mathcal{P}}_1^i\cup {\mathcal{P}}_2^i|$表示一个批次B中与样本 i 正对的个数，相当于softmax loss中的$N$。某种意思上，$|{\mathcal{P}}_1^i\cup {\mathcal{P}}_2^i|$也是一个不变的值。

$\log \frac{f((p,q))}{{\sum }_{(p^{\prime },q^{\prime })\in \mathsf{All}\mathsf{Pairs}}f((p^{\prime },q^{\prime }))}$，相当于softmax loss中的$\log \left(\frac{\exp (z_{i,k}/T)}{{\sum }_{j=1}^K\exp (z_{i,j}/T)}\right)$，都是用的softmax函数的思想。

$f((p,q))=\exp (\frac{p}{\Vert p{\Vert }_2}\cdot \frac{q}{\Vert q{\Vert }_2}\cdot \frac{1}{\tau })$，类比于$\exp (z_{i,k}/T)$，不过不同的是前者计算的是余弦距离得分，后者是logits得分。

所以二者思想是类似的。

分层对比损失函数${\mathcal{L}}_{con}$有效是因为：公式里面计算的，简单的说是正对之间的距离得分，我们想让距离得分越来越大，这样总体的损失就越来越小了。通过反向传播，就实现了这一问题。所以${\mathcal{L}}_{con}$有效。

😃😃😃