今天带来的是一篇发表在 TKDE 上的 2022 年的一篇关于因果推荐的论文，论文聚焦于基于知识图谱（Knowledge Graph， KG）的推荐系统方向，通过后门调整和反事实推理，对 KG-based RS 进行了优化。论文提出了模型 基于知识图谱的因果推荐 （Knowledge Graph-based Causal Recommendation， KGCR）模型。论文组合使用后门调整和反事实推理，分别完成了confounder去除和对于结果的debias。论文比较完整，值得一读。

论文由Yinwei Wei等人完成。

论文地址：https://ieeexplore.ieee.org/document/9996555
代码仓库：https://github.com/weiyinwei/KGCR

论文概况及动机（Introduction）

作者立足于基于 KG 的推荐系统，针对如图1所示的 知识图 与 用户-物品交互图 的融合，提出两个当前面临的挑战：

1. KG 的结构阻碍了用户与属性之间的关系表示。
2. 知识图谱中用户与属性之间存在着RS倾向于推荐包含更多属性对应的物品（例如图1中倾向于向User推荐Clockstoppers，而非Titanic。因为Clockstoppers对应两个重叠属性（图中用蓝色曲线表示），而Titanic对应一个。（图中使用红色线条表示））

作者将知识图谱中的节点分为两类，分别叫做 item entities 和 attribute entities，物品实体表示交互物品，属性实体表示物品对应的属性知识。

针对上述问题，作者分别使用 后门调整 和 反事实推理 进行解决。

因果图如 图2 所示，下面先介绍一下其中的主要变量（作者对于这一部分的介绍有点模糊，或者说不够清晰，不需要纠结于具体代表的数学表达形式，按照下面的介绍进行区分即可，具体的数学表达会在后文中明确）：

• $K$ 表示知识图谱结构，分别包括用户与物品的邻接情况和物品与属性之间的邻接关系。
• $A$ 表示属性表示（embedding）
• $U$ 表示用户表示
• $S$ 表示带预测的用户-物品交互关系
• $I$ 表示物品表示

除此以外，作者使用 ${\mathcal{G}}_{KG}$ 表示知识图谱，$\mathcal{U},\mathcal{I}$ 分别表示其中的用户与物品。其中，
$O=|\mathcal{U}|$，$M=|\mathcal{I}|$，及 $N=|\mathcal{A}|$ 分别表示用户数量、物品数量以及属性数量。

（C1）如图 2(a) 所示，对于用户表示与属性表示之间，因为知识图谱的存在，插入了一条后门路径（backdoor path） $A\leftarrow K\to U$，从客观上影响了用户与物品之间的表达。我们这里将其称之为Challenge 1（C1：$A\leftarrow K\to U$）

（C2）另外，对于最终的预测 $S$，由于属性节点存在一条直接边连接 $A\to S$，这带来了属性节点对于最终预测结果的bias。我们将这一问题成为Challenge 2 （C2：$A\to S\leftarrow U$）

这两个要点在原文中没有体现，这里主要是为了方便介绍模型引入。后续内容主要就是针对上述两块内容展开的。

下面我们正式开始。

问题形式化

作者将预测分为两部分，协同过滤部分不考虑知识图谱，用户与物品的表示也与知识图谱embedding不相关，单独进行计算如下：
$$S_{ui}^{cf}=f_{cf}({\mathbf{u}}_{cf},{\mathbf{i}}_{cf}).\text{\hspace{1em}(1)}$$

另一部分就是知识图谱部分，知识图谱是有向图，关于知识图谱的 embedding 学习过程如下：
$$S_{u,i,a}=f(\mathbf{u},\mathbf{i}),\mathrm{where}\mathbf{u}=U({\mathcal{O}}_u^{+},{\mathcal{G}}_{KG}),\text{\hspace{1em}(2)}$$
其中，${\mathcal{G}}_{KG}=\{(h,r,t)\mid h,t\in \mathcal{E},r\in \mathcal{R}\}$。$\mathcal{E},\mathcal{R}$ 分表表示边集合与节点集合。$h$ 表示 头 （head），$e$ 表示 尾（tail）。
${\mathcal{O}}_u^{+}$ 表示用户的交互历史正例。
可以看出，在训练阶段，主要就是解决两个函数，$U(\cdot )$ 与 $f(\cdot )$，分别用于用户偏好学习 与 相似性计算。

因此，本文要解决的任务形式化表示为：
输入：用户历史交互与知识图谱
输出：计算 $S_{ui}^{cf}$ 及 $S_{u,i,a}$，并预测用户的未来交互

方法论

对于因果图的介绍上面已经介绍过，这里不再赘述。这里主要明确一下数学表达：

• 变量 $U$、变量 $I$ 取值 $\mathbf{u},\mathbf{i}$，即用户与物品的知识图谱中的embedding向量。
• $A$ 表示用户交互过的属性向量集合，i.e., a = { a 1 , a 2 , a A ′ } \mathbf{a} =\left\{ \mathbf{a}_{1}, \mathbf{a}_{2}, \mathbf{a}_{A^{\prime}} \right\} a={a1​,a2​,aA′​}，其中 $A^{\prime }$表示当前用户交互过的属性数量。不过这里不用在意，实际上可以直接理解为用户与所有属性的交互邻接矩阵，在后文的处理过程中也确实是这么做的。
• $K$ 表示用户所交互物品与属性之间的结构信息，形式上表现为： k = { k 1 , k 2 , k K ′ } \mathbf{k} =\left\{ \mathbf{k}_{1}, \mathbf{k}_{2}, \mathbf{k}_{K^{\prime}} \right\} k={k1​,k2​,kK′​}， 其中 $K^{\prime }$ 表示用户交互过的物品数量。对于任意物品 $j$，${\mathbf{k}}_j\in [0,1{]}^{1\times N}$ 表示与 $N$ 个 attribute 的连接关系。
• $S$ 即 score，预测分数

Causal Intervention (C1)

解决C1，去掉confounder，即切断 $K$ 与 $A$ 之间的路径：

$$\begin{array}{rl}{S}_{u,i,a}& =P(S\mid U=\mathbf{u},I=\mathbf{i},do(A=\mathbf{a}))\\ & =\sum _{k\in \mathcal{K}}P(S\mid U(\mathbf{a},\mathbf{k}),\mathbf{i},\mathbf{a})P(\mathbf{k}),\end{array}\text{\hspace{1em}(3)}$$
其中， P ( k ) = { P ( k 1 ) , … , P ( k K ′ ) } P(\mathbf{k}) =\left\{P\left(\mathbf{k}_1\right), \ldots, P\left(\mathbf{k}_{K^{\prime}}\right)\right\} P(k)={P(k1​),…,P(kK′​)} 表示结构分布概率。这里不容易计算，后续会消掉。$U(\cdot )$ 是待计算的用户与attribute之间的传播函数，后续会介绍（使用TransE模型）。

融合 $f(\cdot )$ 作为相似性计算函数，上式变为：
$$\begin{array}{rl}P(S\mid U& =\mathbf{u},I=\mathbf{i},do(A=\mathbf{a}))\\ & =\sum _{k\in \mathcal{K}}P(S\mid U(\mathbf{a},\mathbf{k}),\mathbf{i},\mathbf{a})P(\mathbf{k})\\ & =\sum _{k\in \mathcal{K}}f(U(\mathbf{a},\mathbf{k}),\mathbf{i},\mathbf{a})P(\mathbf{k}),\end{array}\text{\hspace{1em}(4)}$$

进一步地，套用 NWGM 进行近似，可以得到：

$$\begin{array}{r}P(S\mid U=\mathbf{u},I=\mathbf{i},do(A=\mathbf{a}))\approx f\left(U\left(\mathbf{a},\left(\sum _{k\in \mathcal{K}}\mathbf{k}P(\mathbf{k})\right)\right),\mathbf{i},\mathbf{a}\right)\end{array},\text{\hspace{1em}(5)}$$
这里就是把求和部分移到函数内部，这里注意如果需要取消掉约等号，改为等号，需要满足：
$\mathbb{E}[f(X)]=f(\mathbb{E}[X])$。因此需要 $f(\cdot )$ 与 $U(\cdot )$ 都是线性函数。

尽管这里作者一直声称$f(\cdot )$ 与 $U(\cdot )$ 的实现都采用线性函数，但实际上后续在 $f(\cdot )$ 的实现中是包含非线性函数 $\sigma (\cdot )$ 的。这里作者应该包含一个约等数的误差范围声明，关于这部分的证明可参考论文《Deconfounded Recommendation for Alleviating Bias Amplification》。

作者后续处理中，将 $\mathbf{k}$ 拆分成 $\tilde{\mathbf{k}}\cdot \mathbf{K}$ 的形式。其中 $\mathbf{K}\in {\mathbb{R}}^{M\times N}$ 表示用户与物品之间的邻接矩阵。以图1 中例子示例，$\mathbf{K}=[[1,1,0],[1,1,1],[0,0,1]],\tilde{\mathbf{k}}=[0,1,0]$。因此，继续拆分，得到：

$$\begin{array}{rl}& P(S\mid U=\mathbf{u},I=\mathbf{i},do(A=\mathbf{a}))\\ & \approx f\left(U\left(\mathbf{a},\left(\sum _{k\in \mathcal{K}}\mathbf{k}P(\mathbf{k})\right)\right),\mathbf{i},\mathbf{a}\right)\\ & =f\left(U\left(\mathbf{a},\sum _{\tilde{\mathbf{k}}\in \tilde{\mathcal{K}}}(\tilde{\mathbf{k}}P(\tilde{\mathbf{k}})),\mathbf{K}\right),\mathbf{i},\mathbf{a}\right)\text{. }\end{array}\text{\hspace{1em}(6)}$$
这里，$\tilde{\mathbf{k}}P(\tilde{\mathbf{k}}))$ 即计算变量 $\tilde{\mathbf{k}}$的期望，$P(\tilde{\mathbf{k}})=\frac{1}{M}$ 表示均匀分布，可以得到：
$$\begin{array}{rl}& P(S\mid U=\mathbf{u},I=\mathbf{i},do(A=\mathbf{a}))\\ & \approx f(U(\mathbf{a},\mathbb{E}(\tilde{\mathbf{k}}),\mathbf{K}),\mathbf{i},\mathbf{a}),\\ & =\frac{1}{M}f(U(\mathbf{a},\mathbf{K}),\mathbf{i},\mathbf{a})\text{, }\\ & =\frac{1}{M}f(U(\tilde{\mathbf{a}},\mathbf{A},\mathbf{K}),\mathbf{i},\mathbf{a})\text{. }\end{array}\text{\hspace{1em}(7)}$$
这里的 $\mathbf{A}\in {\mathbb{R}}^{N\times D}$ 同样是进行了拆解，以方便计算。

虽然不影响结论，但这里有个计算错误需要指出，即 公式(7) 中第三行不应该为$\frac{1}{M}$，这里求的是变量 $\tilde{\mathbf{k}}$的期望，因此 $M$ 作为分母，分子应该是常数厂前用户的交互物品总数。（应该是这样吧？评论区欢迎讨论！）

Model Implementation

根据上述所有部分，现在只需要实现 $f(\cdot )$ 与 $U(\cdot )$ 即完成了模型所有构造。

U(·)

首先是知识图谱上的 $U(\cdot )$：

基于TransE得到知识图谱embedding：
$${\mathcal{L}}_{KG}=\sum _{(h,r,t)\in \mathcal{T}}\sum _{\left(h^{\prime },r,t^{\prime }\right)\in {\mathcal{T}}^{\prime }}{\left[\gamma +d\left({\mathbf{e}}_h+{\mathbf{e}}_r,{\mathbf{e}}_t\right)-d\left({\mathbf{e}}_{h^{\prime }}+{\mathbf{e}}_r,{\mathbf{e}}_{t^{\prime }}\right)\right]}_{+}.\text{\hspace{1em}(8)}$$

使用得到的embedding初始化 $U$ 和 $I$，并使用图神经网络传播：
$${\mathbf{p}}^{(l+1)}=\sum _{q\in {\mathcal{N}}_p}\frac{1}{\sqrt{\left|{\mathcal{N}}_p\right|\left|{\mathcal{N}}_q\right|}}{\mathbf{q}}^{(l)}.\text{\hspace{1em}(9)}$$

f(·)

使用late fusion实现 $f(\cdot )$：

$$S_{u,i,a}=f(\mathbf{u},\mathbf{i},\mathbf{a})=g(\mathbf{u},\mathbf{i})\sigma (h(\mathbf{i},\mathbf{a})).\text{\hspace{1em}(10)}$$
$$g(\mathbf{u},\mathbf{i})=\mathbf{u}\cdot {\mathbf{i}}^{\top }.\text{\hspace{1em}(11)}$$
$$S_{i,a}=h(\mathbf{i},\mathbf{a})=\mathbf{i}\cdot {\overline{\mathbf{a}}}^{\top },\text{ where }\overline{\mathbf{a}}=\frac{1}{M}\sum _{a\in A}\mathbf{a}.\text{\hspace{1em}(12)}$$

协同过滤部分

$$S_{u,i}^{cf}={\mathbf{u}}_{cf}\cdot {\mathbf{i}}_{cf}^{\top }.\text{\hspace{1em}(13)}$$

模型优化

使用多任务学习方式，将多个loss进行拆分，分别进行训练。分别如下：

$${\mathcal{L}}_1=\sum _{(u,i,j)\in \mathcal{O}}-\ln \sigma \left(S_{u,i,a}+S_{u,i}^{cf}-S_{u,j,a}-S_{u,j}^{cf}\right).\text{\hspace{1em}(14)}$$
其中， O = { ( u , i , j ) ∣ ( u , i ) ∈ O + , ( u , j ) ∈ O − } \mathcal{O}=\left\{(u, i, j) \mid(u, i) \in \mathcal{O}^{+},(u, j) \in \mathcal{O}^{-}\right\} O={(u,i,j)∣(u,i)∈O+,(u,j)∈O−}，即采用BPR损失。

$${\mathcal{L}}_2=\sum _{(u,i,j)\in \mathcal{O}}max\left(0,\sigma \left(S_{i,a}\right)-\sigma \left(S_{j,a}\right)-m\right).\text{\hspace{1em}(15)}$$

损失整体：
$$\mathcal{L}={\mathcal{L}}_1+\alpha {\mathcal{L}}_2+\Vert \Theta {\Vert }_2\text{\hspace{1em}(16)}$$

Causal Inference （C2）

解决 C2，即反事实推理，去偏。

去偏采用TIE方式，具体细节不再赘述，可参考论文《CausalRec: Causal Inference for Visual Debiasing Visually-Aware Recommendation》阅读 进行补充。

总之，根据上述 loss 训练完成模型后，在推理阶段，模型遵循
$$TE=S_{u,i,a}-S_{u^{\ast },i,a^{\ast }}.\text{\hspace{1em}(17)}$$
$$NDE=S_{u^{\ast },i,a}-S_{u^{\ast },i,a^{\ast }}.\text{\hspace{1em}(18)}$$
$$\begin{array}{rl}TIE& =TE-NDE\\ & =S_{u,i,a}-S_{u^{\ast },i,a^{\ast }}-S_{u^{\ast },i,a}+S_{u^{\ast },i,a^{\ast }}\\ & =g(\mathbf{u},\mathbf{i})\sigma (h(\mathbf{i},\mathbf{a}))-g\left({\mathbf{u}}^{\ast },\mathbf{i}\right)\sigma (h(\mathbf{i},\mathbf{a}))\\ & =\left(g(\mathbf{u},\mathbf{i})-s_i\right)\sigma (h(\mathbf{i},\mathbf{a})),\end{array}\text{\hspace{1em}(19)}$$
其中，$s_i$表示所有 $g(\mathbf{u},\mathbf{i})$ 的平均值。

结合协同过滤部分，得到最终的去偏预测目标：
$$y_{ui}=S_{ui}^{cf}+S_{ui}^{kg}={\mathbf{u}}_{cf}^{\top }\cdot {\mathbf{i}}_{cf}+\left(g(\mathbf{u},\mathbf{i})-s_i\right)\sigma (h(\mathbf{i},\mathbf{a})).\text{\hspace{1em}(20)}$$

需要提一嘴的是，文章的复杂度计算应该是有问题的，光是图神经网络部分就应该是 $(M+N{)}^2$ 平方级别的，邻接矩阵嘛，起码是横着竖着都算一遍。

综上所有内容，模型整体流程为：使用TransE完成知识图谱embedding训练，并初始化 $U$ 和 $I$。通过图神经网络传播（$U(\cdot )$）完成 $S_{a,k}$，通过late fusion相乘的方式（$f(\cdot )$）完成 $f(U(\mathbf{a},\mathbf{k}),\mathbf{i},\mathbf{a})$，根据 loss 完成模型优化。 最后根据 TIE 完成test。
作者进行了总结，如算法所示：

Experiments

实验部分就不再多说了，这里贴一个 Overall Experiment Comparison 的对比结果，可见结果还是不错的。

总结

论文提出了一种针对基于知识图谱的因果推荐模型 $KGCR$，通过组合 后门调整 和 反事实推理，得到一个相对完整的因果推荐模型。文章条理清楚，内容详实。可能美中不足的就是存在一些typo，数学表达从前向后会稍显混乱。但整体来说，还是挺在线的。