论文笔记（Neural Graph Collaborative Filtering）

神经图协同过滤

论文链接：Neural Graph Collaborative Filtering, SIGIR’19
原理：在 user-item interaction graph 上使用 GNN 来学习 user 向量和item 向量，用户向量和项向量的内积来预测评分。
区别：

大部分论文使用 GNN 只是学习 user 向量，这篇论文的 item 向量也是使用GNN学习的
大部分论文是在知识图谱KG或者社交网络Social Network上使用GNN，这篇论文是在用户-项交互二部图上使用GNN

1. 摘要

学习 users 和 items 的向量表示是现代推荐系统的核心。
从早期的矩阵分解到最近出现的基于深度学习的方法，现有的工作通常通过从描述用户(或项目)的现有特性(如ID和属性)映射来获得用户(或项目)的嵌入。
我们认为，这种方法的一个固有缺点是，隐藏在用户-项目交互中的协作信号没有在嵌入过程中编码。因此，由此产生的嵌入可能不足以捕获协作过滤效果。
在这项工作中，我们建议将用户-项目交互更具体地集成到嵌入过程中二部图结构。提出了一种新的推荐框架神经图协同过滤算法(NGCF)，该算法利用用户项图的结构，在用户项图上传播嵌入。这就导致了用户项图中高阶连通性的表达建模，有效地将协作信号显式地注入到嵌入过程中。

2. 模型架构

(1)嵌入层：提供用户嵌入和项嵌入初始化;
(2)多嵌入传播层：通过注入高阶连通性关系来细化嵌入;
(3)预测层：整合来自不同传播层的细化嵌入，输出用户-项目对的亲和度得分。
在这里插入图片描述

2.1 Embedding Layer

用嵌入向量 e_u∈R^d (e_i∈R^d) 来描述用户 u (项目 i )，其中 d 表示嵌入大小。（ID嵌入）
E = [e_u1，···，e_uN, e_i1，···，e_iM]

2.2 Embedding Propagation Layers

构建GNNs的消息传递体系结构，以便沿着图结构捕获CF信号并细化用户和项的嵌入。
在这里插入图片描述

2.2.1 First-order Propagation

直观上，与用户交互过的项目可以体现用户的偏好，类似的，与项交互过的用户也可以看作是项的特性，并且可以用于度量两个项目之间的协作相似性。

Message Construction

对于一个连接的 user-item 对，我们定义从 i 到 u 的信息嵌入 m_u←i为：
在这里插入图片描述
W₁，W₂∈R^d’×d为可训练权矩阵，提取有用信息进行传播，d '为转换大小。
N_u，N_i 表示用户 u 和项目 i 的第一跳邻居，
括号前面的是系数是拉普拉斯标准化，从表示学习的角度，反映了历史项目对用户偏好的贡献程度。从消息传递的角度来看，可以解释为折扣因子，因为所传播的消息应该随着路径长度而衰减。
在考虑信息嵌入时，不是只考虑了项目的影响，而且将 e_i 和 e_u 之间的相互作用额外编码到通过 e_i⊙e_u 传递的消息中。这使得消息依赖于 e_i 和 e_u 之间的亲和力，例如，从相似的项传递更多的消息。

Message Aggregation

在此阶段，我们整合从 u 的邻域传播的消息，以改进 u 的表示：
在这里插入图片描述
e⁽¹⁾_u 是用户 u 在一阶嵌入传播层获得的表示
除了从邻居 N_u 传播的消息外，还考虑了 u 的自连接:m_u←u = W₁e_u，保留了原始特征的信息。
类似地，我们可以通过从其连接的用户传播信息来获得项目 i 的表示形式 e⁽¹⁾_i。

2.2.2 High-order Propagation

通过堆叠 l 嵌入传播层，用户(和项)能够接收从其 l-hop 邻居传播的消息。在第 l 步中，用户 u 的表示递归式为:
在这里插入图片描述

Propagation Rule in Matrix Form

为了提供嵌入传播的整体视图，方便批量实现，提供了分层传播规则的矩阵形式:
在这里插入图片描述
E^(l) ∈ R^(N+M)×dl 是用户和项经过 l 步嵌入传播后得到的表示
I 表示一个单位矩阵
L 表示用户-项目图的拉普拉斯矩阵:

R ∈ R^N×M 为用户-项目交互矩阵
0 为全 0 矩阵;
A 为邻接矩阵，D 为对角度矩阵，其中第 t 个对角元素 D_tt = |N_t |，这样 L_ui 就等于之前的系数 p_ui

2.3 Model Prediction

由于在不同层中获得的表示强调通过不同连接传递的消息，所以它们在反映用户偏好方面有不同的贡献。
因此，将它们串联起来，构成用户的最终嵌入；对 item 也做同样的操作。
在这里插入图片描述
其中||为串联操作。除了连接，其他聚合器也可以应用，如加权平均、最大池、LSTM。使用串联在于它的简单性，不需要学习额外的参数，而且已经被非常有效地证明了。
最后，我们进行内积来估计用户对目标物品的偏好:
在这里插入图片描述