实验和完整代码

完整代码实现和jupyter运行：https://github.com/Myolive-Lin/RecSys--deep-learning-recommendation-system/tree/main

引言

NeuralCF 模型由新加坡国立大学研究人员于 2017 年提出，其核心思想在于将传统协同过滤方法与深度学习技术相结合，从而更为有效地捕捉用户与物品之间的复杂交互关系。该模型利用神经网络自动学习用户和物品的低维表示，并通过这些表示实现对用户评分的精准预测。

1. NeuralCF模型简介

NeuralCF 模型融合了矩阵分解与深度学习两种方法的优势，采用基于神经网络的结构来建模用户与物品间的非线性交互。传统矩阵分解方法通过计算用户与物品隐向量的内积来进行评分预测，而 NeuralCF 则利用多层感知机（MLP）对用户与物品隐向量进行联合建模。具体而言，模型首先为每个用户和物品分配低维嵌入向量，然后将这些向量进行拼接（concatenate），再输入到深层神经网络中以提取潜在交互特征，最后通过输出层得到预测评分。

2. NeuralCF的模型架构

NeuralCF 模型的架构主要包括以下关键组件：

1. 用户与物品嵌入（Embedding）
   与传统矩阵分解方法类似，NeuralCF 为每个用户与物品分配低维嵌入向量，分别表征用户兴趣和物品特征。
2. 嵌入向量拼接（Concatenation）
   在模型中，用户与物品的嵌入向量被拼接为一个更高维度的向量，作为神经网络的输入。这种拼接不仅保留了各自的特征信息，同时为网络提供了学习复杂交互模式的可能性。
3. 多层感知机（MLP）
   拼接后的向量经过多个全连接层（MLP）的处理，每一层均采用激活函数（通常为 ReLU）引入非线性变换，以便捕捉用户与物品之间更高阶的特征交互。
4. 输出层
   多层感知机的输出经过一个线性层转换后，最终得到评分预测。在实际应用中，该预测值可以代表二分类问题（例如点击与否）或回归问题（例如具体评分）

2.1 数学模型

1. 用户和物品嵌入（Embedding）

NeuralCF模型首先为每个用户和每个物品分配一个低维度的隐向量。假设有 $M$ 个用户和 $N$ 个物品，用户 $u$ 的隐向量为 ${\mathbf{p}}_{\mathbf{u}}\in {\mathbb{R}}^d$，物品 $i$ 的隐向量为 ${\mathbf{q}}_{\mathbf{i}}\in {\mathbb{R}}^d$，其中 $d$ 是隐向量的维度。

2. 嵌入向量的拼接

传统的矩阵分解方法直接计算用户和物品隐向量的内积来预测评分，而NeuralCF通过将用户和物品的隐向量拼接（concatenate）在一起，构成一个新的向量：

$$\mathbf{z}=\text{concat}({\mathbf{p}}_{\mathbf{u}},{\mathbf{q}}_{\mathbf{i}})\in {\mathbb{R}}^{2d}$$

3. 多层感知机（MLP）

将拼接后的向量z输入到包含L层的多层感知机中，每一层的变换公式为：

$${\mathbf{h}}_{\mathbf{l}}=\text{ReLU}({\mathbf{W}}_{\mathbf{l}}{\mathbf{h}}_{\mathbf{l}-1}+{\mathbf{b}}_{\mathbf{l}}),l=1,2,\dots ,L$$

其中，初始输入为${\mathbf{h}}_0=\mathbf{z}$， ${\mathbf{W}}_{\mathbf{l}}$ 和偏置 ${\mathbf{b}}_{\mathbf{l}}$分别为第 l层的权重和偏置参数

4. 输出层

经过多层感知机后，最终输出层采用线性变换：

$$\widehat{r_{ui}}=\sigma ({\mathbf{W}}_{\mathbf{L}}{\mathbf{h}}_{\mathbf{L}}+{\mathbf{b}}_{\mathbf{L}})$$

其中， $\sigma$​ 表示sigmoid激活函数，输出值位于 0 与 1 之间，适用于二分类任务；对于回归任务，则可去除 Sigmoid 激活。

5. 损失函数

针对不同任务，NeuralCF 可采用不同的损失函数：

• 回归问题：通常使用均方误差（MSE）：

$$\mathcal{L}=\frac{1}{N}\sum _{(u,i)}{\left(r_{ui}-\widehat{r_{ui}}\right)}^2$$

• 二分类问题， 损失函数为交叉熵：

$$\mathcal{L}=-\frac{1}{N}\sum _{(u,i)}\left(r_{ui}\log (\widehat{r_{ui}})+(1-r_{ui})\log (1-\widehat{r_{ui}})\right)$$

3 NeuralCF混合模型

为进一步提升特征组合能力和非线性表达能力，NeuralCF 在原有架构基础上引入了广义矩阵分解（Generalized Matrix Factorization, GMF）模块。需要指出的是，GMF 与 MLP 部分分别采用独立的嵌入层，这一设计有效提升了模型的灵活性和表现力。

3.2 GMF广义矩阵分解

广义矩阵分解模型扩展了传统矩阵分解方法，通过引入不同的用户与物品交互方式来建模。与经典矩阵分解方法通过内积计算用户与物品之间的相似性不同，GMF 采用元素积（Hadamard 乘积）来刻画二者间的交互关系：

$${\varphi }_1(p_u,q_i)=p_u\odot q_i$$

其中，$p_u$ 和 $q_i$ 是用户和物品的嵌入向量，$\odot$ 是元素积操作。

3.4 GMF和MLP的融合

为了解决共享嵌入层的限制，本方法提出了让GMF和MLP分别学习独立的嵌入层，并通过连接它们的最后一层隐藏层进行融合。具体而言，GMF和MLP的输出通过以下公式进行联合建模：

1. GMF 部分

$${\varphi }_{GMF}=p_u^G\odot q_i^G,$$

其中，$p_u^G$ 和 $q_i^G$ 分别表示GMF部分的用户和物品嵌入向量。

2. MLP 部分

通过多层非线性变换，MLP 部分的用户与物品嵌入向量先进行拼接，再逐层传递，形式上可描述为：

$${\varphi }_{MLP}=a_L(W_L^T(a_{L-1}(...a_2(W_2^T[p_u^M{q}_i^M]+b_2)...))+b_L),$$

其中，$p_u^M$ 和 $q_i^M$ 分别表示MLP部分的用户和物品嵌入向量；$a_L(\cdot )$ 是激活函数，$W_L$ 和 $b_L$ 是MLP的权重和偏置参数。

3. 融合与预测

最后，GMF和MLP的输出通过全连接层进行融合并计算最终预测：

$${\hat{y}}_{ui}=\sigma (h^T[{\varphi }_{GMF}{\varphi }_{MLP}])$$

其中，$\sigma (\cdot )$ 是Sigmoid激活函数，$h^T$ 是融合层的权重。

该融合策略使得模型可以分别从不同角度捕捉用户与物品的特征，并通过联合表示进一步提升预测准确性与模型灵活性。

4.代码实现

以下代码段展示了基于 PyTorch 的 NeuralCF 模型实现，包括模型配置、数据集构建与模型定义。

模型配置与数据集构建

class Config:num_users = 1000num_items = 2000embed_dim = 16hidden_dims = [64, 32, 16]batch_size = 32lr = 0.001num_epochs = 30# 自定义数据集类
class CFDataset(Dataset):def __init__(self, num_samples=10000):# 生成示例数据（实际使用时替换为真实数据）self.user_ids = np.random.randint(0, Config.num_users, size=num_samples)self.item_ids = np.random.randint(0, Config.num_items, size=num_samples)self.labels = np.random.randint(0, 2, size=num_samples).astype(np.float32)def __len__(self):return len(self.user_ids)def __getitem__(self, idx):return (torch.tensor(self.user_ids[idx], dtype=torch.long),torch.tensor(self.item_ids[idx], dtype=torch.long),torch.tensor(self.labels[idx], dtype=torch.float))

NeuralCF 模型实现

class NeuralCF(nn.Module):def __init__(self, Config):super().__init__()# 定义用户和物品的隐向量self.user_embed_gmf = nn.Embedding(Config.num_users, Config.embed_dim)  # GMF用户隐向量self.item_embed_gmf = nn.Embedding(Config.num_items, Config.embed_dim)  # GMF物品隐向量self.user_embed_mlp = nn.Embedding(Config.num_users, Config.embed_dim)  # MLP用户隐向量self.item_embed_mlp = nn.Embedding(Config.num_items, Config.embed_dim)  # MLP物品隐向量# MLP层input_dim = 2 * Config.embed_dimmlp_layers = []for output_dim in Config.hidden_dims:mlp_layers.append(nn.Linear(input_dim, output_dim))mlp_layers.append(nn.ReLU())input_dim = output_dimself.mlp = nn.Sequential(*mlp_layers)# 输出层total_dim = Config.embed_dim + Config.hidden_dims[-1]  # GMF + MLP层维度self.fc = nn.Sequential(nn.Linear(total_dim, 1),nn.Sigmoid())def forward(self, user_ids, item_ids):# 获取用户和物品的隐向量user_emb_gmf = self.user_embed_gmf(user_ids)item_emb_gmf = self.item_embed_gmf(item_ids)user_emb_mlp = self.user_embed_mlp(user_ids)item_emb_mlp = self.item_embed_mlp(item_ids)# GMF: 逐元素乘积gmf = user_emb_gmf * item_emb_gmf# MLP: 拼接并通过多层感知机concat_emb = torch.cat([user_emb_mlp, item_emb_mlp], dim=1)mlp = self.mlp(concat_emb)# 拼接GMF和MLP的结果neuralcf_emb = torch.cat([mlp, gmf], dim=1)# 输出层output = self.fc(neuralcf_emb).squeeze()return output

5. NeuralCF的优势

NeuralCF 模型通过引入深度神经网络，有效突破了传统矩阵分解方法的线性限制，能够捕捉用户与物品之间的复杂非线性交互。其主要优势包括：

• 非线性建模能力：利用多层神经网络对用户与物品的隐向量进行非线性组合，充分发掘潜在高阶交互信息。
• 架构灵活性：模型结构可以根据实际问题需求灵活调整隐藏层层数和神经元数量，适应不同数据规模与复杂度。
• 优异的泛化性能：深度学习框架使得 NeuralCF 在处理稀疏数据时能够更好地防止过拟合，提升了模型的泛化能力。

Reference

[1]. He, X., Liao, L., Zhang, H., Nie, L., Hu, X., & Chua, T.-S. (2017). Neural Collaborative Filtering. In Proceedings of the 26th International Conference on World Wide Web (WWW ’17), 173–182. ACM.

[2]. 王喆 《深度学习推荐系统》