WSDM 2023的论文录用结果已出,推荐系统相关的论文方向包含序列推荐,点击率估计等领域,涵盖图学习,对比学习,因果推断,知识蒸馏等技术,累计包含近四十篇论文,下文列举了部分论文的标题以及摘要,更多内容欢迎关注公众号【深度学习推荐算法】。
论文地址:
https://www.wsdm-conference.org/2023/program/accepted-papers
1 A Personalized Neighborhood-based Model for Within-basket Recommendation in Grocery Shopping【杂货店购物篮内推荐的个性化邻域模型,阿姆斯特丹大学】
在线购物平台的用户通常一次以购物篮的形式购买多件商品。个性化购物篮内推荐是在购物过程中推荐商品以完成未完成的购物篮的任务。与基于会话的推荐(目标是完成正在进行的匿名会话)的相关任务不同,我们可以在购物篮内推荐中访问用户的购物历史记录。先前的研究表明,基于邻域的模型对于基于会话的推荐具有优越性,并且个人历史记录在杂货店购物领域中非常重要。但它们在购物篮内推荐中的适用性仍未得到探索。
我们提出了 PerNIR,这是一种基于邻域的模型,它明确地为杂货店购物中的购物篮内推荐建模用户的个人历史记录。PerNIR 的主要新颖之处在于对用户的短期兴趣(由当前购物篮表示)以及他们的长期兴趣(反映在他们的购买历史中)进行建模。除了个人历史记录外,用户邻居还用于捕获协作购买行为。我们在两个公共和专有数据集上评估了 PerNIR。实验结果表明,该方法的表现远超 10 个最先进的竞争对手,即命中率比排名第二的方法高出 12% 以上。此外,我们还展示了该方法的优化实现,该方法可以快速计算推荐,满足实际生产场景的需求。
表 2:PerNIR 与基线结果的比较。粗体和下划线分别表示表现最佳和第二好的模型。与最佳基线相比,PerNIR 的显著改进用 标记(配对 t 检验,p < 0.05)。
2 SGCCL: Siamese Graph Contrastive Consensus Learning for Personalized Recommendation【SGCCL:用于个性化推荐的暹罗图对比共识学习,悉尼科技大学】
基于对比学习的神经网络最近被引入到推荐系统中,因为它们具有通过注入协作信号来建模深度表示的独特优势,以及学习过程中的自监督性质。现有的用于推荐的对比学习方法主要是通过向用户-项目(U-I)二分图引入增强而提出的。然而,这种对比学习过程容易受到对热门项目和用户的偏见,因为更高程度的用户/项目会受到更多的增强,并且它们的相关性会被更多地捕获。在本文中,我们提倡一种孪生图对比共识学习 (SGCCL) 框架,以探索内在相关性并减轻个性化推荐的偏见效应。我们没有增强原始的 U-I 网络,而是引入了孪生图,它是用户-用户(U-U)相似性和项目-项目(I-I)相关性的同质关系。还采用了对比共识优化过程来学习用户-项目评分、用户-用户相似性和项目-项目相关性的有效特征。最后,我们采用自监督学习结合连体项目-项目/用户-用户图关系,确保不受欢迎的用户/项目在嵌入空间中得到很好的保留。与现有研究不同,SGCCL 在整体和去偏推荐任务上都表现良好,从而形成了一个平衡的推荐器。在四个基准数据集上的实验表明,SGCCL 的表现优于最先进的方法,具有更高的准确率和更大的长尾项目/用户曝光率。
图 1:用户-项目二分图(左图)、构建的连体图(中图)和 ML-100K 数据集中的流行度偏差(右图)的玩具示例。在右图中,𝑋 轴表示用户-项目 (U-I) 二分图中的用户/项目流行度(节点度)。项目交互是整个数据集(即购物组合)中与目标项目一起出现的项目数量。用户交互表示选择与目标用户相同的一个或多个项目的用户数量。红色项目/用户流行度曲线遵循无标度分布,这意味着很少有项目/用户具有高度。使用项目-项目或用户-用户交互,不受欢迎的项目/用户显示提升的交互(蓝点),这将增加它们在个性化推荐中的曝光率。
图 2:GCL 与 SGCCL。现有的 GCL 方法(上图)专注于用户-项目二分图进行表示学习。SGCCL(下图)将连体(用户-用户和项目-项目)图引入到图对比学习中。使用共识损失来确保学习到的表示能够从多个视角重建网络结构。
图 3:SGCCL 框架概览。学习从左到右进行。
3 Relation Preference oriented High-order Sampling for Recommendation【面向关系偏好的高阶采样,武大】
将知识图谱(KG)引入推荐系统(RS)已被证明是有效的,因为KG引入了物品之间的多种关系。事实上,用户根据KG中的关系有不同的关系偏好。现有的基于GNN的模型大多采用随机邻居采样策略来处理传播;然而,这些模型无法聚合特定用户的有偏关系偏好局部信息,从而无法有效揭示用户偏好之间的内在关系。这将降低推荐的准确性,同时也限制了结果的可解释性。
因此,我们提出了一种面向关系偏好的高阶采样(RPHS)模型,基于关系偏好动态采样子图,并对用户-物品对进行硬负样本。我们设计了一种基于关系偏好的路径采样策略,该策略可以对特定用户-物品对之间的关键路径进行编码,以对高阶消息传递子图中的路径进行采样。接下来,我们设计了一种混合采样策略并定义了一种新的传播操作,以进一步增强RPHS区分负信号的能力。通过上述采样策略,我们的模型可以更好地聚合局部关系偏好信息,揭示用户偏好之间的内在关系。实验表明,我们的模型在三个数据集上的表现分别比最先进的模型高出 14.98%、5.31% 和 8.65%,并且在可解释性方面也表现良好。代码可在下面的URL上找到:
https://github.com/RPHS/RPHS.git
图 1:(a) 基于知识图谱的 RS 的玩具示例。实体之间的虚线表示对应关系,实线表示用户与物品之间的交互;(b) 用户视角:Jim 不选择 Rock of Ages 的原因;© 模型视角:模型向 Jim 推荐 Rock of Ages 的原因。
图 2:所提出的面向关系偏好的高阶采样模型的说明。(∗)表示在两个消息传递子图之间传播的项目或用户的虚拟节点。
图 3:跨两个子图的混合操作
4 Variational Reasoning over Incomplete Knowledge Graphs for Conversational Recommendation【会话推荐中不完全知识图的变分推理,山大】
对话推荐系统 (CRS) 通常利用外部知识图谱 (KG) 引入丰富的语义信息并通过自然语言对话推荐相关项目。然而,现有 CRS 中使用的原始 KG 通常是不完整且稀疏的,这限制了推荐中的推理能力。此外,现有研究中只有少数利用对话上下文来动态提炼 KG 中的知识以获得更好的推荐。为了解决上述问题,我们提出了基于不完整 KG 的变分推理对话推荐系统 (VRICR)。我们的主要思想是结合自然伴随 CRS 的大型对话语料库来增强不完整的 KG;并根据对话上下文进行动态知识推理。具体而言,我们将 KG 的对话特定子图表示为具有分类先验的潜在变量,以进行自适应知识图谱重构。我们提出了一种变分贝叶斯方法来近似对话特定子图的后验分布,它不仅利用对话语料库来重构缺失的实体关系,还可以根据对话上下文动态选择知识。最后,我们注入对话特定子图来解码推荐和响应。我们在两个基准 CRS 数据集上进行了实验。实验结果证实了我们提出的方法的有效性。
图 1:对于交互 1,原始 KG 中缺少“黑暗骑士”和“DC 漫画”之间的关系。通过合并对话语料库,可以完成缺失的关系(红色虚线)并将其重新用于交互 1 中的推荐。对于交互 1 和交互 2,应根据对话上下文(粗体斜体文本)选择正确的知识(分别为蓝色阴影区域和黄色阴影区域)。
图 2:VRICR 概览。VRICR 有四个组件:上下文编码器、知识图谱重构网络、推荐器和响应生成器。
图 3:VRICR 的图形表示。阴影节点表示观察到的变量。
5 Exploiting Explicit and Implicit Item relationships for Session-based Recommendation【利用基于会话的推荐的显式和隐式商品关系,悉尼科技大学】
基于会话的推荐旨在根据用户过去和正在进行的会话所反映的短期行为来预测用户的下一步行动。图神经网络 (GNN) 最近在相关研究中占据了主导地位,但它们的性能严重依赖于图结构,而图结构通常是预定义的、特定于任务的和启发式设计的。此外,现有的基于图的方法要么忽略项目之间的隐式相关性,要么在同一图中同时考虑显式和隐式关系。我们建议将项目之间的显式和隐式关系解耦。这样,我们可以以灵活且更易于解释的方式同时捕获显式依赖关系中封装的先验知识和学习到的项目之间的隐式相关性,从而实现有效的推荐。我们设计了一个双图神经网络,利用两个 GNN 提取的特征表示:一个具有单门的图神经网络 (SG-GNN) 和一个自适应图神经网络 (A-GNN)。前者对项目之间的显式依赖关系进行建模。后者采用自学习策略来捕获项目之间的隐式相关性。我们在四个真实数据集上进行的实验表明,我们的模型大大优于最先进的方法,在 Diginetica 和 LastFM 数据集上,HR@20 分别提高了 18.46% 和 70.72%,MRR@20 分别提高了 49.10% 和 115.29%。
图 1:上半部分展示了在三个会话示例中用于建模项目关系的不同图形结构。(b) 将快捷方式和自循环(用红色虚线表示)应用于每个会话以捕获长距离依赖关系 [3];© 创建一个虚拟项目 (𝑖0) 来连接每个会话中的所有项目 [16];(d) 用单个图形说明所有会话中的所有项目关系 [36];(e) 对项目进行分组(例如,根据其品牌)并根据项目在同一会话中的共现情况构建超图 [34]。下半部分展示了我们针对两个会话示例提出的解耦显式和隐式项目关系的建议。
图 2:DGNN架构。
6 Range Restricted Route Recommendation Based on Spatial Keyword【基于空间关键词的距离受限路径推荐】
本文重点研究一种新的路线推荐问题,即当用户给出关键字和范围约束时,将为用户返回包含最多数量的标记有关键字的 POI 或该范围内的类似 POI 的路线。这是一个实际问题,当人们想要探索某个地方时,例如,找到一条 2 公里范围内包含尽可能多的服装店的路线。为了解决这个问题,我们首先根据 POI 的数量和相似性计算道路网络中每条边的得分。然后,我们将问题重新表述为在距离约束问题内寻找图中得分最高的路径,这被证明是 NP 难问题。鉴于此,我们不仅提出了一种精确的分支定界 (BnB) 算法,还设计了一种更有效的基于 top-k 的网络扩展 (k-NE) 算法来找到近优解。在真实数据集上进行的大量实验不仅验证了所提出的路线推荐算法的有效性,而且表明 k-NE 算法的效率和准确性完全可以接受。
图 1:高德地图的部分关键词树。
图 2:边缘计算得分的示例。
图 3:标签支配的示例
算法 1:分支定界(BnB)算法
7 Meta Policy Learning for Cold-Start Conversational Recommendation【元学习做对话推荐的冷启动,弗吉尼亚,京东】
对话推荐系统 (CRS) 明确征求用户的偏好,以便即时提供更好的推荐。大多数现有的 CRS 解决方案都依赖于通过强化学习为用户群体训练的单一策略。然而,对于新用户来说,这样的全局策略无法满足他们的需求,即冷启动挑战。在本文中,我们通过元强化学习研究了冷启动用户的 CRS 策略学习。我们建议通过少量对话推荐试验来学习元策略并将其适应新用户。为了促进快速的策略适应,我们设计了三个协同组件。首先,我们设计了一个元探索策略,专门用于通过一些探索性对话来识别用户偏好,从而加速从元策略进行的个性化策略适应。其次,我们根据对话过程中收集到的对话状态,为每个用户调整项目推荐模块,以最大化推荐质量。第三,我们提出了一个基于 Transformer 的状态编码器作为连接前两个组件的主干。它通过对对话过程中正反馈和负反馈之间的复杂关系进行建模来提供全面的状态表示。在三个数据集上进行的大量实验证明了与一组最先进的 CRS 解决方案相比,我们的解决方案在服务新用户方面具有优势。
图 1:冷启动 CRS 的示例。
图 2:MetaCRS 训练的工作流程。每个用户的支持集分为探索阶段和对话推荐阶段。每个用户在 MetaCRS 的整个过程中,上一层的最后一个隐藏状态作为其初始状态传递到下一层。
算法1:MetaCRS的优化算法。
8 Efficiently Leveraging Multi-level User Intent for Session-based Recommendation via Atten-Mixer Network【通过Atten Mixer网络有效利用多级用户意图进行基于会话的推荐,港大,微软】
基于会话的推荐 (SBR) 旨在根据短暂而动态的会话预测用户的下一步行动。最近,人们越来越有兴趣利用各种精心设计的图神经网络 (GNN) 来捕捉项目之间的成对关系,这似乎表明设计更复杂的模型是提高经验性能的灵丹妙药。然而,这些模型在模型复杂度呈指数增长的情况下取得了相对微不足道的改进。在本文中,我们剖析了经典的基于 GNN 的 SBR 模型,并通过经验发现,由于读出模块在基于 GNN 的模型中起着重要作用,一些复杂的 GNN 传播是多余的。基于这一观察,我们直观地建议删除 GNN 传播部分,而读出模块将在模型推理过程中承担更多责任。为此,我们提出了多级注意力混合网络 (Atten-Mixer),它利用概念视图和实例视图读出来实现项目转换的多级推理。由于简单地列举所有可能的高级概念对于大型现实世界推荐系统来说是不可行的,我们进一步结合了与 SBR 相关的归纳偏差,即局部不变性和固有优先级来修剪搜索空间。在三个基准上进行的实验证明了我们提案的有效性和效率。自 2021 年 4 月以来,我们还已将所提出的技术应用于大型电子商务在线服务,并在实时流量的在线实验中展示了顶级业务指标的显着改进。
图 1:会话数据多层次推理的示例。
图 2:传统的基于 GNN 的 SBR 模型的分解。
图 3:在 GNN 模块上应用 SparseVD 的稀疏化结果。
图 4:Atten-Mixer 概览。给定一个会话,我们首先从嵌入层收集归一化的项目嵌入,并通过对最后 𝑙 个归一化隐藏状态使用深度集操作应用多头 L 级注意力 (L = 3)。然后在生成的注意力图上使用 𝐿𝑝 池化来获取会话表示并进行推荐。我们的框架支持在 Attn-Mixer 之前使用各种项目编码器(点状方块)。
9 Improving News Recommendation with Channel-Wise Dynamic Representations and Contrastive User Modeling【利用频道动态表征和对比用户模型改进新闻推荐,北大】
新闻建模与用户建模是新闻推荐的两大核心任务,准确的用户表征与新闻表征可以使推荐系统为用户提供精准的推荐服务。现有的方法大多采用CNN、Self-Attention等深度学习模型从新闻标题、摘要中提取文本特征,生成具体的新闻向量。然而基于CNN的方法参数固定,无法针对不同的输入词提取具体的特征;而基于Self-Attention的方法计算成本较高,且难以有效捕捉局部特征。我们提出的方法构建基于类别的动态组件,为不同的输入生成合适的参数,从多个角度提取局部特征。同时,用户会误点击一些不感兴趣的新闻词,因此数据集中会存在一些交互噪音。为了发掘用户数据中的关键用户行为,降低噪音数据对用户建模的影响,我们在用户建模中采用了一种频率感知的对比学习方法。在真实数据集上的实验验证了我们提出的方法的有效性。
图 1:模型整体架构。
图 2:使用类别嵌入生成多通道卷积核的过程。
10 Simplifying Graph-based Collaborative Filtering for Recommendation【简化基于图的推荐协同过滤,悉尼科技大学,ebay】
图卷积网络 (GCN) 是一种流行的机器学习模型,它使用多层卷积聚合操作和非线性激活来表示数据。最近的研究将 GCN 应用于基于协同过滤 (CF) 的推荐系统 (RS),将用户-项目交互建模为二分图并取得了优异的表现。然而,这些模型在大型图上使用非线性激活进行训练时面临困难。此外,由于图卷积操作的过度平滑效应,大多数基于 GCN 的模型无法对更深的层进行建模。在本文中,我们从两个方面改进了基于 GCN 的 CF 模型。首先,我们消除非线性以增强推荐性能,这与简单图卷积网络中的理论一致。其次,我们通过计算压缩图上的网络嵌入来获得图中每个节点的嵌入初始化,这缓解了具有稀疏交互数据的图卷积聚合操作中的过度平滑问题。所提出的模型是一个线性模型,易于训练,可扩展到大型数据集,并且显示在四个真实数据集上具有更好的效率和有效性。
图 1:标准 GCN(左)和 SGCF(右)训练示意图。标准 GCN 需要反复执行 N 层消息传递才能获得最终的嵌入,并具有大规模图结构 𝐺𝑜𝑟𝑖𝑔𝑖𝑛𝑎𝑙 。同时,SGCF 只有一层,具有压缩图 𝐺𝑐𝑜𝑛𝑑𝑒𝑛𝑠𝑒𝑑 ,并删除了自连接、特征变换和非线性激活等其他操作,大大提高了训练效率并有助于实际部署。
图 2:模型总体架构。图形过程说明了具有不同跳跃的嵌入传播过程。分区算法在具有不同跳跃𝑘(左下)的几次迭代中工作。在每次迭代中,可以在𝑘 层计算框架中实现每个节点的嵌入更新。最终的压缩图输入到我们简化的 GCF 模型中。
11 AutoGen: An Automated Dynamic Model Generation Framework for Recommender System【AutoGen:推荐系统的自动动态模型生成框架,上交,华为】
考虑到工业推荐系统的收益和资源消耗之间的平衡,智能推荐计算近年来应运而生。现有的解决方案都是无差别地部署相同的推荐模型来为用户服务,这对于总收益最大化而言并不是最优的。我们提出了一种多模型服务解决方案,通过部署不同复杂度的模型来服务不同价值的用户。阐述了一种自动动态模型生成框架AutoGen,以高效地导出具有不同复杂度和足够预测能力的多个参数共享模型。设计了一个混合搜索空间,并提出了一种重要性感知的渐进式训练方案来防止不同架构之间的干扰,避免了模型重新训练并提高了搜索效率,从而高效地导出多个模型。在两个公共数据集上进行了大量的实验,证明了AutoGen的有效性和效率。
图1:智能推荐计算。
图 2:具有多种复杂性和预测能力的动态模型,用于服务具有不同价值观的用户。
图 3:AutoGen 的搜索空间。
图 4:AutoGen 的搜索流程。重要性识别阶段用于识别特征𝜶和嵌入维度的重要性。然后,提出渐进式训练阶段,以渐进方式强制执行模型训练顺序。最后,开发搜索和派生阶段来搜索和派生多个模型。
12 A Causal View for Item-level Effect of Recommendation on User Preference【对用户偏好影响的因果分析,浙大,Meta】
推荐系统不仅服务于用户,还通过个性化推荐影响用户偏好。最近的研究调查了整个推荐系统对用户偏好的影响,即系统级效应,并发现推荐可能导致回音室和过滤气泡等问题。为了适当缓解这些问题,有必要估计推荐特定项目对用户偏好的影响,即项目级效应。例如,通过了解推荐某个项目是否会加剧回音室,我们可以更好地决定是否推荐它。
这项工作设计了一种从因果角度估计项目级效应的方法。我们借助因果图来表征推荐一个项目对另一个项目偏好的平均处理效果。估计影响的关键在于减轻时间和用户特征的混杂偏差,而无需昂贵的随机对照试验。为了实现这一目标,我们通过分层和匹配的方法来估计历史观察中的因果效应,分别解决这两个混杂因素。然而,直接实施分层和匹配是困难的,由于样本量很大,需要很高的计算成本。因此,我们提出了分层和匹配的有效近似,以降低计算复杂度。在两个真实数据集上的大量实验结果验证了我们方法的有效性和效率。我们还展示了一个使用项目级效应来提供缓解回音室的见解的简单示例。
图 1:推荐商品 𝑣 (𝑅) 和用户对商品 𝑗 (𝐿) 的偏好之间的因果关系。𝑇 和 𝐹 是 𝑅 和 𝐿 之间的混杂因素。
图 2:用户历史数据说明。箭头:时间线。叉:针对商品 𝑣 的一条推荐。圆圈:针对商品 𝑗 的一条推荐(即我们数据中的一个样本),其中白色表示 𝑟 = 0,黑色表示 𝑟 = 1。