2020-Structure Aware Negative Sampling in Knowledge Graphs

摘要

使用对比估计学习知识图中实体和关系的低维表示是一种可扩展且有效的推断连接模式的方法。对比学习方法的一个关键方面是选择产生硬负样本的腐败分布,这迫使嵌入模型学习判别表示并找到观察数据的关键特征。虽然早期的方法要么采用过于简单的腐败分布,即统一的,容易产生无信息的负,要么采用具有挑战性优化方案的复杂的对抗性分布,但它们没有明确地纳入导致次优负的已知图结构。在本文中,我们提出了结构感知负采样(SANS),这是一种廉价的负采样策略,通过从节点的k-hop邻域中选择负样本来利用丰富的图结构。根据经验,我们证明了SANS发现语义上有意义的否定,并且与SOTA方法竞争,同时不需要额外的参数,也不需要困难的对抗性优化。

现在的工作。在这项工作中,我们引入了结构感知负采样(SANS),这是一种利用KG的图结构来寻找硬负例的算法。具体来说,SANS使用限制于头部或尾部实体的k-hop邻域的实体子集构建负样本。我们假设彼此相邻但没有直接关系的实体彼此相关的可能性更高,因此是负抽样的良好候选者。我们还尝试了一种基于随机游走的动态采样方案来近似节点的局部邻域。从经验上看,我们发现使用SANS的负抽样持续导致均匀抽样和复杂的生成对抗网络(Goodfellow等人,2014)(GAN)基于方法的改进,其计算成本只是一小部分,并且与其他没有添加参数的SOTA方法具有竞争力 。

方法

我们基于对之前学习词嵌入的工作(Mikolov等人,2013)的观察来激励我们的方法,其中负采样在历史上已经发展起来,缺乏在KG设置中可以立即访问的图结构的丰富性。因此,我们假设用结构信息丰富负采样过程可以产生更难的负样本,这对学习有效嵌入至关重要。图1突出了我们的方法,该方法需要在第一步为每个节点构建K -hop邻域(K), 

为了构造负三元组,我们现在可以简单地从K的非零单元中采样,它代表了kg中每个节点的所有实体的子集,即。K∧1 e×e。直观地说,SANS利用实体邻域的局部性,其中负样本被定义为在关系r下没有直接联系,但可以通过最多长度为k的路径访问的实体。我们认为,这样的局部负样本更难区分,并导致嵌入模型评估的更高分数。构造K的一个重要技术细节是存在多个关系类型,这需要一个额外的维度来表示图的连通性为邻接和K -hop张量。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/772373.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于java+springboot+vue实现的超市管理系统(文末源码+Lw+ppt)23-354

摘 要 系统根据现有的管理模块进行开发和扩展,采用面向对象的开发的思想和结构化的开发方法对超市管理的现状进行系统调查。采用结构化的分析设计,该方法要求结合一定的图表,在模块化的基础上进行系统的开发工作。在设计中采用“自下而上”…

坑爹的eslint配置

标题eslint 版本不一致 导致很多问题 比如无法保存的时候校验,首行缩进无效等 babel-eslint这个依赖的版本不一致非常坑 vscode我这里保存下两个版本下的配置 插件eslint 自己下载 1.webpack创建的项目 eslint版本 “eslint”: “^4.19.1”, “eslint-friendly-fo…

蓝桥杯刷题8

1. 世纪末的星期 import java.util.Calendar; public class Main {public static void main(String[] args) {Calendar calendar Calendar.getInstance();for(int year 1999;year<100000;year100){calendar.set(Calendar.YEAR,year);calendar.set(Calendar.MONTH,11);cale…

小苯的回文询问(

题目 离散化存储 #include<bits/stdc.h> using namespace std; #define int long long const int N2e59; int n,q,ans[N],a[N]; map<int,int> mp; vector<pair<int,int>>qr[N]; signed main(){ios::sync_with_stdio(false),cin.tie(0),cout.tie(0);c…

前端面试拼图-数据结构与算法(二)

摘要&#xff1a;最近&#xff0c;看了下慕课2周刷完n道面试题&#xff0c;记录下... 1. 求一个二叉搜索树的第k小值 二叉树(Binary Tree) 是一棵树 每个节点最多两个子节点 树节点的数据结构{value, left?, right?} 二叉树的遍历 前序遍历&#xff1a;root→left→right 中…

C/C++ 语言中的 ​if...else if...else 语句

C/C 语言中的 ​if...else if...else 语句 1. if statement2. if...else statement3. if...else if...else statementReferences 1. if statement The syntax of the if statement is: if (condition) {// body of if statement }The code inside { } is the body of the if …

聚合支付评级较低的机构能否提升评级

聚合支付机构完成备案是合规展业的第一步&#xff0c;同时&#xff0c;一年一度评级结果对其业务开展和收单机构合作发展具有重要的作用&#xff0c;如若评级较低&#xff0c;将影响到其参与商业银行的外包业务投标&#xff0c;支付机构合作协议签署及合作事宜。 近期&#xf…

Chrome浏览器修改网页内容

方法一&#xff1a;使用开发者工具 在Chrome浏览器中打开要修改的网页。按下F12键打开开发者工具。在开发者工具窗口中&#xff0c;找到“Elements”标签页。在“Elements”标签页中&#xff0c;找到要修改的网页元素。双击要修改的网页元素&#xff0c;即可进行编辑。 方法二…

AIGC 训练场景下的存储特征研究

云布道师 引言&#xff1a;在传统块存储大行其道的时代&#xff0c;需要针对很多行业的工作负载&#xff08;Workload&#xff09;进行调研&#xff0c;包含块大小、随机读、读写比例等等。知道行业的 Workload 对于预估业务的 I/OPS、时延、吞吐等性能有很好的指导意义&#…

Cadence——生成Gerber制板文件

软件版本&#xff1a;Cadence SPB OrCAD Allegro 16.6 打开Allegro PCB Designer 选择如下选项&#x1f447; 点击 File–>Open&#xff0c;找到对应的.brd文件 电气错误的检查&#xff1a;点击 Display–>Status&#xff0c;全为绿色则没有错误 按照不同的项目来进…

自幂数之水仙花数(从0开始)

文章目录 概要整体架构流程代码实现小结 概要 水仙花数&#xff08;Narcissistic number&#xff09;也被称为超完全数字不变数&#xff08;pluperfect digital invariant, PPDI&#xff09;、自恋数、自幂数、阿姆斯壮数或阿姆斯特朗数&#xff08;Armstrong number&#xff…

基于stm32与TJC3224T124_011串口屏的PID调参器(附完整工程)

电赛在即&#xff0c;每次比赛调PID都是一件比较繁琐的事。每次都要在程序中改完再烧录到板子上&#xff0c;特别耗时。正好最近发现实验室的一块串口屏比较好玩。 于是就做了这个调PID的东西。它可以通过串口直接修改PID的值&#xff0c;从而达到快速调PID的目的。下面我将完整…

C++学习笔记(lambda函数)

C learning note 1、lambda函数的语法2、lambda函数的几种用法 1、lambda函数的语法 lambda函数的一般语法如下&#xff1a; [ capture_clause ] ( parameters ) -> return_type {function_body }capture_clause&#xff1a;需要捕获的变量&#xff0c;但要求该变量必须在…

【办公类-16-07-07】“2023下学期 中班户外游戏2(有场地和无场地版,每天不同场地)”(python 排班表系列)

作品展示 背景需求&#xff1a; 2024年2月教务组发放的是“每周五天内容相同&#xff0c;两周10天内容相同”的户外游戏安排 【办公类-16-07-05】合并版“2023下学期 大班户外游戏&#xff08;有场地和无场地版&#xff0c;两周一次&#xff09;”&#xff08;python 排班表系…

探索未来智能的奥秘

文章目录 前言 前言 随着科技的不断进步&#xff0c;人工智能(AI)已逐渐渗透到我们生活的方方面面。而在AI的众多分支中&#xff0c;大模型技术无疑是一个备受瞩目的领域。本文将带领大家走进AI大模型的世界&#xff0c;一同探索其奥秘。 AI大模型&#xff0c;顾名思义&#…

YOLOv7 | 注意力机制 | 添加ECA注意力机制

目录 原理简介 代码实现 yaml文件实现&#xff08;tips&#xff1a;可以添加不同的位置&#xff09; 检查是否添加执行成功 完整代码分享 论文创新必备&#xff08;可帮忙做实验&#xff09; 启动命令 ECA是通道注意力机制的一种实现形式&#xff0c;是基于SE的扩展。…

Data Interpreter: An LLM Agent For Data Science 论文解读

论文地址&#xff1a;https://arxiv.org/abs/2402.18679 Github&#xff1a;MetaGPT: The Multi-Agent Framework 数据解释器&#xff08;Data Interpreter&#xff09;是一个基于大型语言模型&#xff08;LLM&#xff09;的代理&#xff0c;专门为解决数据科学问题而设计。它…

互联网摸鱼日报(2024-03-21)

互联网摸鱼日报(2024-03-21) 36氪新闻 金山云Q4营收17.22亿元&#xff0c;技术创新驱动收入规模和盈利能力双增长 iOS 18是苹果AI的答卷&#xff1f;你或许并不懂手机AI 2024年&#xff0c;广告主市场预算真的继续下滑&#xff1f; 降价潮反倒劝退消费者&#xff0c;想买车…

数据丢失大救星:格式化后如何高效恢复文件

一、格式化危机&#xff1a;如何逆转数据流失 在数字时代&#xff0c;数据丢失无疑是一场灾难。当我们的电脑硬盘、手机或闪存盘不慎被格式化后&#xff0c;重要文件仿佛在一瞬间消失得无影无踪。面对这一突发状况&#xff0c;很多人会陷入迷茫和焦虑之中。那么&#xff0c;格…

Django(三)-搭建第一个应用(2)

一、编写更多视图 问题详情页——展示某个投票的问题和不带结果的选项列表。问题结果页——展示某个投票的结果。投票处理器——用于响应用户为某个问题的特定选项投票的操作。 # 1.问题详情页&#xff1a;展示某个投票的问题和不带结果的选项列表 def detail(request,questi…