【ACL2020】Relabel the Noise: Joint Extraction of Entities and Relations via Cooperative Multiagents

文章目录

  • 1.本文问题
  • 2.方法
  • 3.用于
  • 4. 结论

1.本文问题

解决问题:

  • 去噪
    • shifted label distribution
      • 普遍存在此问题,但大家都不解决,只着重于抛弃噪声实例
      • 远程监督标记的噪声数据(KB)和人类标注的测试集分布不同
  • pipeline
    • pipeline会增加噪声的传递–传递错误

2.方法

本文方法:多智能体合作重新标注噪声实例的联合模型

  • 细粒度地处理
    • 原来:舍弃或留下,二选一,仅对FP
    • 本文:分配置信度,重新标记
      • 选择目标:噪声实例
  • 输入
    • KG embedding: transE–type embedding
  • extractor:
    • PCNN(仅有关系抽取,实体部分使用CoType)
    • CoType(比PCNN好,因为PCNN是pipeline的
  • 多智能体MRL
    • 每个智能体从自己的角度单独计算一个连续的置信度
      • 相互独立–分散的
    • 利用实体和关系之间的关联性,
    • curriculum +PPO:
      • reward大于threshold,或者队列满了–使用PPO学习agent策略
      • curriculum learnin:
        • 队列和采样的目的:加强任务之间的交互信息和加强agent的探索
  • confident consensus module:聚合多智能体的智慧
  • 置信度:
    • 连续
    • 使用置信度重新分布noisy training data 用于调整loss
    • 使用RL去探索合适的标签分布,通过使用置信标签重分布训练集
      • 这个方法实用,并且是robust的
      • 并不使用真实世界应用的测试集的信息:不引入真实世界的额外的知识

3.用于

本文方法可作为post-processing plugin:DS,WS

4. 结论

  • joint>pipeline
  • MRL>joint:
  • MRL可以重新标记实例

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/481470.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

马斯克成功收购推特,开除CEO等多名高管,还派特斯拉工程师进驻总部审查代码...

来源:AI前线作者:刘燕这场连环反转“大戏”,终于落幕。靴子终于落地10 月 28 日,据 《纽约时报》、CNBC 、《 华尔街日报》、《华盛顿邮报》 等多家外媒报道,马斯克收购推特的交易已经完成。这笔 440 亿美元的收购案终…

【ACL2020】Reasoning with Latent Structure Refinement for Document-Level Relation Extraction

1. 问题 句间关系 很多约等于文档级关系抽取 文档级关系抽取 句子间关系多 生物医药领域尤其多 需求/困难 整合同一文档不同句子间的信息处理句间实体复杂的交互 2.相关工作 文档级别关系抽取 结论: 实体mention之间的交互促进推理过程(文档级关系抽…

孤独的宇宙中,人类是个例外吗?

© Movie Content Plus来源:人工智能学家利维坦按:爱因斯坦曾说,“宇宙的永恒之谜在于其可理解性,宇宙能被理解是个奇迹。”不过,就可理解性(comprehensibility)来说,该如何定义…

cosine_similarity和torch.cosine_similarity速度差异(人间奇事)

最近聚簇计算相似度,使用了下面两种方法。 一开始用的sklearn,因为没有gpu后来有了gpu就换上了pytorch gpu是V100 batch500(说是batch,只是为了预防超出内存,做的限制。跑的是个循环速度大概是这样子的: torch的cosine…

红杉资本谈生成式AI:预计AI的杀手级应用将出现,比赛正在进行

来源:硅发布13年前,我采访Wolfram|Alpha的创始人、美国计算机科学家史蒂芬.沃尔弗拉姆时,大吃一惊。当时Wolfram|Alpha刚推出,使命是:让每一个人都可以在搜索引擎里搜出计算机计算的结果。比如说,输入"…

Transformer and set Trasformer

1.Transformer multihead attention block:MAB(X,Y)LayerNorm(HrFF(H))HLayerNorm(Xmultihead(X,Y,Y;ω)MAB(X,Y)LayerNorm(HrFF(H))\\ HLayerNorm(Xmultihead(X,Y,Y;\omega)MAB(X,Y)LayerNorm(HrFF(H))HLayerNorm(Xmultihead(X,Y,Y;ω) * Attention:Att(Q,K,Vl;ω)ω(QKT)VAtt…

「图神经网络复杂图挖掘」 的研究进展

来源:专知图神经网络对非欧式空间数据建立了深度学习框架,相比传统网络表示学习模型,它对图结构能够实施更加深层的信息聚合操作.近年来,图神经网络完成了向复杂图结构的迁移,诞生了一系列基于复杂图的图神经网络模型. 然而,现有综述文章缺乏对复杂图神经网络全面、…

知识复习:nlp算法面试汇总

文章目录2.相似度3.正则化3.1 L13.2 过拟合和欠拟合3.2.1 dropout3.3 欠拟合4. 激活函数4.1 sigmoid5.Bert5.1 Bert原版5.1.2 bert的训练5.2改进5.2.1缺点改进5.2.2任务改进5.3 参数量5.3 transformer5.3.1 多头注意力机制6.搜索6.1pagerank6.2 文本匹配7.神经网络基础7.1Norm7…

光子深度学习:编码到光波上的机器学习模型的组件

编辑 | 萝卜皮由于功率、处理和内存的限制,高级机器学习模型目前无法在智能传感器和无人机等边缘设备上运行。麻省理工学院的研究人员介绍了一种基于跨网络的离域模拟处理的机器学习推理方法。在这种被称为 Netcast 的方法中,基于云的「智能收发器」将重…

【实体对齐·综述】A Benchmarking Study of Embedding-based Entity Alignment for Knowledge Graphs

文章目录模板的简述简述1.Introduction2. preliminatries2.1 literature review2.1.1 knowledge graph embedding2.1.2 Conventional Entity Alignment2.1.3 embedding-based entity alignment2.2 Categorization of Techniques2.2.1 Embedding Module2.2.1.1 关系嵌入2.2.1.2 …

深度学习优化背后包含哪些数学知识?

来源:图灵人工智能深度学习中的优化是一项极度复杂的任务,本文是一份基础指南,旨在从数学的角度深入解读优化器。深度学习中的优化是一项极度复杂的任务,本文是一份基础指南,旨在从数学的角度深入解读优化器。一般而言…

Bert/Transformer汇总

文章目录bert微调transformerbert学习预训练模型

2022 剑桥 AI 全景报告出炉:扩散模型是风口,中国论文数量为美国的 4.5 倍

来源:FUTURE远见选编:FUTURE | 远见 闵青云 文:AI科技评论 近日,剑桥大学的2022年 AI 全景报告(《State of AI Report 》)出炉!报告汇总和聚焦了过去一年里 AI 行业中炙手可热的事件&#xff0c…

实体对齐汇总

文章目录1.综述2.技术论文3.汇总3.1定义定义统一EA3.2 评价指标3.3 数据集3.4 数据预处理技术3.5 索引3.6 对齐3.6.1 按属性相似度/文本相似度做:成对实体对齐3.6.2 协同对齐:考虑不同实体间的关联3.6.2.1 局部实体对齐3.6.2.2 全局实体对齐3.6.3 基于em…

博后出站即任985教授!他致力于寻找人类五感世界的最后一块拼图

来源:iNature两年前,闫致强从底蕴深厚的复旦大学生命科学学院“跳”到尚处于新生期的深圳湾实验室,“蜗居”在一栋商业大楼里,和团队在这里寻找人类感知世界的最后一块拼图。在亚里士多德定义的五种感官中,介导嗅觉、味…

【实体对齐·BootEA】Bootstrapping Entity Alignment with Knowledge Graph Embedding

文章目录0.总结1.动机2. 贡献方法3.应用场景4.其他模型5.数据集6.效果以下的是组内比较BootEA: “Bootstrapping Entity Alignment with Knowledge Graph Embedding”.Zequn Sun, Wei Hu, Qingheng Zhang, Yuzhong Qu. (IJCAI 2018) [ paper][ code]0.总结 BootEA笔记 BootE…

一项人工智能、化学和分子机器人的交叉研究,加速创新和药物发现,并简化复杂的化学过程自动化...

编辑 | 萝卜皮深入了解各类化学物质的最佳一般反应条件,可以加速创新和药物发现,并使复杂的化学过程自动化且易于使用,对生物医药、材料研究具有重要意义。然而,有机反应的一般条件很重要但很少见,以往识别它们的研究通…

【实体对齐·综述】An Experimental Study of State-of-the-Art Entity Alignment Approaches

文章目录0.总结1.Introduction2.Preliminaries2.2 Scope and Related work2.2.1 Entity Linkingentity disambiguation2.2.2 Entity resolutionentity matchingdeduplicationrecord linkage2.2.3 Entity resolution on KGs2.2.4 EA3.general框架3.1 Embedding Learning Module3…

汽车生产线上的工业机器人是如何工作的?

来源:宝石部落 责任编辑:朱光明 审核人:王颖十年来,随着机器人在制造业的普遍应用,我国工业机器人产业规模快速增长。2021年,我国工业机器人产量达36.6万台,比2015年增长了10倍,市场…

【实体对齐·HGCN】Jointly Learning Entity and Relation Representations for Entity Alignment

文章目录1.动机2.输入输出3.相关工作4.模型4.1 GCN4.2 approximating relation representations4.3 joint entity and relation alignmentHGCN: “Jointly Learning Entity and Relation Representations for Entity Alignment”. Yuting Wu, Xiao Liu, Yansong Feng, Zheng Wa…