Entity-Relation Extraction as Multi-turn Question Answering
code

abstract

在本文中，我们提出了一种新的实体关系提取任务范式。我们将任务转换为多回答问题回答问题，即实体和关系的提取被转换为从上下文识别答案跨度的任务。这种多转QA形式化具有几个关键优势：首先，问题查询为我们想要识别的实体/关系类编码重要信息;其次，质量保证提供了一种自然的实体和关系建模方式;第三，它允许我们利用完善的机器阅读理解（MRC）模型。

• NRE,NER->multi-turn QA
  • 问题查询为我们想要识别的实体/关系类编码了重要信息;
  • QA提供了一种自然的实体和关系建模方式;
  • 它允许我们利用完善的机器阅读理解（MRC）模型。
• 数据集
  • ACE
  • CoNLL04
  • RESUME(本文构建）
    • 需要多步推理来构建实体依赖性。
• a multi-turn QA
  • 多次QA
  • 实体和关系的类型：以question answering template为特征
  • 提取关系和实体：通过回答问题
  • 用MRC提取实体、关系:
    • Answers are text spans, extracted using the now standard machine reading comprehension (MRC) framework: predicting answer spans given context (Seo et al., 2016; Wang and Jiang, 2016; Xiong et al., 2017; Wang et al., 2016b).
    • eg:为了得到上表，有以下问答
      • • Q: who is mentioned in the text? A: Musk;
      • • Q: which Company / companies did Musk work for? A: SpaceX, Tesla, SolarCity, Neuralink and The Boring Company;
      • • Q: when did Musk join SpaceX? A: 2002;
      • • Q: what was Musk’s Position in SpaceX? A: CEO.
  • 优点：
    • 可得到层次依赖
    • 问题查询为我们编码重要的先验信息。
      • 类对QA来说有助于回答问题—这个可以解决很多问题
      • 传统的方法中类仅仅是索引，并且不编码类的任何信息
    • QA框架提供了一种同时提取实体和关系的自然方式
      • 回答问题
        • 有答案，则关系成立，且结果为我们希望的实体抽取
  • 两个阶段
    • 1)头部实体提取阶段
    • 2）关系和尾部实体提取阶段：
  • work:
    • 生成问题
    • 通过MRC确定答案范围
    • 强化学习
      • 处理多回合问题的连接

1.Introduction

识别实体及其关系是从非结构化原始文本中提取结构化知识的先决条件，这些知识近年来越来越受到关注。给定一大块自然语言文本，实体关系提取的目标是将其转换为结构知识库。例如，给出以下文本：
In 2002, Musk founded SpaceX, an aerospace manufacturer and space transport services Company, of which he is CEO and lead designer. He helped fund Tesla, Inc., an electric vehicle and solar panel manufacturer, in 2003, and became its CEO and product architect. In 2006, he inspired the creation of SolarCity, a solar energy services Company, and operates as its chairman. In 2016, he co-founded Neuralink, a neurotechnology Company focused on developing braincomputer interfaces, and is its CEO. In 2016, Musk founded The Boring Company, an infrastructure and tunnel-construction Company.

大多数现有模型通过从文本中提取三元组列表来接近该任务，即REL（），其表示实体与实体之间的REL关系。以前的模型分为两大类：流水线方法，首先使用标记模型来识别实体，然后使用关系提取模型来识别每个实体对之间的关系;联合方法，通过不同的策略，如约束或参数共享，将实体模型和关系模型结合起来。

• 关系抽取方法
  • pipeline
  • joint model(通过参数共享、约束等策略）

当前的ap apaches存在几个关键问题，无论是在任务形式化还是算法方面。在形式化级别，REL（）三元组结构不足以完全表达文本背后的数据结构。以Musk案例为例，标签之间存在层次依赖关系：时间的提取取决于位置，因为一个人可以在不同的时间段内在公司中持有多个职位;职位的提取也取决于公司，因为一个人可以为多家公司工作。在算法层面，对于大多数现有的关系提取模型（Miwa和Bansal，2016; Wang等，2016a; Ye等，2017），模型的输入是一个带有两个标记提及的原始句子，并且输出是两个提及之间是否存在关系。正如Wang等人所指出的那样。 （2016a）;曾等人。 （2018），神经模型很难捕捉到这种形式化中的所有词汇，语义和句法线索，特别是当（1）实体很远时; （2）一个实体涉及多个三胞胎; （3）一个句子包含多个相同类型的关系; （4）关系跨度有重叠3。

• 以前方法的问题：
  • 任务形式化：标签有层次依赖关系
  • 算法：
    • 神经模型很难捕捉到这种形式化中的所有词汇，语义和句法线索，特别是当
      • （1）实体很远时;
      • （2）一个实体涉及多个三元组(重叠关系）;
      • （3）一个句子包含多个相同类型的关系; （n-ary)
      • （4）关系跨度有重叠。
        • e.g., in text A B C D, (A, C) is a pair and (B, D) is a pair.

在本文中，我们提出了一个新的范例来处理实体关系提取的任务。我们将任务形式化为多回答问题回答任务：每个实体类型和关系类型以问答模板为特征，通过回答模板问题来提取实体和关系。

将实体关系提取任务视为多回合QA任务具有以下关键优势：
（1）多回合QA设置提供了捕获标签的层次依赖性的优雅方式。随着多回合QA的进行，我们逐步获得下一回合所需的实体。这与多回合插槽填充对话系统（Williams和Young，2005; Lemon等，2006）非常相似.
（2）问题查询为我们想要识别的实体/关系类编码重要的先验信息。例如，文本中提到的PER标记类的查询中的信息有助于模型提取相关的名称实体。相反，在传统的非QA实体关系提取模型中，标记类或关系类仅仅是索引（class1，class2，…），并且不编码关于类的任何信息。这种信息性可以潜在地解决现有关系提取模型无法解决的问题，例如远程分离的实体对，关系跨度重叠等;
（3）QA框架提供了一种同时提取实体和关系的自然方式：大多数MRC模型支持输出特殊的NONE标记，表明该问题没有答案。通过这个，原始的两个任务，实体提取和关系提取可以合并为一个QA任务：如果对应于该关系的问题的返回答案不是NONE，则关系成立，并且返回的答案是我们希望的实体提取。

3.相关工作

许多早期的实体关系提取系统是流水线的（Zelenko等，2003; Miwa等，2009; Chan和Roth，2011; Lin等，2016）：实体提取模型首先识别感兴趣的实体和关系然后，提取模型构造提取的实体之间的关系。虽然流水线系统具有集成不同数据源和学习算法的灵活性，但它们受错误传播的影响很大。

• pipeline
  • 灵活，但受错误传播影响大

为了解决这个问题，提出了联合学习模型。

• 基于约束的：
  • 早期的联合学习方法通过各种依赖关系连接两个模型，包括
  • 通过整数线性规划解决的约束（Yang和Cardie，2013; Roth和Yih，2007），
  • 卡片金字塔解析（Kate和Mooney，2010），以及
  • 全局概率图形模型（Yu和Lam，2010; Singh等，2013）。
• 在后来的研究中，Li和Ji（2014）使用结构感知器和有效的波束搜索提取实体提及和关系，这比基于约束的方法显着更有效，更省时。
• Miwa and Sasaki (2014); Gupta et al. (2016); Zhang et al. (2017) 提出了表格填充方法，该方法提供了将更复杂的特征和算法结合到模型中的机会，例如解码中的搜索顺序和全局特征。
• 神经网络模型也已在文献中广泛使用。
  • Miwa和Bansal（2016）引入了一种端到端方法，该方法使用具有共享参数的神经网络模型提取实体及其关系，即使用神经标记模型提取实体并使用基于树LSTM的神经多类分类模型提取关系
  • （Wang et al. (2016a)使用多层次关注CNN提取关系。
  • Zeng等人。 （2018）提出了一种新的框架，它使用序列到序列模型来生成实体关系三元组，自然地结合了实体检测和关系检测。
• 联合实体和关系提取模型的另一种方法是使用强化学习或最小风险训练，其中训练信号是基于两个模型的联合决策给出的。
  • Sun等人。 （2018）优化全局损失函数，在最小风险培训框架下共同培养这两个模型。
  • Takanobu等。 （2018）使用分层强化学习以分层方式提取实体和关系。

2.2MRC(机器阅读理解）

• 主流MRC模型（Seo等，2016; Wang和Jiang，2016; Xiong等，2017; Wang等，2016b）在给定查询的段落中提取文本跨度。文本跨度提取可以简化为两个多类分类任务，即预测答案的开始和结束位置。
• 类似的策略可以扩展到多段落MRC（Joshi等，2017; Dunn等，2017），其中答案需要从多个段落中选择。
• 多通道MRC任务可以通过连接段落轻松简化为单通道MRC任务（Shen et al。，2017; Wang et al。，2017b）。
  • Wang等人。 （2017a）首先对通道进行排名，然后在选定的段落上运行单通道MRC。
  • Tan等人。 （2017）与阅读理解模型一起训练通道排名模型。
  • 像BERT（Devlin等，2018）或Elmo（Peters等，2018）这样的预训练方法已被证明对MRC任务非常有帮助。

2.3 非QA->QA

存在将非QA NLP任务作为QA任务投射的趋势（McCann等，2018）。我们的工作受到Levy等人的高度启发。 （2017）。

• Levy et al. (2017) and McCann et al. (2018)专注于识别两个预定实体之间的关系，并且作者将关系提取的任务形式化为单转QA任务。
• 在本文中，我们研究了一个更复杂的场景，其中需要对层次标签依赖关系进行建模，并且单转QA方法不再适用。我们表明，我们的多转QA方法能够解决这一挑战并获得最新的最新结果。

3.数据集和任务

3.1别人的数据集

• 我们使用ACE04，ACE05和CoNLL04（Roth和Yih，2004），这是广泛使用的实体关联提取基准，用于评估。
• ACE04定义了7种实体类型，包括人员（PER），组织（ORG），地理实体（GPE），位置（loc），设施（FAC），武器（WEA）和车辆（VEH）。
  • 对于每对实体，它定义了7个关系类别，包括物理（PHYS），人 - 社会（PERSOC），就业 - 组织（EMP-ORG），代理 - 工件（ART），PER / ORG Affliation（OTHER-AFF） ，GPE- Affliation（GPE-AFF）和话语（DISC）。
• ACE05建立在ACE04之上。
  • 它保留了ACE04的PER-SOC，ART和GPE-AFF类别，但将PHYS分为PHYS和新的关系类别PART-WHOLE。
  • 它还删除了DISC，并将EMP-ORG和OTHER-AFF合并为一个新的EMP-ORG类别。
• 至于CoNLL04，
  • 它定义了四种实体类型（LOC，ORG，PER和OTHERS）和
  • 五种关系类别（LOCATED IN，WORK FOR，ORGBASED IN，LIVE IN）和KILL）。
• 对于ACE04和ACE05，我们遵循Li和Ji（2014）以及Miwa和Bansal（2016）4中的培训/开发/测试分组。
• 对于CoNLL04数据集，我们遵循Miwa和Sasaki（2014）。

3.2我们建立的数据集RESUME

• RESUME的新数据集。
  • 我们从IPO招股说明书中描述管理团队的章节中提取了841段。
  • 每个段落都描述了一位高管的一些工作经历。
  • 我们希望从简历中提取结构数据。
  • 四种类型的实体：
    • 人（行政人员的姓名），
    • 公司（行政人员工作/工作的公司），
    • 职位（他/她持有/持有的职位）和
    • 时间（执行的时间段）占据/占据那个位置）。
    • 值得注意的是，一个人可以在不同的时间段内为不同的公司工作，并且一个人可以在不同的时间段内为同一公司担任不同的职位。
• 我们将数据集随机分为训练（80％），验证（10％）和测试集（10％）。

4.Model

4.1概述

• （1）头部实体提取阶段（第4-9行）：多圈QA的每一集都由一个实体触发。为了提取这个起始实体，我们使用EntityQuesTemplates（第4行）将每个实体类型转换为问题，并通过回答问题（第5行）来提取实体e。如果系统输出特殊的NONE令牌，则表示s不包含该类型的任何实体。
• 2）关系和尾部实体提取阶段（第10-24行）：
  • ChainOfRelTemplates定义了一系列关系，我们需要遵循该关系来运行多转QA。
    • 原因是某些实体的提取取决于其他实体的提取。例如，在RESUME数据集中，执行人员持有的职位依赖于他所工作的公司。
    • 此外，时间实体的提取依赖于公司和职位的提取。
  • 提取顺序是手动预定义的。
  • ChainOfRelTemplates还为每个关系定义模板。
    * 每个模板都包含一些要填充的插槽。
    • 为了生成问题（第14行），我们将先前提取的实体/实体插入模板中的插槽/槽。
    • REL和尾部实体e的关系将通过回答生成的问题来共同提取（第15行）。
    • 返回的NONE标记表示给定句子中没有答案。
• 值得注意的是，从头部实体提取阶段提取的实体可能并非都是头部实体。在随后的关系和尾部实体提取阶段中，首先假设来自第一阶段的提取的实体是头部实体，并且将其提供给模板以生成问题。如果从第一阶段提取的实体e确实是关系的头部实体，则QA模型将通过回答相应的问题来提取尾部实体。否则，答案将为NONE，从而被忽略。
  

对于ACE04，ACE05和CoNLL04数据集，只需要两次QA转弯。因此ChainOfRelTemplates只包含1的链。对于RESUME，我们需要提取4个实体，因此ChainOfRelTemplates包含3个链。

4.2生成问题

每个实体类型都与模板生成的类型特定问题相关联，如表3所示。有两种方法可以根据模板生成问题：自然语言问题或伪问题。伪问题不一定是语法问题。例如，Facility类型的自然语言问题可能是文本中的哪一个是设施，而伪问题可能只是实体：设施
在关系和尾部实体联合提取阶段，通过将关系特定模板与提取的headentity相结合来生成问题。问题可能是自然语言问题或伪问题。实例显示在表4和表5中。

• 头实体提取阶段:
  • 实体类型：nlp或pseudo-questions
• 关系和尾实体提]阶段
  • 模板+head-entity来生成问题

4.3通过MRC来获取答案范围

已经提出了各种MRC模型，例如BiDAF（Seo等人，2016）和QANet（Yu等人，2018）。在标准MRC设置中，给出一个问题，其中表示Q中的字数，以及上下文，其中表示C中的字数，我们需要预测答案范围。对于QA框架，我们使用BERT（Devlin等，2018）作为主干。BERT使用变换器对大规模数据集进行预训练（Vaswani等，2017），并在SQUAD等MRC数据集上实现SOTA结果（Rajpurkar等，2016）。为了与BERT框架保持一致，通过连接列表[CLS，Q，SEP，C，SEP]来组合问题Q和上下文C，其中CLS和SEP是特殊令牌，Q是标记化问题，C是上下文。使用多层变换器获得每个上下文令牌的表示。

• QA框架
  • 主干：BERT
  • concate[CLS，Q，SEP，C，SEP]–为了与bert保持一致，这个当做是个问题

传统的MRC模型（Wang和Jiang，2016; Xiong等，2017）通过将两个softmax层应用于上下文令牌来预测起始和结束指数。这种基于softmax的跨度提取策略仅适用于单答案提取任务，但不适用于我们的任务，因为我们设置中的一个句子/段落可能包含多个答案。为了解决这个问题，我们将任务正式化为基于查询的标记问题（Lafferty等，2001; Huang等，2015; Ma和Hovy，2016）。特别地，我们预测给定查询的上下文中的每个标记的BMEO（开始，内部，结束和外部）标签。每个单词的表示被馈送到softmax层以输出BMEO标签。人们可以认为我们正在改变两个N级分类任务，即预测起始和结束指数（其中N表示句子的长度）到N 5级分类任务

• 本文将任务形式化为：基于查询的标记问题（Lafferty等，2001; Huang等，2015; Ma和Hovy，2016）
  • QA:答案是序列标注的（BMEO（开始，内部，结束和外部）
• 这两个模型都使用标准BERT模型进行初始化，并在训练期间共享参数。在测试时，基于两个目标分别提取头部实体和尾部实体。
  • 目标函数:$L=(1-\lambda )L(head-entity)+\lambda L(tail-entity,rel)$

4.4 强化学习

请注意，在我们的设置中，从一个回合中提取的答案不仅会影响其自身的准确性，还会确定如何为下游转弯构建问题，从而影响以后的准确性。

• 用强化学习解决（多轮对话中就用强化学习解决的这个问题(Mrkˇsi´c et al., 2015; Li et al., 2016a; Wen et al., 2016)
• 行动和策略：
  • 在RL环境中，我们需要制定行动和策略。
    • 行动：在多回合QA设置中，行动是在每个回合中选择文本范围。
    • 策略：定义了在给定问题和上下文的情况下选择特定跨度的概率。
    • 依赖于上一步的BMEO的标注
    • 选择一个跨度{$w_1,w_2,...,w_n$}的概率–以下的联合概率
      • $w_1为B$
      • $w_2,...,w_{n-1}为M$
      • $w_n为E$
      • $P(answer=y(w_1,w_2,...,w_n)|s,question)=P(w_1=B)\times P(w_n=E){\Pi }_{i\in [2,n-1]}P(w_i=M)$
      • s：特定句子
• Reward：
  • 奖励：我们使用正确检索的三元组的数量作为奖励。
• 我们使用REINFORCE算法（Williams，1992），一种策略梯度方法，找到最优策略，最大化预期奖励$E_{\pi }[R(w)]$。通过从策略π中抽样来近似期望，并使用似然比计算梯度：
  • $\nabla E(\theta )\approx [R(w)-b]\nabla log\pi (y(w))$
  • 答案正确r+1
  • 最终奖励：所有回合的累积
• 策略网络：利用前面训练的实体抽取模型
• the experience replay strategy（Mnih等，2015）
  • 对于每个批次，一半的示例是模拟的，另一半是从先前生成的示例中随机选择的。
• 对RESUME数据集：使用the strategy of curriculum learning (Bengio et al., 2009),
  • 我们在训练时逐渐将turn从2增加到4

对于多回合QA设置中的每个回合，获得正确答案会获得+1的奖励。最终的奖励是所有回合的累积回报。基线值设置为所有先前奖励的平均值。我们不会从头开始初始化策略网络，而是使用前一节中描述的预先训练的头部实体和尾部实体提取模型。我们还使用the experience replay strategy（Mnih等，2015）：对于每个批次，一半的示例是模拟的，另一半是从先前生成的示例中随机选择的。
对于ACE04，ACE05和CoNLL-04，不需要课程学习，因为只有两个回合。

5.实验

5.1RESUME结果

答案是根据人（第一个转弯），公司（第二个转弯），位置（第三个转弯）和时间（第四个转弯）的顺序提取的，每个答案的提取取决于之前的答案。

• 基线
  • ( tagging+relation).
    • As in Zheng et al. (2017),
      • entities are extracted using BERT tagging models, and
      • relations are extracted by applying a CNN to representations output by BERT transformers.
      • 并不适用于本文任务
  • tagging+dependency
    • 使用BERT标记模型为每个单词分配标记标签，并修改当前SOTA依赖性解析模型Biaffine (Dozat and Manning, 2016)以构建标记之间的依赖关系。
    • Biaffine依赖模型和实体提取模型是联合训练的。

涉及实体和关系识别阶段（流水线或联合）的现有基线非常适合三重提取，但不适合我们的设置，因为在第三轮和第四轮，我们需要更多信息来决定关系而不仅仅是两个实体。例如，要提取职位，我们需要人和公司，并提取时间，我们需要人，公司和职位。这类似于依赖性解析任务，但是在标记级而不是单词级（Dozat和Manning，2016; Chen和Manning，2014）。因此，我们提出了以下基线，它将前一个实体+关系策略修改为实体+依赖关系，用标记+依赖关系表示。我们使用BERT标记模型为每个单词分配标记标签，并修改当前SOTA依赖性解析模型Biaf fi ne（Dozat和Manning，2016）以构建标记之间的依赖关系。Biaf fi ne依赖模型和实体提取模型是联合训练的。
结果如表6所示。可以看出，标记+依赖模型优于标记+关系模型。所提出的多转QA模型表现最佳，RL增加了额外的性能提升。特别地，对于仅需要单匝QA的人员提取，多匝QA + RL模型执行与多匝QA模型相同的操作。这也是标记+关系和标记+依赖的情况。

5.2 其他结果

6 Ablation Studies

6.2问题生成策略的影响

在这一小节中，我们比较了自然语言问题和伪问题的影响。结果显示在表8中。我们可以看到自然语言问题导致所有数据集中的F1严格改进。这是因为自然语言问题提供了更细粒度的语义信息，可以帮助实体/关系提取。相比之下，伪问题提供了非常粗粒度，模糊和隐含的实体和关系类型提示，这甚至可能使模型混淆。

• 自然语言问题>伪问题
  • 自然语言问题:有更细粒度的语义信息
  • 伪问题：粒度粗，可能让模型混淆
    

6.2联合训练的影响

• the entity-relation extraction task into two subtasks:
  • a multi-answer task for head-entity extraction and
  • a single-answer task for joint relation and tail-entity extraction.
  • parameters shared,联合训练
• ACE05:不同$\lambda 的设置$
  

6.3case study

• SOTA MRT model (Sun et al., 2018).
  • 无法识别远距离实体的关系，multi-QA可以
  • 无法识别重叠关系，multi-QA可以