论文阅读-《Distant Supervision for Relation Extraction beyond the Sentence Boundary》

文章提出了首个将远程监督应用于跨句子关系提取的方法，通过整合句内和句间关系，利用图表示和多路径特征提取提高了准确性和鲁棒性。

摘要

文章提出了一种新的方法，用于在远程监督下进行跨句子的关系抽取。这种方法利用图表示来整合依赖和话语关系，以统一建模句子内和跨句子的关系。通过从图中提取多条路径上的特征，提高了模型在处理语言变化和分析错误时的准确性和鲁棒性。实验结果表明，该方法在精准医疗领域的关系抽取任务中表现出色，使用较小的知识库和未标记的生物医学研究文章文本，就能学习到一个准确的抽取器。与现有方法相比，新方法在保持相似精确度的同时，能够提取出更多的关系，显示了跨句子关系的重要性和新方法的有效性。

1.介绍

文章讨论了技术进步和科学发现的加速如何导致知识的快速增长，并强调了信息过载问题，这要求我们迫切需要整合分散的知识进行整合和推理。精准医疗领域的发展，特别是基因组测序成本的降低，使得个性化诊断和治疗成为可能，同时也带来了整合大量基因相关知识的需求。由于传统抽取方法依赖于标注示例，难以应对需求的迅速增长，因此，人们开始转向间接监督方法，尤其是远程监督，以期望从未标记的文本中扩展现有知识库。远程监督因其在处理大规模文本数据时的潜力而被视为一种有前景的范式。

尽管远程监督方法在关系抽取方面取得了令人兴奋的进展，但它们目前仅能处理单个句子内的关系，忽略了跨句子边界的关系。文中通过一个具体的例子说明了跨句子关系的重要性："The p56Lck inhibitor Dasatinib was shown to enhance apoptosis induction by dexamethasone in otherwise GC-resistant CLL cells. This finding concurs with the observation by Sade showing that Notch-mediated resistance of a mouse lymphoma cell line could be overcome by inhibiting p56Lck." 两个句子一起传达了药物Dasatinib可以克服由Notch基因突变引起的抗性，这不能从任何一个单独的句子中推断出来。跨句子关系对于整合推理至关重要，尤其是在包含专业领域最新发现的知识长尾中。这强调了开发能够处理跨句子关系抽取的方法的必要性，以充分利用分散在大量文献中的信息。

提出了DISCREX，一种创新的远程监督方法，用于处理跨句子边界的关系抽取。DISCREX的核心是文档级的图表示，它不仅包括传统的句内依赖，还引入了相邻句子和话语关系的依赖，为实体对之间关系的分类提供了一种统一的特征派生方式。随着图中新弧线的添加，实体间的可能路径数量增加，这使得特征提取沿着多条路径进行，从而提高了抽取的鲁棒性。即使在语言变化或解析器出错的情况下，学习者也能够识别出结构模式，从而提高了关系抽取的准确性和可靠性。

介绍了DISCREX系统，它在跨句子关系抽取中引入了新的方法，特别是在生物医学文献中提取药物-基因相互作用。系统通过最小跨度候选概念优化了候选选择，显著提高了分类准确性。DISCREX还整合了话语现象研究，如指代消歧和修辞关系，为关系抽取提供了更丰富的上下文信息。实验结果表明，DISCREX能够从生物医学文献中高精确度地提取跨句子的药物-基因相互作用，其产出是单句子抽取的两倍。通过远程监督，DISCREX从大量PubMed Central全文文章中提取了大量新的相互作用，显著扩展了现有的知识库，为精准医疗提供了重要的支持。

2.相关工作

本文讨论了远程监督在跨句子关系抽取中的应用，并指出以往的方法主要限于单个句子，无法处理跨句子的关系。作者提出了一种新的基于文档级图表示的方法，能够整合句法和话语关系，并利用丰富的句法和表面特征来提高抽取的准确性。

此外，本文还探讨了将远程监督扩展到捕捉隐式推理的可能性，并提出了将这些方法纳入跨句子抽取的潜在未来工作。在生物医学应用中，关系抽取的兴趣日益增加，但现有方法仍局限于单个句子。本文提出的方法通过考虑多个路径而非仅最短路径，显著提高了抽取的准确性。同时，本文还探讨了指代消歧和话语解析在关系抽取中的应用，并展示了话语信息在提高问答等应用性能方面的潜力。

3.远程监督用于跨句子关系抽取

在本节中介绍了DISCREX（远程监督用于跨句子关系抽取）。与传统方法类似，DISCREX学习一个分类器来预测两个实体之间的关系，给定文本片段，其中实体共现。然而，与大多数现有方法不同，DISCREX允许包含多个句子的文本片段，并探索这些实体之间的潜在多条路径。

3.1 远程监督

与先前的方法类似，DISCREX从现有的知识库（KB）和未标记的文本中学习。知识库提供了已知关系实例，而预处理步骤则利用实体抽取工具在文本中识别相关实体。为了构建训练集，系统选择已知具有特定关系的共现实体对作为正例，并随机抽取不具有已知关系的共现实体对作为负例。这样做的目的是确保训练集中正负例的平衡，从而提高模型的泛化能力和准确性。

3.2 最小跨度候选

在标准的远程监督中，已知关系的共现实体对被列为正例训练样本的候选。当实体对在单个句子内时，这是合理的。然而，在跨句子场景中，这可能会引入太多错误的例子。考虑以下两个句子：

Since amuvatinib inhibits KIT, we validated ME kinase inhibition as the primary cause of cell
death.

Additionally, imatinib is known to inhibit KIT.

drug-gene对imatinib和KIT（加粗）跨越两个句子，但相同的对也单独出现在第二句中。

如果一个共现实体对在更大的文本跨度中出现，但它们也在一个更小的、与大跨度重叠的文本跨度中出现，并且在这个小跨度中实体更接近，那么这个小跨度就是最小跨度。系统通过限制只考虑最小跨度内的共现实体对作为候选，从而减少了错误候选的产生，提高了关系抽取的准确性。实验结果表明，这种方法显著提高了抽取的准确度。

3.3 文档图

为了派生实体对在句子内和跨句子的特征，DISCREX引入了一个文档图，其中节点代表单词，边代表句内和句间关系，如依赖关系、邻接关系和话语关系。图1显示了一个跨越两个句子的示例文档图。每个节点都标记了它的词汇项、词元和词性。文档图不仅包括传统的句内依赖关系，还通过在相邻单词之间添加边来减轻解析器错误的影响。

图1：两个句子的示例文档图。边代表传统的句内依赖关系，以及相邻句子根节点之间的连接（NEXTSENT）。为了简单起见，我们省略了相邻单词之间的边或表示话语关系的边。

对于句间关系，系统通过在相邻句子的依赖根之间添加边来实现，并通过运行先进的话语解析器来识别话语关系，从而增强了对修辞结构的理解。此外，系统还利用指代消歧信息来识别跨句子的链接，通过斯坦福指代消歧系统生成指代消歧关系，并在文档图中添加相应的边。

尽管考虑了通过增强单句候选与指代消歧来处理跨句子关系抽取的特殊情况，也就是说，提取仍然在单个句子内进行，但实体链接扩展到考虑关系参数的所有指代消歧提及。然而，这并没有产生显著更多的候选者（正例增加了2%），其中大部分不是跨句子的（只有1%）。

3.4 特征

DISCREX通过在文档图上定义路径上的特征模板来推广这一思想，这些路径可能包含各种类型的交错边（依赖、单词和句子邻接、话语关系）。依赖路径提供了可解释和可泛化的特征，但容易受到解析器错误的影响。一种减少错误影响的策略是在相邻单词之间添加边，允许实体之间有多个路径。

特征提取从文档图中的一对潜在相关实体开始，系统首先找到这些实体之间的路径，然后从该路径中提取特征。假设每条路径是由节点和边组成的序列（n1; e1; n2; ...; eL-1; nL），其中n1和nL被替换为特殊的实体标记节点。

提取的两种主要特征包括：

完整路径特征：为每条完整路径提取四个二进制指示特征，这些特征可以基于节点的词汇项、词元或词性标签。
路径n-gram特征：通过在路径上滑动窗口的方式提取n-gram（n = 1-5）特征。这些特征可以从节点和边的不同组合中提取，提供了更健壮和可泛化的特征表示。

通过这些特征，DISCREX能够更准确地识别和抽取文本中的关系，尤其是在处理跨句子关系时。

3.5多条路径

大多数先前的工作只考虑了两个实体之间的最短路径。当作者使用一致的词汇和句法结构，并且解析器找到正确的解析时，这种方法效果很好。然而，实际数据相当嘈杂。

为了提高对实际噪声数据的鲁棒性，DISCREX利用文档图中的多种类型的边来探索节点之间的多条可能路径。

通过以下方式实现多条路径的探索：

多种路径的考虑：系统不仅考虑句法弧线，也考虑邻接弧线，或者两者的组合，以在实体之间导航。
路径数量的调整：系统探索改变文档图中节点之间的最短路径数N，以找到最优的路径集合。
边权重的调整：所有边类型的默认权重为1，但系统发现对邻接边进行惩罚可以带来好处，这表明解析器提供了有价值的信息，但在面对解析错误时，需要有后备策略。

通过这种方式，DISCREX能够更准确地抽取关系，尤其是在面对解析错误和语言变化时，提高了模型的鲁棒性和准确性。

3.6 评估

远程监督关系抽取的评估面临没有金标准注释数据集的挑战。为了应对这一问题，研究者通常采用以下两种评估策略：

保留样本策略：从训练数据集中保留一部分样本进行评估，将这些带噪声的注释当作正确的标准来对待。这种方法的优点在于自动化和便捷，但可能会由于假阴性（即某些实体对实际上存在关系但在知识库中未被记录）而产生有偏见的结果。
绝对召回率和估计精确度策略：报告从所有未标记文本中提取的关系的绝对数量（绝对召回率），并通过手动标注从一般文本中抽取的样本来估计模型的精确度。这种方法更为准确，但需要人工参与，增加了评估的成本和时间。

在DISCREX系统的实验中，为了全面评估模型的性能，研究者采用了上述两种评估策略，以确保评估结果的可靠性和有效性。

4.实验

研究者专注于生物医学领域中一个重要的任务：提取药物和基因之间的相互作用。这种相互作用被视为影响药物效果的基因状态之间的联系，包括基因突变和活性水平的变化，如基因的过度表达。实验的目的是为了理解药物的疗效如何受到基因状态的影响，这是一个对于精准医疗和个性化治疗至关重要的研究方向。为了实验的可行性和集中性，研究者选择不深入到更细节的区分，如药物剂量或基因状态的具体类型，而是将重点放在药物和基因之间的整体关联上。

4.1 知识库

研究者选择了基因药物知识数据库（GDKD）作为远程监督的数据来源。GDKD是一个包含药物与基因之间关系的数据库，每条记录都详细列出了基因、相关药物、它们之间的具体关系（如敏感性）、基因的具体状态（如突变类型），以及支持这些关系的文献ID。本文中，只考虑粗粒度的药物-基因关联，而忽略其他字段。

图2：基因药物知识数据库的样本行。我们目前的工作集中在两个重要列上：基因和治疗背景（药物）。

4.2未标记文本

研究者从PubMed Central获取了生物医学领域的未标记文本数据，该数据库包含了大量的科学文献，为关系抽取提供了丰富的数据源。为了处理这些文本数据，研究者采用了以下步骤：

文本预处理：使用SPLAT工具对文本进行基础的自然语言处理任务，包括分词、词性标注和句法解析。
依赖关系获取：通过Stanford CoreNLP工具提取斯坦福依赖关系，这些依赖关系有助于理解文本中单词之间的句法联系。
实体识别：利用Literome中的实体标注器来识别文本中的药物和基因实体，这是关系抽取的关键步骤，确保了后续分析的准确性。

4.3 候选选择

研究者采取了特定的策略来选择候选实体对，以提高关系抽取的准确性和效率。为了避免选择文档中相隔很远的实体对，研究者只考虑在K个连续句子内的实体对。当K=1时，代表仅在单个句子内进行抽取。研究者选择了K=3，这样可以在不引入过多不太可能的候选的情况下，显著增加候选数量。

表1提供了PubMed Central文章中识别的药物-基因相互作用候选的统计信息。对于K=3，有87,773个实例，这些实例中的药物-基因对在GDKD中有已知的关联，被用作正例训练样本。

如果不施加最小跨度候选的限制，匹配GDKD的实例数量将增加到225,520个，但其中很多可能是假阳性，这强调了选择最小跨度候选的重要性。

表1 文章中药物-基因相互作用候选的统计数据：唯一对、实例、在基因药物知识数据库（GDKD）中已知关系的实例。

4.4分类器

分类器的选择对于关系抽取的性能至关重要。以下是关于分类器的一些关键点：

模型类型：使用的是二元逻辑回归模型，这是一种广泛用于分类任务的统计模型。
优化目标：模型训练时的目标是最大化对数似然，同时使用L2正则化来防止过拟合。
正则化权重：正则化项的权重设置为1，实验表明结果对此值不是非常敏感。
参数优化：使用L-BFGS算法来优化模型参数，这是一种高效的优化算法，适用于大规模优化问题。
特征哈希：为了避免特征维度灾难，采用特征哈希技术，保留22位来表示特征名称，这为问题提供了足够的特征空间。
特征数量：实验发现大约400万可能的特征对于当前问题已经足够，增加更多的特征位数并没有带来进一步的性能提升。

4.5 自动评估

研究者采用了五折交叉验证的方法来自动评估特征的影响：

评估方法：使用五折交叉验证，将远程监督得到的正例和负例作为真实的注释来评估模型性能。
避免训练-测试污染：为了保证评估的有效性，来自同一文档的所有实例被分配到同一个折中，避免了信息泄露。
性能指标：由于数据集是平衡的，研究者选择准确率作为性能指标。
特征影响研究：研究者特别关注边类型和路径数量对模型性能的影响，并通过调整相邻词边的权重来赋予其他边类型更高的优先级。
实验结果：表2展示了不同边类型和路径数量组合下，单句抽取和跨句子抽取的平均测试准确率。结果显示，尽管跨句子抽取的召回率更高，但其准确率与单句抽取相似。
设计选择比较：这种自动评估方法允许研究者高效地比较不同设计选择的效果，为优化模型提供了依据。

表2：五折交叉验证中的平均测试准确率。 跨句子抽取在3个连续句子的滑动窗口内进行，使用最小跨度候选。基础方法仅使用最短路径来构建特征。3条路径和10条路径从前三或十条最短路径中收集特征，为所有边分配统一权重，除了邻接边，其权重为16。+coref添加了由斯坦福指代消歧预测的关系边。+disc添加了由最先进的话语解析器（Wang和Lan，2015）预测的修辞关系边。

研究者进行了一系列的评估来理解不同因素对关系抽取准确率的影响：

边类型和路径数量的影响：通过提高相邻词边的权重，研究者发现跨句子抽取与单句抽取在准确率上相似，尽管跨句子抽取的召回率更高。
多路径的增益：增加除了最短路径之外的更多路径可以显著提高准确率，这种增益在单句和跨句子抽取中都是一致的。
话语关系的影响：添加话语关系似乎对性能有小幅的负面影响，特别是当路径数量较少时。斯坦福指代消歧系统在生物医学文本中可能不准确，这可能是因为它主要针对新闻领域的优化。
路径数量和邻接边权重的进一步评估：对邻接边进行惩罚可以带来显著的性能提升，尤其是当只考虑少数路径时。随着路径数量的增加，准确率也有显著提升。表3显示了结果。

在上述实验中，跨句子抽取仅使用最小跨度候选进行了操作。预期这将提供一个合理的保障，以过滤掉许多不太可能的候选。作为经验验证，还进行了没有最小跨度限制的跨句子抽取实验，使用基础模型。测试准确率从81.7%急剧下降到79.1%（未在表格中显示）。

表3 五折交叉验证中的平均测试准确率。除了相邻词边外，使用统一权重。

4.6 PubMed规模的抽取

研究者进行了大规模的PubMed文献抽取，以验证模型在实际应用中的表现：

重新训练DISCREX：在所有可用的远程监督数据上训练模型，而不是仅在自动评估中使用的折数子集。
特征和候选选择：选择了在自动评估中表现最好的系统，使用从每对实体之间的30条最短路径派生的特征，并在三个句子内选择最小跨度候选进行跨句子抽取。
应用到所有文献：将训练好的提取器应用于所有PubMed Central文章，进行大规模的关系抽取。

将抽取的实例按唯一的药物-基因对进行分组，并为每个实例计算分类器输出的概率，将组内实例的最大概率作为整个关系的概率。表4显示了通过变化概率阈值抽取的关系的统计数据。跨句子抽取获得的唯一关系远多于单句抽取，绝对召回率提高了89-102%。表5比较了独特基因和药物的数量。与GDKD相比，DISCREX抽取涵盖了更多的基因和药物，这对精准医疗的应用是个好兆头。

表4 从PubMed Central文章中提取的独特药物-基因相互作用，与用于远程监督的人工整理的基因药物知识数据库（GDKD）进行比较。p 表示输出概率。GDKD包含341种关系，但只有162种具有特定药物引用，可用作远程监督。

表5 基因药物知识数据库（GDKD）中独特基因和药物的数量与DISCREX抽取结果的对比。

4.7 手动评估

为了更准确地评估模型的精确度，研究者进行了手动评估：

手动评估的目的：由于自动评估可能过于乐观，手动评估可以提供更真实的精确度估计。
评估对象：专注于跨句子抽取，因为自动评估显示单句和跨句抽取的准确率相似。
评估过程：随机抽取了450个实例，并由两位精准医疗领域的研究者进行评估。 150个随机抽取自所有候选（随机基线）， 150个来自概率不低于0.5的实例集，150个来自概率不低于0.9的实例集。从每组中，我们随机选择了50个关系供两位注释者审核。两位注释者在150个中的133个上达成一致。审查后，所有分歧都得到了解决，每位注释者另外评判了一组50个关系实例，这次没有重叠。
评估标准：评估者根据提供的来源句子，判断药物-基因对是否提到了某种关系。
评估结果：两位评估者在多数情况下达成一致，对于分歧进行了讨论和解决。
精确度和错误分析：表6展示了样本精确度和错误分配，发现跨句子抽取的精确度显著高于随机基线。
阈值的影响：更高的分类阈值（如0.9）带来了更高的精确度。
错误来源：实体链接错误是关系抽取错误的一个主要来源，指出了未来改进的方向。
性能估计：根据手动评估的结果，DISCREX在不同阈值下能够提取大量正确的独特互动。DISCREX在0.5的阈值下提取了大约37,000个正确的独特互动，在0.9的阈值下提取了大约20,000个。在这两种情况下，它将基因药物知识库扩大了两个数量级。
单句抽取的比较：尽管单句抽取的精确度略高，但其召回率显著低于跨句子抽取，表明跨句子抽取在发现新知识方面更有优势。