【论文浅尝】Large Language Models for Generative Information Extraction: A Survey

本文对生成式IE的LLM进行了全面的探索。使用两种分类法对现有的代表性方法进行分类:

(1)众多IE子任务的分类法,旨在对可以使用llm单独或统一提取的不同类型的信息进行分类;

(2)学习范式分类法,对利用llm生成IE的各种新方法进行分类。

Preliminaries of Generative IE

这种生成式IE调查主要涵盖了NERREEE的任务。这三种类型的IE任务以生成方式制定。给定一个输入文本其序列为n个标记X = [x_{1},…],x_{n}],prompt P,目标提取序列Y = [y_{1},…], y_{m}],目标是在自回归公式中最大化条件概率:

其中θ为llm的参数,llm可以被冻结或训练。在LLM时代,有几种任务提出在X后面附加额外的提示或指令P,以增强LLM任务的可理解性。

命名实体识别(NER)包括两个任务:实体识别实体分类。前一个任务关注于识别实体的跨度(“Steve”),后一个任务关注于为这些已识别的实体分配类型(“PERSON”)。

关系提取(RE)在不同的任务中可能有不同的设置。(1)关系分类是指对两个给定实体之间的关系类型进行分类;(2)关系三元组是指识别关系类型和对应的头尾实体跨度;(3)关系严格是指给出正确的关系类型、跨度和头尾实体的类型。

事件提取(EE)可分为两个子任务:

(1)事件检测(Event Detection)(在某些作品中也称为事件触发提取(Event Trigger Extraction)),目的是识别和分类最清楚地代表事件发生的触发词和类型。

(2)事件参数提取(Event Arguments Extraction)旨在从句子中识别和分类在事件中扮演特定角色的参数。

Information Extraction Tasks

Named Entity Recognition

Relation Extraction

 Event Extraction

 Universal Information Extraction

NL-LLMs:基于自然语言的方法将所有IE任务统一在一个通用的自然语言模式中。例如,UIE 提出了一个统一的文本到结构生成框架,该框架对提取结构进行编码,并通过结构化提取语言捕获常见的IE功能。InstructUIE通过为微调llm构建专家编写的指令来增强UIE,以一致地建模不同的IE任务并捕获任务间依赖性。此外,ChatIE 探索了在零次提示中使用GPT3和ChatGPT 等llm,将任务转化为多回合问答问题。 

Code-LLMs:基于代码的方法通过使用通用编程模式生成代码来统一IE任务。Code4UIE 提出了一个通用的检索增强代码生成框架,它利用Python类定义模式,并使用上下文学习来生成代码,从文本中提取结构知识。此外,CodeKGC 利用代码中固有的结构知识,并采用模式感知提示和理性增强生成来提高性能。为了使llm能够立即遵守指导方针,GoLLIE提出了通过微调llm以使其与注释指导方针保持一致来提高未见过的IE任务的零射门性能。

Future Directions

Universal IE

以前的生成式IE方法和基准通常是针对特定领域或任务量身定制的,限制了它们的通用性。虽然最近已经提出了一些使用llm的统一方法,但它们仍然存在一定的局限性(例如,长上下文输入和结构化输出的不对齐)。因此,进一步开发能够灵活适应不同领域和任务的通用IE框架是一个很有前途的研究方向(例如整合特定任务模型的见解来帮助构建通用模型)。

Low-Resource IE

具有llm的生成式IE系统在资源有限的情况下仍然面临挑战。基于总结,有必要进一步探索LLM的情境学习,特别是在改进示例选择方面。未来的研究应优先发展稳健的跨领域学习技术,如领域适应或多任务学习,以利用来自资源丰富领域的知识。此外,还应该探索使用llm的高效数据注释策略。

Prompt Design for IE

设计有效的指令被认为对llm的绩效有显著影响。提示设计的一个方面是构建可以更好地与LLM的预训练阶段保持一致的输入和输出对。另一方面是通过鼓励LLM进行逻辑推理或可解释的生成来优化提示,以获得更好的模型理解和推理。此外,研究人员可以探索交互式提示设计(如多回合QA) ,LLM可以迭代地对生成的提取进行优化或自动提供反馈。

Open IE

open IE设置对IE模型提出了更大的挑战,因为它们不提供任何候选标签集,并且仅仅依赖于模型理解任务的能力。LLM凭借其知识和理解能力,在一些Open IE任务中具有显著优势然而,在更具挑战性的任务中仍然存在表现不佳的情况,这需要研究人员进一步探索。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/831253.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

CMake:set与list的字符串操作(六)

1、变量操作 有时候项目中的源文件并不一定都在同一个目录中,但是这些源文件最终却需要一起进行编译来生成最终的可执行文件或者库文件。如果我们通过file命令对这个目录下的源文件进行搜索,最后还需要做一个字符串拼接的操作,关于字符串拼接…

msmpi 高性能计算实现文件读取输入

【高性能计算】完美解决Windows下安装mpi环境并应用到VSCode中报错问题的方法_c:\program files (x86)\microsoft sdks\mpi\include/-CSDN博客 环境配置 然后跑这个代码测试即可 // 命令行参数: //mpiexec -n 9 "C:\Users\ASUS\Desktop\testMPI\MPIv2.exe&qu…

【氮化镓】GaN器件可靠性及市场前景概述

文章是关于氮化镓(GaN)场效应晶体管(FET)技术在空间应用中的可靠性、辐射效应和市场前景的概述。文章由Airbus Defence & Space的多位专家撰写,涵盖了GaN FET技术的多个关键方面,包括技术概述、可靠性问…

Find My无人机|苹果Find My技术与无人机结合,智能防丢,全球定位

无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机,或者由车载计算机完全地或间歇地自主地操作。无人机按应用领域,可分为军用与民用。军用方面,无人机分为侦察机和靶机。民用方面,无人机行业应用,是无…

opencv基础篇 ——(十二)轮廓提取与绘制

opencv基础篇 ——(十二)轮廓提取与绘制 findContours轮廓提取 void void findContours( InputArray image, OutputArrayOfArrays contours,OutputArray hierarchy, int mode,int method, Point offset Point());功能介绍 cv::findContours 是 OpenC…

【python】商业数据聚类-回归数据分析可视化(源码+数据)【独一无二】

👉博__主👈:米码收割机 👉技__能👈:C/Python语言 👉公众号👈:测试开发自动化【获取源码商业合作】 👉荣__誉👈:阿里云博客专家博主、5…

ios CI/CD 持续集成 组件化专题四-(手动发布私有库-组件化搭建)

一 、创建私有索引库 1.1 、第一步 首先检查本地是否存在需要的私有索引库 pod repo list 例如:dp_base_ios_spec 在本地不存在该私有索引库 1.2 、第二步 在git下下创建一个新的库,这个库用来保存私有库的podspec文件,取名叫xxxSpec用以…

以更多架构核心专利,推进 SDS 产业创新创造

今天是第 24 个世界知识产权日,今年世界知识产权日活动的主题是:“知识产权和可持续发展目标:立足创新创造,构建共同未来。” 这也正是 XSKY 在软件定义存储领域的目标之一。以“数据常青”为使命的 XSKY,始终立足于软…

【MySQL | 第十篇】重新认识MySQL索引匹配过程

文章目录 10.重新认识MySQL索引匹配过程10.1匹配规则10.2举例&#xff1a;联合索引遇到范围查询&#xff08;>、<、between、like&#xff09;10.2.1例子一&#xff1a;>10.2.2例子二&#xff1a;>10.2.3例子三&#xff1a;between10.2.4例子四&#xff1a;like 10…

Unity SteamVR入门

概述 VR项目现在在当前已经是非常热门的技术&#xff0c;可以给玩家身临其境的感觉&#xff0c;接下来让我们学习这部分的内容吧&#xff01; SteamVR Input SteamVR绑定流程&#xff0c;在Windows窗口的点击SteamVR-input&#xff0c;图1&#xff0c;在这里可以选择你需要绑定…

SQL注入漏洞--报错/union/布尔盲注/时间盲注

之前介绍了数据库的基本操作&#xff0c;今天这篇文章就来实操SQL注入。 阅读本文前可以先看一下基本操作&#xff0c;有助于更换理解本文。。。 https://blog.csdn.net/weixin_60885144/article/details/138356410?spm1001.2014.3001.5502 what SQL---结构化查询语言---S…

探索AIGC技术:创新、挑战与责任

&#x1f3a5; 个人主页&#xff1a;Dikz12&#x1f4d5;格言&#xff1a;那些在暗处执拗生长的花&#xff0c;终有一日会馥郁传香欢迎大家&#x1f44d;点赞✍评论⭐收藏 #如何看待AIGC技术&#xff1f; 目录 AIGC简单介绍 创新 责任 未来展望和挑战 AIGC简单介绍 A…

MySQL商城数据库表(31-40)

31——前台菜单表&#xff08;guo_home_menus&#xff09; CREATE TABLE guo_home_menus (menuld int(11) NOT NULL AUTO_INCREMENT,parentld int(11) NOT NULL DEFAULT 0 COMMENT 父ID,menuName varchar(100) NOT NULL COMMENT 菜单名称,menuUrl varchar(100) NOT NULL COMME…

JavaScript 计算器的制作及详细解释 适合你

<!DOCTYPE html> <html lang"en"> <head> <meta charset"UTF-8"> <meta name"viewport" content"widthdevice-width, initial-scale1.0"> <title>简易计算器</title> <style> .calcu…

【Linux系统】守护进程

一.进程组&#xff0c;会话 PGID&#xff1a;进程组id&#xff0c;一条命令启动的所有进程及其子进程属于同一个进程组。一条指令中最先创建的进程就是组长&#xff0c;组id就是组长的PID。./启动的SID&#xff1a;会话id&#xff0c;每次登录Linux&#xff0c;操作系统给登录的…

Creating a Pose Control *

为模型设置一个初始的姿势姿态。选择模型的根节点,打开属性编辑器。在选项菜单中选择"ERC Freeze..."。这允许你捕获当前姿势与默认姿势的差异,并将其存储为一个新的参数控制器。为新控制器设置一个唯一的内部名称和显示标签名称。使用属性移动器将新创建的控制器移动…

vue2(4)之scoped解决样式冲突/组件通信/非父子通信/ref和$refs/异步更新/.sync/事件总线/provide和inject

vue2 一、学习目标1.组件的三大组成部分&#xff08;结构/样式/逻辑&#xff09;2.组件通信3.综合案例&#xff1a;小黑记事本&#xff08;组件版&#xff09;4.进阶语法 二、scoped解决样式冲突**1.默认情况**&#xff1a;2.代码演示3.scoped原理4.总结 三、data必须是一个函数…

C语言-调试技巧

目录 一、调试介绍1.1 Debug和Release的介绍1.2 Windows环境调试介绍1.2.1 学会快捷键1.2.2 查看临时变量的值1.2.3 查看内存信息1.2.4 查看调用堆栈1.2.4 查看汇编信息1.2.5 查看寄存器信息 二、编程常见的错误2.1 编译型错误2.2 链接型错误2.3 运行时错误 三、易于调试的代码…

【AI学习】人工智能 or 人造智能 or 人创智能

刚刚读完了《十堂极简人工智能课》这本书&#xff0c;非常精彩的一本书&#xff0c;用非常简短的篇幅&#xff0c;几乎涵盖了人工智能发展的所有重要历程、重要路径和方法、重要观点以及重要问题&#xff0c;将技术以一种哲学思考的方式深入浅出的讲述&#xff0c;实在难得&…

编曲学习:各个段落的架子鼓编写

如何制作出好听又精彩的鼓节奏?【架子鼓编写教学】_哔哩哔哩_bilibili演示软件:Cubase 10.5 演示音源:Superior Drummer 3课件下载:微信公众号“音律屋”, 视频播放量 30743、弹幕量 80、点赞数 1100、投硬币枚数 516、收藏人数 1783、转发人数 131, 视频作者 音律屋, 作者…