hanlp 训练模型_LTP 4.0!单模型完成6项自然语言处理任务

418b2b42eaada2d9488f371086dd7e64.png

9a1c7d74cd333fbe5c343aa3dd567a8c.png
来源|哈工大SCIR

语言技术平台(Language Technology Platform, LTP)是哈工大社会计算与信息检索研究中心(HIT-SCIR)历时多年研发的一整套高效、高精度的中文自然语言处理开源基础技术平台。该平台集词法分析(分词、词性标注、命名实体识别)、句法分析(依存句法分析)和语义分析(语义角色标注、语义依存分析)等多项自然语言处理技术于一体。其中句法分析、语义分析等多项关键技术多次在CoNLL国际评测中获得了第1名。此外,平台还荣获了2010年中国中文信息学会科学技术一等奖、2016年黑龙江省科技进步一等奖。国内外众多研究单位和知名企业通过签署协议以及收费授权的方式使用该平台。

哈工大SCIR本科生冯云龙等同学在车万翔教授指导下,于近日对LTP进行了新一轮的全面升级,并推出了LTP 4.0版本。此次升级的主要改进为:

  • 基于多任务学习框架进行统一学习,使得全部六项任务可以共享语义信息,达到了知识迁移的效果。既有效提升了系统的运行效率,又极大缩小了模型的占用空间
  • 基于预训练模型进行统一的表示 ,有效提升了各项任务的准确率
  • 基于教师退火模型蒸馏出单一的多任务模型,进一步提高了系统的准确率
  • 基于PyTorch框架开发,提供了原生的Python调用接口,通过pip包管理系统一键安装,极大提高了系统的易用性

下表列出了新旧版LTP在精度、效率和模型大小方面的对比:

ae65c55c12ee1e10bbce30837dcc17aa.png
为了模型的小巧易用,本次发布的版本基于哈工大讯飞联合实验室发布的中文ELECTRA Small预训练模型。后续将陆续发布基于不同预训练模型的版本,从而为用户提供更多准确率和效率平衡点的选择。

测试环境如下:

  • Python 3.7
  • LTP 4.0 Batch Size = 1
  • CentOS 3.10.0-1062.9.1.el7.x86_64
  • Intel(R) Xeon(R) CPU E5-2640 v4 @ 2.40GHz
备注:速度数据在人民日报命名实体测试数据上获得,速度计算方式均为所有任务顺序执行的结果。另外,语义角色标注与语义依存新旧版采用的语料不相同,因此无法直接比较(新版语义依存使用SemEval 2016语料,语义角色标注使用CTB语料)。

欢迎访问http://ltp.ai/

http://ltp.ai/​ltp.ai

获取平台的源代码、模型及更详细的介绍信息,敬请提出反馈意见。

本期责任编辑:张伟男

本期编辑:赖勇魁

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/541632.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

typescript 学习

typescript将在不久的将来从前端大一统的趋势中脱颖而出成为主流编译器。学习ts对前端开发人员来说是不可或缺的。同时,也要抓紧学习es2015/6/7。ts和es6并不是对立的。而是相辅相成的。ts的竞争和打击对象实质上是babel…… 官方资料 # 官方地址: https…

计算机中央处理器cpu_中央处理器(CPU)| 计算机科学组织

计算机中央处理器cpu中央处理器(CPU) (Central Processing Unit (CPU)) The CPU is the brain of the computer system. It works as an administrator of a system. CPU是计算机系统的大脑。 它以系统管理员的身份工作。 All the operations within the system are supervised…

计算机应用基础专2020春,计算机应用基础(专)(专,2020春)(20200831130023).pdf

计算机应用基础(专)(专, 2020 春)使用 " 格式刷”按钮,可以进行 ___________操作。选择一项:a. 复制文本的格式b. 删除文本c. 复制文本d. 保持文本你的回答正确正确答案是:复制文本的格式在 Word 的文档中插入复杂的数学公式…

computed set 自定义参数_深入理解vmodel之自定义组件用法

根据上一篇《深入理解 v-model 之表单用法》基本对 v-model 有了比较深的理解&#xff0c;接下来我们看看它如何在自定义组件中使用。首先&#xff0c;我们知道下面两个用法等价的&#xff1a;<input v-model"msg" /><input :value"msg" input&qu…

01json转字符串

/** * json转字符串声明 */ (NSString *)jsonToString:(NSDictionary *)dic; /** * json转字符串实现 */ (NSString *)jsonToString:(NSDictionary *)dic { if(!dic){ return nil; } NSData *jsonData [NSJSONSerialization dataWithJSONObject:dic options:NSJSONWriting…

AYUSH的完整形式是什么?

AYUSH&#xff1a;阿育吠陀&#xff0c;瑜伽和自然疗法&#xff0c;乌纳尼&#xff0c;悉达多和顺势疗法 (AYUSH: Ayurvedic, Yoga and Naturopathy, Unani, Siddha and Homeopathy) AYUSH is an abbreviation of Ayurvedic, Yoga and Naturopathy, Unani, Siddha, and Homeopa…

大班科学电子计算机,计算器教案

计算器的认识和简单应用教学内容&#xff1a;义务教育六年制小学第九册第二单元第42页。教学目标&#xff1a;1、通过学生自主探究&#xff0c;掌握计算器的使用方法&#xff0c;并能够用计算器进行简单的计算。2、借助计算器解决生活中的数学问题、探索数学规律&#xff0c;体…

arraylist能否接收强转类型_ArrayList 源码解析

点击上方"IT牧场"&#xff0c;选择"设为星标"技术干货每日送达&#xff01;前言 JDK源码解析系列文章&#xff0c;都是基于JDK8分析的&#xff0c;虽然JDK14已经出来&#xff0c;但是JDK8我还不会&#xff0c;我…类图 实现了RandomAccess接口&#xff0c;…

exit c+_C / C ++中的exit(0)vs exit(1)与示例

exit cexit() is a library function in C/C programming language, it is used to terminate the calling process (function) immediately i.e. we can say it is used for the normal program termination and also perform the several cleanup steps. exit()是C / C 编程语…

校园计算机网络系统,校园计算机网络系统

一、校园网的基本概念基本功能&#xff1a;数据交换、资源共享&#xff0c;这里所指的数据包括各种信息&#xff0c;基本组成和结构&#xff1a;基本网络由网络网络的分类&#xff1a;有多种分类方法&#xff0c;按规模可分为局域网、区域网、&127;广域网。局域网服务范围一…

mc有什么红石机器人_我的世界10月考试!来测测你的MC成绩吧~

考试规则&#xff1a;本次考试为闭卷考试&#xff0c;考生需要在30分钟内完成试卷。试卷总分为100分&#xff0c;其中包括单项选择题50分&#xff0c;多项选择题20分&#xff0c;判断题30分。考试内容包括《我的世界》手游1.11.0及以上版本在不添加任何模组的情况下的所有游戏内…

130、 Android OkHttp完全解析(转载)

完全解析&#xff1a;http://blog.csdn.net/lmj623565791/article/details/47911083 从原理角度解析http文件上传 http://blog.csdn.net/lmj623565791/article/details/23781773 https://github.com/hongyangAndroid/okhttputils

json转string示例_C.示例中的String.Copy()方法

json转string示例C&#xff03;String.Copy()方法 (C# String.Copy() Method) String.Copy() method is used to copy a string to new string object, it returns a new instance of String with the same value as given string. String.Copy()方法用于将字符串复制到新的字符…

自定义分页 html,MVC 自定义HtmlHelper帮助类型之分页

方法一&#xff1a;在项目中增加App_Code文件夹&#xff0c;新增一个MyHtmlper.cshtml视图文件写入代码&#xff1a;helper Pagger(int pageIndex, int pageCount){for (int i 1; i < pageCount; i){if (i ! pageIndex){(i)}else{i}}}新增一个HomeControllerpublic class H…

vue 对象继承_Vue2.0中组件的继承与扩展是什么

Vue2.0中组件的继承与扩展是什么发布时间&#xff1a;2020-12-07 14:04:09来源&#xff1a;亿速云阅读&#xff1a;100作者&#xff1a;小新小编给大家分享一下Vue2.0中组件的继承与扩展是什么&#xff0c;相信大部分人都还不怎么了解&#xff0c;因此分享这篇文章给大家参考一…

stack示例_C.示例中的Stack.Clone()方法

stack示例C&#xff03;Stack.Clone()方法 (C# Stack.Clone() method) Stack.Clone() method is used to create a shallow copy of the stack. Stack.Clone()方法用于创建堆栈的浅表副本。 Syntax: 句法&#xff1a; Object Stack.Clone();Parameters: None 参数&#xff1a…

简述计算机图形的图形应用主要有哪些,5计算机图形学考试简答题复习.doc

5计算机图形学考试简答题复习计算机图形学考试简答题复习1、简述计算机动画的概念&#xff0c;它经历了哪几个阶段的发展&#xff1f;(2分)计算机动画是指采用图形与图像的处理技术&#xff0c;借助于编程或动画制作软件生成一系列的景物画面&#xff0c;其中当前帧是前一帧的部…

在图片中选定任意凸多边形制作掩膜程序MATLAB

function S get_convex_S(C,vx,vy) %该函数实现的功能为指定图像中多边形的顶点&#xff0c;返回属于该凸多边形中的所有像素点 %xv&#xff0c;yv为顶点坐标按照顺时针或者逆时针。vx(1) xv(end); yv(1) yv(end) %输入的C是结构&#xff0c;vx vy是数组存的是顶点坐标。 %输…

js console 输出到文件_Node.js核心入门

正文核心模块是Node.js的心脏&#xff0c;主要是有一些精简高效的库组成(这方面和Python有很大的相似之处)&#xff0c;为Node.js提供了基础的API。主要内容包括&#xff1a;Node.js核心入门(一)全局对象常用工具事件机制Node.js核心入门(二)文件系统访问HTTP服务器与客户端全局…

scala 当前日期_如何在Scala中检查当前日期和时间?

scala 当前日期Scala is a general-purpose programming language, which is majorly used for data manipulation. It has libraries and support for almost all different utilities that are important. One of the important things that are required while programming …