BERT-文本分类NER

BERT文本分类

训练样本

训练数据:18W条

评估数据:1W条

测试数据:1W条

体验2D巅峰 倚天屠龙记十大创新概览	8
60年铁树开花形状似玉米芯(组图)	5
同步A股首秀:港股缩量回调	2
中青宝sg现场抓拍 兔子舞热辣表演	8
锌价难续去年辉煌	0
2岁男童爬窗台不慎7楼坠下获救(图)	5
布拉特:放球员一条生路吧 FIFA能消化俱乐部的攻击	7
金科西府 名墅天成	1
状元心经:考前一周重点是回顾和整理	3

训练代码

https://github.com/HeiBoWang/Pytorch-NLP/tree/master   →  02-Bert 文本分类  →  main.py

dev f1:0.9664522058823529, precision:0.9580865603644647,recall:0.9749652294853964
test f1:0.9651982378854626, precision:0.9618086040386303,recall:0.9686118479221928

预测代码以及结果

https://github.com/HeiBoWang/Pytorch-NLP/tree/master   →  02-Bert 文本分类  →  predict.py

模型预测结果:
文本:我们一起去打篮球吧!	预测的类别为:game
文本:我喜欢踢足球!	预测的类别为:game
文本:沈腾和马丽的新电影《独行月球》很好看	预测的类别为:entertainment
文本:昨天玩游戏,完了一整天	预测的类别为:game
文本:现在的高考都已经开始分科考试了。	预测的类别为:education
文本:中方:佩洛西如赴台将致严重后果	预测的类别为:politics
文本:现在的股票基金趋势很不好	预测的类别为:finance
耗时为:2.3200602531433105 s

评价指标

dev acc:0.9305
最佳模型Loss
Train_Loss:0.1319

BERT命名实体识别

训练样本

训练数据:127919条

评估数据:14352条

测试数据:15576条

吴 B-NAME
重 I-NAME
阳 E-NAME
, O
中 B-CONT
国 I-CONT
国 I-CONT
籍 E-CONT
, O
大 B-EDU
学 I-EDU
本 I-EDU
科 E-EDU
, O
教 B-TITLE
授 I-TITLE
级 I-TITLE
高 I-TITLE
工 E-TITLE
, O
享 O
受 O
国 O
务 O
院 O
特 O
殊 O
津 O
贴 O
, O
历 O
任 O
邮 B-ORG
电 I-ORG
部 I-ORG
侯 I-ORG
马 I-ORG
电 I-ORG
缆 I-ORG
厂 E-ORG
仪 B-TITLE
表 I-TITLE
试 I-TITLE
制 I-TITLE
组 I-TITLE
长 E-TITLE
、 O
光 B-TITLE
缆 I-TITLE
分 I-TITLE
厂 I-TITLE
副 I-TITLE
厂 I-TITLE
长 E-TITLE
、 O
研 B-TITLE
究 I-TITLE
所 I-TITLE
副 I-TITLE
所 I-TITLE
长 E-TITLE
, O
获 O
得 O
过 O
山 O
西 O
省 O
科 O
技 O
先 O
进 O
工 O
作 O
者 O

训练代码&评价指标

https://github.com/HeiBoWang/Pytorch-NLP/tree/master   → 07-Bert 实体识别  →  main.py

dev f1:0.9664522058823529, precision:0.9580865603644647,recall:0.9749652294853964
test f1:0.9651982378854626, precision:0.9618086040386303,recall:0.9686118479221928
运行时间:3.3876 min

预测代码以及结果

https://github.com/HeiBoWang/Pytorch-NLP/tree/master   →  07-Bert 实体识别  →  predict.py

模型预测结果:
文本:李某某,男,2012年4月出生,本科学历,工科学士,毕业于电子科技大学。       
预测的类别为:['S-ORG', 'I-NAME', 'UNK', 'E-NAME', 'O', 'I-NAME', 'E-EDU', 'I-ORG', 'I-NAME', 'I-ORG', 'I-NAME', 'S-ORG', 'S-ORG', 'I-EDU', 'E-EDU', 'I-ORG', 'E-LOC', 'S-ORG', 'S-ORG', 'B-NAME', 'I-NAME', 'B-PRO', 'B-PRO', 'E-NAME', 'UNK', 'UNK', 'B-NAME', 'E-LOC', 'B-NAME', 'S-ORG']
耗时为:6.1840057373046875 s

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/654004.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【大数据】Flink 架构(六):保存点 Savepoint

《Flink 架构》系列(已完结),共包含以下 6 篇文章: Flink 架构(一):系统架构Flink 架构(二):数据传输Flink 架构(三):事件…

你这人能不能灵活点?前端代码简单优化一下?

公众号:程序员白特,可jia前端qun 背景 贴近目前公司的业务,做的增删改查比较多。基本上都是做一些表格的业务系统比较多,因此在写的过程中,都会遇到一些优化的细点,仅供参考,觉得好的可以采纳&a…

随便封装一下BaseActivity

老码农&#xff0c;没什么激情撸码&#xff0c;随便封装一下base类&#xff0c;写来玩玩 直接上源码 一、创建BaseActivity 1、使用viewBinding来绑定视图 2、利用代理实现状态栏、菊花扩展 abstract class BaseActivity<VB : ViewBinding> : AppCompatActivity() {…

FairGuard游戏加固入选《CCSIP 2023中国网络安全行业全景册(第六版)》

2024年1月24日&#xff0c; FreeBuf咨询正式发布《CCSIP 2023中国网络安全行业全景册(第六版)》。本次发布的全景图&#xff0c;共计展示20个一级分类、108个细分安全领域&#xff0c;旨在为广大企业提供网络安全产品选型参考&#xff0c;帮助企业了解中国网络安全技术与市场的…

C++11——新的类功能与可变参数模板

系列文章目录 文章目录 系列文章目录一、新的类功能默认成员函数类成员变量初始化强制生成默认函数的关键字default禁止生成默认函数的关键字delete继承和多态中的final与override关键字 二、可变参数模板递归函数方式展开参数包逗号表达式展开参数包STL容器中的empalce_back与…

100天精通鸿蒙从入门到跳槽——第20天:ArkTS装饰器@Link双向数据绑定

博主猫头虎的技术世界 🌟 欢迎来到猫头虎的博客 — 探索技术的无限可能! 专栏链接: 🔗 精选专栏: 《面试题大全》 — 面试准备的宝典!《IDEA开发秘籍》 — 提升你的IDEA技能!《100天精通Golang》 — Go语言学习之旅!《100天精通鸿蒙》 — 从Web/安卓到鸿蒙大师!100天…

免费分享一套微信小程序外卖跑腿点餐(订餐)系统(uni-app+SpringBoot后端+Vue管理端技术实现) ,帅呆了~~

大家好&#xff0c;我是java1234_小锋老师&#xff0c;看到一个不错的微信小程序外卖跑腿点餐(订餐)系统(uni-appSpringBoot后端Vue管理端技术实现) &#xff0c;分享下哈。 项目视频演示 【免费】微信小程序外卖跑腿点餐(订餐)系统(uni-appSpringBoot后端Vue管理端技术实现)…

【开源】基于JAVA语言的毕业生追踪系统

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 登陆注册模块2.2 学生基本配置模块2.3 就业状况模块2.4 学历深造模块2.5 信息汇总分析模块2.6 校友论坛模块 三、系统设计3.1 用例设计3.2 实体设计 四、系统展示五、核心代码5.1 查询我的就业状况5.2 初始化就业状况5.…

SSL加密证书免费申请

首先&#xff0c;让我们来了解一下SSL证书的基本作用。SSL证书通过公钥和私钥的非对称加密技术&#xff0c;使得服务器与浏览器之间的通信内容得到高强度加密&#xff0c;同时验证网站的真实身份&#xff0c;从而提升用户的信任度&#xff0c;也是搜索引擎排名优化的一个重要因…

Idea设置代理后无法clone git项目

背景 对于我们程序员来说&#xff0c;经常上github找项目、找资料是必不可少的&#xff0c;但是一些原因&#xff0c;我们访问的时候速度特别的慢&#xff0c;需要有个代理&#xff0c;才能正常的访问。 今天碰到个问题&#xff0c;使用idea工具 clone项目&#xff0c;速度特…

2.【Vue3】Vue 基本使用——局部使用Vue

文章目录 1. 快速入门2. 常用指令2.1 v-for2.2 v-bind2.3 v-if 与 v-show2.4 v-on2.5 v-model 3. 生命周期4. Ajax 函数库 Axios4.1 Axios 基本使用4.2 Axios 请求方式别名 1. 快速入门 现在需要将 “hello vue3” 这样一个字符串渲染到页面上进行展示。 这个需求并不陌生&…

Vue-Cli3 - 从安装 nodejs 配置环境 ~ 搭建 cli 脚手架项目全过程

目录 前言提示 一、安装 & 配置 nodejs 1.1、安装 nodejs 1.2、配置必要目录 1.3、配置环境变量 1.4、测试 安装&配置 是否成功 1.5、安装淘宝镜像 1.5、cnpm 安装&#xff08;推荐安装&#xff09; 二、vue-cli3 创建项目 2.1、vue-cli2 和 vue-cli3 主要区…

C语言——N / 自定义类型:联合和枚举

目录 一、联合体 1、联合体类型的声明 2、联合体的特点 3、相同成员的结构体和联合体对比 4、联合体大小的计算 5、联合的一个练习 二、枚举类型 1、枚举类型的声明 2、枚举类型的优点 3、枚举类型的使用 一、联合体 1、联合体类型的声明 像结构体⼀样&#xff0c;…

批量导出域控用户及其所在OU和组

在Windows域环境中&#xff0c;批量导出域控用户及其所在OU&#xff08;组织单位&#xff09;和组成员身份信息&#xff0c;可以使用PowerShell脚本实现。以下是一个基本的示例脚本&#xff1a; Import-Module ActiveDirectory# 遍历所有用户 Get-ADUser -Filter * -Propertie…

GitLab16.8配置webhooks、Jenkins2.4配置GitLab插件实现持续集成、配置宝塔面板实现持续部署(其三)

看本篇文章的前提是已经部署完GItlab和Jenkins服务器&#xff0c;已经可以手动构建成功&#xff0c;并且经过了很多次实践&#xff0c;对这两款软件基本熟悉。 建议大家按以下顺序看 前端自动化&#xff08;其一&#xff09;部署gitlab 前端自动化&#xff08;其二&#xff0…

05.领域驱动设计:认识领域事件,解耦微服务的关键

目录 1、概述 2、领域事件 2.1 如何识别领域事件 1.微服务内的领域事件 2.微服务之间的领域事件 3、领域事件总体架构 3.1 事件构建和发布 3.2 事件数据持久化 3.3 事件总线 (EventBus) 3.4 消息中间件 3.5 事件接收和处理 4、案例 5、总结 1、概述 在事件风暴&a…

Qlik Sense : IntervalMatch(离散匹配)

什么是IntervalMatch IntervalMatch 前缀用于创建表格以便将离散数值与一个或多个数值间隔进行匹配&#xff0c;并且任选匹配一个或多个额外关键值。 语法&#xff1a; IntervalMatch (matchfield)(loadstatement | selectstatement ) IntervalMatch (matchfield,keyfield…

百川智能发布超千亿大模型Baichuan 3

1月29日&#xff0c;百川智能发布超千亿参数的大语言模型Baichuan 3。在多个权威通用能力评测如CMMLU、GAOKAO和AGI-Eval中&#xff0c;Baichuan 3都展现了出色的能力&#xff0c;尤其在中文任务上更是超越了GPT-4。而在数学和代码专项评测如MATH、HumanEval和MBPP中同样表现出…

【Delphi】系统菜单中增加菜单项

目录 一、问题提出 二、程序截图 ​编辑 ​编辑 三、程序代码&#xff1a; 一、问题提出 我们在开发windows程序的时候&#xff0c;可能会希望在窗体的系统菜单中增加一个菜单项&#xff0c;那么如何实现呢&#xff0c;实际上通过调用windows API是可以实现的&#xff0c;…

go学习之air库的使用

首先下载air库 go install github.com/cosmtrek/air之后你需要去找到库下载的地方&#xff0c;若使用的是go mod可以使用命令 go env GOPATH找到下载库的位置 进入后&#xff0c;有bin&#xff0c;pkg目录&#xff0c;进入bin目录&#xff0c;你能看到air.exe文件 这时候将此…