【NLP】使用 SpaCy、ollama 创建用于命名实体识别的合成数据集

命名实体识别 (NER) 是自然语言处理 (NLP) 中的一项重要任务,用于自动识别和分类文本中的实体,例如人物、位置、组织等。尽管它很重要,但手动注释大型数据集以进行 NER 既耗时又费钱。受本文 ( https://huggingface.co/blog/synthetic-data-save-costs#31-prompt-an-llm-to-annotate-your-data ) 的启发,我们讨论了一种创新方法,使用 qwen2.5:7b 生成的合成数据来有效应对这些挑战。通过使用合成数据,我们可以有效地训练 NER 模型,以从大量文本语料库(例如金融新闻文章)中提取有意义的信息。

在本教程中,我们将演示如何使用 SpaCy 构建 NER 管道,SpaCy 是一个流行的开源 NLP 库,以其速度和效率而闻名。SpaCy 广泛用于标记化、词性标记和命名实体识别等任务,尤其擅长在 CPU 上快速处理文本。其强大的架构使其无需专门的硬件即可处理大量数据,使其成为许多实际应用的理想选择。

我们将使用 SmoothNLP金融新闻数据集 进行案例研究,展示合成数据如何显著提高 NER 模型的性能并降低与传统数据注释方法相关的成本。通过将合成数据与 SpaCy 集成,我们旨在创建可扩展且准确的 NER 解决方案来处理大规模新闻数据集。

我们的方法

为了克服传统方法的局限性,我们利用合成数据生成在新闻文章中进行 NER。以下是我们流程的分步概述:

步骤 1:数据收集

数据下载地址

步骤 2:使用ollama加载 qwen2.5-7b

1、下载ollama

ollama下载地址(以windows版为例)

2、下载qwen2.5-7b模型

ollama pull qwen2.5

如下图所示为下载完成

我们使用langchain_ollama来启用语言模型 qwen2.5-7b 来注释收集的数据。以下是如何加载模型:

from langchain_ollama import OllamaLLMmodel = OllamaLLM(model="qwen2.5:7b")
model.invoke("你是谁")

这里发生了什么事?

  • qwen2.5-7b模型:我们加载一个大型预先训练的 Qwen模型

步骤 3:准备数据集

1.设置模型后,我们加载样本数据并准备数据集以供处理:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
import pandas as pd
from tqdm import tqdm
from pydantic import BaseModel, Field, ValidationError
from typing import List
from datasets import Dataset
import spacy
from spacy.tokens import DocBin, Span
import re
import jsonnlp = spacy.load('zh_core_web_sm')financial_news_sample = pd.read_excel("./SmoothNLP金融新闻数据集样本20k.xlsx")
financial_news_sample.head()

数据如图所示 

 2.合并标题和内容

financial_news_sample['text'] = financial_news_sample['title'].str.cat(financial_news_sample['content'], sep='\n')
financial_news_sample.head()

news_texts = [text for text in list(financial_news_sample["text"]) if type(text)==str][-100:]
dataset = Dataset.from_dict({"text": news_texts})

步骤 4:使用 SpaCy 对文本进行标记

我们使用 SpaCy 对文本数据进行标记。标记化是将文本拆分为单个单词或子单词的过程。

def tokenize_with_spacy(texts):tokenized_texts = []token_offsets_list = []for text in texts:if isinstance(text, str):doc = nlp(text)tokens = [token.text for token in doc]token_offsets = [(token.idx, token.idx + len(token.text)) for token in doc]tokenized_texts.append(tokens)token_offsets_list.append(token_offsets)else:raise ValueError(f"Expected a string but got {type(text)}")return tokenized_texts, token_offsets_list

第 5 步:准备 Qwen 的输入

def prepare_qwen_input(tokenized_texts):return [" ".join(tokens) for tokens in tokenized_texts]

步骤 6:查询我们的 Qwen 的提示

接下来,我们创建一个查询 LLM 的系统提示。由于我们想从新闻文章中提取结构化信息,因此我们要求 LLM 以 JSON 格式响应。我们还包含示例输入和输出,以指导模型正确构建其响应。

system_prompt="""
你是一个在自然语言处理和信息提取方面受过训练的高级人工智能。你的任务是阅读以下新闻文章,并提取文中提到的所有人名。对于识别的每个人名,提供具有以下结构的JSON输出:[
{"entity_type":"人名","entity_value":"内容中的人名"}
]
确保提取人名的确切字符串,而不进行任何更正或转换。不要提供任何解释。仅使用JSON结构化数据进行响应。###示例1:
输入:
李明远当选陕西省西安市市长
新华社西安2月19日电 西安市第十六届人民代表大会第四次会议2月18日选举李明远为西安市人民政府市长。输出:
[
{"entity_type":"人名","entity_value":"李明远"},
]###示例2:
输入:
原央行征信中心主任王煜调任中国金融培训中心主任
中国金融培训中心官网显示,原中国人民银行征信中心主任王煜已出任该中心主任。
王煜毕业于五道口央行研究生部,在央行体系工作多年,先后出任过央行货币政策司副司长、央行货币政策委员会秘书长,随后王煜进入征信领域,先后出任央行征信管理局局长、中国人民银行征信中心主任。(澎湃)输出:
[
{"entity_type":"人名","entity_value":"王煜"}
]###示例3:
输入:
人民大学教授叶林:完善法制体系  提高我国期货市场核心竞争力本报见习记者 王宁中国期货市场经过二十多年的探索发展,已经成为金融体系的重要组成部分,为宏观决策部门预研预判经济形势、微观企业进行风险管理提供了有力支持。随着期货市场各项创新以及国际化业务的深入推进,需要的法律支持也越来越多,“尽快出台《期货法》”的呼声越来越高。法治强,则市场兴。如今,中国期货市场已经开启了多元、开放的新时代,这对中国期货市场的法律制度体系提出了更高要求。近日,记者采访了中国人民大学教授叶林,深入解读我国期货市场立法的探索、困境及出台《期货法》的重要意义。记者:目前我国期货市场的有关法律法规都有哪些,相较国际期货市场的主要差距是什么?叶林:二十多年来,我国期货市场法制建设取得了显著的进步,逐渐摸索出了一条适应期货市场发展需要、符合期货市场规律、有中国特色的期货市场法制建设道路。2007年3月,国务院颁布了《期货交易管理条例》,2012年10月、2013年7月、2016年2月和2017年3月进行了四次修订。目前初步形成了以《期货交易管理条例》、最高人民法院司法解释为支撑,以部门规章和规范性文件为配套,以期货交易所、期货业协会自律规则为补充的期货市场法规体系。这一制度体系对于规范期货市场的稳定运行起到了积极作用,但是相较域外期货市场法制而言,存在法律位阶较低、民事规范不完整、跨境监管与协作规范缺失等问题,法律制度并不完备。输出:[
{"entity_type":"人名","entity_value":"叶林"},
{"entity_type":"人名","entity_value":"王宁"} 
]请使用相同的格式继续执行任务。
"""

JSON 是一种轻量级的结构化数据格式,易于通过编程进行解析,因此非常适合自动化和一致性至关重要的机器学习流程。使用 JSON 可以明确定义提取的实体,确保每个识别的实体都遵循标准结构(具有“entity_type”和“entity_value”等字段)。此结构简化了下游任务(例如验证和存储),并确保输出可以轻松集成到其他处理工具或库中。

在提示中提供示例是有益的,因为它有助于指导语言模型理解所需的输出格式和结构。示例充当“指令调整”的一种形式,向模型展示如何以特定方式响应,从而降低生成的输出中出现错误和不一致的可能性。在我们的案例中,使用多个输入文本示例与相应的 JSON 输出配对,向模型展示如何一致地识别和格式化城市名称。这提高了模型响应的可靠性,尤其是在应用于多样化和复杂的现实世界数据时。

步骤 7:从模型响应中提取实体

系统提示准备好后,我们定义一个函数来从模型的输出中提取实体:

def extract_json_from_response(response):try:if isinstance(response, list):return responsematch = re.search(r'(\[.*)', response, re.DOTALL)if match:json_content = match.group(0).strip()if not json_content.endswith(']'):json_content += ']'return json.loads(json_content)except json.JSONDecodeError as e:print(f"Failed to decode JSON: {e}")return []

此函数在响应中查找 JSON 格式的数据并提取它,确保即使响应结构不正确,我们的管道仍然保持稳健。

步骤 8:实体提取的批处理

然后我们设置批处理来有效地处理大型数据集:

rom loguru import loggerdef predict_entities_in_batches(test_dataset, model, system_prompt, batch_size=1):extracted_entities = []for i in tqdm(range(0, len(test_dataset), batch_size), desc="Processing batches"):batch_texts = test_dataset[i:i + batch_size]["text"]batch_prompts = [system_prompt+text for text in batch_texts]logger.info(batch_prompts)results = [model.invoke(batch_prompt) for batch_prompt in batch_prompts]for result in results:generated_text = resultlogger.info(f"result::{result}")assistant_response = generated_textif assistant_response:entities = extract_json_from_response(assistant_response)logger.info(f'entities::{entities}')extracted_entities.append(entities)else:extracted_entities.append(None)return extracted_entitiesprocessed_data = predict_entities_in_batches(dataset, model, system_prompt)

当处理 Qwen2.5 等大型模型和大量数据集时,高效的内存管理至关重要。批处理是一种策略,它通过将数据集划分为较小的块或批次并按顺序处理每个批次来帮助管理内存使用量。这种方法可以防止系统内存耗尽,因为整个数据集不需要一次加载到内存中。它还允许通过根据可用硬件调整批处理大小来更好地控制计算资源(例如 GPU 内存)。

使用批处理还可以优化并行性,其中模型可以在一个批次内同时生成多个数据点的输出。这可以加快处理速度而不会使系统内存过载,从而可以处理数据集(如 SmoothNLP金融新闻数据集)。此外,在批次之间清除内存缓存有助于防止内存碎片化(在处理非常大的数据集时可能会发生这种情况),从而保持性能稳定性。总体而言,批处理可确保计算效率和资源管理之间的平衡,从而实现机器学习管道中大型数据集的可扩展处理。

步骤 9:验证和错误处理

我们使用 Pydantic 模型验证提取的实体,确保数据符合预期格式:

from validators import validatorclass EntityList(BaseModel):def validate_entity_type(entities):entities_last = []try:for entitie in entities:if entitie['entity_type'] != '人名':raise ValueError(f"{v} is not a valid entity type")else:entities_last.append(entitie)except:passreturn entities_lastvalidated_data = []
for i, entities in enumerate(processed_data):try:validated_output = EntityList.validate_entity_type(entities=entities)validated_data.append({"text": dataset[i], "entities": validated_output})except ValidationError as e:print("Validation error:", e)validated_data.append({"text": dataset[i], "entities": None})

这可确保仅接受有效的实体类型(例如city_names)。如果实体类型与预期格式不匹配,则会引发错误。

步骤 10:准备 SpaCy 模型训练的数据

最后,我们使用 SpaCy 的DocBin来存储处理后的数据,包括实体跨度:

def create_spans(doc, entities):"""Creates spaCy spans for detected entities in the text."""spans = []warnings = []for entity in entities:entity_value = entity.get('entity_value', '').strip()entity_type = entity.get('entity_type', '')if not entity_value:warnings.append(f"Skipping empty entity for type: '{entity_type}'")continuestart = 0while True:start = doc.text.find(entity_value, start)if start == -1:breakend = start + len(entity_value)span = doc.char_span(start, end, label=entity_type, alignment_mode="contract")if span:spans.append(span)else:warnings.append(f"Could not create span for entity: '{entity_value}' at position {start}-{end}")start = endreturn spans, warningsdef filter_overlapping_spans(spans):"""Filters out overlapping spans, keeping non-overlapping spans."""filtered_spans = []for span in sorted(spans, key=lambda x: (x.start, -x.end)):if all(span.start >= s.end or span.end <= s.start for s in filtered_spans):filtered_spans.append(span)return filtered_spans
def process_data(data_list):doc_bin = DocBin(store_user_data=True)for item in tqdm(data_list, desc="Processing Data", unit="doc"):text = item.get('text', '')if not text.strip():continueentities = item.get('entities', {}).get('entities', [])doc = nlp(text)spans, warnings = create_spans(doc, entities)doc.ents = filter_overlapping_spans(spans)if warnings:doc._.warnings = warningsdoc_bin.add(doc)return doc_bin

结论

合成数据与 LLAMA3 等高级语言模型的集成对降低命名实体识别 (NER) 任务的成本和提高可扩展性具有重大影响。生成合成数据可以创建大型注释数据集,而无需耗时且昂贵的手动标记过程,从而可以快速训练用于各种 NER 应用程序的模型。大型语言模型 (LLM) 通过利用上下文理解从文本中提取有意义的信息,提供了一种注释这些数据集的有效方法。合成数据生成和 LLM 相结合,为开发高性能 NER 系统提供了一种可扩展的解决方案,能够处理来自 SmoothNLP金融新闻数据集 的大规模文本语料库,例如新闻文章。这种方法不仅可以降低注释成本,还可以确保即使在数据需求很大的情况下也可以大规模训练和部署模型。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/59656.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024年10月个人工作生活总结

本文为 2024年10月工作生活总结。 研发编码 一个证书过期问题记录 某天&#xff0c;现场反馈某服务无法使用问题&#xff0c;经同事排查&#xff0c;是因为服务证书过期导致的。原来&#xff0c;证书的有效期设置为5年&#xff0c;这个月刚好到期。 虽然这个问题与自己无直接…

AIGC:人工智能生成内容的未来

文章目录 一、AIGC的定义与背景1.1 AIGC的起源与发展1.2 AIGC的核心技术 二、AIGC的核心技术解析2.1 生成对抗网络&#xff08;GANs&#xff09;2.2 变分自编码器&#xff08;VAEs&#xff09;2.3 自然语言处理&#xff08;NLP&#xff09;与文本生成 三、AIGC的应用场景四、AI…

【51单片机】串口通信原理 + 使用

学习使用的开发板&#xff1a;STC89C52RC/LE52RC 编程软件&#xff1a;Keil5 烧录软件&#xff1a;stc-isp 开发板实图&#xff1a; 文章目录 串口硬件电路UART串口相关寄存器 编码单片机通过串口发送数据电脑通过串口发送数据控制LED灯 串口 串口是一种应用十分广泛的通讯接…

线程函数和线程启动的几种不同形式

线程函数和线程启动的几种不同形式 在C中&#xff0c;线程函数和线程启动可以通过多种形式实现。以下是几种常见的形式&#xff0c;并附有相应的示例代码。 1. 使用函数指针启动线程 最基本的方式是使用函数指针来启动线程。 示例代码&#xff1a; #include <iostream&g…

C语言网络编程 -- TCP/iP协议

一、Socket简介 1.1 什么是socket socket通常也称作"套接字"&#xff0c;⽤于描述IP地址和端⼝&#xff0c;是⼀个通信链的句柄&#xff0c;应⽤ 程序通常通过"套接字"向⽹络发出请求或者应答⽹络请求。⽹络通信就是两个进程 间的通信&#xff0c;这两个进…

Qt字符编码

目前字符编码有以下几种&#xff1a; 1、UTF-8 UTF-8编码是Unicode字符集的一种编码方式(CEF)&#xff0c;其特点是使用变长字节数(即变长码元序列、变宽码元序列)来编码。一般是1到4个字节&#xff0c;当然&#xff0c;也可以更长。 2、UTF-16 UTF-16是Unicode字符编码五层次…

Linux下的ADC

ADC ADC简介 ADC是 Analog Digital Converter 的缩写&#xff0c;翻译过来为模数转换器&#xff0c;ADC可以将模拟值转换成数字值。模拟值是什么呢?比如我们日常生活中的温度&#xff0c;速度&#xff0c;湿度等等都是模拟值。所以如果我们想测量这些模拟值的值是多少&#x…

小物体检测模型

检测自然环境下的小物体&#xff08;如鸟类&#xff09;&#xff0c;尤其是在低分辨率、模糊、复杂背景和动态移动的条件下&#xff0c;是一个相对困难的任务。为了解决这个问题&#xff0c;可以考虑使用以下工具和方法来提升小物体检测的效果&#xff1a; 1. 使用专门优化的小…

理解Web登录机制:会话管理与跟踪技术解析(二)-JWT令牌

JWT令牌是一种用于安全地在各方之间传递信息的开放标准&#xff0c;它不仅能够验证用户的身份&#xff0c;还可以安全地传递有用的信息。由于其结构简单且基于JSON&#xff0c;JWT可以在不同的系统、平台和语言间无缝传递&#xff0c;成为现代Web开发中不可或缺的一部分。 文章…

论 ONLYOFFICE:开源办公套件的深度探索

公主请阅 引言第一部分&#xff1a;ONLYOFFICE 的历史背景1.1 开源软件的崛起1.2 ONLYOFFICE 的发展历程 第二部分&#xff1a;ONLYOFFICE 的核心功能2.1 文档处理2.2 电子表格2.3 演示文稿 第三部分&#xff1a;技术架构与兼容性3.1 技术架构3.2 兼容性 第四部分&#xff1a;部…

sql报错信息将字符串转换为 uniqueidentifier 时失败

报错信息&#xff1a; [42000] [Microsoft][SQL Server Native Client 10.0][SQL Server]将字符串转换为 uniqueidentifier 时失败 出错行如下&#xff1a; 表A.SourceCode 表B.ID 出错原因&#xff1a; SourceCode是nvarchar,但ID是uniqueidentifier 数据库查询字段和类…

[复健计划][紫书]Chapter 7 暴力求解法

7.1 简单枚举 例7-1 Division uva725 输入正整数n&#xff0c;按从小到大的顺序输出所有形如abcde/fghij n的表达式&#xff0c;其中a&#xff5e;j恰好为数字0&#xff5e;9的一个排列&#xff08;可以有前导0&#xff09;&#xff0c;2≤n≤79。枚举fghij&#xff0c;验证a…

【系统设计】数据库压缩技术详解:从基础到实践(附Redis内存优化实战案例)

概述 在现代数据库系统中&#xff0c;压缩技术对于提高存储效率和加速查询性能至关重要。特别是在处理大规模数据时&#xff0c;压缩能够极大地减少存储空间&#xff0c;并优化查询性能。本文将总结几种常见的压缩方式&#xff0c;并通过详细的解释和示例清晰地展示每种压缩方…

大语言模型鼻祖Transformer的模型架构和底层原理

Transformer 模型的出现标志着自然语言处理&#xff08;NLP&#xff09;技术的一次重大进步。这个概念最初是针对机器翻译等任务而提出的&#xff0c;Transformer 后来被拓展成各种形式——每种形式都针对特定的应用&#xff0c;包括原始的编码器-解码器&#xff08;encoder-de…

使用LoRA 对千问70B模型进行微调

要使用 LoRA 对已经下载的模型进行微调&#xff0c;可以通过 PEFT&#xff08;Parameter-Efficient Fine-Tuning&#xff09;库来实现。以下是具体的步骤。 1. 安装必要的库 确保你已经安装了 transformers 和 peft&#xff08;用于 LoRA 微调&#xff09;库&#xff1a; pi…

6-2.Java 面向对象 - 中级(包、访问修饰符、封装、继承、super、方法重写、多态、动态绑定机制、面向对象相关方法)

一、包 1、基本介绍 包的本质就是创建不同的文件夹来保存类文件 定义包 package 【包名】;引入包 import 【包名】;2、包的作用 区分相同名字的类 可以很好的管理类 控制访问权限 3、包的命名 &#xff08;1&#xff09;基本介绍 命名规则&#xff1a;只能包含数字、…

基于MySQL的企业专利数据高效查询与统计实现

背景 在进行产业链/产业评估工作时&#xff0c;我们需要对企业的专利进行评估&#xff0c;其中一个重要指标是统计企业每一年的专利数量。本文基于MySQL数据库&#xff0c;通过公司名称查询该公司每年的专利数&#xff0c;实现了高效的专利数据统计。 流程 项目流程概述如下&…

canfestival主站多电机对象字典配置

不要使用数组进行命名&#xff1a;无法运行PDO 使用各自命名的方式&#xff1a;

【学生选课管理系统】项目笔记

项目难点 涉及到多个关联的数据库 脚手架 在这里我使用的是element-plus框架&#x1f449; 具体文献参考->element-plus官网 运行项目&#xff08;同时运行前端和后端&#xff09; program/xsxk/vue/package.jsonprogram/xsxk/springboot/src/main/java/com/example/Spri…

Git LFS

Git LFS&#xff08;Git Large File Storage&#xff09;是一个用于管理和版本控制大文件的工具&#xff0c;它扩展了 Git 的功能&#xff0c;帮助处理大文件或二进制文件的存储和管理问题。 为什么需要 Git LFS&#xff1f; Git 默认是针对文本文件进行优化的&#xff0c;尤…