昇思25天学习打卡营第11天 | LLM原理和实践:基于MindSpore实现BERT对话情绪识别

1. 基于MindSpore实现BERT对话情绪识别

1.1 环境配置

# 实验环境已经预装了mindspore==2.2.14,如需更换mindspore版本,可更改下面mindspore的版本号
!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14# 该案例在 mindnlp 0.3.1 版本完成适配,如果发现案例跑不通,可以指定mindnlp版本,执行`!pip install mindnlp==0.3.1`
!pip install mindnlp
!pip show mindspore
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Collecting mindnlp==0.3.1Downloading https://pypi.tuna.tsinghua.edu.cn/packages/72/37/ef313c23fd587c3d1f46b0741c98235aecdfd93b4d6d446376f3db6a552c/mindnlp-0.3.1-py3-none-any.whl (5.7 MB)━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 5.7/5.7 MB 18.8 MB/s eta 0:00:00a 0:00:01
...
Requirement already satisfied: tzdata>=2022.7 in /home/nginx/miniconda/envs/jupyter/lib/python3.9/site-packages (from pandas->datasets->mindnlp==0.3.1) (2024.1)
Building wheels for collected packages: jiebaBuilding wheel for jieba (setup.py) ... doneCreated wheel for jieba: filename=jieba-0.42.1-py3-none-any.whl size=19314459 sha256=9ddea89911261cc55a74d51c5bd604e293e2c08b73a29597c8fde9ed0dc8dfc7Stored in directory: /home/nginx/.cache/pip/wheels/1a/76/68/b6d79c4db704bb18d54f6a73ab551185f4711f9730c0c15d97
Successfully built jieba
Installing collected packages: sortedcontainers, sentencepiece, pygtrie, jieba, addict, xxhash, safetensors, regex, pytest, pyarrow-hotfix, pyarrow, multiprocess, multidict, ml-dtypes, hypothesis, fsspec, frozenlist, async-timeout, yarl, pyctcdecode, aiosignal, tokenizers, aiohttp, datasets, evaluate, mindnlpAttempting uninstall: pytestFound existing installation: pytest 8.0.0Uninstalling pytest-8.0.0:Successfully uninstalled pytest-8.0.0Attempting uninstall: fsspecFound existing installation: fsspec 2024.6.0Uninstalling fsspec-2024.6.0:Successfully uninstalled fsspec-2024.6.0
Successfully installed addict-2.4.0 aiohttp-3.9.5 aiosignal-1.3.1 async-timeout-4.0.3 datasets-2.20.0 evaluate-0.4.2 frozenlist-1.4.1 fsspec-2024.5.0 hypothesis-6.105.0 jieba-0.42.1 mindnlp-0.3.1 ml-dtypes-0.4.0 multidict-6.0.5 multiprocess-0.70.16 pyarrow-16.1.0 pyarrow-hotfix-0.6 pyctcdecode-0.5.0 pygtrie-2.5.0 pytest-7.2.0 regex-2024.5.15 safetensors-0.4.3 sentencepiece-0.2.0 sortedcontainers-2.4.0 tokenizers-0.19.1 xxhash-3.4.1 yarl-1.9.4
Name: mindspore
Version: 2.2.14
Summary: MindSpore is a new open source deep learning training/inference framework that could be used for mobile, edge and cloud scenarios.
Home-page: https://www.mindspore.cn
Author: The MindSpore Authors
Author-email: contact@mindspore.cn
License: Apache 2.0
Location: /home/nginx/miniconda/envs/jupyter/lib/python3.9/site-packages
Requires: asttokens, astunparse, numpy, packaging, pillow, protobuf, psutil, scipy
Required-by: mindnlp

1.2 模型简介

BERT全称是来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers),它是Google于2018年末开发并发布的一种新型语言模型。与BERT模型相似的预训练语言模型例如问答、命名实体识别、自然语言推理、文本分类等在许多自然语言处理任务中发挥着重要作用。模型是基于Transformer中的Encoder并加上双向的结构,因此一定要熟练掌握TransformerEncoder的结构。

BERT模型的主要创新点都在pre-train方法上,即用了Masked Language ModelNext Sentence Prediction两种方法分别捕捉词语句子级别的representation

在用Masked Language Model方法训练BERT的时候,随机把语料库中15%的单词做Mask操作。对于这15%的单词做Mask操作分为三种情况:80%的单词直接用[Mask]替换、10%的单词直接替换成另一个新的单词、10%的单词保持不变。

因为涉及到Question Answering (QA) 和 Natural Language Inference (NLI)之类的任务,增加了Next Sentence Prediction预训练任务,目的是让模型理解两个句子之间的联系。与Masked Language Model任务相比,Next Sentence Prediction更简单些,训练的输入是句子A和B,B有一半的几率是A的下一句,输入这两个句子,BERT模型预测B是不是A的下一句

BERT预训练之后,会保存它的Embedding table和12层Transformer权重(BERT-BASE)或24层Transformer权重(BERT-LARGE)。使用预训练好的BERT模型可以对下游任务进行Fine-tuning,比如:文本分类相似度判断阅读理解等。

对话情绪识别(Emotion Detection,简称EmoTect),专注于识别智能对话场景中用户的情绪,针对智能对话场景中的用户文本,自动判断该文本的情绪类别并给出相应的置信度,情绪类型分为积极消极中性。 对话情绪识别适用于聊天、客服等多个场景,能够帮助企业更好地把握对话质量、改善产品的用户交互体验,也能分析客服服务质量、降低人工质检成本。

下面以一个文本情感分类任务为例子来说明BERT模型的整个应用过程。

  • 导入依赖
# 导入os模块,提供了一种方便的方式来使用操作系统相关的功能。
import os# 导入mindspore模块,这是一个面向AI的深度学习框架。
import mindspore# 从mindspore.dataset子模块中导入text、GeneratorDataset和transforms,这些都是用于数据处理的工具。
# text用于处理文本数据,GeneratorDataset用于创建自定义的数据集,transforms用于数据增强和预处理。
from mindspore.dataset import text, GeneratorDataset, transforms# 从mindspore模块中导入nn和context。
# nn是构建神经网络层的模块,context是用于设置运行环境的模块,如硬件设备、运行模式等。
from mindspore import nn, context# 从mindnlp._legacy.engine子模块中导入Trainer和Evaluator。
# Trainer是训练模型的类,Evaluator是评估模型的类。
from mindnlp._legacy.engine import Trainer, Evaluator# 从mindnlp._legacy.engine.callbacks子模块中导入CheckpointCallback和BestModelCallback。
# CheckpointCallback用于在训练过程中保存模型的权重,BestModelCallback用于保存评估结果最好的模型。
from mindnlp._legacy.engine.callbacks import CheckpointCallback, BestModelCallback# 从mindnlp._legacy.metrics子模块中导入Accuracy,这是一个用于计算准确率的评估指标。
from mindnlp._legacy.metrics import Accuracy

输出:

Building prefix dict from the default dictionary ...
Dumping model to file cache /tmp/jieba.cache
Loading model cost 1.032 seconds.
Prefix dict has been built successfully.

大意为:
正在从默认词典构建前缀词典…
正在将模型转储到文件缓存 /tmp/jieba.cache
加载模型耗时1.032秒。
前缀词典已成功构建。

# 准备数据集
class SentimentDataset:"""情感数据集"""def __init__(self, path):self.path = path  # 初始化数据集路径self._labels, self._text_a = [], []  # 初始化标签和文本列表self._load()  # 调用加载函数def _load(self):# 以只读模式打开指定路径的文件,并指定编码为utf-8with open(self.path, "r", encoding="utf-8") as f:dataset = f.read()  # 读取文件内容lines = dataset.split("\n")  # 按行分割文件内容for line in lines[1:-1]:  # 跳过标题行和最后一个空行label, text_a = line.split("\t")  # 按制表符分割每行,获取标签和文本self._labels.append(int(label))  # 将标签转换为整数并添加到标签列表self._text_a.append(text_a)  # 将文本添加到文本列表def __getitem__(self, index):# 实现getitem方法,以便能够通过索引访问数据集的元素return self._labels[index], self._text_a[index]  # 返回对应索引的标签和文本def __len__(self):# 实现len方法,以便能够获取数据集的大小return len(self._labels)  # 返回标签列表的长度,即数据集的大小

1.3 数据集

这里提供一份已标注的、经过分词预处理的机器人聊天数据集,来自于百度飞桨团队。数据由两列组成,以制表符(‘\t’)分隔,第一列是情绪分类的类别(0表示消极;1表示中性;2表示积极),第二列是以空格分词的中文文本,如下示例,文件为 utf8 编码。

label–text_a

0–谁骂人了?我从来不骂人,我骂的都不是人,你是人吗 ?

1–我有事等会儿就回来和你聊

2–我见到你很高兴谢谢你帮我

这部分主要包括数据集读取,数据格式转换,数据 Tokenize 处理和 pad 操作。

# 使用wget命令从百度NLP的官方网站下载情感检测数据集的压缩文件
# 并将下载的文件重命名为emotion_detection.tar.gz
!wget https://baidu-nlp.bj.bcebos.com/emotion_detection-dataset-1.0.0.tar.gz -O emotion_detection.tar.gz# 使用tar命令解压下载的emotion_detection.tar.gz文件
!tar xvf emotion_detection.tar.gz

输出:

--2024-07-04 23:28:31--  https://baidu-nlp.bj.bcebos.com/emotion_detection-dataset-1.0.0.tar.gz
Resolving baidu-nlp.bj.bcebos.com (baidu-nlp.bj.bcebos.com)... 119.249.103.5, 113.200.2.111, 2409:8c04:1001:1203:0:ff:b0bb:4f27
Connecting to baidu-nlp.bj.bcebos.com (baidu-nlp.bj.bcebos.com)|119.249.103.5|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1710581 (1.6M) [application/x-gzip]
Saving to: ‘emotion_detection.tar.gz’emotion_detection.t 100%[===================>]   1.63M  10.9MB/s    in 0.2s    2024-07-04 23:28:31 (10.9 MB/s) - ‘emotion_detection.tar.gz’ saved [1710581/1710581]data/
data/test.tsv
data/infer.tsv
data/dev.tsv
data/train.tsv
data/vocab.txt

1.3.1 数据加载和数据预处理

新建 process_dataset 函数用于数据加载和数据预处理,具体内容可见下面代码注释。

import numpy as np# 定义一个处理数据集的函数,它接受源数据、分词器、最大序列长度、批处理大小和是否打乱数据集的参数
def process_dataset(source, tokenizer, max_seq_len=64, batch_size=32, shuffle=True):# 判断当前设备是否为Ascend AI处理器is_ascend = mindspore.get_context('device_target') == 'Ascend'# 定义数据集中的列名column_names = ["label", "text_a"]# 创建一个生成器数据集,使用指定的列名和是否打乱数据集的参数dataset = GeneratorDataset(source, column_names=column_names, shuffle=shuffle)# 定义类型转换操作,将数据类型转换为mindspore.int32type_cast_op = transforms.TypeCast(mindspore.int32)# 定义一个函数,用于对文本进行分词和填充def tokenize_and_pad(text):# 如果是Ascend设备,则使用特定的分词参数if is_ascend:tokenized = tokenizer(text, padding='max_length', truncation=True, max_length=max_seq_len)else:tokenized = tokenizer(text)# 返回输入ID和注意力掩码return tokenized['input_ids'], tokenized['attention_mask']# 对数据集进行映射操作,应用分词和填充函数,并指定输入和输出列dataset = dataset.map(operations=tokenize_and_pad, input_columns="text_a", output_columns=['input_ids', 'attention_mask'])# 对数据集进行映射操作,应用类型转换操作,并指定输入和输出列dataset = dataset.map(operations=[type_cast_op], input_columns="label", output_columns='labels')# 如果是Ascend设备,则直接批处理数据集if is_ascend:dataset = dataset.batch(batch_size)else:# 如果不是Ascend设备,则使用填充的批处理,并指定填充信息dataset = dataset.padded_batch(batch_size, pad_info={'input_ids': (None, tokenizer.pad_token_id),'attention_mask': (None, 0)})# 返回处理后的数据集return dataset

昇腾NPU环境下暂不支持动态Shape,数据预处理部分采用静态Shape处理:

# 从mindnlp.transformers模块中导入BertTokenizer类
from mindnlp.transformers import BertTokenizer# 使用BertTokenizer的from_pretrained静态方法创建一个分词器实例
# 该方法会根据预训练模型的名称加载预训练的权重和配置
# 在这个例子中,加载的是'bert-base-chinese'模型的分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

输出:

100%49.0/49.0[00:00<00:00,3.10kB/s]107k/0.00[00:00<00:00, 103kB/s]263k/0.00[00:00<00:00, 161kB/s]624/? [00:00<00:00,62.9kB/s]

from_pretrained方法会从互联网上下载预训练的模型权重和配置,如果已经下载过,则会从本地缓存中加载。

tokenizer.pad_token_id

输出:

0
# 使用SentimentDataset类创建训练数据集,传入训练数据的路径
dataset_train = process_dataset(SentimentDataset("data/train.tsv"), tokenizer)# 使用SentimentDataset类创建验证数据集,传入验证数据的路径
dataset_val = process_dataset(SentimentDataset("data/dev.tsv"), tokenizer)# 使用SentimentDataset类创建测试数据集,传入测试数据的路径,并且指定shuffle参数为False,表示不进行数据打乱
dataset_test = process_dataset(SentimentDataset("data/test.tsv"), tokenizer, shuffle=False)# 调用dataset_train对象的get_col_names方法
# 这个方法会返回数据集中的列名列表
dataset_train.get_col_names()

输出:

['input_ids', 'attention_mask', 'labels']
# 调用dataset_train数据集的create_tuple_iterator()方法,创建一个元组迭代器
# 使用next()函数获取迭代器的下一个元素,即数据集中的第一个元素
# 并将该元素的内容打印出来,这将显示数据集中的一个样本,包括其特征和标签
print(next(dataset_train.create_tuple_iterator()))

输出:

[Tensor(shape=[32, 64], dtype=Int64, value=
[[ 101, 1914, 1568 ...    0,    0,    0],[ 101,  872,  812 ...    0,    0,    0],[ 101, 5314,  872 ...    0,    0,    0],...[ 101, 6929,  872 ...    0,    0,    0],[ 101, 1343, 6859 ...    0,    0,    0],[ 101, 2428,  677 ...    0,    0,    0]]), Tensor(shape=[32, 64], dtype=Int64, value=
[[1, 1, 1 ... 0, 0, 0],[1, 1, 1 ... 0, 0, 0],[1, 1, 1 ... 0, 0, 0],...[1, 1, 1 ... 0, 0, 0],[1, 1, 1 ... 0, 0, 0],[1, 1, 1 ... 0, 0, 0]]), Tensor(shape=[32], dtype=Int32, value= [2, 1, 1, 1, 1, 1, 1, 1, 1, 0, 1, 1, 1, 1, 1, 0, 0, 1, 0, 1, 1, 0, 0, 1, 1, 1, 1, 2, 2, 2, 1, 1])]

1.4 模型构建

通过 BertForSequenceClassification 构建用于情感分类的 BERT 模型,加载预训练权重,设置情感三分类的超参数自动构建模型。后面对模型采用自动混合精度操作,提高训练的速度,然后实例化优化器,紧接着实例化评价指标,设置模型训练的权重保存策略,最后就是构建训练器,模型开始训练。

# 从mindnlp.transformers模块中导入BertForSequenceClassification和BertModel类
from mindnlp.transformers import BertForSequenceClassification, BertModel# 从mindnlp._legacy.amp模块中导入auto_mixed_precision函数
from mindnlp._legacy.amp import auto_mixed_precision# 使用BertForSequenceClassification的from_pretrained静态方法加载预训练的BERT模型
# 指定num_labels参数为3,因为情感分类任务有3个标签
model = BertForSequenceClassification.from_pretrained('bert-base-chinese', num_labels=3)# 使用auto_mixed_precision函数对模型进行自动混合精度训练
# 'O1'表示使用16位浮点数进行部分训练,以提高训练速度和减少内存消耗
model = auto_mixed_precision(model, 'O1')# 创建一个Adam优化器实例,传入模型的训练参数和学习率
# 学习率设置为2e-5,这是一个常见的BERT模型学习率
optimizer = nn.Adam(model.trainable_params(), learning_rate=2e-5)

输出:

The following parameters in checkpoint files are not loaded:
['cls.predictions.bias', 'cls.predictions.transform.dense.bias', 'cls.predictions.transform.dense.weight', 'cls.seq_relationship.bias', 'cls.seq_relationship.weight', 'cls.predictions.transform.LayerNorm.bias', 'cls.predictions.transform.LayerNorm.weight']
The following parameters in models are missing parameter:
['classifier.weight', 'classifier.bias']

模型有一堆参数没有加载…不知道是否影响…

# 创建一个Accuracy指标实例,用于评估模型的准确性
metric = Accuracy()# 定义用于保存检查点的回调函数
# CheckpointCallback将在每个epoch结束时保存检查点,并指定保存路径和检查点文件名
# keep_checkpoint_max参数指定最多保留的检查点文件数
ckpoint_cb = CheckpointCallback(save_path='checkpoint', ckpt_name='bert_emotect', epochs=1, keep_checkpoint_max=2)# BestModelCallback将在验证集上评估模型性能,并在性能提升时保存最佳模型的检查点
# auto_load参数设置为True,表示在训练结束后自动加载最佳模型的检查点
best_model_cb = BestModelCallback(save_path='checkpoint', ckpt_name='bert_emotect_best', auto_load=True)# 创建一个Trainer实例,用于训练模型
# network参数指定要训练的模型
# train_dataset参数指定训练数据集
# eval_dataset参数指定验证数据集
# metrics参数指定评估模型性能的指标
# epochs参数指定训练的轮数
# optimizer参数指定优化器
# callbacks参数指定训练过程中使用的回调函数列表
trainer = Trainer(network=model, train_dataset=dataset_train,eval_dataset=dataset_val, metrics=metric,epochs=5, optimizer=optimizer, callbacks=[ckpoint_cb, best_model_cb])
# 打印时间
%%time
# 使用Trainer的run方法启动模型训练
# tgt_columns参数指定目标列名,即模型需要预测的标签列名
trainer.run(tgt_columns="labels")

输出:

The train will start from the checkpoint saved in 'checkpoint'.
Epoch 0:100%302/302[04:14<00:00,  2.11s/it, loss=0.34553832]
Checkpoint: 'bert_emotect_epoch_0.ckpt' has been saved in epoch: 0.
Evaluate:100%34/34[00:16<00:00,  3.44s/it]
Evaluate Score: {'Accuracy': 0.9083333333333333}
---------------Best Model: 'bert_emotect_best.ckpt' has been saved in epoch: 0.---------------
Epoch 1:100%302/302[02:41<00:00,  1.91it/s, loss=0.19056101]
Checkpoint: 'bert_emotect_epoch_1.ckpt' has been saved in epoch: 1.
Evaluate:100%34/34[00:05<00:00,  6.80it/s]
Evaluate Score: {'Accuracy': 0.9611111111111111}
---------------Best Model: 'bert_emotect_best.ckpt' has been saved in epoch: 1.---------------
Epoch 2:100%302/302[02:41<00:00,  1.91it/s, loss=0.12954864]
The maximum number of stored checkpoints has been reached.
Checkpoint: 'bert_emotect_epoch_2.ckpt' has been saved in epoch: 2.
Evaluate:100%34/34[00:04<00:00,  8.05it/s]
Evaluate Score: {'Accuracy': 0.9833333333333333}
---------------Best Model: 'bert_emotect_best.ckpt' has been saved in epoch: 2.---------------
Epoch 3:100%302/302[02:41<00:00,  1.90it/s, loss=0.08371902]
The maximum number of stored checkpoints has been reached.
Checkpoint: 'bert_emotect_epoch_3.ckpt' has been saved in epoch: 3.
Evaluate:100%34/34[00:04<00:00,  7.65it/s]
Evaluate Score: {'Accuracy': 0.9916666666666667}
---------------Best Model: 'bert_emotect_best.ckpt' has been saved in epoch: 3.---------------
Epoch 4:100%302/302[02:41<00:00,  1.91it/s, loss=0.06113353]
The maximum number of stored checkpoints has been reached.
Checkpoint: 'bert_emotect_epoch_4.ckpt' has been saved in epoch: 4.
Evaluate:100%34/34[00:04<00:00,  7.82it/s]
Evaluate Score: {'Accuracy': 0.9935185185185185}
---------------Best Model: 'bert_emotect_best.ckpt' has been saved in epoch: 4.---------------
Loading best model from 'checkpoint' with '['Accuracy']': [0.9935185185185185]...
---------------The model is already load the best model from 'bert_emotect_best.ckpt'.---------------
CPU times: user 23min 36s, sys: 13min 1s, total: 36min 37s
Wall time: 15min 51s

5轮训练后,准确率达到了99.35%(相对于训练数据集来说)

1.5 模型验证

将验证数据集加再进训练好的模型,对数据集进行验证,查看模型在验证数据上面的效果,此处的评价指标为准确率。

# 创建一个Evaluator实例,用于评估模型性能
# network参数指定要评估的模型
# eval_dataset参数指定评估数据集
# metrics参数指定评估模型性能的指标
evaluator = Evaluator(network=model, eval_dataset=dataset_test, metrics=metric)# 使用Evaluator的run方法评估模型性能
# tgt_columns参数指定目标列名,即模型需要预测的标签列名
evaluator.run(tgt_columns="labels")

输出:

Evaluate:100%33/33[00:08<00:00,  1.26s/it]
Evaluate Score: {'Accuracy': 0.9063706563706564}

在验证数据集上的准确率为90.64%

1.6 模型推理

遍历推理数据集,将结果与标签进行统一展示。

# 创建一个SentimentDataset实例,用于推理数据
# 传入推理数据的路径
dataset_infer = SentimentDataset("data/infer.tsv")# 定义一个预测函数,接受文本和标签(可选)作为输入
def predict(text, label=None):# 定义一个标签映射字典,将标签ID转换为对应的标签名称label_map = {0: "消极", 1: "中性", 2: "积极"}# 使用tokenizer对文本进行分词,并将结果转换为Tensor# Tensor是一个用于存储多维数组的类text_tokenized = Tensor([tokenizer(text).input_ids])# 使用模型对文本进行预测,获取logitslogits = model(text_tokenized)# 获取预测标签,即logits中最大值的索引predict_label = logits[0].asnumpy().argmax()# 构建信息字符串,包含输入文本、预测标签和(如果有的话)真实标签info = f"inputs: '{text}', predict: '{label_map[predict_label]}'"if label is not None:info += f" , label: '{label_map[label]}'"# 打印信息字符串print(info)# 导入Tensor类,用于存储多维数组
from mindspore import Tensor# 遍历dataset_infer数据集,使用predict函数对每个文本进行预测
# 并打印预测结果
for label, text in dataset_infer:predict(text, label)

输出:

inputs: '我 要 客观', predict: '中性' , label: '中性'
inputs: 'KAO 你 真是 说 废话 吗', predict: '消极' , label: '消极'
inputs: '口嗅 会', predict: '中性' , label: '中性'
inputs: '每次 是 表妹 带 窝 飞 因为 窝路痴', predict: '中性' , label: '中性'
inputs: '别说 废话 我 问 你 个 问题', predict: '消极' , label: '消极'
inputs: '4967 是 新加坡 那 家 银行', predict: '中性' , label: '中性'
inputs: '是 我 喜欢 兔子', predict: '积极' , label: '积极'
inputs: '你 写 过 黄山 奇石 吗', predict: '中性' , label: '中性'
inputs: '一个一个 慢慢来', predict: '中性' , label: '中性'
inputs: '我 玩 过 这个 一点 都 不 好玩', predict: '消极' , label: '消极'
inputs: '网上 开发 女孩 的 QQ', predict: '中性' , label: '中性'
inputs: '背 你 猜 对 了', predict: '中性' , label: '中性'
inputs: '我 讨厌 你 , 哼哼 哼 。 。', predict: '消极' , label: '消极'

1.7 自定义推理数据集

自己输入推理数据,展示模型的泛化能力。

predict("家人们咱就是说一整个无语住了 绝绝子debuff")
predict("今天真是太倒霉了")
predict("今天天气不错")

输出:
情绪识别

2. 小结

本文主要介绍了用MindSpore实现BERT对话情绪识别的过程。主要包括环境配置、数据集下载、加载和预处理,模型构建和训练、模型验证、模型推理和模型泛化能力测试等方面。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/40703.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

js的作用域链

function test(){} 运行期上下文&#xff1a;当函数执行时&#xff0c;会创建一个称为执行期上下文的内部对象。一个执行期上下文定义了一个函数执行时的环境&#xff0c;函数每次执行时对应的执行上下文都是 独一无二的&#xff0c;所以多次调用一个函数对导致创建多个执行上下…

springboot集成tika解析word,pdf,xls文件文本内容

介绍 Apache Tika 是一个开源的内容分析工具包&#xff0c;用于从各种文档格式中提取文本和元数据。它支持多种文档类型&#xff0c;包括但不限于文本文件、HTML、PDF、Microsoft Office 文档、图像文件等。Tika 的主要功能包括内容检测、文本提取和元数据提取。 官网 https…

基于STM32F407ZG的FreeRTOS移植

1.从FreeRTOS官网中下载源码 2、简单分析FreeRTOS源码目录结构 2.1、简单分析FreeRTOS源码根目录 &#xff08;1&#xff09;Demo&#xff1a;是官方为一些单片机移植FreeRTOS的例程 &#xff08;2&#xff09;License&#xff1a;许可信息 &#xff08;3&#xff09;Sourc…

《中国品牌网》揭秘格行品牌崛起之路:如何从混乱市场中杀出重围,领跑未来?

在随身WiFi行业乱象丛生的背景下&#xff0c;格行品牌凭借其独特的经营理念和长期主义的精神&#xff0c;逐渐崭露头角&#xff0c;成为行业的领跑者。近日&#xff0c;《中国品牌网》记者专访了格行品牌的创始人刘永先先生&#xff0c;就他的经营理念、市场策略以及未来展望进…

AIGC | 为机器学习工作站安装NVIDIA 4070 Ti Super显卡驱动

[ 知识是人生的灯塔&#xff0c;只有不断学习&#xff0c;才能照亮前行的道路 ] 0x00 前言简述 话接上篇《AIGC | Ubuntu24.04桌面版安装后必要配置》文章&#xff0c;作为作者进行机器学习的基础篇&#xff08;筑基期&#xff09;&#xff0c;后续将主要介绍机器学习环境之如何…

6-google::protobuf命名空间下常用的C++ API----repeated_field.h

#include <google/protobuf/repeated_field.h> namespace google::protobuf 所生成的协议消息类使用RepeatedField和RepeatedPtrField来操作重复字段。 这些类与STL的vector非常相似&#xff0c;但包含了许多优化&#xff0c;这些优化被发现特别适用于协议缓冲区的情况。…

【优化论】基本概念与细节

优化论&#xff08;Optimization Theory&#xff09;是数学和计算机科学中一个重要的分支&#xff0c;旨在寻找给定问题的最优解。这个领域的应用非常广泛&#xff0c;从经济学、工程学到机器学习、金融等各个领域都有其踪迹。我们可以通过一系列直观的比喻来理解优化论的基本概…

Python + 在线 + 文生音,音转文(中文文本转为英文语音,语音转为中文文本)

开源模型 平台&#xff1a;https://huggingface.co/ars-语言转文本: pipeline("automatic-speech-recognition", model"openai/whisper-large-v3", device0 ) hf: https://huggingface.co/openai/whisper-large-v3 github: https://github.com/openai/wh…

kettle中调用restful接口时的SSL信任证书问题

1、找第三方获取SSL证书&#xff0c;&#xff08;本案例为自签名证书&#xff09; C:\Program Files\Java\jdk1.8.0_241\jre\lib\security>keytool -import -alias aliyun-maven -keystore cacerts -file E:\entSoftware\aliyun-maven.cer 输入密钥库口令: …………一堆证…

ubuntu系统盘扩容

目录 1 介绍 2 步骤 2.1 关闭虚拟机 2.2 编辑虚拟机设置 2.3 设置扩展大小 2.4 打开虚拟机 2.5 找到磁盘管理 2.6 扩展 1 介绍 本部分主要记述怎么给ubuntu系统盘扩展存储容量&#xff0c;整个过程相对简单&#xff0c;扩容方式轻松、容易。 2 步骤 2.1 关闭虚拟机 2…

前端面试题(CSS篇三)

一、简单介绍使用图片 base64 编码的优点和缺点。 base64是一种图片处理格式&#xff0c;通过特定的算法将图片编码为一长串字符串&#xff0c;在页面显示的时候&#xff0c;可以使用该字符串来代替图片的url属性。 使用base64的优点: 减少一个图片的http请求 使用base64的缺点…

电脑f盘的数据回收站清空了能恢复吗

随着信息技术的飞速发展&#xff0c;电脑已成为我们日常生活和工作中不可或缺的设备。然而&#xff0c;数据的丢失或误删往往会给人们带来极大的困扰。尤其是当F盘的数据在回收站被清空后&#xff0c;许多人会陷入绝望&#xff0c;认为这些数据已无法挽回。但事实真的如此吗&am…

WAIC 2024:科技界的摇滚狂欢,你错过了什么?

大数据产业创新服务媒体 ——聚焦数据 改变商业 2024年7月5日&#xff0c;WAIC 2024举办的第二天。数据猿作为受邀媒体&#xff0c;在今天继续亲历这一场关于未来的盛会。在这片汇聚了全球顶尖科技力量的舞台上&#xff0c;见证了人工智能领域的最新成果&#xff0c;感受到了科…

大学生电子设计大赛超全资料分享

超全大学生电子设计大赛项目合集免费分享 电赛竞赛资料大全&#xff0c;新增竞赛空间电子设计资料。包含嵌入式硬件和软件开发的学习资料&#xff0c;包括PCB教程&#xff0c;单片机例程&#xff0c; 单片机课程设计毕业设计参考资料、项目设计方案&#xff0c;源码和开发文档…

分布式事务get global lock fail Xid 获取全局锁失败

问题如下&#xff1a; 解决方法&#xff1a;在发生报错的方法上添加本地事务

Day05-03-Nexus仓库

Day05-03-Nexus仓库 05-nexus-仓库1. 概述2. 极速部署指南2.1 下载2.2 部署2.3 配置2.4 连接使用nexus2.4 编译与测试 3. 总结 05-nexus-仓库 1. 概述 背景: maven编译的时候&#xff0c;npm/cnpm编译&#xff0c;需要下载大量的依赖包。这些依赖包在每一次构建的时候都需要使…

React 省市查询组件完整代码

目录 一、地区文件 二、Antd配合使用 三、实现效果 一、地区文件 下载地址&#xff1a;全国省市区数据_JSON格式_SQL格式 export const chinaArea {0: {1: 北京,2: 天津,3: 河北省,4: 山西省,5: 内蒙古自治区,6: 辽宁省,7: 吉林省,8: 黑龙江省,9: 上海,10: 江苏省,11: 浙…

维护和管理LDAP之OpenDJ

目录 基本介绍 服务专有名词 安装 命令行工具 密码管理 重置管理员密码 管理服务器进程 管理索引 如何搜索 管理索引 管理目录数据 测试数据 导出数据 导入数据 LDIF文件数据查看和比较 数据存储-Backends 配置连接 开启 HTTP/HTTPS连接 使用 REST访问 -open…

Spring AOP、Spring MVC工作原理、发展演变、常用注解

Spring AOP 概念 AOP全称为Aspect Oriented Programming&#xff0c;表示面向切面编程。切面指的是将那些与业务无关&#xff0c;但业务模块都需要使用的功能封装起来的技术。 AOP基本术语 **连接点&#xff08;Joinpoint&#xff09;&#xff1a;**连接点就是被拦截到的程序执…

AQWA | 水动力分析 二阶波浪力

&#x1f3c6;本文收录于「Bug调优」专栏&#xff0c;主要记录项目实战过程中的Bug之前因后果及提供真实有效的解决方案&#xff0c;希望能够助你一臂之力&#xff0c;帮你早日登顶实现财富自由&#x1f680;&#xff1b;同时&#xff0c;欢迎大家关注&&收藏&&…