建模杂谈系列240 增量TF-IDF2-实践

说明

梳理一下tf-idf的全过程，然后用于实际的需求中。

内容

1 概念

从数据的更新计算上，将TF-IDF分为两部分：一部分用于计算IDF的增量部分，属于全局的学习；另一部分则用于批量处理新的数据集，相当于是在predict。

可以把IDF视为一个预训练模型，纳入建模的数据管理系统中统一管理和维护。

流程上：

  • 1 准备一批训练数据，入到raw_data部分
  • 2 通过对raw_data的筛选，获得模型的训练数据集。在数据表中记下元数据，并生成pkl文件。
  • 3 使用模型进行训练，在数据表中记下元数据，并生成pkl文件。
  • 4 生产上不断进行预测和数据累积（这个可能条件不充分）
  • 5 在固定的测试集上进行打分（目前这个也不充分）

2 训练部分 IDF

由于IDF信息的累积是要遍历多个文档之后形成的，所以这部分是独立的。

from Basefuncs import *
import tqdm# 获取多个批次要训练的数据
folder_path = '/DataPath/converted_data2/'
pkl_file_list = list(list_file_names_without_extension(folder_path))
pkl_file_list = sorted(pkl_file_list)pkl_dict = {}
for some_pkl_file in tqdm.tqdm(pkl_file_list):pkl_dict[some_pkl_file] = from_pickle(some_pkl_file, folder_path)

准备好训练用的函数，主要用于清洗、分析和idf的统计

import jieba as jb
import re
# 删除掉匹配模式之间的
def del_pat6_pro(x, swd, ewd):wd_str = swd + '.*' + ewdreturn re.sub(wd_str, '' , x)
puncs = r'[_,.。，！？?;:：|、-]+'
def clean_alpha_punc(x):res = del_pat6_pro(x, '<http', '>')res = re.sub(r'\d+', ' ', res)  # 删除数字并替换为空格res = re.sub(puncs, ' ', res)   # 删除指定的标点符res_list = jb.lcut(res)res = [x for x in res_list if x !=' ' and len(x) > 1]return res
def clean_a_bit(x):res = del_pat6_pro(x, '<http', '>')res = re.sub(puncs,' ',res)return res
import pandas as pd
import numpy as np
from collections import Counter
from itertools import chaindef get_idf_dict(corpus = None):corpus_s = pd.Series(corpus)# TF calculationcorpus_s1 = corpus_s.apply(lambda x: dict(Counter(x)))doc_words = corpus_s.apply(len)# IDF calculationcorpus_s2 = corpus_s1.apply(lambda x: list(x.keys()))idf_dict = Counter(chain.from_iterable(corpus_s2))return idf_dict
import pandas as pd def increadd_dict(master_dict = None, slave_dict = None):s1 = pd.Series(master_dict)s2 = pd.Series(slave_dict)s3 = s1+s2add_key = dict(s3.dropna())master_dict.update(slave_dict)master_dict.update(add_key)mod_keys = list(s2.keys()) # 可以并行return master_dict, mod_keysdef idf_train(idf_model = None, data_list = None, pid_list = None):pid_set = idf_model['pid_set']idf_dict = idf_model['idf_dict']gap_set = set(pid_list) - set(pid_set)if len(gap_set):print('updating %s recs ' % len(gap_set))else:print('No UPDATING')filter_data_list = []for i, v in enumerate(pid_list):if v in gap_set:filter_data_list.append(data_list[i])new_idf_dict = get_idf_dict(filter_data_list)_idf_dict,mod_keys = increadd_dict(idf_dict, new_idf_dict)idf_model['idf_dict'] = _idf_dictidf_model['pid_set'] = pid_set | gap_setreturn idf_model

开始批次训练，idf_model有两部分pid_set和idf_dict，这里假设是一个纯新的模型训练。

idf_model = {'pid_set': set([]), 'idf_dict' : {}}
for some_pkl_file in tqdm.tqdm(pkl_file_list):tem_df = pkl_dict[some_pkl_file] tem_df['MD5'] = tem_df['content_md5'].apply(lambda x: x.upper())tem_df['wd_list'] =  tem_df['clean_content'].apply(lambda x: clean_alpha_punc(str(x)))idf_model = idf_train(idf_model = idf_model, data_list = list(tem_df['wd_list']) , pid_list = list(tem_df['MD5']))

对40个批次，约40万篇新闻进行训练

0%|          | 0/40 [00:00<?, ?it/s]
updating 9946 recs 2%|▎         | 1/40 [00:48<31:15, 48.10s/it]
updating 9822 recs 5%|▌         | 2/40 [01:30<28:26, 44.91s/it]
updating 9915 recs 8%|▊         | 3/40 [02:03<24:23, 39.54s/it]
updating 9853 recs 10%|█         | 4/40 [02:45<24:18, 40.50s/it]
updating 9781 recs 12%|█▎        | 5/40 [03:31<24:41, 42.33s/it]
updating 9839 recs 15%|█▌        | 6/40 [04:17<24:44, 43.65s/it]
updating 9872 recs 18%|█▊        | 7/40 [05:01<23:57, 43.55s/it]
updating 9753 recs 20%|██        | 8/40 [05:45<23:18, 43.71s/it]
updating 9789 recs 22%|██▎       | 9/40 [06:25<21:59, 42.57s/it]
updating 9948 recs 25%|██▌       | 10/40 [07:08<21:22, 42.76s/it]
updating 9954 recs 28%|██▊       | 11/40 [07:55<21:18, 44.09s/it]
updating 9963 recs 30%|███       | 12/40 [08:36<20:10, 43.22s/it]
updating 9959 recs 32%|███▎      | 13/40 [09:16<18:57, 42.13s/it]
updating 9880 recs 35%|███▌      | 14/40 [09:57<18:07, 41.83s/it]
updating 9965 recs 38%|███▊      | 15/40 [10:38<17:22, 41.70s/it]
updating 9938 recs 40%|████      | 16/40 [11:27<17:28, 43.70s/it]
updating 9918 recs 42%|████▎     | 17/40 [12:14<17:07, 44.68s/it]
updating 9949 recs 45%|████▌     | 18/40 [13:04<17:00, 46.37s/it]
updating 9960 recs 48%|████▊     | 19/40 [13:45<15:41, 44.84s/it]
updating 9967 recs 50%|█████     | 20/40 [14:27<14:38, 43.90s/it]
updating 9960 recs 52%|█████▎    | 21/40 [15:09<13:45, 43.43s/it]
updating 9964 recs 55%|█████▌    | 22/40 [15:52<12:59, 43.32s/it]
updating 9950 recs 57%|█████▊    | 23/40 [16:49<13:22, 47.22s/it]
updating 9945 recs 60%|██████    | 24/40 [17:31<12:14, 45.88s/it]
updating 9783 recs 62%|██████▎   | 25/40 [18:22<11:47, 47.20s/it]
updating 4158 recs 65%|██████▌   | 26/40 [18:42<09:06, 39.04s/it]
updating 9967 recs 68%|██████▊   | 27/40 [19:26<08:48, 40.66s/it]
updating 9972 recs 70%|███████   | 28/40 [20:08<08:14, 41.17s/it]
updating 9976 recs 72%|███████▎  | 29/40 [20:55<07:49, 42.70s/it]
updating 9946 recs 75%|███████▌  | 30/40 [21:47<07:34, 45.49s/it]
updating 9969 recs 78%|███████▊  | 31/40 [22:27<06:34, 43.79s/it]
updating 9971 recs 80%|████████  | 32/40 [23:11<05:51, 43.92s/it]
updating 9952 recs 82%|████████▎ | 33/40 [23:58<05:14, 44.93s/it]
updating 1687 recs 85%|████████▌ | 34/40 [24:08<03:26, 34.38s/it]
updating 9803 recs 88%|████████▊ | 35/40 [24:52<03:06, 37.38s/it]
updating 9830 recs 90%|█████████ | 36/40 [25:45<02:47, 41.94s/it]
updating 9809 recs 92%|█████████▎| 37/40 [26:32<02:10, 43.40s/it]
updating 9753 recs 95%|█████████▌| 38/40 [27:21<01:30, 45.32s/it]
updating 9781 recs 98%|█████████▊| 39/40 [28:08<00:45, 45.78s/it]
updating 9776 recs 
100%|██████████| 40/40 [28:57<00:00, 43.43s/it]

大约半个小时完成训练，此时保存idf_model为pkl文件，训练过程就结束了。
未来在进行增量训练时，可以将idf_model重新载入，继续执行新的批次就可以了。

3 预测部分 DF

获取数据并进行清洗和分词，这个过程耗时比较长，约40秒完成一万个新闻的清洗分词。

tem_df = pkl_dict[some_pkl_file]
tick1 = time.time()
data_list =  list(tem_df['clean_content'].apply(clean_alpha_punc))
pid_list = list(tem_df['MD5'])
tick2 = time.time()
print(tick2-tick1)
42.98098278045654

接下来，假设新数据是有一个data_list，并有一个pid_list与之对应。调用cal_tfidf就可以计算tf_df了。

def dict2df(some_dict):data_part = some_dict['wd_dict']id_part = some_dict['pid']if len(data_part):tem_df = pd.Series(data_part).reset_index()tem_df.columns  = ['wd','tf']tem_df['tf'] = tem_df['tf']/tem_df['tf'].sum()tem_df['pid'] = id_partelse:tem_df = pd.DataFrame([{'wd':' ','tf':1}] ,columns =  ['wd','tf'])tem_df['pid'] = id_partreturn tem_df
def cal_tfidf(data_list= None,pid_list = None, idf_model = None, top_n =10 ):# 模型部分model_doc_len = len(idf_model['pid_set'])idf_dict = idf_model['idf_dict']idf_df = pd.Series(idf_dict).reset_index()idf_df.columns = ['wd', 'idf']corpus_s = pd.Series(data_list)# TF calculationcorpus_s1= corpus_s.apply(lambda x: dict(Counter(x)))_tem_df = pd.DataFrame()_tem_df['pid'] = list(pid_list)_tem_df['wd_dict'] = list(corpus_s1)_s = cols2s(_tem_df, cols=['pid', 'wd_dict'] , cols_key_mapping= ['pid', 'wd_dict'])_s1 = _s.apply(dict2df)_df1 = pd.concat(_s1.tolist(), ignore_index=True)_df2 = pd.merge(_df1, idf_df, how='left', on ='wd')_df2['idf'] = _df2['idf'] .fillna(model_doc_len)_df2['tf_idf'] = _df2['tf'] * np.log(model_doc_len) / _df2['idf']_df3 = _df2.sort_values(['tf_idf'], ascending= False).groupby(['pid']).head(top_n).sort_values(['pid','tf_idf'], ascending=[True,False])return _df3

计算过程不算特别快，但是比分词要快一些。总共耗时约20秒。

tick1 = time.time()
tfidf_df = cal_tfidf(data_list=data_list,pid_list=pid_list, idf_model= idf_model, top_n = 10)
tick2 = time.time()
18.422481060028076

得到的结果如下，这样做的目的主要是为了保留更多的信息供后续分析

	wd	tf	pid	idf	tf_idf
1277666	日坤恒	0.017544	0006678CAC3EA76A62E23589002650B6	3.0	0.075164
1277667	顺维	0.017544	0006678CAC3EA76A62E23589002650B6	3.0	0.075164
1277650	恒顺维	0.017544	0006678CAC3EA76A62E23589002650B6	49.0	0.004602
1277665	折价	0.017544	0006678CAC3EA76A62E23589002650B6	2571.0	0.000088
1277669	一览	0.017544	0006678CAC3EA76A62E23589002650B6	2985.0	0.000076
...	...	...	...	...	...

如果要数据每篇文章的特征词

tfidf_df['wd1'] = tfidf_df['wd'] + ','
tfidf_df.groupby(['pid'])['wd1'].sum()pid
0006678CAC3EA76A62E23589002650B6        日坤恒,顺维,恒顺维,折价,一览,交易平台,大宗,成交,收盘价,成交量,
000A7DE1E813A460992B58471638A313            景嘉微,华鑫,国产化,频频,模块,算力,国产,终端,芯片,研报,
000CDA4BEA946E91F410796FD04F36C4    慧聪,群项,持作,中于,支出额,小额贷款,神州数码,无形资产,流动资产,中关村,
0016B648D7A4E1002F99F88FFE3F5C90       富邦华,花旗银行,交割日,花旗,信用卡,结清,银行业务,欠款,还款,分期,
001A50AA0100A16B6115FD9FF5820B2C          捐送,惠若琪,惠达,恩泽,捐资助学,卫浴,女排,危难,如一日,韩峰,

这样就完成了预测。

4 Next

接下来还有两部分改进工作：

  • 1 将训练和预测过程的代码用对象封装。
  • 2 发布微服务，提供多个idf模型进行特征提取。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/771737.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

深度强化学习（十）（TRPO）

深度强化学习（十）（TRPO）

深度强化学习&#xff08;十&#xff09;&#xff08;TRPO与PPO&#xff09; 一.信赖域方法 原问题&#xff1a; maxmize J ( θ ) \text{maxmize} \qquad\qquad J(\theta) maxmizeJ(θ) J J J是个很复杂的函数&#xff0c;我们甚至可能不知道 J J J 的解析表达式&#xff…
阅读更多...
华为ENSP的VLAN原理和配置命令

华为ENSP的VLAN原理和配置命令

CSDN 成就一亿技术人&#xff01; 作者主页&#xff1a;点击&#xff01; ENSP专栏&#xff1a;点击&#xff01; CSDN 成就一亿技术人&#xff01; ————前言———— VLAN&#xff08;Virtual Local Area Network&#xff0c;虚拟局域网&#xff09;是一种在物理网络基…
阅读更多...
【回眸】Tessy 单元测试软件使用指南（三）怎么打桩和指针赋值和测试

【回眸】Tessy 单元测试软件使用指南（三）怎么打桩和指针赋值和测试

目录 前言 Tessy 如何进行打桩操作 普通桩 高级桩 手写桩 Tessy单元测试之指针相关测试注意事项 有类型的指针&#xff08;非函数指针&#xff09;&#xff1a; 有类型的函数指针&#xff1a; void 类型的指针&#xff1a; 结语 前言 进行单元测试之后&#xff0c;但凡…
阅读更多...
STM32技术打造：智能考勤打卡系统 | 刷卡式上下班签到自动化解决方案

STM32技术打造：智能考勤打卡系统 | 刷卡式上下班签到自动化解决方案

文章目录 一、简易刷卡式打卡考勤系统&#xff08;一&#xff09;功能简介原理图设计程序设计 哔哩哔哩&#xff1a; https://www.bilibili.com/video/BV1NZ421Y79W/?spm_id_from333.999.0.0&vd_sourcee5082ef80535e952b2a4301746491be0 一、简易刷卡式打卡考勤系统 &…
阅读更多...
数据在内存的存储（2）【浮点数在内存的存储】

数据在内存的存储（2）【浮点数在内存的存储】

一.浮点数以什么形式存储在内存中 根据根据国际标准IEEE&#xff08;电气和电子工程协会&#xff09;754&#xff0c;任意一个二进制浮点数V都可以存储为这样的形式&#xff1a; V&#xff08;-1&#xff09;^S*M*2^E。 &#xff08;1&#xff09;&#xff08;-1&#xff09;^…
阅读更多...
[免费]通义灵码做活动，送礼品，快来薅羊毛！！！

[免费]通义灵码做活动，送礼品，快来薅羊毛！！！

你的编辑器装上智能ai编辑了吗&#xff0c;的确挺好用的。 最近阿里云AI编码搞活动&#xff0c;可以免费体验并且还可以抽盲盒。有日历、马克杯、代金券、等等其他数码产品。 大多数都是日历。 点击链接参与「通义灵码 体验 AI 编码&#xff0c;开 AI 盲盒」 https://develope…
阅读更多...
蓝桥杯2023真题-幸运数字

蓝桥杯2023真题-幸运数字

目录 进制转换&#xff1a; 思路 代码 题目链接&#xff1a; 0幸运数字 - 蓝桥云课 (lanqiao.cn) 本题就考的进制转换问题&#xff0c;要将十进制5转换成二进制&#xff0c;通过%2,和/2的交替使用即可完成&#xff0c;所得余数就是转换成的二进制各位的值&#xff0c;转换…
阅读更多...
SQLAlchemy操作数据库

SQLAlchemy操作数据库

数据库是一个网站的基础。 比如 MySQL 、 MongoDB 、 SQLite 、 PostgreSQL 等&#xff0c;这里我们以 MySQL为例进行讲解。 SQLAlchemy 是一个 ORM 框架 我们会以 MySQL SQLAlchemy 组合进行讲解。 在操作数据库操作之前&#xff0c;先确保你已经安装了以下两个插件&#…
阅读更多...
继承-练习

继承-练习

T3、编写程序实现乐手弹奏乐器。乐手可以弹奏不同的乐器从而发出不同的声音。可以弹奏的乐器包括二胡、钢琴和琵琶。要求&#xff1a; 定义乐器类Instrument&#xff0c;包括方法makeSound()定义乐器类的子类&#xff1a;二胡Erhu、钢琴Piano和小提琴Violin定义乐手类Musician&…
阅读更多...
使用RN输入验证码(四个输入框)

使用RN输入验证码(四个输入框)

先安装 yarn add react-native-confirmation-code-fieldRN代码 import React, { useState } from react; import { SafeAreaView, Text, StyleSheet, Dimensions } from react-native;import { CodeField, Cursor } from react-native-confirmation-code-field; const width …
阅读更多...
CF1834 D. Survey in Class [离线+权值线段树]

CF1834 D. Survey in Class [离线+权值线段树]

传送门:CF [前题提要]:思维难度不高,但感觉维护的技巧性较强,故记录一下 不难想到枚举每一个区间作为我们的高度最大的区间. 这样我们的问题就变成了对于剩下的其他区间,如何找到高度最小的区间.然后对于每一种情况,都统计一下贡献即可. 仔细推敲之后,不难发现,我们只有将当前…
阅读更多...
LangChain核心模块 Model I/O——Prompts

LangChain核心模块 Model I/O——Prompts

Prompts ​ 语言模型的提示是用户提供的一组指令或输入&#xff0c;用于指导模型的响应&#xff0c;帮助模型理解上下文并生成相关且连贯的基于语言的输出&#xff0c;例如回答问题、完成句子或参与某项活动。对话。 关键问题 如何在LLMs中使用少量示例(few-shot examples)—…
阅读更多...
Mathworks Matlab R2024a (24.1.0) Crack

Mathworks Matlab R2024a (24.1.0) Crack

MATLAB 是一种面向科学与工程计算的高级语言&#xff0c;允许以数学形式的语言编写程序&#xff0c;比BASIC、FORTRAN 和 C语言都要更加接近于我们书写数学计算公式的思维方式。可以说&#xff0c;用MATLAB 编写程序&#xff0c;就像是在草稿纸上排列公式和求解问题&#xff0c…
阅读更多...
Aurora IP的Framing帧接口和Streaming流接口

Aurora IP的Framing帧接口和Streaming流接口

本文介绍Aurora IP配置时要选择的接口类型以及两种接口类型之前的区别。 Aurora IP接口有两种模式&#xff1a;Framing帧接口&#xff0c;Streaming流接口 目前一直在用的都是Framing帧接口。 Framing帧接口和Streaming流接口的主要区别是什么呢&#xff1f; 顾名思义&#x…
阅读更多...
什么是机器硬盘？

什么是机器硬盘？

硬盘是电脑中的主要存储设备&#xff0c;能够进行长期的存储操作系统、软件和数据文件等内容。硬盘能够给电脑提供较大的物理和虚拟的存储空间&#xff0c;硬盘的主要参数就在于它的容量大小&#xff0c;硬盘主要是由一个或多个铝制或者是玻璃制的碟片组成的&#xff0c;碟片上…
阅读更多...
国内用户掌握ChatGPT，你已超越万人！

国内用户掌握ChatGPT，你已超越万人！

在数字时代&#xff0c;掌握前沿技术往往意味着拥有更多的机遇和可能。ChatGPT&#xff0c;作为当前最热门的人工智能技术之一&#xff0c;已经证明了其在各个领域的广泛应用价值。但在中国&#xff0c;能熟练使用ChatGPT的人究竟领先了多少人&#xff1f;让我们深入探讨。>…
阅读更多...
【Git】日志功能

【Git】日志功能

1. git日志显示 # 显示前3条日志 git log -3# 单行显示 git log --oneline# 图表日志 git log --graph# 显示更改摘要 git log --stat# 显示更改位置 git log --patch 或 git log -p# 查看指定文件的提交历史记录 git log {filename}例子1&#xff1a;单行显示 例子2&#xff…
阅读更多...
2024年最新阿里云服务器价格表_CPU内存+磁盘+带宽价格

2024年最新阿里云服务器价格表_CPU内存+磁盘+带宽价格

2024年阿里云服务器租用费用&#xff0c;云服务器ECS经济型e实例2核2G、3M固定带宽99元一年&#xff0c;轻量应用服务器2核2G3M带宽轻量服务器一年61元&#xff0c;ECS u1服务器2核4G5M固定带宽199元一年&#xff0c;2核4G4M带宽轻量服务器一年165元12个月&#xff0c;2核4G服务…
阅读更多...
ManageEngine EventLog Analyzer: 功能丰富的日志分析工具

ManageEngine EventLog Analyzer: 功能丰富的日志分析工具

来自 Zoho Corp. 的 ManageEngine EventLog Analyzer 是一个小型应用程序&#xff0c;提供了许多功能。该产品采用无代理方式收集和分析机器生成的日志。该工具可以收集和规范化事件日志和机器数据&#xff0c;并在易于使用的基于 Web 的界面中提供分析、搜索、报告生成和存档等…
阅读更多...
华院计算荣获CSDN“创新企业”和“年度创新产品与解决方案”大奖

华院计算荣获CSDN“创新企业”和“年度创新产品与解决方案”大奖

日前&#xff0c;全国最大的专业开发者社区CSDN发布“2023中国开发者影响力年度榜单”&#xff0c;华院计算凭借其卓越的认知智能引擎平台荣获“创新企业”和“年度创新产品与解决方案”两项大奖。 CSDN 以数据为基础&#xff0c;经过个人或企业提交资料、层层筛选、深入调研、…
阅读更多...
最新文章

Copyright @ 2022~2023