火车头如何才能设置发布的时候,如果是有html代码就直接的转换掉,互联网上笑话抽取及排重---火车头采集器的使用和MD5算法的应用...

10011311341 吕涛、10011311356

李红

目的:通过熟悉使用火车头采集器,在网络上采取3万条笑话并进行排重,以此来熟悉web文本挖掘的一些知识。

过程:本次学习,主要分成两个部分。第一部分是笑话文本的采集,第二部分是笑话排重。以下是具体过程:

第一部分 笑话抽取

火车头采笑话基本流程:

新建分组新建任务采集网址设置采集内容设置抓数据。

一、新建分组及任务

根据需要设立“课程”分组,以便于以后学习过程中练习使用,又建立了子分组“笑话抽取”。本次采集笑话主要是两个网站“中文幽默王”及“开心驿站”,由于不同的网站html各种功能框架不同,而不同框架结构的采集规则又不同,所以将其分成了两个任务建立“开心驿站”和“中文幽默王”。如图1所示

a4c26d1e5885305701be709a3d33442f.png

图1 分组及任务

二、采集网址及内容规则设置

由于本次采集作为课程练习使用,所以不牵扯到发布,因此,任务编辑上面仅设置第一步“采集网址规则”和第二步“采集内容规则”,如图2所示

a4c26d1e5885305701be709a3d33442f.png

图2 编辑任务

下面学习过程介绍均以开心驿站为例叙述

第一步:采集网址规则

首先要先添加起始网址http://www.kxx.cc/ 接下来的笑话网址采集就分为两种方式。

第一种就是在“添加开始采集地址”窗体中设置“批量/多页”项,设置“等差数列”方式,即采集的笑话从第一页到最后一页,这些页数是成公差为1的等差数列,如图3所示

a4c26d1e5885305701be709a3d33442f.png

图3 批量/多页设置

将“开心驿站”上面各类笑话设置完全,效果图如图3所示

a4c26d1e5885305701be709a3d33442f.png

图4 起始网址效果图

当然,如果仅此设置的话,我们一页只能采到一条笑话,实际上,“开心驿站”上面的一页可以显示16条笑话,这样我们还要设置一下“多级网址采集规则”。可以手动分析页面html格式,然后填写规则,这里采用最简单的可视化Xpath方式获取地址。如图5所示

a4c26d1e5885305701be709a3d33442f.png

图5

Xpath方式获取地址

我们可以看出多级网址获取方式为get如图6所示

a4c26d1e5885305701be709a3d33442f.png

图6 多级网址设置效果图

第二种就是不在设置“批量/多页”,而是直接设置“多级网址获取”,首先获得“开心驿站”上面各个分类的默认打开地址。

例如“校园笑话”http://www.kxx.cc/xiaohua/list4-1.html,这些网址的获取,我们同样采用的是最简单的可视化地址Xpath方式获得。Xpath获得的网址里面有可能不是我们想要的网址,比如list10-1和list13-1分别为图片和视频,所以我们可以进行“结果网址过滤”如图7所示

a4c26d1e5885305701be709a3d33442f.png

图7 结果网址过滤设置

接下来就是“列表分页获取”设置,这个就是对每个分类的默认页进行下一页的采集,根据html里面的格式,我们如图8所示设置

a4c26d1e5885305701be709a3d33442f.png

图8 列表分页获取设置

至于每一页要采集到16条笑话的网址,这个就和第一种方式是一样的。就此略过。

第二步 采集内容规则

首先我们要设计自己想要的记录属性,采集笑话,需要“标题”“内容”“分类”三个属性,如图9所示内容标签定义

a4c26d1e5885305701be709a3d33442f.png

图9 内容标签定义

具体到各个标签的规则定义如下图10-13:

a4c26d1e5885305701be709a3d33442f.png

图10 前后截取方式抽取标题

a4c26d1e5885305701be709a3d33442f.png

图11

可视化抽取内容

需要注意的是,在内容抽取过程中可能会遇到一些html标签残留,或者是双引号,感叹号以及省略号等等不显示,这时候我们可以根据需要进行html标签排除和一些字符的替换。

a4c26d1e5885305701be709a3d33442f.png

图12

可视化提取分类

a4c26d1e5885305701be709a3d33442f.png

图13 规则测试

三、抓数据

通过以上“网址采集规则”和“内容采集规则”的设置,就可以开始任务了。经过一段时间,数据采集完成,我们可以对任务进行右单击选择“打开Data下任务文件夹”,就可以看到默认为Access的数据文件,当然也可以转换为Excel格式。由于排重的时候我们是以Excel格式进行数据输入的,所以我们将其转换为Excel格式。

第二部分 笑话排重

算法思想:本次笑话排重,主要是从内容上判断。采用MD5摘要算法,我们选取第一个句话前后7个字符进行MD5码运算,就是中文“。”和英文“.”前面4个后面两个再加本身7个字符进行MD5运算,没有中文句号和英文句号的暂时定为不重复。然后对比比每条笑话的前七个字符的MD5码。根据“select

*,count(distinct Md5)from mo1 group by Md5”将和现有的笑话重复的笑话排除掉。

算法描述:MD5对以512位为单位的输入进行变换最终以32位为单位4个的压缩信息组输出。根据运算结果的唯一性,我们可以每条笑话的第一个句号的前7个字符进行相同MD5运算,比对之后进行确认是否相同。

MD5过程描述如图14

a4c26d1e5885305701be709a3d33442f.png

图14 MD5过程

算法实现:

1、input

import MySQLdb

import xlrd

conn = MySQLdb.connect(host='localhost' , user = 'root'

,passwd='root' ,db = 'joke' ,use_unicode=True

,charset='utf8')

cursor = conn.cursor()

data = xlrd.open_workbook('E:\joke1.xls')

table = data.sheets()[0]

cursor.execute("select *,count(distinct Md5)from mo1 group by

Md5;")

rows = cursor.fetchall()

for row in rows:

k = row[0]

a =

int(table.cell(k,0).value)

b =

table.cell(k,1).value

c =

table.cell(k,2).value

d =

table.cell(k,3).value

e =

table.cell(k,4).value

f =

table.cell(k,5).value

g =

table.cell(k,6).value

sql = "INSERT INTO jo1

values(%s,%s,%s,%s,%s,%s,%s)"

cursor.execute(sql,(a,b,c,d,e,f,g))

cursor.close()

conn.commit()

2、MD5算法代码实现

# -*- coding: UTF-8 -*-

import xlrd

import re

import hashlib

import MySQLdb

data = xlrd.open_workbook('E:\joke1.xls')

table = data.sheets()[0]

conn = MySQLdb.connect(host='localhost' , user = 'root'

,passwd='root' ,db = 'joke' ,use_unicode=True

,charset='utf8')

cursor = conn.cursor()

for n in range(1,table.nrows):

a =

table.cell(n,4).value

print n

md

=''

for i in

range(len(a)):

s = ''

if a[i] == u'.':

print

a[i]

if i ==

len(a)-1:

j = len(a)

elif i ==

len(a)-2:

j = len(a)

else:

j = i+3

for k in

range(j-7,j):

s = s+a[k]

m =

hashlib.md5(s.encode("utf8"))

md =

m.hexdigest()

break

elif a[i] == u'。':

print

a[i]

if i ==

len(a)-1:

j = len(a)

elif i ==

len(a)-2:

j = len(a)

else:

j = i+3

for k in

range(j-7,j):

s = s+a[k]

m =

hashlib.md5(s.encode("utf8"))

md =

m.hexdigest()

break

if md == '':

md = str(n)

sql = "INSERT INTO mo1

values(%s,%s)"

cursor.execute(sql,(n,md))

cursor.close()

conn.commit()

报告总结

本次课程作业进行过程当中,遇到了很多问题,有些解决了有些目前还没有,火车头是门学问,各种规则的书写学习路还很漫长,在以后的学习过程中慢慢积累经验。

排重的算法上也还有不足,在今后的学习当中应该再接再厉。

总之,本次课程学习,学到了很多东西。特别是在学习方法上,自己吃不透的地方可以向别人请教,可以通过别的渠道获取知识。学习是个任道重远的事情,自己的能力也有触及不到的地方,日后的工作也会更多的依赖团队的合作,所以,要更加注重合作的重要性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/392878.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Tcp_wrapper

在Linux进程分为:独立进程和非独立进程非独立进程:是依赖于超级守护进程的进程, 且受Xinetd 管理,并在启动服务时 必须启动例子:#chkconfig –level 2345 telnetd on关与chkconfig 的命令:#chkconfig –lis…

angular 动画_如何在Angular 6中使用动画

angular 动画介绍 (Introduction) Animation is defined as the transition from an initial state to a final state. It is an integral part of any modern web application. Animation not only helps us create a great UI but it also makes the application interesting…

win10上面安装win7的虚拟机怎么相互ping通

最近干了一些很蛋疼的事,这些都是自己踩过的坑,记录下来方便自己以后查阅 首先我的目的就是为了在自己的PC机上面部署一个SVN服务器,然后安装一个客户端,自己写的软件就可以定期入库,做好自己的版本控制,但…

新东方面试知识点记录

3.spring mvc 怎么接受http post 方式提交过来的xml数据?servlet中怎么接受? RequestMapping(value"/jsonPrase", headers {"content-typeapplication/json","content-typeapplication/xml"}) ResponseBody …

win10用计算机名访问文件夹,win10系统提示你当前无权访问该文件夹的解决方法【图文教程】...

Win10系统下,我们在访问或更改某些系统文件夹时,有时会遇到系统提示“你当前无权访问该文件夹”的情况。那么,遇到这种情况的话,我们该怎么办呢?接下来,小编就向大家分享win10系统提示“你当前无权访问该文…

.Net Micro Framework研究—实现SideShow窗体界面

基于MF系统的Windows SideShow界面是非常炫的(如下图)。既然微软能用.Net Micro Framework实现这么棒的界面效果,我想我们也能做到。 (SideShow模拟器界面和游戏程序中的右键菜单—注意菜单弹出后,其它的界面变暗了&am…

leetcode 344. 反转字符串

编写一个函数,其作用是将输入的字符串反转过来。输入字符串以字符数组 char[] 的形式给出。 不要给另外的数组分配额外的空间,你必须原地修改输入数组、使用 O(1) 的额外空间解决这一问题。 你可以假设数组中的所有字符都是 ASCII 码表中的可打印字符。…

事件捕获(capture)和冒泡事件(Bubble)

PS:这里是我从别人的博客中学习事件捕获和冒泡是的总结,如果你也感兴趣的话,建议你点击链接查看原博客的内容,他们写的都是很经典! 对“捕获”和“冒泡”这两个概念,我想我们对冒泡更熟悉一些&…

gulp编译css_如何用gulp缩小CSS

gulp编译cssby Vinicius Gularte由Vinicius Gularte 如何用gulp缩小CSS (How to minify your CSS with gulp) In this article, Im going to show a simple way to automatically minify your CSS files using gulp. ?在本文中,我将展示一种使用gulp自动缩小CSS文…

线段树(区间更改,区间查最值)模板

线段树(区间更改,区间查最值)模板 主要重在理解线段树,理解了怎么改都可以,还有以后不要直接抄模板,要写出自己想的一份代码 &代码&#xff1a; #include <cstdio> #include <bitset> #include <iostream> #include <set> #include <cmath>…

Unity3D项目开发一点经验

我们主要使用3dsmax2010进行制作&#xff0c;输出FBX的类型导入Unity3D中。默认情况下&#xff0c;3dsmax8可以和U3D软件直接融合&#xff0c;自动转换为FBX物体。 注意事项如下&#xff1a; 1.面数控制 在MAX软件中制作单一GameObject物体的面数不能超过65000个三角形&#xf…

leetcode 142. 环形链表 II(set/快慢指针)

给定一个链表&#xff0c;返回链表开始入环的第一个节点。 如果链表无环&#xff0c;则返回 null。 为了表示给定链表中的环&#xff0c;我们使用整数 pos 来表示链表尾连接到链表中的位置&#xff08;索引从 0 开始&#xff09;。 如果 pos 是 -1&#xff0c;则在该链表中没有…

html5 支持表格吗,html5 – 在HTML 5中使用表格很好吗?

简单规则 – 使用表格表格数据&#xff0c;使用其他元素进行演示(使用CSS设计布局)&#xff0c;如div&#xff0c;section&#xff0c;aside&#xff0c;nav等。这为他们所持有的内容提供了意义&#xff0c;而不是为所有内容使用表事实是&#xff0c;开发人员在90年代使用了表格…

css网格_我如何记住CSS网格属性

css网格The syntax for CSS Grid is foreign and hard to remember. But if you can’t remember CSS Grid’s syntax, you won’t be confident when you use CSS Grid.CSS Grid的语法是外来的&#xff0c;很难记住。 但是&#xff0c;如果您不记得CSS Grid的语法&#xff0c;…

2017年读书计划(一)

前言 这篇博文就暂时不记录技术了&#xff0c;记录下生活。对自己今年2017年做个读书计划安排。 最近在看一部网络剧 - 《花间提壶方大厨》&#xff0c;也许你们会感觉我很无聊&#xff0c;我也是被头条带坏了&#xff0c;每天上班一个小时的地下交通-地铁&#xff0c;就借助上…

.net10个必备工具

1.NUnit 编写单元测试的工具2.NDoc 自动生成代码文档的工具3.NAnt 编译解决方案的工具4.CodeSmith 自动生成代码的工具5.FxCop 检查你的代码是否按照规范编写的工具6.Snippet Compiler 编译少量代码的工具7.ASP.NET Version Switcher Visual Studio .NET Project Conve…

音标

音标 oror ds念子音&#xff0c;ts念s音

leetcode 530. 二叉搜索树的最小绝对差(中序遍历)

给你一棵所有节点为非负值的二叉搜索树&#xff0c;请你计算树中任意两节点的差的绝对值的最小值。示例&#xff1a;输入&#xff1a;1\3/2输出&#xff1a; 1解释&#xff1a; 最小绝对差为 1&#xff0c;其中 2 和 1 的差的绝对值为 1&#xff08;或者 2 和 3&#xff09;。代…

计算机排线知识,一种计算机排线梳理装置制造方法及图纸

【技术实现步骤摘要】一种计算机排线梳理装置本技术涉及计算机排线梳理&#xff0c;具体涉及一种计算机排线梳理装置。技术介绍计算机俗称电脑&#xff0c;是现代一种用于高速计算的电子计算机器&#xff0c;可以进行数值计算&#xff0c;又可以进行逻辑计算&#xff0c;还具有…

github和pypi_如何将GitHub用作PyPi服务器

github和pypiI was looking for a hosted private PyPi Python Package server, that used credentials that the team already has (such as GitHub).我正在寻找一个托管的私有PyPi Python Package服务器&#xff0c;该服务器使用了团队已经拥有的凭据(例如GitHub)。 I didn’…