多线程百度网盘爬虫Python完整源码

#coding: utf8import re #正则表达式模块import urllib2 #获取URLs的组件import timefrom Queue import Queueimport threading, errno, datetimeimport jsonimport requests #Requests is an Apache2 Licensed HTTP libraryimport MySQLdb as mdbDB_HOST = '127.0.0.1'DB_USER = 'root'DB_PASS = ''#以下是正则匹配规则re_start = re.compile(r'start=(\d+)') #\d 表示0-9 任意一个数字 后面有+号 说明这个0-9单个数位出现一到多次 比如21312314re_uid = re.compile(r'query_uk=(\d+)') #查询编号re_urlid = re.compile(r'&urlid=(\d+)') #url编号ONEPAGE = 20 #一页数据量ONESHAREPAGE = 20 #一页分享连接量#缺少专辑列表URL_SHARE = 'http://yun.baidu.com/pcloud/feed/getsharelist?auth_type=1&start={start}&limit=20&query_uk={uk}&urlid={id}' #获得分享列表URL_FOLLOW = 'http://yun.baidu.com/pcloud/friend/getfollowlist?query_uk={uk}&limit=20&start={start}&urlid={id}' #获得订阅列表URL_FANS = 'http://yun.baidu.com/pcloud/friend/getfanslist?query_uk={uk}&limit=20&start={start}&urlid={id}' # 获取关注列表QNUM = 1000hc_q = Queue(20) #请求队列hc_r = Queue(QNUM) #接收队列success = 0failed = 0def req_worker(inx): #请求s = requests.Session() #请求对象while True:req_item = hc_q.get() #获得请求项req_type = req_item[0] #请求类型，分享?订阅？粉丝？url = req_item[1] #urlr = s.get(url) #通过url获得数据hc_r.put((r.text, url)) #将获得数据文本和url放入接收队列print "req_worker#", inx, url #inx 线程编号； url 分析了的 urldef response_worker(): #处理工作dbconn = mdb.connect(DB_HOST, DB_USER, DB_PASS, 'baiduyun', charset='utf8')dbcurr = dbconn.cursor()dbcurr.execute('SET NAMES utf8')dbcurr.execute('set global wait_timeout=60000') #以上皆是数据库操作while True:"""#正则备注match() 决定 RE 是否在字符串刚开始的位置匹配search() 扫描字符串，找到这个 RE 匹配的位置findall() 找到 RE 匹配的所有子串，并把它们作为一个列表返回finditer() 找到 RE 匹配的所有子串，并把它们作为一个迭代器返回百度页面链接：http://pan.baidu.com/share/link?shareid=3685432306&uk=1798788396&from=hotrecuk 其实用户id值"""metadata, effective_url = hc_r.get() #获得metadata（也就是前面的r.text）和有效的url#print "response_worker:", effective_urltry:tnow = int(time.time()) #获得当前时间id = re_urlid.findall(effective_url)[0] #获得re_urlid用户编号start = re_start.findall(effective_url)[0] #获得start用户编号if True:if 'getfollowlist' in effective_url: #type = 1，也就是订阅类follows = json.loads(metadata) #以将文本数据转化成json数据格式返回uid = re_uid.findall(effective_url)[0] #获得re_uid，查询编号if "total_count" in follows.keys() and follows["total_count"]>0 and str(start) == "0": #获得订阅数量for i in range((follows["total_count"]-1)/ONEPAGE): #开始一页一页获取有用信息try:dbcurr.execute('INSERT INTO urlids(uk, start, limited, type, status) VALUES(%s, %s, %s, 1, 0)' % (uid, str(ONEPAGE*(i+1)), str(ONEPAGE)))#存储url编号，订阅中有用户编号，start表示从多少条数据开始获取，初始status=0为未分析状态except Exception as ex:print "E1", str(ex)passif "follow_list" in follows.keys(): #如果订阅者也订阅了，即拥有follow_listfor item in follows["follow_list"]:try:dbcurr.execute('INSERT INTO user(userid, username, files, status, downloaded, lastaccess) VALUES(%s, "%s", 0, 0, 0, %s)' % (item['follow_uk'], item['follow_uname'], str(tnow)))#存储订阅这的用户编号，用户名，入库时间except Exception as ex:print "E13", str(ex)passelse:print "delete 1", uid, startdbcurr.execute('delete from urlids where uk=%s and type=1 and start>%s' % (uid, start))elif 'getfanslist' in effective_url: #type = 2,也就是粉丝列表fans = json.loads(metadata)uid = re_uid.findall(effective_url)[0]if "total_count" in fans.keys() and fans["total_count"]>0 and str(start) == "0":for i in range((fans["total_count"]-1)/ONEPAGE):try:dbcurr.execute('INSERT INTO urlids(uk, start, limited, type, status) VALUES(%s, %s, %s, 2, 0)' % (uid, str(ONEPAGE*(i+1)), str(ONEPAGE)))except Exception as ex:print "E2", str(ex)passif "fans_list" in fans.keys():for item in fans["fans_list"]:try:dbcurr.execute('INSERT INTO user(userid, username, files, status, downloaded, lastaccess) VALUES(%s, "%s", 0, 0, 0, %s)' % (item['fans_uk'], item['fans_uname'], str(tnow)))except Exception as ex:print "E23", str(ex)passelse:print "delete 2", uid, startdbcurr.execute('delete from urlids where uk=%s and type=2 and start>%s' % (uid, start))else: #type=0，也即是分享列表shares = json.loads(metadata)uid = re_uid.findall(effective_url)[0]if "total_count" in shares.keys() and shares["total_count"]>0 and str(start) == "0":for i in range((shares["total_count"]-1)/ONESHAREPAGE):try:dbcurr.execute('INSERT INTO urlids(uk, start, limited, type, status) VALUES(%s, %s, %s, 0, 0)' % (uid, str(ONESHAREPAGE*(i+1)), str(ONESHAREPAGE)))except Exception as ex:print "E3", str(ex)passif "records" in shares.keys():for item in shares["records"]:try:dbcurr.execute('INSERT INTO share(userid, filename, shareid, status) VALUES(%s, "%s", %s, 0)' % (uid, item['title'], item['shareid'])) #item['title']恰好是文件名称#返回的json信息：except Exception as ex:#print "E33", str(ex), itempasselse:print "delete 0", uid, startdbcurr.execute('delete from urlids where uk=%s and type=0 and start>%s' % (uid, str(start)))dbcurr.execute('delete from urlids where id=%s' % (id, ))dbconn.commit()except Exception as ex:print "E5", str(ex), iddbcurr.close()dbconn.close() #关闭数据库def worker():global success, faileddbconn = mdb.connect(DB_HOST, DB_USER, DB_PASS, 'baiduyun', charset='utf8')dbcurr = dbconn.cursor()dbcurr.execute('SET NAMES utf8')dbcurr.execute('set global wait_timeout=60000')#以上是数据库相关设置while True:#dbcurr.execute('select * from urlids where status=0 order by type limit 1')dbcurr.execute('select * from urlids where status=0 and type>0 limit 1') #type>0,为非分享列表d = dbcurr.fetchall()#每次取出一条数据出来#print dif d: #如果数据存在id = d[0][0] #请求url编号uk = d[0][1] #用户编号start = d[0][2]limit = d[0][3]type = d[0][4] #哪种类型dbcurr.execute('update urlids set status=1 where id=%s' % (str(id),)) #状态更新为1，已经访问过了url = ""if type == 0: #分享url = URL_SHARE.format(uk=uk, start=start, id=id).encode('utf-8') #分享列表格式化#query_uk uk 查询编号#start#urlid id url编号elif  type == 1: #订阅url = URL_FOLLOW.format(uk=uk, start=start, id=id).encode('utf-8') #订阅列表格式化elif type == 2: #粉丝url = URL_FANS.format(uk=uk, start=start, id=id).encode('utf-8') #关注列表格式化if url:hc_q.put((type, url)) #如果url存在，则放入请求队列，type表示从哪里获得数据#通过以上的url就可以获得相应情况下的数据的json数据格式，如分享信息的，订阅信息的，粉丝信息的#print "processed", urlelse: #否则从订阅者或者粉丝的引出人中获得信息来存储，这个过程是爬虫树的下一层扩展dbcurr.execute('select * from user where status=0 limit 1000')d = dbcurr.fetchall()if d:for item in d:try:dbcurr.execute('insert into urlids(uk, start, limited, type, status) values("%s", 0, %s, 0, 0)' % (item[1], str(ONESHAREPAGE)))#uk 查询号，其实是用户编号#start 从第1条数据出发获取信息#dbcurr.execute('insert into urlids(uk, start, limited, type, status) values("%s", 0, %s, 1, 0)' % (item[1], str(ONEPAGE)))dbcurr.execute('insert into urlids(uk, start, limited, type, status) values("%s", 0, %s, 2, 0)' % (item[1], str(ONEPAGE)))dbcurr.execute('update user set status=1 where userid=%s' % (item[1],)) #做个标志，该条数据已经访问过了#跟新了分享，订阅，粉丝三部分数据except Exception as ex:print "E6", str(ex)else:time.sleep(1)dbconn.commit()dbcurr.close()dbconn.close()def main():print 'starting at:',now()for item in range(16):    t = threading.Thread(target = req_worker, args = (item,))t.setDaemon(True)t.start() #请求线程开启，共开启16个线程s = threading.Thread(target = worker, args = ())s.setDaemon(True)s.start() #worker线程开启response_worker()  #response_worker开始工作print 'all Done at:', now()

进一步交流学习可以点击查看小编的个人资料，有惊喜!

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/503011.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

自动补足算法是什么_数据、算法岗的几点经验分享！

自动补足算法是什么_数据、算法岗的几点经验分享！

learners | 作者Datawhale | 来源目录有哪些好的秋招经验分享？机器学习中常用的最优化方法有哪些？想通过数据竞赛来提升实践能力，作为小白有什么入门经验？(今日问题)有哪些好的秋招经验分享？1李玲 - 携程算法工程师(…
阅读更多...
python支持中文路径_打开python遍历中文目录得到的文件路径报错

python支持中文路径_打开python遍历中文目录得到的文件路径报错

各位朋友们好，我是一名python新手，现在遇到一个问题，恳请各位朋友们能指点一下我。 我的环境是:ubuntu14.04系统,python2.7 用python遍历一个目录，目录层次结构如下: 这是主目录: /home/chaoma/superboard/mydata/input/productio…
阅读更多...
我精心珍藏的Python代码技巧

我精心珍藏的Python代码技巧

01.****简洁的表达式 image 点评：Python因为简洁高效而出名，就是因为语法非常简单，而且内置了很多强大的数据结构： 比如我们可以大量用推导列表来生成很多简洁的代码 比如我们可以用if else组合，本来需要2-3行代码写…
阅读更多...
平移刚体上各点的加速度和速度_大物学习笔记（一）——刚体力学

平移刚体上各点的加速度和速度_大物学习笔记（一）——刚体力学

第一次写笔记，或多或少都会有很多的不足。疫情期间一直都是网课的学习，书本也没有带回来，经常都是在草稿本上随手推导一下公式，隔几天翻了几页，自己推导的东西就不见了。所以总想着来总结一下，把学的东西稍…
阅读更多...
python函数和类的区别_Python中类中的方法还有区别？

python函数和类的区别_Python中类中的方法还有区别？

上一篇，我们讲到Python类中的属性是有区别的，爱思考的小伙伴们可能就会问了，Python中的方法是不是也有区别呢？是的，而且Python中的方法区别更大，让我们来看看吧~ Python类中的三种方法 Python中的方法可以分…
阅读更多...
腾讯云服务器性能测试心得经验总结

腾讯云服务器性能测试心得经验总结

前言 回顾几年前，做性能测试，尤其是服务器性能测试难度比较大，一是测试人员本身技术不足，二是测试的生态环境 不够完善（参考资料少、实用案例少、工具选型少），然而在这两年随着测试环境的生态逐…
阅读更多...
python 获取昨天的日期_利用Python来实现报表的自动发送，解放你时间去做更有意思的事情...

python 获取昨天的日期_利用Python来实现报表的自动发送，解放你时间去做更有意思的事情...

前言在日常工作中你可能因为每天都被各种各样的数据数据报表搞得焦头烂额，老板的，运营的、产品的等等。而且大部分报表都是重复性的工作，这篇文章就是帮助大家如何用Python来实现报表的自动发送，解放你的劳动力，可以让…
阅读更多...
大数据 深度 分页_机器学习、深度学习、大数据 ？傻傻分不清楚？

大数据 深度 分页_机器学习、深度学习、大数据 ？傻傻分不清楚？

提起机器学习四个字，不知你的脑海中是否会有一丝印象？毕竟身处信息时代，在日常生活中，无论通过什么媒介，接触到这个名词概念的机会还是挺大的。与之类似，还有以下这些名词概念：数据分析、数据挖…
阅读更多...
jieba结巴分词--关键词抽取_结巴中文分词原理分析2

jieba结巴分词--关键词抽取_结巴中文分词原理分析2

作者：白宁超，工学硕士，现工作于四川省计算机研究院，著有《自然语言处理理论与实战》一书，作者公众号：机器学习和自然语言处理(公众号ID：datathinks)结巴分词详解1中文分词介绍中文分词特点词是最…
阅读更多...
cad动态块制作翻转_定制橱柜家具中CAD门型动态块制作方式图文讲解加视频

cad动态块制作翻转_定制橱柜家具中CAD门型动态块制作方式图文讲解加视频

在定制橱柜家具中，我们用CAD我们经常会用一些门型放置到绘图当中，来展示CAD图纸的美观性，如下图：那么这些门型要是一点点画却是麻烦，所以我们可以把门型做成动态快的形式，对门型进行任意拉伸，方…
阅读更多...
python json库安装_python怎么安装requests库

python json库安装_python怎么安装requests库

requests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多 因为是第三方库，所以使用前需要cmd安装pip install requests 安装完成后import一下，正常则说明可以开始使用了。 基本用法： requests.get()用于请求目标网站&am…
阅读更多...
32获取外部中断状态_Linux中断一网打尽(1) — 中断及其初始化

32获取外部中断状态_Linux中断一网打尽(1) — 中断及其初始化

1中断是什么既然叫中断, 那我们首先就会想到这个中断是中断谁？想一想计算机最核心的部分是什么？没错， CPU， 计算机上绝大部分的计算都在CPU中完成，因此这个中断也就是中断CPU当前的运行，让CPU转而先处理这个…
阅读更多...
python如何输入多行数据合并_python 实现将txt文件多行合并为一行并将中间的空格去掉方法...

python如何输入多行数据合并_python 实现将txt文件多行合并为一行并将中间的空格去掉方法...

有一个txt文本如下： 151 151 1234561 156421 214156 1523132 031320 现希望将两行合并为一行，并将中间所有的空格都去掉： (python编程第十章) 代码如下： path rC:\Users\xxx\Desktop\test.txt#文本存放的路径 with open(path) as…
阅读更多...
文件夹_【教程】创建透明文件夹(非隐藏文件夹哦)

文件夹_【教程】创建透明文件夹(非隐藏文件夹哦)

Hello 今天 不夜君 来教大家如何创建 一个 透明的 文件夹 效果类似这样哦~~是不是什么都看不到呢 大家不要慌 下面来看一下选中后的样子呀~~怎么样 是不是十分的酷炫呢其实这个方法的原理 我也不是很懂 所以就不献丑了 直接附上教程吧！！当然 有多种实现方…
阅读更多...
python函数如何实现可变参数_【已解决】Python中实现可变参数的函数

python函数如何实现可变参数_【已解决】Python中实现可变参数的函数

【问题】 Python中，希望实现一个可变参数的函数。 【解决过程】 相关代码如下:(extractOK, extractedBlogUser, generatedBlogEntryUrl) callCommonBlogFunc(extractBlogUser, inputUrlinputUrl); #-------------------------------------------------------------…
阅读更多...
山东栋梁机器人比赛_谁是最强“移动机器人”？来深技师这场全国大赛一决高下！...

山东栋梁机器人比赛_谁是最强“移动机器人”？来深技师这场全国大赛一决高下！...

9月24日第一届全国技能大赛世赛移动机器人项目全国机械行业选拔赛在深圳技师学院闭幕！为期三天的赛程中来自全国职业院校、机械行业相关企业的40支参赛队伍、130多名选手和专家教练相聚在深技师美丽的鹤鸣湖畔展开了激烈的比拼~点击边框调出视频工具条 ▲ 点击视频&…
阅读更多...
python办公自动化excel_python办公自动化：Excel操作入门

python办公自动化excel_python办公自动化：Excel操作入门

1.安装 pip install xlsxwriter or easy_install xlsxwriter or tar -zxvf xlsxwriter-*.*.*.tar.gz python setup.py install 2.操作一个简单的Excel文档 操作注释及代码： # 引入依赖模块 import xlsxwriter # 数据准备 datas ( [Rent, 1000], [Gas, 100 ], [Food…
阅读更多...
c++回到起点旅行商问题_不要犯同样的错，提C型房车回渝上牌长途旅行的心路历程...

c++回到起点旅行商问题_不要犯同样的错，提C型房车回渝上牌长途旅行的心路历程...

视频版看这里➡️ 第一次驾驶三吨重房车到成功在村道脱险，这段旅程值得回顾我们俩房车旅行近两年，为了更好的迎接新一年的到来，我们来简单回顾一下这一年多的房车旅程。我们俩的旅行口号是：奔跑的影视工作室，行走的房车…
阅读更多...
python去空格的函数_Python中用于去除空格的三个函数的使用小结

python去空格的函数_Python中用于去除空格的三个函数的使用小结

函数：strip() lstrip() rstrip() 作用：去除字符串中的空格或指定字符 一、默认用法：去除空格str.strip() ： 去除字符串两边的空格 str.lstrip() ： 去除字符串左边的空格 str.rstrip() ： 去除字符串右边的空…
阅读更多...
中怎样载入选区_PS----关于选区的选取

中怎样载入选区_PS----关于选区的选取

对于刚刚接触到PS的小伙伴来说，怎样下手呢？？？嘿嘿，我来了，废话不多，直接上干货1.关于“矩形"或者“圆形”选取，快捷键M,取消选区ctrld,2."正圆“以及”正方形“ 怎么办呢&…
阅读更多...
最新文章

Copyright @ 2022~2023