python queue查询空_【Python】多线程爬虫案例

0c412c4d4ba7356847604781f72a49c5.gif

爬取博客园文章列表

爬取博客园文章列表,假设页面的URL是https://www.cnblogs.com/loaderman 

要求:使用requests获取页面信息,用XPath / re 做数据提取 获取每个博客里的标题,描述,链接地址,日期等保存到 json 文件内

示例:

# -*- coding:utf-8 -*-

import urllib2
import json
from lxml import etree

url = "https://www.cnblogs.com/loaderman/"
headers = {"User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"}

request = urllib2.Request(url, headers=headers)

html = urllib2.urlopen(request).read()
# 响应返回的是字符串,解析为HTML DOM模式 text = etree.HTML(html)

text = etree.HTML(html)
# 返回所有结点位置,contains()模糊查询方法,第一个参数是要匹配的标签,第二个参数是标签名部分内容
node_list = text.xpath('//div[contains(@class, "post")]')
print (node_list)
items = {}
for each in node_list:
    print (each)
    title = each.xpath(".//h2/a[@class='postTitle2']/text()")[0]
    detailUrl = each.xpath(".//a[@class='postTitle2']/@href")[0]
    content = each.xpath(".//div[@class='c_b_p_desc']/text()")[0]
    date = each.xpath(".//p[@class='postfoot']/text()")[0]

    items = {
        "title": title,
        "image": detailUrl,
        "content": content,
        "date": date,

    }

    with open("loaderman.json", "a") as f:
        f.write(json.dumps(items, ensure_ascii=False).encode("utf-8") + "\n")

效果:

c90eef0a8adc14930d2df00abc72328f.png

多线程爬虫案例

Queue是python中的标准库,可以直接import Queue引用;队列是线程间最常用的交换数据的形式 

python下多线程的思考 

对于资源,加锁是个重要的环节。因为python原生的list,dict等,都是not thread safe的。而Queue,是线程安全的,因此在满足使用条件下,建议使用队列 

  • 初始化:class Queue.Queue(maxsize) FIFO 先进先出

  • 包中的常用方法:

    Queue.qsize() 返回队列的大小

    Queue.empty() 如果队列为空,返回True,反之False

    Queue.full() 如果队列满了,返回True,反之False

    Queue.full 与 maxsize 大小对应

    Queue.get([block[, timeout]])获取队列,timeout等待时间

  • 创建一个“队列”对象

    import Queue

    myqueue = Queue.Queue(maxsize = 10)

  • 将一个值放入队列中

    myqueue.put(10)

  • 将一个值从队列中取出

    myqueue.get()

示意图:

f72545035ed9f5e1dcb778bde70ccf89.png

# -*- coding:utf-8 -*-

# 使用了线程库
import threading
# 队列
from Queue import Queue
# 解析库
from lxml import etree
# 请求处理
import requests
# json处理
import json
import time


class ThreadCrawl(threading.Thread):
    def __init__(self, threadName, pageQueue, dataQueue):
        # threading.Thread.__init__(self)
        # 调用父类初始化方法
        super(ThreadCrawl, self).__init__()
        # 线程名
        self.threadName = threadName
        # 页码队列
        self.pageQueue = pageQueue
        # 数据队列
        self.dataQueue = dataQueue
        # 请求报头
        self.headers = {"User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"}

    def run(self):
        print "启动 " + self.threadName
        while not CRAWL_EXIT:
            try:
                # 取出一个数字,先进先出
                # 可选参数block,默认值为True
                # 1. 如果对列为空,block为True的话,不会结束,会进入阻塞状态,直到队列有新的数据
                # 2. 如果队列为空,block为False的话,就弹出一个Queue.empty()异常,
                page = self.pageQueue.get(False)
                url = "https://www.cnblogs.com/loaderman/default.html?page=" + str(page)
                # print url
                content = requests.get(url, headers=self.headers).text
                time.sleep(1)
                self.dataQueue.put(content)
                # print len(content)
            except:
                pass
        print "结束 " + self.threadName


class ThreadParse(threading.Thread):
    def __init__(self, threadName, dataQueue, filename, lock):
        super(ThreadParse, self).__init__()
        # 线程名
        self.threadName = threadName
        # 数据队列
        self.dataQueue = dataQueue
        # 保存解析后数据的文件名
        self.filename = filename
        # 锁
        self.lock = lock

    def run(self):
        print "启动" + self.threadName
        while not PARSE_EXIT:
            try:
                html = self.dataQueue.get(False)
                self.parse(html)
            except:
                pass
        print "退出" + self.threadName

    def parse(self, html):
        # 解析为HTML DOM
        html = etree.HTML(html)

        node_list = html.xpath('//div[contains(@class, "post")]')
        print (node_list)
        items = {}
        for each in node_list:
            print (each)
            title = each.xpath(".//h2/a[@class='postTitle2']/text()")[0]
            detailUrl = each.xpath(".//a[@class='postTitle2']/@href")[0]
            content = each.xpath(".//div[@class='c_b_p_desc']/text()")[0]
            date = each.xpath(".//p[@class='postfoot']/text()")[0]

            items = {
                "title": title,
                "image": detailUrl,
                "content": content,
                "date": date,

            }

            with open("loadermanThread.json", "a") as f:
                f.write(json.dumps(items, ensure_ascii=False).encode("utf-8") + "\n")


CRAWL_EXIT = False
PARSE_EXIT = False


def main():
    # 页码的队列,表示20个页面
    pageQueue = Queue(20)
    # 放入1~10的数字,先进先出
    for i in range(1, 21):
        pageQueue.put(i)

    # 采集结果(每页的HTML源码)的数据队列,参数为空表示不限制
    dataQueue = Queue()

    filename = open("duanzi.json", "a")
    # 创建锁
    lock = threading.Lock()

    # 三个采集线程的名字
    crawlList = ["采集线程1号", "采集线程2号", "采集线程3号"]
    # 存储三个采集线程的列表集合
    threadcrawl = []
    for threadName in crawlList:
        thread = ThreadCrawl(threadName, pageQueue, dataQueue)
        thread.start()
        threadcrawl.append(thread)

    # 三个解析线程的名字
    parseList = ["解析线程1号", "解析线程2号", "解析线程3号"]
    # 存储三个解析线程
    threadparse = []
    for threadName in parseList:
        thread = ThreadParse(threadName, dataQueue, filename, lock)
        thread.start()
        threadparse.append(thread)

    # 等待pageQueue队列为空,也就是等待之前的操作执行完毕
    while not pageQueue.empty():
        pass

    # 如果pageQueue为空,采集线程退出循环
    global CRAWL_EXIT
    CRAWL_EXIT = True

    print "pageQueue为空"

    for thread in threadcrawl:
        thread.join()
        print "1"

    while not dataQueue.empty():
        pass

    global PARSE_EXIT
    PARSE_EXIT = True

    for thread in threadparse:
        thread.join()
        print "2"

    with lock:
        # 关闭文件
        filename.close()
    print "谢谢使用!"


if __name__ == "__main__":
    main()

效果:

31cca592791abcdbdbb313a8a482bfdb.png

896644181c47899801ae2ca63f9677a4.png

  码上加油站

  一起来加油

长按扫码关注

41714631b059a1aab0206f0229f78cb4.png记得点个在看哦!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/566534.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

美国计算机科学联赛获奖,【竞赛获奖】西安高新一中国际班学子在2018-2019美国计算机科学联赛 (ACSL)积分赛中创造历史!...

西安高新一中国际班学子在2018-2019美国计算机科学联赛(ACSL)积分赛中创造历史2018-2019美国计算机科学联赛 (ACSL)积分赛喜讯传来!此次竞赛共有来自全国109所重点中学和国际学校的近500同学参赛。在此次竞赛中,中国赛区共有17名同学获得个人最高分奖&am…

5单个编译总会编译全部_JDBC【5】 JDBC预编译和拼接Sql对比

在jdbc中,有三种方式执行sql,分别是使用Statement(sql拼接),PreparedStatement(预编译),还有一种CallableStatement(存储过程),在这里我就不介绍CallableStatement了,我们来看看Statement与PreparedStateme…

web html介绍笔记,WEB 之 HTML 系列笔记

WEB简介及浏览器内核网页主要由文字、图像和超链接等元素构成。当然,除了这些元素,网页中还可以包含音频、视频以及Flash等。浏览器的内核负责读取网页内容, 整理讯息, 计算网页的显示方式并显示页面。浏览器内核备注IETridentIE、猎豹安全、360极速浏览…

计算机怎样旋转桌面,win7电脑怎么设置翻转屏幕

在深度win7之中使用投影仪或者是一些外置视频输出设备的时候,用户可能会有翻转屏幕的需求。那么大家知道win7电脑怎么设置翻转屏幕吗?今天学习啦小编与大家分享下win7电脑设置翻转屏幕的具体操作步骤,有需要的朋友不妨了解下。win7电脑设置翻转屏幕方法…

从入门到精通 pdf_【推荐】铅笔素描从入门到精通pdf|素描基础教程电子书下载!...

铅笔素描从入门到精通pdf|素描基础教程电子书下载!铅笔素描从入门到精通pdf|素描基础教程电子书下载!铅笔素描从入门到精通pdf|素描基础教程电子书下载!如果你的基础太薄弱,不建议自己瞎摸索,你可以关注一下公众号&…

计算机科学和软件工程区别,计算机科学和软件工程的区别

澳洲热门 IT 计算机专业,许多学校对于专业也有不同的细分以及课程安排。今天就来单独解析下 computer science 计算机科学或 Software Engineering 软件工程,两个专业的区别 ?Computer Science 侧重于计算机的基础,包括算法,计算…

参数估计_状态估计的基本概念(1)参数估计问题

(1)参数估计问题定义如果一个系统的参数随时间而改变,那么称它为“时变的参数”;如果系统的参数不随时间而改变,那么称它为“时不变的参数”。对参数 (时不变)的估计问题定义如下:其…

郑州财税金融职业学院的计算机考试,郑州财税金融职业学院考试流程

考试是教学过程中的一个重要环节,为了考试工作的顺利进行,考试的考务管理、流程及组织工作至关重要。课程考核方式由学期末教务处发布新学期教学工作安排,确定教学计划及下学期课程考核方式。一、命题1.命题工作由院系部主任负责组织。凡建立…

python井字棋游戏人机对战_用Python做一个井字棋小游戏

井字棋是一个经典的小游戏,在九宫格上玩家轮流画OXO,当每列或每行或是两个对角成一线时便是获胜。今天就用Python编写一个井字棋小游戏,与电脑对战。程序执行画面如下图所示:程序提供了两种人工智能选择,一个是强人工智能另一个是…

计算机管理内默认共享,关于Windows的默认共享介绍

C:\Documents and Settings\Administrator>net share ?此命令的语法是:NET SHAREsharenamesharenamedrive:path [/GRANT:user,[READ | CHANGE | FULL]][/USERS:number | /UNLIMITED][/REMARK:"text"][/CACHE:Manual | Documents| Programs | BranchCache | None]…

中绘制折线_漂亮图表也可信手拈来,一文学会用Python绘制堆积折线图

今天咱们还是接着上次的话题,继续和大家聊聊关于Python绘图相关的东东哦,上次已经和大家讨论完了如何给自己所绘制的图表中添加装饰线以及修改装饰线密度的方法,今天呢,咱们再聊点的新的东东哦,还是和大家继续深耕Pyth…

计算机病毒的危害主要体现于对计算机系统的信息破坏和,2014年中央电大专科信息技术应用理论题.doc...

一村一《信息技术应用》复习资料(注:仅提供理论题30分,操作题请大家按照下发的自测光盘综合练习多做多练,考试范围难度差不多)第1套一、单选题1.某单位的人事档案管理程序属于(应用软件)2.微机的核心部件是(微处理器 )3.内存储器根据工作方式的不同可以分…

seo vue 动态路由_VUE项目SEO问题的解决

1. SEOSEO(搜索引擎优化):搜索引擎优化的中文翻译。使用搜索引擎的规则来提高网站的自然排名相关的搜索引擎。当一个网络爬虫抓取网页的内容,它需要分析的内容页面。要点如下:阅读内容的关键字和描述元标签。抓取和分析基于语义html标记的内容。的影响一个网站,作为一个整体使用…

计算机电缆对绞节距,DJYPVP阻燃计算机电缆32/0.2芯数直径

电缆敷设在既有正压力作用又有拉力作用的场合(如水中、垂直竖井或落差较大的土壤中),应选用具有内钢丝铠装的结构型。外护套外护套是保护电线电缆的绝缘层防止环境因素侵蚀的结构部分。外护套的主要作用是提高电线电缆的机械强度、防化学腐蚀、防潮、防水浸人、阻止…

php 监听端口数据客户端ip_PHP做端口监听示例代码

1,PHP端口监听之服务器端复制代码 代码示例:// Server// 设置错误处理error_reporting(E_ALL);// 设置运行时间set_time_limit(0);// 起用缓冲ob_implicit_flush();$ip "127.0.0.1"; // IP地址$port 1000; // 端口号$socket socket_create(AF_INET, SO…

软件测试条件组合覆盖三角形,软件测试三角形问题(覆盖测试)

软件测试三角形问题(覆盖测试) (9页)本资源提供全文预览,点击全文预览即可全文预览,如果喜欢文档就下载吧,查找使用更方便哦!9.9 积分成绩辽宁工程技术大学上机实验报吿课程名称软件测试与评估实验题目基于覆盖测试技术院系软件学院专业软件工…

flog和flag_FLAG:写作,英语和持续学习

新年计划一:日更千字只差一个月就可以完成日更100字的任务了。日更百字对我来说已经不再是一种负担和任务,而是每天碎碎念的日记,解压的方式。但是我知道这些碎碎念的日记本质上是没有用的。既没有信息增量,也没有变现价值&#x…

设备dp信号测试软件,DP信号完整性测试,信号质量测试

DP信号完整性测试,信号质量测试在视频和音频内容通过DP link发送并显示在显示屏上之前,在DPsource和sink(可能还有分支装置)之间已经进行了大量通信。DP主数据Link中的多媒体内容传输与数据link的类似程度高于DVI或HDMI。另外连接之前的握手也比纯插件要…

软件测试报告费计什么科目,软件记什么会计科目

1软件记什么 会计 科目会计学的研究对象包括会计的所有方面,如会计的性质、对象、职能、任务、方法、程序、组织,制度、技术等。会计学用自己特有的概念和理论,概括和总结它的研究对象。接下来小编就告诉你软件记什么会计科目。根据《企业会计…

php mysql 统计_PHP和MySQL实现优化统计每天数据

在互联网项目中,对项目的数据分析必不可少。通常会统计某一段时间内每天数据总计变化趋势调整营销策略。下面来看以下案例。案例在电商平台中通常会有订单表,记录所有订单信息。现在我们需要统计某个月份每天订单数及销售金额数据从而绘制出如下统计图&a…