python使用scrapy-pyppeteer中间件使用代理IP

要提高scrapy-pyppeteer的效率，可以考虑以下几个方面：

减少不必要的页面操作，如滚动、点击等，只执行对数据抓取有用的操作。
使用pyppeteer_page_coroutines参数传入一个可排序的迭代器（如列表、元组或字典），指定在返回响应之前需要在页面上执行的协程。这样可以避免多次调用page.evaluate方法。
设置合理的并发数和下载延迟，避免过多的请求导致浏览器崩溃或被目标网站封禁。
使用缓存或增量爬取，避免重复爬取相同的页面。

# settings.py
# -*- coding: utf-8 -*-Sydney = 'scrapy_pyppeteer'SPIDER_MODULES = ['scrapy_pyppeteer.spiders']
NEWSPIDER_MODULE = 'scrapy_pyppeteer.spiders'# 设置下载中间件
DOWNLOADER_MIDDLEWARES = {'scrapy_pyppeteer.middlewares.PyppeteerMiddleware': 543,'scrapy_pyppeteer.middlewares.RandomUserAgentMiddleware': 544,
}# 设置请求头
DEFAULT_REQUEST_HEADERS = {'Accept': '*/*','Accept-Language': 'en',
}# 设置日志级别
LOG_LEVEL = "DEBUG"# 设置pyppeteer启动选项
PYPPETEER_LAUNCH_OPTIONS = {# 是否显示浏览器界面，默认False"headless": False,# 是否忽略HTTPS错误，默认False"ignoreHTTPSErrors": True,# 添加代理服务器的地址，格式为host:port或protocol://host:port"args": ["--proxy-server=www.16yun.cn:31111"]
}# 设置并发数，默认16
CONCURRENT_REQUESTS = 8# 设置下载延迟，默认0秒
DOWNLOAD_DELAY = 1# 启用缓存，默认False
HTTPCACHE_ENABLED = True

# middlewares.py
# -*- coding: utf-8 -*-
import asyncioimport pyppeteerfrom scrapy import signals, Request, Spider, httpclass PyppeteerMiddleware:# 定义一个类属性browser，表示浏览器对象browser: pyppeteer.browser.Browser@classmethoddef from_crawler(cls, crawler):# 创建中间件实例，并传入crawler对象作为参数