pyppeteer和requests简单应用

本文章只是分享pyppeteer技术。有些反扒网站可以使用pyppeteer库，完整代码没有分享。
获取相关开发工具软件，可以关注公众号：爬虫探索者。
发送下面图片的关键字可以获取对应软件。sql指的是Navicat。
破解教程可以参考主页其他文章。

运行环境

pip install -i https://mirrors.aliyun.com/pypi/simple pyppeteer
pip install -i https://mirrors.aliyun.com/pypi/simple requests
pip install -i https://mirrors.aliyun.com/pypi/simple lxml

开始的办法

第一次尝试的时候使用普通的requests方法，补充headers获取数据，但是发现最后获取的数据都是假的，今天正好在学习pyppeteer库就尝试了一下。

Pyppeteer的使用

launch：表示打开一个浏览器
newPage：通过返回的browser对象创建页签
setViewPort：设置显示大小
evaluateOnNewDocument：执行JavaScript代码
goto：前往某一个url地址
screenshot：请求之后的内容截图保存

主函数

headless：表示无头模式，设置为False会正常显示页面，默认为True无头模式。
userDataDir：保存登录信息。
args：设置了浏览器显示比例，可以不设置，不过显示的可能不太好看。

async def main():# userDataDir实现用户持久化，保存登录信息，每次运行加载browser = await launch(headless=False, userDataDir='./userdata', args=[f'-window-size={width}, {height}'])page = await browser.newPage()await page.setViewport({'width': width, 'height': height})await page.evaluateOnNewDocument('Object.defineProperty(navigator, "webdriver", {get: () => undefined})')  # 防止检测到await page.goto('股友url')  # 请求的地址await page.screenshot(path='guba.png')  # 截图查看到的信息await page.click('.graylink')  # 模拟点击查看更多await asyncio.sleep(2)  # 第一次运行延长时间，先登录await parse_content(await page.content())  # 调用解析协程，获取对应内容await browser.close()

解析响应内容

async def parse_content(content):html = etree.HTML(content)trs = html.xpath('//table[@class="secontent"]/tbody/tr')for tr in trs:code = tr.xpath('./td/a/text()')[0]name = tr.xpath('./td/a/text()')[1]current_price = tr.xpath('./td/span/text()')[0]die_price = tr.xpath('./td/span/text()')[1]zhang_price = tr.xpath('./td/span/text()')[2]huanshou = tr.xpath('./td[last()-1]/text()')[0]chengjiao = tr.xpath('./td[last()]/text()')[0]print(code, name, current_price, die_price, zhang_price, huanshou, chengjiao)asyncio.get_event_loop().run_until_complete(main())