前言
回顾之前讲述了python语法编程 必修入门基础和网络编程,多线程/多进程/协程等方面的内容,后续讲到了数据库编程篇MySQL,Redis,MongoDB篇,和机器学习,全栈开发,数据分析,爬虫数据采集前面没看的也不用往前翻,系列文已经整理好了:
1.跟我一起从零开始学python(一)编程语法必修
2.跟我一起从零开始学python(二)网络编程
3.跟我一起从零开始学python(三)多线程/多进程/协程
4.跟我一起从零开始学python(四)数据库编程:MySQL数据库
5.跟我一起从零开始学python(五)数据库编程:Redis数据库
6.跟我一起从零开始学python(六)数据库编程:MongoDB数据库
7.跟我一起从零开始学python(七)机器学习
8.跟我一起从零开始学python(八)全栈开发
9.跟我一起从零开始学python(九)数据分析
10.跟我一起从零开始学python(十)Hadoop从零开始入门
11.跟我一起从零开始学python(十一)简述spark
12.跟我一起从零开始学python(十二)如何成为一名优秀的爬虫工程师
本系列文根据以下学习路线展开讲述,由于内容较多,:
从零开始学python到高级进阶路线图
适用于零基础学习和进阶人群的python资源:
① 腾讯认证python完整项目实战教程笔记PDF
② 十几个大厂python面试专题PDF
③ python全套视频教程(零基础-高级进阶JS逆向)
④ 百个项目实战+源码+笔记
⑤ 编程语法-机器学习-全栈开发-数据分析-爬虫-APP逆向等全套项目+文档
自动化和抓包专题
一丶selenium采集
之前通过selenium实现过抢演唱会门票,感兴趣的可以看看
通过selenium自动化实现演唱会抢门票
Selenium是一种流行的自动化Web测试工具,它可以模拟人类用户在浏览器中的行为,适合用于构建自动化爬虫。本专题将介绍如何使用Selenium进行自动化爬取,并讲解如何通过抓包获取网页数据。
1.Selenium介绍
Selenium是一种开源的自动化测试工具,它可以模拟人类用户在浏览器中的行为,例如点击链接、填写表单、提交数据等等。Selenium支持多种编程语言的接口,包括Python、Java、JavaScript等等。对于爬虫工程师来说,使用Selenium可以方便地构建自动化爬虫,模拟人类用户在浏览器中的操作,从而获取数据。
2.Selenium的安装
Selenium可以通过pip安装,使用以下命令:
pip install selenium
同时,还需要下载浏览器对应的驱动程序,例如Chrome浏览器需要下载ChromeDriver。ChromeDriver的下载链接如下:
https://sites.google.com/a/chromium.org/chromedriver/downloads
下载完成后,需要将ChromeDriver放置到系统的PATH环境变量中,这样才能在代码里使用ChromeDriver启动Chrome浏览器。
3.Selenium的基本使用
1.使用Selenium进行自动化爬取,需要进行以下步骤:
引入selenium库:使用Python编写代码时,需要先引入selenium库。
from selenium import webdriver
2.初始化浏览器:
Selenium支持多种浏览器,包括Chrome、Firefox等等。需要通过Selenium提供的API初始化浏览器,并指定浏览器驱动程序的位置。
driver = webdriver.Chrome('D:/chromedriver.exe')
3.打开网页:
使用Selenium的get方法打开一个网页。
driver.get('http://www.baidu.com')
4.操作页面元素:
通过定位页面元素,使用Selenium模拟用户在浏览器中的操作。例如点击链接、填写表单、提交数据等等。
driver.find_element_by_id('kw').send_keys('Python') # 输入关键字
driver.find_element_by_id('su').click() # 点击搜索按钮
5.获取数据:
使用Selenium的API获取页面的数据,例如获取页面的HTML源代码、截图等等。
html = driver.page_source # 获取页面的HTML源代码
driver.save_screenshot('baidu.png') # 截图并保存
6.关闭浏览器:
当完成所有操作后,需要关闭浏览器。
driver.quit()
4.Selenium的高级用法
除了基本用法,Selenium还提供了多种高级用法,例如使用代理、使用无头浏览器等等。
1.使用代理:
在进行自动化爬取时,有时会需要使用代理,这时可以通过Selenium设置代理。
from selenium.webdriver.chrome.options import Optionschrome_options = Options()
chrome_options.add_argument('--proxy-server=http://127.0.0.1:8080') # 设置代理
driver = webdriver.Chrome('D:/chromedriver.exe', chrome_options=chrome_options)
2.使用无头浏览器:
有些网站会检测是否是真实的浏览器访问,这时可以使用无头浏览器,模拟真实的浏览器行为。
chrome_options = Options()
chrome_options.add_argument('--headless') # 使用无头浏览器
driver = webdriver.Chrome('D:/chromedriver.exe', chrome_options=chrome_options)
3.使用等待:
当进行自动化爬取时,需要等待网页加载完成,才能进行后续操作。可以使用Selenium提供的等待模块,帮助我们等待网页加载完成。
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as ECdriver.get('http://www.baidu.com')
element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, 'kw'))
) # 等待id为kw的元素加载完成
element.send_keys('Python')
driver.quit()
5.抓包获取数据
除了使用Selenium进行自动化爬取,还可以使用抓包的方式获取网页数据。抓包可以帮助我们分析网页的请求和响应,获取到所需的数据。
常用的抓包工具有Fiddler、Charles等等。以Fiddler为例,介绍如何使用Fiddler进行抓包。
1.下载Fiddler:
Fiddler可以在官网上进行下载,下载链接如下:
https://www.telerik.com/download/fiddler/fiddler4
下载完成后,安装Fiddler,启动Fiddler。
2.设置代理:
在进行抓包时,需要将浏览器的代理设置为Fiddler的代理。在Fiddler的界面中,找到Tools -> Options -> Connections,勾选"Allow remote computers to connect",并记下Fiddler的IP地址和端口号。
在浏览器中打开代理设置界面,将代理服务器的IP地址和端口号设置为Fiddler的地址和端口号。例如在Chrome浏览器中,代理设置界面可以通过以下地址打开:
chrome://settings/system
勾选"Use a proxy server",并将"Address"和"Port"分别设置为Fiddler的地址和端口号。
3.抓包获取数据:
打开浏览器,访问需要爬取的网页。在Fiddler的界面中,可以看到浏览器和网站之间的通信数据,其中包含了请求和响应数据。可以通过分析这些数据,找到所需的数据,并提取出来。
通过抓包的方式获取到的数据,通常是JSON格式或者XML格式。可以使用Python的内置库或者第三方库来处理这些数据,从而获取到所需的内容。
总结
在进行自动化爬取时,使用Selenium可以方便地模拟人类用户的操作,从而获取数据。同时,通过抓包的方式,可以分析网页的请求和响应,从而获取到所需的数据。需要注意的是,进行自动化爬取和抓包时,需要遵守相关的法律法规,不得进行违法违规的操作。
二丶pyppeteer采集
Pyppeteer是一个基于Chrome DevTools Protocol的Python库,可以与无头Chrome(Headless Chrome)进行交互,从而实现自动化的浏览器操作和网页抓取。本文将详细介绍如何使用Pyppeteer进行爬虫和自动化任务。
Pyppeteer的安装可以通过pip进行:
pip install pyppeteer
安装完成后,可以新建一个Python脚本,导入pyppeteer库并创建一个异步的浏览器对象:
import asyncio
from pyppeteer import launchasync def main():browser = await launch()page = await browser.newPage()# 程序的主要逻辑写在这里await browser.close()asyncio.get_event_loop().run_until_complete(main())
有了浏览器对象后,就可以开始执行各种浏览器操作了。下面是一些常见操作的示例:
1.打开指定的网址:
await page.goto('https://www.example.com')
2.获取页面的HTML内容:
html = await page.evaluate('document.documentElement.outerHTML')
3.在表单中填写内容并提交:
await page.type('#username', 'my_username')
await page.type('#password', 'my_password')
await page.click('#submit')
4.等待页面加载完毕:
await page.waitForNavigation()
5.截屏保存页面快照:
await page.screenshot({'path': 'screenshot.png'})
在进行网页抓取时,有时候会需要模拟用户的交互,比如点击按钮、滚动页面、获取特定元素的文本内容等等。Pyppeteer也提供了丰富的API来实现这些功能。例如,要点击页面上的一个按钮:
await page.click('#my_button')
要获取特定元素的文本内容:
element = await page.querySelector('#my_element')
text_content = await element.evaluate('(element) => element.textContent')
Pyppeteer也支持处理文件上传、处理JavaScript弹窗、执行自定义JavaScript代码等高级功能。具体使用方法可以参考Pyppeteer的官方文档。
同时,由于Pyppeteer是基于Chrome DevTools Protocol开发的,所以可以通过抓包工具分析浏览器的网络请求,从而拿到网页的请求和响应信息。一个常用的抓包工具是Fiddler,可以用来监听浏览器和网站之间的通信,并查看请求和响应的详细内容。
Pyppeteer提供了与Fiddler等抓包工具配合使用的功能。可以通过调用pyppeteer.connection.Connection
类的from_browser_wse
方法,传入Fiddler的WebSocket代理地址,实现Pyppeteer与Fiddler的通信。
import pyppeteer.connectionpyppeteer.connection.Connection.from_browser_wse(f'ws://127.0.0.1:8866/devtools/browser/{browser.browserWSEndpoint.lstrip("ws://")}')
这样,通过Fiddler就可以查看Pyppeteer与浏览器之间的通信,并捕获请求和响应数据。
总结一下,Pyppeteer是一个方便的Python库,可以实现自动化的浏览器操作和网页抓取。它提供了丰富的API,可以模拟用户的交互行为,处理文件上传、JavaScript弹窗等高级功能,并通过抓包工具分析网络请求和响应数据,方便获取网页内容和进行其他进一步的处理。
pyppeteer请求实战案例
当使用Pyppeteer进行异步请求时,可以利用Python的异步编程特性(如asyncio和await)来实现高效的自动化任务和抓包功能。在本次实战中,我们将详细解释如何使用Pyppeteer进行异步请求,并提供一个示例项目供参考。
1.安装Pyppeteer:
首先,确保你已安装Python和pip。然后在命令行中运行以下命令来安装Pyppeteer:
pip install pyppeteer
2.导入所需的模块和库:
创建一个新的Python脚本,并导入所需的模块和库:
import asyncio
from pyppeteer import launch
3.定义异步函数:
在脚本中创建一个异步函数,用于异步请求的操作:
async def fetch_data(url):browser = await launch()page = await browser.newPage()await page.goto(url)content = await page.content()await browser.close()return content
在这个示例中,我们定义了一个名为fetch_data的异步函数,它接收一个URL参数,并使用Pyppeteer来打开和渲染该URL页面。然后,我们使用await关键字等待页面的加载和渲染完成,并使用page.content()
方法获取页面的内容。最后,我们关闭浏览器并返回页面的内容。
4.调用异步函数:
创建一个主函数,并在其中调用异步函数:
async def main():url = 'https://example.com'content = await fetch_data(url)print(content)asyncio.get_event_loop().run_until_complete(main())
在这个示例中,我们定义了一个名为main的异步函数,在其中设置要请求的URL,并通过await关键字调用fetch_data函数来获取页面内容。最后,我们使用print语句将内容打印在控制台上。
5.运行脚本:
在命令行中运行脚本,你将看到获取到的页面内容被打印在控制台上。
这是一个简单的使用Pyppeteer进行异步请求的项目实战详解。通过灵活运用Pyppeteer的异步特性,你可以实现更复杂和高效的自动化任务和抓包功能。你可以根据具体需求,进一步扩展和优化这个示例,以满足不同的项目需求。注意,Pyppeteer还提供了其他功能和API,如模拟用户交互、处理页面元素、执行JavaScript代码等等。在实际项目中,你可以根据需要使用这些功能来完成更多的任务
三丶Charles抓包
Charles是一款流行的网络抓包工具,广泛应用于PC端爬虫工程师的自动化和抓包任务中。它可以截获网络请求和响应数据,帮助开发者分析和调试网络通信。下面是Charles抓包的详细解释和使用方法:
1.下载和安装Charles:
首先,你需要在官方网站上下载并安装Charles。官方网站地址为:https://www.charlesproxy.com/
2.配置网络代理:
安装完成后,打开Charles并配置网络代理。在Charles的菜单栏中选择"Proxy",然后点击"Proxy Settings"。在弹出的窗口中,选择"HTTP Proxy"选项,将端口设置为8888(默认端口),并确保"Enable macOS proxy"或"Enable Windows proxy"选项被选中。保存设置并关闭窗口。
3.SSL代理配置(可选):
如果你需要抓取HTTPS请求的数据,你还需要在Charles中配置SSL代理。在Charles的菜单栏中选择"Help",然后点击"SSL Proxying",并选择"Install Charles Root Certificate"。根据操作系统的不同,你可能需要输入管理员密码来完成证书安装。完成后,Charles就可以解析和显示HTTPS请求的数据。
4.启动代理:
在配置完成后,点击Charles的"Proxy"菜单并将"Proxy"选项打开,表示Charles的代理功能已启动。
5.手机端代理设置(可选):
如果你需要抓取手机端的请求数据,你还需要在手机设置中将代理设置为Charles的IP地址和端口。IP地址通常为运行Charles的计算机的IP地址,端口为8888(默认端口)。在手机上打开设置,进入Wi-Fi或移动网络选项,找到当前所连接的网络,点击进入高级设置,然后将代理设置为Charles的IP地址和端口。
6.开始抓包:
在Charles中,你将看到请求和响应数据的列表。要开始抓包,你可以在Charles窗口的左上方的"Record"按钮上点击。点击后,Charles将开始记录网络请求和响应数据。
7.分析抓包结果:
当网络请求和响应发生时,Charles会显示在其窗口中。你可以通过点击每个请求来查看其详细信息,包括请求头、响应头、请求体、响应体等。
8.过滤和定位请求:
如果你的抓包结果非常庞大,你可以使用Charles的过滤功能来找到特定的请求。你可以按照URL、域名、请求方法等进行过滤,以便更方便地定位到你感兴趣的请求。
9.修改请求和响应:
Charles还允许你修改请求和响应数据,以便进行调试和测试。你可以通过右键点击特定请求,并选择"Edit"来修改其请求和响应数据。
10.保存和导出抓包结果:
Charles允许你保存整个会话的抓包结果,并可以导出为Har文件或其他格式进行进一步的分析和处理。
通过上述步骤,你可以开始使用Charles进行抓包并分析网络请求和响应数据。它为PC端爬虫工程师提供了丰富的工具和功能,帮助他们进行自动化任务和网络调试。请注意,合法合规的使用Charles以及尊重网站的使用条款和隐私政策非常重要。
Charles替换CSS和JS文件
在PC端爬虫工程中,Charles是一款非常强大的抓包工具,能够助力开发人员进行网络请求的抓取、修改以及响应的重放等操作。在抓包过程中,有时我们需要替换CSS和JS文件,以便在分析和测试中进行一些定制化的操作。下面是详细的步骤:
步骤一:安装和配置Charles
- 下载并安装Charles。你可以从官方网站(https://www.charlesproxy.com/)下载适合你操作系统的版本,并按照安装向导进行安装。
- 配置浏览器代理。启动Charles后,在浏览器中配置代理,将代理设置为Charles所在的IP地址和端口(默认端口为8888)。这样可以确保所有的浏览器请求都通过Charles进行中间人代理。
步骤二:设置替换规则
- 打开Charles主界面后,点击“Tools”菜单,选择“Map Local…”。
- 在“Map Local”对话框中,点击“Add”按钮添加一个新的映射规则。
- 在映射规则中,填写要映射的远程URL和本地文件的路径。远程URL是指要替换的CSS或JS文件的网络路径,本地文件路径是指你准备替换的本地文件路径。点击“Browse”按钮来选择本地文件。
步骤三:应用更改并验证
- 确保你已经完成了所有的替换规则并保存了它们。
- 在浏览器中访问包含被替换文件的网页。Charles会中间人代理该请求并返回替换后的文件。
- 在Charles的主界面中,可以点击“Sequence”选项卡查看正在进行的请求。找到相应的请求,可以通过右键单击和选择“Save Response…”来保存响应文件。
- 检查网页以确认CSS或JS文件已被成功替换。你可以通过查看源代码、开发者工具或网页效果的变化来验证替换的结果。
需要注意的是,Charles只会在请求被重定向到代理的情况下才会生效,所以你可能需要在浏览器中配置代理以确保请求能够经过Charles。
使用Charles进行CSS和JS文件的替换可以帮助你在开发和测试过程中进行一些定制化的操作,比如替换特定的CSS样式或JS代码,从而实现一些特定的测试需求。
四丶mitmproxy
mitmproxy脚本编写-数据截取-代理响应
当涉及到PC端爬虫工程师的自动化和抓包专题时,mitmproxy是一个常用的工具,它可以作为中间人攻击(Man-in-the-Middle)的代理服务器,用于截取和修改客户端和服务器之间的通信数据。在此基础上,您可以使用mitmproxy的脚本编写功能来实现数据截取和代理响应的自动化处理。
下面是一些基本步骤来编写mitmproxy脚本以实现数据截取和代理响应的自动化:
1.安装mitmproxy:您可以从mitmproxy官方网站
(https://mitmproxy.org/)下载并安装mitmproxy,根据您的操作系统选择合适的版本。
2.创建脚本文件:使用文本编辑器创建一个Python脚本文件,例如mitmproxy_script.py
。
3.导入必要的模块:您的脚本需要导入mitmproxy、http和netlib等模块,可以使用类似以下的代码进行导入:
from mitmproxy import ctx, http
from mitmproxy.net import encoding
4.编写脚本逻辑:在脚本文件中,您可以定义各种回调函数来处理请求和响应。下面是几个常用的回调函数:
request(flow: http.HTTPFlow)
:处理每个请求流(Flow),您可以在此函数中访问和修改请求的信息。response(flow: http.HTTPFlow)
:处理每个响应流(Flow),您可以在此函数中访问和修改响应的信息。
5.实现数据截取和代理响应逻辑:在相应的回调函数中,您可以编写代码来实现数据截取和代理响应的逻辑。以下是一些示例代码片段:
def request(flow: http.HTTPFlow):# 检查请求是否符合条件if 'example.com' in flow.request.host:# 获取请求数据request_data = flow.request.content# 进行相应处理...def response(flow: http.HTTPFlow):# 检查响应是否符合条件if 'example.com' in flow.request.host:# 获取响应数据response_data = flow.response.content# 进行相应处理...
在上述代码片段中,您可以使用flow.request和flow.response对象来获取请求和响应的相关信息,例如URL、请求头、请求体、响应状态码、响应头和响应体等。
6.运行mitmproxy脚本:使用命令行工具进入到脚本文件所在的目录,并运行以下命令来启动mitmproxy并加载您的脚本:
mitmproxy -s mitmproxy_script.py
此命令将启动mitmproxy,并将您的脚本作为参数传递给它。mitmproxy将开始监听网络流量,并在请求和响应时调用相应的回调函数。
通过以上步骤,您可以编写mitmproxy脚本来实现数据截取和代理响应的自动化。您可以根据具体的需求和场景进一步定制和优化脚本逻辑。
适用于零基础学习和进阶人群的python资源:
① 腾讯认证python完整项目实战教程笔记PDF
② 十几个大厂python面试专题PDF
③ python全套视频教程(零基础-高级进阶JS逆向)
④ 百个项目实战+源码+笔记
⑤ 编程语法-机器学习-全栈开发-数据分析-爬虫-APP逆向等全套项目+文档