初识爬虫2

requests学习：

小技巧，如果你用的也是pycharm，对于控制台输出页面因为数据很长一行，不方便进行查看，

可以让它自动换行：

1.requests文档阅读学习链接：快速上手 — Requests 2.18.1 文档

需掌握

2.发送请求和获取响应

# -*- coding: utf-8 -*-
# 安装：pip install requests
import requests
url = 'https://www.baidu.com'
response = requests.get(url)
# response是string类型，编码格式可能出现问题
# 方法一：
# response.encoding = 'utf8'
# print(response.text)# 方法二：
# content存储的是bytes类型的响应源码
# decode()默认utf-8 常见编码字符集：utf-8 gbk gb2312 ascii iso-8859-1
print(response.content.decode())# 常见的响应对象参数与方法
# 响应url
# print(response.url)# 状态码
# print(response.status_code)# 响应头的请求头
# print(response.request.headers)
# 响应头
# print(response.headers)# 答应响应设置cookies
# print(response.cookies)

3.发送带请求头的参数（上一篇讲到的重点user-agent）

# -*- coding: utf-8 -*-
import requests
# ctrl+点击 可实现跳转
url = 'https://www.baidu.com'
# response = requests.get(url)
#
# print(len(response.content.decode()))
# print(response.content.decode())# headers参数的使用，伪装 user-agent
# 构建请求头字典
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36'}
# 发送带请求头的请求
response1=requests.get(url,headers=headers)
print(len(response1.content.decode()))
print(response1.content.decode())

4.发送带参数的请求

4.1 url中直接带参数

4.2 通过params携带参数字典

百度搜索python，可以发现访问链接是一个长串，其实里面很多是广告的插入：

可以从末尾&删除找到依次删除，最后得到：

# -*- coding: utf-8 -*-
import requestsimport requests
import time# 方法一：url中直接带参数
url = 'https://www.baidu.com/s?wd=python'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'
}# 加一个延迟
time.sleep(2)response = requests.get(url, headers=headers)with open('baidu.html', 'wb') as f:f.write(response.content)# 方法二：使用params参数
# url = 'https://www.baidu.com/s?'
# headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36'}
#
# #构建参数字典
# data = {'wd': 'python'}
#
# response = requests.get(url, headers=headers, params=data)
# print(response.url)
# with open('baidu1.html', 'wb') as f:
#     f.write(response.content)

因为百度加强了反爬机制，上面代码得到的html文件并不含有需要的

<title>python_百度搜索</title>

尝试更换 User-Agent，适当降低请求频率：

import requests  
import time  # 方法一：url中直接带参数  
url = 'https://www.baidu.com/s?wd=python'  
headers = {  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'  
}  # 加一个延迟  
time.sleep(2)  response = requests.get(url, headers=headers)  with open('baidu.html', 'wb') as f:  f.write(response.content)

还是没有解决，最后只能使用 Selenium 进行浏览器自动化，我这用的edge，也可以chrome.

# -*- coding: utf-8 -*-
# 安装:pip install selenium
from selenium import webdriver
from selenium.webdriver.edge.service import Service
from selenium.webdriver.edge.options import Options
import time# 设置 Edge 选项
edge_options = Options()
edge_options.add_argument("--headless")  # 无头模式，不显示浏览器界面
edge_options.add_argument("--no-sandbox")
edge_options.add_argument("--disable-dev-shm-usage")# 创建 Edge 驱动
service = Service('E:\\edgedriver\\msedgedriver.exe')  # 替换为你的 msedgedriver 路径
driver = webdriver.Edge(service=service, options=edge_options)# 打开百度搜索
driver.get('https://www.baidu.com/s?wd=python')# 等待页面加载
time.sleep(3)# 获取页面源代码
html = driver.page_source# 保存到文件
with open('baidu_search_results.html', 'w', encoding='utf-8') as f:f.write(html)# 关闭浏览器
driver.quit()