目录
- 1.抓包工具查看网站信息
- 2.代码实现
- 3.运行结果
1.抓包工具查看网站信息
请求路径
url:https://movie.douban.com/typerank
请求参数
页面往下拉,出现新的请求结果,参数start更新,每次刷新出20条新的电影数据
2.代码实现
# 使用网络爬虫,爬取https://movie.douban.com/typerank 的电影数据# 导入requests包
import requests#请求路径
url = "https://movie.douban.com/j/chart/top_list"# 请求头
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 Edg/131.0.0.0"
}# 参数
params = {"type": "11","interval_id": "100:90","action": "","start": 60,"limit": 20
}# 发送请求,获取响应
response = requests.get(url, params=params,headers=headers)# 输出
print(response.json())# 关闭响应
response.close()
3.运行结果
start为60 的运行结果
start为0 的运行结果