'''
静态:访问地址栏里的数据就可以获取到想要的数据
动态:访问地址栏里的数据获取不到想要的数据
解决方案:抓包
打开浏览器的开发者工具-network-xhr,找到可以获取到数据的URL访问即可
'''
获取url地址
代码实现:
from urllib.request import Request,urlopen
from fake_useragent import UserAgenturl ='https://www.hupu.com/home/v1/news?pageNo=2&pageSize=50'
headers ={'User-Agent':UserAgent().chrome
}
req = Request(url,headers=headers)
resp = urlopen(req)
print(resp.read().decode())
执行结果: