最近爬一个网站，遇到了个很棘手的问题，网页访问正常，查看网页源码内容能看到想要的信息，但是用python去爬的话就会遇到反爬Cloudflare 5秒盾的检测，返回各种比如Just a moment…等等的结果，最后用了两种方法解决
1、使用Cloudscraper
这个估计是大部分人的解决方法了，毕竟很实用，直接上代码

import re
# pip install cloudscraper
import cloudscraper
import urllib3
urllib3.disable_warnings()
url = 'https://www.xxx.com'
response = scraper.get(url).text
print(response)

2、使用curl_cffi

import re
# pip install curl_cffi 
from curl_cffi import requests
import urllib3
urllib3.disable_warnings()
url = "https://www.xxx.com"
response = requests.get(url,  impersonate="chrome101").text
print(response)

基本上都是几行代码解决，已经适应了很多场景，基本上都能解决问题了