import requests #导入requests模块
#UA：User-Agnet:请求载体身份标识
#UA检测：各大门户网站的服务器都会检测请求载体的身份标识，如果请求载体的身份标识为某一款服务器，
#则该请求为正常请求，如果请求载体的身份标识为某个爬虫程序，则服务器很可能拒绝该请求
#UA伪装：将爬虫程序伪装成某款浏览器
#指定URL
#如果该python文件为入口程序，则执行if语句下的代码
if __name__=="__main__":url='https://www.sogou.com/web'#进行UA伪装，模拟浏览器，注意将User-Agent封装在一个字典中headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2 '}#url携带参数，参数封装在一个字典中word=input('enter a word:')params ={'query':word}#向服务器发起请求，url携带参数，并在请求过程中处理了参数response=requests.get(url=url,headers=headers,params=params)#获取字符串形式的响应数据page_text=response.text#持久化存储，写入一个文件fileName=word+'.html'with open(fileName,'w',encoding='utf8')  as fp:fp.write(page_text)print(fileName+'网页采集成功！！！')