1. 什么是互联网爬虫?
解释 1 :通过一个程序,根据 Url ( http : // www . taobao . com ) 进行爬取网页,获取有用信息
解释 2:使用程序模拟浏览器,去向服务器发送请求,获取响应信息
2. 爬虫核心 ?
1. 爬取网页:爬取整个网页 包含了网页中所有得内容
2. 解析数据:将网页中你得到的数据 进行解析
3. 难点:爬虫和反爬虫之间的博弈
3. 爬虫的用途?
数据分析 / 人工数据集
社交软件冷启动
舆情监控
竞争对手监控
4. 爬虫分类?
5. 反爬手段?