知识准备
1) Python语言
Python 爬虫作为 Python 编程的进阶知识,要求具备较好的 Python 编程基础
了解 Python 语言的多进程与多线程,并熟悉正则表达式语法,也有助于编写爬虫程序
2) Web前端
了解 Web 前端的基本知识,比如 HTML、CSS、JavaScript,这能够帮助分析网页结构,提炼出有效信息
3) HTTP协议
掌握 OSI 七层网络模型,了解 TCP/IP 协议、HTTP 协议,这些知识将帮助了解网络请求(GET 请求、POST 请求)和网络传输的基本原理。同时,也有助了解爬虫程序的编写逻辑
环境准备
编写 Python 爬虫程序前,需要准备相应的开发环境
安装 Python,然后下载安装 Pycharm IDE(集成开发环境)工具