1、Python爬虫基础

1.1、了解网页结构

在进行爬虫之前，首先需要了解网页的结构。大多数网页都是使用HTML（超文本标记语言）编写的，而现代网页通常还会使用CSS（层叠样式表）和JavaScript来增强视觉效果和交互性。

• HTML：网页的主要内容，包括文本、图片、链接等。
• CSS：用于美化HTML元素，定义它们的布局、颜色和样式。
• JavaScript：一种编程语言，用于控制网页的行为和动态内容。

1.2、选择合适的工具

Python有许多库可以用于爬虫，其中最常用的是requests和BeautifulSoup。

• requests：用于发送HTTP请求。
• BeautifulSoup：用于解析HTML和XML文档。

1.3、发送HTTP请求

使用requests库可以很容易地发送HTTP请求。

import requests
url = 'https://www.example.com'
response = requests.get(url)

1.4、解析HTML内容

使用BeautifulSoup库可以解析HTML文档。

from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, 'html.parser')

1.5、提取数据

一旦解析了HTML，就可以使用BeautifulSoup的方法来提取所需的数据。

# 提取所有的链接
links = soup.find_all('a')
for link in links:print(link.get('href'))

1.6、注意事项

• 遵守网站规则：在进行爬虫之前，务必查看目标网站的robots.txt文件，并遵守网站的使用条款。
• 异常处理：网络请求可能会失败，需要添加异常处理来确保爬虫的健壮性。
• 反爬虫机制：一些网站可能会检测并阻止爬虫行为，需要采取相应的措施来绕过这些机制。

2、Scrapy框架入门

Scrapy是一个强大的Python爬虫框架，它提供了完整的爬虫解决方案，包括发送请求、解析响应、提取数据、持久化存储等功能。

2.1、安装Scrapy

首先，需要安装Scrapy。

pip install scrapy

2.2、创建一个新的Scrapy项目

使用Scrapy命令创建一个新的项目。

scrapy startproject myproject

这将创建一个名为myproject的新目录，其中包含Scrapy项目的初始结构。

2.3、创建一个爬虫

在项目中创建一个新的爬虫。

cd myproject
scrapy genspider example_spider example.com

这将创建一个名为example_spider的新爬虫，用于爬取example.com网站的数据。

2.4、编写爬虫代码

打开example_spider.py文件，并编写爬虫代码。

import scrapy
class ExampleSpider(scrapy.Spider):name = 'example_spider'allowed_domains = ['example.com']start_urls = ['https://www.example.com/']def parse(self, response):# 提取数据pass

2.5、解析数据

在parse方法中，可以使用Scrapy提供的选择器（如css和xpath）来解析数据。

import scrapy
class ExampleSpider(scrapy.Spider):name = 'example_spider'allowed_domains = ['example.com']start_urls = ['https://www.example.com/']def parse(self, response):# 使用CSS选择器提取数据links = response.css('a::attr(href)').getall()for link in links:yield response.follow(link, self.parse_link# 使用XPath选择器提取数据links = response.xpath('//a/@href').getall()for link in links:yield response.follow(link, self.parse_link)def parse_link(self, response):# 在这里处理每个链接的响应pass

2.6、存储数据

Scrapy允许我们将提取的数据存储到不同的后端，如JSON、CSV、数据库等。

import scrapy
class ExampleSpider(scrapy.Spider):name = 'example_spider'allowed_domains = ['example.com']start_urls = ['https://www.example.com/']def parse(self, response):# 提取数据item = {'url': response.url}yield itemdef closed(self, spider):# 在爬虫关闭时，将数据保存到JSON文件with open('items.json', 'w') as f:json.dump(self.items, f)

2.7、运行Scrapy爬虫

使用Scrapy命令运行爬虫。

scrapy crawl example_spider

这将启动Scrapy的运行器，并执行example_spider爬虫。

3、结论

在本篇博客中，我们首先介绍了Python爬虫的基础知识，包括了解网页结构、选择合适的工具、发送HTTP请求、解析HTML内容和提取数据。然后，我们介绍了Scrapy框架，这是一个强大的Python爬虫框架，提供了完整的爬虫解决方案。我们学习了如何创建一个新的Scrapy项目、创建一个爬虫、编写爬虫代码、解析数据和存储数据。