目录

前言

10.1 概念

10.2 调度器/解析器

10.3 存储器/去重器

10.4 日志模块

10.5 反爬模块

10.6 代理模块

---

 前言

    在渗透工具中，网络爬虫有着不可忽视的作用，它能够快速而精准的搜寻、提取我们所需要的信息并按照我们所需要的格式排列，那么今天我们就来学习使用python编写实用的爬虫吧！坚持科技向善，勿跨越法律界限，代码仅供教学目的。初出茅庐，如有错误望各位不吝赐教。

10.1 概念

    网络爬虫是指自动访问互联网上的网页并提取相关信息的程序。Python是一种常用的编程语言，可以用来编写网络爬虫。Python爬虫的架构通常包括以下几个组件：

1. 调度器（Scheduler）：负责管理爬取的URL队列，将待爬取的URL添加到队列中，并根据一定的策略从队列中取出URL进行爬取。

2. 下载器（Downloader）：负责下载URL对应的网页内容，并将下载结果返回给爬虫程序。

3. 解析器（Parser）：负责解析下载下来的网页内容，提取出需要的数据。

4. 存储器（Storage）：负责将解析出的数据进行存储，可以是保存到数据库中、写入文件等。

5. 去重器（Deduplicator）：负责对已下载的URL进行去重，避免重复的爬取。

6. 调度器、下载器、解析器、存储器之间一般通过消息队列、数据库等通信机制进行交互。

在实际的爬虫项目中，爬虫的整体流程为：调度器从URL队列中取出一个URL，交给下载器下载该URL对应的网页内容，下载完成后将结果交给解析器进行解析，提取出需要的数据，并交给存储器进行存储。同时，去重器会对已下载的URL进行去重，避免重复爬取。

10.2 调度器/解析器

   网络爬虫是指自动访问互联网上的网页并提取相关信息的程序。Python是一种常用的编程语言，也可以用来编写网络爬虫。

我们用Python编写一个简单的爬虫调度器：

在Python中，你可以使用requests库来发送HTTP请求获取网页内容，使用BeautifulSoup库来解析网页内容。

import requests
from bs4 import BeautifulSoup

发送请求获取网页内容：使用requests库发送HTTP请求并获取网页内容。

url = "https://www.example.com"  # 要爬取的网页地址
response = requests.get(url)
html = response.text  # 获取网页内容

要学习如何编写爬虫的解析器，我们需要先学习正则表达式的编写： 

正则表达式是一种用来匹配字符串的工具，可以用来搜索、替换和提取字符串中的特定模式。在Python中，正则表达式的相关函数和模块被封装在re模块中。

下面我们再来学习编写爬虫的解析器，用于筛选出我们需要的信息。我们可以使用re模块来进行字符串的正则表达式匹配。下面是一些常用的re模块函数：

1. re.match(pattern, string, flags=0):

   • 函数用于尝试从字符串的起始位置匹配一个模式。
   • 如果匹配成功，返回一个匹配对象；如果匹配失败，返回None。
   • pattern：要匹配的正则表达式模式。
   • string：要匹配的字符串。
   • flags：可选参数，用于控制匹配的模式。

2. re.search(pattern, string, flags=0):

   • 函数用以在字符串中搜索匹配的第一个位置，返回一个匹配对象。
   • pattern：要匹配的正则表达式模式。
   • string：要匹配的字符串。
   • flags：可选参数，用于控制匹配的模式。

3. re.findall(pattern, string, flags=0):

   • 函数用以在字符串中搜索匹配的所有位置，返回一个列表。
   • pattern：要匹配的正则表达式模式。
   • string：要匹配的字符串。
   • flags：可选参数，用于控制匹配的模式。

下面是一个示例，演示如何使用re模块来匹配字符串：

import re# 匹配字符串中的数字
pattern = r'\d+'
string = 'abc123def456ghi'# 使用re.search()匹配第一个数字
match = re.search(pattern, string)
if match:print(f'Matched: {match.group()}')  # 输出：Matched: 123# 使用re.findall()匹配所有数字
matches = re.findall(pattern, string)
if matches:print(f'All Matches: {matches}')  # 输出：All Matches: ['123', '456']

在上面的示例中，使用正则表达式模式r'\d+'匹配字符串中的数字。首先使用re.search()函数匹配第一个数字，然后使用re.findall()函数匹配所有数字。输出结果显示匹配到的数字。

---

学会了re模块的主要函数，接下来我们来学习正则表达式筛选条件的编写： 

1. 字符匹配

   • 字符：使用普通字符直接匹配，例如匹配字符串 "hello"，可以使用正则表达式 "hello"。
   • 句点（.）：匹配任意一个字符，除了换行符（\n）。
   • 字符集（[]）：匹配方括号中的任意一个字符。例如，[aeiou] 匹配任意一个元音字母。
   • 转义字符（\）：用来匹配特殊字符。例如，匹配圆括号字符，可以使用 "("。
   • 重复次数：用于指定一个字符的重复次数。例如，a{3} 匹配 "aaa"。
   • 元字符（\d、\w、\s）：用于匹配特定类型的字符。例如，\d 匹配任意一个数字字符。

2. 边界匹配

   • 开始位置（^）：匹配字符串的开始位置。
   • 结束位置（$）：匹配字符串的结束位置。

3. 重复匹配

   • 重复（*）：匹配前面的元素0次或多次。
   • 加号（+）：匹配前面的元素1次或多次。
   • 问号（?）：匹配前面的元素0次或1次。
   • 花括号（{}）：匹配前面的元素指定的次数范围。例如，a{2,4} 匹配 "aa"、"aaa"、"aaaa"。

4. 分组和捕获

   • 圆括号（()）：用于分组的目的。例如，(ab)+ 匹配 "ab"、"abab"、"ababab"。
   • 捕获组（\1、\2、\3...）：用于引用分组中的内容。例如，(\w+)\s+\1 匹配 "hello hello"。

5. 特殊序列

   • \d：匹配任意一个数字字符。等价于 [0-9]。
   • \D：匹配任意一个非数字字符。等价于 [^0-9]。
   • \w：匹配任意一个字母、数字或下划线字符。等价于 [a-zA-Z0-9_]。
   • \W：匹配任意一个非字母、数字或下划线字符。等价于 [^a-zA-Z0-9_]。
   • \s：匹配任意一个空白字符，包括空格、制表符、换行符等。
   • \S：匹配任意一个非空白字符。

以上是正则表达式的一些常用语法，我们再来看看爬虫常用的筛选条件：

soup = BeautifulSoup(html, "html.parser")  # 使用html.parser解析器解析网页内容
# 提取需要的信息
title = soup.title.text  # 提取网页标题
links = soup.find_all("a")  # 提取所有链接

10.3 存储器/去重器

    完成了调度器与解析器的编写，我们再来看三要素里的最后一个：爬虫的存储器。它用于将爬取完成后的数据储存起来，下面我们利用python的文件写入方法来对数据进行储存，并将提取的信息保存到文件或数据库中。

# 保存到文件
with open("output.txt", "w") as f:f.write(title)for link in links:f.write(link.get("href"))

好了！我们已经写出了网络爬虫最主要的三个部分，接下来是时候为它添加上更加丰富的功能了，为了使我们的爬虫不会爬取相同的网页，我们来编写一个爬虫的去重器。以下是爬虫去重器的示例代码：

import hashlibdef get_md5(url):"""计算URL的MD5值"""if isinstance(url, str):url = url.encode("utf-8")m = hashlib.md5()m.update(url)return m.hexdigest()class Deduplicator:def __init__(self):self.visited_urls = set()def is_visited(self, url):"""判断URL是否已经被访问过"""url_md5 = get_md5(url)if url_md5 in self.visited_urls:return Trueelse:self.visited_urls.add(url_md5)return False

使用方法：

deduplicator = Deduplicator()
url = "http://example.com"if deduplicator.is_visited(url):print("URL已被访问过")
else:print("URL未被访问过")

以上代码中，get_md5函数用于计算URL的MD5值，将其作为唯一的标识。Deduplicator类用于存储已经访问过的URL，通过调用is_visited方法判断URL是否已经被访问过。如果URL已被访问过，则返回True；如果URL未被访问过，则将其MD5值添加到已访问集合中，并返回False。

10.4 日志模块

    日志模块，可以使我们的爬虫爬取日志信息，提取不同级别的日志，编写Python爬虫的日志模块可以使用Python内置的logging模块来实现。下面是一个简单示例：

import logging# 创建日志对象
logger = logging.getLogger('crawler')
logger.setLevel(logging.DEBUG)# 创建文件handler，用于将日志写入文件
file_handler = logging.FileHandler('crawler.log')
file_handler.setLevel(logging.DEBUG)# 创建控制台handler，用于在控制台输出日志
console_handler = logging.StreamHandler()
console_handler.setLevel(logging.INFO)# 定义日志格式
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
file_handler.setFormatter(formatter)
console_handler.setFormatter(formatter)# 将handler添加到日志对象中
logger.addHandler(file_handler)
logger.addHandler(console_handler)

以上代码创建了一个名为'crawler'的日志对象，并设置了日志级别为DEBUG，即最低级别的日志会输出到文件和控制台。可以根据需求进行调整日志级别。

接下来，可以在爬虫代码中使用日志对象来记录日志信息。例如：

url = 'http://example.com'try:# 爬取数据的代码logger.debug(f'Start crawling url: {url}')# ...# 爬取成功的日志信息logger.info(f'Successfully crawled url: {url}')
except Exception as e:# 爬取失败的日志信息logger.error(f'Failed to crawl url: {url}. Error message: {str(e)}')

以上代码会在开始爬取URL和成功爬取URL时分别记录DEBUG级别和INFO级别的日志信息，如果爬取过程中出现异常，则会记录ERROR级别的日志信息，并将异常信息作为日志消息的一部分。所有日志信息会同时输出到文件和控制台。

这样，就完成了一个简单的Python爬虫日志模块的编写。我们可以根据实际需求对日志模块进行扩展和优化，例如添加日志文件的切割、设置日志文件大小等。

10.5 反爬模块

    当遇到反爬机制时，我们可以使用Python编写一些反爬模块来应对。这些模块可以帮助我们绕过一些常见的反爬手段，如User-Agent检测、验证码识别、IP封锁等。

以下是一个示例，演示了如何使用Python的requests库和验证码识别库tesseract来实现一个简单的反爬模块：

import requests
from PIL import Image
import pytesseract# 请求头，可以根据具体的网站进行调整
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}# 请求网页，可以添加其他参数，如代理IP等
response = requests.get('http://example.com', headers=headers)# 如果返回的响应中有验证码图片，可以使用Pillow库来处理
if 'captcha' in response.text:# 找到验证码图片的URLcaptcha_url = 'http://example.com/captcha.jpg'captcha_response = requests.get(captcha_url, headers=headers)# 保存验证码图片到本地with open('captcha.jpg', 'wb') as f:f.write(captcha_response.content)# 使用tesseract来识别验证码captcha = pytesseract.image_to_string(Image.open('captcha.jpg'))# 构建包含验证码的表单数据data = {'captcha': captcha,# 其他表单数据...}# 提交包含验证码的表单数据response = requests.post('http://example.com/submit', data=data, headers=headers)# 处理响应内容
# ...

注：这只是一个简单的示例，实际应用时可能需要根据具体的反爬机制进行具体调整和优化。此外，还可以考虑使用代理IP池、使用多个账号轮流访问等更复杂的反爬策略。

10.6 代理模块

最后，我们再来使用Python编写爬虫的代理模块：

import requests# 使用代理IP访问网页
def request_with_proxy(url, proxies):try:# 使用get方法发送请求response = requests.get(url, proxies=proxies)# 返回响应内容return response.textexcept requests.exceptions.RequestException as e:print('Error:', e)# 获取代理IP
def get_proxy():try:# 代理IP的API地址api_url = 'http://api.ip.data5u.com/dynamic/get.html?order=YOUR_ORDER_NUMBER&ttl=1&json=1'response = requests.get(api_url)# 解析返回的JSON数据data = response.json()# 提取代理IP和端口号proxy_ip = data['data'][0]['ip']proxy_port = data['data'][0]['port']# 构造代理IP字典proxy = {'http': f'http://{proxy_ip}:{proxy_port}','https': f'https://{proxy_ip}:{proxy_port}',}return proxyexcept requests.exceptions.RequestException as e:print('Error:', e)# 测试代理IP是否可用
def test_proxy(proxy):try:# 使用httpbin.org作为测试目标网站url = 'http://httpbin.org/ip'response = requests.get(url, proxies=proxy)# 解析返回的JSON数据data = response.json()# 提取IP地址ip = data['origin']print('Proxy IP:', ip)except requests.exceptions.RequestException as e:print('Error:', e)# 主函数
def main():# 获取代理IPproxy = get_proxy()if proxy:# 测试代理IP是否可用test_proxy(proxy)# 使用代理IP访问网页url = 'https://www.example.com'html = request_with_proxy(url, proxy)print(html)if __name__ == '__main__':main()

确保将YOUR_ORDER_NUMBER替换为在代理IP网站上获得的订单号。在上述代码中，我们使用httpbin.org作为测试网站，可以将url变量替换为任何想要访问的实际网站。

好了，到这里就是今天的全部内容了，如有帮助不胜荣幸。