Python 多线程探索

在 Python 编程中，多线程是一项强大的技术，它允许我们同时执行多个任务，从而提高程序的效率和响应性。

一、线程的基本概念

线程是进程中的一个执行单元，可以与其他线程共享进程的资源。

二、创建线程

在 Python 中，我们可以使用threading模块来创建线程。以下是一个简单的示例代码：

import threading# 定义线程执行的函数
def thread_function(name):print(f"线程 {name} 正在运行")# 创建线程
thread1 = threading.Thread(target=thread_function, args=("线程 1",))
thread2 = threading.Thread(target=thread_function, args=("线程 2",))# 启动线程
thread1.start()
thread2.start()

三、线程同步

当多个线程访问共享资源时，可能会出现数据不一致的问题。为了解决这个问题，我们可以使用锁。

import threading# 创建锁
lock = threading.Lock()# 共享资源
counter = 0def increment():global counterwith lock:  # 使用锁来保护对共享资源的访问counter += 1# 创建多个线程来执行递增操作
thread1 = threading.Thread(target=increment)
thread2 = threading.Thread(target=increment)thread1.start()
thread2.start()thread1.join()
thread2.join()print(counter)

四、线程间通信

线程之间可以通过一些机制进行通信，例如使用队列。

import threading
from queue import Queue# 定义任务队列
task_queue = Queue()def worker():while not task_queue.empty():task = task_queue.get()print(f"执行任务: {task}")# 添加任务到队列
task_queue.put("任务 1")
task_queue.put("任务 2")# 创建线程来执行任务
thread = threading.Thread(target=worker)# 启动线程
thread.start()

多线程爬虫

以下是一个使用 Python 多线程进行爬虫的示例代码：

import threading
import requests
from bs4 import BeautifulSoup# 定义要爬取的网页列表
web_pages = ["https://example1.com", "https://example2.com", "https://example3.com"]# 线程执行函数
def crawl_page(url):response = requests.get(url)soup = BeautifulSoup(response.text, 'html.parser')# 在这里进行网页内容的处理和提取# 创建线程并启动
threads = []
for page in web_pages:thread = threading.Thread(target=crawl_page, args=(page,))thread.start()threads.append(thread)# 等待所有线程完成
for thread in threads:thread.join()