Python并行编程详解：发挥多核优势的艺术

更多资料获取

📚 个人网站：ipengtao.com

在当今计算机时代，充分发挥多核处理器的性能是提高程序运行效率的关键。Python作为一门强大的编程语言，提供了多种并行编程工具和库。本文将深入介绍Python中的并行编程，探讨如何利用多核优势，通过详实的示例代码，帮助大家更全面地理解并实践并行编程的各种技术。

使用 multiprocessing 模块

multiprocessing 模块是Python中实现并行编程的标准库，通过使用进程来并行执行任务。

import multiprocessingdef worker(task):print(f"Executing task: {task}")if __name__ == "__main__":tasks = ['task1', 'task2', 'task3']with multiprocessing.Pool(processes=3) as pool:pool.map(worker, tasks)

这个简单的示例展示了如何使用 multiprocessing.Pool 来创建进程池，实现对任务的并行执行。

使用 concurrent.futures 模块

concurrent.futures 模块提供了更高级别的接口，例如 ThreadPoolExecutor 和 ProcessPoolExecutor，使得并行编程更加便捷。

import concurrent.futuresdef worker(task):print(f"Executing task: {task}")if __name__ == "__main__":tasks = ['task1', 'task2', 'task3']with concurrent.futures.ProcessPoolExecutor() as executor:executor.map(worker, tasks)

这个例子展示了如何使用 concurrent.futures 模块的 ProcessPoolExecutor 来实现进程级别的并行执行。

使用 asyncio 进行异步编程

asyncio 是Python的异步编程框架，通过使用 async/await 语法，可以在单线程中实现高效的并行执行。

import asyncioasync def worker(task):print(f"Executing task: {task}")async def main():tasks = ['task1', 'task2', 'task3']await asyncio.gather(*(worker(task) for task in tasks))if __name__ == "__main__":asyncio.run(main())

这个例子展示了如何使用 asyncio 和 async/await 语法，实现协程级别的并行执行，提高程序的响应性。

使用 joblib 进行任务并行化

joblib 是一个专注于数据并行和批处理任务的库，适用于科学计算和数据处理场景。

from joblib import Parallel, delayeddef worker(task):print(f"Executing task: {task}")if __name__ == "__main__":tasks = ['task1', 'task2', 'task3']Parallel(n_jobs=3)(delayed(worker)(task) for task in tasks)

这个例子展示了如何使用 joblib 的 Parallel 来进行任务的并行化处理，特别适用于迭代式任务。

使用 Ray 进行分布式计算

Ray 是一个开源的分布式计算框架，提供了简单而强大的 API，使得分布式任务调度变得容易。

import ray@ray.remote
def worker(task):print(f"Executing task: {task}")if __name__ == "__main__":ray.init()tasks = ['task1', 'task2', 'task3']ray.get([worker.remote(task) for task in tasks])

这个例子展示了如何使用 Ray 框架，通过 ray.remote 来定义远程任务，并在分布式集群上并行执行任务。

调度与同步

在并行编程中，任务的调度和同步是至关重要的。Python提供了各种工具和机制，如锁、事件、信号量等，来确保并发任务之间的协同工作。

import threading
import timedef worker(lock, task):with lock:print(f"Executing task: {task}")time.sleep(1)if __name__ == "__main__":tasks = ['task1', 'task2', 'task3']lock = threading.Lock()threads = [threading.Thread(target=worker, args=(lock, task)) for task in tasks]for thread in threads:thread.start()for thread in threads:thread.join()

这个例子演示了如何使用 threading.Lock 来确保多个线程之间的任务同步，避免竞争条件。

性能优化与注意事项

并行编程虽然提高了程序的运行效率，但也伴随着性能优化和一些注意事项。例如，合理设置并发任务的数量，避免过度的并行导致资源争用。

import concurrent.futuresdef worker(task):print(f"Executing task: {task}")if __name__ == "__main__":tasks = ['task1', 'task2', 'task3']with concurrent.futures.ThreadPoolExecutor(max_workers=2) as executor:executor.map(worker, tasks)

这个例子中，

通过 max_workers 参数控制线程池的最大工作线程数量，以避免过度并行。

分布式计算的挑战与解决方案

在大规模数据和计算场景中，分布式计算是一项关键而复杂的任务。虽然框架如 Ray 提供了方便的分布式计算工具，但面临一系列挑战需要仔细考虑。以下是一些主要挑战以及相应的解决方案：

1. 数据传输与通信开销

挑战： 在分布式环境中，数据传输成为性能瓶颈，通信开销可能占据大量时间。

解决方案：

  • 数据局部性优化： 尽可能将数据存储在计算节点附近，减少数据传输。

  • 压缩和序列化： 使用数据压缩和序列化技术减小传输数据量，降低通信开销。

2. 任务调度和负载均衡

挑战： 有效的任务调度和负载均衡是确保分布式计算性能的关键。

解决方案：

  • 智能调度算法： 使用智能的任务调度算法，根据节点负载和任务复杂性进行动态分配。

  • 动态负载均衡： 实时监测节点负载，动态调整任务分布，避免节点间负载不均。

3. 容错性和数据一致性

挑战： 在分布式系统中，节点故障和数据一致性是常见问题。

解决方案：

  • 容错机制： 使用容错技术，如检查点和恢复，以处理节点故障。

  • 一致性协议： 使用分布式一致性协议，如Paxos或Raft，确保数据一致性。

4. 安全性

挑战： 分布式计算面临的安全威胁包括数据泄露和恶意攻击。

解决方案：

  • 加密通信： 使用加密技术保护节点间通信，防止数据泄露。

  • 身份验证和授权： 实施严格的身份验证和授权机制，限制对系统的未授权访问。

5. 难以调试和监控

挑战： 在分布式环境中，调试和监控变得更加困难。

解决方案：

  • 分布式日志： 使用分布式日志系统，集中记录各节点的日志信息。

  • 可视化工具： 使用可视化工具监控节点状态和任务执行情况，便于问题追踪。

并行编程的适用场景

并行编程在多个领域都有广泛的应用，以下是一些适用场景以及相应的代码示例：

1. 数据处理

场景： 并行处理大规模数据集。

代码示例： 使用 concurrent.futures 模块进行数据处理。

import concurrent.futuresdef process_data(data):# 数据处理逻辑result = data * 2return resultif __name__ == "__main__":data_set = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]with concurrent.futures.ProcessPoolExecutor() as executor:results = list(executor.map(process_data, data_set))print("Processed Data:", results)

2. 机器学习训练

场景： 并行训练深度学习模型。

代码示例： 使用 TensorFlow 中的 tf.distribute 模块进行模型训练。

import tensorflow as tf
from tensorflow import keras# 构建并编译模型
model = keras.Sequential([...])
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])# 使用分布式策略
strategy = tf.distribute.MirroredStrategy()with strategy.scope():# 在并行环境中训练模型model.fit(train_dataset, epochs=5)

3. 科学计算

场景： 并行进行科学计算任务。

代码示例： 使用 NumPy 和 concurrent.futures 进行向量化操作。

import numpy as np
import concurrent.futuresdef perform_computation(data):# 科学计算任务result = np.sqrt(data) * 2return resultif __name__ == "__main__":large_array = np.random.rand(1000000)with concurrent.futures.ThreadPoolExecutor() as executor:results = list(executor.map(perform_computation, large_array))print("Computed Results:", results[:5])

4. 图像和信号处理

场景： 并行处理图像或信号。

代码示例： 使用 OpenCV 和 concurrent.futures 进行图像处理。

import cv2
import concurrent.futuresdef process_image(image_path):# 图像处理逻辑image = cv2.imread(image_path)resized_image = cv2.resize(image, (100, 100))return resized_imageif __name__ == "__main__":image_paths = ["image1.jpg", "image2.jpg", "image3.jpg"]with concurrent.futures.ProcessPoolExecutor() as executor:processed_images = list(executor.map(process_image, image_paths))print("Processed Images:", processed_images[:2])

5. 大规模数据库查询

场景： 并行执行复杂的数据库查询。

代码示例： 使用数据库连接池和 concurrent.futures 进行并行查询。

import psycopg2.pool
import concurrent.futures# 创建数据库连接池
db_pool = psycopg2.pool.SimpleConnectionPool(...)def perform_database_query(query):# 执行数据库查询connection = db_pool.getconn()cursor = connection.cursor()cursor.execute(query)result = cursor.fetchall()db_pool.putconn(connection)return resultif __name__ == "__main__":queries = ["SELECT * FROM table1", "SELECT * FROM table2"]with concurrent.futures.ThreadPoolExecutor() as executor:query_results = list(executor.map(perform_database_query, queries))print("Query Results:", query_results)

6. 模拟和优化

场景： 并行运行多个模拟实例或进行参数搜索。

代码示例： 使用 concurrent.futures 进行并行模拟或优化任务。

import concurrent.futuresdef run_simulation(parameters):# 模拟任务result = simulate(parameters)return resultif __name__ == "__main__":simulation_parameters = [...]with concurrent.futures.ThreadPoolExecutor() as executor:simulation_results = list(executor.map(run_simulation, simulation_parameters))print("Simulation Results:", simulation_results[:3])

7. 实时数据处理

场景： 并行处理实时生成的数据。

代码示例： 使用 concurrent.futures 进行实时数据处理。

import concurrent.futuresdef process_realtime_data(data):# 实时数据处理逻辑result = data + 10return resultif __name__ == "__main__":realtime_data_stream = [15, 20, 25, 30, 35]with concurrent.futures.ThreadPoolExecutor() as executor:processed_data = list(executor.map(process_realtime_data, realtime_data_stream))print("Processed Realtime Data:", processed_data)

异步编程的优势与适用场景

异步编程通过 asyncio 等工具提供了高效的单线程并行执行方式，适用于I/O密集型任务。这种方式避免了多线程和多进程带来的开销和复杂性，提高了程序的响应性和并发处理能力。

import asyncioasync def worker(task):print(f"Executing task: {task}")await asyncio.sleep(1)async def main():tasks = ['task1', 'task2', 'task3']await asyncio.gather(*(worker(task) for task in tasks))if __name__ == "__main__":asyncio.run(main())

并行编程的调试与错误处理

并行编程中的调试和错误处理是挑战之一，由于多任务的并行执行，问题排查可能更为复杂。因此，适当的日志记录和异常处理是必不可少的。

import logging
import concurrent.futuresdef worker(task):try:# 任务执行代码print(f"Executing task: {task}")except Exception as e:logging.error(f"Error in task {task}: {e}")if __name__ == "__main__":tasks = ['task1', 'task2', 'task3']with concurrent.futures.ThreadPoolExecutor() as executor:executor.map(worker, tasks)

并行编程的安全性考虑

在并行编程中，安全性是至关重要的。对于多线程的情况，可能需要考虑线程安全的数据结构和锁机制，以防止数据竞争和不一致性。

import threadingcounter = 0
counter_lock = threading.Lock()def increment_counter():global counterwith counter_lock:counter += 1if __name__ == "__main__":threads = [threading.Thread(target=increment_counter) for _ in range(100)]for thread in threads:thread.start()for thread in threads:thread.join()print("Counter:", counter)

总结

通过深入了解Python中的并行编程，读者可以更加自信地处理大规模计算和处理任务。并行编程为程序员提供了强大的工具，通过合理利用多核处理器和分布式集群，可以显著提升程序的性能和响应速度。在选择适当的工具和库时，务必考虑任务的性质、规模和特点，以及可能遇到的并发问题。希望本文的内容能够为读者在并行编程领域的学习和应用提供有益的指导。

Python学习路线

在这里插入图片描述

更多资料获取

📚 个人网站：ipengtao.com

如果还想要领取更多更丰富的资料，可以点击文章下方名片，回复【优质资料】，即可获取 全方位学习资料包。

在这里插入图片描述
点击文章下方链接卡片，回复【优质资料】，可直接领取资料大礼包。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/239190.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

基于第五代英特尔® 至强® 可扩展处理器的 ZStack Cube 超融合一体机

基于第五代英特尔® 至强® 可扩展处理器的 ZStack Cube 超融合一体机

“在数字化转型的驱动下，超融合一体机的工作负载正在日趋复杂化，深度学习推理等新型工作负载的运行需求在不断增长。第五代英特尔 至强 可扩展处理器通过内核性能的提升，以及英特尔 AMX 等加速器的采用，帮助我们成功提升了超融合云…
阅读更多...
获取一个程序或者代码的运行时间(以函数为例)

获取一个程序或者代码的运行时间(以函数为例)

这是一种思路,在以后计算别的运行时间的时候也可以参考 使用头文件#include<time.h> 使用time_t定义两个时间戳变量,使用time()函数 -- time(&start)&#xff0c;接收一个指针作为参数,将1970年1月1日0时0分0秒到目前执行这条语句的相差的秒数。放到传入的指针变量…
阅读更多...
力扣：205. 同构字符串（Python3）

力扣：205. 同构字符串（Python3）

题目&#xff1a; 给定两个字符串 s 和 t &#xff0c;判断它们是否是同构的。 如果 s 中的字符可以按某种映射关系替换得到 t &#xff0c;那么这两个字符串是同构的。 每个出现的字符都应当映射到另一个字符&#xff0c;同时不改变字符的顺序。不同字符不能映射到同一个字符上…
阅读更多...
Python中的面向对象编程

Python中的面向对象编程

导读&#xff1a;本文旨在帮助读者从基础到高级逐步掌握Python的面向对象编程。 目录 OOP基础&#xff1a;构建块 类和对象 定义和实例化类 属性和方法 类属性和实例属性 继承 基本继承 深入理解OOP特性 封装 封装的概念 私有属性和方法 多态 多态性的好处 在Py…
阅读更多...
C# 跨越配置

C# 跨越配置

跨越配置1 项目框架 .NET Framework 1.web.config配置 在system.webServer节点中添httpProtocol子节点 Access-Control-Allow-Origin值为“*”” <httpProtocol><customHeaders><add name"Access-Control-Allow-Origin" value"*" /><…
阅读更多...
鸿蒙ArkTS语言介绍与TS基础语法

鸿蒙ArkTS语言介绍与TS基础语法

1、ArkTS介绍 ArkTS是HarmonyOS主力应用开发语言&#xff0c;它在TS基础上&#xff0c;匹配ArkUI框架&#xff0c;扩展了声明式UI、状态管理等响应的能力&#xff0c;让开发者以更简洁、更自然的方式开发跨端应用。 JS 是一种属于网络的高级脚本语言&#xff0c;已经被广泛用…
阅读更多...
Python: 函数参数是值传递还是引用传递

Python: 函数参数是值传递还是引用传递

是引用传递。 Python的设计哲学是一切皆对象&#xff0c;不仅体现在内置数据类型、数据结构是对象&#xff0c;还包括Python编译运行需要的一些设施&#xff0c;比如stackframe、traceback等等。所以&#xff0c;为了更方便的传递数据&#xff0c;cpython内部全部采用指针传递…
阅读更多...
共享类数据——class data share功能

共享类数据——class data share功能

CDS 前言定义创建归档文件创建基本归档文件使用归档文件注意事项 源码中体现 前言 现在系统原来越复杂&#xff0c;代码越来越多&#xff0c;启动程序需要加载大量的class文件&#xff0c;这样大量时间都耗在系统启动上。GraalVM原生镜像和Project CRaC都允许Spring Boot应用程…
阅读更多...
用指针查找子串

用指针查找子串

本题要求实现一个字符串查找的简单函数。 函数接口定义&#xff1a; char *search( char *s, char *t ); 函数search在字符串s中查找子串t&#xff0c;返回子串t在s中的首地址。若未找到&#xff0c;则返回NULL。 裁判测试程序样例&#xff1a; #include <stdio.h> #…
阅读更多...
React中也许你会用到的Context

React中也许你会用到的Context

文章概叙 本文主要是写React中Context的概念以及使用&#xff0c;请一定搞清楚什么时候使用Context Context的介绍 通常来说&#xff0c;你会通过 props 将信息从父组件传递到子组件。但是&#xff0c;如果你必须通过许多中间组件向下传递 props&#xff0c;或是在你应用中的…
阅读更多...
OCC：第一个程序，对话框中显示一个BOX

OCC：第一个程序，对话框中显示一个BOX

1. OCC库的获取 从github上获取 gitgithub.com:tpaviot/oce.git&#xff0c;自己编译官网获取二进制包&#xff08;获取下来的只有release 版本的&#xff0c;而且VS版本不一定适合自己&#xff09;官网源码&#xff0c;然后自己编译&#xff08;稍微折腾点&#xff0c;建议按…
阅读更多...
自动导入组件unplugin-auto-import和unplugin-vue-components

自动导入组件unplugin-auto-import和unplugin-vue-components

背景 当我们在Vue项目中使用第三方库或组件时&#xff0c;通常需要手动导入它们并在需要的地方进行注册。这可能会变得繁琐和冗长&#xff0c;特别是当我们使用大量的第三方库或组件时。为了简化这个过程&#xff0c;我们可以使用unplugin-auto-import和unplugin-vue-componen…
阅读更多...
阻塞 IO(BIO)

阻塞 IO(BIO)

文章目录 阻塞 IO(BIO)模型等待队列头init_waitqueue_headDECLARE_WAIT_QUEUE_HEAD 等待队列项使用方法驱动程序应用程序模块使用参考 阻塞 IO(BIO) 模型 等待队列是内核实现阻塞和唤醒的内核机制。 等待队列以循环链表为基础结构&#xff0c;链表头和链表项分别为等待队列头和…
阅读更多...
java继承

java继承

访问权限 Java 中有三个访问权限修饰符: private、protected 以及 public&#xff0c;如果不加访问修饰符&#xff0c;表示包级可见。 可以对类或类中的成员(字段以及方法)加上访问修饰符。 类可见表示其它类可以用这个类创建实例对象。成员可见表示其它类可以用这个类的实例…
阅读更多...
深入了解UI标签栏设计细节：你不能错过的要点

深入了解UI标签栏设计细节：你不能错过的要点

UI 标签栏的作用有哪些&#xff1f; 导航是移动 UI 中最常见的组成部分&#xff0c;通常放置在 UI 标签栏上&#xff0c;以帮助我们在不同的页面之间切换。UI 标签栏可以保持界面的可控性&#xff0c;并提高可用性。简而言之&#xff0c;UI 标签栏可以加强交互&#xff0c;让用…
阅读更多...
轻量Http客户端工具VSCode和IDEA

轻量Http客户端工具VSCode和IDEA

文章目录 前言Visual Studio Code 的插件 REST Client编写第一个案例进阶&#xff0c;设置变量进阶&#xff0c;设置Token 前言 作为一个WEB工程师&#xff0c;在日常的使用过程中&#xff0c;HTTP请求是必不可少的。我们采用的HTTP工具有如下&#xff1a; Postman Insomnia Ap…
阅读更多...
Java 多线程之并行流（parallelStream）

Java 多线程之并行流（parallelStream）

文章目录 一、概述二、使用方法2.1 parallelStream 使用2.2 Stream 方法介绍2.3 简单示例 三、应用示例3.1 示例介绍3.2 简单任务测试结果3.3 复杂任务测试结果3.4 结论 四、完整示例 一、概述 并行流是Java中Stream API的一部分&#xff0c;用于在多核处理器上并行执行流操作。…
阅读更多...
综述 2022-Egyptian Informatics Journal：电子健康记录的安全和隐私

综述 2022-Egyptian Informatics Journal：电子健康记录的安全和隐私

Keshta, Ismail, and Ammar Odeh. "Security and privacy of electronic health records: Concerns and challenges." Egyptian Informatics Journal 22.2 (2021): 177-183. https://doi.org/10.1016/j.eij.2020.07.003 被引次数&#xff1a;207 IF 5.2 / JCR Q2
阅读更多...
CSS3多列分页属性

CSS3多列分页属性

CSS3多列 Firefox浏览器支持该属性的形式是-moz-column-count&#xff0c;而基于Webkit的浏览器&#xff0c;例如Safari和Chrome&#xff0c;支持该属性的形式是-webkit-column-count column-count&#xff1a;该属性定义多列文本流中的栏数 语法&#xff1a;column-count:int…
阅读更多...
YACS（上海计算机学会竞赛平台）三星级挑战——两数之和

YACS（上海计算机学会竞赛平台）三星级挑战——两数之和

题目描述 给定 n 个整数 a[1]​,a[2]​,⋯,a[n]​&#xff0c;并且保证 a[1​]≤a[2​]≤⋯≤a[n]​ 再给定一个目标值 t&#xff0c;请判断能否找到 a[i]​ 与 a[j]​&#xff0c;ai​aj​t 且 i≠j。 输入格式 第一行&#xff1a;单个整数n&#xff1b; 第二行&#xf…
阅读更多...
最新文章

Copyright @ 2022~2023