Python之线程池设计实战

案例

10000条数据，要先下载，然后需要从并发量支持一秒20次的识别接口通过，最近将结果写入excel中，如果用python完成，如何实现，线程池大小设多少合适，线程池大小在哪用合适

针对这个需求，可以使用Python的多线程和Excel处理库来完成。以下是一个基本的实现思路：

下载数据：使用多线程同时下载所有数据，并保存到本地文件中。
并发识别：使用线程池或协程池并发地调用识别接口，每秒最多支持20次请求，并将识别结果保存到内存中。
写入Excel：将所有识别结果写入Excel文件中。

在实现过程中，需要注意以下几点：

线程池大小的设定：可以根据系统资源和性能测试来选择合适的线程池大小。一般来说，线程池大小可以设置为CPU核心数的两倍左右，但也要考虑到系统内存等资源限制。如果使用协程池，则不需要考虑线程池大小，而是通过协程数量来控制并发度。
并发识别的限制：要确保每秒最多只发送20次请求，避免超出识别接口的限制导致识别失败或被封禁。
多线程编程的注意事项：要注意线程安全、异常处理、日志记录等问题，避免出现死锁、竞争等问题。

以下是一个基本的示例代码：

import requests
import openpyxl
from concurrent.futures import ThreadPoolExecutor
import timedef download_data(url, save_path):response = requests.get(url)with open(save_path, 'wb') as f:f.write(response.content)def recognize_data(data):# 假设这里使用requests库调用识别接口response = requests.post('识别接口URL', data=data)return response.json()def write_to_excel(result, save_path):wb = openpyxl.Workbook()ws = wb.activerow = 1for r in result:ws.cell(row=row, column=1, value=r['data'])ws.cell(row=row, column=2, value=r['result'])row += 1wb.save(save_path)def main():# 下载数据urls = [...] # 存放下载数据的URL列表save_paths = [...] # 存放数据保存路径的列表with ThreadPoolExecutor() as pool:for url, save_path in zip(urls, save_paths):pool.submit(download_data, url, save_path)# 并发识别result = []with ThreadPoolExecutor(max_workers=20) as pool:for save_path in save_paths:with open(save_path, 'rb') as f:data = f.read()future = pool.submit(recognize_data, data)while True:time.sleep(0.05)if future.done():result.append(future.result())break# 写入Excelwrite_to_excel(result, 'result.xlsx')if __name__ == '__main__':main()