tqdm软件包讲解

tqdm软件包

tqdm是一个用于在Python中显示进度条的模块，非常适合用于长时间运行的循环和任务，使得用户可以直观地看到任务的进度。以下是对 tqdm 软件包的详细讲解，包括安装、基本使用、进阶用法和常见应用场景。

安装tqdm

安装tqdm可以使用pip和conda

pip install tqdm

或

conda install tqdm

基本使用

1. 在循环中使用tqdm

最常见的用法是将tqdm用于循环内，以显示循环的进度。可以直接用tqdm包裹循环对象。

from tqdm import tqdm
import timefor i in tqdm(range(100)):time.sleep(0.1)  # 模拟一些耗时操作

在列表或其他可迭代对象上使用tqdm

tqdm可以用于任何可迭代对象，例如列表、生成器等。

my_list = list(range(100))
for item in tqdm(my_list):time.sleep(0.1)  # 模拟一些耗时操作

进阶用法

1. 设置进度条描述

可以使用desc参数为进度条添加描述。

for i in tqdm(range(100), desc="Processing"):time.sleep(0.1)  # 模拟一些耗时操作

自定义进度条格式

我们可以使用bar_format参数自定义进度条的显示格式。

for i in tqdm(range(100), bar_format="{l_bar}{bar}| {n_fmt}/{total_fmt}"):time.sleep(0.1)  # 模拟一些耗时操作

嵌套进度条

tqdm支持嵌套进度条，以便显示多层循环的进度。

from tqdm import trangefor i in trange(3, desc='Outer Loop'):for j in trange(5, desc='Inner Loop', leave=False):time.sleep(0.1)  # 模拟一些耗时操作

手动控制进度条

在某些情况下，可能需要手动更新进度条，例如处理无法直接迭代的任务。

with tqdm(total=100) as pbar:for i in range(10):time.sleep(0.5)  # 模拟一些耗时操作pbar.update(10)

处理异常情况

在出现异常时，可以确保进度条正确关闭：

try:for i in tqdm(range(100)):if i == 50:raise ValueError("An error occurred")time.sleep(0.1)  # 模拟一些耗时操作
except Exception as e:tqdm.write(f"Error: {e}")
finally:tqdm.close()

常见应用场景

1. 下载文件显示进度

tqdm可以与文件下载结合，显示下载进度：

import requests
from tqdm import tqdmurl = "https://example.com/largefile.zip"
response = requests.get(url, stream=True)
total_size = int(response.headers.get('content-length', 0))with open("largefile.zip", 'wb') as file, tqdm(desc="Downloading",total=total_size,unit='B',unit_scale=True,unit_divisor=1024,
) as pbar:for data in response.iter_content(chunk_size=1024):file.write(data)pbar.update(len(data))

2. 数据处理和分析

在数据处理和分析过程中，特别是处理大量数据时，可以使用tqdm显示进度：

import pandas as pd# 假设有一个大的数据集
data = pd.read_csv("large_dataset.csv")for index, row in tqdm(data.iterrows(), total=data.shape[0], desc="Processing rows"):# 处理每一行数据time.sleep(0.01)  # 模拟处理时间

3. 训练机器学习模型

在训练机器学习模型时，可以使用tqdm显示训练进度：

from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression# 创建一个示例数据集
X, y = make_classification(n_samples=1000, n_features=20, random_state=42)model = LogisticRegression()# 使用 tqdm 包裹训练迭代
for _ in tqdm(range(100), desc="Training model"):model.fit(X, y)time.sleep(0.1)  # 模拟训练时间