【YOLOv3】源码(train.py)

概述

主要模块分析

  • 参数解析与初始化
    • 功能:解析命令行参数,设置训练配置
    • 项目经理制定详细的施工计划和资源分配
  • 日志记录与监控
    • 功能:初始化日志记录器,配置监控系统
    • 项目经理使用监控和记录工具,实时跟踪施工进度和质量
  • 模型与数据加载
    • 功能:加载模型权重和配置文件,准备训练数据
    • 项目经理选择建筑设计方案,准备施工材料和组织施工队伍
  • 优化器与学习率调度器设置
    • 功能:设置优化器和学习率调度器,指导模型参数更新
    • 项目经理分配施工资源,制定施工进度计划
  • 训练循环
    • 功能:执行模型的前向传播、损失计算、反向传播和参数更新
    • 施工队每日执行施工任务,项目经理监控进度和质量
  • 验证与评估
    • 功能:定期验证模型性能,评估训练效果
    • 项目经理进行阶段性质量检查,评估施工质量和进度
  • 模型保存与早停机制
    • 功能:保存模型状态,应用早停机制优化训练过程
    • 项目经理记录施工进度和质量,决定是否调整或终止施工计划

主要模块

参数解析与初始化

一般在训练模型的时候,需要在这里调整相应的参数,这类似于建筑项目经理制定详细的施工计划和资源分配

常用设置参数

  • --weights:模型初始权重路径,通常设置为预训练模型路径,例如YOLOve.pt
  • --cfg:模型结构的 YAML 配置文件路径,例如yolov3.yaml
  • --data:数据集配置文件路径,定义训练/验证数据集的路径和类别等信息
  • --hyp:超参数配置文件路径,控制训练的优化器、学习率等超参数
  • --epochs:训练的总轮数,决定训练时长
  • --batch-size:批量大小,影响内存占用和训练速度
  • --imgsz:输入图像的尺寸
  • --device:指定使用的设备,0就表示GPU0
  • --adam:是否使用 Adam 优化器(默认使用 SGD)

W&B 参数(类似项目中的监控和记录工具)

  • --entity:设置 W&B 的实体名称,用于项目关联
  • --upload_dataset:是否将数据集上传到 W&B Artifact Table
  • --bbox_interval:控制目标框日志记录的间隔
def parse_opt(known=False):"""函数功能:用于解析命令行参数,设置训练、验证和测试时的超参数及其他相关配置。参数:known (bool): 是否只解析已知的命令行参数。如果为 True,则返回已知参数,忽略其他参数。返回:argparse.Namespace: 包含解析后参数的命名空间对象 `opt`。"""import argparse# 创建 ArgumentParser 对象parser = argparse.ArgumentParser()# ---------------------------- 常用参数配置 ----------------------------------# 权重文件路径parser.add_argument('--weights', type=str, default=ROOT / 'weight/yolov3.pt',help='initial weights path (初始权重文件路径)')# 模型配置文件路径parser.add_argument('--cfg', type=str, default='models/yolov3.yaml',help='model.yaml path (模型结构配置文件路径)')# 数据集配置文件路径parser.add_argument('--data', type=str, default=ROOT / 'data/you.yaml',help='dataset.yaml path (数据集配置文件路径)')# 超参数配置文件路径parser.add_argument('--hyp', type=str, default=ROOT / 'data/hyps/hyp.scratch.yaml',help='hyperparameters path (超参数配置文件路径)')# 训练周期数parser.add_argument('--epochs', type=int, default=20,help='Number of epochs to train (训练的总轮数)')# 批量大小parser.add_argument('--batch-size', type=int, default=4,help='Total batch size for all GPUs, -1 for autobatch (总的批量大小)')# 图像大小parser.add_argument('--imgsz', '--img', '--img-size', type=int, default=416,help='train, val image size (pixels) (训练和验证时图像的输入尺寸)')# 是否使用矩形训练parser.add_argument('--rect', action='store_true', default=True,help='rectangular training (是否使用矩形训练)')# 是否恢复最近一次的训练parser.add_argument('--resume', nargs='?', const=True, default="",help='resume most recent training (恢复最近的训练检查点)')# 仅保存最终的检查点parser.add_argument('--nosave', action='store_true',help='only save final checkpoint (只保存最终检查点)')# 仅验证最终周期parser.add_argument('--noval', action='store_true',help='only validate final epoch (只在最后一轮进行验证)')# 是否禁用自动生成 anchorsparser.add_argument('--noautoanchor', action='store_true',help='disable autoanchor check (禁用自动生成 anchor 的功能)')# 超参数进化parser.add_argument('--evolve', type=int, nargs='?', const=300,help='evolve hyperparameters for x generations (超参数进化代数)')# Google Cloud Bucketparser.add_argument('--bucket', type=str, default='',help='gsutil bucket (Google 云存储桶路径)')# 是否缓存数据集到 RAM 或磁盘parser.add_argument('--cache', type=str, nargs='?', const='ram', default=True,help='--cache images in "ram" (default) or "disk" (缓存数据集)')# 是否使用加权的图像选择训练parser.add_argument('--image-weights', action='store_true',help='use weighted image selection for training (训练时使用加权图像选择)')# 指定训练的设备parser.add_argument('--device', default='',help='cuda device, i.e. 0 or 0,1,2,3 or cpu (指定训练的设备)')# 是否启用多尺度训练parser.add_argument('--multi-scale', action='store_true',help='vary img-size +/- 50%% (多尺度训练)')# 将多类别数据作为单类别训练parser.add_argument('--single-cls', action='store_true',help='train multi-class data as single-class (单类别训练)')# 是否使用 Adam 优化器parser.add_argument('--adam', action='store_true',help='use torch.optim.Adam() optimizer (使用 Adam 优化器)')# 是否启用同步 BatchNormparser.add_argument('--sync-bn', action='store_true',help='use SyncBatchNorm, only available in DDP mode (同步 BatchNorm,仅适用于 DDP 模式)')# 数据加载器的最大工作线程数parser.add_argument('--workers', type=int, default=1,help='max dataloader workers (per RANK in DDP mode) (最大数据加载线程数)')# 项目保存目录parser.add_argument('--project', default=ROOT / 'runs/train',help='save to project/name (项目保存路径)')# 保存的实验名称parser.add_argument('--name', default='exp',help='save to project/name (实验保存名称)')# 是否允许覆盖现有项目parser.add_argument('--exist-ok', action='store_true',help='existing project/name ok, do not increment (允许覆盖现有项目名称)')# 是否使用四元数据加载器parser.add_argument('--quad', action='store_true',help='quad dataloader (启用四元数据加载器)')# 是否使用线性学习率parser.add_argument('--linear-lr', action='store_true',help='linear LR (启用线性学习率)')# 标签平滑参数parser.add_argument('--label-smoothing', type=float, default=0.0,help='Label smoothing epsilon (标签平滑参数 epsilon)')# 提前停止的容忍轮数parser.add_argument('--patience', type=int, default=1000,help='EarlyStopping patience (epochs without improvement) (提前停止的容忍轮数)')# 冻结的层数parser.add_argument('--freeze', type=int, default=0,help='Number of layers to freeze. backbone=10, all=24 (冻结层数)')# 检查点保存间隔parser.add_argument('--save-period', type=int, default=-1,help='Save checkpoint every x epochs (disabled if < 1) (每隔几轮保存一次检查点)')# 本地进程排名(DDP 模式用)parser.add_argument('--local_rank', type=int, default=-1,help='DDP parameter, do not modify (DDP 模式的进程排名)')# ---------------------------- W&B(Weights & Biases)参数配置 ----------------------------parser.add_argument('--entity', default=None,help='W&B: Entity (W&B 实体名称)')parser.add_argument('--upload_dataset', action='store_true',help='W&B: Upload dataset as artifact table (上传数据集到 W&B Artifact Table)')parser.add_argument('--bbox_interval', type=int, default=-1,help='W&B: Set bounding-box image logging interval (设置目标框日志记录间隔)')parser.add_argument('--artifact_alias', type=str, default='latest',help='W&B: Version of dataset artifact to use (使用的数据集版本别名)')# ---------------------------- 参数解析 ----------------------------opt = parser.parse_known_args()[0] if known else parser.parse_args()return opt

日志记录与监控

初始化日志记录器,配置日志系统,并注册回调函数。这类似于建筑项目中的监控和记录系统,用于实时跟踪施工进度和质量

# 判断是否是主进程(RANK == -1 表示单机训练,RANK == 0 表示分布式训练的主进程)
if RANK in [-1, 0]:  # **Step 1: 初始化日志记录器**# 创建 Loggers 对象,用于管理训练过程的日志(包括本地日志和 W&B 日志)。# 参数说明:# - `save_dir`: 日志文件和模型保存的路径。# - `weights`: 模型权重文件的路径。# - `opt`: 训练过程中所有配置的参数。# - `hyp`: 超参数配置。# - `LOGGER`: 用于打印日志到控制台的日志记录器。loggers = Loggers(save_dir, weights, opt, hyp, LOGGER)# **Step 2: W&B 特定处理**# 如果启用了 W&B(Weights & Biases)日志记录功能if loggers.wandb:# 获取 W&B 数据字典(用于记录训练数据相关信息)data_dict = loggers.wandb.data_dict# 如果恢复训练(`resume` 参数为 True)if resume:# 使用恢复的权重、训练轮数和超参数,覆盖当前的 opt 配置weights, epochs, hyp = opt.weights, opt.epochs, opt.hyp# **Step 3: 注册回调函数**# 遍历 `loggers` 中所有的方法(`methods(loggers)` 返回可用方法的列表)for k in methods(loggers):# 将每个方法作为回调函数注册到 `callbacks` 中# 参数说明:# - `k`: 回调方法的名称(如 `on_train_start`, `on_epoch_end` 等)。# - `callback`: 对应的回调函数(通过 `getattr` 获取 `loggers` 中的方法)。callbacks.register_action(k, callback=getattr(loggers, k))

模型与数据加载

加载模型权重和配置文件,设置模型参数,加载训练数据。这类似于建筑项目中选择建筑设计方案、准备施工材料和组织施工队伍

分析:该部分代码属于yolov3结构中的哪个阶段?

主要发生在训练前的准备工作,也就是还没有进入模型的前向传播或者反向传播阶段

运行逻辑分析

  • 模型加载与构建
    • 如果提供预训练权重,加载模型并初始化参数
    • 如果没有提供权重,则根据配置文件构建新模型
  • 冻结层设置
    • 固定部分参数(如 Backbone 层),以适应迁移学习或微调场景
  • 训练数据准备
    • 创建数据加载器,支持多线程加载、数据增强和分布式训练

分析:冻结层的使用场景

  • 冻结Backbone
    • 例如之前已经从大规模的数据中学到了一些通用特则会给你,那么通过冻结Backbone的参数,仅仅训练Detection Head用于适配新的任务和类别即可
  • 冻结全部层
    • 这种场景仅仅适合在微调检测头的时候使用
    • 对于小规模数据集(如只有少量的目标类别),可以冻结所有 Backbone 层,只训练最后的预测头
  • 根据自己的需求进行冻结,冻结就是利用已经预训练的特征提取能力,然后让其在新的数据集上可以实现高效的训练
# ------------------------------- 模型部分 -------------------------------# 检查权重文件的后缀是否为 .pt(PyTorch 模型格式)
check_suffix(weights, '.pt')  # 判断是否加载预训练模型
pretrained = weights.endswith('.pt')  if pretrained:  # 如果加载的是预训练模型# 确保在分布式训练中只由一个进程下载权重文件,避免冲突with torch_distributed_zero_first(LOCAL_RANK):weights = attempt_download(weights)  # 下载或加载指定的权重文件# 加载权重文件到内存,并指定加载到的设备(如 GPU 或 CPU)ckpt = torch.load(weights, map_location=device)  # 创建模型对象# - 如果提供了 cfg 文件,则使用 cfg 文件构建模型# - 否则,使用权重文件中的模型配置(`ckpt['model'].yaml`)model = Model(cfg or ckpt['model'].yaml, ch=3, nc=nc, anchors=hyp.get('anchors')).to(device)  # 定义要排除的参数(如 anchor 参数):# - 如果提供了 cfg 文件或 hyperparameters 中指定了 anchor 配置,并且不是恢复训练模式,则排除 anchor 参数。exclude = ['anchor'] if (cfg or hyp.get('anchors')) and not resume else []# 加载预训练模型的参数csd = ckpt['model'].float().state_dict()  # 从权重文件中提取模型的状态字典csd = intersect_dicts(csd, model.state_dict(), exclude=exclude)  # 匹配当前模型的参数,并排除指定的参数model.load_state_dict(csd, strict=False)  # 将预训练权重加载到模型中,允许部分参数不匹配# 打印日志:显示加载的参数数量与模型参数总数量LOGGER.info(f'从 {weights} 转移了 {len(csd)}/{len(model.state_dict())} 项')  else:  # 如果没有加载预训练模型,则从头构建一个新模型model = Model(cfg, ch=3, nc=nc, anchors=hyp.get('anchors')).to(device)  # ------------------------------- 冻结层部分 -------------------------------# 冻结部分模型层的参数,以防止它们在训练过程中更新
# 生成冻结层的层名前缀列表,例如:['model.0.', 'model.1.', ..., 'model.N.']
freeze = [f'model.{x}.' for x in range(freeze)]  # 遍历模型中的所有参数(键值对:参数名称和参数值)
for k, v in model.named_parameters():v.requires_grad = True  # 默认所有参数可训练# 如果当前参数的名称包含在冻结层列表中if any(x in k for x in freeze):LOGGER.info(f'冻结 {k}')  # 打印冻结的参数名称v.requires_grad = False  # 禁止该参数的梯度更新(冻结参数)# ------------------------------- 数据加载部分 -------------------------------# 创建训练数据加载器(train_loader)和数据集对象(dataset)
train_loader, dataset = create_dataloader(train_path,          # 训练数据的路径imgsz,               # 输入图像的大小batch_size // WORLD_SIZE,  # 每个 GPU 的批量大小(在分布式训练中,批量大小会被划分)gs,                  # 网格大小(grid size),用于确保图像大小是网格的倍数single_cls,          # 是否将多类数据当作单类数据处理hyp=hyp,             # 超参数配置augment=True,        # 是否进行数据增强cache=opt.cache,     # 是否缓存数据到内存或磁盘rect=opt.rect,       # 是否使用矩形训练rank=LOCAL_RANK,     # 分布式训练时的本地进程编号workers=workers,     # 数据加载线程数image_weights=opt.image_weights,  # 是否加权选择图像quad=opt.quad,       # 是否启用四元数据加载器prefix=colorstr('train: '),  # 日志前缀shuffle=True         # 是否对数据进行随机打乱
)

优化器与学习率调度器设置

理解优化器和学习率调度器

  • 优化器设置:类似于项目经理分配施工资源(如劳动力、设备),选择适当的施工方法(如快速建造或精细施工)
  • 学习率调度器:对应于施工进度计划,决定资源的使用速度和调整施工节奏,以确保建筑按时完成且质量达标
# ------------------------------- 优化器设置 -------------------------------# 计算梯度累积步数(Accumulate Step)
# nbs: 基准批量大小(64,是一个参考值)
nbs = 64  
# 计算当前的累积步数,公式为:基准批量大小 / 当前批量大小(最小值为 1)
accumulate = max(round(nbs / batch_size), 1)  # 根据批量大小和累积步数调整权重衰减(Weight Decay)
# 如果批量大小变大,适当放大权重衰减;反之则缩小权重衰减。
hyp['weight_decay'] *= batch_size * accumulate / nbs  
LOGGER.info(f"Scaled weight_decay = {hyp['weight_decay']}")  # 打印调整后的权重衰减值# ------------------------------- 参数分组 -------------------------------# 将模型的参数分为三类:
# g0: BatchNorm 的权重
# g1: 卷积层或全连接层的权重
# g2: 偏置(bias)
g0, g1, g2 = [], [], []  # 初始化三个参数组
for v in model.modules():  # 遍历模型中的每个模块# 如果模块有偏置参数(bias),并且是 nn.Parameter 类型,则将其加入 g2if hasattr(v, 'bias') and isinstance(v.bias, nn.Parameter):g2.append(v.bias)# 如果模块是 BatchNorm2d,则将其权重加入 g0if isinstance(v, nn.BatchNorm2d):g0.append(v.weight)# 如果模块有权重参数(weight),并且是 nn.Parameter 类型,则将其加入 g1elif hasattr(v, 'weight') and isinstance(v.weight, nn.Parameter):g1.append(v.weight)# ------------------------------- 优化器设置 -------------------------------# 如果使用 Adam 优化器
if opt.adam:# 创建 Adam 优化器optimizer = Adam(g0, lr=hyp['lr0'], betas=(hyp['momentum'], 0.999))  
else:# 否则使用 SGD 优化器optimizer = SGD(g0, lr=hyp['lr0'], momentum=hyp['momentum'], nesterov=True)  # 使用 Nesterov 动量# 为优化器添加参数组
# 添加 g1 参数组,并设置 weight_decay 为超参数中的值
optimizer.add_param_group({'params': g1, 'weight_decay': hyp['weight_decay']})  
# 添加 g2 参数组(偏置),不使用权重衰减
optimizer.add_param_group({'params': g2})  # ------------------------------- 学习率调度器 -------------------------------# 定义学习率调度器的变化方式(scheduler)
if opt.linear_lr:# 如果使用线性学习率,定义线性衰减函数# 公式:初始学习率从 (1 - x) 减少到 lrf(最低学习率比例)lf = lambda x: (1 - x / (epochs - 1)) * (1.0 - hyp['lrf']) + hyp['lrf']  
else:# 否则使用 One-Cycle 学习率调度器lf = one_cycle(1, hyp['lrf'], epochs)  # 创建学习率调度器,基于上述的学习率变化函数 lf
scheduler = lr_scheduler.LambdaLR(optimizer, lr_lambda=lf)  

训练循环(核心)

主要阶段总结

  • 训练循环:类似于施工队每日的施工任务,包括材料的使用、施工进度的监控、质量的检查以及资源的优化配置
  • 热身阶段:类似于施工队初期的准备工作,逐步适应施工环境和进度
  • 多尺度训练:类似于根据不同施工需求调整施工方法和材料,以适应不同的建筑部分和设计要求
  • 前向传播与损失计算:对应于施工过程中的质量检查和评估,确保每一步施工符合设计标准
  • 反向传播与优化:类似于根据质量检查结果调整施工方法和资源分配,以提高施工效率和建筑质量
  • 日志记录:类似于施工日志和进度报告,实时记录施工进展和遇到的问题
  • 学习率调度:对应于施工进度的动态调整和优化,根据施工进展和质量要求调整施工节奏
  • 验证与评估:类似于阶段性质量检查和最终验收,确保建筑物的整体质量和功能
# ---------------------- 训练循环 ----------------------
for epoch in range(start_epoch, epochs):  # 遍历每个 epochmodel.train()  # 设置模型为训练模式if opt.image_weights:  # 如果启用了类别权重调整# 根据类别权重和映射关系调整样本权重cw = model.class_weights.cpu().numpy() * (1 - maps) ** 2 / nc  iw = labels_to_image_weights(dataset.labels, nc=nc, class_weights=cw)  dataset.indices = random.choices(range(dataset.n), weights=iw, k=dataset.n)  # 根据权重重采样数据集mloss = torch.zeros(3, device=device)  # 初始化平均损失记录 (box_loss, obj_loss, cls_loss)if RANK != -1:  # 如果是分布式训练模式train_loader.sampler.set_epoch(epoch)  # 设置当前 epoch,确保分布式训练的数据加载一致# 进度条设置pbar = enumerate(train_loader)  # 枚举数据加载器print(('\n' + '%10s' * 7) % ('Epoch', 'gpu_mem', 'box', 'obj', 'cls', 'labels', 'img_size'))  # 打印标题行if RANK in [-1, 0]:  # 如果是主进程# 显示训练进度条pbar = tqdm(pbar, total=nb, ncols=NCOLS, bar_format='{l_bar}{bar:10}{r_bar}{bar:-10b}')  optimizer.zero_grad()  # 优化器梯度清零for i, (imgs, targets, paths, _) in pbar:  # 遍历批次数据ni = i + nb * epoch  # 计算全局迭代步数imgs = imgs.to(device, non_blocking=True).float() / 255  # 将图像归一化到 [0,1] 并移到设备上# -------------------- 热身阶段 --------------------if ni <= nw:  # 如果在热身阶段xi = [0, nw]  # 热身范围# 动态调整累积步数(accumulate)和学习率accumulate = max(1, np.interp(ni, xi, [1, nbs / batch_size]).round())  for j, x in enumerate(optimizer.param_groups):  # 遍历优化器的参数组# 动态调整学习率x['lr'] = np.interp(ni, xi, [hyp['warmup_bias_lr'] if j == 2 else 0.0, x['initial_lr'] * lf(epoch)])# 动态调整动量if 'momentum' in x:x['momentum'] = np.interp(ni, xi, [hyp['warmup_momentum'], hyp['momentum']])# -------------------- 多尺度训练 --------------------if opt.multi_scale:  # 如果启用了多尺度训练# 随机生成新的训练图像尺寸sz = random.randrange(imgsz * 0.5, imgsz * 1.5 + gs) // gs * gs  sf = sz / max(imgs.shape[2:])  # 缩放因子if sf != 1:  # 如果需要缩放# 计算新的图像尺寸并调整ns = [math.ceil(x * sf / gs) * gs for x in imgs.shape[2:]]  imgs = nn.functional.interpolate(imgs, size=ns, mode='bilinear', align_corners=False)  # -------------------- 前向传播 --------------------with amp.autocast(enabled=cuda):  # 混合精度加速pred = model(imgs)  # 模型前向传播loss, loss_items = compute_loss(pred, targets.to(device))  # 计算损失if RANK != -1:  # 如果是分布式训练loss *= WORLD_SIZE  # 按照分布式规模调整损失# -------------------- 反向传播 --------------------scaler.scale(loss).backward()  # 使用梯度缩放反向传播# -------------------- 参数更新 --------------------if ni - last_opt_step >= accumulate:  # 如果满足累积步数条件scaler.step(optimizer)  # 更新优化器参数scaler.update()  # 更新梯度缩放比例optimizer.zero_grad()  # 清零梯度if ema:  # 如果启用了 EMAema.update(model)  # 更新模型的指数移动平均last_opt_step = ni  # 更新最后一次优化步数# -------------------- 日志记录 --------------------if RANK in [-1, 0]:  # 如果是主进程# 动态更新平均损失mloss = (mloss * i + loss_items) / (i + 1)  mem = f'{torch.cuda.memory_reserved() / 1E9 if torch.cuda.is_available() else 0:.3g}G'  # 显存使用量# 更新进度条显示内容pbar.set_description(('%10s' * 2 + '%10.4g' * 5) % (f'{epoch}/{epochs - 1}', mem, *mloss, targets.shape[0], imgs.shape[-1]))# -------------------- 学习率调度 --------------------lr = [x['lr'] for x in optimizer.param_groups]  # 获取当前学习率scheduler.step()  # 更新学习率调度器# -------------------- 评估与保存 --------------------if RANK in [-1, 0]:  # 如果是主进程callbacks.run('on_train_epoch_end', epoch=epoch)  # 运行训练结束的回调ema.update_attr(model, include=['yaml', 'nc', 'hyp', 'names', 'stride', 'class_weights'])  # 更新 EMA 属性final_epoch = (epoch + 1 == epochs) or stopper.possible_stop  # 检查是否是最后一个 epochif not noval or final_epoch:  # 如果需要验证# 运行验证,并获取验证结果results, maps, _ = val.run(data_dict,batch_size=batch_size // WORLD_SIZE * 2,imgsz=imgsz,model=ema.ema,single_cls=single_cls,dataloader=val_loader,save_dir=save_dir,plots=False,callbacks=callbacks,compute_loss=compute_loss)# 更新最佳 mAPfi = fitness(np.array(results).reshape(1, -1))  # 计算当前结果的 fitnessif fi > best_fitness:  # 如果当前 fitness 是最优的best_fitness = fi  # 更新最佳 fitnesslog_vals = list(mloss) + list(results) + lr  # 记录日志值callbacks.run('on_fit_epoch_end', log_vals, epoch, best_fitness, fi)  # 运行回调# 保存模型if (not nosave) or (final_epoch and not evolve):  # 如果需要保存模型ckpt = {'epoch': epoch,  # 记录当前 epoch'best_fitness': best_fitness,  # 最佳 fitness'model': deepcopy(de_parallel(model)).half(),  # 模型参数'ema': deepcopy(ema.ema).half(),  # EMA 参数'updates': ema.updates,  # EMA 更新次数'optimizer': optimizer.state_dict(),  # 优化器状态'wandb_id': loggers.wandb.wandb_run.id if loggers.wandb else None,  # W&B 运行 ID'date': datetime.now().isoformat()}  # 保存日期torch.save(ckpt, last)  # 保存为最后一次权重文件if best_fitness == fi:  # 如果当前 fitness 是最优的torch.save(ckpt, best)  # 保存为最佳权重文件if (epoch > 0) and (opt.save_period > 0) and (epoch % opt.save_period == 0):  # 按周期保存权重torch.save(ckpt, w / f'epoch{epoch}.pt')  del ckpt  # 删除检查点,释放内存callbacks.run('on_model_save', last, epoch, final_epoch, best_fitness, fi)  # 运行回调# 提前停止(仅在单 GPU 模式下)if RANK == -1 and stopper(epoch=epoch, fitness=fi):  # 如果满足提前停止条件break  # 停止训练

验证与评估

在每个训练周期结束后,对模型进行验证,评估其在验证集上的性能(如mAP)。这类似于建筑项目中的阶段性质量检查和评估,确保施工质量符合设计要求

if RANK in [-1, 0]:  # 检查当前设备是否为主进程(单GPU模式或主节点)# 调用验证函数 val.run(),对当前模型在验证集上的性能进行评估results, maps, _ = val.run(data_dict,                 # 数据集的配置信息,包含训练、验证和测试数据的路径batch_size=batch_size // WORLD_SIZE * 2,  # 验证集的批次大小,调整为全局批量大小(batch_size)除以总进程数 WORLD_SIZE,再乘以 2imgsz=imgsz,               # 输入图像的尺寸model=ema.ema,             # 使用 EMA(指数移动平均)模型的权重进行评估,以获得更平滑和稳定的验证性能single_cls=single_cls,     # 是否将多类别数据视为单类别任务,用于单类别检测dataloader=val_loader,     # 验证集的数据加载器save_dir=save_dir,         # 保存结果的路径,用于存储验证过程的日志或可视化图表plots=False,               # 是否生成验证结果的可视化图表,设置为 False 表示不生成callbacks=callbacks,       # 回调函数,用于扩展验证过程,例如记录日志或自定义处理compute_loss=compute_loss  # 损失函数,用于计算验证过程中的损失值)

模型保存与早停机制

据训练过程中的表现,保存当前模型的状态(如最佳模型、最新模型等)。同时,通过早停机制,在模型性能不再提升时提前终止训练

  • 模型保存:项目经理定期记录施工进度和质量状况,保存关键的施工记录和里程碑
  • 早停机制:如果发现施工质量无法满足要求,或项目进度严重滞后,项目经理决定提前终止或调整施工计划,以避免资源浪费和进一步的问题
# 保存模型
if (not nosave) or (final_epoch and not evolve):  # 检查是否需要保存模型# 构建一个检查点字典,用于保存模型的状态和相关信息ckpt = {'epoch': epoch,                            # 当前的训练轮次'best_fitness': best_fitness,              # 当前训练过程中模型的最佳 fitness(如 mAP)'model': deepcopy(de_parallel(model)).half(),  # 深拷贝模型的状态,转换为半精度以减少存储需求'ema': deepcopy(ema.ema).half(),           # 深拷贝 EMA(指数移动平均)模型的状态'updates': ema.updates,                    # EMA 更新的次数'optimizer': optimizer.state_dict(),       # 优化器的状态字典(保存优化器参数和学习率等信息)'wandb_id': loggers.wandb.wandb_run.id if loggers.wandb else None,  # W&B 运行 ID(如果使用 W&B)'date': datetime.now().isoformat()         # 保存当前时间的时间戳,用于记录模型保存时间}# 保存最新的模型权重到指定路径 `last`torch.save(ckpt, last)# 如果当前的 fitness 指标是最佳值,则保存模型到 `best` 路径if best_fitness == fi:torch.save(ckpt, best)# 如果训练轮次大于 0 且保存周期 `save_period` 大于 0,并且当前轮次是保存周期的倍数# 则保存当前轮次的模型权重到以 `epoch{轮次}.pt` 命名的文件if (epoch > 0) and (opt.save_period > 0) and (epoch % opt.save_period == 0):torch.save(ckpt, w / f'epoch{epoch}.pt')  # 保存到指定路径# 删除保存的检查点对象,以释放内存del ckpt# 触发 `on_model_save` 回调函数,通知其他组件模型已保存callbacks.run('on_model_save', last, epoch, final_epoch, best_fitness, fi)# 单 GPU 模式下的提前停止机制
if RANK == -1 and stopper(epoch=epoch, fitness=fi):  # 如果是单 GPU 模式,并且达到提前停止条件break  # 停止训练,结束当前循环

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/891246.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Vim Masterclass 笔记02】第3章:Vim 核心知识 + L08:Vim 核心浏览命令 + L09:Vim 核心浏览命令同步练习

文章目录 Section 3&#xff1a;Vim Essentials&#xff08;Vim 核心知识&#xff09;S03L08 Essential Navigation Commands1 光标的上下左右移动2 上 / 下翻页3 基于单词前移4 基于单词后移5 重新定位视图中的文本&#xff08;页面重绘&#xff09;6 定位到所在行的行首7 光标…

基础数据结构--二叉树

一、二叉树的定义 二叉树是 n( n > 0 ) 个结点组成的有限集合&#xff0c;这个集合要么是空集&#xff08;当 n 等于 0 时&#xff09;&#xff0c;要么是由一个根结点和两棵互不相交的二叉树组成。其中这两棵互不相交的二叉树被称为根结点的左子树和右子树。 如图所示&am…

力扣-数据结构-7【算法学习day.78】

前言 ###我做这类文章一个重要的目的还是给正在学习的大家提供方向&#xff08;例如想要掌握基础用法&#xff0c;该刷哪些题&#xff1f;建议灵神的题单和代码随想录&#xff09;和记录自己的学习过程&#xff0c;我的解析也不会做的非常详细&#xff0c;只会提供思路和一些关…

Android着色器SweepGradient渐变圆环,Kotlin

Android着色器SweepGradient渐变圆环&#xff0c;Kotlin import android.content.Context import android.graphics.Canvas import android.graphics.Color import android.graphics.Paint import android.graphics.Path import android.graphics.SweepGradient import android…

QT---------GUI程序设计基础

代码UI化设计&#xff08;QT&#xff09; 实例功能概述 假设我们要创建一个简单的计算器应用程序。该应用程序具有以下功能&#xff1a; 包含数字按钮&#xff08;0-9&#xff09;、操作符按钮&#xff08;、-、*、/&#xff09;、等于按钮&#xff08;&#xff09;和清除按…

torch.nn.functional的用法

文章目录 介绍激活函数示例 损失函数示例 卷积操作示例 池化示例 归一化操作示例 Dropout示例 torch.nn.functional 与 torch.nn 的区别 介绍 torch.nn.functional 是 PyTorch 中的一个模块&#xff0c;提供了许多函数式的神经网络操作&#xff0c;包括激活函数、损失函数、卷…

关于Nginx

1.Nginx的配置 proxy_pass http: 当你需要将请求分发到多个后端服务器时&#xff0c;需要实现负载均衡功能&#xff0c;可以使用upstream指令定义一组服务器&#xff0c;并在proxy_pass中引用这个服务组名称。。如果不需要负载均衡&#xff0c;只需要将请求转发到单一的后端…

redis用途都有哪些

Redis&#xff0c;作为一个开源的高性能键值对数据库&#xff0c;其用途广泛且功能强大。 1. 缓存&#xff08;Caching&#xff09;&#xff1a; • Redis常被用作缓存层&#xff0c;存储那些频繁访问但不易改变的数据&#xff0c;如用户会话、商品详情等。 • 通过将这些数据存…

Gemma2 2B 模型的model.safetensors.index.json文件解析

Gemma2 2B 模型的 model.safetensors.index.json 文件解析 在使用 Gemma2 2B 模型或其他大型预训练模型时&#xff0c;model.safetensors.index.json 文件起到了索引的作用&#xff0c;它帮助我们了解模型的结构、参数存储方式以及如何加载模型的具体权重。本博客将深入解析该…

JSON结构快捷转XML结构API集成指南

JSON结构快捷转XML结构API集成指南 引言 在当今的软件开发世界中&#xff0c;数据交换格式的选择对于系统的互操作性和效率至关重要。JSON&#xff08;JavaScript Object Notation&#xff09;和XML&#xff08;eXtensible Markup Language&#xff09;是两种广泛使用的数据表…

期权懂|期权入门知识:开通50ETF期权需要什么条件?

锦鲤三三每日分享期权知识&#xff0c;帮助期权新手及时有效地掌握即市趋势与新资讯&#xff01; 开通50ETF期权需要什么条件&#xff1f; 一、基本资格要求 &#xff08;1&#xff09;年龄限制&#xff1a;投资者必须年满18周岁&#xff0c;具备完全民事行为能力。 &#…

实景三维点云处理专业软件ArcGIS根据DSM生成地表点云集

常见的实景三维处理软件及其特色功能如下&#xff1a; 一、专业实景三维建模软件 Agisoft Metashape 高精度建模&#xff1a;能够生成高精度的三维模型&#xff0c;精度可以达到厘米级甚至毫米级&#xff0c;适用于需要详细测量和分析的项目&#xff0c;如文物保护和建筑测量。…

实战指南:Shiro、CAS打造完美单点登录体验

引言 想象一下&#xff0c;在日常工作中&#xff0c;我们经常需要进行系统认证和授权。当用户尝试登录一个网站时&#xff0c;他们需要提供用户名和密码&#xff0c;网站会检查这些信息&#xff0c;确认用户是谁。这就是认证的过程。 一旦用户被认证&#xff0c;他们可能会尝…

cuda-cuDnn

cuda sudo /bin/sh cuda_11.7.0_515.43.04_linux.run cudnn cuDNN Archive | NVIDIA Developer Linux 系统 CUDA 多版本共存以及切换 – 颢天 安装cuda # 如果已经安装过驱动&#xff0c;驱动不需要再安装&#xff0c;取消勾选 安装cuDNN&#xff0c;cuda-cuDNN对应关系见…

QComboBox中使用树形控件进行选择

事情是这样的&#xff0c;要在一个ComboBox中通过树形结构进行内容的选择。 默认的QComboBox展开是下拉的列表。因此需要定制一下。 效果就是这样的 实现上面效果的核心代码就是下面这样的 MainWindow::MainWindow(QWidget *parent) : QMainWindow(parent) { treenew…

【网络协议】路由信息协议 (RIP)

未经许可&#xff0c;不得转载。 路由信息协议&#xff08;Routing Information Protocol&#xff0c;简称 RIP&#xff09;是一种使用跳数&#xff08;hop count&#xff09;作为路由度量标准的路由协议&#xff0c;用于确定源网络和目标网络之间的最佳路径。 文章目录 什么是…

LoRA微调系列笔记

系列文章目录 第一章&#xff1a;LoRA微调系列笔记 第二章&#xff1a;Llama系列关键知识总结 第三章&#xff1a;LLaVA模型讲解与总结 文章目录 系列文章目录LoRA&#xff1a;Low-Rank Adaptation of Large Language Models目的&#xff1a;依据&#xff1a;优势&#xff1a;…

SRS 服务器入门:实时流媒体传输的理想选择

在当今视频流媒体需求爆炸式增长的时代&#xff0c;如何选择一款高效、稳定且功能强大的流媒体服务器成为了许多开发者和企业关注的焦点。而 SRS&#xff08;Simple Realtime Server&#xff09;作为一款开源的流媒体服务器&#xff0c;以其卓越的性能和灵活的功能&#xff0c;…

C++第五六单元测试

1【单选题】在公有派生类的成员函数不能直接访问基类中继承来的某个成员&#xff0c;则该成员一定是基类中的&#xff08; C &#xff09;。&#xff08;2.0分&#xff09; A、公有成员B、保护成员C、私有成员D、保护成员或私有成员 注意从类外访问与从派生类中访问 2【单…

使用Python可视化有压缩格式的Bitmap(BMP)图像调色板数据

使用Python可视化有压缩格式的Bitmap BMP图像调色板数据 参考文章一、调色板数据二、测试代码三、测试结果 参考文章 有压缩格式的Bitmap(BMP)图像显示调色板数据和图像数据Bitmap(BMP)图像信息分析主要说明带压缩的形式Bitmap(BMP)图像信息验证 一、调色板数据 Color Palette…