deeplab语义分割训练自定数据集

链接：https://pan.baidu.com/s/1KkkM1rLfyiMPtYLycpnxmg?pwd=j2rd

提取码：j2rd

--来自百度网盘超级会员V2的分享

采用数据集： https://aistudio.baidu.com/datasetdetail/130647

采用代码：

https://github.com/jfzhang95/pytorch-deeplab-xception

本文会讲解两种方法：一种是使用开源数据集（不是deeplab支持的数据集）完成在deeplab上训练，另一种是通过标注自定义数据集来完成训练

第一种用开源数据集训练

将carvana image masking challenge数据集转化为Pascal VOC 格式

以下讲述你需要更改的一些地方以及怎么更改

首先要看你的模型支持什么样的数据集，一般通过train.py文件或者通过github文档查看

或者通过train.py

可见deeplab支持这4种VOC, SBD, Cityscapes and COCO datasets

要自定义数据集就需要把你的数据集转化以上4种即可，本文是将数据集转化为VOC 格式

下载数据集https://aistudio.baidu.com/datasetdetail/130647后，结构如下

也就是这个数据集只有train_mask和train_hq，test一般都是没有模板的，在语义分割中test是不需要模板的，其他的数据集也是这样，test只用来看最后的效果。

VOC 格式如下：

也就是需要提供JPEGImages、SegmentationClass、ImageSets

或者你可以查看代码中

通过这个代码也大概知道需要提供什么文件夹

整理好需求，然后直接跟deepseek进行沟通：

将需求拆解开来一步一步来，

1、首先将carvana image masking challenge的train_mask中的git后缀改成png

2、因为VOC 格式的标签和图像的名称是对应的，所以需要将carvana image masking challenge的_mask.gif改为.png

然后他会生成一个代码，你可以跑一下，看是否解决问题了，如果这个问题解决了就解决下一个需求

也就是目前解决了SegmentationClass，接下来需要解决JPEGImages

因为carvana image masking challenge的train_hq的图片格式也是jpg，所以你只需要将train_hq文件夹的名称改成JPEGImages即可

也就是解决了SegmentationClass、JPEGImages，接下来解决ImageSets

然后生成新的代码，就完成了数据集的格式转化。

也就是这个过程你主要做的是怎么将需求转化成多个步骤，一步一步完成需求就可以，以后不管是要转化成coco格式还是Cityscapes 都可以用这种方法。

比如Cityscapes 我可能先将train_hq拆分成train文件夹、val文件夹、test文件夹，train_masks也是拆分成3个文件夹，并且图片和标签的路径需要一致，名称需要根据Cityscapes 定义。然后我们知道Cityscapes 的train、val下还会有城市名称，我们随便起一个城市名称北京，路径格式对应就可以

最后我的carvana image masking challenge就转化成这种Cityscapes 风格

说话carvana image masking challenge转化为VOC 格式，我们已经完成了所有步骤，我把这个程序命名为了拆分.py,运行我们的程序“拆分.py”

第二种方法通过标注训练自定数据集

一、准备数据集

1. 数据集文件夹目录

ImageSets 文件夹内还有一个文件夹Segmentation，里面存放的是训练集、测试集txt文件
JPEGImages 存放原图image
SegmentationClass 存放原图对应的mask，要和JPEGImages里的图片一一对应

2. yolo格式转json格式

我使用的标注方式是： Sign in to Roboflow ，大大减少了标注时间，推荐！！！

导出yolo格式之后进行转json格式，代码如下

import json
import os# 输入TXT标注文件夹路径
txt_folder_path = "E:/VScode project/pytorch-deeplab-xception-master111/Seg552/txt/"
# 输出JSON文件夹路径
json_folder_path = "E:/VScode project/pytorch-deeplab-xception-master111/Seg552/json/"# 确保输出文件夹存在
os.makedirs(json_folder_path, exist_ok=True)# 类别ID映射（如有需要可以修改）
label_mapping = {1: "ripe fruits", 0: "branch"}# 遍历TXT文件夹
for txt_file in os.listdir(txt_folder_path):if txt_file.endswith('.txt'):txt_file_path = os.path.join(txt_folder_path, txt_file)json_file_path = os.path.join(json_folder_path, txt_file.replace('.txt', '.json'))# JSON模板json_data = {"version": "5.2.1","flags": {},"shapes": [],"imagePath": txt_file.replace('.txt', '.jpg'),  # 假设图像名与TXT文件名相同"imageHeight": 1080,"imageWidth": 1920}# 解析TXT文件并构造JSON结构with open(txt_file_path, 'r') as file:for line in file:# 分割类别ID和坐标数据parts = line.strip().split()class_id = int(parts[0])  # 类别IDlabel = label_mapping.get(class_id, "unknown")  # 类别名称coordinates = list(map(float, parts[1:]))  # 坐标数据# 将坐标数据转换为(x, y)点对，并按比例转换为实际像素位置points = []for i in range(0, len(coordinates), 2):x = coordinates[i] * json_data["imageWidth"]y = coordinates[i + 1] * json_data["imageHeight"]points.append([x, y])# 添加标注信息到JSONshape_data = {"label": label,"points": points,"group_id": None,"description": "","shape_type": "polygon","flags": {}}json_data["shapes"].append(shape_data)# 保存为JSON文件with open(json_file_path, 'w') as json_file:json.dump(json_data, json_file, indent=2)print(f"已成功将 {txt_file} 转换为 JSON 文件：{json_file_path}")

3. 文件夹重命名

虽然用网页标注导出来的image和TXT文件的名称是一致的，但为了避免在后续格式转换中出现冲突，现在需要将image图片和txt文件重新命名。相应代码：

import os# 文件夹路径
folder1 = 'E:/VScode project/pytorch-deeplab-xception-master111/Seg552/txt/'  # 替换为您的文件夹路径
folder2 = 'E:/VScode project/pytorch-deeplab-xception-master111/Seg552/img/'  # 替换为您的文件夹路径# 获取文件名列表
files1 = os.listdir(folder1)
files2 = os.listdir(folder2)# 对文件进行排序，确保顺序一致
files1.sort()
files2.sort()# 确保两个文件夹的文件数相同
if len(files1) != len(files2):print("警告：两个文件夹的文件数量不同！")# 重命名第一个文件夹的文件
for idx, filename in enumerate(files1):new_name = f"{idx:03d}{os.path.splitext(filename)[1]}"  # 保留后缀os.rename(os.path.join(folder1, filename), os.path.join(folder1, new_name))# 重命名第二个文件夹的文件
for idx, filename in enumerate(files2):new_name = f"{idx:03d}{os.path.splitext(filename)[1]}"os.rename(os.path.join(folder2, filename), os.path.join(folder2, new_name))print("重命名完成。")

4. json格式转mask图片

import argparse
import base64
import json
import os
import os.path as osp
import imgviz
import PIL.Image
from labelme.logger import logger
from labelme import utils
import glob
import yamldef main():logger.warning("This script is aimed to demonstrate how to convert the ""JSON file to a single image dataset.")logger.warning("It will handle multiple JSON files to generate a ""real-use dataset.")parser = argparse.ArgumentParser()parser.add_argument("--json_dir", required=True)parser.add_argument("-o", "--out", required=True)args = parser.parse_args()json_dir = args.json_diroutput_dir = args.outif osp.isfile(json_dir):json_list = [json_dir] if json_dir.endswith('.json') else []else:json_list = glob.glob(os.path.join(json_dir, '*.json'))for json_file in json_list:logger.info(f"Processing file: {json_file}")json_name = osp.basename(json_file).split('.')[0]out_dir = osp.join(output_dir, json_name)if not osp.exists(out_dir):os.makedirs(out_dir)try:data = json.load(open(json_file))except Exception as e:logger.error(f"Error loading JSON file {json_file}: {e}")continue  # Skip to the next fileimageData = data.get("imageData")if not imageData:image_filename = osp.basename(data["imagePath"])imagePath = osp.join("E:/VScode project/pytorch-deeplab-xception-master111/Seg552/JPEGImages", image_filename)try:with open(imagePath, "rb") as f:imageData = f.read()imageData = base64.b64encode(imageData).decode("utf-8")except FileNotFoundError:logger.error(f"File not found: {imagePath}")continue  # Skip to the next JSON fileexcept Exception as e:logger.error(f"Error reading image file {imagePath}: {e}")continuetry:img = utils.img_b64_to_arr(imageData)label_name_to_value = {"_background_": 0}for shape in sorted(data["shapes"], key=lambda x: x["label"]):label_name = shape["label"]if label_name in label_name_to_value:label_value = label_name_to_value[label_name]else:label_value = len(label_name_to_value)label_name_to_value[label_name] = label_valuelbl, _ = utils.shapes_to_label(img.shape, data["shapes"], label_name_to_value)label_names = [None] * (max(label_name_to_value.values()) + 1)for name, value in label_name_to_value.items():label_names[value] = namelbl_viz = imgviz.label2rgb(lbl, imgviz.asgray(img), label_names=label_names, loc="rb")# Save files to corresponding subdirectoryPIL.Image.fromarray(img).save(osp.join(out_dir, "img.png"))utils.lblsave(osp.join(out_dir, "label.png"), lbl)PIL.Image.fromarray(lbl_viz).save(osp.join(out_dir, "label_viz.png"))with open(osp.join(out_dir, "label_names.txt"), "w") as f:for lbl_name in label_names:f.write(str(lbl_name if lbl_name is not None else "unknown") + "\n")yaml_data = {"label_name_to_value": label_name_to_value,"label_names": label_names}with open(osp.join(out_dir, "labels.yaml"), "w") as yaml_file:yaml.dump(yaml_data, yaml_file)logger.info(f"Saved to: {out_dir}")except Exception as e:logger.error(f"Error processing file {json_file}: {e}")if __name__ == "__main__":main()

运行指令为：

python My_json_to_dataset.py --json_dir "E:/VScode project/pytorch-deeplab-xception-master111/Seg552/json" -o "E:/VScode project/pytorch-deeplab-xception-master111/Seg552/labelme_json"

生成的文件为

需要将labelme_json文件下的每个文件中的label.png文件重新命名，相应代码：

import os# 替换为你的json文件夹所在的目录
json_dir = "E:/VScode project/pytorch-deeplab-xception-master111/Seg552/labelme_json"for root, dirs, files in os.walk(json_dir):for dr in dirs:file_dir = os.path.join(root, dr)# 确认label.png文件存在label_file = os.path.join(file_dir, 'label.png')if os.path.exists(label_file):# 将文件夹名分割，得到原图名original_name = dr.split('_')[0] + '.png'new_file_name = os.path.join(file_dir, original_name)# 执行重命名操作os.rename(label_file, new_file_name)print(f"Renamed '{label_file}' to '{new_file_name}'")

最后将提取出所有文件夹中的000.png , 并放在指定目录中，相应代码：

import os
from shutil import copyfilefor root, dirs, names in os.walk("E:/VScode project/pytorch-deeplab-xception-master111/Seg552/labelme_json"):  # 改成你自己的json文件夹所在的目录for dr in dirs:file_dir = os.path.join(root, dr)print(dr)file = os.path.join(file_dir, dr + '.png')print(file)new_name = dr.split('_')[0] + '.png'new_file_name = os.path.join(file_dir, new_name)print(new_file_name)tar_root = 'E:/VScode project/pytorch-deeplab-xception-master111/Seg552/Segmentationclass'  # 目标路径tar_file = os.path.join(tar_root, new_name)copyfile(new_file_name, tar_file)

该代码运行得到的文件，就是我们所需要的SegmentationClass

5. 生成txt文件

生成的训练集txt和验证集txt，里面的图片名称（ 去掉后缀 ）的分配是随机的。相应代码：

import os
import random# 设置图像目录和输出目录
image_dir = 'E:/VScode project/pytorch-deeplab-xception-master111/Seg552/JPEGImages'  # 替换为你的图像目录
output_dir = 'E:/VScode project/pytorch-deeplab-xception-master111/Seg552/ImageSets/Segmentation'  # 替换为输出目录# 获取所有图像文件名（去掉后缀）
image_files = [f.split('.')[0] for f in os.listdir(image_dir) if f.endswith(('.jpg', '.png'))]# 随机打乱图像文件名
random.shuffle(image_files)# 分割训练集和验证集
train_files = image_files[:int(len(image_files) * 0.8)]  # 80% 为训练集
val_files = image_files[int(len(image_files) * 0.8):]  # 20% 为验证集# 写入 train.txt
with open(os.path.join(output_dir, 'train.txt'), 'w') as f:for file in train_files:f.write(f"{file}\n")# 写入 val.txt
with open(os.path.join(output_dir, 'val.txt'), 'w') as f:for file in val_files:f.write(f"{file}\n")print("train.txt 和 val.txt 已生成。")

修改deeplab代码

然后就是改代码，train.py中的dataset改成我们自定义的llmCver数据集，名称随便起

修改训练层数和学习率，当然这个可能不需要修改，因为在上面parser.add_argument也有个层数和学习率，但是我看到了以防万一也改动了。

修改mypath.py，加入你的路径

修改dataloaders\utils.py，因为我自定义的数据集只有两个类别

def decode_segmap(label_mask, dataset, plot=False):我们加入了label_colours = get_llmCver_labels()，

也就是我们调用了get_llmCver_labels()函数，我们需要在下面把get_llmCver_labels()的定义写清楚。

怎么定义你可以get_cityscapes_labels和get_pascal_labels函数怎么写的，你模仿着写。

我看到carvana image masking challenge只有两个类别，车和背景，也就是模板里面只有[0, 0, 0]和[255, 255, 255]两个颜色，所以我的get_llmCver_labels函数里就定义了这两个颜色，[0, 0, 0]存储第一位，所以他是对应类别0，[255, 255, 255]存储第二位对应类别1。这样代码就区分出了两种类别。

carvana image masking challenge数据集有多少个类别可以直接问ai，这种信息类的ai一般通过网络信息整理会找的比人快。或者根据经验判断。

dataloaders\datasets\llmCver.py在这个路径下加入llmCver.py，用于代码解析自定义数据集路径信息。这个代码怎么写？可以参考pascal.py(因为我们模仿的是pascal voc，所以voc有什么代码我们跟着做就可以)

复制pascal.py后将改一下文件名称，我改成了llmCver.py

下面的if name == '__main__':里的函数也需要改一下，但是不改也可以。

顺便讲一下if name == '__main__'，假如我们在做一个机器人项目，那么我们会将这个项目手.py、脚.py、头.py等等还有一个整体调用.py。我做到最后肯定是调用整体调用.py就能完成整个机器人的运动，这时候只会用到整体调用.py里的if name == '__main__'，而手.py、脚.py、头.py里面的if name == '__main__'是不会执行，因为此时整体调用.py是主函数。

当我们的手部出现异常了，为了调试手部的一些功能我们就只会调用手.py，这个时候我们的手.py是主函数，所以手.py里面的if name == '__main__'会生效，也就是我们每次运行程序最多只有一个程序能调用if name == '__main__'。你运行哪个程序，哪个程序里的if name == '__main__'就会生效。

dataloaders\__init__.py中加入

修改完基本就差不多了

然后修改train.py里面的参数，根据自己想要用什么主干网，多少学习率这些都不是固定，可以根据自己想法来，配置完直接按下右上角的运行键就可以跑起来了。

我的程序有个bug，不知道是本来就有的还是，就是训练的时候看不到进度，但是不影响训练。

File "d:\YOLO\pytorch-deeplab-xception-master\train.py", line 305, in <module> main() File "d:\YOLO\pytorch-deeplab-xception-master\train.py", line 298, in main trainer.training(epoch) File "d:\YOLO\pytorch-deeplab-xception-master\train.py", line 115, in training self.summary.visualize_image(self.writer, self.args.dataset, image, target, output, global_step) File "d:\YOLO\pytorch-deeplab-xception-master\utils\summaries.py", line 18, in visualize_image grid_image = make_grid(decode_seg_map_sequence(torch.max(output[:3], 1)[1].detach().cpu().numpy(), File "D:\APP\conda\envs\yolov5prune\lib\site-packages\torch\utils\_contextlib.py", line 115, in decorate_context return func(*args, **kwargs) TypeError: make_grid() got an unexpected keyword argument 'range'

如果报了这个错误是因为你的torch版本太高，修改一下程序就可以了

修改pytorch-deeplab-xception-master\utils\summaries.py

把range去掉就可以了

        # 处理输出图像grid_image = make_grid(decode_seg_map_sequence(torch.max(output[:3], 1)[1].detach().cpu().numpy(), dataset=dataset),nrow=3, normalize=False, scale_each=False)writer.add_image('Predicted label', grid_image, global_step)# 处理目标图像grid_image = make_grid(decode_seg_map_sequence(torch.squeeze(target[:3], 1).detach().cpu().numpy(), dataset=dataset),nrow=3, normalize=False, scale_each=False)