用PointNet++训练自己的数据集(语义分割模型semseg)

(1)训练部件分割(partseg)模型和检测自己点云并将结果保存txt,请看博主上两篇文章
(2)本文背景是将pipe点云上的缺陷和本体检测出来,即1种语义场景(pipe),2种类别(body和quexian)。请记住这两个数字。

一、标注数据集:

step1:数据集预处理

参考:Windows11和Ubuntu用PointNet++训练自己的数据集(部件分割模型)的第一部分即“一、标注数据集”部分即可。得到分类好的n行4列的txt文件。如果是部件分割(partseg)就结束了,但这里是语义分割(semseg)标注很麻烦,还没完成!我这里操作完后得到了m个txt文件,即原本有m个pipe的点云txt文本。

step1结果:
在这里插入图片描述
在这里插入图片描述

step2:学习语义分割数据集的格式

参考:S3DIS场景点云数据集,仔细阅读
这里用Stanford3dDataset_v1.2_Aligned_Version模式。格式是x y z r g b格式 即n行6列

step3:制作语义分割txt格式数据集(可以问deepseek,见step3末尾)

思路:用matlab依次遍历step1中每个txt点云文件,在进行操作:将标签为0的点,去掉0并将后三位替换为某个rgb值,再将标签为1的点后三位替换为另外某个rgb值。(因为我只有两个类别,所以我就只有0和1。)。

注意:最后要符合语义分割数据集的格式,即每个场景(即step1得到的每个txt文件)单独一个文件夹名字叫做pipe_i(i从1到m),文件夹下存着step1结果中第m个点云(n行6列)pipe_i.txt还有一个Annotations文件夹。Annotations文件夹下有2个txt文件(本文的2种类别),分别是body_i.txt和quexian_i.txt,即两种类别的n行6列的文本文件。逻辑是:body_i.txt + quexian_i.txt=pipe_i.txt

step3结果:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

deepseek实现step3

我的某个文件夹里有42个txt文件,名字分别是1.txt~42.txt.每个txt文件有n行4列,中间用空格隔开,即每个文件有n个空间点 前三列是xyz后一列是标签,这42个文件里的每个点只有两个标签即0和1可能是浮点型。你也知道上面这种格式是做pointnet++部件分割的,现在我要改成语义分割,需要把标签变成rgb。所以现在要你遍历每个txt文件(可以用for数字遍历,因为名字有规律),把每个文件里的0标签的点换为rgb为[0 0 1],1标签是换为[1 0 0]即n行6列xyzrgb 每列用空格隔开。但是要求每个txt要单独建立一个文件夹叫做pipe_i,i是和i.txt的i相对应。pipe_i文件夹下有个pipe_i.txt放着i.txt的变换好的文件,pipe_i文件夹下的Annotations文件夹下有单独的按照标签的txt,之前为0标签的点标签变换rgb后就放到命名为body_i.txt,之前为1标签的点标签变换rgb后就放到命名为quexian_i.txt。即完全符合语义分割的数据格式。matlab实现
在这里插入图片描述
Matlab代码如下:运行时间会很长!!其中的rgb的值都是0~1可以自己改。

%%
%设置pointnet++语义分割数据集
% 设置输入路径和输出路径
input_path = 'D:\YinParker\Desktop\管道数据集4\biaozhu';  % 输入文件路径
output_root = 'D:\YinParker\Desktop\管道数据集4\semseg';  % 输出根目录% 创建输出根目录(如果不存在)
if ~exist(output_root, 'dir')mkdir(output_root);
end% 遍历1.txt到42.txt
for i = 1:42% 输入文件名input_filename = fullfile(input_path, sprintf('%d.txt', i));% 检查文件是否存在if ~exist(input_filename, 'file')fprintf('文件不存在: %s\n', input_filename);continue;end% 读取数据data = load(input_filename);xyz = data(:, 1:3);labels = data(:, 4);% 创建对应的输出目录结构pipe_dir = fullfile(output_root, sprintf('pipe_%d', i));annotations_dir = fullfile(pipe_dir, 'Annotations');if ~exist(pipe_dir, 'dir')mkdir(pipe_dir);endif ~exist(annotations_dir, 'dir')mkdir(annotations_dir);end% 准备转换后的数据(xyzrgb)rgb_data = zeros(size(data, 1), 6);rgb_data(:, 1:3) = xyz;% 分离不同标签的点(带RGB)body_points = [];quexian_points = [];for j = 1:size(data, 1)if abs(labels(j)) < 0.5  % 处理浮点型标签% 标签0 -> 蓝色 [0 0 1]rgb_data(j, 4:6) = [0 0 1];body_points = [body_points; xyz(j, :), 0, 0, 1];  % 添加RGBelse% 标签1 -> 红色 [1 0 0]rgb_data(j, 4:6) = [1 0 0];quexian_points = [quexian_points; xyz(j, :), 1, 0, 0];  % 添加RGBendend% 保存转换后的主文件(pipe_i.txt)output_main_file = fullfile(pipe_dir, sprintf('pipe_%d.txt', i));dlmwrite(output_main_file, rgb_data, 'delimiter', ' ');% 保存带RGB的标签文件(Annotations/body_i.txt和quexian_i.txt)if ~isempty(body_points)body_file = fullfile(annotations_dir, sprintf('body_%d.txt', i));dlmwrite(body_file, body_points, 'delimiter', ' ');endif ~isempty(quexian_points)quexian_file = fullfile(annotations_dir, sprintf('quexian_%d.txt', i));dlmwrite(quexian_file, quexian_points, 'delimiter', ' ');endfprintf('已处理文件: %s\n', input_filename);
endfprintf('所有文件处理完成!结果保存在: %s\n', output_root);

step4:txt格式数据集变为npy

语义分割需要.npy格式的数据集,这也是麻烦的地方。
在PointNet++工程文件夹下的data文件夹建立s3dis文件夹,再在s3dis里面建立Stanford3dDataset_v1.2_Aligned_Version文件夹,里面有Area_1和Area_2两个文件夹。后面会在程序参数设置中让Area_2里的数据为测试集。再从step3中的pipe_i文件夹里找点文件复制进去,当做训练集(Area1)和测试集(Area2)。结构图如下:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

再在data文件夹下建立stanford_indoor3d用于存储npy格式的文件。
在这里插入图片描述

再修改anno_paths.txt和class_names.txt ,anno_paths.txt写所有Area的Annotations的路径,class_names.txt写类别,和之前的step3中得到的Annotions里的相对应。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

用collect_indoor3d_data.py和indoor3d_util.py将txt样本变为npy样本 。参考:【PointNet++】基于自建数据训练PointNet++场景语义分割网络
在这里插入图片描述
(1)collect_indoor3d_data.py修改:

1/1 加一行代码:out_filename=os.path.basename(os.path.join(output_folder, out_filename)),不然生成的npy文件路径不对,还得自己复制到data/stanford_indoor3d文件夹下
在这里插入图片描述

(2)indoor3d_util.py修改: 改方框的两处地方:
在这里插入图片描述

运行collect_indoor3d_data.py在 data/stanford_indoor3d文件夹下生成npy文件,且前面有Area_1和2的前缀。
在这里插入图片描述

二、修改训练和测试代码以及S3DISDataLoader.py

参考:
【PointNet++】基于自建数据训练PointNet++场景语义分割网络
【PointNet++】PointNet++复现(PyTorch版本)

1、训练代码修改:train_semseg.py

(1)类别:
在这里插入图片描述
(2)改参数:其中最后一个参数指定哪个Area是测试集,剩下参数都根据实际调整
在这里插入图片描述
(3)类别数:
在这里插入图片描述
(4)(5)numpy版本问题
在这里插入图片描述

2、测试代码修改:test_semseg.py

测试的参数batch_size、num_point等参数根据自己实际调整

(1)类别:
在这里插入图片描述
(2)类别数量:
在这里插入图片描述

3、S3DISDataLoader.py修改

参考文献中老哥少改了一个
(1)数字:
在这里插入图片描述
(2)数字:得+1
在这里插入图片描述
(3)数字:
在这里插入图片描述
(4)补充: 其实后面两个也不用改,因为后两个在class ScannetDatasetWholeScene而前两个在class S3DISDataset(Dataset):里,这里只用到了class S3DISDataset(Dataset):
在这里插入图片描述

pointnet2_sem_seg.py改动

用这个模型就改,不用这个就改别的模型
在这里插入图片描述

三、训练以及训练中报错:

运行train_semseg.py即可开启训练。

报错1:

Traceback (most recent call last):File "D:\YinParker\Desktop\AllFileFolder\A_Other_projects_in_laboratory\pointNet2\Pointnet_Pointnet2_pytorch-master\train_semseg.py", line 302, in <module>main(args)File "D:\YinParker\Desktop\AllFileFolder\A_Other_projects_in_laboratory\pointNet2\Pointnet_Pointnet2_pytorch-master\train_semseg.py", line 186, in mainfor i, (points, target) in tqdm(enumerate(trainDataLoader), total=len(trainDataLoader), smoothing=0.9):File "E:\ProfessionSoftware2\anaconda\anaconda3202303\envs\yolov8Python310\lib\site-packages\torch\utils\data\dataloader.py", line 438, in __iter__return self._get_iterator()File "E:\ProfessionSoftware2\anaconda\anaconda3202303\envs\yolov8Python310\lib\site-packages\torch\utils\data\dataloader.py", line 386, in _get_iteratorreturn _MultiProcessingDataLoaderIter(self)File "E:\ProfessionSoftware2\anaconda\anaconda3202303\envs\yolov8Python310\lib\site-packages\torch\utils\data\dataloader.py", line 1039, in __init__w.start()File "E:\ProfessionSoftware2\anaconda\anaconda3202303\envs\yolov8Python310\lib\multiprocessing\process.py", line 121, in startself._popen = self._Popen(self)File "E:\ProfessionSoftware2\anaconda\anaconda3202303\envs\yolov8Python310\lib\multiprocessing\context.py", line 224, in _Popenreturn _default_context.get_context().Process._Popen(process_obj)File "E:\ProfessionSoftware2\anaconda\anaconda3202303\envs\yolov8Python310\lib\multiprocessing\context.py", line 336, in _Popenreturn Popen(process_obj)File "E:\ProfessionSoftware2\anaconda\anaconda3202303\envs\yolov8Python310\lib\multiprocessing\popen_spawn_win32.py", line 93, in __init__reduction.dump(process_obj, to_child)File "E:\ProfessionSoftware2\anaconda\anaconda3202303\envs\yolov8Python310\lib\multiprocessing\reduction.py", line 60, in dumpForkingPickler(file, protocol).dump(obj)
AttributeError: Can't pickle local object 'main.<locals>.<lambda>'
Traceback (most recent call last):File "<string>", line 1, in <module>File "E:\ProfessionSoftware2\anaconda\anaconda3202303\envs\yolov8Python310\lib\multiprocessing\spawn.py", line 116, in spawn_mainexitcode = _main(fd, parent_sentinel)File "E:\ProfessionSoftware2\anaconda\anaconda3202303\envs\yolov8Python310\lib\multiprocessing\spawn.py", line 126, in _mainself = reduction.pickle.load(from_parent)
EOFError: Ran out of input

在这里插入图片描述
在这里插入图片描述
原因:gpt说是train_semseg.py有两处lambda表达式在window不行

法一:改lanbda表达式(推荐法二)

(1)改:参考行号
在这里插入图片描述

在这里插入图片描述
(2)得import functools
在这里插入图片描述
法二:
如何使用PointNet++复现自己的点云语义分割数据集?
如果你是windows系统,那你应该还要注意num_workers设置为0,否则会报错的。 仅需改两处
在这里插入图片描述

报错2:

也不是报错,就是训练代码运行后一直卡住,
在这里插入图片描述
原因:S3DISDataLoader.py里有个一直循环,点数没有达到1024个
在这里插入图片描述
因为1*1平方米内自己点太少了,达不到训练时设置的参数--npoint(超参数)在这里插入图片描述
解决方法:train_semseg.py里把参数1调大也行 或者 将上图S3DISDataLoader.py里把1024调小
在这里插入图片描述

如果对你有帮助,可以点赞、收藏支持一波

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/900698.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

kotlin中主构造函数是什么

一 Kotlin 中的主构造函数 主构造函数&#xff08;Primary Constructor&#xff09;是 Kotlin 类声明的一部分&#xff0c;用于在 创建对象时初始化类的属性。它不像 Java 那样是一个函数体&#xff0c;而是紧跟在类名后面。 主构造函数的基本定义 class Person(val name: S…

PHP 过滤器

PHP 过滤器 引言 PHP作为一种广泛使用的服务器端脚本语言&#xff0c;提供了强大的数据处理能力。在处理数据时&#xff0c;确保数据的安全性和准确性至关重要。PHP过滤器&#xff08;Filters&#xff09;就是用来对数据进行预处理和后处理的工具。本文将详细介绍PHP过滤器的…

【WebRTC】开源项目Webrtc-streamer介绍

WebRTC-Streamer 这是一个用于通过简单的信令机制&#xff08;参见 api&#xff09;流式传输 WebRTC 媒体源的实验项目&#xff0c;支持以下媒体源&#xff1a; 捕获设备 屏幕捕获 mkv 文件 RMTP/RTSP 源 同时该项目也兼容 WHEP 接口。 注意 * 在线演示已停止&#xff0c…

【Java设计模式】第9章 原型模式讲解

9. 原型模式 9.1 原型模式讲解 定义:通过拷贝原型实例创建新对象,无需调用构造函数。特点: 创建型模式无需了解创建细节适用场景: 类初始化消耗资源多对象创建过程繁琐(如属性赋值复杂)循环体中需创建大量对象优点: 性能优于直接new简化创建流程缺点: 必须实现clone()…

【Java集合】LinkedList源码深度分析

参考笔记&#xff1a;java LinkedList 源码分析&#xff08;通俗易懂)_linkedlist源码分析-CSDN博客 目录 1.前言 2.LinkedList简介 3.LinkedList的底层实现 4.LinkedList 与 ArrayList 的对比 4.1 如何选择 4.2 对比图 5.LinkedList 源码Debug 5.1 add(E e) &#xff…

openssl源码分析之加密模式(modes)

openssl实现分组加密模式&#xff08;例如AES128-CBC的CBC部分&#xff09;的模块名字叫做modes&#xff0c;源代码位于 https://gitee.com/gh_mirrors/openssl/tree/master/crypto/modes 博主又打不开github了TT&#xff0c;只能找个gitee镜像 头文件是modes.h。 该模块目前…

Java 搭建 MC 1.18.2 Forge 开发环境

推荐使用 IDEA 插件 Minecraft Development 进行创建项目 创建完成后即可进行 MOD 开发。 但是关于 1.18.2 的开发教程太少&#xff0c;因此自己研究了一套写法&#xff0c;写法并非是最优的但是是探索开发MOD中的一次笔记和记录 GITHUB: https://github.com/zimoyin/zhenfa…

nginx如何实现负载均衡?

Nginx 是一款高性能的 Web 服务器和反向代理服务器&#xff0c;它可以通过配置实现负载均衡功能。以下是实现负载均衡的详细步骤和方法&#xff1a; 1. 基本概念 负载均衡是将客户端请求分发到多个后端服务器上&#xff0c;以提高系统的可用性和性能。Nginx 支持多种负载均衡策…

深度学习天崩开局

李沐大神的d2l包导入&#xff0c; 这玩意需要python311版本&#xff0c;我现在版本已经313了&#xff0c;作为一个天生要强的男人&#xff0c;我是坚决不向低版本低头的。 然后我就研究啊&#xff0c;各种翻资料啊&#xff0c;然后deepseek加豆包都翻烂了&#xff0c; 最终所…

docker部署jenkins并成功自动化部署微服务

一、环境版本清单&#xff1a; docker 26.1.4JDK 17.0.28Mysql 8.0.27Redis 6.0.5nacos 2.5.1maven 3.8.8jenkins 2.492.2 二、服务架构&#xff1a;有gateway&#xff0c;archives&#xff0c;system这三个服务 三、部署步骤 四、安装linux 五、在linux上安装redis&#…

MPDrive:利用基于标记的提示学习提高自动驾驶的空间理解能力

25年4月来自南方科技大学、百度、英国 KCL和琶洲实验室&#xff08;广东 AI 和数字经济实验室&#xff09;的论文“MPDrive: Improving Spatial Understanding with Marker-Based Prompt Learning for Autonomous Driving”。 自动驾驶视觉问答&#xff08;AD-VQA&#xff09;…

Halcon图像采集

Halcon是一款强大的机器视觉软件&#xff0c;结合C#可以开发出功能完善的视觉应用程序。 基本设置 确保已经安装了Halcon和Halcon的.NET库&#xff08;HalconDotNet&#xff09;。 1. 添加引用 在C#项目中&#xff0c;需要添加对HalconDotNet.dll的引用&#xff1a; 右键点…

Win10定时任务计划无法显示要执行的EXE任务程序界面,问题解决办法

用C#开发的一款WINFORM程序&#xff0c;在电脑测试一切顺利&#xff0c;运行结果正确。但用电脑的定时任务执行时&#xff0c;程序界面不显示&#xff0c;重启电脑、各种试都不行&#xff0c;最终问题解决。 解决办法&#xff1a; 要选“只在用户登陆时运行”&#xff0c;才能执…

Navicat和PLSQL在oracle 使用语句报ORA-00911: 无效字符

后面我发现可能是在复制SQL语句中有中文&#xff0c;但是环境变量未配置中文环境。 因为Oracle的语法解析器特别严格&#xff0c;就会报出以上的错误出来。 SQL语句错误&#xff0c;存在中文字符或者sql语句空格导致&#xff0c;去掉即可解决。 我重新写语句&#xff0c;发现…

[ctfshow web入门] web30

信息收集 题目将flag system php不区分大小写地过滤了 解题 前置知识 print_r&#xff1a;php中用于打印数组 scandir&#xff1a;php中用于获取指点目录下的所以文件目录名 getcwd&#xff1a;获取当前目录 目录获取 这里提供两种方法 print_r(scandir(getcwd())); pri…

linux下MMC_TEST的使用

一:打开如下配置,将相关文件编译到内核里: CONFIG_MMC_TEST CONFIG_MMC_DEBUG CONFIG_DEBUG_FS二:将mmc设备和mmc_test驱动进行绑定 2.1查看mmc设备编号 ls /sys/bus/mmc/drivers/mmcblk/mmc0:aaaa2.2将mmc设备与原先驱动进行解绑 echo mmc0:aaaa >

《深度解析LightGBM与MySQL数据集成:高效机器学习的新范式》

在机器学习工程实践中&#xff0c;数据与模型的高效交互一直是制约算法性能发挥的关键瓶颈。LightGBM作为梯度提升决策树框架的杰出代表&#xff0c;其与关系型数据库MySQL的深度集成能力&#xff0c;为数据科学家提供了从原始数据到预测结果的完整解决方案。这种集成不是简单的…

处理Excel的python库openpyxl、xlrd、xlwt、pandas有什么区别,搞懂它

openpyxl、xlrd、xlwt、pandas 都能处理 Excel 表格&#xff0c;但用途和适合的场景不同。今天做个总结&#xff1a; 库名功能支持格式读写支持样式备注openpyxl全面的.xlsx处理库.xlsx&#xff08;Excel2007&#xff09;✅✅✅首选xlrd读取.xls文件的老牌工具.xls&#xff08…

EasyExcel-一款好用的excel生成工具

EasyExcel是一款处理excel的工具类&#xff0c;主要特点如下&#xff08;官方&#xff09;&#xff1a; 特点 高性能读写&#xff1a;FastExcel 专注于性能优化&#xff0c;能够高效处理大规模的 Excel 数据。相比一些传统的 Excel 处理库&#xff0c;它能显著降低内存占用。…

视频分析设备平台EasyCVR携手高空抛物AI智能分析技术,打造住宅小区头顶安全智能防线

一、背景介绍 随着城市化进程的高速推进&#xff0c;城市天际线不断被刷新&#xff0c;高楼大厦密密麻麻。然而&#xff0c;高空抛物问题也逐渐显现&#xff0c;这一行为不仅严重影响城市文明的形象&#xff0c;更带来很多安全隐患&#xff0c;威胁居民的生命财产安全&#xf…