隐式3D形状表示:Occupancy Networks

OccNet 的关键思想是隐式地表示3D形状,而不是显式地表示。与直接编码形状几何信息不同,OccNet 将形状的表面建模为非线性分类器的决策边界

  • 隐式表示:Occupancy Networks 将 3D 形状表示为非线性分类器函数的决策边界
    f θ : R 3 × X → [ 0 , 1 ] f_{\theta} : \mathbb{R}^3 \times X \rightarrow [0,1] fθ:R3×X[0,1]

    这里, X X X​ 表示输入空间(例如,体素网格或点云),函数在给定点的输出表示该点的是否占用(该点在物体内部还是外部,下图中即红色在内部,蓝色在外部)

    image-20240508100153121

1 数据集准备

首先我们导入训练数据,即我们想要表示的 3D 对象,其包含 100k 个采样点及其占用值。占用值指示该点是属于对象 ( occupancy=1 ) 还是不属于 ( occupancy=0 )

image-20240508100435255

我们首先需要将数据分为训练集和验证集。随机分割数据,使用 80% 作为训练集,20% 作为验证集。

2 创建神经网络

这个神经网络即为一个分类器,其传入的3维的坐标,输出1维的占用值0/1。简单设计为具有 4 个隐藏层,隐藏维度为 64 的网络(总共 6 层,4 个隐藏层 + 1 个输入 + 1 个输出)

class OccNet(nn.Module):def __init__(self, size_h=64, n_hidden=4):super().__init__()# 4 个隐藏层,隐藏维度为 64(总共 6 层,4 个隐藏层 + 1 个输入 + 1 个输出)layers = [nn.Linear(3, size_h), nn.ReLU()]for _ in range(n_hidden):layers += [nn.Linear(size_h, size_h), nn.ReLU()]layers += [nn.Linear(size_h, 1)]self.main = nn.Sequential(*layers)def forward(self, pts):return self.main(pts).squeeze(-1)       # squeeze dimension of the single output value

然后我们定义损失函数、优化器:

  1. 损失函数 (Loss Function):

    nn.BCEWithLogitsLoss,二元交叉熵损失和 softmax 函数的结合。这个损失函数通常用于二分类问题;参数reduction='none' 使损失在计算时不进行求和或平均,而是对每个样本点都会产生一个独立的损失值

  2. 优化器 (Optimizer):

    • 使用了 Adam 优化器,它是一种常用的随机梯度下降优化算法的变体。Adam 优化器具有自适应学习率的特性,可以在训练过程中根据梯度的不同情况来调整学习率。
model = OccNet(size_h=64, n_hidden=4)
criterion = nn.BCEWithLogitsLoss(reduction='none')    # binary cross entropy loss + softmax
optimizer = torch.optim.Adam(model.parameters())

3 训练

  1. 训练循环:

    对于每个批次的采样点和占用值,将数据送入模型进行前向传播,计算输出和损失使用优化器清零梯度,并进行反向传播权重更新

    optimizer.zero_grad()  # 清零梯度
    output = model(pts)  # 前向传播,通过模型计算预测值
    loss = criterion(output, occ).mean()  # 计算损失
    loss.backward()  # 反向传播,计算每个参数的梯度
    optimizer.step()  # 更新权重,使用梯度进行一步优化算法
    
  2. 验证:

    • 在每个 epoch 或每个指定的迭代次数后,使用验证集计算模型的验证损失
    • 如果验证损失比之前记录的最佳验证损失还要小,则保存当前模型

正常的训练loss曲线:

image-20240508151543465

4 从隐式表示中提取对象

之前我们已经训练好了一个神经网络,现在需要使用经过训练的网络来恢复物体的 3D 形状。

  1. 采样点网格:首先,在三维空间内生成一组等间距采样点网格,这些点将用于评估网络的输出

    参数 xminxmaxresolution,分别表示每个轴上的最小值、最大值和分辨率

    def make_grid(xmin, xmax, resolution):grid_1d = torch.linspace(xmin, xmax, resolution)grid_3d = torch.stack(torch.meshgrid(grid_1d, grid_1d, grid_1d, indexing='xy'), -1)return grid_3d.flatten(0, 2)     # RxRxRx3 -> (R^3)x3 
    

    例如:使用 resolution = 128 设置每个维度上的分辨率为 128,即得到 128×128×128 的三维网格,共 12 8 3 128^3 1283 个点

  2. 预测占用值:将采样点输入经过训练的网络中,获取每个点处的占用值

  3. 网格生成:基于占用值,使用网格生成算法(如 Marching Cubes)生成三维网格,该网格将近似地表示原始的 3D 形状

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/8461.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

crmeb知识付费系统正式上线,分屏录制网课用什么软件?教程有啥?

现在很多人为了提升自己知识储备,都会选择线上课程来提升自己,因为线上课程不受时间、地点的限制,大家可以在家就学习,也有很多人想做自己的网络课程,那分屏录制网课用什么软件好? 目前市面上有很多可以录屏…

高斯赛德尔迭代程序

高斯赛德尔迭代非常常用&#xff0c;看到网上很多例子写的不够简洁&#xff0c;这里我写了一个&#xff0c;供参考 import numpy as npdef gauss_seidel(A,b,x1,eps1.e-6):n len(A)max_iter 200iters 0while abs(np.dot(A[0,:],x1) - b)[0] > eps and iters < max_…

2024年颠覆商业模式《本草生活》项目,巧妙三招营销引流裂变套路

2024年颠覆商业模式《本草生活》项目&#xff0c;巧妙三招营销引流裂变套路 文丨微三云营销总监胡佳东&#xff0c;点击上方“关注”&#xff0c;为你分享市场商业模式电商干货。 - 引言&#xff1a;现如今流量枯竭、降本增效、红利不再已是线上营销的常态&#xff0c;互联网…

静态照片怎么合成gif?详细介绍一个方法

我们在各大平台中都能看到各种样式的gif动图。Gif动图其实就是由一帧一帧的静态图片合成的动态效果的gif&#xff0c;想要制作gif动画可以通过使用在线图片合成&#xff08;https://www.gif5.net/&#xff09;工具-GIF5工具网&#xff0c;手机、pc均可操作&#xff0c;只需要上…

网络代理与网络安全:解析 SOCKS5、代理IP、HTTP 的关系与应用

在当今数字化时代&#xff0c;网络代理技术成为了保护隐私、绕过地理限制、加强网络安全的重要工具。本文将探讨 SOCKS5 代理、代理IP、HTTP 代理等关键概念&#xff0c;并着重讨论它们在网络安全方面的应用与挑战。 SOCKS5 代理 定义与特点&#xff1a;SOCKS5 是一种网络代理…

nestjs 全栈进阶--自定义装饰器

视频教程 20_nest中自定义装饰器_哔哩哔哩_bilibili nest new custom-decorator -p pnpm pnpm start:dev 在Nestjs 中我们使用了大量装饰器 decorator &#xff0c;所以Nestjs 也允许我们去自定义装饰器。 1. 自定义方法装饰器 nest g decorator aaa --flat 它生产的代码…

C++进阶——浅谈隐式转化

在代码里我们或多或少都会依赖c的隐式类型转换。 然而不幸的是隐式类型转换也是c的一大坑点&#xff0c;稍不注意很容易写出各种奇妙的bug。 因此我梳理一遍c的隐式类型转换 一、什么是隐式类型转换 概念&#xff1a;就是当你只有一个类型T1&#xff0c;但是当前表达式需要类…

详细分析McCabe环路复杂度(附例题)

目录 前言1. 基本知识2. 例题 前言 该知识点常出在408或者软考中&#xff0c;对此此文重点讲讲理论知识以及例题 对于例题平时看到也会更新 1. 基本知识 McCabe环路复杂度是一种用于衡量软件代码复杂性的指标&#xff0c;主要是通过计算代码中的控制流图中的环路数量来衡量…

机房——蓝桥杯十三届2022国赛大学B组真题

问题分析 这题用深搜广搜都能做&#xff0c;不过我更倾向于用广搜&#xff0c;因为广搜能更容易找到目标点。那么是采用结构体存储边还是采用二维数组存储临接矩阵呢&#xff1f;我们注意到n的取值范围为1e5,用二维数组哪怕是bool类型就需要至少1e10Byte的连续空间,这个空间太大…

【C++PCL】点云处理3D-Harris关键点提取

作者:迅卓科技 简介:本人从事过多项点云项目,并且负责的项目均已得到好评! 公众号:迅卓科技,一个可以让您可以学习点云的好地方 重点:每个模块都有参数如何调试的讲解,即调试某个参数对结果的影响是什么,大家有问题可以评论哈,如果文章有错误的地方,欢迎来指出错误的…

2022 年全国职业院校技能大赛高职组云计算赛项试卷(公有云)

#需要资源&#xff08;软件包及镜像&#xff09;或有问题的&#xff0c;可私聊博主&#xff01;&#xff01;&#xff01; #需要资源&#xff08;软件包及镜像&#xff09;或有问题的&#xff0c;可私聊博主&#xff01;&#xff01;&#xff01; #需要资源&#xff08;软件包…

5V升8.4V2A升压恒压WT3231

5V升8.4V2A升压恒压WT3231 WT3231 是一种高性能直流-直流&#xff08;DC-DC&#xff09;转换器&#xff0c;集成了能够承受10A电流和26mΩ低导通电阻的功率MOSFET。该转换器能提供高达12V的稳定输出电压&#xff0c;并具有固定600KHz开关频率&#xff0c;使得小型外部电感和电…

解决github无法克隆私有仓库,Repository not found问题(2024最新)

一、背景 这个问题出现&#xff0c;是你用了其他主机设备&#xff0c;需要重新clone私有库时&#xff0c;发现一直报找不到仓库&#xff0c;如下报错&#xff1a; remote: Repository not found.二、解决方法 &#xff08;1&#xff09;账号密码方式&#xff08;已不支持&am…

构建自己的docker镜像node.js

学习资源&#xff1a; 构建自己的 Docker 镜像_哔哩哔哩_bilibili 针对其中的一些比较困难的点写篇文章。 以下是对app.js的注释&#xff1a; // 使用 Koa 框架搭建 Node.js 应用的示例代码// 这两行代码引入了 koa 模块&#xff0c;并创建了一个新的 Koa 应用实例&#xf…

C++之QT文本处理QDir、QFileDialog、QStringList、QFile

一、相应的头文件 #include <QFileDialog> #include <QDir> #include <QStringList> 二、简介 1.QFileDialog 实际效果如下&#xff1a;比如需要选择打开的文件夹或者文件名&#xff0c;通过调用资源管理器的方式进行可视化操作。 代码示例为&#xff1a…

gitlab集群高可用架构拆分部署

目录 前言 负载均衡器准备 外部负载均衡器 内部负载均衡器 (可选)Consul服务 Postgresql拆分 1.准备postgresql集群 手动安装postgresql插件 2./etc/gitlab/gitlab.rb配置 3.生效配置文件 Redis拆分 1./etc/gitlab/gitlab.rb配置 2.生效配置文件 Gitaly拆分 1.…

Linux高级进程通信

目录 第1关&#xff1a;socket之本地通信 任务描述 相关知识 创建 socket 流程 命名 socket 其他接口 编程要求 答案&#xff1a; 第2关&#xff1a;命名管道 任务描述 相关知识 命名管道的定义 命名管道的创建 命名管道的访问 命名管道的访问 编程要求 答案&#xff1a; 第3关…

五月加仓比特币

作者&#xff1a;Arthur Hayes Co-Founder of 100x. 编译&#xff1a;Liam 编者注&#xff1a;本文略有删减 (以下内容仅代表作者个人观点&#xff0c;不应作为投资决策的依据&#xff0c;也不应被视为参与投资交易的建议或意见&#xff09;。 从四月中旬到现在&#xff0c;当你…

flask框架的初步认识

flask框架的初步认识 这是一个轻量级的网页框架&#xff0c;在运行后&#xff0c;就相当于服务器&#xff0c;当用户输入URL就会触发对应的事件调用方法&#xff0c;返回给用户一个网页文件&#xff0c;并通过自动识别html标签&#xff0c;来为用户呈现对应的样式和效果&#…

小红书达人置换合作推广怎么做?

小红书作为国内领先的生活方式分享平台&#xff0c;已成为品牌与消费者沟通的重要桥梁。达人置换合作推广&#xff0c;即品牌与小红书上的意见领袖&#xff08;KOL&#xff09;合作&#xff0c;通过他们的影响力推广产品&#xff0c;已成为品牌营销的重要手段。本文伯乐网络传媒…