Point-Nerf 理论笔记和理解

文章目录

  • 什么是point nerf 和Nerf 有什么区别
  • Point Nerf 核心结构有哪些?
    • 什么是point-based radiance field?
  • 点云位置以及置信度是怎么来
  • Point pruning 和 Point Growing

什么是point nerf 和Nerf 有什么区别

基本的nerf 是通过过拟合MLP来完成任意视角场景的重建,这有什么问题呢? 这样会导致模型的训练很慢且完全没有泛化能力。训练出来模型只能用于一个场景的重建。 且Nerf的输入只能是 照片以及相机位姿。但是point nerf 可以使用点云作为输入并且考虑到了每一个点对应的2D features。这个有什么好处呢。他可以省去大量sample的过程。因为在原始的nerf中,我们是不知道场景到底在3D空间中的什么地方,所以我们需要使用对光线进行大量的采样,来大致理解3D场景的位置,而point nerf 因为可以使用点云作为输入,点云中的每一个点都可以理解成场景的一部分,所以我们可以对这些点周围的点进行采样。point nerf 使用相对位置计算特征比起nerf完全使用绝对位置来说,繁华能力有所提高。

Point Nerf 核心结构有哪些?

什么是point-based radiance field?

和nerf相似的点是他们的目的都是要去计算 view-dependent volume density。Nerf 直接使用mlp 进行硬拟合,但是point nerf 使用了neural point来计算这个东西。 neural point 包含三个东西,点的空间位置,点对应的特征,以及它的置信度。 特征是怎么来的。因为知道相机位姿,所以我们可以把3D 点投射到2D feature plane去然后取得每一个点的特征,这就是pixel-aligned features。置信度代表着什么? 置信度表示的是当前这个点在场景表面的可能性有多大。

point-based radiance field怎么获得? 给到任意的一个3D点的位置,我们在这个点的R半径范围内,进行K最近邻采样,然后把这K个点的位置,view direction, 2D features, confidence 一起输入到 point nerf 中去获得 volume density 以及 radiance。 简单来说就是,先处理每一个点,然后再把每一个点相邻的信息整合起来。
在这里插入图片描述
为了提高泛化能力,每一个点的特征是需要重新根据相对位置来计算的。之前的点特征是使用的绝对位置,没有 point translation invariant。具体就是使用另一个MLP把特征和相对位置一起做计算即可。在这里插入图片描述
然后需要使用点与shading location的距离来对这些点进行权重的计算,如果说一个点离shading location特别远,那么它对于重建的贡献也就很小,所以它的权重相对就比较低。volume density 和 radiance的计算首先都要使用方法来对点进行权重计算。
在这里插入图片描述

点云位置以及置信度是怎么来

点云的位置其实是通过深度的unprojection得到的。那么深度是怎么来的呢? 使用MVSnet或者类似的网络。具体怎么做?深度可以表示成物体离相机的距离,或者是两张照片的视差。MVSnet 使用两张或多张相邻的照片,用2D CNN来提取每一张照片的2D特征, 然后和传统MVS算法一样,使用plane sweeping 的方式,将相邻照片的特征图sweep到 reference image 的 plane上面。这样就可以比较两个feature maps之间到底差了多少,这种差值就是cost volume,它已经包括了视差信息,所以用这个cost volume就可以预测深度信息。文中是用的depth probablity volume,用于表示point confidence。这个过程可以表示成:
在这里插入图片描述

Point pruning 和 Point Growing

这两个方法主要是用于点的处理。前者会根据点的权重来筛选点,也就是说如果点的距离离场景的距离特别的远,那么对于场景的贡献就会变低。这时候就可以将这个点删去,来完成剪枝。此外输入的点云有可能会出现不完整的情况,这个时候就需要将点云补全。通过一条光线上点的可见度来判断这个位置需不需要增加点。判断的条件就是一个点确实是在surface 周边的但是离其他的点很远。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/841487.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux(六)

Linux(六) 自定义头文件自定义头文件中写什么如何引入头文件条件编译条件编译作用 gcc工作原理Make 工作管理器什么是Make什么是Makefile/makefileMakefile假目标Makefile中的变量自定义变量预定义变量自动变量 Makefile中变量展开方式递归展开方式简单展…

2024攻防演练利器之必修高危漏洞合集

随着网络安全的发展和攻防演练工作的推进,红蓝双方的技术水平皆在实践中得到了很大的提升,但是数字化快速发展也导致了企业的影子资产增多,企业很多老旧系统依旧存在历史漏洞,与此同时,在攻防演练期间,往往…

利用EAS自动生成数据模型和sql脚本

EAS适用于敏捷开发中小系统,这节主要讲解EAS对应的模型和数据库脚本输出应用。 在这个应用程序中,用户可自定义实体模型和枚举模型,只要选择相应的实体或者枚举进行右击添加即可。 解决方案参数设定,在解决方案的设定中可设置项目名称、通用语言,命名空间和输出位置。 连…

C语言系列文章 | 函数 (共 10209 字)

目前主要分为三个专栏,后续还会添加: 专栏如下: C语言刷题解析 C语言系列文章 我的成长经历 感谢阅读! 初来乍到,如有错误请指出,感谢! 目录 函数的概念库函数自…

设计软件有哪些?建模和造型工具篇(1),渲染100邀请码1a12

之前我们介绍的都是渲染软件,但对于设计师来说建模和造型是在渲染之前,所以从现在开始,我们会介绍一批建模和造型工具。 1、ZBrush ZBrush是由Pixologic公司开发的数字雕刻和绘画软件,专为艺术家和设计师而设计。它结合了3D建模…

抖店如何打造出爆品?学好这几招,轻松打爆新品流量

大家好,我是电商花花。 近年来,抖店商家越来越多,而选品,爆品就是我们商家竞争的核心了,谁能选出好的新品,打造出爆品,谁的会赚的多,销量多。 做抖音小店想出单,想赚钱…

转置卷积简明教程

转置卷积层也被(错误地)称为反卷积层。反卷积层反转了标准卷积层的操作,即如果对通过标准卷积层生成的输出进行反卷积,则会返回原始输入。转置卷积层与反卷积层相似,因为两者生成的空间维度相同。转置卷积不是通过值反…

Java+Spring Boot +MySQL + MyBatis Plus一款数字化管理平台源码:云MES系统

JavaSpring Boot MySQL MyBatis Plus一款数字化管理平台源码:云MES系统 MES是为企业提供制造全过程的信息化产品,支持企业智能制造。MES可实现与企业的ERP、PDM等其他信息化系统进行无缝连接,也可与现场生产设备进行连接、数据采集&#xff…

【WEB前端2024】开源智体世界:乔布斯3D纪念馆-第29课-会员制展厅

【WEB前端2024】开源智体世界:乔布斯3D纪念馆-第29课-会员制展厅 使用dtns.network德塔世界(开源的智体世界引擎),策划和设计《乔布斯超大型的开源3D纪念馆》的系列教程。dtns.network是一款主要由JavaScript编写的智体世界引擎&…

$subcribe的使用

$subcribe的使用 只要是store都有$subscribe函数,是订阅的意思,可以监测到store中数据的变化 使用$subscribe函数可以实现刷新不丢失,将数据保存到浏览器的本地存储中,每次进入页面都使用localStorage的数据填充页面

手把手教学,一站式教你实现服务器(Ubuntu)Anaconda多用户共享

背景:书接上回,一站式安装Ubuntu及配置服务器手把手教学,一站式安装ubuntu及配置服务器-CSDN博客 在安装及配置好服务器后,因为课题组可能涉及多个用户共用一台服务器,为了防止服务器上代码误删和Anaconda环境管理混乱…

⌈ 传知代码 ⌋ 实现沉浸式交互故事体验

💛前情提要💛 本文是传知代码平台中的相关前沿知识与技术的分享~ 接下来我们即将进入一个全新的空间,对技术有一个全新的视角~ 本文所涉及所有资源均在传知代码平台可获取 以下的内容一定会让你对AI 赋能时代有一个颠覆性的认识哦&#x…

批量漏洞挖掘思路小结

漏洞挖掘是指对应用程序中未知漏洞的探索,通过综合应用各种技术和工具,尽可能地找出其中的潜在漏洞。一般情况下漏洞挖掘针对单一的应用系统,通过端口扫描、目录扫描、文件扫描等方式对其安全性进行评估,而本文主要针对Nday和1day…

零基础的粉丝有福了:逐键提示盲打更轻松

盲打就是不看键盘去打字,对于零基础的粉丝而言,盲打入门通常都是很难的,今天就给大家放个福利:从今天开始就能盲打,3天之后盲打就入门了。 真的有这么简单吗?是的,跟着我做就可以了。 首先&am…

【MinIO学习】

OSS Docker podman MinIO服务器 MinIO客户端 Bucket Object 时间同步 The difference between the request time and the servers time is too large。 URL

ISCC2024个人挑战赛WP-MISC

(非官方解,以下内容均互联网收集的信息和个人思路,仅供学习参考) where is flag 下载附件,解压出pyc,然后到下面网址反编译 python反编译 - 在线工具 记住c,是密文, Key是 k5fg…

决定新泽西州版图的关键历史事件

决定新泽西州版图的关键历史事件 1. *民地建立:1664年,新泽西成为英国*民地。该地区原为荷兰*民地的一部分,但同年根据英王查理二世的赐予,转归给了他的兄弟约克公爵(后来的詹姆士二世),之后又被…

【计网】广播域和冲突域

一、相关概念 1.各层次设备 2.冲突域 2.1定义 冲突域通俗来讲就是在同一个网络中,两台设备同时传输的话会产生冲突。位于OSI的第一层:物理层 例如在集线器场景下,集线器属于物理层设备,它不具备交换机的功能,当收到节…

mysql之递归sql

mysql之递归sql 递归sql在一些公司是不允许使用的,会涉及数据库压力,所以会在代码里递归查询,但有些公司开发流程没有规定,且数据库数据量不大,之前写过好几遍了,老是记不住,记录一下 通过父级…