GNeRF论文理解

文章目录

  • 主要解决什么问题?
  • 结构设计以及为什么有效果?
  • 个人想法。

主要解决什么问题?

本文主要想要解决的问题是 如何使用uncalibrated的照片来进行Nerf重建。虽然说现在已经有了一些方式可以对相机位姿进行估计和优化,但是他们限制很多,且必须要有一个合理的初始化区间。在优化未知位姿的时候,对正面的场景也只能在short camera trajectories的优化。本文提出的方式,首先是不需要一个大致的相机位姿的初始化,只需要有一个大致的相机位姿分布,且可以在较大的轨迹内进行优化。
在这里插入图片描述

结构设计以及为什么有效果?

文中使用的结合了GAN结构的Fframework。一共分成了两个阶段,其实就是coarse-to-fine的样子,第一个阶段大致的输出一个粗糙的nerf estimation 以及 相机相机位姿,然后第二个阶段开始联合优化 (nerf estimation和相机的位姿。)

具体是怎么做的呢,又为什么会这么要这么做呢?
首先生成器的输入是一个相机pose,这个Pose是从事先定义好的分布中采样得来的。那么生成器会根据提供的相机位姿,去生成假的照片,然后对这些假的照片进行渲染(这里就就和一般的nerf一样)。假照片会被打散成patch然后拿去给判别器识别。这里文中提到了一个 动态采样的概念, 简单来说是 图像的大小不变,但是他的scale和offset是动态变化的。我估计使用动态采样的目的是为了让判别器更加的鲁棒。上述的结构的训练就是和一般的GAN一样。这只能让模型学习一个大概的Nerf和相机位姿。

为了要更加精确的相机位姿,文中还训练了一个inversion network,那么他的主要目的是从原始图像中采样一些image patches然后重新映射会相机位姿空间。就是说要根据相片去估计他们的位姿。这个过程和之前的过程是反着的,所以我猜这也是为什么叫inversion的原因。所以这个inversion 网络的输入数据是原始图像的一些samples,输出的结果是对应的相机位姿。通过这个方法可以学习到真照片个和相机位姿之间的关系。而且inversion 网络是用自监督的形式来进行训练的。

前面说的是A阶段,B 阶段主要是一个nerf表示和相机位姿一个联合优化,主要是优化photometric loss。

关于训练方式,这篇文章也有一些创新,比如regularized learning strategy, 他主要是通过阶段A和阶段B的交替进行来同时提高nerf 预测和 位姿预测的准确性。

个人想法。

读完首先给我的感觉是这个网络设计不是特别好训练,而且GAN缺陷可能会导致这个方式没法用到特别大的数据上。网络结果设计还是很巧妙,个人认为主要是以工程设计的创新为主。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/21446.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

journal日志管理

1、systemd-journald详解 systemd-journald日志默认保存在/run/log/journal中,重启会被清楚,如果存在/var/log/journal目录,systemd-journald日志会自动改为记入在这个目录中,同时日志轮转也会启动,日志轮状每月启动&…

如何通过网站封装App工具轻松创建移动应用

想象一下:将您的网站变成App 大多数网站管理员和开发人员多多少少都曾梦想过将自己的网站变成一款移动应用。传统的App开发过程不仅繁琐,还需要耗费大量的时间和资源。好消息是,现在有了网站封装App工具,这一切都变得简单了。您只…

HashMap 随记

HashMap 构造器 HashMap 共有四个构造器&#xff1a; public HashMap(int initialCapacity, float loadFactor) {// 对于传入的初始容量&#xff08;loadFactor&#xff09; 及 负载因子&#xff08;loadFactor&#xff09;的一些边界判断if (initialCapacity < 0) throw n…

Android Audio基础——音频配置xml文件加载(七)

通过前面的文章&#xff0c;我们知道在 AudioPolicyManager 初始化的时候回调用 loadConfig() 方法去加载 Audio 相关的配置信息&#xff0c;这里我们就来详细看一下。 一、配置文件加载 1、AudioPolicyManager 源码位置&#xff1a;/frameworks/av/services/audiopolicy/ma…

将下拉弹层渲染节点固定在触发器的父元素中

将下拉弹层渲染节点固定在触发器的父元素中 注意: 如果发现下拉菜单跟随页面滚动&#xff0c;或者需要在其他弹层中触发 Select&#xff0c; 请尝试使用 getPopupContainer{triggerNode > triggerNode.parentElement} 将下拉弹层渲染节点固定在触发器的父元素中。

【MySQL】探索 MySQL 的 GROUP_CONCAT 函数

缘分让我们相遇乱世以外 命运却要我们危难中相爱 也许未来遥远在光年之外 我愿守候未知里为你等待 我没想到为了你我能疯狂到 山崩海啸没有你根本不想逃 我的大脑为了你已经疯狂到 脉搏心跳没有你根本不重要 &#x1f3b5; 邓紫棋《光年之外》 什么是 GRO…

遗传算法与应用分析

遗传算法的概念 简单来说&#xff0c;遗传算法&#xff08;Genetic Algorithm&#xff0c;GA&#xff09;是一种模拟自然进化过程的优化算法。它通过模拟生物进化的遗传机制&#xff0c;通过选择、交叉和变异等操作&#xff0c;逐代优化搜索空间中的解。遗传算法最初由约翰霍兰…

【面试题-001】什么是面向对象?

文章目录 什么是面向对象&#xff1f;与面向过程的区别&#xff1f;哪些语言是面向对象 哪些是面向过程&#xff1f; 什么是面向对象&#xff1f; 面向对象&#xff08;Object-oriented&#xff09;是一种程序设计范例&#xff0c;它通过将数据与对数据操作的函数&#xff08;…

V90 PN伺服驱动器附加报文750详细使用介绍(算法分析)

1、V90PN伺服驱动器转矩控制(750报文) V90 PN伺服驱动器转矩控制(750报文)_v90pn转矩控制-CSDN博客文章浏览阅读3.4k次,点赞2次,收藏3次。主要介绍通过标准报文加附加报文 750 实现发送驱动报文的控制字、速度给定、转矩限幅及附加转矩给定的功能,首先就是V90在博途环境下…

算法学习笔记——对数器

对数器 对数器的实现&#xff1a; 你想要测的方法a&#xff08;最优解&#xff09;实现复杂度不好但是容易实现的方法b&#xff08;暴力解&#xff09;实现一个随机样本产生器&#xff08;长度也随机、值也随机&#xff09;把方法a和方法b跑相同的输入样本&#xff0c;看看得…

分享5款.NET开源免费的Redis客户端组件库

前言 今天大姚给大家分享5款.NET开源、免费的Redis客户端组件库&#xff0c;希望可以帮助到有需要的同学。 StackExchange.Redis StackExchange.Redis是一个基于.NET的高性能Redis客户端&#xff0c;提供了完整的Redis数据库功能支持&#xff0c;并且具有多节点支持、异步编…

总结2024/6/3

省流&#xff0c;蓝桥杯国优&#xff0c;还是太菜了&#xff0c;听说都是板子题但是还是写不出来&#xff0c;靠暴力好歹没有爆0&#xff0c;还是得多练&#xff0c;明年加油了

JWT 签名用对称加密还是非对称加密?

一 概念梳理 对称加密和非对称加密是两种基本的加密方法&#xff0c;它们在现代密码学中扮演着核心角色&#xff0c;用于保护数据的安全和隐私。 1.1 对称加密&#xff08;Symmetric Encryption&#xff09; 对称加密是指加密和解密使用同一个密钥的过程。这意味着发送方和接…

!力扣 108. 将有序数组转换为二叉搜索树

给你一个整数数组 nums &#xff0c;其中元素已经按升序排列&#xff0c;请你将其转换为一棵 平衡二叉搜索树。 示例 1&#xff1a; 输入&#xff1a;nums [-10,-3,0,5,9] 输出&#xff1a;[0,-3,9,-10,null,5] 解释&#xff1a;[0,-10,5,null,-3,null,9] 也将被视为正确答案…

封装了一个使用UICollectionViewLayout 实现的吸附居左banner图

首先查看效果图 实现的原理就是通过自定义UICollectionView layout&#xff0c;然后 设置减速速率是快速就可以达到吸附的效果 _collectionView.decelerationRate UIScrollViewDecelerationRateFast; 下面贴出所有代码 这里是.h // // LBMiddleExpandLayout.h // Liubo…

文章解读与仿真程序复现思路——电力系统自动化EI\CSCD\北大核心《具有源荷不平衡特性的配电网智能软开关和储能联合规划》

本专栏栏目提供文章与程序复现思路&#xff0c;具体已有的论文与论文源程序可翻阅本博主免费的专栏栏目《论文与完整程序》 论文与完整源程序_电网论文源程序的博客-CSDN博客https://blog.csdn.net/liang674027206/category_12531414.html 电网论文源程序-CSDN博客电网论文源…

CTF_RE学习

学了一个 map&#xff08;&#xff09;函数的使用 import base64rawData "e3nifIH9b_CndH" target list(map(ord, rawData)) # map 函数将 rawData 中的每个字符传递给 ord 函数。ord 函数返回给定字符的 Unicode 码点 print(target) # 打印 map 对象的内存地址&…

汽车线束搭铁与接地

一、搭铁与接地的概念 首先在这里解释一下“搭铁”与“接地”的概念&#xff0c;不要混为一团&#xff01; 先说接地&#xff0c;大地是可导电的&#xff0c;其电位通常取为零。电力系统和电气装置的中性点、电气设备的外露导电部分及装置外导电部分通过导体与大地相连&#xf…

MySQL数据库的约束

MySQL对于数据库存储的数据, 做出一些限制性要求, 就叫做数据库的"约束". 在每一列的 列名, 类型 后面加上"约束". 一. not null (非空) 指定某列不能存储null值. 二. unique (唯一) 保证这一列的每行必须有唯一值. 我们可以看到, 给 table 的 sn 列插…

【微服务】docker部署redis,一主二从三哨兵,读写分离

配置redis读写分离 3台虚拟机 创建目录用于挂载 mkdir -p /root/redis/{conf,data,logs} #master配置文件 bind 0.0.0.0 //任何ip都能访问 port 6379 //redis端口号 logfile "/data/redis.log" //日志文件存放位置&#xff0c;启动redis之前设置为空&#xff…