MVSnet 代码详解(pytorch)

大致过一下MVSnet 论文中核心的点对应代码应该怎么写。
在这里插入图片描述
forward 函数需要 照片,映射矩阵,以及深度值。 照片的shape是 (1,5,3,1184,1600)代表着1个batch,5张图片,然后一次是每张图片的channel和大小。projection_matrix是 (1,5,4,4)代表着5个(4*4)的举证。深度shape是(192,1) (这个还不知道为什么是这个shape)。

首先这输入进入self.feature里面去提取特征,self.feature 是一个feature net。他包括了6层 con2d +batchnorm2d
在这里插入图片描述
得到特征之后,就需要构建cost volume。
在这里插入图片描述
homo_warping是一个比较重要的函数,他的主要功能就是去实现differentiable homography。
这个函数需要src_fearture,src projection metrics, reference projection matrix,以及相对应的depth value。我的理解是,这里给到的 src_projection matrix是指,从src的相机坐标系投射到世界坐标系的投影矩阵。同理reference projection matrix 也是从reference image 的相机坐标系投影到世界坐标系。我们想要的是,将src的特征投影到ref的feature plane 上面。通过,src_projection左乘ref_projection的逆得到先将src投射到世界坐标系,然后再讲它们从世界坐标系中投射到ref plane上。
在这里插入图片描述
在这里插入图片描述
首先使用torch.meshfgrid这个函数来初始化点云。这个点之后xy两个方向,我们之后继续将生成的点的Z轴的值初始化成1。 然后初始化,depth volume. 创建一个深度网格。在这里插入图片描述在这里插入图片描述
其实上面三个图片的代码是在实现一下这个公式:
在这里插入图片描述
然后使用src_feature 在这个网格中进行采样。
在这里插入图片描述
采样得到的特征的shape是(1,32,192,296,400),大小和特征图大小一致,只是多了一个用来表示深度范围的维度。因为mvs 它不是要计算精确的depth,而是一个depth probability。这个应该对应的是原图中画圈的地方。
在这里插入图片描述
然后对得到的feature volume 之后, 把 feature volume 合成一个 大的volume
在这里插入图片描述
下一步需要计算cost regularization,它使用的是一个类似于U-net的网络啊
在这里插入图片描述
将得到的cost_volume 做一个 softmax得到 probability volume ,然后用回归深度。
在这里插入图片描述
最后的refinement 网络 就是一个很简单的小网络。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/13873.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Android低代码开发 - MenuPanel的源码剖析和基本使用

看了我上篇文章Android低代码开发 - 像启蒙和乐高玩具一样的MenuPanel 之后,本篇开始讲解代码。 源代码剖析 首先从MenuPanelItemRoot讲起。 package dora.widget.panelinterface MenuPanelItemRoot {/*** 菜单的标题。** return*/var title: String?fun hasTit…

大象资讯:PostgreSQL 17 Beta 1 发布!

↑ 关注“少安事务所”公众号,欢迎⭐收藏,不错过精彩内容~ PostgreSQL 全球开发小组 发布于 2024-05-23 PostgreSQL 全球开发小组宣布,PostgreSQL 17 的第一个测试版本现已可供下载。此版本包含 PostgreSQL 17 正式发布时将提供的所有功能的预…

IEN在Web3.0中的性能与安全优势

随着Web3.0的快速发展,优化网络基础设施变得至关重要。智能生态网络(Intelligent Ecological Network, IEN)作为新一代网络架构,在提升性能与增强安全方面展现出巨大潜力。本文将深入探讨IEN在Web3.0中的技术优势,并展…

高效利用键盘上的 caps lock(大写键)实现中英切换

先看效果 在中文输入环境中,Caps Lock 键经常被忽视,占据了键盘上的黄金位置却很少派上用场。接下来,我将介绍如何将这个闲置的键合理利用,让它变得更加实用。 第一步 设置: 我以五笔为例: 1.输入法默认…

docker如何拉取redis最新镜像并运行

要拉取Docker Hub上最新版本的Redis镜像,您可以使用以下命令: docker pull redis:latest 这里的latest标签会自动获取Redis镜像的最新版本。如果您希望指定一个确切的版本号,可以直接使用该版本号替换latest。例如,要拉取Redis版…

高铁VR虚拟全景展示提升企业实力和形象

步入VR的神奇世界,感受前所未有的汽车展示体验。VR虚拟现实技术以其独特的沉浸式模拟,让你仿佛置身于真实展厅之中,尽情探索汽车的每一处细节。 一、定制化展示,随心所欲 VR汽车虚拟展厅打破空间束缚,让汽车制造商能够…

力扣1809 没有广告的剧集(postgresql)

需求 Table: Playback ----------------- | Column Name | Type | ----------------- | session_id | int | | customer_id | int | | start_time | int | | end_time | int | ----------------- 该表主键为:session_id (剧集id) customer_…

调试时JSON库一直提示 PDB找不到 使用需要对象文件来进行调试的 /DEBUG:Fastlink生成的

最近调试时一直提示上面的提示框,很是烦躁。 为什么会出现这个错误呢,我一直使用的是/DEBUG。出现原因没有找出来,理论上市使用了/DEBUG:Fastlink这个模式才会出,但是就是一直在报这个错误。 /DEBUG(生成调试信息&am…

同旺科技 FLUKE ADPT 隔离版发布 ---- 3

所需设备: 1、FLUKE ADPT 隔离版 内附链接; 应用于:福禄克Fluke 12E / 15BMax / 17B Max / 101 / 106 / 107 应用于:福禄克Fluke 15B / 17B / 18B 总体连接: 连接线,根据自己实际需求而定; …

flink程序本地运行:No ExecutorFactory found to execute the application

1.问题描述 在idea中运行flink job程序出现如下错误: Exception in thread "main" java.lang.IllegalStateException: No ExecutorFactory found to execute the application. at org.apache.flink.core.execution.DefaultExecutorServiceLoader.getE…

微软开发者大会:编程进入自然语言时代、“AI员工”闪亮登场

当地时间周二,美国科技公司微软召开年度Build开发者大会。在CEO纳德拉的带领下,微软各个产品团队再一次展现出惊人的执行力,在发布会上又拿出了接近50个新产品或功能更新。 整场发布会持续了接近两个小时,在这里挑选了一些投资者…

web自动化文件上传弹框处理

目录 文件上传介绍文件上传处理Alert 弹窗介绍Alert 弹窗处理 课程目标 掌握文件上传的场景以及文件上传的处理方式。掌握 Alert 弹窗的场景以及 Alert 弹窗的处理方式。 思考 碰到需要上传文件的场景,自动化测试应该如何解决? 文件上传处理 找到文…

el-switch自动触发更新事件

比如有这样一个列表,允许修改单条数据的状态。希望在更改el-switch状态时能够有个弹框做二次确认,没问题,el-switch已经帮我们想到了,所以它提供了beforeChange,根据beforeChange的结果来决定是否修改状态。一般确认修…

计算机缺失ffmpeg.dll如何修复,五种详细的修复教程分享

当你在使用电脑过程中,突然遇到系统或软件弹出提示信息,告知“ffmpeg.dll文件丢失”怎么办?当电脑提示ffmpeg.dll丢失时,可能会导致一些应用程序无法正常运行或出现错误提示。下面我将介绍5种解决电脑提示ffmpeg.dll丢失的方法。 …

神秘山洞惊现AI绘画至宝Stable Diffusion残卷

最近听到不少大宗门纷纷发声:随着AI神器的现世“程序员职业将不复存在”,“设计图将要失业”。 至此,不少修士开始担忧起来,现出世的AI神器会不会取代掉我辈修士。 其实,至女娲天神创造人类以来,在这漫漫…

Android软件渲染流程

Android软件渲染流程 一.渲染流程1.VSync信号的监听2.VSync信号触发绘制 二.渲染原理1.画布的获取1.1 渲染缓存的初始化1.2 graphics::Canvas的创建1.3 graphics::Canvas与渲染缓存的绑定1.3.1 SkBitmap的初始化1.3.2 SkiaCanvas与SkBitmap的绑定1.3.3 SkCanvas的创建 2.矩形的…

C++ (week4):Linux基础

文章目录 零、Linux简介1.配置环境2.Linux历史3.Linux模型 一、vim二、Linux命令行 (shell命令)1.常用命令与快捷键(1)常用命令①man命令:查看帮助手册 (2)快捷键 2.用户子系统(1)Linux用户(2)用户命令 3.文件子系统命令(1)目录命令1.创建文件:mkdir2.删…

【AI绘画Stable Diffusion】单人LoRA模型训练,打造你的专属模型,新手入门宝典请收藏!

大家好,我是灵魂画师向阳 本期我将教大家如何进行LoRA模型训练,打造你的专属模型,内容比较干,还请耐心看完! 随着AIGC的发展,许多传统工作岗位正逐渐被AI取代。同时,AI变革也在创造前所未有的…

ftp是什么,ftp能做什么,ftp有什么用 -----ftp介绍

大家好,我是风屿,今天开始我会给大家介绍一些关于网络方面的配置以及介绍等等,今天是ftp FTP中文名字叫做文件传输协议,英文名字叫做File Transfer Protocol(简称为ftp) FTP 是因特网网络上历史最悠久的网…

JS 实战 贪吃蛇游戏

一、css 部分 1. 居中 想要开始和暂停两个按钮居中,可以将盒子设置为弹性盒 也可以使用其他方法 【代码】 2. 将父元素设置为相对定位,偏于之后贪吃蛇长长的身子,是以父元素为基点的绝对定位,通过 left 和 top 来控制位置 二、…