论文阅读——Sat2Vid

Sat2Vid: Street-view Panoramic Video Synthesis from a Single Satellite Image

提出了一种新颖的方法,用于从单个卫星图像和摄像机轨迹合成时间和几何一致的街景全景视频。

即根据单个卫星图像和给定的观看位置尽可能真实地、尽可能一致地合成街景全景视频序列。

相关工作包括交叉视图合成(Cross-view synthesis)和视频合成以及神经渲染:

交叉视图合成的重点是从给定图像的一个完全不同的视角进行合成。目前该领域的大部分工作都是针对单幅图像的合成。一个非常典型的应用是从给定的卫星图像生成街景。

视频合成根据给定的输入有多种形式,大致可以分为以下三类。 (1) 无条件视频合成 , 通过将(空间)图像上的当前 GAN 框架进一步扩展到时间维度,从给定的输入随机变量生成视频剪辑。 (2)未来视频预测旨在根据目前的观察结果推断视频的未来帧。 (3) 视频到视频合成将视频从源域映射到目标域(例如,从一系列语义分割生成 RGB 图像)掩模或深度图像。

方法:

网络由多个子网络组成,负责在不同场景表示之间进行转换的三个处理阶段。

卫星阶段:输入的卫星图像由 2D U-Net 处理,生成具有相应语义的 2.5D 高度图。

转换阶段:为了获得 3D 表示,语义高度图被转换为语义体素占用网格。然后根据输入轨迹的采样点提取可见点。 

3D 到视频生成阶段:在 3D 域中运行的生成器从语义推断每个点的特征。级联的 SparseConvNet 和 RandLANet都具有沙漏结构,依次作用于粗略和精细生成。使用多类纹理编码器来计算输入卫星图像的多个潜在向量。

最后,具有级联特征的点云被投影到每一帧,最后使用轻量级网络进行上采样以使分辨率加倍。注:(1)3D-to-video生成阶段是在BicycleGAN[47]的框架下训练的; (2) 天空点包含在管道中,但此处未可视化; (3)特征用伪彩色表示。

Visible Points Extraction阶段:

与输入轨迹中的采样位置一起,我们创建仅包含可见点的点云并构建 3D-2D 对应关系。这对应于查找视频中每个像素的 3D 空间中的点的索引。每个像素都有唯一对应的3D点,并且3D空间中的每个点可以对应多个像素。相同的映射还将用于将彩色点云投影到视频帧上。

3D Generator:

在 3D 到视频生成阶段,我们首先从重投影语义推断 3D 空间中点云的特征。点的语义是根据每个点在水平面上的坐标从卫星语义中收集的。远处的点简单地标记为天空。所提出的 3D 生成器由 SparseConvNet和 RandLA-Net 组成,并具有级联连接。两个网络都纯粹在 3D 域中运行,并具有依次作用于粗略和精细生成的沙漏结构。最后,这些点被投影到帧上,这些帧通过轻量级上采样模块进一步转换为输出视频。

粗生成阶段基于体素。在此阶段开始时,首先根据目标体素大小对点云进行体素化。共享同一体素的多个点将被平均作为该体素的特征。在我们的实验中,体素大小设置为 3.125cm(每米 32 个体素)。 最后,网络的输出被去体素化为点云。同样,共享相同体素的点将被分配给相同的特征。

精细生成阶段基于点云。该阶段的输入是中间粗特征和来自跳跃连接的原始点语义的串联。

然后,视频帧中的每个像素根据变换阶段计算的点像素映射 M 从点云中的对应点收集粗略和精细特征。最后,上采样模块将分辨率加倍,将具有丰富特征的帧转换为输出RGB视频。

Multi-class Encoder:

我们使用多类纹理编码器来计算每个类的多个潜在向量,以丰富生成场景的多样性。我们的流程中使用的 BicycleGAN 中的编码器将地面真实街景 RGB 以及训练期间中心帧的语义作为输入。这里语义的作用是用于注意力池化的一个指标。获得整幅图像的特征图F后,编码器并不直接进行平均池化,而是对具有相同语义类别的像素的特征进行池化,最终获得多个潜在向量。

计算资源:a single Nvidia Tesla V100 GPU with 32GB memory.

实验结果:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/797190.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Docker中Mysql报 mbind: Operation not permitted

问题 我们在docker中安装的mysql运行时报 mbind: Operation not permitted mbind: Operation not permitted mbind: Operation not permitted mbind: Operation not permitted mbind: Operation not permitted mbind: Operation not permitted原因 这是Docker的Seccomp安全限…

[leetcode] 25. K 个一组翻转链表

给你链表的头节点 head ,每 k 个节点一组进行翻转,请你返回修改后的链表。 k 是一个正整数,它的值小于或等于链表的长度。如果节点总数不是 k 的整数倍,那么请将最后剩余的节点保持原有顺序。 你不能只是单纯的改变节点内部的值…

MySQL(目录)

作者:码农出击 链接:https://www.zhihu.com/question/632989513/answer/3312494291 来源:知乎 著作权归作者所有。 MySQL数据库(7天~15天) 1、数据存储引擎:InnoDB、myISAM、Memory 2、数据库索引类型及原…

最好用的安卓按钮(3)

属性解释 按钮文字 app:text“床前明月光” 按钮文字颜色 app:textColor“color/color_white” 按钮文字大小 app:textSize“22sp” 按钮背景颜色 app:color_normal“color/color_accent” 0x2 单独设置每个圆角 效果 代码 <top.androidman.SuperButton android:layo…

替换空格(替换特定字符)

&#x1f600;前言 在字符串处理中&#xff0c;经常会遇到需要替换特定字符的情况。本文将介绍一道经典的字符串替换问题&#xff1a;将字符串中的空格替换成 “%20”。我们将探讨一种高效的解决方法&#xff0c;通过倒序遍历字符串来实现原地替换&#xff0c;避免额外空间的开…

也说说Sybase ASE中的空间膨胀及应对方案

前言 直观来讲,数据库是典型的以空间换时间的思路去提高数据检索的效率。我们先把数据“入”进去,组织好,建好索引,都为了什么?相当大一部分只不过是为了最终能快速得到查询的结果。当然这又引发了好多子项,比如,怎么“入”得快而又不发生冲突,怎么在相对少的资源的情…

OpenCV中的模块:三维重建-SFM(2)

接上一篇文章,本篇将介绍SFM模块在windows平台上的编译。与Ubuntu下的过程类似,主要过程也是依赖库的下载、编译及安装,不同点是:与Ubuntu直接安装不同,windows下我们将对库的依赖关系更加清晰。 1. 依赖库的编译 打开相应库的最外层CMakeLists.txt所在的目录,库的编译过…

机器学习_PySpark-3.0.3文本特征提取(TF-IDF)流程

机器学习_PySpark-3.0.3文本特征提取(TF-IDF)流程 本例中 Tokenizer 是用于分词的模块。 本例中 HashingTF().tranform() 函数把词哈希成特征向量, 返回结果是 Vectors.sparse() 类型的。 本例中 IDF 类用于计算给定文档集合的反文档频率, 是一个词普遍重要性的度量 (即: 一…

【RISC-V 指令集】RISC-V 向量V扩展指令集介绍(八)- 向量整数算术指令

1. 引言 以下是《riscv-v-spec-1.0.pdf》文档的关键内容&#xff1a; 这是一份关于向量扩展的详细技术文档&#xff0c;内容覆盖了向量指令集的多个关键方面&#xff0c;如向量寄存器状态映射、向量指令格式、向量加载和存储操作、向量内存对齐约束、向量内存一致性模型、向量…

Linux 内核的构建块:深入探索 C 结构体的应用

Linux 内核的构建块&#xff1a;深入探索 C 结构体的应用 Linux 内核&#xff0c;作为操作系统的中心和基础&#xff0c;承担着调度处理器、管理内存、处理输入/输出&#xff08;I/O&#xff09;等各种底层任务。要实现这些复杂的功能&#xff0c;内核的编写借助了 C 语言强大…

SAP FICO接口-OA-调取SAP供应商明细接口(应付预付明细)开发说明书(包括测试样例、程序代码仅作参考,不保证一定可以运行)

需求说明: 根据OA查询条件查询ZVACDOCAZVACDOCA-BUKRS=查询公司代码; ZVACDOCA- LIFNR=查询供应商代码; ZVACDOCA-BELNR=查询凭证编号; ZVACDOCA-GJAHR=查询会计年度; ZVACDOCA-AWKEY=查询采购发票号*; ZVACDOCA-BLART≠W* ZVACDOCA-AUGBL=空 ZVACDOCA- XREVERSED…

ShrewSoft VPN无法连接.报错failed to attach to key daemon的解决方案

今天突然发现使用的ShrewSoft VPN 软件来连接公司网络。但是连接过程中&#xff0c;报错 “Fail to attach to key daemon” 解决步骤&#xff1a; 1. 重启电脑&#xff0c;可以解决90%问题。 2. 可能和ShrewSoft 相关的服务没有启动有关。 于是检查服务状态。 2.1 按Wind…

中国省级基础设施网络完善进程:2000-2022年数据分析与展望(无缺失值)

01、数据介绍 基础设施&#xff0c;作为为社会生产和居民生活提供公共服务的物质工程设施&#xff0c;是一个用于保证社会经济活动正常进行的公共服务系统。它不仅包括交通设施&#xff0c;还涵盖了邮电、供水供电、商业服务、科研与技术服务、园林绿化、环境保护、文化教育、…

富格林:明示虚假现象确保安全

富格林认为&#xff0c;当下的金融市场&#xff0c;投资者进行理财时都会特别关注盈利效率高的产品&#xff0c;而近来兴起的现货黄金则以此优势吸引着大批人关注。不过现货黄金市场相对于其他投资市场来说&#xff0c;会复杂一点不乏会蕴含着虚假现象。因此要确保我们的交易安…

Linux诊断机器故障工具—dmesg命令

在 Linux 系统中&#xff0c;经常会遇到各种各样的故障和问题&#xff0c;这些问题可能会导致系统性能下降、服务异常甚至系统崩溃。而 dmesg 命令是一个强大的工具&#xff0c;可以帮助我们诊断和解决这些故障。我们将介绍如何使用 dmesg 命令来分析和解决 Linux 系统中的常见…

基于单片机分舱式电开水炉位控制系统

**单片机设计介绍&#xff0c;基于单片机分舱式电开水炉位控制系统 文章目录 一 概要二、功能设计三、 软件设计原理图 五、 程序六、 文章目录 一 概要 基于单片机分舱式电开水炉位控制系统概要主要涉及通过单片机对电开水炉的各个舱位进行精确控制&#xff0c;实现水位、温度…

Impala Daemon无法启动问题记录(25000端口被占用)

前言&#xff1a;集群主节点根目录内存快爆了&#xff0c;开始清理主节点内存重启组件&#xff0c;发现Kerberos认证的角色用户都过期了&#xff0c;又重新生成了一下角色&#xff0c;在启动impala组件过程中&#xff0c;其中一个Impala Daemon组件启动失败。 集群版本&#xf…

【热门话题】Stable Diffusion:本地部署教程

&#x1f308;个人主页: 鑫宝Code &#x1f525;热门专栏: 闲话杂谈&#xff5c; 炫酷HTML | JavaScript基础 ​&#x1f4ab;个人格言: "如无必要&#xff0c;勿增实体" 文章目录 Stable Diffusion&#xff1a;本地部署教程一、引言二、环境准备1. 硬件配置2. …

在 Docker 部署的 MySQL 容器内安装和使用 vim

在 Docker 部署的 MySQL 容器内安装和使用 vim 文章目录 在 Docker 部署的 MySQL 容器内安装和使用 vim步骤一&#xff1a;进入 MySQL 容器步骤二&#xff1a;更新软件源和安装 vim步骤三&#xff1a;验证 vim 安装步骤四&#xff1a;使用 vim 进行文件编辑步骤五&#xff1a;保…

springboot项目框架讲解

文章目录 1.项目文件结构2.数据库连接信息3.其他配置信息4.java代码文件目录介绍5.entity层代码6.controller&#xff0c;service&#xff0c;dao&#xff0c;entity层之间的关系7.controller层代码8.登陆拦截功能实现9.文件上传功能 1.项目文件结构 2.数据库连接信息 3.其他配…