CV每日论文--2024.6.14

1、ICE-G: Image Conditional Editing of 3D Gaussian Splats

中文标题:ICE-G:3D 高斯斑点的图像条件编辑

简介:近年来,出现了许多技术来创建高质量的3D资产和场景。然而,当涉及到这些3D对象的编辑时,现有方法要么速度慢、要么牺牲质量,要么无法提供足够的自定义能力。

为解决这一问题,我们提出了一种新颖的方法,可以快速编辑单个参考视图的3D模型。

我们的技术分为以下几个步骤:

1. 对编辑图像进行分割。

2. 利用DINO特征在选定的分割视图之间匹配语义对应区域。

3. 自动将编辑图像中特定区域的颜色或纹理以语义合理的方式应用到其他视图。

这些编辑后的视图可以作为更新的数据集,以进一步训练和重新设计3D场景,从而得到最终的编辑后3D模型。

我们的框架支持多种编辑任务,包括手动本地编辑、基于对应关系的风格转移,以及从多个示例图像中组合不同风格。

我们使用高斯斑点作为主要的3D表示形式,因为它们速度快且易于本地编辑。不过,我们的技术也适用于其他方法,如NeRFs。

通过多个实验案例,我们展示了该方法能够产生更高质量的结果,同时提供了精细的编辑控制能力。

项目主页:ice-gaussian.github.io

2、Beyond LLaVA-HD: Diving into High-Resolution Large Multimodal Models

中文标题:超越 LLaVA-HD:深入研究高分辨率大型多模态模型

简介:高分辨率的清晰视觉对于大型多模态模型(LMM)的视觉感知和推理至关重要。现有方法通常采用直接的分辨率放大方法,使用全局分支和局部分支(被切片的图像补丁)的组合。这意味着更高分辨率需要更多的局部补丁,导致计算开销过高,同时局部图像标记的优势可能会降低全局上下文。

为解决这些问题,我们提出了一个新的框架和优化策略:

1. 我们使用适配器的混合物从全局视角提取上下文信息,基于不同适配器在不同任务上的优秀表现。

2. 对于局部补丁,我们引入了可学习的查询嵌入来减少图像标记数量,并通过基于相似性的选择器进一步选择最重要的标记。

我们的实验结果表明,"少即是多"的模式,即利用更少但更有信息量的局部图像标记可以提高性能。

此外,我们提倡一种交替训练的方式,确保全局和局部方面的平衡学习,因为端到端训练无法产生最佳结果。

最后,我们还引入了一个对图像细节要求高的挑战性数据集,以增强局部压缩层的训练。

所提出的SliME方法在只有200万个训练数据的情况下,在各种基准测试中取得了领先的性能。

3、Real3D: Scaling Up Large Reconstruction Models with Real-World Images

中文标题:Real3D:使用真实世界图像放大大型重建模型

简介:本文介绍了Real3D,这是第一个可以使用单视角真实世界图像进行训练的大型重建模型(LRM)系统。通常,训练单视角LRM的默认策略是使用大规模合成3D资源或多视角捕获的数据集,采用完全监督的方法进行训练。但这些资源难以超越现有数据集的规模,也不一定代表物体形状的真实分布。

为了解决这些限制,本文提出了一种新颖的自我训练框架,可以同时利用现有的合成数据和多样化的单视角真实图像。我们提出了两种无监督损失函数,即像素级和语义级损失函数,即使对于没有地面真实3D或新视角的训练样本,也可以对LRM进行监督。

为了进一步提高性能并扩大图像数据,我们开发了一种自动数据筛选方法,从野外图像中收集高质量的样本。

实验结果表明,Real3D在包括真实和合成数据以及域内和域外形状的四种不同评估设置中始终优于先前的工作。

代码和模型可以在此处找到:https://hwjiang1510.github.io/Real3D/。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/26779.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

自动控制:基于预设性能控制(PPC)的控制系统设计

自动控制:基于预设性能控制(PPC)的控制系统设计 在控制系统设计中,瞬态性能与稳态性能同等重要。对于某些特殊的动态系统而言,瞬态性能甚至比稳态性能更为重要。预设性能控制(Preset Performance Control,…

Python上下文管理器`with as`语句

引言 在Python中,with as语句提供了一种优雅的方式来处理资源管理,特别是对于需要清理或特定设置/恢复的场景。这种机制被称为上下文管理器,它允许代码块在执行前后自动执行一些操作。本文将深入探讨上下文管理器的底层原理和with as语句的用…

三极管的厄利效应(early effect)

詹姆斯M厄利(James M. Early)发现的现象,厄利效应(英语:Early effect),又译厄尔利效应,也称基区宽度调制效应,是指当双极性晶体管(BJT)的集电极-射极电压VCE改…

精彩回顾!安全智能体的前沿技术研究与实践

(关注“安全极客”,回复“智能体”下载第一期系列专题PPT!) 近日,安全极客和Wisemodel社区联合发起并主办了“AISecurity”系列第1期:大模型与网络空间安全前沿探索线下活动。在这次活动中,云起…

弹幕逆向signature、a_bogus

声明 本文章中所有内容仅供学习交流使用,不用于其他任何目的,抓包内容、敏感网址、数据接口等均已做脱敏处理,严禁用于商业用途和非法用途,否则由此产生的一切后果均与作者无关! 本文章未经许可禁止转载&a…

【Linux文件篇】磁盘到用户空间:Linux文件系统架构全景

W...Y的主页 😊 代码仓库分享 💕 前言:我们前面的博客中一直提到的是被进程打开的文件,而系统中不仅仅只有被打开的文件还有很多没被打开的文件。如果没有被打开,那么文件是在哪里进行保存的呢?那我们又如何快速定位…

【Elasticsearch】索引快照并还原到其他集群

【Elasticsearch】索引快照并还原到其他集群 一、安装共享文件系统 1.启动nfs systemctl start nfs rpcbind2. 编辑nfs文件 vi /etc/exports /opt/public 192.168.113.0/24(rw,no_root_squash,insecure,sync) 3. 修改共享目录用户 比如elasticsearch使用的是es用户&#…

windows x86 的应用在 linux arm 上运行的可能性

政府部门国产化需要从windows过渡到麒麟银河的国产linux系统的背景会面临几个问题。 01.好多原生的windows应用没有及时替代。linux的开源或者一些品牌的linux系统的应用商店不能及时解决问题。 01.开发linux应用的人比较少的。 02.开发的速度也是跟不上的。 03.开发出来了…

【名词解释】Unity中的表格布局组件及其使用示例

Unity中的表格布局组件通常指的是GridLayoutGroup,这是一个在Unity的UI系统中用来布局子对象的组件。它可以帮助开发者将UI元素按照网格的形式进行排列,非常适合创建表格、网格视图等布局。 名词解释: GridLayoutGroup:Unity UI…

Unity 踩坑记录 用自定义类 创建的List不显示在 inspector面板

在 自定义类上面添加 【Serializable 】 扩展: 1:Serializable 序列化的是可序列化的类或结构。并且只能序列化非抽象非泛型的自定义的类 2:SerializeField是强制对私有字段序列化

判断IP地址是否与CIDR表示的96.32/12匹配

文章目录 概要IP地址IPv4地址IPv6地址 CIDR表示法CIDR表示法计算网络范围 例题 概要 IP地址 IP地址(Internet Protocol Address)是分配给每个联网设备的唯一标识符。IP地址主要有两种版本:IPv4和IPv6。 IPv4地址 格式:IPv4地址…

编程里什么是动态性能

编程里什么是动态性能 在编程领域,动态性能是一个复杂且引人入胜的概念,它涉及到程序的运行效率、资源利用、响应速度等多个层面。理解并优化动态性能对于提升程序的整体质量至关重要。本文将从四个方面、五个方面、六个方面和七个方面深入探讨编程中的…

通过登录获取token实现接口自动化

登录接口有统一认证,访问该登录接口时会跳转到认证界面输入用户名密码 url "https://auth.xxxxx.com/auth/realms/xxxoa-with-os/protocol/openid-connect/auth?response_typecode&client_idtests&scopeopenid&redirect_urihttps://xxxnew.xxxx…

大数据平台之hadoop

Apache Hadoop是一个用于存储和处理大规模数据的开源框架。它由Apache软件基金会开发,主要用于处理大数据应用。Hadoop框架的核心组件包括HDFS(Hadoop Distributed File System)、MapReduce和YARN(Yet Another Resource Negotiato…

Perl 语言入门学习

一、介绍 Perl 是一种高级的、动态的、解释型的通用编程语言,由Larry Wall于1987年开发。它是一种非常灵活和强大的语言,广泛用于文本处理、系统管理、网络编程、图形编程等领域。 Perl 语言的设计理念是“用一种简单的语法,去解决复杂的编…

动画的js动画于css3区别?

JavaScript动画与CSS3动画在实现和使用上有一些显著的区别: 实现方式: CSS3动画:通过在CSS样式表中使用keyframes规则定义动画序列,然后将这些动画应用到元素上。CSS3动画由浏览器引擎优化处理,因此通常性能较好。JavaScript动画…

C++共享指针shared_ptr的理解分享

share_ptr是线程安全的吗 回答: 如果多个线程同时拷贝同一个shared_ptr对象,不会有问题,因为shared_ptr的引用技术是线程安全的。如果多个线程同时修改同一个shared_ptr对象,不是线程安全的。如果多个线程同时读写shared_ptr指向…

LabVIEW水箱液位控制系统

介绍了如何使用LabVIEW软件和硬件工具开发水箱液位控制系统。系统集成了数据采集、实时控制和模拟仿真技术,展示了高精度和高可靠性的特点,适用于需要精细水位调节的工业应用。 项目背景 在制造和化工行业,液位控制是保证生产安全与效率的关…

Linux 系统中的 /etc/issue and /etc/issue.net 文件

Linux 系统中的 /etc/issue and /etc/issue.net 文件 1. /etc/issue and /etc/issue.net2. /etc/ssh/sshd_configReferences 1. /etc/issue and /etc/issue.net (base) yongqiangyongqiang:~$ cat /etc/issue Ubuntu 20.04.5 LTS \n \l(base) yongqiangyongqiang:~$ (base) yo…

【C++】开源项目收集

C 是一种强大的、静态类型的通用编程语言,它的开源生态系统非常丰富,拥有众多高质量的项目。以下是一些知名的C开源项目: Boost: 这是一个庞大的库集合,提供了大量的实用工具和组件,如文件系统、网络编程、智能指针等&…