AI赋能的3D资产管理

在这里插入图片描述

推荐:用 NSDT编辑器 快速搭建可编程3D场景

想象一下,作为一名视频游戏设计师,你希望在游戏中使用 3D 龙模型。 以前,你可以通过两种方式执行此操作:

  • 自己制作复杂的 3D 模型或从多个角度拍摄龙模型的照片。
  • 前往 3D 模型存储库寻找龙,但随后你必须使用关键字进行搜索,并希望上传者已将其放入其描述中。

如果你愿意查看数百甚至数千条 3D 龙,这很好。 但如果你想要一种特定的龙呢? 亚洲风格的龙而不是西方风格的龙? 有点像蛇吗? 或者更像恐龙? 你可能会花费数小时寻找与你的想法相匹配的内容。

现在,通过使用基于神经搜索的 3D 模型存储库 Asset Ovi,你只需上传 3D 模型即可搜索相似模型,或者单击现有模型来查找其他类似模型。

在这里插入图片描述

尽管游戏设计师对 3D 模型的需求快速增长,但还没有成熟的解决方案来查找存储在存储库中的 3D 资产。 大多数搜索引擎都是基于文本的:它们只能将文本查询与文本描述和关键字列表相匹配。 人们说一张图片抵得上一千个文字,因此 3D 模型至少也值一千个文字。 关键字列表和文本描述很少超过一两句话。 他们永远无法捕获与搜索相关的模型的所有信息。

即使是最有经验的用户也可以轻松地花费数小时在资产存储库中寻找,却找不到他们需要的东西,也不知道他们正在寻找的东西是否存在。

为了解决这个问题,我们在 Asset Ovi 中部署了神经搜索,使用 Jina AI 突破性的多模态信息检索框架将 3D 模型与其他 3D 模型进行比较,而不需要详细的描述或数千个关键字。

Asset Ovi 的神经搜索技术支持两种搜索方法:

  • 上传模型搜索。 用户上传自己的3D模型,我们从中提取3D网格数据,然后使用Jina的神经搜索技术来识别相似的模型。 这种相似性不是基于总体形状和颜色,而是基于人工智能驱动的对网格正在建模的事物类型的识别。
  • 根据 Asset Ovi 中已存储的模型进行搜索。 这与用户上传搜索的处理方式相同,只不过它从用户接收模型 ID 并使用与其匹配的已存储模型。

在集成 Jina 的神经搜索解决方案之前,我们花费了大量的时间和精力手动标记模型并为它们提供基于文本的搜索系统的描述。 Jina与我们合作,将其已经成熟的图像搜索技术扩展到3D模型。
在这里插入图片描述

最关键的挑战是开发高效的3D模型表示方法和相似度匹配算法,以确保任何3D模式的稳定表示和分类。

为此,Jina AI 的工程师团队开发了将 3D 模型编码为向量的技术,以实现高级理解。
在这里插入图片描述

模型搜索的业务流程大致可以分为以下几个流程。

  • 加载3D模型:加载3D模型(支持GLB、GLTF等格式),提取点云并进行预处理。
  • 特征提取:为了从 3D 网格数据输出特征向量,我们使用 PointConv 模型。
  • 相似度检索:将归一化的特征向量索引到 PostgreSQL 数据库中,并使用 HNSW 算法查找给定数据集中的高维向量相似度。
    在这里插入图片描述

整个流程搭建完成后,我们就可以使用Jina提供的工具一键导出Kubernetes部署文件,然后直接部署到云服务或者集群上。

YAHAHA目前拥有数十万创作者用户。 为了让我们庞大的模型存储库的用户更容易找到他们想要的东西,我们做了以下努力。

  • 3D 直接预览:Unity Asset Store 和 CGTrader 等资源存储库以 2D 形式显示对象,因此很难看出它们将如何呈现为 3D 对象。 Asset Ovi 现在为用户提供真正的 3D 预览,通过将完整网格传输到查看者的浏览器,不会损害模型创建者的知识产权。
    在这里插入图片描述

  • 渲染效果:为了保证所见即所得,我们确保网站渲染与客户端渲染尽可能匹配,尤其是对于Unity。

  • 神经搜索:我们已经为数百万个模型建立了索引。 感谢 Jina,我们不再需要手动标记所有模型。 我们的搜索以人工智能驱动的方式进行,不再需要关键字。

Neural Search为Asset Ovi用户提供了强大的搜索功能,大大提高了他们寻找合适模型的效率和用户体验。 未来,我们还将让 Asset Ovi 成为 Unity Asset Store 的附属计划,帮助 Unity 开发者在 Unity Asset Store 上高效找到制作游戏所需的相关素材。 我们还将与Sketchfab、CGTrader等资源网站合作,帮助所有用户、开发者、艺术家等更轻松地找到他们需要的资源。


原文链接:AI赋能的3D资产管理 — BimAnt

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/88952.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Git_03_暂存工作区的修改/自由切换分支

# 保存当前未commit的代码 > git stash # 保存当前未commit的代码并添加备注 > git stash "备注内容" # 列出stash的所有记录 > git stash list # 应用最近一次的stash > git stash apply # 删除stash的所有记录 > git stash clear1.查看工作区的改动…

敏捷发布列车初探3 ---- Agile Release Train

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 敏捷发布列车四、联通客户五、规划工作五、创造价值六、获取反馈七、持续改进总结 敏捷发布列车 敏捷发布列车(ART) 是一个由敏捷团队组成的…

5+铜死亡+单基因泛癌生信思路

今天给同学们分享一篇铜死亡单基因泛癌的生信文章“Pan-cancer integrated bioinformatics analysis reveals cuproptosis related gene FDX1 is a potential prognostic and immunotherapeutic biomarker for lower-grade gliomas”,这篇文章于2023年2月7日发表在F…

Spring 学习(九)整合 Mybatis

1. 整合 Mybatis 步骤 导入相关 jar 包 <dependencies><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.12</version><scope>test</scope></dependency><dependency>…

PASCAL数据集说明

文章目录 一.PASCAL数据集简介1.图像分割 一.PASCAL数据集简介 Pascal VOC2012数据集主要是针对视觉任务中监督学习提供标签数据&#xff0c;它有四个大类别&#xff0c;可以细分为二十个小类别&#xff1a; Person&#xff1a;personAnimal&#xff1a;bird, cat, cow, dog,…

9月25日,每日信息差

今天是2023年9月27日&#xff0c;以下是为您准备的18条信息差 第一、苹果向法国监管机构提交iPhone 12软件更新&#xff0c;解决辐射超标问题 第二、“双节”期间&#xff0c;北京全市预计接待游客1283万人次&#xff0c;中秋国庆“双节”长假将至&#xff0c;北京市民和游客…

Appium+python+unittest搭建UI自动化框架

阅读本小节&#xff0c;需要读者具备如下前提条件&#xff1a; 掌握一种编程语言基础&#xff0c;如java、python等。 掌握一种单元测试框架&#xff0c;如java语言的testng框架、python的unittest框架。 掌握目前主流的UI测试框架&#xff0c;移动端APP测试框架Appium&…

list 模拟与用法

list 用法 list list 模拟 #pragma once #include <assert.h> #include "ReverseIterator.h"namespace sjy {//链表节点template <typename T>struct __list_node{__list_node(const T& val T()):_prev(nullptr), _next(nullptr), _val(val){}/*…

xcode15下载ios17模拟器失败

升级到xcode15后需要安装ios17模拟器 但是在下载过程中会遇到报错 如下图这种 网上搜索了一下发现有人遇到过无法下载的问题&#xff0c;并且在apple官网也有人提出类似问题 https://developer.apple.com/forums/thread/737648 解决方案就是从https://developer.apple.com/do…

【iOS】使用respondsToSelector方法前是否需要对方法调用者进行判空操作?

前情 在iOS开发中&#xff0c;经常需要将事件传递给上层代理去处理&#xff0c;这个时候会用到『respondsToSelector』去检测上层代理是否有实现对应的方法&#xff0c;如果实现了&#xff0c;才会去调用。 - (void)methodExample {if ([self.delegate respondsToSelector:se…

Anaconda创建虚拟环境的常见命令

在Anaconda中&#xff0c;可以使用conda命令来创建和管理虚拟环境。以下是使用Anaconda创建虚拟环境的一些常见命令&#xff1a; 创建虚拟环境&#xff1a;使用命令conda create --name <虚拟环境名称>来创建一个新的虚拟环境&#xff0c;例如&#xff1a;conda create -…

【C++】stack queue

stack & queue 一、容器适配器二、deque&#xff08;了解&#xff09;三、stack1. stack 的介绍2. 模拟实现 stack 四、queue1. queue 的使用2. 模拟实现 queue3. priority_queue&#xff08;1&#xff09;priority_queue 的介绍&#xff08;2&#xff09;priority_queue 的…

[Linux]多线程编程

[Linux]多线程编程 文章目录 [Linux]多线程编程pthread_create函数pthread_join函数pthread_exit函数pthread_cancel函数pthread_self函数pthread_detach函数理解线程库和线程id Linux操作系统下&#xff0c;并没有真正意义上的线程&#xff0c;而是由进程中的轻量级进程&#…

Python二级 每周练习题20

练习一: 日期计算器 设计一款日期计算程序&#xff0c;能否实现下面的功能&#xff1a; (1)要求用户分别输入年、月、日&#xff08;分三次输入&#xff09;&#xff1b; (2)程序自动会根据输入的年月日计算出这一天是这一年的第几天&#xff1b; (3)输出格式为&#xff1a;这…

超全超详细的Redis笔记-数据类型及其使用、主从复制、哨兵模式、缓存穿透、击穿、雪崩

文章目录 狂神聊Redis1、Nosql概述1.1、为什么要用Nosql1.2、什么是NoSQL1.3、NoSQL的四大分类 2、Redis 入门2.1、概述2.2、Windows 安装2.3、Linux安装2.4、测试性能2.5、Redis基础知识 3、五大基本数据类型3.1、Redis-Key3.2、String3.3、List3.4、Set3.5、Hash&#xff08;…

SpringMVC基础

MVC详细解释如下&#xff1a; M是指业务模型&#xff08;Model&#xff09;&#xff1a;通俗的讲就是我们之前用于封装数据传递的实体类。 V是指用户界面&#xff08;View&#xff09;&#xff1a;一般指的是前端页面。 C则是控制器&#xff08;Controller&#xff09;&#…

【Python】Python 使用copy模块深拷贝对象

Python 使用copy模块深拷贝对象 浅拷W和深拷贝的概念&#xff1a; 浅拷贝&#xff08;shallow copy ):构造一个新的复合对象并将从原对象中发现的引用插人该对象 中。浅拷贝的实现方式有多种&#xff0c;如工厂函数数、切片操作、copy模块中WCoPy操作等。 深拷贝&#xff08…

成都瀚网科技有限公司:抖店精选联盟怎么用?

抖音精选联盟是抖音电商平台提供的一项服务&#xff0c;旨在为商家提供更多的推广机会和销售渠道。然而&#xff0c;很多人对于如何使用抖店精选联盟以及如何开通这项服务不太了解。本文将为您详细介绍抖店精选联盟的使用和激活流程。 第一节&#xff1a;如何使用抖店精选联盟 …

Spring DI (Dependency Injection)

What Is DI? 当一个类需要依赖另一个对象&#xff0c;把另一个对象实例化之后注入给这个对象的过程我们称之为DI # Create an object dependency in traditional programming public class Store {private Item item;public Store() {item new ItemImpl1(); } }# Using …

美丽塔O(n)解法单调栈

题目 见上一篇&#xff1a; 较难算法美丽塔时间复杂度O(n)-CSDN博客 时间复杂度 O(n) 分析 接着上篇。从左向右依次处理Left&#xff0c;处理Left[i]时&#xff0c;从右向左寻找第一个符合maxHeights[j]<maxHeights[i]的j。如果j1<j2&#xff0c;且maxHeights[j1]&g…