TRELLIS,一键生成3D模型,图像转3D,微软开源

在这里插入图片描述
大家好!今天给大家分享微软最近开源的一个3D模型生成项目——TRELLIS。简单来说就是输入一张图片,它就能自动帮你生成3D模型。这与之前分享的TripoSR项目类似,但是精度和贴图细节比TripoSR要高很多。

好久没关注AI生成3D模型这块,也是在群友的推荐下,我去体验了TRELLIS这个项目并跟TripoSR做了对比。

我选了三张图进行测试,分别是建筑、人物、车辆。上面的是TripoSR的效果,下面的是TRELLIS的效果。

用了一个房子做测试,可以看到TripoSR生成的“乍一看”还行,但是转动一下,完全没办法看!房子直接歪掉了。

TRELLIS的表现很好,保留了房子的整体结构和房檐的细节。

卡通人物,TripoSR生成的人物正面和侧面还可以,但是后面头发部分效果不佳。

TRELLIS不仅在细节上比TripoSR的要丰富(人物身前的饰品的立体度和头发的细节),贴图颜色上也略胜一筹。

选了个推土机图片,试下来发现貌似TripoSR对侧面的图片生成不佳,如果是正面的图像,生成的整体结构是稳定的,至少不会像下图一样是“斜的”。

TRELLIS的表现还是非常的优秀。

虽然我将模型导入到建模软件中去看,贴图细节的部分还是很粗糙,但是整体的结构至少不会有太“夸张”的错误。

我又让朋友发来几张图生成模型,最后导入到Maya里看了布线结构

除了机械鱿鱼镂空部分的机械机构没能很好生成以外,前两个图片总体生成的还行。但是到了下面这个动漫人物形象上就失败了。

目前TRELLIS对于人型或者是非标准人型姿态的推理还是不太支持。生成的有种“残缺”抽象的美…

值得期待的是,TRELLIS官方在后续会支持文本生成模型这项功能!十分期待了!

Windows本地部署

该部分适用于想要自己部署项目的小伙伴,使用整合包的可以跳过这部分。

由于项目官方是用Linux机器进行开发和测试的,在部署的时候会有很多坑。

这里的安装依赖是引用github上iiiytn1k开发者提供的。

git clone --recurse-submodules https://github.com/microsoft/TRELLIS.git
cd TRELLIS
conda create -n trellis python=3.10
conda activate trellis pip install torch==2.5.1 torchvision --index-url=https://download.pytorch.org/whl/cu124
pip install xformers==0.0.28.post3 --index-url=https://download.pytorch.org/whl/cu124
pip install pillow imageio imageio-ffmpeg tqdm easydict opencv-python-headless scipy ninja rembg onnxruntime trimesh xatlas pyvista pymeshfix igraph transformers
pip install git+https://github.com/EasternJournalist/utils3d.git@9a4eb15e4021b67b12c460c7057d642626897ec8
pip install https://github.com/bdashore3/flash-attention/releases/download/v2.7.1.post1/flash_attn-2.7.1.post1+cu124torch2.5.1cxx11abiFALSE-cp310-cp310-win_amd64.whl
pip install kaolin -f https://nvidia-kaolin.s3.us-east-2.amazonaws.com/torch-2.5.1_cu124.htmlgit clone https://github.com/NVlabs/nvdiffrast.git ./tmp/extensions/nvdiffrast
pip install ./tmp/extensions/nvdiffrastgit clone --recurse-submodules https://github.com/JeffreyXiang/diffoctreerast.git ./tmp/extensions/diffoctreerast
pip install ./tmp/extensions/diffoctreerastgit clone https://github.com/autonomousvision/mip-splatting.git ./tmp/extensions/mip-splatting
pip install ./tmp/extensions/mip-splatting/submodules/diff-gaussian-rasterization/cp -r ./extensions/vox2seq ./tmp/extensions/vox2seq
pip install ./tmp/extensions/vox2seqpip install spconv-cu120
pip install gradio==4.44.1 gradio_litmodel3d==0.0.1set ATTN_BACKEND=flash-attn
set SPCONV_ALGO=native
python ./app.py

按照上述步骤部署完毕后,还没完!还有坑!

一定要安装MSVC组件和VCbuild-tools

也有可能会遇到下面这个错误,需要安装VC++ Redis相关组件

raise RuntimeError(“Could not locate a supported Microsoft Visual C++ installation”)

RuntimeError: Could not locate a supported Microsoft Visual C++ installation

安装后重启即可。

整合包必看!

因为项目需要用到C++相关依赖,在使用TRELLIS整合包之前,还需安装VCbuild-tools

不然在生成的时候会出现这个错误

distutils.errors.DistutilsPlatformError: Microsoft Visual C++ 14.0 or greater is required. Get it with “Microsoft C++ Build Tools”: https://visualstudio.microsoft.com/visual-cpp-build-tools/

进入下载地址

https://visualstudio.microsoft.com/zh-hans/visual-cpp-build-tools/

点击下载生成工具

然后在打开的界面勾选使用C++的桌面开发–勾选右边五个选项进行安装

快速上手

上传一张图片,不需要很高的分辨率,分辨率和生成的模型的精度没太大关系!

图像是png的透明通道图像最好。如果不是,程序会直接抠图进行处理。

生成设置这里建议保持默认,第一次生成不要去修改设置。

GLB导出设置可以调节简化程度纹理尺寸

配置足够高建议纹理尺寸拉满试试,毕竟纹理贴图越大越清晰效果越好。

然后点击生成,可以看到会生成了一个模型的预览视频

然后点击导出GLB,等待模型生成,最后点击下载GLB即可。下载的模型文件是包含贴图的。

配置需求

WIN

WindowsN卡需16G显存

如果整合包运行报错,需要安装cuda12.4

https://developer.nvidia.com/cuda-12-4-0-download-archive

关于推理速度

在4090上进行测试,使用示例图片生成模型花费大概20秒钟左右

MAC

暂不支持~~

整合包获取

👇🏻👇🏻👇🏻下方下方下方👇🏻👇🏻👇🏻

夸夸夸盘:
https://pan.quark.cn/s/1d4cb07d9995

度度度盘:
https://pan.baidu.com/s/1xJF2VqQ1jPnxRtwQ7xzx2Q?pwd=7yy4

放到最后

最后我将生成的模型导入到三维软件中,简单加了两个环境光。然后做了一个AR小程序试了下效果。

视频中的模型就是用上面TRELLIS生成的推土机。(CSDN的朋友比较抱歉,视频预览效果请转公众号查看吧~~)

当我分享TripoSR的时候就有朋友说“AI生成三维模型还不行,这技术还早着呢”。

但我想说的是,任何技术都得一步步发展嘛,你看看现在的AI绘画,最开始不也是各种扭曲走样吗?现在不是越来越厉害了。

我相信AI建模这块过段时间效果肯定会比现在好很多,说不定很快就能生成高质量的游戏素材了。

对待新技术,咱们与其一上来就否定,不如用发展的眼光去看待和思考。毕竟技术迭代的速度是很快的,两年前谁能想到AI能做到今天这样呢?所以我对AI生成3D模型的未来还是非常期待的。

制作不易,如果本文对您有帮助,还请点个免费的赞或在看!感谢您的阅读!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/890078.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ios swift 开发系列--如何把粤语转语音

在Swift中,我们可以使用AVSpeechSynthesizer进行文本到语音的转换,我们通过设置AVSpeechUtterance的voice属性来指定朗读的语言和口音。 要确保朗读的是粤语,我们应该使用一个特定的语言代码,例如"zh-Hant-HK"&#xf…

开源架构学习指南:文档与资源的智慧锦囊

开源架构学习指南:文档与资源的智慧锦囊 一、引言二、开源架构文档的核心价值剖析(一)知识传承与共享:智慧的薪火相传1. 经典案例:Linux 内核文档 —— 开源世界的智慧基石 (二)促进协作与沟通&…

景联文科技:精准语音标注,驱动语音技术新发展

在人工智能迅速发展的今天,语音技术的应用已经渗透到我们生活的方方面面。从智能音箱、语音助手到自动语音识别系统,高质量的语音数据是这些应用成功的关键。景联文科技作为领先的AI数据服务提供商,专注于为客户提供高精度、高效的语音标注服…

HTTP接口报错详解与解决 200,500,403,408,404

前言: 仅做学习记录,侵删 背景 当后端编写接口时,经常需要对接口使用ApiFox或者PostMan进行测试,此时就会出现各种各样的报错,一般都会包括报错编码:200,400,401等。这个状态码一般是服务器所返回的包含…

视频生成缩略图

文章目录 视频生成缩略图使用ffmpeg 视频生成缩略图 最近有个需求&#xff0c;视频上传之后在列表和详情页需要展示缩略图 使用ffmpeg 首先引入jar包 <dependency><groupId>org.bytedeco</groupId><artifactId>javacpp</artifactId><vers…

如何保证开源AI呼入机器人和AI呼出机器人的服务质量?

如何保证开源AI呼入机器人和AI呼出机器人的服务质量&#xff1f; 确保开源AI呼入机器人和AI呼出机器人的服务质量是企业成功部署这些智能系统的关键。高质量的服务不仅能够提高客户满意度&#xff0c;还能增强企业的市场竞争力。以下是实现这一目标的几个关键策略和技术措施&a…

Oracle创建逻辑目录

Oracle 在执行逻辑备份及还原时&#xff0c;需要用到逻辑目录。 本文就来简单介绍一下逻辑目录相关的操作&#xff0c;希望对大家有所帮助。 ‌1.登录到Oracle数据库‌ 使用具有足够权限的数据库用户登录到Oracle数据库。通常&#xff0c;这需要是管理员账号&#xff0c;如SYS…

NVIDIA发布紧凑型生成式AI超级计算机:性能提升,价格更低

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…

模仿elementui的Table,实现思路

vue2子组件使用render&#xff0c;给子子组件插槽传值 和elementui的Table一样使用render 在 Vue 2 中&#xff0c;子组件使用render函数向子子组件插槽传值可以通过以下步骤实现&#xff1a; 1、创建子组件 首先创建一个子组件&#xff0c;在子组件中使用render函数来渲染内容…

管理系统、微信小程序类源码文档-哔哩哔哩教程同步

文章目录 前言通用表基于JavaSpringBootVue前后端分离手机销售商城系统设计实现:基于JavaSpringBootVueuniapp实现大学生校园兼职微信小程序 &#x1f308;你好呀&#xff01;我是 山顶风景独好 &#x1f388;欢迎踏入我的博客世界&#xff0c;能与您在此邂逅&#xff0c;真是缘…

python进程和线程:多进程

在Python中&#xff0c;多进程是一种并行执行任务的手段&#xff0c;通过创建多个进程来同时运行多个任务&#xff0c;从而提高程序的执行效率。Python提供了multiprocessing模块来实现多进程。下面是一些关于Python多进程的基本概念和用法。 基本概念 进程&#xff08;Proce…

对象的状态变化处理与工厂模式实现

一、引言 在 C 编程中&#xff0c;有效地处理对象的状态变化以及合理运用设计模式可以极大地提高代码的可维护性、可扩展性和可读性。本文将深入探讨 C 如何处理对象的状态变化以及如何实现工厂模式。 二、C 中对象的状态变化处理 使用成员变量表示状态 class GameCharacte…

upload-labs(1-19关)通关攻略

Pass-01 本关思路&#xff1a;删除前端js校验 进入第一关环境 桌面新建一个php文件&#xff0c;命名为1.php <?php eval($_POST[a]);?> 我们上传此文件&#xff0c;发现不允许上传&#xff0c;且页面没有变化&#xff0c;说明前端进行了拦截 这时我们打开 F12 &…

【开源库 | minizip】Linux(Ubuntu18.04)下,minizip的编译、交叉编译

&#x1f601;博客主页&#x1f601;&#xff1a;&#x1f680;https://blog.csdn.net/wkd_007&#x1f680; &#x1f911;博客内容&#x1f911;&#xff1a;&#x1f36d;嵌入式开发、Linux、C语言、C、数据结构、音视频&#x1f36d; ⏰发布时间⏰&#xff1a; 2024-12-20 …

uniapp地址类 方法

关于点击没反应 manifest.json 检查是否添加了对应的权限 /* 小程序特有相关 */"mp-weixin" : {"appid" : "wxc481f10754f1d9df","setting" : {"urlCheck" : false,"es6" : true,"postcss" : true,&qu…

WebContainerapi 基础(Web IDE 技术探索 一)

前言 随着web技术的发展&#xff0c;在网页端直接运行node.js、实现微型操作系统已经不再是难事。今天介绍的 WebContainers就是一个基于浏览器的运行时&#xff0c;用于执行 Node.js 应用程序和操作系统命令&#xff0c;它完全运行在您的浏览器页面中&#xff0c;提供了文件系…

【爬虫开发】爬虫开发从0到1全知识教程第11篇:Mongodb数据库,介绍【附代码文档】

本教程的知识点为&#xff1a;爬虫概要 爬虫基础 爬虫概述 知识点&#xff1a; 1. 爬虫的概念 requests模块 requests模块 知识点&#xff1a; 1. requests模块介绍 1.1 requests模块的作用&#xff1a; 数据提取概要 数据提取概述 知识点 1. 响应内容的分类 知识点&#xff1a…

FFmpeg 安装教程(Windows 系统)

1. 前言 FFmpeg 是一个用于处理视频、音频等多媒体文件的开源工具包。它支持几乎所有的多媒体格式转换、剪辑和编辑&#xff0c;是开发者和多媒体工作者必备的工具。本文详细讲解如何在 Windows 系统上安装 FFmpeg 并进行基本配置。 2. 下载 FFmpeg 安装包 打开 Dpwnload FFmp…

【AutoDL】通过【SSH远程连接】【vscode】

小帅碎碎念 0. 起因1. SSH信息获取2. 给你的vscode安装支持SSH远程连接的插件3. SSH远程连接入口4. 输入密码登陆5. 总结 0. 起因 之前使用AutoDL和Jupyter进行代码编辑和执行确实很方便&#xff0c;尤其是对于交互式数据分析项目。然而&#xff0c;也存在一些限制和不便之处&…

【漏洞复现】Grafana 安全漏洞(CVE-2024-9264)

🏘️个人主页: 点燃银河尽头的篝火(●’◡’●) 如果文章有帮到你的话记得点赞👍+收藏💗支持一下哦 一、漏洞概述 1.1漏洞简介 漏洞名称:Grafana 安全漏洞 (CVE-2024-9264)漏洞编号:CVE-2024-9264 | CNNVD-202410-1891漏洞类型:命令注入、本地文件包含漏洞威胁等级:…