3DGS CUDA代码笔记

本篇文章 一Scaffold GS 为例子。 目标在里面添加 Render Depth 的代码:

将可见的 Gaussians Render 到 2D 图像上面

from diff_gaussian_rasterization import GaussianRasterizationSettings, GaussianRasterizer
.......rasterizer = GaussianRasterizer(raster_settings=raster_settings)
rendered_image, radii = rasterizer(means3D = xyz,             #  高斯的中心点 means2D = screenspace_points,   ##  return 数值shs = None,colors_precomp = color,opacities = opacity,scales = scaling,rotations = rot,cov3D_precomp = None)

上面那个 GuassianRasterizer 是从 diff_gaussian_rasterization 这个 package 中导入进来的、 因此,我找到 diff_gaussian_rasterization 这个文件夹,首先 看其对应的 init.py 这个函数。因为每次 import 这个package 的时候 都会首先执行一次 这个文件夹下面的 init.py 作为包的初始化函数

这个 Init 函数里面 回调用 rasterize_gaussians CUDA 的 函数:

 return rasterize_gaussians(means3D,means2D,shs,colors_precomp,opacities,scales, rotations,cov3D_precomp,raster_settings, )继续调用:
def rasterize_gaussians(means3D,means2D,sh,colors_precomp,opacities,scales,rotations,cov3Ds_precomp,raster_settings,
):return _RasterizeGaussians.apply(means3D,means2D,sh,colors_precomp,opacities,scales,rotations,cov3Ds_precomp,raster_settings,)

最后跳入到 _RasterizeGaussians 的 forward 函数当中

num_rendered, color, radii, geomBuffer, binningBuffer, imgBuffer = _C.rasterize_gaussians(*args)

_C 表示 在当前的 Cpp 文件中去 找这个 rasterize_gaussians 的函数,

PYBIND11_MODULE(TORCH_EXTENSION_NAME, m) {m.def("rasterize_gaussians", &RasterizeGaussiansCUDA);m.def("rasterize_gaussians_backward", &RasterizeGaussiansBackwardCUDA);m.def("rasterize_aussians_filter", &RasterizeGaussiansfilterCUDA);m.def("mark_visible", &markVisible);}

发现对应的 RasterizeGaussiansCUDA 函数

这个 函数 通过 ext.
cpp
查询可以发现是 rasterize_points.cu 里面的 函数:

下面这个函数主要是定义了 一些需要返回的 变量,启动 核函数

RasterizeGaussiansCUDA(const torch::Tensor& background,const torch::Tensor& means3D,const torch::Tensor& colors,const torch::Tensor& opacity,const torch::Tensor& scales,const torch::Tensor& rotations,const float scale_modifier,const torch::Tensor& cov3D_precomp,const torch::Tensor& viewmatrix,const torch::Tensor& projmatrix,const float tan_fovx, const float tan_fovy,const int image_height,const int image_width,const torch::Tensor& sh,const int degree,const torch::Tensor& campos,const bool prefiltered,const bool debug)
{if (means3D.ndimension() != 2 || means3D.size(1) != 3) {AT_ERROR("means3D must have dimensions (num_points, 3)");}const int P = means3D.size(0);const int H = image_height;const int W = image_width;auto int_opts = means3D.options().dtype(torch::kInt32);auto float_opts = means3D.options().dtype(torch::kFloat32);torch::Tensor out_color = torch::full({NUM_CHANNELS, H, W}, 0.0, float_opts);torch::Tensor radii = torch::full({P}, 0, means3D.options().dtype(torch::kInt32));torch::Device device(torch::kCUDA);torch::TensorOptions options(torch::kByte);torch::Tensor geomBuffer = torch::empty({0}, options.device(device));torch::Tensor binningBuffer = torch::empty({0}, options.device(device));torch::Tensor imgBuffer = torch::empty({0}, options.device(device));std::function<char*(size_t)> geomFunc = resizeFunctional(geomBuffer);std::function<char*(size_t)> binningFunc = resizeFunctional(binningBuffer);std::function<char*(size_t)> imgFunc = resizeFunctional(imgBuffer);int rendered = 0;if(P != 0){int M = 0;if(sh.size(0) != 0){M = sh.size(1);}rendered = CudaRasterizer::Rasterizer::forward(geomFunc,binningFunc,imgFunc,P, degree, M,background.contiguous().data<float>(),W, H,means3D.contiguous().data<float>(),sh.contiguous().data_ptr<float>(),colors.contiguous().data<float>(), opacity.contiguous().data<float>(), scales.contiguous().data_ptr<float>(),scale_modifier,rotations.contiguous().data_ptr<float>(),cov3D_precomp.contiguous().data<float>(), viewmatrix.contiguous().data<float>(), projmatrix.contiguous().data<float>(),campos.contiguous().data<float>(),tan_fovx,tan_fovy,prefiltered,out_color.contiguous().data<float>(),radii.contiguous().data<int>(),debug);}return std::make_tuple(rendered, out_color, radii, geomBuffer, binningBuffer, imgBuffer);
}

之后 进入 CudaRasterizer::Rasterizer::forward 函数,其定义在 rasterizer_impl.cu 对应的文件。 这个 forward 函数 最后会调用 FORWARD 类里面的 render 函数, 真实的 Render 过程是在下面这个函数执行的,我们

CHECK_CUDA(FORWARD::render(tile_grid, block,imgState.ranges,binningState.point_list,width, height,geomState.means2D,feature_ptr,geomState.conic_opacity,imgState.accum_alpha,out_alpha,imgState.n_contrib,background,out_color,out_depth), debug)

最后的 Depth Render 的函数是在 renderCUDA 函数中进行的。
实际修改的代码:

## 定义 CUDA 的变量
float weight = 0;
float D = 0;## 使用深度的加权去 计算真实的depth 的数值
weight += alpha * T;
D += depths[collected_id[j]] * alpha * T;

在 添加的时候,也添加了对于 Depth 的 BP 的操作,但是如果只需要可视化 depth 的话可以不用添加。

参考网址: https://github.com/ashawkey/diff-gaussian-rasterization

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/2232.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

uni-app开发canvas绘图画画,如何实现后退功能

在uni-app中使用canvas进行绘图时&#xff0c;实现后退功能通常意味着你需要保存用户的每一步操作&#xff0c;然后提供一个机制来撤销最近的步骤。下面是一个基本的实现思路&#xff1a; 保存绘图步骤&#xff1a; 每当用户在canvas上绘制时&#xff08;比如通过touchMove事件…

python 对图片进行操作

Pillow是一个强大的图像处理库&#xff0c;它提供了许多用于打开、操作和保存图像的功能。 Image模块&#xff1a; Image模块提供了用于打开、创建、编辑和保存图像的基本功能。可以使用Image.open()函数来打开图像文件&#xff0c;或者使用Image.new()函数来创建新的图像,还可…

深度剖析Gateway在微服务治理中的关键角色

目录 一、多层网关 二、Gateway 路由规则 2.1 路由 2.2 谓词 2.3 过滤器 三、路由声明规则 3.1 谓词 寻址谓词 请求参数谓词 时间谓词 自定义谓词 一、多层网关 首先我们先了解下一个请求是如何到达服务端并得到相应的。过程如图所示&#xff1a; 首先网址解析的第一步是 DN…

设计模式学习笔记 - 开源实战四(中):剖析Spring框架中用来支持扩展的设计模式

概述 上篇文章&#xff0c;学习了 Spring 框架背后蕴含的设计思想&#xff0c;比如约定优于配置、低侵入松耦合、模块化轻量级等等。这些设计思想可以借鉴到其他框架开发中&#xff0c;在大的设计层面提高框架的代码质量。 除了上篇文章降到的设计思想&#xff0c;实际上&…

力扣704/35/34:二分查找

考虑到线性查找法的时间复杂度较高(O(n)), 我们可以选择使用二分查找算法. 二分查找算法只适用于有序数组(线性查找不需要满足该前提), 其时间复杂度为O(logn), 我们可以选择两种方式来完成二分查找算法. 要求 : 给定一个有序整形数组, 在该数组中, 找到目标值target, 如果找…

CSS特效---环形进度条

1、演示 2、一切尽在代码中 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8" /><meta http-equiv"X-UA-Compatible" content"IEedge" /><meta name"viewport" content"w…

炉管设备的内部构造详解

知识星球&#xff08;星球名&#xff1a;芯片制造与封测社区&#xff09;里的学员问&#xff1a;炉管设备&#xff08;立式&#xff09;的内部构造是怎样的&#xff1f; 如上图&#xff0c;是一个典型的&#xff1a; 上半部&#xff1a; Heating Element&#xff08;加热线圈…

树莓派使用总结

手上拿到了一块Raspberry Pi 4B板子。研究一下怎么用。 安装系统 直接到官网【Raspberry Pi 】下载在线安装助手 安装好后&#xff0c;打开软件&#xff0c;选择好板子型号、系统、TF卡&#xff0c;一路下一步就行。 树莓派接口 直接查看官方的资料【Raspberry Pi hardwar…

yolov8下的训练指标解析

目录 一:训练指标 二:训练结果 一:训练指标 model = YOLO(yolov8n.pt) results = model.train(data="lvluo/lvluo.yaml", epochs=50) 这里的model.train中的参数data,epochs都是训练模型的相关参数,下面我们讲解下常用的参数指标。 1:data: 数据文件路…

实用电路图轻松掌握,一通百通 | 百能云芯

通过以下各种各样的实用电路&#xff0c;大家可以了解元器件的结构、特性、动作原理及电路的基本控制方式&#xff0c;掌握一些控制规律&#xff0c;这样的话&#xff0c;在日后的电路识图中就能融会贯通&#xff0c;一通百通。 文章中的电路图有难有易&#xff0c;有些图现在…

js将后端返回的blob请求下载

首先在请求里加上responseType: blob http({url: ,method: post,headers: {Content-Type: application/json},responseType: blob,data: saveObj })然后再返参里下载 http({url: ,method: post,headers: {Content-Type: application/json},responseType: blob,data: saveObj}…

贪吃蛇项目实战——学习详解

前言:贪吃蛇是一个经典的游戏&#xff0c; 本节将使用c语言实现一个简易的的贪吃蛇小游戏。 本节内容适合已经学完c语言还有数据结构链表的友友们。 我们要实现的贪吃蛇是在控制台进行游戏的。 它运行起来是这样的&#xff1a; 贪吃蛇 那么&#xff0c; 为了实现这个小游戏。 我…

YOLO8实战:行人跌倒检测系统

yolo8行人跌倒检测系统 前言 随着科技的不断进步&#xff0c;人工智能和深度学习技术已广泛应用于各行各业&#xff0c;尤其是在人身安全检测方面。传统的跌倒检测方法依赖于人工观察&#xff0c;但这种方法不仅耗时耗力&#xff0c;而且容易因人为因素导致误判或漏判。因此&a…

叉车4G无线视频监控管理解决方案:提升效率,保障安全

在现代物流行业中&#xff0c;叉车被广泛应用于仓储和物流领域&#xff0c;成为提升效率和降低成本的重要工具。然而&#xff0c;叉车作为重要的运输设备&#xff0c;其安全性和管理效率也备受关注。针对这一问题&#xff0c;叉车4G无线视频监控管理解决方案应运而生。 叉车是仓…

C++从零开始websevere服务器从搭建到上线|使用华为云服务器进行项目部署

文章目录 公网IP和私有IP地址公网IP私有IP地址为什么我们需要两个IP地址呢 云服务器设置防火墙配置基础配置云服务器防火墙配置云服务器安全组 总结 问题背景 关于使用华为云服务器进行项目部署&#xff0c;25届C秋招选手&#xff0c;刚写完一个websever项目&#xff0c;想着部…

Thinkphp命令行创建repository和transform层扩展包

前言 由于官方推荐的MVC架构在项目功能比较多的时候会导致controller层非常臃肿&#xff0c;不容易将代码复用&#xff0c;难以维护。所以现在很多程序员都喜欢将controller层拆分为controller、service、repository、model这几层甚至更多层次的目录进行开发&#xff0c;更容易…

【免费题库】华为OD机试 - 查找接口成功率最优时间段(Java JS Python C C++)

须知 哈喽,本题库完全免费,收费是为了防止被爬,大家订阅专栏后可以私信联系退款。感谢支持 文章目录 须知题目描述输入描述输出描述用例解题思路:Java代码:JS代码:Python代码:C代码:C++代码:题目描述 服务之间交换的接口成功率作为服务调用关键质量特性,某个时间段…

重温javascript --(二)函数

函数 一、定义 声明式 functon fn(){}表达式var fn function(){}(函数表达式一般指 匿名函数) 二、参数&#xff08;形参&#xff0c;实参&#xff09; arguments 类数组对象 表示函数的实参集合 arguments.callee—指向当前执行的函数 arguments.length—指向传递给当前函…

TypeScript学习笔记7-枚举

在 TypeScript 中&#xff0c;枚举&#xff08;Enum&#xff09;是一种数据类型&#xff0c;用于定义一组具名的常量值。 枚举可以帮助开发人员在代码中使用可读性更强的符号来表示固定的数值或状态。 枚举的定义类似于对象字面量&#xff0c;其中包含一组键值对&#xff0c;键…

工厂方法模式设计实验

【实验内容】 楚锋软件公司欲开发一个系统运行日志记录器&#xff08;Logger&#xff09;。该记录器可以通过多种途径保存系统的运行日志&#xff1a;例如通过文件记录或数据库记录&#xff0c;用户可以通过修改配置文件灵活地更换日志记录方式。在设计各类日志记录器时&#…