Depth maps转点云

前言
本文主要记录一下如何可视化相机位姿,如何用Blender得到的深度图反投影到3D空间,得到相应的点云。

Refernce

https://github.com/colmap/colmap/issues/1106
https://github.com/IntelRealSense/librealsense/issues/12090
https://medium.com/yodayoda/from-depth-map-to-point-cloud-7473721d3f
https://stackoverflow.com/questions/59590200/generate-point-cloud-from-depth-image
https://github.com/isl-org/Open3D/issues/481
https://stackoverflow.com/questions/31265245/extracting-3d-coordinates-given-2d-image-points-depth-map-and-camera-calibratio
https://github.com/vitalemonate/depth2Cloud

1 可视化相机位姿

import open3d as o3d
import numpy as npfocal = 346.4101498574051
img_w = img_h = 400.0
intrinsic = np.array([[focal, 0., -img_w / 2],[0., -focal, -img_h / 2],[0., 0., -1.]])
print(intrinsic)
pcds = []
# 创建相机线集并添加到列表中
for pose in poses:
#     extrinsic = poseextrinsic = np.eye(4)R, t = pose[:3, :3], pose[:3, 3]extrinsic[:3, :3] = R.Textrinsic[:3, 3] = -np.dot(R.T, t)print(extrinsic)cam_pcd = o3d.geometry.LineSet()cam_pcd = cam_pcd.create_camera_visualization(view_width_px=400,view_height_px=400,intrinsic=intrinsic,extrinsic=extrinsic)
#     cam_pcd.paint_uniform_color(color)
#     cam_pcd.colors[4] = 0.5 * colorcam_pcd.scale(scale=1., center=t)pcds.append(cam_pcd)# 初始化Open3D的可视化窗口
vis = o3d.visualization.Visualizer()
vis.create_window()vis.add_geometry()# 添加相机线集到可视化窗口
for cam_pcd in pcds:vis.add_geometry(cam_pcd)# 设置视图参数
vis.get_render_option().background_color = [0.5, 0.5, 0.5]  # 设置背景颜色为灰色
vis.get_render_option().point_show_normal = True  # 显示法线# 更新可视化窗口
# vis.update_geometry()# 运行可视化窗口
while True:vis.poll_events()vis.update_renderer()# 关闭可视化窗口
vis.destroy_window()

在这里插入图片描述

2 Depth2PointCloud

2.1 depth map反投影至三维空间

# 将depth map反投影至三维空间
def depth_image_to_point_cloud(rgb, depth, scale, K, pose):u = range(0, rgb.shape[1])v = range(0, rgb.shape[0])u, v = np.meshgrid(u, v)u = u.astype(float)v = v.astype(float)# K为内参矩阵3*3# 图片坐标转相机坐标Z = depth.astype(float) / scaleX = (u - K[0, 2]) * Z / K[0, 0]Y = (v - K[1, 2]) * Z / K[1, 1]X = np.ravel(X)Y = -np.ravel(Y)   # Blender的坐标系为[x, -y, -z]Z = -np.ravel(Z)valid = Z < 0X = X[valid]Y = Y[valid]Z = Z[valid]position = np.vstack((X, Y, Z, np.ones(len(X))))# 相机坐标转世界坐标transform = np.array([[1, 0, 0, 0],[0, -1, 0, 0],[0, 0, -1, 0],[0, 0, 0, 1]])pose = np.dot(transform, pose)position = np.dot(pose, position)R = np.ravel(rgb[:, :, 0])[valid]G = np.ravel(rgb[:, :, 1])[valid]B = np.ravel(rgb[:, :, 2])[valid]print(position.shape, R.shape)points = np.transpose(np.vstack((position[:3, :], R, G, B))).tolist()return points

2.2 将点云保存至ply文件

import os
import numpy as np
import cv2
from path import Path
from tqdm import tqdm# 将点云写入ply文件
def write_point_cloud(ply_filename, points):formatted_points = []for point in points:formatted_points.append("%f %f %f %d %d %d 0\n" % (point[0], point[1], point[2], point[3], point[4], point[5]))out_file = open(ply_filename, "w")out_file.write('''plyformat ascii 1.0element vertex %dproperty float xproperty float yproperty float zproperty uchar blueproperty uchar greenproperty uchar redproperty uchar alphaend_header%s''' % (len(points), "".join(formatted_points)))out_file.close()# image_files: XXXXXX.png (RGB, 24-bit, PNG)
# depth_files: XXXXXX.png (16-bit, PNG)
# poses: camera-to-world, 4×4 matrix in homogeneous coordinates
def build_point_cloud(dataset_path, scale, view_ply_in_world_coordinate, poses):K = np.fromfile(os.path.join(dataset_path, "K.txt"), dtype=float, sep="\n ")K = np.reshape(K, newshape=(3, 3))print(K)print(poses)image_files = sorted(Path(os.path.join(dataset_path, "images")).files('*.png'))depth_files = sorted(Path(os.path.join(dataset_path, "depth_maps")).files('*.png'))sum_points_3D = []for i in tqdm(range(0, len(image_files))):image_file = image_files[i]depth_file = depth_files[i]rgb = cv2.imread(image_file)depth = cv2.imread(depth_file, -1).astype(np.uint16)if view_ply_in_world_coordinate:current_points_3D = depth_image_to_point_cloud(rgb, depth, scale=scale, K=K, pose=poses[i])else:current_points_3D = depth_image_to_point_cloud(rgb, depth, scale=scale, K=K, pose=poses[i])
#             print(len(current_points_3D), current_points_3D[0])save_ply_name = os.path.basename(os.path.splitext(image_files[i])[0]) + ".ply"save_ply_path = os.path.join(dataset_path, "point_clouds")if not os.path.exists(save_ply_path):  # 判断是否存在文件夹如果不存在则创建为文件夹os.mkdir(save_ply_path)write_point_cloud(os.path.join(save_ply_path, save_ply_name), current_points_3D)sum_points_3D.extend(current_points_3D)write_point_cloud(os.path.join(save_ply_path, 'all.ply'), sum_points_3D)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/817988.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【详细讲解下Photoshop】

&#x1f3a5;博主&#xff1a;程序员不想YY啊 &#x1f4ab;CSDN优质创作者&#xff0c;CSDN实力新星&#xff0c;CSDN博客专家 &#x1f917;点赞&#x1f388;收藏⭐再看&#x1f4ab;养成习惯 ✨希望本文对您有所裨益&#xff0c;如有不足之处&#xff0c;欢迎在评论区提出…

大模型推理过程

在人工智能领域&#xff0c;尤其是在机器学习和深度学习中&#xff0c;“推理”&#xff08;Inference&#xff09;是指使用训练好的模型来进行预测或决策的过程。在模型被训练以学习数据的特征和模式之后&#xff0c;推理就是将实际的数据输入模型&#xff0c;以获得输出结果的…

鸿蒙 Failed :entry:default@CompileResource...

Failed :entry:defaultCompileResource... media 文件夹下有文件夹或者图片名称包含中文字符 rawfile 文件夹下文件名称、图片名称不能包含中文字符

地理空间分析中的深度学习应用

深度学习与地理信息系统 (GIS) 的结合彻底改变了地理空间分析和遥感的格局。这种结合将遥感和地理空间分析领域带到了全球研究人员和科学家的前沿。 深度学习是机器学习的一个复杂子集&#xff08;更多关于机器学习的内容&#xff0c;请参阅我的其他文章&#xff09;&#xff0…

【JVM】JVM调优可配置参数及配置时机和原则

接着上一篇不同场景下JVM调优手段及代码优化建议,接着来JVM调优可配置参数及配置时机和原则。以在JDK 8为例&#xff0c;JVM提供了一系列的可配置参数&#xff0c;这些参数可以帮助开发者和系统管理员针对不同的应用场景进行性能调优。以下是按维度划分的一些关键参数及其用途、…

JS中的常见二进制数据格式

格式描述用途示例ArrayBuffer固定长度的二进制数据缓冲区&#xff0c;不直接操作具体的数据&#xff0c;而是通过类型数组或DataView对象来读写用于存储和处理大量的二进制数据&#xff0c;如文件、图像等let buffer new ArrayBuffer(16);TypedArray基于ArrayBuffer对象的视图…

绿色地狱steam叫什么 绿色地狱steam怎么搜

绿色地狱steam叫什么 绿色地狱steam怎么搜 《绿色地狱》是一款以亚马逊雨林为背景的开放世界生存模拟游戏。玩家们扮演一名被困在丛林中的冒险者&#xff0c;玩家在游戏内需要学习采集资源、建造庇护所、狩猎和烹饪食物&#xff0c;同时要面对丛林中的危险和挑战&#xff0c;…

LeetCode 707.设计链表

LeetCode 707.设计链表 1、题目 力扣题目链接&#xff1a;707. 设计链表 你可以选择使用单链表或者双链表&#xff0c;设计并实现自己的链表。 单链表中的节点应该具备两个属性&#xff1a;val 和 next 。val 是当前节点的值&#xff0c;next 是指向下一个节点的指针/引用。…

太好玩了,我用 Python 做了一个 ChatGPT 机器人

毫无疑问&#xff0c;ChatGPT 已经是当下编程圈最火的话题之一&#xff0c;它不仅能够回答各类问题&#xff0c;甚至还能执行代码&#xff01; 或者是变成一只猫 因为它实在是太好玩&#xff0c;我使用Python将ChatGPT改造&#xff0c;可以实现在命令行或者Python代码中调用。…

langchain 链式写法-使用本地 embedding 模型,Faiss 检索

目录 示例代码1 示例代码2 示例代码1 使用本地下载的 embedding 模型去做 embedding&#xff0c;然后从中查相似的 import os from dotenv import load_dotenv from langchain_community.llms import Tongyi load_dotenv(key.env) # 指定加载 env 文件 key os.getenv(DAS…

ansible创建用户账户和更新ansible库的密钥

1.创建⽤户帐户 从 http://materials/user_list.yml 下载要创建的⽤户的列表&#xff0c;并将它保存到 /home/greg/ansible 在本次考试中使⽤在其他位置创建的密码库 /home/greg/ansible/locker.yml 。创建名为 /home/greg/ansible/users.yml 的 playbook &#xff0c;从⽽…

探索顶级短视频素材库:多样化选择助力创作

在数字创作的浪潮中&#xff0c;寻找优质的短视频素材库是每位视频制作者的必经之路。多种短视频素材库有哪些&#xff1f;这里为您介绍一系列精选的素材库&#xff0c;它们不仅丰富多样&#xff0c;而且高质量&#xff0c;能极大地提升您的视频创作效率和质量。 1.蛙学网 蛙学…

python内置函数delattr(),dict()详解

Python 内置函数 delattr() 1. 功能和用途 delattr() 函数用于删除对象的属性。它相当于执行 del x.foobar&#xff0c;其中 x 是对象&#xff0c;foobar 是要删除的属性名。 2. 语法 以下是 delattr() 方法的语法&#xff1a; delattr(object, name)3. 参数说明 object:…

VsCode无法使用nvm

问题&#xff1a; zsh: command not found nvm 初级的解决办法在vsCode控制台使用 source ~/.nvm/nvm.sh 存在问题&#xff1a;每次重新打开控制台都需要重新使用 参考文档&#xff1a; ​​​​​​BUG解决&#xff1a;nvm安装后提示没有-CSDN博客 升级办法&#xff1a; 来…

springboot+Vue项目部署到云服务器上

一、下载配置ngnix 1.压缩包下载并上传 链接: https://pan.baidu.com/s/1m2LKV8ci4WXkAWdJXIeUFQ 提取码: 0415 2.解压 tar -xzvf 压缩包名 3.编译nginx 在解压好的文件夹下,依次执行&#xff1a; ./configure 来到nginx默认安装路径/usr/local/nginx 依次执行命令 mak…

【鸿蒙开发】饿了么页面练习

0. 整体结构 整体划分3部分。店铺部分&#xff0c;购物车部分&#xff0c;金额统计部分。使用 Stack 把3部分堆叠 0.1 整体页面 Index.ets 修改 Index.ets &#xff0c;使用堆叠布局&#xff0c;并居底部对齐 import { ElShop } from ../components/ElShop import { ElShopp…

Linux下的文件权限

Linux下的文件权限 一、Linux下的文件权限 文件权限是指不同的用户、用户组或者其他组对某个文件操作时所拥有的权限。在linux下文件的权限分为三种&#xff1a; 读权限、写权限、可执行权限。 当我们使用ls -l命令查看文件信息时可以得到如下内容&#xff1a; -rw-rw-r…

Golang连接操作MongoDB基础处理

目录 一、各步骤操作连接数据库插入数据查询多条数据删除数据分组查询数据 二、总代码 一、各步骤操作 下面查询使用到的bson.M和bson.D差不多&#xff0c;只要区别在于M内部元素是无序的map&#xff0c;D是有序的切片 连接数据库 func connectDB(ctx context.Context) {clien…

Linux之防火墙命令

1、查看防火墙状态 systemctl status firewalld1.1、开启防火墙 service firewalld start1.2、重启防火墙 service firewalld restart1.3、关闭防火墙 service firewalld stop2、查看防火墙规则 firewall-cmd --list-all # 查看全部信息 firewall-cmd --list-ports # …

C#版Facefusion ,换脸器和增强器

C#版Facefusion &#xff0c;换脸器和增强器 目录 说明 效果 项目 调用代码 说明 Facefusion是一款最新的开源AI视频/图片换脸项目。是原来ROOP的项目的延续。项目官方介绍只有一句话&#xff0c;下一代换脸器和增强器。 代码实现参考 https://github.com/facefusion/f…