Blender生成COLMAP数据集

最近在做3DGS方向,整理了一下Blender生成自己的数据集。

1 Introduction

在Blender中构建场景(light, object, camera),利用Blender的python脚本对其渲染,导出多视角下渲染出的RGB图和depth map,并将transform.json转为COLMAP格式,以便直接用于SfM初始化高斯点云。

2 Python script of Blender for generating RGB and depth map

利用如下python脚本,生成一组400*400的RGB图和detph map。


import os
import os.path as osp
import bpy
import numpy as np
import json
from mathutils import Vector, Matrix, Euler
from math import radiansW = 400
H = 400
NUM_OBJ = 5
OBJ_NAMES = {1: 'xxx',2: 'xxx',
}# save path
RESULTS_PATH = 'xxx'
os.makedirs(RESULTS_PATH, exist_ok=True)def listify_matrix(matrix):matrix_list = []for row in matrix:matrix_list.append(list(row))return matrix_listdef parent_obj_to_camera(b_camera):origin = (0, 0, 0.4)b_empty = bpy.data.objects.new("Empty", None)b_empty.location = originb_camera.parent = b_empty  # setup parentingscn = bpy.context.scenescn.collection.objects.link(b_empty)bpy.context.view_layer.objects.active = b_emptyreturn b_emptyscene = bpy.context.scene
scene.use_nodes = True
tree = scene.node_tree
links = tree.links
# Empty the node tree and initialize
for n in tree.nodes:tree.nodes.remove(n)    
render_layers = tree.nodes.new('CompositorNodeRLayers')# Set up rendering of depth map
depth_file_output = tree.nodes.new(type="CompositorNodeOutputFile")
depth_file_output.base_path = ''
depth_file_output.format.file_format = 'OPEN_EXR'
depth_file_output.format.color_depth = '32'
links.new(render_layers.outputs['Depth'], depth_file_output.inputs[0])# Background
scene.render.dither_intensity = 0.0
scene.render.film_transparent = Truecam = scene.objects['Camera']
cam.location = (0.0, -3.6, -1.0)
cam_constraint = cam.constraints.new(type='TRACK_TO')
cam_constraint.track_axis = 'TRACK_NEGATIVE_Z'
cam_constraint.up_axis = 'UP_Y'
b_empty = parent_obj_to_camera(cam)
cam_constraint.target = b_empty# Meta data to store in JSON file
meta_data = {'camera_angle_x': cam.data.angle_x,'img_h': H,'img_w': W
}
meta_data['frames'] = {}# Render with multi-camera
N_VIEW_X = 2
X_ANGLE_START = 0
X_ANGLE_END = -60
N_VIEW_Z = 15
Z_ANGLE_START = 0
Z_ANGLE_END = 360 # 337b_empty.rotation_euler = (X_ANGLE_START, 0, Z_ANGLE_START)
x_stepsize = (X_ANGLE_END - X_ANGLE_START) / N_VIEW_X
z_stepsize = (Z_ANGLE_END - Z_ANGLE_START) / N_VIEW_Zmeta_data['transform_matrix'] = {}
for vid_x in range(N_VIEW_X):b_empty.rotation_euler[0] += radians(x_stepsize)b_empty.rotation_euler[2] = Z_ANGLE_STARTfor vid_z in range(N_VIEW_Z):b_empty.rotation_euler[2] += radians(z_stepsize)img_path = osp.join(RESULTS_PATH, 'images')os.makedirs(img_path, exist_ok=True)vid = vid_x * N_VIEW_Z + vid_z   # Render scene.render.filepath = osp.join(img_path, 'color', 'image_%04d.png'%(vid))depth_file_output.base_path = osp.join(img_path, 'depth')depth_file_output.file_slots[0].path = 'image_%04d'%(vid)bpy.ops.render.render(write_still=True)print((vid_x, vid_z), cam.matrix_world)meta_data['transform_matrix'][f'camera_{vid :04d}'] = listify_matrix(cam.matrix_world)# save camera params
with open(osp.join(RESULTS_PATH, 'transforms.json'), 'w') as fw:json.dump(meta_data, fw, indent=4)

3 Read Depth map (.exr)


import os
os.environ["OPENCV_IO_ENABLE_OPENEXR"]="1"
import cv2
import numpy as np
import matplotlib.pyplot as plt
import pandas as pddepth_dir = 'D:\BlenderWorkplace\darkroom\source\output\images\depth'
for depth_name in os.listdir(depth_dir):depth = cv2.imread(depth_dir+'\\'+depth_name, cv2.IMREAD_UNCHANGED)[:, :, 0]print(depth_name, max(depth.flatten()), min(depth.flatten()))

4 Blender2COLMAP (transform.json->images.txt and cameras.txt)

Refer to https://blog.csdn.net/qq_38677322/article/details/126269726

将Blender生成的相机参数transform.json转为COLMAP格式的cameras.txt(内参)和images.txt(外参).

import numpy as np
import json
import os
import imageio
import mathblender2opencv = np.array([[1, 0, 0, 0], [0, -1, 0, 0], [0, 0, -1, 0], [0, 0, 0, 1]])
# 注意:最后输出的图片名字要按自然字典序排列,例:0, 1, 100, 101, 102, 2, 3...因为colmap内部是这么排序的
fnames = list(sorted(os.listdir('output/images/color')))
print(fnames)
fname2pose = {}
uni_pose = Nonewith open('output/transforms.json', 'r') as f:meta = json.load(f)fx = 0.5 * W / np.tan(0.5 * meta['camera_angle_x'])  # original focal length
if 'camera_angle_y' in meta:fy = 0.5 * H / np.tan(0.5 * meta['camera_angle_y'])  # original focal length
else:fy = fx
if 'cx' in meta:cx, cy = meta['cx'], meta['cy']
else:cx = 0.5 * Wcy = 0.5 * H
with open('created/sparse_/cameras.txt', 'w') as f:f.write(f'1 PINHOLE {W} {H} {fx} {fy} {cx} {cy}')idx = 1for cam, mat in meta['transform_matrix'].items():# print(cam, mat)fname = "image_"+cam.split('_')[1]+".png"pose = np.array(mat) @ blender2opencvfname2pose[fname] = pose
with open('created/sparse_/images.txt', 'w') as f:for fname in fnames:pose = fname2pose[fname]R = np.linalg.inv(pose[:3, :3])T = -np.matmul(R, pose[:3, 3])q0 = 0.5 * math.sqrt(1 + R[0, 0] + R[1, 1] + R[2, 2])q1 = (R[2, 1] - R[1, 2]) / (4 * q0)q2 = (R[0, 2] - R[2, 0]) / (4 * q0)q3 = (R[1, 0] - R[0, 1]) / (4 * q0)f.write(f'{idx} {q0} {q1} {q2} {q3} {T[0]} {T[1]} {T[2]} 1 {fname}\n\n')idx += 1
with open('created/sparse_/points3D.txt', 'w') as f:f.write('')

结果如下:
在这里插入图片描述
在这里插入图片描述

5 COLMAP-SfM过程 (对3DGS初始化)

5.1 提取图像特征

Input: source/output/images/color(渲染出的RGB图像路径)
Output: initial database.db

colmap feature_extractor --database_path database.db --image_path source/output/images/color

5.2 导入相机内参

Refer to https://www.cnblogs.com/li-minghao/p/11865794.html

由于我们的相机内参只有一组,无需脚本导入,只需打开colmap界面操作。
在这里插入图片描述

5.3 特征匹配

colmap exhaustive_matcher --database_path database.db

5.4 三角测量

colmap point_triangulator --database_path database.db --image_path source/output/images/color --input_path source/created/sparse --output_path source/triangulated/sparse

由此,输出的结果为cameras.bin, images.bin, points3D.bin,存放在source/triangulated/sparse(以上述代码为例)。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/821826.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SpingBoot3相关

一、SpringBoot3-AOT与JIT介绍 1.1 AOT与JIT JIT(Just-in-Time,实时编译)Java跨平台的基础 AOT(Ahead-of-Time,预编译或提前编译),无法跨平台 1.2 AOT的优点 启动和运行速度快:传…

OpenHarmony开发实例:【新闻客户端】

介绍 本篇Codelab我们将教会大家如何构建一个简易的OpenHarmony新闻客户端(JS版本)。应用包含两级页面,分别是主页面和详情页面,两个页面都展示了丰富的UI组件,其中详情页的实现逻辑中还展示了如何通过调用相应接口&a…

BetterDisplay Pro for Mac 显示器校准和优化软件

BetterDisplay Pro for Mac是一款适用于Mac电脑的显示器校准和优化软件。它可以帮助用户校准显示器的颜色、亮度、对比度和伽马值等参数,使得显示器更加准确和清晰,提高用户的工作效率。 BetterDisplay Pro for Mac v2.0.11激活版下载 这款软件具有直观的…

RUST腐蚀服务器添加 TAGS标签教程

RUST腐蚀服务器添加 TAGS标签教程 大家好我是艾西,一个做服务器租用的网络架构师。我们自己搭建架设的服务器在steam展示面板看到跟别人的不一样是咋回事? 这个其实就是服务器的一个标签,那么主要的作用就是让大家在选择服务器时更快更直接的…

pyqt5中sys.argv和app.exec_()是什么意思

在Python的PyQt程序中,sys.argv 和 app.exec_() 是与程序启动和事件循环处理相关的两个概念。 sys.argv: sys 是Python标准库中的一个模块,它提供了一些函数和变量,用来与Python解释器进行交互。argv 是sys模块中的一个列表,它包含…

景区导览系统平台|智能导览|数字人导游|VR游园

随着人工智能、元宇宙等技术的飞速发展,文旅行业正迎来一场前所未有的变革。道可云文旅元宇宙平台以其独特的智慧景区导览系统、元宇宙空间以及数字人导游等创新应用,为景区和游客带来了全新的旅游体验,也标志着文旅行业正式步入了元宇宙时代…

目标检测YOLO实战应用案例100讲-基于特征融合和预测细化的遥感图像目标检测(下)

目录 4.2 无锚方法CenterNet概述 4.3 特征增强和预测细化网络 4.3.1 中间监督的堆叠沙漏网络

课时97:脚本自动化_expect_语法实践

2.2.2 语法实践 这一节,我们从 基础知识、简单实践、小结 三个方面来学习。 基础知识 赋值语法 赋值:tcl 使用“set”关键字来定义参数,不必指定变量值的类型,因为变量值的类型仅一种——字符串 样式:set varName …

手写spring IOC底层源码来模拟spring如何利用多级缓存解决循环依赖的问题

在文章开始之前,先来看一张spring IOC加载过程的脑图吧 Spring IOC的加载过程 首先,当我们去new了一个applicationContext,它底层呢就会把我们配置的bean进行扫描,然后创建成一个一个的beanDefinition放在我们的beanDefinitionMap中,此时就有了一切创造bean的原料信…

Linux crontab命令教程:如何设置和管理定时任务(附实例详解和注意事项)

Linux crontab命令介绍 crontab(全称:cron table),是Linux系统中用来定期执行任务的命令。它允许用户添加、删除或修改定时任务。crontab命令的名字来源于“cron table”,因为它使用了名为cron的任务调度程序来执行任…

计算机视觉动作识别——YOWO用于实时时空动作定位与识别的算法解析

摘要 时空动作定位要求将两种信息源整合到设计的架构中:(1) 来自先前帧的时间信息和(2) 来自关键帧的空间信息。当前的最先进方法通常使用单独的网络提取这些信息,并使用额外的机制进行融合以获得检测结果。YOWO是一个用于视频流中实时时空动作定位的统…

数图智慧零售解决方案,赋能零售行业空间资源价值最大化

数图智慧零售解决方案 赋能零售行业空间资源价值最大 在激烈的市场竞争中,如何更好地提升空间资源价值,提高销售额,成为行业关注的焦点。近日,NIQ发布的《2024年中国饮料行业趋势与展望》称,“在传统零售业态店内&…

分析ARP解析过程

1、实验环境 主机A和主机B连接到交换机,并与一台路由器互连,如图7.17所示,路由器充当网关。 图7.17 实验案例一示意图 2、需求描述 查看 ARP 相关信息,熟悉在PC 和 Cisco 设备上的常用命令,设置主机A和主机B为同一个网段网关设置为路由接…

idea 热部署插件JRebel

idea 热部署插件JRebel ​ 当开始开发web项目的时候,需要频繁的修改web页面,此时如果频繁的重启变得很麻烦,因此,可以在idea中集成JRebel插件,改动代码之后不需要重新启动应用程序。 1、安装JRebel ​ (…

web server apache tomcat11-01-官方文档入门介绍

前言 整理这个官方翻译的系列,原因是网上大部分的 tomcat 版本比较旧,此版本为 v11 最新的版本。 开源项目 同时也为从零手写实现 tomcat 提供一些基础和特性的思路。 minicat 别称【嗅虎】心有猛虎,轻嗅蔷薇。 系列文章 web server apac…

安卓广播发送接收流程

本文基于Andorid 11。 一、registerReceiver registerReceiver(new MyRecevier(), new IntentFilter("com.example.broadcast"));动态注册广播接收器&#xff0c;参数&#xff1a;BroadcastReceiver, IntentFilter。 <receiver android:name".MyReceiver&…

Backend - Django Swagger

目录 一、安装依赖 二、配置环境 三、路由&#xff08;urls&#xff09; 四、swagger UI 界面 &#xff08;一&#xff09;UI 界面 &#xff08;二&#xff09;单引号问题&#xff1a;Expecting property name enclosed in double quotes 1. 原因 2. 解决 五、自定义s…

java正则表达式教程

什么是正则表达式&#xff1a; 正则表达式是一种用来描述字符串模式的语法。在 Java 中&#xff0c;正则表达式通常是一个字符串&#xff0c;它由普通字符&#xff08;例如字母、数字、标点符号等&#xff09;和特殊字符&#xff08;称为元字符&#xff09;组成。这些特殊字符可…

Qt 实战(2)搭建开发环境 | 2.1、Windows下安装QT

一、Windows下安装QT 1、QT官网 QT官网&#xff1a;https://download.qt.io/&#xff0c;打开官网地址&#xff0c;如下&#xff1a; 目录结构介绍 目录说明snapshots预览版&#xff0c;最新的开发测试中的 Qt 库和开发工具onlineQt 在线安装源official_releases正式发布版&am…

跟TED演讲学英文:How AI can bring on a second Industrial Revolution by Kevin Kelly

How AI can bring on a second Industrial Revolution Link: https://www.ted.com/talks/kevin_kelly_how_ai_can_bring_on_a_second_industrial_revolution Speaker: Kevin Kelly Date: June 2016 文章目录 How AI can bring on a second Industrial RevolutionIntroduction…