【学习笔记】虚幻SkeletalMesh学习(一)基础介绍

文章目录

    • 零、前言
    • 一、资源介绍
      • 1.1 骨架资源
      • 1.2 骨架网格体资源
    • 二、UE4中的定义
      • 2.1 骨骼数据
      • 2.2 模型网格数据
    • 三、渲染
      • 3.1 RenderData的初始化
      • 3.2 渲染对象的创建
      • 3.3 渲染对象的更新
        • 3.3.1 游戏线程的更新(*FSkeletalMeshObjectGPUSkin::Update*)
        • 3.3.2 渲染线程的更新(*FSkeletalMeshObjectGPUSkin::UpdateDynamicData_RenderThread*)
      • 3.4 Shader浅析
    • 四、类图
    • 参考文章

零、前言

本文大量内容来自网络文章,整理作为笔记。

感谢各位原作者!

一、资源介绍

1.1 骨架资源

骨架资源,是整个动画系统的基础。

其主要作用是记录了骨架以下信息:

  • 骨骼层级信息
  • 参考姿势信息
  • 骨骼名称插槽(Socket)信息
  • 曲线(Curve)信息
  • 动画通知(Animation Notify)信息
  • 插槽数据(插槽名称、所属骨骼、Transform等)
  • 虚拟骨骼信息
  • 骨骼名称Index映射表
  • 其他骨骼设置信息:包括位移重定向(Translation Retarget)设置,LOD设置等信息

请添加图片描述

1.2 骨架网格体资源

骨骼模型是在骨骼基础之上的模型,通俗来说就是绑定骨骼后的网格体。

其主要包含以下信息:

  • 模型的顶、线、面信息
  • 顶点的骨骼蒙皮权重
  • 模型的材质信息
  • 模型LOD信息
  • Morph Target信息
  • Physics Asset(物理)设置信息
  • 布料系统相关设置

在这里插入图片描述

二、UE4中的定义

2.1 骨骼数据

骨骼相关的数据都封装在USkeleton类,其中包括了骨架数据、插槽、重定向等逻辑。

USkeleton并不会直接使用自身的数据,而是会生成一个FReferenceSkeleton,存储骨骼姿势数据,来提供给Mesh来使用。

在这里插入图片描述

FReferenceSkeleton中,将所有的原始Bone数据分成两份:

  • 一份存储Bone的名字和父节点的索引,一份是Bone的Transform。

请添加图片描述

其中,FMeshBoneInfo的数据结构保存BoneName父节点的索引

在这里插入图片描述

还包含了其他的数据信息,例如Name和Index的关系。

在这里插入图片描述

2.2 模型网格数据

FFbxImporter::ImportSkeletalMesh,负责将导入的模型生成FSkeletalMeshModel对象(USkeletalMesh的一个编辑器成员变量)。

该对象存储着模型网格的几何数据。

在这里插入图片描述

SkeletalMesh存在多个LOD,每个LOD等级下的三角形面数,顶点数是不同的。
FSkeletalMeshModel中存储了各个LOD等级的模型信息(FSkeletalMeshLODModel)。

在这里插入图片描述

FSkeletalMeshLODModel中,主要包含了如下的数据:
在这里插入图片描述

FSkelMeshSection,表示一组使用相同材质的三角形网格数据。

  • 存储了FSoftSkinVertex的数组。
  • FSoftSkinVertex,表示一个顶点,包含了Position、UV、Normal等,以及每个顶点受影响的骨骼索引和权重。

在这里插入图片描述

经Debug可以得知:

  • 骨骼权重用uint8整数表示,最大骨骼权重值为255, 所有骨骼的权重加起来等于255,真正的骨骼权重只需要除以255。

在这里插入图片描述

Section中的BoneMap,存储的是这个Section使用到的Bone在骨骼树上的真正索引。

在这里插入图片描述

FSoftSkinVertex存储的骨骼索引InfluenceBones是“虚拟骨骼索引”,而非真正的骨骼索引。想要获得真正的骨骼索引,需要进行一次转换。即经历Section的BoneMap的映射才得到真正的骨骼索引。

代码如下:

在这里插入图片描述

如图所示,LOD0中有两个Section,Section0使用了60个骨骼,而Section1仅有4个骨骼。

在这里插入图片描述

可以通过**骨骼树信息(FReferenceSkeleton)**看出Section1使用的是哪些骨骼:
在这里插入图片描述
在这里插入图片描述

三、渲染

3.1 RenderData的初始化

FSkeletalMeshModel数据不会在运行时使用,运行时使用的是由该几何数据初始化的FSkeletalMeshRenderData(渲染数据)对象。

在RunTime中,Mesh相关的几何数据实际存储FSkeletalMeshRenderData渲染数据中。

在这里插入图片描述

导入模型的过程中,会调用FSkeletalMeshRenderData::Cache对RenderData进行初始化。

逐级遍历ImportedModel的的LOD,调用FSkeletalMeshLODRenderData::BuildFromLODModel,来实现数据的初始化。

代码分析如下:

1)用ImportedModel中的Sections数据,来初始化LODRenderData的Section信息。

在这里插入图片描述

2)获取顶点数据等,来初始化Mesh的各种VertexBuffer。

在这里插入图片描述

Buffer的Layout:

  • Position [Section0] [Section1]…

  • Tangent和UV同上

3)初始化蒙皮权重缓冲等

在这里插入图片描述

如有颜色,初始化颜色缓冲
在这里插入图片描述
如ClothData的初始化
在这里插入图片描述

4)拷贝ActiveBoneIndices和RequiredBones数据

在这里插入图片描述

上述介绍了编辑器下导入模型创建RenderData的过程。

而运行时,RenderData是创建是来自于USkeletalMesh::Serialize序列化。

在这里插入图片描述

3.2 渲染对象的创建

USkinnedMeshComponent::CreateRenderState_Concurrent,在该函数中会进行一些渲染相关数据的创建。

其中,会由SkeletalMesh的SkelMeshRenderData(FSkeletalMeshRenderData)创建出MeshObject(FSkeletalMeshObject)。

  • 创建之后,MeshObject将常驻内存,轻易不会销毁。

FSkeletalMeshObject:渲染对象的基类,通过该对象从Game线程往渲染线程传递数据。

会根据选项创建其子类。子类如有:

  • FSkeletalMeshObjectCPUSkin
  • FSkeletalMeshObjectGPUSkin
  • FSkeletalMeshObjectStatic

在这里插入图片描述

UE4默认是GPU蒙皮,以FSkeletalMeshObjectGPUSkin为例:

在其构造函数里,调用了FSkeletalMeshObjectGPUSkin::InitResources

在该方法主要是遍历LODs(FSkeletalMeshObjectLOD的数组) ,调用FSkeletalMeshObjectGPUSkin::FSkeletalMeshObjectLOD::InitResources

  1. 初始化顶点蒙皮权重缓存:MeshObjectWeightBuffer
  2. 初始化颜色缓存,MeshObjectColorBuffer
  3. 获取RenderLODData中的顶点数据,存到中间变量FVertexFactoryBuffers
  4. 用Buffers初始化MeshObjectLOD成员变量GPUSkinVertexFactories(FVertexFactoryData对象),初始化GPUSkin顶点工厂
  5. 如果有布料数据,则拿FVertexFactoryBuffers也初始化ClothVertexFactories

3.3 渲染对象的更新

FSkeletalMeshObject::Update,该函数实现了将GameThread更新后的DynamicData发送至渲染线程。

调用堆栈如下:

在这里插入图片描述
UActorComponent::DoDeferredRenderUpdates_Concurrent中会检查组件当前帧bRenderTransformDirtybRenderDynamicDataDirty是否为真。

  • bRenderTransformDirty为真表示Transform发生了变化,调用SendRenderTransform_Concurrent用于更新渲染线程的Transform数据。
  • bRenderDynamicDataDirty为真表示DynamicData的数据发生变化,调用SendRenderDynamicData_Concurrent更新DynamicData。

调用MarkRenderDynamicDataDirty会将bRenderDynamicDataDirty标记为真。

其调用堆栈如下:

  • 在动画更新完成后,会进行调用,从而触发渲染数据的更新。

在这里插入图片描述

FSkeletalMeshObject::Update,不同的MeshObject,更新的数据不同。

下面以FSkeletalMeshObjectGPUSkin为例,进行介绍。

3.3.1 游戏线程的更新(FSkeletalMeshObjectGPUSkin::Update

其更新的数据是:FDynamicSkelMeshObjectDataGPUSkin

存储用来更新蒙皮顶点的矩阵,在GameThread被创建,当更新时会发送到渲染线程。

其部分数据结构如下:

// 蒙皮矩阵相关
TArray<FMatrix> ReferenceToLocal;
TArray<FMatrix> PreviousReferenceToLocal;
TArray<FTransform> MeshComponentSpaceTransforms;

流程如下:

1、InitMorphResources

更新激活的MorphTarget和对应的权重,并会筛选出影响Mesh的曲线,剔除不需要的。

2、InitDynamicSkelMeshObjectDataGPUSkin

初始化GPU蒙皮数据,使用新的动态数据更新 ReferenceToLocal 矩阵。

该函数的主要逻辑:

(1)调用UpdateRefToLocalMatrices,更新ReferenceToLocal

(2)调用UpdatePreviousRefToLocalMatrices,更新PreviousReferenceToLocal

(3)调用UpdateClothSimulationData,更新布料模拟Mesh的顶点位置和法线

UpdateRefToLocalMatrices和UpdatePreviousRefToLocalMatrices,二者的差别在于ComponentTransform。

前者是GetComponentSpaceTransforms,后者是GetPreviousComponentTransformsArray。

二者核心都是调用UpdateRefToLocalMatricesInner计算蒙皮矩阵

蒙皮矩阵的作用:将顶点从模型空间下的绑定姿势,变换到模型空间下的当前动画姿势

  • 蒙皮矩阵计算前后都是Local Space

所以需要先将顶点变换到骨骼空间,再应用骨骼全局姿势矩阵

绑定姿势矩阵:每骨骼的全局绑定姿势矩阵,用于将顶点从某骨骼空间变换到模型空间。

绑定姿势逆矩阵:用于将顶点从模型空间变换到骨骼空间。

在该函数中,先遍历所有会对蒙皮产生影响的骨骼,获取其 Component Space Bone Transform 对应的矩阵(即从Bone Space 变到当前的 Local Space),对于不对蒙皮产生影响的骨骼,这里会保持为 Identity 矩阵。

然后,遍历所有骨骼,乘上 Ref-Pose ,Bone Space 到 Local space 的变化矩阵的逆矩阵(即从 Local Space 变回 Bone Space)。

在这里插入图片描述

3、将动态数据更新命令发送到渲染线程

在这里插入图片描述

3.3.2 渲染线程的更新(FSkeletalMeshObjectGPUSkin::UpdateDynamicData_RenderThread

1、调用FreeDynamicSkelMeshObjectDataGPUSkin,释放上一帧的DynamicData。

2、调用ProcessUpdatedDynamicData,具体处理传输的数据。

ProcessUpdatedDynamicData的主要逻辑如下:

  • 遍历当前LOD的Section,获得每个Section的顶点工厂VertexFactory。

  • 更新顶点工厂的ShaderData,FGPUBaseSkinVertexFactory::FShaderDataType::UpdateBoneData

UpdateBoneData 中,UE 并不会将蒙皮矩阵全部传到 GPU。对于任意一个 section,UE 只会传递这个 section 用到的骨骼

在这里插入图片描述

将蒙皮矩阵写入VertexBuffer(BoneBuffer)中。

3.4 Shader浅析

SKeletalMesh使用的顶点工厂是:FGPUBaseSkinVertexFactory

通过IMPLEMENT_GPUSKINNING_VERTEX_FACTORY_TYPE宏,将GPU蒙皮的VertexFactory与对应的Shader(GpuSkinVertexFactory.ush)进行了绑定。

在这里插入图片描述

打开GpuSkinVertexFactory.ush,可以看到包含一大堆宏定义代码。

最好的方式是用RenderDoc截帧一下,获取一份不带宏的示例代码。

XXVertexFactory.ush 使用了模板函数,需要定义接口的函数和结构。后续会整理一个文档。

输入布局FVertexFactoryInput的定义:

  • Position,模型顶点位置
  • BlendIndices,影响顶点的骨骼Index列表
  • BlendWeights,影响顶点的骨骼权重列表
struct FVertexFactoryInput
{float4 Position : ATTRIBUTE0;float3  TangentX : ATTRIBUTE1;float4  TangentZ : ATTRIBUTE2;uint4 BlendIndices : ATTRIBUTE3;uint4 BlendIndicesExtra : ATTRIBUTE14;float4 BlendWeights : ATTRIBUTE4;float4 BlendWeightsExtra : ATTRIBUTE15;float2 TexCoords[ 1 ] : ATTRIBUTE5;float3 PreSkinOffset : ATTRIBUTE11;float3 PostSkinOffset : ATTRIBUTE12;float4 Color : ATTRIBUTE13;
};

FVertexFactoryIntermediates的定义

struct FVertexFactoryIntermediates
{float3x4  BlendMatrix;float3 UnpackedPosition;float3x3 TangentToLocal;float4 Color;
};

这是一个Caching机制(只计算一次)的结构。

  • 主要是获取了位置、BlendMatrix、TangentToLocal矩阵、颜色。
FVertexFactoryIntermediates GetVertexFactoryIntermediates(FVertexFactoryInput Input)
{FVertexFactoryIntermediates Intermediates;Intermediates.UnpackedPosition = UnpackedPosition(Input);Intermediates.BlendMatrix = CalcBoneMatrix( Input );Intermediates.TangentToLocal = SkinTangents(Input, Intermediates);Intermediates.Color = Input.Color.rgba ;return Intermediates;
}

其中,CalcBoneMatrix为计算加权后的蒙皮矩阵,具体的逻辑如下:

  • 线性蒙皮,将所有对该顶点有影响的骨骼变换矩阵,乘上权重再累加起来,得到一个完整的蒙皮矩阵。
  • 支持4骨骼或8骨骼蒙皮
float3x4  GetBoneMatrix(int Index)
{float4 A = BoneMatrices[Index * 3];float4 B = BoneMatrices[Index * 3 + 1];float4 C = BoneMatrices[Index * 3 + 2];return  float3x4 (A,B,C);
}float3x4  CalcBoneMatrix( FVertexFactoryInput Input )
{float3x4  BoneMatrix = Input.BlendWeights.x * GetBoneMatrix(Input.BlendIndices.x);BoneMatrix += Input.BlendWeights.y * GetBoneMatrix(Input.BlendIndices.y);BoneMatrix += Input.BlendWeights.z * GetBoneMatrix(Input.BlendIndices.z);BoneMatrix += Input.BlendWeights.w * GetBoneMatrix(Input.BlendIndices.w);if (NumBoneInfluencesParam >  4 ){BoneMatrix += Input.BlendWeightsExtra.x * GetBoneMatrix(Input.BlendIndicesExtra.x);BoneMatrix += Input.BlendWeightsExtra.y * GetBoneMatrix(Input.BlendIndicesExtra.y);BoneMatrix += Input.BlendWeightsExtra.z * GetBoneMatrix(Input.BlendIndicesExtra.z);BoneMatrix += Input.BlendWeightsExtra.w * GetBoneMatrix(Input.BlendIndicesExtra.w);}return BoneMatrix;
}

对于VS而言,是计算顶点的世界位置,具体的计算如下:

  • 顶点乘上混合后的蒙皮矩阵,再乘以Local到世界的变换矩阵。
float3 SkinPosition( FVertexFactoryInput Input, FVertexFactoryIntermediates Intermediates )
{float3 Position = Intermediates.UnpackedPosition;Position += Input.PreSkinOffset;Position = mul(Intermediates.BlendMatrix, float4(Position, 1));Position += Input.PostSkinOffset;return Position;
}float4 CalcWorldPosition(FVertexFactoryInput Input, FVertexFactoryIntermediates Intermediates)
{return TransformLocalToTranslatedWorld(SkinPosition(Input, Intermediates));
}
float4 VertexFactoryGetWorldPosition(FVertexFactoryInput Input, FVertexFactoryIntermediates Intermediates)
{return CalcWorldPosition(Input, Intermediates);
}

四、类图

在这里插入图片描述

参考文章

  • UE4动画系统的那些事(一):UE4动画系统基础

  • UE4源码阅读_骨骼模型与动画系统_Mesh

  • UE4之StaticMesh和SkeletalMesh类图

  • UE4获取SkeletalMesh顶点的骨骼权重

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/48129.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Android11 framework 禁止三方应用开机自启动

Android11应用自启动限制 大纲 Android11应用自启动限制分析验证猜想&#xff1a;Android11 AOSP是否自带禁止三方应用监听BOOT_COMPLETED​方案禁止执行非系统应用监听到BOOT_COMPLETED​后的代码逻辑在执行启动时判断其启动的广播接收器一棍子打死方案&#xff08;慎用&#…

矩阵形式的bezier曲线

本文分享一段矩阵形式的bezier代码&#xff1a; clc clear% 控制点 P [25;10;5;13]; %% 获得M矩阵 n length(P) - 1; M zeros(n1,n1); for i 1:n1for j 1:n1if(ij<n3)M(i,j) (-1)^(n -i-j2)*nchoosek(n,n-i1)*nchoosek(n-i1,j-1);elseM(i,j) 0;endend end t_temp l…

buu做题(5)

目录 [GXYCTF2019]禁止套娃 方法一: 方法二: [NCTF2019]Fake XML cookbook [GXYCTF2019]禁止套娃 页面里啥也没有 使用dirsearch 扫一下目录 发现有 git 使用工具githack拉取源码 <?php include "flag.php"; echo "flag在哪里呢&#xff1f;<br&g…

PostgreSQL使用(三)

说明&#xff1a;本文介绍PostgreSQL的数据类型和运算符&#xff1b; 数据类型 常用的数据类型如下&#xff1a; 运算符 如下&#xff1a; 运算符的优先级如下&#xff1a; 不需要强记硬背&#xff0c;只需要记住括号可以提高运算符的优先级即可&#xff1b; 总结 本文介绍…

【JavaEE进阶】——Spring AOP

目录 &#x1f6a9;Spring AOP概述 &#x1f6a9;Spring AOP快速⼊⻔ &#x1f393;引入AOP依赖 &#x1f393;编写AOP程序 &#x1f6a9;Spring AOP 详解 &#x1f393;Spring AOP核⼼概念 &#x1f393;通知类型 &#x1f393;PointCut &#x1f393;切⾯优先级 Ord…

【JavaScript 算法】拓扑排序:有向无环图的应用

&#x1f525; 个人主页&#xff1a;空白诗 文章目录 一、算法原理二、算法实现方法一&#xff1a;Kahn算法方法二&#xff1a;深度优先搜索&#xff08;DFS&#xff09;注释说明&#xff1a; 三、应用场景四、总结 拓扑排序&#xff08;Topological Sorting&#xff09;是一种…

核函数支持向量机(Kernel SVM)

核函数支持向量机&#xff08;Kernel SVM&#xff09;是一种非常强大的分类器&#xff0c;能够在非线性数据集上实现良好的分类效果。以下是关于核函数支持向量机的详细数学模型理论知识推导、实施步骤与参数解读&#xff0c;以及两个多维数据实例&#xff08;一个未优化模型&a…

笔记 3 : 继续彭老师课本第 3 章的 arm 的汇编指令

&#xff08;26&#xff09; 指令 LDR &#xff1a; &#xff08;27&#xff09; STR &#xff1a; 可见&#xff0c;从语法上将&#xff0c; &#xff01; 提示编译器进行更复杂的编译&#xff0c;对应内涵更复杂的指令。 &#xff08;28&#xff09; LDR 与 STR 指令还可…

Android C++系列:Linux信号(三)

可重入函数 不含全局变量和静态变量是可重入函数的一个要素可重入函数见man 7 signal在信号捕捉函数里应使用可重入函数在信号捕捉函数里禁止调用不可重入函数例如:strtok就是一个不可重入函数,因为strtok内部维护了一个内部静态指针,保存上一 次切割到的位置,如果信号的捕捉…

echarts实现3d柱状效果

代码如下&#xff0c;单个的调第一个方法&#xff0c;多个柱状的调第二个方法&#xff0c;具体情况修改参数或者二次开发即可 //3d柱状图 export function getEcharts3DBar (xAxisData:string[][name1,name2,name3], data:number[][1,2,3], colorObj:IBaseObject{topStartColo…

通过albumentation对目标检测进行数据增强(简单直接)

albumentation官方文档看不懂&#xff1f;xml文件不知道如何操作&#xff1f;下面只需要修改部分代码即可上手使用 要使用这个方法之前需要按照albumentation这个库还有一些辅助库,自己看着来安装就行 pip install albumentation pip install opencv-python pip install json…

MKS流量计软件MFC通讯驱动使用于C和P系列MFC控制USB接口W10系统

MKS流量计软件MFC通讯驱动使用于C和P系列MFC控制USB接口W10系统

使用VuePress-Reco快速搭建博客(保姆级)

简介&#xff1a;VuePress-Reco 一款简洁的 vuepress 博客 & 文档 主题&#xff0c;可以自由搭建自己的风格&#xff0c;比较方便简洁。 链接&#xff1a;vuepress-reco 准备环境&#xff1a; Node.Js >20.5.0&#xff0c;Npm > 10.8.2 OR Yarn > 1.22.19 注&am…

Kafka介绍及Go操作kafka详解

文章目录 Kafka介绍及Go操作kafka详解项目背景解决方案面临的问题业界方案ELKELK方案的问题日志收集系统架构设计架构设计组件介绍将学到的技能消息队列的通信模型点对点模式 queue发布/订阅 topicKafka介绍Kafka的架构图工作流程选择partition的原则ACK应答机制Topic和数据日志…

0718,TCP协议,三次握手,四次挥手

目录 上课喵&#xff1a; TCP&#xff08;Transmission Control Protocol&#xff0c;传输控制协议&#xff09;的状态迁移图 TCP连接的状态迁移图 状态迁移说明&#xff1a; 注意&#xff1a; big_htonl.c 字节序转换 addr.c IP地址的转换 作业喵&#xff1a; …

前端组件化实践:Vue自定义加载Loading组件的设计与实现

摘要 随着前端技术的飞速发展&#xff0c;组件化开发已成为提高开发效率、降低维护成本的重要方法。本文介绍了前端Vue自定义加载Loading组件的设计思路与实现过程&#xff0c;该组件通过设置gif动画实现加载效果&#xff0c;可广泛应用于页面请求加载场景。通过该组件的实践&…

2024年度上半年中国汽车保值率报告

来源&#xff1a;中国汽车流通协会&精真估 近期历史回顾&#xff1a; 2024上半年房地产企业数智化转型报告.pdf 2024国产院线电影路演数据洞察报告.pdf 空间数据智能大模型研究-2024年中国空间数据智能战略发展白皮书.pdf 2024年全球资产管理报告 2024年中型律师事务所的法…

VMware中Ubuntu磁盘空间的清理

最近发现Ubuntu占用空间过大&#xff0c;在网上找了一些方法&#xff0c;在这里总结一下。 1.删除快照 把不需要的快照删除&#xff0c;但要注意删除快照可能会影响到后续的快照链。每个快照依赖于前面的快照。如果删除一个中间快照&#xff0c;虚拟机可能无法找到完整的差异…

零基础入门:创建一个简单的Python爬虫管理系统

摘要&#xff1a; 本文将手把手教你&#xff0c;从零开始构建一个简易的Python爬虫管理系统&#xff0c;无需编程基础&#xff0c;轻松掌握数据抓取技巧。通过实战演练&#xff0c;你将学会设置项目、编写基本爬虫代码、管理爬取任务与数据&#xff0c;为个人研究或企业需求奠…

第2章 矩阵

A 乘以此列向量&#xff0c;1的位置依次往下&#xff0c;所以A的列向量全为0 B C、D 取BE 要统一