文章目录
- 摘要
- 1、简介
- 2、相关研究
- 2.1、基于网络设计的方法
- 2.2、基于特征融合的方法
- 2.3、基于损失函数的方法
- 3、方法
- 3.1、动态蛇形卷积(Dynamic Snake Convolution)
- 3.2、多视图特征融合策略
- 3.3、拓扑连续性约束损失
- 4、实验配置
- 4.1、数据集
- 4.2、评估指标
- 5、结果与讨论
- 5.1、定量评估
- 5.2、定性评估
- 5.3、模型分析
- 5.4、未来工作
- 6、结论
摘要
https://arxiv.org/pdf/2307.08388.pdf
拓扑管状结构(如血管和道路)的准确分割在各个领域都至关重要,可以确保下游任务的准确性和效率。然而,许多因素使任务复杂化,包括薄的局部结构和可变的全局形态。在这项工作中,我们注意到管状结构的特殊性,并利用这一知识指导我们的DSCNet在三个阶段同时增强感知:特征提取、特征融合和损失约束。首先,我们提出了一种动态蛇形卷积,通过自适应聚焦细长和弯曲的局部结构来准确捕捉管状结构的特征。随后,我们提出了一种多视角特征融合策略,以补充特征融合过程中对多个视角特征的关注,确保保留来自不同全局形态的重要信息。最后,提出了一种基于持久同调的连续性约束损失函数,以更好地约束分割的拓扑连续性。在二维和三维数据集上的实验表明,与几种方法相比,我们的DSCNet在管状结构分割任务上具有更好的准确性和连续性。我们的代码是公开的。
https://github.com/YaoleiQi/DSCNet
1、简介
在各个领域,对拓扑管状结构进行精确分割对于确保下游任务的准确性和效率至关重要。在临床应用中,清晰描绘的血管是计算血流动力学的重要前提,它可以帮助放射科医生定位和诊断病变[13,16]。在遥感应用中,完整的道路分割为路线规划提供了坚实的基础。无论在哪个领域,这些结构都具有细长和曲折的共同特点,这使得它们在图像中所占比例很小,难以捕捉。因此,迫切需要提高对细管状结构的感知能力。
然而,由于以下困难,它仍然具有挑战性:(1)细长且脆弱的局部结构。如图1所示,细长的结构仅占整个图像的一小部分,像素组成有限。此外,这些结构容易受到复杂背景的干扰,使得模型难以精确区分微妙的目标变化。因此,模型可能难以区分这些结构,导致分割断裂。(2)复杂多变的整体形态。如图1所示,细管状结构的形态复杂多变,甚至在同一张图像中也是如此。根据分支的数量、分叉的位置和路径长度,位于不同区域的靶标具有形态变化。模型可能倾向于过度适应已经出现过的特征,导致当数据展现出前所未有的形态结构时,模型的泛化能力较弱。
最近,许多研究提出了将领域知识(例如几何拓扑和树结构)纳入其中,以更好地指导模型感知管状结构的独特特征,从而专注于提高局部分割的准确性并保持全局形态的连续性。现有方法可以大致分为三类:(1)基于网络的方法[7,12,31,28,14,8]根据管状结构的特点设计了特定的网络架构,以指导模型关注关键特征。然而,考虑到管状结构所占比例较小,网络可能不可避免地失去对相应结构的感知。(2)基于特征的方法[21,33,15,35,20]通过向模型补充额外的特征表示来增强对管状结构特殊几何和拓扑特征的理解。然而,一些冗余的特征表示加剧了计算负担,同时并没有对模型产生积极影响。(3)基于损失的方法[24,29,1,30]在训练过程中通过损失函数补充约束条件,这些方法强化了对分割的严格约束。在这些方法的基础上,结合拓扑视角下连续性约束的结构化损失可能会进一步提高管状分割的准确性。
为了克服上述障碍,我们提出了一种新颖的框架DSCNet,它涉及管状感知卷积核、多视图特征融合策略和拓扑连续性约束损失函数。(1)为了解决模型难以关注细长且脆弱的局部结构的问题,我们提出了动态蜿蜒卷积(DSConv)来增强对管状结构几何结构的感知,该方法通过自适应地关注管状结构的细长和弯曲的局部特征来实现。与可变形的卷积不同,可变形的卷积使网络完全自由地学习几何变化,从而导致感知区域游荡,尤其是在细长的管状结构上,我们的DSConv考虑管状结构的蛇形形态,并通过允许有针对性的增强管状结构的感知的约束来补充自由学习过程。(2)为了解决复杂多变的整体形态问题,我们提出了多视图特征融合策略。在这种方法中,我们基于DSConv生成多个形态核模板,以便从多个角度查看目标的结构特征,并通过总结典型的重要特征实现有效的特征融合。(3)为了解决管状结构分割容易断裂的问题,我们提出了一种基于持久同胚(PH)的拓扑连续性约束损失函数(TCLoss)。PH响应拓扑特征从出现到消失的过程。它从嘈杂的高维数据中获得充分的拓扑信息。相关的贝蒂数描述了拓扑空间中连接的一种方式。与[30,10]不同,我们的TCLoss将PH与点集相似性结合起来,引导网络关注具有异常像素/体素分布的断裂区域,从而从拓扑角度实现连续性约束。
总结来说,我们的工作提出了一种解决细长管状结构难点的新型框架——知识融合。具体的贡献有三点。(1)我们提出了动态蜿蜒卷积,以自适应地关注细长且曲折的局部特征,并在2D和3D数据集上实现准确的管状结构分割。我们的模型使用内部和外部测试数据进行了彻底的验证。(2)我们提出了多视角特征融合策略,从多个角度补充对重要特征的关注。(3)我们提出了基于持久同胚(PH)的拓扑连续性约束损失函数(TCLoss),它更好地约束了分割的连续性。
2、相关研究
2.1、基于网络设计的方法
为了更好地处理管状结构的形态,已经提出了各种方法来设计特定的网络架构和模块。(1)基于卷积核设计的方法,以膨胀卷积[32]和可变形卷积[6]为代表,旨在处理卷积神经网络中固有的有限几何变换,在复杂的检测和分割任务中表现出色。这些方法[7,34,12,31]也被设计为动态感知物体的几何特征,以适应形态可变的结构。例如,[12]中提出的DUNet将可变形卷积集成到U型结构中,并根据血管的尺度形状自适应地调整感受野。(2)基于网络架构设计的方法被提出以学习管状结构的特殊几何拓扑特征。PointScatter [28]被提出用点集表示管状结构,它是用于管状结构提取任务的分割模型的替代方案。[14]提出了一种树状结构的卷积门控循环单元来显式地建模冠状动脉的拓扑结构。与上述允许模型完全自由地学习几何变化的思想不同,考虑到过度的随机性导致的收敛困难以及模型可能聚焦于目标的不期望区域的可能性。我们的工作整合了管状结构形态的领域知识,以在特征提取过程中稳定地增强对管状结构的感知。
2.2、基于特征融合的方法
基于特征融合的方法[35,15,33,21,20]通过向模型补充额外的特征信息来增强管状结构的表示。考虑到管状结构的拓扑结构和稀疏性,[35]提出了一种在两个网络之间执行的特征融合方法,以有效地支持高质量的血管分割。在[15]中,通过深度浅层层次特征融合来研究全局变换器和双局部注意力网络以同时捕获全局和局部特征。 [33]提出融合上下文解剖信息以及血管拓扑以实现准确的管状结构分割。在我们的工作中,我们提出了多视角特征融合策略,从多个角度补充对重要特征的关注。在这种策略中,我们基于DSConv生成多个形态核模板来从多个角度观察目标的结构特征,并通过总结基本标准特征来实现特征融合,从而提高我们模型的性能。
2.3、基于损失函数的方法
基于损失函数的方法[24,29,1]引入了补充约束的测量方法来强化对管状结构分割的严格约束。这些方法增强了管状结构分割的强约束。[24]引入了称为中心线Dice的相似性测量,它在分割掩码与骨架的交集上进行计算。[29]提出了一种基于几何的管状结构分割方法,称为深度距离变换(DDT),它将经典距离变换用于骨架化和管状结构分割的直观概念结合起来。这些方法侧重于管状结构分割的连续性,但骨架的不准确和偏移会影响约束的精度。[1]提出了一种相似性指数,该指数捕获预测分割的拓扑一致性,并针对管状结构分割设计了一个基于形态学闭运算器的损失函数。在[30]中,拓扑数据分析方法与几何深度学习模型相结合,用于3D对象的精细分割。这些方法将捕获拓扑对象的特征。从中汲取灵感,我们的工作提出了一个拓扑连续性约束损失函数(TCLoss),它更好地从拓扑角度约束了分割的连续性。我们的TCLoss在训练过程中逐步引入基于持久同胚[27,2]的约束来引导网络关注断裂区域并实现连续性。
3、方法
我们的方法旨在同时处理薄管状结构的2D和3D特征图。为了简单起见,我们的模块在2D中进行描述,同时我们在开源代码中也提供了详细的3D扩展。
3.1、动态蛇形卷积(Dynamic Snake Convolution)
在这一部分,我们将讨论如何执行动态蛇形卷积(DSConv)来提取管状结构的局部特征。给定标准的2D卷积坐标K,中心坐标为 K i = ( x i , y i ) K_i=(x_i, y_i) Ki=(xi,yi)。一个3x3的内核K,膨胀系数为1,可以表示为:
K = ( x − 1 , y − 1 ) , ( x − 1 , y ) , . . . , ( x + 1 , y + 1 ) (1) K = {(x-1, y-1), (x-1, y), ..., (x+1, y+1)} \tag{1} K=(x−1,y−1),(x−1,y),...,(x+1,y+1)(1)
为了使卷积核更加灵活,能够关注目标的复杂几何特征,受[6]的启发,我们引入了形变偏移量Δ。然而,如果模型自由学习形变偏移量,感知场往往会偏离目标,尤其是在处理薄管状结构的情况下。因此,我们采用迭代策略(图3),依次选择待处理目标的下一个观察位置,从而确保注意力的连续性,并且不会由于大的形变偏移量而使感知场过于扩散。
在DSConv中,我们将标准卷积核在x轴和y轴方向上拉直。我们考虑一个9x9的卷积核,并以x轴方向为例,表示K中每个网格的具体位置: K i ± c = ( x i ± c , y i ± c ) K_{i±c}=(xi±c,yi±c) Ki±c=(xi±c,yi±c),其中c={0,1,2,3,4}表示从中心网格的水平距离。卷积核K中每个网格位置K_{i±c}的选择是一个累积的过程。从中心位置K_i开始,离中心网格的位置取决于前一个网格的位置:与 K i K_i Ki相比, K i + 1 K_{i+1} Ki+1增加了一个偏移量 Δ = { δ ∣ δ ∈ [ − 1 , 1 ] } Δ=\{\delta|δ∈[-1,1]\} Δ={δ∣δ∈[−1,1]}。因此,需要求和偏移量Δ,以确保卷积核符合线性形态结构。方向上的图3变为:
K i ± c = { ( x i + c , y i + c ) = ( x i + c , y i + Σ i i + c Δ y ) , ( x i − c , y i − c ) = ( x i − c , y i + Σ i − c i Δ y ) , (2) K_{i \pm c}=\left\{\begin{array}{l} \left(x_{i+c}, y_{i+c}\right)=\left(x_{i}+c, y_{i}+\Sigma_{i}^{i+c} \Delta y\right), \\ \left(x_{i-c}, y_{i-c}\right)=\left(x_{i}-c, y_{i}+\Sigma_{i-c}^{i} \Delta y\right), \end{array}\right. \tag{2} Ki±c={(xi+c,yi+c)=(xi+c,yi+Σii+cΔy),(xi−c,yi−c)=(xi−c,yi+Σi−ciΔy),(2)
式2在 y y y轴方向为:
K j ± c = { ( x j + c , y j + c ) = ( x j + Σ j j + c Δ x , y j + c ) , ( x j − c , y j − c ) = ( x j + Σ j − c j Δ x , y j − c ) , (3) K_{j \pm c}=\left\{\begin{array}{l} \left(x_{j+c}, y_{j+c}\right)=\left(x_{j}+\Sigma_{j}^{j+c} \Delta x, y_{j}+c\right), \\ \left(x_{j-c}, y_{j-c}\right)=\left(x_{j}+\Sigma_{j-c}^{j} \Delta x, y_{j}-c\right), \end{array}\right. \tag{3} Kj±c=⎩ ⎨ ⎧(xj+c,yj+c)=(xj+Σjj+cΔx,yj+c),(xj−c,yj−c)=(xj+Σj−cjΔx,yj−c),(3)
由于偏移量 Δ \Delta Δ通常是小数,双线性插值实现如下:
K = Σ K ′ B ( K ′ , K ) ⋅ K ′ (4) K=\Sigma_{K^{\prime}} B\left(K^{\prime}, K\right) \cdot K^{\prime} \tag{4} K=ΣK′B(K′,K)⋅K′(4)
这里K表示方程2和方程3的分数位置,K’列举了所有的整数空间位置,B是双线性插值核,它被分成两个一维核,如下所示:
B ( K , K ′ ) = b ( K x , K ′ x ) ∗ b ( K y , K y ′ ) (5) B(K, K') = b(Kx, K'x) * b(Ky, Ky') \tag{5} B(K,K′)=b(Kx,K′x)∗b(Ky,Ky′)(5)
如图3所示,由于二维(x轴,y轴)的变化,我们的DSConv在变形过程中覆盖了9×9的范围。DSConv的设计基于动态结构以更好地适应细长管状结构,从而更好地感知关键特征。
3.2、多视图特征融合策略
本节讨论实现多视图特征融合策略,以指导模型从多个角度补充关注关键特征。对于每个K,从层l中提取两个特征图 f l ( K x ) f^l(Kx) fl(Kx)和 f l ( K y ) f^l(Ky) fl(Ky)分别来自x轴和y轴,表示为:
f l ( K ) = { ∑ i w ( K i ) ⋅ f l ( K i ) ⏟ f l ( K x ) , Σ j w ( K j ) ⋅ f l ( K j ) ⏟ f l ( K y ) } (6) f^{l}(K)=\{\underbrace{\sum_{i} w\left(K_{i}\right) \cdot f^{l}\left(K_{i}\right)}_{f^{l}\left(K_{x}\right)}, \underbrace{\Sigma_{j} w\left(K_{j}\right) \cdot f^{l}\left(K_{j}\right)}_{f^{l}\left(K_{y}\right)}\} \tag{6} fl(K)={fl(Kx) i∑w(Ki)⋅fl(Ki),fl(Ky) Σjw(Kj)⋅fl(Kj)}(6)
其中 w ( K i ) w(K_i) w(Ki)表示位置 K i K_i Ki处的权重,由第l层卷积核K提取的特征使用累积法计算。
基于方程6,我们提取m组特征作为 T l T^l Tl,其中包含DSConv的不同形态:
T l = ( f l ( K x ) , f l ( K y ) ⏟ T 1 l , f l ( K x ) , f l ( K y ) ⏟ T 2 l , ⋯ f l ( K x ) , f l ( K y ) ⏟ T m l ) (7) T^{l}=(\underbrace{f^{l}\left(K_{x}\right), f^{l}\left(K_{y}\right)}_{T_{1}^{l}}, \underbrace{f^{l}\left(K_{x}\right), f^{l}\left(K_{y}\right)}_{T_{2}^{l}}, \cdots \underbrace{f^{l}\left(K_{x}\right), f^{l}\left(K_{y}\right)}_{T_{m}^{l}}) \tag{7} Tl=(T1l fl(Kx),fl(Ky),T2l fl(Kx),fl(Ky),⋯Tml fl(Kx),fl(Ky))(7)
由于多个模板的特征融合不可避免地会带来冗余噪声,因此在训练阶段引入了随机丢弃策略 4 r l 4r^l 4rl(图4),以提高模型的性能并防止过拟合,而无需增加额外的计算负担。然后,方程7变为:
{ r l ∼ Bernoulli ( p ) T ^ l = r l ⋅ T l f l + 1 ( K ) = Σ ⌊ m × p ⌋ T ^ t l (8) \left\{\begin{array}{l} r^{l} \sim \operatorname{Bernoulli}(p) \\ \hat{T}^{l}=r^{l} \cdot T^{l} \\ f^{l+1}(K)=\Sigma^{\lfloor m \times p\rfloor} \hat{T}_{t}^{l} \end{array}\right. \tag{8} ⎩ ⎨ ⎧rl∼Bernoulli(p)T^l=rl⋅Tlfl+1(K)=Σ⌊m×p⌋T^tl(8)
其中p是随机丢弃的概率, r l r^l rl服从伯努利分布。在训练阶段保存了最优丢弃策略,并在测试阶段指导模型融合关键特征。
3.3、拓扑连续性约束损失
本节讨论如何基于持久化同胚(Persistent Homology)实现拓扑连续性约束损失(TCLoss),以约束分割的连续性。复杂结构中的几何和拓扑信息是帮助模型理解连续结构的关键线索。采用拓扑数据分析工具提取复杂管状结构中隐藏的重要特征。
我们的目标是构建数据的拓扑结构,并提取复杂管状结构中表示为持久化条码和持久化同胚(PH)的高维关系,如图5所示。
给定G及其N维拓扑结构,同胚类[9,19]是N维流形的一个等价类,它们可以在G内相互变形,其中0维和1维是连接组件和处理程序。应用PH计算拓扑特征的演变,并保留拓扑特征的出现时间b和消失时间d之间的时期[30]。这样的时期以简洁的格式总结为持久性图(PD),该图由一组点(b,d)组成。每个点(b,d)表示在第b出现并在第d消失的d-th同胚类。让 P D = dgm ( ⋅ ) PD=\operatorname{dgm}(\cdot) PD=dgm(⋅)表示从地面真实L和输出O获得的持久同胚。考虑包含复杂管状结构中的关键线索以确定断裂存在的拓扑信息,它在0维和1维同胚的特征中是明显的。现有的方法[30,5,10]使用修改后的Wasserstein距离来计算输出产生的点和地面真实产生的点之间的最佳匹配,没有最佳配对的离群点被匹配到对角线,并且不参与损失计算。然而,在我们的任务中,离群点表示异常的出现或消失时间,并暗示着起重要作用的错误拓扑关系。因此,我们使用Hausdorff距离[26]来衡量这两组点之间的相似性:
{ d H ( P O , P L ) = max u ∈ P O min v ∈ P L ∥ u − v ∥ d H ( P L , P O ) = max v ∈ P L min u ∈ P O ∥ v − u ∥ d H ∗ = max { d H ( P O , P L ) , d H ( P L , P O ) } (9) \left\{\begin{array}{l} d_{H}\left(P_{O}, P_{L}\right)=\max _{u \in P_{O}} \min _{v \in P_{L}}\|u-v\| \\ d_{H}\left(P_{L}, P_{O}\right)=\max _{v \in P_{L}} \min _{u \in P_{O}}\|v-u\| \\ d_{H}^{*}=\max \left\{d_{H}\left(P_{O}, P_{L}\right), d_{H}\left(P_{L}, P_{O}\right)\right\} \end{array}\right. \tag{9} ⎩ ⎨ ⎧dH(PO,PL)=maxu∈POminv∈PL∥u−v∥dH(PL,PO)=maxv∈PLminu∈PO∥v−u∥dH∗=max{dH(PO,PL),dH(PL,PO)}(9)
好的,以下是对您提供文本的翻译:
其中, P O ∈ Dgm ( O ) , P L ∈ Dgm ( L ) , d H ∗ P_{O} \in \operatorname{Dgm}(O),P_{L} \in \operatorname{Dgm}(L),d_{H}^{*} PO∈Dgm(O),PL∈Dgm(L),dH∗ 表示双向Hausdorff距离,这是根据n维点来计算的。我们所使用的Hausdorff距离对异常值很敏感。如方程9所示,如果两组点相似,除 P O P_{O} PO中的一点外,所有点都完美重叠,该点远离PH中的任何点,则Hausdorff距离由该点确定并且很大[11]。
然后对所有维度 ( n = 0 , 1 , 2 , ⋯ , n ) (n= 0,1,2, \cdots, n) (n=0,1,2,⋯,n)进行求和,得到 L P H \mathcal{L}_{P H} LPH,并将整个TCLoss与交叉熵损失 L C E \mathcal{L}_{C E} LCE积分为最终损失函数 L C E = L C E + ∑ n = 0 n d H ∗ \mathcal{L}_{C E} =\mathcal{L}_{C E}+\sum_{n=0}^{n} d_{H}^{*} LCE=LCE+∑n=0ndH∗。
最后,在两种损失函数的共同作用下,拓扑和精度受到约束,从而实现连续的管状分割。
4、实验配置
4.1、数据集
我们使用三个包含两个公开和一个内部数据集来进行实验,以验证我们的框架。在2D方面,我们对DRIVE视网膜数据集[25]和麻省公路数据集[17]进行了评估。在3D方面,我们使用了一个名为Cardiac CCTA Data的数据集。有关实验设置的详细信息可以在补充材料中找到。
4.2、评估指标
我们进行了比较实验和消融研究,以证明我们提出的框架的优点。我们比较了经典的分割网络U-Net [4]和2021年提出的用于血管分割的CS2-Net [18],以验证准确性。为了验证网络设计的性能,我们比较了2022年提出的用于视网膜血管分割的DCU-net [31]。为了验证特征融合的优点,我们比较了2021年提出的用于医学图像分割的Transunet [3]。为了验证损失函数约束的优点,我们比较了2021年提出的clDice [24]和基于Wasserstein距离的TCLoss LW TC [30]。这些模型在相同的数据集上进行了相同的实现,并通过以下指标进行评估。所有指标都是针对每个图像计算的,并进行平均。
- 1.容积评分:使用平均Dice系数(Dice)、相对Dice系数(RDice)【22】、中心线Dice(clDice)【24】、准确度(ACC)和AUC来评估结果的性能。
- 2.拓扑错误:我们遵循【24, 28】并计算包括Betti数的Betti误差β0和β1在内的拓扑得分。同时,为了客观验证冠状动脉分割的连续性,使用重叠直到第一次错误(OF)【23】来评估提取的中心线的完整性。
- 3.距离误差:Hausdorff距离(HD)【26】也被广泛用于描述两个点集之间的相似性,建议用于评估薄管状结构。
5、结果与讨论
在本段中,我们将从以下三个方面评估和分析我们提出的框架的有效性:(1)通过以下指标对比和验证我们提出的方法对于薄管状结构分割任务的表现。同时展示不同方法的视觉效果。(2)我们分析了DSConv的有效性,以指导模型关注管状结构,并利用TCLoss来约束分割的拓扑结构。(3)我们以DRIVE数据集为例进行了全面的实验,包括消融研究。此外,由于篇幅限制,我们仅强调了其他数据集上的一些最重要的比较实验。结果表明我们的方法在2D和3D领域都表现强劲。
5.1、定量评估
表1显示了我们的方法在每个指标上的优势,结果表明我们的DSCNet在2D和3D数据集上都取得了更好的结果。
对DRIVE的评价。在DRIVE数据集上,我们的DSCNet在分割准确性和拓扑连续性方面优于其他模型。表1显示,与其他方法相比,我们的DSCNet在体积精度方面取得了最佳的分割结果,Dice为82.06%,RDice为90.17%,clDice为82.07%,ACC为96.87%,AUC为90.27%。同时,从拓扑角度来看,与其他方法相比,我们的DSCNet取得了最佳的拓扑连续性,β0错误为0.998,β1错误为0.803。结果表明我们的方法更好地捕捉到了薄管状结构的特定特征,并展现出了更准确的分割性能和更连续的拓扑。如表1的第6至12行所示,随着我们TCLoss的加入,不同的模型都在分割的拓扑连续性上有所提高。结果表明我们的TCLoss准确地约束了模型以关注失去拓扑连续性的薄管状结构。
ROADS上的评估。在马萨诸塞州道路数据集上,我们的DSCNet也取得了最好的结果。如表1所示,我们提出的带有TCLoss的DSCNet与其他方法相比,在分割结果方面取得了最好的成绩,Dice为78.21%,RDice为85.85%,clDice为87.64%。与经典的分割网络UNet的结果相比,我们的方法最多可提高1.31%的Dice、1.78%的RDice和0.77%的clDice。结果表明,与其他模型相比,我们的模型在结构复杂且形态各异的道路数据集上的表现也很好。
CORONARY上的评估。在心脏冠状动脉CTA数据集上,我们验证了我们的DSCNet在3D薄管状结构的分割上仍然取得了最好的结果。如表2所示,我们提出的DSCNet与其他方法相比,在分割结果方面取得了最好的成绩,Dice为80.27%,RDice为86.37%,clDice为85.26%。与经典的分割网络UNet的结果相比,我们的方法最多可提高3.40%的Dice、1.89%的RDice和3.83%的clDice。同时,我们使用OF度量来评估分割的连续性。使用我们的方法,LAD的OF度量提高了6.00%,LCX提高了3.78%,RCA提高了3.30%(LAD、LCX和RCA是冠状动脉的重要主干)。血管连续性的改善在临床上起着至关重要的作用。
消融实验分析。以DRIVE数据集为例,消融实验证明了我们的DSCNet和TCLoss的重要性。(1)为了证明我们DSCNet的有效性。表1前五行的结果显示,我们的方法更适合于分割薄管状结构。结果表明,我们提出的DSConv在模型中起着至关重要的作用,帮助网络更好地捕捉薄管状结构的关键特征。(2)为了证明我们TCLoss的有效性。如表1的第六至第九行所示,随着TCLoss的加入,不同的模型都在分割的拓扑连续性上有所提高。结果表明我们的TCLoss准确地约束了模型以关注失去拓扑连续性的薄管状结构。
5.2、定性评估
我们的DSCNet和TCLoss在任意方面具有决定性的视觉优势(图6)。(1)为了证明我们的DSCNet的有效性。从左到右,第三到第五列显示了不同网络在分割准确性方面的性能。由于我们的DSConv能够自适应地感知薄管状结构的关键特征,我们的模型比其他方法更准确地关注特殊的管状特征,因此在管状结构分割方面表现出更好的性能。(2)为了证明我们的TCLoss的有效性。从左到右,第六到第八列显示了不同损失函数在薄管状结构分割的连续性方面的性能。随着我们提出的TCLoss的加入,在难以分割的区域中,分割的连续性得到了很大的改善。结果表明,我们的方法在具有更好的拓扑连续性的复杂和可变形态结构中提供了稳定的分割性能。值得注意的是,在马萨诸塞州道路数据集上,我们的模型在相邻的直线或曲线道路上实现了良好的可视化效果。更多可视化结果可以在补充材料中找到。
5.3、模型分析
我们的DSConv能够动态适应管状结构的形状,并且注意力很好地适应目标。 (1)适应管状结构的形状。图7的顶部显示了卷积核的位置和形状。可视化结果表明,我们的DSConv很好地适应了管状结构并保持了形状,而可变形的卷积则偏离了目标。 (2)关注管状结构的位置。图7的底部显示了给定点的注意力热图。结果表明,我们的DSConv最亮的区域集中在管状结构上,这表示我们的DSConv对管状结构更敏感。
5.4、未来工作
我们提出的框架很好地应对了薄管状结构的分割,并成功地将形态特征与拓扑知识相结合来指导模型适应分割。然而,其他形态目标是否能够通过类似的范式获得更好的性能仍然是一个令人兴奋的话题。同时,更多的研究将探讨整合其他类型的领域知识或拓扑分析的可能性,以进一步提高分割的性能。此外,更多的实验和理论验证将丰富这个话题。
6、结论
在本研究中,我们关注管状结构的特殊特征,并利用这些知识指导模型在特征提取、特征融合和损失约束三个阶段同时增强感知。首先,我们提出了一种动态蛇形卷积,自适应聚焦于细长和扭曲的结构,从而准确捕捉管状结构的特征。其次,引入多视角特征融合策略,弥补了特征融合过程中多角度关注特征的不足,保证了不同全局形态的重要信息被保留;最后,我们提出了拓扑连续性约束损失来约束分割的拓扑连续性。在二维和三维数据集上对该方法进行了验证,结果表明,与几种方法相比,该方法在管状结构分割任务上具有更好的准确性和连续性。