参考：https://paperswithcode.com/sota/3d-anomaly-detection-and-segmentation-on
论文：https://openreview.net/pdf?id=IkSGn9fcPz
code：https://github.com/jayliu0313/Shape-Guided

摘要

我们提出了一个形状引导的专家学习框架来解决无监督的三维异常检测问题。我们的方法是建立在两个专门的专家模型的有效性和他们的协同从颜色和形状模态定位异常区域。第一个专家利用几何信息通过对局部形状周围的隐式距离场建模来探测三维结构异常。第二个专家考虑与第一个专家相关联的二维RGB特征来识别局部形状上的颜色外观不规则性。我们使用两位专家从无异常的训练样本中构建双记忆库，并进行形状引导推理以查明测试样本中的缺陷。由于每个点的3D表示和互补模式的有效融合方案，我们的方法有效地在MVTec 3DAD数据集上实现了最先进的性能，具有更好的召回率和更低的误报率，这在实际应用中是首选的。

一、介绍

无监督异常检测和定位在制造业和医疗保健中有许多应用。以往的方法主要是利用颜色信息来识别输入图像中的缺陷和异常区域。虽然在大多数情况下，颜色信息通常足以用于定位异常，但也有研究表明，当充分利用3D几何信息时，可以有助于实现更好的性能(Horwitz & Hoshen, 2022)。

我们的工作旨在解决最近发布的MVTec 3D- ad数据集上的3D异常检测和定位问题。我们提出形状引导双存储器学习将颜色和几何信息结合起来，提高异常定位精度，降低计算和存储成本。图1说明了我们的方法在从不同模态精确定位缺陷方面的互补优势。

异常检测的性能通常通过每区域重叠(PRO) (Bergmann等，2021)和相应的连续增加异常阈值的假阳性率来评估。最常见的设置是报告PRO曲线下的面积(AU-PRO)集成到假阳性率为30%(即集成极限为0.3)。然而，在实际应用中，30%的假阳性率可能太大，因此无法精确定位缺陷。为了解决这个问题，我们设计了一种方法，在非常小的集成限制下追求更高的AU-PRO。我们的方法使用神经隐式函数(nif)通过带符号距离场来表示局部形状，就像当前3D重建方法所做的那样(Jiang等人，2020;Takikawa等，2021;Ma等人，2021;2022;Li et al .， 2022)。将点云样本划分为nif表示的局部补丁，使我们能够在方向变化的情况下建模复杂形状的3D物体。本地带符号距离字段还支持细粒度的逐点异常预测。因此，我们的方法在MVTec 3D- ad基准上实现了最先进的AU-PRO，即使在非常小的集成限制下，这对于以前的2D和3D异常检测方法来说是相当具有挑战性的。

我们将这项工作的贡献总结如下:

1. 提出了一种有效的形状引导方法整合了颜色和几何的互补形式。我们的方法需要更少的内存使用并促进更快的推理。
2. 我们提出了第一个使用符号距离场的神经隐式函数来表示三维异常检测的局部形状的工作。有利的是，我们可以将复杂结构的三维点云建模到每个点的细粒度级别。
3. 我们的方法在MVTec 3D-AD数据集上实现了最先进的性能，特别是在小集成限制下，这意味着在实际应用中更好的召回率和更低的误报率。

三、方法

与2D设置不同，用于3D异常检测的训练数据(例如MVTec 3DAD)以两种不同的模式连接呈现，包括像素RGB值和点向3D坐标。为了充分利用两种表示形式的互补效果，我们设计了一种形状引导的外观重建方案，有效地连接了两种信息流，提高了异常预测和定位的准确性。

3.1. 形状引导专家学习

该方法基于两种专业专家模型的有效性及其协同作用，更好地解决了三维异常检测的任务。第一个专家利用3D信息来探测形状几何中可能存在的异常，第二个专家考虑RGB信息来挑出任何外观不规则(在颜色方面)。接下来，我们将描述这两个专家模型是如何发展和关联的。

形状专家。 利用点坐标的可用性，我们考虑设计一个三维形状异常专家检测的重点是学习局部几何表示。我们想局部表示的特征可以双倍。首先，缺陷或异常部件通常发生在局部而不是全局。其次，学习点云的局部表示的公式趋向于更具可扩展性和效率。

如图2所示，我们利用PointNet (Qi et al .， 2017)和Neural Implicit Function (NIF) (Ma et al .， 2022)这两个现有模型，用于点云应用来探索3D形状信息。具体来说，我们首先将一个完整的点云划分为三维小块，并进行局部表征学习。对于每个产生的补丁，我们采样500个点，并应用PointNet来获得其特征向量，表示为f，它编码相应的局部几何形状。现在让NIF模型为φ。为了训练用于异常检测的φ，我们遵循(Ma et al .， 2021)中的技术对底层3D补丁表面附近的一组查询点Q = {Q}进行采样，并将这些查询与PointNet特征f一起传递给NIF模型以预测它们的带符号距离{s}。我们将预测查询点q∈q相对于局部曲面的带符号距离s的过程表示为

除了输入q之外，预测结果s取决于PointNet的补丁特征向量f。(1)中的每一对{ϕ，f}构成一个有符号距离函数(SDF)，可用于测量点云的局部表面几何形状。由于NIF ϕ对所有patch都是通用的，并且与类别无关，在完成形状专家的学习后，我们只需要将所有的patch特征向量{f}存储到SDF内存库中，表示为MS，以隐式编码所有“正常”的局部表示。

外观专家。 构建外观专家的目标是创建一个形状引导的记忆库MA，可以用来重建“正常”的RGB特征。

我们考虑点云与其2D RGB图像的配对关系，如图3所示。学习了形状专家之后，我们可以检查SDF与其相应的RGB特征之间的映射。对于每个SDF，我们追溯其在3D接受场中的500个采样点(即PointNet的输入)，然后计算它们的2D坐标以检索相应的RGB特征。为了增强其在颜色外观上的表示能力，在特征映射上将二维对应统一扩展两个像素，以包含更多的RGB特征。(参见图4。)在我们的实现中，每个SDF将对应大约40到60个RGB特征向量。这样，我们可以得到形状引导内存库MA，它包含与MS中sdf相同数量的sdf特定的RGB字典。

3.2. Shape-Guided推理

使用双存储库MS和MA，我们准备执行推理以检测测试样本x是否包括异常/缺陷。(参见图5。)步骤如下。

1. 使用PointNet获取所有补丁级sdf, x的{≈f}。
2. 使用ResNet获取x的RGB特征图。那些与至少一个SDF相关的像素在2D RGB图像中被认为是前景。
3. 对于{≈f}中的每个SDF，在MS中找到它的k1 = 10个最近邻，形成各自的字典，并通过稀疏表示得到它的近似值_ f。
4. 对于x的每个patch，使用逐patch重构的f来计算带符号的距离，s = φ (q;{f)，对于所有的3D点，{q}，从它的感受野。
5. 取到x所有patch的带符号距离的绝对值，形成最终的SDF分数图。
6. 对于MS中用于计算步骤3的稀疏表示的所有相关sdf，在MA中对它们所有关联的RGB字典进行并集，形成一个形状引导的RGB字典，记为D。
7. 对于步骤2中的每个前景RGB特征向量，从D -中找到其k2 = 5个最近邻，并获得其稀疏表示。由近似得到的l2距离形成最终的RGB分数图。
8. 执行分数图对齐(将在后面描述)，并在像素上取SDF和RGB响应的最大值作为相应的异常分数。

Score-map对齐。 通过最大池化融合SDF和RGB分数映射需要两者的值在一个可比较的范围内。由于异常样本在训练中不可用于估计适当的统计量，我们通过模拟25个随机选择的训练样本的推理并采用“离开自己”策略来模拟测试结果来克服这一困难。这将在测试步骤的最近邻搜索中排除查询本身的SDF和RGB特征。为了使两个结果分数分布一致，我们考虑映射y²→a × y + b，这样RGB分数分布的平均值±3 ×标准差将映射到它们的SDF对应项。由此产生的缩放和移动参数a和b可以很容易地用于参考，将RGB分数y校正为a x y + b。

最后，我们注意到，到目前为止，我们的公式描述的只是针对单一类别的3D异常检测。

然而，考虑到MVTec 3D-AD的十个对象类别是明显不同的，并且我们实现的分类器确实达到了100%的分类准确率，我们的方法本质上提供了一个统一的方法来处理MVTec 3D-AD上的异常检测。