Depth Anything是一种用于鲁棒单目深度估计的高度实用的解决方案。 在不追求新颖的技术模块的情况下,我们的目标是建立一个简单而强大的基础模型,处理任何情况下的任何图像。 为此,我们通过设计数据引擎来收集并自动注释大规模未标记数据(~62M)来扩展数据集,这显着扩大了数据覆盖范围,从而能够减少泛化误差。 我们研究了两种简单而有效的策略,使数据扩展前景光明。 首先,利用数据增强工具创建更具挑战性的优化目标。 它迫使模型主动寻求额外的视觉知识并获得稳健的表示。 其次,开发了辅助监督来强制模型从预训练的编码器继承丰富的语义先验。 我们广泛评估其零镜头能力,包括六个公共数据集和随机捕获的照片。 它表现出了令人印象深刻的泛化能力。 此外,通过使用 NYUv2 和 KITTI 的度量深度信息对其进行微调,设置了新的 SOTA。 我们更好的深度模型也会产生更好的深度调节 ControlNet。 我们的模型在此 https URL 发布。
论文:https://arxiv.org/abs/2401.10891
这项工作介绍了Depth Anything,一种在1.5百万标记图像和62百万+未标记图像的组合上进行训练,实现强大单目深度估计的实际解决方案。它成为InstantID和InvokeAI的默认深度处理器,并支持视频深度可视化。Depth Anything还提供了基于ControlNet的更精确合成,以及可用于下游高级场景理解的编码器。性能方面,与MiDaS v3.1 BEiTL-512模型相比,Depth Anything表现更好。它提供了三个规模不同的预训练模型,可用于稳健的相对深度估计。此外,该项目提供了