最近发展起来的SAM模型,表示分割模型的一个大的跃进,尤其是在零样本的能力和灵活提升方面。尽管利用1.1bollion的mask,SAM在掩码预测方面已经存在很大的问题,尤其是目标有着复杂结构的时候。
我们提出一个HA-SAM。
设计学习一个高质量的输出token,插入到SAM的掩码解码器中,来预测高质量的掩码。
SAM的各种变种模型,性能、速度、模型大小:
SAM模型包含三部分的组件:1) image encoder; 2) Prompt encoder; 3) Mask decoder
改进的HQ-SAM框架如下:
HQ-SAM引入HQ-Output Token and Global-local feature fusion to SAM来生成高质量的掩码图。
通过利用和固定SAM的掩码decoder,一个新的可学习的HQ-Output Token (1-256)和SAM原有的SAM output Token(4*256)+prompt token (N*256), 三者联合在一起,输入到mask decoder中,更新HQ-Output Token。 利用三层MLP来生成动态卷积核,与那些融合的HQ-feature进行点乘,生成高质量的掩码。