ASpanFormer是一个2022年8月份发布的算法,其主要步骤与LoFTR模型类似,因此无法导出为onnx模型。根据ASpanFormer论文中的数据与效果图,可以确定AsPanFormer是可以作为一个比SP+SG更为有效的方案,其在标准数据集上的效果优于SP+SG,在速度上远超SP+SG,与LoFTR接近;在预测点的数量上远超SP+SG、LoFTR方案。
通过修改代码后,可以将ASpanFormer模型导出为onnx运行,但在速度与效果上远不如torch模型。主要是记录一下对ASpanFormer项目的使用。
1、ASpanFormer代码差异分析
ASpanFormer代码与LoFTR类型,关于LoFTR有LoFTR_TR项目可以将LoFTR模型进行改正,使LoFTR模型能正常导出为onnx。这里先分析以下LoFTR与ASpanFormer的差异,看能否直接使用LoFTR2onnx的改造,直接导出onnx模型。但分析后,发现二者主体结构虽然很相似,但每一个属性的输入输出都存在差异。
1.1 主要结构
这里主要对比ASpanFormer的模型结构属性与LoFTR的模型结构属性差异,根据ASpanFormer作者与LoFTR的速度对比信息,二者结构应该基本一致。
通过对比可以发现,二者在结构上基本一致。但关于pos_encoding,配置文件写法有差异,同时关于loftr_coarse对应的具体操作类,有明显差异。