多任务学习孪生网络的遥感影像多类变化检测
马惠1, 刘波2, 杜世宏2
1.河南省国土空间调查规划院,郑州 450016
2.北京大学遥感与地理信息系统研究所,北京 100871
摘要:
精确掌握土地覆盖/利用的变化及变化类型对国土空间规划、生态环境监测、灾害评估等有着重要意义,然而现有大部分变化检测研究主要关注二值变化检测。为此,该文首先提出了一种多任务学习深度孪生网络用于遥感影像的多类变化检测。首先提出面向对象的无监督变化检测方法,选择出新、旧时相影像中最有可能发生变化和最不可能发生变化的区域,并作为多任务学习深度孪生网络的样本; 其次,采用多任务学习深度孪生网络模型同时对新、旧时相的土地利用图以及新、旧时相的二值变化图这3个任务模型进行学习和预测; 最后,基于模型预测的新、旧时相土地利用图及新、旧时相的二值变化图获取最终的多类变化检测结果。采用第三次全国国土调查的影像数据和相应的土地利用图斑数据对多任务学习深度孪生网络模型进行了测试,结果表明所提出的方法适用于这种在没有变化、未变化样本而有历史专题图的变化检测场景中。
0 引言
人类所生存的地表环境无时无刻不在发生着变化,这些变化有些是对人类有益的,有些则是会对自然资源产生严重的破坏。因此,精确掌握这些变化十分必要。自20世纪60年代至今,遥感技术经过几十年的发展,已经可以获取高空间分辨率、高时间分辨率、高光谱分辨率和高辐射分辨率的遥感影像,利用遥感技术来对地表变化进行检测是一种行之有效的方法。目前,基于遥感的变化检测已经在城市规划、植被变化、灾害监测、地图更新和生态环境保护等多个领域得到了广泛的应用。
当前,用于变化检测的方法主要有传统机器学习方法和最新的深度学习方法。传统机器学习方法包括支撑向量机(support vector machine,SVM)、决策树、随机森林(random forest,RF)、人工神经网络(artificial neural networks,ANN)、水平集、马尔可夫随机场(Markov random field,MRF)、条件随机场(conditional random field,CRF)等,相比于早期的图像差分法、代数法、变换法等变化检测方法,这些方法显著提高了遥感变化检测的精度。而近年来,各种基于深度学习的变化检测方法层出不穷,其中孪生网络模型在基于深度学习的变化检测方法中有着重要位置,通过合适的方法结合孪生网络中2个子网络所提取的不同时相的深度特征,可以有效提升变化检测的精度。相比于传统机器学习方法,深度学习方法可以同时提取2个时相影像的深度特征,从而更好地完成变化检测任务。
但是,在基于深度学习的遥感影像变化检测方法中,大部分都只关心某一类别的变化,也大量使用标准数据集进行模型测试,这严重限制了其应用范围。城市规划、地图更新等应用领域不仅需要关注发生变化的区域,也要关注发生变化的类型。对于多类变化检测来说,常用策略有2种: 一是分类后检测法,即对2个时相影像单独进行分类,然后直接对比分类结果,检测同一区域类型是否发生变化; 二是直接分类法,即直接训练一个模型将变化的类型直接区分开来。首先,分类后检测法完全依赖于各个时相的分类结果,只要有一个时相的分类出现错误就会导致错误的变化结果; 而直接分类法需要考虑的类别数过多,若地物有N类,则使用直接分类法需要考虑N(N-1)种变化类型,这种含有变化类型的变化样本难以获取,模型也难以训练。其次,无论上述哪一种变化检测策略,都需要较多的样本对模型进行训练,而这在实际应用中较难获取,尤其是直接分类法所需要的包含变化类型的样本。对于数据集来说,现有的大部分研究都采用了标准数据集,尽管获得了较高的检测精度,但针对标准数据集所设计的变化检测模型在面对实际应用时可能并不适用,这就需要在对模型设计和测试时使用真实场景的数据集。
本文针对上述多类变化检测存在的问题,提出了一种基于多任务学习深度孪生网络的遥感影像变化检测方法。首先,针对分类后检测法和直接分类法存在的没有考虑双时相影像相关性及需要考虑的变化类型过多的问题,本文提出了一种多任务学习法来综合分类后检测法与直接分类法,即构建一个深度学习模型同时对双时相影像进行分类和二值变化检测,最后可通过二值变化检测的结果来判断发生变化的区域和类型。其次,本文没有使用标准数据集对所提出的模型进行测试,而是使用了更符合实际应用的第三次全国国土调查(以下简称“三调”)数据,并根据“三调”数据自动挖掘出潜在的变化样本用于多任务深度孪生网络训练。
1 实验数据
本文研究区为河南省汝州市西部,使用的影像数据为“三调”所采用的高分二号影像。2景高分二号影像的获取时间分别为2019年11月和2020年6月,空间分辨率为1 m,影像大小为31 084像素×44 553像素,包含红、绿、蓝3个波段。除了影像数据之外,还使用到了“三调”的图斑数据,该图斑数据反映了2019年11月的土地利用情况。影像数据和图斑数据如图1所示。
图1 本文所用数据
在图1(a)和图1(b)中,除了土地利用的变化而导致影像光谱变化外,季节变化也导致耕地、林地、草地、园地等在2景影像中的光谱表现不一致。因此,在进行变化检测时,容易产生一些误检。本文实验数据中不包含变化图斑,而只有一个时相的土地利用图斑。因此,现有的针对标准数据集所提出的各种变化检测方法是不适用的。本文提出一种基于多任务学习深度孪生网络的遥感影像变化检测方法来解决这一问题。为了检验本文所提方法进行多类变化检测的精度,人工选择了实验区域的变化图斑,包含了变化的类别信息。通过人工选择的变化图斑进行统计,发现有55.66%的图斑是由耕地变化为建设用地,有29.54%的图斑是由动土变化为建设用地,还有7.24%的图斑是由耕地变化为动土,这说明了在2019年11月—2020年6月期间,实验区有大量农田被侵占用于建设用地。
2 研究方法
2.1 技术路线
遥感影像变化检测流程如图2所示。首先,利用旧时相影像和新时相影像在特征上的差异进行非监督变化检测,得到最可能变化的区域及最可能未变化的区域,在保证这2种类型区域精度足够高的情况下将其作为二值变化检测所需的样本,同时基于旧时相样本和最可能未变化的区域可以得到新时相的样本。随后,利用所得的旧时相样本、新时相样本、二值变化样本以及旧时相影像、新时相影像训练构建好的多任务学习深度孪生网络,从而利用该网络得到新、旧时相的土地利用分类结果以及二值变化检测结果。最后,基于二值变化检测结果,可以得知哪些位置发生了变化,而基于新、旧时相的土地利用分类结果可以得知变化的类型,并且通过人工目视解译得到的地表真实变化图斑对最终变化检测结果进行精度评价。
图2 遥感影像变化检测流程
2.2 面向对象的无监督变化检测
为了能够自动从影像中获取二值变化样本,并基于该二值变化样本和旧时相土地利用样本获取新时相土地利用样本,本文采用了面向对象的无监督变化检测方法。相比于基于像素的方法,面向对象的方法能够很好地保证检测出来的变化区域及未变化区域的完整性。面向对象的无监督变化检测方法基本思路是通过对比新旧时相影像对象在光谱、纹理特征上的差异。对于每一类地物来说,差异较大的影像对象被看作发生变化的影像对象,而差异较小的影像对象被看作未发生变化的影像对象。面向对象的无监督变化检测流程如图3所示。
首先,新、旧时相影像在旧时相样本的约束下联合分割得到影像对象集,影像分割方法采用多分辨率分割法。随后,在影像对象的基础上分别提取新、旧时相影像对象的特征。然后,通过在特征空间上对新、旧时相影像对象特征距离的度量,得到基于影像对象的新、旧时相影像的差异。最后,对于每一类土地利用类型,差异最大的一些影像对象属于最可能变化的区域,而差异最小的一些影像对象则属于最可能未变化的区域,这2个区域构成了二值变化样本。
在整个面向对象的无监督变化检测过程中,对结果影响较大的参数有2个,即划分为最可能变化区域的阈值MLc以及划分为最可能未变化区域的阈值MLu。MLc表示每一类土地利用类型中新、旧时相影像对象差异最大的MLc%的影像对象会被认为是最可能变化的区域,MLu表示每一类土地利用类型中新、旧时相影像对象差异最小的MLu%的影像对象会被认为是最可能未变化的区域。
2.3 多任务学习深度孪生网络
本文提出的多任务学习深度孪生网络模型如图4所示。图中Conv为卷积层。基于深度学习的变化检测实际上是对变化进行语义分割,因此与大多数语义分割网络一样,本文提出的多任务学习深度孪生网络的主题也是由编码器和解码器构成。编码器采用了2个Xception为骨干网络(backbone network)构成的孪生网络分别提取新、旧2个时相影像的深度特征。Xception由进入流、中间流以及退出流3部分构成(图5)。进入流对影像进行特征的初步提取,并同时进行下采样,减小影像的空间维度。中间流则对特征进行不断的分析与过滤,并对特征进行优化。退出流则是最后对特征进行汇总和整理,完成影像深度特征的提取。相比于其他的一些骨干网络,Xception没有使用传统的卷积,而是使用了可分离卷积(separable convolution,Sep Conv),从而减少参数的数量,降低运算成本。此外,由于新、旧影像的大部分区域是未变化的,为进一步减少模型的训练参数,本文使2个Xception的权值共享。
图4 多任务学习深度孪生网络结构图
在解码器中首先采用了空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)对来自编码器的深度特征进行多尺度特征提取。随后,为解决由于下采样导致空间信息丢失和边界分类不准的问题,本文将ASPP所提取的多尺度特征与编码器中只进行过两次下采样的浅层特征相融合,并基于融合后的特征分别新、旧时相的土地利用进行分类。同时,利用对新、旧时相融合后的特征进一步融合,完成二值变化检测。
2.4 精度评价
常用变化检测精度评价指标为精确率(Precision)、召回率(Recall)、F1值和总体精度(overall accuracy,OA)，本文还使用了Li等[30]提出的轨迹误差矩阵(trajectory error matrix,TEM)对多类变化检测结果进行精度评价。TEM可以对时序影像多类变化检测进行精度评价,但由于本文只有2个时相,因此只考虑双时相的TEM。假设双时相影像的土地利用类别数为 m,Lij为某一个影像对象在第i个时相观测到的土地利用类别标签为j,其中i取值范围为1,2,j的取值范围为1,2,…,m,则双时相影像土地利用类别总共会出现m2种变化轨迹(表1)。
表1 土地利用变化轨迹矩阵及其分组
Li等将所有的变化轨迹分为6组,S1表示将未变化的样本检测为未变化且其土地利用类别也是正确的,S2表示将变化的样本检测为变化且其土地利用类别也是正确的,S3表示将未变化的样本检测为未变化但其土地利用类别是错误的,S4表示将未变化的样本检测为变化,S5表示将变化的样本检测为未变化,S6表示将变化的样本检测为变化但其土地利用类别是错误的。根据变化检测结果所属这6组的影像对象的个数,可以定义以下指标: 轨迹总体精度OAT、变化/未变化总体精度OAC/N、总体精度差异(overall accuracy difference,OAD)、单类的精度差异(accuracy difference of individual class,ADIC),其中ADIC包含了未变化类别精度差异ADICN和变化类别的精度差异ADICC,后续3个精度差异指标都反映了正确检测变化/未变化的情况下变化轨迹被正确检测的比例。
3 实验结果及分析
3.1 实验环境及参数设置
本文的多任务学习深度孪生网络基于深度学习框架Tensorflow搭建,平台硬件配置如表2所示。
表2 深度学习平台硬件配置
在无监督变化检测中,使用了多分辨率分割算法在“三调”图斑的约束下对新、旧时相影像进行了联合分割,其分割尺度、紧凑度权重和光谱权重分别为70,0.5和0.9。在无监督变化检测影像对象差异度量中则选择了影像对象的均值和方差作为差异度量的特征。此外,经过多次实验,无监督变化检测中的MLc和MLu分别取值0.1和40较为合适。
在多任务学习深度孪生网络中,为了缓解GPU显存不足的问题,将实验数据裁剪为512像素×512像素的影像块用于模型的训练和预测,训练采用的批大小为4,最大迭代次数为10万,基础学习率为0.000 1。本文还对非监督变化检测所得到的有限样本进行了放大、缩小、旋转、改变影像对比度以及添加噪声等变换,以此提升模型的鲁棒性。
3.2 面向对象无监督变化检测结果分析
在“三调”图斑约束下,使用多分辨率分割算法对新、旧时相影像分割得到了392 976个影像对象,并依据“三调”图斑的类别信息从每类选择差异最大的0.1%的影像对象作为最可能发生变化的区域,选择差异最小的40%的影像对象作为最可能未发生变化的区域,最终得到变化的影像对象389个,未变化影像对象157 160个,其结果如表3所示。
表3 无监督变化检测结果
由表3所示结果可知,大部分被检测为变化区域实际上确实发生了变化,而且基本上都是新建的建设用地; 也存在少量由于成像角度造成两个时相影像产生偏移而出现的变化。同时,被检测成未变化的区域也确实没有发生变化。为了进一步验证该无监督变化检测结果的精度,这里采用了精确率、召回率、F1值以及总体精度4个指标对其进行精度评价,地表真实的变化结果由人工目视解译的4 946个变化图斑构成,最终的结果表4所示。
表4 无监督变化检测精度评价结果
由表4可知,所采用的无监督变化检测方法在本文所使用的数据集上达到了72.49%的精确率,在不使用样本的情况下这个结果比较能够接受,但召回率只有54.23%,也就是说,这个结果的误检率较低,而漏检率较高。因此,此次无监督变化检测结果无法反应地表的真实变化情况。但是在本文变化流程中,无监督变化检测只是作为一个自动选择样本的方法,而误检率较低说明了被检测为变化的对象大概率实际上也发生了变化,较高的漏检率对于样本选取来说是没有影响的,只是无法将那些漏检的变化区域作为样本而已。F1值和OA则是反映了无监督变化检测的一个总体精度情况,F1值只反映了变化区域的总体精度,而OA则反映了变化区域和未变化区域的总体精度,双时相影像大部分都没有发生变化和检测较多的未变化区域是导致OA过高的原因。总体来说,这个无监督变化检测结果基本能够满足后续进行多任务学习深度孪生网络的样本需求。
在无监督变化检测中,MLc取值0.1。主要原因是: 过高的MLc会导致变化检测的精确率过低,误检率过高,使得检测出来的变化区域难以当做后续样本使用; 而过高的MLc又会导致检测出来的变化区域过少,使得变化样本不足。与此相反,由于影像中大部分区域是没有发生变化的,未变化区域也相对较难误检,因此选择了比较大的MLu,这样也可以从旧时相样本中获取更多的新时相样本。
3.3 多任务学习深度孪生网络结果分析
依据面向对象无监督变化检测结果和“三调”图斑,完成对多任务学习深度孪生网络模型的训练,随后基于该模型完成了新、旧时相的土地利用分类和二值变化检测,将该模型的输出结果与影像对象相结合,最终得到了新、旧时相多类变化检测结果,其多类变化检测部分结果如表5所示。
表5 多类变化检测结果
从表5中可以发现在2019—2020年间,实验区域发生的主要变化是从耕地到建设用地的变化。经过统计,在检测出来所有的1 399个变化图斑中,有881个变化图斑的土地利用类型都是从耕地变化到建设用地,占所有变化图斑的62.97%。为对检测出来变化图斑进行精度检验,将变化检测结果与人工目视解译得到的变化图斑进行统计并计算多类变化检测精度评价的5个指标。
统计可知,OAC/N和OAT分别达到了98.67%和77.84%,OAC/N反映的是变化/未变化的总体精度,而OAT反映了变化/未变化的检测准确率以及类别信息。OAD,ADICN和ADICC分别达到78.89%,78.90%和73.56%,说明了在被正确检测为变化/未变化的图斑中,超过3/4的图斑变化前后的土地利用类型信息也能被正确分类。
马惠1, 刘波2, 杜世宏2
1.河南省国土空间调查规划院,郑州 450016
2.北京大学遥感与地理信息系统研究所,北京 100871
摘要:
精确掌握土地覆盖/利用的变化及变化类型对国土空间规划、生态环境监测、灾害评估等有着重要意义,然而现有大部分变化检测研究主要关注二值变化检测。为此,该文首先提出了一种多任务学习深度孪生网络用于遥感影像的多类变化检测。首先提出面向对象的无监督变化检测方法,选择出新、旧时相影像中最有可能发生变化和最不可能发生变化的区域,并作为多任务学习深度孪生网络的样本; 其次,采用多任务学习深度孪生网络模型同时对新、旧时相的土地利用图以及新、旧时相的二值变化图这3个任务模型进行学习和预测; 最后,基于模型预测的新、旧时相土地利用图及新、旧时相的二值变化图获取最终的多类变化检测结果。采用第三次全国国土调查的影像数据和相应的土地利用图斑数据对多任务学习深度孪生网络模型进行了测试,结果表明所提出的方法适用于这种在没有变化、未变化样本而有历史专题图的变化检测场景中。
0 引言
人类所生存的地表环境无时无刻不在发生着变化,这些变化有些是对人类有益的,有些则是会对自然资源产生严重的破坏。因此,精确掌握这些变化十分必要。自20世纪60年代至今,遥感技术经过几十年的发展,已经可以获取高空间分辨率、高时间分辨率、高光谱分辨率和高辐射分辨率的遥感影像,利用遥感技术来对地表变化进行检测是一种行之有效的方法。目前,基于遥感的变化检测已经在城市规划、植被变化、灾害监测、地图更新和生态环境保护等多个领域得到了广泛的应用。
当前,用于变化检测的方法主要有传统机器学习方法和最新的深度学习方法。传统机器学习方法包括支撑向量机(support vector machine,SVM)、决策树、随机森林(random forest,RF)、人工神经网络(artificial neural networks,ANN)、水平集、马尔可夫随机场(Markov random field,MRF)、条件随机场(conditional random field,CRF)等,相比于早期的图像差分法、代数法、变换法等变化检测方法,这些方法显著提高了遥感变化检测的精度。而近年来,各种基于深度学习的变化检测方法层出不穷,其中孪生网络模型在基于深度学习的变化检测方法中有着重要位置,通过合适的方法结合孪生网络中2个子网络所提取的不同时相的深度特征,可以有效提升变化检测的精度。相比于传统机器学习方法,深度学习方法可以同时提取2个时相影像的深度特征,从而更好地完成变化检测任务。
但是,在基于深度学习的遥感影像变化检测方法中,大部分都只关心某一类别的变化,也大量使用标准数据集进行模型测试,这严重限制了其应用范围。城市规划、地图更新等应用领域不仅需要关注发生变化的区域,也要关注发生变化的类型。对于多类变化检测来说,常用策略有2种: 一是分类后检测法,即对2个时相影像单独进行分类,然后直接对比分类结果,检测同一区域类型是否发生变化; 二是直接分类法,即直接训练一个模型将变化的类型直接区分开来。首先,分类后检测法完全依赖于各个时相的分类结果,只要有一个时相的分类出现错误就会导致错误的变化结果; 而直接分类法需要考虑的类别数过多,若地物有N类,则使用直接分类法需要考虑N(N-1)种变化类型,这种含有变化类型的变化样本难以获取,模型也难以训练。其次,无论上述哪一种变化检测策略,都需要较多的样本对模型进行训练,而这在实际应用中较难获取,尤其是直接分类法所需要的包含变化类型的样本。对于数据集来说,现有的大部分研究都采用了标准数据集,尽管获得了较高的检测精度,但针对标准数据集所设计的变化检测模型在面对实际应用时可能并不适用,这就需要在对模型设计和测试时使用真实场景的数据集。
本文针对上述多类变化检测存在的问题,提出了一种基于多任务学习深度孪生网络的遥感影像变化检测方法。首先,针对分类后检测法和直接分类法存在的没有考虑双时相影像相关性及需要考虑的变化类型过多的问题,本文提出了一种多任务学习法来综合分类后检测法与直接分类法,即构建一个深度学习模型同时对双时相影像进行分类和二值变化检测,最后可通过二值变化检测的结果来判断发生变化的区域和类型。其次,本文没有使用标准数据集对所提出的模型进行测试,而是使用了更符合实际应用的第三次全国国土调查(以下简称“三调”)数据,并根据“三调”数据自动挖掘出潜在的变化样本用于多任务深度孪生网络训练。
1 实验数据
本文研究区为河南省汝州市西部,使用的影像数据为“三调”所采用的高分二号影像。2景高分二号影像的获取时间分别为2019年11月和2020年6月,空间分辨率为1 m,影像大小为31 084像素×44 553像素,包含红、绿、蓝3个波段。除了影像数据之外,还使用到了“三调”的图斑数据,该图斑数据反映了2019年11月的土地利用情况。影像数据和图斑数据如图1所示。
图1 本文所用数据
在图1(a)和图1(b)中,除了土地利用的变化而导致影像光谱变化外,季节变化也导致耕地、林地、草地、园地等在2景影像中的光谱表现不一致。因此,在进行变化检测时,容易产生一些误检。本文实验数据中不包含变化图斑,而只有一个时相的土地利用图斑。因此,现有的针对标准数据集所提出的各种变化检测方法是不适用的。本文提出一种基于多任务学习深度孪生网络的遥感影像变化检测方法来解决这一问题。为了检验本文所提方法进行多类变化检测的精度,人工选择了实验区域的变化图斑,包含了变化的类别信息。通过人工选择的变化图斑进行统计,发现有55.66%的图斑是由耕地变化为建设用地,有29.54%的图斑是由动土变化为建设用地,还有7.24%的图斑是由耕地变化为动土,这说明了在2019年11月—2020年6月期间,实验区有大量农田被侵占用于建设用地。
2 研究方法
2.1 技术路线
遥感影像变化检测流程如图2所示。首先,利用旧时相影像和新时相影像在特征上的差异进行非监督变化检测,得到最可能变化的区域及最可能未变化的区域,在保证这2种类型区域精度足够高的情况下将其作为二值变化检测所需的样本,同时基于旧时相样本和最可能未变化的区域可以得到新时相的样本。随后,利用所得的旧时相样本、新时相样本、二值变化样本以及旧时相影像、新时相影像训练构建好的多任务学习深度孪生网络,从而利用该网络得到新、旧时相的土地利用分类结果以及二值变化检测结果。最后,基于二值变化检测结果,可以得知哪些位置发生了变化,而基于新、旧时相的土地利用分类结果可以得知变化的类型,并且通过人工目视解译得到的地表真实变化图斑对最终变化检测结果进行精度评价。
图2 遥感影像变化检测流程
2.2 面向对象的无监督变化检测
为了能够自动从影像中获取二值变化样本,并基于该二值变化样本和旧时相土地利用样本获取新时相土地利用样本,本文采用了面向对象的无监督变化检测方法。相比于基于像素的方法,面向对象的方法能够很好地保证检测出来的变化区域及未变化区域的完整性。面向对象的无监督变化检测方法基本思路是通过对比新旧时相影像对象在光谱、纹理特征上的差异。对于每一类地物来说,差异较大的影像对象被看作发生变化的影像对象,而差异较小的影像对象被看作未发生变化的影像对象。面向对象的无监督变化检测流程如图3所示。
首先,新、旧时相影像在旧时相样本的约束下联合分割得到影像对象集,影像分割方法采用多分辨率分割法。随后,在影像对象的基础上分别提取新、旧时相影像对象的特征。然后,通过在特征空间上对新、旧时相影像对象特征距离的度量,得到基于影像对象的新、旧时相影像的差异。最后,对于每一类土地利用类型,差异最大的一些影像对象属于最可能变化的区域,而差异最小的一些影像对象则属于最可能未变化的区域,这2个区域构成了二值变化样本。
在整个面向对象的无监督变化检测过程中,对结果影响较大的参数有2个,即划分为最可能变化区域的阈值MLc以及划分为最可能未变化区域的阈值MLu。MLc表示每一类土地利用类型中新、旧时相影像对象差异最大的MLc%的影像对象会被认为是最可能变化的区域,MLu表示每一类土地利用类型中新、旧时相影像对象差异最小的MLu%的影像对象会被认为是最可能未变化的区域。
2.3 多任务学习深度孪生网络
本文提出的多任务学习深度孪生网络模型如图4所示。图中Conv为卷积层。基于深度学习的变化检测实际上是对变化进行语义分割,因此与大多数语义分割网络一样,本文提出的多任务学习深度孪生网络的主题也是由编码器和解码器构成。编码器采用了2个Xception为骨干网络(backbone network)构成的孪生网络分别提取新、旧2个时相影像的深度特征。Xception由进入流、中间流以及退出流3部分构成(图5)。进入流对影像进行特征的初步提取,并同时进行下采样,减小影像的空间维度。中间流则对特征进行不断的分析与过滤,并对特征进行优化。退出流则是最后对特征进行汇总和整理,完成影像深度特征的提取。相比于其他的一些骨干网络,Xception没有使用传统的卷积,而是使用了可分离卷积(separable convolution,Sep Conv),从而减少参数的数量,降低运算成本。此外,由于新、旧影像的大部分区域是未变化的,为进一步减少模型的训练参数,本文使2个Xception的权值共享。
图4 多任务学习深度孪生网络结构图
在解码器中首先采用了空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)对来自编码器的深度特征进行多尺度特征提取。随后,为解决由于下采样导致空间信息丢失和边界分类不准的问题,本文将ASPP所提取的多尺度特征与编码器中只进行过两次下采样的浅层特征相融合,并基于融合后的特征分别新、旧时相的土地利用进行分类。同时,利用对新、旧时相融合后的特征进一步融合,完成二值变化检测。
2.4 精度评价
常用变化检测精度评价指标为精确率(Precision)、召回率(Recall)、F1值和总体精度(overall accuracy,OA)，本文还使用了Li等[30]提出的轨迹误差矩阵(trajectory error matrix,TEM)对多类变化检测结果进行精度评价。TEM可以对时序影像多类变化检测进行精度评价,但由于本文只有2个时相,因此只考虑双时相的TEM。假设双时相影像的土地利用类别数为 m,Lij为某一个影像对象在第i个时相观测到的土地利用类别标签为j,其中i取值范围为1,2,j的取值范围为1,2,…,m,则双时相影像土地利用类别总共会出现m2种变化轨迹(表1)。
表1 土地利用变化轨迹矩阵及其分组
Li等将所有的变化轨迹分为6组,S1表示将未变化的样本检测为未变化且其土地利用类别也是正确的,S2表示将变化的样本检测为变化且其土地利用类别也是正确的,S3表示将未变化的样本检测为未变化但其土地利用类别是错误的,S4表示将未变化的样本检测为变化,S5表示将变化的样本检测为未变化,S6表示将变化的样本检测为变化但其土地利用类别是错误的。根据变化检测结果所属这6组的影像对象的个数,可以定义以下指标: 轨迹总体精度OAT、变化/未变化总体精度OAC/N、总体精度差异(overall accuracy difference,OAD)、单类的精度差异(accuracy difference of individual class,ADIC),其中ADIC包含了未变化类别精度差异ADICN和变化类别的精度差异ADICC,后续3个精度差异指标都反映了正确检测变化/未变化的情况下变化轨迹被正确检测的比例。
3 实验结果及分析
3.1 实验环境及参数设置
本文的多任务学习深度孪生网络基于深度学习框架Tensorflow搭建,平台硬件配置如表2所示。
表2 深度学习平台硬件配置
在无监督变化检测中,使用了多分辨率分割算法在“三调”图斑的约束下对新、旧时相影像进行了联合分割,其分割尺度、紧凑度权重和光谱权重分别为70,0.5和0.9。在无监督变化检测影像对象差异度量中则选择了影像对象的均值和方差作为差异度量的特征。此外,经过多次实验,无监督变化检测中的MLc和MLu分别取值0.1和40较为合适。
在多任务学习深度孪生网络中,为了缓解GPU显存不足的问题,将实验数据裁剪为512像素×512像素的影像块用于模型的训练和预测,训练采用的批大小为4,最大迭代次数为10万,基础学习率为0.000 1。本文还对非监督变化检测所得到的有限样本进行了放大、缩小、旋转、改变影像对比度以及添加噪声等变换,以此提升模型的鲁棒性。
3.2 面向对象无监督变化检测结果分析
在“三调”图斑约束下,使用多分辨率分割算法对新、旧时相影像分割得到了392 976个影像对象,并依据“三调”图斑的类别信息从每类选择差异最大的0.1%的影像对象作为最可能发生变化的区域,选择差异最小的40%的影像对象作为最可能未发生变化的区域,最终得到变化的影像对象389个,未变化影像对象157 160个,其结果如表3所示。
表3 无监督变化检测结果
由表3所示结果可知,大部分被检测为变化区域实际上确实发生了变化,而且基本上都是新建的建设用地; 也存在少量由于成像角度造成两个时相影像产生偏移而出现的变化。同时,被检测成未变化的区域也确实没有发生变化。为了进一步验证该无监督变化检测结果的精度,这里采用了精确率、召回率、F1值以及总体精度4个指标对其进行精度评价,地表真实的变化结果由人工目视解译的4 946个变化图斑构成,最终的结果表4所示。
表4 无监督变化检测精度评价结果
由表4可知,所采用的无监督变化检测方法在本文所使用的数据集上达到了72.49%的精确率,在不使用样本的情况下这个结果比较能够接受,但召回率只有54.23%,也就是说,这个结果的误检率较低,而漏检率较高。因此,此次无监督变化检测结果无法反应地表的真实变化情况。但是在本文变化流程中,无监督变化检测只是作为一个自动选择样本的方法,而误检率较低说明了被检测为变化的对象大概率实际上也发生了变化,较高的漏检率对于样本选取来说是没有影响的,只是无法将那些漏检的变化区域作为样本而已。F1值和OA则是反映了无监督变化检测的一个总体精度情况,F1值只反映了变化区域的总体精度,而OA则反映了变化区域和未变化区域的总体精度,双时相影像大部分都没有发生变化和检测较多的未变化区域是导致OA过高的原因。总体来说,这个无监督变化检测结果基本能够满足后续进行多任务学习深度孪生网络的样本需求。
在无监督变化检测中,MLc取值0.1。主要原因是: 过高的MLc会导致变化检测的精确率过低,误检率过高,使得检测出来的变化区域难以当做后续样本使用; 而过高的MLc又会导致检测出来的变化区域过少,使得变化样本不足。与此相反,由于影像中大部分区域是没有发生变化的,未变化区域也相对较难误检,因此选择了比较大的MLu,这样也可以从旧时相样本中获取更多的新时相样本。
3.3 多任务学习深度孪生网络结果分析
依据面向对象无监督变化检测结果和“三调”图斑,完成对多任务学习深度孪生网络模型的训练,随后基于该模型完成了新、旧时相的土地利用分类和二值变化检测,将该模型的输出结果与影像对象相结合,最终得到了新、旧时相多类变化检测结果,其多类变化检测部分结果如表5所示。
表5 多类变化检测结果
从表5中可以发现在2019—2020年间,实验区域发生的主要变化是从耕地到建设用地的变化。经过统计,在检测出来所有的1 399个变化图斑中,有881个变化图斑的土地利用类型都是从耕地变化到建设用地,占所有变化图斑的62.97%。为对检测出来变化图斑进行精度检验,将变化检测结果与人工目视解译得到的变化图斑进行统计并计算多类变化检测精度评价的5个指标。
统计可知,OAC/N和OAT分别达到了98.67%和77.84%,OAC/N反映的是变化/未变化的总体精度,而OAT反映了变化/未变化的检测准确率以及类别信息。OAD,ADICN和ADICC分别达到78.89%,78.90%和73.56%,说明了在被正确检测为变化/未变化的图斑中,超过3/4的图斑变化前后的土地利用类型信息也能被正确分类。
4 总结与展望
针对现有变化检测研究主要聚焦于二类变化检测以及主要使用标准数据集进行模型评测的问题,本文结合“三调”的实际工程应用问题,尝试利用现有的“三调”影像数据及其图斑数据进行多类变化检测。为此,本文提出了一个多任务学习深度孪生网络模型尝试解决现有的分类后检测法和直接分类法在多类变化检测中的问题。同时为了解决多任务学习深度孪生网络模型缺乏训练样本的问题,本文结合“三调”图斑采用面向对象的无监督变化检测方法来获取最可能变化的区域以及最可能未变化的区域,并以此从“三调”图斑中提取新时相影像土地利用样本及新、旧时相的变化、未变化样本。
从实验结果来看,本文所提的方法适用于在没有变化、未变化样本而有历史专题图的变化检测场景中,典型的应用场景有地图更新、国土资源监测等等。虽然现有的变化检测精度还达不到实际的工程应用需求,但通过与人工判读相结合的手段,可以大幅度提高作业效率。
（原文有删减）
【作者简介】 马 惠(1980-),女,高级工程师,主要从事地籍调查、土地资源调查遥感监测技术方法研究。
Email: 42879575@qq.com。
【基金资助】国家重点研发计划-政府间国际创新合作“时空大数据驱动的可持续发展城市人居环境监测评估与应用示范”(2021YFE0117100)
【引文文本】马惠, 刘波, 杜世宏. 多任务学习孪生网络的遥感影像多类变化检测[J]. 自然资源遥感, 2024, 36(1): 77-85.
