一种跨时间建筑物变化检测建模方法以及检测装置、方法及
存储介质
技术领域
[0001] 本
发明涉及遥感卫星影像分析技术领域，公开了一种基于遥感卫星影像 进行分析的跨时间建筑物变化检测建模以及检测的装置、方法及存储介质。
背景技术
[0002] 本发明对于背景技术的描述属于与本发明相关的相关技术，仅仅是用于 说明和便于理解本发明的发明内容，不应理解为
申请人明确认为或推定申请 人认为是本发明在首次提出申请的申请日的
现有技术。
[0003] 对卫星影像中的地物(道路、建筑物等)进行标注是卫星影像领域的重 要课题。在国土监察业务中，很重要的一项工作是监管地上建筑物的建、拆、 改、扩。例如，如果
地块未经审批而存在建筑物，那么需要实地派人去调查 是否出现了非法占地行为。如果地块卖给了开发商但是没有实际建设，那么 需要调查是否捂地或者是开发商资金链出现问题。如果居民住房/商业用地异 常扩大，那么需要调查是否存在违章建筑，因此国土局公务员每天需要大量 巡查工作。
[0004] 传统建筑物检测方法在处理该问题时通常是提取目标的纹理或者形状 特征，使用一些典型的算子在卫星影像上进行建筑物的检测并分析变化。
[0005] 随着高
分辨率遥感卫星技术逐渐成熟，世界上很多国家都开始逐渐意识 到高分卫星在国土监察、减灾防灾、地图绘制等领域内的巨大实用价值。面 对大量高
质量的遥感卫星影像数据，传统的建筑物检测方法依赖人工提取特 征并不能充分挖掘数据之间的关联，以至于检测
精度不高。不同地块上的建 筑物
风格差异可能造成典型特征算子失效，无法找到一种普适的专家规则导 致传统
机器学习算法在该问题上存在明显的局限性。
发明内容
[0006] 为了解决同一地区跨越长达20年时间尺度的建筑物变化自动检测的技 术问题，本发明的第一方面，涉及一种用于图像对比分析的语义分割模型建 模装置，包括：设置标签单元，从卫星遥感影像中选择同一地区前后时间拍 摄的遥感影像组，进行人工识别标注，在对应区域设置标签；影像切割单元， 将由设置标签步骤构建起来的人工标注区域影像切割成足够数量的小尺寸 图片，构成小尺寸图片数据集，用于语义分割模型的训练；输入输出对应单 元，将影像切割步骤得到的小尺寸图片数据集中前后时间的多通道图像堆叠 作输入，对应的变化标签作为目标中的真值标签；获得检测模型单元，通过
深度学习框架，使用输入输出对应步骤中的小尺寸图片数据集不断优化FCN 网络参数直至收敛，从而获得自动检测模型。本申请将深度学习算法与高分 辨率卫星图像技术相结合，使用基于
像素级别的语义分割模型来实现算法。
[0007] 优选地，所述影像切割单元，使用均匀分布的随机数生成坐标点对，并 在人工标注区域影像中进行随机切割。
[0008] 优选地，所述影像切割单元，按照0°，30°，60°，90°等多
角度的摆放 方式在人工标注区域影像中进行随机切割。
[0009] 优选地，所述的用于图像对比分析的语义分割模型建模装置，还包括： 扩增数据集单元，对切割获得的小尺寸图片进一步扩增
训练数据集的规模。
[0010] 优选地，所述的用于图像对比分析的语义分割模型建模装置，还包括： 影像预处理单元，将欲处理的卫星遥感影像组进行匀色处理。
[0011] 优选地，所述输入输出对应单元，首先将图片进行标准化处理以消除每 张输入图片中的色差造成的干扰。
[0012] 本发明的第二方面，涉及一种用于图像对比分析的语义分割模型建模方 法，所述方法的具体步骤与上述装置的单元功能一一对应。
[0013] 为了对遥感卫星图像进行自动分析，本发明的第三方面涉及一种对地物 变化进行检测的方法，包括：影像切割步骤，遥感影像中将待
检测区域的前 后影像分别以小尺寸窗口进行切割；图像堆叠步骤，将影像切割步骤得到的 小尺寸图片数据集中前后时间的多通道图像堆叠；将堆叠图像传入上述用于 图像的语义分割模型建模方法所建立的模型，检测输出步骤，模型输出相同 数量的每一个小尺寸区域的地物变化判断结果；结果拼接步骤，将全部变化 检测结果按照对应顺序拼接成完整的大尺寸图片，得到该区域地物变化情况 检测结果。本发明通过以上方案，可以在空间尺度上实现至少100倍以上的 土地监察效率，即只需要人工标注一小片地块供给深度学习算法训练，便可 以将算法直接部署到100倍以上的土地区域上完成建筑变化的自动识别，可 改进目前国土审查方式，极大提高效率。
[0014] 优选地，所述影像切割步骤中采用冗余切割方式。
[0015] 本发明的第四方面涉及一种计算机设备，包括
存储器、处理器及存储在 存储器上并可在处理器上运行的
计算机程序，其特征在于，所述处理器执行 所述程序时实现上述任意一种方法的步骤。
[0016] 本发明的第五方面涉及一种计算机可读存储介质，其上存储有计算机程 序，其特征在于，该程序被处理器执行时实现上述任意一种方法的步骤。
[0017] 本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发 明的实践了解到。
附图说明
[0018] 为了更清楚地说明本发明的技术方案，下面将对
实施例描述中所需要使 用的附图作简单地介绍：
[0019] 图1为本发明实施例一提供的在基于深度学习语义分割模型的跨时间地 物变化检测的装置的逻辑
框图；
[0020] 图2为本发明实施例一中模型输入和输出的图像结构示意图；
[0021] 图3为本发明实施例一的在基于深度学习语义分割模型的跨时间地物变 化检测的装置的方法示意图；
[0022] 图4为本发明实施例二提供的在基于深度学习语义分割模型的跨时间地 物变化检测的装置的逻辑框图；
[0023] 图5为本发明实施例二提供的在基于深度学习语义分割模型的跨时间地 物变化检测的方法示意图；
[0024] 图6为本发明实施例三提供的地物变化进行检测的装置的示意图；
[0025] 图7为采用如256×256的蓝色矩形框从原始遥感图像中切割出待识别的 小块区域，然后经过网络预测获得大小同样为256×256的识别结果图(冗余 切割策略)；
[0026] 图8为本发明实施例三提供的地物变化进行检测的方法的示意图；
[0027] 图9a-c，以广东省佛山市的某一局部地区的2015年的遥感影像和2017 年的遥感影像为例，示出以本发明实施例三提供的地物变化进行检测的方法 的步骤效果图；
[0028] 图10示出现有技术FCN原理示意图；
[0029] 图11示出FCN卷积和反卷积上
采样的过程；
[0030] 图12举例示出采用FCN全
卷积神经网络后，分别采用32倍，16倍和 8倍上采样得到的结果的对比图。
具体实施方式
[0031] 为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图 和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突 的情况下，本申请的实施例及实施例中的特征可以相互组合。
[0032] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本 发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保 护范围并不受下面公开的具体实施例的限制。
[0033] 下述讨论提供了本发明的多个实施例。虽然每个实施例代表了发明的单 一组合，但是本发明不同实施例可以替换，或者合并组合，因此本发明也可 认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实 施例包含A、B、C，另一个实施例包含B和D的组合，那么本发明也应视 为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管 该实施例可能并未在以下内容中有明确的文字记载。
[0034] 卷积神经网络(CNN)自2012年以来，在图像分类和图像检测等方面 取得了巨大的成就和广泛的应用。传统的基于CNN的分割方法的做法通常 是：为了对一个像素分类，使用该像素周围的一个图像块作为CNN的输入 用于训练和预测。这些抽象的特征对分类很有帮助，可以很好地判断出一幅 图像中包含什么类别的物体。CNN的强大之处在于它的多层结构能自动学 习特征，并且可以学习到多个层次的特征：较浅的卷积层
感知域较小，学习 到一些局部区域的特征；较深的卷积层具有较大的感知域，能够学习到更加 抽象一些的特征。这些抽象特征对物体的大小、
位置和方向等敏感性更低， 从而有助于识别性能的提高。
[0035] 这种方法有几个缺点：一是存储开销很大。例如对每个像素使用的图像 块的大小为15x15，则所需的存储空间为原来图像的225倍。二是计算效率 低下。相邻的像素块基本上是重复的，针对每个像素块逐个计算卷积，这种 计算也有很大程度上的重复。三是像素块大小的限制了感知区域的大小。通 常像素块的大小比整幅图像的大小小很多，只能提取一些局部的特征，从而 导致分类的性能受到限制。也就是说，因为丢失了一些物体的细节，不能很 好地给出物体的具体轮廓、指出每个像素具体属于哪个物体，因此做到精确 的分割就很有难度。
[0036] 针对这个问题,UC Berkeley的Jonathan Long等人提出了Fully Convolutional Networks(FCN)用于图像的分割。该网络试图从抽象的特征中 恢复出每个像素所属的类别。即从图像级别的分类进一步延伸到像素级别的 分类。
[0037] FCN将传统CNN中的全连接层转
化成一个个的卷积层。在传统的CNN 结构中，前5层是卷积层，第6层和第7层分别是一个长度为4096的一维 向量，第8层是长度为1000的一维向量，分别对应1000个类别的概率。FCN 将这3层表示为卷积层，卷积核的大小(通道数，宽，高)分别为(4096，1，1)、 (4096，1，1)、(1000，1，1)。所有的层都是卷积层，故称为全卷积网络，如图 10所示。
[0038] 可以发现，经过多次卷积(还有pooling)以后，得到的图像越来越小, 分辨率越来越低(粗略的图像)，为了从这个分辨率低的粗略图像恢复到原 图的分辨率，FCN使用了上采样。例如经过5次卷积(和pooling)以后，图像 的分辨率依次缩小了2，4，8，16，32倍。对于最后一层的输出图像，需要 进行32倍的上采样，以得到原图一样的大小。
[0039] 这个上采样是通过反卷积(deconvolution)实现的。对第5层的输出(32 倍放大)反卷积到原图大小，得到的结果还是不够精确，一些细节无法恢复。 于是Jonathan将第4层的输出和第3层的输出也依次反卷积，分别需要16 倍和8倍上采样，结果就精细一些了。如图11是这个卷积和反卷积上采样 的过程。
[0040] 图12举例示出32倍，16倍和8倍上采样得到的结果的对比，可以看到 它们得到的结果越来越精确。
[0041] 本发明中使用的深度学习模型主干网络是全卷积语义分割网络 (FCN)。FCN网络将传统的卷积神经网络(CNN)结构中后几层中的全连 接结构改为卷积结构，使得网络可以接受任意大小的图片输入，并在CNN 完成高层语义信息提取的同时融合前面几层，得到更加完整的轮廓信息，最 终得到和原图大小一致的语义分割结果图。
[0042] 以下具体描述本发明所采用的技术方案。
[0043] 实施例一
[0044] 图1为本发明实施例一提供的一种在基于深度学习语义分割模型的跨时 间地物变化检测的装置的逻辑框图。
[0045] 一种用于图像对比分析的语义分割模型建模装置10，包括：
[0046] 设置标签单元101，从卫星遥感影像中选择同一地区前后时间拍摄的遥 感影像组，进行人工识别标注，在对应区域设置标签。
[0047] 例如，从卫星影像数据中筛选出不同的两个年份但是地理位置对齐的同 一地区对应的遥感影像(RGB三通道图像)，然后对照着进行人工标记，作 为学习样本。标签的尺寸和图像的尺寸一致，但是通道数为1(即灰度图)。
[0048] 以标记“新出”建筑物为例，标记出在稍晚年份中有而稍早一点的年份 中未出现的建筑物区域，对应区域的标签设置为1，其他地区为0。
[0049] 以标记“消失”
水体为例，标记出在稍早年份中有而稍晚年份中未出现 的水纹区域，对应区域的标签设置为1，其他地区为0。
[0050] 优选地，进行人工标注的区域大小为机器自动识别总区域大小的1/100 或更小，以兼顾样本符合识别要求的同时减少人工工作量。
[0051] 优选地，在机器自动识别总区域的多处分别切割小样本区域，进行人工 标注作为学习样本，以保证地表样本地物类型足够丰富。
[0052] 影像切割单元102，将由设置标签步骤构建起来的人工标注区域影像切 割成足够数量的小尺寸图片，构成小尺寸图片数据集，用于语义分割模型的 训练。
[0053] 例如，从由设置标签单元101构建起来的人工标注区域影像中切割成足 够数量的小尺寸图片，构成数据集，用于网络模型的训练。
[0054] 比如，在人工标注海淀区的影像上，用像素256*256的小尺寸进行足够 次数的切割，以生成足够数量的像素256*256的小尺寸图片，构成用于模型 的训练的数据集。所述足够数量例如，万或者十万数量级，足够数量来保证 人工标注的区域均被切割到。
[0055] 优选地，该影像切割单元102包括：使用均匀分布的随机数生成坐标点 对，并在人工标注区域影像中进行随机切割，以提供更多角度的样本，进一 步增强训练效果。例如，按照0°，30°，60°，90°等多角度的摆放方式，以 获得多角度样本，避免单一角度切割造成的部分地表总是位于切割边缘造成 的后期识别不准确的问题。
[0056] 优选地，该影像切割单元102包括：对切割获得的小尺寸图片使用上下， 左右翻转的方式进一步扩增训练数据集的规模。
[0057] 需要指出，切割+翻转所有的操作应当同时在早年份和晚年份的遥感影 像和对应人工标注标签上同步执行，即每生成一个256*256大小的待切割的 区域位置坐标，同时在稍早年份图像、稍晚年份图像和人工标注图像这三张 图像上相同位置执行一次切割，提取出图片三元组(年份1，年份2，变化 标记0或1)。
[0058] 输入输出对应单元103，将影像切割步骤得到的小尺寸图片数据集中前 后时间的多通道图像堆叠作输入，对应的变化标签作为目标中的真值标签；
[0059] 例如，将影像切割单元102所得图片三元组中，年份1和年份2的小尺 寸图片多通道图片堆叠，作为实际输入，将对应的变化标签(0或1)作为 网络优化目标的真值标签。
[0060] 例如，将通过影像切割单元102构建起来的数据集中，对应年份1和年 份2的256*256的多通道图像(如RGB3通道图像)堆叠起来作为实际网络 的输入，如两个RGB3通道图像堆叠为6通道输入，将对应的变化标签作为 网络优化目标中使用到的真值(值为1)标签。见附图2示意。
[0061] 获得检测模型单元104，通过深度学习框架，使用输入输出对应步骤中 的小尺寸图片数据集不断优化FCN网络参数直至收敛，从而获得自动检测 模型。
[0062] 借助深度学习框架(如Tensorflow等)，使用步骤二构建的数据集不断 地优化FCN网络参数(例如Tensorflow定义的全局参数)，直到网络表现趋 向于收敛停止训练，最终获得可用于建筑物变化自动检测的模型。
[0063] TensorFlow是谷歌于2015年11月9日正式开源的计算框架。TensorFlow 计算框架可以很好地支持深度学习的各种算法，但它的应用也不限于深度学 习。TensorFlow是由Jeff Dean领头的谷歌大脑团队基于谷歌内部第一代深 度学习系统DistBelief改进而来的通用计算框架。DistBelief是谷歌2011年 开发的内部深度学习工具，这个工具在谷歌内部已经获得了巨大的成功。谷 歌大脑团队对DistBelief进行了改进，并于2015年11月正式公布了基于 Apache 2.0开源协议的计算框架TensorFlow。相比DistBelief，TensorFlow的 计算模型更加通用、计算速度更快、支持的计算平台更多、支持的深度学习 算法更广而且系统的
稳定性也更高。关于TensorFlow平台本身的技术细节可 以参考谷歌的论文TensorFlow:Large-Scale Machine Learning on Heterogeneous Distributed Systems。2017年2月16日，Google正式对外发布 Google TensorFlow 1.0版本，并保证本次的发布版本API
接口完全满足生产 环境稳定性要求。
[0064] 在该实施例中，考虑到获取到的遥感卫星影像普遍存在的画面中不同区 域的
颜色分布不一致以及多景画面之间颜色分布不一致的现象，还可以包括 例如遥感影像预处理单元，在全局图像进行切割之前，针对全局卫星遥感影 像使用直方图匹配等预处理方式对存在
颜色畸变或者存在明显拼接痕迹的 影像进行匀色，使整体数据集保持一致的分布状态。
[0065] 该方案建立了一种基于遥感卫星图像的深度学习语义分析分割模型，可 用于解决同一地区跨越长达20年时间尺度的建筑物变化自动检测。
[0066] 图3为本发明实施例一提供的在基于深度学习语义分割模型的跨时间地 物变化检测的方法示意图。该方法各个步骤内容均与该实施例所述装置各单 元功能完全一一对应，在此不再赘述。
[0067] 实施例二
[0068] 这里考虑到，遥感影像图像传入FCN主干网络之前，不同遥感影像中 可能存在的颜色分布倾向性(如实施例一中提到的，可能同一影像的不同区 域会呈现不同的颜色分布状态，不同的影像之间也会存在这样的颜色分布差 异性)。基于此，对于每张图片我们将其进行标准化处理，进一步消除因为 不同图像之间颜色分布的差异对网络训练造成的干扰。
[0069] 本实施例中未详细描述的装置、功能以及方法步骤均与上文实施例中的 相应内容相同，在此不再赘述。
[0070] 图4为本发明实施例二提供的在基于深度学习语义分割模型的跨时间地 物变化检测的装置20的逻辑框图。
[0071] 在实施例一的
基础上，如图4所示，该基于深度学习语义分割模型的跨 时间地物变化检测的装置20还包括图片标准化单元1041，用于消除不同影 像之间的颜色分布差异性，具体方式可以是，例如计算出每张输入图片的均 值以及标准差方式。如，对于一张256*256*3大小的图像，我们计算得到维 度为1*1*3的均值和标准差，然后将原图减去均值并除以标准差。
[0072] 图5为本发明实施例二提供的在基于深度学习语义分割模型的跨时间地 物变化检测的方法示意图。该方法各个步骤内容均与该实施例所述装置各单 元功能完全一一对应，在此不再赘述。
[0073] 实施例三
[0074] 该实施例描述使用上文所述的基于深度学习语义分割模型的跨时间地 物变化检测的方法对地物变化进行检测的装置和方法。
[0075] 本实施例中未详细描述的装置、功能以及方法步骤均与上文实施例中的 相应内容相同，在此不再赘述。
[0076] 如图6示出了本发明实施例三提供的地物变化检测装置30的示意图。
[0077] 所述地物变化检测装置30具体包括：
[0078] 影像切割单元301，遥感影像中将待检测区域的前后影像分别以小尺寸 窗口进行切割。
[0079] 将待检测区域两年的大尺寸卫星遥感影像(如影像1、影像2)按照行 列扫描的方式以256*256的窗口进行滑动切割。
[0080] 为进一步改善边缘区域建筑物不完整等因素干扰造成的检测不精准的 问题，使得检测效果得到进一步提升，实施例的影像切割单元301优选提供 更加优化的“冗余划窗检测策略”。如附图7所示，可以采用如256×256的 蓝色矩形框从原始遥感图像中切割出待识别的小块区域，然后经过网络预测 获得大小同样为256×256的识别结果图，但是我们只保留中心128×128大小 的黄色区域作为有效结果，然后按照一定的重叠率再将这些区域拼接回大尺 寸变化检测图。因为中心区域的识别结果比边缘区域更为精细，使用这种冗 余的方式可以获得更好的识别结果。
[0081] 如上，在模型表现能
力固定的基础上，本发明进一步提出一种冗余的划 窗检测策略，改善因为边缘区域建筑物不完整等因素干扰造成的检测不精准 的问题，使得检测效果得到进一步提升。
[0082] 图像堆叠单元302，将影像切割步骤得到的小尺寸图片数据集中前后时 间的多通道图像堆叠。
[0083] 并按照上面处理训练集时的方式将对应区域两年的图像堆叠起来。
[0084] 运用模型单元303，将堆叠图像传入如
权利要求7所述用于图像的语义 分割模型建模方法所建立的模型。
[0085] 然后，将这些图片全部传入上面训练好的用于地物变化自动检测的模型 (语义分割模型)，
[0086] 检测输出单元304，模型输出相同数量的每一个小尺寸区域的地物变化 判断结果。
[0087] 上文中的基于深度学习语义分割模型的跨时间地物变化检测模型会输 出相同数量的对应每一个256*256区域的建筑物变化判断，存在变化的地方 输出值为1，没有变化的地方输出值为0。
[0088] 结果拼接单元305，将全部变化检测结果按照对应顺序拼接成完整的大 尺寸图片，得到该区域地物变化情况检测结果。
[0089] 最后，将所有这些变化检测结果图按照对应顺序拼接成完整的大尺寸图 片，得到的即是该地区这两年内的建筑物变化情况。
[0090] 如图8示出了地物变化进行检测的方法的示意图。该方法各个步骤内容 均与该实施例所述装置各单元功能完全一一对应，在此不再赘述。
[0091] 本发明将两年的建筑物遥感影像直接堆叠在一起组成一个多通道的合 成图像传入网络，使网络直接学习输出变化而非对每一年的建筑单独进行检 测再进行对比求差。这种实现方式可以让输出的检测结果更加纯净，可以有 效地减少误检和噪声的产生，另外使用这种框架更加简洁明朗，极大地降低 了操作的复杂度。
[0092] 如图9a-c所示，以广东省佛山市的某一局部地区的2015年的遥感影像 和2017年的遥感影像对比为例，示出了使用该地物变化进行检测的方法进 行分析。图9a是影像切割步骤示意图，图9b是边缘位置镜像处理示意图(左 侧和下侧是镜像处理过的)，图9c是检测效果图，其中左侧是2015年遥感 图，中间是2017年遥感图，右图是变化检测结果。
[0093] 如此，利用该地物变化进行检测的装置或方法，针对每一个地区只需要 构建一定数量的带标签数据样本即可训练学习得到一个具有跨时间建筑物 变化检测能力的模型，对该地或者建筑风格相近的地区内的任意位置，都可 以使用该模型一步实现检测建筑物的建、拆、改、扩情况。国土局工作人员 只需重点关注模型给出的警示区域进行人工复核确认，极大降低了工作强度 和难度。尤其需要说明，本发明通过提出一种基于深度学习语义分割模型的 跨越大时间尺度的建筑物变化检测算法，可以实现在长达20年的时间跨度 范围上，以100倍以上的自动化效率实现建筑物变化的自动检测。
[0094] 本领域的技术人员可以清楚地了解到本发明的技术方案可借助
软件和/ 或
硬件来实现。本
说明书中的“模块”和“单元”是指能够独立完成或与其 他部件配合完成特定功能的软件和/或硬件，其中硬件例如可以是FPGA (Field－Programmable Gate Array，现场可编程
门阵列)、IC(Integrated Circuit，集成
电路)等。
[0095] 本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该 程序被处理器执行时实现上述用于控制
思维导图播放的方法的步骤。其中， 计算机可读存储介质可以包括但不限于任何类型的盘，包括
软盘、光盘、 DVD、CD-ROM、微型
驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、 DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储 器IC)，或适合于存储指令和/或数据的任何类型的媒介或设备。
[0096] 本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器 上并可在处理器上运行的计算机程序，其特征在于，处理器执行程序时实现 用于控制思维导图播放的方法的步骤。在本发明实施例中，处理器为计算机 系统的控制中心，可以是实体机的处理器，也可以是
虚拟机的处理器。
[0097] 以上介绍仅为本发明的优选实施例而已，并不用于限制本发明，对于本 领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和 原则之内，所作的任何
修改、等同替换、改进等，均应包含在本发明的保护 范围之内。
