一种拼接影像楼面缺陷检测的故障定位方法及系统专利检索-K最近邻算法电脑编程专利检索查询-专利查询网

一种拼接影像楼面 缺陷检测的故障定位方法及系统

阅读：201发布：2020-05-08

专利汇可以提供一种拼接影像楼面缺陷检测的故障定位方法及系统专利检索，专利查询，专利分析的服务。并且本发明提供了一种用于拼接影像楼面缺陷检测的故障定位方法及相应的系统，主要包括窗户分割、图像拼接、窗户定位、缺陷定位几部分，该方法首先对采集到的楼面图像序列进行拼接、并对楼面区域进行特征提取和几何校正，获取拍摄图像中像素在参考楼面坐标系中的对应关系，从而对缺陷自动识别算法输出的缺陷进行精确地定位。该方法能有效地克服由于每次拍摄的镜头位置和角度不确定性造成的楼面同一区域在图片序列中的顺序和位置存在差异的问题，在利用拼接影像进行楼面缺陷检测过程中可显著提高缺陷定位的精度，定位结果可信度高，适于在楼面缺陷检测和维护工作中进行推广应用。，下面是一种拼接影像楼面缺陷检测的故障定位方法及系统专利的具体信息内容。

权利要求

1.一种拼接影像楼面缺陷检测的故障定位方法，其特征在于，包括如下步骤：
获取一系列覆盖楼面整体区域的原始图像、作为原始图像序列，利用训练好的卷积神经网络分别对每张所述原始图像中的窗户进行分割，得到与所述原始图像尺寸相同的二值化的掩膜图像，并对所有所述掩膜图像进行排序，得到掩膜序列；
依次对相邻的所述原始图像进行特征提取、并进行匹配和图像拼接，得到全局图像；采用相同方法对所述掩膜图像进行特征提取、匹配和图像拼接，得到全局掩膜；根据投射变换对缺陷的位置进行重新计算和定位；
对所述全局掩膜进行连通域检测，对楼面上所有窗户进行定位、并确定所述窗户对应的门牌号；
从所述全局掩膜中找到所述缺陷重新定位后的位置，并找到距离最近的窗户，据此推算出其在整体楼面中的位置，从而完成定位。
2.如权利要求1所述的拼接影像楼面缺陷检测的故障定位方法，其特征在于，所述特征提取的具体方法如下：
a.使用不同参数的高斯模糊来表示不同的尺度空间，检测在不同尺度下都存在的特征点，从而检测极值点；
b.删除不稳定的极值点，所述极值点包括低对比度的极值点和不稳定的边缘响应点；
c.以特征点为中心、计算其邻域内各个像素点的梯度的幅角和幅值，使用直方图对梯度的幅角进行统计，确定所述特征点的方向；
d.将坐标轴旋转为特征点的方向，以特征点为中心的16×16的窗口的像素的梯度幅值和方向，将窗口内的像素分成16块，每块分别用其像素内8个方向的直方图统计，共形成128维的特征向量。
3.如权利要求2所述的拼接影像楼面缺陷检测的故障定位方法，其特征在于，所述匹配和图像拼接的具体方法如下：
a.针对所述原始图像序列中的第一张所述原始图像、或所述掩膜序列中的第一张所述掩膜图像，利用K-D树数据结构来有序存放特征描述向量，再用快速近似k最近邻算法找出最近邻点和次近邻点；
b.根据所述特征点计算透视变换矩阵的参数；采用透视变换函数对后一张所述原始图像或所述掩膜图像进行变换，并采用多项式插值算法实现非整数坐标像素值的估计，得到校准之后的图像；
c.将前一张所述原始图像与变换后的后一张所述原始图像进行拼接、或将前一张所述掩膜图像与变换后的后一张所述掩膜图像进行拼接，重叠部分采用加权平均即可，得到拼接之后的图像、并继续与下一张原始图像或掩膜图像进行拼接。
4.如权利要求3所述的拼接影像楼面缺陷检测的故障定位方法，其特征在于，所述对缺陷的位置进行重新计算和定位的具体方法如下：
设缺陷的原始中心位置为(xbreak,ybreak)，根据透射变换矩阵
可计算出经过图像拼接处理后所述缺陷坐标位置(xbc,ybc)如下：
5.如权利要求1所述的拼接影像楼面缺陷检测的故障定位方法，其特征在于，所述对楼面上所有窗户进行定位的具体方法如下：
a.初始化Gp＝φ，将C0存入Group0，设Group0中连通域元素的中心x坐标均值为mean(Group0)，并设Gp中元素个数numG＝1；
b.遍历所有连通域，对每个连通域Ci进行如下操作：如
则将Ci放入Groupn中；如numG＝numG+1，则将Ci放入GroupnumG中。
6.如权利要求5所述的拼接影像楼面缺陷检测的故障定位方法，其特征在于，所述对楼面上所有窗户进行定位的方法还包括如下步骤：
c.对Gp中的Groupn进行遍历，将Groupn中的连通域按照y坐标由小到大进行排序后得到SortGroupn，并计算得到最小纵坐标间距Dn；
d.对每个SortGroupn进行顺序遍历，设第k与k+1个连通域中心的y坐标之差为dk＝xk+1-xk，若dk/Dn＞1，则说明二者之间存在未分割出的窗户，将二者连线按等分，将等分点做为窗户位置也放入SortGroupn中；
e.将新的SortGroupn按x坐标均值由小到大进行排序构成集合SortGp，并依据组内连通域的平均面积进行计算，将其中面积大于预设阈值的确定为主窗体。
7.如权利要求6所述的拼接影像楼面缺陷检测的故障定位方法，其特征在于，在整体楼面中对所述缺陷进行定位的具体方法如下：
计算经过图像拼接处理后的坐标(xbc,ybc)与SortGp中所有窗户中心的距离，找到距离最近的窗户，根据所述窗户在SortGp中SortGroupn的n推出横向位置，并根据所述窗户在SortGroupn中的k推出纵向位置，从而完成定位。
8.一种运行权利要求1～7中任一项所述方法的拼接影像楼面缺陷检测的故障定位系统，其特征在于，包括依次连接的窗户分割模块(1)、图像拼接模块(2)、窗户定位模块(3)以及缺陷定位模块(4)，所述窗户分割模块(1)被配置为：
获取一系列覆盖楼面整体区域的原始图像、作为原始图像序列，利用训练好的卷积神经网络分别对每张所述原始图像中的窗户进行分割，得到与所述原始图像尺寸相同的二值化的掩膜图像，并对所有所述掩膜图像进行排序，得到掩膜序列；
所述图像拼接模块(2)被配置为：
依次对相邻的所述原始图像进行特征提取、并进行匹配和图像拼接，得到全局图像；采用相同方法对所述掩膜图像进行特征提取、匹配和图像拼接，得到全局掩膜；根据投射变换对缺陷的位置进行重新计算和定位；
所述窗户定位模块(3)被配置为：
对所述全局掩膜进行连通域检测，对楼面上所有窗户进行定位、并确定所述窗户对应的门牌号；
所述缺陷定位模块(4)被配置为：
从所述全局掩膜中找到所述缺陷重新定位后的位置，并找到距离最近的窗户，据此推算出其在整体楼面中的位置，从而完成定位。
9.如权利要求8所述的系统，其特征在于，所述图像拼接模块(2)包括特征提取单元(21)、匹配拼接单元(22)以及重定位单元(23)，所述特征提取单元(21)被配置为：
使用不同参数的高斯模糊来表示不同的尺度空间，检测在不同尺度下都存在的特征点，从而检测极值点；删除不稳定的极值点，所述极值点包括低对比度的极值点和不稳定的边缘响应点；以特征点为中心、计算其邻域内各个像素点的梯度的幅角和幅值，使用直方图对梯度的幅角进行统计，确定所述特征点的方向；将坐标轴旋转为特征点的方向，以特征点为中心的16×16的窗口的像素的梯度幅值和方向，将窗口内的像素分成16块，每块分别用其像素内8个方向的直方图统计，共形成128维的特征向量；
所述匹配拼接单元(22)被配置为：
针对所述原始图像序列中的第一张所述原始图像、或所述掩膜序列中的第一张所述掩膜图像，利用K-D树数据结构来有序存放特征描述向量，再用快速近似k最近邻算法找出最近邻点和次近邻点；根据所述特征点计算透视变换矩阵的参数；采用透视变换函数对后一张所述原始图像或所述掩膜图像进行变换，并采用多项式插值算法实现非整数坐标像素值的估计，得到校准之后的图像；将前一张所述原始图像与变换后的后一张所述原始图像进行拼接、或将前一张所述掩膜图像与变换后的后一张所述掩膜图像进行拼接，重叠部分采用加权平均即可，得到拼接之后的图像、并继续与下一张原始图像或掩膜图像进行拼接。所述缺陷重定位单元(23)被配置为：
设缺陷的原始中心位置为(xbreak,ybreak)，根据透射变换矩阵
可计算出经过图像拼接处理后所述缺陷的坐标位置(xbc,ybc)如下：
10.如权利要求8所述的系统，其特征在于，所述窗户定位模块(3)包括初步定位单元(31)和推测补齐单元(32)，所述初步定位(31)单元被配置为：
初始化Gp＝φ，将C0存入Group0，设Group0中连通域元素的中心x坐标均值为mean(Group0)，并设Gp中元素个数numG＝1；遍历所有连通域，对每个连通域Ci进行如下操作：如则将Ci放入Groupn中；如numG＝numG+1，则将Ci
放入GroupnumG中。
所述推测补齐单元(32)被配置为：
对Gp中的Groupn进行遍历，将Groupn中的连通域按照y坐标由小到大进行排序后得到SortGroupn，并计算得到最小纵坐标间距Dn；
对每个SortGroupn进行顺序遍历，设第k与k+1个连通域中心的y坐标之差为dk＝xk+1-xk，若dk/Dn＞1，则说明二者之间存在未分割出的窗户，将二者连线按等分，将等分点做为窗户位置也放入SortGroupn中；将新的SortGroupn按x坐标均值由小到大进行排序构成集合SortGp，并依据组内连通域的平均面积进行计算，将其中面积大于预设阈值的确定为主窗体；
此时，所述缺陷定位模块(4)被配置为：
计算经过图像拼接处理后的坐标(xbc,ybc)与SortGp中所有窗户中心的距离，找到距离最近的窗户，根据所述窗户在SortGp中SortGroupn的n推出横向位置，并根据所述窗户在SortGroupn中的k推出纵向位置，从而完成定位。

说明书全文

一种拼接影像楼面缺陷检测的故障定位方法及系统

技术领域

[0001] 本发明属于缺陷检测技术领域，特别涉及一种拼接影像楼面缺陷检测的故障定位方法及系统。

背景技术

[0002] 建筑物的外墙经过长时间的曝晒、风吹或雨雪侵蚀，会逐渐出现装饰砖掉落、破碎甚至外墙开裂的情况，基于摄影的方法对这些故障和缺陷进行检测，具有准确、经济、高效的优势。然而在实际操作中，往往要从较远的距离(大于50米)对楼面进行拍摄，为了减小几何畸变和提高图像的分辨率，需要采用200毫米以上的长焦镜头。由于长焦镜头的视角有限，每张图片仅仅覆盖楼面的一个局部区域。而在实际操作中，由于每一次拍摄镜头位置和角度不确定性，楼面同一位置在图片序列中的位置和顺序有一定的差异，为缺陷的定位带来了一定的困难。

发明内容

[0003] 为了解决上述技术问题，本发明提供了一种拼接影像楼面缺陷检测的故障定位方法及系统。

[0004] 本发明具体技术方案如下：

[0005] 本发明提供了一种拼接影像楼面缺陷检测的故障定位方法，包括如下步骤：

[0006] 获取一系列覆盖楼面整体区域的原始图像、作为原始图像序列，利用训练好的卷积神经网络分别对每张所述原始图像中的窗户进行分割，得到与所述原始图像尺寸相同的二值化的掩膜图像，并对所有所述掩膜图像进行排序，得到掩膜序列；

[0007] 依次对相邻的所述原始图像进行特征提取、并进行匹配和图像拼接，得到全局图像；采用相同方法对所述掩膜图像进行特征提取、匹配和图像拼接，得到全局掩膜；根据投射变换对缺陷的位置进行重新计算和定位；

[0008] 对所述全局掩膜进行连通域检测，对楼面上所有窗户进行定位、并确定所述窗户对应的门牌号；

[0009] 从所述全局掩膜中找到所述缺陷重新定位后的位置，并找到距离最近的窗户，据此推算出其在整体楼面中的位置，从而完成定位。

[0010] 进一步地，所述特征提取的具体方法如下：

[0011] a.使用不同参数的高斯模糊来表示不同的尺度空间，检测在不同尺度下都存在的特征点，从而检测极值点；

[0012] b.删除不稳定的极值点，所述极值点包括低对比度的极值点和不稳定的边缘响应点；

[0013] c.以特征点为中心、计算其邻域内各个像素点的梯度的幅角和幅值，使用直方图对梯度的幅角进行统计，确定所述特征点的方向；

[0014] d.将坐标轴旋转为特征点的方向，以特征点为中心的16×16的窗口的像素的梯度幅值和方向，将窗口内的像素分成16块，每块分别用其像素内8个方向的直方图统计，共形成128维的特征向量。

[0015] 进一步地，所述匹配和图像拼接的具体方法如下：

[0016] a.针对所述原始图像序列中的第一张所述原始图像、或所述掩膜序列中的第一张所述掩膜图像，利用K-D树数据结构来有序存放特征描述向量，再用快速近似k最近邻算法找出最近邻点和次近邻点；

[0017] b.根据所述特征点计算透视变换矩阵的参数；采用透视变换函数对后一张所述原始图像或所述掩膜图像进行变换，并采用多项式插值算法实现非整数坐标像素值的估计，得到校准之后的图像；

[0018] c.将前一张所述原始图像与变换后的后一张所述原始图像进行拼接、或将前一张所述掩膜图像与变换后的后一张所述掩膜图像进行拼接，重叠部分采用加权平均即可，得到拼接之后的图像、并继续与下一张原始图像或掩膜图像进行拼接。

[0019] 进一步地，所述对缺陷的位置进行重新计算和定位的具体方法如下：

[0020] 设缺陷的原始中心位置为(xbreak,ybreak)，根据透射变换矩阵

[0021]

[0022] 可计算出经过图像拼接处理后所述缺陷坐标位置(xbc,ybc)如下：

[0023]

[0024]

[0025] 进一步地，所述对楼面上所有窗户进行定位的具体方法如下：

[0026] a.初始化Gp＝φ，将C0存入Group0，设Group0中连通域元素的中心x坐标均值为mean(Group0)，并设Gp中元素个数numG＝1；

[0027] b.遍历所有连通域，对每个连通域Ci进行如下操作：如则将Ci放入Groupn中；如 numG＝numG+1，则将Ci放入GroupnumG中。

[0028] 进一步地，所述对楼面上所有窗户进行定位的方法还包括如下步骤：

[0029] c.对Gp中的Groupn进行遍历，将Groupn中的连通域按照y坐标由小到大进行排序后得到SortGroupn，并计算得到最小纵坐标间距 Dn；

[0030] d.对每个SortGroupn进行顺序遍历，设第k与k+1个连通域中心的y坐标之差为dk＝xk+1-xk，若dk/Dn＞1，则说明这两个窗户之间存在未分割出的窗户，将两个窗户连线按等分，将等分点做为窗户位置也放入SortGroupn中；

[0031] e.将新的SortGroupn按x坐标均值由小到大进行排序构成集合 SortGp，并依据组内连通域的平均面积进行计算，将其中面积大于预设阈值的确定为主窗体。

[0032] 进一步地，在整体楼面中对所述缺陷进行定位的具体方法如下：

[0033] 计算经过图像拼接处理后的坐标(xbc,ybc)与SortGp中所有窗户中心的距离，找到距离最近的窗户，根据所述窗户在SortGp中SortGroupn 的n推出横向位置，并根据所述窗户在SortGroupn中的k推出纵向位置，从而完成定位。

[0034] 本发明另一方面提供了运行上述方法的拼接影像楼面缺陷检测的故障定位系统，包括依次连接的窗户分割模块、图像拼接模块、窗户定位模块以及缺陷定位模块，所述窗户分割模块被配置为：

[0035] 获取一系列覆盖楼面整体区域的原始图像、作为原始图像序列，利用训练好的卷积神经网络分别对每张所述原始图像中的窗户进行分割，得到与所述原始图像尺寸相同的二值化的掩膜图像，并对所有所述掩膜图像进行排序，得到掩膜序列；

[0036] 所述图像拼接模块被配置为：

[0037] 依次对相邻的所述原始图像进行特征提取、并进行匹配和图像拼接，得到全局图像；采用相同方法对所述掩膜图像进行特征提取、匹配和图像拼接，得到全局掩膜；根据投射变换对缺陷的位置进行重新计算和定位；

[0038] 所述窗户定位模块被配置为：

[0039] 对所述全局掩膜进行连通域检测，对楼面上所有窗户进行定位、并确定所述窗户对应的门牌号；

[0040] 所述缺陷定位模块被配置为：

[0041] 从所述全局掩膜中找到所述缺陷重新定位后的位置，并找到距离最近的窗户，据此推算出其在整体楼面中的位置，从而完成定位。

[0042] 进一步地，所述图像拼接模块包括特征提取单元、匹配拼接单元以及重定位单元，所述特征提取单元被配置为：

[0043] 使用不同参数的高斯模糊来表示不同的尺度空间，检测在不同尺度下都存在的特征点，从而检测极值点；删除不稳定的极值点，所述极值点包括低对比度的极值点和不稳定的边缘响应点；以特征点为中心、计算其邻域内各个像素点的梯度的幅角和幅值，使用直方图对梯度的幅角进行统计，确定所述特征点的方向；将坐标轴旋转为特征点的方向，以特征点为中心的16×16的窗口的像素的梯度幅值和方向，将窗口内的像素分成16块，每块分别用其像素内8个方向的直方图统计，共形成128维的特征向量；

[0044] 所述匹配拼接单元被配置为：

[0045] 针对所述原始图像序列中的第一张所述原始图像、或所述掩膜序列中的第一张所述掩膜图像，利用K-D树数据结构来有序存放特征描述向量，再用快速近似k最近邻算法找出最近邻点和次近邻点；根据所述特征点计算透视变换矩阵的参数；采用透视变换函数对后一张所述原始图像或所述掩膜图像进行变换，并采用多项式插值算法实现非整数坐标像素值的估计，得到校准之后的图像；将前一张所述原始图像与变换后的后一张所述原始图像进行拼接、或将前一张所述掩膜图像与变换后的后一张所述掩膜图像进行拼接，重叠部分采用加权平均即可，得到拼接之后的图像、并继续与下一张原始图像或掩膜图像进行拼接。

[0046] 所述缺陷重定位单元被配置为：

[0047] 设缺陷的原始中心位置为(xbreak,ybreak)，根据透射变换矩阵

[0048]

[0049] 可计算出经过图像拼接处理后所述缺陷的坐标位置(xbc,ybc)如下：

[0050]

[0051]

[0052] 进一步地，所述初步定位单元被配置为：

[0053] 初始化Gp＝φ，将C0存入Group0，设Group0中连通域元素的中心 x坐标均值为mean(Group0)，并设Gp中元素个数numG＝1；遍历所有连通域，对每个连通域Ci进行如下操作：如则将Ci放入Groupn中；如 numG＝numG+1，则将Ci放入GroupnumG中。

[0054] 所述推测补齐单元被配置为：

[0055] 对Gp中的Groupn进行遍历，将Groupn中的连通域按照y坐标由小到大进行排序后得到SortGroupn，并计算得到最小纵坐标间距Dn；

[0056] 对每个SortGroupn进行顺序遍历，设第k与k+1个连通域中心的 y坐标之差为dk＝xk+1-xk，若dk/Dn＞1，则说明这两个窗户之间存在未分割出的窗户，将两个窗户连线按等分，将等分点做为窗户位置也放入SortGroupn中；将新的SortGroupn按x坐标均值由小到大进行排序构成集合SortGp，并依据组内连通域的平均面积进行计算，将其中面积大于预设阈值的确定为主窗体；

[0057] 此时，所述缺陷定位模块被配置为：

[0058] 计算经过图像拼接处理后的坐标(xbc,ybc)与SortGp中所有窗户中心的距离，找到距离最近的窗户，根据所述窗户在SortGp中SortGroupn 的n推出横向位置，并根据所述窗户在SortGroupn中的k推出纵向位置，从而完成定位。

[0059] 本发明的有益效果如下：本发明提供了一种拼接影像楼面缺陷检测的故障定位方法及相应的系统，主要包括窗户分割、图像拼接、窗户定位、缺陷定位几部分，该方法首先对采集到的楼面图像序列进行拼接、并对楼面区域进行特征提取和几何校正，获取拍摄图像中像素在参考楼面坐标系中的对应关系，从而对缺陷自动识别算法输出的缺陷进行精确地定位。该方法能有效地克服由于每次拍摄的镜头位置和角度不确定性造成的楼面同一区域在图片序列中的顺序和位置存在差异的问题，在利用拼接影像进行楼面缺陷检测过程中可显著提高缺陷定位的精度，定位结果可信度高，适于在楼面缺陷检测和维护工作中进行推广应用。附图说明

[0060] 图1为实施例1所述的拼接影像楼面缺陷检测的故障定位方法的流程图；

[0061] 图2为实施例2所述的拼接影像楼面缺陷检测的故障定位系统的结构示意图；

[0062] 图3为应用实例中采集到的楼面原始图像序列；

[0063] 图4为应用实例中根据原始图像获得掩膜图像示意图，其中(a) 为楼面原始图像，(b)为其掩膜图像；

[0064] 图5为应用实例中拼接后的全局图像；

[0065] 图6为应用实例中拼接后的全局掩膜；

[0066] 图7为应用实例中窗户中心的定位示意图；

[0067] 图8为应用实例中窗户补全以及分类示意图；

[0068] 图9为应用实例中楼面缺陷定位示意图。

具体实施方式

[0069] 下面结合附图和以下实施例对本发明作进一步详细说明。

[0070] 实施例1

[0071] 如图1所示，本实施例1提供了一种拼接影像楼面缺陷检测的故障定位方法，包括如下步骤：

[0072] S1：窗户分割：首先利用训练好的Mask RCNN对原始图像序列中的每张原始图像I中的窗户分别进行分割，得到与原始图像尺寸相同的二值化的掩膜图像Imask，其中0值代表窗户，255代表非窗户；按照原始图像序列{Imask}中每张原始图像的顺序、对掩膜图像进行排序，得到掩膜序列

[0073] S2：图像拼接：由于拍摄时相邻两张照片在空间位置上也是相邻的，所以对原始图像序列中的所有原始图像寻找特征点并进行拼接、得到全局图像G，并对掩膜序列中的所有掩膜图像进行同样的拼接处理、得到全局掩膜Gmask，同时对缺陷位置进行重新定位、获取缺陷的原始中心位置经图像拼接处理后的坐标(xbc,ybc)；

[0074] S3：窗户定位：首先对拼接好的全局掩膜图像Gmask进行连通域检测，设定连通方式为8邻接，计算第i个连通域Ci的中心为(xi,yi)，连通域面积为Ai；依据连通域的中心纵坐标xi对连通域Ci进行聚类，将隶属于一列的kn个窗户分为一组，得到N组索引序列 Gp＝{Groupn|n-1,2,…N}；

[0075] S4：缺陷定位：计算经过图像拼接处理后的坐标(xbc,ybc)与索引序列中所有窗户中心的距离，找到距离最近的窗户，并推算出其在整体楼面中的位置，从而完成定位。

[0076] 在一些具体的实施例中，利用SIFT算子从原始图像或掩膜图像中提取具有旋转、缩放和平移不变性的楼面图像特征的具体方法如下：

[0077] a.差分高斯(DoG)尺度空间的极值检测：使用不同参数的高斯模糊来表示不同的尺度空间，检测在不同尺度下都存在的特征点，从而检测极值点；

[0078] b.删除不稳定的极值点，主要是低对比度的极值点和不稳定的边缘响应点；

[0079] c.确定特征点的方向：以特征点为中心、计算其邻域内各个像素点的梯度的幅角和幅值，然后使用直方图对梯度的幅角进行统计，直方图的横轴是梯度的方向、纵轴为梯度方向对应梯度幅值的累加值，直方图中最高峰对应的方向即为特征点的方向；

[0080] d.生成特征点的描述子：首先将坐标轴旋转为特征点的方向，以特征点为中心的16×16的窗口的像素的梯度幅值和方向，将窗口内的像素分成16块，每块分别用其像素内8个方向的直方图统计，共可形成 128维的特征向量。

[0081] 在一些具体的实施例中，对原始图像或掩膜图像进行拼接的具体方法如下：

[0082] a.进行SIFT特征点匹配：首先针对第一张图像(原始图像或掩膜图像)，利用K-D树(KDimensional Tree)数据结构来有序存放特征描述向量，再用快速近似k最近邻(FLANN)算法找出最近邻点和次近邻点；

[0083] b.取4组SIFT变换特征点，计算透视变换矩阵的参数；采用透视变换函数对后一张图像(按顺序排列的后一张原始图像或掩膜图像) 进行变换，并采用多项式插值算法实现非整数坐标像素值的估计，得到校准之后的图像；

[0084] c.将前一张图像与变换后的后一张图像进行拼接，重叠部分采用加权平均即可，最终得到拼接之后的图像用于与下一张图像进行拼接；同时按照相同方法对相邻的两张Imask进行拼接，得到拼接之后的掩膜图像，再用于后续掩膜拼接。

[0085] 在一些具体的实施例中，对缺陷进行重新定位的具体方法如下：

[0086] 设缺陷的原始中心位置为(xbreak,ybreak)，根据透射变换矩阵

[0087]

[0088] 可计算出经过图像拼接处理后缺陷的坐标位置(xbc,ybc)如下：

[0089]

[0090]

[0091] 在一些具体的实施例中，窗户定位中的聚类算法具体如下：

[0092] (1)初始化Gp＝φ，将C0存入Group0，设Group0中连通域元素的中心x坐标均值为mean(Group0)，并设Gp中元素个数numG＝1；

[0093] (2)遍历所有连通域，对每个连通域Ci进行如下操作：如(t设为10)，则将Ci放入Groupn中；如 numG＝numG+1，
则将Ci放入GroupnumG中。

[0094] 在一些具体的实施例中，由于窗户分割掩膜过程中可能存在漏检，故需要依据已有Gp对其他可能的窗户存在位置进行推测补齐，补齐算法具体如下：

[0095] (1)对Gp中的Groupn进行遍历，将Groupn中的连通域按照y坐标由小到大进行排序后得到SortGroupn，并计算得到最小纵坐标间距 Dn；

[0096] (2)对每个SortGroupn进行顺序遍历，设第k与k+1个连通域中心的y坐标之差为dk＝xk+1-xk，若dk/Dn＞1，则说明这两个窗户之间存在未分割出的窗户，将两个窗户连线按等分，将等分点做为窗户位置也放入SortGroupn中；

[0097] (3)将新的SortGroupn按x坐标均值由小到大进行排序构成集合 SortGp，并依据组内连通域的平均面积进行计算，其中面积大于600 的则认为是主窗体(阳台)。

[0098] 在经过对窗户进行推测补齐的基础上，缺陷定位可以按照如下方法进行：

[0099] 计算经过图像拼接处理后的坐标(xbc,ybc)与SortGp中所有窗户中心的距离，找到距离最近的窗户，可由其在SortGp中SortGroupn的n推出横向位置(单元号)，并由其在SortGroupn中的索引k推出其纵向位置(根据已知的楼层总数，从上到下得出其所在的楼层)，从而完成定位。

[0100] 实施例2

[0101] 如图2所示，本实施例2提供了一种运行实施例1提供的方法的拼接影像楼面缺陷检测的故障定位系统，包括依次连接的窗户分割模块1、图像拼接模块2、窗户定位模块3以及缺陷定位模块4，所述窗户分割模块1被配置为：

[0102] 获取一系列覆盖楼面整体区域的原始图像、作为原始图像序列，利用训练好的卷积神经网络分别对每张原始图像中的窗户进行分割，得到与原始图像尺寸相同的二值化的掩膜图像，并对所有掩膜图像进行排序，得到掩膜序列；

[0103] 图像拼接模块2被配置为：

[0104] 依次对相邻的原始图像进行特征提取、并进行匹配和图像拼接，得到全局图像；采用相同方法对所述掩膜图像进行特征提取、匹配和图像拼接，得到全局掩膜；根据投射变换对缺陷的位置进行重新计算和定位；

[0105] 窗户定位模块3被配置为：

[0106] 对全局掩膜进行连通域检测，对楼面上所有窗户进行定位、并确定所述窗户对应的门牌号；

[0107] 缺陷定位模块4被配置为：

[0108] 从全局掩膜中找到所述缺陷重新定位后的位置，并找到距离最近的窗户，据此推算出其在整体楼面中的位置，从而完成定位。

[0109] 在一些具体的实施例中，图像拼接模块2包括特征提取单元21、匹配拼接单元22以及重定位单元23，所述特征提取单元21被配置为：

[0110] 使用不同参数的高斯模糊来表示不同的尺度空间，检测在不同尺度下都存在的特征点，从而检测极值点；删除不稳定的极值点，所述极值点包括低对比度的极值点和不稳定的边缘响应点；以特征点为中心、计算其邻域内各个像素点的梯度的幅角和幅值，使用直方图对梯度的幅角进行统计，直方图的横轴是梯度的方向、纵轴为梯度方向对应梯度幅值的累加值，直方图中最高峰对应的方向即为特征点的方向；将坐标轴旋转为特征点的方向，以特征点为中心的16×16的窗口的像素的梯度幅值和方向，将窗口内的像素分成16块，每块分别用其像素内8个方向的直方图统计，共形成128维的特征向量；

[0111] 匹配拼接单元22被配置为：

[0112] 针对原始图像序列中的第一张原始图像、或掩膜序列中的第一张掩膜图像，利用K-D树数据结构来有序存放特征描述向量，再用快速近似k最近邻算法找出最近邻点和次近邻点；根据特征点计算透视变换矩阵的参数；采用透视变换函数对后一张原始图像或掩膜图像进行变换，并采用多项式插值算法实现非整数坐标像素值的估计，得到校准之后的图像；将前一张所述原始图像与变换后的后一张所述原始图像进行拼接、或将前一张所述掩膜图像与变换后的后一张所述掩膜图像进行拼接，重叠部分采用加权平均即可，得到拼接之后的图像、并继续与下一张原始图像或掩膜图像进行拼接。

[0113] 缺陷重定位单元23被配置为：

[0114] 设缺陷的原始中心位置为(xbreak,ybreak)，根据透射变换矩阵

[0115]

[0116] 可计算出经过图像拼接处理后所述缺陷的坐标位置(xbc,ybc)如下：

[0117]

[0118]

[0119] 在一些具体的实施例中，窗户定位模块3包括初步定位单元31和推测补齐单元32，初步定位单元31被配置为：

[0120] 初始化Gp＝φ，将C0存入Group0，设Group0中连通域元素的中心x坐标均值为mean(Group0)，并设Gp中元素个数numG＝1；遍历所有连通域，对每个连通域Ci进行如下操作：如(t设为10)，则将Ci放入Groupn中；如numG＝numG+1，则将Ci放入GroupnumG中。

[0121] 推测补齐单元32被配置为：

[0122] 对Gp中的Groupn进行遍历，将Groupn中的连通域按照y坐标由小到大进行排序后得到SortGroupn，并计算得到最小纵坐标间距Dn；

[0123] 对每个SortGroupn进行顺序遍历，设第k与k+1个连通域中心的 y坐标之差为dk＝xk+1-xk，若dk/Dn＞1，则说明这两个窗户之间存在未分割出的窗户，将两个窗户连线按等分，将等分点做为窗户位置也放入SortGroupn中；将新的SortGroupn按x坐标均值由小到大进行排序构成集合SortGp，并依据组内连通域的平均面积进行计算，将其中面积大于预设阈值(600)的确定为主窗体；

[0124] 此时，缺陷定位模块4被配置为：

[0125] 计算经过图像拼接处理后的坐标(xbc,ybc)与SortGp中所有窗户中心的距离，找到距离最近的窗户，可由其在SortGp中SortGroupn的n推出横向位置(单元号)，并由其在SortGroupn中的索引k推出其纵向位置(根据已知的楼层总数，从上到下得出其所在的楼层)，从而完成定位。

[0126] 应用实例

[0127] 采集某小区的墙体实拍图像，分辨率为7952*5304，文件大小均在 30M左右，制作成如图3所示的原始图像序列。

[0128] 根据S1，利用Mask RCNN对原始图像进行窗户监测，得到每一张原始图像对应的窗户掩膜，如图4所示；根据S2，分别对原图序列以及掩膜序列进行拼接，得到拼接后的全局原图(如图5所示)和全局掩膜(如图6所示)，并对缺陷位置进行重新定位；根据S3，对窗户中心进行定位(如图7所示)，并将未检测出的窗户进行补全以及对主窗进行分类(如图8所示)，其中B、D、G、J、L、N列为主窗体；最后根据S4，对变换后的缺陷进行楼层以及单元号的定位，并标注单元及楼层号，如图9所示，两处缺陷位置分别为“4单元21层”和“6 单元13层”。由此，即可快速、准确地完成对楼面缺陷的定位。

[0129] 以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

标题	发布/更新时间	阅读量
一种基于非线性增强子空间聚类的图像识别方法	2020-05-11	634
三维裁剪Voronoi图的多线程并行计算方法、系统	2020-05-08	167
一种基于CBR和RBR的机器人焊接工艺参数优化方法	2020-05-11	581
一种基于步长匹配的行人室内定位方法	2020-05-12	175
基于多传感网络的室内活动检测识别方法及系统	2020-05-12	678
一种基于加权联合最近邻的多任务稀疏表示检测方法	2020-05-08	944
一种基于光流颜色聚类的运动物体分割方法及其系统	2020-05-11	769
基于深度卷积特征和语义近邻的多标签图像补全方法	2020-05-08	234
基于多元时移多尺度排列熵的滚动轴承故障诊断方法	2020-05-13	286
高分辨率遥感影像的海上典型人造目标识别系统及方法	2020-05-08	22

一种拼接影像楼面缺陷检测的故障定位方法及系统

一种拼接影像楼面缺陷检测的故障定位方法及系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：