一种航空影像路面交通标志提取方法及系统
阅读：1038发布：2020-06-06
专利汇可以提供一种航空影像路面交通标志提取方法及系统专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种航空影像路面交通标志提取方法及系统。所述方法首先对多 光谱 航空影像进行灰度转换得到灰度图像；然后采用Gabor滤波和二维卷积运算对获取的灰度图像进行纹理特征提取及图像增强；接着采用Sobel算子对增强后图像进行 边缘检测 及二值分割得到二值 边缘图像 ；最后利用最小最大对象删除法对二值边缘图像进行路面交通标志的提取和填充。采用本发明方法可以对不同光线下的路面交通标志进行有效提取，提高了路面交通标志提取 精度 ，具有较强的鲁棒性和应用价值。，下面是一种航空影像路面交通标志提取方法及系统专利的具体信息内容。
1.一种航空影像路面交通标志提取方法，其特征在于，所述方法包括：
获取包含路面交通标志的多光谱航空影像；所述多光谱航空影像为RGB图像；
将所述多光谱航空影像转换为灰度图像；
采用Gabor滤波和二维卷积运算对所述灰度图像进行增强处理，生成增强后图像；
采用Sobel边缘检测算子对所述增强后图像进行边缘检测，得到灰度边缘图像；
利用阈值分割方法对所述灰度边缘图像进行分割，得到二值边缘图像；
采用最小最大对象删除法对所述二值边缘图像进行最小对象和最大对象删除，提取出所述多光谱航空影像中的路面交通标志。
2.根据权利要求1所述的航空影像路面交通标志提取方法，其特征在于，所述将所述多光谱航空影像转换为灰度图像，具体包括：
采用公式GI(x,y)＝0.299×R+0.587×G+0.114×B将所述多光谱航空影像转换为灰度
图像；其中R、G、B分别为所述多光谱航空影像R、G、B三通道的颜色值；GI(x,y)为(x,y)处的像素亮度值，0≤GI(x,y)≤255，x、y表示像素点的横、纵坐标。
3.根据权利要求2所述的航空影像路面交通标志提取方法，其特征在于，所述采用Gabor滤波和二维卷积运算对所述灰度图像进行增强处理，生成增强后图像，具体包括：
采用二维Gabor滤波器
对所述灰度图像进
行Gabor滤波处理，生成Gabor滤波器特征图Gabor(x，y；λ，θ，ψ，σ，γ)；其中x、y表示像素点(x,y)的横、纵坐标；λ表示Gabor滤波器的波长；θ表示Gabor滤波器的方向角；ψ表示Gabor滤波器的相位偏移；σ表示高斯函数的标准差；γ表示宽度比；x′＝xcosθ+ysinθ；y′＝-xsinθ+ycosθ；i为虚数单位；
采用公式 对所述灰度图像GIxy＝{GI(x,
y),(1≤x≤M,1≤y≤N)}和所述Gabor滤波器特征图Gaborxy＝{Gabor(x,y；λ,θ,ψ,σ,γ),(1≤x≤m,1≤y≤n)}进行二维卷积运算，生成增强后图像EI(x,y)；其中M、N分别代表所述灰度图像的总行、列数；m、n分别代表Gabor滤波器的总行、列数。
4.根据权利要求3所述的航空影像路面交通标志提取方法，其特征在于，所述采用Sobel边缘检测算子对所述增强后图像进行边缘检测，得到灰度边缘图像，具体包括：
采用公式Gx＝EIx(x,y)＝EI(x-1,y+1)+2EI(x,y+1)+EI(x+1,y+1)-(EI(x-1,y-1)+2EI(x,y-1)+EI(x+1,y-1))对所述增强后图像EI(x,y)进行x分量计算，生成合成梯度x分量Gx；
其中EIx(x，y)表示所述增强后图像EI(x,y)的x分量；
采用公式Gy＝EIy(x,y)＝EI(x+1,y-1)+2EI(x+1,y)+EI(x+1,y+1)-(EI(x-1,y-1)+2EI(x-1,y)+EI(x-1,y+1))对所述增强后图像EI(x,y)进行y分量计算，生成合成梯度y分量Gy；
其中EIy(x，y)表示所述增强后图像EI(x,y)的y分量；
采用公式 对所述合成梯度x分量Gx和所述合成梯度y分量Gy
进行合成梯度计算，生成灰度边缘图像GEI(x,y)；其中G为合成梯度。
5.根据权利要求4所述的航空影像路面交通标志提取方法，其特征在于，所述利用阈值分割方法对所述灰度边缘图像进行分割，得到二值边缘图像，具体包括：
采用公式 对所述灰度边缘图像进行分割，将所述灰度边
缘图像GEI(x,y)转化为二值边缘图像BEI(x,y)；其中T为图像分割阈值。
6.根据权利要求5所述的航空影像路面交通标志提取方法，其特征在于，所述采用最小最大对象删除法对所述二值边缘图像进行最小对象和最大对象删除，提取出所述多光谱航空影像中的路面交通标志，具体包括：
删除所述二值边缘图像中面积小于最小对象删除阈值的对象，生成最小对象删除后图像；
通过8连通确定所述二值边缘图像的同属对象；
删除所述同属对象中面积大于最大对象删除阈值的对象，提取出所述多光谱航空影像中的路面交通标志。
7.一种航空影像路面交通标志提取系统，其特征在于，所述系统包括：
原始影像获取模块，用于获取包含路面交通标志的多光谱航空影像；所述多光谱航空影像为RGB图像；
图像转换模块，用于将所述多光谱航空影像转换为灰度图像；
图像增强模块，用于采用Gabor滤波和二维卷积运算对所述灰度图像进行增强处理，生成增强后图像；
边缘检测模块，用于采用Sobel边缘检测算子对所述增强后图像进行边缘检测，得到灰度边缘图像；
图像分割模块，用于利用阈值分割方法对所述灰度边缘图像进行分割，得到二值边缘图像；
最小最大对象删除模块，用于采用最小最大对象删除法对所述二值边缘图像进行最小对象和最大对象删除，提取出所述多光谱航空影像中的路面交通标志。
8.根据权利要求7所述的航空影像路面交通标志提取系统，其特征在于，所述图像转换模块具体包括：
图像转换单元，用于采用公式GI(x,y)＝0.299×R+0.587×G+0.114×B将所述多光谱
航空影像转换为灰度图像；其中R、G、B分别为所述多光谱航空影像R、G、B三通道的颜色值；
GI(x,y)为(x,y)处的像素亮度值，0≤GI(x,y)≤255，x、y表示像素点的横、纵坐标。
9.根据权利要求8所述的航空影像路面交通标志提取系统，其特征在于，所述图像增强模块具体包括：
Gabor滤波单元，用于采用二维Gabor滤波器
对所述灰度图像进
行Gabor滤波处理，生成Gabor滤波器特征图Gabor(x，y；λ，θ，ψ，σ，γ)；其中x、y表示像素点(x,y)的横、纵坐标；λ表示Gabor滤波器的波长；θ表示Gabor滤波器的方向角；ψ表示Gabor滤波器的相位偏移；σ表示高斯函数的标准差；γ表示宽度比；x′＝xcosθ+ysinθ；y′＝-xsinθ+ycosθ；i为虚数单位；
二维卷积运算单元，用于采用公式 对所述
灰度图像GIxy＝{GI(x,y),(1≤x≤M,1≤y≤N)}和所述Gabor滤波器特征图Gaborxy＝{Gabor(x,y；λ,θ,ψ,σ,γ),(1≤x≤m,1≤y≤n)}进行二维卷积运算，生成增强后图像EI(x,y)；其中M、N分别代表所述灰度图像的总行、列数；m、n分别代表Gabor滤波器的总行、列数。
10.根据权利要求9所述的航空影像路面交通标志提取系统，其特征在于，所述边缘检测模块具体包括：
x分量计算单元，用于采用公式Gx＝EIx(x,y)＝EI(x-1,y+1)+2EI(x,y+1)+EI(x+1,y+
1)-(EI(x-1,y-1)+2EI(x,y-1)+EI(x+1,y-1))对所述增强后图像EI(x,y)进行x分量计算，生成合成梯度x分量Gx；其中EIx(x，y)表示所述增强后图像EI(x,y)的x分量；
y分量计算单元，用于采用公式Gy＝EIy(x,y)＝EI(x+1,y-1)+2EI(x+1,y)+EI(x+1,y+
1)-(EI(x-1,y-1)+2EI(x-1,y)+EI(x-1,y+1))对所述增强后图像EI(x,y)进行y分量计算，生成合成梯度y分量Gy；其中EIy(x，y)表示所述增强后图像EI(x,y)的y分量；
合成梯度计算单元，用于采用公式 对所述合成梯度x分量Gx
和所述合成梯度y分量Gy进行合成梯度计算，生成灰度边缘图像GEI(x,y)；其中G为合成梯度。
一种航空影像路面交通标志提取方法及系统
技术领域
背景技术
[0002] 随着遥感技术的发展，遥感影像数据得到了空前的应用，这其中就包括道路交通方面的应用。但当前的遥感影像数据由于受分辨率的影响无法对道路中的各种细节信息进行提取，比如路面交通标志的提取与定位等。而航空影像因拍摄方便、获取速度快、分辨率高以及良好的操作优越性，因此被广泛应用于农业、交通等各个方面，航空影像的出现对大面积交通标志的提取提供了条件。有效的路面交通标志的提取与定位不仅可以用于车辆系统，而且可以为道路维护人员提供检测手段，比如道路管理人员可通过两个时相的航空影像检测和判断道路交通标志的受损情况，进而快速便捷的定位出相关位置区域并进行修复工作。相比于传统的现场勘察来说有效的提高了工作效率，极大的减少了人力、物力以及财力的消耗。
[0003] 国内外对于路面交通标志以及路边交通标志牌信息的检测与识别工作已开展了大量的研究，并提出了很多方法。现有路面交通标志提取方法主要是利用车载摄相机获取车辆前方路面信息，然后通过不同的方法对标志进行检测。如李强发表的文章“基于多层次融合与卷积神经网络的道路交通标线检测与识别[D].西安：长安大学,2018”中通过利用Gabor变换(加伯变换)校正纹理信息，然后采用局部软投票方法确定道路的最佳消失点，并利用线性规划原理分割出道路区域，最后利用显著性融合和改进的LeNet-5神经网络对交通标志进行检测和识别；文章“Wu T,Ranganathan A.A practical system for road marking detection andrecognition[C].IntelligentVehicles Symposium,IEEE,2012,7(2272):25-30”中通过训练数据得到道路的标志模板，然后使用MSER(Maximally Stable Extremal Regions，最大稳定极值区域)特性，执行模板匹配来检测多个道路标志；文章“Danescu R,Nedevschi S.Detection and classification of painted road objects for intersection assistance applications[C].International IEEE Conference on Intelligent Transportation Systems,IEEE,2010:433-438”中RaduDanescu等提出了一种用于十字路口路面路标检测的方法，通过利用水平线区域的暗光暗转换检测提取被绘制对象的特征，然后利用高斯混合灰度分割对其进行细化，并利用透视几何法重建三维边界框，最后使用决策树约束对对象进行分类；文章“Maier G,Pangerl S,SchindlerA.Real-time detection and classification of arrow markings using curve-based prototype fitting[C].IntelligentVehicles Symposium,IEEE,2011:442-447”中Georg Maier等提出了一种使用曲线模型拟合的方法对箭头标志进行检测和分类，首先通过提取感兴趣区域，即车辆前方带路标的区域，然后将原型编码为圆弧样条，再与提取的目标候选轮廓进行比较从而实现箭头的检测与分类。在相关研究中还有很多通过对获取的图像进行IPM(逆透视)变换，然后再进行检测的方法，如文章“SchreiberM,Poggenhans F,Stiller C.Detecting Symbols on Road Surface for Mapping and Localization using OCR[C].IEEE International Conference on Intelligent Transportation Systems,IEEE,
2014,597-602”中Markus Schreiber等利用矢量图来训练OCR(Optical
CharacterRecognition，光学字符识别)，采用消失点并利用IPM变换得到俯视图，最后使用TESSERACT引擎对符号进行分类；文章“Wang N,W,Zhang C M,Yuan H,Liu J R.The Detection and Recognition ofArrow Markings Recognition Based on
MonocularVision[C].IEEE International Symposium on Industrial Electronics,IEEE,2009,4380-4386”中Nan Wang等通过IPM变换得到俯视图，然后利用改进的Haar小波提取箭头标志特征，最后通过支持向量机对箭头进行识别，结果表明该方法具有较强的鲁棒性。此外，利用机器学习和深度学习对路面交通标志检测与识别也开展了较多研究，如文章“LiuW,Lv J,YuB,et al.Multi-type roadmarking recognition using adaboost detection and extreme learning machine classification[C].Intelligent Vehicles Symposium(IV),IEEE,2015,41-46”中Wei Liu等首先通过IPM变化抑制透视效果，并利用滤波得到带道路标线的图像切片，然后通过Haar特征的Adaboost分类器和BW-HOG(The Ratio of Feature's Between-Category to Within-Category Sums ofSquares-Histogram ofOriented Gradient，类间和类内特征平方和比-方向梯度直方图)特征的ELM(Extreme Learning Machines，极限学习机)分类器来识别标记的类型。
2014,597-602”中Markus Schreiber等利用矢量图来训练OCR(Optical
CharacterRecognition，光学字符识别)，采用消失点并利用IPM变换得到俯视图，最后使用TESSERACT引擎对符号进行分类；文章“Wang N,W,Zhang C M,Yuan H,Liu J R.The Detection and Recognition ofArrow Markings Recognition Based on
MonocularVision[C].IEEE International Symposium on Industrial Electronics,IEEE,2009,4380-4386”中Nan Wang等通过IPM变换得到俯视图，然后利用改进的Haar小波提取箭头标志特征，最后通过支持向量机对箭头进行识别，结果表明该方法具有较强的鲁棒性。此外，利用机器学习和深度学习对路面交通标志检测与识别也开展了较多研究，如文章“LiuW,Lv J,YuB,et al.Multi-type roadmarking recognition using adaboost detection and extreme learning machine classification[C].Intelligent Vehicles Symposium(IV),IEEE,2015,41-46”中Wei Liu等首先通过IPM变化抑制透视效果，并利用滤波得到带道路标线的图像切片，然后通过Haar特征的Adaboost分类器和BW-HOG(The Ratio of Feature's Between-Category to Within-Category Sums ofSquares-Histogram ofOriented Gradient，类间和类内特征平方和比-方向梯度直方图)特征的ELM(Extreme Learning Machines，极限学习机)分类器来识别标记的类型。
[0004] 综上所述，当前对交通标志的检测与识别主要是通过车载摄像机获取车辆前方的道路信息，然后采用不同的方法实现交通标志的检测与识别。但是由于航空影像与车载摄像在成像和数据获取方式均存在差异，采用现有方法难以直接用于航空影像道路标志提取，同时存在对路面交通标志提取精度低的问题。
发明内容
[0005] 本发明的目的是提供一种航空影像路面交通标志提取方法及系统，以解决现有交通标志的检测与识别方法难以直接用于航空影像道路标志提取且对路面交通标志提取精度低的问题。
[0006] 为实现上述目的，本发明提供了如下方案：
[0007] 一种航空影像路面交通标志提取方法，所述方法包括：
[0008] 获取包含路面交通标志的多光谱航空影像；所述多光谱航空影像为RGB图像；
[0009] 将所述多光谱航空影像转换为灰度图像；
[0010] 采用Gabor滤波和二维卷积运算对所述灰度图像进行增强处理，生成增强后图像；
[0012] 利用阈值分割方法对所述灰度边缘图像进行分割，得到二值边缘图像；
[0013] 采用最小最大对象删除法对所述二值边缘图像进行最小对象和最大对象删除，提取出所述多光谱航空影像中的路面交通标志。
[0014] 可选的，所述将所述多光谱航空影像转换为灰度图像，具体包括：
[0015] 采用公式GI(x,y)＝0.299×R+0.587×G+0.114×B将所述多光谱航空影像转换为灰度图像；其中R、G、B分别为所述多光谱航空影像R、G、B三通道的颜色值；GI(x,y)为(x,y)处的像素亮度值，0≤GI(x,y)≤255，x、y表示像素点的横、纵坐标。
[0016] 可选的，所述采用Gabor滤波和二维卷积运算对所述灰度图像进行增强处理，生成增强后图像，具体包括：
[0017] 采用二维Gabor滤波器对所述灰度图像进
行Gabor滤波处理，生成Gabor滤波器特征图Gabor(x，y；λ，θ，ψ，σ，γ)；其中x、y表示像素点(x,y)的横、纵坐标；λ表示Gabor滤波器的波长；θ表示Gabor滤波器的方向角；ψ表示Gabor滤波器的相位偏移；σ表示高斯函数的标准差；γ表示宽度比；x′＝xcosθ+ysinθ；y′＝-xsinθ+ycosθ；i为虚数单位；
行Gabor滤波处理，生成Gabor滤波器特征图Gabor(x，y；λ，θ，ψ，σ，γ)；其中x、y表示像素点(x,y)的横、纵坐标；λ表示Gabor滤波器的波长；θ表示Gabor滤波器的方向角；ψ表示Gabor滤波器的相位偏移；σ表示高斯函数的标准差；γ表示宽度比；x′＝xcosθ+ysinθ；y′＝-xsinθ+ycosθ；i为虚数单位；
[0018] 采用公式 对所述灰度图像GIxy＝{GI(x,y),(1≤x≤M,1≤y≤N)}和所述Gabor滤波器特征图Gaborxy＝{Gabor(x,y；λ,θ,ψ,σ,γ),(1≤x≤m,1≤y≤n)}进行二维卷积运算，生成增强后图像EI(x,y)；其中M、N分别代表所述灰度图像的总行、列数；m、n分别代表Gabor滤波器的总行、列数。
[0019] 可选的，所述采用Sobel边缘检测算子对所述增强后图像进行边缘检测，得到灰度边缘图像，具体包括：
[0020] 采用公式Gx＝EIx(x,y)＝EI(x-1,y+1)+2EI(x,y+1)+EI(x+1,y+1)-(EI(x-1,y-1)+2EI(x,y-1)+EI(x+1,y-1))对所述增强后图像EI(x,y)进行x分量计算，生成合成梯度x分量Gx；其中EIx(x，y)表示所述增强后图像EI(x,y)的x分量；
[0021] 采用公式Gy＝EIy(x,y)＝EI(x+1,y-1)+2EI(x+1,y)+EI(x+1,y+1)-(EI(x-1,y-1)+2EI(x-1,y)+EI(x-1,y+1))对所述增强后图像EI(x,y)进行y分量计算，生成合成梯度y分量Gy；其中EIy(x，y)表示所述增强后图像EI(x,y)的y分量；
[0022] 采用公式 对所述合成梯度x分量Gx和所述合成梯度y分量Gy进行合成梯度计算，生成灰度边缘图像GEI(x,y)；其中G为合成梯度。
[0023] 可选的，所述利用阈值分割方法对所述灰度边缘图像进行分割，得到二值边缘图像，具体包括：
[0024] 采用公式 对所述灰度边缘图像进行分割，将所述灰度边缘图像GEI(x,y)转化为二值边缘图像BEI(x,y)；其中T为图像分割阈值。
[0025] 可选的，所述采用最小最大对象删除法对所述二值边缘图像进行最小对象和最大对象删除，提取出所述多光谱航空影像中的路面交通标志，具体包括：
[0026] 删除所述二值边缘图像中面积小于最小对象删除阈值的对象，生成最小对象删除后图像；
[0027] 通过8连通确定所述二值边缘图像的同属对象；
[0028] 删除所述同属对象中面积大于最大对象删除阈值的对象，提取出所述多光谱航空影像中的路面交通标志。
[0029] 一种航空影像路面交通标志提取系统，其特征在于，所述系统包括：
[0030] 原始影像获取模块，用于获取包含路面交通标志的多光谱航空影像；所述多光谱航空影像为RGB图像；
[0031] 图像转换模块，用于将所述多光谱航空影像转换为灰度图像；
[0032] 图像增强模块，用于采用Gabor滤波和二维卷积运算对所述灰度图像进行增强处理，生成增强后图像；
[0033] 边缘检测模块，用于采用Sobel边缘检测算子对所述增强后图像进行边缘检测，得到灰度边缘图像；
[0034] 图像分割模块，用于利用阈值分割方法对所述灰度边缘图像进行分割，得到二值边缘图像；
[0035] 最小最大对象删除模块，用于采用最小最大对象删除法对所述二值边缘图像进行最小对象和最大对象删除，提取出所述多光谱航空影像中的路面交通标志。
[0036] 可选的，所述图像转换模块具体包括：
[0037] 图像转换单元，用于采用公式GI(x,y)＝0.299×R+0.587×G+0.114×B将所述多光谱航空影像转换为灰度图像；其中R、G、B分别为所述多光谱航空影像R、G、B三通道的颜色值；GI(x,y)为(x,y)处的像素亮度值，0≤GI(x,y)≤255，x、y表示像素点的横、纵坐标。
[0038] 可选的，所述图像增强模块具体包括：
[0039] Gabor滤波单元，用于采用二维Gabor滤波器对所述灰度图像进
行Gabor滤波处理，生成Gabor滤波器特征图Gabor(x，y；λ，θ，ψ，σ，γ)；其中x、y表示像素点(x,y)的横、纵坐标；λ表示Gabor滤波器的波长；θ表示Gabor滤波器的方向角；ψ表示Gabor滤波器的相位偏移；σ表示高斯函数的标准差；γ表示宽度比；x′＝xcosθ+ysinθ；y′＝-xsinθ+ycosθ；i为虚数单位；
行Gabor滤波处理，生成Gabor滤波器特征图Gabor(x，y；λ，θ，ψ，σ，γ)；其中x、y表示像素点(x,y)的横、纵坐标；λ表示Gabor滤波器的波长；θ表示Gabor滤波器的方向角；ψ表示Gabor滤波器的相位偏移；σ表示高斯函数的标准差；γ表示宽度比；x′＝xcosθ+ysinθ；y′＝-xsinθ+ycosθ；i为虚数单位；
[0040] 二维卷积运算单元，用于采用公式 对所述灰度图像GIxy＝{GI(x,y),(1≤x≤M,1≤y≤N)}和所述Gabor滤波器特征图Gaborxy＝{Gabor(x,y；λ,θ,ψ,σ,γ),(1≤x≤m,1≤y≤n)}进行二维卷积运算，生成增强后图像EI(x,y)；其中M、N分别代表所述灰度图像的总行、列数；m、n分别代表Gabor滤波器的总行、列数。
[0041] 可选的，所述边缘检测模块具体包括：
[0042] x分量计算单元，用于采用公式Gx＝EIx(x,y)＝EI(x-1,y+1)+2EI(x,y+1)+EI(x+1,y+1)-(EI(x-1,y-1)+2EI(x,y-1)+EI(x+1,y-1))对所述增强后图像EI(x,y)进行x分量计算，生成合成梯度x分量Gx；其中EIy(x，y)表示所述增强后图像EI(x,y)的x分量；
[0043] y分量计算单元，用于采用公式Gy＝EIy(x,y)＝EI(x+1,y-1)+2EI(x+1,y)+EI(x+1,y+1)-(EI(x-1,y-1)+2EI(x-1,y)+EI(x-1,y+1))对所述增强后图像EI(x,y)进行y分量计算，生成合成梯度y分量Gy；其中EIy(x，y)表示所述增强后图像EI(x,y)的y分量；
[0044] 合成梯度计算单元，用于采用公式 对所述合成梯度x分量Gx和所述合成梯度y分量Gy进行合成梯度计算，生成灰度边缘图像GEI(x,y)；其中G为合成梯度。
[0045] 根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0046] 本发明提供一种航空影像路面交通标志提取方法及系统，所述方法首先对多光谱航空影像进行灰度转换得到灰度图像；然后采用Gabor滤波和二维卷积运算对获取的灰度图像进行纹理特征提取及图像增强；接着采用Sobel算子对增强后图像进行边缘检测及二值分割得到二值边缘图像，最后利用最小最大对象删除法对二值边缘图像进行路面交通标志的提取和填充。采用本发明方法可以对不同光线下的路面交通标志进行有效提取，提高了路面交通标志提取精度，具有较强的鲁棒性和应用价值。附图说明
[0047] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0048] 图1为本发明提供的航空影像路面交通标志提取方法的整体构思图；
[0049] 图2为本发明提供的航空影像路面交通标志提取方法的具体流程图；
[0050] 图3为本发明实施例提供的多光谱航空影像示意图；其中图3(a)为本发明实施例一提供的第一景多光谱航空影像示意图，图3(b)为本发明实施例二提供的第二景多光谱航空影像示意图；
[0051] 图4为本发明实施例提供的多光谱航空影像对应的灰度图像示意图；其中图4(a)为本发明实施例一提供的第一景多光谱航空影像对应的灰度图像示意图，图4(b)为本发明实施例二提供的第二景多光谱航空影像对应的灰度图像示意图；
[0052] 图5为本发明实施例提供的灰度图像直方图；其中图5(a)为本发明实施例一提供的第一景多光谱航空影像的灰度图像直方图，图5(b)为本发明实施例二提供的第二景多光谱航空影像的灰度图像直方图；
[0053] 图6为本发明提供的Gabor滤波器特征图的示意图；其中图6(a)为Gabor滤波器的大小示意图，图6(b)为Gabor滤波器的实数部分示意图；
[0054] 图7为本发明实施例提供的多光谱航空影像对应的增强后图像示意图；其中图7(a)为本发明实施例一提供的第一景多光谱航空影像对应的增强后图像示意图，图7(b)为本发明实施例二提供的第二景多光谱航空影像对应的增强后图像示意图；
[0055] 图8为本发明提供的Sobel操作模板示意图；其中图8(a)为本发明提供的像素模板的水平边缘示意图，图8(b)为本发明提供的像素模板的垂直边缘示意图；
[0056] 图9为本发明实施例提供的多光谱航空影像对应的灰度边缘图像示意图；其中，图9(a)为本发明实施例一提供的第一景多光谱航空影像对应的灰度边缘图像示意图，图9(b)为本发明实施例二提供的第二景多光谱航空影像对应的灰度边缘图像示意图；
[0057] 图10为本发明实施例提供的多光谱航空影像对应的二值边缘图像示意图；其中，图10(a)为本发明实施例一提供的第一景多光谱航空影像对应的二值边缘图像示意图，图10(b)为本发明实施例二提供的第二景多光谱航空影像对应的二值边缘图像示意图；
[0058] 图11为本发明提供的8连通示意图；
[0059] 图12为本发明实施例提供的多光谱航空影像中的路面交通标志提取结果示意图；其中，图12(a)为本发明实施例一提取出的第一景多光谱航空影像中的路面交通标志示意图，图12(b)为本发明实施例二提取出的第二景多光谱航空影像中的路面交通标志示意图；
[0060] 图13为本发明实施例提供的多光谱航空影像中路面交通标志定位结果示意图；其中，图13(a)为本发明实施例一提取出的第一景多光谱航空影像中的路面交通标志定位结果示意图，图13(b)为本发明实施例二提取出的第二景多光谱航空影像中的路面交通标志定位结果示意图。
具体实施方式
[0061] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0062] 遥感影像由于受空间分辨率的影响无法对路面交通标志进行精细提取，而航空影像因拍摄方便且具有较高的分辨率，可直接用于路面交通标志的提取与定位。为此，本发明提供一种航空影像路面交通标志提取方法及系统，基于最小最大对象删除方法有效的提取和定位航空影像中路面的交通标志，提高路面交通标志的提取精度。
[0063] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0064] 图1为本发明提供的航空影像路面交通标志提取方法的整体构思图。因为路面交通标志的提取容易受到图像本身颜色空间、物体的边缘结构、对比度以及梯度等的影响，所以本发明在对道路标志进行提取时先对原始影像做了大量的处理工作。参见图1，本发明首先将输入的多光谱航空影像转换为灰度图像(GI,Gray Image)；然后通过Gabor和二维卷积对GI进行增强处理得到增强后图像(EI,Enhanced image)，并使用Sobel算子对EI进行边缘提取得到灰度边缘图像(GEI,Gray edge image)；接着利用阈值对GEI进行分割得到二值边缘图像(BEI,Binary edge image)；最后通过最小最大对象删除法对BEI进行最小对象和最大对象删除，得到最终的目标对象并对其进行定位。
[0065] 图2为本发明提供的航空影像路面交通标志提取方法的具体流程图。参见图2，本发明提供的航空影像路面交通标志提取方法具体包括：
[0066] 步骤201：获取包含路面交通标志的多光谱航空影像。
[0067] 图3为本发明实施例提供的多光谱航空影像示意图，其中图3(a)为本发明实施例一提供的第一景多光谱航空影像示意图，图3(b)为本发明实施例二提供的第二景多光谱航空影像示意图。如图3所示，所述多光谱航空影像为RGB图像。
[0068] 步骤202：将所述多光谱航空影像转换为灰度图像。
[0069] 从RGB航空影像到灰度图像的转换实际是通过消除原图像色调和饱和度并同时保留亮度而得到。以R、G、B三通道为轴建立颜色空间直角坐标系，图像中每个像素的颜色可以用三维空间中的点来表示，而灰度图像中的颜色点是用R＝G＝B直线上的点来表示。通过将三维颜色空间的点映射到一维空间，即通过将RGB空间的一点向R＝G＝B作垂线，并通过计算R、G和B分量的加权和，可以将RGB值转化为灰度值。计算公式如下：
[0070] GI(x,y)＝0.299×R+0.587×G+0.114×B (1)
[0071] 式(1)中，R、G、B分别为所述多光谱航空影像的R、G、B三通道颜色值；GI(x,y)为(x,y)处的像素亮度值，0≤GI(x,y)≤255，x、y表示像素点(x,y)的横、纵坐标。
[0072] 对所述第一景多光谱航空影像和所述第二景多光谱航空影像分别进行灰度转换后生成的灰度图像如图4(a)和图4(b)所示。
[0073] 图5为本发明实施例提供的灰度图像直方图，该直方图的横坐标为图像的行和列，纵坐标为灰度值。其中图5(a)为本发明实施例一提供的第一景多光谱航空影像的灰度图像直方图，图5(b)为本发明实施例二提供的第二景多光谱航空影像的灰度图像直方图。灰度图像可以有效的降低图像的颜色空间，是图像处理中不可缺少的关键性步骤。通过对图5(a)、图5(b)的分析可知，x1∈(175,230)，x2∈(72,112)，其中x1为图5(a)的横坐标，x2为图5(b)的横坐标。
[0074] 步骤203：采用Gabor滤波和二维卷积运算对所述灰度图像进行增强处理，生成增强后图像。
[0075] (1)Gabor滤波器
[0076] Gabor滤波器的原理为加窗傅里叶变换，其频率和方向表达与人类视觉系统非常相似。但傅里叶变换存在将图像在不同位置的频度特征混合在一起的问题，Gabor滤波器却可以很好的克服这一点，它能抽空图像空间局部频度特征，是一种良好的纹理检测方法，可以有效的检测图像的边缘信息。
[0077] 本发明采用的二维Gabor滤波器由一个三角函数(如正弦函数)和一个高斯函数叠加构成，其公式定义如下：
[0078] 所述二维Gabor滤波器的复数表达：
[0079]
[0080] 其中，
[0081] x′＝xcosθ+ysinθ (3)
[0082] y′＝-xsinθ+ycosθ (4)
[0083] 式中：x、y表示像素点(x,y)的横、纵坐标；λ表示Gabor滤波器的波长，取值60；θ表示Gabor滤波器的方向角，取值90°；ψ表示Gabor滤波器的相位偏移，取值0；σ代表高斯函数的标准差，取值0.3；γ表示宽度比，取值1；i为虚数单位。通过公式(2)计算可以得到所述灰度图像对应的Gabor滤波器特征图，生成的特征图如图6所示，其中图6(a)为Gabor滤波器的大小示意图，图6(b)为Gabor滤波器的实数部分示意图。
[0084] (2)二维卷积运算
[0085] 二维卷积运算有助于图像纹理等信息的提取，通过卷积运算可以实现高斯模糊、边缘检测和形态学操作。对于灰度图像GIxy＝{GI(x,y),(1≤x≤M,1≤y≤N)}和Gabor滤波特征图Gaborxy＝{Gabor(x,y；λ,θ,ψ,σ,γ),(1≤x≤m,1≤y≤n)}，二维卷积运算的计算公式如下：
[0086]
[0087] 式中：EI(x,y)为增强后图像；M、N分别代表图像的总行、列数，m、n分别代表滤波器的总行、列数，一般情况下m＜M,n＜N。
[0088] 本发明实施例中采用Gabor滤波和二维卷积运算对所述灰度图像GI(x,y)进行增强后，得到的增强后图像EI(x,y)如图7所示，其中图7(a)为本发明实施例一提供的第一景多光谱航空影像对应的增强后图像，图7(b)为本发明实施例二提供的第二景多光谱航空影像对应的增强后图像。对比图4和图7可以看出，与得到的灰度图像相比，Gabor和二维卷积运算后箭头部分得到了明显的增强。
[0089] 步骤204：采用Sobel边缘检测算子对所述增强后图像进行边缘检测，得到灰度边缘图像。
[0090] 由于路面交通标志的结构比较单一，而道路两边非标志地物信息复杂。因此，本发明的目的是突显标志区域，模糊非标志区域，并使非标志区域的大部分边缘连通，而Sobel算子(Sobel operator，索贝尔算子)为该思路提供了可能。图8为本发明提供的Sobel操作模板示意图，其中图8(a)为本发明提供的像素模板的水平边缘示意图，图8(b)为本发明提供的像素模板的垂直边缘示意图。如图8所示，Sobel算子的卷积模板有两个，一个用于检测水平边缘，一个用于检测垂直边缘。
[0091] 采用Sobel边缘检测算子对所述增强后图像EI(x,y)进行x分量、y分量及合成梯度计算：
[0092] Gx＝EIx(x,y)＝EI(x-1,y+1)+2EI(x,y+1)+EI(x+1,y+1)-(EI(x-1,y-1)+2EI(x,y-1)+EI(x+1,y-1)) (6)
[0093] Gy＝EIy(x,y)＝EI(x+1,y-1)+2EI(x+1,y)+EI(x+1,y+1)-(EI(x-1,y-1)+2EI(x-1,y)+EI(x-1,y+1)) (7)
[0094]
[0095] 式中，Gx为合成梯度x分量，等于所述增强后图像EI(x,y)的x分量EIx(x，y)；Gy为合成梯度y分量，等于所述增强后图像EI(x,y)的y分量EIy(x，y)；G为合成梯度。计算得到的合成梯度G是基于像素的梯度，通过利用两模板在图像上面移动可以计算出所有像素点的梯度值，即得到灰度边缘图像GEI(x,y)，如图9所示。其中，图9(a)为本发明实施例一提供的第一景多光谱航空影像对应的灰度边缘图像，图9(b)为本发明实施例二提供的第二景多光谱航空影像对应的灰度边缘图像。
[0096] 步骤205：利用阈值分割方法对所述灰度边缘图像进行分割，得到二值边缘图像。
[0097] 通过运算得到增强后图像EI(x,y)的Sobel边缘检测结果图GEI(x,y)，然后利用设定的图像分割阈值(本发明图像分割阈值T＝0.5156)将图像GEI(x,y)转化为二值边缘图像BEI(x,y)，公式如下：
[0098]
[0099] 本发明实施例得到的图像分割结果如图10所示。其中，图10(a)为本发明实施例一提供的第一景多光谱航空影像对应的二值边缘图像，图10(b)为本发明实施例二提供的第二景多光谱航空影像对应的二值边缘图像。从图9(a)、9(b)可以看出，通过Sobel运算以后标志区域的边缘被很好的检测了出来，而非标志区域明显被检测为一整片，这将对后续交通标志的提取非常关键。而使用改进的Sobel算子，将会对周边区域检测过于精细，反而会影响实验结果。图10(a)、10(b)是阈值分割得到的二值边缘图像BEI(x,y)，从图中可以看出，路面交通标志轮廓已经被准确分割出来。
[0100] 步骤206：采用最小最大对象删除法对所述二值边缘图像进行最小对象和最大对象删除，提取出所述多光谱航空影像中的路面交通标志。
[0101] 根据中国所颁布的《城市道路交通标志和标线设置规范GB51038-2015》道路交通标志标准，路面所喷涂的交通标志是有一定大小要求的。已知所述多光谱航空影像数据的拍摄高度以及比例尺，就可以算出影像中标志的理论大小。根据影像中标志的理论大小设定最小对象删除阈值P，本发明中P取值为300像素。
[0102] 本发明首先通过bwareaopen函数(matlab函数中的一款图像处理函数)删除小面积对象，在8邻域内实现小对象的删除，删除所述二值边缘图像中面积小于P的对象(P取值为300像素)。
[0103] 在最大对象删除时，本发明首先通过8连通确定二值边缘图像的同属对象，并通过查找将这些同属对象保存在列表中；然后从列表中计算保存的同属对象的面积，将小于最大对象删除阈值Q的保存，大于Q的删除(本发明Q取值为1000像素)，提取出所述多光谱航空影像中的路面交通标志。8连通示意图及计算规则分别如图11和公式(10)所示：
[0104] N8(p)＝N4∪(x+1,y+1),(x+1,y-1),(x-1,y+1),(x-1,y-1) (10)
[0105] 式中：x、y表示像素坐标；N4表示4连通；N8(P)表示8连通。如果图像中像素的边缘或角相接，则连接像素；如果两个相邻像素都在水平、垂直或对角线方向上且沿着对角线方向连接，则它们同属一个对象，即互为同属对象。
[0106] 所述多光谱航空影像中的路面交通标志提取的最终结果如图12所示。其中，图12(a)为本发明实施例一提取出的第一景多光谱航空影像中的路面交通标志示意图，图12(b)为本发明实施例二提取出的第二景多光谱航空影像中的路面交通标志示意图。从图12中可以看出，12(a)中箭头标志被完整的提取了出来，而12(b)中箭头标志提取虽不太理想，但也实现了准确提取。这是因为12(a)图中箭头周边的干扰信息比较少，而12(b)图中由于受路面小信息的干扰，对箭头标志提取时小部分非标志信息被检测到了一起，从而造成标志提取不理想。可以看出阴影区域对箭头标志提取还是有一定影响的。
[0107] 进一步的，还可以采用标志区域的最小矩形对提取出的路面交通标志进行定位。通过定位可以快速锁定交通标志的位置，并查看其受损情况，从而可以节省大量的人力、物力、财力。本发明依据提取的路面交通标志结果图，通过获取图像区域的属性计算包含该标志区域的最小矩形，从而实现目标对象的快速定位。本发明实施例提供的目标定位结果如图13所示。其中，图13(a)为本发明实施例一提取出的第一景多光谱航空影像中的路面交通标志定位结果示意图，图13(b)为本发明实施例二提取出的第二景多光谱航空影像中的路面交通标志定位结果示意图。
[0108] 当前对交通标志的检测与识别主要是通过车载摄像机获取车辆前方的道路信息，然后通过不同的方法检测实现。而航空影像与车载摄像在成像和数据获取方式上均存在差异，导致现有方法难以直接用于航空影像道路标志提取。为此，本发明提出了一种基于最小最大对象删除的航空影像路面交通标志提取方法。本发明通过利用最小最大对象删除法来提取标志对象，并利用错检率、漏检率以及总体精度来评价标志提取的好坏。本发明方法实验验证所用平台如下：系统为win10、CPU为i7-9700k、显卡为GTX1070Ti、16G内存，软件为matlab2018b。具体精度评价结果如表1所示：
[0109] 表1精度评价结果
[0110] 错检率 漏检率 总体精度 总消耗时间(s)
第一景影像 1.06％ 0.23％ 99.76％ 1.3153
第二景影像 1.07％ 0.63％ 99.36％ 1.2220
第一景影像 1.06％ 0.23％ 99.76％ 1.3153
第二景影像 1.07％ 0.63％ 99.36％ 1.2220
[0111] 从表1的数据可以看出，在整个路面标志提取过程中错检率和漏检率都比较低，而且总体精度分别达到了99.76％和99.36％。同时，两组实验总时间消耗也比较低，说明了本发明在提取航空影像数据交通标志时的有效性，而且在整个过程中本发明方法的鲁棒性较高，具有很高的应用价值。
[0112] 基于本发明提供的航空影像路面交通标志提取方法，本发明还提供一种航空影像路面交通标志提取系统，所述系统包括：
[0113] 原始影像获取模块，用于获取包含路面交通标志的多光谱航空影像；所述多光谱航空影像为RGB图像；
[0114] 图像转换模块，用于将所述多光谱航空影像转换为灰度图像；
[0115] 图像增强模块，用于采用Gabor滤波和二维卷积运算对所述灰度图像进行增强处理，生成增强后图像；
[0116] 边缘检测模块，用于采用Sobel边缘检测算子对所述增强后图像进行边缘检测，得到灰度边缘图像；
[0117] 图像分割模块，用于利用阈值分割方法对所述灰度边缘图像进行分割，得到二值边缘图像；
[0118] 最小最大对象删除模块，用于采用最小最大对象删除法对所述二值边缘图像进行最小对象和最大对象删除，提取出所述多光谱航空影像中的路面交通标志。
[0119] 其中，所述图像转换模块具体包括：
[0120] 图像转换单元，用于采用公式GI(x,y)＝0.299×R+0.587×G+0.114×B将所述多光谱航空影像转换为灰度图像；其中R、G、B分别为所述多光谱航空影像R、G、B三通道的颜色值；GI(x,y)为(x,y)处的像素亮度值，0≤GI(x,y)≤255，x、y表示像素点的横、纵坐标。
[0121] 所述图像增强模块具体包括：
[0122] Gabor滤波单元，用于采用二维Gabor滤波器对所述灰度图像进
行Gabor滤波处理，生成Gabor滤波器特征图Gabor(x，y；，λ，θ，ψ，σ，γ)；其中x、y表示像素点(x,y)的横、纵坐标；λ表示Gabor滤波器的波长；θ表示Gabor滤波器的方向角；ψ表示Gabor滤波器的相位偏移；σ表示高斯函数的标准差；γ表示宽度比；x′＝xcosθ+ysinθ；y′＝-xsinθ+ycosθ；i为虚数单位；
行Gabor滤波处理，生成Gabor滤波器特征图Gabor(x，y；，λ，θ，ψ，σ，γ)；其中x、y表示像素点(x,y)的横、纵坐标；λ表示Gabor滤波器的波长；θ表示Gabor滤波器的方向角；ψ表示Gabor滤波器的相位偏移；σ表示高斯函数的标准差；γ表示宽度比；x′＝xcosθ+ysinθ；y′＝-xsinθ+ycosθ；i为虚数单位；
[0123] 二维卷积运算单元，用于采用公式 对所述灰度图像GIxy＝{GI(x,y),(1≤x≤M,1≤y≤N)}和所述Gabor滤波器特征图Gaborxy＝{Gabor(x,y；λ,θ,ψ,σ,γ),(1≤x≤m,1≤y≤n)}进行二维卷积运算，生成增强后图像EI(x,y)；其中M、N分别代表所述灰度图像的总行、列数；m、n分别代表Gabor滤波器的总行、列数。
[0124] 所述边缘检测模块具体包括：
[0125] x分量计算单元，用于采用公式Gx＝EIx(x,y)＝EI(x-1,y+1)+2EI(x,y+1)+EI(x+1,y+1)-(EI(x-1,y-1)+2EI(x,y-1)+EI(x+1,y-1))对所述增强后图像EI(x,y)进行x分量计算，生成合成梯度x分量Gx；其中EIy(x，y)表示所述增强后图像EI(x,y)的x分量；
[0126] y分量计算单元，用于采用公式Gy＝EIy(x,y)＝EI(x+1,y-1)+2EI(x+1,y)+EI(x+1,y+1)-(EI(x-1,y-1)+2EI(x-1,y)+EI(x-1,y+1))对所述增强后图像EI(x,y)进行y分量计算，生成合成梯度y分量Gy；其中EIy(x，y)表示所述增强后图像EI(x,y)的y分量；
[0127] 合成梯度计算单元，用于采用公式 对所述合成梯度x分量Gx和所述合成梯度y分量Gy进行合成梯度计算，生成灰度边缘图像GEI(x,y)；其中G为合成梯度。
[0128] 所述图像分割模块具体包括：
[0129] 图像分割单元，用于采用公式 对所述灰度边缘图像进行分割，将所述灰度边缘图像GEI(x,y)转化为二值边缘图像BEI(x,y)；其中T为图像分割阈值。
[0130] 所述最小最大对象删除模块具体包括：
[0131] 最小对象删除单元，用于删除所述二值边缘图像中面积小于最小对象删除阈值的对象，生成最小对象删除后图像；
[0132] 8连通计算单元，用于通过8连通确定所述二值边缘图像的同属对象；
[0133] 最大对象删除单元，用于删除所述同属对象中面积大于最大对象删除阈值的对象，提取出所述多光谱航空影像中的路面交通标志。
[0134] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0135] 本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 题目内容识别方法、装置、可读存储介质及计算机设备 | 2020-05-13 | 1 |
| 基于图像处理算法的社交系统 | 2020-10-31 | 0 |
| 基于空间引导滤波的图像细节增强方法 | 2021-06-02 | 0 |
| 利用计算机图像处理技术检测熔喷超细纤维主体直径方法 | 2021-09-23 | 2 |
| 在刷新时最小化功耗的具有温度感测设备的半导体存储器 | 2022-01-10 | 1 |
| 基于轮廓线的图像变形技术 | 2021-03-21 | 0 |
| 一种基于聚类算法的图像边缘拟合B样条生成方法 | 2021-08-06 | 1 |
| 一种利用图像处理和先验知识提取断裂构造信息方法 | 2021-08-08 | 2 |
| 用于驱动电光显示器的方法 | 2021-03-05 | 2 |
| Automatic barcode reader | 2022-12-01 | 1 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈