一种激光红外复合的地面建筑物识别及导航方法

申请号 CN201410844242.9 申请日 2014-12-30 公开(公告)号 CN104536009B 公开(公告)日 2016-12-28
申请人 华中科技大学; 发明人 张天序; 药珩; 姜鹏; 凡速飞; 陈一梦; 马文绚; 郝龙伟; 杨智慧;
摘要 本 发明 提供一种地面 建筑物 识别方法,包括以下步骤:(1)航拍地面红外图像;(2)在红外图像中进行检测 定位 确定疑似目标;(3)对准疑似目标进行激光成像;(4)对激光成像进行距离选通以滤除前景和背景干扰;(5)在滤除干扰后的激光成像中提取疑似目标的形状特征,将其作为目标匹配要素与目标形状特征模板进行匹配,从而识别目标。本发明方法将激光成像融入到红外成像目标定位中,既利用红外成像范围大的优点,又利用激光成像的三维距离信息,有效提高建筑物的定位精确性。
权利要求

1.一种地面建筑物识别方法,包括以下步骤:
(1)航拍地面红外图像;
(2)在红外图像中进行检测定位确定疑似目标;
(3)对准疑似目标进行激光成像;
(4)对激光成像进行距离选通以滤除前景和背景干扰;
(5)在滤除干扰后的激光成像中提取疑似目标的形状特征,将其作为目标匹配要素与目标形状特征模板进行匹配,从而识别目标;
所述步骤(5)的具体实现方式为:
计算红外成像中疑似目标的局部反差值与局部反差阈值的比值,记为疑似目标的局部对比度a;
计算目标匹配要素与目标形状特征模板的相似度b;
计算目标识别概率p=k1*a+k2*b,权重系数k1+k2=1,k1≤k2;
目标识别概率最大者即为目标识别结果。
2.根据权利要求1所述的地面建筑物识别方法,其特征在于,所述步骤(5)还将匹配结果与红外成像中疑似目标的局部对比度特征进行融合以识别目标。
3.根据权利要求1或2所述的地面建筑物识别方法,其特征在于,所述疑似目标区域的形状特征包括高宽比、矩形度、纵向对称度和区域主轴方向。
4.应用权利要求1~3任一项权利要求所述的地面建筑物识别方法的飞行器导航方法,其特征在于,具体为:
按照权利要求1~3任一项权利要求所述的地面建筑物识别方法获取建筑物目标位置
以建筑物目标位置为原点构建建筑物目标坐标系
在当前时刻t获取飞行器的俯仰γ和航向夹角φ,计算t时刻飞行器在建筑物目标坐标中的坐标(xt,yt,zt):xt=Lcosγsinφ,yt=Lcosγcosφ,zt=Lsinγ,其中L为时刻t飞行器与建筑物目标间的距离;
将飞行器在建筑物目标坐标系中的坐标(xt,yt,zt)转换为在大地坐标中的位置。

说明书全文

一种激光红外复合的地面建筑物识别及导航方法

技术领域

[0001] 本发明属于成像自动目标识别技术领域,具体涉及一种地面建筑物识别方法。

背景技术

[0002] 建筑物作为人造目标的重要基元,其识别可用于城市规划、监督、飞行器导航、避撞等领域。地面背景复杂,各种建筑物的大小、形状各不相同,运动平台载荷成像高度和成像度可变,所以地面建筑物的识别定位是一项困难的任务。特别是在夜间飞行器的导航制导,单纯使用红外成像缺乏飞行场景三维距离信息,在复杂地物背景下导航效果不佳。
[0003] 目前,目标识别主要是通过对红外成像进行数字化处理完成。但红外成像缺乏距离信息,无法直接获得目标场景三维信息,对于复杂背景下目标识别效果不佳。鉴于此,现有研究多从建筑物目标线特征的提取方面、对线特征多层次的感知组合方面等进行改进,例如金泰松,叶聪颖,李翠华等在“一种复杂场景下建筑目标识别方法”,计算机工程,Vol.33 No.6 March 2007中提出采用基于建筑目标的竖直线特征寻找图像中存在建筑目标区域的方法提高检测识别准确率,但是由于红外图像不包含距离信息和目标三维结构信息,改进效果始终受到限制。

发明内容

[0004] 本发明提供一种地面建筑物识别方法,其目的在于,本方法将激光成像融入到红外成像目标定位中,既利用红外成像范围大的优点,又利用激光成像的三维距离信息,最终实现建筑物的精确定位。
[0005] 一种地面建筑物识别方法,包括以下步骤:
[0006] (1)航拍地面红外图像;
[0007] (2)在红外图像中进行检测定位确定疑似目标;
[0008] (3)对准疑似目标进行激光成像;
[0009] (4)对激光成像进行距离选通以滤除前景和背景干扰;
[0010] (5)在滤除干扰后的激光成像中提取疑似目标的形状特征,将其作为目标匹配要素与目标形状特征模板进行匹配,从而识别目标。
[0011] 进一步地,所述步骤(5)还将匹配结果与红外成像中疑似目标的局部对比度特征进行融合以识别目标。
[0012] 进一步地,所述步骤(5)的具体实现方式为:
[0013] 计算红外成像中疑似目标的局部反差值与局部反差阈值的比值,记为疑似目标的局部对比度a;
[0014] 计算目标匹配要素与目标形状特征模板的相似度b;
[0015] 计算目标识别概率p=k1*a+k2*b,权重系数k1+k2=1,k1≤k2;
[0016] 目标识别概率最大者即为目标识别结果。
[0017] 进一步地,所述疑似目标区域的形状特征包括高宽比、矩形度、纵向对称度和区域主轴方向。
[0018] 应用所述的地面建筑物识别方法的飞行器导航方法,具体为:
[0019] 按照所述的地面建筑物识别方法获取建筑物目标位置
[0020] 以建筑物目标位置为原点构建建筑物目标坐标系
[0021] 在当前时刻t获取飞行器的俯仰夹角γ和航向夹角φ,计算t时刻飞行器在建筑物目标坐标系中的坐标(xt,yt,zt):xt=Lcosγsinφ,yt=Lcosγcosφ,zt=Lsinγ,其中L为时刻t飞行器与建筑物目标间的距离;
[0022] 将飞行器在建筑物目标坐标中的坐标(xt,yt,zt)转换为在大地坐标中的位置。
[0023] 本发明的技术效果体现在:
[0024] 本发明提出了一种激光红外复合定位识别地面建筑物的方法,融合了红外成像目标识别和激光成像目标识别的优势。飞行器对建筑物目标红外成像的被动工作体制决定了其导引头输出信息中缺少与目标的距离信息和目标的三维形状信息,这使得ATR方法的研究只能在二维平面上进行,其应用受到了很大的限制。尽管有关目标的三维形状及表面材料信息丢失,但其具有频高、视场较大、作用距离较远等优势,可实现大面积的搜索。激光成像制导的作用距离近、帧频难以提高,而且作用距离和视场两个指标相互约束,在保作用距离的前提下,只能实现近距离小视场搜索。但是,因其能获取包含目标几何本征信息的三维距离图像和包含目标表面材料反射光谱本征信息的二维图像,以及可分割目标前后场景使复杂背景简化为简单背景的优势,这是红外制导不可比拟的。本发明激光红外复合制导充分发挥了红外制导和激光制导的优点,满足不同场合的需要。
[0025] 本发明还根据建筑物特点,优化选取了红外成像目标区域特征和激光成像目标区域的特征,通过有效融合激光红外显著特征形成匹配要素。由于激光图像包含目标几何本征信息的三维距离像,所以通过激光距离像可以比红外图像更好的反映目标的形状特征。同时红外图像可以较好的反映目标与背景的的灰度差异,所以红外图像可以比激光图像更好的反映目标潜在区域相对局部感兴趣区的局部反差。本发明通过融合两种特征提高了匹配准确性。
[0026] 本发明将二者复合起来的被动红外成像/主动激光雷达复合成像系统可以弥补单模系统的不足,既能满足搜索阶段较大的成像范围,又能精确地识别目标,充分发挥各自的优势,有效提高识别精确率。附图说明
[0027] 图1为本发明总体流程示意图;
[0028] 图2为在俯仰角3°,高度2000米,距目标距离10220米的实时红外图像;
[0029] 图3为飞行高度2000米,视场角3.5°×2.63°,待识别目标建筑物的形态学背景抑制结构元素示例,其中图3(A)距离12000米俯仰角3°,图3(B)距离10000米俯仰角2°,图3(C)距离9000米俯仰角3°,图3(D)距离8000米俯仰角4°,图3(E)距离7000米俯仰角3°,图3(F)距离6000米俯仰角4°;
[0030] 图4为在俯仰角3°,高度2000米,距目标距离10220米的红外图像检测到的疑似目标;
[0031] 图5为将传感器光轴移动到疑似目标中心的红外图像,其中图5(A)是将传感器光轴移动到图4中疑似目标A中心的图像,图5(B)是将传感器光轴移动到图4中疑似目标B中心的图像;
[0032] 图6为俯仰角3°,高度2000米下大小为64×64激光图像,图6(A)为将传感器光轴移动到疑似目标A中心所得激光图像,图6(B)为将传感器光轴移动到疑似目标B中心所得激光图像;
[0033] 图7为共光轴激光红外传感器视场示意图;
[0034] 图8为俯仰角3°,高度2000米,距目标距离10220米下的激光红外复合成像图,其中,图8(A)为将光轴移动到疑似目标A中心的激光红外复合成像图,图8(B)为将光轴移动到疑似目标B中心的激光红外复合成像图;
[0035] 图9为激光距离选通原理图;
[0036] 图10为进行距离选通后的激光图像,其中,图10(A)为对图6(A)进行距离选通的图像,前距离波为10400米、后距离波门为10460米,图10(B)为对图6(B)进行距离选通的图像,前距离波门为10200米、后距离波门为10230米;
[0037] 图11为进行距离选通后的激光红外复合成像图,其中,图11(A)为对图8(A)进行距离选通的图像,前距离波门为10400米、后距离波门为10460米,图11(B)为对图8(B)进行距离选通的图像,前距离波门为10200米、后距离波门为10230米;
[0038] 图12为对图10进行边缘检测的结果,其中,图12(A)是对图10(A)边缘检测结果示意图,图12(B)是对图10(B)边缘检测结果示意图;
[0039] 图13为图12(A)的连通区域标记结果示意图;
[0040] 图14为图12(B)的连通区域标记结果示意图;
[0041] 图15为目标三维视图,其中,图15(A)为下视图,图15(B)为左视图,图15(c)为前视图;
[0042] 图16为埃菲尔塔三维视图,其中,图16(A)为下视图,图16(B)为左视图,图16(c)为前视图;
[0043] 图17为帕特农神庙三维视图,其中,图17(A)为下视图,图17(B)为左视图,图17(c)为前视图;
[0044] 图18为激光检测结果,其中,图18(A)是检测出的感兴趣区域示意图,图18(B)是检测结果示意图;
[0045] 图19为激光红外复合检测结果;
[0046] 图20为飞行器在目标坐标系中的位置解算示意图。

具体实施方式

[0047] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0048] 下面参考图1流程以双子楼为例来说明本发明的步骤:
[0049] 实例1:
[0050] (1)航拍地面红外图像。
[0051] 飞行器在俯仰角3°,高度2000米,距目标距离10220米航拍的实时红外图像如图2所示。
[0052] (2)在红外图像中进行检测定位确定疑似目标。
[0053] (2.1)构建标准特征库
[0054] 制作多尺度目标结构元素,不同尺度下目标结构元素如图3所示。
[0055] (2.2)图像增强步骤,对原始输入图像进行直方图均衡化,用于增强动态范围偏小的图像反差,增加像素灰度值的动态范围,从而得到增强图像整体对比度的效果。
[0056] (2.3)形态学背景抑制,选用图3(A)形态学结构元素对图2进行开运算。以滤除与目标建筑物形状和尺度明显不同的建筑物或背景,使得图像灰度级别减少。
[0057] (2.4)灰度级合并步骤,对背景抑制处理后的图像进行直方图统计,根据阈值对每个灰度值出现的次数进行判断,次数小于阈值的灰度值与最近邻的次数大于等于阈值的灰度值进行合并,这里阈值取300。
[0058] (2.5)反馈分割步骤
[0059] ①对灰度级合并后的图像,将其灰度级作为门限,进行灰度级门限分割,转为二值图像;
[0060] ②特征提取步骤,标记二值图像中每区域,计算各标记区域的特征量:面积、重心、周长、高度、宽度和形状因子。
[0061] ③特征匹配步骤,根据标准特征库中各个特征量对各感兴趣区域进行特征匹配,如果某感兴趣区域匹配成功则保留该区域作为下一步分类的感兴趣区域。
[0062] 对图2进行红外初检测结果如图4所示,共有A、B两个第一疑似目标。
[0063] (3)对准第一疑似目标区域进行激光成像。
[0064] 将传感器光轴移动到疑似目标中心:在俯仰角3°,高度2000米,距目标距离10220米下将传感器光轴移动到疑似目标A中心的红外图像如图5(A)所示,将传感器光轴移动到疑似目标B中心的红外图像如图5(B)所示。将传感器光轴移动到各疑似目标中心,得到的大小为64×64激光图像如图6所示。图6(A)为将传感器光轴移动到疑似目标A中心所得激光图像,图6(B)为将传感器光轴移动到疑似目标B中心所得激光图像。
[0065] 将光轴移动到疑似目标区中心后就可以获得共光轴传感器的激光红外复合成像图,传感器的激光红外视场示意图如图7所示。在俯仰角3°,高度2000米,距目标距离10220米下的激光红外复合成像图如图8所示,其中图8(A)是将光轴移动到疑似目标A中心的激光红外复合成像图,图8(B)是将光轴移动到疑似目标B中心的激光红外复合成像图。
[0066] (4)对激光成像进行距离选通以滤除前景和背景干扰。
[0067] 利用距离波门进行距离选通,滤去前景和背景干扰,激光距离波门选通原理如图9所示。对图6中激光图像进行距离选通得到结果如图10所示,其中图10(A)为对图6(A)以前距离波门10400、后距离波门10460进行距离选通的结果,图10(B)为对图6(B)以前距离波门10200米、后距离波门10230米进行距离选通的结果。进行距离选通后的激光红外复合成像图如图11所示,其中图11(A)为对图8(A)以前距离波门10400、后距离波门10460进行距离选通的结果,图11(B)为对图8(B)以前距离波门10200米、后距离波门10230米进行距离选通的结果。
[0068] (5)在滤除干扰后的激光成像中提取疑似目标的形状特征,将其作为目标匹配要素与目标形状特征模板进行匹配,从而识别目标。
[0069] (5.1)边缘分割
[0070] 对进行距离选通后的激光图像进行边缘分割,抑制弱小边缘和噪声点,用模板[0.09650.40.0965]对图像进行平滑操作,然后用平方向模板、竖直方向模板、45°方向模板、135°方向模板对图像进行四个方向上的滤波,再对滤波后的图像进行阈值分割,同时抑制面积小于1的弱小边缘和噪声点就可以得到边缘检测结果。对图10激光图像进行边缘检测结果如图12所示,其中图12(A)是对图10(A)边缘检测结果,图12(B)是对图10(B)边缘检测结果。
[0071] 其中水平方向模板为
[0072]2 2 2
0 0 0
-2 -2 -2
[0073] 竖直方向模板为
[0074]2 0 -2
2 0 -2
2 0 -2
[0075] 45°方向模板为
[0076]0 3 0
3 0 -3
0 -3 0
[0077] 135°方向模板为
[0078]0 -3 0
3 0 -3
0 3 0
[0079] (5.2)连通区域标记
[0080] 对边缘分割后的图像进行连通区域标记,可以得到每个独立的疑似目标轮廓。设边缘图像背景像素为0,目标像素为255,对其进行8邻域区域生长标记的步骤如下:
[0081] ①按从上到下、从左到右的顺序扫描图像,遇到目标像素P时,标记为新的标记值L;
[0082] ②以P为种子点,将其8邻域内的目标像素标记为L;
[0083] ③将所有与L像素8邻域内相邻的目标像素标记为L,直到该连通区域标记完毕;
[0084] ④继续按顺序扫描图像,重复前三步,直到图像中所有目标像素都标记完毕。
[0085] 每个连通区域的起始点是按顺序扫描整个图像得到的,而各个连通区域的标记过程是递归调用生长函数的过程。生长函数依次扫描目标点的8邻域,若遇到新的目标点,则将当前目标点的处理过程压栈,转而扫描新目标点的8邻域,如此不断地将目标点压栈。当某一目标点的8邻域内没有新的目标点,则将其弹栈,当所有目标点都弹栈完毕,则该连通区域标记完毕。图12(A)的连通区域标记结果如图13所示,图12(B)的连通区域标记结果如图14所示。
[0086] (5.3)提取疑似目标形状特征
[0087] 对图13和图14中每个疑似目标区域进行形状分析,计算各个疑似目标区域的高宽比,矩形度,纵向对称度,区域主轴方向。并与模型特征中各个特征量进行特征匹配识别,保留与模型特征最接近的感兴趣区域,获得检测结果,目标三维视图如图15所示。
[0088] 目标下视图各特征量值如下表所示:
[0089]高宽比 矩形度 纵向对称度 区域主轴方向
1.7140 0.7494 180 178.1645
[0090] 目标前视图各特征量值如下表所示:
[0091]高宽比 矩形度 纵向对称度 区域主轴方向
2.1955 0.8846 180 90.0371
[0092] 目标左视图各特征量值如下表所示:
[0093]高宽比 矩形度 纵向对称度 区域主轴方向
3.0333 0.8052 180 90.0569
[0094] 两种典型目标埃菲尔铁塔和帕特农神庙三维视图如图16,17所示。
[0095] 埃菲尔铁塔下视图各特征量值如下表所示:
[0096]高宽比 矩形度 纵向对称度 区域主轴方向
1.0140 0.0494 180 98.1645
[0097] 埃菲尔铁塔前视图各特征量值如下表所示:
[0098]高宽比 矩形度 纵向对称度 区域主轴方向
2.4576 0.1355 180 90.2970
[0099] 埃菲尔铁塔左视图各特征量值如下表所示:
[0100]高宽比 矩形度 纵向对称度 区域主轴方向
2.4576 0.1355 180 90.2970
[0101] 帕特农神庙下视图各特征量值如下表所示:
[0102]高宽比 矩形度 纵向对称度 区域主轴方向
1.9079 1 180 89.9579
[0103] 帕特农神庙前视图各特征量值如下表所示:
[0104]高宽比 矩形度 纵向对称度 区域主轴方向
1.7863 0.1493 180 179.9537
[0105] 帕特农神庙左视图各特征量值如下表所示:
[0106]高宽比 矩形度 纵向对称度 区域主轴方向
3.4262 0.6597 180 0.2067
[0107] 疑似目标区各特征量计算结果如下表所示:
[0108]疑似目标区 高宽比 矩形度 纵向对称度 区域主轴方向
图13(A) 1.4444 0.2414 41 178.6822
图13(B) 1.5404 0.4556 163 102.6994
图14(A) 2.0154 0.4956 160 100.6244
图14(B) 1.5099 0.4729 151 104.6994
[0109] 由飞行器与目标建筑物的空间位置关系可知,要选取目标建筑物前视图特征量作为特征模板,计算疑似目标各特征量与目标形状特征模板各特征量相似度如下:
[0110]
[0111]
[0112] 通过激光图像确认检测结果如下表所示:
[0113]疑似目标区 形状特征相似度 疑似目标概率
图13(A) 0.2935 29.35%
图13(B) 0.7454 74.54%
图14(A) 0.8124 81.24%
图14(B) 0.7246 72.46%
[0114] 可以得出结论疑似目标区图14(A)为目标区域,感兴趣区域如图18(A)所示,识别结果如图18(B)所示。
[0115] 作为对比,疑似目标区形状特征与埃菲尔铁塔前视图形状特征相似度如下:
[0116]疑似目标区 形状特征相似度
图13(A) 0.2638
图13(B) 0.2582
图14(A) 0.2343
图14(B) 0.2009
[0117] 疑似目标区形状特征与帕特农神庙前视图形状特征相似度如下:
[0118]疑似目标区 形状特征相似度
图13(A) 0.6031
图13(B) 0.3218
图14(A) 0.2501
图14(B) 0.2746
[0119] 本发明提出红外引导激光进行检测识别,激光对红外初检测结果进行确认识别的方法。如图4所示,红外初检测会得到疑似目标区A和B,激光再针对疑似目标区A和B进行确认检测。提取出疑似目标区A和B的形状特征并与目标特征模板进行比对,选出与目标形状特征最接近的形状特征,将该形状所在目标区作为最终确认结果。激光红外复合检测结果如图19所示。
[0120] 实例2:
[0121] 作为优化,本发明还提供红外成像疑似目标区域的特征,将其与激光成像疑似目标区域的形状特征融合形成目标匹配要素。所述红外成像疑似目标区域的特征为目标潜在区域的局部反差。由于激光图像包含目标几何本征信息的三维距离像,所以通过激光距离像可以比红外图像更好的反映目标的形状特征。同时红外图像可以较好的反映目标与背景的的灰度差异,所以红外图像可以比激光图像更好的反映目标潜在区域相对局部感兴趣区的局部反差。所以本发明将红外成像疑似目标区域的目标潜在区域局部反差特征和激光成像疑似目标区域的形状特征融合起来,组成匹配要素进行最终的确认识别。
[0122] 相比实例1,本实例补充了一步融合红外图像检测的特征和激光图像检测的特征。
[0123] 根据红外图像计算目标潜在区域的局部反差:
[0124] 在局部感兴趣区内选取目标潜在区域,目标潜在区域的形心位置为(Xt,Yt),高度为 宽度为Wtm;计算目标潜在区域相对局部感兴趣区的局部反差ζ,局部反差阈值为3。局部反差ζ定义为:待识别感兴趣区内目标潜在区的灰度均值μt与整个局部感兴趣区灰度标准差σroi的比值,即
[0125] 根据红外图像计算得出局部对比度反差特征及各疑似目标区疑似目标概率如下:
[0126]疑似目标区 局部对比度反差 疑似目标概率
图13(A) 1.8 60%
图13(B) 1.7 56.67%
图14(A) 2.5 83.33%
图14(B) 2 66.67%
[0127] 激光图像检测结果如下表所示:
[0128]疑似目标区 形状特征相似度 疑似目标概率
图13(A) 0.2935 29.35%
图13(B) 0.7454 74.54%
图14(A) 0.8124 81.24%
图14(B) 0.7246 72.46%
[0129] 将红外检测得到的局部对比度特征和激光检测得到的形状特征相融合,k1=k2=0.5,疑似目标概率如下:
[0130]
[0131] 可以得出结论疑似目标区图14(A)为目标区域,该实例通过有效融合激光红外显著特征形成匹配要素,将激光检测的形状特征和红外检测的局部对比度特征融合起来作为最终确认检测的匹配要素。相比实例1直接用激光检测的形状特征作为最终检测的匹配要素,该实例采用的方法有更加准确的识别结果,使得目标特征可以最大程度凸显出来。
[0132] 应用说明:飞行器导航应用
[0133] 飞行器捕获建筑物目标,根据建筑物目标经纬度信息确定飞行器自身空间位置,具体为:
[0134] 获取捕获的建筑物目标信息,飞行器位置解算示意图如图20所示,以建筑物目标为原点O″构建建筑物目标坐标系O″x″y″z″;在时刻t,获取飞行器的俯仰夹角γ,航向夹角φ,则t时刻飞行器在建筑物目标坐标中的坐标(xt,yt,zt)为:xt=Lcosγsinφ,yt=Lcosγcosφ,zt=Lsinγ,其中L为时刻t飞行器与建筑物目标的距离,可通过激光测距获取。
[0135] 得到飞行器在目标坐标系中的坐标后,根据目标的大地坐标计算飞行器在大地坐标系中的坐标。利用飞行器在大地坐标系中的坐标对惯性导航系统进行误差校正,实现飞行器精确导航。
[0136] 本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
QQ群二维码
意见反馈