技术领域
[0001] 本
发明涉及红外
图像处理及弱小目标检测领域，尤其是一种基于空时联合局部对比度的红外弱小目标检测方法。
背景技术
[0002] 随着红外热成像技术的发展，红外目标检测在自动目标识别中得到了越来越多的关注。其具有全天候作战、夜视范围广、成像清楚、准确率高、能识别伪装和抗干扰等优点，广泛应用于军事和民用领域，如精确制导、预警、地质分析和工业
缺陷检测。尤其是在军事领域的应用，随着雷达和红外隐身技术的发展，空中飞行目标的可探测性越来越低。及时发现和确认目标，以便在战争中提供足够的防御时间是至关重要的。因此，红外目标检测是现代武器装备的关键技术之一。尽早发现目标意味着对远离检测系统的目标进行检测。
[0003] 由于目标往往离成像设备较远，导致遥感红外图像或视频中的目标其强度通常较弱，因此目标一般以点的形式出现，仅占据红外图像中很少的
像素，并且受到随机噪声和非平稳杂波的影响，导致缺乏用于检测或匹配的足够的结构信息，如
颜色、形状和纹理结构等特征，对运动点目标的检测是模糊的。
[0004] 此外，
云层杂波往往变化无常，形状难以预测，进一步加剧了对弱目标的检测难度。在复杂的背景中，目标部分被干扰物体遮住，或者被混浊杂波、海杂波或其他杂波掩盖，使得目标的
信噪比很低。
[0005] 因此，亟需一种空时滤波方法可以克服以上问题。
发明内容
[0006] 本发明的目的在于：本发明提供了一种基于空时联合局部对比度的红外弱小目标检测方法,能有效增强目标对比度，抑制背景杂波与噪声。由于红外图像的场景复杂性，红外弱小目标图像具有低
分辨率、低信噪比、低对比度、背景复杂多变等特性，以致现有红外弱小目标检测
算法鲁棒性较低。本方案提出的结合
空域信息与时域信息的联合方法解决现有方法对红外弱小目标检测场景鲁棒性不高、很难兼顾检测
精度与检测速度的问题。
[0007] 本发明采用的技术方案如下：
[0008] 一种基于空时联合局部对比度的红外弱小目标检测方法，包括如下步骤：
[0009] 步骤1：在空间上构建3×3大小的滑动窗口，遍历原始序列图像的第k
帧图像，通过空域滤波得到第k帧图像的空域局部对比度(Spatial Local Contrast,SLC)响应图；
[0010] 通常情况是选取3×3的窗口，其他尺寸5×5,7×7研究意义不大，因为最外边像素离中心较远，2×2,4×4这样的尺寸是不可以的，因为没有中心
位置的
块。分析的是小目标点与周围的与之相邻的背景的像素差异，一个目标点周围的背景，上下左右4个方位，对
角线上4个方位，共8个方位的背景块即可将其包围，加上中心的目标位置的块，一共9块，故选用3×3。
[0011] 步骤2：通过计算连续帧图像的方差值St，再结合相邻三帧图像的方差值图像，通过时域滤波得到第k帧图像的时域局部对比度(Temporal Local Contrast,TLC)响应图；
[0012] 步骤3：分别将空域检测结果与时域检测结果作归一化处理，并采用融合方式将二者结合，得到第k帧图像的空时联合局部对比度(Spatial Temporal Combine Local Contrast, STCLC)响应。
[0013] 优选地，所述步骤1包括如下步骤：
[0014] 步骤1.1：构建3×3大小的滑动窗口；
[0015] 步骤1.2：中心块T的均值表示为
[0016]
[0017] 其中，s*s表示中心块T的尺寸，滑动窗的尺寸为中心块的三倍，(m,n)表示中心块T的中心像素的坐标，(i,j)表示中心块T中像素的坐标，k表示第k帧图像；
[0018] 对于滑动窗的尺寸为中心块的三倍大小，中心块T的尺寸可以按照目标的大小来调整。则整个滑动窗口的大小应与中心块T的大小保持整体扩大的尺寸。在该中心块上下左右4 个方向，对角线上四个方向，加上中心块共9块，因此是其三倍大小。8个背景块的尺寸应该和中心块的尺寸一样大，方便计算比较特征。如果选5×5共25块，最外层一圈和中心块相距较远，没有研究意义。
[0019] 步骤1.3：构建背景块与中心块的差异测量
[0020]
[0021] 其中， 表示第i个背景块的均值；
[0022] 步骤1.4：构建方向异质性测量
[0023]
[0024] 其中， 表示在第i个方向上的中心块T与周围块的异质性测量，通过计算四个方向的异质性测量，进一步体现目标与背景的差异；
[0025] 步骤1.5：构建片间异质性测量
[0026]
[0027] 其中，(x,y)表示中心块T的中心像素的坐标，k表示当前正在计算的第k帧图像，的作用是增强目标对比度，当中心滑块恰好在目标点处时， 的值较大，反之， 的值较小，以达到保留并增强目标，抑制背景的作用；
[0028] 步骤1.6：构建空域局部对比度测量
[0029]
[0030] 其中，L表示不同的尺度个数，Cl表示第l个尺度上的片间异质性测量，p＝1:p1，q＝1:q1， p1和q1分别为滑动窗口各自尺度上的行与列。C(p,q,k)表示的是不同尺度时，用p,q表示中心块T中像素的坐标。
[0031] 优选地，所述步骤2包括如下步骤：
[0032] 步骤2.1：构建当前帧前后n帧的平均值
[0033]
[0034] 其中，k表示第k帧图像，Nk是一个偶数，表示当前帧前后共2n帧的数目，f(i,j,k-n)表示原始序列图像中的第(k-n)帧图像；
[0035] 步骤2.2：构建当前帧前后n帧的方差
[0036]
[0037] 其中，fi表示在共Nk帧的图像中的第i帧原图；
[0039] TLC(i,j,k)＝ST(i,j,k-1)×ST(i,j,k)×ST(i,j,k+1)。
[0040] 优选地，所述步骤3包括如下步骤：
[0041] 步骤3.1：构建归一化空域局部对比度
[0042]
[0043] 其中，maxi,j{SLC(i,j,k)}表示经空域局部对比度滤波后的结果图像的像素最大值；
[0044] 步骤3.2：构建归一化时域局部对比度
[0045]
[0046] 其中，maxi,j{TLC(i,j,k)}表示经时域局部对比度滤波后的结果图像的像素最大值；
[0047] 步骤3.3：融合空域局部对比度与时域局部对比度
[0048]
[0049] 归一化后的结果，幅值将体现在同一量级，通过融合空域与时域的检测结果，最终实现红外弱小目标检测。
[0050] 综上所述，由于采用了上述技术方案，本发明的有益效果是：
[0051] 1.本发明在空域局部对比度滤波处理上增加了中心块均值的平方项，有效增强目标对比度，抑制杂乱背景，实现粗检测以抑制云层边缘；
[0052] 2.本发明在时域局部对比度滤波上采用了帧间方差的处理，能有效去除细小边缘区域，实现精细检测；
[0053] 因为红外弱小目标检测主要是用于军方导弹系统的检测与
跟踪，因此图像上一般都会有各式各样的云层干扰，若要去除背景，检测目标，需要去除大面积的云层，以及细碎的云层，时域上采用的帧间方差方法，去除细碎边缘，实现精细检测，空域上实现粗检测，两者结合，最终达到检测红外弱小目标的效果。
[0054] 3.本发明提取空域局部对比度滤波实现粗糙检测与时域滤波实现精细检测的优点，采用乘性法则将二者融合，以达到增强目标对比度，抑制背景杂波的目的。实现红外弱小目标的检测；本发明创造性的结合二者，时域上利用帧间方差抑制噪声，补偿空域难以抑制噪声的缺点。空域上利用云层边缘的抑制，补偿时域上由于云层漂移造成的云层边缘无法去除的缺点。
[0055] 4.本发明在时域局部对比度滤波上采用连续相邻帧的方差的乘积方法，能有效消除随机噪声，对于噪声严重的图像，其检测结果明显优于其他空时滤波检测方法。
附图说明
[0056] 为了更清楚地说明本发明
实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0058] 图2为红外弱小目标原始
图像序列一的检测结果；
[0059] 其中，(a)表示红外弱小目标原始图像序列一的第二帧原始图像；
[0060] (b)表示红外弱小目标原始图像序列一的第二帧原始图像的三维图像；
[0061] (c)为本发明由图1计算出的空域滤波后的该帧图像的检测结果；
[0062] (d)为本发明由图1计算出的时域滤波后的该帧图像的检测结果；
[0063] (e)为本发明由1计算出的空时滤波融合后的该帧图像的检测结果；
[0064] (f)为本发明由1计算出的空时滤波融合后的该帧图像的检测结果图像的三维图像；
[0065] 图3为红外弱小目标原始图像序列二的第五帧原始图像检测结果，(a)-(f)同上；
[0066] 图4为红外弱小目标原始图像序列三的第五帧原始图像检测结果，(a)-(f)同上；
具体实施方式
[0067] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
[0068] 因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的
选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0069] 需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0070] 以下结合实施例对本发明的特征和性能作进一步的详细描述。
[0071] 实施例1
[0072] 现有方法存在场景鲁棒性不高以及很难兼顾检测精度与检测速度的问题，使得算法在不同的复杂场景下，均能取得较高的检测率和较低的虚警率；因此本
申请提出一种结合空间信息与时间信息的方法以克服以上问题，细节如下：
[0073] 一种基于空时联合局部对比度的红外弱小目标检测方法，包括如下步骤：
[0074] 步骤1：在空间上建立3×3大小的滑动窗口，遍历原始序列图像的第k帧图像，通过空域滤波得到第k帧图像的空域局部对比度(Spatial Local Contrast,SLC)响应图；
[0075] 通常情况是选取3×3的窗口，其他尺寸5×5,7×7研究意义不大，因为最外边像素离中心较远，2×2,4×4这样的尺寸是不可取的，因为没有中心位置的块。分析的是小目标点与周围的与之相邻的背景的像素差异，一个目标点周围的背景，上下左右4个方位，对角线上4 个方位，共8个方位的背景块即可将其包围，加上中心的目标位置的块，一共9块，故选用3×3。
[0076] 步骤2：通过计算连续帧图像的方差值St，再结合相邻三帧图像的方差值图像，通过时域滤波得到第k帧图像的时域局部对比度(Temporal Local Contrast,TLC)响应图；
[0077] 步骤3：分别将空域检测结果与时域检测结果作归一化处理，并采用融合方式将二者结合，得到第k帧图像的空时联合局部对比度(Spatial Temporal Combine Local Contrast, STCLC)响应。
[0078] 本发明结合空域局部对比度滤波与时域局部对比度滤波对灰度图像(原始图像)I进行检测，通过空域局部对比度滤波对原始图像实现粗糙检测，在空域局部对比度滤波处理上增加了中心块均值的平方项 ，抑制杂乱背景，实现粗检测以抑制云层边缘。通过时域局部对比度滤波对原始图像实现精细检测，采用连续相邻帧的方差的乘积，能有效减少随机噪声的干扰，去除细小
破碎边缘等微小杂波。提取空域局部对比度滤波实现粗糙检测与时域局部对比度滤波实现精细检测的优点，采用乘性法则将二者融合，以达到增强目标对比度，抑制背景杂波的目的。最终实现目标对比度的增强与背景杂波的抑制，取得较高检测率与较低虚警率，并提高场景鲁棒性。
[0079] 实施例2
[0080] 基于实施例1，细化本方法中考虑如何进行空域局部对比度滤波，时域局部对比度滤波以及二者的融合方法等问题，细节如下：
[0081] 如流程图所示，步骤1包括以下步骤：
[0082] 步骤1.1：构建3×3大小的滑动窗口；
[0083] 步骤1.2：中心块T的均值表示为
[0084]
[0085] 其中，s*s表示中心块T的尺寸，滑动窗的尺寸为中心块的三倍大小，(m,n)表示中心块T 的中心像素的坐标，(i,j)表示中心块T中像素的坐标，k表示第k帧图像；
[0086] 对于滑动窗的尺寸为中心块的三倍大小，中心块T的尺寸可以按照目标的大小来调整。则整个滑动窗口的大小应与中心块T的大小保持整体扩大的尺寸。在该中心块上下左右4 个方向，对角线上四个方向，加上中心块共9块，因此是其三倍大小。8个背景块的尺寸应该和中心块的尺寸一样大，方便计算比较特征。如果选5×5共25块，最外层一圈和中心块相距较远，没有研究意义。
[0087] 步骤1.3：构建背景块与中心块T的差异测量
[0088]
[0089] 其中， 表示第i个背景块的均值；
[0090] 步骤1.4：构建方向异质性测量
[0091]
[0092] 其中， 表示在第i个方向上的中心块T与周围块的异质性测量，通过计算四个方向的异质性测量，进一步体现目标与背景的差异；
[0093] 步骤1.5：构建片间异质性测量
[0094]
[0095] 其中，(x,y)表示中心块T的中心像素的坐标，k表示当前正在计算的第k帧图像，的作用是增强对比度，当中心滑块恰好在目标点处时， 的值较大，反之， 的值较小，以达到保留并增强目标，抑制背景的作用；
[0096] 步骤1.6：构建空域局部对比度测量
[0097]
[0098] 其中，L表示不同的尺度个数，Cl表示第l个尺度上的片间异质性测量，p＝1:p1，q＝1:q1， p1和q1分别为滑动窗口各自尺度上的行与列，C(p,q,k)表示的是不同尺度时，用p,q表示中心块T中像素的坐标。
[0099] 步骤2包括如下步骤：
[0100] 步骤2.1：构建当前帧前后n帧的平均值
[0101]
[0102] 其中，k表示第k帧图像，Nk是一个偶数，表示当前帧前后共2n帧的数目，f(i,j,k-n)表示原始序列图像中的第(k-n)帧图像；
[0103] 步骤2.2：构建当前帧前后n帧的方差
[0104]
[0105] 其中，fi表示在共Nk帧的图像中的第i帧原图；
[0106] 步骤2.3：构建时域局部对比度测量
[0107] TLC(i,j,k)＝ST(i,j,k-1)×ST(i,j,k)×ST(i,j,k+1)。
[0108] 步骤3包括如下步骤：
[0109] 步骤3.1：构建归一化空域局部对比度
[0110]
[0111] 其中，maxi,j{SLC(i,j,k)}表示经空域局部对比度滤波后的结果图像的像素最大值；
[0112] 步骤3.2：构建归一化时域局部对比度
[0113]
[0114] 其中，maxi,j{TLC(i,j,k)}表示经时域局部对比度滤波后的结果图像的像素最大值；
[0115] 步骤3.3：融合空域局部对比度与时域局部对比度
[0116]
[0117] 归一化后的结果，幅值将体现在同一量级，通过融合空域与时域的检测结果，最终实现红外弱小目标检测。
[0118] 在空域局部对比度滤波处理上增加了中心块均值的平方项，抑制杂乱背景，实现粗检测以抑制云层边缘。在时域局部对比度滤波上采用了帧间方差的处理，能有效去除细小边缘区域，实现精细检测。提取空域局部对比度滤波实现粗糙检测与时域局部对比度滤波实现精细检测的优点，采用乘性法则将二者融合，以达到增强目标对比度，抑制背景杂波的目的，实现红外弱小目标的检测。在时域局部对比度滤波上采用连续相邻帧的方差的乘积，能有效消除随机噪声，对于噪声严重的图像，其检测结果明显优于其他空时滤波检测方法。
[0119] 综上，本发明解决现有方法对红外弱小目标检测准确率不高，场景鲁棒性不强，未充分利用空间信息和时间信息的问题，如图3所示，本方法检测出的结果，有效抑制背景杂波，如大面积云层杂波，细小碎边缘云层杂波等；如图2和图4所示，本方法检测出的结果，能有效去除随机噪声，实现强噪声场景下的弱小目标检测；本方法的检测结果，增强了目标对比度，抑制了背景杂波与噪声，提高了场景鲁棒性，实现红外弱小目标检测。
[0120] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何
修改、等同替换和改进等，均应包含在本发明的保护范围之内。
