技术领域
[0001] 本
申请属于图像融合技术领域，具体涉及一种红外融合边缘增强方法。
背景技术
[0002] 在军事和民用领域的红外成像系统中，红外视频图像因具有隐蔽性好、抗
电子干扰强、全天候工作等特点，被广泛应用于目标识别、目标
跟踪、遥感成像、智能交通和安全监控等领域。但红外图像受环境
辐射特性、探测器设备噪声以及热辐射衰减特性等因素的影响，存在
信噪比降低、
对比度差、纹理细节模糊、动态范围减小等缺点，严重制约了红外成像系统的后期功能应用。
[0003] 为了消除各种因素带来的负面效应，改善红外图像
质量，红外增强方法具有重要的研究价值，逐渐成为
计算机视觉领域的热点问题。但是
现有技术中的红外增强方法往往只能单方面进行增强，面对
亮度信息和边缘细节信息无法做到兼顾，使得红外增强处理后的图像容易丢失部分信息，影响了后期使用。
发明内容
[0004] 本申请的目的在于提供一种红外融合边缘增强方法，在多尺度空间上使图像具有更丰富的边缘细节信息，并且提高图像的亮度，便于后期从图像中获取更多有效信息。
[0005] 为实现上述目的，本申请所采取的技术方案为：
[0006] 一种红外融合边缘增强方法，所述红外融合边缘增强方法，包括：
[0007] 步骤1、获取原始红外图像，并采用图像增强
算法对所述原始红外图像进行处理得到第一增强图像；
[0008] 步骤2、采用灰度梯度映射函数对第一增强图像进行自适应增强处理得到第二增强图像；
[0009] 步骤3、采用多尺度融合方法对所述第一增强图像和第二增强图像进行自适应加权合并增强，得到红外融合图像；
[0010] 步骤4、对所述红外融合图像进行高斯模糊滤波处理和差值处理，分别得到红外融合图像的低频分量和高频分量；
[0011] 步骤5、计算所述红外融合图像的全局均方差和局部窗口均方差，并将全局均方差和局部窗口均方差的比值作为高频分量的自适应权重系数；
[0012] 步骤6、将低频分量和利用所述自适应权重系数加权后的高频分量进行融合增强，输出最终的红外融合边缘增强图像。
[0013] 作为优选，所述图像增强算法为MSR算法，所述MSR算法的数学模型如下：
[0014]
[0015] Rn(x,y)＝logS(x,y)-log[Gn(x,y)*S(x,y)]
[0016] 其中，N为尺度个数，wn为单一尺度n对应的权值，S(x,y)为原始输入图像，Gn(x,y)为第n个尺度因子的高斯模糊函数，Rn(x,y)为第n个尺度因子的SSR输出图像，R(x,y)为MSR算法的输出图像。
[0017] 作为优选，所述N取值为3，wn＝1/3，且3个尺度的尺度因子分别为30、150、300。
[0018] 作为优选，所述灰度梯度映射函数的输出灰度级范围的中间值为第一增强图像的灰度级最大值的0.05倍。
[0019] 作为优选，所述采用多尺度融合方法对所述第一增强图像和第二增强图像进行自适应加权合并增强，得到红外融合图像，包括：
[0020] 步骤3.1、采用离散
小波变换分别对第一增强图像和第二增强图像进行多尺度分解：
[0021]
[0022] 其中，I1(x,y)表示第一增强图像，I2(x,y)表示第二增强图像，DWT()表示
离散小波变换函数， 表示第一增强图像多尺度分解后的子带图像， 表示第二增强图像多尺度分解后的子带图像；
[0023] 步骤3.2、对步骤3.1分解得到的两个子带图像进行融合处理：
[0024]
[0025]
[0026]
[0027] 其中， 表示两个子带图像融合处理后得到的子带融合图像，w1和w2为权值系数；
[0028] 步骤3.3、对步骤3.2中得到的子带融合图像进行多尺度逆变换处理，得到红外融合图像。
[0029] 作为优选，所述将低频分量和利用所述自适应权重系数加权后的高频分量进行融合增强，输出最终的红外融合边缘增强图像，包括：
[0030] f(x,y)＝mx(x,y)+η×[IFusion(x,y)-mx(x,y)]
[0031] mx(x,y)＝IFusion(x,y)*G(x,y)
[0032] 其中，f(x,y)表示最终的红外融合边缘增强图像，mx(x,y)表示低频分量，IFusion(x,y)表示红外融合图像，IFusion(x,y)-mx(x,y)表示高频分量，η为自适应权重系数，G(x,y)表示高斯模糊函数。
[0033] 作为优选，所述局部窗口均方差为基于3x3窗口的均方差。
[0034] 本申请提供的红外融合边缘增强方法，采用图像增强算法得到提高亮度信息后的第一增强图像，利用灰度梯度映射函数提高第一增强图像的边缘细节信息，并且利用多尺度融合方法对第一增强图像和第二增强图像进行融合后，可进一步改善图像的亮度、对比度和清晰度，并且对融合后的图像进行高频、低频分量拆分，在赋予权重后重新合并，以进一步丰富图像的细节信息，使得最终得到的图像具有更丰富的边缘细节信息，并且具有较高的图像亮度。
附图说明
[0035] 图1为本申请的红外融合边缘增强方法的流程
框图；
[0036] 图2a为
实施例1中第一场景的原始红外图像效果图；
[0037] 图2b为实施例1中第一场景的SSR增强效果图；
[0038] 图2c为实施例1中第一场景的MSR增强效果图；
[0039] 图2d为实施例1中第一场景的AMSR增强效果图；
[0040] 图2e为实施例1中第一场景的基于本实施例的MAFE红外融合增强效果图；
[0041] 图2f为实施例1中第一场景基于本实施例的红外融合边缘增强方法处理后的效果图；
[0042] 图3a为实施例1中第二场景的原始红外图像效果图；
[0043] 图3b为实施例1中第二场景的SSR增强效果图；
[0044] 图3c为实施例1中第二场景的MSR增强效果图；
[0045] 图3d为实施例1中第二场景的AMSR增强效果图；
[0046] 图3e为实施例1中第二场景的基于本实施例的MAFE红外融合增强效果图；
[0047] 图3f为实施例1中第二场景基于本实施例的红外融合边缘增强方法处理后的效果图。
具体实施方式
[0048] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0049] 除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的
说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。
[0050] 其中一个实施例中，提供一种红外融合边缘增强方法，用于对红外图像的边缘细节信息和亮度信息进行改善，以得到质量更高的红外图像。
[0051] 如图1所示，本实施例的红外融合边缘增强方法，包括：
[0052] 步骤1、获取原始红外图像，并采用图像增强算法对所述原始红外图像进行处理得到第一增强图像。
[0053] 本实施例中采用的图像增强算法为Retinex(Multi-scale Retinex,MSR)算法。现有技术中存在多种方法对图像的照度分量进行估计，其中多尺度MSR算法是最典型的方法之一。而MSR增强算法最为经典的就是3尺度，既能实现图像动态范围的压缩，又能保持一定的细节信息。MSR算法的数学模型如下：
[0054]
[0055] Rn(x,y)＝logS(x,y)-log[Gn(x,y)*S(x,y)] (2)
[0056] 其中，N为尺度个数，一般为3；wn为单一尺度n对应权值，且 一般取wn＝1/3；S(x,y)为原始输入图像；Gn(x,y)为第n个尺度因子的高斯模糊函数；Rn(x,y)为第n个尺度因子的SSR输出,R(x,y)为MSR算法的输出图像。
[0057] 本实施例中采用3尺度MSR算法，且MSR算法的尺度因子分别取30，150，300，以得到较优的处理效果，降低
颜色扭曲或纹理不清晰的可能性。
[0058] 步骤2、采用灰度梯度映射函数对第一增强图像进行自适应增强处理得到第二增强图像。
[0059] 传统的MSR算法对原始红外图像增强后，灰度范围变大，会超出显示器的动态范围，自适应的MSR(AMSR)首先利用多尺度高斯尺度函数对原始红外图像进行计算估计多尺度的照度分量，然后根据MSR算法计算得到亮度分量，最后通过自适应映射函数调整亮度分量的动态范围，得到最终的增强图像。
[0060] 本实施例采用灰度梯度映射函数对第一增强图像进行处理，相当于采用AMSR算法对原始红外图像进行处理得到第二增强图像。本实施例中采用的灰度梯度映射函数为：
[0061]
[0062] 其中，Iin、Imean和Iout分别为MSR算法处理后的灰度值、均值和映射输出后的灰度值；Imax、Imin分别是MSR算法处理后的灰度值上下限；ωmax，ωmid表示输出的动态范围最大值和中间值，本实施例取ωmid＝0.05×ωmax。
[0063] 并且灰度梯度映射函数的输出灰度级范围的中间值为第一增强图像的灰度级最大值的0.05倍。
[0064] 步骤3、采用多尺度融合方法对所述第一增强图像和第二增强图像进行自适应加权合并增强，得到红外融合图像。
[0065] 步骤3.1、采用离散小波变换分别对第一增强图像和第二增强图像进行多尺度分解：
[0066]
[0067] 其中，I1(x,y)表示第一增强图像，I2(x,y)表示第二增强图像，DWT()表示离散小波变换函数， 表示第一增强图像多尺度分解后的子带图像， 表示第二增强图像多尺度分解后的子带图像；
[0068] 步骤3.2、对步骤3.1分解得到的两个子带图像进行融合处理：
[0069]
[0070]
[0071]
[0072] 其中， 表示两个子带图像融合处理后得到的子带融合图像，w1和w2为权值系数；
[0073] 步骤3.3、对步骤3.2中得到的子带融合图像进行多尺度逆变换处理，得到红外融合图像。
[0074] 本实施例提供的多尺度融合方法根据两个子带图像确定各自的权值系数，可进一步改善红外图像的亮度、对比度和清晰度。
[0075] 步骤4、对所述红外融合图像进行高斯模糊滤波处理和差值处理，分别得到红外融合图像的低频分量和高频分量。
[0076] 本实施例中采用的高斯模糊函数为：
[0077]
[0078] 首先利用高斯模糊函数对红外融合图像进行处理获取低频分量，再利用红外融合图像对低频分量进行差值处理，得到高频分量。
[0079] 步骤5、计算所述红外融合图像的全局均方差和局部窗口均方差，并将全局均方差和局部窗口均方差的比值作为高频分量的自适应权重系数。
[0080] 为了得到较优的自适应权重系数，本实施例的局部窗口均方差为基于3x3窗口的均方差。
[0081] 步骤6、将低频分量和利用所述自适应权重系数加权后的高频分量进行融合增强，输出最终的红外融合边缘增强图像。
[0082] 具体采用以下公式实现：
[0083] f(x,y)＝mx(x,y)+η×[IFusion(x,y)-mx(x,y)] (9)
[0084] mx(x,y)＝IFusion(x,y)*G(x,y) (10)
[0085] 其中，f(x,y)表示最终的红外融合边缘增强图像，mx(x,y)表示低频分量，IFusion(x,y)表示红外融合图像，IFusion(x,y)-mx(x,y)表示高频分量，η为权重，G(x,y)表示高斯模糊函数。
[0086] 本实施例提供的红外融合边缘增强方法，采用图像增强算法得到提高亮度信息后的第一增强图像，利用灰度梯度映射函数提高第一增强图像的边缘细节信息，并且利用多尺度融合方法对第一增强图像和第二增强图像进行融合后，可进一步改善图像的亮度、对比度和清晰度，并且对融合后的图像进行高频、低频分量拆分，在赋予权重后重新合并，以进一步丰富图像的细节信息，使得最终得到的图像具有更丰富的边缘细节信息，并且具有较高的图像亮度。
[0087] 该实施例的红外融合边缘增强方法应用于军事和民用红外成像系统中，更便于观察者或观测设备捕获更多的场景目标信息，对军事战场的态势
感知和民用火情探测、设备维护等具有重要价值。
[0088] 为了更好说明本申请的红外融合边缘增强方法的有效性和可靠性，以下通过实验加以验证。
[0089] 实施例1
[0090] 采用不同的网络红外测试图像作为输入图像，进行不同算法的增强处理和比较，通过主客观评价指标，测试不同算法的红外增强效果。
[0091] 实验中，采用MSR算法作为图像增强算法，同时为了证明本申请的红外融合边缘增强方法优于MSR算法和AMSR算法的简单组合，将本实施例的步骤1～3作为MSR算法和AMSR算法组合得到的MAFE算法，并将MAFE算法作为实验对象之一。
[0092] 图2a～2f为第一场景的实验效果对比图。图2a为某港口舰船的原始红外图像，其
分辨率为968*228，存在清晰度差、对比度低、边缘细节模糊等问题；图2b为SSR算法对原始红外
图像处理后的增强效果图，相比原图，提高了亮度，但是边缘细节信息丢失严重；图2c为MSR算法对原始红外图像处理后的增强效果图，相比原图，提高了亮度，但是对比度一般；图2d图为AMSR算法对原始红外图像处理后的增强效果图，相比原图，
图像对比度提高了，但是亮度变暗，影响人眼的观察；图2e为MAFE算法对原始红外图像处理后的增强效果图，图像的亮度、对比度和清晰度优于SSR算法、MSR算法和AMSR算法，但是图像的边缘效果一般；图
2f为本实施例的红外融合边缘增强方法处理后的增强效果图，对图像的边缘进一步增强，相比于SSR算法、MSR算法、AMSR算法和MAFE算法，红外图像增强效果最佳，即图像的亮度、对比度、清晰度和边缘解析均为最佳。
[0093] 图3a～3f为第二场景的实验效果对比图。图3a为某短波红外相机拍摄的红外房屋图像，分辨率为640*512。由图3b～d观察可得，SSR算法和MSR算法，均不同程度地提高了红外图像的质量，增强了图像的对比度，但依旧存在第一场景中提出的缺点；而AMSR算法虽然凸显了房屋底部的边框，但是严重降低了图像的亮度，影响人眼视觉。相比于3a～d，本文提出的MAFE算法的亮度、对比度和清晰度均有所提高，相比于3a～e，本申请的红外融合边缘增强方法处理后的图像3f中可以更加清晰地观察到房屋的边缘轮廓和远处高山的细节信息，亮度、清晰度和对比度最高，且兼顾了边缘细节信息。
[0094] 以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0095] 以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明
专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干
变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附
权利要求为准。
