首页 / 专利库 / 多媒体工具与应用 / 静态图像压缩标准 / 一种基于混合多尺度分析的红外与可见光图像融合算法

一种基于混合多尺度分析的红外与可见光图像融合算法

阅读:779发布:2020-05-26

专利汇可以提供一种基于混合多尺度分析的红外与可见光图像融合算法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于混合多尺度分析的红外与可见光图像融合 算法 ,包括如下步骤:步骤1:对红外与可见光图像进行NSCT分解,得到低频子带与高频子带;步骤2:对低频子带采用静态 小波变换 ,得到一个低频子带和三个高频子带,分别采用局部 能量 与绝对值取大相结合和 压缩 感知 理论对低、高频子带进行融合;步骤3:判断待融合图像的清晰度,根据判决准则选取LSCN的增强层数;步骤4:对最高层高频子带采用绝对值取大的融合规则,其余子带采用改进PCNN模型进行融合;步骤5:对融合结果进行NSCT逆变换,得到最终的融合图像。本发明得到的融合图像边缘突出, 对比度 高,目标突出,算法的平均梯度、空间 频率 等指标均高于 现有技术 。,下面是一种基于混合多尺度分析的红外与可见光图像融合算法专利的具体信息内容。

1.一种基于混合多尺度分析的红外与可见光图像融合算法,其特征在于:包括如下步骤:
步骤1:对红外与可见光图像分别进行NSCT分解,得到低频子带LJ(x,y)与高频子带Hj,r(x,y),其中J为分解层数,j、r代表分解尺度和方向数;
步骤2:对低频子带采用静态小波变换,得到一个低频子带和三个高频子带,分别采用局部能量与绝对值取大相结合和压缩感知理论对低、高频子带进行融合,再进行小波逆变换得到NSCT重构的低频子带;
步骤3:判断待融合图像的清晰度,根据判决准则选取LSCN的增强层数;
步骤4:对最高层高频子带采用绝对值取大的融合规则,其余子带采用改进PCNN模型进行融合;
步骤5:将融合得到的低频子带和高频子带进行NSCT逆变换,得到最终的融合图像。
2.根据权利要求1所述的基于混合多尺度分析的红外与可见光图像融合算法,其特征在于:在步骤2中,所述采用局部能量与绝对值取大相结合和压缩感知理论对低频子带进行融合,其具体方法如下:
式中EN为局部区域能量,其定义为:
3.根据权利要求1所述的基于混合多尺度分析的红外与可见光图像融合算法,其特征在于:在步骤2中,所述采用局部能量与绝对值取大相结合和压缩感知理论对高频子带进行融合,其具体步骤如下:
1)将大小为m×n的高频子带图像 和 分解成互不重叠且大小相同的
,其中j=1,2,3,使用sym8小波基对每一块子块图像进行稀疏化;
2)设计测量矩阵Φ,应用测量矩阵对输入的高频子带系数进行测量采样,得到测量向量 和 其中k=1,2,...,m×n;
3)计算测量向量 和 的标准差SDk与清晰度EAVk,采用基于区域标准差、区域清晰度和S函数相结合的融合规则,得到融合的测量向量,即:
图像标准差公式为:
其中
图像清晰度公式为:
加权系数ω通过S函数得到,采用的S函数为:
其中,
f为S函数的收缩因子,并且f大于等于1,取f=5;
4)对融合的测量向量 进行稀疏重建,重建算法采用OMP,从而得到融合图像的高频子带
将得到的SWF与 进行静态小波重构得到最终用于NSCT重构的低频子带。
4.根据权利要求1所述的基于混合多尺度分析的红外与可见光图像融合算法,其特征在于:在步骤3中,具体方法如下:
图像清晰度公式为:
根据式(8)计算图像清晰度并将其与阈值λ比较,根据比较结果决定高频系数增强的层数,即:
其中J为分解层数,S为源图像的综合清晰度,取α1=α2=0.5,λ=27。
5.根据权利要求1所述的基于混合多尺度分析的红外与可见光图像融合算法,其特征在于:在步骤4中,具体融合规则如下:
为了提高图像的视觉观感,对除最高层高频子带n以外的其余子带,采用改进的PCNN模型进行融合,通过比较PCNN神经元的点火幅度之和来确定融合系数,即:
其中Mij(n)为PCNN输出的脉冲点火幅度总和,j=1,2,...,n-1,ε为自定义阈值,取ε=
0.002;
由于传统PCNN的输出采用硬限幅函数,不能反映出神经元点火的幅度差异,采用Sigmoid函数作为PCNN的输出,可以更好的刻画同步脉冲激发时在点火幅度上的差异,PCNN的输出定义如下:
为了更好地表示图像的边缘信息,选用改进的拉普拉斯能量SML和局部空间频率分别作为PCNN的外部输入和链接系数;
SML定义如下:
空间频率为:
其中RF,CF,MDF和SDF分别表示行频率、列频率、主对频率和副对角频率,其公式如下:

说明书全文

一种基于混合多尺度分析的红外与可见光图像融合算法

技术领域

[0001] 本发明属于图像处理技术领域,具体涉及一种基于混合多尺度分析的红外与可见光图像融合算法。

背景技术

[0002] 基于小波变换的图像融合方法是一种经典的融合算法,但小波只能表示各向同性的物体,对于图像中线、边缘等特征,小波不是一种理想的表示工具。 Contourlet在图像融合中的应用较为广泛,通过对图像的多尺度,多方向分解, Contourlet能够很好的捕捉到图像中的细节特征,弥补了小波这方面的不足。但由于Contourlet变换中采用了降采样操作,使其不具备平移不变性,在图像处理中容易产生伪吉布斯现象。
[0003] A.L.Cunha等提出的非采样Contourlet变换(nonsubsampled Contourlet transform,NSCT)具备平移不变性,能够充分地保留图像的有效信息,产生更好的融合效果,但还存在着低频部分图像稀疏性较差,不利于特征提取等问题。

发明内容

[0004] 针对现有技术的不足,本发明所解决的问题是如何解决红外与可见光图像融合中存在的对比度不高,边缘信息保留不够充分等问题。
[0005] 为解决上述技术问题,本发明采用的技术方案是一种基于混合多尺度分析的的红外与可见光图像融合算法,包括如下步骤:
[0006] 步骤1:对红外与可见光图像分别进行NSCT分解,得到低频子带LJ(x,y)与高频子带Hj,r(x,y),其中J为分解层数,j、r代表分解尺度和方向数。
[0007] 步骤2:对低频子带采用静态小波变换,得到一个低频子带和三个高频子带,分别采用局部能量与绝对值取大相结合和压缩感知理论对低、高频子带进行融合,再进行小波逆变换得到NSCT重构的低频子带。
[0008] 所述采用局部能量与绝对值取大相结合和压缩感知理论对低频子带进行融合,其具体方法如下:
[0009]
[0010] 式中EN为局部区域能量,其定义为:
[0011]
[0012] 所述采用局部能量与绝对值取大相结合和压缩感知理论对高频子带进行融合,其具体步骤如下:
[0013] 1)将大小为m×n的高频子带图像 和 分解成互不重叠且大小相同的子,其中j=1,2,3,使用sym8小波基对每一块子块图像进行稀疏化;
[0014] 2)设计测量矩阵Φ,应用测量矩阵对输入的高频子带系数进行测量采样,得到测量向量 和 其中k=1,2,...,m×n;
[0015] 3)计算测量向量 和 的标准差SDk与清晰度EAVk,采用基于区域标准差、区域清晰度和S函数相结合的融合规则,得到融合的测量向量,即:
[0016]
[0017] 图像标准差公式为:
[0018]
[0019] 其中
[0020] 图像清晰度公式为:
[0021]
[0022] 加权系数ω通过S函数得到,采用的S函数为:
[0023]
[0024] 其中,
[0025]
[0026] f为S函数的收缩因子,并且f大于等于1,取f=5;
[0027] 4)对融合的测量向量 进行稀疏重建,重建算法采用OMP,从而得到融合图像的高频子带
[0028] 将得到的SWF与 进行静态小波重构得到最终用于NSCT重构的低频子带。
[0029] 步骤3:判断待融合图像的清晰度,根据判决准则选取LSCN的增强层数,其具体方法如下:
[0030] 图像清晰度公式为:
[0031]
[0032] 根据式(8)计算图像清晰度并将其与阈值λ比较,根据比较结果决定高频系数增强的层数,即:
[0033]
[0034] 其中J为分解层数,S为源图像的综合清晰度,取α1=α2=0.5,λ=27。
[0035] 步骤4:对最高层高频子带采用绝对值取大的融合规则,其余子带采用改进 PCNN模型进行融合,具体融合规则如下:
[0036]
[0037] 为了提高图像的视觉观感,对除最高层高频子带n以外的其余子带,采用改进的PCNN模型进行融合,通过比较PCNN神经元的点火幅度之和来确定融合系数,即:
[0038]
[0039] 其中Mij(n)为PCNN输出的脉冲点火幅度总和,j=1,2,...,n-1,ε为自定义阈值,取ε=0.002。
[0040] 由于传统PCNN的输出采用硬限幅函数,不能反映出神经元点火的幅度差异,本发明采用Sigmoid函数作为PCNN的输出,可以更好的刻画同步脉冲激发时在点火幅度上的差异,PCNN的输出定义如下:
[0041]
[0042] 为了更好地表示图像的边缘信息,选用改进的拉普拉斯能量(SML)和局部空间频率分别作为PCNN的外部输入和链接系数。SML定义如下:
[0043]
[0044] 空间频率为:
[0045]
[0046] 其中RF,CF,MDF和SDF分别表示行频率、列频率、主对频率和副对角频率,其公式如下:
[0047]
[0048] 步骤5:将融合得到的低频子带和高频子带进行NSCT逆变换,得到最终的融合图像。
[0049] 采用本发明的技术方案得到的融合图像边缘突出,对比度和亮度较高,目标突出,算法的平均梯度、空间频率、标准差和信息熵均高于现有技术的方法,既有效的保留了红外目标,又能有效地获取了源图像的空间域信息,得到了较好的融合效果。附图说明
[0050] 图1为本发明流程图
[0051] 图2为实施例一源红外图像;
[0052] 图3为实施例一源可见光图像;
[0053] 图4为实施例一文献6得到的融合图像;
[0054] 图5为实施例一文献8得到的融合图像;
[0055] 图6为实施例一文献12得到的融合图像;
[0056] 图7为实施例一本发明算法得到的融合图像;
[0057] 图8为实施例二源红外图像;
[0058] 图9为实施例二源可见光图像;
[0059] 图10为实施例二文献6得到的融合图像;
[0060] 图11为实施例二文献8得到的融合图像;
[0061] 图12为实施例二文献12得到的融合图像;
[0062] 图13为实施例二本发明算法得到的融合图像。

具体实施方式

[0063] 下面结合附图和实施例对本发明的具体实施方式作进一步的说明,但不是对本发明的限定。
[0064] 图1示出了本发明流程,一种基于混合多尺度分析的红外与可见光图像融合算法,包括如下步骤:
[0065] 步骤1:对红外与可见光图像分别进行NSCT分解,得到低频子带LJ(x,y)与高频子带Hj,r(x,y),其中J为分解层数,j、r代表分解尺度和方向数。
[0066] 步骤2:对低频子带采用静态小波变换,得到一个低频子带和三个高频子带,分别采用局部能量与绝对值取大相结合和压缩感知理论对低、高频子带进行融合,再进行小波逆变换得到NSCT重构的低频子带。
[0067] 所述采用局部能量与绝对值取大相结合和压缩感知理论对低频子带进行融合,其具体方法如下:
[0068]
[0069] 式中EN为局部区域能量,其定义为:
[0070]
[0071] 所述采用局部能量与绝对值取大相结合和压缩感知理论对高频子带进行融合,其具体步骤如下:
[0072] 1)将大小为m×n的高频子带图像 和 分解成互不重叠且大小相同的子块,其中j=1,2,3,使用sym8小波基对每一块子块图像进行稀疏化;
[0073] 2)设计测量矩阵Φ,应用测量矩阵对输入的高频子带系数进行测量采样,得到测量向量 和 其中k=1,2,...,m×n;
[0074] 3)计算测量向量 和 的标准差SDk与清晰度EAVk,采用基于区域标准差、区域清晰度和S函数相结合的融合规则,得到融合的测量向量,即:
[0075]
[0076] 图像标准差公式为:
[0077]
[0078] 其中
[0079] 图像清晰度公式为:
[0080]
[0081] 加权系数ω通过S函数得到,采用的S函数为:
[0082]
[0083] 其中,
[0084]
[0085] f为S函数的收缩因子,并且f大于等于1,取f=5;
[0086] 4)对融合的测量向量 进行稀疏重建,重建算法采用OMP,从而得到融合图像的高频子带
[0087] 将得到的SWF与 进行静态小波重构得到最终用于NSCT重构的低频子带。
[0088] 步骤3:判断待融合图像的清晰度,根据判决准则选取LSCN的增强层数,其具体方法如下:
[0089] 图像清晰度公式为:
[0090]
[0091] 根据式(8)计算图像清晰度并将其与阈值λ比较,根据比较结果决定高频系数增强的层数,即:
[0092]
[0093] 其中J为分解层数,S为源图像的综合清晰度,取α1=α2=0.5,λ=27。
[0094] 步骤4:对最高层高频子带采用绝对值取大的融合规则,其余子带采用改进 PCNN模型进行融合,具体融合规则如下:
[0095]
[0096] 为了提高图像的视觉观感,对除最高层高频子带n以外的其余子带,采用改进的PCNN模型进行融合,通过比较PCNN神经元的点火幅度之和来确定融合系数,即:
[0097]
[0098] 其中Mij(n)为PCNN输出的脉冲点火幅度总和,j=1,2,...,n-1,ε为自定义阈值,取ε=0.002。
[0099] 由于传统PCNN的输出采用硬限幅函数,不能反映出神经元点火的幅度差异,本发明采用Sigmoid函数作为PCNN的输出,可以更好的刻画同步脉冲激发时在点火幅度上的差异,PCNN的输出定义如下:
[0100]
[0101] 为了更好地表示图像的边缘信息,选用改进的拉普拉斯能量(SML)和局部空间频率分别作为PCNN的外部输入和链接系数。SML定义如下:
[0102]
[0103] 空间频率为:
[0104]
[0105] 其中RF,CF,MDF和SDF分别表示行频率、列频率、主对角频率和副对角频率,其公式如下:
[0106]
[0107] 步骤5:将融合得到的低频子带和高频子带进行NSCT逆变换,得到最终的融合图像。
[0108] 红外图像记录了目标物体的红外辐射信息,对低照度下或者伪装的目标有较强的识别能,但它对亮度变化不够敏感。可见光图像受光照影响的程度较大,能提供目标场景的细节信息。因此将红外与可见光图像进行融合,可以结合各自优势,获得一幅背景清晰,目标突出的互补图像,从而有利于观察者对该场景进行更加准确、全面的描述。
[0109] 第一,第二实施例的实验数据如下:
[0110] 图2为第一实施例的源红外图像,图3为第一实施例的源可见光图像,图4 的数据为表1的文献6,图5的数据为表1的文献8,图6的数据为表1的文献 12,图7的数据为表1的本发明算法。
[0111] 图8为第二实施例的源红外图像,图9为第二实施例的源可见光图像,图 10的数据为表2的文献6,图11的数据为表2的文献8,图12的数据为表2的文献12,图13的数据为表2的本发明算法。
[0112] 客观评价分析,从表1,2中可以看出本实施例提出的方法各项评价指标都优于其它方法,由以上得知本实施例融合效果更符合人类的视觉感知。
[0113] 表1第一组图像融合结果评价:
[0114]
[0115]
[0116] 表2第二组图像融合结果评价:
[0117]
[0118] 采用本发明的技术方案得到的融合图像边缘突出,对比度和亮度较高,目标突出,算法的平均梯度、空间频率、标准差和信息熵均高于现有技术的方法,既有效的保留了红外目标,又能有效地获取了源图像的空间域信息,得到了较好的融合效果。
[0119] 以上结合附图对本发明的实施方式做出了详细说明,但本发明不局限于所描述的实施方式。对于本领域技术人员而言,在不脱离本发明的原理和精神的情况下,对这些实施方式进行各种变化、修改、替换和变型仍落入本发明的保护范围内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈