一种红外和可见光的融合方法
专利汇可以提供一种红外和可见光的融合方法专利检索，专利查询，专利分析的服务。并且本 发明 提供一种红外和可见光的融合方法，属于 图像处理 和 计算机视觉 领域。本发明采用一对红外双目相机和可见光双目相机获取图像，涉及构建融合图像金字塔与视觉显著增强 算法 ，是一种利用多尺度变换的红外与可见光融合算法。本发明利用双目相机和NVIDIATX2构建高性能运算平台，并构建高性能求解算法以获高 质量 的红外和可见光融合图像。本发明利用红外和可见光相机成像的不同原理，通过设计滤波模板来构建图像金子塔，获取不同尺度下的图像信息后进行图像超分辨与显著增强，最后通过GPU 加速 达到实时。本发明的系统易于构建，分别使用红外立体双目相机和可见光立体双目相机即可完成输入数据的采集；程序简单，易于实现。，下面是一种红外和可见光的融合方法专利的具体信息内容。
1.一种红外和可见光的融合方法，其特征在于，所述融合方法包括以下步骤：
1)获取配准好的红外和可见光图像；
2)对图像进行多尺度金子塔变换，利用设计的滤波模板分别对红外图像和可见光图像进行下卷积下采样；所述的滤波模板获取模式为：
其中，x为邻域内像素其他像素与中心像素的距离；y为邻域内像素其他像素与中心像素的距离；σ为标准差参数；
3)进行基于多尺度金子塔变换的红外图像和可见光图像的细节提取，利用线性差值法获取的图像高频作为融合的细节层；
4)图像色彩空间转换；
5)用滤波卷积细节并对红外及可见光细节图进行筛选；
6)利用图像超分辨进行逆多尺度金子塔变换；
7)色彩空间的还原与色彩增强。
2.根据权利要求1所述的一种红外和可见光的融合方法，其特征在于，所述步骤1)具体包括以下步骤：
1-1)分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自系统的联合标定；
1-2)利用张正友标定法对每台红外双目相机、可见光双目相机分别进行标定，获得每台相机的内部参数和外部参数；所述内部参数包括焦距和主点位置，外部参数包括旋转和平移；
1-3)利用联合标定法获得的外部参数RT及检测的棋盘格角点，计算同一平面在可见光图像与红外图像中的位置关系，并运用单应性矩阵进行可见光图像到红外图像的配准。
3.根据权利要求1或2所述的一种红外和可见光的融合方法，其特征在于，所述步骤4)具体包括如下步骤：
4-1)当可见光图像是RGB三通道，进行RGB色彩空间到HSV色彩空间的转换，具体转换如下所示：
Cmax＝max(R′,G′,B′) (5)
Cmin＝min(R′，G′，B′) (6)
Δ＝Cmax-Cmin (7)
V＝Cmax (8)
其中，R为红色通道，G为绿色通道，B为蓝色通道；R′为色彩空间转换后的红色通道，G′为色彩空间转换后的绿色通道，B′为色彩空间转换后的蓝色通道；Cmax表示R′、G′、B′中最大的值；Cmin表示R′、G′、B′中最小的值；Δ表示R′、G′、B′中最大值与最小值的差；
4-2)提取明度信息V作为可见光的输入，保留色调H、饱和度S到对应的矩阵，为后面融合后的色彩还原保留颜色信息。
4.根据权利要求1或2所述的一种红外和可见光的融合方法，其特征在于，所述步骤5)具体包括如下步骤：
5-1)设计两个3×3的空矩阵，依次从两张图像的起始像素点开始卷积，根据可见光和红外细节图对应点的八邻域像素点进行辨别，对应邻域像素显著性驻点判别，大的取1，小的取0，分别存入对相应的矩阵；依次更新，直到图像的最后一个像素点；
5-2)根据生成矩阵的权重，把红外和可见光图的细节图融合，生成纹理丰富的细节图。
5.根据权利要求3所述的一种红外和可见光的融合方法，其特征在于，所述步骤5)具体包括如下步骤：
5-1)设计两个3×3的空矩阵，依次从两张图像的起始像素点开始卷积，根据可见光和红外细节图对应点的八邻域像素点进行辨别，对应邻域像素显著性驻点判别，大的取1，小的取0，分别存入对相应的矩阵；依次更新，直到图像的最后一个像素点；
5-2)根据生成矩阵的权重，把红外和可见光图的细节图融合，生成纹理丰富的细节图。
6.根据权利要求1、2或5所述的一种红外和可见光的融合方法，其特征在于，所述步骤
6)具体包括如下步骤：
6-1)选取立方卷积差值超分辨算法进行逆多尺度金子塔变换，从下采样最深的子图开始，融合细节图后，超分辨扩大图像到第二深的子图，依次迭代，直到还原到初始图像大小；
当为像素点时，该像素点在竖直和水平方向上与待求像素点的距离分别是1+u和v，则像素点的权重为w＝w(1+u)×w(v)；则
待求像素点的像素值f(i+u,j+v)的计算方法如下：
f(i+u,j+v)＝A×Q×P (9)
其中，A、Q、P为距离生成的矩阵；A＝[w(1+u) w(u) w(1-u) w(2-u)]；
P＝[w(1+v) w(v) w(1-v) w(2-v)]T；
差值核w(x)为：
最后依据像素点的权重与数值求出该像素点在超分辨后对应位置的像素值；
6-2)超分辨的融合图像存入新建的零矩阵中。
7.根据权利要求4所述的一种红外和可见光的融合方法，其特征在于，所述步骤6)具体包括如下步骤：
6-1)选取立方卷积差值超分辨算法进行逆多尺度金子塔变换，从下采样最深的子图开始，融合细节图后，超分辨扩大图像到第二深的子图，依次迭代，直到还原到初始图像大小；
当为像素点时，该像素点在竖直和水平方向上与待求像素点的距离分别是1+u和v，则像素点的权重为w＝w(1+u)×w(v)；则
待求像素点的像素值f(i+u,j+v)的计算方法如下：
f(i+u,j+v)＝A×Q×P (9)
其中，A、Q、P为距离生成的矩阵；A＝[w(1+u) w(u) w(1-u) w(2-u)]；
P＝[w(1+v) w(v) w(1-v) w(2-v)]T；
差值核w(x)为：
最后依据像素点的权重与数值求出该像素点在超分辨后对应位置的像素值；
6-2)超分辨的融合图像存入新建的零矩阵中。
8.根据权利要求1、2、5或7所述的一种红外和可见光的融合方法，其特征在于，所述步骤7)具体包括如下步骤：
7-1)通过把超分辨后的融合图像存入明度信息V进行更新，结合之前保留的色调H和饱和度S，进行HSV到RGB色彩空间的还原；具体公式如下所示：
C＝V×S (11)
X＝C×(1-|(H/60°)mod2-1|) (12)
m＝V-C (13)
R′,G′,B′＝((R′+m)×255，(G′+m)×255，(B′+m)×255) (15)
其中，C为明度与饱和度的乘积；m为明度与C的差值；
7-2)对步骤7-1)还原的图像进行颜色校正与增强，生成符合观察与检测的三通道图片；分别对R通道、G通道、B通道进行色彩增强，具体如下公式所示：
Rout＝(Rin)1/gamma (16)
Rdisplay＝(Rin(1/gamma))gamma (17)
Gout＝(Gin)1/gamma (18)
Gdisplay＝(Gin)(1/gamma))gamma (19)
Bout＝(Bin)1/gamma (20)
Bdisplay＝(Bin(1/gamma))gamma (21)
其中，gamma为亮度增强参数；Rout为gamma矫正红色通道逆变换；Rin为初始红色通道数值；Rdisplay为R通道gamma矫正后数值；Gdisplay为G通道gamma矫正后数值；Bdisplay为B通道gamma矫正后数值补偿值。
一种红外和可见光的融合方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 融合北斗与多传感器的机场行李牵引车定位装置与方法 | 2020-05-08 | 136 |
| 一种基于视觉与激光slam的机器人室内建图方法及系统 | 2020-05-08 | 682 |
| 智能清扫车多层次立体避障控制方法及装置 | 2020-05-12 | 955 |
| 一种用于虚拟定位的方法及设备 | 2020-05-13 | 532 |
| 基于正交双目视觉的六自由度位姿测量装置及方法 | 2020-05-12 | 739 |
| 一种多视高分辨率纹理图像与双目三维点云映射方法 | 2020-05-13 | 74 |
| 一种基于虚拟现实与手势识别的远程呈现交互方法和系统 | 2020-05-14 | 254 |
| 一种基于深度学习的机器人避障控制方法及装置 | 2020-05-12 | 815 |
| 工件内外表面缺陷检测方法 | 2020-05-08 | 843 |
| 静态快递邮包激光雷达旋转数据采集系统 | 2020-05-12 | 168 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
