一种图像融合的方法、装置及双光相机、无人机
阅读：696发布：2020-05-08
专利汇可以提供一种图像融合的方法、装置及双光相机、无人机专利检索，专利查询，专利分析的服务。并且本 发明 实施例 涉及 图像处理 技术领域，公开了一种图像融合的方法、装置及双光相机、无人机。其中，图像融合的方法应用于包括热成像镜头和可见光镜头的双光相机，包括：获取热成像镜头采集到的热成像图像和可见光镜头采集到的可见光图像；确定热成像镜头采集热成像图像时的第一焦距以及可见光镜头采集可见光图像时的第二焦距；根据第一焦距和第二焦距，确定热成像图像的大小校准参数及 位置 校准参数；根据大小校准参数调整热成像图像的大小，根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光 图像配准 ，得到待融合图像；对待融合图像进行融合处理，生成双光融合图像。通过上述方式，本发明实施例能够提高融合图像的画面 质量 。，下面是一种图像融合的方法、装置及双光相机、无人机专利的具体信息内容。
1.一种图像融合的方法，应用于双光相机，所述双光相机包括热成像镜头和可见光镜头，其特征在于，所述方法包括：
获取所述热成像镜头采集到的热成像图像和所述可见光镜头采集到的可见光图像；
确定所述热成像镜头采集所述热成像图像时的第一焦距以及所述可见光镜头采集所述可见光图像时的第二焦距；
根据所述第一焦距和所述第二焦距，确定所述热成像图像的大小校准参数及位置校准参数；
根据所述大小校准参数调整所述热成像图像的大小，并根据所述位置校准参数将所述调整后的热成像图像移动至所述可见光图像中与所述可见光图像配准，得到待融合图像；
对所述待融合图像进行融合处理，生成双光融合图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一焦距和所述第二焦距，确定所述热成像图像的大小校准参数及位置校准参数，具体包括：
根据所述第一焦距和所述第二焦距，确定所述热成像图像的缩放比例；
根据所述缩放比例，确定所述热成像图像的大小校准参数及位置校准参数。
3.根据权利要求2所述的方法，其特征在于，所述热成像图像包括第一矩形校准框，所述可见光图像包括第二矩形校准框；则，
所述根据所述第一焦距和所述第二焦距，确定所述热成像图像的缩放比例，具体包括：
根据所述第一焦距确定所述第一矩形校准框的第一角点坐标，所述第一角点坐标包括第一左上角点坐标、第一左下角点坐标、第一右上角点坐标和第一右下角点坐标；
根据所述第二焦距确定所述第二矩形校准框的第二角点坐标，所述第二角点坐标包括第二左上角点坐标、第二左下角点坐标、第二右上角点坐标和第二右下角点坐标；
根据所述第一角点坐标和所述第二角点坐标，确定所述热成像图像的缩放比例。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一角点坐标和所述第二角点坐标，确定所述热成像图像的缩放比例，具体包括：
根据所述第一角点坐标确定所述第一矩形校准框的第一宽度；
根据所述第二角点坐标确定所述第二矩形校准框的第二宽度；
根据所述第一宽度和所述第二宽度确定所述缩放比例；
或者，
根据所述第一角点坐标确定所述第一矩形校准框的第一高度；
根据所述第二角点坐标确定所述第二矩形校准框的第二高度；
根据所述第一高度和所述第二高度确定所述缩放比例。
5.根据权利要求4所述的方法，其特征在于，
所述根据所述第一角点坐标确定所述第一矩形校准框的第一宽度，具体包括：
在所述第一角点坐标中，提取任意两个纵坐标相同的角点坐标，根据所提取的角点坐标的横坐标的差值确定所述第一宽度；
所述根据所述第二角点坐标确定所述第二矩形校准框的第二宽度，具体包括：
在所述第二角点坐标中，提取任意两个纵坐标相同的角点坐标，根据所提取的角点坐标的横坐标的差值确定所述第二宽度；
所述根据所述第一角点坐标确定所述第一矩形校准框的第一高度，具体包括：
在所述第一角点坐标中，提取任意两个横坐标相同的角点坐标，根据所提取的角点坐标的纵坐标的差值确定所述第一高度；
所述根据所述第二角点坐标确定所述第二矩形校准框的第二高度，具体包括：
在所述第二角点坐标中，提取任意两个横坐标相同的角点坐标，根据所提取的角点坐标的纵坐标的差值确定所述第二高度。
6.根据权利要求3至5中任一项所述的方法，其特征在于，所述大小校准参数包括校准宽度和校准高度，所述位置校准参数包括原点校准坐标；则，
所述根据所述缩放比例，确定所述热成像图像的大小校准参数及位置校准参数，具体包括：
获取所述热成像图像的第一初始宽度、第一初始高度以及第一定位点的第一坐标；
在所述可见光图像中确定与所述第一定位点对应的第二定位点的第二坐标；
根据所述缩放比例和所述第一初始宽度，确定所述校准宽度；
根据所述缩放比例和所述第一初始高度，确定所述校准高度；
根据所述缩放比例、所述第一坐标和所述第二坐标，确定所述原点校准坐标。
7.根据权利要求6所述的方法，其特征在于，
所述第一坐标为所述第一左上角点坐标、所述第一左下角点坐标、所述第一右上角点坐标和所述第一右下角点坐标中的任意一个；
所述第二坐标为所述第二左上角点坐标、所述第二左下角点坐标、所述第二右上角点坐标和所述第二右下角点坐标中的任意一个。
8.根据权利要求6或7所述的方法，其特征在于，所述对所述待融合图像进行融合处理的步骤之后，所述方法还包括：
确定所述待融合图像中的热成像区域和可见光区域的重合区域；
裁剪所述待融合图像中所述重合区域以外的其他区域。
9.根据权利要求8所述的方法，其特征在于，所述确定所述待融合图像中的热成像区域和可见光区域的重合区域，具体包括：
确定所述热成像区域的第三角点坐标，所述第三角点坐标包括第三左上角点坐标、第三左下角点坐标、第三右上角点坐标和第三右下角点坐标；
确定所述可见光区域的第四角点坐标，所述第四角点坐标包括第四左上角点坐标、第四左下角点坐标、第四右上角点坐标和第四右下角点坐标；
根据所述第三角点坐标和所述第四角点坐标，确定所述重合区域的第一角点和第二角点的坐标，所述第一角点和所述第二角点为对角角点；
根据所述第一角点和所述第二角点的坐标，确定所述重合区域的第三角点和第四角点的坐标。
10.根据权利要求9所述的方法，其特征在于，所述热成像图像的原点为所述热成像图像的左上角点、左下角点、右上角点、右下角点中的任意一点；则，
所述确定所述热成像区域的第三角点坐标，具体包括：
根据所述校准宽度、所述校准高度和所述原点校准坐标，确定所述热成像区域的第三角点坐标。
11.根据权利要求9或10所述的方法，其特征在于，所述可见光图像的原点为所述可见光图像的左上角点、左下角点、右上角点、右下角点中的任意一点；则，
所述确定所述可见光区域的第四角点坐标，具体包括：
获取所述可见光图像的第二初始宽度、第二初始高度以及原点坐标；
根据所述第二初始宽度、所述第二初始高度和所述原点坐标，确定所述可见光区域的第四角点坐标。
12.根据权利要求9至11中任一项所述的方法，其特征在于，所述第一角点和所述第二角点分别为所述重合区域的左下角点和右上角点；则，
确定所述重合区域的第一角点和第二角点的坐标的公式如下：
其中，(x1,y1)和(x2,y2)分别为所述第一角点和所述第二角点的坐标；(x1”,y2”)、(x1”,y1”)、(x2”,y2”)、(x2”,y1”)分别为所述第三左上角点坐标、所述第三左下角点坐标、所述第三右上角点坐标和所述第三右下角点坐标；(x1',y2')、(x1',y1')、(x2',y2')、(x2',y1')分别为所述第四左上角点坐标、所述第四左下角点坐标、所述第四右上角点坐标和所述第四右下角点坐标。
13.一种图像融合的装置，应用于双光相机，所述双光相机包括热成像镜头和可见光镜头，其特征在于，所述装置包括：
获取模块，用于获取所述热成像镜头采集到的热成像图像和所述可见光镜头采集到的可见光图像；
确定模块，用于确定所述热成像镜头采集所述热成像图像时的第一焦距以及所述可见光镜头采集所述可见光图像时的第二焦距；以及，
用于根据所述第一焦距和所述第二焦距，确定所述热成像图像的大小校准参数及位置校准参数；
调整模块，用于根据所述大小校准参数调整所述热成像图像的大小，并根据所述位置校准参数将所述调整后的热成像图像移动至所述可见光图像中与所述可见光图像配准，得到待融合图像；
处理模块，用于对所述待融合图像进行融合处理，生成双光融合图像。
14.一种双光相机，其特征在于，包括：
热成像镜头，用于采集热成像图像；
可见光镜头，用于采集可见光图像；
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够用于执行如权利要求1至12中任一项所述的图像融合的方法。
15.一种无人机，其特征在于，包括：
机身；
机臂，与所述机身相连；
动力装置，设于所述机臂；以及，
如权利要求14所述的双光相机，所述双光相机与所述机身相连。
16.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使双光相机执行如权利要求1至
12中任一项所述的图像融合的方法。
一种图像融合的方法、装置及双光相机、无人机
技术领域
背景技术
[0002] 热成像和可见光成像是现阶段广泛使用的两种成像手段。其中，可见光成像在光照条件好时，能够得到细节丰富、画面清晰的可见光图像，但若光照条件差，则得到的可见光图像画面模糊、细节丢失，比如：在强光环境下，可见光成像得到的可见光图像的光晕明显，细节丢失；在雾天等能见度低的情况下，可见光成像得到的可见光图像画面模糊不清。热成像则不受天气和光照的影响，任何情况下都能得到画面清晰的热成像图像，但热成像得到的热成像图像没有清晰的边缘，为此，提出了热成像图像与可见光图像进行图像融合的方案，以有效结合两者的优势，全天候采集到理想的图像。
[0003] 目前，对热成像图像和可见光图像进行图像融合时，通过在热成像图像中提取的特征点在可见光图像中进行特征点匹配的方式对热成像图中和可见光图像进行配准。但发明人在实现本发明的过程中发现：若采集热成像图像和采集可见光图像的焦距不同，会使得热成像图像和可见光图像的成像比例不同，此时，通过在热成像图像中提取的特征点在可见光图像中进行特征点匹配的方式对热成像图像和可见光图像进行配准，会使得热成像图像和可见光图像的成像无法重合，进而使得热成像图像和可见光图像无法精确配准，导致热成像图像和可见光图像融合后的画面质量较差。
发明内容
[0004] 本发明实施例旨在提供一种图像融合的方法、装置及双光相机、无人机，能够在采集热成像图像和采集可见光图像的焦距不同时，对热成像图像和可见光图像进行精确配准，提高融合图像的画面质量。
[0005] 为解决上述技术问题，本发明实施例采用的一个技术方案是：提供一种图像融合的方法，应用于双光相机，所述双光相机包括热成像镜头和可见光镜头，所述方法包括：
[0006] 获取所述热成像镜头采集到的热成像图像和所述可见光镜头采集到的可见光图像；
[0007] 确定所述热成像镜头采集所述热成像图像时的第一焦距以及所述可见光镜头采集所述可见光图像时的第二焦距；
[0008] 根据所述第一焦距和所述第二焦距，确定所述热成像图像的大小校准参数及位置校准参数；
[0009] 根据所述大小校准参数调整所述热成像图像的大小，并根据所述位置校准参数将所述调整后的热成像图像移动至所述可见光图像中与所述可见光图像配准，得到待融合图像；
[0010] 对所述待融合图像进行融合处理，生成双光融合图像。
[0011] 可选地，所述根据所述第一焦距和所述第二焦距，确定所述热成像图像的大小校准参数及位置校准参数，具体包括：
[0012] 根据所述第一焦距和所述第二焦距，确定所述热成像图像的缩放比例；
[0013] 根据所述缩放比例，确定所述热成像图像的大小校准参数及位置校准参数。
[0014] 可选地，所述热成像图像包括第一矩形校准框，所述可见光图像包括第二矩形校准框；则，
[0015] 所述根据所述第一焦距和所述第二焦距，确定所述热成像图像的缩放比例，具体包括：
[0016] 根据所述第一焦距确定所述第一矩形校准框的第一角点坐标，所述第一角点坐标包括第一左上角点坐标、第一左下角点坐标、第一右上角点坐标和第一右下角点坐标；
[0017] 根据所述第二焦距确定所述第二矩形校准框的第二角点坐标，所述第二角点坐标包括第二左上角点坐标、第二左下角点坐标、第二右上角点坐标和第二右下角点坐标；
[0018] 根据所述第一角点坐标和所述第二角点坐标，确定所述热成像图像的缩放比例。
[0019] 可选地，所述根据所述第一角点坐标和所述第二角点坐标，确定所述热成像图像的缩放比例，具体包括：
[0020] 根据所述第一角点坐标确定所述第一矩形校准框的第一宽度；
[0021] 根据所述第二角点坐标确定所述第二矩形校准框的第二宽度；
[0022] 根据所述第一宽度和所述第二宽度确定所述缩放比例；
[0023] 或者，
[0024] 根据所述第一角点坐标确定所述第一矩形校准框的第一高度；
[0025] 根据所述第二角点坐标确定所述第二矩形校准框的第二高度；
[0026] 根据所述第一高度和所述第二高度确定所述缩放比例。
[0027] 可选地，所述根据所述第一角点坐标确定所述第一矩形校准框的第一宽度，具体包括：
[0028] 在所述第一角点坐标中，提取任意两个纵坐标相同的角点坐标，根据所提取的角点坐标的横坐标的差值确定所述第一宽度；
[0029] 所述根据所述第二角点坐标确定所述第二矩形校准框的第二宽度，具体包括：
[0030] 在所述第二角点坐标中，提取任意两个纵坐标相同的角点坐标，根据所提取的角点坐标的横坐标的差值确定所述第二宽度；
[0031] 所述根据所述第一角点坐标确定所述第一矩形校准框的第一高度，具体包括：
[0032] 在所述第一角点坐标中，提取任意两个横坐标相同的角点坐标，根据所提取的角点坐标的纵坐标的差值确定所述第一高度；
[0033] 所述根据所述第二角点坐标确定所述第二矩形校准框的第二高度，具体包括：
[0034] 在所述第二角点坐标中，提取任意两个横坐标相同的角点坐标，根据所提取的角点坐标的纵坐标的差值确定所述第二高度。
[0035] 可选地，所述大小校准参数包括校准宽度和校准高度，所述位置校准参数包括原点校准坐标；则，
[0036] 所述根据所述缩放比例，确定所述热成像图像的大小校准参数及位置校准参数，具体包括：
[0037] 获取所述热成像图像的第一初始宽度、第一初始高度以及第一定位点的第一坐标；
[0038] 在所述可见光图像中确定与所述第一定位点对应的第二定位点的第二坐标；
[0039] 根据所述缩放比例和所述第一初始宽度，确定所述校准宽度；
[0040] 根据所述缩放比例和所述第一初始高度，确定所述校准高度；
[0041] 根据所述缩放比例、所述第一坐标和所述第二坐标，确定所述原点校准坐标。
[0042] 可选地，所述第一坐标为所述第一左上角点坐标、所述第一左下角点坐标、所述第一右上角点坐标和所述第一右下角点坐标中的任意一个；
[0043] 所述第二坐标为所述第二左上角点坐标、所述第二左下角点坐标、所述第二右上角点坐标和所述第二右下角点坐标中的任意一个。
[0044] 可选地，所述对所述待融合图像进行融合处理的步骤之后，所述方法还包括：
[0045] 确定所述待融合图像中的热成像区域和可见光区域的重合区域；
[0046] 裁剪所述待融合图像中所述重合区域以外的其他区域。
[0047] 可选地，所述确定所述待融合图像中的热成像区域和可见光区域的重合区域，具体包括：
[0048] 确定所述热成像区域的第三角点坐标，所述第三角点坐标包括第三左上角点坐标、第三左下角点坐标、第三右上角点坐标和第三右下角点坐标；
[0049] 确定所述可见光区域的第四角点坐标，所述第四角点坐标包括第四左上角点坐标、第四左下角点坐标、第四右上角点坐标和第四右下角点坐标；
[0050] 根据所述第三角点坐标和所述第四角点坐标，确定所述重合区域的第一角点和第二角点的坐标，所述第一角点和所述第二角点为对角角点；
[0051] 根据所述第一角点和所述第二角点的坐标，确定所述重合区域的第三角点和第四角点的坐标。
[0052] 可选地，所述热成像图像的原点为所述热成像图像的左上角点、左下角点、右上角点、右下角点中的任意一点；则，
[0053] 所述确定所述热成像区域的第三角点坐标，具体包括：
[0054] 根据所述校准宽度、所述校准高度和所述原点校准坐标，确定所述热成像区域的第三角点坐标。
[0055] 可选地，所述可见光图像的原点为所述可见光图像的左上角点、左下角点、右上角点、右下角点中的任意一点；则，
[0056] 所述确定所述可见光区域的第四角点坐标，具体包括：
[0057] 获取所述可见光图像的第二初始宽度、第二初始高度以及原点坐标；
[0058] 根据所述第二初始宽度、所述第二初始高度和所述原点坐标，确定所述可见光区域的第四角点坐标。
[0059] 可选地，所述第一角点和所述第二角点分别为所述重合区域的左下角点和右上角点；则，
[0060] 确定所述重合区域的第一角点和第二角点的坐标的公式如下：
[0061]
[0062]
[0063] 其中，(x1,y1)和(x2,y2)分别为所述第一角点和所述第二角点的坐标；(x1”,y2”)、(x1”,y1”)、(x2”,y2”)、(x2”,y1”)分别为所述第三左上角点坐标、所述第三左下角点坐标、所述第三右上角点坐标和所述第三右下角点坐标；(x1',y2')、(x1',y1')、(x2',y2')、(x2',y1')分别为所述第四左上角点坐标、所述第四左下角点坐标、所述第四右上角点坐标和所述第四右下角点坐标。
[0064] 为解决上述技术问题，本发明实施例采用的另一个技术方案是：提供一种图像融合的装置，应用于双光相机，所述双光相机包括热成像镜头和可见光镜头，所述装置包括：
[0065] 获取模块，用于获取所述热成像镜头采集到的热成像图像和所述可见光镜头采集到的可见光图像；
[0066] 确定模块，用于确定所述热成像镜头采集所述热成像图像时的第一焦距以及所述可见光镜头采集所述可见光图像时的第二焦距；以及，
[0067] 用于根据所述第一焦距和所述第二焦距，确定所述热成像图像的大小校准参数及位置校准参数；
[0068] 调整模块，用于根据所述大小校准参数调整所述热成像图像的大小，并根据所述位置校准参数将所述调整后的热成像图像移动至所述可见光图像中与所述可见光图像配准，得到待融合图像；
[0069] 处理模块，用于对所述待融合图像进行融合处理，生成双光融合图像。
[0070] 为解决上述技术问题，本发明实施例采用的另一个技术方案是：提供一种双光相机，包括：
[0071] 热成像镜头，用于采集热成像图像；
[0072] 可见光镜头，用于采集可见光图像；
[0073] 至少一个处理器；以及，
[0074] 与所述至少一个处理器通信连接的存储器；
[0075] 其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够用于执行以上所述的图像融合的方法。
[0076] 为解决上述技术问题，本发明实施例采用的另一个技术方案是：提供一种无人机，包括：
[0077] 机身；
[0078] 机臂，与所述机身相连；
[0079] 动力装置，设于所述机臂；以及，
[0080] 以上所述的双光相机，所述双光相机与所述机身相连。
[0081] 为解决上述技术问题，本发明实施例采用的另一个技术方案是：提供一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使双光相机执行以上所述的图像融合的方法。
[0082] 在本发明实施例中，通过采集热成像图像时的第一焦距以及采集可见光图像时的第二焦距确定热成像图像的大小校准参数和位置校准参数，然后根据大小校准参数调整热成像图像的大小，根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准，得到待融合图像，对待融合图像进行融合处理，生成双光融合图像。其中，根据大小校准参数调整热成像图像的大小使得热成像图像的成像比例与可见光图像的成像比例一致，此时，根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准，能够使得热成像图像和可见光图像的成像重合，进而使得热成像图像和可见光图像精确配准，提高了融合图像的画面质量。附图说明
[0083] 一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
[0084] 图1是本发明实施例提供的一种无人机的结构示意图；
[0085] 图2是本发明实施例提供的一种图像融合的方法的流程示意图；
[0086] 图3是本发明实施例提供的一种热成像图像和可见光图像的结构示意图；
[0087] 图4是本发明实施例提供的一种待融合图像的结构示意图；
[0088] 图5是本发明实施例提供的一种图像融合的装置的结构示意图；
具体实施方式
[0090] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0091] 需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
[0092] 此外，下面所描述的本发明各个实施例中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0093] 本发明提供了一种图像融合的方法及装置，该方法及装置应用于双光相机，从而使得该双光相机能够在采集热成像图像和采集可见光图像的焦距不同时，对热成像图像和可见光图像进行精确配准，提高融合图像的画面质量。其中，双光相机包括热成像镜头和可见光镜头，热成像镜头用于采集热成像图像，可见光镜头用于采集可见光图像。
[0095] 下面，将以双光相机应用于无人机为例对本发明进行具体阐述。
[0096] 请参阅图1，是本发明实施例提供的一种无人机100，包括机身10、机臂20、动力装置30、双光相机40、起落架50以及飞控系统。机臂20、双光相机40以及起落架50均与机身10连接，飞控系统则设置于机身10内，动力装置30则设置于机臂20上。其中，动力装置30、双光相机40以及起落架50均与飞控系统通信连接，使得飞控系统能够通过动力装置30来控制无人机100的飞行，还能够控制双光相机40采集图像以及控制起落架50打开与收起。飞控系统控制双光相机40采集图像后，还能够从双光相机40获取采集到的图像。
[0097] 在本发明实施例中，机臂20数量为4，均匀分布于机身10四周，用于承载动力装置30。
[0098] 动力装置30包括电机以及与电机轴连接的螺旋桨，电机能够带动螺旋桨旋转以为无人机100提供升力，实现飞行；电机还能够通过改变螺旋桨的转速及方向来改变无人机100的飞行方向。当动力装置30与飞控系统通信连接时，飞控系统能够通过控制电机来控制无人机100的飞行。
[0099] 该动力装置30设置于机臂20未与机身10连接的一端，并通过电机连接机臂20。
[0100] 优选地，在无人机100的4个机臂上均设置有动力装置30，以使无人机100能够平稳飞行。
[0101] 双光相机40则设置于机身10底部，能够在飞控系统的控制下采集图像。
[0102] 该双光相机40包括热成像镜头和可见光镜头，热成像镜头用于采集热成像图像，可见光镜头用于采集可见光图像。当双光相机40采集图像时，热成像镜头和可见光镜头能够同时采集同一目标物的热成像图像和可见光图像。其中，热成像镜头和可见光镜头同时采集同一目标物的热成像图像和可见光图像时，焦距可以相同，也可以不相同。
[0103] 当热成像镜头和可见光镜头的焦距相同时，热成像图像和可见光图像的成像比例相同；当热成像镜头和可见光镜头的焦距不相同时，热成像图像和可见光图像的成像比例不相同。即热成像图像和可见光图像的成像比例随着焦距的变化而变化。
[0104] 进一步地，热成像镜头采集热成像图像时，通过第一矩形校准框对准目标物，该第一矩形校准框随着热成像镜头焦距的改变而改变，始终对准目标物；可见光镜头采集可见光图像时，通过第二矩形校准框对准目标物，该第二矩形校准框随着可见光镜头焦距的改变而改变，始终对准目标物。
[0105] 当双光相机40通过热成像镜头和可见光镜头同时采集同一目标物的热成像图像和可见光图像后，能够通过确定热成像镜头采集热成像图像时的第一焦距以及可见光镜头采集可见光图像时的第二焦距确定热成像图像的大小校准参数和位置校准参数，然后根据大小校准参数调整热成像图像的大小，根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准，得到待融合图像，对待融合图像进行融合处理，生成双光融合图像。其中，根据大小校准参数调整热成像图像的大小使得热成像图像的成像比例与可见光图像的成像比例一致，此时，根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准，能够使得热成像图像和可见光图像的成像重合，进而使得热成像图像和可见光图像精确配准，提高了融合图像的画面质量。
[0106] 在一些实施例中，该双光相机40能够通过云台设置于机身10底部，以随着云台的转动而转动，采集不同视角的图像。
[0107] 起落架50则设置于机身10底部相对两侧，通过驱动装置连接于机身10，起落架50在驱动装置的驱动下能够进行打开与收起。在无人机100与地面接触时，驱动装置控制起落架50打开，以使无人机100通过起落架50与地面接触；在无人机100飞行过程中，驱动装置控制起落架50收起，以避免起落架50影响无人机100飞行。当起落架50与飞控系统通信连接时，飞控系统能够通过控制驱动装置来控制起落架50的打开与收起。
[0108] 飞控系统则与动力装置30、双光相机40以及起落架50通过有线连接或者无线连接的方式进行通信连接。其中，无线连接包括但不限于：WiFi、蓝牙、ZigBee等。
[0109] 可以理解的是，在本发明实施例中，双光相机40通过执行图像融合的方法对热成像图像和可见光图像进行图像融合处理后，即使采集热成像图像和采集可见光图像的焦距不同，也能对热成像图像和可见光图像进行精确配准，得到画面质量高的双光融合图像，进而使得应用该双光相机40的无人机100能够全天候采集到高质量图像。
[0110] 进一步地，请参阅图2，是本发明实施例提供的一种图像融合的方法的流程示意图，该图像融合的方法由上述双光相机40执行，用于在采集热成像图像和采集可见光图像的焦距不同时，对热成像图像和可见光图像进行精确配准，提高融合图像的画面质量。
[0111] 具体地，该图像融合的方法包括：
[0112] S100：获取热成像镜头采集到的热成像图像和可见光镜头采集到的可见光图像；
[0113] S200：确定热成像镜头采集热成像图像时的第一焦距以及可见光镜头采集可见光图像时的第二焦距。
[0114] 在本发明实施例中，热成像图像和可见光图像为热成像镜头和可见光镜头同时采集同一目标物得到的图像。
[0115] 由于热成像镜头和可见光镜头同时采集同一目标物的热成像图像和可见光图像时，焦距可能不相同，因此，在获取热成像镜头采集到的热成像图像后，确定热成像镜头采集热成像图像时的第一焦距，在获取可见光镜头采集到的可见光图像后，确定可见光镜头采集可见光图像时的第二焦距。
[0116] 其中，将热成像镜头采集热成像图像时设置的焦距确定为热成像镜头采集热成像图像时的第一焦距；将可见光镜头采集可见光图像时设置的焦距确定为可见光镜头采集可见光图像时的第二焦距。
[0117] S300：根据第一焦距和第二焦距，确定热成像图像的大小校准参数及位置校准参数。
[0118] 由于热成像镜头和可见光镜头的焦距不相同时，热成像图像和可见光图像的成像比例不相同，此时，若直接将热成像图像和可见光图像进行配准，会使得成像无法重合，因此，需要确定热成像图像的大小校准参数和位置校准参数，以根据大小校准参数和位置校准参数将热成像图像的成像校准至与可见光图像的成像重合。
[0119] 其中，由于热成像图像的成像比例随着第一焦距的改变而改变，可见光图像的成像比例随着第二焦距的改变而改变，若要保证热成像图像的大小校准参数和位置校准参数能够将热成像图像的成像校准至与可见光图像的成像重合，则热成像图像的大小校准参数和位置校准参数会随着热成像图像的成像比例和可见光图像的成像比例的改变而改变，亦即，会随着第一焦距和第二焦距的改变而改变，因此，在本发明实施例中，根据第一焦距和第二焦距，确定热成像图像的大小校准参数及位置校准参数，以使所确定的大小校准参数和位置校准参数能够将热成像图像的成像校准至与可见光图像的成像重合。
[0120] 其中，大小校准参数用于调整热成像图像的大小，以使热成像图像的成像比例与可见光图像的成像比例一致，该大小校准参数包括校准宽度和校准高度，校准宽度用于调整热成像图像的宽度，校准高度用于调整热成像图像的高度。
[0121] 位置校准参数用于调整热成像图像在可见光图像中的位置，以使成像比例一致的热成像图像和可见光图像的成像重合，该位置校准参数包括原点校准坐标，原点校准坐标用于调整热成像图像的原点位置。
[0122] 在一些实施例中，根据第一焦距和第二焦距，确定热成像图像的大小校准参数及位置校准参数，具体包括：根据第一焦距和第二焦距，确定热成像图像的缩放比例；根据缩放比例确定热成像图像的大小校准参数及位置校准参数。
[0123] 请参阅图3，由于热成像镜头采集热成像图像时，通过第一矩形校准框对准目标物，因此，热成像图像包括第一矩形校准框，该第一矩形校准框随着第一焦距的改变而改变；由于可见光镜头采集可见光图像时，通过第二矩形校准框对准目标物，因此，可见光图像包括第二矩形校准框，该第二矩形校准框随着第二焦距的改变而改变。
[0124] 由于第一矩形校准框随着第一焦距的改变而改变，因此，预先建立预设第一焦距与预设第一角点坐标的对应关系表，比如：预设第一焦距A1对应预设第一角点坐标J1，该预设第一角点坐标J1包括预设第一左上角点坐标J11、预设第一左下角点坐标J12、预设第一右上角点坐标J13和预设第一右下角点坐标J14；预设第一焦距A2对应预设第一角点坐标J2，该预设第一角点坐标J2包括预设第一左上角点坐标J21、预设第一左下角点坐标J22、预设第一右上角点坐标J23和预设第一右下角点坐标J24。
[0125] 由于第二矩形校准框随着第二焦距的改变而改变，因此，预先建立预设第二焦距与预设第二角点坐标的对应关系表，比如：预设第二焦距B1对应预设第二角点坐标K1，该预设第二角点坐标K1包括预设第二左上角点坐标K11、预设第二左下角点坐标K12、预设第二右上角点坐标K13和预设第二右下角点坐标K14；预设第二焦距B2对应预设第二角点坐标K2，该预设第二角点坐标K2包括预设第二左上角点坐标K21、预设第二左下角点坐标K22、预设第二右上角点坐标K23和预设第二右下角点坐标K24。
[0126] 基于此，根据第一焦距和第二焦距，确定热成像图像的缩放比例，具体包括：根据第一焦距确定第一矩形校准框的第一角点坐标；根据第二焦距确定第二矩形校准框的第二角点坐标；根据第一角点坐标和第二角点坐标，确定热成像图像的缩放比例。
[0127] 其中，第一角点坐标包括第一左上角点坐标、第一左下角点坐标、第一右上角点坐标和第一右下角点坐标。
[0128] 第二角点坐标包括第二左上角点坐标、第二左下角点坐标、第二右上角点坐标和第二右下角点坐标。
[0129] 根据第一焦距确定第一矩形校准框的第一角点坐标时，在预先建立的预设第一焦距与预设第一角点坐标的对应关系表中，确定与第一焦距匹配的预设第一焦距，将与第一焦距匹配的预设第一焦距对应的预设第一角点坐标确定为第一矩形校准框的第一角点坐标。比如，当第一焦距为A1时，在预先建立的预设第一焦距与预设第一角点坐标的对应关系表中，能够确定预设第一焦距A1与第一焦距A1匹配，因此，将预设第一焦距A1对应的预设第一角点坐标J1确定为第一矩形校准框的第一角点坐标，此时，第一左上角点坐标为J11、第一左下角点坐标为J12、第一右上角点坐标为J13、第一右下角点坐标为J14。
[0130] 根据第二焦距确定第二矩形校准框的第二角点坐标时，在预先建立的预设第二焦距与预设第二角点坐标的对应关系表中，确定与第二焦距匹配的预设第二焦距，将与第二焦距匹配的预设第二焦距对应的预设第二角点坐标确定为第二矩形校准框的第二角点坐标。比如，当第二焦距为B1时，在预先建立的预设第二焦距与预设第二角点坐标的对应关系表中，能够确定预设第二焦距B1与第二焦距B1匹配，因此，将预设第二焦距B1对应的预设第二角点坐标K1确定为第二矩形校准框的第二角点坐标，此时，第二左上角点坐标为K11、第二左下角点坐标为K12、第二右上角点坐标为K13、第二右下角点坐标为K14。
[0131] 根据第一角点坐标和第二角点坐标，确定热成像图像的缩放比例时，根据第一角点坐标确定第一矩形校准框的第一宽度，根据第二角点坐标确定第二矩形校准框的第二宽度，然后根据第一宽度和第二宽度确定缩放比例。
[0132] 具体地，根据第一角点坐标确定第一矩形校准框的第一宽度时，在第一角点坐标中，提取任意两个纵坐标相同的角点坐标，根据所提取的角点坐标的横坐标的差值确定第一宽度。比如，当第一角点坐标包括第一左上角点坐标J11、第一左下角点坐标J12、第一右上角点坐标J13、第一右下角点坐标J14时，J11为(x3,y4)、J12为(x3,y3)、J13为(x4,y4)、J14为(x4,y3)，其中，J11和J13为纵坐标相同的角点坐标，J12和J14也为纵坐标相同的角点坐标，此时，提取J11和J13，或者，提取J12和J14，然后根据所提取的角点坐标的横坐标的差值确定第一宽度，该第一宽度为x4-x3。
[0133] 根据第二角点坐标确定第二矩形校准框的第二宽度时，在第二角点坐标中，提取任意两个纵坐标相同的角点坐标，根据所提取的角点坐标的横坐标的差值确定第二宽度。比如，当第二角点坐标包括第二左上角点坐标为K11、第二左下角点坐标为K12、第二右上角点坐标为K13、第二右下角点坐标为K14时，K11为(x5,y6)、K12为(x5,y5)、K13为(x6,y6)、K14为(x6,y5)，其中，K11和K13为纵坐标相同的角点坐标，K12和K14也为纵坐标相同的角点坐标，此时，提取K11和K13，或者，提取K12和K14，然后根据所提取的角点坐标的横坐标的差值确定第二宽度，该第二宽度为x6-x5。
[0134] 此时，将第二宽度与第一宽度的比值确定为缩放比例，该缩放比例为
[0135] 在一些实施例中，根据第一角点坐标和第二角点坐标，确定热成像图像的缩放比例时，还能够根据第一角点坐标确定第一矩形校准框的第一高度，根据第二角点坐标确定第二矩形校准框的第二高度，然后根据第一高度和第二高度确定缩放比例。
[0136] 具体地，根据第一角点坐标确定第一矩形校准框的第一高度时，在第一角点坐标中，提取任意两个横坐标相同的角点坐标，根据所提取的角点坐标的纵坐标的差值确定第一高度。比如，当第一角点坐标包括第一左上角点坐标J11、第一左下角点坐标J12、第一右上角点坐标J13、第一右下角点坐标J14时，J11为(x3,y4)、J12为(x3,y3)、J13为(x4,y4)、J14为(x4,y3)，其中，J11和J12为横坐标相同的角点坐标，J13和J14也为横坐标相同的角点坐标，此时，提取J11和J12，或者，提取J13和J14，然后根据所提取的角点坐标的纵坐标的差值确定第一高度，该第一高度为y4-y3。
[0137] 根据第二角点坐标确定第二矩形校准框的第二高度时，在第二角点坐标中，提取任意两个横坐标相同的角点坐标，根据所提取的角点坐标的纵坐标的差值确定第二高度。比如，当第二角点坐标包括第二左上角点坐标为K11、第二左下角点坐标为K12、第二右上角点坐标为K13、第二右下角点坐标为K14时，K11为(x5,y6)、K12为(x5,y5)、K13为(x6,y6)、K14为(x6,y5)，其中，K11和K12为横坐标相同的角点坐标，K13和K14也为横坐标相同的角点坐标，此时，提取K11和K12，或者，提取K13和K14，然后根据所提取的角点坐标的纵坐标的差值确定第二高度，该第二高度为y6-y5。
[0138] 此时，将第二高度与第一高度的比值确定为缩放比例，该缩放比例为
[0139] 进一步地，根据缩放比例确定热成像图像的大小校准参数及位置校准参数，具体包括：获取热成像图像的第一初始宽度、第一初始高度以及第一定位点的第一坐标；在可见光图像中确定与第一定位点对应的第二定位点的第二坐标；根据缩放比例和第一初始宽度，确定校准宽度；根据缩放比例和第一初始高度，确定校准高度；根据缩放比例、第一坐标和第二坐标，确定原点校准坐标。
[0140] 其中，第一初始宽度和第一初始高度为热成像图像未调整前的宽度和高度。
[0141] 第一定位点为第一矩形校准框的任意一个角点，则第一定位点的第一坐标为第一左上角点坐标、第一左下角点坐标、第一右上角点坐标和第一右下角点坐标中的任意一个。举例而言，第一定位点可以为第一矩形校准框的左上角点，第一定位点可以为第一矩形校准框的左下角点，第一定位点可以为第一矩形校准框的右上角点，第一定位点还可以为第一矩形校准框的右下角点。当第一定位点为第一矩形校准框的左上角点时，第一坐标为第一左上角点坐标；当第一定位点为第一矩形校准框的左下角点时，第一坐标为第一左下角点坐标；当第一定位点为第一矩形校准框的右上角点时，第一坐标为第一右上角点坐标；当第一定位点为第一矩形校准框的右下角点时，第一坐标为第一右下角点坐标。
[0142] 第二定位点为第二矩形校准框的任意一个角点，则第二定位点的第二坐标为第二左上角点坐标、第二左下角点坐标、第二右上角点坐标和第二右下角点坐标中的任意一个。举例而言，第二定位点可以为第二矩形校准框的左上角点，第二定位点可以为第二矩形校准框的左下角点，第二定位点可以为第二矩形校准框的右上角点，第二定位点还可以为第二矩形校准框的右下角点。当第二定位点为第二矩形校准框的左上角点时，第二坐标为第二左上角点坐标；当第二定位点为第二矩形校准框的左下角点时，第二坐标为第二左下角点坐标；当第二定位点为第二矩形校准框的右上角点时，第二坐标为第二右上角点坐标；当第二定位点为第二矩形校准框的右下角点时，第二坐标为第二右下角点坐标。
[0143] 其中，第一定位点与第二定位点为对应点。即当第一定位点为第一矩形校准框的左上角点时，则第二定位点为第二矩形校准框的左上角点；当第一定位点为第一矩形校准框的左下角点时，则第二定位点为第二矩形校准框的左下角点；当第一定位点为第一矩形校准框的右上角点时，则第二定位点为第二矩形校准框的右上角点；当第一定位点为第一矩形校准框的右下角点时，则第二定位点为第二矩形校准框的右下角点。
[0144] 基于此，根据缩放比例和第一初始宽度确定校准宽度时，将第一初始宽度和缩放比例的乘积确定为校准宽度。比如，假设缩放比例为X，第一初始宽度为Wr，校准宽度为Wj，则存在
[0145] 根据缩放比例和第一初始高度确定校准高度时，将第一初始高度和缩放比例的乘积确定为校准高度。比如，假设缩放比例为X，第一初始高度为Hr，校准高度为Hj，则存在[0146] 根据缩放比例、第一坐标和第二坐标确定原点校准坐标时，根据缩放比例、第一坐标的横坐标以及第二坐标的横坐标确定原点校准坐标的横坐标；根据缩放比例、第一坐标的纵坐标以及第二坐标的纵坐标确定原点校准坐标的纵坐标。
[0147] 其中，原点校准坐标的横坐标等于第二坐标的横坐标减去第一坐标的横坐标与缩放比例的乘积；原点校准坐标的纵坐标等于第二坐标的纵坐标减去第一坐标的纵坐标与缩放比例的乘积。比如，假设缩放比例为X，第一矩形校准框的左上角点为第一定位点，则第一坐标为J11，J11为(x3,y4)，此时，第二矩形校准框的左上角点为第二定位点，第二坐标为K11，K11为(x5,y6)，若(x0,y0)为原点校准坐标，则存在
[0148] 在一些实施例中，根据缩放比例确定热成像图像的大小校准参数及位置校准参数时，能够预先建立预设缩放比例与预设大小校准参数及预设位置校准参数的对应关系表。如表1所示，每个预设缩放比例均对应一个预设大小校准参数和一个预设位置校准参数。
[0149] 表1
[0150] 预设缩放比例 预设大小校准参数 预设位置校准参数X1 Wj1、Hj1 x01、y01
X2 Wj2、Hj2 x02、y02
X3 Wj3、Hj3 x03、y03
X4 Wj4、Hj4 x04、y04
X2 Wj2、Hj2 x02、y02
X3 Wj3、Hj3 x03、y03
X4 Wj4、Hj4 x04、y04
[0151] 基于此，根据缩放比例确定热成像图像的大小校准参数及位置校准参数，具体包括：在预先建立的预设缩放比例与预设大小校准参数及预设位置校准参数的对应关系表中，确定与缩放比例匹配的预设缩放比例，将与缩放比例匹配的预设缩放比例对应的预设大小校准参数确定为热成像图像的大小校准参数，将与缩放比例匹配的预设缩放比例对应的预设位置校准参数确定为热成像图像的位置校准参数。比如，当缩放比例为X1时，在预先建立的预设缩放比例与预设大小校准参数及预设位置校准参数的对应关系表中，能够确定预设缩放比例X1与缩放比例X1匹配，因此，将预设缩放比例X1对应的预设大小校准参数Wj1、Hj1确定为热成像图像的大小校准参数，将预设缩放比例X1对应的预设位置校准参数x01、y01确定为热成像图像的位置校准参数。
[0152] 可以理解的是，在另一些实施例中，根据第一焦距和第二焦距，确定热成像图像的大小校准参数及位置校准参数时，能够预先建立预设第一焦距、预设第二焦距、预设大小校准参数及预设位置校准参数的对应关系表。如表2所示，每个预设第一焦距对应至少两个预设第二焦距，至少两个预设第二焦距中的每一个预设第二焦距均对应一个预设大小校准参数和一个预设位置校准参数。其中，每个预设第一焦距对应的至少两个预设第二焦距相同。
[0153] 表2
[0154]
[0155] 基于此，根据第一焦距和第二焦距，确定热成像图像的大小校准参数及位置校准参数，具体包括：在预先建立的预设第一焦距、预设第二焦距、预设大小校准参数及预设位置校准参数的对应关系表中，确定与第一焦距匹配的预设第一焦距作为目标焦距；然后在目标焦距对应的预设第二焦距中，确定与第二焦距匹配的预设第二焦距，将目标焦距对应的预设第二焦距中与第二焦距匹配的预设第二焦距对应的预设大小校准参数确定为热成像图像的大小校准参数，将目标焦距对应的预设第二焦距中与第二焦距匹配的预设第二焦距对应的预设位置校准参数确定为热成像图像的位置校准参数。比如，当第一焦距为f10，第二焦距为f20时，在预先建立的预设第一焦距、预设第二焦距、预设大小校准参数及预设位置校准参数的对应关系表中，能够确定预设第一焦距f10与第一焦距f10匹配，因此，将预设第一焦距f10确定为目标焦距，然后在预设第一焦距f10对应的预设第二焦距f20、f21、f22中确定与第二焦距f20匹配的预设第二焦距，由于预设第二焦距f20与第二焦距f20匹配，因此，将预设第二焦距f20对应的预设大小校准参数Wj1、Hj1确定为热成像图像的大小校准参数，将预设第二焦距f20对应的预设位置校准参数x01、y01确定为热成像图像的位置校准参数。
[0156] S400：根据大小校准参数调整热成像图像的大小，并根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准，得到待融合图像。
[0157] 具体地，根据大小校准参数调整热成像图像的大小时，根据校准宽度调整热成像图像的第一初始宽度，以使第一初始宽度调整为校准宽度；根据校准高度调整热成像图像的第一初始高度，以使第一初始高度调整为校准高度。此时，调整后的热成像图像的成像比例与可见光图像的成像比例一致。
[0158] 根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准时，将调整后的热成像图像的原点移动至可见光图像中的原点校准坐标处，此时，成像比例一致的热成像图像和可见光图像的成像能够重合，然后对成像重合的热成像图像和可见光图像进行配准，即可得到待融合图像。
[0159] 在该待融合图像中，调整后的热成像图像叠加至可见光图像中，形成热成像区域和可见光区域(如图4所示)。
[0160] S500：对待融合图像进行融合处理，生成双光融合图像。
[0161] 在一些实施例中，对待融合图像进行融合处理之后，还需确定待融合图像中的热成像区域和可见光区域的重合区域，然后裁剪待融合图像中重合区域以外的其他区域。
[0162] 其中，确定待融合图像中的热成像区域和可见光区域的重合区域，具体包括：确定热成像区域的第三角点坐标；确定可见光区域的第四角点坐标；根据第三角点坐标和第四角点坐标，确定重合区域的第一角点和第二角点的坐标，第一角点和第二角点为对角角点；根据第一角点和第二角点的坐标，确定重合区域的第三角点和第四角点的坐标。
[0163] 其中，第三角点坐标包括第三左上角点坐标、第三左下角点坐标、第三右上角点坐标和第三右下角点坐标。
[0164] 第四角点坐标包括第四左上角点坐标、第四左下角点坐标、第四右上角点坐标和第四右下角点坐标。
[0165] 由于热成像区域为调整后的热成像图像形成的区域，因此，当热成像图像的原点为热成像图像的左上角点、左下角点、右上角点和右下角点中的任意一点时，确定热成像区域的第三角点坐标，具体包括：根据校准宽度、校准高度和原点校准坐标，确定热成像区域的第三角点坐标。
[0166] 根据校准宽度、校准高度和原点校准坐标，确定热成像区域的第三角点坐标时，若热成像图像的原点为左上角点，则将原点校准坐标确定为第三左上角点坐标；此时，第三左下角点坐标的横坐标与第三左上角点坐标的横坐标相同，第三左下角点坐标的纵坐标为第三左上角点坐标的纵坐标减去校准高度；第三右上角点坐标的横坐标为第三左上角点坐标的横坐标加上校准宽度，第三右上角点坐标的纵坐标与第三左上角点坐标的纵坐标相同；第三右下角点坐标的横坐标为第三左上角点坐标的横坐标加上校准宽度，第三右下角点坐标的纵坐标为第三左上角点坐标的纵坐标减去校准高度。
[0167] 若热成像图像的原点为左下角点，则将原点校准坐标确定为第三左下角点坐标；此时，第三左上角点坐标的横坐标与第三左下角点坐标的横坐标相同，第三左上角点坐标的纵坐标为第三左下角点坐标的纵坐标加上校准高度；第三右上角点坐标的横坐标为第三左下角点坐标的横坐标加上校准宽度，第三右上角点坐标的纵坐标为第三左下角点坐标的纵坐标加上校准高度；第三右下角点坐标的横坐标为第三左下角点坐标的横坐标加上校准宽度，第三右下角点坐标的纵坐标与第三左下角点坐标的纵坐标相同。
[0168] 若热成像图像的原点为右上角点，则将原点校准坐标确定为第三右上角点坐标；此时，第三左上角点坐标的横坐标为第三右上角点坐标的横坐标减去校准宽度，第三左上角点坐标的纵坐标与第三右上角点坐标的纵坐标相同；第三左下角点坐标的横坐标为第三右上角点坐标的横坐标减去校准宽度，第三左下角点坐标的纵坐标为第三右上角点坐标的纵坐标减去校准高度；第三右下角点坐标的横坐标与第三右上角点坐标的横坐标相同，第三右下角点坐标的纵坐标为第三右上角点坐标的纵坐标减去校准高度。
[0169] 若热成像图像的原点为右下角点，则将原点校准坐标确定为第三右下角点坐标；此时，第三左上角点坐标的横坐标为第三右下角点坐标的横坐标减去校准宽度，第三左上角点坐标的纵坐标为第三右下角点坐标的纵坐标加上校准高度；第三左下角点坐标的横坐标为第三右下角点坐标的横坐标减去校准宽度，第三左下角点坐标的纵坐标与第三右下角点坐标的纵坐标相同；第三右上角点坐标的横坐标与第三右下角点坐标的横坐标相同，第三右上角点坐标的纵坐标为第三右下角点坐标的纵坐标加上校准高度。
[0170] 由于可见光区域为可见光图像形成的区域，因此，当可见光图像的原点为可见光图像的左上角点、左下角点、右上角点和右下角点中的任意一点时，确定可见光区域的第四角点坐标，具体包括：获取可见光图像的第二初始宽度Wk、第二初始高度Hk以及原点坐标；根据第二初始宽度Wk、第二初始高度Hk和原点坐标，确定可见光区域的第四角点坐标。
[0171] 根据第二初始宽度、第二初始高度和原点坐标，确定可见光区域的第四角点坐标时，若可见光图像的原点为左上角点，则将原点坐标确定为第四左上角点坐标；此时，第四左下角点坐标的横坐标与第四左上角点坐标的横坐标相同，第四左下角点坐标的纵坐标为第四左上角点坐标的纵坐标减去第二初始高度；第四右上角点坐标的横坐标为第四左上角点坐标的横坐标加上第二初始宽度，第四右上角点坐标的纵坐标与第四左上角点坐标的纵坐标相同；第四右下角点坐标的横坐标为第四左上角点坐标的横坐标加上第二初始宽度，第四右下角点坐标的纵坐标为第四左上角点坐标的纵坐标减去第二初始高度。
[0172] 若可见光图像的原点为左下角点，则将原点坐标确定为第四左下角点坐标；此时，第四左上角点坐标的横坐标与第四左下角点坐标的横坐标相同，第四左上角点坐标的纵坐标为第四左下角点坐标的纵坐标加上第二初始高度；第四右上角点坐标的横坐标为第四左下角点坐标的横坐标加上第二初始宽度，第四右上角点坐标的纵坐标为第四左下角点坐标的纵坐标加上第二初始高度；第四右下角点坐标的横坐标为第四左下角点坐标的横坐标加上第二初始宽度，第四右下角点坐标的纵坐标与第四左下角点坐标的纵坐标相同。
[0173] 若可见光图像的原点为右上角点，则将原点坐标确定为第四右上角点坐标；此时，第四左上角点坐标的横坐标为第四右上角点坐标的横坐标减去第二初始宽度，第四左上角点坐标的纵坐标与第四右上角点坐标的纵坐标相同；第四左下角点坐标的横坐标为第四右上角点坐标的横坐标减去第二初始宽度，第四左下角点坐标的纵坐标为第四右上角点坐标的纵坐标减去第二初始高度；第四右下角点坐标的横坐标与第四右上角点坐标的横坐标相同，第四右下角点坐标的纵坐标为第四右上角点坐标的纵坐标减去第二初始高度。
[0174] 若可见光图像的原点为右下角点，则将原点坐标确定为第四右下角点坐标；此时，第四左上角点坐标的横坐标为第四右下角点坐标的横坐标减去第二初始宽度，第四左上角点坐标的纵坐标为第四右下角点坐标的纵坐标加上第二初始高度；第四左下角点坐标的横坐标为第四右下角点坐标的横坐标减去第二初始宽度，第四左下角点坐标的纵坐标与第四右下角点坐标的纵坐标相同；第四右上角点坐标的横坐标与第四右下角点坐标的横坐标相同，第四右上角点坐标的纵坐标为第四右下角点坐标的纵坐标加上第二初始高度。
[0175] 由于第一角点和第二角点为对角角点，则第一角点和第二角点可以分别为重合区域的左下角点和右上角点，也可以分别为重合区域的左上角点和右下角点。
[0176] 当第一角点和第二角点分别为重合区域的左下角点和右上角点时，确定重合区域的第一角点和第二角点的坐标的公式如下：
[0177]
[0178]
[0179] 其中，(x1,y1)和(x2,y2)分别为第一角点和第二角点的坐标；(x1”,y2”)、(x1”,y1”)、(x2”,y2”)、(x2”,y1”)分别为第三左上角点坐标、第三左下角点坐标、第三右上角点坐标和第三右下角点坐标；(x1',y2')、(x1',y1')、(x2',y2')、(x2',y1')分别为第四左上角点坐标、第四左下角点坐标、第四右上角点坐标和第四右下角点坐标。
[0180] 此时，根据第一角点和第二角点的坐标，确定重合区域的第三角点和第四角点的坐标时，若第三角点和第四角点分别为重合区域的左上角点和右下角点，则将第一角点的横坐标确定为第三角点的横坐标，将第二角点的纵坐标确定为第三角点的纵坐标；将第二角点的横坐标确定为第四角点的横坐标，将第一角点的纵坐标确定为第四角点的纵坐标。
[0181] 当第一角点和第二角点分别为重合区域的左上角点和右下角点时，确定重合区域的第一角点和第二角点的坐标的公式的原理与第一角点和第二角点分别为重合区域的左下角点和右上角点时，确定重合区域的第一角点和第二角点的坐标的公式的原理相同，在此不再一一赘述。
[0182] 在本发明实施例中，通过采集热成像图像时的第一焦距以及采集可见光图像时的第二焦距确定热成像图像的大小校准参数和位置校准参数，然后根据大小校准参数调整热成像图像的大小，根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准，得到待融合图像，对待融合图像进行融合处理，生成双光融合图像。其中，根据大小校准参数调整热成像图像的大小使得热成像图像的成像比例与可见光图像的成像比例一致，此时，根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准，能够使得热成像图像和可见光图像的成像重合，进而使得热成像图像和可见光图像精确配准，提高了融合图像的画面质量。
[0183] 进一步地，请参阅图5，是本发明实施例提供的一种图像融合的装置的结构示意图，该图像融合的装置各个模块的功能由上述双光相机40执行，用于在采集热成像图像和采集可见光图像的焦距不同时，对热成像图像和可见光图像进行精确配准，提高融合图像的画面质量。
[0184] 值得注意的是，本发明实施例所使用的术语“模块”为可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置可以以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能被构想的。
[0185] 具体地，该图像融合的装置包括：
[0186] 获取模块200，用于获取所述热成像镜头采集到的热成像图像和所述可见光镜头采集到的可见光图像；
[0187] 确定模块300，用于确定所述热成像镜头采集所述热成像图像时的第一焦距以及所述可见光镜头采集所述可见光图像时的第二焦距；以及，
[0188] 用于根据所述第一焦距和所述第二焦距，确定所述热成像图像的大小校准参数及位置校准参数；
[0189] 调整模块400，用于根据所述大小校准参数调整所述热成像图像的大小，并根据所述位置校准参数将所述调整后的热成像图像移动至所述可见光图像中与所述可见光图像配准，得到待融合图像；
[0190] 处理模块500，用于对所述待融合图像进行融合处理，生成双光融合图像。
[0191] 在一些实施例中，所述确定模块300具体用于：
[0192] 根据所述第一焦距和所述第二焦距，确定所述热成像图像的缩放比例；
[0193] 根据所述缩放比例，确定所述热成像图像的大小校准参数及位置校准参数。
[0194] 在一些实施例中，所述热成像图像包括第一矩形校准框，所述可见光图像包括第二矩形校准框；则，
[0195] 所述确定模块300具体用于：
[0196] 根据所述第一焦距确定所述第一矩形校准框的第一角点坐标，所述第一角点坐标包括第一左上角点坐标、第一左下角点坐标、第一右上角点坐标和第一右下角点坐标；
[0197] 根据所述第二焦距确定所述第二矩形校准框的第二角点坐标，所述第二角点坐标包括第二左上角点坐标、第二左下角点坐标、第二右上角点坐标和第二右下角点坐标；
[0198] 根据所述第一角点坐标和所述第二角点坐标，确定所述热成像图像的缩放比例。
[0199] 在一些实施例中，所述确定模块300具体用于：
[0200] 根据所述第一角点坐标确定所述第一矩形校准框的第一宽度；
[0201] 根据所述第二角点坐标确定所述第二矩形校准框的第二宽度；
[0202] 根据所述第一宽度和所述第二宽度确定所述缩放比例；
[0203] 或者，
[0204] 根据所述第一角点坐标确定所述第一矩形校准框的第一高度；
[0205] 根据所述第二角点坐标确定所述第二矩形校准框的第二高度；
[0206] 根据所述第一高度和所述第二高度确定所述缩放比例。
[0207] 在一些实施例中，所述确定模块300具体用于：
[0208] 在所述第一角点坐标中，提取任意两个纵坐标相同的角点坐标，根据所提取的角点坐标的横坐标的差值确定所述第一宽度；
[0209] 在所述第二角点坐标中，提取任意两个纵坐标相同的角点坐标，根据所提取的角点坐标的横坐标的差值确定所述第二宽度；
[0210] 在所述第一角点坐标中，提取任意两个横坐标相同的角点坐标，根据所提取的角点坐标的纵坐标的差值确定所述第一高度；
[0211] 在所述第二角点坐标中，提取任意两个横坐标相同的角点坐标，根据所提取的角点坐标的纵坐标的差值确定所述第二高度。
[0212] 在一些实施例中，所述大小校准参数包括校准宽度和校准高度，所述位置校准参数包括原点校准坐标；则，
[0213] 所述确定模块300具体用于：
[0214] 获取所述热成像图像的第一初始宽度、第一初始高度以及第一定位点的第一坐标；
[0215] 在所述可见光图像中确定与所述第一定位点对应的第二定位点的第二坐标；
[0216] 根据所述缩放比例和所述第一初始宽度，确定所述校准宽度；
[0217] 根据所述缩放比例和所述第一初始高度，确定所述校准高度；
[0218] 根据所述缩放比例、所述第一坐标和所述第二坐标，确定所述原点校准坐标。
[0219] 在一些实施例中，所述第一坐标为所述第一左上角点坐标、所述第一左下角点坐标、所述第一右上角点坐标和所述第一右下角点坐标中的任意一个；
[0220] 所述第二坐标为所述第二左上角点坐标、所述第二左下角点坐标、所述第二右上角点坐标和所述第二右下角点坐标中的任意一个。
[0221] 在一些实施例中，所述处理模块500还用于：
[0222] 在对所述待融合图像进行融合处理后，确定所述待融合图像中的热成像区域和可见光区域的重合区域；
[0223] 裁剪所述待融合图像中所述重合区域以外的其他区域。
[0224] 在一些实施例中，所述处理模块500具体用于：
[0225] 确定所述热成像区域的第三角点坐标，所述第三角点坐标包括第三左上角点坐标、第三左下角点坐标、第三右上角点坐标和第三右下角点坐标；
[0226] 确定所述可见光区域的第四角点坐标，所述第四角点坐标包括第四左上角点坐标、第四左下角点坐标、第四右上角点坐标和第四右下角点坐标；
[0227] 根据所述第三角点坐标和所述第四角点坐标，确定所述重合区域的第一角点和第二角点的坐标，所述第一角点和所述第二角点为对角角点；
[0228] 根据所述第一角点和所述第二角点的坐标，确定所述重合区域的第三角点和第四角点的坐标。
[0229] 在一些实施例中，所述热成像图像的原点为所述热成像图像的左上角点、左下角点、右上角点、右下角点中的任意一点；则，
[0230] 所述处理模块500具体用于：
[0231] 根据所述校准宽度、所述校准高度和所述原点校准坐标，确定所述热成像区域的第三角点坐标。
[0232] 在一些实施例中，所述可见光图像的原点为所述可见光图像的左上角点、左下角点、右上角点、右下角点中的任意一点；则，
[0233] 所述处理模块500具体用于：
[0234] 获取所述可见光图像的第二初始宽度、第二初始高度以及原点坐标；
[0235] 根据所述第二初始宽度、所述第二初始高度和所述原点坐标，确定所述可见光区域的第四角点坐标。
[0236] 在一些实施例中，所述第一角点和所述第二角点分别为所述重合区域的左下角点和右上角点；则，
[0237] 确定所述重合区域的第一角点和第二角点的坐标的公式如下：
[0238]
[0239]
[0240] 其中，(x1,y1)和(x2,y2)分别为所述第一角点和所述第二角点的坐标；(x1”,y2”)、(x1”,y1”)、(x2”,y2”)、(x2”,y1”)分别为所述第三左上角点坐标、所述第三左下角点坐标、所述第三右上角点坐标和所述第三右下角点坐标；(x1',y2')、(x1',y1')、(x2',y2')、(x2',y1')分别为所述第四左上角点坐标、所述第四左下角点坐标、所述第四右上角点坐标和所述第四右下角点坐标。
[0241] 由于装置实施例和方法实施例是基于同一构思，在内容不互相冲突的前提下，装置实施例的内容可以引用方法实施例的，在此不再一一赘述。
[0242] 在其他一些可替代实施例中，上述获取模块200、确定模块300、调整模块400以及处理模块500可以为双光相机40的处理芯片。
[0243] 在本发明实施例中，通过采集热成像图像时的第一焦距以及采集可见光图像时的第二焦距确定热成像图像的大小校准参数和位置校准参数，然后根据大小校准参数调整热成像图像的大小，根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准，得到待融合图像，对待融合图像进行融合处理，生成双光融合图像。其中，根据大小校准参数调整热成像图像的大小使得热成像图像的成像比例与可见光图像的成像比例一致，此时，根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准，能够使得热成像图像和可见光图像的成像重合，进而使得热成像图像和可见光图像精确配准，提高了融合图像的画面质量。
[0244] 进一步地，请参阅图6，是本发明实施例提供的一种双光相机的硬件结构示意图，包括：
[0245] 一个或多个处理器41以及存储器42。其中，图6中以一个处理器41为例。
[0246] 处理器41和存储器42可以通过总线或者其他方式连接，图6中以通过总线连接为例。
[0247] 存储器42作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明上述实施例中的一种图像融合的方法对应的程序指令以及一种图像融合的装置对应的模块(例如，获取模块200、确定模块300、调整模块400以及处理模块500等)。处理器41通过运行存储在存储器42中的非易失性软件程序、指令以及模块，从而执行一种图像融合的方法的各种功能应用以及数据处理，即实现上述方法实施例中的一种图像融合的方法以及上述装置实施例的各个模块的功能。
[0249] 所述存储数据区还存储有预设的数据，包括预设第一焦距与预设第一角点坐标的对应关系表、预设第二焦距与预设第二角点坐标的对应关系表、预设缩放比例与预设大小校准参数及预设位置校准参数的对应关系表、预设第一焦距、预设第二焦距、预设大小校准参数及预设位置校准参数的对应关系表等。
[0250] 此外，存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器42可选包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至处理器41。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0251] 所述程序指令以及一个或多个模块存储在所述存储器42中，当被所述一个或者多个处理器41执行时，执行上述任意方法实施例中的一种图像融合的方法的各个步骤，或者，实现上述任意装置实施例中的一种图像融合的装置的各个模块的功能。
[0252] 上述产品可执行本发明上述实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明上述实施例所提供的方法。
[0253] 本发明实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图6中的一个处理器41，可使得计算机执行上述任意方法实施例中的一种图像融合的方法的各个步骤，或者，实现上述任意装置实施例中的一种图像融合的装置的各个模块的功能。
[0254] 本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被一个或多个处理器执行，例如图6中的一个处理器41，可使得计算机执行上述任意方法实施例中的一种图像融合的方法的各个步骤，或者，实现上述任意装置实施例中的一种图像融合的装置的各个模块的功能。
[0255] 以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0256] 通过以上的实施例的描述，本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施方法的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
[0257] 以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
[0258] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于有序抽样的特征匹配算法 | 2020-05-08 | 888 |
| 一种智能垃圾分类桶 | 2020-05-08 | 531 |
| 一种大屏幕及其智能拍照方法 | 2020-05-08 | 403 |
| 图像处理方法、装置、存储介质以及终端 | 2020-05-08 | 959 |
| 一种听写结果的检测方法及学习设备 | 2020-05-11 | 901 |
| 用于高清地图创建的视觉测程法和成对对准 | 2020-05-08 | 193 |
| 基于深度学习的无监督端到端的驾驶环境感知方法 | 2020-05-08 | 385 |
| 一种自动扫描式图像识别的自动售货装置及方法 | 2020-05-11 | 980 |
| 一种小型无人机空中精准发射救援物品的装置 | 2020-05-08 | 175 |
| 用于车辆混线生产系统的检验设备和车辆混线生产系统 | 2020-05-08 | 442 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈