图像处理方法、装置、存储介质及电子设备
阅读：595发布：2020-05-08
专利汇可以提供图像处理方法、装置、存储介质及电子设备专利检索，专利查询，专利分析的服务。并且本 申请 实施例 公开了一种 图像处理 方法、装置、存储介质及 电子 设备，其中，首先获取到多个图像，并从其中确定出参考图像；然后，构建包括对应参考图像的N层尺寸递减的二值化参考图像的参考图像金字塔，以及构建包括对应非参考图像的N层尺寸递减的二值化非参考图像的非参考图像金字塔；然后，利用参考图像金字塔和非参考图像金字塔将非参考图像和参考图像对齐。由此，即使原始图像的曝光程度不同，但是二值化后也是很相似的，这样就能更准确的将非参考图像与参考图像对齐。并且，将图像二值化后，整体的数据量降低，还能够提高图像对齐的效率。，下面是图像处理方法、装置、存储介质及电子设备专利的具体信息内容。
1.一种图像处理方法，应用于电子设备，其特征在于，包括：
获取多个图像，并从所述多个图像中确定出参考图像；
构建所述参考图像的参考图像金字塔，所述参考图像金字塔包括对应所述参考图像的N层尺寸递减的二值化参考图像，其中，N为大于或等于2的正整数，且第1层二值化参考图像的尺寸与所述多个图像的尺寸相同；
构建所述多个图像中非参考图像的非参考图像金字塔，所述非参考图像金字塔包括对应所述非参考图像的N层尺寸递减的二值化非参考图像，其中，第1层二值化非参考图像的尺寸与所述多个图像的尺寸相同；
预测第N层二值化参考图像和第N层二值化非参考图像的多个候选图像偏移，并从中确定出使得第N层二值化参考图像和第N层二值化非参考图像对齐程度最大的第一目标图像偏移；
根据所述第一目标图像偏移预测第N-1层二值化参考图像和第N-1层二值化非参考图像的多个候选图像偏移，并从中确定出使得第N-1层二值化参考图像和第N-1层二值化非参考图像对齐程度最大的第二目标图像偏移；
以此类推，继续预测使得其它同层的二值化参考图像和二值化非参考图像对齐程度最大的目标图像偏移，直至预测得到使得第1层二值化参考图像和第1层二值化非参考图像对齐程度最大的第三目标图像偏移；
根据所述第三目标图像偏移对所述非参考图像进行偏移，以将所述非参考图像与所述参考图像对齐。
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述第三目标图像偏移对所述非参考图像进行偏移之前，还包括：
根据所述第三目标图像偏移对第1层二值化非参考图像进行偏移；
获取偏移后的第1层二值化非参考图像与第1层二值化参考图像的偏移对齐程度；
判断所述偏移对齐程度是否达到预设对齐程度；
当所述偏移对齐程度达到所述预设对齐程度时，根据所述第三目标图像偏移对所述非参考图像进行偏移。
3.根据权利要求2所述的图像处理方法，其特征在于，所述获取偏移后的第1层二值化非参考图像与第1层二值化参考图像的对齐程度，包括：
识别所述偏移后的第1层二值化非参考图像和所述第1层二值化参考图像中的特征点，并进行特征点匹配，得到所述偏移后的第1层二值化非参考图像和所述第1层二值化参考图像的匹配特征点对；
根据所述匹配特征点对在所述偏移后的第1层二值化非参考图像中连接得到第一多边形；
根据所述匹配特征点对在所述第1层二值化参考图像中连接得到第二多边形；
获取所述第一多边形和所述第二多边形的中心距离，作为所述偏移后的第1层二值化非参考图像与所述第1层二值化参考图像的对齐程度。
4.根据权利要求2所述的图像处理方法，其特征在于，所述判断所述偏移对齐程度是否达到预设对齐程度之后，还包括：
当所述偏移对齐程度未达到所述预设对齐程度时，根据所述第三目标图像偏移对所述非参考图像进行偏移，得到偏移图像；
构建偏移图像的偏移图像金字塔，所述偏移图像金字塔包括对应所述偏移图像的N层尺寸递减的二值化偏移图像，其中，第1层二值化偏移图像的尺寸与所述多个图像的尺寸相同；
预测第N层二值化参考图像和第N层二值化偏移图像的多个候选旋转角度，并从中确定出使得第N层二值化参考图像和第N层二值化偏移图像对齐程度最大的第一目标旋转角度；
根据所述第一目标旋转角度预测第N-1层二值化参考图像和第N-1层二值化偏移图像的多个候选旋转角度，并从中确定出使得第N-1层二值化参考图像和第N-1层二值化偏移图像对齐程度最大的第二目标旋转角度；
以此类推，继续预测使得其它同层的二值化参考图像和二值化偏移图像对齐程度最大的目标旋转角度，直至预测得到第1层二值化参考图像和第1层二值化偏移图像对齐程度最大的第三目标旋转角度；
根据所述第三目标旋转角度对所述偏移图像进行旋转，以将所述偏移图像与所述参考图像对齐。
5.根据权利要求4所述的图像处理方法，其特征在于，所述根据所述第三目标旋转角度对所述偏移图像进行旋转之前，还包括：
根据所述第三目标旋转角度对第1层二值化偏移图像进行旋转；
获取旋转后的第1层二值化偏移图像与第1层二值化参考图像的旋转对齐程度；
判断所述旋转对齐程度是否达到所述预设对齐程度；
当所述旋转对齐程度达到所述预设对齐程度时，根据所述第三目标旋转角度对所述偏移图像进行旋转。
6.根据权利要求5所述的图像处理方法，其特征在于，所述判断所述旋转对齐程度是否达到所述预设对齐程度之后，还包括：
当所述旋转对齐程度未达到所述预设对齐程度时，将所述参考图像划分为多个对象区域，以及将所述非参考图像划分为多个对象区域；
按照每一对象在所述参考图像中对象区域以及在所述非参考图像中对象区域，将所述非参考图像与所述参考图像对齐。
7.根据权利要求1-6任一项所述的图像处理方法，其特征在于，还包括：
根据对齐后的所述多个图像进行高动态范围合成，得到高动态合成图像；
根据所述高动态合成图像进行视频编码，得到高动态视频。
8.一种图像处理装置，应用于电子设备，其特征在于，包括：
图像获取模块，用于获取多个图像，并从所述多个图像中确定出参考图像；
金字塔构建模块，用于构建所述参考图像的参考图像金字塔，所述参考图像金字塔包括对应所述参考图像的N层尺寸递减的二值化参考图像，其中，N为大于或等于2的正整数，且第1层二值化参考图像的尺寸与所述多个图像的尺寸相同；以及
构建所述多个图像中非参考图像的非参考图像金字塔，所述非参考图像金字塔包括对应所述非参考图像的N层尺寸递减的二值化非参考图像，其中，第1层二值化非参考图像的尺寸与所述多个图像的尺寸相同；
偏移预测模块，用于预测第N层二值化参考图像和第N层二值化非参考图像的多个候选图像偏移，并从中确定出使得第N层二值化参考图像和第N层二值化非参考图像对齐程度最大的第一目标图像偏移；以及
根据所述第一目标图像偏移预测第N-1层二值化参考图像和第N-1层二值化非参考图像的多个候选图像偏移，并从中确定出使得第N-1层二值化参考图像和第N-1层二值化非参考图像对齐程度最大的第二目标图像偏移；以及
以此类推，继续预测使得其它同层的二值化参考图像和二值化非参考图像对齐程度最大的目标图像偏移，直至预测得到使得第1层二值化参考图像和第1层二值化非参考图像对齐程度最大的第三目标图像偏移；
图像偏移模块，用于根据所述第三目标图像偏移对所述非参考图像进行偏移，以将所述非参考图像与所述参考图像对齐。
9.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器加载时执行如权利要求1至7任一项所述的图像处理方法。
10.一种电子设备，包括处理器和存储器，所述存储器储存有计算机程序，其特征在于，所述处理器通过加载所述计算机程序，用于执行如权利要求1至7任一项所述的图像处理方法。
图像处理方法、装置、存储介质及电子设备
技术领域
[0001] 本申请涉及图像处理技术领域，具体涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
[0002] 目前，人们的生活已离不开智能手机、平板电脑等电子设备，通过这些电子设备所提供的各种各样丰富的功能，使得人们能够随时随地的娱乐、办公等。比如，用户可以使用电子设备进行拍摄，如拍摄图像或录制视频等。因此，电子设备经常需要进行各种图像处理操作。在图像处理中，电子设备可以获取同一拍摄场景下多个图像，并将获取到的多个图像对齐后再做进一步的图像处理。然后，相关技术在进行图像对齐时，图像对齐的效果仍然较差。发明内容
[0003] 本申请实施例提供了一种图像处理方法、装置、存储介质及电子设备，能够提高图像对齐的效果。
[0004] 本申请实施例提供图像处理方法，应用于电子设备，该图像处理方法包括：
[0005] 获取多个图像，并从所述多个图像中确定出参考图像；
[0006] 构建所述参考图像的参考图像金字塔，所述参考图像金字塔包括对应所述参考图像的N层尺寸递减的二值化参考图像，其中，N为大于或等于2的正整数，且第1层二值化参考图像的尺寸与所述多个图像的尺寸相同；
[0007] 构建所述多个图像中非参考图像的非参考图像金字塔，所述非参考图像金字塔包括对应所述非参考图像的N层尺寸递减的二值化非参考图像，其中，第1层二值化非参考图像的尺寸与所述多个图像的尺寸相同；
[0008] 预测第N层二值化参考图像和第N层二值化非参考图像的多个候选图像偏移，并从中确定出使得第N层二值化参考图像和第N层二值化非参考图像对齐程度最大的第一目标图像偏移；
[0009] 根据所述第一目标图像偏移预测第N-1层二值化参考图像和第N-1层二值化非参考图像的多个候选图像偏移，并从中确定出使得第N-1层二值化参考图像和第N-1层二值化非参考图像对齐程度最大的第二目标图像偏移；
[0010] 以此类推，继续预测使得其它同层的二值化参考图像和二值化非参考图像对齐程度最大的目标图像偏移，直至预测得到使得第1层二值化参考图像和第1层二值化非参考图像对齐程度最大的第三目标图像偏移；
[0011] 根据所述第三目标图像偏移对所述非参考图像进行偏移，以将所述非参考图像与所述参考图像对齐。
[0012] 本申请实施例提供的图像处理装置，应用于电子设备，该图像处理装置包括：
[0013] 图像获取模块，用于获取多个图像，并从所述多个图像中确定出参考图像；
[0014] 金字塔构建模块，用于构建所述参考图像的参考图像金字塔，所述参考图像金字塔包括对应所述参考图像的N层尺寸递减的二值化参考图像，其中，N为大于或等于2的正整数，且第1层二值化参考图像的尺寸与所述多个图像的尺寸相同；以及
[0015] 构建所述多个图像中非参考图像的非参考图像金字塔，所述非参考图像金字塔包括对应所述非参考图像的N层尺寸递减的二值化非参考图像，其中，第1层二值化非参考图像的尺寸与所述多个图像的尺寸相同；
[0016] 偏移预测模块，用于预测第N层二值化参考图像和第N层二值化非参考图像的多个候选图像偏移，并从中确定出使得第N层二值化参考图像和第N层二值化非参考图像对齐程度最大的第一目标图像偏移；以及
[0017] 根据所述第一目标图像偏移预测第N-1层二值化参考图像和第N-1层二值化非参考图像的多个候选图像偏移，并从中确定出使得第N-1层二值化参考图像和第N-1层二值化非参考图像对齐程度最大的第二目标图像偏移；以及
[0018] 以此类推，继续预测使得其它同层的二值化参考图像和二值化非参考图像对齐程度最大的目标图像偏移，直至预测得到使得第1层二值化参考图像和第1层二值化非参考图像对齐程度最大的第三目标图像偏移；
[0019] 图像偏移模块，用于根据所述第三目标图像偏移对所述非参考图像进行偏移，以将所述非参考图像与所述参考图像对齐。
[0020] 本申请实施例提供的存储介质，其上存储有计算机程序，当所述计算机程序被处理器加载时执行如本申请任一实施例提供的图像处理方法。
[0021] 本申请实施例提供的电子设备，包括处理器和存储器，所述存储器存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如本申请任一实施例提供的图像处理方法。
[0022] 本申请首先获取到多个图像，并从其中确定出参考图像；然后，构建包括对应参考图像的N层尺寸递减的二值化参考图像的参考图像金字塔，以及构建包括对应非参考图像的N层尺寸递减的二值化非参考图像的非参考图像金字塔；然后，利用参考图像金字塔和非参考图像金字塔将非参考图像和参考图像对齐。由此，即使原始图像的曝光程度不同，但是二值化后也是很相似的，这样就能更准确的将非参考图像与参考图像对齐。并且，将图像二值化后，整体的数据量降低，还能够提高图像对齐的效率。附图说明
[0023] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024] 图1为本申请实施例提供的图像处理方法的一流程示意图。
[0025] 图2是本申请实施例中构建的参考图像金字塔的示意图。
[0026] 图3是本申请实施例中构建的非参考图像金字塔的示意图。
[0027] 图4是本申请实施例中预测得到的多个候选图像偏移的示意图。
[0028] 图5是本申请实施例中连接特征点得到第一多边形和第二多边形的示例图。
[0029] 图6是本申请实施例中构建的偏移图像金字塔的示意图。
[0030] 图7是本申请实施例提供的图像处理方法的另一流程示意图。
[0031] 图8是本申请实施例提供的图像处理装置的一结构示意图。
[0032] 图9是本申请实施例提供的电子设备的一结构示意图。
具体实施方式
[0033] 请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是通过所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。
[0034] 本申请实施例涉及一种图像处理方法、图像处理装置、存储介质以及电子设备，其中，该图像处理方法的执行主体可以是本申请实施例提供的图像处理装置，或者集成了该图像处理装置的电子设备，其中该图像处理装置可以采用硬件或者软件的方式实现。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器而具有处理能力的设备。
[0035] 请参照图1，图1为本申请实施例提供的图像处理方法的流程示意图，本申请实施例提供的图像处理方法的具体流程可以如下：
[0036] 在101中，获取多个图像，并从多个图像中确定出参考图像。
[0037] 比如，电子设备首先获取用于图像合成处理的多个图像，获取图像的个数根据图像合成的需要确定。其中，获取的各图像的尺寸相同。
[0038] 示例性的，在进行降噪合成时，可以获取同一拍摄场景下至少两个曝光参数相同图像；
[0039] 在进行高动态合成时，根据高动态合成方式的不同，可以获取同一拍摄场景下至少两个曝光参数不同的图像，也可以获取同一拍摄场景下至少两个相同曝光参数的图像。
[0040] 在获取到用于图像合成处理的多个图像之后，电子设备进一步从获取到的多个图像中确定出参考图像，从而以该参考图像为基准进行图像对齐。
[0041] 比如，电子设备可以从获取到的多个图像中确定出清晰度最高的图像作为参考图像，进而以该参考图像为基准将获取到的非参考图像与参考图像对齐。
[0042] 在102中，构建参考图像的参考图像金字塔，参考图像金字塔包括对应参考图像的N层尺寸递减的二值化参考图像，其中，N为大于或等于2的正整数，且第1层二值化参考图像的尺寸与前述多个图像的尺寸相同。
[0043] 在从获取到的多个图像中确定出参考图像之后，电子设备进一步构建参考图像的参考图像金字塔，该参考图像金字塔包括对应参考图像的N层尺寸递减的二值化参考图像。
[0044] 比如，电子设备可以先对参考图像进行二值化处理，得到与参考图像尺寸相同的二值化参考图像，然后，对与参考图像尺寸相同的二值化参考图像做N-1次下采样，得到N-1个不同尺寸的二值化参考图像。
[0045] 应当说明的是，本申请对二值化处理方式以及下采样方式不做具体限定，可由本领域普通技术人员根据实际需要进行配置。
[0046] 示例性的，在对参考图像进行二值化处理时，电子设备可以先确定出参考图像中各像素位置像素值的中值T，以该中值T为门限，将大于或等于中值T的像素值置为1，将小于中值T的像素值置为0，从而得到与参考图像尺寸相同的二值化参考图像。应当说明的是，二值化的像素值不仅限于本申请列举的0和1，可由本利用普通技术人员根据实际需要设置为任意两个不同值。
[0047] 在对与参考图像尺寸相同的二值化参考图像进行下采样时，假设参考图像的宽高分别是{W，H}，每次下采样时图像的尺寸都是上一层图像的二分之一，下采样4次，即可得到5层尺寸递减的二值化参考图像，由这5层尺寸递减的二值化参考图像构成参考图像金字塔，如图2所示，其中，第1层二值化参考图像宽高为{W，H}，第2层二值化参考图像宽高为{W/
2，H/2}，第3层二值化参考图像宽高为{W/4，H/4}，第4层二值化参考图像宽高为{W/8，H/8}，第5层二值化参考图像宽高为{W/16，H/16}。
2，H/2}，第3层二值化参考图像宽高为{W/4，H/4}，第4层二值化参考图像宽高为{W/8，H/8}，第5层二值化参考图像宽高为{W/16，H/16}。
[0048] 在其它实施例中，电子设备还可以先构建对应参考图像的灰度图金字塔，然后再对灰度图金字塔做二值化处理，也能得到对应参考图像的参考图像金字塔。此外，本领域普通技术人员根据实际需要选取本申请未列出的金字塔构建方式来构建得到参考图像的参考图像金字塔。
[0049] 在103中，构建多个图像中非参考图像的非参考图像金字塔，非参考图像金字塔包括对应非参考图像的N层尺寸递减的二值化非参考图像，其中，第1层二值化非参考图像的尺寸与前述多个图像的尺寸相同。
[0050] 本申请实施例中，电子设备除了构建参考图像的参考图像金字塔之外，还构建获取到的多个图像中非参考图像的非参考图像金字塔，该非参考图像金字塔包括对应非参考图像的N层尺寸递减的二值化非参考图像。
[0051] 应当说明的是，电子设备按照构建参考图像的参考图像金字塔的相同方式，构建非参考图像的非参考图像金字塔。其中，存在多少个非参考图像，则电子设备相应构建多少个非参考图像金字塔，比如，存在两个非参考图像，分别为非参考图像A和非参考图像B，则电子设备构建对应非参考图像A的非参考图像金字塔，以及构建对应非参考图像B的非参考图像金字塔。
[0052] 比如，电子设备获取到两个宽高为{W，H}的图像，在从这两个图像中确定出参考图像后，构建的参考图像金字塔如图2所示，构建的非参考图像金字塔如图3所示。
[0053] 应当说明的是，以上102和103的执行先后顺序不受序号大小的影响，可以是102在103之前执行，也可以是103在102之前执行，还可以是102和103同时执行。
[0054] 在104中，预测第N层二值化参考图像和第N层二值化非参考图像的多个候选图像偏移，并从中确定出使得第N层二值化参考图像和第N层二值化非参考图像对齐程度最大的第一目标图像偏移。
[0055] 其中，候选图像偏移用于描述如何在二值化非参考图像所在的平面空间内对其进行平移，以使得平移后二值化非参考图像与参考图像对齐，包括平移的方向和距离。
[0056] 比如，电子设备可以获取到拍摄参考图像时的速度信息(包括方向和速度大小)，以及获取到拍摄非参考图像时的速度信息，并结合参考图像和非参考图像的拍摄间隔，估计得到电子设备的移动方向和移动距离；然后，以电子设备的移动方向和移动距离为基础，预测得到对应的候选图像偏移，记为基础候选图像偏移；然后，按照第一预设角度步长(可由本领域普通技术人员根据实际需要进行设置，本申请对其取值不做具体限制)对基础候选图像偏移的方向进行多次调整，得到包括基础候选图像偏移在内的多个候选图像偏移，比如，请参照图4，对基准候选图像偏移的方向增加第一预设角度步长，得到候选图像偏移1，对候选图像偏移1的方向增加第一预设角度步长，得到候选图像偏移2，对基准候选图像偏移的方向减少第一预设角度步长，得到候选图像偏移3，对候选图像偏移3的方向减少第一预设角度步长，得到候选图像偏移4。
[0057] 又比如，电子设备可以对第N层二值化参考图像和第N层二值化非参考图像特征点识别(包括但不限于识别SIFT特征点和Harris角点等)，得到第N层二值化参考图像的特征点识别结果，以及得到第N层二值化非参考图像的特征点识别结果；然后，根据第N层二值化参考图像的特征点识别结果以及第N层二值化非参考图像的特征点识别结果，确定出第N层二值化参考图像和第N层二值化非参考图像的匹配特征点对；然后，根据匹配特征点对连接第N层二值化参考图像的特征点，得到第三多边形，以及对应连接第N层二值化非参考图像的特征点，得到第四多边形；然后，根据该第三多边形的中心坐标和第四多边形的中心坐标，预测得到对应的候选图像偏移，记为基础候选图像偏移；然后，按照第一预设角度步长对基础候选图像偏移的方向进行多次调整，得到包括基础候选图像偏移在内的多个候选图像偏移，如图4所示。
[0058] 在预测得到第N层二值化参考图像和第N层二值化非参考图像的多个候选图像偏移之后，电子设备进一步从中确定出使得第N层二值化参考图像和第N层二值化非参考图像对齐程度最大的候选图像偏移，记为第一目标图像偏移。
[0059] 其中，对于对齐程度如何量化，可由本领域普通技术人员根据实际需要选择合适的量化方式，本申请实施例中对此不作具体限制。
[0060] 在105中，根据第一目标图像偏移预测第N-1层二值化参考图像和第N-1层二值化非参考图像的多个候选图像偏移，并从中确定出使得第N-1层二值化参考图像和第N-1层二值化非参考图像对齐程度最大的第二目标图像偏移。
[0061] 在预测得到尺寸最小的第N层二值化参考图像和第N层二值化的第一目标图像偏移之后，电子设备以该第一目标图像偏移为基础，预测第N-1层二值化参考图像和第N-1层二值化非参考图像的多个候选图像偏移。
[0062] 其中，电子设备根据第N-1层二值化参考图像和第N层二值化参考图像的尺寸关系，对第一目标图像偏移的距离进行调整，得到第N-1层二值化参考图像和第N-1层二值化的基础候选图像偏移。比如，假设第N-1层二值化参考图像的尺寸为第N层二值化参考图像的二倍，则电子设备将第一目标图像偏移的距离乘二，得到第N-1层二值化参考图像和第N-1层二值化的基础候选图像偏移。
[0063] 在得到第N-1层二值化参考图像和第N-1层二值化的基础候选图像偏移之后，电子设备按照第一预设角度步长对基础候选图像偏移的方向进行多次调整，得到包括基础候选图像偏移在内的多个候选图像偏移，如图4所示。
[0064] 在预测得到第N-1层二值化参考图像和第N-1层二值化非参考图像的多个候选图像偏移之后，电子设备进一步从中确定出使得第N-1层二值化参考图像和第N-1层二值化非参考图像对齐程度最大的候选图像偏移，记为第二目标图像偏移。
[0065] 在106中，以此类推，继续预测使得其它同层的二值化参考图像和二值化非参考图像对齐程度最大的目标图像偏移，直至预测得到使得第1层二值化参考图像和第1层二值化非参考图像对齐程度最大的第三目标图像偏移。
[0066] 以此类推，电子设备继续根据第N-1层二值化参考图像和第N-1层二值化非参考图像的第二目标图像偏移，预测使得第N-2层二值化参考图像和第N-2层二值化非参考图像对齐程度最大的目标图像偏移；以及根据第N-2层二值化参考图像和第N-2层二值化非参考图像对齐程度最大的目标图像偏移，预测使得第N-3层二值化参考图像和第N-3层二值化非参考图像对齐程度最大的目标图像偏移，等等；直至预测得到使得第1层二值化参考图像和第1层二值化非参考图像对齐程度最大的目标图像偏移，记为第三目标图像偏移。
[0067] 在107中，根据第三目标图像偏移对非参考图像进行偏移，以将非参考图像与参考图像对齐。
[0068] 其中，电子设备在预测得到使得尺寸与所述多个图像相同的第1层二值化参考图像和第1层二值化非参考图像对齐程度最大的第三目标图像偏移之后，即根据该第三目标图像偏移对非参考图像进行偏移，从而将非参考图像与参考图像对齐。
[0069] 应当说明的是，存在多少个非参考图像，电子设备就对应获取到多少个对应的第三目标图像偏移，并根据每一非参考图像对应的第三目标图像偏移进行偏移，将各非参考图像与参考图像对齐，从而将获取到的多个图像对齐。
[0070] 本申请中，首先获取到多个图像，并从其中确定出参考图像；然后，构建包括对应参考图像的N层尺寸递减的二值化参考图像的参考图像金字塔，以及构建包括对应非参考图像的N层尺寸递减的二值化非参考图像的非参考图像金字塔；然后，利用参考图像金字塔和非参考图像金字塔将非参考图像和参考图像对齐。由此，即使原始图像的曝光程度不同，但是二值化后也是很相似的，这样就能更准确的将非参考图像与参考图像对齐。并且，将图像二值化后，整体的数据量降低，还能够提高图像对齐的效率。
[0071] 在一实施例中，根据第三目标图像偏移对非参考图像进行偏移之前，还包括：
[0072] (1)根据第三目标图像偏移对第1层二值化非参考图像进行偏移；
[0073] (2)获取偏移后的第1层二值化非参考图像与第1层二值化参考图像的偏移对齐程度；
[0074] (3)判断偏移对齐程度是否达到预设对齐程度；
[0075] (4)当偏移对齐程度达到预设对齐程度时，根据第三目标图像偏移对非参考图像进行偏移。
[0076] 本申请实施例中，电子设备在预测得到前述第三目标图像偏移之后，并不直接根据第三目标图像偏移对非参考图像进行偏移，而是先对第三目标图像偏移所能带来的对齐效果进行校验，当校验通过时，才根据第三目标图像偏移对非参考图像进行偏移。
[0077] 其中，电子设备首先根据第三目标图像偏移对第1层二值化非参考图像进行偏移，即按照第三目标图像偏移包括的平移方向和平移距离，在第1层二值化非参考图像所在的平面空间内对其进行平移，从而得到偏移后的第1层二值化非参考图像。
[0078] 然后，电子设备进一步对偏移后的第1层二值化非参考图像与第1层二值化参考图像的对齐程度进行量化表征，得到偏移后的第1层二值化非参考图像与第1层二值化参考图像的对齐程度，记为偏移对齐程度。
[0079] 然后，电子设备进一步判断偏移对齐程度是否达到预设对齐程度，当偏移对齐程度达到预设对齐程度时，电子设备判定第三目标图像偏移所能带来的对齐效果通过校验，此时根据第三目标图像偏移对非参考图像进行偏移。
[0080] 在一实施例中，获取偏移后的第1层二值化非参考图像与第1层二值化参考图像的偏移对齐程度，包括：
[0081] (1)识别偏移后的第1层二值化非参考图像和第1层二值化参考图像中的特征点，并进行特征点匹配，得到偏移后的第1层二值化非参考图像和第1层二值化参考图像的匹配特征点对；
[0082] (2)根据匹配特征点对在偏移后的第1层二值化非参考图像中连接得到第一多边形；
[0083] (3)根据匹配特征点对在第1层二值化参考图像中连接得到第二多边形；
[0084] (4)获取第一多边形和第二多边形的中心距离，作为偏移对齐程度。
[0085] 此处提供一种量化表征对齐程度的方式。
[0086] 其中，电子设备首先对偏移后的第1层二值化非参考图像和第1层二值化参考图像进行特征点识别(包括但不限于识别SIFT特征点和Harris角点等)，得到对应偏移后的第1层二值化非参考图像的多个特征点，以及得到对应第1层二值化参考图像的多个特征点；然后，确定出第1层二值化参考图像和第1层二值化非参考图像的匹配特征点对；然后，根据匹配特征点对连接第1层二值化参考图像的多个特征点，得到第一多边形，以及对应连接第1层二值化非参考图像的多个特征点，得到第二多边形。
[0087] 比如，请参照图5，假设识别出第1层二值化参考图像的三个特征点A、B、C，以及识别出偏移后的第1层二值化非参考图像的三个特征点A’、B’、C’，其中，特征点A和特征点A’组成匹配特征点对，特征点B和特征点B’组成匹配特征点对，特征点C和特征点C’组成匹配特征点对。然后，连接特征点A、B、C得到第一多边形为三角形，连接特征点A’、B’、C’得到的第二多边形也为三角形。
[0088] 本申请实施例中，在连接得到对应第1层二值化参考图像的第一多边形，以及连接得到对应偏移后的第1层二值化非参考图像的第二多边形之后，电子设备进一步获取第一多边形和第二多边形的中心距离，作为偏移后的第1层二值化非参考图像与第1层二值化参考图像的偏移对齐程度。
[0089] 在一实施例中，判断获取到的偏移对齐程度是否达到预设对齐程度之后，还包括：
[0090] (1)当获取到的偏移对齐程度未达到预设对齐程度时，根据第三目标图像偏移对非参考图像进行偏移，得到偏移图像；
[0091] (2)构建偏移图像的偏移图像金字塔，偏移图像金字塔包括对应偏移图像的N层尺寸递减的二值化偏移图像，其中，第1层二值化偏移图像的尺寸与前述多个图像的尺寸相同；
[0092] (3)预测第N层二值化参考图像和第N层二值化偏移图像的多个候选旋转角度，并从中确定出使得第N层二值化参考图像和第N层二值化偏移图像对齐程度最大的第一目标旋转角度；
[0093] (4)根据第一目标旋转角度预测第N-1层二值化参考图像和第N-1层二值化偏移图像的多个候选旋转角度，并从中确定出使得第N-1层二值化参考图像和第N-1层二值化偏移图像对齐程度最大的第二目标旋转角度；
[0094] (5)以此类推，继续预测使得其它同层的二值化参考图像和二值化偏移图像对齐程度最大的目标旋转角度，直至预测得到使得第1层二值化参考图像和第1层二值化偏移图像对齐程度最大的第三目标旋转角度；
[0095] (6)根据第三目标旋转角度对偏移图像进行旋转，以将偏移图像与参考图像对齐。
[0096] 本申请实施例中，电子设备在判断偏移对齐程度是否达到预设对齐程度之后，若偏移对齐程度未达到预设对齐程度时，则电子设备判定第三目标图像偏移所能带来的对齐效果未通过校验，此时电子设备根据第三目标图像偏移对非参考图像进行偏移，将偏移后的非参考图像记为偏移图像。
[0097] 在得到偏移图像之后，电子设备按照构建参考图像的参考图像金字塔的相同方式，构建偏移图像的偏移图像金字塔。其中，存在多少个偏移图像，则电子设备相应构建多少个偏移图像金字塔，比如，存在两个偏移图像，分别为偏移图像A和偏移图像B，则电子设备构建对应偏移图像A的偏移图像金字塔，以及构建对应偏移图像B的偏移图像金字塔。
[0098] 比如，电子设备获取到两个宽高为{W，H}的图像，在从这两个图像中确定出参考图像后，构建的参考图像金字塔如图2所示，对非参考图像进行偏移，得到偏移图像，构建的偏移图像金字塔如图6所示。
[0099] 在构建得到偏移图像的偏移图像金字塔之后，电子设备进一步预测第N层二值化参考图像和第N层二值化偏移图像的多个候选旋转角度。其中，候选旋转角度用于描述:如何在第N层二值化偏移图像所在的平面空间内绕其中心进行旋转，以使得旋转后的第N层二值化偏移图像与第N层二值化参考图像对齐。
[0100] 比如，电子设备可以获取到拍摄参考图像时的角速度信息，以及获取到拍摄偏移图像对应的非参考图像时的角速度信息，并结合参考图像和偏移图像对应的非参考图像的拍摄间隔，估计得到电子设备的旋转角度，作为用于旋转偏移图像的候选旋转角度，记为基础候选旋转角度；然后，按照第二预设角度步长对基础候选旋转角度进行多次调整，得到包括基础候选旋转角度在内的多个候选旋转角度，比如，以基准候选旋转角度为基础增加第二预设角度步长，得到候选旋转角度1，以候选旋转角度1为基础增加第二预设角度步长，得到候选旋转角度2，以基准候选旋转角度为基础减少第二预设角度步长，得到候选旋转角度3，以候选旋转角度3为基础减少第二预设角度步长，得到候选旋转角度4。
[0101] 在预测得到第N层二值化参考图像和第N层二值化偏移图像的多个候选旋转角度之后，电子设备进一步从中确定出使得第N层二值化参考图像和第N层二值化偏移图像对齐程度最大的候选旋转角度，记为第一目标旋转角度。
[0102] 其中，对于对齐程度如何量化，可由本领域普通技术人员根据实际需要选择合适的量化方式，本申请实施例中对此不作具体限制。
[0103] 在预测得到尺寸最小的第N层二值化参考图像和第N层二值化的第一目标旋转角度之后，电子设备以该第一目标旋转角度为基础，预测第N-1层二值化参考图像和第N-1层二值化偏移图像的多个候选旋转角度。
[0104] 其中，电子设备可以直接将第一目标旋转角度作为第N-1层二值化参考图像和第N-1层二值化的基础候选旋转角度。然后，电子设备按照第二预设角度步长对基础候选旋转角度进行多次调整，得到包括基础候选旋转角度在内的多个候选旋转角度。
[0105] 在预测得到第N-1层二值化参考图像和第N-1层二值化偏移图像的多个候选旋转角度之后，电子设备进一步从中确定出使得第N-1层二值化参考图像和第N-1层二值化偏移图像对齐程度最大的候选旋转角度，记为第二目标旋转角度。
[0106] 以此类推，电子设备继续根据第N-1层二值化参考图像和第N-1层二值化偏移图像的第二目标旋转角度，预测使得第N-2层二值化参考图像和第N-2层二值化偏移图像对齐程度最大的目标旋转角度；以及根据第N-2层二值化参考图像和第N-2层二值化偏移图像的目标旋转角度，预测使得第N-3层二值化参考图像和第N-3层二值化偏移图像对齐程度最大的目标旋转角度，等等；直至预测得到使得第1层二值化参考图像和第1层二值化偏移图像对齐程度最大的目标旋转角度，记为第三目标旋转角度。
[0107] 其中，电子设备在预测得到第1层二值化参考图像和第1层二值化偏移图像对齐程度最大的第三目标旋转角度之后，即根据该第三目标旋转角度对偏移图像进行旋转，从而将偏移图像与参考图像对齐。
[0108] 应当说明的是，存在多少个偏移图像，电子设备就对应获取到多少个对应的第三目标旋转角度，并根据每一偏移图像对应的第三目标旋转角度进行偏移，将各偏移图像与参考图像对齐，从而将获取到的多个图像对齐。
[0109] 在一实施例中，根据第三目标旋转角度对偏移图像进行旋转之前，还包括：
[0110] (1)根据第三目标旋转角度对第1层二值化偏移图像进行旋转；
[0111] (2)获取旋转后的第1层二值化偏移图像与第1层二值化参考图像的旋转对齐程度；
[0112] (3)判断旋转对齐程度是否达到预设对齐程度；
[0113] (4)当旋转对齐程度达到预设对齐程度时，根据第三目标旋转角度对偏移图像进行旋转。
[0114] 本申请实施例中，电子设备在预测得到使得尺寸与获取到的多个图像相同的第1层二值化参考图像和第1层二值化偏移图像对齐程度最大的第三目标旋转角度之后，并不直接根据第三目标旋转角度对偏移图像进行旋转，而是先对第三目标旋转角度所能带来的对齐效果进行校验，当校验通过时，才根据第三目标旋转角度对偏移图像进行旋转。
[0115] 其中，电子设备首先根据第三目标旋转角度对第1层二值化偏移图像进行旋转，即按照第三目标旋转角度，在第1层二值化偏移图像所在的平面空间内对，将第1层二值化偏移图像绕其中心进行旋转，从而得到旋转后的第1层二值化偏移图像。
[0116] 然后，电子设备进一步对旋转后的第1层二值化偏移图像与第1层二值化参考图像的对齐程度进行量化表征，得到旋转后的第1层二值化偏移图像与第1层二值化参考图像的对齐程度，记为旋转对齐程度。其中，量化表征旋转对齐程度的方式可以参照以上量化表征偏移对齐程度的方式相应实施，此处不再赘述。
[0117] 然后，电子设备进一步判断旋转对齐程度是否达到预设对齐程度，当旋转对齐程度达到预设对齐程度时，电子设备判定第三目标旋转角度所能带来的对齐效果通过校验，此时根据第三目标旋转角度对偏移图像进行旋转。
[0118] 在一实施例中，判断旋转对齐程度是否达到预设对齐程度之后，还包括：
[0119] (1)当旋转对齐程度未达到预设对齐程度时，将参考图像划分为多个对象区域，以及将非参考图像划分为多个对象区域；
[0120] (2)按照每一对象在参考图像中对象区域以及在非参考图像中对象区域，将非参考图像与参考图像对齐。
[0121] 本申请实施例中，电子设备在判断旋转对齐程度是否达到预设对齐程度之后，若旋转对齐程度未达到预设对齐程度时，则电子设备判定第三目标旋转角度所能带来的对齐效果未通过校验，此时电子设备对非参考图像和参考图像进行分区域局部对齐。
[0122] 其中，电子设备首先将参考图像划分为多个对象区域，以及将非参考图像划分为多个对象区域。应当说明的是，本申请实施例中对于具体采用的物体分割方式不做限制，可由本领域普通技术人员根据实际需要进行选择，比如，本申请采用语义分割算法来将参考图像划分为多个对象区域(如人像区域、天空区域、建筑区域等)，以及将非参考图像划分为多个对象区域。
[0123] 在将参考图像和非参考图像分别划分为多个对象区域之后，电子设备以每一对象为对齐单位，将每一对象在非参考图像中对象区域与其在在参考图像中对象区域对齐，从而将非参考图像与参考图像整体对齐。
[0124] 应当说明的是，本申请对区域局部对齐的方式不做限定，可由本领域普通技术人员根据实际需要选取合适的对齐方式，比如，可以采用本申请以上实施例提供的基于图像金字塔的图像偏移对齐方式，还可以采用本申请以上实施例提供的基于图像金字塔的图像偏移和旋转角度结合的对齐方式，还可以采用仿射变化的对齐方式等。
[0125] 在一实施例中，本申请提供的图像处理方法还包括：
[0126] (1)根据对齐后的多个图像进行高动态范围合成，得到高动态合成图像；
[0127] (2)根据高动态合成图像进行视频编码，得到高动态视频。
[0128] 本申请实施例中，在将获取到的多个图像对齐之后，电子设备还根据对齐后的多个图像进行高动态范围合成，得到高动态合成图像。其中，本申请对高动态范围合成的方式不做具体限制，可由本领域普通技术人员根据实际需要选择合适的高动态范围合成方式。
[0129] 如上所述，在合成得到多个高动态合成图像之后，即按照时序对多个高动态合成图像进行视频编码，得到高动态视频。
[0130] 其中，对于采用何种视频编码格式进行视频编码，本申请实施例中不做具体限制，可由本领域普通技术人员根据实际需要选取视频编码格式，包括但不限于H.264、H.265、MPEG-4等。
[0131] 在一实施例中，构建参考图像的参考图像金字塔之前，还包括:
[0132] 对参考图像和非参考图像进行预处理。
[0133] 其中，进行的预处理包括但不限于亮度对齐、滤波降噪、边缘增强等等。
[0134] 请参照图7，本申请提供的图像处理方法的流程还可以为：
[0135] 在201中，电子设备获取多个图像，并从多个图像中确定出参考图像。
[0136] 比如，电子设备首先获取用于图像合成处理的多个图像，获取图像的个数根据图像合成的需要确定。其中，获取的各图像的尺寸相同。
[0137] 示例性的，在进行降噪合成时，可以获取同一拍摄场景下至少两个曝光参数相同图像；
[0138] 在进行高动态合成时，根据高动态合成方式的不同，可以获取同一拍摄场景下至少两个曝光参数不同的图像，也可以获取同一拍摄场景下至少两个相同曝光参数的图像。
[0139] 在获取到用于图像合成处理的多个图像之后，电子设备进一步从获取到的多个图像中确定出参考图像，从而以该参考图像为基准进行图像对齐。
[0140] 比如，电子设备可以从获取到的多个图像中确定出清晰度最高的图像作为参考图像，进而以该参考图像为基准将获取到的非参考图像与参考图像对齐。
[0141] 在202中，电子设备构建参考图像的参考图像金字塔，以及构建非参考图像的非参考图像金字塔，并根据参考图像金字塔和非参考图像金字塔确定出使得非参考图像和参考图像对齐程度最大的目标图像偏移。
[0142] 在从获取到的多个图像中确定出参考图像之后，电子设备进一步构建参考图像的参考图像金字塔，该参考图像金字塔包括对应参考图像的N层尺寸递减的二值化参考图像，其中，N为大于或等于2的正整数，且第1层二值化参考图像的尺寸与前述多个图像的尺寸相同。
[0143] 比如，电子设备可以先对参考图像进行二值化处理，得到与参考图像尺寸相同的二值化参考图像，然后，对与参考图像尺寸相同的二值化参考图像做N-1次下采样，得到N-1个不同尺寸的二值化参考图像。
[0144] 此外，电子设备还按照构建参考图像的参考图像金字塔的相同方式，构建非参考图像的非参考图像金字塔。其中，存在多少个非参考图像，则电子设备相应构建多少个非参考图像金字塔，比如，存在两个非参考图像，分别为非参考图像A和非参考图像B，则电子设备构建对应非参考图像A的非参考图像金字塔，以及构建对应非参考图像B的非参考图像金字塔。
[0145] 比如，电子设备获取到两个宽高为{W，H}的图像，在从这两个图像中确定出参考图像后，构建的参考图像金字塔如图2所示，构建的非参考图像金字塔如图3所示。
[0146] 在构建得到参考图像金字塔和非参考图像金字塔之后，电子设备预测第N层二值化参考图像和第N层二值化非参考图像的多个候选图像偏移，并从中确定出使得第N层二值化参考图像和第N层二值化非参考图像对齐程度最大的第一目标图像偏移。然后，电子设备根据第一目标图像偏移预测第N-1层二值化参考图像和第N-1层二值化非参考图像的多个候选图像偏移，并从中确定出使得第N-1层二值化参考图像和第N-1层二值化非参考图像对齐程度最大的第二目标图像偏移。以此类推，电子设备继续预测使得其它同层的二值化参考图像和二值化非参考图像对齐程度最大的目标图像偏移，直至预测得到使得第1层二值化参考图像和第1层二值化非参考图像对齐程度最大的第三目标图像偏移，作为使得非参考图像和参考图像对齐程度最大的目标图像偏移。
[0147] 在203中，电子设备根据目标图像偏移对非参考图像进行偏移，得到偏移图像。
[0148] 在204中，电子设备对偏移图像的对齐效果进行校验，若校验通过，则结束，否则转入205。
[0149] 比如，电子设备可以获取偏移图像和参考图像的对齐程度，记为偏移对齐程度，并判断偏移对齐程度是否达到预设对齐程度，是则判定校验通过，否则校验失败。
[0150] 在205中，电子设备构建偏移图像的偏移图像金字塔，并根据参考图像金字塔和偏移图像金字塔确定出使得偏移图像和参考图像对齐程度最大的目标旋转角度。
[0151] 当校验失败时，电子设备按照构建参考图像的参考图像金字塔的相同方式，构建偏移图像的偏移图像金字塔。其中，存在多少个偏移图像，则电子设备相应构建多少个偏移图像金字塔，比如，存在两个偏移图像，分别为偏移图像A和偏移图像B，则电子设备构建对应偏移图像A的偏移图像金字塔，以及构建对应偏移图像B的偏移图像金字塔。其中，偏移图像金字塔包括对应偏移图像的N层尺寸递减的二值化偏移图像，且第1层二值化偏移图像的尺寸与前述多个图像的尺寸相同。
[0152] 在构建得到偏移图像金字塔之后，电子设备预测第N层二值化参考图像和第N层二值化偏移图像的多个候选旋转角度，并从中确定出使得第N层二值化参考图像和第N层二值化偏移图像对齐程度最大的第一目标旋转角度；然后，根据第一目标旋转角度预测第N-1层二值化参考图像和第N-1层二值化偏移图像的多个候选旋转角度，并从中确定出使得第N-1层二值化参考图像和第N-1层二值化偏移图像对齐程度最大的第二目标旋转角度；以此类推，继续预测使得其它同层的二值化参考图像和二值化偏移图像对齐程度最大的目标旋转角度，直至预测得到第1层二值化参考图像和第1层二值化偏移图像对齐程度最大的第三目标旋转角度，作为使得偏移图像和参考图像对齐程度最大的目标旋转角度。
[0153] 在206中，电子设备根据目标旋转角度对偏移图像进行旋转，得到旋转图像。
[0154] 在207中，电子设备对旋转图像的对齐效果进行校验，若校验通过，则结束，否则转入208。
[0155] 比如，电子设备可以获取旋转图像和参考图像的对齐程度，记为旋转对齐程度，并判断旋转对齐程度是否达到预设对齐程度，是则判定校验通过，否则校验失败。
[0156] 在208中，电子设备将参考图像划分为多个对象区域，以及将非参考图像划分为多个对象区域，并按照每一对象在参考图像中对象区域以及在非参考图像中对象区域，将非参考图像与参考图像对齐。
[0157] 当校验失败时，电子设备对非参考图像和参考图像进行分区域局部对齐。
[0158] 其中，电子设备首先将参考图像划分为多个对象区域，以及将非参考图像划分为多个对象区域。应当说明的是，本申请实施例中对于具体采用的物体分割方式不做限制，可由本领域普通技术人员根据实际需要进行选择，比如，本申请采用语义分割算法来将参考图像划分为多个对象区域(如人像区域、天空区域、建筑区域等)，以及将非参考图像划分为多个对象区域。
[0159] 在将参考图像和非参考图像分别划分为多个对象区域之后，电子设备以每一对象为对齐单位，将每一对象在非参考图像中对象区域与其在在参考图像中对象区域对齐，从而将非参考图像与参考图像整体对齐。
[0160] 应当说明的是，本申请对区域局部对齐的方式不做限定，可由本领域普通技术人员根据实际需要选取合适的对齐方式，比如，可以采用本申请以上实施例提供的基于图像金字塔的图像偏移对齐方式，还可以采用本申请以上实施例提供的基于图像金字塔的图像偏移和旋转角度结合的对齐方式，还可以采用仿射变化的对齐方式等。
[0161] 在一实施例中，还提供了一种图像处理装置。请参照图8，图8为本申请实施例提供的图像处理装置的结构示意图。其中该图像处理装置应用于电子设备，该图像处理装置包括图像获取模块301、金字塔构建模块302、偏移预测模块303以及图像偏移模块304，如下：
[0162] 图像获取模块301，用于获取多个图像，并从多个图像中确定出参考图像；
[0163] 金字塔构建模块302，用于构建参考图像的参考图像金字塔，参考图像金字塔包括对应参考图像的N层尺寸递减的二值化参考图像，其中，N为大于或等于2的正整数，且第1层二值化参考图像的尺寸与前述多个图像的尺寸相同；以及
[0164] 构建多个图像中非参考图像的非参考图像金字塔，非参考图像金字塔包括对应非参考图像的N层尺寸递减的二值化非参考图像，其中，第1层二值化非参考图像的尺寸与前述多个图像的尺寸相同；
[0165] 偏移预测模块303，用于预测第N层二值化参考图像和第N层二值化非参考图像的多个候选图像偏移，并从中确定出使得第N层二值化参考图像和第N层二值化非参考图像对齐程度最大的第一目标图像偏移；以及
[0166] 根据第一目标图像偏移预测第N-1层二值化参考图像和第N-1层二值化非参考图像的多个候选图像偏移，并从中确定出使得第N-1层二值化参考图像和第N-1层二值化非参考图像对齐程度最大的第二目标图像偏移；以及
[0167] 以此类推，继续预测使得其它同层的二值化参考图像和二值化非参考图像对齐程度最大的目标图像偏移，直至预测得到使得第1层二值化参考图像和第1层二值化非参考图像对齐程度最大的第三目标图像偏移；
[0168] 图像偏移模块304，用于根据第三目标图像偏移对非参考图像进行偏移，以将非参考图像与参考图像对齐。
[0169] 在一实施例中，在根据第三目标图像偏移对非参考图像进行偏移之前，图像偏移模块304还用于：
[0170] 根据第三目标图像偏移对第1层二值化非参考图像进行偏移；
[0171] 获取偏移后的第1层二值化非参考图像与第1层二值化参考图像的偏移对齐程度；
[0172] 判断偏移对齐程度是否达到预设对齐程度；
[0173] 当偏移对齐程度达到预设对齐程度时，根据第三目标图像偏移对非参考图像进行偏移。
[0174] 在一实施例中，在获取偏移后的第1层二值化非参考图像与第1层二值化参考图像的偏移对齐程度时，图像偏移模块304用于：
[0175] 识别偏移后的第1层二值化非参考图像和第1层二值化参考图像中的特征点，并进行特征点匹配，得到偏移后的第1层二值化非参考图像和第1层二值化参考图像的匹配特征点对；
[0176] 根据匹配特征点对在偏移后的第1层二值化非参考图像中连接得到第一多边形；
[0177] 根据匹配特征点对在第1层二值化参考图像中连接得到第二多边形；
[0178] 获取第一多边形和第二多边形的中心距离，作为偏移对齐程度。
[0179] 在一实施例中，本申请提供的图像处理装置还包括角度预测模块和图像旋转模块，在判断获取到的偏移对齐程度是否达到预设对齐程度之后，图像偏移模块304还用于当获取到的偏移对齐程度未达到预设对齐程度时，根据第三目标图像偏移对非参考图像进行偏移，得到偏移图像；
[0180] 金字塔构建模块302还用于构建偏移图像的偏移图像金字塔，偏移图像金字塔包括对应偏移图像的N层尺寸递减的二值化偏移图像，其中，第1层二值化偏移图像的尺寸与前述多个图像的尺寸相同；
[0181] 角度预测模块用于：
[0182] 预测第N层二值化参考图像和第N层二值化偏移图像的多个候选旋转角度，并从中确定出使得第N层二值化参考图像和第N层二值化偏移图像对齐程度最大的第一目标旋转角度；以及
[0183] 根据第一目标旋转角度预测第N-1层二值化参考图像和第N-1层二值化偏移图像的多个候选旋转角度，并从中确定出使得第N-1层二值化参考图像和第N-1层二值化偏移图像对齐程度最大的第二目标旋转角度；以及
[0184] 以此类推，继续预测使得其它同层的二值化参考图像和二值化偏移图像对齐程度最大的目标旋转角度，直至预测得到使得第1层二值化参考图像和第1层二值化偏移图像对齐程度最大的第三目标旋转角度；
[0185] 图像旋转模块还用于根据第三目标旋转角度对偏移图像进行旋转，以将偏移图像与参考图像对齐。
[0186] 在一实施例中，在根据第三目标旋转角度对偏移图像进行旋转之前，图像旋转模块还用于：
[0187] 根据第三目标旋转角度对第1层二值化偏移图像进行旋转；
[0188] 获取旋转后的第1层二值化偏移图像与第1层二值化参考图像的旋转对齐程度；
[0189] 判断旋转对齐程度是否达到预设对齐程度；
[0190] 当旋转对齐程度达到预设对齐程度时，根据第三目标旋转角度对偏移图像进行旋转。
[0191] 在一实施例中，本申请提供的图像处理装置还包括局部对齐模块，在判断旋转对齐程度是否达到预设对齐程度之后，用于：
[0192] 当旋转对齐程度未达到预设对齐程度时，将参考图像划分为多个对象区域，以及将非参考图像划分为多个对象区域；
[0193] 按照每一对象在参考图像中对象区域以及在非参考图像中对象区域，将非参考图像与参考图像对齐。
[0194] 本申请提供的图像处理装置还包括视频合成模块，用于：
[0195] 根据对齐后的多个图像进行高动态范围合成，得到高动态合成图像；
[0196] 根据高动态合成图像进行视频编码，得到高动态视频。
[0197] 应当说明的是，本申请实施例提供的图像处理装置与上文实施例中的图像处理方法属于同一构思，在图像处理装置上可以运行图像处理方法实施例中提供的任一方法，其具体实现过程详见以上实施例，此处不再赘述。
[0198] 在一实施例中，还提供一种电子设备，请参照图9，电子设备包括处理器401和存储器402。
[0199] 本申请实施例中的处理器401是通用处理器，比如ARM架构的处理器。
[0200] 存储器402中存储有计算机程序，其可以为高速随机存取存储器，还可以为非易失性存储器，比如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402中计算机程序的访问，实现如下功能：
[0201] 获取多个图像，并从多个图像中确定出参考图像；
[0202] 构建参考图像的参考图像金字塔，参考图像金字塔包括对应参考图像的N层尺寸递减的二值化参考图像，其中，N为大于或等于2的正整数，且第1层二值化参考图像的尺寸与前述多个图像的尺寸相同；
[0203] 构构建多个图像中非参考图像的非参考图像金字塔，非参考图像金字塔包括对应非参考图像的N层尺寸递减的二值化非参考图像，其中，第1层二值化非参考图像的尺寸与前述多个图像的尺寸相同；
[0204] 预测第N层二值化参考图像和第N层二值化非参考图像的多个候选图像偏移，并从中确定出使得第N层二值化参考图像和第N层二值化非参考图像对齐程度最大的第一目标图像偏移；
[0205] 根据第一目标图像偏移预测第N-1层二值化参考图像和第N-1层二值化非参考图像的多个候选图像偏移，并从中确定出使得第N-1层二值化参考图像和第N-1层二值化非参考图像对齐程度最大的第二目标图像偏移；
[0206] 以此类推，继续预测使得其它同层的二值化参考图像和二值化非参考图像对齐程度最大的目标图像偏移，直至预测得到使得第1层二值化参考图像和第1层二值化非参考图像对齐程度最大的第三目标图像偏移；
[0207] 根据第三目标图像偏移对非参考图像进行偏移，以将非参考图像与参考图像对齐。
[0208] 在一实施例中，在根据第三目标图像偏移对非参考图像进行偏移之前，处理器401用于执行：
[0209] 根据第三目标图像偏移对第1层二值化非参考图像进行偏移；
[0210] 获取偏移后的第1层二值化非参考图像与第1层二值化参考图像的偏移对齐程度；
[0211] 判断偏移对齐程度是否达到预设对齐程度；
[0212] 当偏移对齐程度达到预设对齐程度时，根据第三目标图像偏移对非参考图像进行偏移。
[0213] 在一实施例中，在获取偏移后的第1层二值化非参考图像与第1层二值化参考图像的偏移对齐程度时，处理器401用于执行：
[0214] 识别偏移后的第1层二值化非参考图像和第1层二值化参考图像中的特征点，并进行特征点匹配，得到偏移后的第1层二值化非参考图像和第1层二值化参考图像的匹配特征点对；
[0215] 根据匹配特征点对在偏移后的第1层二值化非参考图像中连接得到第一多边形；
[0216] 根据匹配特征点对在第1层二值化参考图像中连接得到第二多边形；
[0217] 获取第一多边形和第二多边形的中心距离，作为偏移对齐程度。
[0218] 在一实施例中，在判断获取到的偏移对齐程度是否达到预设对齐程度之后，处理器401还用于执行：
[0219] 当获取到的偏移对齐程度未达到预设对齐程度时，根据第三目标图像偏移对非参考图像进行偏移，得到偏移图像；
[0220] 构建偏移图像的偏移图像金字塔，偏移图像金字塔包括对应偏移图像的N层尺寸递减的二值化偏移图像，其中，第1层二值化偏移图像的尺寸与前述多个图像的尺寸相同；
[0221] 预测第N层二值化参考图像和第N层二值化偏移图像的多个候选旋转角度，并从中确定出使得第N层二值化参考图像和第N层二值化偏移图像对齐程度最大的第一目标旋转角度；
[0222] 根据第一目标旋转角度预测第N-1层二值化参考图像和第N-1层二值化偏移图像的多个候选旋转角度，并从中确定出使得第N-1层二值化参考图像和第N-1层二值化偏移图像对齐程度最大的第二目标旋转角度；
[0223] 以此类推，继续预测使得其它同层的二值化参考图像和二值化偏移图像对齐程度最大的目标旋转角度，直至预测得到使得第1层二值化参考图像和第1层二值化偏移图像对齐程度最大的第三目标旋转角度；
[0224] 根据第三目标旋转角度对偏移图像进行旋转，以将偏移图像与参考图像对齐。
[0225] 在一实施例中，在根据第三目标旋转角度对偏移图像进行旋转之前，处理器401还用于执行：
[0226] 根据第三目标旋转角度对第1层二值化偏移图像进行旋转；
[0227] 获取旋转后的第1层二值化偏移图像与第1层二值化参考图像的旋转对齐程度；
[0228] 判断旋转对齐程度是否达到预设对齐程度；
[0229] 当旋转对齐程度达到预设对齐程度时，根据第三目标旋转角度对偏移图像进行旋转。
[0230] 在一实施例中，在判断旋转对齐程度是否达到预设对齐程度之后，处理器401还用于执行：
[0231] 当旋转对齐程度未达到预设对齐程度时，将参考图像划分为多个对象区域，以及将非参考图像划分为多个对象区域；
[0232] 按照每一对象在参考图像中对象区域以及在非参考图像中对象区域，将非参考图像与参考图像对齐。
[0233] 在一实施例中，处理器401还用于执行：
[0234] 根据对齐后的多个图像进行高动态范围合成，得到高动态合成图像；
[0235] 根据高动态合成图像进行视频编码，得到高动态视频。
[0236] 应当说明的是，本申请实施例提供的电子设备与上文实施例中的图像处理方法属于同一构思，在电子设备上可以运行图像处理方法实施例中提供的任一方法，其具体实现过程详见特征提取方法实施例，此处不再赘述。
[0237] 需要说明的是，对本申请实施例的图像处理方法而言，本领域普通测试人员可以理解实现本申请实施例的图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的处理器和/或专用语音识别芯片执行，在执行过程中可包括如图像处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
[0238] 以上对本申请实施例所提供的一种图像处理方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 解码器、解码方法、编码器以及编码方法 | 2020-05-11 | 978 |
| 基于感知质量的可缩放视频编码速率适配 | 2020-05-11 | 795 |
| 编码方法、系统和编码器、解码方法、系统和解码器 | 2020-05-12 | 159 |
| 压缩/解压缩的装置和系统、芯片、电子装置、方法 | 2020-05-08 | 169 |
| 视频数据解码方法、编码方法以及相关设备 | 2020-05-08 | 517 |
| 用于视频编码的自适应环内滤波 | 2020-05-12 | 197 |
| 针对高效率视频编码标准的跳过编码模式提前判决方法 | 2020-05-12 | 579 |
| 一种基于动态注意力机制的多事件视频描述方法 | 2020-05-08 | 733 |
| 针对多层视频编码的层间参考图片增强的设备 | 2020-05-11 | 799 |
| 用于对视频数据进行编码的方法、装置和设备 | 2020-05-12 | 62 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈