技术领域
[0001] 本
发明涉及
图像处理技术领域，尤其涉及一种全景图像拼接方法。
背景技术
[0002] 全景图像拼接方法以AutoStitch(Brown,M.,Lowe,D.G.:Automatic panoramic image stitching using invariant fea-tures.International journal of computer vision 74(1),59–73(2007))为里程碑，各路拼接
软件和应用也应运而生，如opencv中的stitcher类、Image Composite Editor(ICM)、PTGui。但由于拍摄时经常会有
视差的存在，导致AutoStitch方法无法将图像重叠区域完全对齐，从而导致拼接结果出现鬼影。
[0003] 后续方法主要从两个方面来缓解该问题。
[0004] 一方面，以重叠区域对得更齐为目标，对于该方面：通过增加变换矩阵的个数来实现更好的对齐，例如，Zaragoza等人提出的方法(Zaragoza,J.,Chin,T.J.,Brown,M.S.,Suter,D.:As-projective-as-possible image stitching with moving dlt.In:Computer Vision and Pattern Recognition(CVPR),2013IEEE Conference on.pp.2339–
2346.IEEE(2013))、Gao等人提出的方法(Gao,J.,Kim,S.J.,Brown,M.S.:Constructing image panoramas using dual-homography warping.In:Computer Vision and Pattern Recognition(CVPR),2011IEEE Conference on.pp.49–56.IEEE(2011))。或者，借鉴视频去抖的方法，通过引入局部
变形来实现更好的对齐。例如，Zhang等人提出的方法(Zhang,F.,Liu,F.:Parallax-tolerant image stitching.In:Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.pp.3262–3269(2014))。
[0005] 另一方面，以后处理来缓解鬼影的产生，对于该方面：在重叠区域寻找一条合适的缝合线，使得线两边内容分别来自放在同一
块画布上的左图和右图。例如，Gao等人提出的方法(Gao J,Li Y,Chin T J,et al.Seam-Driven Image Stitching[C]//Eurographics(Short Papers).2013:45-48)。
[0006] 将以上两个方面结合起来的方法：Lin K等人提出的方法(Lin K,Jiang N,Cheong L F,et al.Seagull:Seam-guided local alignment for parallax-tolerant image stitching[C]//European Conference on Computer Vision.Springer,Cham,2016:370-385)。
[0007] 然而，对于第一个方面，尽管其相对只用一个变换矩阵的方法能更好的对齐重叠区域，但对于大视差情况依旧无能为
力。对于第二个方面，由于其只需要找一条看不出拼接痕迹的缝合线即可，故容易出现同一个物体被复制的拼接结果。对于将以上两个方面结合的情况，通过加强重叠区域局部对齐能力，使得复制现象得到缓解，但由于网格优化增强对齐能力有限，当场景深度范围较大时，仍无法保证拼接结果较优。
发明内容
[0008] 本发明的目的是提供一种全景图像拼接方法，能够更为有效的解决视差问题引起的鬼影，提升了拼接效果。
[0009] 本发明的目的是通过以下技术方案实现的：
[0010] 一种全景图像拼接方法，包括：
[0011] 提取待拼接图像A与待拼接图像B的特征点，并进行特征匹配，利用待拼接图像B的深度信息为匹配后的特征点按深度分层，并计算各层的变换矩阵，从而对待拼接图像B进行变换，获得多幅候选拼接图像；
[0012] 利用待拼接图像B的深度信息获取指引图，计算每一幅候选拼接图像与图像A的缝合线，从每幅候选拼接图像中选出与图像A的对齐部分，将对齐部分
迭代式与图像A结合起来得到最终的拼接结果。
[0013] 由上述本发明提供的技术方案可以看出，利用深度信息得到多个变换矩阵，能从本质上解决视差问题引起的鬼影问题。此外，利用深度信息得到的指引图，从多个候选拼接图中寻找合适的部分作为最终的拼接结果，这样一种缝合线的寻找方式相较于传统缝合线寻找方式更适合本拼接方法。
附图说明
[0014] 为了更清楚地说明本发明
实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0015] 图1为本发明实施例提供的一种全景图像拼接方法的
流程图；
[0016] 图2为本发明实施例提供的本发明与传统方案拼接过程示意图；
[0017] 图3为本发明实施例提供的左图像与右图像出现了明显的视
角变形的示意图；
[0018] 图4为本发明实施例提供的拼接存在前景物体复制的示意图。
具体实施方式
[0019] 下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
[0020] 本发明实施例提供一种全景图像拼接方法，如图1所示，其主要包括：图像变换与图像合成两部分。
[0021] 1、图像变换。
[0022] 提取待拼接图像A与待拼接图像B的特征点，并进行特征匹配，利用待拼接图像B的深度信息为匹配后的特征点按深度分层，并计算各层的变换矩阵，从而对待拼接图像B进行变换，获得多幅候选拼接图像。
[0023] 本发明实施例中，待拼接图像A与待拼接图像B是指待拼接左图像与待拼接右图像。深度信息指的是能对图像场景深度进行区分的信息((大致深度分布即可，不要求太高的
精度))，比如
深度图。如果将右图像往左图像上拼，则使用待拼接右图像的深度信息；如果将左图像往右图像上拼，则使用待拼接左图像的深度信息。
[0024] 图像变换部分，相较于传统拼接流程最特殊的地方在于多了特征点按深度分层这一步，这一步要利用深度信息，按特征点所在的深度层次对特征点赋予相应的深度标签。同一标签的特征点可以计算出各自的变换矩阵，从而能够输出经过不同变换后的图像(多幅候选拼接图像)，这样能够从本质上解决视差问题引起的鬼影问题。
[0025] 2、图像合成。
[0026] 我们在传统缝合线寻找方法的
能量函数
基础上，多加入一项深度约束，然后求解该能量函数的最优解。即利用待拼接图像B的深度信息获取指引图，计算每一幅候选拼接图像(将图像B经过不同的变换得到的)与图像A的缝合线，从每幅候选拼接图像中选出与图像A的对齐部分，将对齐部分迭代式与图像A结合起来得到最终的拼接结果。
[0027] 传统的缝合线寻找
算法的能量函数一般为：
[0028]
[0029] 其中L＝{0,1}，L(p)表示
像素p处的标签值。Ed是数据项，主要保证像素p处被赋予标签值后与原本观测值保持一致。Es是平滑项，主要保证像素p的四邻域像素q的标签值一致。
[0030] 我们加入深度约束项Ew后，该能量函数为：
[0031]
[0032] 加入的深度约束项主要是保证了能将每一幅候选拼接图像(将图像B经过不同的变换得到的)与图像A对齐的部分作为最终拼接结果的一部分。
[0033] 本发明实施例中，通过深度信息生成相应的指引图，在指引图的指引下，可以从待拼接图像A与多幅候选拼接图像中找到相应的缝合线，从而组成最终的拼接结果，这样一种缝合线的寻找方式相较于传统缝合线寻找方式更适合本拼接方法，能够最大程度去除图像的鬼影现象，更大提升了图像拼接效果。
[0034] 为了便于理解，下面针对本发明做进一步介绍。
[0035] 如图2所示，示出了本发明与传统方案拼接过程，此处以右图像往左图像上拼为例。
[0036] 首先，利用深度信息对匹配好的特征点进行深度分层(图2以四个深度层次为例)。然后，对不同的深度层次的特征点分别使用RANSAC算法(此过程使用的方法包括但不限于RANSAC算法)，找出各深度层次最优的变换矩阵，并对右图像进行相应的变换(图中得到2张变换后的右图)。最后，对变换后的右图像做缝合线后处理，即利用从深度信息中获得的指引图，在变换后的右图像和左图像中找到相应的部分组成最终的拼接结果。从这个过程可以看出：相对应于传统方案而言，本发明引入了深度信息，在前两步实现了对得更齐的目的，最后一步通过对传统拼接算法改造，达到适用于本拼接方法的目的。具体过程如下：
[0037] 1、利用深度信息对匹配好的特征点进行深度分层。
[0038] 1)对深度信息进行统计与聚类(示例性的，可以使用灰度值统计与相应的
聚类算法)，得到深度层次数layer和从属于每层的像素点
位置。
[0039] 2)根据深度层次数layer，创建layer个值全为0的掩膜，将从属每层的像素点位置对应到相应层的掩膜中，使相应位置处的值为1，获得一个二值掩膜。
[0040] 如图2所示，给出了layer＝4的示例。
[0041] 3)对待拼接的两幅图像用SIFT提取特征点(也可以采用其他形式提取相应类型的特征点)，并进行特征点匹配。
[0042] 4)根据二值掩膜，对匹配后的特征点按深度分层。
[0043] 2、对不同的深度层次的特征点分别使用RANSAC算法，找出各深度层次最优的变换矩阵，并对右图像进行相应的变换。
[0044] 1)对于每一层的特征点，分别使用RANSAC算法计算出多个变换矩阵，并选出一个满足特征点数目最多的变换矩阵，则得到layer个变换矩阵。
[0045] 2)根据layer个变换矩阵，对待拼接图像B进行变换(本示例中为右图像)，得到layer个候选拼接图像。
[0046] 3、对变换后的右图像做缝合线后处理。
[0047] 1)创建一个和候选拼接图像同样大小的空白图像；
[0048] 2)根据layer个掩膜信息，在空白图像上增加笔触信息，得到一副指引图。
[0049] 3)根据指引图、候选拼接图像和左图像，用graph cut算法得到多条缝合线(包括但不限于graphcut)，得到最终的拼接结果。
[0050] 另一方面，实现对一些特殊场景的拼接，可以根据场景情况做相应改变。
[0051] 当待拼接图像A与待拼接图像B的视角差距超过
阈值时(即视差较大)，会出现严重的视角变形，如图3所示，左图像与右图像出现了明显的视角变形。
[0052] 此时需要通过下述公式对变换矩阵做相应
修改：
[0053] Hk′＝γHk+(1-γ)Hlayer
[0054] 其中，Hk表示第k个深度层次的变换矩阵，Hlayer表示最深层次的变换矩阵，Hk′表示第k个深度层次修改后的变换矩阵，k∈{1,2,…,layer}，γ表示权重，γ∈(0,1)。
[0055] 此外，当待拼接图像A与待拼接图像B的视角差距超过阈值时(即视差较大)，如果场景中有明显的前景物体，并且该物体所占的区域面积并不大(说明前景物体上的特征点不够多)，也即前景物体所占的区域面积没有超过整个图像的设定比例，那么通过特征点匹配计算的homograpy(单应性矩阵)只能将背景区域对齐，而前景物体会由于背景的对齐而发生复制，如图4。这时，通过深度信息能大致
锁定该前景物体的位置，只需在缝合线算法的能量函数中多加入一个惩罚项，使得前景位置处的内容只能来自于同一幅图像，从而避免复制问题。
[0056] 通过以上简单的修改就可以实现对一些特殊场景的拼接，说明该方法具有一定的鲁棒性。
[0057] 值得注意的是，文中所涉及的阈值、设定比例等对应的具体数值可以由工作人员根据实际情况自行设定。
[0058] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用
硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动
硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，
服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0059] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉
本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以
权利要求书的保护范围为准。
