技术领域
[0001] 本
发明属于
图像处理技术领域，具体讲,涉及一种基于不同相机间距的立体图像克隆
算法。
背景技术
[0002] 随着3D电影和电视等3D媒体的增加，3D内容受到了用户的广泛关注。因此，一旦用户能够很方便地
接触到3D相机和3D显示设备，就会希望能够像编辑2D图像一样编辑3D图像，然而，将2D图像编辑的方法直接应用到3D图像，往往不能产生令人舒适愉悦的视觉体验。
[0003] 目前，关于2D图像克隆已经有很多成熟的算法，然而3D图像克隆面临着许多新的挑战：1)3D图像相比2D图像增加了深度约束，因此，为了保证立体图像克隆过程中的深度一致性，需要对克隆区域的大小和形状进行调整。2)为了舒适的视觉体验，需要保持左视点图像和右视点图像之间的对应关系。
[0004] 目前，已有部分研究人员对立体图像克隆进行了研究。Lo等人提出了一种3D复制和粘贴的方法，需要精确分割源图像中的待克隆对象，并将其粘贴到目标图像中。Luo等人提出了一种基于透视
感知变形的无缝立体图像克隆算法，该算法不需要对源图像中的待克隆区域进行精确分割，可以处理具有模糊边界、不易分割的克隆对象。然而，在立体图像克隆的过程中，上述研究都假设拍摄源图像和拍摄目标图像的立体相机的相机间距是一致的。然而，实际中，拍摄源图像和拍摄目标图像的立体相机的相机间距往往不一致，因此，相机间距不一致时的立体图像克隆问题亟待解决。
发明内容
[0005] 为克服
现有技术的不足，本发明旨在提出针对相机间距不一致时的立体图像克隆算法。本发明采用的技术方案是，基于不同相机间距的立体图像克隆方法,首先进行图像预处理，之后处理用户绘制的轮廓以便进行后续的网格变形，之后通过调整
视差来调整立体图像克隆区域的形状和大小，最后将调整后的立体图像克隆区域融合到目标图像中。
[0006] 图像预处理具体步骤是，计算源图像和目标图像的视差图，同时为源图像和目标图像构建四边形网格，构建方式如下：首先用一个均匀网格Ml＝(Vl,El,Fl)表示源图像的左视点图像，其中Vl表示左视点图像的网格
顶点，El表示左视点图像的网格边，Fl表示左视点图像的网格四边形，之后根据源图像的视差图构建源图像右视点图像的网格Mr＝(Vr,Er,r r r rF)，其中，V表示右视点图像的网格顶点，E 表示右视点图像的网格边，F表示右视点图像的网格四边形。
[0007] 轮廓处理具体步骤是，结合源图像的左视点图像的初始均匀网格对用户绘制的任意轮廓进行调整，使新轮廓为包含用户绘制轮廓的最小矩形轮廓，其中矩形轮廓的四个
角点均为源图像的左视点图像的初始均匀网格中的网格顶点，在获得源图像的左视点图像的新轮廓之后，根据源图像视差图获得源图像的右视点图像的新轮廓，轮廓包围区域即为源图像克隆区域。
[0008] 调整视差来
迭代调整立体图像克隆区域的形状和大小即迭代优化变形，具体步骤是，
[0009] 1)视差调整
[0010] 调整方式如下：采用源图像克隆区域的视差图梯度场作为求解下式的引导场G0，同时迫使调整后的源图像克隆区域边缘的视差和目标立体图粘贴区域边缘的视差相同，通过求解下述加权泊松等式的最小值获得调整后的源图像克隆区域的视差图[0011]
[0012]
[0013] 其中 是为源图像克隆区域制定的权重函数，用于惩罚更为平滑的区域，DT表示目标图像视差图， 表示源图像克隆区域的轮廓， 表示调整后的源图像克隆区域的视差图的梯度场；
[0014] 2)基于四边形网格的优化变形
[0015] 2.1场景物体大小与视差的关系
[0016] 假定立体相机摄像头平行设置，根据几何关系及相似三角形定理，推导出场景物体深度z和相机间距b之间的关系为：
[0017]
[0018] 其中，b表示立体相机间距，f表示相机焦距，z表示场景物体的深度，d＝xL-xR表示图像视差，xL和xR表示同一场景物体在左视点图像和右视点图像的对应横坐标；
[0019] 根据几何关系及相似三角形定理，推导出场景物体在立体图像平面上的大小与场景物体深度之间的关系为
[0020]
[0021] 其中，L表示场景物体的大小，x表示场景物体在图像平面上的大小，由此推导出场景物体在立体图像平面上的大小x与图像视差d之间的关系为：
[0022]
[0023] 由上式可知，场景物体L在立体图像上的大小x与图像视差d及立体相机间距b有关，而与立体相机焦距f无关；
[0024] 对于同一场景物体L1，其在源图像上和目标图像上的大小分别为x1和x2，视差分别为d1和d2，双目立体相机间距分别为b1和b2，得下述公式：
[0025]
[0026]
[0027] 由上述两式可得，相机间距不一致时同一场景物体在源图像和目标图像上的缩放关系为：
[0028]
[0029] 由此，场景物体在立体图像上的大小不仅与图像视差有关，而且与立体相机的相机间距有关；
[0030] 2.2优化变形
[0031] 采用透视缩放项、直线约束项、视差一致项、垂直对齐项和
位置固定项的权重组合来指导四边形网格变形，其中Vl和Vr表示优化变形前的左视点图像网格顶点和右视点图像网格顶点， 和 表示优化变形后的左视点图像网格顶点和右视点图像网格顶点；
[0032] (1)透视缩放项定义透视缩放因子为
[0033]
[0034] 其中， 和 分别表示源图像克隆区域调整后的视差和调整前的视差，bS和bT分别表示拍摄源图像的立体相机间距和拍摄目标图像的立体相机间距；
[0035] 对于源图像克隆区域左视点图像的任意网格边 其中，Vil和 分别表示优化变形前的左视点图像网格的第i和第j个顶点坐标，其缩放因子定义为
[0036]
[0037] 其中， 和 分别表示优化变形前的左视点图像网格的第i和第j个顶点的透视缩放因子；
[0038] 透视缩放项定义为
[0039]
[0040] 其中，El和Er分别表示源图像克隆区域左视点图像网格边和右视点图像网格边的集合；Vil和 分别表示优化变形前的左视点图像网格的第i和第j个顶点坐标，Vir和 分别表示优化变形前的右视点图像网格的第i和第j个顶点坐标； 和 分别表示优化变形后的左视点图像网格的第i和第j个顶点坐标， 和 分别表示优化变形后的右视点图像网格的第i和第j个顶点坐标；Sij表示网格边的缩放因子；
[0041] (2)直线约束项
[0042] 为源图像左视点图像的网格边定义变形后与变形前的长度比为
[0043]
[0044] 其中，Vil和 分别表示优化变形前的左视点图像网格的第i和第j个顶点坐标，和 分别表示优化变形后的左视点图像网格的第i和第j个顶点坐标；
[0045] 用相同的方法定义源图像右视点图像的长度比
[0046] 直线约束项定义为
[0047]
[0048] 其中，El和Er分别表示源图像克隆区域左视点图像网格边和右视点图像网格边的集合，Vil和 分别表示优化变形前的左视点图像网格的第i和第j个顶点坐标，Vir和 分别表示优化变形前的右视点图像网格的第i和第j个顶点坐标； 和 分别表示优化变形后的左视点图像网格的第i和第j个顶点坐标， 和 分别表示优化变形后的右视点图像网格的第i和第j个顶点坐标；
[0049] (3)视差一致项
[0050] 对于每组待计算的
水平坐标分量 其视差应与调整后的视差保持一致，令 表示调整后的视差。视差一致项定义为
[0051]
[0052] 其中， 表示左视点图像待计算的水平坐标， 表示右视点图像待计算的水平坐标；
[0053] (4)垂直对齐项
[0054] 对于每组待计算的垂直坐标分量 应使其调整后趋近于0，从而消除垂直视差的影响，垂直对齐项定义为
[0055]
[0056] 其中， 表示左视点图像待计算的垂直坐标， 表示右视点图像待计算的垂直坐标；
[0057] (5)位置固定项
[0058] 为防止源图像克隆区域的中心位置发生改变，引入位置固定项固定源图像克隆区l域左网格的中心位置，令 表示初始左网格的中心位置，其中，V表示初始的左视点图像网格顶点坐标，Vil表示初始的左视点图像网格的第i个顶点坐标。位置固定项定义为
[0059]
[0060] 其中， 表示优化变形后的左视点图像网格顶点坐标， 表示优化变形后的左视点图像网格的第i个顶点坐标；
[0061] 优化变形的总
能量定义为上述五个能量项的权重加和：
[0062] Φ＝ωsΦs+ωlΦl+ωdΦd+ωvΦv+ωdΦd
[0063] 其中，Φs、Φl、Φd、Φv和Φd分别表示透视缩放能量、直线约束能量、视差一致能量、垂直对齐能量和位置固定能量。ωs、ωl、ωd、ωv和ωd为上述能量对应的权重系数；
[0064] 通过求解该能量函数的最小值获得优化变形网格。
[0065] 图像融合具体步骤是，在获得源图像克隆区域的优化变形网格后，通过双线性插值获得变形后的源图像克隆区域，之后采用平面泊松融合的方法将变形后的源图像克隆区域的左视点图像和右视点图像分别融合到目标图像的左视点图像和右视点图像，来获得最终的立体图像融合结果。
[0066] 本发明的特点及有益效果是：
[0067] 本发明提出的基于不同相机间距的立体图像克隆算法，实现了拍摄源图像的立体相机间距和拍摄目标图像的立体相机间距不同的情况下的立体图像克隆，相比前人提出的算法实现了更为精确的立体图像克隆。
附图说明：
[0069] 图中a源图像左视点图像轮廓，b源图像右视点图像轮廓。
[0070] 图2给出了场景物体大小和视差的关系。
[0071] 图中a俯视图，b右视图
[0072] 图3本发明和不考虑相机间距情况的对比。
[0073] a源图像左视点图像；
[0074] b目标图像左视点图像；
[0075] c不考虑相机间距时获得的立体克隆图像的左视点图像；
[0076] d考虑相机间距时获得的立体克隆图像的左视点图像；
[0077] e源图像右视点图像；
[0078] f目标图像右视点图像；
[0079] g不考虑相机间距时获得的立体克隆图像的右视点图像；
[0080] h考虑相机间距时获得的立体克隆图像的右视点图像。
具体实施方式
[0081] 目前，已有很多立体图像克隆算法，已有算法都假设拍摄源图像和拍摄目标图像的立体相机间距一致，实际上，相机间距对立体图像克隆有着很大的影响。
[0082] 本发明提出了一种基于不同相机间距的立体图像克隆算法。首先进行图像预处理，之后处理用户绘制的轮廓以便进行后续的网格变形，之后通过调整视差来调整立体图像克隆区域的形状和大小，最后将调整后的立体图像克隆区域融合到目标图像中。本发明的具体技术方案分为下列步骤：
[0083] 1.图像预处理
[0084] 在图像预处理阶段，需要计算源图像和目标图像的视差图，同时需要为源图像和目标图像构建四边形网格，构建方式如下：首先用一个均匀网格Ml＝(Vl,El,Fl)表示源图像l l l的左视点图，其中V 表示左视点图像的网格顶点，E表示左视点图像的网格边，F 表示左视点图像的网格四边形，之后根据源图像的视差图构建源图像右视点图的网格Mr＝(Vr,Er,Fr)，其中Vr表示右视点图像的网格顶点，Er表示右视点图像的网格边，Fr表示右视点图像的网格四边形。
[0085] 2.轮廓处理
[0086] 为了便于用户进行操作，允许用户为源图像的左视点图像绘制任意轮廓。之后，为了进行优化迭代调整，会结合源图像的左视点图的初始均匀网格对用户绘制的任意轮廓进行调整。使新轮廓为包含用户绘制轮廓的最小矩形轮廓，其中矩形轮廓的四个角点均为源图像的左视点图像的初始均匀网格中的网格顶点。在获得源图像的左视点图像的新轮廓之后，根据源图像视差图获得源图像的右视点图像的新轮廓。轮廓修改示意图如图1所示。轮廓包围区域即为源图像克隆区域。
[0087] 3.迭代优化变形
[0088] 3.1视差调整
[0089] 在立体图像克隆时，源图像和目标图像往往由不同的立体相机拍摄，因此，源图像克隆区域视差和目标图像视差往往存在一定的差异，为了避免克隆后的立体图像出现视差突变现象。需要对源图像克隆区域的视差进行调整，调整方式如下：采用源图像克隆区域的视差图梯度场作为求解下式的引导场G0，同时迫使调整后的源图像克隆区域边缘的视差和目标立体图粘贴区域边缘的视差相同，通过求解下述加权泊松等式的最小值获得调整后的源图像克隆区域的视差图
[0090]
[0091]
[0092] 其中 是为源图像克隆区域制定的权重函数，用于惩罚更为平滑的区域，DT表示目标图像视差图， 表示源图像克隆区域的轮廓, 表示调整后的源图像克隆区域的视差图的梯度场。
[0093] 3.2基于四边形网格的优化变形
[0094] 3.2.1场景物体大小与视差的关系
[0095] 一般来说，随着物体到观看者的距离的增加，物体会逐渐变小。立体图像具有深度信息，立体图像中物体的大小受到感知深度的影响，而立体图像的感知深度受到图像视差影响。因此，立体图像中物体的大小取决于物体的视差。图2给出了物体大小和视差之间关系的示意图，此处假定立体相机摄像头平行设置，这种设置是立体相机的普遍设置。
[0096] 根据图1(a)中的几何关系及相似三角形定理，可以推导出场景物体深度z和相机间距b之间的关系为：
[0097]
[0098] 其中，b表示立体相机间距，f表示相机焦距，z表示场景物体的深度，d＝xL-xR表示图像视差，xL和xR表示同一场景物体在左视点图像和右视点图像的对应横坐标。
[0099] 根据图1(b)中的几何关系及相似三角形定理，可以推导出场景物体在立体图像平面上的大小与场景物体深度之间的关系为
[0100]
[0101] 其中，L表示场景物体的大小，x表示场景物体在图像平面上的大小。
[0102] 由此可以推导出场景物体在立体图像平面上的大小x与图像视差d之间的关系为[0103]
[0104] 由上式可知，场景物体L在立体图像上的大小x与图像视差d及立体相机间距b有关，而与立体相机焦距f无关。
[0105] 对于同一场景物体L1，其在源图像上和目标图像上的大小分别为x1和x2，视差分别为d1和d2，双目立体相机间距分别为b1和b2，可得下述公式：
[0106]
[0107]
[0108] 由上述两式可得，相机间距不一致时同一场景物体在源图像和目标图像上的缩放关系为：
[0109]
[0110] 由此可知，场景物体在立体图像上的大小不仅与图像视差有关，而且与立体相机的相机间距有关。
[0111] 3.2.2优化变形
[0112] 为了实现不同立体相机间距下的立体图像克隆，本发明采用透视缩放项、直线约束项、视差一致项、垂直对齐项和位置固定项的权重组合来指导四边形网格变形，其中Vl和Vr表示优化变形前的左视点图像网格顶点和右视点图像网格顶点， 和 表示优化变形后的左视点图像网格顶点和右视点图像网格顶点。
[0113] (1)透视缩放项
[0114] 根据3.1.1介绍，场景物体在立体图像上的大小与图像视差和立体相机间距有关。本发明定义透视缩放因子为
[0115]
[0116] 其中， 和 分别表示源图像克隆区域调整后的视差和调整前的视差，bS和bT分别表示拍摄源图像的立体相机间距和拍摄目标图像的立体相机间距，Vil表示优化变形前的左视点图像网格的第i个顶点坐标。
[0117] 对于源图像克隆区域左视点图像的任意网格边 其中，Vil和 分别表示优化变形前的左视点图像网格的第i和第j个顶点坐标，其缩放因子定义为
[0118]
[0119] 其中， 和 分别表示优化变形前的左视点图像网格的第i和第j个顶点的透视缩放因子。
[0120] 透视缩放项定义为
[0121]
[0122] 其中，El和Er分别表示源图像克隆区域左视点图像网格边和右视点图像网格边的集合；Vil和 分别表示优化变形前的左视点图像网格的第i和第j个顶点坐标，Vir和 分别表示优化变形前的右视点图像网格的第i和第j个顶点坐标； 和 分别表示优化变形后的左视点图像网格的第i和第j个顶点坐标， 和 分别表示优化变形后的右视点图像网格的第i和第j个顶点坐标；Sij表示网格边的缩放因子。
[0123] (2)直线缩放项
[0124] 在优化变形的过程中，为避免源图像克隆对象发生结构失真，迫使网格边沿着原来的方向进行缩放，为源图像左视点图像的网格边定义变形后与变形前的长度比为[0125]
[0126] 其中，Vil和 分别表示优化变形前的左视点图像网格的第i和第j个顶点坐标，和 分别表示优化变形后的左视点图像网格的第i和第j个顶点坐标。
[0127] 用相同的方法定义源图像右视点图像的长度比
[0128] 直线约束项定义为
[0129]
[0130] 其中，El和Er分别表示源图像克隆区域左视点图像网格边和右视点图像网格边的集合，Vil和 分别表示优化变形前的左视点图像网格的第i和第j个顶点坐标，Vir和 分别表示优化变形前的右视点图像网格的第i和第j个顶点坐标； 和 分别表示优化变形后的左视点图像网格的第i和第j个顶点坐标， 和 分别表示优化变形后的右视点图像网格的第i和第j个顶点坐标。
[0131] (3)视差一致项
[0132] 对于每组待计算的水平坐标分量 其视差应与调整后的视差保持一致，令 表示调整后的视差。视差一致项定义为
[0133]
[0134] 其中， 表示左视点图像待计算的水平坐标， 表示右视点图像待计算的水平坐标。
[0135] (4)垂直对齐项
[0136] 对于每组待计算的垂直坐标分量 应使其调整后趋近于0，从而消除垂直视差的影响，垂直对齐项定义为
[0137]
[0138] 其中， 表示左视点图像待计算的垂直坐标， 表示右视点图像待计算的垂直坐标。
[0139] (5)位置固定项
[0140] 为防止源图像克隆区域的中心位置发生改变，引入位置固定项固定源图像克隆区l域左网格的中心位置，令 表示初始左网格的中心位置，其中V 表示初始的左l
视点图像网格顶点坐标，Vi表示初始的左视点图像网格的第i个顶点坐标。位置固定项定义为
[0141]
[0142] 其中， 表示优化变形后的左视点图像网格顶点坐标， 表示优化变形后的左视点图像网格的第i个顶点坐标。
[0143] 优化变形的总能量定义为上述五个能量项的权重加和：
[0144] Φ＝ωsΦs+ωlΦl+ωdΦd+ωvΦv+ωdΦd
[0145] 其中，Φs、Φl、Φd、Φv和Φd分别表示透视缩放能量、直线约束能量、视差一致能量、垂直对齐能量和位置固定能量。ωs、ωl、ωd、ωv和ωd为上述能量对应的权重系数。
[0146] 通过求解该能量函数的最小值获得优化变形网格。
[0147] 4.图像融合
[0148] 在获得源图像克隆区域的优化变形网格后，通过双线性插值获得变形后的源图像克隆区域，之后采用平面泊松融合的方法将变形后的源图像克隆区域的左视点图像和右视点图像分别融合到目标图像的左视点图像和右视点图像，来获得最终的立体图像融合结果。
[0149] 为使本发明的目的、技术方案和优点更加清楚，下面说明了本发明的具体实施过程。
[0150] 本发明基于MATLAB平台进行仿真，具体技术方案分为以下步骤：
[0151] 1.图像预处理
[0152] 在图像预处理阶段，需要计算源图像和目标图像的视差图，同时需要为源图像和目标图像构建四边形网格，构建方式如下：首先用一个均匀网格Ml＝(Vl,El,Fl)表示源图像的左视点图像，其中Vl表示左视点图像的网格顶点，El表示左视点图像的网格边，Fl表示左r r视点图像的网格四边形，之后根据源图像的视差图构建源图像右视点图像的网格M＝(V ,Er,Fr)，其中，Vr表示右视点图像的网格顶点，Er表示右视点图像的网格边，Fr表示右视点图像的网格四边形。
[0153] 2.轮廓处理
[0154] 为了便于用户进行操作，允许用户为源图像的左视点图绘制任意轮廓。之后，为了进行优化迭代调整，会结合源图像的左视点图的初始均匀网格对用户绘制的任意轮廓进行调整。使新轮廓为包含用户绘制任意轮廓的最小矩形轮廓，其中矩形轮廓的四个角点均为源图像的左视点图的初始均匀网格中的网格顶点。在获得源图像的左视点图的新轮廓之后，根据源图像视差图获得源图像的右视点图的新轮廓。轮廓修改示意图如图1所示。轮廓包围区域即为源图像克隆区域。
[0155] 3.迭代优化变形
[0156] 3.1视差调整
[0157] 在立体图像克隆时，源图像和目标图像往往由不同的立体相机拍摄，因此，源图像克隆区域视差和目标图像视差往往存在一定的差异，为了避免克隆后的立体图像出现视差突变现象。需要对源图像克隆区域的视差进行调整，调整方式如下：采用源图像克隆区域的视差图梯度场作为求解下式的引导场G0，同时迫使调整后的源图像克隆区域边缘的视差和目标立体图粘贴区域边缘的视差相同，通过求解下述加权泊松等式的最小值获得调整后的源图像克隆区域的视差图
[0158]
[0159]
[0160] 其中 是为源图像克隆区域制定的权重函数，用于惩罚更为平滑的区域，DT表示目标图像视差图， 表示源图像克隆区域的轮廓， 表示调整后的源图像克隆区域的视差图的梯度场。
[0161] 3.2基于四边形网格的优化变形
[0162] 3.2.1场景物体大小与视差的关系
[0163] 一般来说，随着物体到观看者的距离的增加，物体会逐渐变小。立体图像具有深度信息，立体图像中物体的大小受到感知深度的影响，而立体图像的感知深度受到图像视差影响。因此，立体图像中物体的大小取决于物体的视差。图2给出了物体大小和视差之间关系的示意图，此处假定立体相机摄像头平行设置，这种设置是立体相机的普遍设置。
[0164] 根据图1(a)中的几何关系及相似三角形定理，可以推导出场景物体深度z和相机间距b之间的关系为：
[0165]
[0166] 其中，b表示立体相机间距，f表示相机焦距，z表示场景物体的深度，d＝xL-xR表示图像视差，xL和xR表示同一场景物体在左视点图像和右视点图像的对应横坐标。
[0167] 根据图1(b)中的几何关系及相似三角形定理，可以推导出场景物体在立体图像平面上的大小与场景物体深度之间的关系为
[0168]
[0169] 其中，L表示场景物体的大小，x表示场景物体在图像平面上的大小。
[0170] 由此可以推导出场景物体在立体图像平面上的大小x与图像视差d之间的关系为[0171]
[0172] 由上式可知，场景物体L在立体图像上的大小x与图像视差d及立体相机间距b有关，而与立体相机焦距f无关。
[0173] 对于同一场景物体L1，其在源图像上和目标图像上的大小分别为x1和x2，视差分别为d1和d2，双目立体相机间距分别为b1和b2，可得下述公式：
[0174]
[0175]
[0176] 由上述两式可得，相机间距不一致时同一场景物体在源图像和目标图像上的缩放关系为：
[0177]
[0178] 由此可知，场景物体在立体图像上的大小不仅与图像视差有关，而且与立体相机的相机间距有关。
[0179] 3.2.2优化变形
[0180] 为了实现不同立体相机间距下的立体图像克隆，本发明采用透视缩放项、直线约束项、视差一致项、垂直对齐项和位置固定项的权重组合来指导四边形网格变形，其中Vl和Vr表示优化变形前的左视点图像网格顶点和右视点图像网格顶点， 和 表示优化变形后的左视点图像网格顶点和右视点图像网格顶点。
[0181] (1)透视缩放项
[0182] 根据3.1.1介绍，场景物体在立体图像上的大小与图像视差和立体相机的相机间距有关。本发明定义透视缩放因子为
[0183]
[0184] 其中， 和 分别表示源图像克隆区域调整后的视差和调整前的视差，bS和bT分别表示拍摄源图像的立体相机间距和拍摄目标图像的立体相机间距，Vil表示优化变形前的左视点图像网格的第i个顶点坐标。
[0185] 对于源图像克隆区域左视点图像的任意网格边 其中，Vil和 分别表示优化变形前的左视点图像网格的第i和第j个顶点坐标，其缩放因子定义为
[0186]
[0187] 其中， 和 分别表示优化变形前的左视点图像网格的第i和第j个顶点的透视缩放因子。
[0188] 透视缩放项定义为
[0189]
[0190] 其中，El和Er分别表示源图像克隆区域左视点图像网格边和右视点图像网格边的集合；Vil和 分别表示优化变形前的左视点图像网格的第i和第j个顶点坐标，Vir和 分别表示优化变形前的右视点图像网格的第i和第j个顶点坐标； 和 分别表示优化变形后的左视点图像网格的第i和第j个顶点坐标， 和 分别表示优化变形后的右视点图像网格的第i和第j个顶点坐标；Sij表示网格边的缩放因子。
[0191] (2)直线约束项
[0192] 在优化变形的过程中，为避免源图像克隆对象发生结构失真，迫使网格边沿着原来的方向进行缩放，为源图像左视点图像的网格边定义变形后与变形前的长度比为[0193]
[0194] 其中，Vil和 分别表示优化变形前的左视点图像网格的第i和第j个顶点坐标，和 分别表示优化变形后的左视点图像网格的第i和第j个顶点坐标。
[0195] 用相同的方法定义源图像右视点图像的长度比
[0196] 直线约束项定义为
[0197]
[0198] 其中，El和Er分别表示源图像克隆区域左视点图像网格边和右视点图像网格边的集合，Vil和 分别表示优化变形前的左视点图像网格的第i和第j个顶点坐标，Vir和 分别表示优化变形前的右视点图像网格的第i和第j个顶点坐标； 和 分别表示优化变形后的左视点图像网格的第i和第j个顶点坐标， 和 分别表示优化变形后的右视点图像网格的第i和第j个顶点坐标。
[0199] (3)视差一致项
[0200] 对于每组待计算的水平坐标分量 其视差应与调整后的视差一致，令表示调整后的视差。视差一致项定义为
[0201]
[0202] 其中， 表示左视点图像待计算的水平坐标， 表示右视点图像待计算的水平坐标。
[0203] (4)垂直对齐项
[0204] 对于每组待计算的垂直坐标分量 应使其调整后趋近于0，从而消除垂直视差的影响，垂直对齐项定义为
[0205]
[0206] 其中， 表示左视点图像待计算的垂直坐标， 表示右视点图像待计算的垂直坐标。
[0207] (5)位置固定项
[0208] 为防止源图像克隆区域的中心位置发生改变，引入位置固定项固定源图像克隆区域左网格的中心位置，令 表示初始左网格的中心位置，其中，Vl表示初始的左视点图像网格顶点坐标，Vil表示初始的左视点图像网格的第i个顶点坐标。位置固定项定义为
[0209]
[0210] 其中， 表示优化变形后的左视点图像网格顶点坐标， 表示优化变形后的左视点图像网格的第i个顶点坐标。
[0211] 优化变形的总能量定义为上述五个能量项的权重加和：
[0212] Φ＝ωsΦs+ωlΦl+ωdΦd+ωvΦv+ωdΦd
[0213] 其中，Φs、Φl、Φd、Φv和Φd分别表示透视缩放能量、直线约束能量、视差一致能量、垂直对齐能量和位置固定能量。ωs、ωl、ωd、ωv和ωd为上述能量对应的权重系数。
[0214] 通过求解该能量函数的最小值获得优化变形网格。本文采用的权重系数分别为ωs＝50，ωl＝50，ωd＝50，ωv＝100和ωp＝1。总能量Φ是一个二次优化函数，并基于Matlab R2013b编程得到最后的解。
[0215] 4.图像融合
[0216] 在获得源图像克隆区域的优化变形网格后，通过双线性插值获得变形后的源图像克隆区域，之后采用平面泊松融合的方法将变形后的源图像克隆区域的左视点图像和右视点图像分别融合到目标图像的左视点图像和右视点图像，来获得最终的立体图像融合结果。
[0217] 5.实验及其效果评价
[0218] 为了检验本发明提出的立体图像克隆算法的性能，本发明对立体图像克隆的结果进行了展示。输入的源立体图像由JVC Everio 3D高清摄像机拍摄，相机间距为35mm，目标立体图像由FUJIFILM REAL 3D W1相机拍摄，相机间距为77mm。
[0219] 图3展示了考虑相机间距和不考虑相机间距时的立体图像克隆方法结果对比。在图3中，(a)和(e)分别为源图像的左视点图像和右视点图像；(b)和(f)表示目标图像的左视点图像和右视点图像；(c)和(g)表示不考虑相机间距时，即假设拍摄源图像和目标图像的相机间距一致时获得的立体克隆图像的左视点图像和右视点图像；(d)和(g)表示考虑相机间距时获得的立体克隆图像的左视点图像和右视点图像。已有算法都假设拍摄源图像和拍摄目标图像的立体相机间距一致，然而，在这种情况下，获得的立体图像克隆结果往往是不精确的。在不考虑相机间距时，即只考虑视差对源图像克隆区域形状和大小的影响，此时，源图像克隆区域被放大，如(c)和(g)所示。然而，考虑相机间距时，源图像克隆区域缩小，如图(d)和(g)。因此，本发明提出的算法能够实现更为精确的缩放。
