技术领域
[0001] 本
发明属于图像处理技术，尤其涉及一种防止背景变形的人物图像处理方法。
背景技术
[0002] 人们希望自己在社交网络上可以呈现美丽且独具个性的形象,总希望自己的照片比现实中的自己更美丽。人像美化已经成为修图类应用的标配功能，但目前的修图应用主要以人像
皮肤美化为主，能对人物图像进行瘦身的应用并不多，瘦身后的效果也不尽如人意。
[0003] 在对图像未知
像素位置进行搜索时，Patch-Match
算法是被广泛应用的一种算法，该算法利用图片中的其他区域来恢复边缘未知区域。但该算法容易造成
图像空间结构的紊乱，造成图像的扭曲、变形，对于人像图像这种待填充面积大、可利用信息少的图像尤其如此。出现“天空被填充到脚底”、“瘦身的地方拉扯到背景”的现象。
[0004] 在对图像进行填充，计算其填充像素值时，使用距离变换的结果进行加权。在未知区域较大的应用中，这种方式会使得在未知区域中心的距离权重很小并且其周围相当一部分位置的距离权重都很小以至于失去了区分度，导致距离大的区域的距离加权变得没有意义。
发明内容
[0005] 鉴于上述问题，本发明提供了一种防止背景变形的人物图像处理方法，该方法能在对人物图像进行瘦身的同时，还能保持图像背景的自然。
[0006] 为完成发明目的，本发明采用的技术方案是：
[0007] 一种防止背景变形的人物图像处理方法，包括以下步骤：
[0008] 步骤1：获得人物图像原图，对所述人物图像原图进行分割处理，得到原图蒙版图；
[0009] 步骤2：对所述人物图像原图和所述原图蒙版图进行变形瘦身处理，得到原图变形图和原图蒙版变形图；
[0010] 步骤3：对所述人物图像原图进行逐层滤波，并生成对应的蒙版图，得到图像金字塔；对每层蒙版图进行扩张操作，并对所得扩张的结果进行距离变换；
[0011] 步骤4：计算扩张后的未知区域的梯度，然后对所述扩张后的未知区域的每个位置，在半径Rsvd范围内对梯度进行SVD分解，得到代表当前位置梯度主方向的值、代表当前位置梯度主方向的垂直方向的值和反映所述梯度主方向的显著程度的值；
[0012] 步骤5：从金字塔顶层开始，对扩张后的未知区域的每个未知像素位置顺序进行近邻搜索、十字形搜索和带限制的随机搜索，得到其最佳匹配
块位置；
[0013] 步骤6：对所述每个未知像素位置用其邻域范围内的所述最佳匹配块位置进行像素填充；
[0014] 步骤7：重复所述步骤5和所述步骤6，直到所述步骤5的搜索结果不再改变或重复次数达到至少4次，得到更新后的图像金字塔，此时，金字塔的底层为填充结果图；
[0015] 步骤8：将所述原图变形图、所述原图蒙版变形图和所述填充结果图进行合成，得到背景未变形的人物图像。
[0016] 进一步的，所述步骤1：获得人物图像原图，其获得方法为利用移动设备进行
自拍或从相册中选取一张自拍照。
[0017] 进一步的，所述步骤2：对所述人物图像原图和所述原图蒙版图进行变形瘦身处理，其方法是：通过用户选中某个区域，推动所述区域到想要的区域，实现局部的瘦身变形；或自动利用人体骨骼点检测算法检测出人像的骨骼关键点，然后在固定意义的点附近进行变形推动，实现局部的瘦身变形。
[0018] 进一步的，所述步骤3包括以下步骤：
[0019] 步骤a1：设人物图像原图为I，设原图蒙版图为M；
[0020] 步骤a2：对Ik进行滤波得到Ik+1，并且生成对应的蒙版图Mk+1，得到图像金字塔；k为金字塔层序号，k＝{0,1,2,…}；特别地，金字塔底层I0＝I，M0＝M；当金字塔某层的蒙版全为0时，停止下
采样，设此时的金字塔层序号为n_level-1,n_level为图像金字塔总层数；
[0021] 步骤a3：以Rdilate＝2为半径对蒙版Mk进行形态学膨胀操作得到扩张后的Mk_expand，对Mk_expand进行距离变换得到结果Dk，k＝{0,1,2,…,n_level-1}；
[0022] 进一步的，所述步骤a2中所述对Ik进行滤波得到Ik+1，并且生成对应的蒙版图Mk+1，其方法为：
[0023]
[0024]
[0025] 其中Ik+1(x,y)表示图像Ik+1在坐标(x,y)处的值，Mk+1(x,y)表示蒙版Mk+1在坐标(x,y)处的值；i，j为其定义范围内的任意值，且不具备具体意义；
[0026] wnorm(x,y)为归一化因子，其计算方式为：
[0027]
[0028] wi,j为高斯核，其定义为：
[0029] i,j∈[-2,2]，σ＝1.06
[0030] wtotal为所有wi,j的和，其计算方式为：
[0031]
[0032] 进一步的，所述的步骤4中所述的得到代表当前位置梯度主方向的值、代表当前位置梯度主方向的垂直方向的值和反映所述梯度主方向的显著程度的值，包括两个特征值λ1,λ2以及
特征向量υ1,υ2；υ1代表着当前位置梯度的主方向，υ2代表着当前位置梯度主方向的垂直方向， 反映了梯度主方向的显著程度；
[0033] 进一步的，所述的步骤5中所述的近邻搜索，其方法为：
[0034] 对于当前未知像素位置(x,y)，设其最佳匹配块位置为vx,y，对应误差为errx,y；vx,y为二维向量，当k＝n_level-1时，vx,y的初始值采用随机的方式分配；当k≠0且k≠n_level-1时，将上一层的搜索结果进行上采样，作为k-1层的初始化；分别计算所述当前未知像素位置与位于vx-1,y+(1,0)、vx,y-1+(0,1)、vx+1,y+(-1,0)、vx,y+1+(0,-1)的
块匹配误差，若误差比errx,y小，则更新errx,y与vx,y；重复此过程直到当前待评估的未知像素位置均被评估或者当前最佳匹配块位置vx,y不再变化。
[0035] 进一步的，所述的步骤5中所述的十字形搜索，其方法为：
[0036] 将所述近邻搜索所得结果作为当前未知像素位置(x,y)，依次计算所述当前未知像素位置与位于vx,y+(-1,0)、vx,y+(0,-1)、vx,y+(0,1)、vx,y+(1,0)的块匹配误差，若误差比errx,y小，则更新errx,y与vx,y；重复此过程直到当前待评估的未知像素位置均被评估或者当前最佳匹配块位置vx,y不再变化。
[0037] 进一步的，所述的步骤5中所述的带限制的随机搜索，其方法为：
[0038] 将所述十字形搜索所得结果作为当前未知像素位置(x,y)，分别计算所述当前未知像素位置与位于μx,y＝vx,y+wαiRx,y，wαiRx,y≠(0,0)的块匹配误差，若误差比errx,y小，则更新errx,y与vx,y；重复此过程直到当前待评估的未知像素位置均被评估或者当前最佳匹配块位置vx,y不再变化；
[0039] 其中Rx,y为二维随机变量，取值范围为[-1,1]x[-1,1]；w∈[8,28]；α＝0.5；i依次取n,n-1,…,2,1，且n满足条件:wαn≥1且wαn+1＜1；特别地，对于扩张的未知区域中梯度主方向的显著程度满足 的未知像素位置，Rx,y＝υ2。
[0040] 进一步的，所述的块匹配误差，其计算方式如下：
[0041] 图像块Patchx,y定义为以(x,y)为中心，半径为rx,y的正方形区域且明显地，图像块Patchx,y的像素个数为(2rx,y+1)2；
[0042] 块Patchx,y与块 之间的误差计算方式为:
[0043]
[0044] 其中 为单个像素的误差，其计算方法为：
[0045]
[0046] rx,y为每个位置的块半径，其设置方法为：
[0047]
[0048] 进一步的，所述的步骤6：对所述每个未知像素位置用其邻域范围内的所述最佳匹配块位置进行像素填充，其方法为：
[0049] 对于Ik中的每个未知像素位置(x,y)，在半径rfill＝2的邻域范围内计算其填充像素值I′k(x,y)：
[0050]
[0051] 其中，weightx+i,y+j为 的权重，其计算方式为：
[0052]
[0053] 其中，σ2为，其计算方式为：
[0054]
[0055] 本发明与现有的技术相比，其有益的特点是：
[0056] 1、采用逐步收缩蒙版未知区域的方式生成图像金字塔，从而能够在金字塔顶层形成足够多的已知像素作为填充候选像素；
[0057] 2、用SVD分解确定一定范围的块的整体走向以及走向的确定程度，比直接用梯度进行结构的判定更加准确，可以减小噪声的干扰；
[0058] 3、块之间的误差计算有利于搜索算法对未知区域的位置进行惩罚，使搜索结果倾向于更多地利用已知区域。
[0059] 4、块匹配误差计算时，不同位置块采用不同的半径来计算，在结构比较明显的地方采用较大的半径，能使搜索结果倾向于保持结构一致性，尤其是方向一致的线条类结构如远去的
铁轨、笔直的旗杆等。
[0060] 5、限制随机搜索的范围在局部，以保证空间结构自然扩展，防止出现超长范围匹配。在搜索过程中，按照i递减的方式进行，这样能优先搜索当前最匹配的块位置的附近区域，加快收敛速度。
[0061] 6、十字形搜索和带限制的随机搜索能加快收敛速度，使搜索过程提前搜索到最优位置，并且限制梯度主方向显著的位置的搜索方向，能更好地保持结构一致性。
[0062] 7、在对图像进行填充时，用相对距离Dk(x+i,y+j)-Dk(x,y)来区分不同位置的权重，使得未知区域中心及其周围相当一部分位置具有更高的区分度。
附图说明
[0065] 图3是一个实施例中的原图蒙板图；
[0066] 图4是一个实施例中的原图变形图；
[0067] 图5是一个实施例中的原图蒙版变形图；
[0068] 图6是一个实施例中的填充结果图；
[0069] 图7是一个实施例中的背景未变形的人物图像。
具体实施方式
[0070] 一种防止背景变形的人物图像处理方法，该方法包括以下步骤：
[0071] 步骤1：获得人物图像原图，如图2所示，对所述人物图像原图进行分割处理，得到原图蒙版图，如图3所示；
[0072] 其中，获得人物图像原图的方法有很多，可以是利用带有摄像功能的移动设备进行自拍，也可以是从存储介质中获得一张自拍图像。本发明对获得人物图像原图的方法不作限制。
[0073] 原图蒙板图人为单通道二值灰度图，在此设原图蒙板图为M，则M＝1的部分为人像区域，M＝0的区域表示背景区域。
[0074] 步骤2：对所述人物图像原图和所述原图蒙版图进行变形瘦身处理，得到原图变形图(如图4所示)和原图蒙版变形图(如图5所示)；
[0075] 图像变形的算法有很多，如移动最小二乘图像变形方法和
液化算法。本实施例中采用的是液化算法。上述瘦身处理既可以通过手动液化也可以通过自动液化对人像进行变形瘦身。
[0076] 其中，手动液化是指用户通过
手指选中某个区域(如腰部、腿部等)，然后推动到想要的区域实现局部的瘦身；自动液化是指利用人体骨骼点检测算法先检测出人像的骨骼关键点，然后在固定意义的点附近进行液化推动(如在腰部，从腰部骨骼点两侧往中间液化达到瘦腰的目的)。
[0077] 步骤3：对所述人物图像原图进行逐层滤波，并生成对应的蒙版图，得到图像金字塔；对每层蒙版图进行扩张操作，并对所得扩张的结果进行距离变换；
[0078] 进一步的，步骤3的实施包括以下步骤：
[0079] 步骤a1：设人物图像原图为I，设原图蒙版图为M；
[0080] 步骤a2：对Ik进行滤波得到Ik+1，并且生成对应的蒙版图Mk+1，得到图像金字塔；k为金字塔层序号，k＝{0,1,2,…}；特别地，金字塔底层I0＝I，M0＝M；当金字塔某层的蒙版全为0时，停止
下采样，设此时的金字塔层序号为n_level-1,n_level为图像金字塔总层数；
[0081] 其中，对Ik进行滤波得到Ik+1，并且生成对应的蒙版图Mk+1，其方法为：
[0082]
[0083]
[0084] Ik+1(x,y)表示图像Ik+1在坐标(x,y)处的值，Mk+1(x,y)表示蒙版Mk+1在坐标(x,y)处的值；i，j为其定义范围内的任意值，且不具备具体意义；
[0085] wnorm(x,y)为归一化因子，其计算方式为：
[0086]
[0087] wi,j为高斯核，其定义为：
[0088] i,j∈[-2,2]，σ＝1.06
[0089] wtotal为所有wi,j的和，其计算方式为：
[0090]
[0091] 式中i，j为其定义范围内的任意值，且不具备具体意义。
[0092] 这种金字塔生成方式能逐步收缩蒙版未知区域，在金字塔最顶层能形成足够的已知像素作为填充候选像素。避免了采用常见金字塔生成方式时因人像自拍照大多主体较大而产生的顶层已知像素不足的问题。
[0093] 步骤a3：以Rdilate＝2为半径对蒙版Mk进行形态学膨胀操作得到扩张后的Mk_expand，对Mk_expand进行距离变换得到结果Dk，k＝{0,1,2,…,n_level-1}；
[0094] 其中，对蒙版Mk进行扩张是为了扩大后续步骤中块搜索算法的搜索范围，保证未知区域边界也有足够的信息进行填充。距离变换可作为填充算法的辅助信息，使得填充算法能优先考虑靠近未知区域边界的位置。距离变换的结果Dk代表了进行距离变换的每个位置与距离其最近的零点的距离。
[0095] 步骤4：计算扩张后的未知区域的梯度，然后对所述扩张后的未知区域的每个位置，在半径Rsvd范围内对梯度进行SVD分解，得到代表当前位置梯度主方向的值、代表当前位置梯度主方向的垂直方向的值和反映所述梯度主方向的显著程度的值，包括两个特征值λ1,λ2以及特征向量υ1,υ2；υ1代表着当前位置梯度的主方向，υ2代表着当前位置梯度主方向的垂直方向， 反映了梯度主方向的显著程度；
[0096] 其中，梯度的计算方法有很多，本实施例中采用sobel算子。扩张的未知区域即指Mk_expand＝1∩Mk＝0的区域。
[0097] 用SVD分解梯度来确定一定范围的块的整体走向以及走向的确定程度的方法，比直接用梯度进行结构的判定更加准确，并且可以减小噪声的干扰，是更鲁棒的方法。本方法中，在考虑SVD分解的范围半径Rsvd时，更大的半径有利于保持图像结构性，考虑到计算效率，建议取值4、8、16、32等，本实施例中取值16。
[0098] 步骤5：从金字塔顶层开始，对扩张后的未知区域的每个未知像素位置顺序进行近邻搜索、十字形搜索和带限制的随机搜索，得到其最佳匹配块位置；
[0099] 其中，扩张后的未知区域的每个未知像素位置即是Mk_expand＝1的位置。
[0100] 上述步骤中所述的近邻搜索的方法为：
[0101] 对于当前未知像素位置(x,y)，设其最佳匹配块位置为vx,y，对应误差为errx,y；vx,y为二维向量，当k＝n_level-1时，vx,y的初始值采用随机的方式分配；当k≠0且k≠n_level-1时，将上一层的搜索结果进行上采样(本实施例中的采样方法为将搜索结果乘以2倍)，作为k-1层的初始化；分别计算当前未知像素位置与位于vx-1,y+(1,0)、vx,y-1+(0,1)、vx+1,y+(-
1,0)、vx,y+1+(0,-1)的块匹配误差，若误差比errx,y小，则更新errx,y与vx,y；重复此过程直到当前待评估的未知像素位置均被评估或者当前最佳匹配块位置vx,y不再变化。
[0102] 然后进行十字形搜索，其方法为：
[0103] 将近邻搜索所得结果作为当前未知像素位置(x,y)，依次计算当前未知像素位置与位于vx,y+(-1,0)、vx,y+(0,-1)、vx,y+(0,1)、vx,y+(1,0)的块匹配误差，若误差比errx,y小，则更新errx,y与vx,y；重复此过程直到当前待评估的未知像素位置均被评估或者当前最佳匹配块位置vx,y不再变化。
[0104] 然后进行带限制的随机搜索，其方法为：
[0105] 将十字形搜索所得结果作为当前未知像素位置(x,y)，分别计算当前未知像素位i i置与位于μx,y＝vx,y+wαRx,y，wαRx,y≠(0,0)的块匹配误差，若误差比errx,y小，则更新errx,y与vx,y；重复此过程直到当前待评估的未知像素位置均被评估或者当前最佳匹配块位置vx,y不再变化；
[0106] 其中Rx,y为二维随机变量，取值范围为[-1,1]x[-1,1]；
[0107] 在对人像自拍这种待填充面积大、可利用信息少的图像进行搜索时，尤其容易出现“天空被填充到脚底”这种超长范围匹配，造成空间结构的紊乱。本方法将搜索范围限制在局部，以保证空间结构自然扩展，防止出现超长范围匹配，即限制w∈[8,28]；
[0109] i按照递减的方式依次取n,n-1,…,2,1，且n满足条件:wαn≥1且wαn+1＜1；这样能优先搜索当前最匹配的块位置的附近区域，加快收敛速度。
[0110] 特别地，对于扩张的未知区域中梯度主方向的显著程度满足 的未知像素位置，Rx,y＝υ2。
[0111] 以上步骤中，一个位于(x,y)的图像块Patchx,y定义为以(x,y)为中心，半径为rx,y2
的正方形区域且 明显地，图像块的像素个数为(2rx,y+1) 。块Patchx,y与块
之间的误差计算方式为:
[0112]
[0113] 其中 为单个像素的误差，其计算方法为：
[0114]
[0115] 该误差计算方式相当于对于未知区域(Mk＝1的区域)的像素进行惩罚，使搜索结果倾向于更多地利用已知区域，而这点正是图像填充应用的关键所在。且本发明中每个位置的块半径(rx,y)不同，半径大的块更强调结构的一致性(如明显的分界、直线等)。rx,y的设置根据梯度主方向的显著程度进行设置，即：
[0116]
[0117] 以上步骤中设置三种搜索的目的是为了加快收敛速度，使搜索过程提前搜索到最优位置，并且限制梯度主方向显著的位置的搜索方向，能更好地保持结构一致性。
[0118] 步骤6：对所述每个未知像素位置用其邻域范围内的所述最佳匹配块位置进行像素填充；
[0119] 上述步骤的具体方法为：
[0120] 对于Ik中的每个未知像素位置(x,y)(即Mk为1的位置)，用其邻域范围内的最佳匹配块对当前位置进行像素填充，即在半径rfill＝2的邻域范围内计算其填充像素值I′k(x,y)：
[0121]
[0122] 其中，weightx+i,y+j为 的权重，为了保持未知区域边界附近的结构，离未知区域边界越近的位置的重要性越大，所以结合距离变换结果后，权重的计算方式为：
[0123]
[0124] 其中，σ2为方差，其计算方式为：
[0125]
[0126] 在对图像进行填充时，用相对距离Dk(x+i,y+j)-Dk(x,y)来区分不同位置的权重能使得未知区域中心及其周围相当一部分位置具有更高的区分度。
[0127] 其中，相对距离Dk(x+i,y+j)-Dk(x,y)表示：当Dk(x+i,y+j)大于Dk(x,y)时，计算出的权重 小于1；当Dk(x+i,y+j)小于Dk(x,y)时，计算出的权重大于1。 的单调性与Dk(x+i,y+j)-Dk(x,
y)相关，而非与Dk(x,y)相关。
[0128] 步骤7：重复步骤5和步骤6，直到步骤5的搜索结果不再改变或重复次数达到至少4次，得到更新后的图像金字塔，此时，金字塔的底层为填充结果图(如图6所示)；
[0129] 此步骤是为了完成对所有未知位置的像素值进行填充计算，并用填充后的每层图像(即Ik)更新原图像金字塔中的对应图像层，得到更新后的图像金字塔，填充过程完毕。
[0130] 步骤8：将原图变形图、原图蒙版变形图和填充结果图进行合成，得到背景未变形的人物图像(如图7所示)。
[0131] 本实施例中，采用alpha混合的方式将上述图像
叠加在一起，其具体方式如下：设背景未变形的人物图像为Ires；原图变形图为Iwarp；原图蒙版变形图为Mwarp；填充结果图为Ifill；
[0132] 则：Ires＝IwarpMwarp+Ifill(1-Mwarp)。
[0133] 以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和
说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的
权利要求书及其等效物界定。
