一种基于单幅图像的头发建模和肖像编辑方法
专利汇可以提供一种基于单幅图像的头发建模和肖像编辑方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于单幅图像的头发建模和肖像编辑方法，该方法可对输入图像中人物发型、头部等部分进行三维结构的重建，仅需要少量的用户输入即可实现多种肖像编辑功能；该方法经过图像预处理、头部三维模型重建、二维发丝 抽取 和三维发型重建步骤后，最终实现肖像立体化、发型迁移、发型编辑等肖像编辑功能；本发明首次提出了从单张肖像图像中构建三维头发模型的方法，实现了一系列实用的肖像发型编辑功能，效果优于现有方法，且具有交互简便、计算效率高等特点。，下面是一种基于单幅图像的头发建模和肖像编辑方法专利的具体信息内容。
1.一种基于单幅图像的头发建模和肖像编辑方法，其特征在于，该方法包括以下步骤：
（1）图像预处理：基于用户的简单笔画，利用Lazy-Snapping图像分割方法交互地将图像分割为人物头发、人物脸部、人物身体、背景四大部分，对分割得到的人物头发区域用alpha-matting方法计算该区域内不透明度值并分离其前景背景颜色，补齐人物身体及背景区域中被遮挡部分；
（2）头部三维模型重建：采用ASM方法自动标定人脸特征点，基于这些特征点与PCA降维后的三维头部模型数据库，通过最小二乘优化估算头部的变换参数与拟合三维模型，并根据步骤1分割得到的人物脸部区域进行反纹理映射得到头部模型的纹理图像；
（3）二维发丝抽取：在步骤1中得到的图像头发区域内使用Gabor核函数计算二维方向场及对应的置信图，基于此追踪得到一系列稀疏分布的二维发丝曲线；
（4）三维发型重建：结合步骤2中的拟合头部模型、相邻发丝深度的相似性以及发丝间相互遮挡关系进行能量优化，求解得到步骤3中生成的所有二维发丝的深度信息，基于这些三维发丝进行加密得到足够密集的包围头部的三维发丝集合作为恢复的发型模型，并为所有发丝顶点在原始图像中采样得到头发的颜色值；
（5）合成与应用：利用前面步骤1-4的人物发型模型、人物头部模型等重建的三维信息，实现肖像立体化、发型迁移、发型编辑等肖像编辑操作。
2.根据权利要求1所述基于单幅图像的头发建模和肖像编辑方法，其特征在于，所述步骤1包括以下子步骤：
（1.1）用户辅助的图像分割：采用Lazy-Snapping技术由用户辅助指定少量笔画对各层的可见区域进行分割，得到四层区域，分别为人物头发区域Rhair、人物脸部区域Rface、人物身体区域Rbody与背景区域Rbackground；
（1.2）头发区域的matting操作：通过如下matting操作自动地改善头发的分割结果：
（1.2.1)对头发区域Rhair腐蚀与膨胀10个像素的宽度，得到两个新的头发区域与
（1.2.2）将步骤（1.2.1)中得到的头发区域Rhair、 与 视为一组trimap，即
令膨胀后的 外区域头发的不透明度为0，腐蚀后的 内区域头发的不透明度为
1，对 内 外区域，即头发的边界区域，由matting方法求解的头发不透明度，得到头发在整个图像上的不透明度值Ahair，以及在头发边界区域内的前景颜色 与背景颜色 满足：
式中，Cimage为带不透明度的头发区域
（1.2.3）将步骤（1.2.2）中得到的带不透明度的头发区域作为改进的头发分割结果，并在头发边界区域（ 内 外区域）内，将前景颜色 作为头发区域颜色，背
景颜色 作为头发背景区域的颜色；
（1.3）身体与背景区域的填补及立体化：对遮挡部分使用PatchMatch方法进行填补，并交互地在遮挡位置指定身体的边界。
3.根据权利要求1所述基于单幅图像的头发建模和肖像编辑方法，其特征在于，所述步骤2由以下子步骤来实现：
（2.1）图像人脸特征点识别：首先采用Viola-Jones识别算法进行人脸识别，大致估算人脸区域大小；
（2.2）头部模型拟合：使用Basel Face Model数据库作为头部模型数据库，保证其中所有模型在拓扑结构上保持一致，且模型尺度归一化；将数据库中的每个头部模型所有顶点的三维坐标串联为一个向量，形如 作为一个训练数据样本；
对所有数据进行PCA分析，得到平均数据向量 前np个主元向量V及对应的特征值λ；给定任一主元向量系数向量β，即可生成对应的头部模型数据向量：
假定肖像为弱透视投影模型，对投影矩阵R，将三维点P3D投影到二维图像平面上的操作为P2D=R·P3D；在头部模型拟合过程中，定义能量方程E包括特征点误差Eerror与参数惩罚Ecoef两项如下：
E=werrorEerror+wcoefEcoef，
其中wk为对应特征点的权重值，Xk为标定的特征点位置， 与V(k)分别为头部模型上该特征点在平均模型与特征向量上的对应值；对于非脸部轮廓特征点，在头部模型上固定选择某一顶点作为其对应点，即：
V(k)＝Vindex(k)，
而对于脸部轮廓线，动态选取当前头部模型上与该特征点距离最近顶点为特征点对应模型位置；
使用最小二乘方法对能量项进行优化，求得 时的特征向量系数β，求得其对
应头部模型即为拟合结果Sfit；
拟合过程中，迭代地根据当前拟合结果Sfit通过最小二乘优化估计投影矩阵R及在当前投影矩阵R下拟合头部模型Sfit；
（2.3）模型纹理重建：利用头部模型的纹理参数化UV坐标，将步骤1中分割得到的人物脸部区域Rface反纹理映射至步骤（2.2）中的拟合头部模型Sfit，生成可见部分纹理图像Ifit；在Ifit上对不可见部分（即未被反纹理映射到的区域）进行填补操作；参考Basel Face Model数据库中标准人脸纹理图像Iref，对Ifit上所有不可见像素求解使其拉普拉斯算子值（ΔI(x,y)＝4I(x,y)-I(x-1,y)-I(x+1,y)-I(x,y-1)-I(x,y+1)）与Iref上一致。
4.根据权利要求1所述基于单幅图像的头发建模和肖像编辑方法，其特征在于，所述步骤3由以下子步骤来实现：
（3.1）方向场估计：使用有向滤波函数{Kθ}对图像预处理中得到的头发区域Rhair（其边界颜色为matting过程中提取的头发前景颜色 ）进行滤波操作，其中每个滤波函数Kθ用来检测角度θ对应方向的响应值；令F(x,y,θ)=(Kθ*I)(x，y)表示Kθ在像素(x,y)上的响应值；则像素(x,y)上的局部方向为 该步骤采用的滤波
函数由32个对称Gabor核函数构成，它们的方向在[0,π]间均匀分布：
Gabor函数的参数理论上需要与图像中可见发丝特征大小成正比，使用的参数
σu=1.8，σv=2.4，λ=4；
除了估计局部方向场 还对每像素计算一置信度w(x，y)，用以表示方向场的准确度：
其中，dist(θ1,θ2)表示方向间的夹角；
在得到初始的方向场结果 后，使用其对应的置信度值w(x，y)作为下一次迭代的输入，从w(x，y)使用同样的方法重新估计一个新的方向场 及对应的置信度值w’(x，y)；对于常见的输入图像，只需进行1到2个迭代过程；这个过程可以有效地滤去由图像噪声导致的高置信度方向估计值，得到一个干净可靠的二维方向场；
（3.2）发丝抽取：将步骤3.1得到的稀疏二维方向场转换为对应单独发丝结构的曲线几何的集合：首先在头发区域内选取种子像素点作为发丝追踪的起点；在置信值图上选取置信度的局部最大值点P作为种子点，令其满足：
wP>whigh；
其中， 与 为在垂直于P上局部方向 的两边方向上，通过双线性插值方法采样得到的临近置信度值；令whigh=0.3，wlow=0.05，∈=0.2；
对于任一选取的种子点Pseed及其局部方向 同时从其相反的两个方向上进行发丝追踪；每一步发丝追踪都通过在当前位置P沿角度 对应的方向vP，向前延伸曲线：
对每个发丝追踪过程，都维护一个追踪状态与一个健康度值：追踪过程的一开始健康度均初始为5，当健康度降至0则当前发丝的追踪过程结束；若当前追踪步骤的追踪状态为“确定的”，追踪方向决定于局部的方向场且将健康度重置为5；若追踪状态为“不确定的”，则追踪方向由上一个追踪顶点决定以保持曲线的曲率，并将健康度值减1；在追踪过程的每一步i，通过如下规则更新追踪状态：
A)若i＝0，将状态初始为“确定的”；
B)若 则将状态改为“不确定的”；
C)若 且 则将状态改为“不确定的”；
D)若 且 则将状态改为“确定的”；
E)否则保持当前的状态不变；
若上述规则C)成立，假设当前及其所有的后续“不确定”顶点都被其它的发丝所遮挡，因此将他们标记为被遮挡的；
追踪过程中同时从种子点列表中去除那些发丝曲线上的像素点，来保证所有发丝都只被追踪一次；追踪步长δ为像素宽度的75%，θmax=π/6；在每个发丝追踪完成后都将首尾的“不确定的”顶点去除；
由于可能的误差累积，上述步骤追踪得到的发丝很可能偏离正确的图像发丝中心；在追踪得到每个顶点后都进行一步重定位修正如下：
对于每个二维曲线顶点P，都在垂直于P上局部方向 的两边方向上采样得到的临近置信度值 与 拟合一个帐篷函数Λ(t)如下：令Λ(0)=wP，
然后求取argmax(Λ(t))作为P在垂直方向上的修正偏移量；
对于这一步生成的所有二维发丝顶点，都对其在图像中对应位置进行采样得到其颜色值。
5.根据权利要求1所述基于单幅图像的头发建模和肖像编辑方法，其特征在于，所述步骤4由以下子步骤来实现：
（4.1）深度估计：假设发型最外圈轮廓处的深度都为0（即头部模型中心的深度）；挡住头部前额的发丝深度为头部模型对应位置深度加上发型厚度值；在两者之间的其它发丝的深度将在这一步中进行求解并保持二维发丝抽取中得到的相互遮挡关系；
在深度优化过程中定义如下的深度限制：
a)深度限制：来限制前额与轮廓处等已知部分的深度值；用户同样可以通过画刷工具手动指定部分位置的深度；
b)发丝限制：保持一条发丝上相邻顶点的深度光滑，防止尖角的产生；
c)领域限制：保持相邻类似方向顶点的深度一致性；
令Pi为第i个发丝顶点的位置，Z(Pi)为其深度值，分别定义上述限制的能量如下：
其中 为Pi的预定义深度值， 包含Pi的不在同一发丝上的相邻顶点，其方
向相近且有相同的遮挡标记；
最终通过对如下能量E进行最小化求解，得到所有发丝顶点的深度值：
E=wZEZ+wSES+wNEN；
令wZ=5，wS=2，wN=1；使用共轭梯度法进行求解；
（4.2）三维发丝合成：首先，定义如下三个深度图：Dfront，Dmiddle与Dback；其中，前部深度图Dfront通过将计算得到的稀疏三维发丝光栅化得到的，然后将被三维发丝覆盖到的像素的深度值均匀扩散到整个头发区域；为了计算Dmiddle，首先将原始的头发区域与头部模型投影后得到的头部区域合并为一扩展的头发区域，将原始头发区域轮廓处的深度值作为边界条件，将其扩散到整个扩展头发区域内，从而生成中层深度图Dmiddle；后部深度图Dback通过固定区域边界的深度值，将区域内部的深度向后均匀延伸生成，使其深度在头部之后并使得整个区域完全覆盖脑后；这三层深度将整个头发区域划分为两个封闭的区域，对任一三维点P(x,y,z)，若Dfront(x,y)
所述发型编辑具体为：用户可以在发丝尺度上修改发型颜色或者增加颜色细节，光滑度的修改是通过简单对发丝顶点上的颜色进行滤波操作；采用Marschner模型来对发型增加高光效果。
一种基于单幅图像的头发建模和肖像编辑方法
技术领域
背景技术
Sillion,F.2004.Capture of hair geometry from multiple images.ACM Trans.Graph.23,3,712-719.）（Wei,Y.,Ofek,E.,Quan,L.,and Shum,H.-Y.2005.Modeling hair from multiple views.ACM Trans.Graph.24,3,816-820.）（Paris,S.,Chang,W.,Kozhushnyan,O.I.,Jarosz,W.,Matusik,W.,Zwicker，M.,and Durand,F.2008.Hair photobooth:geometric and photometric acquisition of real hairstyles.ACM Trans.Graph.27,3,30:1-30:9.）(Jakob,W.,Moon,J.T.,and Marschner,S.2009.Capturing hair assemblies fiber by fiber.ACM Trans.Graph.28,5,164:1-164:9.）。这些方法利用不同视角下的多张头发图像来重建其完全的三维模型，而后便可在计算机图像应用中重新渲染这些发型模型。而在本方法应用情景中，输入仅仅是单幅图像，并且没有关于发型三维几何形态或者场景光照条件的信息。因此本方法目标在于生成可信的高分辨率的基于发丝的发型模型，而不要求一定与实际情况一致。
发明内容
具体实施方式
对 内 外区域，即头发的边界区域，由matting方法求解的头发不透明度（在
(0,1)范围之内）。本方法采用Closed-form matting方法（Levin,A.,Lischinski,D.,and Weiss,Y.2008.A closed-form solution to natural image matting.IEEE Transactions on Pattern Analysis and Machine Intelligence 30,2,228-242.）进行求解，得到头发在整个图像上的不透明度值Ahair，以及在头发边界区域内的前景颜色（即去除图像其它区域颜色后的头发颜色） 与背景颜色（即去除头发颜色后的图像其它区域颜色）满足：
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于张量的分布式扩散自适应抗干扰方法 | 2020-05-12 | 589 |
| 一种高阶张量的纤维取向分布估计稀疏去卷积方法 | 2020-05-22 | 747 |
| 用于扩散张量成像的方法和系统 | 2020-05-11 | 296 |
| 扩散张量表面显象 | 2020-05-11 | 464 |
| 基于结构先验信息的人体心脏左心室扩散张量估计方法 | 2020-05-17 | 945 |
| 一种基于扩散峭度张量的白质微结构特征可视化方法 | 2020-05-16 | 73 |
| 一种扩散张量磁共振成像方法 | 2020-05-11 | 395 |
| 用于脑白质纤维跟踪的高阶扩散张量混合稀疏成像方法 | 2020-05-16 | 335 |
| 借助磁共振确定扩散张量的系数的方法和装置 | 2020-05-13 | 267 |
| 一种非负高阶张量拟牛顿搜索的纤维方向分布估计方法 | 2020-05-26 | 753 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
