一种基于单幅图像的非线性三维人脸建模方法
专利汇可以提供一种基于单幅图像的非线性三维人脸建模方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种在三维人脸 数据库 的 支撑 下从单幅图像中非线性构建三维人脸模型的方法。它首先根据输入图像提取一组特征点；然后根据人脸库中的平均人脸模型，自动估计输入图像中头部姿势参数；姿势恢复以后，它根据一个相似度度量函数为给定人脸图像在三维人脸库中确定一个邻域，邻域的大小通过交叉验证 算法 来自适应的确定；通过邻域插值算法合成个性化三维人脸模型；最后通过提取的特征点求解纹理映射。本发明可以得到高 精度 的三维人脸动画，在不同的实验条件下应用到各种单幅图像合成三维模型，保证人脸动画的真实感，同时避免了对人脸缝隙区域进行手工划分的繁琐，提高了人脸动画的制作效率，生成三维人脸模型计算过程相对 迭代 算法更加稳定和高效，同时生成三维人脸模型具有纹理信息，能够实时生成具有真实感的高精度三维人脸动画。，下面是一种基于单幅图像的非线性三维人脸建模方法专利的具体信息内容。
1、一种基于单幅图像的非线性三维人脸建模方法，其特征在于包括如下步 骤：
1)给定一副人脸图像，标记预定义特征点；
2)基于特征点和参照模型，图像中的头部姿态被自动恢复；
3)根据定义的相似度函数，为人脸图像在三维人脸空间中找到局部邻域；
4)采用基于邻域的最优化方法进行三维人脸重建，用径向基函数网络从给 定图像推断三维人脸模型，径向基函数网络输入是二维像素位置，输出三维空 间坐标；
5)通过提取的基于图像的特征点坐标计算纹理坐标，选择用径向基函数网 络从三维坐标映射到纹理坐标的函数，给定一组三维模型上的特征顶点和纹理 坐标，中间点的纹理坐标可以通过散乱数据插值得到，生成三维人脸模型的纹 理映射。
2、根据权利要求1所述的一种基于单幅图像的非线性三维人脸建模方法， 其特征在于：所述给定一副人脸图像，标记预定义特征点步骤：
(a)所采用的三维模型中除了表示面部的几何面片之外，还有颈部和耳朵等 其他部位；
(b)三维人脸数据库中的模型经过预处理后，已经实现了顶点对应，因此在 一个模型上定义的特征点可以直接传播到其他人脸模型上；
(c)三维人脸模型上的特征点集合定义了一个包围盒，从人脸动画的需求和 图像的覆盖范围考虑，人脸建模和纹理映射时，仅绘制包围盒内的几何面片。
3、根据权利要求1所述的一种基于单幅图像的非线性三维人脸建模方法， 其特征在于：所述的基于特征点和参照模型，图像中的头部姿态被自动恢复步 骤：
(d)在一个三维参照模型的支持下，从单幅人脸图像中恢复姿态参数，使用 的参照模型是数据库中的平均人脸；
(e)通过矩阵运算求得旋转R，平移t，和缩放s相似性变换参数得到头部 姿态；
(f)使用最小二乘估计头部姿态的准确性，最小二乘估计计算公式如下
{pi＝(xi，yi，0)}是图像中特征点的集合，{vi＝(xi，yi，zi)}是三维模型中特征顶点的集 合，R、t、s是变换参数(旋转、平移和缩放)，n是特征点的数目，变换参数可 以通过最小化等式1中的代价函数能够求得。
4、根据权利要求1所述的一种基于单幅图像的非线性三维人脸建模方法， 其特征在于：所述的根据定义的相似度函数，为人脸图像在三维人脸空间中找 到局部邻域步骤：
(g)选择图像和数据库中三维样本的距离函数，计算公式如下
其中I是输入图像，Mj是三维人脸空间中的第j个样本，projxoy是从(x，y)到 (x，y，z)的映射函数；
(h)用k近邻通过距离函数检验领域数量的选值，并且一些数据库外的三维 样例被保留下来用于交叉验证，确定领域边界。
5、根据权利要求1所述的一种基于单幅图像的非线性三维人脸建模方法，其 特征在于：所述采用基于邻域的最优化方法进行三维人脸重建，用径向基函数 网络从给定图像推断三维人脸模型，径向基函数网络输入是二维像素位置，输 出三维空间坐标步骤：
(i)在三维人脸空间中找到输入图像的邻域后，用径向基函数RBF网络构 造一个从二维像素位置映射到三维空间坐标的函数，采用基于邻域的最优化方 法进行三维人脸重建，从给定图像推断三维人脸模型：
其中Vj是输出的三维空间坐标，I是用特征点表示的输入图像，Mi是该图 像邻域中的第i个三维模型，D(I，Mi)是在距离函数，k是k-NN中近邻的数目，cji 表示学习参数，j表示输出向量中的第j个元素，f(r)是径向对称基函数；
(j)替换等式3中k对邻域训练数据得到k个等式的线性方程组，是 将projxoy(sRvi+t)中所有元素首尾相连的向量，是将第i个三维模型中所有顶点坐 标首位相连的向量；
(k)解这个线性方程组得到：
其中是重建得到的三维人脸，l＝0.01是为了降低噪声影响而引入的一个阈值， H是计算过程中的中间矩阵，I是单位矩阵。
技术领域
本发明涉及计算机三维动画技术领域，尤其涉及一种基于单幅图像的非线 性三维人脸建模方法。
背景技术
基于插值的方法：最早的人脸动画是基于插值的方法。首先由动画师制作 一些特定的人脸表情关键帧，然后用线性插值在这些关键帧之间建立光滑的过 渡。这种方法主要依靠动画师的个人能力，而且比较耗时。
基于自由变形的方法：自由变形的方法把三维人脸动画转化为一个曲面变 形的问题。由若干控制点组成了一个包围体，包围体的运动直接驱动人脸网格 的变形。这种方法输入限制少，但往往需要对人脸进行区域划分，这个过程对 一般用户来说比较困难和繁琐；而且由于变形体没有考虑人脸网格本身的拓扑 结构，所以变形往往会产生一些瑕疵。
基于物理建模的方法：首先对人脸的解剖学结构，如肌肉、头骨和皮肤进 行建模，然后运动捕获数据则可以转化为肌肉收缩的参数，驱动模型的人脸动 画。这种方法产生的符合人脸的运动特性，比较真实，但计算代价比较高，且 难以快速对新角色建立物理模型。
基于例子的方法：三维人脸动画被看作是一些特定实例的线性组合。运动 捕获数据中的运动向量，直接被用来估计线性组合的参数和插值系数。预先定 义的实例则通过这些参数和系数被混合在一起。这类方法比较稳定和准确，但 建立实例的过程比较昂贵和繁琐。
表情克隆的方法：为了将已有的三维网格运动数据应用到新的三维人脸模 上，运动位移需要针对网格的局部几何特征进行旋转和缩放。表情克隆可以解 决不同三维人脸曲面网格之间的运动重定向问题。
实时人脸动画捕获：通过计算机视觉算法，视频中的角色的三维形状和彩 色纹理被实时重建。这种方法可以对特定角色进行逼真生动的动画创作，但产 生的动画难以转移到其他角色上。
发明内容
为实现上述发明目的，本发明采用下述的技术方案：
基于单幅图像的非线性三维人脸建模方法包括如下步骤：
1)给定一副人脸图像，标记预定义特征点；
2)基于特征点和参照模型，图像中的头部姿态被自动恢复；
3)根据定义的相似度函数，为人脸图像在三维人脸空间中找到局部邻域；
4)采用基于邻域的最优化方法进行三维人脸重建，用径向基函数网络从给 定图像推断三维人脸模型，径向基函数网络输入是二维像素位置，输出三维空 间坐标；
5)通过提取的基于图像的特征点坐标计算纹理坐标，选择用径向基函数网 络从三维坐标映射到纹理坐标的函数，给定一组三维模型上的特征顶点和纹理 坐标，中间点的纹理坐标可以通过散乱数据插值得到，生成三维人脸模型的纹 理映射。
所述给定一副人脸图像，标记预定义特征点步骤：
(a)所采用的三维模型中除了表示面部的几何面片之外，还有颈部和耳朵等 其他部位；
(b)三维人脸数据库中的模型经过预处理后，已经实现了顶点对应，因此在 一个模型上定义的特征点可以直接传播到其他人脸模型上；
(c)三维人脸模型上的特征点集合定义了一个包围盒，从人脸动画的需求和 图像的覆盖范围考虑，人脸建模和纹理映射时，仅绘制包围盒内的几何面片。
所述的基于特征点和参照模型，图像中的头部姿态被自动恢复步骤：
(d)在一个三维参照模型的支持下，从单幅人脸图像中恢复姿态参数，使用 的参照模型是数据库中的平均人脸；
(e)通过矩阵运算求得旋转R，平移t，和缩放s相似性变换参数得到头部 姿态；
(f)使用最小二乘估计头部姿态的准确性，最小二乘估计计算公式如下
{pi＝(xi，yi，0)}是图像中特征点的集合，{vi＝(xi，yi，zi)}是三维模型中特征顶点的集 合，R、t、s是变换参数(旋转、平移和缩放)，n是特征点的数目，变换参数可 以通过最小化等式1中的代价函数能够求得。
所述的根据定义的相似度函数，为人脸图像在三维人脸空间中找到局部邻域 步骤：
(g)选择图像和数据库中三维样本的距离函数，计算公式如下
其中I是输入图像，Mj是三维人脸空间中的第j个样本，projxoy是从(x，y)到 (x，y，z)的映射函数；
(h)用k近邻通过距离函数检验领域数量的选值，并且一些数据库外的三维 样例被保留下来用于交叉验证，确定领域边界。
所述采用基于邻域的最优化方法进行三维人脸重建，用径向基函数网络从 给定图像推断三维人脸模型，径向基函数网络输入是二维像素位置，输出三维 空间坐标步骤：
(i)在三维人脸空间中找到输入图像的邻域后，用径向基函数RBF网络构 造一个从二维像素位置映射到三维空间坐标的函数，采用基于邻域的最优化方 法进行三维人脸重建，从给定图像推断三维人脸模型：
其中Vj是输出的三维空间坐标，I是用特征点表示的输入图像，Mi是该图 像邻域中的第i个三维模型，D(I，Mi)是在距离函数，k是k-NN中近邻的数目，cji 表示学习参数，j表示输出向量中的第j个元素，f(r)是径向对称基函数；
(j)替换等式3中k对邻域训练数据得到k个等式的线性方程组，是 将projxoy(sRvi+t)中所有元素首尾相连的向量，是将第i个三维模型中所有顶点坐 标首位相连的向量；
(k)解这个线性方程组得到：
其中是重建得到的三维人脸，l＝0.01是为了降低噪声影响而引入的一个阈 值，H是计算过程中的中间矩阵，I是单位矩阵。
本发明与现有技术相比具有的有益效果：
(1)本发明可以在不同的实验条件下应用到各种单幅图像合成三维模型， 有很好的可扩展性，避免了自由变形方法中的人脸功能区域划分的复杂和繁琐， 提高了人脸动画的制作效率；
(2)图像中的头部姿态基于特征点和参照模型被自动恢复，这个过程只需 要矩阵运算，相对迭代算法更加稳定和高效，具有较好的实时性和可扩展性；
(3)通过提取的基于图像的特征点坐标计算纹理坐标，生成三维人脸模型 的纹理映射，实时生成具有真实感的高精度三维人脸动画。
附图说明
下面结合附图和具体实施对本发明作进一步的说明；
图1为统一标准特征点定义；
图2(a)为用于估计图像中姿态的特征点(右)和一个三维人脸样本(左)；
图2(b)为头部姿态参数估计应用到三维人脸样本；
图3(a)为本发明通过京剧脸谱的单幅图像生成人脸模型的示意图；
图3(b)为本发明通过蒙娜丽莎的单幅图像生成人脸模型的示意图；
图3(c)为本发明通过的一个学生单幅图像生成人脸模型的示意图；
图3(d)为本发明通过电视直播员的单幅图像生成人脸模型的示意图。
具体实施方式
1)给定一副人脸图像，标记预定义特征点；
2)基于特征点和参照模型，图像中的头部姿态被自动恢复；
3)根据定义的相似度函数，为人脸图像在三维人脸空间中找到局部邻域；
4)采用基于邻域的最优化方法进行三维人脸重建，用径向基函数网络从给 定图像推断三维人脸模型，径向基函数网络输入是二维像素位置，输出三维空 间坐标；
5)通过提取的基于图像的特征点坐标计算纹理坐标，选择用径向基函数网 络从三维坐标映射到纹理坐标的函数，给定一组三维模型上的特征顶点和纹理 坐标，中间点的纹理坐标可以通过散乱数据插值得到，生成三维人脸模型的纹 理映射。
所述给定一副人脸图像，标记预定义特征点步骤：
(a)我们使用58个特征点定义脸部特征，如图1所示，所采用的三维模型 中除了表示面部的几何面片之外，还有颈部和耳朵等其他部位；
(b)三维人脸数据库中的模型经过预处理后，已经实现了顶点对应，因此在 一个模型上定义的特征点可以直接传播到其他人脸模型上；
(c)三维人脸模型上的特征点集合定义了一个包围盒，从人脸动画的需求和 图像的覆盖范围考虑，人脸建模和纹理映射时，仅绘制包围盒内的几何面片。
所述的基于特征点和参照模型，图像中的头部姿态被自动恢复步骤：
(d)在计算相似度之前，需要确定图像中头部的姿态，在一个三维参照模型 的支持下，从单幅人脸图像中恢复姿态参数，使用的参照模型是数据库中的平 均人脸；
(e)通过矩阵运算求得旋转R，平移t，和缩放s相似性变换参数得到头部 姿态；
(f)使用最小二乘估计头部姿态的准确性，最小二乘估计计算公式如下
{pi＝(xi，yi，0)}是图像中特征点的集合，{vi＝(xi，yi，zi)}是三维模型中特征顶点的集 合，R、t、s是变换参数(旋转、平移和缩放)，n是特征点的数目，变换参数可 以通过最小化等式1中的代价函数能够求得。
图2是通过单副图像中的特征点和参照模型恢复头部姿态模型。图2(a) 为用于估计图像中姿态的特征点(右)和一个三维人脸样本(左)，图2(b) 为头部姿态参数估计应用到三维人脸样本后得到的头部姿态恢复后的三维人脸 模型。
所述的根据定义的相似度函数，为人脸图像在三维人脸空间中找到局部邻 域步骤：
(g)选择图像和数据库中三维样本的距离函数，计算公式如下
其中I是输入图像，Mj是三维人脸空间中的第j个样本，projxoy是从(x，y)到 (x，y，z)的映射函数；
(h)用k近邻通过距离函数检验领域数量的选值，并且一些数据库外的三维 样例被保留下来用于交叉验证，确定领域边界。结合了k-NN和交叉验证算法来 决定k的适当选值，通过实验，k的合适取值为8.
所述采用基于邻域的最优化方法进行三维人脸重建，用径向基函数网络从给 定图像推断三维人脸模型，径向基函数网络输入是二维像素位置，输出三维空 间坐标步骤：
(i)在三维人脸空间中找到输入图像的邻域后，用径向基函数RBF网络构 造一个从二维像素位置映射到三维空间坐标的函数，采用基于邻域的最优化方 法进行三维人脸重建，从给定图像推断三维人脸模型：
其中Vj是输出的三维空间坐标，I是用特征点表示的输入图像，Mi是该图 像邻域中的第i个三维模型，D(I，Mi)是在距离函数，k是k-NN中近邻的数目，cji 表示学习参数，j表示输出向量中的第j个元素，f(r)是径向对称基函数；
(j)替换等式3中k对邻域训练数据得到k个等式的线性方程组，是 将projxoy(sRvi+t)中所有元素首尾相连的向量，是将第i个三维模型中所有顶点坐 标首位相连的向量；
(k)解这个线性方程组得到：
其中是重建得到的三维人脸，l＝0.01是为了降低噪声影响而引入的一个阈 值，H是计算过程中的中间矩阵，I是单位矩阵。
纹理坐标可以基于图像的特征点通过插值得到，从而生成三维人脸模型的纹 理映射。给定一组三维模型上的特征顶点和纹理坐标，中间点的纹理坐标可以 通过散乱数据插值得到。我们采用径向基函数RBF网络差值得到中间点纹理坐 标，这里的RBF网络的输入是三维坐标，输出是相应的纹理坐标。
其中v是输入的三维顶点坐标，vi是第i个特征顶点，t是纹理坐标。
用本发明对4个单副图像进行非线性三维人脸建模，合成生动逼真的三维模 型。如图3所示，图3(a)为本发明通过京剧脸谱的单幅图像生成人脸模型的 示意图，图3(b)为本发明通过蒙娜丽莎的单幅图像生成人脸模型的示意图， 图3(c)为本发明通过的一个学生单幅图像生成人脸模型的示意图，图3(d) 为本发明通过电视直播员的单幅图像生成人脸模型的示意图。
本发明通过基于单幅图像的非线性三维人脸建模方法，通过单幅图像合成生 动逼真的三维模型。可以应用到各种单幅图像合成三维模型，有很好的可扩展 性，避免了自由变形方法中的人脸功能区域划分的复杂和繁琐，提高了人脸动 画的制作效率；图像中的头部姿态基于特征点和参照模型被自动恢复。这个过 程只需要矩阵运算，相对迭代算法更加稳定和高效；通过提取的基于图像的特 征点坐标计算纹理坐标，生成三维人脸模型的纹理映射，实时生成具有真实感 的三维人脸动画。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于人脸三维重建的改进PCA算法 | 2020-05-11 | 146 |
| 一种利用多目3D视觉传感技术防控儿童近视的系统及方法 | 2020-05-21 | 624 |
| 一种基于大姿态对准的人脸识别方法及系统 | 2020-05-12 | 419 |
| 一种高压氧舱人脸识别交互方法及系统 | 2020-05-15 | 388 |
| 三维人脸识别方法和三维人脸识别系统 | 2020-05-20 | 1007 |
| 一种基于面部运动单元的三维非真实感表情生成方法 | 2020-05-11 | 951 |
| 人脸防伪检测方法、装置、芯片、电子设备和计算机可读介质 | 2020-05-17 | 314 |
| 一种三维人脸重建方法、装置、设备及存储介质 | 2020-05-12 | 897 |
| 基于多列多尺度图卷积神经网络的3D人脸生成方法 | 2020-05-16 | 685 |
| 三维人脸图像重建方法、装置和计算机可读存储介质 | 2020-05-14 | 1020 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
