一种人脸三维面形数字化测量系统的测量方法及设备专利检索-三维人脸重建人工智能专利检索查询-专利查询网

一种人脸三维面形数字化测量系统的测量方法及设备

阅读：304发布：2020-10-22

专利汇可以提供一种人脸三维面形数字化测量系统的测量方法及设备专利检索，专利查询，专利分析的服务。并且本发明公开了一种人脸三维面形数字化测量系统及其方法。该方法基于复合结构光投影技术，复合结构光条纹由几个不同频率的载频分别调制与其方向垂直的几帧具有相位差的正弦条纹并叠加形成，只需采集一帧人脸调制的复合结构光条纹光栅图像，通过二维傅里叶变换及频域二维带通滤波，并进行逆傅里叶变换，即可从一帧复合条纹中提取出几帧具有相移的简单正弦条纹，之后利用相位测量轮廓术中的传统相移技术来重建目标人脸的三维面形。本发明能方便的获取准确的人脸数字化三维轮廓，为人脸整形美容外科手术带来新的测量方法和评估手段，促进医学整形美容的数字化进程。，下面是一种人脸三维面形数字化测量系统的测量方法及设备专利的具体信息内容。

权利要求

1、一种人脸三维面形数字化测量系统的测量方法，其特征在于，它包括以下步骤：
用简单结构光条纹按照一定规则叠加形成一帧复合结构光条纹；
利用数字投影仪投射复合结构光条纹至目标人脸，并利用CCD摄像机采集一帧受人脸高度信息调制的变形复合条纹；
计算变形复合条纹的二维傅里叶变换，并通过二维带通滤波、逆傅里叶变换、灰度校准等技术环节，从中提取出两帧具有π 相位差的变形条纹；
利用得到的相移条纹，提取出受到目标人脸面部轮廓调制的相位信息，并通过解调技术获得目标人脸的三维高度信息，实现人脸面部轮廓的数字化重建；
对三维人脸数据进行特征点分析，利用纹理映射技术还原脸部的色彩信息，使之逼近真实人脸的色彩。
2、如权利要求1所述的方法，其特征在于：所述的复合结构光条纹的形成方法包括：
选取两帧具有π相位差的同频正弦条纹光栅；
用两个不同频率的载频分别调制与其方向垂直的上述两幅正弦条纹，形成二帧调制后的结构光条纹；
用通用计算机将调制后的二帧结构光条纹进行编码叠加，生成一帧数字复合结构光条纹。
3、如权利要求2所述的方法，其特征在于，所述的两帧具有π相位差的正弦条纹光栅为：
Gn＝c+cos(2πfφy+nπ)(1)
上式中，c为投影常量；n＝0，1为相移因子，nπ代表条纹的初始相位；y为相位变化方向，简称相位方向；fφ为正弦光栅的基频。
4、如权利要求2所述的方法，其特征在于：所述的单帧复合结构光条纹为：
I(x，y)＝a+b{[c+cos(2πfφy)]cos(2πf1x)
+[c+cos(2πfφy+π)]cos(2πf2x)} (2)
其中a和b为投影常数；x为垂直于相位方向，简称垂直方向。
5、如权利要求1所述的方法，其特征在于，所述的利用数字投影仪投射复合结构光条纹至目标人脸的步骤为：
通过调整通用计算机程序的相关参数选择合适的投影常数a和b，使复合结构光条纹的强度范围与投影仪的强度范围达成一致；
利用通用计算机控制数字投影仪将复合结构光条纹投射到目标人脸。
6、如权利要求1所述的方法，其特征在于：所述利用CCD摄像机采集的受人脸高度信息调制的变形复合条纹为：

其中r(x，y)是物体表面非均匀反射率，表示受物体高度调制的相位信息。
7、如权利要求6所述的方法，其特征在于，所述的计算变形复合条纹的二维傅里叶变换，对(3)式进行二维傅里叶变换并化简得：
$F (ξ, η) = A (ξ, η) + \frac{1}{2} {$
$[B (ξ - f_{1}, η) + ψ (ξ - f_{1}, η - f_{φ}) + ψ * (ξ - f_{1}, η + f_{φ})] +$
$[B (ξ + f_{1}, η) + ψ (ξ + f_{1}, η - f_{φ}) + ψ * (ξ + f_{1}, η + f_{φ})] +$
$[B (ξ - f_{2}, η) - ψ (ξ - f_{2}, η - f_{φ}) - ψ * (ξ - f_{2}, η + f_{φ})] +$
$[B (ξ + f_{2}, η) - ψ (ξ + f_{2}, η - f_{φ}) - ψ * (ξ + f_{2}, η + f_{φ})]} - - - (4)$
其中F(ξ，η)、A(ξ，η)、B(ξ-f1，η)和ψ(ξ，η)分别为(2-6)式中P(x，y)、ar(x，y)、 bcr(x，y)和的二维傅里叶频谱，η对应着时域中的相位方向，即基频所在的方向；ξ对应着时域中的垂直方向，即载频所在的方向。
8、如权利要求7所述的方法，其特征在于：所述的通过二维带通滤波、逆傅里叶变换、灰度校准等技术环节，从中提取出两帧具有π相位差的变形条纹；所述变形条纹的光强分布为：

其中r′(x，y)为经过灰度校准之后的非均匀反射率，是一组常量矩阵。
9、如权利要求8所述的方法，其特征在于：所述利用得到的相移条纹，提取出受到目标人脸面部轮廓调制的相位信息，并通过解调技术获得目标人脸的三维高度信息具体步骤为：、
将(5)中的二式相减后得到

对上式沿着y方向进行一维傅里叶变换，其频谱分布表示为：
G(x，η)＝ψ(x，η-f0)+ψ*(x，η+f0)(7)
其中G(x，η)、ψ(x，η)分别为g(x，y)、的一维傅里叶谱；
选择合适的滤波窗将基频分量滤出，对其进行傅里叶逆变换并经过解调运算，得到调制位相信息
10、如权利要求9所述的方法，其特征在于：在测量目标后方确定一个参考平面；事先利用上述所述方法获得参考平面的调制位相信息获得目标人脸的真实三维高度分布：

其中h(x，y)代表目标人脸的数字化的三维高度信息；表示CCD摄像机与数字投影仪(DLP)之间的夹角参数，也称为该光学测量装置的系统参数。
11、如权利要求1所述的方法，其特征在于：所述方法可以用于人体其它部位的三维面形数字化测量，包括对人体乳房的三维面形数字化测量。
12、一种人脸三维面形数字化测量系统的设备，其特征在于，它包括：
复合结构光产生装置，用以产生简单结构光条纹，送往通用计算机调制叠加处理，形成复合结构光条纹；
数字投影仪，用于将复合结构光条纹投射到目标人脸部及参考平面上；
CCD摄像机，用于采集人脸高度信息调制后的变形复合条纹及参考平面上的复合结构条纹；
通用计算机，用于将简单结构光条纹处理形成复合结构光条纹；将CCD 摄像机采集的变形复合条纹进行二维傅里叶变换、二维带通滤波、逆傅里叶变换、灰度校准，提取出两帧具有π相位差的变形条纹，计算出受到目标人脸面部轮廓调制的位相信息；解调获得目标人脸面形的三维高度分布信息；
参考平面，用于获得参考平面的调制位相信息；
所述通用计算机与所述复合结构光产生装置、所述数字投影仪、所述 CCD摄像机之间通过通讯接口连接。
13、如权利要求12所述的设备，其特征在于：它还包括纹理映射装置，与通用计算机相连接，用于还原脸部色彩信号。
14、如权利要求12所述的设备，其特征在于：所述的数字投影仪和 CCD摄像机的镜头上设有近红外滤波片。

说明书全文

技术领域

本发明属于信息光学、图像处理领域，涉及一种基于复合结构光投影技术的人脸三维面形数字化测量系统及其方法。

背景技术

随着社会的进步和生活水平的提高，人们对生活质量提出了更高的要求，特别是对美的追求日益显著。整形美容是世界市场范围内正在形成的新兴产业，美国整形消费年均400亿美元，日本、韩国整形手术比例是中国的两倍左右。随着整体健康观念的形成，中国医学美容的发展将快速提升。目前全国整形美容目标消费群总数估计为13970万人，占全国女性总数的22 ％。此数据随市场和消费者消费观念的成熟将逐年递增。
由于人们审美水平的提高，对医学整形美容的效果提出了更高的要求。在外科整形手术中，人们大多还是采用传统的手工测量方法来获取人脸的形貌特征，测量精度不高，也不方便，而且容易对人脸皮肤带来损伤。随着数字化时代的到来，人们渴求一种非接触、快速、准确的测量方法来获取数字化的人脸三维形貌，并希望借助通用计算机辅助设计等现代化技术手段来模拟和设计脸部美容的整形方案并检验效果等等，即将医学整形美容推进到数字化阶段。基于此，本发明提出了一种基于复合结构光投影技术的人脸三维面形数字化测量系统。
目前，基于医学美容的人脸三维轮廓数字化方法得到了广泛而深入的研究，人们提出各种办法来重建人体脸部的三维面形：①《中华医学美容杂志》 2001年第7卷第2期79-82页提出利用CT技术进行颅面结构三维可视化和颅面手术整形仿真模拟的研究；②《华西口腔医学杂志》1991年第5卷第3期263-265页、《计算机工程》2007年第33卷第14期1-3页提出根据容貌正、侧面的两张二维图像建立容貌软组织的计算机辅助分析系统，通过选择关键特征点，从而得到特定人脸的三维网格模型；③中国专利申请号 200610088857.9提出的《基于单张照片的快速人脸建模方法及系统》和中国专利申请号200610024720.7提出的《由一幅正面图像实现快速人脸模型重建的方法》只使用其中的正面图像进行人脸三维轮廓重建，是对方法②的一种简化；④《图像与视觉计算》2000年第18卷第4期337-343页提出了一种基于立体视觉的三维人脸建模方法，需要计算左右图像的对应关系；⑤ 中国专利申请号02146278.X提出的《融合多视角、多线索二维信息的人脸三维模型的建立方法》首先用标定好的立体摄像机拍摄人脸从正面逐步转到侧面的视频序列，然后从中提取出人脸三维信息；⑥《电子测量与仪器学报》 2007年第21卷第3期9-14页提出了一种借助网格光从两张二维图像中测量三维人脸曲面的方法；⑦中国专利申请号200710023778.4提出的《基于虚拟图像对应的立体视觉三维人脸建模方法》利用标定好的左右摄像机采集被测人脸的立体图对，利用其对应关系重建人脸的三维面形；⑧《中国医学影像技术》2005年第21卷第10期1616-1618页、《Journal of US-China Medical Science》2006年第3卷第2期13-18页均提出使用基于相移数字结构光投影的相位测量轮廓术(Phase Measuring Profilometry，简称PMP) 来获得人脸三维轮廓数字化重建，并用于指导医生开展整形美容手术的计算机辅助设计及效果评估。⑨暨南大学2006年硕士学位论文《人脸三维测量系统在医学测量中的应用》(作者：袁芳林)提出利用相位测量轮廓术重建人脸三维模型，并在此基础上根据人脸美学特征进行整容设计。
从以上这些方法可以看出，目前基于医学美容的人脸三维轮廓数字化方法大致可以分为三类：①所代表的基于CT技术的三维重建；②、③、④、 ⑤、⑥、⑦所代表的基于被动光学三维传感方法的三维重建；⑧、⑨所代表的基于相位测量轮廓术的主动光学三维传感方法的三维重建。本发明提出的基于复合结构光投影技术的人脸三维面形数字化方法也是属于主动光学三维传感技术，但较之⑧、⑨所代表的相位测量轮廓术有一定的优化和改进。
在医学整形美容外科手术中，对人脸三维形貌特征的精确提取是至关重要的。目前比较成熟的方法是基于CT技术的三维测量，主要是针对骨组织的整形分析，很难获取人脸软组织表面的三维形貌特征；基于立体视觉的三维分析方法一般采用从不同视角拍摄的人脸二维图像来处理，容易受到环境光线、背景、视角和人脸的姿态、表情、遮挡等不利因素的影响，因而其测量精度很难有进一步的提高；基于传统的手工测量方法给患者和医生都带来很大的不便，而且测量精度不高。因此，迫切需要寻找一种非接触、快速、准确、便捷的测量方法来提取人脸的三维形貌特征，以提高医学整形美容手术的成功率和效果。
现有技术中，①所代表的基于CT技术的三维重建方法只能针对骨组织的畸变或缺损的情况，在颅面整形以及牙颌面畸形矫治等方面应用较多。软组织表面形态是整形美容效果的最直观、最有说服力的表现形式，而CT技术对于软组织表面的三维轮廓重建比较困难，尤其是对于比较复杂的人脸面部容貌的三维重建很难实现。
②、③、④、⑤、⑥、⑦所代表的被动光学三维传感方法采用非结构照明方式，从一个或多个摄像系统获取的二维图像中确定距离信息，形成三维面形数据。当从一个摄像系统获取的二维图像中确定距离信息时，必须依赖有关物体的形态、光照条件等先验知识，如果先验知识不足就可能产生计算上的错误；从两个或多个摄像系统获取的不同视觉方向的二维图像中确定距离信息，需要进行大量的相关或匹配等运算，而且需要对若干个摄像机进行精确标定。另外，基于二维图像的人脸测量，不可避免受到环境光线、背景、视角和人脸的姿态、表情、遮挡等不利因素的影响，因而其测量精度很难有进一步的提高，这使得采用单一的二维图像人脸测量技术的应用产品难以达到实用水准。因此，被动光学三维传感方法常常用于对三维目标的识别、理解以及位置和形态分析，而大多数以三维面形测量为目的三维传感系统一般都采用主动光学三维传感方式。
主动光学三维传感方法采用结构光照明方式，具有非接触、高测量精度等特点。由于三维面形对结构光场的时间或空间进行了调制，从携带有三维面形信息的观察光场中，通过适当的方法解调得到三维面形数据。相位测量轮廓术(PMP)是一种重要的主动光学三维传感方法，它采用投影正弦光栅和相移技术，通过获取全场条纹的空间信息和一个条纹周期内相移条纹的时序信息，重建物体表面的三维轮廓。但是，相位测量轮廓术解调一幅三维轮廓数据，至少需要拍摄三幅相移条纹，影响了测量的实时性，而且测量过程中目标人脸的微小移动或表情变化，都会直接影响解调结果，从而造成较大的重建误差。⑧、⑨提出了采用数字光栅投影的快速相移技术，虽然能在很短时间内投影和拍摄若干幅相移条纹，但相移条纹在快速轮换投影/拍摄时， CCD相机拍摄到的图像很容易产生拖尾、畸变等现象，因而容易造成较大的测量误差。
因而，现有技术还有待于改进和提高。

发明内容

本发明的目的在于利用基于复合结构光投影技术的主动光学三维传感方法来准确、便捷的测量人脸的三维面形，从而实现人脸三维轮廓的数字化。
本发明的技术方案包括：
一种人脸三维面形数字化测量系统的测量方法，其中，它包括以下步骤：
用简单结构光条纹按照一定规则叠加形成一帧复合结构光条纹；
利用数字投影仪投射复合结构光条纹至目标人脸，并利用CCD摄像机采集一帧受人脸高度信息调制的变形复合条纹；
计算变形复合条纹的二维傅里叶变换，并通过二维带通滤波、逆傅里叶变换、灰度校准等技术环节，从中提取出两帧具有π相位差的变形条纹；
利用得到的相移条纹，提取出受到目标人脸面部轮廓调制的相位信息，并通过解调技术获得目标人脸的三维高度信息，实现人脸面部轮廓的数字化重建；
对三维人脸数据进行特征点分析，利用纹理映射技术还原脸部的色彩信息，使之逼近真实人脸的色彩。
所述的方法，其中：所述的复合结构光条纹的形成方法包括：
选取两帧具有π相位差的同频正弦条纹光栅；
用两个不同频率的载频分别调制与其方向垂直的上述两幅正弦条纹，形成二帧调制后的结构光条纹；
用通用计算机将调制后的二帧结构光条纹进行编码叠加，生成一帧数字复合结构光条纹。
所述的方法，其中：所述的两帧具有π相位差的正弦条纹光栅为：
Gn＝c+cos(2πfφy+nπ) (1)
上式中，c为投影常量；n＝0，1为相移因子，nπ代表条纹的初始相位；y为相位变化方向，简称相位方向；fφ为正弦光栅的基频。
所述的方法，其中：所述的单帧复合结构光条纹为：
I(x，y)＝a+b{[c+cos(2πfφy)]cos(2πf1x)
+[c+cos(2πfφy+π)]cos(2πf2x)} (2)
其中a和b为投影常数；x为垂直于相位方向，简称垂直方向。
所述的方法，其中：所述的利用数字投影仪投射复合结构光条纹至目标人脸的步骤为：
通过调整通用计算机程序的相关参数选择合适的投影常数a和b，使复合结构光条纹的强度范围与投影仪的强度范围达成一致；
利用通用计算机控制数字投影仪将复合结构光条纹投射到目标人脸。
所述的方法，其中：所述利用CCD摄像机采集的受人脸高度信息调制的变形复合条纹为：

其中r(x，y)是物体表面非均匀反射率，表示受物体高度调制的相位信息。
所述的方法，其中：所述的计算变形复合条纹的二维傅里叶变换，对(3) 式进行二维傅里叶变换并化简得：

F (ξ, η) = A (ξ, η) + \frac{1}{2} {

[B (ξ - f_{1}, η) + ψ (ξ - f_{1}, η - f_{φ}) + ψ * (ξ - f_{1}, η + f_{φ})] +

[B (ξ + f_{1}, η) + ψ (ξ + f_{1}, η - f_{φ}) + ψ * (ξ + f_{1}, η + f_{φ})] +

[B (ξ - f_{2}, η) - ψ (ξ - f_{2}, η - f_{φ}) - ψ * (ξ - f_{2}, η + f_{φ})] +

[B (ξ + f_{2}, η) - ψ (ξ + f_{2}, η - f_{φ}) - ψ * (ξ + f_{2}, η + f_{φ})]} - - - (4)

其中F(ξ，η)、A(ξ，η)、B(ξ-f1，η)和ψ(ξ，η)分别为(2-6)式中P(x，y)、ar(x，y)、 bcr(x，y)和的二维傅里叶频谱，η对应着时域中的相位方向，即基频所在的方向；ξ对应着时域中的垂直方向，即载频所在的方向。
所述的方法，其中：所述的通过二维带通滤波、逆傅里叶变换、灰度校准等技术环节，从中提取出两帧具有π相位差的变形条纹；所述变形条纹的光强分布为：

其中r′(x，y)为经过灰度校准之后的非均匀反射率，是一组常量矩阵。
所述的方法，其中：所述利用得到的相移条纹，提取出受到目标人脸面部轮廓调制的相位信息，并通过解调技术获得目标人脸的三维高度信息具体步骤为：、
将(5)中的二式相减后得到

对上式沿着y方向进行一维傅里叶变换，其频谱分布表示为：
G(x，η)＝ψ(x，η-f0)+ψ*(x，η+f0) (7)
其中G(x，η)、ψ(x，η)分别为g(x，y)、的一维傅里叶谱；
选择合适的滤波窗将基频分量滤出，对其进行傅里叶逆变换并经过解调运算，得到调制位相信息
所述的方法，其中：在测量目标后方确定一个参考平面；事先利用上述所述方法获得参考平面的调制位相信息获得目标人脸的真实三维高度分布：

其中h(x，y)代表目标人脸的数字化的三维高度信息；表示CCD摄像机与数字投影仪(DLP)之间的夹角参数，也称为该光学测量装置的系统参数。
所述的方法，其中：所述方法可以用于人体其它部位的三维面形数字化测量，包括对人体乳房的三维面形数字化测量。
一种人脸三维面形数字化测量系统的设备，其中，它包括：
复合结构光产生装置，用以产生简单结构光条纹，送往通用计算机调制叠加处理，形成复合结构光条纹；
数字投影仪，用于将复合结构光条纹投射到目标人脸部及参考平面上；
CCD摄像机，用于采集人脸高度信息调制后的变形复合条纹及参考平面上的复合结构条纹；
通用计算机，用于将简单结构光条纹处理形成复合结构光条纹；将CCD 摄像机采集的变形复合条纹进行二维傅里叶变换、二维带通滤波、逆傅里叶变换、灰度校准，提取出两帧具有π相位差的变形条纹，计算出受到目标人脸面部轮廓调制的位相信息；解调获得目标人脸面形的三维高度分布信息；
参考平面，用于获得参考平面的调制位相信息；
所述通用计算机与所述复合结构光产生装置、所述数字投影仪、所述 CCD摄像机之间通过通讯接口连接。
所述的设备，其中：它还包括纹理映射装置，与通用计算机相连接，用于还原脸部色彩信号。
所述的设备，其中：所述的数字投影仪和CCD摄像机的镜头上设有近红外滤波片。
本发明所提供的非接触、快速、准确、便捷的基于复合结构光投影技术的人脸三维面形数字化测量系统，为人脸整形美容外科手术带来新的测量方法和评估手段，促进医学整形美容的数字化进程，并为以后的三维人脸研究和应用打下基础。
附图说明
图1为本发明复合结构光条纹的形成图；
图2为本发明将复合结构光条纹投射到目标人脸时，人脸表面的连续光强分布P(x，y)的二维傅里叶变换F(ξ，η)的二维频谱分布俯视图；
图3为本发明最终从复合结构光条纹中提取的一帧含有调制相位信息的条纹g(x，y)沿着y方向(相位方向)的一维傅里叶变换G(x，η)的频谱分布图；
图4为本发明测量流程图；
图5为本发明测量光路图；
图6为本发明测量框图；
图7为本发明拍摄到的投影到参考平面的复合结构光条纹示意图；
图8为本发明受到人脸三维面形调制的变形结构光条纹示意图；
图9为本发明相位分布示意图；
图10至图13为本发明初步试验效果图。

具体实施方式

以下结合附图实施例，说明本发明提出的利用基于复合结构光投影技术的主动光学三维传感方法，来准确、便捷的测量人脸的三维面形，从而实现人脸三维轮廓的数字化的方法，具体实现方案如下：
复合结构光投影技术采用一帧复合结构光条纹代替传统的简单条纹投射，只需投影/拍摄一帧复合条纹即可重建人脸三维轮廓。复合结构光产生装置是用以产生简单结构光条纹，送往通用计算机调制叠加处理，形成复合结构光条纹的。所述复合结构光条纹采用两个不同频率的载频分别调制与其方向垂直的两帧具有π相位差的正弦条纹并叠加而形成。其中被调制的两帧具有π相位差的正弦光栅为：
Gn＝c+cos(2πfφy+nπ) (1)
上式中，c为投影常量；n＝0，1为相移因子，nπ代表条纹的初始相位；y为相位变化方向，简称相位方向(Phase)；fφ为正弦光栅的基频。由 (1)式可看出，这两帧具有π相位差的正弦条纹有着相同的频率fφ。
用两个不同频率的载频f1与f2分别对(1)式的两帧正弦条纹进行调制，即进行乘法运算；然后将得到的两帧调制后的条纹进行叠加，即进行加法运算，如图1所示，即可得到一帧复合结构光条纹：
I(x，y)＝a+b{[c+cos(2πfφy)]cos(2πf1x)
+[c+cos(2πfφy+π)]cos(2πf2x)} (2)
其中a和b为投影常数；x为垂直于相位方向，简称垂直方向 (Orthogonal)。
复合结构光条纹的具体实现：采用通用计算机按上述原理进行编码生成数字复合条纹。
选择合适的投影常数a和b，使复合结构光条纹的强度范围与投影仪的强度范围达成一致(通过调整计算机程序的相关参数实现)。利用通用计算机控制数字投影仪(DLP)，将复合结构光条纹投射到目标人脸时，人脸表面的连续光强分布可以表示为：

其中r(x，y)是物体表面非均匀反射率，表示受物体高度调制的相位信息。
此即为摄像机拍摄到的人脸高度信息调制的变形复合条纹。
对(3)式进行二维傅里叶变换并化简得：

F (ξ, η) = A (ξ, η) + \frac{1}{2} {

[B (ξ - f_{1}, η) + ψ (ξ - f_{1}, η - f_{φ}) + ψ * (ξ - f_{1}, η + f_{φ})] +

[B (ξ + f_{1}, η) + ψ (ξ + f_{1}, η - f_{φ}) + ψ * (ξ + f_{1}, η + f_{φ})] +

[B (ξ - f_{2}, η) - ψ (ξ - f_{2}, η - f_{φ}) - ψ * (ξ - f_{2}, η + f_{φ})] +

[B (ξ + f_{2}, η) - ψ (ξ + f_{2}, η - f_{φ}) - ψ * (ξ + f_{2}, η + f_{φ})]} - - - (4)

其中F(ξ，η)、A(ξ，η)、B(ξ-f1，η)和ψ(ξ，η)分别为(2-6)式中P(x，y)、ar(x，y)、 bcr(x，y)和的二维傅里叶频谱，η对应着时域中的相位方向，即基频所在的方向；ξ对应着时域中的垂直方向，即载频所在的方向。其频谱分布如图2示。
分别利用汉宁窗对两个载频频谱进行二维带通滤波，对滤出的频谱分别进行移中之后，再分别进行逆傅里叶变换，取其模，得到两帧具有π相位差的正弦条纹图。对这两帧条纹图进行灰度校准，得到如下的光强分布：

其中r′(x，y)为经过灰度校准之后的非均匀反射率，是一组常量矩阵。二式相减后得到

对上式沿着y方向(相位方向)进行一维傅里叶变换，其频谱分布表示如下：
G(x，η)＝ψ(x，η-f0)+ψ*(x，η+f0) (7)
其中G(x，η)、ψ(x，η)分别为g(x，y)、的一维傅里叶谱。其频谱分布如图3示。
选择合适的滤波窗将图中阴影部分所示的基频分量滤出，对其进行傅里叶逆变换并经过解调运算，得到调制位相信息为了确定目标人脸的真实三维信息，需要在测量目标后方确定一个参考平面。可以事先利用上述方法获得参考平面的调制位相信息这样就可以获得目标人脸的真实三维高度分布：

其中h(x，y)代表目标人脸的数字化的三维高度信息；表示CCD摄像机与数字投影仪(DLP)之间的夹角参数，也称为该光学测量装置的系统参数。
按照上述测量原理，工作流程可以描述为：1)由几帧简单正弦条纹生成一帧复合结构光条纹，经投影系统(数字投影仪)投射到目标人脸；2)复合结构光条纹(载波信号)的位相受到目标人脸三维面形高度分布(调制信号)的调制，得到变形复合结构光场；3)成像系统(CCD摄像机)将采集到的变形复合结构光场送通用计算机处理；4)通用计算机对所得的信息进行一系列运算处理，得到位相信息；5)根据位相与高度分布的调制关系，解调出目标人脸三维面形的高度分布。其工作流程如图4所示。
图5表示的是测量光路图，其中d是CCD摄像机与数字投影仪之间的距离，L0是CCD摄像机到参考平面之间的距离。图6表示测量框图。图7、图8表示简化的测量装置实物图，即采用通用计算机控制投影仪投射复合结构光条纹，利用CCD工业测量相机采集受到人脸三维面形调制的变形复合结构光条纹。
为了说明本发明提出的人脸三维面形数字化方法的有效性，我们做了一个初步的模拟实验。实验采用Panasonic液晶投影仪，型号为PT-P2500，分辨率为1024×768。图像采集设备为加拿大Prosilica彩色CCD工业相机，型号为EC1350C，分辨率为1360×1024，像素尺寸大小为4.65um×1.65um，其中CCD型号为Sony ICX205AK，尺寸为1/2″；镜头采用日本KOWA工业镜头，型号为LM12JCM，焦距为12mm；连接CCD相机与通用计算机的 1394板卡采用台湾KEC，型号为1582T；参考平面为一白板。测量系统的几何参数为L0＝73mm，d＝18mm。
采用联想台式通用计算机进行程序设计及数据处理。利用通用计算机进行编码生成复合结构光条纹时，两个载频f1和f2分别给定为3/40line/pixel、 6/40line/pixel，基频fφ为32/600line/pixel。生成的复合结构光条纹通过数字投影仪投射到参考白板上，利用CCD相机拍摄到的条纹图如图7所示。
实验采用的目标人脸是一个白色的人脸模具，图8为受到人脸模具的三维面形调制的变形结构光条纹。采集到的图像信息通过通用计算机处理，得到的数字化人脸三维面形的数据效果图见图8、图9所示。
本发明还公开了一人脸三维面形数字化测量系统的设备，它包括：所述复合结构光产生装置，用以产生简单结构光条纹，送往通用计算机调制叠加处理，形成复合结构光条纹；所述数字投影仪，用于将复合结构光条纹投射到目标人脸部及参考平面上；所述CCD摄像机，用于采集人脸高度信息调制后的变形复合条纹及参考平面上的复合结构条纹；以及所述通用计算机，用于将简单结构光条纹处理形成复合结构光条纹；将CCD摄像机采集的变形复合条纹进行二维傅里叶变换、二维带通滤波、逆傅里叶变换、灰度校准，提取出两帧具有π相位差的变形条纹，计算出受到目标人脸面部轮廓调制的位相信息；解调获得目标人脸面形的三维高度分布信息。
本发明所述设备中还采用用于获得参考平面的调制位相信息的参考平面。所述通用计算机与所述复合结构光产生装置、所述数字投影仪、所述 CCD摄像机之间通过通讯接口连接。
不同角度的人脸数字化三维面形分布如图10至13所示。本发明还可以设置纹理映射装置，通过对三维人脸数据进行特征点分析，利用纹理映射装置还原脸部的色彩信息，使之逼近真实人脸的色彩。
从初步实验效果图来看，通过本发明提出的方法能较便捷、准确的得到数字化三维面形信息，而且成本低廉。今后我们将通过调整系统参数、改善实验环境等方法来进一步提高其测量精度。
本发明提出采用基于复合结构光投影技术的主动光学三维传感方法来准确、便捷的测量人脸的三维面形，从而为人脸三维形貌的数字化应用打下基础。该技术中，我们采用通用计算机控制投影仪投射复合结构光条纹，投影仪可以看作是白光光源。考虑到白光投射到人脸可能会带来人体的不舒适感，我们可以将白光光源替换成近红外光，具体实现方式是：在数字投影仪及CCD摄像机镜头前分别加上一片近红外滤波片，这样就可以在近红外光环境下投影和拍摄，消除白光带来的不舒适感。
在本发明提出的人脸三维面形测量系统的基础上，可开发出一套针对人脸整形的数字美容仪，包括光学测量装置以及数字化人脸整形美容通用计算机辅助设计系统软件。该数字美容仪将集成光学测量、数据处理、数据结构设计、三维人脸立体图像显示与人机交互操作、曲面编辑、整容方案设计、三维人脸数据库建立等一系列的功能模块。数字美容仪的系统功能的完善将会为医生和病人带来极大方便，为人脸整形美容外科手术带来新的测量方法和评估手段，促进医学整形美容的数字化进程。
本发明除了可应用于人脸数字美容，身体其它一些部位的整形美容同样可以实现，比如乳房的整形美容，具体实现方式为：利用本发明中提出的三维测量方法精确获得乳房的数字化三维信息，然后利用本发明的系统软件进行整形设计，从而实现乳房的数字化整形美容，进而指导医师实施手术，更好的达到乳房整形美容的效果，可以极大降低手术风险。
应当理解的是，上述针对具体实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本发明的专利保护范围应以所附权利要求为准。

标题	发布/更新时间	阅读量
一种三维京剧脸谱自动化妆方法	2020-05-20	179
一种利用多目3D视觉传感技术防控儿童近视的系统及方法	2020-05-21	624
一种三维人脸的人脸级联回归模型训练方法及重建方法	2020-05-21	937
一种基于大姿态对准的人脸识别方法及系统	2020-05-12	419
一种高压氧舱人脸识别交互方法及系统	2020-05-15	388
一种基于单张图片的三维头发重建方法	2020-05-08	448
一种基于3D打印技术精准修复遗体面部残缺的方法	2020-05-14	586
一种实时人脸表情重建方法	2020-05-15	723
用于生成信息的方法和装置	2020-05-08	508
三维表情基的生成方法、装置、设备及存储介质	2020-05-11	696

一种人脸三维面形数字化测量系统的测量方法及设备

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：