一种基于双目被动立体视觉的快速三维人脸识别方法
专利汇可以提供一种基于双目被动立体视觉的快速三维人脸识别方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于双目被动 立体视觉 的快速三维 人脸识别 方法，其步骤如下：1)运用两台高清晰数码 照相机 构建非 接触 式短轴平行双目立体视觉系统，2)系统标定完成后，对预览 帧 图像进行基于haar－AdaBoost分类器的 人脸检测 与采集，获得相应的上下立体视觉图对并估计 视差 ，对人脸区域进行图像校正，获得区域内外极线垂直的上下立体视觉图对，3)运用Bayesian、haar－AdaBoost分类器以及点 云 三维信息获取眼睛与鼻尖的精确 定位 ，构建基准三 角 形，4)运用基于复小波的 相位 相关 算法 金字塔形并行搜索立体图对中小区域的相应亚 像素 匹配，既而重建人脸密集三维点云信息，5)运用已构建的基准三角形，针对不同 姿态 下的人脸进行姿态归一与补洞，6)基于人脸表面测地距离不变性假设，对不同人脸进行表情归一化，7)利用算法对归一化后三维人脸进行识别。本发明有益的效果是：主要解决了被动立体视觉难以快速自动获得与识别不同姿态与表情下稠密精准人脸三维点云信息的问题，使三维人脸识别过程更快速、隐蔽、安全与可靠。，下面是一种基于双目被动立体视觉的快速三维人脸识别方法专利的具体信息内容。
1、一种基于双目被动立体视觉的快速三维人脸识别方法，其特征在于包括如下步骤：
1)运用两台高清晰数照码相机构建非接触式短轴平行双目立体视觉系统；
2)对视觉系统的预览帧进行haar-AdaBoost方法的人脸检测与采集，获得相应的上下立体视觉 图对并估计视差，对人脸区域进行图像校正，获得区域内外极线垂直的上下立体视觉图对；
3)运用Bayesian、haar-AdaBoost分类器以及点云三维信息获取眼睛与鼻尖的精确定位，构建基 准三角形；
4)运用基于复小波的相位相关算法金字塔形并行快速搜索立体图对中小区域的相应亚像素匹 配，既而重建人脸密集三维点云信息；
5)运用已构建的基准三角形，针对不同姿态下的人脸进行姿态归一与补洞；
6)基于人脸表面测地距离不变性假设，对不同人脸表情进行归一化；
7)利用算法对归一化后三维人脸进行识别。
2、根据权利要求1所述的基于双目被动立体视觉的快速三维人脸识别方法，其特征在于，所述的双 目立体视觉系统：由两台高清晰数码照相机平行紧靠安装，其光轴基本平行且基线长度尽可能短，一般在 60mm左右。照相机通过usb接口连接到电脑，通过电脑，利用双线程同步技术控制两台照相机同时拍照， 并通过双目立体标定获得系统内外参数。
3、根据权利要求1所述的基于双目被动立体视觉的快速三维人脸识别方法，其特征在于，所述的从 上下立体图对中获取人脸大致视差、对人脸区域校正并进行姿态估计：运用haar-AdaBoost分类器对照相 机预览图像进行人脸检测。当上下图中均有完整人脸时进行同步抓拍，对人脸区域进行图像对校正，获得 区域内外极线垂直的上下立体视觉图对。既而运用训练完成的Bayesian分类器，在已确定的人脸区域上半 部的左右侧分别进行左右瞳孔精确定位；下半部运用haar-AdaBoost分类器进行鼻子初步定位。对鼻子周 围区域以及左右瞳孔进行亚像素级精确匹配，根据视差求出鼻尖以及左右瞳孔的三维深度信息，构建人脸 基准三角形，其确定的平面为基准平面。从鼻尖向左右瞳孔连线做垂线，垂足称为鼻基点，三等分鼻基 点到鼻尖线段，取靠近鼻尖的等分点为圆心，1.2倍瞳距为半径，在基准平面上做圆，通过该圆计算确定 上下视觉图中的人脸比对区域。
4、根据权利要求1所述的基于双目被动立体视觉的快速三维人脸识别方法，其特征在于，所述的基 于复小波的相位相关算法金字塔形并行快速搜索立体图对中小区域的相应亚像素匹配：采用基于复小波的 相位相关算法，对人脸比对区域每隔5像素点进行从粗到细的金字塔形搜索，获得上下视觉图的密集精确 匹配。具体公式如下：
5、根据权利要求1或4所述的基于双目被动立体视觉的快速三维人脸识别方法，其特征在于，所述 的金字塔形搜索对图像进行5层复小波分解，在像素匹配阶段采用简化的算法：从最底层开始，只比对 中心附近的点，找出最大值，而由该最大值作为σ的近似，其位置即为相应的视差估计，放大 后代入上一层作为新的初始估计，进行新的计算，直到最顶层为止。因此，在进行亚像素匹配时，视差估 计的误差应该小于1个像素。既而通过几次非线性最小二乘拟合迭代过程，获得最终的亚像素级视差估计。
6、根据权利要求1所述的基于双目被动立体视觉的快速二维人脸识别方法，其特征在于，在每一层 的匹配过程中，都引入顺序匹配、连续性、相关性以及外极线等约束条件，作为对匹配关系的可信度评估。 所谓顺序匹配约束是指，对于上图中的两点，其下图中的匹配点应保持原来的顺序；而连续性是指，对于 上图中接近的两点，其相应视差也应该相似；相关性约束可用σ值来表示，当σ值越大，说明这两点的匹配 相关性越大；而极线约束是指匹配点拥有基本相似的横坐标。整个匹配过程可改进为以下算法：
第一步：对于每一层，匹配并估计每一未标记点的σ值。如果σ小于某一阈值，则对该点进行标记并转 入第二步。否则，考虑其顺序约束，取与其同列并已匹配的最近未标记点，如果顺序匹配错误，则进行标 记并转入第二步。否则，考虑其连续约束情况，取其附近5×5以内所有已匹配而未标记点，取其视差平 均，比较与该点差的绝对值，如大于某一阈值，则对该点标记转入第二步。最后，如果匹配点偏离外极线 过大，则标记该点并转入第二步；
第二步：对于标记的点，考虑其附近5×5以内所有未标记点，取其关于σ值的相对加权平均作为该点 的初始估计，然后进行亚像素匹配，对其结果进行相应的约束检测。如仍被标记，则将初始估计作为其相 应视差。
7、根据权利要求1所述的基于双目被动立体视觉的快速三维人脸识别方法，其特征在于，运用人脸 的对称性对遮挡或者纹理欠缺部分进行补洞：过鼻尖点，作垂直于基准三角形和左右瞳孔连线的平面，将 三维人脸点云对该平面作镜向，并运用ICP迭代算法进行人脸补洞。
8、根据权利要求1所述的基于双目被动立体视觉的快速三维人脸识别方法，其特征在于，基于人脸 表面任意两点之间的测地线距离在表情变化下的不变性假设，用MDS(multidimensional scaling)方法，实现 从测地距离到欧氏直线距离间的等长映射(isometric mapping)，实现表情归一。
9、根据权利要求1所述的基于双目被动立体视觉的快速三维人脸识别方法，其特征在于，在识别过 程中，先比对两人脸的瞳距以及鼻尖到鼻基点的距离。如果在一定阈值范围内，则进一步比对，系统提供 两种比对方法：
第一种，将归一化人脸点云投影到基准平面，对基准平面上的每一固定方格随机选取一点，对所有选 取的点，计算每两点之间的距离，画出基于半随机的统计特征图，通过比对不同人脸间的统计特征图即可 对人脸进行识别。
第二种，将归一化人脸点云转化为高维矩的形式，然后再对其的主要部分向量进行相似度比较。定义：
作为不同人脸S1，S2的相似度函数，其中X′1，X′2为其相应的归一化点云，μpqr(X)＝∫X xpyqzrdx dy dz.
10、根据权利要求1或4所述的基于双目被动立体视觉的快速三维人脸识别方法，其特征在于，所有 点的匹配过程可并行计算，因此，在双核处理器中采用多线程的编程，可明显提高计算速度。对每张脸一 共计算大约5000个点。
技术领域
本发明涉及一种三维人脸识别方法，主要是一种以通过双目被动立体视觉快速自动获取人脸表面密集、 精确三维点云信息为基础的新思路来进行人脸三维重建，基于点云半随机统计特征和高维矩向量的表情无 关的三维人脸识别方法。
背景技术
为了克服基于二维图像人脸识别技术的不足，有研究者已经开始转向二维人脸识别技术的研究。对三 维人脸识别技术而言，存在的最大困难是人脸三维点云数据的获得。近几年光学三维形貌测量技术有了很 大的进展，已发展出一些具有实用潜力的三维形貌测量技术，如结构光投影相移技术、结构光投影傅立叶 变换技术等，使得三维人脸的识别成为可能。但是，通过向人脸投射结构光事实上已经是一种接触式的识 别方法，对被识别者不够友好，会引起法律、公共次序等方面的争议，并且也失去了信息隐蔽采集的能力。 这样，在很大程度上减弱了较之指纹识别等的优势。因此，如何快速高效并且隐蔽的获取被识别者的密集 三维人脸信息引起了人们的重视。
正如表情会影响2D人脸图像的表观(appearance)，表情对3D人脸数据的影响是改变了人脸的3D形状， 不同程度的表情造成同一个人的不同采集视图形状差异很大，简单采用形状匹配时类内的模型相似度很低， 直接导致识别率下降。因此，寻求一种表情不变的人脸表征方法成为保证识别准确率的关键途径。
在识别与信息存储方面，采集的人脸三维点云数据量通常十分庞大，不宜直接进行储存和识别比对， 传统的ICP方法，比对过程十分费时，并且归一化困难。因此，如何通过采集的三维点云信息，提取出易 于储存与识别比对的人脸特征将是人们亟待解决的重要问题。
发明内容
基于双目被动立体视觉的快速三维人脸识别方法包括如下步骤：
1)运用两台高清晰数照码相机构建非接触式短轴平行双目立体视觉系统；
2)对视觉系统的预览帧进行haar-AdaBoost方法的人脸检测与采集，获得相应的上下立体视觉图对 并估计视差，对人脸区域进行图像校正，获得区域内外极线垂直的上下立体视觉图对；
3)运用Bayesian、haar-AdaBoost分类器以及点云三维信息获取眼睛与鼻尖的精确定位，构建基准三 角形；
4)运用基于复小波的相位相关算法金字塔形并行快速搜索立体图对中小区域的相应亚像素匹配，既 而重建人脸密集三维点云信息；
5)运用已构建的基准三角形，针对不同姿态下的人脸进行姿态归一与补洞；
6)基于人脸表面测地距离不变性假设，对不同人脸表情进行归一化；
7)利用算法对归一化后二维人脸进行识别。
所述的双目立体视觉系统：由两台高清晰数码照相机平行紧靠安装，其光轴基本平行且基线长度尽可 能短，一般在60mm左右。照相机通过usb接口连接到电脑，通过电脑，利用双线程同步技术控制两台照 相机同时拍照，并通过双目立体标定获得系统内外参数。对视觉系统所拍摄的上下立体图对进行校正，使 上下图外极线与Y轴平行。
所述的从上下立体图对中获取人脸大致视差与姿态估计：运用haar-AdaBoost分类器对照相机预览图 像进行人脸检测。当上下图中均有完整人脸时进行同步抓拍，既而运用训练完成的Baγesian分类器，在已 确定的人脸区域上半部进行左右瞳孔精确定位；运用haar-AdaBoost分类器对下半部进行鼻孔初步定位。 对鼻孔周围区域以及左右瞳孔进行亚像素级精确匹配，根据视差求出鼻尖以及左右瞳孔的三维深度信息， 构建人脸基准三角形，其确定的平面为基准平面。从鼻尖向左右瞳孔连线做垂线，垂足称为鼻基点，二 等分鼻基点到鼻尖线段，取靠近鼻尖的等分点为圆心，1.2倍瞳距为半径，在基准平面上做圆，通过该圆 计算确定上下视觉图中的人脸比对区域。
所述的基于复小波的相位相关算法金字塔形搜索立体图对中小区域的相应亚像素匹配：采用基于复小 波的相位相关算法，对人脸比对区域每隔5像素点进行从粗到细的金字塔形搜索，获得上下视觉图的密集 精确匹配。具体公式如下：
所述的金字塔形搜索对图像进行5层复小波分解，在像素匹配阶段采用简化的算法：从最底层开始， 只比对中心附近的点，找出最大值，而由该最大值作为σ的近似，其位置即为相应的视差估计， 放大后代入上一层作为新的初始估计，进行新的计算，直到最顶层为止。因此，在进行亚像素匹配时，视 差估计的误差应该小于1个像素。既而通过几次非线性最小二乘拟合迭代过程，获得最终的亚像素级视差 估计。
所述的引入顺序匹配、连续性、相关性以及外极线等约束条件，作为对匹配关系的可信度评估：所谓 顺序匹配约束是指，对于上图中的两点，其下图中的匹配点应保持原来的顺序；而连续性是指，对于上图 中接近的两点，其相应视差也应该相似；相关性约束可用σ值来表示，当σ值越大，说明这两点的匹配相关 性越大；而极线约束是指匹配点拥有基本相似的横坐标。整个匹配过程可改进为以下算法：
第一步：对于每一层，匹配并估计每一未标记点的σ值。如果σ小于某一阈值，则对该点进行标记并转 入第二步。否则，考虑其顺序约束，取与其同列并已匹配的最近未标记点，如果顺序匹配错误，则进行标 记并转入第二步。否则，考虑其连续约束情况，取其附近5×5以内所有已匹配而未标记点，取其视差平均， 比较与该点差的绝对值，如大于某一阈值，则对该点标记转入第二步。最后，如果匹配点偏离外极线过大， 则标记该点并转入第二步；
第二步：对于标记的点，考虑其附近5×5以内所有未标记点，取其关于σ值的相对加权平均作为该点 的初始估计，然后进行亚像素匹配，对其结果进行相应的约束检测。如仍被标记，则将初始估计作为其相 应视差。
所述的运用人脸的对称性对遮挡或者纹理欠缺部分进行补洞：过鼻尖点，作垂直于基准二角形和左右 瞳孔连线的平面，将二维人脸点云对该平面作镜向，并运用ICP迭代算法进行人脸补洞。
所述的运用算法进行人脸识别：先比对两人脸的瞳距以及鼻尖到鼻基点的距离。如果在一定阈值范围 内，则进一步比对，系统提供两种比对方法：
第一种，将人脸点云投影到基准平面，对基准平面上的每一固定方格随机选取一点，对所有选取的点， 计算每两点之间的欧氏距离，而实际上，这个距离在表情归一化时已经计算过，无需重复计算，画出基于 半随机的统计特征图，通过比对不同人脸间的统计特征图即可对人脸进行识别。
第二种，运用Tal的基于点云高维矩的向量比对方法进行归一化后人脸比对过程。主要思想是，将归 一化人脸点云转化为高维矩的形式，然后再对其主要部分向量进行相似度比较。定义：
作为不同人脸S1，S2的相似度函数，其中为其相应的归一化点云，μpqr(X)＝∫xxpyqzrdxdydz.
所有点的匹配过程可并行计算，因此对双核cpu采用多线程的编程，可明显提高计算速度。对每张脸 一共计算大约5000个点。
本发明有益的效果是：
所述的双目立体视觉系统：由两台高清晰数码照相机平行紧靠安装，其光轴基本平行且基线长度尽可能短， 一般在60mm左右。照相机通过usb接口连接到电脑，通过电脑，利用双线程同步技术控制两台照相机同 时拍照，并通过双目立体标定获得系统内外参数。对视觉系统所拍摄的上下立体图对进行校正，使上下图 外极线与Y轴平行。
(1)构建基于两台平行光轴高清晰数码相机的短基线双目立体视觉系统，利用双线程同步技术，通过 电脑控制两台相机同时拍照，获得同一瞬间的高清晰人脸图像对，使后继的高精度匹配与重建过程得以实 现。
(2)提出考虑顺序匹配、连续性、相关性以及外极线等约束条件的基于复小波变换的相位相关算法从 粗到细地搜索匹配关系，自动获得稠密精准的人脸点云信息，使通过双目被动立体视觉系统对人脸进行快 速三维识别成为可能，识别过程更快速、隐蔽、安全与可靠；
(3)运用haar-AdaBoost与Bayesian分类器并结合二维深度信息的方法确定人脸基准三角形，通过该基 准三角形对特定人脸进行姿态归—化，结合人脸的对称性对遮挡部分进行补洞处理，效果良好；
(4)采用提取人脸半随机统计特征图的方法进行相似度比对，能很好地节约存储空间，并使比对过程 更加便捷与准确，识别鲁棒性强。
附图说明：
图1是基于双目被动立体视觉的快速二维人脸识别方法流程示意图；
图2是本发明基于高清晰数码相机的双目被动立体系统；
图3是本发明以左右瞳孔中心以及鼻尖的空间位置构建的基准坐标系；
图4是本发明的不同人脸三维重建结果。
具体实施方式
为了实现发明目的，如图1所示，本方法采用如下的技术方案：
步骤1：运用两台高清晰数码照相机构建双目被动立体视觉系统： 对于平行光轴的双目系统，由于在光轴距离小的情况下，可以近似地将上下采集图中对应点为中心的小区 域视为相互的一个图像平移，因而可运用相位相关算法对对应点进行估计。因此，希望它们的光轴距离(基 线距离)越短越好。然而，由于对脸部采样的精确度以及点云密集程度的要求比较高，在对应点的匹配过 程中，就需要考虑更多的相邻像素区域，既而在更大的脸部表面区域进行匹配。然而，由于脸部表面并非 具有相同的深度，那么，我们没有理由相信其对应点附近较大的邻域仍然可以近似视为一个相互平移，这 一点反应在鼻梁区域尤为明显。所以，匹配算法的可信度将无法保证。而相反的，为了满足对应点邻近区 域为相互平移的假设，而只考虑点周围很小的区域，算法精度将迅速下降。在匹配算法中，调节小波基的 宽度，使得匹配点周围99×99的像素区域在窗口范围内时，才可获得可信度高的配准关系。为解决这样的 矛盾关系，使用高清晰的照相机取代摄像机作为新的双目组成视觉系统，如图2所示。这样，即使在很小 的表面区域内，仍然有足够多的纹理信息来保证匹配的效果。在系统中，基线距离即为照相机的宽度，取 61mm。这也正好是人双眼的大致距离，符合仿生学原理。双目系统通过USB接口与电脑相连，运用双线 程同步技术，由电脑控制双目进行同时拍照。
对构建完成的双目视觉系统进行立体标定，获得其内外参数信息。由于不可避免地受到镜头畸变等影 响，并且在实际应用中双目光轴往往难以达到精确平行要求，因此外极线通常不垂直于图像x轴。通过校 正图像对可解决这一问题。因而，在后继的对应点匹配中，只需对y轴附近进行扫描即可。
在新的系统中，由于采用了1000万像素级的高分辨率照相机，因此，当上下图中的对应点匹配精度 达到0.1像素时，利用双目立体视觉原理可精确获得空间点的三维深度信息，误差不超过0.1mm。
步骤2：对视觉系统的预览帧进行haar-AdaBoost方法人脸检测与采集，获得相应的上下立体视觉图对：
在对应点匹配前，我们需要检测预览帧中是否有完整的人脸，并了解人脸在图像中的大致区域与对应 视差。这样，匹配的搜索深度与范围将大大减少，既提高了效率又减少了匹配时的误判与拒判率。发明运 用Rainer Lienhart介绍的基于灰度图像中弱特征检测方法对预览视频流中每一帧进行实时人脸检测，对于 训练完成的多角度人脸AdaBoost分类器，单帧图像人脸检测准确率可达90％。当人脸图像进入视觉系统 中时，系统对每一帧图像进行检测，当检测结果符合人脸逻辑时由电脑控制双目进行同步抓拍获取清晰的 图像对，为后继的三维重建提供样本。这里所谓的符合逻辑是指，上下视频流中检测到的人脸区域的大小 与其中心x轴坐标都要基本一致，视差在一定的范围内，并且人脸区域要整个地落在视频内。此时，对拍 摄的图像对进行再一次的人脸检测，此次检测区域将只限定于预览帧所检测到的人脸区域附近，若此时， 上下图对中都有完整的人脸并符合逻辑，则记录检测结果，并估计人脸视差。否则，需重新抓照。
步骤3：对抓拍图像进行校正，使外极线垂直于图像x轴坐标。但由于校正过程较为耗时，因此，可 只对人脸区域进行校正，这样，同时运用多线程技术，在主频为2.4GHz的双核处理器下，用时可控制在 0.75秒以内。
步骤4：运用Bayesian、AdaBoost分类器以及点云二维信息获取眼睛与鼻尖的精确定位，构建基准三 角形，针对不同姿态下的人脸进行姿态归一：
根据步骤2的人脸检测结果，运用训练完成的Bayesian分类器，在已确定的人脸区域上半部的左右边 分别进行左右瞳孔精确定位；运用AdaBoost分类器对下半部进行鼻孔初步定位。运用发明步骤5将要介 绍的匹配算法对左右瞳孔中心进行亚像素精确视差估计，并对初步定位的鼻孔区域进行像素级匹配，通过 其各自视差计算三点的空间位置，过该三点确定初始参考平面，以远离人脸的方向为z轴正方向构建初始 坐标系。对鼻孔周围一定区域(本发明取半径为瞳距四分之一的圆)内每一点进行亚像素级精确匹配，继 而求出各点在初始坐标系中的z坐标，取值最大的点作为鼻尖的估计。以左右瞳孔中心以及鼻尖的空间位 置构建人脸基准三角形，其确定的平面为基准平面，建立如图3所示的基准坐标系。从鼻尖向左右瞳孔连 线做垂线，称该垂足为鼻基点，三等分鼻基点到鼻尖线段，取靠近鼻尖的等分点为圆心，1.2倍瞳距为半 径，在基准平面上做圆，称该圆为特征圆，根据视差原理，反求出该圆的边界在上下图中的相应封闭曲线。 由于识别过程只考虑左右眼能同时定位的情况，所以，我们总是假定鼻尖位置在该封闭曲线内。因此只需 考虑曲线内像素点的三维重建信息，将其作为后继识别匹配的人脸特征。
步骤5：基于复小波变换的相位相关算法以及在匹配过程中的具体运用；
给定两幅大小均为(2M+1)×(2N+1)的灰度图f1(m，n)、f2(m，n)，定义它们在连续域中的对应函数 仍为f1(x，y)、f2(x，y)，为方便叙述，发明考虑连续函数的情况。假设f2为f1的平移，平移量为(δ1，δ2)， 则：
f2(m，n)＝f1(m-δ1，n-δ2). (1)
设φ为二维复小波基，那么对于连续域中的函数f1、f2，在L2(R)上的积分小波变换(IWT)分别定义为：
根据小波变换的平移性可知：
(Wφf2)(b1，b2，a)＝(Wφf1)(b1-δ1，b2-δ2，a). (4)
需寻找这样的小波基，使得在频域中对(δ1，δ2)容易估计。
在实际应用中，常用的小波基φ(x，y)多为变量可分离的二元函数：φ(x，y)＝φ1(x)φ2(y)，特别地，令 φ1＝φ2，则φ(x，y)＝φ1(x)φ1(y)。
由于Morlet复小波采用时频窗面积最小的高斯窗函数，在时、频域都有较好的局部性，符合人眼的识 别规律。因此，令φ1为Morlet复小波基：
则：
当δ1<
在实际匹配过程中，采用从粗到细的搜索策略，使得相对于给定的分辨率a，δ1、δ2总是很小，条件 (7)的估计是合适的。
利用条件(7)，有：
f1、f2的交叉能量谱C定义为：
其归一化后记为：
对于一定范围的ω1、ω2，进行2D离散，记 其中N1＝2M+1，N2＝2N+ 1，-M≤k1≤M，-N≤k1≤N，傅立叶反变换得：
理论上，的虚部应等于0，然而，实际应用中，通常只取其实部来用二维Dirichlet函数拟合：
在理想情况，σ＝1。在实际应用中，由于存在噪声等的影响，σ通常小于1。运用Levenberg-Marquardt 算法对中心5×5的整数点数值进行非线性最小二乘拟合，得到包括σ，δ1，δ2的参数估计。
对人脸图像进行5层复小波分解，每隔10像素进行一次匹配。在像索匹配阶段采用简化的算法：从最 底层开始，只比对中心附近的点，找出最大值，由该最大值作为σ的近似，其位置即为相应的 视差估计，放大后代入上一层作为新的初始估计，进行新的计算，直到最顶层为止。因此，在进行亚像素 匹配时，视差估计的误差应该小于1个像素。既而通过儿次非线性最小二乘拟合迭代过程，获得最终的亚 像素级视差估计。这样的迭代过程进行两次就可收敛。
根据以上的匹配方法，对于大部分点都可自动获得正确的视差估计，然而由于遮挡、噪声以及缺少纹 理等情况的影响，在由粗到细的金字塔匹配过程中，对某些点对将出现错误估计，进而导致亚像素匹配无 法收敛等情况的发生。不仅降低了自动配准的鲁棒性，而且在很大程度上减弱了三维重建的可靠性和精准 度。
为克服以上问题，引入顺序匹配、连续性、相关性以及外极线等约束条件，作为对匹配关系的可信度 评估。所谓顺序匹配约束是指，对于上图中的两点，其下图中的匹配点应保持原来的顺序；而连续性是指， 对于上图中接近的两点，其相应视差也应该相似；相关性约束可用σ值来表示，当σ值越大，说明这两点的 匹配相关性越大；而极线约束是指匹配点拥有基本相似的横坐标。
因此，整个匹配过程可改进为以下算法：
第一步：对于每一层，匹配并估计每一未标记点的σ值。如果σ小于某一阈值，则对该点进行标记并转 入第二步。否则，考虑其顺序约束，取与其同列并已匹配的最近未标记点，如果顺序匹配错误，则进行标 记并转入第二步。否则，考虑其连续约束情况，取其附近5×5以内所有已匹配而未标记点，取其视差平均， 比较与该点差的绝对值，如大于某一阈值，则对该点标记转入第二步。最后，如果匹配点偏离外极线过大， 则标记该点并转入第二步；
第二步：对于标记的点，考虑其附近5×5以内所有未标记点，取其关于σ值的相对加权平均作为该点 的初始估计，然后进行亚像素匹配，对其结果进行相应的约束检测。如仍被标记，则将初始估计作为其相 应视差。
所有点的匹配过程可并行计算，因此在双核处理器下采用多线程编程，可明显提高计算速度。对每张 脸一共计算大约5000个点。不同人脸的三维重建结果请见图4。
步骤6：运用人脸的对称性对遮挡或者纹理欠缺部分进行补洞：
当采集具有一定角度人脸图像时，归一化后只能得到大半边脸重建结果，并且由于鼻子对脸的遮挡等 情况，在需匹配区域出现洞，给识别过程带来困难。考虑到人脸具有很好的对称性，我们只需要过鼻尖点， 作垂直于基准三角形和左右瞳孔连线的平面，将三维人脸点云对该平面作镜向，再将两幅点云进行ICP迭 代。这样，由于拍摄角度原因被鼻子遮挡的脸颊部分以及脸的侧面被很好地恢复了。以上方法也被运用于 当人脸(特别是颧骨部分)皮肤过于细腻而缺少纹理出现大孔时的填补过程。
步骤7：运用等长映射对3D人脸进行表情归一化：
基于人脸表面任意两点之间的测地距离在表情变化下的不变性假设，运用fast Marching方法计算3D 人脸上每一对点之间的测地线距离(记录该测地距离，在步骤8中的半随机统计特征图提取时将再次用到)， 然后用MDS(multidimensional scaling)方法，实现从测地距离到欧氏直线距离间的等长映射(isometric mapping)，实现表情归一。
步骤8：运用算法对归一化后的人脸点云进行比对识别：
先比对两人脸的瞳距以及鼻尖到鼻基点的距离。如果在一定阈值范围内，则进一步比对，系统提供两 种比对方法：
第一种；将人脸点云投影到基准平面，对于基准平面上特征圆内的每一固定方格随机选取一点，对于 所有选取的点，计算每两点之间的欧氏距离(即表情归一化前的测地线距离，已在步骤7中计算过)，画 出基于半随机的统计特征图，通过比对不同人脸间的统计特征图即可对人脸进行识别。假设对两人脸M、 N进行比对，分别获得函数fM与fN作为它们的半随机统计特征图，那么只需计算如下函数：
δ＝∫|fM-fN|dx. (13)
当δ小于给定阈值时，即可判定人脸M、N属于同一个人。
第二种，运用Tal的基于点云高维矩的向量比对方法进行归一化后人脸比对过程。主要步骤是，将表情 归一化人脸点云转化为高维矩的形式，然后再对其主要部分向量进行相似度比较。定义：
作为不同人脸S1，S2的相似度函数，其中为其相应的归一化点云，μpqr(X)＝∫xxpyqzrdxdydz.
二、验证结果：
为了验证该方法对人脸识别的效果，我们对10人在不同光照条件下进行多角度拍摄，每人拍3次， 对每组照片建立相应的归一化三维点云信息以及半随机统计特征图，存入数据库中。本次实验比对该30 组数据中的任意两组，判断是否为同一人。
运用第一种基于统计图的判别方法，取阈值为150时，获得完全正确的识别效果。
运用第二种基于高维矩向量的方法，取阈值为200时，也获得了完全正确的识别效果。
实验表明，系统允许接受非正面的人脸采集图像，只要在该图像对中能方便地识别出基准三角形即可。 系统识别基本不受光照条件以及背景的影响，并且对不同面部表情也有较好的鲁棒性。在匹配算法中，每 一点都可并行计算，因此在实际编程中，双核处理器采用多线程的方式可在很大程度上提高算法的速度。 本次实验，采用主频为2.4GHz的双核处理器，采用双线程，对每张脸计算5000个左右匹配点，数据库样本 大小为30，对单个人脸采样与比对过程用时约5秒，各项具体耗时如表1：
表1单个人脸采集与比对过程的用时情况
人脸区域校正 三维匹配与重建 测地计算表情归一 二维比对 总计 0.75秒 2.5秒 1.5秒 0.35秒 5.1秒
整个过程基本达到实时化要求。
三、实验结论：
本发明公开了一种新的基于双目被动立体视觉采集人脸图像，运用复小波变换技术精确匹配对应点， 对重建三维点云进行特征提取与比对的三维人脸识别方法，与传统使用激光扫描仪或结构光等人脸信息采 集方法相比，由于使用了非侵入式的双目立体视觉系统，使采集过程更加友好、快捷，并可根据需要达到 隐蔽采集的目的，得出以下结论：
(1)运用基于复小波变换的相位相关算法可获得密集且满足识别精度要求的人脸三维点云信息。该算法对 背景无特别要求。
(2)采用haar-AdaBoost和Bayesian分类器的方法，结合三维深度信息，确定人脸基准三角形，方便特定人 脸的姿态归一化。
(3)提供基于统计图和基于高维矩向量的两种不同的人脸比对方法，用户可根据实际情况进行选择。 实验表明，该发明不仅对环境以及人脸位姿表情等鲁棒性强，识别准确率高，并且成本十分低廉，适合在 许多领域推广应用。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种三维京剧脸谱自动化妆方法 | 2020-05-20 | 179 |
| 一种利用多目3D视觉传感技术防控儿童近视的系统及方法 | 2020-05-21 | 624 |
| 一种三维人脸的人脸级联回归模型训练方法及重建方法 | 2020-05-21 | 937 |
| 一种基于大姿态对准的人脸识别方法及系统 | 2020-05-12 | 419 |
| 一种高压氧舱人脸识别交互方法及系统 | 2020-05-15 | 388 |
| 一种基于单张图片的三维头发重建方法 | 2020-05-08 | 448 |
| 一种基于3D打印技术精准修复遗体面部残缺的方法 | 2020-05-14 | 586 |
| 一种实时人脸表情重建方法 | 2020-05-15 | 723 |
| 用于生成信息的方法和装置 | 2020-05-08 | 508 |
| 三维表情基的生成方法、装置、设备及存储介质 | 2020-05-11 | 696 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
