用于识别图像中的脸部的方法
阅读：223发布：2021-02-06
专利汇可以提供用于识别图像中的脸部的方法专利检索，专利查询，专利分析的服务。并且一种识别图像中的脸部的方法。将具有形状和 姿态 参数的形变模型适配到图像中的脸部，以构建脸部的三维模型。使用三维模型从图像中的脸部提取纹理。将形状和纹理投射到双线性照度模型，来生成对于图像中的脸部的照度基。比较对于图像中的脸部的照度基和已知脸部的多个双线性照度模型中的每一个模型的照度基，来识别图像中的脸部。，下面是用于识别图像中的脸部的方法专利的具体信息内容。
1. 一种用于识别图像中的脸部的方法，包括： 将具有形状和姿态参数的形变模型适配到图像中的脸部，以构建脸部的三维模型； 使用三维模型从图像中的脸部提取纹理； 将形状和纹理投射到双线性照度模型中，以生成对于图像中的脸部的照度基；并且 比较所述对于图像中的脸部的照度基和已知脸部的多个双线性照度模型中的每一个模型的照度基，来识别所述图像中的脸部。
用于识别图像中的脸部的方法相关申请本申请是Lee等人于2005年6月14日提交的美国专利申请号为 11/152,528的"Method and System for Generating Bilinear Models for Faces"的部分延续。技术领域本发明一般地涉及计算机视觉，更具体地，涉及图像中脸部的识别。背景技术脸部识别系统的性能受到由于光照和姿态变化而引起的脸部外 观的改变的不利影响。 一种普遍的趋势是开发人脸的3D形状信息来 克服传统2D图像的限制。3D形状信息可以直接从距离扫描仪获取或 者从一个或多个图像中估计。尽管获取3D几何数据的成本正在降低， 但是大部分现有的脸部数据库只包括简单的2D图像。因此，从单个 2D图4象中获取3D形状比从多个图像或者距离数据中获取更可行。当前，有三种不同的技术使用3D形状信息用于脸部识别。第一 种，直接使用3D形状作为独立于姿态/照度的特征。第二种，使用3D 数据来产生在不同的视角和光照条件下的合成肖像，以便于产生2D 图像空间中的姿态/照度恒定的表示。第三种，使用3D形状获得具有 球形谐波的Lambertian对象的可分析的照度子空间例如，第一个方法典型地为形变模型（Morphable Model) ， V. Blanz and T. Vetter, "Face recognition based on fitting a 3D morphable model," /E五J? 7Vwis^c"'0w5" oai 尸flrtm/ v4wa/戸'51 fl/fd Mflc/nW 25(9):1063-1074， 2003。他们从单个图像中获取脸部的3D形状和2D紋理，来构建模型。用于探测的模型和图库图 像被基于它们各自的主元分析（PCA)系数而直接匹配。该技术处理 可变的姿势和光照。然而，该技术需要对脸部标志物进行细致的手动 初始化并且使用迭代非线性优化技术来进行适配，这无论如何也要花 几分钟来完成，然后得到局部最小值。因此，脸部捕捉/建模方法是否 可被用于实时的脸部识别是不确定的。第二和第三种技术在质量上是不同的，并且都涉及了流行的"基 于子空间的距离，，的识别范型，这要回溯到2D的基于外观的建模的早 期工作。尽管这两种方法也可以使用3D形变模型，但是与用于识别的表示的最终选择相反，该3D形变模型大部分是按照用于后续的恒 定建模和子空间生成的工具的形式。已知几种用于产生线性子空间来获取脸部照度变化的方法。 一种 方法是根据在不同照度下的七个正面图像，使用测光立体图像来重构 3D脸部几何形状和反照率，A.SGeorghiades， P. N. Belhumeur， and D. J. Kriegman , "From few to many: Illumination cone models for face recognition under variable lighting and pose," /五jE^ 7VflAis^",V?m51Pflrtmi 乂"a/"/s Afflc/r/we /w,e/"ge23(6):643-660， 2001。 估计的3D脸部然后可以被用于渲染基于不同的姿态和光照条件的合 成图像，来修整针对特定人的照度锥体（illumination cone )。另 一方法-使用类似的"捷径"，R. Basri and D. Jacobs, "Lambertian reflectance and linear subspace， ，， 7Vwwd"/ort i^rtmi j朋/戸s flwd Afflc/i/we«ce， 25(2):218画233， 2003。他们 陈述了凸起的Lambertian 3D对象的随机照度应该被"九个谐波图像" 所跨的低维的线性子空间所近似。给定表面法线（normal)和反照率， 九个谐波图像可以通过分析而确定。K. Lee， J. Ho， and D. Kriegman, "Nine points of light :Acquiring subspaces for face recognition under variable lighting," TVoc. 。附戸^ P757'ow 镜面反射（specularity)、投阴影、交互反射以及表面下 漫射时。它们也需要一个"自举（bootstrap)"数据集。发明内容本发明基于很多的主体在可变光照情况下的测量照度统计数据， 为任意3D脸部生成照度子空间。基于更高阶奇异值（SVD)的双线 性模型被用于在给定了来自作为参数的3D脸部模型的任意形状参数 的情况下产生小型的照度子空间。使用基于使输入图像距离最小化的匹配处理，来动态地改变照度 子空间，针对特定形状的照度子空间基于单个照片而被重构。重构的 照度子空间用于脸部识别。附图说明图l是为脸部生成双线性模型的方法的流程图；图2是用于获取脸部的形状和图像数据的系统的方框图；图3是作为向量的经对准的形状点和紋理分量的方框图；图4是从图3的向量产生双线性模型的流程图；图5是比较对于不同数量的基（base)的重构误差的曲线图；图6是比较对于不同数量的摄像机视点的重构误差的曲线图；以及图7是使用双线性照度模型识别输入图像中的脸部的流程图。具体实施方式图l和图2示出了按照本发明的一个实施例的用于生成脸部的双 线性照度模型的方法和系统。多个摄像机101获取110脸部105的大 量2D反射率图像102。对于每一个脸部，通过改变姿态或视角并且改 变方向照度，来获取脸部的多个图像。对于每一个脸部，扫描仪103 获取120脸部的3D形状104。如图2所示，人坐在网格球顶形式的管式框架（tubular frame ) 202内的椅子201上。数字摄像机101安装在框架上并且从不同视角 瞄准脸部。球顶还包括方向光源203。使用在面向椅子201的球顶202 上半球状地安装的16个摄像机和150个LED光源。摄像机101和扫 描仪103的输出连接到处理图像和3D形状数据的处理器200。操作的时候，系统顺序地打开每个灯，同时用摄像机101获取110 2D图像102。也可以通过利用不同的曝光设置重复获取序列，来获取 高动态范围（HDR)图像。安装在球顶中的脸部扫描仪103包括两个结构化的投光器和四个 摄像机。扫描仪的输出是包含大约40000个三角形的多边形网格。网 格可分辨小到1毫米的特征。网格进行切割以去除非脸部区域并简并 (degenerate )三角形。然后，网格,皮使用循环分割：Loop而细化，"Smooth Subdivision Surfaces based on Triangles," Master's thesis ， Department of Mathematics ， University of Utah, 1987。这得到具有500,000到1 百万向量的高分辨率网格。该分割显著地去除了噪声。把高分辨率的网格转换为采样点的非结构化列表，即，无连接性 的曲面元素（surfel)，在此通过引用并入于2002年1月29日授予 Pfister等人的美国专利6,342,886 "Method for interactively modeling graphical objects with linked and unlinked surface elements"。 每一个 曲面元素存储对于使用EWA Splatting ( Zwicker等人2002年）对图 像进行重构所必要的信息。所有摄像机的内部和外部参数都可以被校准，并且脸部的3D点 通过3D-2D登记处理被投射到每一个图像102中的对应的2D点。 双线性照度模型首先使用图像和3D形状获取130所有脸部105的3D点到点的 对应131。来自每个反射率图像102的照度采样，也就是像素亮度， 被从3D采样点投射到脸部上，这产生由此与3D形状104对准的所登 记2D采样。还从脸部的所有图像中确定140每个脸部的漫射紋理141。假设 脸部紋理没有与形状和反射率关联，按照如下等式从照度采样中计算 出漫射紋理：wt forA:=/，...7V此处向量^是照度采样，^是在具有N个点的网格中的3D点^处 的漫射紋理。w是无紋理的照度分量，其区别于反射率，因为该分量 还包括投阴影。在本文的符号中，变量上面的向量符号'A，和估计符号 '〜，有时被省略。粗体变量通常是向量和矩阵。作为每个脸部的结果，有脸部105的3D形状点(x，y,z)以及基于 特定的视角或者姿态的针对每个光照条件(j)的无紋理分量(w)。如图3所示，沿着亮度轴301、照度轴302和形状轴303，把所有脸部的3D点到点对应（x，y，z)与紋理分量w对准150为向量151:〜=(a ，…，Xw ，凡，…，>v ， ^ ，…，Zw ， ，…，mv )。如图4所示，然后把三模式的更高阶奇异值分解(SVD)应用410 到向量151，来确定形状和照度两者的连变分（joint variation)。所 得数椐数组是以如下乘积所表示的张量D411:此处模式矩阵Up U2， 113分别表示沿着形状轴、照度轴和数据轴的变化。核心的张量C调整模式矩阵间的交互。关于模式k的乘积 算符Xk的细节，请参考L. D. Lathauwer， B. D. Moor， and J.Vandewalle, "A Multilinear Singular Value Decomposition," SIAM Journal of Matrix Analysis and Applications, vol.21 ， no.4, 2000。使用模式k乘积的关联属性，模式矩阵113可以被并入2 = <^3113中，生成了简化的2模式等式： D = ZxAxA 。接下来，如下所述确定430形状和照度基向量431。为了获得更 简洁的表示，删除或者截去最高阶奇异向量并且保留减小后的低维子 空间。为了幵发形状数据的冗余，即，沿着照度轴302的（x，y，z)元组(tuples)，把估计核心张量2分为两部分。这样，具有第i个形状和第j个光照条件的数据向量^421通过下式来估计420:formula see original document page 8 ( 1 )因为基本的形状104独立于光照条件(j)，所以预先确定对于任何 j的估计Z項JC2M 6删除单个维(singleton dimension)，并且获得形状基行向量Z,。同样，针对特定形状的照度基Ri通过估计^^u、并且删除单个维而获得。这样，等式l就变为：formula see original document page 8 (2) 此处估计^和^分别是《j的形状系数和照度系数。 使用形状和照度基向量Z,和^431，以及形状参数a 442的线性组合，可以如下重构440对应的形状和照度基441:formula see original document page 8 ( 3 )formula see original document page 8 ( 4 )formula see original document page 8 （5)此处s是形状向量(x，y，z)，并且R的行是针对特定形状参数a 442 的照度基向量。尽管形状参数a可以由等式5描述，但是存在可以从外部源而不 是3D形状104提供任意形状s的情况。在这种情况下，可以适配（fit) 形状s，从而通过解下面的线性系统来找到最接近所述形状的形状参 数a:formula see original document page 8 （6 )如下所述，使用该技术，从一个通有的外部形状，如形变模型，估计照度子空间。与九个球形谐波的比较利用从一个近前的摄像机视点获得的数据生成所述双线性照度模型441,确定用于此双线性照度模型的子空间可以重构原始数据的 程度。也将所述准确度与那些使用九个球形谐波作为基本图像得到的 准确度进行比较，参考上述的Basri等人的文献。因为用于很多脸部的基于多个光照条件和视点的3D形状和照度 采样的基本原理，所以可以测量根据对于每种方法的不同数目的基的 重构误差。对于每个脸部i，存在对于所有的光照条件j和摄像机视点k的 3D形状&,漫射紋理r,.，和照度采样?^。由于少许遮掩（occlusion )，对于每个视点，某些照度采样是不可用的。因此，对于任何只包含有 效采样的向量使用符号7。给定向量s和7并省略下标，首先使用所述方法，然后使用九个 球形谐波图像，来确定照度基R。接下来，以基于元素（element wise) 的方式将漫射紋理t乘以矩阵RT的每一列。这就构成了紋理加权的的照度基B,以及对于7的重构误差：error-l7-^77！ ， （7)此处6是只包含与7对应的B的有效行的、g的QR分解。确定 对于用于针对每个方法进行重构的主体、光照条件、摄像机视点以及 基的数目的所有组合而言的重构误差，以生成照度空间。图5比较了对于不同数目的基的重构误差，并且图6比较了对于 不同数目的摄像机视点的重构误差。基于单个图像的估计现在描述在给定脸部的单个输入图像的情况下如何获得针对特 定脸部的照度子空间，即照度基。照度基是在把形变模型适配到输入 图像后从所述双线性照度模型中导出的。这是通过把从输入图像提取 的三维形状的适配模型和紋理投射为双线性照度模型来生成针对特定 脸部的照度基而实现的。针对特定形状的照度子空间构建对于每个脸部形状的向量S,和用于每个对应紋理的向量t。对形状向量S和紋理向量T分离地实施主元分析（PCA)。然后，任 意的形状和紋理可以使用前M个特征向量和模型参数a和p按照下式 被重构：s="2>,'s， ,=『+2>,;， （8) '•=i ,-=i此处；是平均形状，T是平均紋理，《是形状的第i个特征向量， e;是紋理的特征向量。优化参数包括a、 P和y。参数y是6维姿态参数，三个用于平 移，三个用于旋转。在每个迭代中，根据参数a和p，和y,产生形状 (s)和漫射紋理（t)。也可以对于将s投射到给定姿态Y的输入图 像，来提取紋理L通过使类似于等式7的误差函数最小化，来找出最优参数o代替紋理向量L使用只包含所提取的紋理中的可视点的估计紋使用下降单纯形法（downhill simplex method )解出下面的优化：理7t—BBTt(9)公知的下降单纯形法是无需确定斜率即可估计代价函数的非线 性优化处理。因为所述模型在优化过程中使用了自适应照度子空间，所以最终 重构的形状和紋理不需要对于两种方法都是相同的。虽然通过这种优化结构估计的形状、紋理、姿态参数在重构时是重要的，但是主要关 心的是照度基丑。p,的最优特性。这些基利用以形状s (a。pt)和漫射紋理t (p。pt)来跨越人的照度子空间。然而，合成的紋理不能捕获原始输入图像中的脸部的全部细节。 为了脸部识别的目的，获得以实际紋理加权的照度基是重要的。 在后续的讨论中使用下面的符号： ":合成的漫射紋理（已知） 合成的照度紋理（已知） 实际的漫射紋理（未知）实际的照度紋理（已知） 定义A②b， A0b作为向量b与A的所有列向量的基于元素的乘（除）。在每一迭代中，照度基首先如下被确定：B=R(g)ts, (10)新的基通过用tr替换"而获得，如： B* = B0ts (gitr.假定所述估计照度近似于原始的照度，得到：tr « W ® ts 0 ts. (12)最终，把等式12代入等式11中得出：B* « B (g) £r 0 L (13)用于脸部识别的照度基图7示出了根据本发明的用于识别输入探测图像701中的脸部的 方法700。将探测图像与形变模型712匹配710来构建探测图像701 中的脸部的三维模型711，该三维模型具有形状和姿态参数。利用该 三维模型，通过将三维形状s投射到对于给定的姿态y的输入图像， 从探测图像701中提取720紋理。三维形状和提取的紋理721被投射 730到双线性照度模型（BIM) 725中，来生成对于探测图像中脸部的 以实际紋理加权的照度基731 。将照度基731与已知脸部的双线性照 度模型库735中的每一个模型的照度基相比，来识别与输入图像中脸 部的匹配741。匹配741是与库中的具有如下照度基的双线性照度模 型对应的已知脸部，该照度基具有与探测图像中的脸部的照度基731 的最小距离。可选地，投射的三维形状也可以与库中的已知脸部的双 线性照度模型中的每一个模型的重构形状相比，来识别探测图像中的 脸部。尽管共同向量空间中的照度基对于姿态恒定的脸部识别是有用 的，但是它们有一个缺点。因为所有的提取的紋理都被登记在无形状 的向量空间中，所以丟失了所有的用于匹配的形状信息。 一般可接受 的是紋理是重要的识别线索，但是在极限的光照条件下3D形状日益重要。在大多数的脸部识别系统中，通常只使用眼睛的位置，将探测图 像和库图像与据此转换的其它脸部区域对准。形状信息要么明显地要么隐含地被开发出。因此，与在无形状的3D空间中相比，具有在2D 图像空间中的照度基更实际。首先，通过对应的经重构的照度采样（B0ts)划分以3D形状登记的基，并且将其投射到进行了图像适配的图像平面。在图像平面中 使用推挽式的内插来稠密地计算投射的图像数据，并且将其与原始图 像相乘。对于每一个重构的基进行该处理。 发明的效果提出了 一种用于从单个图像中提取3D形状来构建照度子空间的 新颖方法。为了处理人脸的复杂的反射率性质，开发了一种小型照度 模型，其是在变化的光照条件下基于3D表面点和精确登记的照度采 样的联合统计数据而导出的。实验的结果表明这个模型比相关的分析 模型具有更好的重构和识别性能。此外，其具有良好的跨越姿态的外 推（extrapolation)。利用Yale脸部数据库B，所述方法（至少）比得上现有技术，尽管用于从单个图像中获得照度恒定的脸部表示的计 算要简单得多。最终，所述方法利用与恢复的3D形状一起登记的重构的照度基，实现了姿态恒定的识别。应当理解，在本发明的实质与范围内可以进行各种其他的调整和 修改。因此，所附权利要求的目的是覆盖落入本发明的实际的实质和 范围内的所有的变型和修改。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于Hololens的远程手术指导装置及操作方法 | 2020-05-15 | 35 |
| 图像篡改取证方法及装置 | 2020-05-17 | 583 |
| 一种基于光外同轴送粉的变宽度薄壁件激光熔覆成形方法 | 2020-05-18 | 631 |
| 一种基于运动感知图像约束的4D-CBCT重建方法 | 2020-05-12 | 604 |
| 一种滑坡位移组合预测方法及系统 | 2020-05-13 | 899 |
| 一种基于面部运动单元的三维非真实感表情生成方法 | 2020-05-11 | 349 |
| 一种可燃冰开采环境安全虚拟仿真评估系统及方法 | 2020-05-14 | 61 |
| 一种长焦双目相机的立体标定算法 | 2020-05-13 | 43 |
| 人脸旋转模型的生成方法、装置、计算机设备及存储介质 | 2020-05-18 | 388 |
| 一种增材制造过程中并行控制零件变形和精度的方法 | 2020-05-19 | 596 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈