用于3D模型变形的方法和装置 |
|||||||
| 申请号 | CN201380005380.1 | 申请日 | 2013-01-08 | 公开(公告)号 | CN104040593B | 公开(公告)日 | 2016-09-28 |
| 申请人 | 阿尔卡特朗讯; | 发明人 | 萨米·利芬斯; 唐尼·媞加替; 马滕·阿兹; 欧文·塞克斯; | ||||
| 摘要 | 一种用于基于2D图像数据输入对标准3D模型进行 变形 的方法，其包括以下步骤：‑利用检测模型和变形模型对所述标准3D模型执行初始变形（100），从而获得经过变形的标准3D模型；‑确定（200）该2D图像数据输入与该经过变形的标准3D模型之间的光流；‑将所述光流应用（300）于所述经过变形的标准3D模型，从而提供经过微调的3D标准模型。 | ||||||
| 权利要求 | 1.用于基于2D图像数据输入对标准3D模型进行变形的方法，所述方法包括以下步骤:-利用检测模型和变形模型对所述标准3D模型执行初始变形(100)，从而获得经过变形的标准3D模型， -确定(200)该2D图像数据输入与该经过变形的标准3D模型之间的光流，其中，包括:-确定(250)该经过变形的标准3D模型的2D投影与在先前的2D图像帧上所确定的先前的经过微调变形的3D标准模型的2D投影之间的第一光流， -确定(290)实际2D帧与该先前的经过微调变形的3D标准模型的2D投影之间的第二光流， -组合(270)所述第一和第二光流以获得实际2D帧与该经过变形的标准3D模型的2D投影之I B]的第二光流， -基于在所述经过变形的标准3D模型的2D投影期间所获得的深度信息对所述第三光流进行反投影(280)，以获得该2D图像数据输入与该经过变形的标准3D模型之间的所述光流；-将所述光流应用(300)于所述经过变形的标准3D模型，从而提供经过微调变形的3D标准模型。 |
||||||
| 说明书全文 | 用于3D模型变形的方法和装置技术领域[0001]本发明涉及一种用于三维模型变形的方法。 背景技术[0002]当前，基于现实动态场景或者甚至由廉价摄影机拍摄的图像的模型的变形可以是一个难题。三维，在本文的其余部分中将被简称作3D，模型艺术家可能例如要花费大量时间和努力来创建具有高度细节并且逼真的3D内容和3D动画。但是这种情况在下一代通信系统中不合期望并且甚至是行不通的，因为可能必须要即时创建例如会议参与者的3D可视化。 发明内容[0003]因此，本发明的实施例的一个目的是给出一种用于图像模型变形的方法和装置，其能够基于来自甚至较低质量的现实生活图片采集的二维，后文中简称作2D，视频场景来生成高质量3D图像模型，并且与此同时提供一种廉价、简单并且自动化的解决方案。 [0004]根据本发明的实施例，这一目的是通过一种基于2D图像数据输入对标准3D模型进行变形的方法而实现的，所述方法包括以下步骤: [0005]-利用检测模型和变形模型对所述标准3D模型执行初始变形，从而获得经过变形的标准3D模型； [0006]-确定2D图像数据输入与经过变形的标准3D模型之间的光流； [0007]-将所述光流应用于所述经过变形的标准3D模型，从而提供经过微调变形的3D标准模型。 [0008]这样就通过光流变形增强了传统的基于检测的变形。这样做得到了仍然可以被实时实现的真实感高得多的模型。 [0010]在一种变体中，2D图像数据输入与经过变形的标准3D模型之间的光流的确定可以包括: [0011]-确定该经过变形的标准3D模型的2D投影与该先前的经过微调的3D标准模型的2D投影之间的第一光流； [0012]-确定实际的2D帧与该先前的经过微调变形的3D标准模型的2D投影之间的第二光流； [0013]-组合所述第一和第二光流以获得该实际的2D帧与该经过变形的标准3D模型的2D投影之I B]的第二光流； [0014]-基于在所述经过变形的标准3D模型的2D投影期间所获得的深度信息对所述第三光流进行适配，以获得该2D图像数据输入与该经过变形的标准3D模型之间的光流。 [0015]这样就允许一种高质并且仍然时间高效的方法。 [0016]在另一个实施例中，基于该2D图像数据输入与该经过变形的标准3D模型之间的光流对用于所述初始变形步骤中的变形模型进行适配。这样将进一步提高所得到的模型的质量，以及其与该输入视频对象的对应性。 [0017]在另一个实施例中，还基于在该2D图像帧与先前的2D图像帧之间所确定的光流信息对用于所述初始变形步骤中的该检测模型进行适配。 [0018]这同样加强了对应于该输入2D图像的该3D标准模型的更加快速并且更加真实的成形/变形。 [0019]在另一种变体中，应用该光流的步骤包括能量最小化过程。 [0020]这样可以甚至进一步增强所得到的经过微调变形的模型的质量。 [0021]本发明还涉及一种用于执行所述方法的装置的实施例，涉及合并这样的装置用于图像或视频处理的设备的实施例，以及涉及一种包括当在数据处理装置上执行时，适于执行前面所提到或者所要求保护的方法步骤的软件的计算机程序产品。 [0022]应注意的是，在权利要求中所使用的术语“耦合”不应当被解释成仅限于直接连接。因此，“设备A耦合到设备B”这一表达方式的范围不应当被限制于其中设备A的输出直接连接到设备B的输入的设备或系统。所述表达方式意味着在A的输出与B的输入之间存在着路径，其可以是包括其他设备或装置的路径。 [0023]应注意的是，在权利要求中所使用的术语“包括”不应当被解释成限于随后所列出的装置。因此，“设备包括装置A和B”这一表达方式的范围不应当被限制于仅由组件A和B构成的设备。所述表达方式意味着关于本发明，所述设备的相关组件仅为A和B。 [0025]通过参照后面结合附图对实施例所进行的描述，本发明的前述和其他目的和特征将会变得更加显而易见，并且本发明本身将会得到最好的理解，其中: [0026]图1示出了所述方法的第一高级实施例； [0027]图2和3示出了图1中所示出的实施例的一些模块的更加详细的实施例； [0028]图4不出了所述方法的另一个实施例的尚级不意图； [0029]图5和6示出了图4中所示出的实施例的一些模块的进一步的细节； [0030]图7-8示出了两个更加详细的实施例； [0031]图9不出了所述方法的另一个尚级实施例； [0032]图10-11示出了两个更加详细的替换实施例。 具体实施方式[0033]本领域技术人员应理解，这里的任何框图代表实现本发明的原理的说明性电路的概念图。类似地，应理解，任何流程图、流图、状态转换图、伪码等等代表可以基本上被表示在计算机可读介质中并且从而由计算机或处理器，不管这样的计算机或处理器是否被明确地示出，所执行的各种处理。 [0034]图1示出了用于从输入2D视频生成高质量实时3D模型的装置和相应的方法的第一实施例的高级示意图。该实施例取得视频序列的连续各帧作为输入。在图1中，各个步骤被解释为对于特定帧，即时间T处的2D视频帧，来执行。 [0035]第一操作模块100涉及被事先选择或存储在如存储器中的可用的标准3D模型的变形。根据时间T处的输入2D视频帧，在模块100中对该标准3D模型进行变形。将参照图2描述关于这一变形过程的详细实施例。因此模块100的输出是时间T处的经过变形的标准3D模型。 [0036]与变形步骤100部分地并行，确定时间T处的2D视频帧朝向时间T处的经过变形的标准3D模型的光流。这在模块200中发生，其具有时间T处的2D视频帧、由模块100提供的经过变形的标准3D模型，以及在先前的时间步骤中所确定的所述装置的输出作为输入。这一先前所确定的输出涉及在先前的时间步骤，在图1所示出的实施例中为时间T-1，处所确定的经过微调变形的3D标准模型，并且其经由反馈连接被从所述装置的输出提供至该模块200。在图1中，所述反馈环路被示出为合并有延迟元素D，从而允许先前所确定的输出的提供。当然，基于简单的存储器存储可以设想许多其他实现方式，从而免除专用的延迟元素。还应当提到的是，可以使用在另一个先前的时间步骤中确定的输出，从而不仅是使用对应于先前的视频帧T-1的输出。在这些实施例中必须相应地对延迟进行适配。 [0037]图1的实施例还包含另一个模块300，其目的是把在模块200中所确定的光流应用于由模块100所提供的经过变形的标准3D模型。因此，基本的想法是把使用相对简单的3D模型的模块100的基于模型的方法与模块300的更加详细的基于流的变形相组合，据此所述光流本身是在模块200中导出的。事实上，当例如被应用于面部建模时，来自模块100的基于模型的变形通常可能会得到看起来有点人造感的面部，随后利用模块300的基于流的变形对其进行进一步增强/校正，其中光流本身由模块200确定。 [0038]如前所述，所得到的经过微调变形的3D标准模型被使用在用于光流确定的反馈环路中。 [0039]后面将参照面部特征的建模来描述更加详细的实施例。本领域技术人员知道如何将本文的教导应用于视频中的其他可变形对象，例如动物等等，的变形。 [0040]图2示出了图1的标准3D变形块100的一个更加详细的实施例。该模块包括例如AAM，主动外观模型(Active Appearance Model)的简写，检测模块之类的检测模块。但是也存在利用例如ASM，主动形状模型(Active Shape Mode I)的简写，之类的其他检测模块的其他实施例。[0041 ]该检测模块110使能够根据如AAM检测模型的检测模型来检测时间T处的视频帧中的面部特征。AAM模型和AAM检测是用于检测非刚性对象上的特征点的计算机视觉中的众所周知的技术。在3D视频被输入到系统的情况下，AAM变形还可以被扩展到3D局部化，并且AAM检测模块也可以检测除了面部之外的其他对象上的特征点。对其执行检测的对象类别可以与AAM模型检测模块的训练阶段有关，所述训练可以离线发生或者在早前的训练过程中发生。在所描述的实施例中，AAM检测模块110被训练成检测人类面部的例如鼻子、嘴、眼睛、眼眉和脸颊之类的面部特征点，其为在2D视频帧中被检测到的非刚性对象。在AAM检测模块110自身中所使用的AAM检测模型从而可以从一个模型集合中来选择，或者可以被预先编程或离线训练成一般地适用于所有人类面部。 [0042]在如对例如猫之类的动物模型进行变形的情况下，所述训练过程于是将被适配成检测关于这只猫的形态/潜在表情的其他重要特征点。这些技术也是本领域技术人员所熟知的。 [0043]在人类面部建模的实例中，AAM检测块110—般地将包括检测视频帧中的人类面部的粗略移动，同时或随后检测与人类情绪有关的一些更加详细的面部表情。整个面部在现场视频帧中的相对或绝对位置在图1上被标示为“位置”信息。该位置信息将被用来移动和/或旋转面部的3D标准模型，其在模块120中被标示为“标准3D模型”。此外，在模块110中还借助于鼻子、眉毛、嘴等等的位置的某些粗略指示检测出有限数量的面部表情。这一输出在图1中被标示为“特征”，并且这些特征被使用在变形模块130中，以便对由模块120输出的经过位置适配的标准模型的相应的面部特征进行适配。 [0044]输入到模块120的3D标准模型通常也从标准数据库可得/可选。这样的标准数据库可以包括人类面部，以及几种例如猫、狗类动物的3D标准模型。因此将根据来自模块110的位置信息对该标准3D进行平移、旋转和/或缩放。 [0045]在人类面部建模的情况下，这一位置适配步骤将得到反映出与现场视频馈送中的面部相同的姿态的3D标准模型。为了进一步将3D模型适配到2D帧的正确面部表情，在步骤130中将来自模块110的所检测到的特征应用到经过部分调节的3D标准模型。该变形模块130还使用特定适配模型，其在图2中被标示为“变形模型”，其可以包括关于响应于来自检测模块的面部特征的配置，如何在标准3D模型上对该等面部特征进行适配的指令。在使用AAM检测模型的情况下，所述变形模型通常将是AAM变形模型。在使用例如前面提到的ASM变形之类的其他模型的情况下，类似的考虑同样成立。 [0046]因此，其结果是由模块130提供的经过变形的标准3D模型。 [0047]这一基于模型的变形的一种示例性实现方式可以包括基于现场视频馈送的面部特征检测结果，对面部特征有关的标准模型3D的顶点进行重新定位。还可以通过简单的线性插值来填充面部特征之间的3D内容，或者在使用包括面部弹性的更加复杂的更高阶AAM变形模型的情况下，则使用更高阶插值或者甚至其他更加复杂的函数。顶点如何位移以及其间的数据如何填入都被包括在变形模型中。 [0048]可能被评论的是，不管可用的(AAM)检测和变形模型的质量如何，仍然可能获得看起来是人造感的结果，因为一般适用的检测模型仅被用来检测现场视频馈送中的面部特征的位置，其随后被用来基于其在视频馈送中的位置对经过3D位置适配的模型中的面部特征进行位移。随后利用(AAM)变形模型对该3D标准模型中的面部特征之间的区域进行插值。但是所述(AAM)变形模型不具有或者仅有很少的关于各个面部特征的位移可能会如何影响相邻面部区域的知识。可以将关于面部表情及其对面部区域的影响的一些一般信息，其可能涉及弹性，置入到该变形模型中，但是这样仍然将导致看起来有人造感的变形结果，只因为每个人都是不同的，并且无法在涵盖所有人类面部的一个非常一般性的模型中涵盖所有面部表情。 [0049]类似的考虑对于基于3D标准模型进行其他可变形对象，比如在视频中检测到的动物，的变形同样有效。 [0050]为了进一步改进所述经过变形的标准3D模型，可以利用步骤300中的基于流的变形来增强由模块100提供的该看起来有人造感的变形模型，正如前面参照图1所讨论的那样。 [0051]在执行这一基于流的变形步骤之前，必须确定光流本身。光流在这里被定义为视觉场景中的对象、表面和边缘从一帧到另一帧或者从一帧到2D或3D模型的位移或表观运动模式。在这里所描述的实施例中，所述用于确定光流的方法的目的是在像素级计算在不同时间，例如T和T-1，所取得的两幅图像之间的运动，或者，替代地其目的是计算时间T的某像素与时间T的3D模型中的相应体素之间的位移，或者反之亦然。 [0052]由于必须基于2D视频帧在模块300中将光流应用于经过变形的标准3D模型，因此须从该帧到该3D模型计算光流。但是一般来说，光流计算是从一个2D帧到另一个2D帧来执行的，因此一些额外的步骤被添加以确定从2D帧到经过3D变形的模型的光流。该额外步骤可以涉及使用参考3D输入，即例如在T-1处所确定的先前确定的经过微调的3D模型。因此该信息被从所述装置的输出提供至模块200。 [0053]图3示出用于实现模块200的一个详细实施例。在该实施例中，第一模块250适用于确定经过变形的标准3D模型的2D投影与先前的经过微调变形的3D标准模型的2D投影之间的第一光流。第二模块290适用于确定时间T处的实际2D帧与先前的经过微调变形的3D标准模型的2D投影之间的第二光流。组合模块270从所述第一和第二光流计算第三光流。该第三光流是时间T处的实际2D帧与时间T处的经过变形的标准3D模型的2D投影之间的光流。模块280随后将对该第三光流进一步进行适配，以获得时间T处的2D图像数据输入与时间T处的经过变形的标准3D模型之间的所期望的光流。现在将描述进一步的细节。 [0054]为了确定经过变形的标准3D模型的2D投影与先前的经过微调变形的3D标准模型的2D投影之间的第一光流，在被提供到模块200的各自的3D模型上执行这些2D投影。为此，模块230适用于在由模块100提供的经过变形的标准3D模型上执行2D渲染或投影，而模块240则适用于对先前的经过微调变形的3D标准模型，其在图3的实施例中是在时间T-1处所确定的，执行类似的2D投影。在这些投影中所使用的投影参数优选地对应于用于录制所述2D视频帧的视频摄影机的投影参数。其与视频摄影机的校准参数有关。 [0055]在图3示出的实施例中，模块290包括3个进一步的子模块。在其模块220中，确定时间T处的当前视频帧与先前的一个视频帧，在本例中是T-1处的那个，之间的光流。先前的2D帧的时序与先前的经过微调变形的3D标准模型的时序相同。 [0056]因此，模块290的延迟元素210引入与用在图1中的完整装置的反馈环路中的延迟相同的延迟。当然再一次，用于提供2D视频的该先前值的其他实施例也是可能的，其因此也可以仅是被存储在内部存储器中，免除了对附加的延迟块的需要。[0057 ]因此在模块220中确定在连续视频帧T与T-1之间所计算的光流，所述光流还被用于模块260中以便确定从时间T-1处的经过3D微调的输出的2D投影到时间T处的2D视频帧的光流。因此在模块240中执行所述投影本身。所述投影参数为例如映射到在用以录制2D视频帧的2D摄影机中所使用的那些参数。 [0058]步骤260中对于该第二光流的确定考虑到所述标准模型和现场视频馈送有时可能代表不同的人，但是仍然应当将其对准。在一些实施例中，模块260可以包括两个步骤:第一面部配准步骤，其中将先前帧T-1处的现场视频馈送的面部形状映射到(时间T-1处的)先前的经过微调变形的3D内容的2D投影的面部形状。这一配准步骤同样可以利用AAM检测器。接下来，对准在时间T处的现场视频馈送上所计算的光流，例如通过对时间T-1处的经过2D投影的3D内容的面部形状的插值而实现的。在图7和8中更加详细地示出了这些实施例。 [0059]随后将由模块250所确定的时间T处的经过变形的标准模型与时间T-1处的先前微调的标准模型的2D投影之间的第一光流与在模块260中所确定的第二光流相组合，以得到从时间T处的2D视频到时间T处的经过变形的标准模型的2D投影的第三光流。这在2D中是实际所期望的光流信息。由于这一组合涉及减去中间的共同元素，即先前所确定的经过微调的模型的2D投影，因此这一组合在模块270中通过符号示出。 [0060]然而由于所确定的该第三光流仍然涉及2D中的两幅图像之间的光流，因此需要附加的步骤280用于该第三光流的从时间T处的2D视频帧到时间T处的经过变形的标准3D模型的3D内容的转换。这可以涉及反投影，其利用如在2D投影期间所使用的处理的逆处理。为此，使用从2D投影所得到的深度来重新计算从2D到3D的顶点。 [0061]应当提到的是，取代使用时间T和T-1处的连续帧和被连续确定的经过微调变形的3D模型，新的一帧与先前的一帧之间的时间间隙可以长于帧延迟。在这种情况下，使用相应的先前所确定的输出的经过变形的模型，从而使得用于模块200中的实际帧与先前帧之间的时间差异对应于将要确定的新的输出与用于确定光流的先前输出之间的定间差异。在一个实施例中，这例如可以通过在图1的反馈环路和图3的模块210中使用类似的延迟元素D来实现。 [0062]图1的模块300随后把如此计算的光流应用于所述经过变形的标准3D模型，从而生成经过微调变形的3D标准模型。 [0063]在图4中所示出的所述装置的第一变体实施例中，在计算时间T处的2D视频与该时间T处的经过变形的标准3D模型之间的光流的模块200的输出与用于执行标准3D模型的初始变形的经过适配的模块1000之间存在附加的反馈环路。在图5中进一步详细地示出了该经过适配的模块1000。与图2相比，该模块1000接收由光流计算模块200的输出所提供的被标示为“光流”的额外输入信号，该信息被用于对用在变形模块130自身中的变形模型进行适配。因此，变形模块1000中的附加模块140基于该光流信息对变形模型的先前版本进行更新。在图5所示出的实施例中同样示出了对于延迟元素的使用，但是只存储先前值的其他实施例也是可能的。 [0064]利用光流反馈对于变形模型的这一更新可能是有用的，因为标准通用变形模型不具有关于各个面部特征的位移会如何影响其相邻面部区域的知识。这是因为在该基本变形模型中不存在或者没有足够的关于弹性的概念。因此，光流信息的提供可以允许对于更加复杂的更高阶变形模型的学习。这里的想法是，完美的变形模型对3D标准模型进行变形这样其与现场视频馈送完美地相似，在这种情况下，模块200的“光流组合”块270最终将导致不须应用额外的光流，并因此将是多余的。 [0065]在图6所示出的另一个变体实施例中存在另一个反馈环路，用于把来自光流计算模块200的内部信号反馈到标准3D变形模块100。图7示出这方面的一个详细实施例:所述反馈实际上是从在2D级的，时间T和T-1处的视频帧之间的光流被提供到额外的AAM或其他检测模型适配模块自身。可以假定在现场视频馈送中的帧T-1与T之间所计算的光流把在帧Τ-ΐ 中所检测到的面部特征映射到在帧 T 中所检测到的面部特征。 由于该检测模型可能不会涵盖所有这样的面部表情，因此现场视频馈送中的面部特征检测有时可能会失败。这种情况可以通过对用于检测面部特征的检测模型进行适配这样其将包括该面部表情，从而将会检测到未来的发生并且相应地将其应用于3D标准模型来解决。 [0066]图8示出了其中合并有至此所描述的所有反馈环路的一个实施例。 [0067]图9示出了对于基于模型和基于流的变形二者的组合，实施了更加概率性的方法的另一个高级实施例。基于模型的模块100提供3D模型的特征点的有限稀疏集的精确位移，而基于流的模型提供了精确度较低的二维位移估计，但用于所述模型上的密集得多的点集。通过概率性方法组合这些具有不同精确度的不同种类的观察，对于经过微调变形的3D标准模型可以获得甚至更加精确的结果。这样的概率性方法是通过图9的实施例的能量最小化模块400实现的。 [0068]在面部建模的情况下，这样的概率性方法直观地允许面部的底层弹性模型填充未被观察到的间隙。面部只能以特定方式移动。关于所述移动存在约束。举例来说，模型上的相邻点将按照类似方式移动。而且，面部上的对称点是相关联的。这意味着如果你看到你的面部的左侧部分微笑，则右侧同样微笑的概率很高，尽管可能并没有观察到该部分。 [0069]这在数学上可以被公式化成能量最小化问题，其由两个数据项和一个平滑项构成 [0070] E = S+Dflow+Dmodel [0071] Dflot是为最终的经过微调变形的3D模型所提议的的候选方案与通过仅看到2D输入图像的光流人们所能预期的之间的某个距离度量。在给定所观察的光流映射图的观察密度的情况下，所提议的候选方案与概率分布的匹配得越好，这一距离就越小。与光流估计的精确度成反比对所述度量进行加权。 [0073] S惩罚面部的不太可能的运动。其包括两种类型的子项:绝对和相对惩罚。简而言之，绝对惩罚与面部的某点在所提议的方向上移动的不可能性成比例地进行惩罚。相对惩罚按照相同的方式进行惩罚，但是是在考虑相邻点(或者其他相关点，例如对称点)的位移的情况下进行惩罚。 [0074]可以通过许多技术来解决能量最小化问题。这方面的实例有:梯度下降方法，随机方法(模拟退火、基因算法、随机游走)，图形切割，置信传播，Kalman滤波器，等等。其目的总是相同的:找到所提议的经过变形的3D模型从而使得前面的等式中的能量是最小的。 [0075]在图10中示出了图9的实施例的一个更加详细的实施例。 [0076]在图11中示出了第二概率性实施例。在该实施例中，对准的光流随着时间累积。通过在能量最小化问题中把所累积的对准光流与AAM检测/变形结果相组合允许3D数据库内容的简单的并且看起来有真实感的变形。通过包括AAM变形结果处理了由于随着时间累积光流而引发的潜在漂移。并且通过包括光流变形结果消除了看起来有人造感的变形结果。 [0077]应注意的是，所描述的所有实施例并不仅限于人类面部的变形。可以建立用于任何非刚性对象的模型并且在基于模型的方法中将其用于变形。此外，各个实施例并不限于使用AAM模型。在初始变形模块100期间可以使用例如ASM(主动形状模型)之类的其他模型。 [0078]虽然前面结合特定装置描述了本发明的原理，但是应当清楚理解的是，本说明书是以仅为举例的方式给出的，而不是作为针对如在所附权利要求书中限定的本发明的范围的限制。在本权利要求书中，被表达为用于执行具体功能的装置的任何元素意图涵盖执行该功能的任何方式。这可以包括例如执行该功能的电的或机械的元件的组合，或者采取任何形式并且因此包括固件、微代码等等的软件与用于执行该软件以执行所述功能的适当电路的组合，以及耦合到被软件控制的电路的机械元件，如果存在的话。由这样的权利要求所定义的本发明存在于这样的事实，即由所引用的各种装置提供的功能按照权利要求所要求的方式被组合并且被集合在一起，并且除非明确地另行定义，否则任何物理结构对于所要求保护的本发明的新颖性仅有很低或不具有重要性。因此，申请人认为可以提供那些功能的任何装置为等同于这里所示出的那些装置。 |
||||||
QQ群二维码
意见反馈
意见反馈