技术领域
[0001] 本
发明涉及计算机实施的方法，其用于在人脸的图像或图像流中真实显示
义齿或其它
牙齿假体(牙齿模型)的三维模型。具体说，所描述的方法允许在牙虚拟模型应用中比如牙科
增强现实应用中真实显示牙模型。
[0002] 在本发明的上下文中，术语“义齿”不一定被限制为全口义齿，而是也包括局部义齿或矫正情况/调整或牙修复体比如牙齿假体，包括
牙冠、牙冠层、
贴面、
嵌体和高嵌体、桥接件、
牙种植体、种植体修复体。相应地，术语“牙模型”包括用于
口腔修复的牙齿假体的所有模型，比如全口义齿或局部义齿的模型。该牙模型还可包括附接至义齿或真牙的器械，比如牙套和
保持架或用于多种目的的护牙托。
背景技术
[0003] 对于牙医和患者而言，感兴趣的是获得具有调整后的牙齿情况的患者脸部外观的视觉
印象，即在患者脸部的图像中显示调整后的牙齿情况。同样，在决定经受此项
治疗之前对于患者而言重要的是牙齿治疗过程中或治疗后的外观。为此目的，由牙齿治疗调整过的齿系的虚拟预览(虚拟模型)对于牙医而言是有帮助的并且还可在交互式调
整治疗计划的过程中使用以获得最有利的美学效果。
[0004] 在牙虚拟模型应用中，虚拟牙齿在患者脸部或其部分的图片或视频中示出。真实显示在这个领域中是重要的，因为人们对于与真实人脸的偏差非常敏感。这是一个被称作“
恐怖谷理论”的公知问题。
[0005] 为了克服在脸部图片或视频内显示虚拟牙齿时的该“恐怖谷理论”问题，三维(3D)渲染内容的真实光照是关键。由此，渲染的虚拟内容的光照应与真实场景即脸部的基本光照相匹配。到目前为止，在牙科中渲染三维虚拟齿系的应用中尚不存在此种光照。
[0006] 在渲染虚拟
角色的计算机游戏中，该角色的三维脸部几何体被用于产生光照和阴影效果。但是，脸部的图像或视频是二维(2D)的并且由此无法提供三维脸部几何体。
[0007] 对于此问题的另一种常用解决方案为光线追踪。这通过将许多物理影响考虑在内而实现真实渲染。但是，这个方法对于实时应用而言通常过慢。
发明内容
[0008] 由此本发明的目的是提供一种计算机实施的方法，其允许真实渲染和照亮尤其显示全口义齿或局部义齿的虚拟三维牙模型。
[0009] 另一个目的是提供一种方法，其中所得到的渲染的虚拟牙模型适于脸部的相机图像。
[0010] 另一个目的是提供能够允许克服恐怖谷理论问题的方法。
[0011] 另一个目的是提供允许实时真实渲染和照亮模型的方法。
[0012] 另一个目的是提供在增强现实(AR)应用中允许真实渲染和照亮模型的方法。
[0013] 另一个目的是提供一种方法，其可在具有有限的计算能
力和/或能提供实况视频的移动装置上被执行(尤其实时)。
[0014] 另一个目的是提供全自动或半自动地执行的方法。
[0015] 再一个目的是提供用于执行此方法的手持移动装置。
[0016] 这些目的中的至少一个通过
权利要求1的方法、权利要求14的移动装置和/或本
申请的其中一个
从属权利要求实现。
[0017] 本发明的第一方面涉及用于在脸部的二维图像中真实显示虚拟牙模型的方法，该图像至少包括脸部的嘴区域。该牙模型包括牙齿假体(或其部分)的三维显示。例如，该模型可为全口义齿或者局部义齿的模型。特别地，该牙模型是包括一个或多个牙齿、尤其是具有或没有
牙龈(齿龈)的多个牙齿例如六个或更多颗牙齿的数字三维模型。
[0018] 该方法包括估计或假定脸部图像中的光照情况并且确定图像中嘴区域的边界，尤其其中所述边界由脸部的唇的内边界限定。该光照情况包括一个或多个
光源，尤其也包括光源的
位置、所基于的图像或者全局的光照、球谐光照或定向光源。
[0019] 基于嘴区域的边界、基于三维脸部几何体并且基于光照情况计算嘴区域中(或者空间上在嘴区域的后方区域中)的阴影。至少基于计算得到的阴影，计算牙模型的光照。最后三维牙模型和二维图像一起显示，牙模型的显示(例如牙模型的二维显示)具有计算得到的光照。具体地，至少图像中的嘴区域与牙模型的显示重叠。
[0020] 根据该方法的一个
实施例，三维脸部几何体是指脸部即在图像中示出的同一脸部的几何形状，其中该脸部几何体采用深度
传感器获取。特别地，该三维脸部几何体可与二维图像一起或者作为距离图像被获得。
[0021] 根据该方法的替代实施例，该三维脸部几何体至少接近人脸(或者至少嘴区域)的几何形状，其中至少包括嘴区域的边界的图像平面投影到三维几何体上。特别地，该三维脸部几何体可至少包括圆柱或棱柱的一部分侧表面，至少包括所述嘴区域的图像部分的图像平面投影到部分侧表面上。
[0022] 根据该方法的一个实施例，计算光照包括
[0023] -为所述虚拟牙模型的表面上的多个表面点(如虚拟牙模型的
顶点)生成到达多个虚拟点光源中的每一个的第一光线，
[0024] -为每束第一光线生成到达虚拟相机的第二光线，所述第一光线与所述三维脸部几何体的交汇点被用作为所述第二光线的起点，和
[0025] -所述第二光线与图像平面的交汇点被用作为用于确定对应表面点的光照的观察位置，其中如果所述第二光线与所述图像平面在所述嘴区域处相交，那么表面点被假设由虚拟点光源照亮，
[0026] 根据该方法的另一个实施例，在二维图像中显示牙模型包括基于图像的上
色调适牙模型的上色。
[0027] 在一个实施例中调适上色包括
[0028] -识别牙齿、牙龈和唇中的至少一个在所述图像中的参考
颜色。例如，所述参考颜色可指平均颜色，并且识别参考颜色可包括对图像中的与牙齿、牙龈和/或唇相关的图像
像素进行自动划分。采用一种参考颜色或多种参考颜色来估计所述图像的颜色空间。采用所述图像的估计的颜色空间来转换所述牙模型的颜色空间。尤其是所述图像的估计的颜色空间被用作所述牙模型的颜色空间。
[0029] 例如，该牙模型的颜色空间可被转换以匹配图像的颜色空间。
[0030] 根据该方法的另一个实施例，基于估计的光照情况计算该牙模型的光照。该光照情况可基于图像中脸部的光照进行估计。
[0031] 在一个实施例中，估计光照情况包括
[0032] -估计尤其具有球谐光照和虚拟点光源的低频光照，和/或
[0033] -检测所述脸部的眼中的反射以估计光源的位置，尤其是高频光照。
[0034] 根据该方法的另一个实施例，由确定的边界计算得出嘴区域的柔和的或者模糊的边缘，其中基于柔和或模糊的边缘计算阴影以避免生硬的阴影边缘。
[0035] 根据该方法的另一个实施例，计算所述牙模型的光照包括施加光照和着色效果，所述效果包括
镜面反射、颜色或环境光遮挡中的至少一个。
[0036] 根据该方法的另一个实施例，显示所述牙模型包括模拟相机效果以使所述牙模型的外观接近所述图像中的脸部的外观，模拟的相机效果包括动态范围、
对比度、
饱和度、噪声、镜头失真、
白平衡、
散焦和
运动模糊中的至少一个。
[0037] 根据该方法的另一个实施例，所述图像是图像流的部分，并且至少对于所述图像流中的多
帧图像实时执行所述方法。
[0038] 根据一个实施例，显示所述二维图像中的所述牙模型包括基于所述图像流的多帧图像的颜色调整所述牙模型的颜色，像例如包括所述图像流的现有图像和先前图像，尤其是其中采用来自多帧连续图像的平均值调适上色。
[0039] 根据另一个实施例，该方法还包括借助于相机采集所述图像流以及在显示装置上向用户显示所述牙模型和所述二维图像，尤其是其中所述脸部是指用户的脸部。
[0040] 根据另一个实施例，所述相机和所述显示装置是同一移动装置的部件，其中所述方法借助于安装至所述移动装置的计算单元上的一个或多个
算法执行。
[0041] 根据该方法的另一个实施例，所述虚拟牙模型为多边形网格形式并且包括多个顶点。计算所述牙模型的光照选择性地包括计算着色。可在顶点
着色器中执行和/或在每个顶点或每个片元中局部执行着色的计算。
[0042] 本发明的第二方面涉及一种移动装置，其包括相机和显示器，所述显示器被布置为使得当用户看显示器时用户脸部的图像能够被所述相机采集到，即例如具有“
自拍相机”的智能手机。所述装置包括计算单元，所述计算单元配置有适于执行根据第一方面的方法的至少一种算法。尤其是，能够在显示器上显示具有模型重叠显示的图像。
[0043] 本发明的另一方面涉及
计算机程序产品，其包括被存储在机器可读介质中或者由包括程序代码段的
电磁波实现的计算机代码并且具有用于执行根据第一方面的方法的计算机可执行指令。
附图说明
[0044] 本发明将在下文参照配有附图的示例实施例进行详细描述，其中：
[0045] 图1示出用于真实显示人脸图像中的3D牙模型的计算机实现方法的示例实施例；
[0046] 图2示出在图像中识别的嘴区域；
[0047] 图3示出根据本方法的第一示例实施例确定牙模型的真实光照；
[0048] 图4示出根据本方法的第二示例实施例确定牙模型的真实光照；和
[0049] 图5示出根据本方法的第三示例实施例确定牙模型的真实光照。
具体实施方式
[0050] 图1示出了根据本发明的示例实施例的由计算机实施的用于真实显示人脸图像中的三维(3D)牙模型的方法。
[0051] 根据示出的实施例，借助于相机4采集人脸图像20。在这个实施例中，相机4是手持移动装置10比如智能手机的部件。该装置10包括显示器12，该显示器12能够向用户即被采集图像的人实时显示图像20。虚拟牙模型1的三维(三维)数据被设置在移动装置10的数据
存储器中。设置于移动装置10的计算单元中的算法适用于将牙模型1匹配入图像中以在显示器12上提供增强现实(AR)图像25，其中渲染后的牙模型21(如模型的二维(2D)显示)被显示在脸部的嘴区域。该处理可在图像或视频上离线执行或者在实况相机图像上实时执行，由此提供实况增强现实应用。
[0052] 在一些实施例中，牙模型1可包括或者临时或者永久地被附接至义齿或真牙的、牙模型1的器械，比如牙套和保持架或用于多种目的的护牙托。在一些实施例中，牙模型1仅包括这些器械或者在图像中仅显示该器械的模型。
[0053] 在人造齿系的领域中，缺乏真实的光照信息对数字牙模型1进行渲染导致了令人不满意的结果。真实显示在这个领域中是重要的，因为人们对于与人脸真实性的甚至微小的偏差也会非常敏感。为了克服在脸部的照片或视频中
虚拟显示牙齿的这个“恐怖谷理论”问题，三维渲染内容的真实光照是关键的。根据在此公开的发明，可通过渲染阴影以及选择性地还通过应用色彩校正来实现真实感，从而所渲染的虚拟内容的光照应匹配于真实场景即基本是脸部的光照。
[0054] 在一个实施例中，为了计算阴影可以简单地假设给定的或者恒定的光照情况。为了更加真实的效果，替代地，可检测图像中大致的光照情况。可采用脸部作为光
探头来得到脸部的大致光照以估算出光照。低频光照(如具有球谐光照或虚拟点光源)和用于反射的高频光照(如来自眼睛)均可被估算出。
[0055] 根据本发明，即使在没有脸部的详细三维模型的情况下也可对阴影进行计算。根据本发明的一些实施例，嘴区域22的二维图像(如二进制的二维口罩图像)被用作三维遮光器。在这些实施例中，如图2所示，为牙模型1增加真实光照包括识别成像的脸部中的嘴区域22的边界。在图2的示例实施例中，嘴区域22包括成像的脸部的位于唇内侧的部分。该嘴区域22可或者由用户限定(如通过选择图像20内的区域)或者借助特征识别算法而自动识别。
[0056] 已经识别到嘴区域22的边界，这些可被用于计算嘴区域22后方区域内的光照和阴影，该后方区域实际为对应于虚拟模型1的齿系将被布置在现实中的区域。该方法利用三维口轮廓来投射阴影。选用地，接着施加色彩校正以匹配相机图像属性，比如光平衡、
亮度、饱和度、对比度等。这在下图3、4和5中示出。
[0057] 如果所采集的二维图像还带有例如采用深度传感器采集得到的深度信息，那么可使用脸部的有效的三维信息来提供所需的三维嘴轮廓。
[0058] 如果从二维图像中仅能得到二维(2D)嘴区域，那么需要将脸部的嘴区域和周围部分引入三维。为此，根据在图3中示出的方法的实施例，至少嘴区域或其形状被投影到接近于人脸几何体的三维几何体2上。特别地，几何体2可为圆柱或棱柱的侧面。替代地，可生成显式脸部几何体的三维脸部模型以投射阴影。可接下来采用已经被投射至三维的嘴区域22的已知二维边界来计算三维光照和阴影。
[0059] 已经假设或估计了光源5相对于图像中的脸部的位置，可确定光源相对于嘴区域的投影3的每个点的位置。模型1被
定位在嘴区域的后方，位于现实齿系布置在现实口腔中的位置。假设虚拟牙模型1的三维
位姿是已知的，例如基于
深度学习方法或者具有三维头部位姿估计的脸部标记，给定用于渲染三维模型1的相机参数。相应地，模型1可具有正确位姿地被定位在投影的后方。
[0060] 对于模型1的多个点6，接下来确定源自光源5的光线与三维几何体2的交汇点7是否位于嘴区域内。如果是的，点6被光源5照亮，如果不是，该点被脸部遮住。如果虚拟牙模型1是多边形网格形式，那么该点可为顶点或片元。该虚拟牙模型1的光照可本地计算，以将估计的光照以及来自嘴区域外部的阴影均考虑在内。
[0061] 定义的嘴区域的边界选择性地可实现为柔和的或者模糊的边缘从而避免不真实的硬阴影边缘，尤其是在采用点状虚拟光源的情况下。另外，可施加其它光照和着色，比如镜面反射、颜色或环境光遮挡。选用地，可模拟进一步的相机效果以更加真实地显示渲染的模型。该相机效果例如包括动态范围、对比度、饱和度、噪声、镜头失真、白平衡、散焦或运动模糊。
[0062] 图4示出了本发明的另一个实施例，其以横截面视图示出了牙模型1和三维几何体2。对于模型1表面上的点6而言，源自三个光源5a-c的三条光线的交汇点7在其位于嘴区域的内侧或外侧的位置处被检测到。此处，来自光源5a和5b的光线的交汇点7位于嘴区域的内侧，但是关于光源5c的交汇点7不位于嘴区域的内侧。这意味着点6仅通过三个光源中的两个(即光源5a和5b)被照亮。
[0063] 模型1具有四种不同的亮度
水平。这取决于这三个光源5a-c中有多少个光源照亮模型1的点或部分。最大亮度位于模型的中心，此处所有三个光源5a-c照亮牙模型1的表面。点6位于具有第二亮度水平的区域内。第三亮度水平仅通过光源5a-c中的一个被照亮，第四亮度水平则是当投影在三维几何体上时完全被脸部遮住。
[0064] 为多个亮度水平中的每一个提供正确的亮度是重要的，即不使渲染的模型或其部件看起来过暗或过亮而看起来不真实。由此，该方法可选择性地包括检测图像中口腔背景的光照情况的步骤，例如通过口腔内比脸部外暗多少的程度来检测。为此，口腔背景的最暗点可被确定用作阴影的参照。附加地或替代地，可检测相机图像的对比度水平。
[0065] 图5示出了确定牙模型1的真实光照的另一个实施例。这个实施例包括在
顶点着色器内执行光照计算。为每个顶点6生成到达每个虚拟点光源5的光线。其与脸部代替几何体2(如圆柱)的交汇点7被用于创建到达(虚拟)相机4的光线。其在图像平面3内的投影8是观察位置，以确定光是否通过嘴区域是可见的，即不被唇或脸部组织所遮挡。
[0066] 已经将光照信息添加至模型，渲染的三维模型在照片上仅重叠在限定的嘴区域内。同样，可调整颜色以使得三维渲染内容匹配于相机图片。一种匹配颜色的方法为在图像中自动找到平均牙齿颜色和/或平均牙龈或唇颜色。这可经由自动划分牙齿像素和牙龈以及唇像素来获得。这些平均颜色用作参考颜色并且可被用于将颜色空间转换为由相机图像估计得出的颜色空间。当然，代替使用平均颜色，参考颜色也可采用最小值和/或最大值或直方图得到。
[0067] 如果代替单张图像而对视频进行渲染，为了避免随时间闪烁，从先前帧得出的参照颜色可例如通过临时平滑该值而被考虑在内。
[0068] 在示例实施例中，提供了一种用于在脸部图像中真实显示虚拟牙模型的方法。该方法包括获取虚拟牙模型。该虚拟牙模型包括将待显示的齿对象的三维显示，该齿对象例如为义齿或其他牙齿假体、牙套、护牙托、牙饰等。该图像的假设的、测得的或者大致的光照情况得以被确定。例如该方法可包括确定用于照亮图像的脸部的至少一个图像光源的位置。图像中的嘴区域得到确定，其中该嘴区域由脸部的唇的内边界限定。在一些实施例中，该嘴区域采用处理器确定。处理器被用于基于脸部几何体以及确定的光照情况(如至少一个光源的位置)来计算嘴区域中的阴影。该脸部几何体可例如为脸部的大致几何形状。牙模型的光照采用处理器进行计算，其中该光照基于在嘴区域中计算得出的阴影。牙模型以及计算得到的施加的光照在显示器上显示，并且其中牙模型在图像的嘴区域中示出。
[0069] 在本发明的上下文中，术语“义齿”不一定被限制为全口义齿，而是也包括局部义齿或矫正情况/调整或牙修复体比如牙齿假体，包括牙冠、牙冠层、贴面、嵌体和高嵌体、桥接件、牙种植体、种植体修复体。相应地，术语“牙模型”包括用于口腔修复的牙齿假体或者可为部分或完全缺齿的患者情况的所有模型，比如全口义齿或局部义齿的模型。
[0070] 在一些实施例中，本发明采用具有相机、处理器、
电子数据存储单元以及显示器的系统实施。该相机可为标准相机、红外点阵投影探测器、泛光照明相机、结构光
三维扫描仪、标准红外探测器、超声成像装置、多普勒探测器或能够采集关于患者的牙齿的信息的任意其它适用的显示系统。该处理器可为具有一个或多个核的单个处理器或者为由总线、网络或其它数据链接联接的多个处理器。该电子数据存储单元可为适用于存储由系统生成的数据的任意形式的非暂时性计算机可读存储介质。该显示器可为适用于显示电子颜色或灰度图像的任意显示器。
[0071] 在一些实施例中，相机、存储器、电子数据存储单元以及数字显示器可为单个装置的组成部分。该单个装置可为智能手机、
平板电脑、
笔记本电脑、
个人数字助理或其它计算装置。
[0072] 在一些实施例中，该处理器通过可为有线或无线的网络与用于执行一个或多个计算步骤的外部处理器和/或网络连接电子数据存储单元通信。在一些实施例中，本发明采用
云计算以远程执行一个或多个计算步骤和/或采用远程存储用于远程实现数据存储以协作或远程分析。在一些实施例中，该系统包括多个图形用户
接口以允许多个用户查看和分析相同的数据。
[0073] 在一些实施例中，
操作系统以为一个或多个用户提供患者牙齿的虚拟牙模型显示，其可被调整为显示一个或多个牙齿或矫正调整的效果。在一些实施例中，这允许一个或多个用户观察“之前的”齿系图像和“之后的”齿系图像，“之前的”齿系图像即为患者齿系在牙齿或矫正手术之前的外观，“之后的”齿系图像即为在建议的牙齿或矫正手术之后的患者齿系的期望外观的显示。
[0074] 在一些实施例中，该系统通过以下步骤操作：采用相机采集关于患者齿系的信息、在处理器上建立患者齿系模型、在处理器上将建议调整后的齿系模型匹配至患者的齿系、为建议调整后的齿系涂色以匹配期望的真实调整后的颜色以及在显示器上显示建议调整后齿系在患者真实齿系中的匹配模型或者示出患者真实的脸部特征。关于患者齿系的信息、患者齿系的模型以及建议调整后齿系的模型可被存储在电子数据存储单元上。在一些实施例中，操作实时执行。
[0075] 在一些实施例中，用户接口被构造为使得用户可或者并排地或者全景地或者部分重叠地同时查看“之前的”齿系图像以及“之后的”齿系图像。
[0076] 其中，在本文中所采用的术语“非暂时性”是对计算机可读存储介质本身的限制，也就是说，其为有形的而不是单次的，这与对数据存储的持久性的限定相反。非暂时性计算机可读存储介质不一定永久地存储信息。
随机存取存储器(其可为易失性的、非易失性的、动态的、静态的等)、
只读存储器、闪存存储器、缓冲存储器或任意其它有形的、计算机可读的存储介质(同步的或非同步的)能够实现永久地存储信息。
[0077] 虽然本发明在上文通过部分参照一些优选实施例进行说明，但是必须理解的是可对该实施例的不同特征进行多次
修改和组合。所有的这些修改位于所附权利要求的范围内。
