通过反照率模型、系统和方法的增强现实内容渲染专利检索-触觉渲染渲染电脑图像专利检索查询-专利查询网

通过反照率模型、系统和方法的 增强现实内容渲染

阅读：551发布：2020-05-14

专利汇可以提供通过反照率模型、系统和方法的增强现实内容渲染专利检索，专利查询，专利分析的服务。并且提出一种用于渲染增强现实 (AR)内容的方法。利用物体的先验定义3D反照率模型来调整AR内容，以使其呈现出场景的自然部分。所公开的设备识别具有对应反照率模型的已知物体。所述设备将观察到的物体与已知的反照率模型进行比较，以确定被称为预估阴影(环境阴影)模型的内容变换。之后将该变换应用到所述AR内容上以生成调节内容，然后对调节的内容进行渲染并呈现给用户进行消费。，下面是通过反照率模型、系统和方法的增强现实内容渲染专利的具体信息内容。

权利要求

1.一种渲染增强现实内容的方法，包括：
由渲染装置获得与物理环境中的产品相关的反照率模型，所述反照率模型包括与所述产品的部分相对应的部分，其中，所述反照率模型的每个部分包括基于所述产品的相应部分选择的照明规则；
由所述渲染装置获得与所述产品相关的增强现实(AR)内容；由所述渲染装置根据所述产品的数字表示来确定所述产品的姿态或所述产品的一个或多个部分的姿态；
由所述渲染装置根据所述数字表示或所述反照率模型中的至少一个来确定所述产品的阴影数据；
使用所述反照率模型和所述阴影数据来确定所估计的对象阴影；
由所述渲染装置通过将所述估计的对象阴影应用于所述AR内容来生成环境调整的AR内容；以及
由所述渲染装置渲染所述环境调整的AR内容。
2.如权利要求1所述的方法，其中，所述产品的部分基于几何约束、识别特征、和匹配技术中的至少一项。
3.如权利要求1所述的方法，其中，所述AR内容包括应用、视频、图像、动画、3D渲染对象、视觉内容、音频内容和触觉内容中的至少一项。
4.如权利要求1所述的方法，其中，所述反照率模型包括3D反照率模型。
5.如权利要求4所述的方法，其中，所述预定义3D反照率模型包括计算机生成的对象模型。
6.如权利要求5所述的方法，其中，所述计算机生成的对象模型包括网格。
7.如权利要求5所述的方法，其中，所述计算机生成的对象模型包括所述产品的一部分的模型。
8.如权利要求1所述的方法，其中，所述反照率模型表示所述产品的至少一部分的已知反照率信息。
9.如权利要求1所述的方法，其中，所述反照率模型包括具有在所述产品内或上的位置的已知特征。
10.如权利要求9所述的方法，其中，通过将所述已知特征与从所述数字表示导出的相应特征配准，所述反照率模型进一步与所述姿态配准。
11.如权利要求1所述的方法，其中，所述反照率模型包括照明策略，所述照明策略包括与所述反照率模型的相应部分相关联的照明规则集。
12.如权利要求46所述的方法，其中，生成所述环境调整的AR内容包括将所述照明规则集中的至少一个应用于所述AR内容的与所述反照率模型的一部分相对应的一部分。
13.如权利要求11所述的方法，其中，所述照明规则针对面部特征、衣物、组织类型、基底和材料类型中的至少一项设置照明规则。
14.如权利要求1所述的方法，其中，所述反照率模型从由所述渲染装置在各种照明条件下捕获的多个训练图像中生成。
15.如权利要求1所述的方法，进一步包括由所述渲染装置根据所述产品的数字表示来确定特征。
16.如权利要求15所述的方法，其中，所述反照率模型从由所述渲染装置根据各种视点捕获的多个训练图像中生成。
17.如权利要求16所述的方法，其中，所述多个训练图像中的至少一个与从其中导出特征的所述产品的所述数字表示相对应。
18.如权利要求16所述的方法，其中，并行于根据所述数字表示确定所述产品的姿态，由所述渲染装置捕获所述训练图像，并且其中，随着完成每个新训练图像的姿态配准，在运行时更新所述反照率模型。
19.如权利要求15所述的方法，其中，根据所述数字表示来确定特征包括对所述数字表示应用至少一个特征检测算法。
20.如权利要求19所述的方法，其中，所述特征检测算法包括以下算法中的至少一个：
SIFT、BRISK、SURF、FAST、BRIEF、Harris Corners、Edges、DAISY、GLOH、HOG、EOG和TILT。
21.如权利要求19所述的方法，其中，获得所述AR内容包括基于与所述特征相关联的描述符来查找所述AR内容。
22.如权利要求15所述的方法，进一步包括所述渲染装置捕获所述数字表示。
23.如权利要求15所述的方法，进一步包括实时地跟踪从所述产品的所述数字表示中导出的所述特征中的至少一些。
24.如权利要求23所述的方法，其中，跟踪所述特征中的至少一些包括跟踪视频序列帧内的特征。
25.如权利要求23所述的方法，进一步包括响应于所述产品的移动来重新渲染所述环境调整的AR内容。
26.如权利要求23所述的方法，进一步包括以接近所述视频序列的帧率来重新渲染所述环境调整的AR内容。
27.如权利要求26所述的方法，其中，所述帧率至少为每秒30帧。
28.如权利要求15所述的方法，进一步包括：
使用所述估计的对象阴影和所述反照率模型来生成所述产品的预期渲染；
使用所述产品的所述数字表示和所述产品的所述阴影数据来识别所述数字表示中的一个或多个环境伪像；
由所述渲染装置渲染具有所述环境调整的AR内容的所述一个或多个环境伪像中的至少一些。
29.如权利要求1所述的方法，进一步包括通过应用包括环境照明图、噪声图和传感器误差图中的至少一个的传感器环境图来生成所述环境调整的AR内容。
30.如权利要求1所述的方法，其中，所述环境调整的AR内容包括动画。
31.如权利要求1所述的方法，其中，渲染所述环境调整的AR内容包括将所述环境调整的AR内容覆盖在所述产品的至少一部分的图像上。
32.如权利要求1所述的方法，其中，渲染所述环境调整的AR内容包括在相对于所述产品的至少一部分的显示器上呈现所述环境调整的AR内容。
33.如权利要求1所述的方法，其中，渲染所述环境调整的AR内容包括在相对于所述产品的空间位置处呈现所述环境调整的AR内容，所述空间位置从由所述估计的阴影暗示的环境特征中导出。
34.一种嵌入在非暂态计算机可读介质中的计算机程序产品，所述计算机程序产品包括用于渲染增强现实内容的指令，所述指令当被执行时将一个或多个计算机处理器配置用于执行包括以下操作的方法：
获得与物理环境中的产品相关的反照率模型，所述反照率模型包括与所述产品的部分相对应的部分，其中，所述反照率模型的每个部分包括基于所述产品的相应部分选择的照明规则；
获得与所述产品相关的增强现实(AR)内容；
根据所述产品的数字表示来确定所述产品的姿态；
根据所述数字表示或所述反照率模型中的至少一个来确定所述产品的阴影数据；
使用所述反照率模型和所述阴影数据来确定所估计的对象阴影；
通过将所述估计的对象阴影应用于所述AR内容来生成环境调整的AR内容；以及渲染所述环境调整的AR内容。

说明书全文

通过反照率模型、系统和方法的增强现实内容渲染

[0001] 本申请是申请日为2015年05月13日，申请号为CN201580038001.8的发明专利申请的分案申请，在此通过引用将原母案申请全部内容结合到本申请中。

[0002] 相关申请的交叉引用

[0003] 本申请要求了申请日为2014年5月13日，申请号为61/992,804的美国临时申请的优先权益。该申请的全部内容以引用的形式并入于此。

技术领域

[0004] 本发明的领域在于增强现实技术。

背景技术

[0005] 背景说明包含可帮助理解本发明的信息。其并非承认此处提供的任何信息均为现有技术或与所提出的发明相关，也并非承认任何明确或隐含地引用到的公开材料均为现有技术。

[0006] 随着基于相机的便携设备(例如，手机、平板电脑、游戏系统等等)的出现，对于增强或虚拟现实内容的期望也与日俱增。增强现实内容可以叠加在真实世界的物体的图像上以强化消费者的体验。例如，Gazzuolo递交于2001年6月29日的、标题为“Virtual Fitting Room”的美国专利6,546,309描述了这一种程序，通过该程序，消费者的尺寸将由基于身体的数学模型来确定。然后将该尺寸用于调整服装模型，然后可以将其叠加到所述消费者的图像上。Gazzuolo使用的方法允许所述消费者“虚拟地”试穿衣服。

[0007] 尽管在真实世界中的许多细分市场上存在着诸多叠加增强现实(AR)内容的实例，人们仍然可以确定该叠加AR内容是假的。原因在于该AR内容被渲染成与设备传感器所影像的真实世界的实际属性不匹配的离散的计算机生成的图像。

[0008] 另一些人尽力地修改内容以使其看起来更自然。Geiger等人于2011年6月30日递交的、标题为“Virtual Lens-Rendering Augmented Reality Lens”、公开号为2013/0002698的美国专利描述了基于环境光照度信息以修改场景光照属性的技术。在所述场景被渲染之时，该修改保证了额外的逼真度。

[0009] 仍有其他人尝试了使用物体信息来辅助修正图像。例如，Benitez等人于2006年11月21日国际递交的、标题为“Methods and Systems for Color Correction of 3D Images”的美国专利8,538,144探讨了使用在图像拍摄期间确定的反照率信息来修正颜色信息。此外，Ahmed et al.的标题为“Skin and Other Surface Classification using Albedo”的美国专利申请公开件2014/0085625使用了关于材料(例如，皮肤)类型的反照率信息以为物体确定反照率。

[0010] Moghaddam递交于2005年2月14日、标题为“Face Relighting for Normalization of Direction Lighting”的美国专利7,324,688使用反照率来确定来自输入图像的光照方向。Moghaddam使用皮肤反照率信息来建构一种来自人物脸部图像的反照率图，从该图中可以得到光照信息。

[0011] 在此提出的所有公开文件均以参考文献的形式并入本文，其并入程度如同每个单独的公开文件或专利申请被具体而单独地指明以参考文献的形式并入于此。并入的参考文献中的术语的定义或使用与本文所提出的术语的定义不一致或相反的地方，则以本文所提出的那个术语的定义为准而不使用参考文献中对该术语的定义。

[0012] 接下来的具体说明中包含可有助于理解本发明的信息。其并非承认此处提供的任何信息均为现有技术或与所提出的发明相关，也并非承认任何明确或含蓄地引用到的公开材料均为现有技术。

[0013] 在一些实施方式中，用于描述和请求保护本发明的特定实施方式的表示成份数量、性质(如浓度)、反应条件等的数字在一些情况中应当理解为被术语“大约”所修饰。相应地，在一些实施方式中，在书面描述和所附权利要求中阐述的数值参数是近似值，其可根据具体实施方式试图获得的预期性质而变化。在一些实施方式中，应根据所报告的有效数字的位数并结合采用普通的舍入方法来分析数值参数。尽管设定了本发明的一些实施方式的宽广范围的数值范围和参数是近似值，但特定示例中所阐述的数值将被尽可能精确的报告。本发明的一些实施方式中提供的数值可含有由于它们各自试验测量中建立的标准偏差而引起的某些误差。

[0014] 除非上下文中另有所指，否则在本文中所阐明的所有范围均应当解读为包含其端点，且开放式范围应当被解读为仅包含商业实用价值。同样地，所有列出的数值均应视为包含中间值，除非上下文中另有所指。

[0015] 如在本文的描述以及随后的通篇权利要求中所使用的，除非上下文另有明确说明，“一”、“一个”和“所述(该)”包括复数引用。此外，如在本文描述中所使用的，除非上下文另有明确说明，“在......中”的含义包括“在......中”和“在......上”。

[0016] 本文中对数值范围的记载仅仅意图用作个别地引用落在该范围内的每个单独数值的简写。除非在本文另有说明，每个单独数值被结合到说明书中，如同其在本文中被单独记载一样。除非本文另外指出或与上下文明显矛盾，可以以任何合适的顺序执行本文中所描述的所有方法。任何和所有示例、或相对于本文某些实施例提供的示例性语言(如“例如”)的使用仅仅意图更好地阐明本发明并且不造成对另外要求保护的本发明的范围的限制。说明书中的任何语言不应被解释为表示任何未要求保护的元件对实施本发明来说是重要的。

[0017] 本文公开的本发明的替代元件或实施例的分组不应被解释为是限制性的。每个组的成员可被引用和单独要求保护或与该组其它成员或本文所记载的其他元件进行任意组合。为了方便和/或专利性的原因，组中的一个或多个成员可被包括在组中或从组中删除。当任何这类包括或删除发生时，本说明书在此被认为包含改动后的组，从而满足所附权利要求书中所使用的所有马库什组的书面描述。

发明内容

[0018] 应该理解的是，存在有这样的情况，在该情况中有可能获知(或预估)先验物体的真正反照率；比如构造的物体(例如，玩具、汽车等等)。此类信息可以在给定渲染设备附近的真实环境的情境中以更现实的方式提供渲染增强现实内容。因此，仍继续存在基于例如反照率之类的已知物体性质来对增强现实内容进行渲染的需求。

[0019] 本发明主题提供可将增强现实内容显示在真实世界的物体的图像上的装置、系统和方法，其中增强现实(AR)内容将以真实世界环境中的一部分一样的方式呈现。本发明的一方面包括渲染AR内容的计算机实现方法。在一个实施方式中，所述方法包括获取物体的一个或多个先验定义3D反照率模型。所述反照率模型优选地包括关于所述物体的反射性质的信息以及所述模型的几何信息(例如，法向量)。所述AR模型还包括关于所述物体的已知特征。所述方法还包括从所述物体的数字表象中导出特征(例如，FAST、SIFT、Harris corners等等)，可能是包括物体的数字表象的图像或视频帧。所述渲染设备基于观察到的特征继续获取AR内容，所述AR内容包括有关其是如何相对于所述物体进行呈现的信息(例如，物体模型信息、已知特征、动画、程序指令等)。所述渲染设备可基于所述观察到的物体特征从所述数字表象中导出所述物体的姿态。所述渲染设备接着有可能基于对所述物体上的观察到的特征和并入于所述反照率模型中的已知特征进行的比较，将所述反照率模型与所述姿态进行匹配。所述渲染设备用所述数字表象和所述匹配的反照率模型来导出观察到的阴影(shading)。所述观察到的阴影用于导出预估阴影模型(在本文中有时表示为环境阴影模型)。在一些实施方式中，导出的传感器环境误差图包括传感器误差、物体扭曲失真或偏差(例如尘垢、刮痕、污迹)、或其他参数。所述传感器环境误差图指明了所述物体本该如何呈现和所述物体在所述传感器上是如何真实地呈现之间的误差。所述方法还包括通过将所述预估阴影模型应用到所述AR内容来生成环境调节的AR内容。因此，所述渲染设备将所述AR内容转换成外观与所述图像物体的外观相似的内容。最终，所述环境调节的AR内容可在供用户消费的设备上进行渲染。在一些实施方式中，可在环境误差图上识别出来的环境伪影也与所述AR内容一同进行渲染，以给予其更真实的感觉。

[0020] 从以下优选实施方式的详细描述中，根据用数字标识元器件的附图，本发明的各种物体、特征、方面和有益之处将得以更清晰易懂。

附图说明

[0021] 图1是用于渲染AR内容的方法的示意图。

[0022] 图2是用于追踪物体和重渲染AR内容的图1中方法的一部分的示意图。

[0023] 图3示出了由已知物体构造的3D反照率模型的特性。

[0024] 图4示出3D反照率模型与观察到的物体的姿态的匹配方式。

[0025] 图5是执行来获取调节的渲染增强现实内容的流程的示意图。

[0026] 图6是图5的预估阴影模型作为表面法线的函数的示意图。

[0027] 图7是可用于在考虑到环境误差图中识别到的伪影时调节增强现实的渲染的进一步流程的示意图。

[0028] 图8示出本发明的一个实施方式中可包含于或表示一个或多个渲染设备的计算机系统和/或其他用于执行包含于计算机程序产品的指令代码的计算机的例子。

具体实施方式

[0029] 应当注意的是任何指向计算机的语言均应视为包括计算设备的任意合适的组合，所述计算设备包括服务器、界面、系统、数据库、代理、对等设备、引擎、控制器、模块、或其他单独或协同运行的计算设备结构的类型。应当理解的是所述计算设备包括配置成执行储存在有形的、非瞬时性计算机可读存储介质(例如，硬盘驱动器、FPGA、PLA、固态硬盘、RAM、flash、ROM等等)上的软件指令的处理器。所述软件指令配置所述计算设备以提供任务、职责或其他如下文关于所公开的装置讨论到的功能。此外，所公开的技术可体现为包括非瞬时性计算机可读存储介质的计算机程序产品，所述非瞬时性计算机可读存储介质储存有所述软件指令，所述软件指令引起处理器执行与计算机的算法、程序、方法或其他指令的实施相关联的公开步骤。在一些实施方式中，各种服务器、系统、数据库、或界面交换数据均使用标准协议或算法，可能为基于HTTP(超文本传输协议、Hyper Text Transfer Protocol)、HTTPS(安全超文本传输协议)、AES(高级加密标准、Advanced Encryption Standard)、公开-专用密钥交换(public-private key exchange)、web服务API(网络服务应用程序接口、web service Application Programming Interface)、已知的金融交易协议、或其他电子信息交换方法。数据交换优选为在分组交换网络、互联网、LAN(局域网、Local Area Network)、WAN(广域网、Wide Area Network)、VPN(虚拟专用网、Virtual Private Network)、或分组交换网络的其他类型上执行。

[0030] 应当理解的是所公开的技术提供了许多有益的技术效果包括将反照率模型与观察到的物体进行匹配。基于该匹配，计算机设备可以确定传感器观察所述物体的条件。然后AR内容可以以反映出所述条件的方式进行呈现或渲染以供用户所消费。

[0031] 接下来的讨论中提到本发明的许多示例实施方式。尽管每个实施方式表示创造性元素的单个组合，但是本发明应当被理解为包括所述已公开元素的所有可能组合。因此，如果一个实施方式包括元素A、B和C，同时另一个实施方式包括元素B和D，那么本发明也视为包括另一个保留的A、B、C或D的组合，即便并未在此明确地进行论述。

[0032] 如在本文中用到的，除非上下文表明另有所指，术语“连接于”意在包含直接连接(其中两个元件互相连接互相接触)和间接连接(其中至少一个额外元件位于所述两个元件之间)。因此，术语“连接于”与“与…连接”作为同义词使用。

[0033] 接下来的讨论中从在玩具上覆盖AR内容的视角来呈现出本发明。对所述AR内容进行调节以使其在所述AR内容与真实世界物体的图像一并显示的时候与周围物体更自然地融合。所讨论的例子是有关于将玩偶的脸部的AR内容(例如，动画等)叠加到玩偶的图像上。应当理解的是，所公开的技术也可以应用于其他类型的物体，包括印刷媒体、医学影像、车辆、建筑物、电器、或者其他类型的物体。

[0034] 图1示出一种渲染AR内容的方法100。图3和图4提供了关于方法100中某些步骤的更多细节，并且将与方法100一同讨论。方法100表示通过配置或编程为根据所述及的步骤运转的渲染设备的一组步骤。所述渲染设备表示具有至少一个处理器和存储器的计算设备，所述存储器储存有引起所述设备如所公开的那样对AR内容进行渲染的软件指令。可配置或编程为如所述渲染设备一样运转的示例设备包括手机、智能手机、平板电脑、平板式手机、游戏机、静物或视频摄像机、车辆导航系统、机器人、安全系统、手持游戏设备、公用电话亭、电器、或计算设备的其他类型。

[0035] 方法100可选地以步骤110开始，其包括创建物体的先验定义3D反照率模型。所述模型可以通过各种依赖于所述物体性质的技术来创建。在图3示出的例子中，所述物体包括玩偶301.所述反照率模型306可以基于所述玩偶的已知几何形态以及组成该玩偶的材料的已知特性进行创建。因此，所述模型可以基于所述玩偶的计算机生成模型与一叠表达该玩偶材料性质的材料清单来进行构造。

[0036] 为简便示意，图3也示出了反照率模型306的图形表示302。应当理解的是反照率模型306优选为3D模型，有可能还包括网格。所述反照率模型包括多个在所公开的技术中有用的特性。首先，所述模型包括分布在所述模型表面上的法向量307，其中，所述法向量307垂直于所述表面。在每个法向量处，所述模型还包括用于对应位置的反照率信息。所述反照率信息表示所述物体在该点的真正反射性质。例如，关联于玩偶脸部皮肤材料的反照率信息可以表示为轻微非反射性粗糙材料，而关联于玩偶眼部材料的反照率信息则可以表示为高反射性玻璃或塑料珠子。因此，遍及所述模型表面的所述反照率信息可以是不连续的。在所述反照率模型信息可被计算为表面几何形状的函数的方式中，所述反照率信息也可能是连续的。这样的方法提供出程序性生成的反照率模型。所述程序(例如，函数、软件指令、规则、几何形状等等)可以进行转移，而不是将整个的反照率模型转移至渲染设备。因此，所述渲染设备可以在本地程序式地生成所述反照率模型，而不用引起用于转移先验构建的模型的带宽费用。在带宽受限或昂贵的情境下，此方法被认为是有益的；例如，有可能是在限制数据服务的手机上。

[0037] 所述3D反照率也可以分解为多个关联于所述物体的分部。在示出的例子中，包含在所述模型内的所述分部包括两个眼分部304和一个脸分部303。应当理解的是，所述3D模型可以包括多个作为支持所述AR内容的渲染所必须的分部。进一步的，每个分部可包括单独的光照策略，所述光照策略包括关联于所述3D反照率模型的对应分部的光照规则集。所述光照规则管理AR内容的对应方面在呈现(也有可能为覆盖)在显示设备上时应如何渲染。例如，由于皮肤表面的哑光效果，所述玩偶的皮肤或脸部可使用朗博光照(Lambertian lighting)技术。玩偶的眼睛包括高反射玻璃或塑料，在这种情况下，所述光照规则可包括用于镜面高光的指令。额外的光照规则可包括Phong光照、Phong明暗处理，高斯滤波(Gaussian filter)、或光照算法的其他类型。所述光照规则可关联于脸部特征、武器、面板、衣着类商品、车辆特征、印墨类型、纸巾类型、基底、游戏特征、材料类型、或其他类型的物体特征。

[0038] 所述3D反照率模型也可以包括配准特征305，使得所述模型可以合适地调整为对应的真实世界物体。用于图像数据的所述配准特征可包括从诸如SIFT、SURF、FAST、BRIEF、Harris Corners、Edges、DAISY、GLOH、HOG、EOG、TILT或其他类似的图像处理程序中导出来的特征。此类特征是有益的，因为其允许所述渲染设备识别正确模型以及识别该领域中的物体。在所述反照率模型中的每个特征可包括描述符值、模型内的3D坐标、或其他信息。

[0039] 所述3D反照率模型可通过除所述渲染设备之外的其他设备(可能为物体摄取引擎的一部分)在离线处理期间完成构建。例如，当玩偶的设计者在CAD系统中建造该玩具的模型时，该CAD系统建造了反照率模型作为计算机生成物体模型。在所述计算机生成物体中的网格的每个多边形可包括与对应反照率信息在一起的法向量。还应当理解的是，所述计算机生成模型可仅仅表示所述物体的一部分；例如所述玩偶的脸。因此，所述3D反照率模型可表示下列的一个或多个：玩具、车辆、脸、买得起的产品、印刷媒体、自动贩卖机、电器、植物、符号、纸巾、病人、游戏组件、人物或人物的脸、或其他类型的物体。在一个可选实施方式中，所述设备可以在运行时建造出所述玩偶的3D表象。通过平均在多个视角(优选为变化的光照条件下)上的特征的传感器观察结果，可在运行时生成对于所述反照率模型的预估。

[0040] 步骤115包括所述渲染设备获取所述物体的所述先验定义3D反照率模型。接着玩偶的例子，所述渲染设备可包括已经配置有与所述玩偶交互的应用程序(app)的平板电脑，其中所述应用程序包括所述玩偶的所述反照率模型。在其他场景下，所述渲染设备可如步骤120所示出的那样捕捉所述物体的数字表象(例如，图像、视频、音频等)。然后所述渲染设备可使用如Bonyck等人于2001年11月5日递交的、标题为“Image Capture and Identification System and Process”的美国专利7,016,532所描述的已知技术来从所述数字表象中识别出所述物体。一旦识别出来，所述渲染设备可使用从所述数字表象中导出的特性(例如，图像特性、描述符等)来在数据库或其他类型的数据存储器上检索所述反照率模型。此外，如上引用的，在一个可选实施方式中，所述设备可以通过平均在多个视角(优选为可变的光照条件下)上的特征的传感器观察结果来在运行时创建所述玩偶的3D表象，以生成对于所述反照率模型的预估。

[0041] 步骤130包括所述渲染设备从所述物体的所述数字表象中导出特征。依着所述数字表象的形态，所述的导出特征可以采取许多不同的形式。至于图像数据，所述渲染设备可如步骤135示出的那样将一个或多个特征检测算法应用到所述数字表象以生成所述特征。示例算法可包括SIFT(参见Lowe于2000年3月6日递交的、标题为“Method and Apparatus for Identifying Scale Invariant Features in an Image and Use of Same for Locating and Object in an Image”的美国专利6,711,293)、BRISK、SURF、FAST、BRIEF、Harris Corners、edges、DAISY、GLOH、Histograms of Gradients(HOG)、Edge Orientation Histograms(EOG)、TILT(参见Ma等人于2010年11月29日递交的、标题为“Robust Recovery of Transform Invariant Low-Rank Textures”的美国专利8,463,073)。应当理解的是，所述导出特征可以与前面引用的用于获取所述3D反照率模型的特征相似。

[0042] 步骤140包括所述渲染设备基于在步骤130中导出的特征获取关于所述物体的AR内容。所述AR内容可根据关联于所述物体的描述符索引至数据库或数据结构。例如，包括所述玩偶的计算机动画的所述AR内容可存储到运行着应用程序的平板电脑的存储器中。对应于所述玩偶的所述动画可以在足够多的来自所述数字表象的描述符与用于在存储器中索引所述动画内容的那些相匹配时被检索到。在一些实施方式中，所述AR内容，或所述AR内容的指针，可在支持k-最近邻(kNN)查找的数据结构内索引到；可能为溢出树(spill tree)或k-d树。例如，如步骤145所示出的，所述方法还包括以关联于所述特征的描述符为基础查找所述AR内容。更进一步的，所述AR内容可以从数据库、远程查找、搜索引擎、或其他数据存储器上获取。

[0043] 所述AR内容可如上面讨论的一样保留于所述渲染设备的本地。可选地，所述AR内容可以远程存储。在这样的实施方式中，所述渲染设备可使用地址(可能为所述kNN查找的搜索结果)来获取所述AR内容。示例的地址可包括URLs、文件句柄、URIs、IP地址、索引、文件对象标识符(DOI)、或其他类型的地址。

[0044] 所述AR内容本身可包括广谱的内容。更优选的内容包括可经由与所述渲染设备连接的显示屏幕渲染和呈现出来的视觉内容。示例的AR内容包括游戏、应用程序、视频、图像、动画、3D渲染物体、实物网格、动画网格、复古动画、医学影像、衣服、化妆品、眼镜、家具、穿戴配件(例如耳环、项链等)、人物、头像、宠物、优惠券、贮存架、标记、解剖体、声波图、或其他项目。尽管更优选的AR内容包括视觉内容，但是所述AR内容也可以包括其他类型的形态；例如音频、触感等。注意的是，在可选实施方式中，可以在所示出的方法流程中稍后查找所述AR内容，例如，在导出预估阴影模型167之后。一般来说，在上下文中并未指明执行一个步骤取决于使用另一个步骤的完成结果的情况下，步骤可以不同于所示出的顺序来执行。

[0045] 步骤150包括所述渲染设备从所述数字表象中导出所述物体的姿态。所述姿态可以基于信息的若干片段进行确定。在一些实施方式中，所述渲染设备可以存储包括如前面所讨论的已知参考特征的物体模型(可能为所述3D反照率模型)。一旦所观察到的特征从所述数字表象中导出，则可以摆好所述物体模型的姿态以使得所述已知参考特征匹配于或相关于所述观察到的特征。在所述AR内容意在覆盖于所述物体的图像上的实施方式中，所述姿态信息是有用的。当所述AR内容意在相对于所显示图像中的所述物体并置时，所述姿态信息也可以是有用的。回到玩偶的例子上，所述AR内容可能是位于所述图像中该玩偶指向或凝视着的小精灵。应当理解的是，所述姿态相对于捕捉所述数字表象的所述传感器进行取向；例如摄像机捕捉物体的图像。

[0046] 回想一下，所述3D反照率模型也可以包括已知参考特征。所述反照率模型特征可在步骤160上使用，其包括将所述反照率模型与所述姿态进行匹配来设置用于求解物体阴影模型的方程组。所述反照率模型可以如步骤165所示通过将在所述反照率模型内的已知特征匹配于从所述数字表象中导出的特征来进行匹配。一旦所述反照率模型和所述图像完成匹配，则两者之间的差异可以用于导出观察到的阴影数据。

[0047] 图4示出将玩偶脸部的3D反照率模型与所述玩偶的观察到的图像进行匹配。图4示出物体的数字表象401，在这种情况下是玩偶的脸部。所述物体特征405可以使用已知图像特征算法来从数字表象中导出，所述已知图像特征算法例如SIFT、FAST等。数字表象401的某些特征405可以与某些来自反照率模型306的表象302的训练特征305进行匹配。所匹配的特征可用于将所述图像401与反照率模型306(在图4中以图形标示302表示)进行匹配。特别注意的是，不要求使用所有特征或它们的描述符，也不要求所有特征或它们的描述符是相同的。

[0048] 回到图1，步骤167包括所述渲染设备从所述观察到的阴影数据中导出所述预估阴影模型。所述观察到的阴影数据对应于一个或多个获取所述数字表象的感应器是如何感知在所述传感器的环境中的所述物体的阴影，以及如何从那样的数据中导出所述预估阴影模型以将预估阴影应用到有关于所述图像物体的AR对象上。所述预估阴影模型可包括有关于所述物体的像素级信息，因为所述物体阴影数据是从所述观察到的姿态以及先验定义反照率模型导出的。例如，关联于所述物体的显示图像的像素的光线可从所述计算过的来自所述反照率模型的反照率和在捕捉到的所述姿态上的像素的真实的、观察到的色彩值中导出。所述预估阴影模型可视为将计算机图形信息从其理想状态转换成在传感器观察环境中符合所述阴影状态的一种转换。

[0049] 在这一点上，所述渲染设备具有关于所述物体的信息的两个片段。所述渲染设备具有理解所述物体在环境中如何真实地出现在所述捕捉所述数字表象的所述传感器上，以及所述物体通过先验定义3D反照率模型在最开始的理想状态下看起来是怎样的。该信息的组合被用于预估所述阴影模型的未知参数且被具体化为所述预估物体阴影模型。

[0050] 所述预估阴影模型携带大量关于光照环境的信息，而没必要去将信息的底层来源/类型分离出来。例如，所述预估阴影模型捕捉在所述目标物体上的光线的性质而没必要去确定真正的光源。这是通过确定经由所述传感器观察到的物体和基于所述反照率模型的所属物体的已知理想条件之间的差异(也许是像素级的)来实现的。然而，环境误差图可通过对比真实表象(基于所述物体的捕捉图像的数字表象)与预期表象(基于有关于所述反照率模型的预估阴影模型)导出。这样的误差图可以识别出有关于所述传感器或以其他方式存在于环境中的伪影。作为这个的一个例子，假设这样一个场景，在该场景中手机的镜片上的表面留有指纹污迹。尽管所述污迹并不会影响环境中的光照(及此后所述物体的预期阴影)，但是它会影响所捕捉到的数字表象的性质。此外，所述污迹会影响到所捕捉到的图像将会如何显示或渲染给用户。所述传感器环境误差图将解释这样的传感器相关的异常而不明确地预估这种异常。所述传感器-误差方法通常是有益的，因为其提供了一种轻量化方法，该方法用于确定在经由传感器的拍摄点处的所述环境伪影对捕捉数据的影响。应当理解的是，所述传感器，以摄像机为例，是在数据离开环境进入设备的最后一个点。因此，所述传感器收集的数据表示所述物体的观察到的环境状态。因此，在可选的实施方式中(且如图7的上下文中进一步示出的)，所述环境误差图可用于补充图1所示的方法，以识别将被包括在AR内容的渲染中的传感器环境异常以给予其更逼真的感觉。

[0051] 所述预估阴影模型和/或传感器环境误差图可包括多个特征，尽管这并非必须的。一个可能的特征是所述传感器环境图可包括环境光照图。所述光照图可通过对比所述物体的所述反照率模型和所述物体的观察到的颜色来导出。此外，如上所述，所述传感器误差图可指示与标称状态的偏差；污迹、镜片形状、划痕等。更进一步的，传感器环境图也可以包括指示在获取所述数字表象上的环境影响的噪声图。至于噪声，考虑一个包含所公开技术的系统，其经由超声波换能器捕捉所述数字表象。所述与组织相关的噪声，例如反射，将有助于所述噪声图。在这样的实施方式中，以物体组织密度为例，其可提供所述物体的反照率模型的声学等效物。这样的实施方式中示出除了预估阴影模型之外，或在预估阴影模型之外，环境模型或图可以用于影响AR内容如何进行渲染以使其感觉更逼真。还有另一个实施方式可包括传感器环境图，其包括从所述物体的自然状态观察到的偏差或失真。例如，玩偶的脸部可包括划痕或笔画。在渲染时这些特征可以被保留并整合到AR内容中。所述渲染设备可以基于已知物体模型和观察物体之间的差异来观察这种失真。所述已知物体模型可以被整合到所述反照率模型中，或者与所述反照率模型区别开来。

[0052] 步骤170包括通过将所述预估阴影模型应用到所述AR内容中来生成环境调节的AR内容。如前面所讨论的，所述预估阴影模型(或有时在本文中作为环境阴影模型引用到的)表示一种将所述AR内容从其更理想的状态转变成更好地与渲染设备如何观察所述物体保持一致的状态。所述AR内容可以通过步骤175将来自所述3D反照率模型的一个或多个光照规则集应用到对应于所述模型的分部的所述AR内容的分部上。所述规则集到所述AR内容的正确分部的匹配可以通过图形约束(例如多边形、矩形边界框等)、识别特征(例如描述符、关键点等)、或其他匹配计数来实现。

[0053] 作为一个例子，考虑这样一个场景，在该场景中玩偶(假设为公主玩偶)与可下载的增强现实应用程序一起售卖。该应用程序可允许小朋友与公主在茶话会的情节设定下谈话。例如，小朋友使用平板电脑捕捉所述玩偶的实时视频。作为回应，所述应用程序将AR内容覆盖成以所述玩偶的脸部正在说或回应该小朋友的问题的动画。所述动画的嘴唇、眼睛、和皮肤可以根据它们自身在所述反照率模型内的规则单独地进行调节，以使得它们能够以更自然的方式呈现给小朋友。

[0054] 步骤180包括所述渲染设备渲染所述环境调节的AR内容。所述渲染过程包括根据从所述传感器环境图信息生成的规则和系统中的其他因素来转换所述AR内容。例如，所述姿态信息可以用于解释视线或隐藏表面的消除。此外，捕捉所述数字表象的所述传感器的所述位置或方位可用于将所述AR内容转化为用于渲染的正确位置。

[0055] 步骤190包括将所述渲染过的环境调节的AR内容呈现在显示器上。所述显示器可与所述渲染设备构成整体。例如，所述渲染设备可以是如前面的例子中的平板电脑，其中该平板电脑就是所述渲染设备。在其他实施方式中，所述显示器可能是远离于所述渲染设备的。有可能所述显示器设备是一个客户端计算机的计算机屏幕，而所述渲染设备是网页服务器或通过互联网提供其渲染服务的服务中心。应当理解的是，所述渲染过的环境调节的AR内容可以如步骤195中所描述的一样覆盖在所述物体的至少一部分的图像上。可选地，所述调节过的AR内容可以相关于所述物体的所述位置呈现在所述显示器上。也有可能的是，所述调节过的AR内容可能在当前的视野之外且不在屏幕上。当出现在视野内的时候，那么所述调节过的内容可以被呈现出来。或许所述玩偶的AR内容可以包括相对于所述玩偶的位置坐着的定期不在屏幕上的朋友的图像。AR内容也可以根据所述预估环境图的特性进行放置。例如，该方法可以用于在远离所述物体的设定半径处渲染云，并将其定位以使得其总是位于所述环境图中的最暗点。

[0056] 考虑到观察目标物体的所述环境可能是相当动态的，所述渲染设备的某些实施方式如图2论及的那样提供所述物体的实时追踪。在某种意义上来说，图2中示出的追踪能力可被视为有关方法100的步骤180中讨论到的所述渲染设备的一部分。

[0057] 步骤200追踪从所述数字表象中导出的至少某些特征。应当理解的是，追踪的特征并不一定要对应用于识别第一地点处的所述物体的所述特征。例如，所述渲染设备可使用SIFT特征和描述符来识别所述物体，然后使用FAST特征以进行追踪。步骤205预估所述追踪物体的更新姿态且更新当前物体阴影模型。步骤210重渲染所述环境调节的AR内容以响应于所述特征的活动，尤其是有关于所述捕捉传感器的。所述重渲染内容可以顾及所述物体在姿态上的差异，在脸部、预测活动的差异，或关联于所述物体或特征的活动的其他方面的差异。在一个实施方式中，步骤205重预估了所述姿态以更新所述阴影模型，且步骤210着重在所述视频序列的帧(例如，10fps、20fps、30fps、60fps等)上重渲染了所述环境调节的AR内容，这进一步强化了用户的自然体验。

[0058] 所公开的技术提升了趣味性。一个可能的性能包括使用物体的已知的反照率模型(例如，人群、车辆等等)并将这些物体整合到旧视频序列中。例如，可以将一个已知的存在于旧视频序列中的物体构建成3D反照率模型(例如，黑白相片、老情景喜剧等等)。通过将所述物体的所述旧视频录像与所述新建的反照率模型进行比较，渲染设备可以确定将整合的AR内容转换成所述视频录像的所需变换。此类已知物体可包括现存的建筑物、汽车、家具、或其他在所述序列中的物体。

[0059] 在一个购物环境中，零售商或产品供应商可以使用所公开的技术来丰富消费者的购物体验。所述产品供应商可以提供他们的产品的已知反照率模型，例如饮料罐。当消费者影像到所述饮料罐，所述AR内容可以整合到所述环境中并且允许所述消费者与所述饮料罐进行交互。也许会提供一款使用已知反照率模型的应用程序来呈现出一个AR烹饪助手，该烹饪助手提供如何在烹饪时使用的诀窍。

[0060] 图5在图形上示出了本发明的一个实施方式中实施的图像处理流程。获取玩偶脸部的3D反照率模型501，然后将其与通过捕捉到的(观察到的)所述玩偶脸部的图像502进行匹配。注意的是，图像502包括伪影511，该伪影511可能产生于平板电脑或者其他拍摄所述图像的设备的镜片上的污迹。生成误差图来说明所述伪影且可以用于图7的上下文中进一步讨论到的AR内容的补充渲染。回到图5，回到使用反照率模型501从所述图像502提取所述观察到的阴影503。预估阴影模型504如接下来所描述的那样从观察到的阴影503中获取。观察到的阴影503用于修订AR内容505，以顾及在所述设备渲染所述AR内容的特殊环境中的光照条件。特别地，阴影模型504结合AR内容505产生重照亮的、渲染的内容506。

[0061] 以下的讨论中从数学视角结合图5中示出的图像处理流程来呈现本发明。

[0062] 一般来说，图像I种的色彩通道c在像素上的数值Ic(p)可模拟成反照率和阴影(其中而 )的函数：

[0063] Ic(p)＝Albedoc(p)*Shadingc(p) 等式1

[0064] 为简便标记且不失于一般性，假设图像中的所有像素对应于一个已知的物体。在实际中，阴影模型的预估仅依赖于对应于已知物体的图像像素的子集。在将图像中的每个像素与所述3D反照率模型完成匹配之后，因此对于像素p来说，我们有其3D位置其法线以及其对于每个色彩通道的反照率

[0065] 在所述模型上给定每个3D位置的反照率，那么在匹配之后，我们可以提取出所观察到的阴影，经由：

[0066] ObservedShadingc(p)＝Ic(p)/Albedoc(p) 等式2

[0067] 这有可能是因为我们在每个观察到的像素p和其3D点X之间具有对应关系，因此：

[0068] ObservedShadingc(p)＝Ic(p)/Ac(p) 等式3

[0069] 我们也在每个p上具有3D法线N。在许多情况下，我们可以复制由于环境光照引起的阴影，仅以作为法线的函数，因此：

[0070] Shadingc(p)＝Sc(N) 等式4

[0071] 其中在等式4中的N为对应于p的法线，且Sc：

[0072] 我们还可以如第二顺序函数里那样接近真正阴影模型：

[0073] Sc(N)＝NT*Qc*N 等式5

[0074] 其中Qc是3x3矩阵，且NT是N的转置矩阵。

[0075] 然后我们可以通过最小化下列函数预估Qc

[0076]

[0077] 其中i是来自使用2D到3D对应的所有图像像素的集的像素索引值。我们可以通过标准的最小平方估计来求解Qc。注意的是，Qc可以基于我们具有对应的地方，即遍及所述模型或只在特征点处，进行确定。

[0078] 可以设想将该任务构造为更复杂的优化问题，其可以包括从某种分布推断加性噪声模型，对优化函数的残差或图像域中的残差的稀疏性约束，或者结合关于传感器或环境的其他假设作为附加约束。

[0079] 一旦我们为每个图像通道预估了阴影模型参数Qc，那么我们可以根据所述阴影模型通过简单地将所述预估的Qc和所述AR物体的反照率模型替换成Sc(N)*Ac(X)来渲染任何AR内容的投影(即，我们具有真实的3D集合形状和反照率模型Ac)。

[0080] 以示意为目的，图6在图形上示出通过Qc预估的所述阴影模型可以形象化为显示在球体或立方体表面上的法线的函数以形成阴影环境图504N。

[0081] 图7在图形上示出用于将环境异常整合到AR内容的渲染中的高级处理流程。图5的预估阴影模型504可以用于生成已知3D物体的预期渲染702。然后所述预期外观702和所述观察到的图像502之间的残差可以根据已知物体的几何形状反向投影以创建误差的环境图701。这样的图在图7中被图示为显示反向投影的误差伪影的纹理立方体。在这种情况下，从观察到的图像502来的伪影511示出在图701中。然后图701可以用于补充渲染506以生成包括所述伪影511的渲染706。这可以使得AR渲染706看起来更加真实。图7的实施方式有助于在镜片和/或涉及伪影的其他类型传感器上捕捉污迹或划痕。然而，所示出的误差图的类型可捕捉其他类型的由所述环境导致的可视伪影。同时其他类型的误差图可以以物体的预期渲染和真实图像之间的差异为基础进行创建。

[0082] 图8示出根据本发明的一个实施方式的计算机系统8000的实例，所述计算机系统8000可包含于或标识一个或多个渲染设备和/或其他用于执行包含在计算机程序产品8060内的指令代码的计算机。计算机程序产品8060包括在电子可读介质中的可执行代码，其可指示一个或多个诸如计算机系统8000的计算机去执行完成在本文中提及的实施方式中所示例的方法步骤的程序。所述电子可读介质可以是任何用电子方法存储信息且可本地或远程(例如经由网络连接)存取的非瞬时性介质。所述介质可包括多个地理上分散的介质，每个介质被配置成在不同的位置和/或在不同的时间存储可执行代码的不同部分。所述电子可读介质中的可执行指令代码指示所示的计算机系统8000执行本文所示的各种示例性任务。用于指导执行本文描述的任务的可执行代码通常可以在软件中实现。然而，本领域技术人员能够理解的是，计算机或其他电子设备可以在不脱离本发明的条件下，利用在硬件中实现的代码来执行许多或全部上述的任务。本领域技术人员能够理解的是，在本发明的精神和保护范围之内，可以在可执行代码上发现许多能实现所示例方法的许多种变化。

[0083] 包含在计算机程序产品4060的所述代码或代码的复制件可驻留于一个或多个交互地连接于系统4000的永久存储介质(未单独示出)以在永久存储设备8070和/或用于通过处理器8020执行的存储器8010中进行加载和储存。计算机系统8000还包括I/O子系统8030和外围设备8040。I/O子系统8030、外围设备8040、处理器8020、存储器8010、和永久存储设备8060通过总线8050连接。就像永久存储设备8070和任何其他可包含计算机程序产品8060的永久存储器一样，存储器8010是非瞬时性介质(即便其像一般的易失性计算机存储器设备一样运行)。此外，本领域技术人员可以理解的是，除了存储计算机程序产品8060以执行本文中所述的处理之外，存储器8010和/或永久存储设备8060还可以配置成存储各种在本文中引用和示出的数据元素。

[0084] 本领域技术人员应当理解的是，计算机系统8000示出的仅为系统的一个实例，其中可实现根据本发明的一个实施方式的计算机程序产品。作为可选实施方式的一个示例，根据本发明实施方式的包含在计算机程序产品中的指令的执行可以分布在多个计算机上，例如分布式计算网络的计算机上。

[0085] 对于本领域技术人员来说，很明显的是，在没有背离本文中的发明的条件下，在那些已描述的方案之外仍可能有许多种的变化。因此，除了所附权利要求的精神之外，本发明的主题不受限制。而且，在解读说明书与权利要求之时，所有的术语均应以其联系于上下文的最广泛可能性来进行解释。具体地，术语“包括”和“包含”应解读为以非排他方式指代元件、构件、或步骤，表示所提及的元件、构件、或步骤可以存在或视被利用、或与其他未在此明确提及的元件、构件、或步骤进行结合。其中提及从由A、B、C…和N组成的集合中选出的某物中的至少一个，该文本应解读为仅需要来自所述集合的一个元件，而不是A加N，或B加N等等。

标题	发布/更新时间	阅读量
一种SPH多相流触觉交互研究的方法	2020-05-25	730
基于特征相似度的触觉再现轮廓渲染真实感定量评估方法	2020-05-12	657
渲染具有柔性关节移动的错觉的触觉	2020-05-25	210
一种带有力/触觉反馈的虚拟现实飞机座舱系统	2020-05-11	487
用于增强现实中用户交互的方法和装置	2020-05-12	366
一种高度集成半导体显示系统	2020-05-15	339
用非音频数据在耳机上渲染触觉	2020-05-20	357
实时视频上的数字触摸	2020-05-22	248
一种基于静电力的触觉形式数字水印嵌入及检测方法	2020-05-19	852
基于眼睛跟踪和生理测量而生成和显示360度视频的方法和装置	2020-05-11	921

通过反照率模型、系统和方法的增强现实内容渲染

通过反照率模型、系统和方法的增强现实内容渲染

技术领域

背景技术

发明内容

附图说明

具体实施方式

该功能需要专业版企业版VIP权限，您可以：