用于减轻环境因素的环境修改专利检索-光声成像医学影像学诊断设备和程序专利检索查询-专利查询网

用于减轻环境因素的环境 修改

阅读：512发布：2023-02-15

专利汇可以提供用于减轻环境因素的环境修改专利检索，专利查询，专利分析的服务。并且本发明涉及用于减轻环境因素的环境修改。一种用于深度成像的方法，包括从深度相机获取深度图像；标识使深度图像中的一个或多个部分中的深度信息无效的环境因素；以及输出环境修改以减轻该环境因素。，下面是用于减轻环境因素的环境修改专利的具体信息内容。

权利要求

1.一种数据保持子系统(94)，所述数据保持子系统(94)保持可由逻辑子系统(92)执行以进行以下操作的指令：
从深度相机获取(42)深度图像；
标识(48)使所述深度图像中的一个或多个部分中的深度信息无效的一个或多个环境因素；以及
输出(62)环境修改以减轻所述环境因素。
2.如权利要求1所述的数据保持子系统，其特征在于，还保持如下指令：所述指令可由所述逻辑系统执行以将所述深度图像的包括无效深度信息的一个或多个区域分配给来自多个预定问题类别的一问题类别。
3.如权利要求2所述的数据保持子系统，
其特征在于，将区域分配给所述问题类别，因为该区域包含呈人类目标的服装物品形状的无效深度像素，并且该区域在暴露在红外测试光下时的测试图像与该区域在未暴露在所述红外测试光下时的控制图像相比未改变一阈值量；以及
其中被输出以减轻所述环境因素的环境修改包括向所述人类目标推荐移动得更接近于所述深度相机。
4.如权利要求2所述的数据保持子系统，
其特征在于，将区域分配给所述问题类别，因为该区域包含呈圆形的被近深度像素环绕的无效深度像素，并且该区域在暴露在红外测试光下时的测试图像为高强度的，该强度与该区域在未暴露在所述红外测试光下时的控制图像相比减小一阈值量；以及其中被输出以减轻所述环境因素的环境修改包括向所述人类目标推荐移动得远离于所述深度相机和/或减少所述深度相机的视野中的环境光。
5.如权利要求2所述的数据保持子系统：
其特征在于，将区域分配给所述问题类别，因为该深度图像具有高噪声水平，并且围绕所述区域的视野在暴露在红外测试光下时的测试图像具有高强度，并且与所述视野在未暴露在所述红外测试光下时的控制图像相比未改变一阈值量；以及
其中被输出以减轻所述环境因素的环境修改包括标识所述视野中的光源以及向所述人类目标推荐减少来自所述光源的光。
6.如权利要求2所述的数据保持子系统，
其特征在于，将区域分配给所述问题类别，因为该区域包含以小组形式的无效深度像素，并且环绕该区域的样本在未暴露在红外测试光下时的控制图像与该样本在暴露在所述红外测试光下时的测试图像相比减小一阈值量；以及
其中被输出以减轻所述环境因素的环境修改包括向所述人类目标推荐移动得更接近于所述深度相机和/或减少所述视野中的光。
7.如权利要求2所述的数据保持子系统，其特征在于，所述环境修改是基于所述问题类别来选择的。
8.如权利要求1所述的数据保持子系统，其特征在于，所述指令可被执行以通过输出用于呈现给人类目标的通信消息来输出所述环境修改，所述通信消息提供关于减轻所述环境因素的信息。
9.如权利要求1所述的数据保持子系统，其特征在于，所述指令可被执行以通过输出用于供环境修改系统执行的控制消息来输出所述环境修改，使得所述环境修改系统更改环境以减轻所述环境因素而不需要人类干预。
10.一种用于深度成像的方法，包括：
利用深度相机对场景成像(42)，所述深度相机被配置为测量所述深度相机与所述场景中的表面之间的距离；
在测试模式下，从所述深度信息获取(54)测试图像，在所述测试图像中，所述场景暴露在红外测试光下；
在控制模式下，从所述深度信息获取(56)控制图像，在所述控制图像中，所述场景未暴露在所述红外测试光下；以及
输出(62)环境修改以减轻通过将所述测试图像与所述控制图像相比较所标识出的环境因素。

说明书全文

用于减轻环境因素的环境修改

技术领域

[0001] 本发明涉及用于减轻环境因素的环境修改。

背景技术

[0002] 视频游戏系统可以利用深度相机来捕捉游戏玩家的图像，并且将该信息转换成深度图，所述深度图用于对游戏玩家的虚拟骨架进行建模。通常，深度相机使用所投影的红外光来确定所成像的场景中的物体的深度。当环境因素扰乱了相机接收所投影的红外光这一能力时，可能妨碍对场景中的物体深度的精确确定。

发明内容

[0003] 提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所请求保护的主题不限于解决在本公开的任一部分中提及的任何或所有缺点的实现。

[0004] 因此，公开了一种系统，其用于从深度相机获取深度图像；标识使深度图像中的一个或多个区域中的深度信息无效的一个或多个环境因素；以及输出环境修改以减轻该环境因素。附图说明

[0005] 图1根据本发明的一实施例示出查看所观察的场景的深度图像分析系统。

[0006] 图2在某种程度上示意性地示出用虚拟骨架来对人类目标建模。

[0007] 图3是描述用于标识使深度信息无效的环境因素以及输出环境修改以减轻该环境因素的方法的流程图。

[0008] 图4示意性地示出了深度相机所捕捉的人类目标的测试图像和控制图像。

[0009] 图5是预定问题类别和基于该问题类别的修改的示例。

[0010] 图6示意性地示出根据本发明的实施例的计算系统。

具体实施方式

[0011] 诸如3D视觉游戏系统等深度图像分析系统可包括能够观察一个或多个玩家的深度相机。当深度相机捕捉所观察的场景(即深度相机的视野内的所成像场景)内的玩家的图像时，那些图像可被解释并用一个或多个虚拟骨架来建模。如下面更详细描述的那样，环境中的因素可能导致深度相机所捕捉的深度图像出现问题，造成这些深度图像中的无效深度信息区域。例如，场景中的高水平的环境光可能干扰对玩家的成像。另外，如果所成像的玩家穿着低反射率的服装，则深度相机精确地对整个玩家成像的能力可能更低。这些环境因素可能扰乱对玩家的成像和随后的建模。

[0012] 图1示出了深度图像分析系统10的非限制性示例。具体而言，图1示出了游戏系统12，该游戏系统12可以用于玩各种不同的游戏、播放一个或多个不同的媒体类型、和/或控制或操纵非游戏应用和/或操作系统。图1还示出了诸如电视机或计算机监视器之类的可用于向游戏玩家呈现游戏视觉的显示设备14。作为一个示例，显示设备14可用于在视觉上呈现人类目标18用其移动来控制的虚拟化身16。深度图像分析系统10可包括捕捉设备，诸如在视觉上监视或跟踪所观察的场景24内的人类目标18的深度相机22。参考图2和6更详细地讨论深度相机22。

[0013] 人类目标18这里被示为所观察的场景24内的游戏玩家。人类目标18由深度相机22来跟踪，使得人类目标18的移动可被游戏系统12解释成可被用于影响游戏系统12正在执行的游戏的控制。换言之，人类目标18可使用他或她的移动来控制游戏。人类目标18的移动可以被解释成基本上任何类型的游戏控制。人类目标18的某些移动可被解释成用于除控制虚拟化身16以外目的的控制。作为非限制性示例，人类目标18的移动可被解释为操纵虚拟赛车、开火虚拟武器、以第一人视角导航虚拟世界、或者操纵模拟世界的各个方面的控制。移动还可被解释为辅助游戏管理控制。例如，人类目标18可以使用移动来结束、暂停、保存、选择级别、查看高分、与其他玩家交流等。

[0014] 深度相机22还可以用于将目标移动解释成游戏领域之外的操作系统和/或应用控制。操作系统和/或应用的基本上任何可控方面都可以由人类目标18的移动来控制。图1中所示出的场景是作为示例来提供的，但并不意味着以任何方式进行限制。相反，所示出的场景旨在展示可以在不背离本公开的范围的情况下应用于各种各样不同的应用的一般概念。

[0015] 此处描述的方法和过程可以结合到各种不同类型的计算系统。图1示出了游戏系统12、显示设备14和深度相机22的形式的非限制性示例。一般而言，深度图像分析系统可包括图6中以简化形式示出的计算系统90，计算系统90将在下文更详细地讨论。

[0016] 图2示出了简化的处理流水线，其中所观察的场景24中的人类目标18被建模为虚拟骨架38，该虚拟骨架38可被用于绘制显示设备14上的虚拟化身16和/或用作控制游戏、应用、和/或操作系统的其他方面的控制输入。可以理解，处理流水线可包括比图2中所描述的更多的步骤和/或图2中所描述的替换步骤，而不背离本发明的范围。

[0017] 如图2所示，人类目标18和所观察的场景24中的其余部分可由诸如深度相机22之类的捕捉设备来成像。深度相机可为每一像素确定在所观察的场景中的表面相对于深度相机的深度。在不偏离本公开的范围的情况下，可以使用基本上任何测深(depth finding)技术。示例测深技术参考图6的捕捉设备98来更详细地讨论。

[0018] 为每个像素所确定的深度信息可用于生成深度图36。这样的深度图可采用基本上任何合适的数据结构的形式，包括但不限于包括所观察场景的每个像素的深度值的矩阵。在图2中，深度图36被示意性地示为人类目标18的轮廓的像素化网格。这一例示是出于理解简明的目的、而不是出于技术准确性的目的。可以理解，深度图一般包括所有像素(不仅是对人类目标18进行成像的像素)的深度信息，并且深度相机22的透视不会得到图2中所描绘的轮廓。

[0019] 虚拟骨架38可从深度图36导出，以提供对人类目标18的机器可读表示。换言之，从深度图36导出虚拟骨架38以便对人类目标18建模。虚拟骨架38可以按任何合适的方式从深度图中导出。在某些实施例中，可将一个或多个骨架拟合算法应用于深度图。本发明与基本上任何骨架建模技术兼容。

[0020] 虚拟骨架38可包括多个关节，每一关节对应于人类目标的一部分。在图2中，虚拟骨架38被示为十五个关节的线条画。这一例示是出于理解简明的目的、而不是出于技术准确性的目的。根据本发明的虚拟骨架可包括基本上任何数量的关节，每个关节都可与基本上任何数量的参数(例如三维关节位置、关节旋转、对应身体部位的身体姿势(例如手张开、手合上等)等)相关联。应当理解，虚拟骨架可采取如下数据结构的形式：该数据结构包括多个骨架关节中的每个关节的一个或多个参数(例如包含每个关节的x位置、y位置、z位置和旋转的关节矩阵)。在一些实施例中，可使用其他类型的虚拟骨架(例如线框、一组形状图元等等)。

[0021] 如图2所示，可将虚拟化身16作为虚拟骨架38的视觉表示呈递在显示设备14上。由于虚拟骨架38对人类目标18进行建模，并且对虚拟化身16的呈递基于虚拟骨架38，因此虚拟化身16用作人类目标18的可查看的数字表示。由此，虚拟化身16在显示设备14上的移动反映人类目标18的移动。

[0022] 在一些实施例中，仅仅虚拟化身的部分将呈现在显示设备14上。作为一个非限制性示例，显示设备14可呈现人类目标18的第一人视角，并因此可呈现可通过虚拟化身的虚拟眼睛来查看的虚拟化身的各部分(例如握有方向盘的伸出的手、握有步枪的伸出的手臂、抓住三维虚拟世界中的物体的伸出的手等)。

[0023] 尽管将虚拟化身16用作可经由深度图的骨架建模由人类目标的移动来控制的游戏的一示例方面，但这并不旨在为限制性的。人类目标可以用虚拟骨架来建模，而虚拟骨架可用于控制除虚拟化身以外的游戏或其他应用的各方面。例如，即使虚拟化身没有被呈递到显示设备，人类目标的移动也可控制游戏或其他应用。

[0024] 回到图1，示出了一示例性实施例，其描绘了可能导致深度图像中的无效深度信息的一个或多个环境因素。窗户26允许阳光进入所观察的场景24。另外，灯28为打开的。所成像场景中过量的光可能淹没被深度相机用于确定该场景中的表面深度的所投影红外光，从而导致深度图像中的无效深度信息区域。这些区域可能导致虚拟骨架的不精确的建模以及不可预测的计算机控制。人类目标的高和低反射率也可能导致无效深度信息区域。在该示例中，人类目标18佩戴着高反射性的警长徽章32和低反射性材料腰带34。

[0025] 图3示出了一种用于标识导致无效深度信息的环境因素以及输出修改以减轻该环境因素的方法40。在42，方法40包括从深度相机获取深度图像。在一些实施例中，深度相机被配置为测量深度相机与场景中的表面之间的距离并且输出作为对这样所测量的距离的指示的深度图像。在一些实施例中，深度相机被配置为获得被板外计算系统用于测量深度相机与场景中表面之间的距离的信息。本公开与两种布置都兼容——也就是说，从深度相机获取深度图像可以直接地或者通过诸如计算系统90之类的中间深度处理器来进行。

[0026] 接着，在44，用虚拟骨架对深度图像所成像的人类目标进行建模，这在上面参照图2予以了描述。

[0027] 在46，确定是否已经检测到对人类目标建模的失败。对人类目标建模的失败可能是由于不能被定位的一个或多个骨架关节、以低置信度报告的一个或多个骨架关节位置等等造成的。

[0028] 如果在46未检测到用虚拟骨架对人类目标建模的失败，则方法40返回到44，在那里，继续用虚拟骨架对人类目标进行建模。如果在46检测到用虚拟骨架对人类目标建模的失败，则在48标识使深度图像的一个或多个区域中的深度信息无效的环境因素。可以以任何合适的方式来标识这样的环境因素。如下面作为示例所描述的那样，在一些实施例中，深度图像的特性和/或由深度相机所收集的其他信息可以被分析以标识已知是由特定环境因素(例如过多阳光或其他红外光、低反射率服装、高反射率服装和/或物理环境内的对象放置)导致的之前所识别的特性。

[0029] 如在52所示，用于标识环境因素的一种非限制性选项包括：标识负责的无效深度像素群集，以及确定该群集的形状。如果该群集包含高于阈值量的无效深度像素，则该群集将被标识为无效深度信息区域。该阈值可以被设置成任何静态和/或动态的量。例如，在一些实施例中，36个相邻像素的这一静态阈值可以被认为是无效深度信息区域。

[0030] 在54，当所成像场景被暴露在红外测试光下时(例如在测试模式期间)，该相机获取该场景的测试图像。在一些实施例中，该红外测试光可以掠过整个场景。在一些实施例中，红外测试光可以瞄准要考虑的特定像素区域。红外测试光可以从被深度相机用于测量深度信息的相同源中生成或者从辅助测试源中生成。

[0031] 在56，当所成像场景未被暴露在红外测试光下时(例如在控制模式期间)，相机获取该场景的控制图像。该控制图像可以紧接在测试图像之前和/或之后获取。通过这种方式，可以减少或消除除测试光的存在以外的各图像之间的差异。参考图4更详细地描述测试图像和控制图像。测试图像与控制图像之间的差异可以被分析和用于标识妨碍骨架建模的环境因素。

[0032] 在58，将深度图像的包括无效深度信息的一个或多个区域分配给来自多个预定问题类别的问题类别。这样的分配可以基于多种不同的信息，包括但不限于无效深度像素群集、测试图像、以及控制图像。

[0033] 一旦已经标识出环境因素，则在62输出环境修改以减轻该环境因素。该环境修改是基于上面在步骤58被确定并将参考图5予以更详细的描述的问题类别来选择的。

[0034] 如在64所示，可以作为用于向人类用户呈现的通信消息来输出该修改。这样的通信消息可以用于提供可被人类用户用于减轻环境因素的信息。例如，该通信消息可以指示人类用户关闭百叶窗、关闭灯、移动到更接近相机之处、改变服装等等。该通信消息可以采取下列形式：要通过一个或多个扬声器播放的音频消息、要显示在显示设备上的视觉消息、或者基本上任何其他形式。该通信消息可以以任何合适的方式格式化，以供通过任何合适的设备进行回放/呈现。在一些实施例中，该通信消息可以被实现为从计算系统发送给合适的呈现设备(例如显示设备、扬声器等等)的数字消息。

[0035] 附加地或可替代地，该环境修改可以在66作为控制消息输出以供环境修改系统执行，使得环境修改系统自动地更改该环境以减轻环境因素，而无需人类干预。在这种情况下，控制消息可以被格式化以供与环境修改系统兼容。作为非限制性示例，控制消息可以被配置为致使环境修改系统自动地关闭百叶窗、自动地关闭灯等等)。

[0036] 图4示意性地示出了从深度相机获取的人类目标18的示例测试图像68和示例控制图像72。这一例示是出于理解简明的目的、而不是出于技术准确性的目的。能够理解，测试和控制图像可以包括所有像素的信息、而不是仅仅对人类目标18成像的像素的信息。此外，由深度相机在测试图像时间段和控制图像时间段期间记录的信息被示意性地表示成不同的网格填充。在实际中，测试图像和控制图像可以是灰度图像、彩色图像或其他合适的图像，这些图像可以被表示成合适的数据结构，比如具有与每个像素相对应的强度值的矩阵。可以使用深度相机的被用于测量深度信息的相同部分来获取这些测试图像，和/或可以使用深度相机或辅助相机的另一部分来获取这些测试图像。

[0037] 如在左边示意性示出的那样，测试图像68可以在人类目标18被暴露在红外测试光下时拍摄。作为一个示例，测试图像68的每个像素都可以是未经处理的灰度级强度。在图4中，未经处理的灰度级强度被描绘成与人类目标18相对应的像素化的网格。在该示例中，警长的徽章32由高反射性材料制成，并且导致测试图像中的饱和像素。相反，腰带34由低反射率材料制成，并且导致具有极小或不具有灰度级强度的像素。

[0038] 如在右边示意性示出的那样，控制图像72可以在人类目标18未暴露在红外测试光下时拍摄。如上所述，可以将控制图像与测试图像相比较以评定可能影响深度图像分析的环境因素。

[0039] 如上面介绍的那样，每个无效深度像素区域都可以被分配给一问题类别。这些区域例如可以基于下列各项中的一个或多个被分配给所述类别：无效深度像素区域的大小、形状和/或位置、以及测试图像与控制图像之间的差异。图5示意性地示出了多个预定义的问题类别(例如问题类别A、问题类别B、问题类别N)。

[0040] 如图5所示，每个问题类别都具有相应的环境修改(例如修改A、修改B和修改N)。环境修改可以包括通信消息以减轻导致无效像素区域的环境因素。附加地或可替代地，环境修改可以包括在没有人类干预的情况下修改环境的控制消息。

[0041] 下面提供问题类别和相应修改的非限制性示例。

[0042] 问题类别的第一示例是人类目标上的低反射率材料。人类目标上的低反射率材料可能使得尤其是在人类目标与深度相机相距相对远时难以用虚拟骨架对该人类目标建模。低反射率材料可以基于下列各项被标识：无效像素区域的大小、形状和/或位置、和/或测试图像与控制图像相比的相对红外光饱和度。例如，如果包含无效深度像素的区域是人类目标的服装物品的形状，并且测试图像的与所述无效像素相对应的区域与控制图像的相同区域相比未改变一阈值量，则该区域可以被分配给低反射率问题类别。

[0043] 低反射率问题类别可以与如下的环境修改相关联：该环境修改被设计为减轻低反射率材料对计算系统用虚拟骨架对人类目标建模这一能力所产生的影响。作为一个示例，该解决方案可以包括：将人类目标移动得在物理上更接近于深度相机。因此，与低反射率问题类别相关联的环境修改可以是指示人类目标向深度相机移动的通信消息。在一些场景中，该修改可以附加地或可替代地包括指示人类目标移除被标识为具有低反射率的服装物品的通信消息。

[0044] 问题类别的第二示例是人类目标上的高反射性材料。人类目标上的高反射性材料可能使得尤其是在人类目标接近于深度相机和/或在所成像的场景中存在大量环境光时难以用虚拟骨架对该人类模型建模。人类目标上的高反射性材料可以基于下列各项被标识：无效像素区域的大小、形状和/或位置和/或测试图像与控制图像相比的相对红外光饱和度。包含无效深度像素的区域可以在下列情况下被分配给人类目标问题类别上的高反射性材料：该区域具有圆形形状，被近深度(near-depth)像素环绕，和/或测试图像的与该无效深度像素区域相对应的区域具有呈圆形的高强度像素，其中这些像素在控制图像的相同区域中减小一阈值量。

[0045] 高反射性材料问题类别可以与如下的环境修改相关联：该环境修改被设计为减轻高反射率材料对计算系统用虚拟骨架对人类目标建模这一能力所产生的影响。因此，用于减轻高反射性材料的环境修改的一个示例可以是指示人类目标移动得远离于深度相机的通信消息。附加地或可替代地，可以指示用户减少存在于所成像场景中的环境光。

[0046] 问题类别的第三示例是总体高环境光。总体高环境光可能使得深度相机难以区分旨在捕捉深度信息的所投影的红外光和存在于所成像场景中的环境光。换言之，环境光可能使场景饱和，由此致使所投影的光较不有效。这可能导致难以对人类目标建模。高环境光源的示例包括：窗户、天窗、灯等等。总体高环境光可以通过深度图像中的高总噪声水平来标识，其中所成像场景中的表面的深度信息不易与背景区分。所成像场景的控制图像的像素饱和度与所成像场景的测试图像相比可能未减小一阈值量，因为来自所投影的红外光的信号与来自环境光的信号相比可能未强得足以被检测到。

[0047] 与总体高环境光相关联的环境修改可以是如下的通信消息：该通信消息标识导致该环境光的光源和/或指示用户通过遮住窗户、将灯调暗等等来减少环境光。光源的标识可以基于最高饱和度像素区域在控制图像和/或测试图像中的相对位置。附加地或可替代地，环境修改可以是致使环境修改系统自动调整环境光的控制消息(例如通过合上百叶窗和/或将灯调暗)。

[0048] 问题类别的第四示例是低角度阳光。低角度阳光问题类别可能是由于低角度阳光进入所成像场景并且产生跨人类目标的局部化光条纹造成的。该光条纹可能导致无效深度像素区域，从而扰乱用虚拟骨架对人类目标的建模。包含无效深度像素的区域可以在下列情况下被分配给低角度阳光问题类别：该区域是特定和局部化的无效深度像素条纹；以及测试图像的与该无效深度像素区域相对应的区域具有呈条纹形状的高强度像素，其中这些高强度像素在控制图像的相同区域中未减小一阈值量。与低角度阳光问题类别相关联的环境修改的示例可以是向用户推荐例如通过合上百叶窗来阻挡低角度阳光。

[0049] 问题类别的第五示例是点光源。示例点光源包括卤素灯和白炽灯。点光源可能导致无效深度像素区域，其中该区域对应于该光源照射在人类目标上的区域。包含无效深度像素的区域可以在如下情况下被分配给点光源问题类别：该区域具有圆形形状，并且该区域的测试图像具有呈圆形的高强度像素，其中这些像素在控制图像的相同区域中未减少一阈值量。环境修改可以包括指示用户关闭所标识出的光源的通信消息。

[0050] 问题类别的第六示例是低的信号环境光比(signal-to-ambient)。低的信号环境光比可能在所成像场景中的环境光为高的和/或人类目标与深度相机相距相对远时发生。低的信号环境光比可以通过如下方式被标识出：深度图像具有多个小组的无效深度像素；
以及控制图像中的图像像素强度与测试图像相比减少一阈值量。与该问题类别相关联的环境修改的示例是如下的通信消息：该通信消息包括向人类目标推荐移动得更接近于深度相机和/或减少存在于所成像场景中的环境光。

[0051] 除了上面列举的示例以外，还存在如下场景：在该场景中，深度图像可能包含不扰乱人类目标的成像的一个或多个无效深度像素区域。这样的问题类别的一个示例是背景中的非反射性表面，比如处于深度相机的范围以外的墙壁。在该示例中，无效深度像素区域是所成像场景的背景的大群集，并且测试图像中的低强度像素在控制图像中未改变一阈值量。不扰乱人类目标的建模的问题类别的另一示例是图像场景中的镜面反射面，比如镜子或玻璃窗。镜面反射面可能导致几何形状的无效深度像素区域。测试图像的与所述无效深度图像区域相对应的区域可能具有在控制图像的相同区域中未改变一阈值量的低强度像素。由于这两种类别都仅仅影响背景而不是所成像的人类目标，因此这些类别不必对应于特定的环境修改。然而，当处理深度图像时，可以考虑到这些问题类别的存在。例如，可以从深度图像中减去远距离的背景和/或镜面反射面以简化处理。

[0052] 在某些实施例中，可将以上所描述的方法和过程绑定到包括一个或多个计算机的计算系统。具体而言，此处所述的方法和过程可被实现为计算机应用、计算机服务、计算机API、计算机库、和/或其他计算机程序产品。

[0053] 图6示意性示出了可以执行上述方法和过程之中的一个或更多个的非限制性计算系统90。以简化形式示出了计算系统90。应当理解，可使用基本上任何计算机架构而不背离本公开的范围。在不同的实施例中，计算系统90可以采取大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。

[0054] 计算系统90包括逻辑子系统92和数据保持子系统94。计算系统90可以任选地包括显示子系统96、捕捉设备98和/或在图6中未示出的其他组件。计算系统90还可以任选地包括诸如下列用户输入设备：例如键盘、鼠标、游戏控制器、相机、话筒和/或触摸屏等等。

[0055] 逻辑子系统92可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造的部分。可实现此类指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所需结果。

[0056] 逻辑子系统可包括被配置成执行软件指令的一个或多个处理器。另外地或替换地，逻辑子系统可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统可以任选地包括遍布两个或更多设备的独立组件，所述设备可远程放置和/或被配置为进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。

[0057] 数据保持子系统94可包括一个或更多个物理、非瞬时设备，这些设备被配置成保持数据和/或可由该逻辑子系统执行的指令，以实现此处描述的方法和过程。在实现这样的方法和过程时，可以变换数据保持子系统94的状态(例如，以保持不同的数据)。

[0058] 数据保持子系统94可包括可移动介质和/或内置设备。数据保持子系统94尤其是可以包括光学存储器设备(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁存储器设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)。数据保持子系统94可包括具有以下特性中的一个或多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可以将逻辑子系统92和数据保持子系统94集成到一个或更多个常见设备中，如应用专用集成电路或片上系统。

[0059] 图6还示出以可移动计算机可读存储介质102形式的数据保持子系统的一方面，可移动计算机可读存储介质102可用于存储和/或传输可执行以实现本文描述的方法和过程的数据和/或指令。可移动计算机可读存储介质102尤其是可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘形式。

[0060] 可以明白，数据保持子系统94包括一个或多个物理非瞬态设备。相反，在一些实施例中，本文描述的指令的各方面可以按瞬态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本公开有关的数据和/或其他形式的信息可以通过纯信号传播。

[0061] 在包括显示子系统96时，显示子系统96可用于呈现由数据保持子系统94保持的数据的视觉表示(例如，虚拟化身和/或三维虚拟世界)。由于此处所描述的方法和过程改变由数据保持子系统保持的数据，并由此变换数据保持子系统的状态，因此同样可以变换显示子系统96的状态以在视觉上表示底层数据的改变。例如，计算系统90可被配置为呈现驾驶游戏以供在显示子系统96的显示设备上显示。由此，计算系统90可包括显示输出以将驾驶游戏界面输出到显示设备。显示子系统96可以包括使用实际上任何类型的技术的一个或多个显示设备。可将这样的显示设备与逻辑子系统92和/或数据保存子系统94组合在共享封装中，或这样的显示设备可以是经由显示输出连接到逻辑子系统的外围显示设备。

[0062] 在包括通信子系统时，通信子系统可以被配置成将计算系统90与一个或多个其他计算设备可通信地耦合。通信子系统可包括与一个或多个不同的通信协议相兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置为经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中，通信子系统可允许计算系统90经由诸如因特网之类的网络发送消息至其他设备和/或从其他设备接收消息。

[0063] 计算系统90还可包括被配置成获得一个或多个目标的深度图像的集成和/或外围捕捉设备98。在任一种情况下，计算系统90可包括外围输入以从深度相机接收深度图像并将接收到的深度图像传递到逻辑子系统以供处理。捕捉设备98可被配置成通过任何合适的技术(例如飞行时间、结构化光、立体图像等)捕捉具有深度信息的视频。这样，捕捉设备98可包括深度摄像机、视频摄像机、立体摄像机、和/或其他合适的捕捉设备。

[0064] 例如，在飞行时间分析中，捕捉设备98可以向目标发射红外光，然后使用传感器来检测从目标的表面反向散射的光。在一些情况下，可以使用脉冲式红外光，其中可以测量出射光脉冲和相应的入射光脉冲之间的时间并将该时间用于确定从该捕捉设备到目标上的特定位置的物理距离。在一些情况下，出射光波的相位可以与入射光波的相位相比较以确定相移，并且该相移可以用于确定从该捕捉设备到目标上的特定位置的物理距离。

[0065] 在另一示例中，飞行时间分析可用于通过经由诸如快门式光脉冲成像之类的技术分析反射光束随时间的强度，来间接地确定从该捕捉设备到目标上的特定位置的物理距离。

[0066] 在另一示例中，捕捉设备98可利用结构化光分析来捕捉深度信息。在这样的分析中，图案化光(即被显示为诸如网格图案、条纹图案或星座点之类的已知图案的光)可以被投影到目标上。在落到目标的表面上以后，该图案可能变为变形的，并且可以研究该图案的这种变形以确定从该捕捉设备到目标上的某一位置的物理距离。

[0067] 在另一示例中，捕捉设备可以包括两个或更多个物理上分开的相机，这些相机从不同角度查看目标以获得视觉立体数据。在这种情况下，该视觉立体数据可以被解析以生成深度图像。

[0068] 在其他实施例中，捕捉设备98可利用其他技术测量和/或计算深度值。此外，捕捉设备98可以将所计算的深度信息组织为“Z层”，即与从深度相机沿其视线延伸到目标的Z轴垂直的层。

[0069] 在某些实施例中，可将两个或更多像机整合到一个集成捕捉设备中。例如，可将深度像机和摄像机(例如RGB摄像机)整合到共同的捕捉设备中。在某些实施例中，可协同使用两个或更多分开的捕捉设备。例如，可使用深度像机和分开的摄像机。当使用摄像机时，该摄像机可用于提供：目标跟踪数据、对目标跟踪进行纠错的确认数据、图像捕捉、面部识别、对手指(或其他小特征)的高精度跟踪、光感测和/或其他功能。

[0070] 要理解，至少一些目标分析和跟踪操作可以由一个或多个捕捉设备的逻辑机来执行。捕捉设备可以包括被配置成执行一个或多个目标分析和/或跟踪功能的一个或多个板载处理单元。捕捉设备可包括固件以帮助更新这样的板上处理逻辑。计算系统90可任选地包括诸如控制器104和控制器106之类的一个或多个输入设备。输入设备可被用于控制计算系统的操作。在游戏的上下文中，诸如控制器104和/或控制器106之类的输入设备可被用于控制游戏的那些不是通过这里所述的目标识别、跟踪和分析方法和过程来控制的方面。在某些实施例中，诸如控制器104和/或控制器106之类的输入设备可包括可用于测量控制器在物理空间中的移动的加速计、陀螺仪、红外目标/传感器系统等中的一个或多个。在某些实施例中，计算系统可任选地包括和/或利用输入手套、键盘、鼠标、跟踪垫、轨迹球、触摸屏、按钮、开关、拨盘、和/或其他输入设备。如将理解的，目标识别、跟踪和分析可被用于控制或扩充游戏或其他应用的常规上由诸如游戏控制器之类的输入设备控制的方面。在某些实施例中，这里所述的目标跟踪可被用作对其他形式的用户输入的完全替代，而在其他实施例中，这种目标跟踪可被用于补充一个或多个其他形式的用户输入。

[0071] 应该理解，此处所述的配置和/或方法在本质上是示例性的，并且，由于可能存在多个变体，所以这些特定实施例或示例不具有限制意义。本文中所述的具体例程或方法可表示任意数量的处理策略中的一个或多个。由此，所示的各个动作可按所述的顺序执行、按其他顺序执行、并行地执行、或者在某些情况下被省略。同样，可改变上述过程的次序。

[0072] 本公开的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合，和此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效物。

标题	发布/更新时间	阅读量
一种卷绕电池的质量检测方法	2020-12-01	3
基于光子计数的三维距离图像时域实时去噪方法	2020-07-17	3
一种荧光探针及其制备方法、应用及应用方法	2021-02-20	1
一种照明装置和方法	2020-07-31	5
一种基于光场成像技术的影像仪数字聚焦方法	2021-06-15	0
一种荧光介孔硅球的制备方法	2022-04-09	2
一种用于支气管疾病早期诊断的荧光内窥镜系统	2021-09-05	0
基于Unity3D采集数据的模拟成像方法	2021-06-23	1
一种带无人飞机和机器人的抵近侦检车	2022-05-05	2
基于GPU的雷达前视成像方法	2022-08-10	1

用于减轻环境因素的环境修改

用于减轻环境因素的环境修改

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：