技术领域
[0001] 以下描述的示例
实施例涉及一种对象学习和/或识别方法和系统，更具体地讲，涉及一种可基于学习的分类树和单个
深度图像识别对象的对象学习和/或识别方法和系统。
背景技术
[0002] 感测身体移动并控制
用户界面(UI)的技术有可能主动地用于控制交互式视频，并且还有可能用作当前的基于图形的游戏的输入单元。
发明内容
[0003] 前述和/或其他方面通过提供一种对象识别系统来实现，该对象识别系统包括：输入单元，被构造为接收作为输入的表示将被分析的对象的深度图像；以及处理单元，被构造为通过使用分类树识别所述对象的可见对象部分和隐藏对象部分。
[0004] 前述和/或其他方面通过提供一种分类树学习设备来实现，该分类树学习设备产生被构造用于识别将被分析的对象的可见对象部分和隐藏对象部分的分类树。该分类树学习设备可包括被构造为基于与对象相关联的
训练数据产生分类树的学习单元。
[0005] 前述和/或其他方面通过提供一种对象识别方法来实现，该对象识别方法包括：接收作为输入的表示将被分析的对象的深度图像；通过使用分类树从深度
图像识别所述对象的可见对象部分和隐藏对象部分。
[0006] 前述和/或其他方面通过提供一种用于产生分类树的分类树学习方法来实现，分类树被构造为被对象识别系统用于从深度图像识别将被分析的对象的可见对象部分和隐藏对象部分。该方法可包括基于与该对象相关联的训练数据产生分类树。
附图说明
[0007] 应当结合附图考虑以下对一个或多个示例实施例的描述，其中：
[0008] 图1示出根据示例实施例的由对象识别系统执行的对象识别方法；
[0009] 图2至图6示出根据示例实施例的可见对象部分和隐藏对象部分的示图；
[0010] 图7a示出根据示例实施例的在此被表示为用示例分类学习设备实现的分类树学习方法；
[0011] 图7b示出根据示例实施例的分类树学习设备的学习单元的构造的
框图；
[0012] 图7c示出根据示例实施例的在此被表示为用示例分类学习设备实现的、用于通过使用光线投射方案产生训练数据的分类树学习方法；
[0013] 图7d和图8示出根据示例实施例的在此被表示为用示例分类学习设备实现的、用于通过使用训练数据学习分类树的分类树学习方法；
[0014] 图9示出在此被表示为用图7b的示例学习单元实现的、用于学习分类树的学习方法；
[0015] 图10a示出根据示例实施例的对象识别设备的构造的框图；
[0016] 图10b示出在此被表示为用图10a的示例识别设备实现的、用于通过使用多个学习的分类树对输入图像进行识别的对象识别方法；
[0017] 图11示出在此被表示为用图10a的示例对象识别设备实现的对象识别方法；
[0018] 图12示出根据示例实施例的在此被表示为用示例对象识别设备实现的、用于通过使用多个学习的分类树识别对象的对象识别方法；
[0019] 图13示出根据示例实施例的在此被表示为用示例对象识别设备实现的、用于通过使用存储在学习的分类树中的信息识别将被分析的对象的对象识别方法；
[0020] 图14a示出根据示例实施例的在此被表示为用示例对象识别设备实现的、用于基于输入对象的大小与学习期间所使用的三维(3D)对象模型之间的差异增强对象识别性能的对象识别方法；和
[0021] 图14b示出根据示例实施例的在此被表示为用示例对象识别系统实现的确定叶
节点的对象识别方法。
具体实施方式
[0022] 现在将详细论述示例实施例，这些示例实施例的示例在附图中示出，其中，相似的标号始终指示相似的元件。以下描述示例实施例，以便参照附图解释示例实施例。
[0023] 图1示出根据示例实施例的由对象识别系统执行的识别方法的方面。参照图1，对象识别系统可通过使用将被分析的对象的单个深度图像111识别该对象的可见部分和该对象的隐藏部分这两个部分，并且可基于通过分析该对象而获得的结果来构造该对象的体积。具体地讲，对象识别系统可通过使用对象的单个深度图像、而不是通过使用多个深度图像来识别对象的多个组成部分。例如，当对象是人类时，人类的身体部分可表示例如手、手臂、腿、躯干等这样的组成部分，可表示对象的多个组成部分。各种对象(例如人类、动物、静物等)可被分析。
[0024] 对象识别系统可包括分类树学习设备和对象识别设备，以下更详细地讨论这两个设备。因此，图1的识别方法还可表示分类树学习处理和对象识别处理这两个处理。分类树学习设备可学习分类树121和122，对象识别设备可使用所学习的分类树121和122。在操作120中，对象识别设备可通过使用由分类树学习设备产生并学习的分类树121和122从单个深度图像111识别对象的可见对象部分和隐藏对象部分。在这种情况下，根据示例实施例，对象识别系统可产生并学习分类树121和122，并且可识别对象的可见对象部分和隐藏对象部分。根据需要，可如图1所示那样使用多个分类树，或者可仅使用单个分类树。可见对象部分可以是指图像的表示对象被直接观看的一部分，隐藏对象部分可以是指图像的基于图像的
角度、捕捉方向、对象的内部深度等被间接观看的一部分。
[0025] 根据示例实施例，对象识别设备可在操作130中通过使用所学习的分类树121和122检索对象的可见层和对象的一个或多个
隐藏层。在操作131中，对象识别设备可从可见对象部分和隐藏对象部分的识别结果对深度图像的直接可见部分(是深度图像的可见部分)的标识符(ID)和深度图像的非直接可见部分(是深度图像的隐藏部分)的ID进行分类。
这在图1中用所示的分类的或识别的单个可见层、第1不可见(或隐藏)层和第2不可见(或隐藏)层表示。在操作132中，对象识别设备可检索隐藏部分中的每个隐藏部分的深度值。这在图1中用所示的检索的单个可见层、第1不可见(或隐藏)层和第2不可见(或隐藏)层表示。在操作140中，对象识别设备可重构对象的体积，或者可基于检索的信息估计对象的
姿态。
[0026] 对象识别系统可应用于所有类型的要求识别对象的装置。例如，对象识别系统可用在智能TV(包括大型显示器(LFD))、智能电话、移动装置(包括
照相机、平板、笔记本计算机、一体式个人计算机(PC))、PC(包括台式机)等中。
[0027] 另外，对象识别系统可具有不同应用。例如，对象识别系统可应用于例如运动游戏(exergame)、虚拟运动、虚拟娱乐、图形动画、视频对象探索、工效学、
人机交互、监督、用于消费类
电子装置的
自然用户界面(UI)等技术领域。例如，对象识别系统可用作用于控制音乐视频市场、音乐广播市场、健康视频市场等中的交互式视频的技术。
[0028] 图2至图6示出根据示例实施例的可见对象部分和隐藏对象部分的示图。可见对象部分可表示用眼睛从通过捕捉对象而获取的图像(例如，彩色图像或深度图像)直接可见的部分，隐藏对象部分可表示该对象的被其他部分
覆盖和隐藏的后部部分或内部部分。例如，当对象被图像
传感器捕捉时，该对象的承载图像传感器201的传感器平面上的图像的一部分可被定义为可见对象部分数据，该对象的发生该对象的自遮挡或由另一个对象引起的遮挡的一部分可被定义为隐藏对象部分数据。如图5所示，例如，隐藏对象部分数据还可表示在可见外层与后部外层之间的深度处的对象的部分，诸如肌肉平面(level)、血管平面或骨骼平面。
[0029] 参照图2，当对象是正六面体时，该正六面体的前视图202的三个面可被定义为被显示为被图像传感器201观测到的三个可见对象部分，该正六面体的后视图203的三个面可被定义为被显示为未被图像传感器201观测到的三个隐藏对象部分。参照图3，当对象是人类时，并且当通过捕捉人类的左侧获取图像时，人体的一部分(诸如人体的左臂、左腿等)可被定义为可见对象部分301，被左臂和左腿隐藏的右臂、左躯干、右腿等可被定义为隐藏对象部分302。参照图4，当对象是人类的右手时，并且当通过捕捉右手的左侧获取图像时，拇指、食指等可被定义为可见对象部分401，中指的一部分可被定义为被表示在第一隐藏对象部分402中，无名指的一部分可被定义为被表示在第二隐藏对象部分403中。
[0030] 因为隐藏对象部分在通过捕捉对象而获取的图像中被其他部分覆盖或者被布置在与捕捉传感器相对的一侧，所以图2至图4的隐藏对象部分可能不能被直接查看。根据示例实施例，隐藏对象部分可被布置在对象的内部。例如，参照图5，当对象是人类时，例如，人类的外表可被定义为可见对象部分501，人体中所包括的肌肉、骨骼、内脏器官、心血管系统、神经系统等可被定义为隐藏对象部分502，不同元件被表示在不同的相应的隐藏层中。另外，参照图6，当对象是
建筑物时，该建筑物的可见外部可被定义为可见对象部分601，该建筑物的内部结构可被定义为隐藏对象部分602。
[0031] 以上已经参照图2至图6描述了对象的各种示例，然而，以下将基于图3的人类的姿态更详细地描述分类树学习设备的示例操作和对象识别设备的示例操作。
[0032] 图7a示出根据示例实施例的在此被表示为用示例分类学习设备实现的分类树学习方法。分类树学习设备可产生并学习分类树，该分类树然后被对象识别设备用于识别将被分析的对象的可见对象部分和隐藏对象部分。如以上所指出的，示例对象识别系统可包括分类树学习设备和对象识别设备这两个设备。根据示例实施例，作为当分类树学习设备学习分类树时所执行的预处理操作，相应的对象识别系统可创建三维(3D)对象模型712。在操作710中，对象识别系统可基于与对象相关联的物理信息711创建3D对象模型712。另外，对象识别系统可在操作721中执行对象的运动捕捉，并且可在操作720中对该对象执行逆运动学(IK)以收集运动数据722。对象识别系统可将所收集的运动数据722应用于3D对象模型712，并且可在操作723中更新关于3D对象模型712的信息。
[0033] 为了产生用于学习分类树的训练数据，分类树学习设备可在操作724中基于更新的关于3D对象模型712的信息对体积进行分解。分类树学习设备可通过使用光线投射方案对体积进行分解。随后，在操作725中，如以下更详细地讨论的，分类树学习设备可收集关于与对象相关联的深度值和ID的信息。在操作726中，分类树学习设备可基于所收集的信息产生训练数据，并且可通过使用所产生的训练数据学习分类树。根据示例实施例，分类树学习设备可使用
随机森林作为分类树。
[0034] 图7b示出根据示例实施例的分类树学习设备的学习单元的构造的框图。参照图7b，分类树学习设备可包括学习单元730。学习单元730可通过使用与将被分析的对象相关联的训练数据产生分类树。换句话讲，学习单元730可通过使用训练数据学习分类树。根据示例实施例，学习单元730可直接产生训练数据。学习单元730可包括投射单元731、图像层产生单元732、捕捉单元733和训练数据产生单元734。
[0035] 图7c示出根据示例实施例的在此被表示为用示例分类学习设备实现的、用于通过使用光线投射方案产生训练数据的分类树学习方法。参照图7c，投射单元731可通过使用虚拟照相机751使光线朝向将被分析的对象(例如，人类)的3D对象模型752的多个
体素投射。每当光线再次穿透3D对象模型752的表面时，图像层产生单元732可顺序地产生多个图像层。例如，图像层产生单元732可收集3D对象模型752的光线最初穿透的点或体素，并且可产生可见层。另外，当光线通过3D对象模型752、然后再次穿透3D对象模型752时，也就是说，当光线两次穿透3D对象模型752时，图像层产生单元732可收集光线穿透的点或体素，并且可产生表示第二穿透部分的第一隐藏层。类似地，图像层产生单元732可产生第二隐藏层、第三隐藏层和第四隐藏层。基于对象的形状、姿态等、虚拟照相机751与对象之间的方向等，可产生单个隐藏层或多个隐藏层。例如，再次参照图3-图5以用于说明这样的隐藏层。就图5的示例而言，隐藏层不必表示3D对象模型的第二穿透，而是表示通过3D对象模型的分离的表面或组成部件的穿透。
[0036] 捕捉单元733可对于多个图像层中的每个捕捉光线穿透的表面的深度值和体素ID。另外，捕捉单元733可将所捕捉的体素ID和所捕捉的深度值存储在多个图像层中的每个中。在示例中，捕捉单元733可捕捉3D对象模型752的光线最初穿透的点或体素的ID，可将所捕捉的ID存储在可见层中，并且可产生显示在可见层上的对象部分的ID图像753。在另一示例中，捕捉单元733可捕捉3D对象模型752的光线最初穿透的点或体素的深度值，可将所捕捉的深度值存储在可见层中，并且可产生关于可见层的深度图像756。例如，当光线通过3D对象模型752、然后再次穿透3D对象模型752时，也就是说，光线两次穿透3D对象模型752时，捕捉单元733可捕捉光线穿透的
像素或体素的ID，可将所捕捉的ID存储在第一隐藏层中，并且可产生显示在第一隐藏层上的对象部分的ID图像754。另外，当光线通过3D对象模型752、然后再次穿透3D对象模型752时，捕捉单元733可捕捉光线穿透的像素或体素的深度值，可将所捕捉的深度值存储在第一隐藏层中，并且可产生关于第一隐藏层的深度图像757。
[0037] 类似地，捕捉单元733可同样地将以上与第一隐藏层相关联的操作应用于第二隐藏层、第三隐藏层和第四隐藏层。例如，捕捉单元733可产生显示在第二隐藏层上的对象部分的ID图像755和关于第二隐藏层的深度图像758。
[0038] 训练数据产生单元734可将离虚拟照相机751距离最小的图像层(也就是说，可见层)设置为可见对象部分数据。可见对象部分数据可包括ID和深度值。类似地，训练数据产生单元734可将其他图像层(也就是说，隐藏层)设置为包括ID和深度值的隐藏对象部分数据。训练数据产生单元734可通过使用可见对象部分数据和隐藏对象部分数据产生训练数据。
[0039] 如以上在图7b和图7c中所描述的，学习单元730可直接产生用于学习分类树的训练数据，然而，在此的实施例可以不限于此。因此，学习单元730可使用通过使用单独的方案而产生的训练数据。以下，将更详细地描述通过使用所产生的训练数据学习分类树的操作。
[0040] 图7d和图8示出根据示例实施例的在此被表示为用示例分类学习设备实现的、用于通过使用训练数据学习分类树的分类树学习方法。参照图7d和图8，在操作801中，分类树学习设备可从训练数据选择可用于学习分类树的可见对象部分数据Dv701和隐藏对象部分数据Dh702。例如，分类树学习设备可随机地选择将被学习的目标数据D。在这种情况下，对象的每个部分可形成每个类。例如，当对象是人类时，人类的手臂、腿、躯干、头等均可被确定为表示一个类。
[0041] 在操作802中，分类树学习设备可输入所选择的可见对象部分数据Dv701和所选择的隐藏对象部分数据Dh702，并且可产生并学习分类树703。例如，分类树学习设备可通过使用所选择的目标数据D来产生并学习分类树。在这种情况下，目标数据D可包括可见对象部分数据Dv701和隐藏对象部分数据Dh702。
[0042] 分类树学习设备可产生直方图，并且可将这些直方图存储在每个节点中。每个直方图均可表示指示对象的哪个部分对应于输入数据(也就是说，输入的可见对象部分数据Dv701和输入的隐藏对象部分数据Dh702)的概率值。在每个直方图中，
水平轴可指示多个对象部分ID，垂直轴可指示输入数据可对应于所述多个对象部分ID中的每个的概率值。例如，当对象是人类时，头、手臂、躯干、腿等可被定义为人类的对象部分。在这种情况下，分类树学习设备可在分类树的每个节点中产生直方图，该直方图表示在预定节点中表示人类的图像可被识别为头的概率、该图像可被识别为手臂的概率、该图像可被识别为躯干的概率、该图像可被识别为腿的概率等。
[0043] 在分类树703的根节点704中，输入数据可对应于根节点704的一个类(即，一个部分)的所有概率可被均匀地计算和存储。然而，随着分类树学习设备继续朝向分类树的下层节点学习训练数据，可根据类来确定输入数据可对应于根节点704的一个类(即，一个部分)的概率。因此，在分类树703的叶节点705中，输入数据可以以最高概率被确定为一个类(即，一个部分)。换句话讲，随着分类树703的层次在学习期间增加，可保持预定类的高概率，并且可降低其他类的概率。
[0044] 在这种情况下，分类树学习设备可在叶节点705中计算可见对象部分数据Dv701的深度值与隐藏对象部分数据Dh702的深度值之间的差值，可计算相对深度值，并且可将所计算的相对深度值与每个直方图一起存储在叶节点705中。
[0045] 根据示例实施例，分类树学习设备可重复地执行操作801和802，并且可在操作803中产生多个学习的分类树。例如，分类树学习设备可重复操作801和802K次，以学习包括K个分类树的随机森林。
[0046] 图9示出在此被表示为用图7b的示例学习单元实现的、用于学习分类树的学习方法。参照图7b，为了学习分类树，学习单元730可包括特征选择单元741、特征空间变换单元742、
阈值选择单元743、划分单元744、信息增益计算单元745和分类树产生单元746。
[0047] 参照图9，在操作901中，特征选择单元741可随机地从多个特征集之中选择单个特征v。在操作902中，特征空间变换单元742可通过使用所选择的特征v将可见对象部分数据Dv和隐藏对象部分数据Dh变换到特征空间。在这种情况下，可见对象部分数据Dv和隐藏对象部分数据Dh可表示训练数据中所包括的数据。
[0048] 根据示例实施例，特征可以是深度比较特征，特征空间变换单元742可通过使用深度比较特征等式(例如，以下等式1-1)来变换特征空间。
[0049] 等式1-1：
[0050]
[0051] 在等式1-1中，dI(x)表示图像I中的像素x的深度，u和v表示从像素x随机选择的偏移点。另外，f(u,v)(I,x)可用作划分单元744的划分函数。可选择除了深度比较特征之外的特征，并且除了等式1-1之外，特征空间变换单元742还可使用用于特征空间变换的方案，例如，水平集(level set)、梯度直方图(HoG)等。然而，以上方案仅仅是示例，因此，在此的实施例不限于此。
[0052] 在操作903中，阈值选择单元743可随机地从特征空间的最小值与最大值之间的范围选择阈值t。以下等式2-1可表示阈值选择单元743从特征空间的最小值与最大值之间的范围选择阈值t的操作。
[0053] 等式2-1：
[0054] t∈(min f(i)，max f(i))
[0055] 在等式2-1中，i表示Dv和Dh中所包括的数据。另外，Dv或Dh可以是图像的像素或图像的分
块，然而，不限于预定数据形式。
[0056] 划分单元744可将阈值、特征空间和可见对象部分数据输入到划分函数，并且可将可见对象部分数据划分为两种类型(可被称为“左”数据和“右”数据)，为了方便解释将节点划分为两种截然不同的下层节点的示例。因此，在操作904中，划分单元744可将可见对象部分数据Dv划分为左可见对象部分数据Dvleft和右可见对象部分数据Dvright。将可见对象部分数据划分为左可见对象部分数据Dvleft和右可见对象部分数据Dvright的操作904可对应于将当前节点划分为分类树中的下层节点。因此，可选地，可选择预定数据是要被分类为“右”数据、还是被分类为“左”数据。
[0057] 划分单元744可通过使用以下等式2-2所表示的划分函数来划分可见对象部分数据。
[0058] 等式2-2：
[0059] Dvleft＝{i∈Dv|f(i)＜t}
[0060] Dvright＝Dv\Dvleft
[0061] 在等式2-2中，i表示Dv中所包括的数据。另外，Dvleft表示左可见对象部分数据，Dvright表示右可见对象部分数据，再次指出，这里的“左”和“右”
指定仅仅是为了方便解释。当通过将数据i输入到划分函数f(x)而获得的结果值小于阈值t时，划分单元744可将数据i分类为左可见对象部分数据。相反，当结果值等于或大于阈值t时，划分单元744可将数据i分类为右可见对象部分数据。
[0062] 类似地，划分单元744可通过使用以下等式2-3所表示的划分函数来划分隐藏对象部分数据。
[0063] 等式2-3：
[0064] Dhleft＝{i∈Dh|f(i)＜t}
[0065] Dhright＝Dh\Dhleft
[0066] 在等式2-3中，Dhleft表示左隐藏对象部分数据，Dhright表示右隐藏对象部分数据，Dh表示隐藏对象部分数据。
[0067] 在操作905中，信息增益计算单元745可计算用于左可见对象部分数据Dvleft、右可见对象部分数据Dvright、左隐藏对象部分数据Dhleft和右隐藏对象部分数据Dhright中的每个的信息增益。例如，信息增益计算单元745可计算用于左可见对象部分数据Dvleft和右可见对象部分数据Dvright的第一中间信息增益。另外，信息增益计算单元745可计算用于左隐藏对象部分数据Dhleft和右隐藏对象部分数据Dhright的第二中间信息增益。当第一中间信息增益和第二中间信息增益被计算时，信息增益计算单元745可基于所计算的第一中间信息增益和所计算的第二中间信息增益来计算最终的信息增益。
[0068] 例如，为了计算第一中间信息增益和第二中间信息增益，信息增益计算单元745可在每个节点中使用基于香农熵E(D)的以下显示的等式2-4。
[0069] 等式2-4：
[0070]
[0071] 在等式2-4中，E(D)表示香农熵，c表示类的数量，ci表示第i对象部分类，D表示预定节点中的数据集。另外，P(ci|D)表示数据集D中的第i对象部分类ci的概率。在这种情况下，概率可表示第i对象部分类ci的数量与数据集D的数量的比率。例如，当数据集的总数为“100”个时，并且当15个体素表示第三对象部分类(例如，手)时，P(c3|D)可具有值“0.15”。
[0072] 根据示例实施例，信息增益计算单元745可通过使用基尼熵、香农熵等来确定是否找到有区别的类集合。
[0073] 如以下等式2-5中所示，信息增益计算单元745可计算每个节点的可见对象部分数据的区别幅值ΔEv。
[0074] 等式2-5：
[0075]
[0076] 另外，如以下等式2-6中所示，信息增益计算单元745可计算每个节点的第n隐藏对象部分数据的区别幅值ΔEhn。
[0077] 等式2-6：
[0078]
[0079] 如以下等式2-7中所示，基于通过使用等式2-4至等式2-6而获得的值，信息增益计算单元745可计算最终的信息增益。
[0080] 等式2-7：
[0081] ΔE＝α×ΔEv+(1-α)×ΔEh
[0082] 在这种情况下，通过在0与1之间调整α的值，信息增益计算单元745可基于α的权重来确定可见对象部分数据和隐藏对象部分数据中的哪一个最有可能，并且可确定是否要计算信息增益。例如当仅期望考虑可见对象部分数据的信息增益时，信息增益计算单元745可将α的值设置为“1”。另外，随着α的值变得接近“1”，信息增益计算单元745可确定可见对象部分数据是否被有区别地构造。随着α的值变得接近“0”，信息增益计算单元745可确定隐藏对象部分数据是否被有区别地构造。当α的值被设置为“0.5”时，信息增益计算单元745可确定可见对象部分数据和隐藏对象部分数据具有相等的权重。
[0083] 在操作906中，分类树产生单元746可确定所计算的信息增益是否具有在最佳参考范围内的值，该最佳参考范围可以预先确定。当信息增益超过最佳参考范围时，分类树产生单元746可随机地重新选择阈值。另外，可通过使用重新选择的阈值来重复地执行操作904至操作906。当信息增益在最佳参考范围内时，在操作907中，分类树产生单元746可将所选特征的值v、阈值t、左可见对象部分数据Dvleft、右可见对象部分数据Dvright、左隐藏对象部分数据Dhleft和右隐藏对象部分数据Dhright存储在分类树的当前节点中。
[0084] 在操作908中，分类树产生单元746可重新选择阈值，并且可
迭代地重复操作903至907N次。在操作909中，分类树产生单元746可重新选择特征，并且可迭代地重复操作903至
908M次。为了获取与最小区别幅值ΔEv相应的特征和阈值，可通过迭代地重复操作903至
907N次并且通过迭代地重复操作901至908M次来执行“N×M”次测试。最小区别幅值ΔEv可以是最佳增益E，也就是说，通过迭代被计算为具有最佳值的最终信息增益。
[0085] 在操作910中，分类树产生单元746可确定当前节点是否满足停止标准。例如，当满足以下条件i)至iii)中的至少一个时，分类树产生单元746可确定当前节点满足停止标准。
[0086] i)最终的信息增益(即，最佳增益E)等于或小于参考值(作为示例，诸如ΔE<0.5)的情况。
[0087] ii)分类树的层次等于或大于参考值的情况，作为示例，诸如当分类树的当前层次等于或大于“25”时。
[0088] iii)可见对象部分数据和隐藏对象部分数据的量等于或小于参考值的情况，作为示例，诸如当数据中所包括的体素的数量等于或小于“10”时。
[0089] 当当前节点被确定为满足停止标准时，分类树产生单元746可将当前节点确定为叶节点，并且可终止相应数据集的学习。当隐藏对象部分在可见对象部分后面重叠几次时，分类树产生单元746可对于单个叶节点产生关于该隐藏对象部分的多个直方图。例如，当多个部分重叠时，可存在数量与重叠部分的数量相同的隐藏对象部分，并且分类树产生对象746可在单个叶节点中产生关于这些隐藏对象部分的多个直方图，并且可存储关于隐藏对象部分中的每个的信息。类似地，再次参照图5，在这样的示例中，可产生关于所示的肌肉、骨骼、内脏器官、心血管系统、神经系统等隐藏平面中的每个的直方图。
[0090] 分类树产生单元746可在每个节点中产生可见对象部分的第一直方图和隐藏对象部分的第二直方图。在这种情况下，第一直方图可表示将被分析的对象的多个对象部分中的每个可被确定为可见对象部分的概率。另外，第二直方图可表示对象的多个对象部分中的每个可被确定为隐藏对象部分的概率。在操作911和912中，分类树产生单元746可将第一直方图和第二直方图存储在分类树的当前节点中。
[0091] 在这种情况下，第一直方图的概率可具有与等式2-4中可见对象部分的概率P(ci|D)相同的意义。另外，第二直方图的概率可具有与等式2-4中隐藏对象部分的概率P(ci|D)相同的意义。
[0092] 例如，在学习期间的属于可见对象部分的每个类ci与叶节点中剩余的数据D的比率可被计算为概率，并且可被存储在第一直方图中。另外，属于隐藏对象部分的每个类ci与数据D的比率可被计算为概率，并且可被存储在第二直方图中。
[0093] 当当前模式被确定为叶节点时，分类树产生单元746可计算相对深度值，并且可存储所计算的相对深度值。相对深度值可指示可见对象部分的深度值与隐藏对象部分的深度值之间的差值，指出，可存在相对于可见对象部分的深度的多个相对深度值，隐藏层根据这些相对深度值而被引用。因此，当对象识别设备通过使用由分类树学习设备产生并学习的分类树来识别对象时，通过使用相对深度值以及与叶节点相应地存储的第一直方图和第二直方图，对象的每个部分可被识别，并且对象的体积可被重构。
[0094] 简要地讲，图14b示出根据示例实施例的在此被表示为用示例对象识别系统实现的、确定叶节点的对象识别方法。例如，图14b示出分类树产生单元746确定与可见对象部分数据和隐藏对象部分数据相关联的叶节点的操作。
[0095] 参照图14b，分类树产生单元746可通过使用最初选择的特征和阈值并且使用划分函数来对可见对象部分数据中所包括的可见层1410执行第一次划分1401。另外，分类树产生单元746可重新选择特征和阈值，并且可执行第二次划分1402、第三次划分1403等，直到满足停止标准为止。当当前节点通过迭代划分满足停止标准时，分类树产生单元746可将相应的对象部分1404确定为叶节点。类似地，分类树产生单元746可迭代地对第一隐藏层1420至第n隐藏层1430进行划分，并且可确定叶节点。
[0096] 当当前节点未能满足停止标准时，分类树产生单元746可在操作913中将当前节点确定为划分节点。分类树产生单元746可将所选特征的值v、阈值t、左可见对象部分数据Dvleft、右可见对象部分数据Dvright、左隐藏对象部分数据Dhleft和右隐藏对象数据Dhright存储在被确定为划分节点的当前节点中。
[0097] 另外，分类树产生单元746可在操作914中通过使用左可见对象部分数据Dvleft和左隐藏对象部分数据Dhleft作为输入来学习左
子节点，并且可在操作915中通过使用右可见对象部分数据Dvright和右隐藏对象数据Dhright作为输入来学习右子节点。例如，当当前节点未能满足停止标准时，分类树产生单元746可通过使用左可见对象部分数据Dvleft和左隐藏对象部分数据Dhleft作为输入数据来递归地调用分类树，并且可通过使用右可见对象部分数据Dvright和右隐藏对象数据Dhright作为输入数据来递归地调用分类树。在这种情况下，操作901至910可同样地应用于学习下层节点的操作。
[0098] 以上已经参照图7a至图9描述了分类树学习设备学习分类树的操作。以下，将描述对象识别设备通过使用学习的分类树从表示将被分析的对象的深度图像识别对象部分的操作。
[0099] 图10a示出根据示例实施例的对象识别设备的构造的框图，图11示出在此被表示为用图10a的示例对象识别设备实现的对象识别方法。参照图10a，对象识别设备可包括输入单元1010和处理单元1020。如以上所指出的，根据实施例，示例对象识别系统可包括对象识别设备和分类树学习设备，在此描述这两个设备的示例。在图11的操作1101中，输入单元1010可接收作为输入的表示将被分析的对象的深度图像。如上所述，对象可包括例如人体、静物等。
[0100] 在操作1102和1103中，处理单元1020可通过使用学习的分类树从深度图像识别对象的可见对象部分和隐藏对象部分。
[0101] 图10b示出在此被表示为用图10a的示例识别设备实现的、用于通过使用多个学习的分类树对输入图像进行识别的对象识别方法。参照图10b，当多个分类树(例如，分类树1001和1102等)已经被学习时，处理单元1020可将深度图像输入到所述多个学习的分类树中的每个，并且可识别可见对象部分和隐藏对象部分中的哪一个对应于深度图像。例如，处理单元1020可通过使用特征v和阈值t来确定是将朝着左节点执行处理、还是将朝着右节点执行处理，最后可到达分类树的叶节点。在这种情况下，特征v可通过学习而被存储在分类树的每个层次的划分节点中。通过使用关于可见对象部分的类概率直方图和关于隐藏对象部分的类概率直方图，对象识别设备可识别可见对象部分和隐藏对象部分中的哪一个对应于深度图像。如图以上关于图7a-图9所描述的，类概率直方图可通过学习而被存储在叶节点中。例如，处理单元1020可基于从多个学习的分类树中的每个的叶节点获取的结果的平均来识别可见对象部分和隐藏对象部分。
[0102] 图10a的对象识别设备还可包括体积构造单元1030。体积构造单元1030可在操作1104中通过使用所识别的可见对象部分和所识别的隐藏对象部分来在单个数据空间中构造对象的体积。体积构造单元1030可通过使用存储在学习的分类树的叶节点中的相对深度值来构造体积。因为相对深度值是指所识别的可见对象部分的深度值与所识别的隐藏对象部分的深度值之间的差值，所以体积构造单元1030可通过将相对深度值与输入的深度值相加或者从输入的深度值减去相对深度值来计算隐藏对象部分的深度值，并且可基于所计算的深度值来构造对象的体积。
[0103] 根据示例实施例，在操作1105中，可基于所构造的体积来提取关于对象的附加信息。例如，处理单元1020可提取附加信息。附加信息可包括例如关于与对象相关联的形状、姿态、关键关节和结构中的至少一个的信息。
[0104] 图10a的对象识别设备还可包括大小调整单元1040。以下将进一步描述大小调整单元1040。
[0105] 图12示出根据示例实施例的在此被表示为用示例对象识别设备实现的、用于通过使用多个学习的分类树识别对象的对象识别方法。参照图12，对象识别设备可在操作1201中接收作为输入的表示将被分析的对象的深度图像，并且可在操作1202中通过使用多个学习的分类树之一来识别可见对象部分和隐藏对象部分。当通过使用单个学习的分类树识别可见对象部分和隐藏对象部分完成时，对象识别设备可通过使用另一个学习的分类树来迭代地重复操作1201和1202。通过迭代地使用多个学习的分类树来重复识别，对于所述多个学习的分类树中的每个，对象识别设备可获取可见对象部分的概率值Pv和隐藏对象部分的概率值Ph。另外，对于所述多个学习的分类树中的每个，对象识别设备可获取隐藏对象部分中的每个的深度值D。
[0106] 在操作1204和操作1205中，对象识别设备可计算概率值Pv和概率值Ph的平均值、以及隐藏对象部分数据的深度值的平均值。例如，如以下等式3-1中所示，当输入数据被假设为“'I”时，并且当“T”个学习的分类树被提供时，对象识别设备可计算可见对象部分可属于预定类cv的概率P。
[0107] 等式3-1：
[0108]
[0109] 对象识别设备可选择通过等式3-1而获得的类cv之中的具有最高概率值的类作为可见对象部分的类型。例如，当在关于头、手臂、手、躯干、腿和脚的各类之中手具有最高概率值时，对象识别设备可选择手作为可见对象部分的类型。
[0110] 类似地，如以下等式3-2中所示，对象识别设备可计算隐藏对象部分可属于预定类chn的概率P。当隐藏对象部分在可见对象部分后面重叠几次时，可存在多个类ch(例如，“n”个类ch)。
[0111] 等式3-2：
[0112]
[0113] 对象识别设备可选择通过等式3-2而获得的类ch之中具有最高概率值的类作为“n”个重叠隐藏对象部分中的每个的类型。在示例中，当在第一隐藏层中在头、手臂、手、躯干、腿和脚之中腿具有最高概率值时，对象识别设备可选择腿作为第一隐藏对象部分的类型。在另一示例中，当在第二隐藏层中在头、手臂、手、躯干、腿和脚之中脚具有最高概率值时，对象识别设备可选择脚作为第二隐藏对象部分的类型。
[0114] 图13示出根据示例实施例的在此被表示为用示例对象识别设备实现的、用于通过使用存储在学习的分类树中的信息识别将被分析的对象的对象识别方法。将参照图10a的对象识别设备解释图13。参照图13，图10a的处理单元1020可将深度图像输入到学习的分类树。在操作1301中，处理单元1020可确定学习的分类树的当前节点是否是划分节点。当当前节点被确定为划分节点时，处理单元1020可在操作1302中读取存储在划分节点中的特征的值v。在操作1303中，处理单元1020可读取存储在划分节点中的阈值t。在操作1304中，处理单元1020可通过将读取的特征的值v和读取的阈值t输入到划分函数来计算结果值r。划分函数可被存储在学习的分类树的划分节点中。
[0115] 处理单元1020可基于所计算的结果值r来在学习的分类树中搜索当前节点的左子节点和右子节点之一。在操作1305中，处理单元1020可将结果值r与阈值t进行比较。当结果值r小于阈值t时，处理单元1020可在操作1307中搜索左子节点。当结果值r等于或大于阈值t时，处理单元1020可在操作1306中搜索右子节点。在这种情况下，为了搜索左子节点和右子节点之一，可使用与在产生分类树期间所使用的类相同的类(例如，等式2-2或等式2-3)。当在产生分类树期间使用另一个类时，可改变左子节点或右子节点。当找到左子节点或右子节点时，处理单元1020可在操作1301中确定找到的节点是否是划分节点。当找到的节点被确定为划分节点时，处理单元1020可迭代地重复操作1302至1307。
[0116] 当当前节点被确定为叶节点、而不是划分节点时，处理单元1020可在操作1308中读取关于存储在叶节点中的可见对象部分的第一直方图。在操作1309中，处理单元1020可读取关于隐藏对象部分的第二直方图。处理单元1020可基于所读取的第一直方图从深度图像识别可见对象部分，并且可基于所读取的第二直方图从深度图像识别隐藏对象部分。换句话讲，处理单元1020可识别可见对象部分和隐藏对象部分中的哪一个对应于输入的深度图像。
[0117] 当在识别对象期间使用关于深度图像的对象大小的信息时，可增强可见对象部分和隐藏对象部分的识别性能。因此，对象识别设备还可包括验证输入对象的大小并且控制对象识别设备中的识别方法的大小调整单元1040。大小调整单元1040可被安置在处理单元1020中。
[0118] 图14a示出根据示例实施例的在此被表示为用示例对象识别设备实现的、用于基于输入对象的大小与学习期间所使用的三维(3D)对象模型之间的差来增强对象识别性能的对象识别方法。参照图14a，分类树学习设备中所使用的训练的身体类型1441可不同于实际上输入的深度图像的对象的身体类型。结果，当对象识别设备识别可见对象部分和隐藏对象部分时，像通过应用未改变的原始特征1442而获得的结果那样，可发生将腰识别为手的错误。为了校正以上错误，大小调整单元1040可在图13的操作1304中在特征空间变换上反映输入对象的宽度1444和高度1445。
[0119] 大小调整单元1040可在操作1304中使用特征空间变换等式，例如，以下等式3-3。
[0120] 等式3-3：
[0121]
[0122] 在等式3-3中，dI(x)表示图像I中的像素x的深度，u和v表示从像素x随机选择的偏移点。另外，运算符⊙表示二维(2D)中的逐元素乘法。
[0123] 如以下等式3-4中所示，大小调整单元1040可计算具有等式3-3中所使用的宽度W和高度H的对象类型(例如，身体类型)的最佳系数K*W,H。
[0124] 等式3-4：
[0125]
[0126] 在等式3-4中，KW,H＝(W,H)表示用于调整与对象类型的宽度W和高度H相应的特征尺度的一组系数参数。另外，T表示分类树的数量，c表示每个分类树对于给定对象部分ID b的对象部分概率。
[0127] 因为可见对象部分和隐藏对象部分的识别结果可包括具有相同类ID的多个对象部分的分布，所以可通过如以下等式3-5中所示的贝叶斯方法来预测对象骨骼(例如，人类骨骼)的关节
位置X*，从而可进一步提高
精度。
[0128] 等式3-5：
[0129]
[0130] 在等式3-5中，X表示给定对象概率c的关节位置，S表示轮廓匹配精度，L表示对象部分连续性。具有最大概率的候选关节X*可选自所有的候选关节，并且可用于表示对象的骨骼。
[0131] 根据上述示例实施例，示例对象识别系统、示例对象识别设备和示例分类树学习设备可分别用至少一个处理装置(诸如计算机)来实现。另外，根据上述示例实施例的示例对象识别方法和示例分类树学习方法可用记录在非暂时性计算机可读介质中的计算机可读代码(诸如用这样的计算机实施的实现各种操作的程序)来实现。所述介质还可单独地或与这些程序指令组合地包括数据文件、数据结构等。记录在介质上的程序指令可以是为了示例实施例的目的而专
门设计和构造的那些程序指令，或者它们可以是计算机
软件领域中的技术人员公知并且可用的种类。非暂时性计算机可读介质的示例包括：
磁性介质，诸如
硬盘、
软盘和磁带；光学介质，诸如CD ROM盘和DVD；磁光介质，诸如光盘；以及被专门构造为存储并执行程序指令的
硬件装置，诸如只读
存储器(ROM)、
随机存取存储器(RAM)、闪存等。程序指令的示例包括诸如由编译器生成的机器代码和包含可被计算机使用解释器执行的更高级代码的文件两者。所描述的硬件装置可被构造为充当一个或多个
软件模块，以便执行上述示例实施例的操作，反之亦然。
[0132] 尽管已经显示和描述了示例实施例，但是本领域的技术人员将意识到，可以在不脱离本公开的原理和精神的情况下在这些示例实施例中进行改变，本公开的范围在
权利要求书及其等同物中限定。
