信息处理设备和显示控制方法 |
|||||||
| 申请号 | CN201280053464.8 | 申请日 | 2012-08-31 | 公开(公告)号 | CN103907138B | 公开(公告)日 | 2017-11-24 |
| 申请人 | 索尼公司; | 发明人 | 铃木诚司; | ||||
| 摘要 | 提供一种信息处理设备，包括：判断单元，用于通过使用深度信息，针对每个部分判断拍摄的实际物体与虚拟物体之间的前后关系；以及显示控制单元，用于基于由判断单元判断的前后关系，将其中投影了虚拟物体的虚拟图像重叠显示在拍摄有实际物体的拍摄图像上。 | ||||||
| 权利要求 | 1.一种信息处理设备，包括： |
||||||
| 说明书全文 | 信息处理设备和显示控制方法技术领域[0001] 本发明涉及信息处理设备、显示控制方法和程序。 背景技术[0002] 提出了作为虚拟试穿系统的用于将其中拍摄有用户的拍摄图像与衣服图像合成的各种试穿图像产生技术。 [0003] 例如，在专利文献1中公开了将用户身体图像与衣服图像合成的处理。具体地说，在专利文献1中描述的图像处理服务器改变衣服图像的大小并基于附加在用户身体图像上的身体轮廓数据(诸如身高和肩宽)和图像中的身体的朝向来调整衣服图像的朝向，并将其合成到身体图像上。 [0004] 文献列表 [0005] 专利文献 [0006] 专利文献1：JP 2006-304331A 发明内容[0007] 技术问题 [0008] 但是，使用在专利文献1中描述的试穿图像产生技术，衣服图像被合成到用户身体图像上，因此虚拟衣服总是被绘制在实际物体(身体)的前面。例如，此外，当用户的手在躯干前面时，虚拟衣服被绘制在前面，因此手被隐藏在虚拟衣服后面。 [0009] 如上所述，当实际物体与虚拟物体之间的前后关系复杂时，难以适当地产生合成图形。 [0010] 因此，本公开提出一种新颖的、改进的信息处理设备以及显示控制方法和程序，该信息处理设备能够针对每个部分来判断实际物体与虚拟物体之间的前后关系。 [0011] 问题的解决方案 [0012] 根据本公开的实施例，提供一种信息处理设备，包括：判断单元，用于通过使用深度信息，针对每个部分判断拍摄的实际物体与虚拟物体之间的前后关系；以及显示控制单元，用于基于由判断单元判断的前后关系，将投影了所述虚拟物体的虚拟图像重叠显示在拍摄了所述实际物体的拍摄图像上。 [0013] 根据本公开实施例，提供一种显示控制方法，包括以下步骤：通过使用深度信息，针对每个部分判断拍摄的实际物体与虚拟物体之间的前后关系；以及基于在判断步骤中判断的前后关系，将投影了所述虚拟物体的虚拟图像重叠显示在拍摄了所述实际物体的拍摄图像上。 [0014] 根据本技术实施例，提供一种使得计算机执行如下处理的程序：通过使用深度信息，针对每个部分判断拍摄的实际物体与虚拟物体之间的前后关系；以及基于通过判断处理判断的前后关系，将投影了所述虚拟物体的虚拟物体重叠显示在拍摄了所述实际物体的拍摄图像上。 [0015] 本发明的有益效果 [0017] 图1是用于说明根据本公开的一个实施例的AR试穿系统的概要的示图。 [0018] 图2是用于说明示例性覆盖衣服图像的示图。 [0019] 图3是用于说明另一个示例性覆盖衣服图像的示图。 [0020] 图4是示出根据本公开的一个实施例的信息处理设备的结构的框图。 [0022] 图6是用于说明根据本公开的一个实施例的骨骼信息的示图。 [0023] 图7是用于说明根据本公开的一个实施例的深度信息的示图。 [0024] 图8是用于说明在虚拟空间中虚拟照相机与虚拟衣服之间的位置关系，以及虚拟衣服被投影到其中的虚拟衣服图像的示图。 [0025] 图9是示出根据本公开的一个实施例的在AR试穿图像显示中的基本显示控制处理的流程图。 [0026] 图10是示出根据本公开的一个实施例的基于深度信息的AR试穿图像绘制控制的流程图。 [0027] 图11是用于说明根据本公开的一个实施例的示例性的绘制的AR试穿图像的示图。 [0028] 图12是用于说明根据本公开的一个实施例的示例性的绘制的AR试穿图像的示图。 具体实施方式[0030] 将按照以下顺序进行说明。 [0031] 1.根据本公开的一个实施例的AR试穿系统的概要 [0032] 2.信息处理设备的结构 [0033] 3.显示控制 [0034] 3-1.基本显示控制 [0035] 3-2.根据前后关系绘制AR试穿图像 [0036] 4.总结 [0037] <1.根据本公开的一个实施例的AR试穿系统的概要> [0038] 近年来，一种用于将附加信息重叠在真实世界上并将其呈献给用户的被称为增强现实(augmented reality，AR)的技术受到了关注。在AR技术中要被呈献给用户的信息可通过使用诸如文本、图标或动画的各种形式的虚拟物体被可视化。AR技术应用于的一个主要领域是支持真实世界中的用户的活动。在下文中，AR技术被应用于试穿系统。 [0039] 通过利用AR技术的试穿系统，与用户的活动的协同地，虚拟衣服图像被重叠显示，从而使得可实时地体验虚拟试穿。根据本公开的一个实施例的AR试穿系统判断作为真实物体的被摄体与作为虚拟物体的虚拟衣服之间的前后关系，并且基于判断的前后关系将虚拟图像重叠显示。 [0040] 将参考图1来描述根据本公开的一个实施例的AR试穿系统的概要。如图1所示，根据本公开的一个实施例的AR试穿系统1具有信息处理设备10、照相机15、传感器17和显示装置19。安装AR试穿系统1的场所没有特别的限制。例如，AR试穿系统1可被安装在用户家中或者可被安装在店铺中。 [0041] 在图1中示出的示例中，构成AR试穿系统1的多个单元(信息处理设备10、照相机15、传感器17和显示装置19)被分开构造，但是根据本公开的AR试穿系统1的结构不限于此。 构成AR试穿系统1的某些单元的组合可被集成。例如，构成AR试穿系统1的多个单元可被并入到智能电话、PDA(个人数字助理)、移动电话、便携式音乐播放器、便携式视频处理器或便携式游戏机中。 [0042] 照相机15(拍摄装置)拍摄存在于真实空间中的物体。在真实空间中存在的物体没有特别的限制，并且可以是诸如人或动物的生物，或者除了生物以外的任何东西，诸如车库或电视柜。在图1中示出的示例中，作为真实空间物体的被摄体A(例如，人)由照相机15来拍摄。由照相机15拍摄的图像(可被称为拍摄图像)被显示在显示装置19上。在显示装置19上显示的拍摄图像可以是RGB图像。照相机15将拍摄图像发送到信息处理设备10。 [0043] 传感器17具有检测来自真实空间的参数的功能，并且将检测数据发送到信息处理设备10。例如，当传感器17由红外传感器构成时，传感器17可检测来自真实空间的红外线，并将基于红外线的电信号作为检测数据提供给信息处理设备10。例如，信息处理设备10可基于该检测数据来识别真实空间物体。传感器17的类型并不限于红外传感器。在图1中示出的示例中，假定检测数据被从传感器17供应到信息处理设备10，但是要供应到信息处理设备10的检测数据可以是由照相机15拍摄的图像。 [0045] 例如，如图1所示，信息处理设备10可识别在真实空间中的被摄体A，并且实时地在显示装置19上显示合成了衣服图像的试穿图像。在本文中，用户身体是真实空间视频，要试穿的衣服的图像是要被重叠显示在真实空间视频上的虚拟物体。因此，AR试穿系统1可提供实时的虚拟试穿。 [0046] 在本文中，通过虚拟试穿系统，衣服图像被覆盖在拍摄有被摄体的拍摄图像上，因此虚拟物体(虚拟衣服)总是被绘制在实际物体(被摄体)前面。下面将参考图2和图3来描述由于衣服图像的覆盖而导致的不良效果。 [0047] 图2是用于说明示例性覆盖衣服图像的示图。如图2所示，如果在被摄体的手位于躯干前面时虚拟衣服被覆盖在被摄体上，则位于被摄体的躯干前面的手被隐藏在虚拟衣服后面，因此手与虚拟衣服之间的前后关系未被正确地表达。 [0048] 还提出一种方法，该方法试图通过使用颜色信息来适当地表达前后关系。例如，衣服图像不被绘制在拍摄图像中的肉色部分上。从而，当手放置在被摄体的躯干前面时，衣服图像不被绘制在手上。但是，当被摄体穿上接近肉色的衣服时，使用该方法很难适当地绘制衣服图像。如图3所示，当被摄体穿上长袖衣服时，使用该方法使得仅有手看起来被隔离在躯干的中心处。 [0049] 还提出了另外一种方法，该方法试图通过对拍摄图像中的物体分区来适当地表达前后关系。分区就是以诸如“人”和“衣服”的物体为单位将图像分成多个区域，并且比较每个物体的前后关系，因此可以确定“‘衣服’在‘人’前面”或者“‘人’在‘衣服’前面”。但是，例如，如图2所示，当手位于躯干前面时，很难连续地确定“‘衣服’在‘人’前面和‘人’再次在前面”。因此，即使使用分区也很难正确地确定实际物体与虚拟物体之间的前后关系。 [0050] 很难正确地确定诸如上述的手或躯干的“人”的一个物体的每个部分与虚拟物体之间的前后关系。如果前后关系不能被正确地确定，那么虚拟衣服不能在任意部分被适当地绘制，这导致了虚拟试穿系统的精确性的降低。 [0051] 根据本公开的一个实施例的AR试穿系统通过使用深度信息,针对每个部分确定被摄体与虚拟衣服之间的前后关系，并基于确定的前后关系以重叠方式显示衣服图像。因此，使用根据本实施例的AR试穿系统，例如，如图1所示，即使当手位于被摄体A的躯干前面时，具有被摄体与虚拟衣服之间的正确前后关系的试穿图像可被显示在显示装置19上。 [0052] <2.信息处理设备的结构> [0053] 下面，将参考图4来描述实现根据本公开的AR试穿系统的信息处理设备10的结构。如图4所示，信息处理设备10具有控制单元100、操作输入单元120和存储单元130。控制单元 100具有骨骼位置计算单元101、显示控制单元105、深度计算单元113和前后关系判断单元 115。信息处理设备10以有线或无线方式与照相机15、传感器17以及显示装置19连接。 [0054] 控制单元100与诸如CPU(中央处理单元)或DSP(数字信号处理器)的处理器对应。控制单元100执行存储在存储单元130或其它存储介质上的程序，从而操作稍后描述的控制单元100的各种功能。所有构成控制单元100的各个块可以不包括在同一装置中，并且它们中的一部分可被并入到其它装置(诸如服务器)中。 [0055] 存储单元130通过使用诸如半导体存储器或硬盘的存储介质来存储用于由信息处理设备10进行的处理的程序和数据。例如，它存储用于使计算机充当控制单元100的程序。此外，例如，存储单元130将控制单元100要使用的数据存储在其中。根据本实施例的存储单元130将关于衣服饰品的3D数据作为要显示的虚拟物体进行存储。在本说明书中，衣服饰品包括衣服和饰品。饰品包括：眼镜、帽子、腰带等。 [0056] 操作输出单元120由输入部件和输入控制电路构成，输入部件诸如为鼠标、键盘、触摸面板、按钮、麦克风、开关、控制杆或遥控器，用户通过其来输入信息，输入控制电路用于基于用户的输入来产生输入信号并将其输出到控制单元100中。用户可通过操作操作输入单元120来指示信息处理设备10的电源的开启/关闭或者激活AR试穿系统程序。 [0057] 照相机15(拍摄装置)通过使用诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)的拍摄装置来拍摄真实空间，从而产生拍摄图像。根据本公开实施例，假定照相机15与信息处理设备10分开构造，但是照相机15也可以是图像处理设备10的一部分。 [0058] 照相机15将拍摄时的照相机15的设置信息供应给信息处理设备10。在本文中，图5示出了用于说明在真实空间中照相机15与被摄体A之间的位置关系以及其中拍摄有被摄体A的拍摄图像A’的示图。在图5中，为了方便，作为照相机15的透镜(未示出)的光学中心的主点与照相机15的成像装置(未示出)之间的焦距freal，以及在成像装置上拍摄的被摄体A(3D，xyz坐标)的拍摄图像A’(2D，xy坐标)在被摄体一侧示出。如稍后所述，照相机15与被摄体A之间的距离dreal被计算为深度信息。照相机15的视角θreal主要依赖于焦距freal来确定。照相机15将诸如焦距freal(或视角θreal)和拍摄图像A’的像素数量的照相机15的设置信息供应给信息处理设备10。 [0059] 传感器17具有从真实空间检测参数的功能。例如，当传感器17由红外传感器构成时，传感器17可检测来自真实空间的红外线，并将基于红外线的电信号作为检测数据提供给信息处理设备10。传感器17的类型不限于红外传感器。当由照相机15拍摄的图像被作为检测数据供应到信息处理设备10时，传感器17可不存在。 [0060] 显示装置19是由LCD(液晶显示器)、OLED(有机发光二极管)或CRT(阴极射线管)构成的显示模块。根据本公开的实施例，假定显示装置19与信息处理设备10分开构成，但是显示装置19也可以是图像处理设备10的一部分。 [0061] 随后，将描述控制单元100的功能结构。如上所述，控制单元100具有骨骼位置计算单元101、显示控制单元105、深度计算单元113和前后关系判断单元115。 [0062] (骨骼位置计算单元101) [0063] 骨骼位置计算单元101基于检测数据来计算在拍摄图像中拍摄的物体的骨骼位置。用于计算拍摄图像中拍摄的物体的真实空间骨骼位置的方法没有特别的限制。例如，骨骼位置计算单元101识别在拍摄图像中存在物体的区域(在下文中也将被称为“物体存在区域”)并且从深度计算单元113获取拍摄图像中的物体的深度信息。然后，骨骼位置计算单元101可识别在拍摄图像中拍摄的物体的真实空间部位(诸如头、左肩、右肩和腹部)，并基于物体存在区域的深度和形状(特征量)来计算每个部位的中心位置作为骨骼位置。骨骼位置计算单元101使用存储在存储单元130中的特征量字典，将从拍摄图像确定的特征量与之前登记在特征量字典中的物体的每个部位的特征量相关联，从而识别包含在拍摄图像中的物体的部位。 [0064] 多种方法可被假定为用于识别物体存在区域的方法。例如，当拍摄图像被作为检测数据供应到图像处理设备10时，骨骼位置计算单元101可基于未拍摄有物体的拍摄图像与拍摄有物体的拍摄图像之间的差值来识别物体存在区域。更具体地说，骨骼位置计算单元101可识别未拍摄有物体的拍摄图像与拍摄有物体的拍摄图像之间的差值超出阈值的区域，作为物体存在区域。 [0065] 例如，当由传感器17检测到的参数被作为检测数据供应到信息处理设备10时，骨骼位置计算单元101可基于该检测数据来识别物体存在区域。更具体地说，骨骼位置计算单元101可识别检测到的红外线的量超出阈值的区域，作为物体存在区域。 [0066] 骨骼位置计算单元101基于使用上述各种方法获取的物体存在区域的深度和形状(特征量)，识别在拍摄图像中拍摄的物体的真实空间部位(诸如头和肩)，并计算每个部位的骨骼位置的坐标。下面将参考图6来描述包含在骨骼位置计算单元101中计算的构成被摄体A的一个或多个部位的骨骼位置的骨骼信息。 [0067] 图6是用于说明骨骼信息的示图。在图6中示出的示例中，使用指示构成被摄体A的15个部位的位置的坐标B1到B3、B6、B7、B9、B12、B13、B15、B17、B18、B20到B22和B24来指示骨骼信息，但是包含在骨骼信息中的部位的数量并没有特别的限制。 [0068] 坐标B1指示“头”的坐标，坐标B2指示“颈”的坐标，坐标B3指示“躯干”的坐标，坐标B6指示“右肩”的坐标，坐标B7指示“右肘”的坐标。坐标B9指示“右手”的坐标，坐标B12指示“左肩”的坐标，坐标B13指示“左肘”的坐标，坐标B15指示“左手”的坐标。 [0069] 坐标B17指示“右髋”的坐标，坐标B18指示“右膝”的坐标，坐标B20指示“右脚”的坐标，坐标B21指示“左髋”的坐标。坐标B22指示“左膝”的坐标，坐标B24指示“左脚”的坐标[0070] (深度计算单元113) [0071] 深度计算单元113基于检测数据来计算在拍摄图像中的物体的深度信息。用于计算在拍摄图像中拍摄的物体的真实空间深度(在本文中为距照相机15的距离)的方法没有特别的限制，可假定各种方法。 [0072] 例如，深度计算单元113可基于由传感器17检测到的参数来计算在拍摄图像中的物体的深度信息。更具体地说，当诸如红外线的光从照射装置(未示出)照射到物体上时，深度计算单元113分析由传感器17检测到的光，从而计算在拍摄图像中的物体的深度信息。 [0073] 例如，深度计算单元113可基于由传感器17检测到的光的相位延迟来计算在拍摄图像中的物体的深度信息。该方法可被称为TOF(Time Of Flight，飞行时间)方式。或者，当从照射装置(未示出)照射的光由众所周知的模式构成时，深度计算单元113分析构成由传感器17检测到的光的模式的失真，从而计算在拍摄图像中的物体的深度信息。 [0074] 已经描述了设置在控制单元100中的深度计算单元113。在本文中，具有计算在拍摄图像中的物体的深度信息的功能的成像装置被称为深度照相机，并且可通过立体照相机或激光测距扫描仪来实现。当信息处理设备10可从诸如深度照相机的外部装置获取深度信息时，深度计算单元113可以不存在。 [0075] 由深度计算单元113计算或从深度照相机等获取的深度信息将在下面描述。例如，深度信息是按拍摄图像的每个像素的实际尺寸(按厘米)获取的。图7是在图像中表示这样的深度信息的示图。在图7中示出的图像中，深度的程度以灰阶的方式来指示。具体地说，深度的程度越高(距照相机15距离越长)，被表示得越白，深度的程度越低(距照相机15距离越近)，被表示得越黑。以这种方式，在拍摄图像中的深度信息可以按每个像素的实际尺寸(按厘米)来获取。 [0076] (前后关系判断单元115) [0077] 前后关系判断单元115通过使用深度信息，针对每个部分判断拍摄的实际物体与虚拟物体之间的前后关系。 [0078] 更具体地说，例如，前后关系判断单元115将拍摄图像中的物体的深度信息(参见图5中指示的距离dreal)与虚拟图像中的物体的深度信息(参见图8中示出的距离dvertual)进行比较，从而判断每个像素的前后关系。 [0079] 前后关系判断单元115可从深度计算单元113获取拍摄图像中的物体的深度信息并且从显示控制单元105获取虚拟图像中的物体的深度信息。 [0080] 在本文中，可假定当深度越小(越浅)时，照相机与物体之间的距离越短。可假定当深度越大(越深)时，照相机与物体之间的距离越长。因此，根据本实施例的前后关系判断单元115将拍摄图像中的物体的深度信息与虚拟图像中的物体的深度信息进行比较，并判断出具有较小深度的物体位于前面并且具有较大深度的物体位于后面。此外，前后关系判断单元115将判断结果输出到显示控制单元105。 [0081] (显示控制单元105) [0082] 显示控制单元105产生虚拟衣服被重叠显示在拍摄图像中拍摄的被摄体上的AR试穿图像，并将该AR试穿图像显示在显示装置19上。基于由前后关系判断单元115判断的拍摄图像中的物体(诸如被摄体A)与虚拟物体(诸如虚拟衣服C)之间的针对每个部分的前后关系，根据本实施例的显示控制单元105显示要重叠的虚拟衣服。从而，即使在被摄体A与虚拟图像C之间的前后关系复杂时，根据本实施例的显示控制单元105也可控制显示正确的AR试穿图像。 [0083] 将参考图8来描述要重叠在拍摄图像上的虚拟图像的产生。图8是用于说明在虚拟空间中的虚拟照相机25与虚拟衣服C之间的位置关系，以及其中虚拟衣服C被投影(渲染)的虚拟衣服图像C’(也被称为虚拟图像)的示图。在图8中，渲染的虚拟衣服图像C’被示出在虚拟衣服的一侧，类似于图5中拍摄了真实空间的拍摄图像A’。 [0084] 虚拟照相机25的设置(内部参数)是根据用于拍摄真实空间的照相机15的设置(内部参数)来确定的。例如，照相机的设置(内部参数)是焦距f、视角θ、像素数量等。显示控制单元105设置虚拟照相机25以与真实空间照相机15匹配(这可被称为初始化)。 [0085] 然后，基于拍摄图像中的物体的深度信息，显示控制单元105将针对被摄体的骨骼位置调整的虚拟衣服C布置在与虚拟照相机25相距同照相机15与被摄体A之间的真实空间距离dreal相同的距离dvertual的位置处。显示控制单元105可基于之前建模的3D数据来产生虚拟衣服C。例如，如图8所示，虚拟衣服C的表面以一组三角形构成，从而显示控制单元105可更真实地表示虚拟衣服的3D形状。当被摄体A的骨骼位置随着时间改变时，显示控制单元105可改变虚拟衣服C的布置以跟踪骨骼位置。 [0086] 通过虚拟照相机25，渲染的或3D衣服图像C被投影到2D平面图像上，从而显示控制单元105获取到虚拟衣服图像C’(虚拟图像)。 [0087] 当将衣服图像C’重叠显示在拍摄图像A’上(参见图5)时，显示控制单元105针对每个部分(诸如像素)，基于前后关系判断单元115判断结果来控制绘制的衣服图像C’的有无。由显示控制单元105进行的显示控制将在下面的<3.显示控制>中详细地描述。 [0088] 实现根据本公开的一个实施例的AR试穿系统的信息处理设备10的结构已经在上文中详细描述。随后，将描述由信息处理设备10进行的对AR试穿图像的显示控制。 [0089] <3.显示控制> [0090] [3-1.基本显示控制] [0091] 图9是示出由信息处理设备10进行的对AR试穿图像的基本显示控制处理的流程图。如图9所示，首先，在步骤S110中，显示控制单元105初始化虚拟空间中的虚拟照相机25的设置，以与真实空间中的照相机15的设置匹配。 [0092] 然后，在步骤S113中，骨骼位置计算单元101计算拍摄的真实空间中的被摄体A的骨骼位置(xyz坐标)，并将其输出到显示控制单元105。 [0093] 接下来，在步骤S116中，显示控制单元105布置虚拟衣服C以调整适于在虚拟空间中的被摄体A的骨骼位置(xyz坐标)。 [0094] 然后，在步骤S119中，显示控制单元105渲染虚拟衣服C以获取衣服图像C’(虚拟图像)，绘制衣服图像C’被重叠在拍摄图像A’上的AR试穿图像，并将其显示在显示装置19上(AR显示控制)。 [0095] 信息处理设备10在步骤S122中重复地执行步骤S113到S119，直到结束指令被发出。从而，信息处理设备10可提供实时地跟踪被摄体A的运动的AR试穿图像。 [0096] 在上文中已经描述了基本显示控制处理。在步骤S119中，根据本实施例的信息处理设备10基于被摄体A与虚拟衣服C之间的前后关系来控制AR试穿图像的绘制。将在下面参考图10具体地描述根据本实施例的根据前后关系的AR试穿图像的绘制。 [0097] [3-2.根据前后关系绘制AR试穿图像] [0098] 图10是示出根据本实施例的信息处理设备10的基于深度信息的AR试穿图像绘制控制处理的流程图。更具体地说，图10示出，在图9中示出的步骤S119中的显示控制中，显示控制单元105针对每个部分(诸如像素)基于由前后关系判断单元115的判断结果来控制重叠显示在拍摄图像A’上的绘制的衣服图像C’的有无。 [0099] 首先，在图10中的步骤S125中，显示控制单元105基于如图8所示的虚拟衣服C的3D坐标P(x，y，z)来计算虚拟图像C’的坐标p(x，y)。例如，显示控制单元105将3D坐标P(x，y，z)乘以从照相机15的内部参数求得的投影矩阵，从而计算在图像平面上的2D坐标p(x，y)。 [0100] 然后，在步骤S127中，显示控制单元105计算如图8所示的虚拟照相机25与虚拟衣服C的坐标P(x，y，z)之间在虚拟空间中的距离dvertual。显示控制单元105将计算的2D坐标p(x，y)和距离dvertual输出到前后关系判断单元115。 [0101] 然后，在步骤S128中，前后关系判断单元115获取与衣服图像C’(虚拟图像)的2D坐标p(x，y)对应的拍摄图像A’的2D坐标o(x，y)处的真实空间深度(参见在图5中示出的距离dreal)。具体地说，例如，基于由深度计算单元113计算的如图7所示的每个像素(2D坐标)的深度信息，与衣服图像C’的2D坐标p对应的拍摄图像A’的2D坐标o(x，y)处的深度被获取。在本文中，如图5所示，照相机15与被摄体A的3D坐标O(x，y，z)之间的距离dreal被获取。 [0102] 随后，在步骤S131中，前后关系判断单元115将虚拟空间中的距离dvertual与真实空间中的距离dreal进行比较。当距离dvertual比距离dreal短时，前后关系判断单元115判断出虚拟衣服C位于被摄体A的前面(更近)，并且处理前进到步骤S134。当距离dvertual比距离dreal长时，前后关系判断单元115判断出虚拟衣服C位于被摄体A的后面(更远)，并且处理前进到步骤S137。以这种方式，前后关系判断单元115可针对每个部分(每个坐标)判断被摄体A与虚拟衣服C之间的前后关系。 [0103] 然后，在步骤S134中，当前后关系判断单元115判断出虚拟衣服C位于被摄体A前面时，显示控制单元105在拍摄图像A’的坐标o处的像素上绘制虚拟图像C’的坐标p处的像素。 [0104] 另一方面，在步骤S137中，当前后关系判断单元115判断出虚拟衣服C位于被摄体A后面时，显示控制单元105不在拍摄图像A’的坐标o处的像素上绘制虚拟图像C’的坐标p处的像素。 [0105] 针对重叠显示在拍摄图像A’上的衣服图像C’的所有像素(坐标)执行在上述步骤S125到S137中的处理。从而，即使当被摄体A与虚拟衣服C之间的前后关系复杂时，显示控制单元105也可准确地绘制AR试穿图像。下面描述根据本实施例的显示控制单元105所绘制的示例性的AR试穿图像。 [0106] (示例性的绘制的AR输出图像) [0107] 随后，将在图11和图12中示出根据本实施例的显示控制单元105所绘制的示例性的AR试穿图像。 [0108] 如图11所示，与图2中示出的普通合成不同，即使当被摄体A的手位于躯干前面时，当虚拟衣服C被重叠显示(合成)时针对每个部分判断前后关系，因此，虚拟衣服C没有被绘制在位于躯干前面的被摄体A的手上。 [0109] 如图12所示，与图3中的上述的基于颜色信息的合成不同，即使当被摄体A穿上长袖衣服并且手位于躯干前面时，根据本实施例针对每个部分判断前后关系，因此，虚拟衣服C没有被绘制在位于躯干前面的被摄体A的手上。 [0110] <4.总结> [0111] 如上所述，使用根据本公开的一个实施例的AR试穿系统，针对每个部分，将拍摄图像中的被摄体A的深度与虚拟图像中的虚拟衣服C的深度进行比较，从而针对每个部分判断被摄体A与虚拟衣服C之间的前后关系。根据本实施例的AR试穿系统可基于判断结果，绘制正确表达了被摄体A与虚拟衣服C之间的前后关系的AR试穿图像。 [0113] 例如，已经描述的AR试穿系统主要假定被摄体A的手以复杂的前后关系位于被摄体A的躯干前面，但是并不限于此，还可应用于被摄体A在其身体前面有包等的情况。此外，可应用于在被摄体A的前面存在障碍物(诸如其他人、柱子或箱子)的情况。 [0114] 上面已经描述的上述AR试穿系统主要假定虚拟衣服的试穿，但是要试穿的对象不限于衣服，还可以是诸如眼镜、帽子和腰带的饰品。 [0115] 已经描述的上述AR试穿系统假定被摄体是人，但是被摄体不限于人，还可以是诸如狗或猫的动物。在这种情况下，可提供用于将宠物衣服图像重叠显示在拍摄有动物的拍摄图像上的AR试穿系统。 [0116] 通过使用深度信息针对每个部分判断实际物体与虚拟物体之间的前后关系并基于判断的前后关系来执行AR显示控制的根据本实施例的技术不限于上述AR试穿系统，当然还可以被应用于各种AR显示控制。 [0117] 另外，本技术还可以被配置为如下。 [0118] (1)一种信息处理设备，包括： [0119] 判断单元，用于通过使用深度信息，针对每个部分判断拍摄的实际物体与虚拟物体之间的前后关系；以及 [0120] 显示控制单元，用于基于由判断单元判断的前后关系，将其中投影了虚拟物体的虚拟图像重叠显示在拍摄有实际物体的拍摄图像上。 [0121] (2)根据(1)的信息处理设备， [0122] 其中，判断单元将实际物体的深度与虚拟物体的深度进行比较，并根据深度的大小来判断前后关系。 [0123] (3)根据(1)或(2)的信息处理设备，包括： [0124] 深度计算单元，用于基于从真实空间检测的检测数据来计算拍摄的被摄体的深度， [0125] 其中，判断单元将由深度计算单元计算出的被摄体的深度与虚拟衣服饰品的深度进行比较，从而针对每个部分来判断其间的前后关系，并且 [0126] 其中，显示控制单元基于由判断单元判断的前后关系将其中投影了衣服饰品的虚拟衣服饰品图像重叠显示在拍摄有被摄体的拍摄图像上。 [0127] (4)根据(3)的信息处理设备， [0128] 其中，显示控制单元基于判断单元得到的每个像素的前后关系的判断结果，控制虚拟衣服饰品图像的每个像素有无绘制。 [0129] (5)一种显示控制方法，包括以下步骤： [0130] 通过使用深度信息，针对每个部分判断拍摄的实际物体与虚拟物体之间的前后关系；以及 [0131] 基于在判断步骤中判断的前后关系，将其中投影了虚拟物体的虚拟图像重叠显示在拍摄有实际物体的拍摄图像上。 [0132] (6)一种程序，使得计算机执行以下处理： [0133] 通过使用深度信息，针对每个部分判断拍摄的实际物体与虚拟物体之间的前后关系；以及 [0134] 基于通过判断处理判断的前后关系，将其中投影了虚拟物体的虚拟物体重叠显示在拍摄有实际物体的拍摄图像上。 [0135] (7)根据(6)的程序， [0136] 其中，判断处理将实际物体的深度与虚拟物体的深度进行比较，从而根据深度的大小来判断前后关系。 [0137] (8)根据(6)或(7)的程序，用于使计算机进一步执行基于从真实空间检测的检测数据来计算拍摄的被摄体的深度的处理， [0138] 其中，判断处理将通过计算深度的处理计算出的被摄体的深度与虚拟衣服饰品的深度进行比较，从而针对每个部分来判断前后关系，并且 [0139] 其中，显示处理基于通过判断处理判断的前后关系，将其中投影了衣服饰品的虚拟衣服饰品图像重叠显示在拍摄有被摄体的拍摄图像上。 [0140] (9)根据(8)的程序， [0141] 其中，显示处理基于判断处理得到的每个像素的前后关系的判断结果，控制虚拟衣服饰品图像的每个像素有无绘制。 [0142] 附图标记列表 [0143] 10 信息处理设备 [0144] 15 照相机 [0145] 17 传感器 [0146] 19 显示装置 [0147] 100 控制单元 [0148] 101 骨骼位置计算单元 [0149] 105 显示控制单元 [0150] 113 深度计算单元 [0151] 115 前后关系判断单元 [0152] 120 操作输入单元 [0153] 130 存储单元 [0154] a 被摄体 [0155] b 坐标(骨骼位置) [0156] c 虚拟衣服 |
||||||
QQ群二维码
意见反馈
意见反馈