显示控制设备、显示控制方法和程序 |
|||||||
| 申请号 | CN201210080649.X | 申请日 | 2012-03-23 | 公开(公告)号 | CN102737228B | 公开(公告)日 | 2017-12-12 |
| 申请人 | 索尼公司; | 发明人 | 笠原俊一; | ||||
| 摘要 | 提供了一种显示控制设备、显示控制方法和程序。公开了一种包括存储指令的 存储器 和控制单元的装置。该控制单元可被配置成执行指令以：获取实际空间的图像；在所述实际空间图像中检测感兴趣的对象；获得所述对象的静止图像；以及显示 叠加 在所述静止图像上的与所述对象有关的虚拟图像。 | ||||||
| 权利要求 | 1.一种显示控制装置，包括： |
||||||
| 说明书全文 | 显示控制设备、显示控制方法和程序技术领域[0001] 本公开内容涉及显示控制设备、显示控制方法和程序。 背景技术[0002] 图像识别技术近来已经变得更加先进，使得能够识别包括在来自成像设备的输入图像中的实际对象(例如：如广告牌或建筑物等的对象)的位置或姿态。作为这种对象识别的一个应用示例，AR(增强现实)应用是已知的。根据AR应用，可以将与实际对象关联的虚拟对象(例如广告信息、导航信息或者关于游戏的信息)叠加到实际空间图像中所包含的实际对象上去。注意，例如在专利文献1中公开了AR应用。 [0003] 引用列表 [0004] 专利文献 [0005] PTL1 [0006] JP 2010-238098A发明内容 [0007] 技术问题 [0008] 当用户对具有成像功能的移动终端使用AR应用时，用户可以通过使移动终端的成像方向指向实际对象来保持使虚拟对象叠加在实际空间图像上的状态。然而，对用户来说保持使成像方向指向实际对象是烦累的。 [0009] 鉴于上述内容，本公开内容提出一种使得能够为用户改进可用性的新颖且改进的显示控制设备、显示控制方法和程序。 [0010] [针对问题的方案] [0011] 一种装置，包括：存储指令的存储器；以及控制单元，被配置成执行所述指令，以：获取实际空间的图像；在所述实际空间图像内检测感兴趣的对象；获得所述对象的静止图像；以及显示叠加在所述静止图像上的与所述对象有关的虚拟图像。 [0012] 一种方法，包括：获取实际空间的多个图像；在所述多个图像内检测感兴趣的对象；获得所述对象的静止图像；以及显示叠加在所述静止图像上的与所述对象有关的虚拟图像。 [0013] 一种有形实施的非瞬时的计算机可读介质，所述计算机可读介质存储有指令，所述指令在由处理器执行时执行下述方法，所述方法包括：获取实际空间的多个图像；在所述多个图像内检测感兴趣的对象；获得所述对象的静止图像；以及显示叠加在所述静止图像上的与所述对象有关的虚拟图像。 [0014] 本发明的有益效果 [0016] 图1是示出根据本公开内容的增强现实(AR)系统的配置的图； [0017] 图2是示出实时识别屏幕的示例的图； [0019] 图4是示出根据第一实施例的移动终端的配置的框图； [0020] 图5是示出实时识别屏幕和静止图像操作屏幕的布局的图； [0021] 图6是示出静止图像操作屏幕的可替换示例的图； [0022] 图7是示出移动终端在实时识别模式下的操作的流程图； [0023] 图8是示出移动终端在静止图像操作模式下的操作的流程图； [0024] 图9是示出根据第二实施例的移动终端的配置的框图； [0025] 图10是示出根据第三实施例的移动终端的配置的框图； [0026] 图11是示出根据第四实施例的AR系统的图； [0027] 图12是示出根据第四实施例的移动终端和AR服务器的配置的功能框图； [0028] 图13是示出第四实施例的第一操作示例的序列图； [0029] 图14是示出第四实施例的第二操作示例的序列图；以及 [0030] 图15是示出第四实施例的第三操作示例的序列图。 具体实施方式[0032] 在本说明书和附图中，有时用附于相同附图标记的不同字母来区分具有基本相同功能的结构性元件。然而，在无特别需要区分具有基本相同功能的多个结构性元件的情况下，这些具有基本相同功能的结构性元件仅用相同的附图标记表示。 [0033] 此外，将按以下顺序来提供“具体实施方式”。 [0034] 1.对AR系统的综述 [0035] 2.对实施例的描述 [0036] 2-1.第一实施例 [0037] 2-2.第二实施例 [0038] 2-3.第三实施例 [0039] 2-4.第四实施例 [0040] 3.总结 [0041] 本发明的方面包括一种装置，其包括存储指令的存储器和控制单元。控制单元可以被配置成执行指令，以：获取实际空间的图像，在实际空间图像内检测感兴趣的对象，获得该对象的静止图像，以及显示叠加在静止图像上的与该对象有关的虚拟图像。 [0042] 本发明的方面包括一种方法，该方法包括：获取实际空间的多个图像，在多个图像内检测感兴趣的对象，以及获得该对象的静止图像。该方法还可以包括显示叠加在静止图像上的与该对象有关的虚拟图像。 [0043] 本发明的方面包括有形实施的非瞬时的计算机可读介质，其存储有如下指令，该指令在被处理器执行时进行下述方法。所述方法可以包括：获取实际空间的多个图像，在多个图像内检测感兴趣的对象，获得该对象的静止图像，以及显示叠加在静止图像上的与该对象有关的虚拟图像。 [0044] 1.对AR系统的综述 [0045] 根据本公开内容的AR系统可以以作为示例在“2-1.第一实施例”至“2-4.第四实施例”中详细描述的各种实施例来实现。此外，根据每个实施例的AR系统可以包括下述显示控制设备(移动终端20，AR服务器30)，所述显示控制设备包括： [0046] A.控制单元(241-244)，该控制单元可以使得显示设备的显示在含有实际空间的运动图像的实际空间运动图像与例如合成图像之间转换，该合成图像含有实际空间的静止图像以及与静止图像中所含有的实际对象对应的虚拟对象。 [0047] 以下，首先参照图1和图2说明对每个实施例共同的AR系统的基本配置。 [0048] 图1是示出根据本公开内容的AR系统的配置的图。如图1所示，根据本公开内容的AR系统包括具有成像功能的移动终端20。该移动终端20能够例如捕获实际空间图像并且显示与在实际空间图像中含有的实际对象对应的、叠加到显示器26上的实际空间图像上的虚拟对象。实际空间图像可以包括例如多个实际空间的图像。当实际空间图像包括周期性获得的实际空间的多个图像时，认为该实际空间图像是“实况图像(live image)”。应理解此处所使用的术语“实际空间图像”包括实际空间的单个静止图像、实际空间的多个静止图像以及实际空间的实况图像。 [0049] 例如，在实际对象是如图1所示的站牌40时，移动终端20能够捕获含有站牌40的实际空间图像并显示实时识别屏幕，在该实时识别屏幕中与站牌40对应的虚拟对象叠加在显示器26上。以下参照图2对实时识别屏幕进行详细描述。 [0050] 图2是示出实时识别屏幕的示例的图。如图2所示，实时识别屏幕P包含作为实际对象的站牌40和作为叠加在站牌40上的虚拟对象的时间表52的显示。通过查看叠加有虚拟对象的实时识别屏幕，用户能够获得不能从实际空间获得的信息(在图2的情况中，是关于列车时刻表的信息，该信息并未写在站牌40上)。 [0051] 此外，用户能够通过在显示屏上进行预定操作来改变实时识别屏幕中含有的虚拟对象的显示。例如，当用户在图2所示的实时识别屏幕P上进行向上滑动操作或向下滑动操作时，移动终端20可以将时间表52中的显示的主题向上滑动或向下滑动。 [0052] 此外，在多个虚拟对象与一个实际对象关联的情况下，移动终端20可以根据用户操作在多个虚拟对象中切换要显示的虚拟对象。例如，当用户在图2所示的实时识别屏幕P上进行向左滑动操作或向右滑动操作时，移动终端20可以将要叠加到站牌40上的虚拟对象切换为区域地图或路线图。 [0053] 注意，尽管图1示出了智能电话作为移动终端20的示例，但是移动终端20不限于智能电话。例如，移动终端20可以是PDA(个人数字助理)、移动电话、便携式音乐播放设备、便携式视频处理设备或者便携式游戏机。此外，移动终端20仅是显示控制设备的示例，而显示控制设备可以是安装在网络侧或者安装在任何其他合适的配置中的服务器。 [0054] 此外，尽管图1和图2示出了站牌40作为实际对象的示例，但是实际对象不限于站牌40。例如，实际对象可以是感兴趣的对象，或者对象例如可以是广告牌、建筑物、车辆、食品或者玩具、或者标识图案如QR码或者AR标记。 [0055] 顺便提及，将虚拟对象叠加到实际空间图像上的上述AR应用通常但并不专门地通过对所捕获的实际空间图像进行实时地识别来执行。因此，用户能够通过使移动终端20的成像方向指向实际对象并将该取向保持一段时间来保持其中虚拟对象被叠加到实际空间图像上的实时识别屏幕。然而，对用户来说保持使移动终端20的成像方向指向实际对象是烦累的。此外，在使移动终端20的成像方向指向实际对象的情况下，难以进行用于改变对虚拟对象的显示的操作。 [0056] 就给出的这种情形和其他情形，发明了本发明的实施例。根据本公开内容的实施例，可以改进移动终端20的可用性和可操作性。以下，在描述移动终端20的硬件配置之后，对本公开的实施例顺序地进行详细描述。 [0057] 移动终端的硬件配置 [0058] 图3是示出移动终端20的硬件配置的说明图。如图3所示，移动终端20包括CPU(中央处理单元)201、ROM(只读存储器)202、RAM(随机存取存储器)203、输入设备208、输出设备210、存储设备211、驱动器212、成像设备213和通信设备215。 [0059] CPU 201可以用作处理设备和控制设备二者，并且CPU 201根据各种程序来控制移动终端20中的全部操作。CPU 201可以是微处理器。ROM202存储要被CPU 201使用的程序以及处理参数等。RAM 203可以临时存储要在CPU 201上的执行中使用的程序、在执行过程中变化的参数等。CPU 201、ROM 202和RAM 203通过主机总线连接，主机总线可以是例如CPU总线等。 [0060] 输入设备208可以包括用于用户输入信息的输入部件，如鼠标、键盘、触摸面板、按钮、麦克风、开关或控制杆，和例如基于用户输入生成输入信号并将该输入信号输出到CPU 201的输入控制电路。移动终端20的用户操纵输入设备208以由此输入各种数据或者指导对移动终端20的处理操作。 [0061] 输出设备210包括显示设备，如LCD(液晶显示器)设备、OLED(有机发光二极管)设备或者灯。此外，输出设备210包括声音输出设备，如扬声器或耳机。例如，显示设备显示所捕获的图像、所生成的图像等。另一方面，声音输出设备可以将声音数据等转换为声音并输出该声音。 [0062] 存储设备211是其功能可以包括数据存储的设备，该设备可以被配置为根据本实施例的移动终端20的存储单元的示例。存储设备211可以包括存储介质、将数据记录到存储介质中的记录设备、从存储介质读取数据的读取设备、将记录在存储介质中的数据删除的删除设备等。存储设备211可以存储要被CPU 201执行的程序和各种数据。 [0063] 驱动器212是用于存储介质的读写器，并且驱动器212可以置于移动终端20内或者从外部附着。驱动器212可以读取记录在附着到驱动器212的可移除存储介质24(如磁盘、光盘、磁光盘或者半导体存储器)上的信息并将该信息输出到RAM 203。此外，驱动器212可以将信息写入到可移除存储介质24中。 [0064] 成像设备213可以包括光学成像系统以及信号转换器，光学成像系统如聚集光的取像透镜或变焦透镜，信号转换器如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)。光学成像系统聚集从被摄体发出的光并在信号转换器上形成被摄体图像，信号转换器将所形成的被摄体图像转换成电图像信号。 [0065] 通信设备215是由通信设备等组成以与例如网络12连接的通信接口。通信设备215可以是与无线LAN(局域网)兼容的通信设备、与LTE(长期演进)兼容的通信设备或者进行有线通信的有线通信设备。 [0066] 注意，网络12可以是从与网络12连接的设备传输的信息的有线或无线传输通道。例如，网络12可以包括公用网如因特网、电话线网络或者卫星通信网络、各种LAN(局域网)(包括以太网(注册商标))、WAN(广域网)等。此外，网络12可以包括专用线路网，如IP-VPN(网际协议-虚拟专用网络) [0067] 2.对实施例的描述 [0068] 以上参照图1至图3说明了根据本公开内容的AR系统的示例性配置。以下，将参照图4至图15详细描述根据本公开内容的第一实施例至第四实施例。 [0069] 2-1.第一实施例 [0070] (移动终端的配置) [0071] 图4是示出根据第一实施例的移动终端20-1的配置的功能框图。如图4所示，根据第一实施例的移动终端20-1包括显示器26、触摸面板27、成像设备213、特征值DB(数据库)220、图像识别单元224、虚拟对象DB 228、虚拟对象获取单元232和控制单元241。 [0072] 显示器26可以包括由LCD、OLED等组成的显示模块。显示器26根据控制单元241的控制显示各个屏幕。例如，显示器26显示实时识别屏幕和静止图像操作屏幕，实时识别屏幕含有成像设备213捕获的实际空间的运动图像，静止图像操作屏幕是实际空间的静止图像以及与在静止图像中含有的实际对象对应的虚拟对象等的合成图像。然而，注意，实时识别屏幕仅是含有实际空间的运动图像的实际空间运动图像的示例，而实际空间运动图像可以含有在对虚拟图像和/或实际图像进行显示之前捕获的实际空间的运动图像。 [0073] 此外，尽管图4中示出了将显示器26安装作为移动终端20-1的一部分的示例，然而显示器26可以是与移动终端20-1分离的构件。此外，显示器26可以是安装在用户头上的HMD(头戴式显示器)。 [0074] 触摸面板27是安装到显示器26上的操作检测单元。触摸面板27能够检测操作体(如用户的手指或者触摸笔)的接近或接触。注意，触摸面板27仅是操作检测单元的示例，并且移动终端20-1可以包括另外的用于操作的部件，如键盘和按钮。 [0075] 成像设备213可以包括如上参照图3所描述的光学成像系统和信号转换器，并根据控制单元241的控制捕获实际空间图像(运动图像或静止图像)。注意，成像设备213可以分离地包括用于对运动图像成像的部件和用于对静止图像成像的部件。 [0076] 特征值DB 220是存储实际对象的图像的特征值数据的数据库。具体地，在特征值DB 220中，用于标识每个实际对象的标识信息与每个实际对象的特征值数据相互关联。特征值数据可以是例如从使用SIFT或者随机森林(Random Fern)对实际对象的图像进行学习所确定的一组特征值。 [0077] 图像识别单元224可以识别由成像设备213捕获的实际空间图像中含有的实际对象和实际空间图像中的实际对象的位置和姿态。例如，图像识别单元224通过针对存储在特征值DB 220中的每个实际对象的特征值检查根据实际空间图像确定的特征值来识别实际空间图像中含有的实际对象。具体地，图像识别单元224可以根据特征值确定方法如SIFT或随机森林来确定实际空间图像中的实际对象的特征值，并针对存储在数据库220中的每个实际对象的特征值检查确定的特征值。然后，图像识别单元224识别出与和实际空间图像中的实际对象的特征值最匹配的特征值关联的实际对象的标识信息，以及实际空间图像中的实际对象的位置和姿态。 [0079] 此外，尽管以上描述了通过图像处理识别实际空间图像中含有的实际对象的示例，但是识别实际对象的方法不限于图像处理。例如，检测图像设备213所指向的方向以及移动终端20-1的当前位置、并基于检测结果估计在实际空间图像中含有的实际对象以及该实际对象在实际空间图像中的位置和姿态是可行的。 [0080] 虚拟对象DB 228是存储要叠加在实际对象上的虚拟对象的数据库。具体地，在虚拟对象DB 228中，虚拟对象的标识信息、实际对象的标识信息、指示相对于实际对象的显示位置和姿态的设置信息以及要被呈现给用户的虚拟对象是彼此关联的。虚拟对象可以是文本格式或图像格式。 [0081] 虚拟对象获取单元232可以获取与被图像识别单元224识别的实际对象对应的虚拟对象以及设置信息。例如，虚拟对象获取单元232从虚拟对象DB 228获取与被图像识别单元224识别的实际对象的标识信息关联的虚拟对象和设置信息。 [0082] 控制单元241控制移动终端20-1的全部操作。例如，控制单元241根据预定的转换准则使移动终端20-1的操作模式在包括实时识别模式和静止图像操作模式的多种操作模式中进行转换。 [0083] 实时识别模式是可以识别出在由成像设备213实时捕获的实际空间的运动图像中含有的实际对象并且通过将虚拟对象叠加到该实际对象上来创建实时识别屏幕的操作模式。另一方面，静止图像操作模式是通过将虚拟对象叠加到由成像设备213捕获的静止图像上来创建静止图像操作屏幕的操作模式。注意，控制单元241能够基于任何操作模式下的用户操作来改变虚拟对象的显示。具体地，控制单元241能够基于用户操作来移动、放大/缩小或者卷动虚拟对象。上述静止图像操作模式下的静止图像可以是例如构成由用于对运动图像成像的部件所捕获到的运动图像的一帧或者是由用于对静止图像成像的部件所捕获到的静止图像。此外，上述静止图像可以是由所捕获到的多个静止图像组成的一个静止图像。例如，在移动终端20-1具有将多个静止图像合并成放大的静止图像的功能(如将成像设备的方向逐步移位而捕获到的多个静止图像合并成一个全景图画的“一扫全景(Swing Panorama)”功能)的情况下，移动终端20-1能够在静止图像操作模式下将虚拟对象叠加到一个放大的静止图像上。在这种情况下，也能够对一个放大的静止图像进行用户操作。此外，移动终端20-1可以显示新近在初始的静止图像操作屏幕上捕获的静止图像，并且当用户操作指示与成像设备的运动相对的方向时(如朝着与一扫方向相对的方向拖拽)，除了正被显示的静止图像之外还以更宽的视角显示(空间相邻的)过去的静止图像。在这种情况下，根据用户操作将虚拟对象从新近的静止图像的区域移动到过去的静止图像的区域是可行的。可以基于对每个图像中的内容的分析或者基于由传感器在捕获每个图像时测量的成像设备的位置和姿态来对放大的静止图像进行合成。 [0084] 实时识别屏幕与静止图像操作屏幕的布局示例 [0085] 以下参照图5描述实时识别屏幕与静止图像操作屏幕的布局。如图5所示，在实时识别模式下创建的实时识别屏幕P1包括站牌40和时间表52的显示，站牌40是实际对象，而时间表52是叠加到站牌40上的虚拟对象。为了保持实时识别屏幕P1，用户可以如图5所示保持移动终端20-1的成像方向指向站牌40。 [0086] 另一方面，在静止图像操作模式下创建的静止图像操作屏幕P2包括站牌40、时间表52、标签“时间表”62、标签“区域地图”64和返回键66的显示，站牌40是实际对象，时间表52是叠加到站牌40上的虚拟对象。 [0087] 控制单元241可以根据用户对标签“时间表”62、标签“区域地图”64等的操作来改变要显示的虚拟对象。例如，在用户选择了标签“区域地图”64的情况下，控制单元241将要被叠加到站牌40上的虚拟对象从时间表52变为区域地图。 [0088] 在静止图像操作模式下，可以如图5所示在无需用户使移动终端20-1的成像方向指向实际对象的情况下显示含有虚拟对象的静止图像操作屏幕P2。由此可以改进移动终端20-1对用户的可用性并且改进对虚拟对象的显示的可操作性。 [0089] 注意，返回键66是转换操作按钮的示例，且例如在用户键入返回键66时，控制单元241使操作模式从静止图像操作模式转换成实时识别模式。 [0090] 图6是示出静止图像操作屏幕的可替换示例的说明性实施例图。根据可替换示例的静止图像操作屏幕P3包括多个缩略图(S1、S2、S3......)、返回键66以及针对每个缩略图的附加信息68。控制单元241能够接受在静止图像操作屏幕P3上的缩略图选择操作并作为主项显示所选择的缩略图。注意，多个缩略图可以是构成在实时识别模式获得的运动图像的多个帧。此外，每个缩略图可以是实际空间的静止图像与虚拟对象的合成图像或者是不含有虚拟对象的、实际空间的静止图像。 [0091] 转换操作模式的准则 [0092] 以下说明控制单元241确定是否使操作模式转换的转换准则。 [0093] 首先，从实时识别模式转换为静止图像操作模式的准则可以是以下准则中的任何一个准则或者是以下准则的组合。 [0094] (1-1)在实时识别模式下由图像识别单元224识别出实际对象。 [0095] (1-2)操作体如用户的手指与触摸面板27接触。 [0096] (1-3)操作体从触摸面板27移开。 [0097] (1-4)在实际对象的判断范围内检测到操作体与触摸面板27接触或者操作体从触摸面板27移开。 [0098] 据此，控制单元241例如可以在由图像识别单元224识别出了实际对象并且在实际对象的判断范围内检测到操作体与触摸面板27的接触的情况下使操作模式转换为静止图像操作模式。注意，作为对实际对象的判断范围的附加解释，实际对象的判断范围是与实际对象的识别范围有关的范围，实际对象的判断范围可以是包括有实际对象的识别范围的范围或者是实际对象的识别范围的一部分。当用户在实际对象的判断范围内进行操作时，即使该操作在实际对象的识别范围之外，控制单元241也判断出选择了实际对象。 [0099] 注意，控制单元241可以将在满足向静止图像操作模式转换的准则的时间点处所获得的实际空间图像用作静止图像操作屏幕的静止图像、或者可以将在满足向静止图像操作模式转换的准则之后所获得的实际空间图像用作静止图像操作屏幕的静止图像。在后一种情况下，控制单元241可以指示成像设备213使用用于对静止图像成像的部件来捕获静止图像。 [0100] 接着，从静止图像操作模式转换为实时识别模式的准则可以是以下准则中的任何一个准则或者是以下准则的组合。 [0101] (2-1)操作体如用户的手指与触摸面板27接触。 [0102] (2-2)操作体从触摸面板27移开。 [0103] (2-3)在实际对象的判断范围之外检测到操作体与触摸面板27的接触或者操作体从触摸面板27移开。 [0104] (2-4)键入了返回键66。 [0105] 据此，控制单元241例如可以在实际对象的判断范围之外检测到操作体与触摸面板27的接触的情况下使操作模式转换为实时识别模式。 [0106] 如上所述，因为根据第一实施例的移动终端20-1具有静止图像操作模式，因此有可能在无需用户保持移动终端20-1的成像方向指向实际对象的情况下显示其中虚拟对象在显示屏26上被叠加到实际空间的静止图像上的静止图像操作屏幕。由此可以改进移动终端20-1对用户的可用性并改进虚拟对象的显示的可操作性。 [0107] (移动终端的操作) [0108] 以下参照图7和图8描述根据第一实施例的移动终端20-1的操作。如图7和图8所示，移动终端20-1能够以并行的方式执行识别处理和用户IF处理。 [0109] 图7是示出移动终端20-1在实时识别模式下的操作的流程图。如图7所示，在实时识别模式下，图像识别单元224首先确定从成像设备213输入的实际空间图像是否被更新(S304)。当实际空间图像被更新时，那么图像识别单元224试图识别在实际空间图像中含有的实际对象并识别实际对象的姿态(S308)。当在S308中识别出了实际对象时，虚拟对象获取单元232从虚拟对象DB 228获取与实际对象对应的虚拟对象，且控制单元241生成由虚拟对象获取单元232获取的虚拟对象的显示(S316)。注意，当确定实际空间图像没有被更新时(在S304中为否)，当在S308中没有识别出实际对象时(在S312中为否)或者在S316的处理之后，重复自S304的处理。 [0110] 另一方面，当在S304中确定实际空间图像被更新时，控制单元241更新实时识别屏幕中的实际空间图像(S404)。进一步地，当在S316中生成了虚拟对象的显示时，控制单元241可以更新实时识别屏幕中的虚拟对象的显示(S408)。然后，在满足向静止图像操作模式转换的准则时，控制单元241使移动终端20-1的操作模式转换为静止图像操作模式(S412)。 [0111] 图8是示出移动终端20-1在静止图像操作模式下的操作的流程图。如图8所示，在静止图像操作模式下，控制单元241首先获取静止图像(S320)并读取在S308中识别的实际对象关于静止图像的姿态信息(S324)。注意，在针对静止图像操作屏幕最新捕获静止图像的情况下，可以进行新的静止图像中含有的实际对象的姿态的识别。然后，控制单元241生成由虚拟对象获取单元232获取的、与实际对象对应的虚拟对象的显示(S328)。 [0112] 另一方面，如果在S320中获取了静止图像(S420)，控制单元241在显示器26上显示静止图像(S424)。进一步地，控制单元241在显示器26上显示在S328中生成的虚拟对象的显示(S428)。然后，在满足向实时识别模式转换的准则时，控制单元241使移动终端20-1的操作模式转换为实时识别模式(S432)。另一方面，在检测到不是指示模式转换的操作的用户操作时，控制单元241根据用户操作改变应用的内部状态(S436)并重复自S424起的处理。 [0113] 2-2.第二实施例 [0114] 以下描述本公开内容的第二实施例。尽管在第一实施例中将用户的手指与触摸面板27接触或者将用户的手指从触摸面板27移开的明确操作描述为针对转换操作模式的准则，但在第二实施例中提出了用户转换操作模式的其他准则。 [0115] 图9是示出根据第二实施例的移动终端20-2的配置的功能框图。如图9所示，根据第二实施例的移动终端20-2包括显示器26、触摸面板27、运动传感器28、成像设备213、特征值DB 220、图像识别单元224、虚拟对象DB 228、虚拟对象获取单元232和控制单元242。显示器26、触摸面板27、成像设备213、特征值DB 220、图像识别单元224、虚拟对象DB 228和虚拟对象获取单元232的功能与第一实施例中所描述的功能相同，以下主要对与第一实施例中的要素不同的要素进行描述。 [0116] 运动传感器28是检测移动终端20-2的运动的传感器。例如，运动传感器28检测沿着X轴方向、Y轴方向和Z轴方向(Gx、Gy、Gz)的加速，这三个方向可以是彼此垂直的。然而，注意，移动传感器28的检测目标不限于沿着三个维度的加速。例如，在成像设备213与运动传感器28的相对位置是已知的情况下，运动传感器28的检测目标可以是沿着一个维度的加速或者是沿着两个维度的加速。此外，运动传感器28可以是陀螺传感器。 [0117] 除了根据第一实施例的控制单元241的功能中的全部功能或者一些功能之外，控制单元242还具有基于由运动传感器28对运动的检测结果来控制操作模式的转换的功能。以下对其进行描述。 [0118] 在使用中，在实时识别模式下，用户可以如图5中左边所示的那样朝向实际对象举起移动终端20-2。另一方面，在静止图像操作模式下，用户可以如图5中右边所示的那样将移动终端20-2保持在相对于用户向下的视线的正确位置上。具体地，移动终端20-2在实时识别模式下的位置和姿态与移动终端20-2在静止图像操作模式下的位置和姿态可以是不同的。 [0119] 从这一点来说，在第二实施例中，要由用户在模式转换时向移动终端20-2给出的运动被感知为模式转换操作，且控制单元242基于由运动传感器28对运动的检测结果来使移动终端20-2的操作模式转换。 [0120] 例如，如果在预定的时间段内由运动传感器28检测到的运动检测结果(Gx、Gy、Gz)的幅度分量中的每个幅度分量或一个幅度分量或多个幅度分量的变化值大于设置值，则控制单元242会使移动终端20-2的操作模式转换。 [0121] 可替换地，在运动传感器28检测到第一运动模式时，控制单元242会使操作模式从实时识别模式转换为静止图像操作模式，而在运动传感器28检测到与第一运动模式不同的第二运动模式时，控制单元242会使操作模式从静止图像操作模式转换为实时识别模式。根据实际使用的情况，第一运动模式可以是下述模式：在该模式中，移动终端20-2可以从被举起的状态移动到处于相对于用户向下的视线的正确位置上的状态。此外，第二运动模式可以是第一运动模式的逆运动模式。 [0122] 然而，用作转换的准则的运动模式不限于以上示例，而各种运动模式可被定义为转换的准则。例如，包括移动终端20-2扫动、旋转等的运动模式在内的各种运动模式都可以被定义为转换的准则。 [0123] 此外，控制单元242可以根据以上描述的与运动有关的转换的准则以及在第一实施例中描述的转换的准则的与(AND)或者或(OR)来控制操作模式的转换。例如，在用户的手指与触摸面板27接触(1-2)并且第一运动模式被运动传感器28检测到时，控制单元242可以使操作模式转换为静止图像操作模式。类似地，在用户的手指与触摸面板27接触(2-1)并且第二运动模式被运动传感器28检测到时，控制单元242可以使操作模式转换为实时识别模式。 [0124] 如上所述，根据第二实施例，将期望由用户在模式转换时给予移动终端20-2的运动用作针对转换的准则，由此减轻了用于模式转换的用户操作的负担。 [0125] 注意，会存在下述情况：其中，吸引用户兴趣的实际对象没有包含于在满足转换的准则的运动被运动传感器28检测到时所捕获的实时空间图像中。鉴于此，根据第二实施例的移动终端20-2可以存储在过去的预定时段期间所捕获的实际空间图像并在满足用于转换的准则的运动被运动传感器28检测到之前将该实际空间图像用作用于静止图像操作屏幕的静止图像。特别地，将在运动模式开始时的实际空间图像用作用于静止图像操作屏幕的静止图像是有效的。 [0126] 2-3.第三实施例 [0127] 以下，将对本公开内容的第三实施例进行描述。在本公开内容的第三实施例中，提出了对静止图像操作屏幕使用更高质量的静止图像的配置。 [0128] 图10是示出根据第三实施例的移动终端20-3的配置的功能性框图。如图10所示，根据第三实施例的移动终端20-3包括显示器26、触摸面板27、运动传感器28、成像设备213、特征值DB 220、图像识别单元224、虚拟对象DB 228、虚拟对象获取单元232和控制单元243以及模糊测量单元250。显示器26、触摸面板27、运动传感器28、成像设备213、特征值DB 220、图像识别单元224、虚拟对象DB 228以及虚拟对象获取单元232的功能与第二实施例中所描述的功能相同，以下主要对与第二实施例中的要素不同的要素进行描述。 [0129] 模糊测量单元250是质量测量单元，该单元缓存由图像设备213在实时识别模式下捕获的实际空间的运动图像并且在从实时识别模式转换为静止图像操作模式时检测过去N帧中的每帧中的模糊。例如，模糊测量单元250可以通过离散余弦变换将每帧的图像数据变换成频率分量，并根据图像数据的频率分量测量每帧中的模糊。 [0130] 除了根据第二实施例的控制单元242的功能中的全部功能或者一些功能之外，控制单元243还具有对静止图像操作屏幕选择静止图像的功能。例如，控制单元243可以基于由模糊测量单元250的测量结果来在过去N帧中选择具有最小模糊的帧并且使用所选择的帧作为用于静止图像操作屏幕的静止图像。这样的配置使得能够在静止图像操作屏幕上显示优质的静止图像。 [0131] 注意，移动终端20-3可以存储实际对象以及已经由图像识别单元224针对每帧识别的实际对象的姿态作为每帧的识别结果，而控制单元243可以使用为所选择的帧存储的识别结果来生成静止图像操作屏幕。 [0132] 2-4.第四实施例 [0133] 以下，对本公开内容的第四实施例进行描述。尽管在第一实施例至第三实施例中描述了移动终端单独实施AR的示例，但是移动终端与安装在网络侧的服务器可以结合起来实施AR。 [0134] 图11是示出根据第四实施例的AR系统的图。如图11所示，根据第四实施例的AR系统包括移动终端20-4、网络12、AR服务器30以及作为实际对象的示例的站牌40。参照图12对移动终端20-4和AR服务器30的配置进行详细描述。 [0135] 图12是示出根据第四实施例的移动终端20-4和AR服务器30的配置的框图。如图12所示，根据第四实施例的移动终端20-4包括显示器26、触摸面板27、运动传感器28、成像设备213、特征值DB 220、图像识别单元224、控制单元244以及通信单元260。显示器26、触摸面板27、运动传感器28、成像设备213、特征值DB 220和图像识别单元224与第一实施例至第三实施例中所描述的相同，以下主要对与第一实施例至第三实施例中的要素不同的要素进行描述。 [0136] 通信单元260是与AR服务器30的接口，且其可用作向AR服务器30发送信息的发送单元和接收来自AR服务器30的信息的接收单元。例如，通信单元260请求AR服务器30发送与由图像识别单元224识别的实际对象对应的虚拟对象。通信单元260然后可以向AR服务器30发送由图像识别单元224识别的实际对象的标识信息。然后，通信单元260接收AR服务器30响应于上述请求发送的虚拟对象。 [0137] 除了根据第二实施例的控制单元242的功能中全部功能或者一些功能之外，控制单元244具有将由通信单元260接收到的虚拟对象叠加到静止图像上并创建静止图像操作屏幕的功能。 [0138] 另一方面，如图12所示，AR服务器30包括虚拟对象获取单元332、虚拟对象DB 328和通信单元360。 [0139] 虚拟对象DB 328可以包括存储要被叠加到实际对象上的虚拟对象的数据库。具体地，在虚拟对象DB 328中，虚拟对象的标识信息、实际对象的标识信息、指示相对于实际对象的显示位置和姿态的设置信息以及要被呈现给用户的虚拟对象是彼此关联的。虚拟对象可以是文本格式或图像格式。 [0140] 虚拟对象获取单元332从虚拟对象DB 328获取与被通信单元360接收的实际对象的标识信息关联的虚拟对象以及设置信息。 [0141] 通信单元360可以包括与移动终端20-4的接口，且用作向移动终端20-4发送信息的发送单元和接收来自移动终端20-4的信息的接收单元。例如，通信单元360接收来自移动终端20-4的实际对象的标识信息作为传输虚拟对象的请求，并向移动终端20-4发送由虚拟对象获取单元332获取的虚拟对象和设置信息。 [0142] 如上所述，根据第四实施例，可以通过将用于AR的功能中的一些功能结合到AR服务器30中来实施云计算。注意，尽管在第四实施例中描述了将虚拟对象DB和虚拟对象获取单元的功能结合到AR服务器30中的示例，要被结合到AR服务器30中的功能并不限于此。例如，图像识别单元和特征值DB的功能也可以结合到AR服务器30中。在这种情况下，移动终端20-4将由成像设备213所捕获的图像发送到AR服务器30，AR服务器30对实际对象进行识别并获取虚拟对象，然后AR服务器30将虚拟对象发送到移动终端20-4。 [0143] 此外，创建实时识别屏幕和静止图像操作屏幕的功能可以结合到AR服务器30中。在这种情况下，移动终端20-4将由成像设备213所捕获的图像发送到AR服务器30，而AR服务器30对实际对象进行识别、获取虚拟对象并叠加虚拟对象，然后AR服务器30将其中叠加了虚拟对象的实时识别屏幕或静止图像操作屏幕发送到移动终端20-4。在创建实时识别屏幕和静止图像操作屏幕的功能结合到AR服务器30中的情况下，AR服务器30用作显示控制装置。 [0144] 在上述AR系统中，当移动终端20-4在转换到静止图像操作模式时请求AR服务器30发送虚拟对象时，会担心出现从接收虚拟对象到显示虚拟对象的延迟。鉴于此，在有可能满足向静止图像操作模式转换的准则的情况下，根据第四实施例的移动终端20-4在满足向静止图像操作模式转换的准则之前请求AR服务器30发送虚拟对象。参照图13至图15对其进行具体描述。 [0145] 第一操作示例 [0146] 图13是示出第四实施例的第一操作示例的序列图。注意，在第一操作示例中，假设下述情况：从实时识别模式转换为静止图像操作模式的准则是用户点击触摸面板27，例如用户的手指与触摸面板27接触然后从触摸面板27移开。 [0147] 如图13所示，在实时识别模式中检测到用户的手指与触摸面板27接触时(S504)，通信单元260在转换到静止图像操作模式之前请求AR服务器30发送虚拟对象(S508)。 [0148] AR服务器30的虚拟对象获取单元332响应于来自移动终端20-4的请求获取来自虚拟对象DB 328的虚拟对象(S512)，而通信单元360向移动终端20-4发送由虚拟对象获取单元332获取的虚拟对象(S516)。 [0149] 在检测到用户的手指从触摸面板27移开时(S520)，移动终端20-4的控制单元244转换为静止图像操作模式并在显示屏26上显示含有虚拟对象的静止图像操作屏幕(S524)。 [0150] 如上所述，在检测到用于转换为静止图像操作模式的用户操作的一部分时，移动终端20-4在转换到静止图像操作模式之前请求对虚拟对象的发送。这种配置使得在转换到静止图像操作模式时能够流畅地显示静止图像操作屏幕。注意，在尽管应用了本操作示例但仍然出现静止图像操作屏幕的显示延迟时，控制单元244会在显示器上显示“装载中(Loading)” [0151] 第二操作示例 [0152] 图14是示出第四实施例的第二操作示例的序列图。注意，在第二操作示例中，假设下述情况：从实时识别模式转换为静止图像操作模式的准则是实际对象被图像识别单元224以实时识别模式识别出来以及用户点击触摸面板27。 [0153] 如图14所示，在实时识别模式中实际对象被图像识别单元224识别出来时(S604)，通信单元260可以在转换到静止图像操作模式之前请求AR服务器30发送虚拟对象(S608)。 [0154] AR服务器30的虚拟对象获取单元332可以响应于来自移动终端20-4的请求获取来自虚拟对象DB 328的虚拟对象(S612)，而通信单元360向移动终端20-4发送由虚拟对象获取单元332获取的虚拟对象(S616)。 [0155] 在用户点击触摸面板27时(S620)，移动终端20-4的控制单元244转换为静止图像操作模式并在显示屏26上显示含有虚拟对象的静止图像操作屏幕(S624)。 [0156] 如上所述，在满足转换为静止图像操作模式的准则的一部分时，移动终端20-4可以在转换到静止图像操作模式之前请求对虚拟对象的发送。这种配置使得在转换到静止图像操作模式时能够流畅地显示静止图像操作屏幕，就像第一操作示例那样。 [0157] 第三操作示例 [0158] 图15是示出第四实施例的第三操作示例的图。注意，在第三操作示例中，假设下述情况：从实时识别模式转换为静止图像操作模式的准则是用户的手指与触摸面板27接触以及检测到移动终端20-4的姿态的变化。 [0159] 如图15所示，在检测到用户的手指与触摸面板27接触时(S704)，通信单元260在转换到静止图像操作模式之前请求AR服务器30发送虚拟对象(S708)。 [0160] AR服务器30的虚拟对象获取单元332响应于来自移动终端20-4的请求获取来自虚拟对象DB 328的虚拟对象(S712)，而通信单元360向移动终端20-4发送由虚拟对象获取单元332获取的虚拟对象(S716)。 [0161] 在运动传感器28检测到移动终端20-4的姿态的变化(预定运动模式)时(S720)，移动终端20-4的控制单元244进行到静止图像操作模式的转换，并在显示屏26上显示含有虚拟对象的静止图像操作屏幕(S724) [0162] 在上述第三操作示例中，如在第二操作示例中那样，在转换到静止图像操作模式时能够流畅地显示静止图像操作屏幕。 [0163] 3.总结 [0164] 如上所述，因为根据本公开每个实施例的移动终端20都可以具有静止图像操作模式，所以能够显示静止图像操作屏幕，在该静止图像操作屏幕中虚拟对象被叠加到显示器26上的实际空间的静止图像上，而无需用户使移动终端20的成像方向指向实际对象。由此可以改进移动终端20对用户的可用性并且改进了对虚拟对象的显示的可操作性。 [0165] 尽管以上参照附图对本公开内容的优选实施例进行了描述，但是本发明并不限于此。本领域技术人员应该理解，可以根据设计需要和其他因素出现各种修改、组合、子组合以及替换，只要这些修改、组合、子组合以及替换在权利要求或其等效内容的范围之内。 [0166] 例如，尽管被触摸面板27所检测到的在触摸面板27上的操作以及由移动传感器28检测到的移动终端20的运动被描述为对用作转换为静止图像操作模式的触发的用户操作的检测的示例，但是用户操作不限于此。检测用户操作的另一个示例是识别用户手势。可以基于由成像设备213所获取的图像来识别用户手势或者基于由另一个成像系统所获取的图像来识别用户手势。注意，成像设备213或者另一个成像系统可以通过如红外相机或者深度相机(Depth camera)的功能来对用户手势进行成像。 [0167] 此外，尽管在以上实施例中主要描述了显示控制设备是移动终端20的示例，但是显示控制设备可以是比移动终端20更大的设备，如电视或者显示设备。例如，通过使用从显示控制设备对用户成像的成像系统与显示控制设备连接或集成到其中的、能够显示用户的整个身体的大显示器，可以建立像镜子一样映出用户的功能而由此实施将虚拟对象叠加到用户上以允许对虚拟对象的操作的AR应用。 [0168] 此外，未必总是必须以根据在序列图或流程图中所示的顺序的时间顺序来进行本说明书中的移动终端20或AR服务器30的处理中的步骤。例如，移动终端20或AR服务器30的处理中的步骤可以以与流程图中所示的顺序不同的顺序来处理或并行处理。 [0169] 此外，创建下述计算机程序是可行的，该计算机程序使得结合到移动终端20或AR服务器30中的硬件如CPU、ROM和RAM执行与上述移动终端20或AR服务器30中的元素相同的功能。此外，还可以提供存储有该计算机程序的存储介质。 [0170] 此外，以下配置也在本公开内容的范围之内。 [0171] (1)一种显示控制设备，包括控制单元，所述控制单元使得显示设备的显示在含有实际空间的运动图像的实际空间运动图像与下述合成图像之间转换，所述合成图像含有所述实际空间的静止图像以及与在所述静止图像中含有的实际对象对应的虚拟对象。 [0172] (2)根据(1)所述的显示控制设备，其中，所述实际空间运动图像含有正被成像设备成像的实际空间的运动图像。 [0173] (3)根据(1)或(2)所述的显示控制设备，其中，对在所述合成图像中含有的所述虚拟对象的显示根据用户操作变化。 [0174] (4)根据(1)至(3)中任一项所述的显示控制设备，还包括识别单元，所述识别单元识别在所述实际空间运动图像中的所述实际对象，其中，当所述实际对象被所述识别单元识别出时，所述控制单元使得所述显示设备的显示从所述实际空间运动图像转换为所述合成图像。 [0175] (5)根据(1)至(4)中任一项所述的显示控制设备，还包括操作检测单元，所述操作检测单元检测用户操作，其中，当预定的用户操作被所述操作检测单元检测到时，所述控制单元使所述显示设备的显示转换。 [0176] (6)根据(5)所述的显示控制设备，其中，所述操作检测单元检测安装在所述显示设备上的触摸面板上的预定用户操作。 [0177] (7)根据(6)所述的显示控制设备，其中，当检测到在所述触摸面板上的实际对象的判断范围之内的用户操作时，所述控制单元使所述显示设备的显示从所述实际空间运动图像转换为所述合成图像。 [0178] (8)根据(7)所述的显示控制设备，其中，当检测到在所述触摸面板上的实际对象的判断范围之外的用户操作时，所述控制单元使得所述显示设备的显示从所述合成图像转换为所述实际空间运动图像。 [0179] (9)根据(8)所述的显示控制设备，其中，所述合成图像含有转换操作按钮，其中，当检测到所述触摸面板上的所述转换操作按钮上的用户操作时，所述控制单元使得所述显示设备的显示从所述合成图像转换为所述实际空间运动图像。 [0180] (10)根据(5)至(9)中任一项所述的显示控制设备，其中，所述操作检测单元包括检测所述显示控制设备的运动的运动传感器，且其中当由所述运动传感器检测到第一运动模式时，所述控制单元使所述显示设备的显示从所述实际空间运动图像转换为所述合成图像。 [0181] (11)根据(10)所述的显示控制设备，其中，当由所述运动传感器检测到与所述第一运动模式不同的第二运动模式时，所述控制单元使所述显示设备的显示从所述合成图像转换为所述实际空间运动图像。 [0182] (12)根据(1)至(11)中任一项所述的显示控制设备，还包括与网络上的服务器通信的通信单元，其中，所述通信单元从所述服务器接收与所述实际对象对应的所述虚拟对象。 [0183] (13)根据(12)所述的显示控制设备，其中，当由所述操作检测单元检测到所述预定用户操作中的一部分时，所述通信单元请求服务器发送所述虚拟对象，以及其中，在由所述操作检测单元检测到所述预定用户操作的全部之后，所述控制单元使得所述显示设备的显示转换为所述合成图像。 [0184] (14)根据(12)所述的显示控制设备，其中，当由所述识别单元识别出所述实际对象时，所述通信单元请求服务器发送所述虚拟对象，以及其中，在由所述操作检测单元检测到所述预定用户操作之后，所述控制单元使得所述显示设备的显示转换为所述合成图像。 [0185] (15)根据(1)至(11)中任一项所述的显示控制设备，还包括测量构成所述实际空间运动图像的每帧的质量的质量测量单元，其中，所述控制单元基于所述质量测量单元的测量结果将构成所述实际空间运动图像的一帧选择为要包含在所述合成图像中的所述静止图像。 [0186] (16)一种显示控制方法，所述显示控制方法包括使得显示设备的显示在含有实际空间的运动图像的实际空间运动图像与下述合成图像之间转换，所述合成图像含有所述实际空间的静止图像以及与在所述静止图像中含有的实际对象对应的虚拟对象。 [0187] (17)一种程序，所述程序使得计算机起到下述显示控制设备的作用，所述显示控制设备包括控制单元，所述控制单元使得显示设备的显示在含有实际空间的运动图像的实际空间运动图像与下述合成图像之间转换，所述合成图像含有所述实际空间的静止图像以及与在所述静止图像中含有的实际对象对应的虚拟对象。 [0188] (18)根据(17)所述的程序，其中，所述实际空间运动图像含有正被成像设备成像的实际空间的运动图像。 [0189] (19)根据(17)或(18)所述的程序，其中，对在所述合成图像中含有的所述虚拟对象的显示根据用户操作变化。 [0190] (20)根据(17)至(19)中任一项所述的程序，其中，所述显示控制设备还包括识别单元，所述识别单元识别在所述实际空间运动图像中的所述实际对象，其中，当所述实际对象被所述识别单元识别出时，所述控制单元使得所述显示设备的显示从所述实际空间运动图像转换为所述合成图像。 |
||||||
QQ群二维码
意见反馈
意见反馈