用于修改自动滚动的内容的滚动的信息处理装置、显示控制方法及程序
阅读：800发布：2020-12-04
专利汇可以提供用于修改自动滚动的内容的滚动的信息处理装置、显示控制方法及程序专利检索，专利查询，专利分析的服务。并且一种设备，包括：显示控制 电路 ，被配置为控制显示器显示内容；以及用户输入电路，被配置为接收来自用户的命令。显示控制电路被配置为基于来自用户的命令， 修改 在第一方向上自动滚动的内容的滚动。，下面是用于修改自动滚动的内容的滚动的信息处理装置、显示控制方法及程序专利的具体信息内容。
1.一种设备，包括：
显示控制电路，被配置为控制显示器以显示内容；以及
用户输入电路，被配置为接收来自所述用户的命令，
其中，所述显示控制电路被配置为基于来自所述用户的命令，修改在第一方向上自动滚动的内容的滚动。
2.根据权利要求1的设备，其中，所述显示控制电路被配置为在从所述用户接收命令之前，在所述第一方向上自动滚动所述内容。
3.根据权利要求1的设备，其中，外部设备被配置为在从所述用户接收命令之前，在所述第一方向上自动滚动所述内容。
4.根据权利要求1的设备，其中，所述显示控制电路被配置为基于来自所述用户的命令，在与所述第一方向相反的方向上、或者以快进速度在所述第一方向上滚动所述内容。
5.根据权利要求1的设备，进一步包括：
眼镜框，所述显示控制电路和所述用户输入电路被安装到所述眼镜框；以及显示器，安装在所述眼镜框中并且被配置为显示通过所述显示控制电路产生的图像。
6.根据权利要求5的设备，进一步包括：
成像装置，安装在所述眼镜框上并且被配置为产生图像。
7.根据权利要求6的设备，其中，所述用户输入电路包括姿势识别电路，所述姿势识别电路被配置为根据所述成像装置产生的图像识别所述用户的姿势，以及所述显示控制电路被配置为基于所述用户的姿势修改所述内容的滚动。
8.根据权利要求5的设备，进一步包括：
输入单元，安装在所述眼镜框上并且被配置为检测在所述用户操作所述输入单元时来自所述用户的姿势。
9.根据权利要求8的设备，其中，所述用户输入电路包括姿势识别电路，所述姿势识别电路被配置为识别通过所述输入单元检测的所述用户的姿势，以及所述显示控制电路被配置为基于所述用户的姿势修改所述内容的滚动。
10.根据权利要求6的设备，进一步包括：
图像识别电路，其识别通过所述成像单元产生的图像中的滚动对象。
11.根据权利要求10的设备，其中，所述显示控制电路被配置为基于来自所述用户的命令，按照相反的时间顺序滚动通过所述图像识别电路识别的滚动对象。
12.根据权利要求1的设备，其中，所述显示控制电路被配置为基于来自所述用户的命令，在两个不同的方向上移动所述内容。
13.根据权利要求1的设备，其中，所述显示控制电路被配置为在修改所述内容的滚动时修改所述内容的概述。
14.根据权利要求1的设备，其中，所述显示控制电路被配置为基于来自所述用户的命令，将所述内容移动到所述显示器上较浅的深度。
15.根据权利要求14的设备，其中，所述显示控制电路被配置为将所述内容移动到所述显示器上较浅的深度，使得所述内容覆盖所述显示器上的第二内容。
16.根据权利要求1的设备，进一步包括：
通信单元，被配置为与外部设备通信，
其中，所述用户输入电路通过所述通信单元接收来自所述外部设备的用户命令。
17.根据权利要求16的设备，其中，所述用户输入电路包括姿势识别电路，所述姿势识别电路被配置为识别通过输入单元检测的所述用户的姿势，以及所述显示控制电路被配置为基于所述用户的姿势修改所述内容的滚动。
18.根据权利要求6的设备，进一步包括：
内容选择单元，被配置为基于所述用户的姿势选择被滚动的内容。
19.一种方法，包括步骤：
接收来自用户的命令；以及
基于来自所述用户的命令，利用处理器修改在第一方向上自动滚动的内容的滚动。
20.一种非暂态计算机可读介质，编码有计算机可读指令，在通过处理器执行时，所述计算机可读指令使得所述处理器执行根据权利要求19的方法。
用于修改自动滚动的内容的滚动的信息处理装置、显示控
制方法及程序
技术领域
[0001] 本公开涉及信息处理装置、显示控制方法以及在非短暂性计算机可读介质上编码的程序。本公开包含的主题涉及2012年10月1日在日本专利局提交的日本优先权专利申请2012-219451中公开的主题，通过参考将其全部内容合并于此。
背景技术
[0002] 近年来，作为信息技术的发展结果，通过信息装置提供给用户的信息量正变得庞大。此外，用户花更多的时间来接触信息。例如，以下PTL 1公开的技术例如为了医疗的目的在头戴式显示器(HMD)的屏幕上显示用户的生物信息。通过以下PTL 1公开的技术，可以在屏幕上滚动与用户的生物信息有关的消息。即使用户在进行锻炼(例如慢跑)时也显示消息。
[0003] 引用列表
[0004] 专利文献
[0005] PTL 1：JP 2008-99834A发明内容
[0006] 技术问题
[0007] 但是，在经由普通信息装置提供信息的情况下，用户在他或她想要确认信息时才激活屏幕。与之不同，在经由可佩带装置(例如HMD)提供信息的情况下，屏幕总是运行，不管用户是否正在观看屏幕。此外，即使用户在进行任何给定的活动时，也可以在屏幕上显示各种信息。因此，在经由可佩带装置提供信息的情况下，有很大的可能用户想要确认信息的时间与显示用户感兴趣的信息的时间不同步。
[0008] 因此，希望提供一种机制，能够解决这种不同步定时并使得用户能够有效地获取信息。
[0009] 问题的解决方案
[0010] 本发明宽泛地包括设备、方法以及在非短暂性计算机可读介质上编码的程序。在一个实施例中，设备包括：显示控制电路，被配置为控制显示器显示内容；以及用户输入电路，被配置为接收来自用户的命令。显示控制电路被配置为基于来自用户的命令，修改在第一方向上自动滚动的内容的滚动。
[0011] 本发明的有益效果
[0013] 图1是示出信息处理装置的外观的示例的说明图。
[0014] 图2A是用于说明滚动项目的第一示例的第一说明图。
[0015] 图2B是用于说明滚动项目的第一示例的第二说明图。
[0016] 图3是用于说明滚动项目的第二示例的说明图。
[0017] 图4是用于说明滚动项目的第三示例的说明图。
[0019] 图6是示出根据实施例的信息处理装置的逻辑功能配置的示例的框图。
[0020] 图7是用于说明检测用户操作的第一技术的说明图。
[0021] 图8是用于说明检测用户操作的第二技术的说明图。
[0022] 图9是用于说明根据用户操作将滚动位置倒回的示例的说明图。
[0023] 图10是用于说明根据用户操作将滚动位置快进的示例的说明图。
[0024] 图11是用于说明根据用户操作将滚动位置倒回的另一示例的说明图。
[0025] 图12是示出根据实施例的显示控制处理的流程的第一示例的流程图。
[0026] 图13是示出根据实施例的显示控制处理的流程的第二示例的流程图。
[0027] 图14A是示出操作目标选择处理的详细流程的第一示例的流程图。
[0028] 图14B是示出操作目标选择处理的详细流程的第二示例的流程图。
[0029] 图15是用于说明基于手势确定来选择操作目标项目的说明图。
[0030] 图16是用于说明根据用户操作的附加显示控制的第一说明图。
[0031] 图17是用于说明根据用户操作的附加显示控制的第二说明图。
[0032] 图18是用于说明将信息处理装置与外部设备链接的示例的说明图。
[0033] 图19是用于说明检测用户操作的第三技术的说明图。
具体实施方式
[0036] 按照以下顺序进行描述。
[0037] 1.概述
[0038] 2.根据实施例的装置的配置
[0039] 2-1.硬件配置
[0040] 2-2.功能配置
[0041] 3.处理流程
[0042] 3-1.总体流程
[0043] 3-2.操作目标选择处理
[0044] 3-3.附加显示控制
[0045] 4.与外部设备链接
[0046] 5.结论
[0047] <1.概述>
[0048] 根据本公开的技术可以应用于各种形式的信息处理装置，其典型示例是可佩带装置，例如头戴式显示器(HMD)。
[0049] 图1是示出可以应用根据本公开的技术的信息处理装置的外观的示例的示意图。在图1的示例中，信息处理装置100是佩戴在用户头部的眼镜式可佩带装置。信息处理装置
100配备了一对屏幕SCa和SCb、外壳HS、成像透镜LN、以及触摸表面TS。屏幕SCa和SCb是透视屏幕或者非透视屏幕，分别布置在用户左右眼的前方。注意，代替屏幕SCa和SCb，也可以实施布置在用户两眼之前的单个屏幕。外壳HS包括支撑屏幕SCa和SCb的框架，以及位于用户头部两侧的所谓太阳穴。用于信息处理的各种模块存储在太阳穴内。成像透镜LN被布置为使得光轴与用户的视线近似平行，并用于捕捉图像。触摸表面TS是检测用户的触摸的表面，并用于信息处理装置100接收用户操作。代替触摸表面TS，也可将诸如按钮、开关或方向盘这样的操作机构安装在外壳HS上。
100配备了一对屏幕SCa和SCb、外壳HS、成像透镜LN、以及触摸表面TS。屏幕SCa和SCb是透视屏幕或者非透视屏幕，分别布置在用户左右眼的前方。注意，代替屏幕SCa和SCb，也可以实施布置在用户两眼之前的单个屏幕。外壳HS包括支撑屏幕SCa和SCb的框架，以及位于用户头部两侧的所谓太阳穴。用于信息处理的各种模块存储在太阳穴内。成像透镜LN被布置为使得光轴与用户的视线近似平行，并用于捕捉图像。触摸表面TS是检测用户的触摸的表面，并用于信息处理装置100接收用户操作。代替触摸表面TS，也可将诸如按钮、开关或方向盘这样的操作机构安装在外壳HS上。
[0050] 如图1所示，信息处理装置100的屏幕SCa和SCb连续出现在用户的视野中。此外，在屏幕SCa和SCb上可以显示各种信息，不管用户在进行什么活动。提供给用户的信息可以是文本格式的信息，也可以是图形格式的信息。在每个信息项目的尺寸不小的情况下，信息可以在屏幕上自动滚动。本说明书中，将在屏幕上自动滚动的信息项目指定为滚动项目。
[0051] 图2A和图2B是用于说明滚动项目的第一示例的说明图。参照图2A，在信息处理装置100中，在屏幕上显示滚动项目SI01，滚动项目SI01表达属于新闻信息的信息。滚动项目SI01的显示尺寸没有大到同时表达新闻的全部内容。因此，信息处理装置100在滚动项目SI01内，在滚动方向D01上自动滚动陈述新闻内容的字符串。在图2A中，滚动项目SI01显示新闻内容的第一半，而在图2B中，滚动项目SI01显示新闻内容的第二半。
[0052] 图3是用于说明滚动项目的第二示例的示意图。参照图3，在信息处理装置100中，在屏幕上显示滚动项目SI02，滚动项目SI02表达图像内容。滚动项目SI02的显示尺寸没有大到同时表达全部图像。因此，信息处理装置100在滚动项目SI02内，在滚动方向D02上自动滚动图像内容。
[0053] 上述滚动项目是实际上通过信息处理装置100产生的信息项目。与之不同，根据本公开的技术也处理在真实空间中通过滚动项目显示的信息。图4是用于说明滚动项目的第三示例的说明图。在图4的示例中，信息处理装置100的屏幕指向真实空间RS1中的电子指示牌。电子指示牌是可以安装在诸如火车站这样的位置的显示装置，并在滚动方向D03上自动滚动火车时刻信息。信息处理装置100处理在捕捉的图像中出现的电子指示牌显示的信息项目，作为滚动项目SI03。滚动项目SI03的信息内容可经由信息处理装置100的通信单元来获取。
[0054] 这些滚动项目向用户提供大量信息，而不被用户操作。但是，自动滚动使得用户想要确认信息的时间与显示用户感兴趣的信息的时间不同步。例如，当用户观看列车时刻信息时，有可能延误的列车线的名称已经滚动出视野。此外，即使用户可能想要迅速确认体育比赛的结果，但是有可能用户必须等候几秒钟，直到结果显示。因此，通过以下部分详细描述的实施例，提供一种用户接口，其解决这种不同步的定时，且使得用户能够有效地获取信息。
[0055] <2.根据实施例的装置的配置>
[0056] <2-1.硬件配置>
[0057] 图5是根据实施例的信息处理装置100的硬件配置的示例的框图。参照图5，信息处理装置100配备有成像单元102、传感器单元104、操作单元106、存储装置108、显示器110、通信单元112、总线116和控制器118。
[0058] (1)成像单元
[0059] 成像单元102是捕捉图像的相机模块。成像单元102包括图1中通过示例示出的透镜LN、CCD、CMOS或其他图像传感器、以及成像电路。成像单元102捕捉用户视野中的真实空间，并产生捕捉的图像。成像单元102产生的一系列捕捉的图像可以构成视频。
[0060] (2)传感器单元
[0061] 传感器单元104可包括定位传感器，其测量信息处理装置100的位置。定位传感器例如可以是全球定位系统(GPS)传感器，其接收GPS信号并测量装置的纬度、经度和高度。或者，定位传感器可以是基于从无线接入点接收的无线信号的强度执行定位的传感器。传感器单元104将定位传感器输出的位置数据输出给控制器118。
[0062] (3)操作单元
[0063] 操作单元106是为了用户操作信息处理装置100或者将信息输入信息处理装置100而使用的操作接口。操作单元106例如可经由图1所示触摸传感器的触摸表面TS接收用户操作。作为触摸传感器的替代(或者除了触摸传感器之外)，操作单元106还可以包括其他类型的操作接口，例如按钮、开关、键盘、语音输入接口。注意，如下所述，也可以经由捕捉的图像中出现的操作对象的识别来检测用户操作，而不是经由这些操作接口。
[0064] (4)存储装置
[0065] 存储装置108通过诸如半导体存储器或硬盘这样的存储介质来实现，并存储信息处理装置100的处理中使用的程序和数据。注意，也可以从外部数据源(例如，数据服务器、网络存储装置、或外接存储器)获取本说明书所述的一部分程序和数据，而不是存储在存储装置108中。
[0066] (5)显示器
[0067] 显示器110是显示器模块，包括布置为进入用户视野的屏幕(例如图1所示的一对屏幕SCa和SCb)，以及显示电路。显示器110在屏幕上显示通过下述显示控制器150产生的输出图像。
[0068] (6)通信单元
[0069] 通信单元112是通信接口，其调解信息处理装置100与其他装置之间的通信。通信单元112支持任何无线通信协议或有线通信协议，并建立与其他装置的通信连接。
[0070] (7)总线
[0071] 总线116将成像单元102、传感器单元104、操作单元106、存储装置108、显示器110、通信单元112和控制器118相互连接。
[0072] (8)控制器
[0073] 控制器118对应于诸如中央处理器(CPU)或数字信号处理器(DSP)的处理器。通过执行存储装置108或其他存储介质中存储的程序，控制器118使得下述信息处理装置100的各种功能能够操作。
[0074] <2-2.功能配置>
[0075] 图6是示出通过图5所示信息处理装置100的存储装置108和控制器118实现的逻辑功能的示例性配置的框图。参照图6，信息处理装置100配备有图像识别单元120、检测器130、信息获取单元140、以及显示控制器150。
[0076] (1)图像识别单元
[0077] 图像识别单元120识别捕捉的图像中出现的操作对象。操作对象可以是例如用户的手指、腿、或者用户持有的棒状对象这样的对象。例如在日本未审专利申请公开No.2011-203823和日本未审专利申请公开No.2011-227649中描述了用于识别在捕捉的图像中出现的这种操作对象的技术。在识别捕捉的图像中出现的操作对象时，图像识别单元120向检测器130输出识别结果，其指示诸如图像中识别的操作对象的位置(例如操作对象末端的位置)以及对象形状这样的信息。
[0078] 图像识别单元120还可以识别捕捉的图像中出现的对象或人。例如，通过利用已建立的对象识别技术(例如模式匹配)，图像识别单元120可以潜在地识别捕捉的图像中出现的对象。此外，通过利用建立的脸部图像识别技术，图像识别单元120可以潜在地识别捕捉的图像中出现的人。通过图像识别单元120执行的这种图像识别的结果可用于选择向用户提供哪个信息，或者在屏幕上布置信息项目。在独立于捕捉的图像提供信息的情况下，图像识别单元120还可以不执行对象识别和人识别。
[0079] (2)检测器
[0080] 检测器130检测用户操作。例如，作为第一技术，检测器130可将通过图像识别单元120从捕捉的图像识别的操作对象的动作检测为用户操作。在操作目标项目是滚动项目的情况下，可将滚动项目的滚动方向或者其相反方向上操作对象的动作检测为用于移动滚动项目的滚动位置的用户操作。操作目标项目可以是捕捉的图像中与操作对象重叠位置上的项目。还可以限定用户通过其指定操作目标项目的姿势。例如，用于指定操作目标项目的姿势可以是手指形状或者为了抓取项目而进行的动作，或者是为了按压项目而进行的手指动作。日本未审专利申请公开No.2011-209965描述了一种技术，其基于图像中手指尺寸的改变来确定为了按压项目而进行的姿势。
[0081] 图7是用于说明检测用户操作的第一技术的说明图。图7示出从时间T到时间T+dT怎样在捕捉的图像中识别操作对象MB1。在时间T，操作对象MB1指向指示位置P1。随后，操作对象MB1向左移动，并且在时间T+dT，操作对象MB1指向指示位置P2。如果将从位置P1到位置P2的矢量V1定向在滚动项目的滚动方向上，那么滚动项目可以快进一个取决于矢量V1大小的滚动幅度。如果将矢量V1的方向定向在滚动项目的滚动方向的相反方向上，那么滚动项目可以倒回一个取决于矢量V1大小的滚动幅度。
[0082] 此外，作为第二技术，检测器130可将用户在触摸表面TS(如图1所示，安装在支持屏幕的外壳HS上)上的触摸检测为经由操作单元106的用户操作。根据可以事先调整的坐标转换比，捕捉图像的二维坐标系统与触摸表面TS的二维坐标系统相关联。在操作目标项目是滚动项目的情况下，可将滚动项目的滚动方向或者其相反方向上的姿势(例如，拖动或点击)检测为用于移动滚动项目的滚动位置的用户操作。例如，操作目标项目可以是与指示位置(与触摸位置相对应的捕捉图像中的位置)重叠位置上的项目。还可以限定用户通过其指定操作目标项目的触摸姿势(例如，敲击或双击)。
[0083] 图8是说明用于检测用户操作的第二技术的说明图。图8示出用户怎样用手指触摸触摸表面TS。在手指移动时，识别矢量V2，矢量V2表示动作方向和动作幅度。如果矢量V2的方向与滚动项目的滚动方向相对应，那么滚动项目可以快进一个取决于矢量V2大小的滚动幅度。如果矢量V1的方向与滚动项目的滚动方向的相反方向相对应，那么滚动项目可以倒回一个取决于矢量V2大小的滚动幅度。
[0084] 注意，用于检测用户操作的技术不限于这里所述的示例。例如，检测器130也可以经由诸如方向键、方向盘、拨号盘、或者外壳HS上安装的开关这样的物理操作机构来检测用于移动滚动项目的滚动位置的用户操作。此外稍后描述用于检测用户操作的其他技术。
[0085] 在检测用户操作时，检测器130将用户操作事件输出到信息获取单元140和显示控制器150。用户操作事件可包括指示操作细节的数据，例如指示位置、操作矢量(例如上述矢量V1或V2)、以及操作类型(例如姿势类型)。
[0086] (3)信息获取单元
[0087] 信息获取单元140获取信息，以提供给用户。例如，信息获取单元140经由通信单元112访问数据服务器，并从数据服务器获取信息。或者，信息获取单元140也可以获取存储装置108中存储的信息。信息获取单元140还可以利用从传感器单元104输入的定位数据，获取位置所独有的信息。信息获取单元140还可以获取与图像识别单元120识别的捕捉的图像中出现的对象或人相关联的附加信息。附加信息可包括诸如对象或人的名称和属性、相关消息、或相关广告的信息。
[0088] 信息获取单元140还可以按照固定的周期间隔，周期性地获取信息。或者，信息获取单元140也可以响应于触发器(例如特定用户操作的检测或者信息提供应用的激活)来获取信息。例如，在图4所示情况下，通过图像识别单元120识别捕捉的图像中出现的电子指示牌。随后，如果检测到指向识别的电子指示牌的滚动项目SI03的用户操作，则信息获取单元140使得通信单元112从数据服务器接收通过滚动项目SI03显示的信息项目。
[0089] 信息获取单元140将可以通过上述各种技术获取的信息输出到显示控制器150。
[0090] (4)显示控制器
[0091] 在显示器110上，显示控制器150使得各种信息项目在屏幕上显示，以向用户提供从信息获取单元140输入的信息。通过显示控制器150显示的信息项目可包括滚动项目以及非滚动项目。滚动项目是其信息内容在特定滚动方向上自动滚动的项目。显示控制器150根据检测器130检测的用户操作，控制滚动项目以及非滚动项目的显示。
[0092] 响应于特定用户操作，显示控制器150在滚动方向或者滚动方向的相反方向上移动滚动项目的滚动位置。例如，在检测到第一用户操作的情况下，通过在滚动方向的相反方向上移动滚动项目的滚动位置，显示控制器150将滚动项目倒回。因此，对于用户而言变得可以再次观看已经滚动出视野的信息。此外，在检测到第二用户操作的情况下，通过在滚动方向上移动滚动项目的滚动位置，显示控制器150将滚动项目快进。因此，对于用户而言变得可以快速观看尚未通过滚动项目显示的信息。此外，在屏幕上显示多个信息项目的情况下，显示控制器150还可以根据第三用户操作，从多个信息项目中选择要控制的项目。作为示例，第一用户操作和第二用户操作可以是利用图7所述的操作对象的动作，或者是利用图8所述的触摸姿势。第三用户操作可以是操作对象的特定形状或动作，或者是特定的触摸姿势。
[0093] 图9是用于说明根据用户操作倒回滚动位置的示例的示意图。参照图9上部，在信息处理装置100中，在屏幕上显示滚动项目SI1。显示控制器150将滚动项目SI1内部陈述新闻内容的字符串自动滚动到左边。操作对象MB1指向滚动项目SI1。随后，如果用户在方向D11上移动操作对象MB1，则显示控制器150倒回滚动项目SI1，如图9下部所示。滚动项目SI1的滚动位置沿着方向D11移动到右边。例如，图9示出单词“brink”怎样移动到右边。然后，用户能够观看其错过的新闻内容的第一半。
[0094] 图10是用于说明根据用户操作快进滚动位置的示例的说明图。参照图10的上部，在信息处理装置100中，在屏幕上显示滚动项目SI1。显示控制器150将滚动项目SI1内部陈述新闻内容的字符串自动滚动到左边。操作对象MB1指向滚动项目SI1。随后，如果用户在方向D12上移动操作对象MB1，则显示控制器150快进滚动项目SI1，如图10下部所示。滚动项目SI1的滚动位置沿着方向D12移动到左边。例如，图10示出短语“grand slam”怎样移动到左边。然后，用户能够快速观看其想要立即观看的新闻内容的第二半。
[0095] 图11是用于说明根据用户操作倒回滚动位置的另一个示例的说明图。参照图11上部，在信息处理装置100中，在真实空间中通过显示装置显示的滚动项目SI2出现在屏幕上。当图像识别单元120成功识别滚动项目SI2时，显示控制器150在屏幕上将报告成功识别的标示IT1叠加在滚动项目SI2上。操作对象MB1指向滚动项目SI2。随后，用户在方向D13上移动操作对象MB1，如图11下部所示。当检测器130检测这种用户操作时，信息获取单元140经由通信单元112从数据服务器获取通过滚动项目SI2显示的信息项目。然后，显示控制器150产生显示获取的信息的滚动项目SI3，并且在屏幕上布置产生的滚动项目SI3之后，倒回滚动项目SI3。滚动项目SI3的滚动位置沿着方向D13移动到右边。例如，图11示出单词“delayed”怎样移动到右边。结果，用户能够观看在真实空间中滚动的信息的第一半(在图11的示例中，火车时刻信息)。因此，信息的第一半基于用户命令在显示器上按照相反的时间顺序滚动。
[0096] <3.处理流程>
[0097] <3-1.总体流程>
[0098] (1)第一示例
[0099] 图12是示出通过信息处理装置100执行的显示控制处理的流程的第一示例的流程图。在第一示例中，经由实际上通过显示控制器150产生的信息项目将信息提供给用户。
[0100] 参照图12，首先，显示控制器150获取通过成像单元102产生的捕捉的图像(步骤S10)。接着，显示控制器150在屏幕上布置表示通过信息获取单元140获取的信息的一个或多个信息项目(步骤S12)。此时布置的一个或多个信息项目可包括滚动项目以及非滚动项目的至少一个。显示控制器150还可以在与通过图像识别单元120识别的对象或人相关联的位置布置信息项目，或者在不取决于图像识别的位置布置信息项目。
[0101] 检测器130监测通过图像识别单元120执行的操作对象识别的结果或者从操作单元106输入的结果，并确定用户操作(步骤S14)。然后，当检测器130检测到用户操作时(步骤S16)，处理进行到步骤S18。同时，如果未检测到用户操作，则处理进行到步骤S50。
[0102] 在检测器130检测到用户操作的情况下，显示控制器150确定操作是否从之前的帧继续(步骤S18)。在操作不是从之前的帧继续的情况下，显示控制器150通过执行下述操作目标选择处理，选择操作目标项目(步骤S20)。在操作继续的情况下，保持来自之前帧的操作目标项目。
[0103] 接着，显示控制器150确定操作目标项目是否为滚动项目(步骤S44)。在操作目标项目是滚动项目的情况下，显示控制器150根据操作矢量的方向(操作方向)和大小(操作幅度)移动操作目标项目的滚动位置(步骤S46)。在操作目标项目是非滚动项目的情况下，显示控制器150根据通过用户操作事件指示的操作细节控制非滚动项目(步骤S48)。
[0104] 接着，显示控制器150确定操作的结束(步骤S50)。例如，在步骤S16中未检测到用户操作的情况下，显示控制器150可以确定出从之前帧继续的操作已经结束。显示控制器150还可以确定在从操作开始经过特定时间量的情况下，继续操作已经结束。此外，显示控制器150还可以确定，在操作方向突然改变的情况下(例如在拖动方向以超过特定阈值的角度改变方向的情况下)，继续操作已经结束。限定对于操作结束的这种确定条件使得能够防止(作为滚动位置过度跟踪捕捉的图像中出现的操作对象的结果而出现的)用户不愿意的滚动。
[0105] 在确定继续操作已经结束时，显示控制器150释放操作目标项目。在操作目标项目是滚动项目的情况下，显示控制器150也可以停止在操作继续时操作目标项目的自动滚动。之后，处理返回步骤S10，并且对于下一个帧重复以上处理。
[0106] (2)第二示例
[0107] 图13是示出通过信息处理装置100执行的显示控制处理的流程的第二示例的流程图。在第二示例中，信息处理装置100识别在真实空间中通过显示装置显示的信息项目。
[0108] 参照图13，首先，显示控制器150获取通过成像单元102产生的捕捉的图像(步骤S10)。
[0109] 检测器130监测通过图像识别单元120执行的图像识别的结果或者从操作单元106输入的结果，并确定用户操作(步骤S14)。然后，当检测器130检测到用户操作时(步骤S16)，处理进行到步骤S18。同时，如果未检测到用户操作，则处理进行到步骤S50。
[0110] 在检测器130检测到用户操作的情况下，显示控制器150确定操作是否从之前的帧继续(步骤S18)。在操作不是从之前的帧继续的情况下，显示控制器150通过执行下述操作目标选择处理，选择操作目标项目(步骤S20)。此时选择的操作目标项目是通过图像识别单元120识别的真实空间中的信息项目。接着，信息获取单元140获取经由通信单元112作为操作目标项目选择的信息项目(步骤S40)。接着，显示控制器150在屏幕上布置通过信息获取单元140获取的信息项目(步骤S42)。在操作继续的情况下，保持来自之前帧的操作目标项目。
[0111] 接着，显示控制器150确定操作目标项目是否为滚动项目(步骤S44)。在操作目标项目是滚动项目的情况下，显示控制器150根据通过用户操作事件指示的操作方向和操作幅度来移动操作目标项目的滚动位置(步骤S46)。在操作目标项目是非滚动项目的情况下，显示控制器150根据通过用户操作事件指示的操作细节来控制非滚动项目(步骤S48)。
[0112] 接着，显示控制器150根据像关联于图12描述的条件这样的条件，确定操作的结束(步骤S50)。在确定继续操作已经结束时，显示控制器150释放操作目标项目。例如，显示控制器150可以使得显示的操作目标项目叠加在从屏幕消失的真实空间中的对象上。之后，处理返回步骤S10，并且对于下一个帧重复以上处理。
[0113] <3-2.操作目标选择处理>
[0114] (1)第一示例
[0115] 图14A是示出图12和图13所示操作目标选择处理的详细流程的第一示例的流程图。
[0116] 参照图14A，首先，显示控制器150获取通过用户操作事件指示的指示位置(步骤S22)。接着，显示控制器150指定与获取的指示位置重叠的项目(步骤S24)。此时指定的项目可以是在屏幕上实际产生和布置的信息项目，或者是通过图像识别单元120在捕捉的图像中识别的信息项目。在不存在与指示位置重叠的项目的情况下，显示控制器150可以指定位置最接近指示位置的项目。此外，在存在与指示位置重叠的多个项目的情况下，可根据特定条件(例如优先处理位置在最前面的项目)指定任何一个项目。
[0117] 接着，显示控制器150基于指示位置确定指定项目是否存在(步骤S26)。在指定项目存在的情况下，显示控制器150选择指定项目作为操作目标项目(步骤S30)。然后，显示控制器150修改选择的操作目标项目的显示属性，使得用户能够确认选择了哪个操作目标项目(步骤S32)。例如，可以修改诸如操作目标项目的尺寸、颜色、形状、亮度、透明度、深度或轮廓宽度这样的显示属性。在选择真实空间中的信息项目作为操作目标项目的情况下，也可将报告选择的标示叠加在操作目标项目上。在步骤S24中指定项目不存在的情况下，显示控制器150确定没有操作目标项目(步骤S34)。
[0118] (2)第二示例
[0119] 图14B是示出图12和图13所示操作目标选择处理的详细流程的第二示例的流程图。第二示例假定利用图7中通过示例示出的操作对象进行用户操作。
[0120] 参照图14B，首先，显示控制器150获取通过用户操作事件指示的指示位置(步骤S22)。接着，显示控制器150指定与获取的指示位置重叠的项目(步骤S24)。
[0121] 接着，显示控制器150基于指示位置确定指定项目是否存在(步骤S26)。在指定项目存在的情况下，显示控制器150另外确定是否进行了抓取项目的姿势(步骤S28)。在进行了抓取项目的姿势的情况下，显示控制器150选择指定项目作为操作目标项目(步骤S30)。然后，显示控制器150修改选择的操作目标项目的显示属性，使得用户能够确认选择了哪个操作目标项目(步骤S32)。在步骤S24中指定项目不存在的情况下，或者在没有进行抓取项目的姿势的情况下，，显示控制器150确定没有操作目标项目(步骤S34)。
[0122] 图15是用于说明基于上述姿势确定来选择操作目标项目的说明图。参照图15上部，在信息处理装置100中，在屏幕上显示滚动项目SI41、SI42和SI43。注意，这里假定显示器110支持三维(3D)显示。滚动项目SI41布置在最前面，深度最浅，而滚动项目SI43布置在最后面，深度最深，滚动项目SI42布置在中间。操作对象MB2进行抓取项目的姿势(包括形状)，但是指示位置未重叠任何项目。随后，当用户移动操作对象MB2时，操作对象MB2的指示位置与滚动项目SI42重叠，如图15下部所示。此时，显示控制器150选择滚动项目SI42作为操作目标项目，并修改滚动项目SI42的轮廓宽度，同时也将报告选择的标示IT2叠加在滚动项目SI42上。
[0123] 通过引入这种姿势确定，可以防止即使用户不打算进行操作、由于用户手指这样的操作对象出现在捕捉的图像中，而错误地操作信息项目。此外，用户将能够通过抓取项目的直观姿势来指定操作目标项目。
[0124] <3-3.附加显示控制>
[0125] 显示控制器150不仅可以控制滚动项目的滚动位置，而且可以根据用户操作控制操作目标项目的各种显示属性。在这个部分描述这种显示控制的两个示例。
[0126] 图16是用于说明根据用户操作的附加显示控制的第一说明图。图16示出从图15上部所示状态开始经过短时间以后信息处理装置100的屏幕上状态的示例。通过操作对象MB2选择滚动项目SI42之后，滚动项目SI42移动到滚动项目SI41前面，作为用户向他或她自己移动操作对象MB2的结果。
[0127] 图17是用于说明根据用户操作的附加显示控制的第二说明图。图17示出从图15上部所示状态开始经过短时间以后信息处理装置100的屏幕上状态的另一示例。通过操作对象MB2选择滚动项目SI42之后，滚动项目SI42的显示尺寸被放大，作为用户沿着方向D2向下并向右移动操作对象MB2的结果。这种尺寸修改也可以仅在指示位置在信息项目的角部的情况下执行。
[0128] 通过本部分所述的深度或显示尺寸控制，用户能够更清楚地感知其想要观看的滚动项目的内容。此外，诸如快进和倒回滚动项目的操作也变得更容易。
[0129] 注意，在显示器110的屏幕包括过滤器(根据可变透明度传输外部光线)的情况下，显示控制器150能够允许用户通过改变过滤器的透明度来清楚地感知显示项目。但是，如果信息处理装置100的电池电平达到零，则过滤器的透明度会变为不可改变。因此，显示控制器150可将过滤器的透明度设置为最大值，当信息处理装置100的电池电平低于特定阈值时，保持最大透明度。因此，可以先行避免用户的动作被阻止的情况，因为屏幕处于黑暗状态的情况下透明度不可改变。
[0130] <4.与外部设备链接>
[0131] 上述信息处理装置100的功能也可以通过多个装置的链接来实现。图18示出通过图1的示例所示的信息处理装置100以及外部设备ED。外部设备ED是诸如智能电话或移动PC这样的移动客户端。信息处理装置100利用任意的无线通信协议(例如无线局域网(LAN)、蓝牙(注册商标)或Zigbee)，与外部设备ED无线地通信。此外，图6所示信息处理装置100的各种逻辑功能的一个或多个可以在外部设备ED中执行。例如，对象识别和人识别是要求较高处理器性能的处理。因此，通过在外部设备ED上执行这种图像识别处理，变得可以将信息处理装置100实现为成本低、重量轻和紧凑的装置。
[0132] 作为另一个示例，也可将外部设备ED用作操作信息处理装置100的机构。图19是说明用于检测用户操作的第三技术的说明图。图19示出用户怎样用手指触摸外部设备ED中安装的触摸表面。当手指移动时，识别表示移动方向和移动幅度的矢量V3。检测器130经由通信单元112检测在外部设备ED中进行的这种用户操作。检测器130将外部设备ED的触摸表面上的矢量V3转换为信息处理装置100中在屏幕上的对应矢量。然后，如果转换的矢量的方向对应于滚动项目的滚动方向，则滚动项目可以快进。如果转换的矢量的方向对应于滚动方向的相反方向，则滚动项目可以倒回。注意，在信息处理装置100中，外部设备ED也可以不出现在屏幕上。通过以这种方式将外部设备用作操作机构，即使在操作头戴装置或者向前提升操作对象不自然的情况下，用户也能够操作滚动项目而没有看起来对旁人看起来可疑。
[0133] <5.结论>
[0134] 因此，前面利用图1至图19详细描述了根据本公开的技术的实施例。根据上述实施例，根据用户操作来控制在用户佩戴的显示器的屏幕上自动滚动的滚动项目的显示。因此，可以解决在经由滚动项目提供信息的情况下，用户想要确认信息的时间与显示用户感兴趣的信息的时间之间的不同步。结果，用户变得可以有效地获取通过佩戴式装置提供的信息。
[0135] 例如，根据上述实施例，滚动项目的滚动位置根据特定用户操作在滚动方向或相反方向上移动。因此，用户能够在自己希望的时间观看错过的信息或者尚未显示的信息。
[0136] 此外，根据上述实施例，可将捕捉的图像中出现的操作对象在滚动方向或相反方向上的动作检测为上述特定用户操作。在这种情况下，用户能够通过在眼前移动自己的手指(或某些其他操作对象)的简单和直观的动作，以适时的方式观看感兴趣的信息。
[0137] 此外，根据上述实施例，经由支持上述屏幕的外壳上安装的操作单元可以检测上述特定用户操作。在这种情况下，不受图像识别精确度影响的鲁棒操作变为可能。此外，因为操作单元与可佩带装置(例如头戴式显示器)集成，所以关于操作的控制响应不会因为通信滞后的结果而变差，装置的便携性也不会下降。
[0138] 注意，本说明书中所述信息处理装置进行的一系列处理可以在软件、硬件以及软件与硬件的组合的任何一个中实现。构成软件的程序例如预先存储在内置或外置于每个装置的非短暂性介质中。然后，在运行时将每个程序载入随机访问存储器(RAM)，并通过处理器(例如CPU)执行。
[0139] 因此前面参照附图详细描述了本公开的优选实施例。但是，本公开的技术范围不限于这些示例。对本公开的技术领域中的普通技术人员而言，显然可以出现各种改型或变型，只要它们落入权利要求书所述技术理念的范围，此外应当理解，这些改型和变型显然属于本公开的技术范围。
[0140] 此外，本技术也可以配置如下。
[0141] (1)一种设备，包括：
[0142] 显示控制电路，被配置为控制显示器以显示内容；以及
[0143] 用户输入电路，被配置为接收来自所述用户的命令，
[0144] 其中，所述显示控制电路被配置为基于来自所述用户的命令，修改在第一方向上自动滚动的内容的滚动。
[0145] (2)根据(1)的设备，其中，所述显示控制电路被配置为在从所述用户接收命令之前，在所述第一方向上自动滚动所述内容。
[0146] (3)根据(1)或(2)的设备，其中，外部设备被配置为在从所述用户接收命令之前，在所述第一方向上自动滚动所述内容。
[0147] (4)根据(1)至(3)的设备，其中，所述显示控制电路被配置为基于来自所述用户的命令，在与所述第一方向相反的方向上、或者以快进速度在所述第一方向上滚动所述内容。
[0148] (5)根据(1)至(4)的设备，进一步包括：
[0149] 眼镜框，所述显示控制电路和所述用户输入电路被安装到所述眼镜框；以及[0150] 显示器，安装在所述眼镜框中并且被配置为显示通过所述显示控制电路产生的图像。
[0151] (6)根据(5)的设备，进一步包括：
[0152] 成像装置，安装在所述眼镜框上并且被配置为产生图像。
[0153] (7)根据(6)的设备，其中，所述用户输入电路包括姿势识别电路，所述姿势识别电路被配置为根据所述成像装置产生的图像识别所述用户的姿势，以及所述显示控制电路被配置为基于所述用户的姿势修改所述内容的滚动。
[0154] (8)根据(5)的设备，进一步包括：
[0155] 输入单元，安装在所述眼镜框上并且被配置为检测在所述用户操作所述输入单元时来自所述用户的姿势。
[0156] (9)根据(8)的设备，其中，所述用户输入电路包括姿势识别电路，所述姿势识别电路被配置为识别通过所述输入单元检测的所述用户的姿势，以及所述显示控制电路被配置为基于所述用户的姿势修改所述内容的滚动。
[0157] (10)根据(6)的设备，进一步包括：
[0158] 图像识别电路，其识别通过所述成像单元产生的图像中的滚动对象。
[0159] (11)根据(10)的设备，其中，所述显示控制电路被配置为基于来自所述用户的命令，按照相反的时间顺序滚动通过所述图像识别电路识别的滚动对象。
[0160] (12)根据(1)至(11)的设备，其中，所述显示控制电路被配置为基于来自所述用户的命令，在两个不同的方向上移动所述内容。
[0161] (13)根据(1)至(12)的设备，其中，所述显示控制电路被配置为在修改所述内容的滚动时修改所述内容的概述。
[0162] (14)根据(1)至(13)的设备，其中，所述显示控制电路被配置为基于来自所述用户的命令，将所述内容移动到所述显示器上较浅的深度。
[0163] (15)根据(14)的设备，其中，所述显示控制电路被配置为将所述内容移动到所述显示器上较浅的深度，使得所述内容覆盖所述显示器上的第二内容。
[0164] (16)根据(1)至(15)的设备，进一步包括：
[0165] 通信单元，被配置为与外部设备通信，
[0166] 其中，所述用户输入电路通过所述通信单元接收来自所述外部设备的用户命令。
[0167] (17)根据(16)的设备，其中，所述用户输入电路包括姿势识别电路，所述姿势识别电路被配置为识别通过输入单元检测的所述用户的姿势，以及所述显示控制电路被配置为基于所述用户的姿势修改所述内容的滚动。
[0168] (18)根据(6)的设备，进一步包括：
[0169] 内容选择单元，被配置为基于所述用户的姿势选择被滚动的内容。
[0170] (19)一种方法，包括步骤：
[0171] 接收来自用户的命令；以及
[0172] 基于来自所述用户的命令，利用处理器修改在第一方向上自动滚动的内容的滚动。
[0173] (20)一种非短暂性计算机可读介质，编码有计算机可读指令，在通过处理器执行时，所述计算机可读指令使得所述处理器执行根据权利要求19的方法。
[0174] 此外，本技术也可以配置如下。
[0175] (1)一种信息处理装置，包括：
[0176] 显示器，由用户佩戴，包括被配置为进入所述用户视野的屏幕；
[0177] 检测器，检测用户操作；以及
[0178] 显示控制器，根据所述检测器检测的所述用户操作，控制在屏幕上沿着第一方向自动滚动的滚动项目的显示。
[0179] (2)根据(1)的信息处理装置，其中
[0180] 所述显示控制器根据特定用户操作，在所述第一方向或者与所述第一方向相反的方向上移动所述滚动项目的滚动位置。
[0181] (3)根据(2)的信息处理装置，其中
[0182] 所述显示控制器根据第一用户操作在所述相反方向上倒回所述滚动位置。
[0183] (4)根据(2)或(3)的信息处理装置，其中
[0184] 所述显示控制器根据第二用户操作在所述第一方向上快进所述滚动位置。
[0185] (5)根据(2)至(4)任一项的信息处理装置，进一步包括：
[0186] 成像单元，在所述用户的所述视野中捕捉真实空间，并产生捕捉的图像，[0187] 其中，所述检测器检测所述捕捉的图像中出现的操作对象在所述第一方向或者在所述相反方向上的动作，作为所述特定用户操作。
[0188] (6)根据(2)至(4)任一项的信息处理装置，其中
[0189] 所述检测器经由支持所述屏幕的外壳上安装的操作单元检测所述特定用户操作。
[0190] (7)根据(2)至(4)任一项的信息处理装置，进一步包括：
[0191] 通信单元，与所述用户携带的移动客户端通信，
[0192] 其中，所述检测器经由所述通信单元检测所述移动客户端上进行的特定用户操作。
[0193] (8)根据(1)至(7)任一项的信息处理装置，其中
[0194] 所述显示控制器使得所述屏幕显示包括所述滚动项目的多个信息项目，并根据第三用户操作从所述多个信息项目中选择待控制的项目。
[0195] (9)根据(1)至(8)任一项的信息处理装置，其中
[0196] 所述显示控制器根据第四用户操作改变所述滚动项目的深度。
[0197] (10)根据(1)至(9)任一项的信息处理装置，其中
[0198] 所述显示控制器根据第五用户操作改变所述滚动项目的显示尺寸。
[0199] (11)根据(1)至(10)任一项的信息处理装置，其中
[0200] 所述滚动项目是实际上产生的信息项目。
[0201] (12)根据(1)至(10)任一项的信息处理装置，
[0202] 其中，所述滚动项目是在真实空间中通过显示装置显示的信息项目，[0203] 其中，所述信息处理装置进一步包括
[0204] 成像单元，捕捉所述真实空间，并产生捕捉的图像，以及
[0205] 通信单元，接收所述捕捉的图像中识别的所述显示装置上的所述信息项目，[0206] 其中，所述显示控制器使得所述屏幕显示所述通信单元接收的所述信息项目，并根据所述用户操作控制所述信息项目的显示。
[0207] (13)一种显示控制方法，通过配备显示器的信息处理装置的控制器执行，所述显示器由用户佩戴，包括被配置为进入所述用户视野的屏幕，所述显示控制方法包括步骤：
[0208] 检测用户操作；以及
[0209] 根据检测的用户操作，控制在所述屏幕上沿着第一方向自动滚动的滚动项目的显示。
[0210] (14)一种使得计算机充当以下装置的程序，所述计算机控制配备显示器的信息处理装置，所述显示器由用户佩戴，包括被配置为进入所述用户视野的屏幕：
[0211] 检测器，检测用户操作；以及
[0212] 显示控制器，根据所述检测器检测的所述用户操作，控制在屏幕上沿着第一方向自动滚动的滚动项目的显示。
[0213] [附图标记列表]
[0214] 100 信息处理装置
[0215] 102 成像单元
[0216] 106 操作单元
[0217] 110 显示器
[0218] 112 通信单元
[0219] 120 图像识别单元
[0220] 130 检测器
[0221] 140 信息获取单元
[0222] 150 显示控制器
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈