技术领域
[0001] 本
发明涉及具有触敏显示器的计算设备，尤其涉及用于触摸显示器的虚拟控制器。
背景技术
[0002] 便携式游戏设备被世界上许多用户所喜爱。一种类型的这样的游戏设备既包括硬按钮控制器又包括
触摸屏，其中硬按钮控制器向用户提供
触觉反馈来加强
手指在控制器上的正确
定位，而触摸屏使用户能够使
用例如指示笔来与游戏交互。这种设备的一个
缺陷是硬按钮设备中的宝贵空间，限制了显示器的大小，且增加了
外壳的大小。减小硬按钮的大小是有挑战性的，因为小按钮通常对于用户而言是难以操纵的，特别是在玩快节奏游戏。另外，在也充当多功能平板计算设备或
移动电话的游戏设备的上下文中，对于不玩游戏的消费者而言，设备
正面上特别专用于玩游戏的专用按钮可能会有损于设备的有用性或外观。
发明内容
[0003] 提供了使用具有触摸感应显示屏的计算设备所需要的方法和系统，该显示屏中包含了用于检测玩家指头宽度的触摸
传感器。其中包括通过触摸传感器检测手指在触摸屏上的初次触摸的方法，以及在手指触摸
位置确立虚拟控制器空闲位置的方法。还包括手指相对于初始触摸位置相对移动顺序的方法和基于手指相对于初始触摸位置移动确立控制器输入参数的方法。以及生成用于指出已确定控制器输入参数的控制器输入信息。
[0004] 提供本发明内容是为了以简化的形式介绍在以下“具体实施方式”中进一步描述的一些概念。本发明内容不旨在标识出所要求保护的主题的关键特征和必要特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决本公开中的任何部分所记录的任何或全部缺点的实现方式。
附图说明
[0005] 图1是示出用于触摸显示器的虚拟控制器的一个
实施例的计算设备的透视图。
[0006] 图2是图1的计算设备的示意图。
[0007] 图3是示出图1的虚拟控制器的相对移动的空档位置的图示视图。
[0008] 图4是图1的虚拟控制器的空档位置的重新定位的图示视图。
[0009] 图5是操纵图1的控制器图标的拇指抬起事件的图示视图。
[0010] 图6是示出用于被配置为输出用于触敏显示器的虚拟控制器的计算设备的方法的
流程图。
具体实施方式
[0011] 图1是示出用于触敏显示器的虚拟控制器14的计算设备10的一个实施例的透视图。计算设备10可被配置为例如移动电话、平板计算机、或其他手持计算设备。计算设备10可包括诸如多触点显示器12之类的触敏显示器，该多触点显示器12包括被配置成检测用户的手指的多个触摸的触摸传感器，这将关于图2更详细地被讨论。另外，计算设备10还可以被配置为经该多个触摸从玩家接收输入，并可实现一输入方法，以便控制虚拟控制器14。这一方法将关于图6详细被描述。
[0012] 首先转到图1，在使得用户能够控制诸如视频游戏之类的程序的配置中，计算设备10可以在多点触摸显示器12上显示虚拟控制器14。在所描绘的实施例中，虚拟控制器14是包括可用于控制视频游戏的各方面以允许在游戏显示区域16中进行游戏的虚拟操纵杆控制器的游戏控制器。通常，虚拟控制器以不会不适当地干扰游戏显示区域的显示的方式被呈现。在另一实施例中，虚拟控制器输入模
块可以通过扬声器/话筒单元26提供对应于虚拟控制器输入的听觉反馈。
[0013] 虚拟控制器14可以对用户手指的多个触摸作出响应。例如，手指可以为拇指18，拇指可以在任何常规方向移动，而该移动可由虚拟控制器14转换成一个或多个控制器输入参数。控制器输入参数可包括对应于拇指18移动的方 向、速度、及/或相对大小等。结果，在某些实施例中，一个或多个控制图标20可向用户提供关于控制的定位的视觉指示，该视觉指示随着用户移动他的或她的手指而更新。
[0014] 一个或多个控制图标20可表示可允许用户能够控制游戏的不同方面的一个或多个虚拟控制器14和/或辅助控制器。控制图标20各自可以是虚拟操纵杆、按钮、D-pad(方向键)按钮、滑块、以及可被操纵来控制游戏的某一方面的任何其他特征中的一个或多个。在图1所示的实施例中，将理解虚拟控制器实现MICROSOFT XBOX 控制器。也可以使用其它控制器实现。
[0015] 通常，虚拟控制器是以不会在视觉上不适当地干扰游戏显示区域的显示的方式被呈现。从而，在某些实施例中，显示画面上不提供控制器图标，以将显示画面上的游戏区域的可视面积最大化。在其他实施例中，图标可部分透明以显露其下面的游戏，或者可以短暂的时间段呈现图标然后逐渐消失。
[0016] 图2是示出图1的计算设备10的
软件和
硬件组件的示意图。计算设备10包括多点触摸显示器12、处理器22、
存储器单元24、扬声器/话筒单元26、以及
大容量存储单元28，所有这些单元均被配置为通过一个或多个
数据总线彼此通信。
[0017] 多点触摸显示器12可采用各种显示技术来产生可视图像，且可包括例如图形
用户界面(GUI)32。多点触摸显示器12可被配置为例如
液晶显示器(LCD)或由多个发光
像素组成的有机发光二级管(OLED)显示器。多点触摸显示器12还可包括触摸传感器30和
压力传感器34。
[0018] 与多点触摸显示器12耦合的触摸传感器30可检测用户手指的多个触摸，例如触摸36。与多点触摸显示器12耦合的
压力传感器34可以从与手指相关联的触摸36的区域随时间的变化或从与增加的压力相关联的电特性的变化检测压力，从而充当应变仪。不背离本公开的范围，多点触摸显示器12可包括附加的或替代的传感器。
[0019] 大容量存储单元28可包括各种程序和模块，这些程序和模块包括虚拟控制器输入模块42和程序38，可由处理器22使用存储器单元24和显示器12执行以实现本文所述的各种功能。另外，大容量存储单元28可存储可被配置成例如发送可控制多点触摸显示器12上的GUI 32的显示的显示输出40的一个 或多个程序38。
[0020] 将理解计算设备10可包括
操作系统，操作系统包括应用程序编程
接口(API)，通过API各种程序与操作系统资源通信并利用操作系统资源。在某些实施例中，虚拟控制器输入模块42可被实现为计算设备上的API 48。替代地，虚拟控制器输入模块可被实现为计算设备10上执行的程序、库、服务、或其他
软件组件。
[0021] 虚拟控制器输入模块42可由计算设备10的处理器22执行。虚拟控制器输入模块42可被配置为通过触摸传感器30、压力传感器34和/或附加传感器来在多触点显示器12上按照触摸检测用户的手指以及对应于这些触摸的移动。以这种方式，虚拟控制器输入模块42可转换一个或多个传感器接收到的数据，基于该数据生成控制器输入消息46，以及将该消息发送到程序38。
[0022] 例如，虚拟控制器输入模块42可以通过触摸传感器30检测多点触摸显示器12上的初始手指落下位置。另外，虚拟控制器输入模块42可在初始手指落下位置处建立虚拟控制器14的空档位置。也就是说，虚拟控制器输入模块42可以在手指
接触多点触摸显示器12时检测初始触摸。进一步，虚拟控制器输入模块42可被配置为显示锚定到空挡位置或可控地以空挡位置为中心的控制图标。在建立了空档位置后，虚拟控制器输入模块42可被配置为例如检测手指相对于该初始手指落下位置的后续移动。其中，这些触摸和移动将关于图3至图6被更详细地讨论。
[0023] 虚拟控制器输入模块42可被配置为基于例如手指相对于该初始手指落下位置的该后续移动来确定控制器输入参数44。确定控制器输入参数44可包括例如确定手指相对于该初始手指落下位置的该后续移动的方向、速度和/或相对大小。进一步，可由虚拟控制器输入模块42生成指示出所确定的控制器输入参数44的控制器输入消息46，并将其发送到程序38。控制器输入消息46充当虚拟控制器输入模块和程序38之间通信通道，程序如上所述可以是视频游戏或其他程序。该消息可包括基于检测到的后续移动的控制器输入参数44，和/或下文讨论的各种其他控制器输入参数。
[0024] 作为另一控制器输入参数44的一个示例，控制器输入消息46可包括关于在某一后续移动期间手指对多点触摸显示器12的压力的指示，其中该压力是 基于从压力传感器34接收的
信号而被检测的。检测到的压力可基于例如与手指相关联的触摸的区域随时间的变化，或基于应变仪检测到的电特性的变化。
[0025] 另外，虚拟控制器输入模块42可以检测用户的手指对其他控制器的多个触摸，例如可控制游戏的各方面的与虚拟控制器14不同的辅助控制器。这些辅助控制器可与辅助控制区相关联，将关于图5更详细地讨论。基于来自这些辅助控制器的输出的控制器输入参数也可被包括在控制器输入消息46中。
[0026] 如上文所述，虚拟控制器输入模块42可被实现为
应用程序编程接口(API)48。从而，例如检测初始手指落下位置、建立空档位置、检测后续移动、确定控制器输入参数44以及生成控制器输入消息46可由计算设备10上执行的应用程序编程接口48执行。另外，应用程序编程接口48可将控制器输入消息46输出到要在计算设备10上被执行的程序38。在其他实施例中，虚拟控制器输入模块42可被实现为
驱动器独立可执行程序、库、服务或其他类型的软件组件。
[0027] 图3是示出图1的虚拟控制器14的相对移动的空档位置50的图示视图。如所示，用户的手指可做出对应于初始手指落下位置的接触，并在初始手指落下位置建立空档位置50，如上所述。用户可通过做出相对于空档位置50的移动控制虚拟控制器14。例如，用户可做出后续移动使得手指移动到位置52，或用户可做出后续移动使得手指移动到位置54。
每次移动可在手指连续接触多点触摸显示器12时发生，并可以转换为由程序36以不同方式解释的不同的控制输入。例如，到位置52的后续移动可导致虚拟车辆向前行驶且向左转向，而到位置54的后续移动可导致使虚拟车辆向后开。将理解可在除了所描述的那些位置之外的位置中检测后续移动。
[0028] 图4是图1的虚拟控制器14的空档位置50的重新定位的图示视图。用户有时可能从多点触摸显示器12的表面抬起手指，且继之以后续的手指落下位置以控制虚拟控制器14。在不重新定位虚拟控制器的情况下，用户可发现他或她对计算设备的紧握导致后续手指落下位置的徐变。结果，用户可能无意中错误点击虚拟控制器，导致不令人满意的用户体验、视频游戏中的悲剧结果等。
[0029] 为解决这个问题，虚拟控制器输入模块42被配置为在检测到这种徐变时重新定位空档位置。该重新定位可以如下被实现。如图4所示，用户的手指可 做出对应于初始手指落下位置的接触，并在该初始手指落下位置建立虚拟控制器14的空档区域，如上所述。虚拟控制器输入模块42可被配置为检测手指抬起事件58，其中，手指抬起事件58可以是例如手指不与多点触摸显示器12接触达预定的
阈值时间段。
[0030] 虚拟控制器输入模块42可被配置为检测第一和第二后续手指落下位置，并在后续手指落下位置的中心或相对于后续手指落下位置的其他位置将将空档位置重新定位到50B、50C处的对应位置，从而导致虚拟控制器被如14B和14C处所示那样重新定位。
[0031] 在某些情形中，用户可这样定位手指使得空档位置可能相当靠近多点触摸显示器12的边缘，且可能因此导致部分虚拟控制器。为解决这个问题，可确定空档位置的最近可接受位置，并可在最近可接受位置显示控制图标。从而虚拟控制器输入模块42可被配置为如果手指落下位置和/或后续手指落下位置出现在靠近触敏显示器的边界(这会导致虚拟控制器的可操纵区域被边界阻碍)，则确定最近可接受虚拟控制器位置。在某些实施例中，该最近可接受位置可被看作是最靠近用户的手指落下位置、使虚拟控制器的整个可操纵区域位于显示画面上的位置。该特征可任选地被包括在例如新手模式期间，以允许用户变得自在掌握虚拟控制器。
[0032] 在另一示例中，可拒绝检测到的空档位置而无需确定最近可接受位置，从而控制图标不被显示在该最近可接受位置处。在另一示例中，可允许部分虚拟控制器。例如，如果用户选择高级模式，可启用该部分虚拟控制器，使得可用减少的功能来控制游戏，因为边界阻碍了虚拟控制器的可操纵区域的一部分。在这种情况下，虚拟控制器可以在虚拟控制器的可操纵区域中包括控制图标的部分显示。从而，部分虚拟控制器可允许仅来自用户可见的虚拟控制器的那些部分的控制。类似地，虚拟控制器的被显示器的边界遮挡的部分可能在视图外且不可操纵，导致减少的功能。
[0033] 图5是在用户尝试在使用诸如上述的虚拟操纵杆之类的主控制图标之后操纵一辅助控制图标时可检测到的拇指抬起事件的图示视图。如图5所示，可以建立空档位置50来控制虚拟控制器14。一旦建立，虚拟控制器输入模块42即可检测手指抬起事件58，并可进一步检测后续手指落下位置，例如在辅助控 制区56内的手指触摸60处。
[0034] 辅助控制区56可被配置为虚拟按钮或方向键(D-pad)控制器62，或其他用户输入机制。从而，辅助控制图标可被显示在对应于虚拟按钮、D-pad等的辅助控制区56中。通过显示这一辅助控制图标，虚拟控制器输入模块42可以向用户提供关于辅助控制区56的位置的指示。进一步，虚拟控制器输入模块42可被配置为基于用户手指在辅助控制区中的后续位置或相对移动来确定辅助控制输入参数。因此，虚拟控制器输入模块42可生成控制器输入消息46，以便进一步包括关于辅助控制输入参数的指示。将理解，辅助控制区56可替代地被配置成各种其他配置，以允许与其他程序相关的用户输入。
[0035] 在一些实施例中，在检测到辅助控制区中的后续手指落下位置时，虚拟控制器输入模块42可被配置为禁止空档位置的重新定位。在这种情况下，虚拟控制器输入模块确定用户手不是因为无意徐变而移动，而是由于玩家控制离用作主控制的虚拟控制器预定距离和方向的辅助控制的意图。在这一情况下，虚拟控制器输入模块阻止对虚拟控制器的重新定位，而代之以使用户能够与位于辅助控制区的辅助控制进行交互。以此方式，用户可在例如主操纵杆控制器和辅助D-pad控制器之间来回切换他的或她的拇指。
[0036] 图6是示出用于被配置为通过多点触摸显示器的虚拟控制器14接收输入的计算设备的方法600的流程图。方法600可以是用于具有诸如包括被配置成检测用户的手指的多个触敏的触摸传感器的多触点显示器之类的触敏显示器的计算设备的输入方法。将理解，方法600可以使用上文所述的计算设备10的软件和硬件组件或使用其他合适的组件来执行。
[0037] 方法600开始于602，并包括通过触摸传感器检测触敏显示器上的初始手指落下位置。方法600前进至604，并包括如上所述在手指落下位置建立虚拟控制器的空档位置。
[0038] 方法600继续至606，且包括检测手指相对于初始手指落下位置的后续移动。方法600前进到608且包括基于手指相对于初始手指落下位置的后续移动确定控制器输入参数。例如，控制器输入参数可包括与到诸如多点触摸显示器上显示的虚拟操纵杆之类的控制图标的后续移动相关联的方向、速度和/或大小。还可以检测其他控制器输入参数，如上所述。
[0039] 方法600还可以继续至610，并可包括检测后续移动期间手指对多点触摸显示器的压力。因此，方法600可继续到612，并包括生成指示所确定的控制器输入参数的控制器输入消息并可进一步包括关于所检测到的压力的指示。
[0040] 从612，方法600可继续至614和622两者。在622，方法600包括向计算设备上运行的程序发送包括控制器参数的控制器输入消息。在一些实施例中，步骤602-622可由API实现，而步骤624可以由计算设备上执行的程序实现。从而，从622到624的处理流程可退出操作系统/API空间，并进入程序空间。在624，该方法可包括在程序中基于接收到的控制器输入消息调整GUI元素。从624，方法600可结束，或者可替代地循环到步骤606以继续检测输入。
[0041] 返回到步骤612的结束，该方法也可分支到614，在614处，该方法包括例如基于检测到在预定的时间段内没有与显示器的接触来判断是否发生手指抬起事件。如果对614的回答是“否”，则方法600继续至606并重新开始检测输入。如果对614的回答是“是”，则方法600继续至616且包括检测后续手指落下位置。
[0042] 然后方法600继续至618并包括确定是否已在辅助控制区中检测到后续手指落下位置。如果对618的答案是“否”，则方法600继续至604，以重新建立空档控制器位置。也就是说，604可包括如上所述的在后续手指落下位置重新定位虚拟控制器的空档位置。
[0043] 如果对618的回答是“是”，则不重新定位空档位置。相反，方法600继续至620，并包括基于辅助控制区中的后续手指落下位置确定辅助控制输入参数。例如，可以将辅助控制图标显示在辅助控制区中，辅助控制图标可被配置为D-pad控制器，示例辅助控制输入参数可以是D-pad控制器按下事件。上文还讨论了其他示例。从620，方法600返回至612，在612，生成控制器输入消息可包括关于辅助控制输入参数的指示。
[0044] 如上文所讨论的，在一些实施例中，方法600的一些部分可由计算设备中执行的API执行。例如，API可执行检测初始手指落下位置、建立空档位置、检测后续移动、确定控制器输入参数和/或生成控制器输入消息。
[0045] 如上文所讨论的，在一些实施例中，方法600的一些部分可进一步包括在诸如手指落下位置和/或后续手指落下位置之类的手指触摸出现在靠近触敏显 示器的边界的区域中(这会导致虚拟控制器的可操纵区域被边界妨碍)的情况下，确定最近可接受虚拟控制器位置。该最近可接受虚拟控制器位置可以如上所述地被确定。在该最近可接受虚拟控制器位置而不是在手指触摸所检测到的空档位置处，虚拟控制器可被定位且一控制图标可被显示。在其他示例中，可以拒绝所检测到的空档位置而不显示最近可接受虚拟控制器位置，或者虚拟控制器可部分地可见以及可被操纵，如上所讨论的。
[0046] 将理解，上述系统和方法可被实现来使得用户能够使用显示在被配置为接受相对输入且还可具有相关联的辅助控制的触敏显示器上的虚拟控制器来与程序交互。另外，虚拟控制器可在玩家同时紧握设备并操纵控制时，方便地重新定位其空档位置以
跟踪用户的手位置的任何变化。结果，可避免控制器错误点击，且可增强用户体验。
[0047] 本文使用术语“模块”、“程序”和“引擎”来指代在计算设备的处理器执行时执行一个或多个特定功能的软件。这些术语意图包含例如个体的或成组的可执行文件、数据文件、库、驱动程序、脚本、
数据库记录。本文所述的实施例示出了这些模块、程序和引擎等的一个示例组织，但应理解的是，本文所描述的功能可由被不同地组织的软件组件来实现。此外，将理解的是，多点触摸显示器是一种能够在显示器上同时感测多个触摸的显示器。
[0048] 要理解的是，本文所述的配置和/或方法在本质上是示例性的，且不应在限制性的意义上考虑这些特定的实施例或示例，因为许多变型是可能的。本文所述的特定例程和方法可代表任何数量的处理策略中的一个或多个。如此，所示各种动作可以按所示顺序执行，以其他顺序执行，并行执行，或在某些情况下被省略。类似地，上述的过程的顺序可被改变。
[0049] 本公开的主题包括本文所揭示的各种过程、系统和配置以及其他特征、功能、动作和/或特性，以及它们的任何和全部等同物的所有新颖和非显而易见的组合和子组合。
