技术领域
[0001] 本
发明涉及终端用户使用物体操控
计算机程序，通过触摸物体来引起标记在物体上的用户界面元素的状态的改变。
背景技术
[0002] 为了让用户操作计算机程序，
计算机系统将屏幕与诸如
键盘和
鼠标装置等输入装置结合使用。使用WIMP （窗口、图标、菜单和
指针设备）原理的GUI （
图形用户界面）是20世纪70年代由Xerox Park实验室发明的。这成为了所有商业计算机系统遵守的样板。事实上，苹果，微软和太阳微系统公司至今开发的所有商业系统使用某种形式的GUI系统以便使用户能够自然地与计算机程序互动。
[0003] 然而，取决于具体应用，有时通过使用物体与计算机程序互动更令人满意。尤其是对操控物体有天然亲和
力的少年儿童。这也适用于小组讨论和小组游戏的开放平台被用来操控物体时，自然地容纳多个用户使用相同的计算机程序进行交互。使用物体与使用传统的基于屏幕的方法的用户体验之间有一个明显的对比；屏幕作为信息窗口，而物理操作是个人使用的媒介。
[0004] 为了增强通过操纵物体控制计算机程序的体验，需要使由物体代表的用户界面元素的“状态”可被管理。即，“状态”要以
可视化的形式呈现给终端用户，而且“状态”需要响应终端用户的操作并根据计算机程序的逻辑改变。
[0005] 放在智能屏幕或者
电子平板表面上的物体的用途是已知的。这类著名的例子是Mattel公司的Apptivity玩具系列，玩家通过在iPad表面上移动玩具雕像与视频游戏互动。尽管这类产品在视觉上令人
印象深刻，但是物体与
软件之间的实际交互作用受限于追踪物体相对于iPad表面的
位置和朝向。因此，玩家和物体之间增强的交互作用，比如物体本身的触摸灵敏度，将会允许玩家和物体之间全新的交互维度。
发明内容
[0006] 本发明披露了通过终端用户对放置于交互面上的多个物体的触摸动作而操控计算机程序的系统和方法。更具体地，本发明披露了一种管理标记在物体上的用户界面元素的状态的系统和方法，以便提供终端用户和计算机程序之间通过多个物体为媒介的增强交互。
[0007] 在本发明的一个
实施例中，物体以
射频识别标签以及一个或者多个电容
传感器标签的形式被嵌入唯一标识码（UID），并且可视化标记有计算机程序的用户界面元素。交互面被嵌入用于读取物体的唯一识别码射频天线阵列，以及比射频天线阵列更密集的电容传感器阵列，使得置于交互面上的物体的位置和朝向的检测更准确。
[0008] 在本发明的一个实施例中，一个或多个感官配件被嵌入物体中或者交互面中。在两种情况下，交互面控制由感官配件生成的感官模式。通过指挥感官配件生成感官模式，交互面生成标记在物体上的用户界面元素的“状态”的指示。
[0009] 在本发明的一个实施例中，在计算机程序的运行期间，响应于终端用户对物体的触摸动作，交互面被配置为通过内嵌于物体下方的电容传感器检测物体上的触摸动作，并指挥感官配件通过呈现新的感官模式指示标记在物体上的用户界面元素的新状态。本发明提供了终端用户和计算机程序之间通过物体为媒介的增强交互。
附图说明
[0010] 图1是根据本发明的一个实施例说明系统流程的示意图。
[0011] 图2是根据本发明的一个实施例说明交互面的示意图。
[0012] 图3是根据本发明的一个实施例说明交互面检测触摸动作的示意图。
[0013] 图4是根据本发明的一个实施例说明音乐应用系统的示意图。
[0014] 图5是根据本发明的一个实施例说明单词游戏系统的示意图。
[0015] 图6是根据本发明的一个实施例说明方法流程的示意图。
具体实施方式
[0016] 虽然本发明将使用具体的实施例来描述，但本发明并不限定于这些实施例。本领域技术人员将认识到，本发明的系统和方法可以用于很多其他应用。本发明意图在本发明的精神和范畴内，
覆盖所有替代，
修改和等同的内容，就是在
权利要求中定义的。
[0017] 此外，在本发明的详细描述中，对具体细节进行阐述，以便彻底理解本发明。然而，显而易见的是，在本领域拥有普通技术的人可以实践本发明而无须了解具体细节。在其他实施例中，公知的方法、过程、部件和
电路没有详细描述，以避免不必要地模糊对本发明的清晰理解。
[0018] 通过参考附图，对于本领域技术人员来说，本发明可以得到更好的理解，它的许多目的和优点将变得明显。
[0019] 本发明的实施例提供了由终端用户使用多个物理物体操控计算机程序的系统和方法。
[0020] 图1是根据本发明的一个实施例说明系统流程的示意图。如图1所示，所述系统包含多个物体101，其中每个物体有唯一标识码，并且每一个都可视化地标记有计算机程序的用户界面元素。唯一识别码可以用射频识别芯片，电容标签模式或者
磁性标签模式编码。所述系统还包括不含显示屏的交互面102，一旦物体101被放置在上面就用来检测物体101的唯一识别码，得到物体101的位置和朝向。所述系统还包括由交互面102有效控制的感官配件104，通过呈现感官模式来指示用户界面元素的当前状态。计算机系统105有效连接到交互面102，被配置为运行计算机程序，并指挥交互面102的多个电子元件。
[0021] 在计算机程序的运行期间，响应于终端用户在物体101上的触摸动作103，交互面102被配置为检测触摸动作103，并通过呈现新的感官模式，指挥感官配件104指示标记在物体101上的用户界面元素的新状态，而计算机系统105被配置为将这种状态变化合并为运行计算机程序的输入。详细地，计算机系统105根据计算机程序存储标记在物体101上得用户界面元素的目前状态和一系列有效的状态，以及触摸动作103与标记在物体101上的用户界面元素的状态变化之间的关系。
[0022] 物体可以是卡片，按钮，积木，图标，薄片或者雕像。感官配件可以是
LED灯，音频装置，视频装置或者震动发生装置，并且可以以音频或者视觉效果给终端用户提供物理上的反馈。
[0023] 感官配件可以被嵌入交互面里或者物体本身。
[0024] 图2是根据本发明的一个实施例说明交互面201系统的示意图，为了便于说明，交互面201的每一层都被分隔开。在本实施例的范围内，交互面201可以被分为4层。底层202是交互面201的
基板或底座。在底层上面是包含射频天线阵列203的第二层，用来与物体101的射频识别标签无线通信，从而使交互面201的计算机系统得以确定置于其上面的物体的唯一识别码。在第二层上面是包含电容传感器阵列204的第三层，通过与由高
介电常数（比如电容标签）材料制成的物体结构的
电容耦合，检测置于交互面201上面的物体的位置和朝向，并将该信息传输给计算机系统。最后，顶层包括感官配件阵列205，比如LED灯，其目的在于为用户提供反馈，例如，当计算机系统发出指令时，点亮特定相关物体周围的区域。
[0025] 图3是进一步说明交互面使用图2描述的系统设计检测触摸动作的示意图。在此实施例中，多张卡片302被放置在交互面301上面，每张卡片都可视化标记有计算机程序的用户界面元素。在这个特定实施例中的用户界面元素可以是开始，停止，存储，删除，确定，取消，播放，重播，记录，完成，复制，重复，输出，输入，字母表的字母，语言的单词，以及代表
音乐符号的图标，等等。每张卡片302还有包含卡片身份信息的标识符。交互面301还包括有效连接到计算机系统的电容传感器阵列303和射频天线阵列304，可以检测置于其上的卡片302的身份、位置和朝向。
[0026] 每张卡片302都嵌有高介电常数材料（比如电容标签）306，以便卡片302与位于卡片302下面的交互面301的电容传感器之间产生电容耦合。高介电常数材料306的设计是为了在终端用户对卡片302的
手指触摸308与交互面301的电容传感器之间进一步电容耦合。每张卡片302还嵌有射频识别芯片307，便于交互面301的计算机系统通过卡片302的射频识别芯片307与射频天线阵列304中距离卡片302最近的射频天线之间的无线通信读取卡片的唯一识别码。
[0027] 在计算机程序运行期间，每次一张卡片302被放在交互面301上，交互面301被配置为检测卡片302的唯一识别码，并得到卡片302的位置和朝向。随后，由交互面301有效控制的感官配件305，309在计算机系统指挥下指示标记在卡片302上的用户界面元素的当前状态。用户界面元素的状态可以是：激活，未激活，使用中，未在使用中，启用，未启用，选择，未选择，未运行中，运行中，完成，正确，错误，成功，失败，等等。在图3所示的例子中，标记在置于交互面301上的三张卡片302上的用户界面元素的初始状态是未激活或者未启用，因此在这种情况下没有LED灯被点亮。
[0028] 在图3中，感官配件包括嵌在交互面301表面上的LED灯阵列305以及也嵌入交互面301的扬声器系统309。
[0029] 本发明的方法可以做如下描述。由于每张卡片302都嵌有由高介电常数材料306制成的结构，卡片302被放置在交互面301上之后，电容变化被交互面301的电容传感器检测并测量，而当人的手指308触摸卡片302时，电容的进一步变化被电容传感器检测和测量。代表这一电容变化的
信号被发送到计算机系统并被记录下来，确定是由触摸动作引起的，使得计算机程序将触摸动作解释为标记在卡片302上的用户界面元素的当前状态的变化。随后，根据计算机程序一个指令提供给计算机系统，关于改变标记在被触摸动作作用的卡片302上的用户界面元素的当前状态，为了计算机系统将LED灯阵列305中位于卡片302附近的LED灯点亮以指示标记在被触摸动作作用的卡片302上的用户界面元素的新状态。所述计算机系统还同时指挥扬声器系统309广播录音，以进一步指示标记在被触摸动作作用的卡片302上的用户界面元素的新状态。例如，一旦终端用户的手指触摸“播放”卡片，LED灯就被点亮。除了触摸卡片302一次，触摸动作还可以包括快速连续地触摸卡片302两次或者多次，触摸卡片302一次但持续一段时间，用手指触摸改变卡片302的朝向，或者用手指触摸改变卡片
302的位置。
[0030] 图4是根据本发明的一个实施例说明音乐应用系统的示意图。如图4所示，在音乐应用的运行期间，一些卡片402起初被放置在交互面401上面，导致交互面401的计算机系统通过与先前在图3中所描述的相同的过程来确定每张卡片402的位置、朝向和唯一识别码。
[0031] 每张卡片402被可视化标记有音乐应用的用户界面元素。例如，卡片可以被标记为音乐存储文件403的数目，伴奏的旋律404，
乐器405，或者如存储406，记录407，播放408和停止409这样的基本用户功能。
[0032] 随着终端用户将卡片402放置在交互面401上，这些卡片自动成为该音乐应用的用户界面的一部分。
[0033] 一旦每张卡片402的位置、朝向和唯一识别码被确定，计算机系统就指挥感官配件指示标记在卡片402上的用户界面元素的当前状态。在这个实施例中，计算机系统指示LED灯阵列中位于卡片402附近的LED灯点亮或者熄灭，来指示标记在卡片402上的用户界面元素的状态。参照被放置于交互面401上的卡片402，可以看到一些卡片402的LED亮着指示“激活”状态，而所有其他的卡片402被视作“未激活”状态。可以注意到，这些“激活”的卡片402的LED灯既可以是连续的也可以是闪烁的。
[0034] 终端用户可以通过敲击电子键盘410自创一首音乐，从而开启音乐应用。当终端用户想要记录这首音乐时，他们可以用手指按下“记录”卡片407。如前所述，手指触摸引起的电容变化被位于“记录”卡片407下的交互面401的电容传感器检测和测量，代表这一电容变化的信号被发送到计算机系统处理。所述计算机系统确定这一电容变化是由触摸动作引起，而且所述计算机程序将触摸动作解释为标记在“记录”卡片407上的用户界面元素的目前状态的变化。激活“记录”卡片407会导致计算机程序记录终端用户创建的音乐。计算机系统给交互面401发送指令指挥位于卡片周围的LED灯点亮或者熄灭，以便向终端用户可视化地指示用户界面元素的新状态。当终端用户想停止记录他们创建的音乐时，他们可按下“停止”卡片409。这个“停止”动作会使计算机程序停止记录，而且计算机软件同时点亮“停止”卡片409，并关掉“记录”卡片407。
[0035] 如上所示，标记在一张卡片上的用户界面元素可以以一系列有效的状态存在，而且触摸动作与用户界面元素状态变化之间的关系由所述计算机程序建立并存储。
[0036] 被触摸之前，标记在“记录”卡片407上的用户界面元素的状态是“未激活”或者“未使用”。随着终端用户长时间触摸“记录”卡片407，用户界面元素的状态被变为“激活”或者“使用中”，通过记录所述音乐触发计算机程序的运行。
[0037] 相似地，标记在“停止”卡片409上的用户界面元素的状态随着终端用户的触摸从“未启用”变为“启用”。由于这一触摸动作，标记在“记录”卡片407上的用户界面元素的状态也变回到“未激活”或者“未使用”。
[0038] 最后，标记在“播放”卡片408上的用户界面元素由终端用户的连续快速双触摸从“未运行”变为“运行中”，触发所述计算机系统播放音乐。由于这一触摸动作，“停止”卡片409的状态从“启用”变回到“未启用”。
[0039] 当终端用户想要存储已经创建的音乐时，他们在交互面401上放置一张分配有特定数字的“存储文件”卡片403，并以确定的时长（即，通常足够长的时间使交互面通过扬声系统411广播的音频反馈与终端用户确认）按下卡片来存储音乐。
[0040] 当终端用户想听一首存储的音乐时，他们连续快速地按两次特定的“存储文件”卡片403，触发交互面401通过扬声系统411开始广播音频文件，并且让特定的“存储文件”卡片403周围的LED灯开始闪烁（从而，指示终端用户正在播放的音乐归因于“存储文件”卡片
403）。可以注意到，计算机系统也指挥“播放”卡片408附近的LED灯点亮，说明特定的用户界面状态的改变（即，正在播放音乐）。
[0041] 以上描述的实施例的卡片元素存在大量的潜在替代设计方案，但是为了简便起见，本文将只描述一些基本特征。
[0042] 终端用户可以使他们创作的音乐由预设的旋律伴奏。例如，回到图4，名叫“Bach”的“伴奏旋律”卡片404被置于交互面401上。终端用户可以在任意时刻通过用他们的手指按下“伴奏旋律”卡片404来激活它，选择播放这首音乐。这样的动作会导致计算机系统通过扬声系统411播放这首旋律，它可以自行播放或者作为终端用户创建音乐的补充。与之前披露的情况一样，以LED灯点亮或熄灭的方式的
视觉反馈向终端用户指示任意时刻特定的“伴奏旋律”卡片404的状态。
[0043] 终端用户可以在整个音乐播放期间通过用他们的手指选择或者取消选择“音乐乐器”卡片405，添加，删减或者改变音乐乐器的种类。回到图4，“小提琴”卡片405周围的LED灯被点亮，向终端用户指示正在播放的音乐在用小提琴的音响效果。
[0044] 图5是根据本发明的一个实施例说明单词拼写游戏系统的示意图。
[0045] 图5所描述的实施例与图3所说明的实施例相似，除了有几个显著的差异。正如之前，实施例包括交互面501，交互面501包含
基层、第二层和第三层，第二层包含射频天线阵列，第三层包含电容传感器阵列。交互面501还包括计算机系统，所述计算机系统包含处理器和存储单元。
[0046] 图5说明的实施例的卡片502包括嵌有电容标签的卡片502，以便与交互面501的电容传感器以及终端用户的手指触摸电容耦合。每张卡片502还有包含卡片唯一识别码信息的射频识别，该信息可以被交互面501的射频天线中的一个引导，无线传输到交互面501的计算机系统。
[0047] 与图3所描述的交互面不同，这里的交互面501不具有包含LED灯阵列的第四层。相反，每张卡片都嵌有一个或者多个LED灯，以及使得LED灯被点亮的附带组件，并通过射频到直流
能量转换技术由交互面501的射频天线引导。
[0048] 上述系统的语言拼写游戏的实施例如下所示。每张卡片在其表面都印有一个标识，标识或者是字母表里的字母502，或者是一般的用户界面命令503（比如，“难度”，“动词”，“动物”，“法国”）。此外，交互面501的计算机系统有权
访问数据库（位于本地或者远程），其中每张卡片的唯一识别码与印在卡片表面上的标识相匹配，并且与可以通过物理按下卡片502来改变的电子程序的特定“状态”或者功能相关。
[0049] 如图5所示，终端用户通过放置一些印有字母表字母的卡片502在交互面501上开启游戏。这使交互面通过与以前的实施例所描述的相同的程序自动检测和识别每张卡片502的位置和唯一识别码。然后终端用户通过按下“进行”按钮504初始化语言拼写游戏。这导致计算机系统的计算机程序通过扬声器507播放录音提示终端用户基于游戏中的字母表字母（即，已经放在交互面501上的卡片502）正确拼出单词。终端用户可以通过以正确的顺序用手指触摸来选择卡片502以应对挑战，卡片502的字母与向终端用户广播的单词拼写相对应。通过按下卡片502，终端用户有效地改变卡片的用户界面功能的状态。在单词拼写挑战的过程中，选择一个未激活的字母卡片502有两个潜在的结果。第一个是选取的卡片502的状态从“未激活”变为“激活并且正确”，第二个是卡片的状态从“未激活”变为“激活并且错误”。根据终端用户的选择是否正确将给终端用户产生不同的反馈。
[0050] 每次终端用户按下卡片502的表面，根据选择是否正确，计算机系统通过射频到直流能量转换技术引导位于卡片最近的射频天线点亮考虑中的卡片502。
[0051] 终端用户也可以选择按下“重播”按钮505重放单词的播音来拼写，或者他们也可以按下“例子”按钮506来听句子上下文中的单词。
[0052] 回到图5，可以看到如上描述的游戏设计的具体例子。在这种情况下，终端用户被挑战正确地拼写单词“Apple”，并且他们已经正确地按下可以拼出单词“Apple”的字母的卡片。更具体地，随着终端用户选取了所有的5张卡片， 每张卡片的状态都从“未激活”变为“激活并且正确”。这导致每张卡片502的LED灯点亮，以便指示终端用户的正确选择。在优选的实施例中，一个正确或错误的选择都伴随着交互面501的扬声器507播放的指示性声音。为了区分正确和错误的选择，每张卡片502使用不同
颜色的多个LED灯，是另一种替代的反馈设计。
[0053] 终端用户可以选择将一般用户界面命令卡片503放置在用户界面上改变语言拼写游戏，并继续触摸它们。这样，终端用户可以通过按 “难度”卡片503一次选择改变拼写难度级别，使计算机程序进入简单模式（因此挑战玩家拼出相对简单的单词）。终端用户还可以分别通过两次或者三次快速连续轻拍同样的卡片503选择中等或者困难模式。实际上，这张卡片503将会根据终端用户触摸的类型从三种不同的状态（即，容易、中等和困难）中改变。
[0054] 终端用户也可以通过挑选与此描述相对应的任意一般用户界面命令卡片503，并按下它们以改变其相对状态，从而改变计算机程序将挑战他们的单词的形式。参阅图5，可以看到在那个特定的场景中，两张带有单词“动词”和“名词”的卡片503已被放置在交互面501上，但是只有卡片“动词”503处于激活状态，同时它的LED灯被激活。这向终端用户表明计算机程序那时将要挑战他们的所有单词将是动词。
[0055] 终端用户也可以选择与特定元素类别相对应的单词。例如，回到图5，可以看到带有“动物”的一般用户界面卡片503已经被放在交互面501的上面（可以注意到，另一种替代设计可以是卡片上有动物的图片，而不是实际的“动物”单词）。如果终端用户按下那张卡片，使它激活（比如，改变它的状态），并点亮它的LED灯，计算机程序将会用包含动物名称的单词拼写挑战终端用户（比如，在图5描绘的情境中，单词“斑
马”是一种可能）。
[0056] 最后，终端用户可以通过放置和触摸印有语言名称的一般用户界面命令卡片503，选择游戏进行的语言。参阅图5，如果终端用户按下卡片503“法语”，那么单词挑战将会被做成法语。
[0057] 以上描述的游戏设计可以被用于“自由形式”的语言拼写游戏，其中终端用户随机选取，放置印有字母的卡片在交互面501上。这种自由形式的语言拼写游戏设计尤其适合刚刚开始或者即将开始学习拼写的小孩，它教会他们如何以自由和不受限制的方式将特定字母或者单词与他们相应的声音相匹配。
[0058] 图6是根据本发明的一个实施例说明方法流程的示意图。如图6所示，所述系统流程包括以下步骤：
[0059] 步骤601：在交互面上放置多个物体；
[0060] 步骤602: 感官配件通过呈现感官模式，来指示标记在物体上的用户界面元素的当前状态；
[0061] 步骤603：触摸动作作用于物体；
[0062] 步骤604：交互面检测触摸动作；
[0063] 步骤605：交互面将触摸动作通知计算机系统；
[0064] 步骤606：根据计算机程序接收一个关于标记在触摸动作所作用的物体上的用户界面元素当前状态变化的指令；
[0065] 步骤607：交互面指挥感官配件去指示标记在物体上的用户界面元素的新状态，通过为物体呈现新的感官模式。
