提供多维触觉触摸屏交互专利检索-触觉渲染渲染电脑图像专利检索查询-专利查询网

提供多维触觉触摸屏交互

阅读：1005发布：2020-05-24

专利汇可以提供提供多维触觉触摸屏交互专利检索，专利查询，专利分析的服务。并且在此提供了用于提供多维触觉触摸屏交互的方法、系统和一个或多个计算机可读存储介质。方法包括检测由物体施加到触摸屏的力以及确定力的幅值、方向、和位置。方法还包括基于施加到所述触摸屏的力的幅值、方向和位置确定所述触摸屏要施加在所述物体上的触觉力回馈，以及以指定方向移位所述触摸屏，使得所述触觉力回馈由所述触摸屏施加在所述物体上。，下面是提供多维触觉触摸屏交互专利的具体信息内容。

权利要求

1.一种用于提供多维触觉触摸屏交互的方法，包括：
检测由物体施加到触摸屏的力，其中所述触摸屏包括接触所述物体的多个显示小块，其中所述触摸屏的每个显示小块在多个平面中移动以将力施加在所述物体上；
确定施加到所述触摸屏的多个显示小块的力的幅值、方向、和位置；
基于施加到所述触摸屏的多个显示小块的力的幅值、方向和位置确定所述触摸屏的多个显示小块要施加在所述物体上的触觉力回馈；
将所述触摸屏倾斜到与施加到触摸屏的力的方向相切的平面；以及
移位所述触摸屏的多个显示小块，使得所述触觉力回馈与所述触摸屏的多个显示小块所施加的力成比例并且由所述触摸屏施加在所述物体上。
2.如权利要求1所述的方法，其特征在于，还包括紧密地将所述触摸屏所显示的三维图像与所述触摸屏在指定方向上的移位相链接，所述指定方向包括z方向。
3.如权利要求2所述的方法，其特征在于，包括：
确定在所述触摸屏在所述z方向上移位期间所述触摸屏的位置的z坐标；以及基于施加到所述触摸屏的力的位置和所述触摸屏的位置的z坐标在所述触摸屏上渲染立体三维图像。
4.如权利要求2所述的方法，其特征在于，包括：
如果施加到所述触摸屏的力的幅值超过指定的上限阈值，则沿正z方向移动所述触摸屏；以及
如果施加到所述触摸屏的力的幅值低于指定的下限阈值，则沿负z方向移动所述触摸屏。
5.如权利要求1所述的方法，其特征在于，施加所述触觉力回馈包括在触摸屏的移位期间在指定位置施放止动或震动或两者，并且所述止动或震动或两者被施放直到施加到所述触摸屏的力超过预定的上限阈值或跌落到低于预定的下限阈值。
6.如权利要求1所述的方法，其特征在于，施加所述触觉力回馈包括在所述触摸屏的移位期间施放死区，其中所述死区基于迟滞来确定。
7.一种用于提供多维触觉触摸屏交互的系统，包括：
用于检测由物体施加到触摸屏的力的装置，其中所述触摸屏包括接触所述物体的多个显示小块，其中所述触摸屏的每个显示小块在多个平面中移动以将力施加在所述物体上；
用于确定施加到所述触摸屏的多个显示小块的力的幅值、方向、和位置的装置；
用于基于施加到所述触摸屏的多个显示小块的力的幅值、方向和位置确定所述触摸屏的多个显示小块要施加在所述物体上的触觉力回馈的装置；
用于将所述触摸屏倾斜到与施加到触摸屏的力的方向相切的平面的装置；以及用于移位所述触摸屏的多个显示小块，使得所述触觉力回馈与所述触摸屏的多个显示小块所施加的力成比例并且由所述触摸屏施加在所述物体上的装置。

说明书全文

提供多维触觉触摸屏交互

背景技术

[0001] 根据当前技术，两维(例如，x轴和y轴)触摸屏交互相当普遍和直观。用户的手指可在特定位置处接触触摸屏以影响对应于触摸屏上该特定位置的视觉结果。在一些情况下，使用屏幕上的滑动条、鼠标滚轮、重新指定的鼠标轴、控制杆等提供三维(3D)触摸屏交互。然而，这类设备不提供直观的3D(例如z轴)触摸屏交互或提供任何触觉回馈。此外，虽然一定程度的触觉感测可使用标记簧片柔度或物体形状内建技术来提供，但触觉技术在当前人机交互(HCI)应用中一般被普遍忽视。

[0002] 概述

[0003] 下面呈现了本发明的简化概述，以便提供此处所描述的某些方面的基本概念。该概述不是权利要求主题的广泛概览。既不是要标识所要求保护的主题的要点或关键性元素，也不是要详细描述本发明的范围。唯一的目的是以简化形式呈现所要求保护的主题的某些概念，作为稍后呈现的更详细描述的前奏。

[0004] 一个实施例提供了一种用于提供多维触觉触摸屏交互的方法。方法包括检测由物体施加到触摸屏的力，以及确定施加到所述触摸屏的力的幅值、方向、和位置。方法还包括基于施加到所述触摸屏的力的幅值、方向和位置确定所述触摸屏要施加在所述物体上的触觉力回馈，以及以指定方向移位所述触摸屏，使得所述触觉力回馈由所述触摸屏施加在所述物体上。

[0005] 另一个实施例提供了一种用于提供多维触觉触摸屏交互的计算系统。该计算系统包括触觉触摸屏设备，该触觉触摸屏设备包括触摸屏和力传感器。力传感器被配置成检测物体施加在触摸屏上的力。该计算系统还包括适于执行所存储的指令的处理器和系统存储器。系统存储器包括代码，代码被配置成确定施加到触摸屏的力的幅值、方向和位置。系统存储器还包括被配置成基于施加到触摸屏的力的幅值、方向和位置来确定触摸屏要施加在物体上的触觉力回馈的代码。另外，触觉触摸屏设备被配置成移动触摸屏使得触觉力回馈由触摸屏施加在物体上。

[0006] 另外，另一实施例提供了一种或多种用于存储计算机可读指令的计算机可读存储介质。这些计算机可读指令在由一个或多个处理设备执行时提供了一种提供多维触觉触摸屏交互的系统。计算机可读指令包括被配置成检测由用户的手指施加到触摸屏的力，以及确定施加到所述触摸屏的力的幅值、方向、和位置的代码。计算机可读指令还包括被配置成基于施加到所述触摸屏的力的幅值、方向和位置确定所述触摸屏要施加在所述用户的手指上的触觉力回馈，以及以指定方向移动所述触摸屏，使得所述触摸屏在所述用户的手指上施加所述触觉力回馈的代码。所述触摸屏的移动基于所述用户的手指施加到所述触摸屏的力的变化而被实时控制

[0007] 下面的描述和附图详细地阐述了所要求保护的主题的某些说明性方面。然而，这些方面只是表示可以使用本发明的原理的各种方式中的一些方式，并且所要求保护的主题旨在包括所有这些方面和等效内容。通过与附图一起阅读下面的本发明的详细描述，所要求保护的主题的其他优点和新颖的特点将变得显而易见。

[0008] 附图简述

[0009] 图1是示出3D触觉触摸屏设备的侧视图的示意图；

[0010] 图2是示出图1的3D触觉触摸屏设备的详细侧视图的示意图；

[0011] 图3是示出包括图1的3D触觉触摸屏设备的计算系统的方框图；

[0012] 图4是示出图1的3D触觉触摸屏设备的触摸屏的安装方式的侧视图的示意图；

[0013] 图5是示出安装在触摸屏和安装板之间的力换能器的测力计布置的示意图；

[0014] 图6A是示出作为对于包括简单簧片柔性特性的触觉触摸屏所施加的触摸力的函数的z轴位移的图表；

[0015] 图6B是示出作为对于包括具有迟滞特性的簧片柔性的触觉触摸屏所施加的触摸力的函数的z轴位移的图表；

[0016] 图6C是示出作为对于包括可编程止动特性的触觉触摸屏所施加的触摸力的函数的z轴位移的图表；

[0017] 图7是用于提供多维触觉触摸屏交互的方法的过程流程图；

[0018] 图8是其中可实现用于提供多维触觉触摸屏交互的系统和方法的网络环境的框图；以及

[0019] 图9是可被用来实现用于提供多维触觉触摸屏交互的系统和方法的计算环境的框图。

具体实施方式

[0020] 如以上所讨论的，目前的设备不提供直观的三维(3D)触摸屏交互，尤其是在触觉领域。因此，此处所描述的各实施例提供了直观的多维触觉触摸屏交互。具体来说，此处描述的各实施例提供了一种包括触觉触摸屏的计算系统，该触觉触摸屏响应于用户通过施加超过阈值的力以将触摸屏远离用户移动而在触摸屏上“推”或者响应于用户通过施加不超过阈值的力以将触摸屏朝用户移动而在触摸屏上“拉”来提供直观的多维交互。附加的触觉能力也可作为线性和非线性的力被提供给力回馈信号，该力回馈信号作为触摸压力和z轴位置的函数。这类线性和非线性的力可被表现为例如粘性触感、在特定z位置处的可辨别止动、或者z位置函数的纹理。此外，尽管各实施例在此处是结合z方向上的3D交互来描述的，但是可以理解此处描述的各实施例也可被用来提供任何其它适当方向或平面上的交互。

[0021] 作为正文前的图文，一些附图是在一个或多个结构组件(不同地称为功能、模块、特征、元件等等)的上下文中来描述概念的。附图中所示的各个组件能够以任何方式是喜爱你，诸如经由软件、硬件(例如，分立逻辑组件)、固件或其任意组合。在一些实施例中，各个组件可反映对应的组件在实际实现中的使用。在其他实施例中，附图中所例示出的任何单个组件可由多个实际组件来实现。附图中的任何两个或更多个分开组件的描绘可以反映单个实际组件所执行的不同功能。以下讨论的图1提供关于可被用来实现附图中所示的功能的一个系统的细节。

[0022] 其他附图以流程图形式描述了概念。以此形式，某些操作被描述为构成以某一顺序执行的不同的框。这样的实现是示例性的而非限制性的。此处描述的某些框可被分组在一起并在单个操作中执行，某些框可被分成多个组件框，并且某些框可以按与此处所例示出的次序不同的次序来执行(包括执行这些框的并行方式)。流程图中所示的框可以通过软件、硬件、固件、手动处理等来实现。如此处所使用的，硬件可包括计算机系统、诸如专用集成电路(ASIC)之类的分立逻辑组件等。

[0023] 关于术语，短语“配置成”涵盖可以构造任何种类的功能来执行所标识的操作的任何方式。功能可以被配置成使用例如软件、硬件、固件等来执行操作。

[0024] 术语“逻辑”涵盖用于执行任务的任何功能。例如，流程图中所示出的每一操作对应于用于执行该操作的逻辑。操作可以使用，例如，软件、硬件、固件等来执行。

[0025] 如此处使用的，术语“组件”、“系统”、“客户端”、“搜索引擎”、“浏览器”、“服务器”等旨在指代计算机相关的实体，它们可以是硬件、(例如，执行中的)软件或固件、或其任意组合。例如，组件可以是，在处理器上运行的进程、对象、可执行码、程序、函数、库、子例程，或计算机或软件和硬件的组合。

[0026] 作为说明，运行在服务器上的应用和服务器两者均可以是组件。一个或多个组件可以驻留在进程中，组件可以位于一个计算机内和/或分布在两个或更多计算机之间。术语“处理器”一般被理解为指硬件组件，诸如计算机系统的处理单元。

[0027] 此外，所要求保护的主题可以使用产生控制计算机以实现所公开的主题的软件、固件、硬件或其任意组合的标准编程和/或工程技术而被实现为方法、装置或制品。如此处所使用的术语“制品”旨在涵盖可以从任何计算机可读存储设备或介质访问的计算机程序。

[0028] 计算机可读存储介质可以包括但不限于磁存储设备(例如，硬盘、软盘、以及磁带等等)、光盘(例如，紧致盘(CD)以及数字多功能盘(DVD)等等)、智能卡和闪存设备(例如，卡、棒和钥匙驱动器等等)。相反，计算机可读介质(即，非存储介质)一般可附加地包括用于无线信号之类的通信介质，诸如传输介质。

[0029] 图1是示出3D触觉触摸屏设备100的侧视图的示意图。3D触觉触摸屏设备100实现在计算系统内，如将参照图3讨论的。3D触觉触摸屏设备100包括触摸屏102。触摸屏102可以是二维(2D)触摸屏，诸如等离子或LCD触摸屏，该2D触摸屏包括多点触摸或笔和触摸覆盖层以及立体3D视图能力。在各个实施例中，触摸屏102的立体3D视图能力经由有源3D技术来提供。然而，在其它实施例中，触摸屏102的立体3D视图能力可经由无源3D技术来提供。

[0030] 如图1中示出的，触摸屏102被安装在单轴机械臂104上，该单轴机械臂104能够垂直于触摸屏102的x-y平面(即沿z方向)移动触摸屏102。具体来说，单轴机械臂104可沿正z方向(即远离计算系统的用户)移动触摸屏102，如箭头106所指示的。替代地，单轴机械臂104可沿负z方向(即朝向计算系统的用户)移动触摸屏102，如箭头108所指示的。在各个实施例中，触摸力经由用户的手指110垂直于触摸屏102的平面施加。3D触觉触摸屏设备100经由安装到触摸屏102的线性力传感器112来检测施加的触摸力。在各个实施例中，线性力传感器112包括多个力换能器，如以下进一步讨论的。3D触觉触摸屏设备100可随后响应于检测到施加的触摸力而通过例如将触摸屏102沿正或负z方向移动来与用户交互。

[0031] 单轴机械臂104包括双线性轴承114。触摸屏102被安装到沿z轴的双线性轴承114。另外，双线性轴承114被安装到桌面框架116，桌面框架116将计算设备100稳定在平整表面上。单轴机械臂104还包括具有安装了编码器120的伺服电机118。在各个实施例中，伺服电机118是旋转刷子式伺服电机，其具有附连的小齿轮，该伺服电机118被安装到单轴机械臂
104的架子上。伺服电机118可提供双线性轴承114的线性致动。具体来说，具有附连的小齿轮的伺服电机118可驱动被安装到触摸屏102的线性齿条齿轮，如以下结合图3讨论的。

[0032] 图2是示出图1的3D触觉触摸屏设备100的详细侧视图的示意图。具体来说，图2的示意图示出了单轴机械臂104的内部组件和布线。

[0033] 图1和2的示意图不旨在指示图1的3D触觉触摸屏设备100要包括图1和2中所示的全部组件。此外，取决于具体实施方式的细节，3D触觉触摸屏设备100可包括图1和2中未示出的任意数量的附加组件。此外，虽然图1和2是结合3D触觉触摸屏设备100描述的，但是此处所描述的实施例不限于3D触觉触摸屏设备，而是可包括任何适当类型的多维触觉触摸屏设备。例如，此处所描述的各实施例可包括任何适当类型的包括致动的触摸屏的设备。更具体地，此处所描述的各实施例可包括能够沿一个或多个方向移动触摸屏并且能够基于施加到触摸屏的力的幅度、方向、和位置以及触摸屏本身的位置和/或朝向来提供触觉回馈的任何类型的设备。

[0034] 图3是示出包括图1的3D触觉触摸屏设备100的计算系统300的方框图。相同标号的项参考图1进行了描述。计算系统300包括个人计算机(PC)302，或者可提供多维触觉触摸屏交互的任何其它适当类型的计算设备。PC 302通信地耦合到3D触觉触摸屏设备100。

[0035] 如图3中所示，旋转编码器120可输出与触摸屏102的z位置成比例的递增正交编码器信号304。伺服电机118可通过脉宽调制(PWM)信号306来驱动，该脉宽调制(PWM)信号306是伺服电机118的控制器208的输出。控制器308可从微控制器312接收输入信号310。微控制器312可进而从PC 302接收指示编码器120的位置、施加到触摸屏102的触摸力、以及z原点和极限开关的第一输入信号314以及第二输入信号316。微控制器312还可向PC 302发送指示触摸屏102的z位置的信号318。

[0036] PC 302可通信地经由例如USB连接耦合到触摸屏102。触摸屏102可向PC 302发送指示触摸屏102的x-y触摸情况(诸如用户的手指110所施加的触摸力的幅值、方向、和位置)的信号320。此外，PC 302可向触摸屏102发送立体视频信号322。触摸屏102可随后向用户显示立体视频。在一些实施例中，如果触摸屏102使用有源3D技术，则用户可通过快门眼镜来观察立体视频。在其它实施例中，如果触摸屏102使用无源3D技术，则用户可通过偏置眼镜来观察立体视频。

[0037] 图4是示出图1的3D触觉触摸屏设备100的触摸屏102的安装方式400的侧视图的示意图。相同标号的项参考图1进行了描述。安装方式400可被用于将触摸屏102附连到单轴机械臂104的双线性轴承114。安装方式400可包括安装板402和多个力换能器404。在各个实施例中，安装方式400包括四个换能器404，如参考图5讨论的。然而，可以理解的是任何适当数量的力换能器404可被用于安装方式400。力换能器404可以经由多个垫片406A物理地附连到安装板402，并且还可以经由多个垫片406B物理地附连到触摸屏102。

[0038] 图5是示出安装在触摸屏102和安装板402之间的力换能器404的测力计布置500的示意图。相同标号的项参考图4进行了描述。如图5中所示，测力计布置500可包括安装在安装板402的四角上的四个等间隔的力换能器404。力换能器404可被用于监视施加到触摸屏102的触摸力。

[0039] 在各个实施例中，力换能器404向微控制器312输出它们被施加的触摸力值。微控制器312进而通过PID伺服控制环路对这一数据进行处理，并致使伺服电机118的控制器308沿z方向移动触摸屏102。根据一个示例性操作场景，通过每当z轴滑动机制处于两个z极限开关之间并且存在活跃的x-y触摸信号时命令触摸屏102对用户的手指110施放恒定的力F(z)来关闭环路。从用户的角度，触摸屏102可看上去表现为就像它被安装在恒力z轴弹簧上。当用户以力＝F(z)接触触摸屏102时，触摸屏102将远离用户移动，从而在其沿z方向移动时保持对于触摸的手指110的恒定F(z)力。如果用户的手指110沿z方向远离触摸屏102移动，则触摸屏102将随手指110收回，依旧保持对于手指110的恒定F(z)。如果用户尝试移动触摸屏102越过正或负z极限开关中的任意一个，则触摸屏102将停止在该方向上移动。

[0040] 根据另一示例操作场景，可采用F(z)力函数来实现更复杂的触觉功能。替代对于所有的Z的恒定的触摸力，系统可命令力＝F(z)＝K*x或者遵循胡克定律关系。从用户的角度，触摸屏102可看上去表现为就像弹簧正尝试针对具有与行进的z距离成比例的力的用户的触摸来恢复触摸屏102。

[0041] 可被实现的另一种触觉功能包括可编程的止动，即在特定z位置处的绝对恢复力的突然增加。在一些情况下，触摸屏102可物理地停在特定z位置处，直到检测到大于预定上限阈值或低于预定下限阈值的触摸力，此时，触摸屏102可移动离开该止动。

[0042] 在用户移动触摸屏102时还可实现其它触觉功能。力F(z)可根据速度来调制，根据z位置给予粘滞感受或纹理感觉。另外，可生成z轴触诊功能以允许用户感受到正被显示在触摸屏102上的物体的3D表面。例如，力F(z)可与用户的手指110接触触摸屏102所在的具体位置处的物体的表面成比例。

[0043] 图6A是示出作为对于包括简单簧片柔性特性的触觉触摸屏所施加的触摸力的函数的z轴位移的图表600。图表600的x轴602表示施加的触摸力，图表600的y轴604表示触摸屏的z轴位移。根据图6A中示出的实施例，触摸屏像它被安装在具有简单线性力－位置关系的弹簧上一样地响应于施加的触摸力。具体来说，增加施加的触摸力致使触摸屏远离用户(即沿正z方向)移动，而降低施加的触摸力致使触摸屏朝用户(即沿负z方向)收回。

[0044] 图6B是示出作为对于包括具有迟滞特性的簧片柔性的触觉触摸屏所施加的触摸力的函数的z轴位移的图表606。相同标号的项参考图6A进行了描述。根据图6B中示出的实施例，施加的触摸力的z位置和x-y坐标两者都被纳入考虑。施加的触摸力的z位置和x-y坐标的组合可表示触摸在3D空间中的位置。这一信息可被用于在特定z位置处渲染立体的3D图像。叠加在z轴力函数上的可以是附加的力表现，该附加的力表现表示例如非线性力函数，该非线性力函数的迟滞导致力－移动表现中的死区。这将允许用户能够更容易地停止和保持特定Z位置。

[0045] 图6C是示出作为对于包括可编程止动特性的触觉触摸屏所施加的触摸力的函数的z轴位移的图表608。相同标号的项参考图6A进行了描述。根据图6C中示出的实施例，止动可被施放在特定z位置处。这类止动可致使触摸屏物理地停止在特定z位置处，如虚线610所指示的。触摸屏可随后停在该z位置处，直到检测到大于预定上限阈值或低于预定下限阈值的触摸力，此时，触摸屏可移动离开该止动。

[0046] 此外，在各个实施例中，触觉触摸屏可以能够实现可视地渲染的物体的模拟触诊。例如，如果球体被可视地渲染在触摸屏上，则用户可观察到立体3D的球体以及“感触”到该球体在z方向上的表面，这取决于用户在3D空间中触摸到的球体的位置。附加纹理和触觉感受还可被用于给予由3D空间位置驱动的z轴触觉感知。取决于施加的触摸力的x-y坐标的不同的力也可被给予触摸屏移动。例如，触摸屏可允许用户使用他的手指通过3D街道数据库追踪一条路径。作为另一示例，触摸屏可允许用户使用他的手指在医疗3D数据库中追踪一条血管。用户可在一个z平面处开始，挑选要追踪的特定血管，并且随后通过移动他的手指经过所选择的血管沿z方向以及x方向和y方向前进。

[0047] 图7是用于提供多维触觉触摸屏交互的方法700的过程流程图。在各个实施例中，方法700可通过包括触觉触摸屏的任何适当的计算系统或设备来实现。方法700开始于框702，检测由物体施加到触摸屏上的力。在各个实施例中，该物体是用户的手指。然而，该物体也可以是用户可用来与触摸屏交互的任何其它适当类型的物体或设备，诸如例如触针或笔。此外，该物体可包括不止一个物体。例如，该物体可包括多根手指或与手指一起使用的笔。

[0048] 在框704，确定施加到触摸屏的力的幅值、方向和位置。在各个实施例中，计算系统内的线性力传感器检测施加到触摸屏的力并且将对应于检测到的力的信号发送到计算系统的处理器。处理器随后确定施加到触摸屏的力的幅值、方向和位置。力的位置可以是触摸屏上力所施加处的x-y坐标。

[0049] 在框706，基于施加到触摸屏的力的幅值、方向和位置来确定触摸屏要施加在物体上的触觉力回馈。触觉力回馈可为用户提供3D触觉交互。例如，从用户的角度，触觉力回馈可被表现为粘性触感、在指定位置处的止动、或者基于3D空间中的位置的纹理。

[0050] 在框708，触摸屏被以指定方向移位，使得触觉力回馈由触摸屏施加在物体上。触摸屏移位的距离可取决于施加到触摸屏的力的幅值。在各个实施例中，触摸屏沿z方向移位。具体来说，如果施加到触摸屏的力的幅值超过指定的上限阈值，则触摸屏可沿正z方向远离用户移动，或者如果施加到触摸屏的力的幅值低于指定的下限阈值，则触摸屏可沿负z方向朝着用户移动。另外，施加到触摸屏的力的位置(例如x-y坐标)以及触摸屏的位置的z坐标可被用于在触摸屏上渲染立体三维图像。

[0051] 此外，在一些实施例中，触摸屏在与施加到触摸屏的力的方向相切的平面中移动。例如，触摸屏可基于施加到触摸屏的力的方向倾斜，并且随后可沿该方向移动。另外，可基于触摸屏在三维空间中的位置来渲染立体三维图像，触摸屏在三维空间中的位置可基于施加到触摸屏的力的位置以及触摸屏的位置和移动方向来确定。

[0052] 在各个实施例中，在触摸屏以指定方向的移位期间，在指定位置处施加止动。止动可被施加，直到施加到触摸屏的力超过预定上限阈值或掉落到低于预定下限阈值。在一些实施例中，显示在触摸屏上的图像或视频内的特定注释或触发可致使止动被施加。止动可提醒用户在指定位置存在注释或触发。另外，在一些实施例中，在触摸屏的移位期间，触摸屏可在指定位置震动。例如，触摸屏可通过快速地前后移动达一个短的时间段来震动。这一震动可提醒用户在指定位置存在注释或触发。在一些实施例中，震动与止动组合使用。在其它实施例中，震动被作为止动的替代使用。此外，在各个实施例中，在触摸屏的移位期间施加一个死区。这一死区可由迟滞导致。

[0053] 在一些实施例中，正由触摸屏所显示的三维图像(或视频)被紧密地链接到触摸屏的移动以及施加到触摸屏的力的位置。例如，如果触摸屏正显示气球的图像，当触摸屏朝着用户移动时，气球可看上去变形。这可允许用户有效地“感受”气球的柔软度，就像气球正顶着他的手指一样。如果用户减少施加到气球的力，则随着触摸屏远离用户移动，气球可看上去返回到其原始的形状。作为另一示例，在医疗成像应用的情况中，用户可通过用他的手指在触摸屏上推而虚拟地行进通过身体的静脉，并且可随着触摸屏施加在用户的手指上的力回馈而有效地“感触”静脉的纹理。例如，静脉中的血块可致使在该血块的位置处施加一个止动，使得触摸屏突然停止移动，并因此提醒用户在静脉的该区域存在异常。

[0054] 在其它实施例中，触摸屏正显示的三维图像可不紧密地链接到触摸屏的移动。例如，如果触摸屏正显示地图的图像，则用户可在地图上移动他的手指，致使触摸屏朝着或远离用户移动以指示例如地图内山或山谷的存在。此外，在地图内的特定位置处可施加止动，致使触摸屏突然停止移动，从而提醒用户该位置有些东西可能值得探索。然而，当用户在地图上移动他的手指时，触摸屏正显示的地图的实际图像可能变化得非常小(如果不是毫无改变的话)。作为另一示例，如果触摸屏正显示刚性圆柱体的图像，则当用户跨触摸屏上移动他的手指时，触摸屏可朝着或远离用户移动以指示该圆锥体的z轮廓或形状。然而，触摸屏正显示的圆柱体的实际图像可能不改变。

[0055] 此外，在一些实施例中，触摸屏显示二维图像(或视频)。例如，触摸频可显示表示大脑切片的二维图像的集合。该集合内的特定大脑切片可被注释，并且触摸屏可在医疗人员导航该集合时对经注释的大脑切片施加止动或其它类型的触觉回馈。

[0056] 图7的过程流程图不旨在指示方法700的各框要以任何特定次序来被执行，或者在每一种情况下都要包括所有框。进一步，取决于具体实现的细节，图7中未示出的任何数量的附加框可被包括在方法700内。

[0057] 方法700可提供针对各种应用的多维触觉交互，应用诸如医疗成像应用、游戏应用、计算机辅助设计(CAD)应用、远程在场应用、在场应用等。例如，在远程在场应用的情况中，方法700可允许从远程位置一起工作的多个协作者使用由每个协作者正使用的触摸屏施加的触觉力回馈来与彼此交互。作为另一示例，在演示应用(例如，华盛顿州雷蒙德市的微软公司提供的微软POWERPOINT)的情况中，方法700可允许用户在触摸屏上推以移动穿过各层对象。具体来说，用户可在触摸屏上推以移动到各层对象中的更深处并且抓到特定对象，并且释放触摸屏或推得更远以将该特定对象放置在不同层。

[0058] 在一些实施例中，触摸屏包括多个显示小块，并且每个显示小块被配置成独立地在任何适当的平面中移动，使得触觉力回馈由触摸屏施加在对象上。例如，如果用户使用多个不同手指触摸触摸屏，则被触摸到的每个小块可不同地响应。作为另一示例，触摸屏上的一个小块可工作为可使用一根手指来致动的控制面板，而其它小块可被配置成响应于被用户的其它手指触摸而移动。此外，在一些实施例中，如果力以第二位置被施加到触摸屏，则触摸屏可锁定或停止移动，使得用户可对触摸屏进行注释而不导致触摸屏移动。

[0059] 在各个实施例中，触摸屏被用作为用来向用户显示图像(诸如立体三维图像之类)的显示设备。然而，在其它实施例中，触摸屏位于显示设备的远程(但通信地耦合)。在这类实施例中，用户可施加力到触摸屏并且可感受到来自触摸屏的触觉力回馈，但可能在分开的显示设备上看到对应于该触觉力回馈的实际图像。

[0060] 为了提供用于实现请求保护的主题的各个方面的环境，图8－9以及以下的讨论旨在提供对于其中可实现本发明的各个方面的计算环境的简要、整体描述。例如，一种用于提供多维触觉触摸屏交互的方法和系统可实现在此类计算环境中。尽管上文已经在运行在本地计算机和/或远程计算机上的计算机程序的计算机可执行指令的一般上下文中描述了所要求保护的主题，然而本领域中的技术人员将认识到，本发明也可以结合其它程序模块来实现。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构等。

[0061] 此外，本领域的技术人员可以理解，本发明可以用其它计算机系统配置来实施。例如，本发明可用单处理器或多处理器计算机系统、小型计算机、大型计算机、个人计算机、手持式计算设备、基于微处理器的或可编程消费电子产品等来实现，其中每一个都可操作上与一个或多个相关联的设备通信。所要求保护的主题的所说明的方面也可以在其中特定任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。然而，本发明的某些方面，如果不是所有方面的话，可以在独立计算机上实施。在分布式计算环境中，程序模块可以位于本地或远程存储器存储设备中。

[0062] 图8是其中可实现用于提供多维触觉触摸屏交互的系统和方法的网络环境800的框图。联网环境800包括一个或多个客户端802。客户机802可以是硬件和/或软件(例如，线程、进程、或计算设备)。联网环境800还包括一个或多个服务器804。服务器804可以是硬件和/或软件(例如，线程、进程、或计算设备)。服务器804可以例如通过使用本发明来保存执行搜索操作的线程。

[0063] 客户端802和服务器804之间的一种可能的通信可以是以适用于在两个或更多计算机进程之间传输的数据分组的形式。联网环境800包括通信框架808，该通信框架108可以被用来促进客户机802和服务器804之间的通信。(诸)客户端802可操作地连接到一个或多个客户端数据存储810，可以使用这些客户端数据存储器来存储(诸)客户端802本地的信息。客户机数据存储810可以存储在客户机802中，或位于客户机802的远程，诸如在云服务器中。类似地，(诸)服务器804在操作上连接到一个或多个服务器数据存储806，可以使用这些服务器数据存储来存储服务器804本地的信息。

[0064] 图9是可被用来实现用于提供多维触觉触摸屏交互的系统和方法的计算环境900的框图。计算环境900包括计算机902。计算机902包括处理单元904、系统存储器906以及系统总线908。系统总线908将包括但不仅限于系统存储器906的系统组件耦合到处理单元904。处理单元904可以是各种可用处理器中的任何一种。也可以使用双微处理器及其他多处理器体系结构作为处理单元904。

[0065] 系统总线908可以是若干类型中任一类的总线结构，包括存储器总线或存储器控制器、外围设备总线或外部总线、或使用本领域的技术人员已知的任何各种各样的可用总线架构的本地总线。系统存储器906是包括易失性存储器910和非易失性存储器912的计算机可读存储介质。基本输入/输出系统(BIOS)被存储在非易失性存储器912中，包含例如在启动期间在计算机902内的元件之间传输信息的基本例程。作为说明，而不是限制，非易失性存储器912可包括只读存储器(ROM)、可编程序只读存储器(PROM)、电可编程序只读存储器(EPROM)、电可擦可编程序只读存储器(EEPROM)或闪存。

[0066] 易失性存储器910包括充当外部高速缓冲存储器的随机存取存储器(RAM)。作为说明而不是限制，RAM可以有许多形式，如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDR SDRAM)、增强的SDRAM(ESDRAM)、同步链路TMDRAM(SLDRAM)、直接型RAM(RDRAM)，直接型动态RAM(DRDRAM)以及动态RAM(RDRAM)。

[0067] 计算机902也包括其他计算机可读存储介质，诸如可移动/不可移动、易失性/非易失性计算机存储介质。例如，图9示出盘存储914。盘存储914包括但不仅限于磁盘驱动器、软盘驱动器、磁带驱动器、Jaz驱动器、Zip驱动器、LS-100驱动器、闪存卡或记忆棒之类的设备。

[0068] 另外，盘存储914还可包括存储介质，分开地或与其他存储介质相结合，包括，但不仅限于，诸如紧致盘ROM设备(CD-ROM)之类的光盘驱动器、CD可记录驱动器(CD-R驱动器)、CD可重写驱动器(CD-RW驱动器)或数字多功能盘ROM驱动器(DVD-ROM)。为便于盘存储914连接到系统总线908，通常使用诸如接口916之类的可移动或不可移动接口。

[0069] 应该明白，图9描述了在用户和在计算环境900中描述的基本计算机资源之间担当中介的软件。这样的软件包括操作系统918。可以存储在盘存储914上的操作系统918用于控制和分配计算机902的资源。

[0070] 系统应用920利用由操作系统918通过存储在系统存储器906或者存储在盘存储914上的程序模块922和程序数据924对资源的管理。可以理解，所要求保护的主题可以利用各种操作系统或操作系统的组合来实现。

[0071] 用户通过输入设备926向计算机902输入命令或信息。根据此处所描述的各实施例，输入设备926可包括多维触觉触摸屏设备，诸如以上结合图1－5描述的3D触觉触摸屏设备100。输入设备926包括但不限于定点设备(诸如鼠标、跟踪球、指示笔等)、键盘、话筒、姿势或触摸输入设备、语音输入设备、操纵杆、圆盘式卫星天线、扫描仪、TV调谐卡、数码相机、数码摄像机、网络摄像头等等。输入设备926通过系统总线908经由接口端口928连至处理单元904。(诸)接口端口928包括，例如，串行端口、并行端口、游戏端口以及通用串行总线(USB)。输出设备930还可与输入设备926使用一些相同类型的端口。由此，例如，可以使用USB端口来向计算机902提供输入，以及从计算机902向输出设备930输出信息。

[0072] 提供了输出适配器932，以示出有像监视器、扬声器以及打印机之类的一些输出设备930，还有可通过输出适配器932访问的其他输出设备930。输出适配器932包括，作为说明而不是限制，在输出设备930和系统总线908之间提供连接装置的视频卡和声卡。能够注意，其他设备和/或设备的系统提供诸如远程计算机934之类的输入和输出两种功能。

[0073] 计算机902可以是与一个或多个远程计算机(诸如，远程计算机934)通信的联网环境(诸如，联网环境800)中的服务器。(诸)远程计算机934可以是配备有web浏览器、PC应用、移动电话应用等等的客户端系统。(诸)远程计算机934可以是个人计算机、服务器、路由器、网络PC、工作站、基于微处理器的电器、移动电话、对等设备或其他公共网络节点等等，并通常包括上文参考计算机902所描述的许多或全部元件。为了简洁起见，与远程计算机934一起示出了存储器存储设备936。远程计算机934通过网络接口938逻辑地连接到计算机902，并且经由通信连接940在物理地连接到计算机902。

[0074] 网络接口938包含诸如局域网(LAN)和广域网(WAN)之类的有线和/或无线通信网络。LAN技术包括光纤分布式数据接口(FDDI)、铜线分布式数据接口(CDDI)、以太网、令牌环网等等。WAN技术包括，但不限于，点对点链路、电路交换网，如综合业务数字网(ISDN)以及其变体，分组交换网络以及数字用户线(DSL)。

[0075] 通信连接940是指用来将网络接口938连接到系统总线908的硬件和/或软件。尽管为说明清楚起见，通信连接940被示为在计算机902内部，但是它也可以位于计算机902外部。连接到网络接口938的硬件和/或软件可包括例如内部和外部技术，诸如移动电话交换机，调制解调器，包括常规电话分级调制解调器、电缆调制解调器和DSL调制解调器、ISDN适配器以及以太网网卡。

[0076] 应当理解，图8和9的框图不旨在指示联网环境800和计算环境900要分别包括图8和9中示出的所有组件。此外，取决于具体实施方式的细节，联网环境800和/或计算环境900可包括图8和/9中未示出的任意数量的附加组件。

[0077] 尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。

标题	发布/更新时间	阅读量
一种基于电场可视化的带电作业培训方法和系统	2020-05-08	227
一种具有触觉反馈的远程超声诊断系统	2020-05-21	789
一种基于术中数据的经皮肾镜取石虚拟手术系统	2020-05-22	960
视频处理方法和装置	2020-05-26	319
基于融合静电力与振动触觉再现装置的3D凸起渲染方法	2020-05-16	660
一种通用的模块化的虚拟现实被动力触觉反馈系统	2020-05-25	780
用于渲染触觉反馈的多速率处理设备	2020-05-13	626
一种三维虚拟交互系统	2020-05-19	23
一种基于静电力的触觉形式数字水印嵌入及检测方法	2020-05-19	852
一种用于虚拟现实的虚实融合键盘系统	2020-05-17	425

提供多维触觉触摸屏交互

提供多维触觉触摸屏交互

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：