技术领域
背景技术
[0001] 本
发明为交互式显示系统的领域。更具体来说，本发明的
实施例针对此些显示系统及操作所述显示系统的方法，其中用户使用远程手持式装置与所显示内容交互。
[0002] 演讲者将消息传递给观众的能
力通常通过使用视觉信息结合口头语言来增强。在现代中，使用计算机及相关联显示系统来产生并向观众显示视觉信息已变得很普通，举例来说，借助于例如可从微软公司(Microsoft Corporation)购得的POWERPOINT呈现
软件的应用程序。对于大的观众群(例如在礼堂环境中)，显示系统通常为投影系统(
正面投影或背面投影)。对于较小的观众群(例如在会议室或教室环境中)，尤其是随着平板(例如，
液晶)显示器的成本在近几年来已下降，这些显示器已变得普遍。不需要特殊屏幕且因此更容易部署的新显示技术(例如小型投影仪(“微微型投影仪”))现在正在进入市场。对于向非常小的观众群(例如，一两个人)的呈现，膝上型计算机的
图形显示器可足以呈现视觉信息。在任何情况中，增加的计算机能力与更好且更大的显示器(均具有较低成本)的组合已增加基于计算机的呈现系统在广泛的情景(例如，商业、教育、法律、娱乐)中的使用。
[0003] 典型的基于计算机的呈现涉及演讲者站在远离显示系统处以便不阻挡观众对视觉信息的观看。通常，演讲者将使用指示器(例如激光指示器或甚至简单的木质或金属指示器)来非交互式地指向显示器上的视觉信息。然而，在此类型的呈现中，演讲者基本上限制于所产生的、通常以顺序方式显示(即，以给定次序从一个幻灯片到另一幻灯片)的呈现内所含有的视觉信息。
[0004] 然而，由于视觉呈现为计算机产生且计算机控制的，因此可执行交互式呈现。此交互式呈现涉及：给特定观众选择特别重要的视觉内容、演讲者在呈现期间注释或说明视觉信息及调用效应(例如缩放、选择到呈现中别处的信息的链接(或在线)、将显示元素从一个显示
位置移动到另一显示位置等)。此交互性大大地增强了呈现，从而使得对于观众来说其更有趣且更具吸引力。
[0005] 然而，在于观众面前使用的常规显示系统中，演讲者通常必须就座于计算机本身处以便通过操作计算机来交互地控制所显示的呈现内容。此限制可使呈现逊色，尤其是在大观众群情景中。
[0006] 因此，期望演讲者从远处与所显示的视觉内容交互的能力。更具体来说，因此，期望远程
定位的操作者可用来指向并与所显示的视觉信息交互的手持式装置。当然，为了使此装置交互地发挥作用，基于计算机的显示系统必须辨别出显示器上的装置正指向的位置，以便理解操作者命令。
[0007] 如此项技术中已知，常规“光笔”在远处提供与显示器的手持式交互。在这些装置中，
阴极射线管显示器(CRT)上的所指向位置通过感测所述显示器上的所指向
像素位置由CRT
电子枪刷新的时间来检测。使此所感测时间与CRT显示器的光栅扫描序列相关，以确定光笔
传感器所瞄准的屏幕位置。当然，此光笔感测技术由于其对感测光栅扫描时序的相依性而限制于CRT显示器。
[0008] 第5,933,135号美国
专利描述结合现代
液晶显示器(LCD)及其它类似平板显示器技术(例如，等离子显示器、发光
二极管(LED)显示器等)有用的另一常规类型的手持式指向装置。此笔装置包含捕获显示屏幕的一部分(包含可见
光标)的图像的成像器(例如相机)。将经检测到的光标的位置、大小及定向转发到主机处理器，所述主机处理器将经检测到的光标与所显示的图像进行比较并推断出笔装置相对于显示器的相对定向及位置。根据此方法以及第7,513,700号美国专利及第7,161,596号美国专利中所描述的类似方法，指向装置捕获所显示图像的一些或全部(未必包含光标元素)。所捕获图像与正显示的图像之间的比较使得能够推断出相机图像的中心相对于所显示图像的位置。
[0009] 然而，这些常规指向装置必定约束所显示的图像，从而需要所显示光标元素或可
感知图像内容在所显示图像内变化以便确定定位装置的所指向位置。在一些情形中，光标的存在对于观看的观众来说可能为分散注意力或多余的。另外，这些装置将不能在“白板”情景中使用，举例来说，在用户希望在原本空白的显示场上手写或画图像的情况下。另外，此方法涉及大量的
数据处理及带宽以传递所捕获的图像并将其与所显示的图像进行比较。
[0010] 第7,420,540号美国专利描述一种对于相对远离显示器的用户有用且未必依赖于所显示图像的内容来定位的指向装置。在经致动时，此指向装置从远处捕获图像(包含显示器的一个或一个以上拐
角及或许显示器的中心)，并将所述所捕获的图像转发到
控制器。控制器接着依据由指向装置捕获的图像中显示拐角的位置及定向来确定指向装置的定位及相对移动。然而，此方法限制于其中用户充分远离显示器使得指向装置的视包含一个或一个以上显示拐角的那些情形，且将显现为在较小的环境中或在其中演讲者接近大显示器的那些情形中并不良好地操作。
[0011] 根据另一方法，所显示的图像包含指向装置可感知但人类观看者不可直接感知的定位信息。第7,553,229号美国专利描述一种在所显示图像
帧序列当中交错十字准线导航帧的游戏显示系统。将这些十字准线导航帧描述为包含相对暗的图像图案，所述图像图案由于以相对高的
帧速率在帧
图像序列内交错的相对少的数目个导航帧将不可由人类观看者直接感知。在此系统中，游戏装置(即，指向装置)捕获包含导航帧中的两者或两者以上的视频序列；系统接着通过图案辨识来识别所述导航帧并使经识别帧交叉相关以确定显示器的指向装置所瞄准的“十字准线”位置。在此系统中对装置的快速定位需要所显示序列内的导航帧的高工作循环，此减小所显示游戏图像对于人类用户的
亮度及对比；相反地，可以较长定位检测时间为代价获得较低人类可感知影响且因此获得减小的游戏性能。
[0012] 第7,421,111号美国专利中描述涉及指向装置的位置的人类不可感知图像信息的其它定位方法。根据一种所描述的方法，通过像素或位置编码定位图案帧序列、显示所述序列并随时间对其进行感测；接着从所感测的顺序代码推断出所指向位置。通过针对图案使用红外光或通过针对总体所显示图像内的可见光定位图案的显示使用极高帧速率(需要高速投影技术或单独的投影仪)来减小这些定位图案的人类可感知性。在本专利中所描述的另一方法中，在指向装置内提供多个传感器以放大显示器的所感测区域且捕获单个帧内的完整代码；为了进行恰当解码及定位，此方法似乎限制定位装置与所显示图像之间的距离。
[0013] 作为进一步背景，在帕克(Park)等人的“到动态表面上的未失真投影(Undistorted Projection onto Dynamic Surface)”(图像与视频技术的进步(2006)，第582-90页)中描述“扩增真实性系统”。在此所描述的系统中，将图像投影到实际的真实世界物体及表面上以增强观看者对他的或她的环境的感知，其中对所显示图像应用几何校正以计及物体的表面从平坦的变化。将此几何校正描述为基于相机所捕获图像数据与待显示的图像数据的比较。在此文章中，投影系统在连续帧中使所显示图像与亮度或色彩的图案图像变化
叠加。连续帧中的图案图像(即，变化)总计为零且因此为人类观看者不可感知的。出于几何校正的目的而将连续帧中的相机所捕获图像彼此相减，从而抵消所显示图像数据但恢复图案图像。由相机所观看的经恢复图案图像与待显示的数据的比较使得能够对所显示图像进行几何校正。
[0014] 作为进一步背景，已知
数字微镜装置类型的交互式投影仪系统。在这些系统中，使用单独的高速经调制
光源或替代地色轮段在显示器处投影人类观看者不可见但相机可检测的定位信息。当然，这些系统限制于基于数字微镜的
调制器投影显示系统且通常需要额外投影子系统(包含额外调制器)以便以合理的性能操作。
发明内容
[0015] 本发明的实施例提供一种交互式显示系统及一种交互地操作显示系统的方法，其中手持式指向装置在一系列的距离及定向内与所显示内容交互。
[0016] 本发明的实施例提供其中以观众不可感知(不管人类可感知图像的内容如何)的方式确定指向装置所瞄准的位置的此一系统及方法。
[0017] 本发明的实施例提供其中可使用通过使用可见光且以显示器的标称帧速率显示的人类不可感知定位信息快速且高效地执行指向装置的定位的此一系统及方法。
[0018] 本发明的实施例提供其中经由指向装置进行的用户交互的类型包含突出显示、点击拖曳、徒手文本及画、操作驱动显示器的
基础计算机系统、缩放所显示图像、手势辨识等的此一系统及方法。
[0019] 本发明的实施例提供其中高效且快速地执行指向装置所瞄准的位置的定位的此一系统及方法。
[0020] 本发明的实施例提供其中可通过指向装置中所包含的其它传感器(例如
加速计以及其它物理定位及移动传感器)辅助定位过程的此一系统及方法。
[0021] 本发明的实施例提供与广泛的显示器类型(包含CRT、平板及投影显示器(正面型或背面型))兼容的此一系统及方法。
[0022] 本发明的实施例提供在不需要改型或替换的情况下与现有显示系统兼容的此一系统及方法。
[0023] 本发明的实施例提供其中可在大范围的显示器大小内(介于从礼堂大小的投影屏幕到膝上型平板显示器的范围内)使用指向装置的此一系统及方法。
[0024] 本发明的实施例提供与触摸检测及
触摸屏交互兼容的此一系统及方法。
[0025] 本发明的实施例提供其中可视需要在系统内分布计算资源的此一系统及方法。
[0026] 参考以下
说明书连同其图式的所属领域的技术人员将明了本发明的实施例的其它目标及优点。
[0027] 可将本发明的一个方面实施成一种计算机显示系统，所述计算机显示系统包含远程无线或有线指向装置，所述远程无线或有线指向装置包含相机或其它视频捕获系统。所述指向装置包含相机及与产生所显示图像的计算机系统通信的能力。根据本发明的实施例，计算机系统在例如平板显示器或投影系统及屏幕的常规显示器上显示其既定视觉(图形或视频)输出。此既定视觉输出内包含一个或一个以上定位目标，其呈视觉有效负载的显示帧中的强度的经
图案化调制(例如，所显示色彩中的一者或一者以上的像素亮度或强度的变化)、后续接着连续帧中的相反调制的形式。人类观众自然地平均化所观看的帧，此具有随时间抵消定位目标的调制的效应，同时使既定视觉输出为观众可见的。由指向装置捕获所显示图像的包含定位目标中的一者或一者以上的至少两个帧的全部或一部分；将连续帧中的所捕获帧数据彼此相减以在所捕获视觉数据中恢复定位目标(并移除所显示图像有效负载)。经恢复定位目标的位置、大小及定向识别指向装置相对于显示器的瞄准点及空间位置。
[0028] 根据本发明的另一方面，所述显示系统包含在显示器中在变化的时间处于变化的位置的定位目标。在一个实例中，按命令(例如，在用户致动定位装置中的
开关之后)显示定位目标且其由定位装置捕获。所述显示系统接着在所显示图像的稍后帧中包含处于显示器的不同位置的第二目标。处理所显示定位目标在所捕获图像中的位置、大小、时序及定向以恢复指向装置相对于显示器的瞄准点。可随时间重复所述过程以理解指向装置的移动。
[0029] 根据本发明的另一方面，所述显示系统以响应于从先前帧捕获的定位目标的图像而选择的位置、大小及其它属性产生稍后定位目标。通过指向装置捕获所显示图像的其中定位目标突出且紧密匹配所产生定位目标的一部分来促进显示器的所指向位置的准确且快速确定。根据本发明的此方面，更改定位目标以校正指向装置距显示器的距离、指向装置的旋转、指向装置从显示器“离轴”的位置及所产生的定位目标与指向装置所捕获的定位目标之间的其它失真。
[0030] 参考本说明书的所属领域的技术人员将明了本发明的在其各种实施例中实现的其它方面。
附图说明
[0031] 图1是使用根据本发明的实施例的交互式显示系统执行的演讲者呈现的示意性透视图。
[0032] 图2a及2b是呈框形式的
电路图，每一图图解说明根据本发明的实施例的交互式显示系统。
[0033] 图3a是图解说明根据本发明的实施例的交互式显示系统的操作的
流程图。
[0034] 图3b是由本发明的实施例的交互式显示系统显示的图像中所包含的定位目标的图解说明。
[0035] 图3c是图解说明根据本发明的所述实施例的图2a的交互式显示系统的操作的流程图。
[0036] 图3d是图解说明根据本发明的所述实施例的图2b的交互式显示系统的操作的流程图。
[0037] 图4a是根据本发明的实施例显示包含一个或一个以上定位目标的图像的方法的流程图。
[0038] 图4b是图解说明图4a的方法的操作的实例的流程图。
[0039] 图4c是根据本发明的实施例在所显示图像中检测定位目标的方法的流程图。
[0040] 图5a及5b图解说明根据本发明的实施例的指向装置的远视及近视定位的实例。
[0041] 图6a是伽
马及逆伽马曲线的曲线图，且图6b是图解说明根据本发明的实施例的逆伽马曲线在定位目标的显示中的应用的流程图。
[0042] 图7图解说明根据本发明的其中在定位目标中包含少于整个所显示图像的替代实施例的所述定位目标的显示的实例。
[0043] 图8是本发明的其中干扰定位目标的规则性的替代实施例的流程图及对应实例。
[0044] 图9是本发明的其中也通过调制背景图像来减小定位目标的对比的替代实施例的流程图及对应实例。
[0045] 图10a及10b是图解说明本发明的其中对定位目标进行色彩加权以减小人类可感知性的替代实施例的流程图。
[0046] 图11是图解说明本发明的其中使定位目标的边缘模糊以进一步减小人类可感知性的替代实施例的流程图。
[0047] 图12是图解说明根据本发明的另一实施例操作交互式显示系统的方法的流程图，其中随时间对多个定位目标进行定序。
[0048] 图13a到13e图解说明根据本发明的另一实施例的标称定位目标、所述定位目标的由于指向装置的位置所致的失真表示及补偿定位目标。
具体实施方式
[0049] 将结合本发明的实施例中的一者或一者以上来描述本发明，即，实施成包含观众可见的显示器的计算机化呈现系统，因为预期本发明在应用于此系统时将特别有益。然而，还预期，本发明结合其它应用(例如在游戏系统、用户到计算机系统中的一般输入中等)可为有用的。因此，将理解，以下描述仅以实例方式提供且并不打算限制所主张的本发明的真实范围。
[0050] 图1图解说明其中本发明的实施例有用的环境的简化实例。如图1中所展示，演讲者SPKR正在使用视觉辅助物给出观众A现场呈现。在此情况中，视觉辅助物呈由计算机22产生并以观众A可见的方式在房间大小的图形显示器20上显示的计算机图形及文本的形式。如此项技术中已知，此些呈现在商业、教育、娱乐及其它情景中为常见的，其中特定观众群大小及系统元件广泛地变化。图1的简化实例图解说明其中观众A包含观看呈现的数个或更多成员的商业环境；当然，环境的大小可从容纳数百个观众成员的礼堂到其中观众A由单个人组成的单个书桌或桌子而变化。
[0051] 用于向观众A呈现视觉辅助物的显示器20的类型也可变化，此通常取决于呈现环境的大小。在介于从会议室到大型礼堂的范围内的房间中，显示器20可为投影显示器，包含安置于显示屏幕前方或后方的投影仪。在所述环境中，计算机22将产生视觉辅助图像数据并将其转发给投影仪。在较小环境中，显示器20可为由计算机22中的图形适配器
直接驱动的例如等离子或液晶(LCD)类型的外部平板显示器。对于向一两个观众成员的呈现，呈膝上型或桌上型计算机的形式的计算机22可仅仅使用其自己的显示器20来呈现视觉信息。此外，对于较少观众A，手持式投影仪(例如，“口袋型投影器”或“微微型投影仪”)正在变得更普遍，在所述情况中，显示屏幕可为
墙壁或白板。
[0052] 使用计算机呈现软件来产生并在呈现的情景中呈现图形及文本现在为普遍的。此呈现软件的众所周知的实例为可从微软公司购得的POWERPOINT软件程序。在图1的环境中，此呈现软件将由计算机22执行，其中在显示器20上显示呈现中的每一幻灯片，如此实例中所展示。当然，特定视觉信息不需要为在计算机22处执行的先前所形成的呈现，而是可为：经由计算机22接入的网页；包含图标、程序窗口及动作按钮的桌面显示；来自DVD或正由计算机22读取的其它存储装置的视频或电影内容；或甚至作为“白板”的空白屏幕(演讲者SPKR可使用指向装置10在其上“画”或“写”)。参考本说明书的所属领域的技术人员将明了结合本发明的实施例有用的其它类型的视觉信息。
[0053] 如图1中所展示，对于演讲者SPKR来说，站在远离显示器20处以便不阻挡观众A的观看且也更好地吸引观众A通常为有用的。根据本发明的实施例，给演讲者SPKR提供远离计算机22且远离显示器20与在显示器20处显示的视觉内容交互的能力。此外，根据本发明的实施例，演讲者SPKR可紧密地接近显示器20且(举例来说)在虚拟按钮或链接处虚拟地“按压”或“触摸”显示器20以便以此方式与视觉内容交互。由显示器20显示的视觉信息的此交互使用给演讲者SPKR提供在认为有用时向特定观众A即席演讲呈现的能力，以与活动内容(例如，因特网链接、活动图标、虚拟图标、
流式视频等)介接并致动呈现的高级图形及控制件，而不需要演讲者SPKR就座于计算机22处或以其它方式“钉到”计算机22。
[0054] 如下文将结合本发明的特定实施例进一步详细地描述，演讲者SPKR借助于指向装置10执行此远程交互，指向装置10能够捕获显示器20处的图像的全部或一部分且能够与所述图像的所指向(或所瞄准)目标位置交互。此实例中的指向装置10无线地将显示器20的此所指向位置及来自演讲者SPKR的其它用户命令传递给接收器24且因此传递给计算机22。以此方式，根据本发明的实施例，执行与所显示图像的远程交互。
[0055] 交互式显示系统的一般构造及操作
[0056] 现在参考图2a，现在将描述在例如图1中所展示的环境的环境中有用且根据本发明的实施例的交互式显示系统的构造的一般化实例。如图2a中所展示，此交互式显示系统包含指向装置10、投影仪21及显示屏幕20。在本发明的此实施例中，计算机22包含用于产生待由投影仪21在显示屏幕20处显示的“有效负载”图像的适当功能性，此些有效负载图像既定供观众观看。根据本发明的实施例，这些有效负载图像的内容由人类用户经由指向装置10交互地控制。为了进行此操作，计算机22与定位电路25协作，定位电路25确定显示屏幕20的指向装置10正指向的位置。如依据以下描述将变得明了，此定位确定是基于指向装置10检测在显示屏幕20处显示的一个或一个以上定位目标。
[0057] 计算机22将以其有效负载图像产生功能产生或可以接入待显示的视觉信息(即，视觉“有效负载”图像)，举例来说，所述视觉信息呈存储于
存储器中的先前所产生的呈现文件的形式或呈例如计算机22可经由网络或因特网检索的活动内容的形式。如下文也将进一步详细地描述，来自计算机22的此人类可见有效负载图像帧数据将与由目标产生器功能23产生的定位目标图像内容组合，当在图形显示器20处显示时，所述定位目标图像内容可由指向装置10捕获并由定位电路25用来推断指向装置10所指向的位置。图形适配器27包含适合于以适合显示格式向投影仪21呈现图像数据帧序列(包含有效负载图像数据与定位目标图像内容的组合)的适当功能性。在此投影实例中，投影仪21又在显示屏幕20处投影对应图像I。
[0058] 计算机22、定位电路25、目标产生器电路23及图形适配器27的特定构造可广泛地变化。举例来说，预期包含适当处理电路(CPU或
微处理器)及存储器的单个个人计算机或工作站(呈桌上型计算机、膝上型计算机或其它适合形式)可经构造及编程以执行以下功能：产生有效负载图像、产生定位目标、在图形适配器27之前或借助于图形适配器27组合此两者以及接收并处理来自指向装置10的数据以确定所显示图像的所指向位置。或者，预期在计算机22外部的单独功能系统可执行目标产生器23、接收器24及定位电路25的功能中的一者或一者以上，使得可将计算机22实现为在不进行
修改的情况下操作的常规计算机；在此情况下，图形适配器27本身可构成外部功能(或与在计算机22外部的目标产生器23、接收器24及定位电路25的其它功能中的一者或一者以上组合)，或替代地可在将来自目标产生器23的输出呈现到的计算机22内实现。还预期这些功能的其它各种替代实施方案。在任何情况下，预期计算机22、定位电路25、目标产生器23及在产生在图形显示器20处显示的图像及定位目标时所涉及的其它功能将包含呈存储
计算机程序指令的计算机可读媒体的形式的适当程序存储器，所述计算机程序指令在由其处理电路执行时将执行如本说明书中所描述的本发明实施例的各种功能及操作。预期参考本说明书的所属领域的技术人员将能够容易地在不过度实验的情况下布置用于实施本发明的这些实施例的适当计算机
硬件及对应计算机程序。
[0059] 此实例中的指向装置10包含由光学系统12及图像传感器14组成的相机功能。当指向装置10瞄准显示器20时，便将所捕获图像展露给图像传感器14，所述所捕获图像取决于指向装置10与显示器20之间的距离、光学系统12内的透镜的焦距等而对应于显示器20处的图像I的全部或一部分。图像捕获功能16包含此项技术中已知的用于在由用户选择的特定时间点处或在取样时间序列中的每一取样时间处随着捕获而获取并存储所捕获图像的数字表示的适当电路。指向装置10还包含为常规按钮或指向装置10的用户可借以以
鼠标按钮的性质提供用户输入的其它开关的
致动器15，以致动图像捕获或用于如下文将描述且所属领域的技术人员明了的其它功能。在此实例中，指向装置10内还包含一个或一个以上惯性传感器17以辅助或增强与所显示内容的用户交互；此些惯性传感器的实例包含加速计、
磁性传感器(即，用于感测相对于地球
磁场的定向)、
陀螺仪及其它惯性传感器。
[0060] 在图2a的此实例中，指向装置10可操作以将对应于由图像捕获功能16获取的所捕获图像的
信号转发到定位电路25。此通信功能由指向装置10中的无线发射器18连同其内部天线A执行，借助于所述内部天线A来发射
射频信号(例如，根据常规标准，例如蓝牙或适当IEEE 802.11标准)。预期发射器18具有常规构造及用于编码、调制及经由适用无线协议发射所捕获图像数据连同其它用户输入及
控制信号的操作。在此实例中，接收器24能够经由其天线A从指向装置10接收所发射信号且能够将所接收信号解调、解码、滤波及以其它方式处理成适合于由定位电路25处理的基带形式。
[0061] 现在将参考图3a在一般意义上描述根据本发明的实施例的交互式显示系统的操作。在过程30中，计算机22产生待在显示器20处显示的视觉有效负载图像数据。这些视觉有效负载图像数据对应于既定供在图1的环境中的观众A观看的人类可感知内容，此内容对应于构成呈现的视觉分量的视觉辅助物(POWERPOINT幻灯片、网页等)。在过程32中，连同此视觉有效负载图像数据，目标产生器功能23产生也将连同视觉有效负载图像数据一起在显示器20上显示的定位目标图像。下文将进一步详细地描述根据本发明的实施例的这些定位目标图像的性质。在本发明的实施例中，在过程32中产生的定位目标图像不需要可由观众A直接感知，而仅需可由指向装置10感知以用于此系统的操作。在过程34中，图形适配器27将视觉有效负载图像数据与定位目标图像数据组合成适合于在显示器20处显示的形式，举例来说，在常规意义上呈一个或一个以上图形或视频数据“帧”的形式。或者，计算机22可从目标产生器功能23接收定位目标并组合那些定位目标与有效负载图像数据，之后将经组合结果转发到图形适配器27；在此情况中，计算机22及目标产生器功能23中的一者或两者可包含图形适配器电路，其中那些实例中的任一者或替代地下游图形适配器电路用作向投影仪21呈现图形输出的图形适配器27。然而，在过程36中，将被组合的那些经组合帧转发到投影仪21以供以常规方式在显示器20处输出。或者，针对其它类型的显示系统(例如LCD、LED及其它非投影显示器)，将不利用投影仪21，而是图形显示器
20本身将包含用于接收并显示经组合的有效负载图像与定位目标的适当功能性。
[0062] 图3b图解说明在过程36之后在显示器20上显示的图像I的一般化实例。如此图3b中所展示，图像I包含置于在显示器20处显示的图像I的左上角象限中的基本定位目标PT1。对于定位目标PT1来说，包含某一非对称性使得可依据定位电路25对所捕获图像的分析来识别指向装置10相对于显示器20的轴的旋转为有用的。预期在指向装置10内实施的辅助运动传感器(例如加速计)可辅助此旋转定向确定，从而使得能够更快速地执行定位。
[0063] 在过程38中，交互式显示操作继续使指向装置10捕获正在显示器20处显示的图像的至少一部分。如上文所提及，指向装置10可按用户命令(举例来说，借助于致动器15)捕获此图像；或者，指向装置10可以经取样图像序列的形式周期性地捕获图像。在任一情况中，为了实现系统的交互式操作，由指向装置10捕获的图像将包含所显示图像中的定位目标中的一者或一者以上连同人类可感知的视觉有效负载图像。图3b针对其中使指向装置10瞄准所显示图像I (如视场FOV所指示)的情况图解说明所捕获图像CI的实例。如图3b中所展示，获取所捕获图像CI的视场FOV包含所显示图像I的仅一部分；另外，使视场FOV从所显示图像I的定向旋转(例如，逆
时针45°)。在此实例中，所捕获图像CI包含所捕获定位目标PT1C。
[0064] 在过程40中，在指向装置10获取包含至少一个定位目标的至少一个图像之后，交互式显示系统中的定位电路即刻确定所捕获图像内所含有的定位目标图像的属性。这些属性包含如指向装置10所观看的定位目标在所捕获图像中的位置，且还可包含例如所述所捕获图像中的定位目标的大小(此大小指示指向装置10距显示器20的距离)、所捕获图像中的定位目标的定向(其指示指向装置10相对于显示器的定向)、所捕获图像中的定位目标的形状(其可指示指向装置10离开法向于显示器20的轴的位置)等属性。参考图3b的基本实例，可将所捕获定位目标PT1C的位置识别为在所捕获图像CI的左下角扇形中(例如，借助于某些坐标)。可识别所捕获定位目标PT1C的相对大小以给出在捕获时指向装置10到显示器20有多近的指示；另外，可依据所捕获定位目标PT1C在捕获时的形状的非对称性来识别其定向。
[0065] 在过程42中，基于这些经识别属性，图2a的系统中的定位电路25确定所显示图像I的在图像捕获时指向装置10指向的位置。在一般意义上，通过将所捕获图像CI与在对应时间形成图像I的视频数据进行比较来实现过程42的此确定。可将此比较执行为视频数据的直接比较(即，将所捕获图像CI的位图与所显示图像I的位图进行比较以将视场FOV置于图像I内正确的位置处)。或者，还可将例如大小、定向、形状等经识别属性与所显示的定位目标的类似属性进行比较，可依据所述比较来计算指向装置10相对于显示器20的位置。假定所捕获图像CI及所显示图像I，预期参考本说明书的所属领域的技术人员可在不过度实验的情况下容易地开发出用于确定所指向位置的适当
算法及方法。
[0066] 在任何情况中，在确定显示器20的在图像捕获时指向装置10所瞄准的位置之后，计算机22接着可即刻解码由用户经由指向装置10以图形用户
接口方式给出的命令。如在此项技术中为基本的，图形用户接口命令包含例如“选择”、点击拖曳、双击、右击等功能以及包含放大或缩小所显示内容、翻页等其它命令。此些命令的其它实例包含经由使用指向装置10在所显示内容上(举例来说，突出显示或评论所述内容)或在空白“白板”显示器上画徒手图像或写徒手文本。在图形用户接口情景中，这些命令不仅包含将采取的特定动作，而且取决于所显示图像中的当前所指向位置。在以此方式解码用户命令之后，交互式显示系统即刻(举例来说)通过在过程30中产生待响应于所接收用户命令而显示的新视觉有效负载图像内容来重复所述过程。任选地，可在过程32的下一实例中但也响应于经解码命令而产生定位目标并将其组合到所显示图像中；举例来说，下一些定位目标的位置可取决于显示器的当前所指向位置(例如，以确保下一定位目标在指向装置10的
视野中)。所述过程接着重复。
[0067] 预期本发明的实施例的交互式显示系统中的定位电路25的特定位置可在系统间变化。在一般意义上，哪一硬件子系统(即，驱动显示器的计算机、指向装置、视频数据路径中的单独子系统或其某一组合)执行显示器20的所指向位置的确定并非特别重要。在图2a中所展示的实例中，如上文所描述，定位电路25结合计算机22及目标产生器功能23部署于一系统中，所述系统将产生所显示图像I与确定所显示图像I的指向装置10所瞄准的位置(及解码与其相关联的命令)的功能组合成所述系统的相同元件中。
[0068] 就这一点来说，图3c图解说明上文相对于图3a所描述的但具有到图2a的系统的更具体应用的总体过程的一部分。在此情况中，图3c的交互式显示操作如上文相对于图3a所描述而通过其中指向装置10捕获在显示器20处显示的图像I的至少一部分的过程38继续。在过程39(图3c)中，指向装置10经由发射器18及天线A将对应于所捕获图像CI且包含一个或一个以上定位目标的信号发射到定位电路25。在接收器24接收到所述所捕获图像数据之后，定位电路25即刻执行其中其在所捕获图像CI数据内识别一个或一个以上定位目标的过程40’。除识别那些定位目标的位置以外，定位电路25还可识别定位目标的例如大小、定向等其它属性。
[0069] 所指向位置的确定(图3a的过程42)由图2a的系统中的定位电路25借助于其中将所捕获图像CI中的定位目标图像内容的属性与所显示图像I中的对应定位目标图像内容进行比较的过程41来执行。如上文所描述，取决于特定实施方案，可通过视频图像内容的直接比较或替代地借助于基于特定属性的计算(图像场中的x-y位置的比较等)来执行过程41。在过程43中，计算机22接着使用在过程41中识别的指向装置10相对于显示器20的定位来确定显示器20的所指向位置。交互式显示过程接着继续过程44，如上文所描述，计算机22借助于过程44来解码并执行当前用户命令。
[0070] 图2b图解说明根据本发明的实施例的交互式显示系统的替代一般化布置。此系统包含如之前所述的投影仪21及显示器20，其中投影仪21投影有效负载图像内容及由计算机22产生的定位目标图像内容，如上文所描述。在此实例中，指向装置10’执行在确定显示器20的其当前正指向的位置时所涉及的计算中的一些或全部。如此，除相机(透镜12、图像传感器14及图像捕获器16)以外，定位装置10’还包含定位电路25’连同无线发射器18。相反地，如之前所述，计算机22耦合到接收器24。
[0071] 在一般意义上，定位电路25’接着通过将在其图像传感器14及图像捕获器16处获取的所捕获图像I内所含有的定位目标图像内容与存储于其存储器中的定位目标图像信息进行比较来确定显示器20的定位电路25’所瞄准的位置。举例来说，定位电路25’可先验地存储对应于待在显示器20处显示的定位目标的标称形状及大小的图像数据，使得其可将所捕获图像与所述定位目标图像进行比较。或者，发射器18及接收器24可各自实施为既能够从彼此接收无线通信又能够向彼此发射无线通信的收发器，在所述情况中，可将对应于在显示器20处显示的定位目标的大小、形状及位置的数据发射到指向装置10’以供比较。在任一情况中，图2b的系统(其中定位电路25’的至少一部分分布在指向装置10’处)产生稍微不同的总体操作，如现在将相对于图3d中所展示的具有到图2b的系统的具体应用的总体过程的部分描述。
[0072] 不论是预先存储于定位电路25’内还是通过无线发射接收，在过程46中，指向装置10’均存取对应于由目标产生器23产生且包含于所显示图像I中的定位目标图像内容的数据。这些数据可为定位目标图像内容数据本身(例如，图3b的定位目标P T1)或替代地可为定位电路25’可依据其确定定位目标图像内容的位置及其它属性的某一类型的表示数据(例如，x-y位置、定向等)。在过程40”中，指向装置10中的定位电路25’在所捕获图像CI内识别一个或一个以上定位目标(例如，定位目标PT1C)并视需要确定例如大小、定向等定位目标属性。
[0073] 在图2b的其中定位电路25’提供于指向装置10’内的系统中，定位电路25’执行过程47以识别所捕获图像CI中的定位目标与所显示图像I内的定位目标(如在过程46中从计算机22传递)之间的关系。此操作基本上对应于图3c的过程41，但是在指向装置10’中执行而非在计算机22处执行(图2a)。并且，在过程48中，指向装置10’的图像捕获与定位电路16’基于在过程47中导出的相对属性而确定显示器20的指向装置10’本身在图像捕获时正指向的位置。指向装置10’在确定显示器20的其所指向位置之后接着即刻在过程49中经由由发射器18及接收器24建立的无线链路将识别所述所指向位置的数据连同任何命令或其它用户输入(例如，经由致动器15的输入)发射到计算机22。计算机
22可接着以来自过程44的所要交互方式在其对图像I的操作及显示中对这些命令做出响应，如上文所描述。
[0074] 此外，在也由图2b暗示的替代方案中，计算并确定显示器20的指向装置10、10’所瞄准的位置的定位电路25、25’可分布于整个系统中，其中若干部分在两个指向装置10、10’处且若干部分在计算机22处，每一部分执行定位功能的某一部分。举例来说，指向装置
10’处的定位电路25’可计算其所捕获图像CI内所含有的定位目标图像内容的属性(例如，x-y位置、目标大小、定向等)，且接着将所述信息转发到接近计算机22部署的定位电路
25，定位电路25完成显示器20的所指向位置的确定。预期参考本说明书的所属领域的技术人员可在不过度实验的情况下针对特定实施方案设计定位功能性及计算资源在各种系统元件当中的特定分布。
[0075] 假定此一般化描述，本发明的各种实施例针对产生并在显示器20处显示定位目标信息的方式，且现在将描述借助于本发明的那些实施例获得的益处中的一些益处。
[0076] 人类不可感知定位目标
[0077] 如上文在本发明的背景技术中所论述，远程指向装置的定位的许多常规方法包含使用所显示图像中的人类可感知内容来辨识显示器的指向装置所指向的位置。在一些情况中，可见光标构成定位目标，其中通过将所捕获图像中的光标的位置及属性与所显示的光标的位置及属性进行比较来确定所指向位置。在其它情况中，在定位过程中涉及图像的可见内容或实际上所显示图像本身的拐角。然而，在所显示图像中使用原本可感知图像或光标对于观众来说可能为分散注意力的，尤其是在显示系统正用作呈现者正在其上画或写视觉内容的“白板”的情况下。当然，那些常规可见目标系统在严格的“白板”应用中不能发挥作用，因为未显示可在定位功能中使用的视觉内容。另外，根据本发明，已观察到，就距显示屏幕的距离来说，这些常规方法限制了指向装置的可用范围；由指向装置捕获的目标可能太大以致在指向装置过于靠近显示器的情况下不能被辨别出，或者太小以致在指向装置过于远离显示器的情况下不能被辨别出。
[0078] 根据本发明的实施例，使用观众不可直接感知的定位目标来执行指向装置10的定位(即，确定显示器20的指向装置10在特定时间所瞄准或指向的位置)。另外，本发明的实施例使用人类不可感知而仍以显示系统的标称帧速率操作且不需要对显示器进行硬件修改(例如额外投影仪、特殊帧速率叠加、针对定位目标使用不可见光(例如红外光)的额外投影子系统等)的目标来执行此定位。
[0079] 图4a到4c图解说明根据本发明的实施例的交互式显示系统中的定位目标的产生、显示及检测的实例。预期本文中在这一点上所描述的操作将由交互式显示系统的适当组件(举例来说，借助于上文相对于图2a及2b所描述的系统中的目标产生器功能23及图形适配器27)来实施及执行。并且，还预期可在不需要从当前由各种类型的现代常规显示器使用的标称速率(例如，大约60Hz)增加帧速率的情况下执行此产生及显示过程。预期参考本说明书的所属领域的技术人员可在不过度实验的情况下容易地构造及编程这各种功能(包含目标产生器功能23)以执行本文中所描述的操作。
[0080] 如图4a的流程图(其描述包含视觉有效负载图像内容及人类不可感知定位目标的所显示图像的产生及显示)中所展示，在过程30中，计算机22以图像数据帧的形式产生待在显示器20处显示的视觉有效负载图像数据。这些视觉有效负载图像数据对应于既定供观众观看的人类可感知内容。同时或提前地，目标产生器功能23执行过程32以通过图形适配器27或在图形适配器27之前产生待叠加到在过程30中产生的帧数据上的一个或一个以上定位目标。在过程50中，从存储器检索或通过目标产生器功能23以其它方式产生定位目标的图案形状。如上文所提及，可使用不同目标形状来显示多个定位目标以促进所指向位置的定位。在过程52中，选择待在显示器20处显示的图像的一个或一个以上位置作为将叠加在过程50中导出的定位目标的位置；此选择过程52可仅仅检索先前所确定的显示位置或替代地可基于定位过程的先前反复而以交互方式执行。
[0081] 根据本发明的实施例，定位目标是以与同视觉有效负载内容相关的像素强度值的偏差的形式应用于在过程30中产生的图像数据。换句话说，定位目标是作为对视觉有效负载图像数据的强度的调制来应用-定位目标区域内的每一像素将使其强度从由视觉有效负载图像数据针对所述像素指示的强度增加或减小。如图4b中所展示，在过程54中，目标产生器功能23选择对应于这些定位目标图案中所涉及的调制的强度Δ值p。
[0082] 根据本发明的此实施例，在图像数据帧序列内交替地将定位目标图案的强度Δ值加到视觉有效负载图像数据上及从视觉有效负载图像数据中减去。如从本描述将变得明了，此方法导致定位目标为大致人类不可感知的，而仍保持由定位电路25“机器可感知”。如此，针对不同图像帧不同地执行上文结合图3a所描述的将视觉有效负载与定位目标组合的过程34。在本发明的实施例的此实例中，图形适配器27针对连续图像数据帧将组合过程34执行为连续组合过程34a、34b，如现在将参考图4a及4b描述。如上文所提及，预期图形适配器27可实施为从计算机22及从目标产生器功能23接收输入的单个图形适配器，或替代地可部署于那两个功能中的一者或两者中，或此外，在替代方案中，借助于计算机22及目标产生器功能23中的每一者内的向下游图形适配器馈送的图形适配器电路来实施，所述下游图形适配器向投影仪21或直接向显示器20呈现图形输出数据。
[0083] 组合过程34a以过程55a开始，其中接收来自帧j的视觉有效负载图像数据。图4b图解说明此图像数据帧j的帧数据FD[j]的简化实例，其展示既定供观众观看的视觉内容。在过程56a中，通过将在过程52中选择的位置处的定位目标形状内的那些像素的强度数据修改在过程54中确定的强度Δ值而将帧数据FD[j]与定位目标组合。在此过程56a中，针对帧j，在逐像素基础上将此强度Δ值加到其
选定位置处的定位目标形状内的每一像素的强度值上。在本发明的此实施例中，在过程56a中不修改定位目标外部的像素的强度值。换句话说，如果显示位置(x,y)处的像素在有效负载图像数据中具有强度值Ix，y，那么过程56a的结果将产生经修改像素强度值Imx，y，如下：
[0084] Im_x，y＝Ix，y+p (x，y)∈定位目标
[0085] ＝Ix，y 定位目标
[0086] 图4b借助于经修改帧数据FDm[j]图解说明加法56a的结果的简化实例，其中十字形定位目标PT1在所显示图像的右下角象限中的选定位置处显现为较亮值。在过程36a中，对帧j的这些经修改帧数据FDm[j]进行格式化以供显示并将其转发到投影仪21以供在显示器20处显示。
[0087] 针对视觉有效负载图像帧数据的下一帧j+1的组合过程36b从定位目标内的像素的有效负载强度中减去强度Δ值。在过程55b中，接收视觉有效负载图像帧数据的帧j+1；在图4b的简化实例中，假定此有效负载图像数据从帧j到帧j+1大致不改变(即，FD[j]=FD[j+1])。在过程56b中，通过从定位目标内的帧数据FD的像素的强度值数据中减去强度Δ值来修改所述像素强度。在过程56b中不修改定位目标外部的像素的强度值。类似地，如上所述，针对显示位置(x,y)处的在有效负载图像数据中具有强度值Ix,y的像素，过程56b的结果产生经修改像素强度值Imx，y：
[0088] Im_x，y＝Ix，y-p (x，y)∈定位目标
[0089] ＝Ix，y 定位目标
[0090] 如图4b中所展示，经修改帧数据FDm[j+1]在所显示图像的右下角象限中的相同选定位置处包含十字形定位目标PT1作为较暗值。在过程36b中，对帧j+1的这些经修改帧数据FDm[j+1]进行格式化以供显示并将其转发到投影仪21以供在显示器20处显示。
[0091] 出于本描述的目的，在单色意义上描述应用于定位目标的强度修改，其中将每一像素的总体强度描述为在定位目标处被调制成较亮或较暗。当然，现代显示器为通常基于针对每一分量色彩(例如，红色、绿色、蓝色)具有不同强度的帧数据而实现的彩色显示器。如此，针对本发明的一些实施例，预期将在定位目标位置处将每一分量色彩的强度调制±p。在本发明的其它实施例中，如下文将进一步详细地描述，调制将在色彩间变化。
[0092] 在从帧j及j+1完成组合过程34及转发过程36之后，如图4a中所指示，接着即刻通过递增j＝j+2且针对下一帧j+2使控制返回到过程55a而针对所述下一帧j+2重复所述过程。因此，在显示器20处显示图像序列，其中一个或一个以上定位目标在连续帧中显现，但在那些连续帧中在较亮与较暗之间交替。然而，人眼的响应通常太慢以致不能感知处于大约60Hz或更高的现代帧速率的个别显示帧(例如，在60Hz或更高的显示刷新速率下，显示闪烁通常为人类不可见的)。而是，人类观看者往往将(举例来说)在若干个序列内平均化所感知的所显示图像。参考图4b，此平均化的结果将为使连续帧j、j+1相加(加法器61)，且接着随时间平均化强度。针对定位目标内的那些像素，在两个帧内的此平均化总计为：
[0093] (x，y)∈定位目标
[0094] ＝Ix，y 定位目标
[0095] 如此，人类观看者自然地仅感知视觉有效负载图像数据且并不直接感知定位目标或形状。
[0096] 然而，根据本发明的实施例，交互式显示系统能够检测并识别所显示图像I内所包含的定位目标。现在将参考图4c来描述检测过程40的实例。
[0097] 根据本发明的此实施例，可使用常规且市售的“网络相机”组件来构造指向装置10的相机与图像捕获功能。为便于同步(或更准确地，异步操作)，期望指向装置10的图像捕获功能16以约为显示器20的帧速率的两倍或更高的帧速率进行操作。在此图像捕获帧速率下，指向装置10操作以在过程60中捕获图像帧m且接着在过程62中捕获图像帧m+2(所述图像帧为稍后处于所述图像捕获帧速率的两个帧)。分开两个图像捕获取样周期的过程60、62的此操作确保所捕获图像帧m+2捕获具有叠加有与所捕获图像帧m的强度Δ值相反的强度Δ值的定位目标的图像(例如，图4b的帧数据FDm[j+1]及帧数据FDm[j])。
[0098] 在过程64中，定位电路25(不论是如图2a中位于计算机22处还是如图2b中在指向装置10’处)在逐像素基础上从所捕获图像帧m中减去所捕获图像帧m+2的图像数据。如图4b中所展示，减法64导致视觉有效负载图像数据有效地抵消且强化定位目标PT1。在理想情况中，减法过程64产生以下所感知强度值：
[0099] Iper_x，y＝(Ix，y+p)-(Ix，y-p)＝2p （x，y)∈定位目标
[0100] ＝0 定位目标
[0101] 如此，在减法过程64之后，定位装置10仅感知定位目标或形状且并不感知视觉有效负载图像数据。进一步预期，如果期望减噪，那么可捕获两个以上帧并将其相减以恢复定位目标。举例来说，可将帧m及m+1相加在一起，其中将帧m+2及m+3相加在一起，且使用经相加帧的差来恢复定位目标。预期这些及其它变化形式也在本发明的实施例的范围内。
[0102] 接着对减法过程64的结果应用常规所捕获
图像处理。在图4c中所展示的本发明实施例中，在过程66中，应用直方图均衡滤波。如此项技术中已知，此直方图均衡校正经压缩像素强度范围内的视频数据，如在以下减法过程64中即为此情况。直方图均衡滤波过程66基本上重新分布像素强度以使其跨越强度范围的分布均衡。在过程68中，对经滤波定位目标图像数据应用常规自适应同步以校正几何失真，如数字
水印嵌入及检测的技术中已知。在期望时也可应用其它图像处理技术。
[0103] 在从所捕获图像帧m、m+2恢复并处理定位目标图像数据之后，接着即刻由定位电路25执行过程70以识别经处理图像数据中的定位目标特征(如果存在的话)。可通过分析数据以确定在经处理的所捕获图像数据中是否存在匹配已知定位目标形状的形状来执行此识别。如果识别出此定位目标，那么过程70还可确定所捕获定位目标的各种属性，包含其在所捕获图像中的x-y位置、定位目标特征的大小、其旋转定向、任何形状失真(其可指示以一角度观看显示器20)等。因此，根据本发明的此实施例，属性确定过程40(图3a)完成。接着使用经检测属性来完成交互命令的定位及识别，如上文相对于图3a所描述。
[0104] 因此，根据本发明的实施例，以定位电路25可感知而观众A不可感知的方式产生并检测显示器20处的所显示图像中的一个或一个以上定位目标特征。另外，以常规标称显示帧速率且在不需要对投影仪的修改或其它显示器20的情况下执行此操作。如此，可结合各种类型的显示器及现有显示器在广泛的设施中使用本发明的实施例。此外，根据本发明的实施例，人类可感知定位目标的不存在可增加可使用交互式显示系统的距离范围，如现在将参考图5a及5b描述。
[0105] 如图5a中所展示，指向装置10相对靠近显示器20。如此，指向装置10的视场FOV相对小，且包含单个定位目标PT。此定位目标PT在由指向装置捕获的图像内将显现得相对大。如此，定位电路25不仅可推断出显示器20的指向装置10所瞄准的位置，而且可依据由指向装置10捕获并恢复的图像内的单个定位目标PT的大小推断出指向装置10仅离开显示器20一近距离的指示。相反地，在图5b的实例中，指向装置10相对远离显示器20。如此，在此实例中，指向装置10的较大视场FOV包含多个定位目标PT1、PT2，所述定位目标中的每一者在由指向装置10捕获的图像内将显现为相对小(相对于图5a的情况)。定位目标PT1到PT6可具有彼此不同的形状或定向(未展示)以辅助定位过程。同样，定位电路25不仅可确定所指向位置(即，视场FOV的中心)，而且可依据所捕获及经恢复图像内的定位目标PT1、PT2的数目及大小进行确定。
[0106] 还预期，可以动态方式执行显示及定位过程，其中目标产生器功能23以取决于定位过程的先前反复的位置、大小及外观产生定位目标。下文将结合图13a到13e描述定位目标的此动态产生的实例。
[0107] 根据本发明的实施例，交互式显示系统的用户因此可仅仅基于指向特定虚拟“按钮”、链接或在显示器20处显示的其它内容而与在显示器20处显示的视觉内容交互，不论是在离开显示器20长距离处还是接近或甚至触摸显示器20。以此方式，用户可以对应于图形用户接口(“GUI”)的方式与视觉内容交互。预期此交互的各种应用。演讲者可通过选择活动内容(例如，因特网链接、活动图标、虚拟按钮、流式视频等)、致动正在显示器20处显示的呈现的高级图形及控制件来与所述呈现交互。预期基于显示器20的所确定的所指向位置而从指向装置10传递例如“选择”、点击拖曳、双击、右击、放大或缩小所显示内容、翻页等图形用户接口命令。
[0108] 在另一情景中，指向装置10可用作游戏控制器，从而允许用户操作并玩正由计算机22执行的计算机游戏；就这一点来说，可使用指向装置10内所包含的例如加速计等惯性传感器来增强从用户到游戏的输入。
[0109] 在另一情景中，指向装置10可用于结合在所显示内容上(举例来说，突出显示或评论所述内容)或在空白“白板”显示器上画徒手图像及写徒手文本而发出命令。尤其在此应用中，预期用户可发出“记录”命令(举例来说，经由使用指向装置10本身来指向显示器20处的图标)，计算机22响应于所述命令而操作以将数据存储于其存储器资源中的一者中，所存储数据对应于指向装置10的后续操作，包含保存由指向装置10相对于显示器20做出的“虚拟”写或画；另外，预期还可记录由用户或观众所讲的音频以对应于所保存的虚拟写及画。
[0110] 在这些图形用户接口情景中的任一者中，计算机22可通常通过产生待响应于经由指向装置10从用户发出的命令而显示的新视觉有效负载图像内容来交互地对所述所接收用户命令做出响应。接着重复总体显示、定位及响应过程，如上文所描述。
[0111] 结合本发明，已观察到，人类观众可能会在所显示图像中感知由于定位目标图像所致的一些像差，甚至根据如上文所描述的本发明实施例也如此。根据本发明的各种额外实施例，可以进一步减少这些可见像差从而进一步改进观众对定位目标的不可感知性且因此进一步增强观众体验的方式产生定位目标。现在将进一步详细地描述本发明的这各种额外实施例，应理解，在所主张的本发明范围内，本发明的这些实施例中的每一者可个别地或彼此以任何组合方式或组合其它变化形式来使用。
[0112] 逆伽马定位目标产生
[0113] 根据本发明，已观察到，根据上文所描述的一般化概念产生的定位目标(即，定位目标中的每一像素的强度D值的简单加法及减法)可导致定位目标在有效负载图像的相对亮区域中为人类观看者可见的且相反地在有效负载图像的较暗区域中对于指向装置来说为不良可见度。这些假象是由于显示过程中的伽马校正所致。如此项技术中已知，所显示的每一像素的强度并非基于对图形适配器27的输出的线性响应。而是，应用“伽马”校正函数使得像素的所显示照度L(I)为数字强度值I的函数(正规化到范围[0,1])：
[0114] L(I)＝CIγ+b
[0115] 其中C为与显示器20的最大亮度相关的常数，b为黑色电平，且γ为显示器20的非线性度(通常介于从1.5到2.2的范围内)。此伽马校正函数L(I)的实例由图6a的曲线71展示。如此，将强度I调制强度Δ值p在I到零比到一更近时对所得照度L(I)具有较少的影响。相反地，将强度I调制强度Δ值p在I接近于一时对所得照度L(I)具有较多的影响。此导致定位目标在有效负载图像的亮区(I接近于一)中为可见的或在有效负载图像的暗区(I接近于零)中难以恢复。
[0116] 根据本发明的此实施例，通过将强度Δ值p表达为数字强度值I的函数来产生并应用定位目标，其中此函数p(I)补偿伽马校正函数。图6b中展示此操作，其中在过程32(图4a)中产生定位目标以检索定位目标形状(过程50)及选择定位目标的位置(过程
52)开始，如之前所述。在过程54’中，分别针对红色、绿色及蓝色色彩分量为定位目标选择图案强度Δ基值pr、pg、pb。这些基值pr、pg、pb定义将应用于定位目标中的视觉有效负载图像强度数据的函数p(I)。
[0117] 过程56a对视觉有效负载图像数据的帧j应用定位目标叠加，如上文所描述。在本发明的此实施例中，此过程56a是基于有效负载图像中的每一像素且特定来说定位目标中的每一像素的所接收强度值Ir，g，b。在过程72a中，目标产生器功能23根据伽马校正函数响应于所述像素的强度值Ir而计算定位目标位置中的红色分量的强度Δ值pr’(Ir)：
[0118]
[0119] 在图6a中借助于曲线73绘制此逆伽马校正函数的实例。分别响应于所接收强度值Ig、Ib而类似地计算绿色及蓝色分量的强度Δ值pg’(Ig)、pb’(Ib)。或者，可基于考虑到对不同色彩的不同人类敏感度的公式而计算像素亮度值，且可接着对此像素亮度值应用逆伽马校正。
[0120] 在过程74a中，接着将由过程72产生的强度Δ值pr’(Ir)、pg’(Ig)、pb’(Ib)加到帧j的定位目标位置中的每一像素的所接收强度值Ir，g，b。类似地，过程72b响应于下一帧j+1的定位目标位置中的每一像素的所接收强度值Ir，g，b而计算那些位置中的每一像素的强度Δ值pr’(Ir)、pg’(Ig)、pb’(Ib)。在过程74b中，通过减去在过程72b中计算的强度Δ值pr’(Ir)、pg’(Ig)、pb’(Ib)来修改帧j+1的定位目标中的每一像素的所接收强度值Ir,g，b。在每一情况中，在过程36a、36b(图4a)中在适当时通过图形适配器27(包含根据用于显示器20的伽马函数)对经修改帧强度数据进行格式化，且接着将其转发到投影仪21或直接转发到显示器20以供呈现。
[0121] 因此，根据本发明的此实施例，在有效负载图像数据的较亮区中减小定位目标的人类可感知性，同时维持那些定位目标在所述图像的较暗区中的可检测性。还预期，根据本发明的此实施例的逆伽马校正也将使得能够使用较小强度Δ基值p，因此进一步减少图像中的由观众所观看到的定位目标假象的存在。
[0122] 定位目标的闪烁的分散区
[0123] 在帕克(Park)等人的“到动态表面上的未失真投影(Undistorted Projection onto Dynamic Surface)”(图像与视频技术的进步(2006)，第582-90页)中，在其中将有效负载图像投影到实际的真实世界物体及表面上的应用中，出于几何校正的目的而将图案图像嵌入到所显示图像中。如所述文章中所描述，出于“扩增真实性”的目的，图案图像填充整个屏幕。然而，已知人眼对正在改变强度的较大显示区的闪烁的感觉较敏感，如在沃森(Watson)等人的“可见度窗口：经时间取样视觉运动显示器中的保真度心理物理理论(Window of visibility:a psychophysical theory of fidelity in time-sampled visual motion displays)”(J.Opt.Soc.Am.，第3卷，第3期(1986年3月)，第300-07页)中所描述。
[0124] 因此，根据本发明的另一实施例，定位目标仅
覆盖每一所显示图像帧的若干部分而非整个图像帧。图7使用正方形作为基本定位目标PT1到PT6来图解说明此经减少覆盖的实例。当然，如上文所描述，特定定位目标PT形状通常将为除正方形以外的某物以促进检测指向装置10的定向、将各种定位目标PT1到PT6彼此区别开且还检测指向装置10的离轴位置。在任何情况中，如从图7针对经修改图像帧数据FDm[j]、FDm[j+1]的实例显而易见，定位目标PT1到PT6覆盖大致小于所显示有效负载图像的整个区域。预期，可实施甚至更多的定位目标PT，而覆盖更少的总体显示区域。
[0125] 因此，预期根据本发明，考虑到正以经调制强度在帧间显示总体显示区域的仅一小部分，将减少可能由观众感知的显示器闪烁的感觉。因此改进定位目标图像的不可感知性。
[0126] 定位目标的图案的去图案化
[0127] 如沃森等人的“眼睛能最好地看到什么？(What does the eye see best?)”(自然，302(5907)(1983)，第419-22页)中所描述，人眼对以某些空间
频率发生的图案敏感。根据本发明，已通过原本不可感知的图案在所述图案明显规则的情况下变得可感知观察到此效应。根据本发明的此实施例，通过以不同空间频率产生并叠加定位目标的较弱图案来干扰定位目标的图案的规则性。现在参考图8，现在将描述根据本发明的此实施例产生具有不规则空间频率的定位目标。特定来说，在过程32(图3a)内实施本发明的此实施例，其中如上文所描述而产生定位目标。
[0128] 在本发明的此实施例中产生定位目标以过程50a开始，其中从存储器检索或通过目标产生器功能23以其它方式产生定位目标的初级图案的图案形状。在过程52a中，选择图像的将显示初级定位目标的位置；在本发明的此实施例中，如初级定位目标图案PTP1所展示，此图案在空间意义上基本上为周期性的。并且如上文所描述，在过程54a中，目标产生器功能23选择此初级定位目标图案的强度Δ值p1。此强度Δ值p1同样将对应于与定位目标内的像素位置处的有效负载图像数据的强度偏差(正或负)。
[0129] 在过程60中，根据具体情况，确定或检索初级定位目标图案的二维空间频率fxy1。预期可以用于图像处理应用的常规方式来确定此空间频率。过程50b开始产生将叠加初级定位目标图案且当然也叠加有效负载图像数据的定位目标次级图案。根据本发明的此实施例，此次级图案将具有比初级图案的空间频率fxy1高的二维空间频率fxy2，举例来说：
[0130]
[0131] 当然，可替代地使用除9/4以外的空间频率倍数。在过程52b中，假定所显示图像的边界且在选择个别元素的形状之后，接着产生此次级图案作为叠加。如图8中所展示，在此实例中，次级图案PTP2中的定位目标各自为圆形的，而初级图案PTP1中的定位目标为正方形。最后，在过程54b中，选择此次级图案的次级强度Δ值p2。预期，此次级强度Δ值p2的量值将小于初级强度Δ值p1。
[0132] 或者，可应用较复杂的定位目标图案作为次级图案PTP2。举例来说，从不可感知性的观点来看，已观察到二维高斯曲线的图案产生有效的掩蔽图案。然而，此些较高复杂度的次级掩蔽图案可能使定位目标的检测复杂化。
[0133] 图8还图解说明组合过程34a的结果的简化实例，其中定位目标初级图案PTP1及次级图案PTP2叠加帧j的有效负载图像数据。在此实例中，将把初级强度Δ值p1及次级强度Δ值p2加到(在强度上)有效负载图像数据的像素图案上。一些像素将接纳初级强度Δ值p1加法器及次级强度Δ值p2加法器两者，其它像素将接纳这些加法器中的一者或另一者，且其它像素将保持于其由有效负载图像数据确定的强度。图8中以简化形式图解说明此实例中的所得帧图像数据FDm[j]。
[0134] 根据本发明的此实施例，由定位目标次级图案PTP2施行的不规则性通过干扰可能存在于定位目标初级图案中的空间周期性来辅助使定位目标变得让观众不可感知。另外，已观察到，初级及次级定位目标的叠加可通过将定位目标彼此区分开而辅助定位过程。在图8的实例中，叠加可再现图案使得初级图案PTP1中的两个正方形不相似。可在图像捕获之后即刻检测个别定位图案及确定指向装置10的所指向位置时应用此信息。
[0135] 背景翻转
[0136] 如上文相对于图7所描述，呈不填充整个显示器20的重复图案的形式的定位目标PT有助于减小人类观众对定位目标的可感知性。根据现在将参考图9描述的本发明另一实施例，在不减小定位目标PT的可检测性的情况下进一步增强定位目标的不可感知性。更具体来说，根据本发明的此实施例，也可通过沿相反方向调制定位目标PT外部的像素的像素强度将所述定位目标内的像素的像素强度的调制的振幅减小多达二分之一。
[0137] 根据本发明的此实施例，对视觉有效负载图像数据应用定位目标PT的过程34a、34b以过程55a开始，其中接收所显示图像的帧j的帧数据FD[j]。在过程56a’中，针对此帧j，在逐像素基础上将较小强度Δ值加到其选定位置处的定位目标形状内的每一像素的强度值上。在此实例中，针对选定调制强度Δ值p，定位目标形状内的强度的加法为p/2。
在过程57a中，在本发明的此实施例中，也修改定位目标位置及形状外部的像素的强度值，但是通过从那些像素强度中减去经减小调制强度Δ值p/2而进行。如上文所描述，如果期望，那么过程56a’、57a可将分量色彩中的每一者的强度值调制这些量。因此，定位目标内及定位目标外部的像素之间的强度差保持为p，但任何像素强度与有效负载数据的最大偏差限制于p/2。因此，根据此实例，在帧j中，将经修改像素强度表达为：
[0138] (x，y)∈定位目标
[0139] 定位目标
[0140] 在过程36a中，接着对经修改帧数据FDm[j]进行格式化并将其转发到显示器20以供呈现。
[0141] 在过程55b中，接收下一帧j+1的帧数据FD[j+1]。以类似方式但以与应用于帧j的极性相反的极性修改这些帧数据FD[j+1]。过程56b’从定位目标内的每一像素的强度值中减去经减小调制强度Δ值p/2，且过程57b将经减小调制强度Δ值p/2加到定位目标外部的每一像素的像素强度上。因此，针对此帧j+1，将经修改像素强度表达为：
[0142] (x，y)∈定位目标
[0143] 定位目标
[0144] 在过程36b中，接着对经修改帧数据FDm[j+1]进行格式化并将其转发到显示器20以供呈现。
[0145] 参考本说明书的所属领域的技术人员将容易理解，如之前所述，在检测定位目标时经修改帧数据FDm[j]与经修改帧数据FDm[j+1]的差分将恢复定位目标；有效负载图像数据将同样借助此减法而抵消。相反地，由人类观看者对所显示的经修改帧数据FDm[j]及经修改帧数据FDm[j+1]的自然平均化将抵消在过程34a、34b中应用的调制，包含对定位目标外部的像素应用的调制。如此，定位目标将为不可感知的，在本发明的此实施例中甚至更如此，因为将针对任何一个像素的强度调制的量值减小二分之一。
[0146] 简化的色彩加权
[0147] 如此项技术中已知，人眼对一些色彩比对其它色彩更敏感。更具体来说，已展示，人眼对蓝色不如对红色敏感且对红色不如对绿色敏感。举例来说，在计算机显示器及电视中，典型人眼的相对响应加权为：对红色0.29、对蓝色0.11及对绿色0.59。根据本发明的此实施例，通过选择人眼最不敏感的色彩组合来增强定位目标的不可感知性；指向装置10的相机功能不(或不需要)具有与人眼相同的对色彩的相对敏感度，且因此可较容易地“看见”人眼可能较不容易看见的定位目标。
[0148] 图10a图解说明本发明的此实施例的一个实施方案，其中在再现较不可感知的定位目标时结合如上文结合图6a及6b所描述的逆伽马补偿采用人眼的相对色彩敏感度。将通过相同或类似参考编号来提及图10a中的类似于上文结合本发明的其它实施例所描述的那些过程的过程。
[0149] 通过目标产生器功能23以检索定位目标形状(过程50)及选择定位目标的位置(过程52)开始来产生定位目标，如上文所描述。然而，在本发明的此实施例中，在过程80中选择图案强度
对比度c；根据人类敏感度的逆对个别色彩分量应用此对比度，如依据以下描述将变得明了。
[0150] 在过程85中，从存储器检索或通过目标产生器功能23计算一组逆色彩加权w’r、w’g、w’b。这些逆色彩加权w’r、w’g、w’b逆对应于人眼的相对敏感度。举例来说，分别假定对红色、绿色、蓝色的一组相对色彩敏感度wr、wg、wb，根据本发明的此实施例按下式计算逆色彩加权w’r、w’g、w’b：
[0151]
[0152]
[0153]
[0154] 举例来说，如果对红色、绿色、蓝色的所述组相对色彩敏感度(wr、wg、wb)分别具有值(0.29、0.59、0.11)，那么根据此实施方案在过程85中导出的所述组逆色彩加权(w’r、w’g、w’b)将为(0.24、0.12、0.64)。如依据此实例显而易见，人眼最不敏感的蓝色分量变为定位目标图像调制中的加权最重的色彩分量，且反之亦然。
[0155] 在过程56a中再次执行针对定位目标内的像素修改有效负载图像数据中的像素强度，在此情况中过程56a针对帧j以过程82a开始，其中计算定位目标位置中的给定像素的亮度b。在本发明的此实施例中，过程82a通过对所述像素的有效负载图像数据的强度值Ir、Ig、Ib应用由人类观看者感知的所述组相对色彩敏感度wr、wg、wb计算亮度b：
[0156] b＝wrIr+wgIg+wbIb
[0157] 如此，此像素的所感知亮度b对应于有效负载图像数据强度值的色彩分量中的每一者的所感知亮度。
[0158] 在过程72a’中，基于此所计算的亮度b且基于来自过程80的选定图案强度对比c而针对定位目标中的每一像素计算逆伽马移位值c’。在本发明的此实施例中，举例来说，可按下式计算逆伽马移位值c’：
[0159]
[0160] 如依据过程72a’的此计算显而易见，基于有效负载图像中的像素的亮度而经由逆伽马校正来应用定位目标的对比值。
[0161] 在过程74a’中，针对当前像素的色彩分量产生并入有出于显示定位目标的目的而应用的调制的有效负载图像数据的经修改强度值Ir’、Ig’、Ib’。举例来说，通过下式根据逆伽马校正移位调制驻存于定位目标位置中的帧j中的像素的红色分量的强度值Ir：
[0162] I′r＝Ir+c′(w′r)
[0163] 其中w’r为在过程85中确定的红色分量的逆色彩加权。类似地，在过程74a’中分别响应于所接收强度值Ig、Ib而类似地计算有效负载图像数据的针对绿色及蓝色分量的经修改强度值Ig’、Ib’。接着对这些数据进行格式化并将其转发到显示器20，如上文所描述。
[0164] 针对下一连续帧j+1中的像素执行类似调制过程56b，只不过过程74b’的调制为减性而非加性的。简而言之，过程82b根据对定位目标位置中的给定像素的有效负载图像数据的强度值Ir、Ig、Ib应用的相对色彩敏感度wr、wg、wb来计算所述像素的亮度b。并且在过程72b’中，基于定位目标中的每一像素的所计算亮度b及来自过程80的选定图案强度对比c而针对所述像素计算逆伽马移位值c’。在过程74b’中，针对此帧j+1中的像素，针对红色、绿色、蓝色色彩分量产生有效负载图像数据的经修改强度值Ir’、Ig’、Ib’。此调制为减性而非加性的，举例来说，通过下式：
[0165] I′r＝Ir-c′(w′r)
[0166] 在过程74b’中针对此帧j+1中的每一定位目标像素类似地计算有效负载图像数据的针对绿色及蓝色分量的经修改强度值Ig’、Ib’。对数据进行格式化以供图形显示器27显示，并将其转发到投影仪21或直接转发到显示器20以供呈现给观众，如上文所描述。
[0167] 因此，在本发明的此实施例中，以包含逆伽马校正的方式且以更重地对针对人类观众较不可感知的色彩分量的调制进行加权的方式来调制定位目标像素的经修改强度值Ir’、Ig’、Ib’。当然，指向装置10的相机功能将在其图像捕获之后即刻恰当地感知调制。
[0168] 根据本发明的此实施例的变化形式，如图10b中所展示，不执行亮度计算；而是，针对每一像素的每一色彩分量计算逆伽马移位。如图10b中所展示，如之前所述，由目标产生器功能23执行过程50、52、80及85以定义对比c及逆色彩加权w’r、w’g、w’b，如之前所述。针对帧j，执行过程72a”以针对定位目标位置中的每一像素计算红色、绿色、蓝色的个别色彩分量的逆伽马移位cr、cg、cb。在本发明的此实施例中，个别色彩分量逆伽马移位cr、cg、cb的计算对应于：
[0169]
[0170]
[0171]
[0172] 如依据过程72a”中的这些计算显而易见，每一色彩分量的对比移位包含如上文所描述的逆伽马校正以及基于人类色彩感知的逆加权。针对帧j中的像素，在过程74a”中调制驻存于定位目标位置中的帧j中的像素的强度值Ir、Ig、Ib以加性应用所计算的逆伽马移位：
[0173] I′r＝Ir+Cr
[0174] I′g＝Ig+Cg
[0175] I′b＝Ib+Cb
[0176] 接着由图形适配器27对经调制数据进行格式化并将其转发到投影仪21或直接转发到显示器20，如上文所描述。
[0177] 接着以类似方式处理下一连续帧j+1中的像素，只不过调制是减性而非加性的。概括来说，过程72b”针对待调制的每一像素的每一色彩分量根据所述像素的在有效负载图像数据中的强度值且基于所要对比c及逆色彩加权w’r、w’g、w’b以如上文结合过程72a”所描述的相同方式计算逆伽马移位cr、cg、cb。在过程74b”中，对那些有效负载图像数据应用这些逆伽马移位cr、cg、cb以针对定位目标图像且在逐分量基础上减性调制有效负载图像数据：
[0178] I′r＝Ir-cr
[0179] I′r＝Ig-cg
[0180] I′b＝Ib-Cb
[0181] 接着对经调制数据进行格式化并将其转发到显示器20。
[0182] 类似于图10a中所展示的实施方案，定位目标像素的经修改强度值Ir’、Ig’、Ib’各自包含以包含逆伽马校正的方式且以更重地对针对人类观众较不可感知的色彩分量的调制进行加权的方式应用的加性调制。当然，指向装置10的相机功能将在其图像捕获之后即刻恰当地感知调制。
[0183] 因此，在本发明的此实施例中，以人类观众甚至进一步不可感知的方式在帧间以互补方式调制定位目标位置中的像素。此额外不可感知性源于针对人类观众较不可感知的色彩分量的调制的加权且也通过包含逆伽马校正实现。另外，可以比强力方法(例如基于每一像素的周围相邻者平均化所述像素的强度)更具计算效率的方式来执行根据本发明的此实施例对定位目标像素的调制。
[0184] 边缘模糊
[0185] 结合本发明，已观察到，人眼对可见图案的清晰边缘非常敏感，即，在非常短的距离内(例如，在邻近像素之间)发生亮度或色彩的显著对比的此些清晰边缘。根据本发明的另一实施例，以使所显示图像中所包含的定位目标的边缘模糊的方式产生那些定位目标。
[0186] 图11图解说明将对有效负载图像数据帧(举例来说，如上文根据本发明的各种实施例所描述)应用的使定位目标形状中的边缘模糊的方法。在本发明的此实施例中，执行用于产生待叠加到有效负载图像帧数据上的一个或一个以上定位目标的过程32。如上文所描述，在过程50中，从存储器检索或通过目标产生器功能23以其它方式产生定位目标的图案形状。在过程52中，通过检索先前所确定的显示位置或基于定位过程的先前反复以反复方式选择待在显示器20处显示的图像的定位目标将显现的位置。并且在过程54中，选择定位目标的强度Δ值p，如之前所述。
[0187] 根据本发明的此实施例，接着应用模糊过程90以使定位目标的边缘模糊且因此减小其人类可感知性，同时出于定位的目的仍维持可感知性。举例来说，可定义定位目标的边缘区，在所述边缘区上逐渐地应用值p的梯度减小直到到达边缘，或者在所述边缘区内那些边缘区中的值p仅仅从其全值减小。在一个实例中，模糊过程90识别定位目标的宽度Pw、将边缘距离识别为所述总体宽度的某一分数(例如，Pw/15)且应用在距定位目标的边缘所述距离内的像素的值p的模糊减小。接着使用由随定位目标内的像素位置而变的图案强度Δ值p构成的经模糊值p(x,y)来调制每一帧j、j+1中的有效负载图像数据，如上文所描述。
[0188] 此边缘模糊也可应用于本发明的其它实施例。举例来说，可通过在上文相对于图10a及10b所描述的经色彩加权位置目标产生时减小对比值c来实施模糊。预期参考本说明书的所属领域的技术人员可容易地实施本发明的此实施例的这些及其它变化形式。在这些变化形式中的任一者中，根据本发明的此实施例，应用定位目标的边缘的模糊以进一步使定位目标变得人类不可感知。
[0189] 顺序定位
[0190] 上文已以类属于在于显示器20处呈现的图像中包含一个或一个以上定位目标的方式的方式描述了本发明的前述实施例中的每一者。换句话说，本发明的这些先前所描述的实施例可结合固定定位目标操作。假定相对于显示器20定位远程指向装置10的这些方法，根据本发明的其它实施例，还预期可借助于对所显示的目标的时间定序来高效地执行所指向显示位置的定位。另外，预期本发明的这些其它实施例可应用于常规定位方法，包含人类可见定位目标的显示。
[0191] 图12图解说明根据本发明的这些实施例的特别是应用于例如上文相对于图2b所描述的交互式显示系统(其中定位电路25’执行大多数定位计算；在此实例中，定位电路25的某一部分也可部署于计算机22处)的顺序定位的一般化方法。当然，预期本发明的此实施例可容易地应用于例如上文相对于图2a所描述的交互式显示系统，其中指向装置10将图像信息发射到定位电路25，定位电路25又执行定位计算。如此且如上文所提及，视特定实施方案的需要，定位电路25可部署于指向装置10、10’内或计算机22处或者分布于两者当中。预期所属领域的技术人员可按照所述架构或可在特定设施中实现的这两个实例的变化形式容易地调适图12中所展示的方法。另外，将结合例如图2b中所展示的投影系统来描述图12中所图解说明的实例，应理解所属领域的技术人员可按照直接显示器(例如，LCD、LED、等离子显示器等)系统容易地调适此实例。
[0192] 本发明的此实施例的顺序定位过程在过程100中开始，其中图形适配器27产生图像且投影仪21在包含一个或一个以上定位目标的显示器20上投影所述图像，举例来说，如图3b中所展示。此初始显示过程100选择并显示可在距显示器20的一系列距离内(不论是相对靠近还是相对远离)从指向装置10辨别出的大小的定位目标。图13a图解说明定位目标150的一个实例，定位目标150提供能够传达距屏幕的距离、从屏幕的旋转、与屏幕的角度及关于指向装置10相对于显示器20的位置的其它信息的益处，如下文将进一步详细地描述。预期计算机22、目标产生器功能23及图形适配器27可周期性地或在每一所显示帧中呈现此所显示图像与定位目标；或者，预期目标产生器功能23及图形适配器27可响应于(举例来说)通过用户按压指向装置10的致动器15所做出的用户命令而在所显示图像数据中呈现定位目标。在过程102中，指向装置10捕获所显示图像，包含在过程100中(且针对其中显示人类不可感知定位目标的情况在连续帧内，如上文所描述)显示的定位目标。在此实例中，定位电路25’从图像捕获功能16接收所捕获图像、在其所捕获图像中识别定位目标并基于所述图像而计算定位信息，举例来说，如上文相对于图3b所描述。在此实例中，预期定位电路25’可基于经检测定位目标的属性(例如大小、定向、形状等)而确定指向装置10距显示器20的距离及指向装置10与显示器20的法向轴定位成的角度。在过程104中，指向装置10经由收发器18’及无线链路将对应于那些距离及角度结果的信息发射到计算机22。
[0193] 在过程106中，计算机22重复在显示器20处产生图像(包含由目标产生器功能23产生的一个或一个以上定位目标)的过程。不过，在此所重复的过程中，目标产生器功能23将响应于由指向装置10在过程104中发射的距离及角度结果而将定位目标移动到不同于过程100的位置的位置。经由收发器24’、18’将新定位目标的位置及视需要其它属性传递到指向装置10’中的定位电路25’。实际上，考虑到计算机22在每一反复中知晓定位目标的所显示位置及形状，在过程100、106之间定位目标的移动使得能够对指向装置10相对于显示器20的位置进行三角测量且提供增加的计算准确度。定位电路25’计算指向装置10距显示器20的距离及指向装置10与显示器20的法向轴的角度，并在过程108中将所述信息发射到计算机22。
[0194] 在从指向装置10接收到距离及角度信息的两个实例之后，计算机22处的定位电路25接着在过程110中即刻导出指向装置10相对于显示器20的定向及所指向位置。预期参考本说明书的所属领域的技术人员可使用常规基本导航技术产生执行此过程110所根据的计算机程序指令。此过程110的结果为显示器20的指向装置10所瞄准的位置(即，所指向位置)的确定。在用于图形用户接口的常规方式中，在确定计算机22从指向装置10接收的用户命令时正是包含了此所指向位置。
[0195] 在过程112中，目标产生器功能23响应于所述定向及位置而产生待在显示器20处显示的图像中的下一定位目标。在此情况中，预期目标产生器功能23可将此下一定位目标置于所显示图像的不同位置处，例如较靠近显示器20的指向装置10所指向的位置的位置。目标产生器功能23还可响应于距离及角度信息而改变此下一定位目标的其它属性，包含定位目标的大小(在指向装置10与显示器20之间的距离较短的情况下较小，在所述距离较长的情况下较大)。另外，目标产生器功能23可(举例来说)通过使所显示的定位目标旋转且也通过更改所显示的定位目标的形状以校正因指向装置10离轴所致的失真来改变所述形状以改进由指向装置10进行的检测。
[0196] 图13a到13e图解说明过程112可如何响应于在过程110中确定的距离及角度信息而更改后续图像帧中的所显示定位目标的实例。如上文所提及，出于参考目的，图13a中以标称大小及定向图解说明由目标产生器功能23产生的定位目标150。假如由指向装置10所捕获的图像CI将获得类似大小及定向的定位目标150的视图，那么可在高准确度内执行所指向位置的确定。根据本发明的此实施例，过程112改变定位目标的属性以优化定位电路25、25’对显示器20的所指向位置的确定。预期响应于前一所捕获图像的结果而对定位目标的此修改不需要结合本文中参考图12(即，过程100到110)所描述的特定导航确定来执行，而是结合计算或确定显示器20的所指向位置的任何方式均可为有用的。
[0197] 图13b针对其中指向装置10相对远离显示器20的实例图解说明所捕获图像CI。因此，在此实例中，定位目标150在所捕获图像CI内为相对小的。在此实例中，在过程112中，目标产生器功能23可增加叠加到所显示图像上的定位目标150的大小，因此给指向装置10提供较大目标且使得定位电路25能够较容易且准确地导出所显示图像的所指向位置。在图13c中，所捕获图像CI内的定位目标的大小为最优的，但使定位装置10从其法向于显示器20的定向顺时针旋转90°，从而致使图像显现为逆时针旋转了90°。定位电路
25可能由于此旋转而不能如此容易地识别所指向位置。如此，在过程112中，目标产生器功能23可使所显示的定位目标150的定向旋转(例如，顺时针90°)，使得所捕获图像CI将含有定位目标150的较接近于其在图13a中所展示的标称视图的图像。
[0198] 图13d图解说明指向装置10从自法向于显示器20严重离轴的位置获取的所捕获图像CI的实例。显示器20的此特定视图显现为来自在显示器20下面且在其右手侧的位置。在此实例中，所捕获图像CI内的定位目标由于指向装置10的离轴位置而失真。假定所捕获图像CI严重失真且因此两个图像之间存在不良匹配，此所捕获定位目标与图13a的标称定位目标150的自动化图像比较将相对困难。根据本发明的此实施例，在近似确定指向装置10相对于显示器20的位置(如依据图13d中所展示的失真的所捕获图像CI确定)之后，目标产生器功能23可即刻补偿因产生图13e的定位目标150’所致的所述失真，定位目标150’失真且以与图13d的所捕获图像CI中的方式相反的方式旋转并在过程112中显示。来自与在图13d的情况中相同的位置的所捕获图像将产生比到图13a的定位目标近得多的定位目标的表示，从而改进定位电路25、25’识别显示器20的所指向位置的能力。
[0199] 如上文所提及，惯性传感器17可部署于指向装置10内。这些惯性传感器17的实例包含加速计、磁性传感器、陀螺仪等。在本发明的另一实施例中，特别是在所捕获图像CI包含所捕获定位目标的显著旋转、平移或失真的情况下，且尤其是在正使指向装置10“跨越”显示器20快速移动的情况下，来自那些惯性传感器17中的一者或一者以上的输入可辅助确定指向装置10相对于显示器20的角度、旋转及位置。举例来说，如果正以显示帧速率的两倍(例如，120Hz)来执行定位，那么显示器20处的实际所指向位置可在两个帧周期8.33毫秒内急剧移动。在此情况中，由惯性传感器17对相对运动(而非绝对位置)的感测可在定位电路25的确定之间的时间内提供指向装置10的旋转、角度或移动的指示。因此，可通过视觉与惯性定位系统的组合来提供显示器20的指向装置10所瞄准的位置的较顺畅且较准确的确定。
[0200] 在过程112中显示的定位目标的后续实例的其它校正可包含：响应于所捕获图像中的定位目标的不良
质量捕获而进行色彩改变以补偿色彩失真，从而改进定位目标的清晰度(例如，消除如上文所描述的定位目标的边缘模糊)；及借助于使定位目标的放置在帧间以相反方式移动来补偿指向装置10的颤动或振动。
[0201] 返回参考图12，在过程114中，既然已确定了显示器20的所指向位置，则计算机22根据所指向位置及任何额外用户命令(例如对指向装置10上的致动器15的“点击”)而起作用。如针对此些图形用户接口此项技术中已知，此些命令可包含内容的点击拖曳移动、活动“链接”的选择、按钮、下拉或其它菜单、画或徒手文本输入(如同在“白板”应用的情况中)、所显示图像的一部分的突出显示等。另外，某些用户命令可未必取决于精确定位，举例来说，通过用户压下致动器15同时使指向装置的瞄准点跨越屏幕扫掠而输入的翻页命令。
[0202] 进一步预期，演讲者或出席者可同时使用多个指向装置10，使得可给出并解释“多触摸”接口命令(举例来说)以缩放所显示图像。举例来说，可使用不同“色彩”的多个定位目标(即，在不同色彩分量上从所显示内容的变化)，其中指向装置10中的不同者追踪不同色彩分量定位目标。或者，可使用具有多个
分辨率特征(例如，在分形意义上，自相似形状特征)的“超级目标”定位目标以使得能够在与显示器20的变化的距离内进行快速且准确的定位确定。
[0203] 计算机22在过程中114对其做出响应的用户命令中还可涉及也部署于指向装置10内的其它致动器或传感器(例如加速计及其它惯性传感器17)，如上文所提及。
[0204] 根据本发明的此实施例，此额外导航可包含计算机22或指向装置10对其非常接近于显示器20的感测，(举例来说)从而使得交互式显示系统能够作为虚拟“触摸屏”操作。就这一点来说，还可在指向装置10内采用触摸传感器，如果用户用指向装置10触摸或紧密接近显示器20(举例来说)以在所显示图像上“画”，那么可借助于所述触摸传感器采取动作。在另一实施方案中，作为指向装置10内的惯性传感器17的加速计可感测用户对指向装置10的突然“猛击”，此可用于指示指向装置10对显示器20处的图像的“轻击”，从而即使指向装置10可相对远离显示器20本身也能模拟触摸屏操作。以此方式，加速计或其它惯性传感器可作为指向装置10的致动器15(图2a及2b)操作，而不需要外部按钮或其它开关。预期参考本说明书的所属领域的技术人员将明了此系统的操作的这些及其它变化形式。
[0205] 由于在过程114中执行的用户命令，计算机22接着将通常在显示器20处投影新的有效负载图像以供观看且由用户经由指向装置10进行进一步交互。本发明的此实施例的交互式显示系统的操作接着将再次从过程100开始。
[0206] 预期本发明的此实施例可提供交互式显示系统的操作的很大益处。特定来说，定位目标的交互显示及检测允许根据例如距显示器的距离、指向装置与显示器的法向轴的角度、系统中的定位电路对指向目标的可感知性等变量而调整定位目标的大小及属性。
[0207] 因此，根据本发明的此实施例，在手持式指向装置的所指向位置的定位时及在交互式显示系统的操作时涉及多个定位目标(人类可感知或人类不可感知)。此定位方法利用现代计算机电路的计算能力及小型化，且使得能够在大范围的观众面前对呈现系统进行快速、准确且富有创造性的操作。
[0208] 总结
[0209] 如本说明书中所描述的本发明的各种实施例及参考本说明书的所属领域的技术人员将明了的其变化形式提供交互式显示系统的实施方案及操作的重要进步。进一步预期，那些进步将不仅在系统构造中而且在执行向各种大小的观众群的呈现时也具有显著益处。简而言之，本发明的这些实施例通过基于定位目标在所显示图像中的显示及检测而定位所述图像的指向装置所瞄准的位置来进行操作。在本发明的这些实施例中的数者中，尤其使定位目标变得人类观众不可感知，从而减少由此些目标引起的注意力分散，同时使得能够在显示器的大范围上部署目标信息且也实现交互式显示系统的“白板”使用。此外，本发明的实施例在指向装置与显示屏幕之间的一系列距离内(包含在接近或触摸显示屏幕本身的距离处)连续且无缝地执行此定位。另外，可按照现有显示系统(包含投影系统、平板显示器等)且在不需要特殊投影或显示设备或对显示器的改型的情况下容易地调适本发明的实施例。另外，预期单个指向装置可结合每个类型的显示器使用而非专用于一种类型的显示器。
[0210] 尽管已根据本发明的各种实施例描述了本发明，但当然预期参考本说明书及其图式的所属领域的技术人员将明了这些实施例的修改形式及替代方案，此些修改形式及替代方案获得本发明的优点及益处。预期此些修改形式及替代方案在如本文中先前所主张的本发明的范围内。
