近些年来，开发了很多诸如移动电话和步话机的设备，用于在移动用户 组之间的双向音频通信。除了音频设备外，还开发了很多视频设备，诸如网 络摄像机和视频电话被开发以便提供在一组用户之间的双向视频通信。
在诸如火灾的动态情形中，对于处在紧急事件指挥所(incident command post)的协调人员来说，跟踪救火员和其它地面人员是极其重要的，以便能够 适当地观察和指引他们。这些情形还需要用于启动和维持与相关人员的音频 和视频通信链路的装置。
在当前的技术中，紧急事件指挥所通常使用分离的、非集成的用于音频 和视频通信的系统来建立与救火员的音频或视频链路。例如，步话机系统用 于音频通信，而闭路电视(“CCTV”)摄像机被用于视频通信。计算机处理器还 可以被用于提供使用发送这种信息的设备的人员的位置信息。
而且，在现有技术中，建筑经常配备有多种类型的传感器，例如，位置 传感器、温度传感器、移动传感器和烟雾传感器。这种传感器可以连接到或 者可以不连接到计算机网路。这种传感器提供关于用户/资源的位置的有价值 的信息以及关于在现场位置的环境的信息。
然而，在当前的技术中，这些系统/设备(移动电话、步话机、视频电话等) 缺少一个单一接口上传送用于决策的信息所需的集成。没有一个单一系统能 够提供集中式的位置和传感器信息，以及通信集线器(communication hub)的功 能。这种集成的缺乏导致了在诸如火灾的紧急情况(mission critical)中的协调 和通信相关问题。
存在对于在紧急情况中允许自然和灵活的通信/交互的系统和方法的需 求。需要提供一个双向通信/交互平台，该平台集成来自多种基于位置的系统、 音频和视频流系统和传感器系统的信息。这种系统能够真正在单一接口上提 供通过现场视频通信的实时状况可见性，以及用于建立双向交互和/或通信的 容易和灵活的接口，以及有价值的传感器数据。
在动态环境中，用于为用户提供这种集成的理想的平台是诸如膝上计算 机、蜂窝式电话和个人数字助理(“PDA”)的移动设备。这些设备之所以是非常 适合这种状况的原因在于：
它们都是轻便和易于使用的，
它们的屏幕能够使用适当的解析度来进行视频显示。
它们能够被容易地连接到无线网络，从而辅助移动用途，
它们提供所需的双向通信能力，同时，最重要的是，
它们能够被连接到集成位置信息、实时视频显示和辅助多模态的服务器 系统。
用于这种提供传感器信息与音频和视频通信的集成的理想接口将被便利 地集成，而且是多模态的(multimodal)，允许同时使用诸如语音、小键盘、输 入笔动作(stylus gesture)的输入模态以及诸如音频、视频和地图显示的输出模 态。
这种接口的用户能够执行各种任务，包括跟踪用户/资源、导航通过他们 的环境，定位在他们的环境中的其他用户/资源以及使用多种模态向地理上收 集的资源/用户发出自动化命令。用户能够在地图显示上动态地更新环境的布 局以精确地反映状况。
定义
传感器—如在现有技术中所公知的，传感器170是从它们周围的环境收 集数据的设备。它们通常将这种数据转换成信号并将它们发送到诸如计算机 的其它设备(经由有线或无线网络)。这种信号随后被计算机处理器解释以产生 对应的信息。由传感器170搜集的一些类型数据的例子是位置数据(例如，GPS 坐标)、以及环境数据(温度、压力、湿度、化学物或烟雾的存在等)。为了本 文件的目的，区分位置信号和环境信号(除位置以外的所有信息)是有用的。
通常，位置传感器和环境传感器在物理上是截然不同的，这在于当前技 术可用的传感器能够发送位置信号或环境信号，但不能发送这两者。并不奇 怪，为了本发明的目的，可以在相同的设备中一起包装位置传感器和环境传 感器，从而在逻辑意义上来讲，单一设备可以发送这两种类型的信号。
在本发明的一个实施例中，与移动用户和对象(静止和移动两者)相关的 位置传感器分别发送使能对用户和对象进行跟踪的位置信号。位置传感器可 以是和由用户携带移动多模态系统120相关的或者可以是静态的。静态位置 传感器也可以是在现场原有的(例如嵌入的墙壁或者建筑的其它部件中)，或者 可以是由用户带入的用来帮助绘制(map)所述现场的地图(在建筑各点的大量 位置传感器可能足以添加信息到地图，或者甚至创建地图本身)。
“移动计算机架构”—在一个实施例中，移动计算机架构110是一个包括 计算机网络、物理和逻辑的区分多模态系统120(通常由用户携带)、和位置跟 踪系统140的架构。在一个实施例中，多模态系统120是具有音频、视频和 文本模式的显示和通信能力的设备。位置信号由网络的位置传感器170发送 到位置跟踪系统140，从而定位了与该传感器相关的被跟踪资源。
移动计算机网络110还可以具有环境跟踪系统160，用于解释来自环境 传感器的信号，以及归档系统150，用于存储该环境信息，包括由移动计算 机架构110创建的现场的地图。
“被跟踪资源”—简单地说指的是一个人或用户、一件设备或任何其它移 动或者不移动的具有位置传感器的对象，并且因此能够被位置跟踪系统140 跟踪。被跟踪的资源的一个例子是可移动灭火器。被跟踪的资源的另一个例 子是安装在建筑中的不移动的闭路电视。被跟踪的资源可以由系统的用户来 携带。所述用户与他或她所携带的资源被一起跟踪。例如位置传感器可以和 个人或用户携带的移动多模态系统120相关，从而帮助跟踪这样的多模态系 统120的用户的位置。为了文件的目的，在一些地方我们对个人将使用词语“用 户”来描述而不是将他们称作被跟踪的资源。
“位置跟踪系统”—位置跟踪系统140是用于管理移动或不移动的资源的 位置数据的系统。在一个实施例中，位置跟踪系统140包括定位引擎220以 及呈现系统230。
“定位引擎”—定位引擎220是用于搜集移动和不移动的被跟踪资源的定 位信号的系统。定位引擎220与位置传感器发送的位置信号一起使用。在一 个实施例中，定位引擎收集和积累来自位置传感器的位置信号，所述位置传 感器和由用户携带的移动多模态系统120相关。在另一个实施例中，定位引 擎收集和积累可以是来自静态传感器或者已经是现场的原有位置传感器的位 置信号(例如，嵌入建筑的墙壁或者是其它部件的)，或者可以是由用户带入 以帮助绘制所述现场的地图的位置传感器的位置信号(建筑中各点的大量传 感器可以是足够向地图添加信息或者是用来创建地图本身的)。
按照对象，定位引擎220包括用于从位置传感器接收室内和室外位置信 号的位置接收机，以及用于处理和解释所接收的位置信号的部件。在一个实 施例中，定位引擎可以具有便利于跟踪的客户端软件或者硬件部件，其与嵌 入和被跟踪的资源相关的位置传感器中的硬件或软件类似。例如，如果定位 引擎使用采用射频信号的跟踪协议，则被跟踪的资源可以携带射频发射机和 接收机。
位置传感器的例子诸如包括基于IEEEE 802.11或基于射频的产品，它们 将位置信号定期发送给定位引擎，这些产品可以来自诸如Ekahau、Aeroscout 和Wherenet公司。
“呈现系统”—在一个实施例中，呈现系统230的目的包括但不局限于， 向多模态系统120通信和呈现信息。其还便利使用多模态系统120用于这种 通信的跟踪的资源(用户)之间的双向音频和视频通信。呈现系统230包括(a) 从移动多模态系统接收请求的部件、以及(b)响应于来自移动多模态系统的请 求的部件。呈现系统230管理在位置跟踪系统140和用户之间的全部用户交 互。
呈现系统230通过诸如SAP NetWeaver协作平台的服务器架构的协作部 件便利了在被跟踪的资源之间的双向音频和视频通信。
呈现系统230的一个例子包括在SAP NetWeaver应用环境中运行并响应 于经由超文本传输协议(“HTTP”)连接的用户请求。该响应是使用 XHTML+Voice(“X+V”)或与引用语言标签(“SALT”)标准的多模态文件(使用 例如文本和声音的超过一种通信模式的文件)。该移动设备需要被配备成使用 相同标准与呈现系统230进行通信。
位置跟踪系统140还可以包括但不局限于诸如融合引擎260和地图存储 设备250的其它部件。
融合引擎—融合引擎260是将来自连接到其的多种部件的输入信息进行 集成和积累，用于通过定位跟踪系统输出到被跟踪的资源的软件部件。在一 个实例中，连接到融合引擎260的不同部件是定位引擎220、呈现系统230、 地图存储设备250以及环境跟踪系统160。融合引擎将来自环境跟踪系统160 的环境传感器信息、来自定位引擎220的定位信息以及来自呈现系统230的 双向音频和视频通信作为输入接收。融合引擎260将来自连接到其的多种部 件的输入信息进行集成，并积累其用于输出和将所集成的输出信息经由呈现 系统230传送到移动多模态系统120。融合引擎260还将所收集的信息发送 到归档系统150。
在本发明的一个实施例，融合引擎260是将要运行在SAP NetWeaver或 类似平台的软件部件。
“地图存储设备”—地图存储设备250是以多种格式存储的地图和图像的 软件数据库。在一个实施例中，地图存储设备250双向连接到呈现系统230 和定位引擎220。其经由呈现系统230显示在移动多模态系统120上的地图。
地图存储设备250可以是来自诸如Oracle、IBM、微软和Myself的经销 商的任何数据库。该数据库必须能够存储图像信息、以及大量和地图上感兴 趣的多种点/位置的坐标相关的信息。
“环境跟踪系统”—环境跟踪系统160是用于解释环境信号的系统。环境 跟踪系统160包括用于解释中继的环境信号的处理器。该处理器将解释的环 境信号经由位置跟踪系统140传送给移动多模态系统120。环境跟踪系统160 双向链连接到位置跟踪系统140。
环境传感器170的例子是安装在办公室建筑中的温度和湿度传感器。如 果兼容，它们还可以是已经连接到在建筑中的计算机网络并且可由本发明的 网络访问。新一代环境传感器170基于分别被称为因特尔微粒(Intel Motes)、 伯克利微粒(Berkeley Motes)和Smart Dust的特别网络技术。这些环境传感器 170能够感知诸如温度的各种环境参数。当多个微粒(motes)在相互通信的距 离之内，它们能够通过它们自身形成计算机网络并且能在它们之间或与外部 系统交换信息。
当特定环境参数的值落在预定值之外时，可以确定发生一个事件。例如， 如果由环境参数定义的火灾温度是120(华氏度)或更高，则任何由环境跟踪 系统160接收的这种信号的例子都将指示火灾。环境跟踪系统将事件的发生 以及其位置(从相关的位置传感器确定该事件的位置)经由位置跟踪系统140 传送给移动多模态系统120的用户。
“归档系统”—归档系统150是用于记录被跟踪的资源之间(用于通信的移 动多模态系统120的用户)的双向通信、被跟踪资源的所有移动和其它数据的 系统。在一个实施例中，它是记录被跟踪的资源的所有双向通信和所有移动 的大型多媒体数据库。它具有将时间戳盖在存储的信息上的处理器。该处理 器还检索、重放、分类以及分析所存储的信息。归档系统150连接到位置跟 踪系统140。
“移动设备”—移动设备是具有计算能力并且具有用户界面的被跟踪的资 源。在一个实施例中，其可以是膝上计算机或数字个人助理(“PDA”)或者是类 似的具有多模态用户界面的计算设备。
“多模态界面”—多模态界面是支持诸如语音或机械键盘和输入笔动作的 组合以及诸如听觉和视觉的输出模态的组合的计算机用户界面。该多模态界 面与移动多模态系统相关。
“多模态系统”—多模态系统120是用于在移动设备的用户和使用多种输 入和输出模态的移动计算架构110之间的通信的系统。在一个实施例中，移 动设备或系统包括但不局限于：(a)包括麦克风、扬声器以及音频编解码器的 音频输入/输出系统；(b)显示输出和小键盘(keypad)/输入笔(stylus)输入；(c) 包括摄像机和视频编解码器的视频输入/输出系统；(d)包括句法分析器、解释 器以及用于文本到语音转换以及语音到文本转换的嵌入式语音识别引擎、以 及为用户同步音频和视频输入和输出两者的同步元件的多模态浏览器；(e)双 向使能视频信息流的视频缓冲器；(f)包括软件驱动器和在网络上发送或接收 信号所需的天线的802.11无线通信能力；以及(g)用于解释在网络上发送的信 号或接收的信号，以将输出递送给用户和从用户接收输入的软件部件。在本 发明中，多模态系统120通常由用户携带，并且因此是移动多模态系统120。
“XHTML+Voice”-XHTML+Voice是作为扩展超文本标记语言 (“XHTML”)和声音扩展标记语言(“VXML”)的组合的一种标记语言。 XHTML+Voice文本可以包括地图、声音对话、声音语法或任何其它信息。 XHTML+Voice文本可以由多模态XHTML+Voice浏览器来进行句法分析 (parsable)、解释(interpretable)和渲染(renderable)。XHTML+Voice还结合了 XML-Events技术。在XML-Events中，例如口头发声、输入笔动作或是小键 盘输入都被称作为事件。这种事件是事先定义的。这些事件在XHTML+Voice 中是使用预先定义的句柄(handler)来处理的，而这些句柄是使用来自诸如 Javascript的多种脚本技术来实现的。当预定义的事件发生时(例如当口头发声 时)，激活在预定句柄中的Javascript代码并且处理该事件。在口头发声的一 个实例中，XML-Events利用使用Javascript实现的声音句柄来处理预定义的 事件。
XHTML+Voice文件由浏览器进行句法分析(由包括Javascript引擎的浏览 器中的句法分析器)，并且在客户设备上的浏览器中创建文件的文件对象模型 (DOM)。文件的DOM如同在原始XHTML+Voice文件一样还包括预先定义的 事件和事件句柄(由此创建DOM)。因此，当预定事件发生时调用事件句柄， 该预定事件被处理，并且这可以改变DOM。对于DOM的改变反映在视频显 示以及由浏览器呈现的声音对话中。对DOM的改变被作为HTTP请求传送 给位置跟踪系统。
“区”—在移动应用架构的意义上的区是位置现场的一个区或区域。在一 个实施例中，区被在图形地图中划分。在任何给定时间在一个区中可以出现 一个或多个被跟踪的资源。
“指挥所”—指挥所是用于在一组被跟踪的资源之间的协调和通信的中心 点。在一个实施例中，其最少具有所有被跟踪资源的所有元件。

本发明的一个方面提供用于动态绘制用以呈现给用户的现场的地图的系 统，该系统包括：计算机网络；多个能够在网络上发送位置信号的位置传感 器；用于接收位置信号的网络模块；包括定位引擎和呈现引擎的位置跟踪系 统；以及用户显示器。类似的系统可以包括：计算装置；多个能够在网络上 发送位置信号的感测装置；用于接收位置信号的网络接收装置；包括用于将 地图显示给用户的定位装置和呈现装置的位置跟踪装置；以及用户显示装置。
该系统还可以通过接收和解释附加位置信号来更新地图。位置传感器之 一可以和被跟踪的资源相关。该系统还可以包括个人数字助理、膝上型计算 机或包括用户显示器的移动电话。该系统可以集成有多模态系统。位置传感 器可以是与现场相关的原有的位置传感器或是在绘制地图时被放置在现场的 RFID位置传感器。该系统可以包括发送环境信号的环境传感器，环境信号可 以被解释为环境信息，并与地图一起来呈现。该系统还可以包括移动计算架 构、位置跟踪系统、归档系统、地图存储设备和环境跟踪系统。
本发明的另一个方面提供了一种用于向用户呈现叠加在现场的地图上的 本地化的环境信息的方法，该方法包括：从多个位置传感器接收位置信息和 从多个环境传感器接收环境信息；将位置信号解释为位置信息和将环境信号 解释为环境信息；将位置信息和环境信息应用到现场的地图作为本地化的环 境信息；使用应用的信息显示和归档地图；在运行过程中(ongoing basis)重复 前面的步骤以便动态更新本地化的环境信息；并当环境信息指示环境参数落 在预定范围之外时确定事件的发生。
本发明的位置传感器可以与被跟踪的资源相关。显示可以在个人数字助 理、膝上型计算机或包括用户显示器的移动电话上执行。用户的输入和输出 可以来自多模态系统。位置传感器可以是与现场相关的原有的位置传感器， 或者是在绘制地图时被放置在所述现场的RFID位置传感器。该方法可以包 括环境传感器发送可以被解释为环境信息并与地图结合在一起呈现的环境信 号，或动态地更新地图或首先产生该地图。该系统还可以包括移动计算架构、 位置跟踪系统、归档系统、地图存储设备以及环境跟踪系统。
该方法还可以涉及使用现有的静态数据的产生的初始版本的地图。一些 位置传感器被附在(tagged)现场的对象或建筑部件上，以便能够标识所述对象 或部件。环境参数值之一可以是温度或化学物浓度。位置信号可以被用于计 算在一个传感器和所有其它被跟踪的资源之间的距离，以标识在预定距离内 的所感兴趣的所有传感器和相关对象。该方法还可以包括计算在一个位置传 感器和其它传感器之间的距离以标识在第一位置传感器的预定距离内的感兴 趣的所有传感器和相关对象。
本发明的另一个方面提供了一种用于在现场监控人员移动和状态的方 法，其中每个人员和被跟踪的资源相关，该方法包括：从多个位置传感器接 收位置信号，其中至少位置传感器之一与和人员相关的一个或多个被跟踪的 资源相关；将所述位置信息应用到现场的地图；对叠加有一个或多个被跟踪 的资源的地图进行显示和归档；并且在运行过程中重复上述步骤以便连续地 更新所跟踪资源的位置和地图。本发明的位置传感器可以和被跟踪的资源相 关。显示可以在个人数字助理、膝上型计算机或包括用户显示器的移动电话 上执行。用户的输入和输出可以来自多模态系统。位置传感器可以是与现场 相关的原有的位置传感器，或者是在绘制地图时被放置在所述现场的RFID 位置传感器。该方法可以包括环境传感器发送可以被解释为环境信息并和地 图结合在一起呈现的环境信号，或者动态地更新地图或首先产生该地图。该 系统还可以包括移动计算架构、位置跟踪系统、归档系统、地图存储设备以 及环境跟踪系统。该方法可以涉及接受用户对于用户位置的问询、确定用户 位置和将用户位置传送给用户。
本发明的另一个方面提供了一种用于在现场的被跟踪资源之间的通信的 方法，该方法包括：在与第一被跟踪资源相关的显示器上加载现场视图；在 与第一被跟踪资源相关的显示器上显示现场视图；在所述现场视图上显示和 标识包括第二被跟踪资源的一个或多个附加的被跟踪资源；当用户在现场视 图上选择了第二被跟踪资源时，在第一被跟踪资源和第二被跟踪资源之间建 立音频通信链路或视频通信链路或建立这两者。所述现场视图可以是图形地 图、所述现场的视频或文本描述。该方法可以包括在现场视图上标绘代表被 跟踪的资源的图形或文本指示符。
该方法可以包括用户使用输入笔选择第二被跟踪资源。用户对第二被跟 踪资源的选择可以包括画出环绕代表第二被跟踪资源的指示符的形状。用户 对第二被跟踪资源的选择还可以包括用户向与第一被跟踪资源相关的声音识 别系统发出声音命令。用户对第二被跟踪资源的选择指定了与第二被跟踪资 源相关的属性。该方法可以包括确定在用户和第二被跟踪资源之间的距离， 其中，所述位置跟踪系统确定用户的位置以及第二被跟踪资源的位置，并且 随后计算在用户的位置和第二被跟踪资源的位置之间的距离。用户对第二被 跟踪资源的选择还包括指定第二被跟踪资源离开用户的距离的声音命令，并 且该第二被跟踪资源是基于所确定的小于或等于所指定距离的在第一被跟踪 资源和第二被跟踪资源之间的距离而选择的。
本发明的另一个方面提供了一种用于在第一被跟踪资源和第二被跟踪资 源之间建立双向通信的方法，该方法包括：第一被跟踪资源的用户使用声音、 文本或动作模态中的一个或多个在与移动设备相关的多模态系统上输入对第 二被跟踪资源的指令；该多模态系统处理由用户输入的指令；位置跟踪系统 接收输入指令；位置跟踪系统解释输入指令；位置跟踪系统将该指令传送给 第二被跟踪资源；第二被跟踪资源在与第二被跟踪资源相关的多模态界面上 输出指令，其中所述输出可以是下面类型中的一种或多种：声音、视频、文 本或动作。
下面将结合相关附图描述本发明的这些和其它特征和优点。
本发明的目的和优点
本发明的一些目的和优点在于集成辅助双向通信并在移动多模态界面上 向一组被跟踪的资源提供基于位置的服务的各种系统。对于各种系统的集成 改善了在资源组之间的通信和协调。
本发明的基于上述目的一些目的和优点是：
提供用于集成位置跟踪系统和双向音频和视频通信系统的方法。这些方 法允许通过使用模态，诸如使用输入笔在所显示的位置信息上点击来基于所 显示的位置信息容易和直观地建立双向通信，从而避免在通信建立上的延迟。
提供用于集成环境传感器信息和关于位置的信息、使能在统一的多模态 界面(与用户使用的移动多模态系统相关的界面)上对现场位置的完全的上下 文理解(contextual understanding)的方法。
提供用于记录和归档在资源之间的通信和资源的移动，用于后续分析的 方法。
提供用于多模态指令(使用多于一种通信模式给出的指令，诸如声音和文 本)的通信，改善系统可用性的方法。
提供一种用于对位置跟踪和环境跟踪系统的多模态询问(使用超过一种 的通信模式的问询方法，诸如声音和文本)的方法。
提供用于周期性地标绘叠加有被跟踪的资源的标绘的位置现场的图形地 图，从而在位置现场显示在所跟踪资源的位置的任何改变。由于可以用到对 于位置现场的精确标绘，从而便利了导航，并且允许特别是在诸如火灾的紧 急状况下做出准确的决定。
结合随后的说明和附图，本发明的其它目的和优点将变得更加明显。

图1是根据本发明的一个实施例的集成移动多模态界面(移动多模态系统 的界面)、位置跟踪系统、环境跟踪系统和归档系统的移动计算架构的框图。
图2是位置跟踪系统的方框图。
图3是说明了根据本发明的一个实施例的用于加载图形地图现场视图 (graphical map site view)的方法的流程图。
图4是说明了根据本发明的一个实施例的用于图形地图现场视图中的预 定区的用户操纵的方法的流程图。
图5是说明了根据本发明的一个实施例的用于跟踪环境传感器信号、解 释来自环境传感器的环境信号和将信息传送给被跟踪资源的方法的流程图。
图6是说明了根据本发明的一个实施例的用于归档与事件相关的被跟踪 资源的移动和双向通信的方法的流程图。
图7是配备有根据本发明的一个实施例的多模态界面的移动设备的方框 图。
图8是说明了根据本发明的一个实施例的用于启动在两个资源之间的音 频视频双向链路的方法的流程图。
图9是根据本发明的一个实施例的用于输入多模态指令和用于输出多模 态指令的用多模态界面的示意性截屏图(screen shot)。
图10是说明了根据本发明的一个实施例的用于给出多模态指令的方法 的流程图。
图11是说明了根据本发明的一个实施例的用于询问位置跟踪系统的方 法的流程图。
图12是说明了根据本发明的一个实施例的用于向多模态界面(与移动多 模态系统相关的界面)的用户发出多模态指令的方法的流程图。
图13是说明了根据本发明的一个实施例的用于启动与远程被跟踪的资 源的交互帮助会话的方法的流程图。
图14是集成来自环境传感器的信号并将相应的信息传送给位置跟踪系 统的环境跟踪系统的方框图。

在本发明的下面的详细描述中，对多个特定的实施例进行描述以便提供 对于本发明的全面的理解。然而，对于本领域的技术人员来说应当清楚，本 发明可以不用这些特定的细节或者使用作为替代的元件或处理来实现。在其 它实例中，公知的处理、程序、部件和电路不被详细说明，以免不必要地干 扰本发明的其它方面。
实施例
移动计算架构
图1说明了根据本发明的一个实施例的范例移动计算架构110。移动计算 架构110包括诸如位置跟踪系统140、环境跟踪系统160、以及归档系统150 的应用部件。其还包括链接到环境跟踪系统160的环境传感器170，以及和 被跟踪的用户相关的多个被跟踪移动设备120。
位置跟踪系统140包括定位引擎220、呈现系统230、地图存储设备250 以及融合引擎260。
位置跟踪系统140使用定位引擎220来确定在一个位置的移动和非移动 被跟踪资源的位置。呈现系统230使能对用户呈现所有被跟踪资源的当前位 置。定位引擎220标绘叠加在现场位置的图形地图上的移动和非移动被跟踪 资源的即时位置，并将其显示在用户的移动设备上。被跟踪资源的位置上的 任何改变都通过定期地在图形地图上重新标绘移动和非移动被跟踪资源的位 置而在图形地图上自动更新。呈现系统230在无线通信网络上像移动设备提 供更新的图形地图。
位置跟踪系统140对图形地图的定期更新使得用户能够实时看见他们的 位置以及靠近他们的其它被跟踪资源的位置。这帮助用户导航通过他们的环 境。这里的一个例子是涉及到在建筑内灭火的救火员。假定被跟踪的灭火器 被火毁坏了。位置跟踪系统140现在能检测到灭火器的缺失。地图被更新以 示出灭火器的缺失，并且这个信息被传送到移动设备的用户。
在这个系统中可以使用多种用于室内跟踪的定位引擎。这些可以包括使 用无线信号的系统，所述系统符合诸如IEEE802.11b、Bluetooth、超宽带 (“UWB”)或Zigbee的协议。这些引擎所使用的定位技术可以包括基于无线信 号的信号强度或时间信息的专用技术。而且，上述的无线信号可以在被跟踪 设备之间或被跟踪设备和作为预先安装的射频接收机的所谓的信标(beacons) 之间交换。
在另一个实施例中，定位引擎220可以使用具有红外或其它用于识别被 跟踪资源位置的通信技术的移动感测的组合。
对于室外定位，定位引擎220可以包括GPS接收机的使用。
为了提高精度，可以使用上述的定位技术的一种混合。定位引擎220可 以集成来自室外和室内定位引擎两者的信息来确定被跟踪资源的位置。
大多数定位系统具有一个客户端和一个服务器软件部件。客户端软件部 件驻留在被跟踪设备或被跟踪资源上，并将信号强度或时间信息通过无线连 接传送到驻留在计算机服务器上的服务器软件部件。
呈现系统230将当前信息传送到移动多模态系统。呈现系统230包括(a) 从移动多模态系统/设备接收信息请求的部件，和(b)响应与来自移动多模态系 统的请求的部件。呈现系统230管理在位置跟踪系统140和用户之间的所有 用户交互。
呈现系统230的角色还在于便利在被跟踪资源之间的双向音频和视频通 信。其能通过诸如SAP NetWeaver协作平台的协作部件来提供这种便利。
在一个实施例中，呈现系统230包括诸如SAP NetWeaver的平台，其包 括网络服务器和通过超文本传输协议(“HTTP”)与移动设备通信的应用服务 器。
在一个实施例中，呈现系统230响应于来自移动设备的所述HTTP请求， 将XHTML+Voice文件发送到移动设备。呈现系统230还可以使用 “HTTP-push”机制向移动设备发送更新，而不需要来自该移动设备的用于更新 的HTTP请求。XHTML+Voice文件可以包括地图和声音对话来导航该地图或 访问其它信息。
在一个实施例中，用于其多模态系统的移动设备710，使用可以使用诸 如“XHTML+Voice”的多模态标记语言的多模态浏览器，所述“XHTML+Voice” 是扩展超文本标记语言(“XHTML”)和声音扩展标记语言(“VXML”)的组合。 XHTML+Voice文件可以包括地图和声音对话来导航该地图或访问其它信息。 XHTML+Voice文件被句法分析，解释并由移动设备上的多模态浏览器渲染 (render)。
在一个实施例中，多模态浏览器的角色在于使用文本到语音(“TTS”)合成 能力产生用于自动消息的音频输出。该多模态浏览器还接收移动设备的声音 输入，基于在XHTML+Voice文件中描述的语法解释该声音输入，基于该用 户输入创建XHTML+Voice文件，并将其转换成用于呈现系统230的HTTP 请求。
移动设备710上的多模态系统还可以由语音界面(例如通过声音语音识别 系统)和显示界面(例如Java小程序或可缩放食粮图形客户端)的其它组合形 成。
在一个实施例中，呈现系统230还可以管理在多个被跟踪资源之间的连 续音频和视频通信。呈现系统230提供用于连接、路由和管理双向音频和视 频通信的多个流的软件或硬件数字通信开关。
在一个实施例中，融合引擎260是集成来自多种连接到其的多种部件并 积累这种信息用于通过位置跟踪系统输出到被跟踪的资源。在一个实施例中， 连接到融合引擎260的不同部件是定位引擎220、呈现系统230、地图存储设 备250和环境跟踪系统160。融合引擎从环境跟踪系统160接收环境传感器 信号、从定位引擎220接收位置信息以及从呈现系统230接收双向音频和视 频通信信息作为输入。融合引擎260即成来自连接到其的各种部件的输入信 息，积累这种信息用于输出并将所集成的输出信息经由呈现系统230呈现系 统230传送到移动多模态系统120。融合引擎260还定期将所收集的信息发 送到归档系统150。
在一个实施例中，地图存储设备250是地图的软件数据库，并且包括以 位图或可缩放矢量图(“SVG”)或类似格式存储的地图图形。其还包括有关区和 多种其它地图特征的信息。
位置跟踪系统140可以位于相同的计算设备上，诸如运行Linux操作系 统的服务器，或者其部件可以在多个计算服务器上，甚至在被跟踪的资源本 身上分布。
位置跟踪系统的操作
在图3中，存储的图形地图经由呈现系统230被从地图存储设备加载到 移动显示界面(310)。位置跟踪系统140使用在例如320和330中描述的多种 定位技术中的一种或多种来确定所有被跟踪的资源的位置。位置跟踪系统140 集成来自320和330(340)中描述的多种定位技术的位置信息，并随后将被跟 踪的资源的位置标绘到从地图存储设备(350)加载的图形地图。呈现系统230 在移动多模态系统(360)上显示叠加有被跟踪的资源的描述的图形地图，并将 该图形地图发送到归档该地图的归档系统(360)。被跟踪资源的位置信息被连 续地更新(380)。在被跟踪的资源中的位置的任何改变被确定(390)，并且图形 地图被更新(395)。
分区方法
显示在移动设备上的图形地图包括预定的区。区，在移动计算架构中的 上下文中是位置现场的一个区或区域。区被在图形地图上划分。在任何给定 时间可以存在一个或更多被跟踪的资源。例如在有很多楼层的建筑现场中， 任何楼层都可以被定义为一个区。
用户可以通过使用多种方法来修改预定的区。一个这种方式是通过使用 输入笔在图形地图显示上划出所期望的内容来修改区的边界。使用输入笔划 出所期望的区，则新画的区变成高亮(highlight)。点击高亮的区，则提供给用 户选项来保存新画的区。用户能够保存新定义的区。这也可以被传送给其他 的用户。在诸如火灾的事件中，当事件指挥员能够在图形地图上更新被火灾 影响的区时，这种工具得到实际应用。
在一个实施例中，图形地图是显示在多模态系统上的XHTML+Voice文 件。该地图由XHTML+Voice浏览器渲染在移动设备上。在一个实施例中， XHTML+Voice文件包括使用Javascript编写的句柄代码以处理诸如输入笔动 作或口头发声或者小键盘输入。当用户例如使用输入笔来在用户界面上操作 区的内容(也被称为用户输入或输入)时，一个事件发生。用于输入笔输入的预 定句柄被激活并且用户操纵/输入被渲染到XHTML+Voice文件。用户随后可 以存储对XHTML+Voice文件的操纵/输入并将其传送到呈现系统230。
在系统的一个实施例中，能够操纵图形地图的用户需要被授权；换句话 说，区修改设置被限制在一个较小的用户集或只限制于在火灾状况中管理紧 急状况的指挥站。呈现系统230可以维持作为位置跟踪系统140的部分的授 权方法。
在图4中，由位置跟踪系统140标绘的图形地图被显示在设备上(410)。 图形地图显示预定的区和被跟踪的资源。用户通过使用输入笔点击或者通过 在小键盘上键入或者通过发出一个声音命令(420)来选择改变区布局的选项。 用户被授权通过授权系统来操纵图形地图的预定的区，其可以使位置跟踪系 统140的一部分(430)。被授权的用户现在可以使用输入笔来选择改变的区， 或者通过选择适当的选项来添加新的区(440)。用户现在能够通过声音命令、 输入笔动作或者小键盘输入修改所选的区或新区的范围(450)。所画的新区或 者修改的区被发送到位置跟踪系统140(460)。由位置跟踪系统140位置跟踪 系统140在图形地图绘图上更新新区或更新的区，并且随后被显示在所有使 用其它移动设备的用户的多模态界面上(470)。
环境跟踪系统
图1所示的环境跟踪系统160连接到位置跟踪系统140，并且更具体地 说连接到位置跟踪系统140的融合引擎260。
建筑通常配备有收集有关围绕其环境的数据的多种类型的环境传感器。 这种环境传感器的一些例子是温度传感器、移动传感器等。这些环境传感器 还被连接到计算网络(有线或无线)。或者，现场人员可以采用能够感测在事件 现场的诸如温度和湿度的环境参数的移动或非移动环境传感器。这些移动和 非移动环境传感器能够在它们之间形成特别(ad hoc)无线网络来传送数据
环境跟踪系统160由环境传感器、计算网络、以及用于解释中继信号和 确定中继这些信号的环境传感器的位置的软件或硬件部件构成。利用计算网 络，还可以将环境跟踪系统160连接到移动计算架构110。利用诸如通过HTTP 的XML数据交换的通用通信方法，环境跟踪系统160能够将环境信息和环 境传感器的位置传送到移动计算架构110。
在环境跟踪系统160中使用的环境传感器170可以测量诸如温度和压力 的环境参数，可以检测移动和/或声音，并且甚至可以使用视频技术记录移动。 而且，这些传感器可以被相互连接，并且使用有线或无线网络技术来跟踪系 统。有线的网络拓扑可以是基于广域网(“WAN”)或局域网(“LAN”)，而无线网 络技术可以包括使用无线信号的系统。
在一个实施例中，环境传感器170包括具有由大学开发和由诸如加州 Sanjose Daggett街道的Crossbow技术有限公司商业销售的具有特别无线网络 能力的微小的自我包容设备，并且通常被称为“微粒”或“Smart Its”。传感器170 还可以是包含销量数据的射频标识(“RFID”)标签，其包含主动(配备电池的) 或被动收发机，并且其被用于跟踪设备和商品。
根据一个实施例，环境跟踪系统160使用包含感测设备和其中接收机积 累和/或解释由环境传感器发送的信号的接收机制。接收机可以是使用有线或 无线网络技术连接到环境传感器的移动设备或服务器。该接收机集成和分析 来自网络连接到其的所有环境传感器的输入。接收机还及时将环境信息转换 成为诸如可扩展标记语言(“XML”)，并将其传送到其它软件部件。
可以使用多种计算网络来实施环境跟踪系统，例如在下面的图14中所描 述的，或者在授予Gelvin(请见Gelvin的图16的例子)美国专利6735630 公开的WINGS NG网络。
在一个实施例中，环境跟踪系统160包括下列部件(图14)：
一组传感器1410和1420，感测多种环境和其它参数，
用于集成环境传感器信号并将其发送到信号处理系统以及发送到控制系 统的接口1430，
用于基于预定的时间标准标识/解释事件的信号处理系统1450，
用于控制事件流的控制流的控制系统1440，
处理系统1460，其将事件和环境传感信号分类并将它们在无线网络上发 送到诸如位置跟踪系统140的其它系统，和
用于通信事件和环境传感信息的无线网络连接1470。
上述的不同部件可以在一个或多个传感器设备上分布或在网络上不同的 计算机或服务器上分布。
在移动计算架构110，环境跟踪系统160连接到较大的系统，诸如通过 有线或无线连接的位置跟踪系统140。位置跟踪系统140将位置信息更新和 来自环境跟踪系统160的事件信息解释为通过HTTP连接的XML文件。在 位置跟踪系统140中由融合引擎260对该文件进行的句法分析将环境传感器 的位置和来自环境跟踪系统160的环境信息渲染到位置跟踪系统140。在位 置现场的相同的图形地图上组合检测事件的环境传感器的位置和被跟踪的资 源的位置，位置跟踪系统140中的定位引擎220能够在距离事件某个距离之 内定位被跟踪的资源。
在一个实施例的应用中，在配备由网络连接到计算架构的环境传感器的 位置现场，环境跟踪系统160在现场接收并解释来自环境传感器的信号以确 定信号的发生。事件是基于环境信息的组合来预定的，例如，较高的烟雾传 感器读数指示火灾。如果环境跟踪系统160检测到事件的发生，则环境跟踪 系统160立即通知位置跟踪系统140该事件的位置，以及该事件的性质 (nature)。位置跟踪系统140随后将该事件的发生传送给离开该事件某个预定 距离中的所有被跟踪资源，例如，所有的救火员被指示火灾现在扩张到建筑 的房间11。
在图5中，环境传感器定期将环境传感器信号发送到环境跟踪系统(510)。 环境传感器信号由环境跟踪系统160解释以获取嵌入环境信息(520)。发送信 号的环境传感器的位置由环境跟踪系统160确定。环境跟踪系统160将环境 传感器信息与预定的环境信号读取阈值进行比较以确定事件的发生(540)。环 境跟踪系统160将事件的发生以及其位置传送给位置跟踪系统140。位置跟 踪系统140通过比较相对于事件发生的位置的被跟踪的资源的位置来定位事 件位置附近的被跟踪的资源(560)。位置跟踪系统140将事件的发生传送到这 些被跟踪的资源(570)。
归档系统
归档系统150连接到移动计算架构110中的位置跟踪系统140。
归档系统150是能够在实时存储大量信息的多媒体数据库。
归档系统150是用于记录双向通信、被跟踪的资源的所有位置和其它数 据的系统。在一个实施例中，其是纪录双向通信和被跟踪的资源的所有移动 的大的多媒体数据库。其具有对存储的信息盖时间戳的处理器。该处理器还 检索、重放、分类和分析所存储的信息。归档系统150连接到位置跟踪系统 140并且更具体来说连接到融合引擎260。
归档系统150记录来自融合引擎的信息。融合引擎积累来自移动计算架 构的不同部分的信息。归档系统具有在存储所有信息之前对其盖时间戳的处 理器。在一个实施例中，归档系统150通过融合引擎260记录在被跟踪的资 源之间的所有的视频和音频通信流，以及来自被跟踪的资源的HTTP请求到 呈现系统230，以及将来自呈现系统230的XHTML+Voice文件到移动设备。 归档系统150还记录事件的所有环境信息和位置信息以及由融合引擎260积 累的被跟踪的资源的位置信息。归档系统150还可以被连接到在事件期间或 事件后检索、重放、分类和分析信息的分析系统以得到更好的学习。
在归档系统150实施例的一个操作的例子中，由环境跟踪系统160确定 的时间发生及其位置，被传送到位置跟踪系统140的融合引擎260。融合引 擎260解释环境跟踪系统160的输入，并且将事件的位置传送给在为之跟踪 系统中的定位引擎220。位置跟踪系统140中的定位引擎220在位置现场的 图形地图上标绘事件的位置，并将其与标绘在相同图形地图上的被跟踪的资 源进行组合。在进行图形地图标绘后，定位引擎220标识距离事件某个距离 之内的所有用户。这是通过由定位引擎220测量在被跟踪的资源的位置和事 件位置之间的距离来完成的。随后，定位引擎220经由呈现系统230将事件 的发生传送给靠近该事件的被跟踪的资源。当检测到事件时，位置跟踪系统 140还启动定位引擎220来连续记录所有被跟踪的资源的所有移动和双向通 信。
在图6中，每个环境传感器定期发送信号到环境跟踪系统160(610)。该 信号被环境跟踪系统160解释和积累(620)。环境传感器信号的位置由环境跟 踪系统160确定(630)。环境跟踪系统160将环境传感器信号读数与预定的信 号阈值进行比较以确定事件的发生(640)。当环境跟踪系统检测到事件的发生 时，环境跟踪系统160将事件的发生及其位置传送到位置跟踪系统140(650)。 位置跟踪系统140随后通过将事件的位置与被跟踪的用户的位置进行比较来 定位在事件位置附近的用户的位置(660)。位置跟踪系统140还指示归档系统 150记录被跟踪的资源的所有通信和移动(670)。由归档系统150使用时间戳 来记录所有双向通信和被跟踪的资源的移动。
移动多模态系统
移动多模态系统710由下列部件构成：
包括麦克风、扬声器和音频编解码器740的音频输入/输出系统；
显示输出和小键盘/输入笔输入730；
包括摄像机和视频编解码器750的视频输入/输出系统。
在一个实施例中，在下面详细说明的使用多模态浏览器形成的多模态界 面；
使能双向的视频信息流视频缓冲器735；
包括软件驱动器和天线760的WiFi通信能力。
多模态浏览器720包括下列部件：
对包含XHTML+Voice、SALT(语音应用语言标签)或类似的标记的多模态 文件进行句法分析，并将它们转换为DOM(文件对象模型)的句法分析器790；
组合起来提供语音输入/输出能力的语音到文本引擎715和自动语音识别 引擎725；
将显示元件渲染到视频显示以及接收小键盘/输入笔输入的渲染器770；
同步视频和音频用户交互的同步元件；允许在文件对象模型上的动态客 户端交互的Javascript引擎。
移动多模态系统的多模态浏览器的角色在于使用TTS合成能力产生用于 自动消息的音频输出。多模态浏览器还将接收载移动设备上的声音输入/声音 发声、基于在XHTML+Voice文件对象中描述的预定的声音句柄对其进行解 释并将其转换成到呈现系统230的HTTP请求。在一个实施例中，一动设备 具有使用诸如XHTML+Voice的多模态标记语言、在文件对象模型上的扩展 超文本标记语言(XHTML)和声音扩展标记语言(VXML)的多模态浏览器，以 创建、操纵和渲染XHTML+Voice文件对象。
多模态浏览器基于来自与移动多模态系统相关的多模态界面上的输入创 建HTTP请求。由多模态界面创建的HTTP请求被发送到位置跟踪系统。响 应中的位置跟踪系统140向用户发送可能包含地图、声音对话和句柄代码来 导航地图或访问其它信息。多模态浏览器还渲染、句法分析和解释从位置跟 踪系统140接收的XHTML+Voice文件并将该信息传送给移动多模态系统的 用户。
在移动设备上的多模态界面还可以由语音界面(例如ViaVoice语音识别 系统)以及显示界面(例如Java Applet，或者可缩放矢量图形客户)的其它组合 形成。
在使用移动多模态系统的一个例子中，多模态技术被用于加载该位置的 现场视频视图。这可以通过使用诸如使用小键盘/输入笔动作点击在移动设备 的屏幕上显示的地图的图形指示符，或者通过发出由移动设备上的语音识别 系统解释的口头命令来完成。图形指示符可以表示(a)记录现场视图的视频摄 像机或(b)被跟踪的资源，其发送由与其的移动多模态界面相关的摄像机记录 的视频视图。点击图形指示符标识和建立了与特定资源的视频链路来中继该 视频视图。
多模态技术被用于建立与所感兴趣的被跟踪的资源的音频链路。这可以 通过使用和上面相似的技术来完成。
在图8中，在移动设备的显示器上显示一个图形地图(XHTML+Voice文 件)。被跟踪的资源被使用诸如图标或点的图形指示符显示在图形地图上。移 动界面的用户可以通过点击在与该被跟踪的资源相关的显示器上的图标或点 来选择另一个用户或被跟踪的资源，以建立与其的音频/视频通信(820)。在某 些实施例中，可以使用利用声音识别引擎解释的声音命令来选择。在这种情 况下的声音命令通过与被跟踪的资源相关的统一属性来标识被跟踪的资源。 一旦标识了被跟踪的资源，则在显示界面上出现一个命令提示请求用户选择 将与被跟踪的资源建立哪个通信链路(830)。用户通过点击各自的命令提示来 选择所选的通信链路(例如音频或视频)(840)。用户输入命令是事件发生并且 调用显示在显示界面上的XHTML+Voice文件对象模型上的Javascript代码(点 击或使用声音来识别被跟踪的资源和所选的通信链路)。用户命令随后由浏览 器作为HTTP请求发送到位置跟踪系统。一旦接收到来自用户被作为HTTP 请求发送到位置跟踪系统的输入命令，则位置跟踪系统140通过其在图形地 图上的位置坐标将所选的被跟踪的资源绘制(maps)到其唯一的IP地址或唯一 的界面地址(850)。在用户和所选的被跟踪的资源之间使用多媒体流协议来建 立用户所选的通信链路(860)。输出被显示在用户的显示界面上(870)。
多模态指令
在使用移动多模态系统的另一个例子中，使用多模态技术来指示移动多 模态系统的用户。例如，如图9所示，如果一个用户拖住一个高亮的图形指 示符(表示第二用户)通过图形地图上的路径，将向该第二用户发出沿着该路径 行进的音频指令。屏幕上的其它动作/点击将导致发出给该用户的其它类型的 口头或可视指令。
或者，诸如从用户向与用户相关的移动多模态系统发出的呼叫“帮助”的 口头指令可以导致诸如在所有其他用户的移动设备上的闪烁指示符的可视消 息。
多模态指令的操作
用户能够通过使用输入笔来环绕标绘在图形地图上的被跟踪的资源的图 形指示符以及在移动设备上的显示器上的显示来选择被跟踪的资源(1010)。用 户能够向所选的图标发出多种命令，并且在一个实例中这是通过使用输入笔 拖着该图形指示符穿过图形地图(拖拉图形指示符是预定义的事件)来完成 (1020)。将基于这个事件激活在XHTML+Voice文件对象模型中适当的预定 JavaScript句柄代码，并且该事件句柄将把这个命令作为HTTP请求传送给位 置跟踪系统(1030)。作为响应，位置跟踪系统创建命令并将该命令作为 XHTML+Voice文件转发给所选的用户，指示它们行进在地图上被显示为高亮 的路径(1040)。每个所选的用户得到指示他们跟随行进路径的音频消息。他们 的屏幕也显示要被行进的路径(1050)。
图9说明了如同在移动设备的多模态界面上看到的示例多模态指令输入 和输出。作为被跟踪的资源的诸如救火员的用户，被例如另一个可能是事件 指挥员的用户请求离开建筑。为了这样做，该事件指挥员在显示屏幕上点击 代表救火员的点。随后他或她在他们的移动设备的触摸显示器上进行输入笔 的动作。这导致对于位置跟踪系统的请求，其向救火员的移动设备发送作为 XHTML+Voice文件的指令。救火员同时在移动设备上得到两种不同模态的指 令(音频和视频)。使用设备上的TTS合成来产生音频指令。图9表示这个用 户的移动设备的显示(视频指示的显示)。910代表在他或她的移动设备上的救 火员，而920是他或她被要求跟随以离开建筑的地图上的路径。
多模态询问
在使用移动多模态系统的一个实施例中，被跟踪的资源可以使用多模态 技术问询位置跟踪系统140。由被跟踪的资源进行的问询可以是两种类型的(a) 使用预定声音语法的帮助能够识别的声音命令或(b)可由在移动设备的触摸显 示器上的小键盘/输入笔的动作/点击触发的预定的命令集。例如，当用户点击 /触摸所显示的图形指示符进行问询时，其启动问询模式。XHTML+Voice文 件被加载到移动设备以便利用户询问/问询。用户可以使用诸如“我在哪里”的 预定声音句法来问询设备，其向呈现系统230发送一个请求而呈现系统230 将给出适当的回答作为响应。
多模态问询的操作
在图11，用户在显示界面上用于问询的图形指示符(XHTML+Voice文件 被用于显示该图形指示符)上画个圈或者点击该图形指示符(1110)。用户随后 具有在显示界面上定义的声音语法发发声音命令(1120)。例如，该声音命令可 以是“我在哪里？”，这导致对于所发出的声音命令的预定事件的出现。该命 令被用于该事件的预定句柄识别并由浏览器转换成移动设备上的HTTP请 求。该HTTP请求被发送到呈现系统230(1130)。从位置跟踪系统140种的远 程服务器产生一个适当的多模态响应(1140)并且使用TTS来渲染音频输出， 并且视频输出被显示在移动设备显示界面上(1150)。
替代实施例
多模态指令
在使用移动应用架构的另一个实施例中，多模态技术被用于用户之间通 信指令。例如，用户可以点击他们的移动设备的触摸显示器上的按键；这可 能导致给一个或多个用户的TTS生成的声音。
多模态指令的操作
用户能够通过使用输入笔来对想对其传送指令的、在显示在多模态界面 上的图形地图上标绘的被跟踪的资源的图形指示符画圈，来选择该被跟踪的 资源(1210)。用户还在多模态界面上选择指令菜单(1220)。用户从用于所选的 被跟踪的资源的菜单选择指令(1230)。用户所选的指令被发送给位置跟踪系统 140，并由位置跟踪系统140解释(1240)。作为响应，XHTML+Voice文件由 位置跟踪系统使用适当的指令发送到所选的用户(1250)。每个所选的用户得到 具有适当指令的音频指令。他们的屏幕也显示这个指令(1260)。
多模态问询
在使用移动多模态系统的另一个实施例中，用户可以使用多模态技术来 问询位置跟踪系统140。被跟踪的资源的问询可以是两种类型的(a)能够由预 定的声音语法识别的声音命令或(b)可由在移动设备的触摸显示器上的小键盘 /输入笔的动作/点击触发的预定的命令集。例如，当用户有一个问题，他们可 以使用在有效XHTML+Voice文件中定义的诸如“问题”的声音语法，借此位 置跟踪系统140将被跟踪的资源连接到第二远程资源用于交互的问题-回答 会话。
多模态问询的操作
在多模态问询的实施例中，用户在被跟踪的资源上画圈或者点击被跟踪 的资源来问询在显示界面上的图标(1310)。问询是使用诸如“问题”的预定的声 音语法来执行的(1320)。设备上嵌入的语音识别给予预定声音语法识别该命 令，将其转换成HTTP请求并将该请求发送到位置跟踪系统140(1330)。位置 跟踪系统140产生适当的响应从而建立与将便利交互问题回答对话的远程服 务器的音频链路(1340)。创建具有资源/服务器回答“请求”的交互声音对话。
应当理解，本发明可以以多种形式的硬件、软件、固件、特殊用途处理 器或者其组合来实现。在一个实施例中，本发明可以被以作为有形体现在程 序存储设备上的应用程序来实现。该应用程序可以被加载到包括任何合适的 体系结构的机器或者由包括任何合适的体系结构的机器来执行。最好，该机 器在具有诸如一个或多个中央处理单元(CPU)、随机存取存储器(RAM)以及输 入/输出(I/O)接口的计算机平台来实现。该计算机平台还包括操作系统和微指 令代码。这里描述的多种处理和功能既可以是微指令代码的一部分或者可以 是应用程序(或者是它们的组合)的一部分，其通过操作系统被执行。此外，多 种其它外设设备可以连接到诸如附加信息存储设备和打印设备的计算机平 台。
还应当理解，由于在附图中所描述的一些系统组件和方法步骤可以以软 件来实现，取决于本发明被编程的方式，在系统部件之间的实际连接(或处理 步骤)可以是不同的。给出在此提供的本发明的主旨，本领域的技术人员应当 能够构思出本发明的这些和类似的实现或结构。
相关申请参考
本发明涉及下列共同待审专利申请(i)2002年4月25日提交的申请号为 10/131,216，名称为“多模态同步”(Multi-Modal Synchronization)的美国专利申 请；(ii)2002年5月30日提交的申请号为10/157,030，名称为“用于数据访问和 输入的用户接口”(User interface for Data Access and Entry)的美国专利申请； (iii)2002年6月28日提交的申请号为10/184,069,名称为“用于数据访问和输 入的用户接口”(User interface for Data Access and Entry)的美国专利申请； (iv)2002年11月27日提交的申请号为10/305,267，名称为“用于语音使能的应 用的动态语法”(Dynamic Grammar for Voice-Enabled Applications)的美国专 利申请。所有包括上述专利、专利申请和所提及的文件，全部结合于此作为 参考。