模态同步控制方法及多模态界面系统
阅读：572发布：2020-09-06
专利汇可以提供模态同步控制方法及多模态界面系统专利检索，专利查询，专利分析的服务。并且一种模态同步控制方法及 多模态界面 系统。该方法是预先准备好对应同步的多个模态的组合而相关联地存储了应适用的每种模态的内容生成文件的选择定义信息，并包括：对于来自浏览器的处理 请求 ，参照所述选择定义信息，根据与所述浏览器同步的其它浏览器和模态的组合，选择每个模态所适用的内容生成文件的步骤；对于作为处理请求方的浏览器，输出通过应用所述被选择的内容生成文件而生成的内容，同时对于与所述浏览器同步的其它浏览器，输出通过应用所述被选择的内容生成文件中对应的内容生成文件而生成的内容的步骤。从而可达到几乎不 修改 现有的Web应用程序，就可以使多个模态用的浏览器同步，容易地实现多模态服务的目的。，下面是模态同步控制方法及多模态界面系统专利的具体信息内容。
1.一种模态同步控制方法，该模态同步控制方法是一种在使每个模 态都具有通过解释对于特定模态的内容来与用户进行交互对话的浏览 器，对应来自所述任意一个浏览器的请求进行信息处理，并根据处理结 果生成内容并输出给各浏览器的多模态界面系统中的模态同步控制方 法，其特征在于，
预先准备好对应同步的多个模态的组合而相关联地存储了应适用的 每种模态的内容生成文件的选择定义信息，并包括：
对于来自浏览器的处理请求，参照所述选择定义信息，根据与所述 浏览器同步的其它浏览器和模态的组合，选择对每个模态所适用的内容 生成文件的步骤；和
对于作为处理请求方的浏览器，输出通过应用所述被选择的内容生 成文件而生成的内容，同时对于与所述浏览器同步的其它浏览器，输出 通过应用所述被选择的内容生成文件中的对应的内容生成文件而生成的 内容的步骤。
2.根据权利要求1所述的模态同步控制方法，其特征在于，还包括：
对于同步的其它浏览器进行取得内容的通知的步骤；和
对应来自所述同步的其它浏览器的取得请求，输出内容的步骤。
3.一种多模态界面系统，该多模态界面系统是一种在使每个模态都 具有通过解释对于特定模态的内容来与用户进行交互对话的浏览器，对 应来自所述任意一个浏览器的请求进行信息处理，并根据处理结果生成 内容并输出给各浏览器的多模态界面系统，其特征在于，具有：
选择处理部，对于来自浏览器的处理请求，参照对应同步的多个模 态的组合而相关联地存储了应适用的每种模态的内容生成文件的选择定 义信息，根据与所述浏览器同步的其它浏览器和模态的组合，选择对每 个模态所适用的内容生成文件；和
内容输出部，对于作为处理请求方的浏览器，输出通过应用所述被 选择的内容生成文件而生成的内容，同时对于与所述浏览器同步的其它 浏览器，输出通过应用所述被选择的内容生成文件中的对应的内容生成 文件而生成的内容。
4.根据权利要求3所述的多模态界面系统，其特征在于，还具有管 理同步的多个模态的组合的模态管理部。
5.根据权利要求4所述的多模态界面系统，其特征在于，所述模态 管理部在接受来自浏览器的处理请求的同时，向作为处理请求方的浏览 器发送由所述内容输出部生成的内容。
6.一种多模态界面系统，该多模态界面系统是一种在使每个模态都 具有通过解释对于特定模态的内容来与用户进行交互对话的浏览器，对 应来自所述任意一个浏览器的请求进行信息处理，并根据处理结果生成 内容并输出给各浏览器的多模态界面系统，其特征在于，具有：
模态管理部，管理同步的多个模态的组合，同时进行与各模态的信 息收发；
选择处理部，对于来自浏览器的处理请求，参照对应同步的多个模 态的组合而相关联地存储了应适用的每种模态的内容生成文件的选择定 义信息，根据与所述浏览器同步的其它浏览器和模态的组合，选择对每 个模态所适用的内容生成文件，通过每个模态的内容生成文件生成与该 模态对应的内容，对于作为处理请求方的浏览器，输出由内容生成文件 所生成的内容，同时对于同步的其它浏览器，向模态管理部通知用于取 得由内容生成文件所生成的内容的取得请求信息；和
内容管理部，根据从同步的其它浏览器发送来的取得请求信息，向 该浏览器输出对应该取得请求信息的内容。
7.根据权利要求6所述的多模态界面系统，其特征在于，所述内容 管理部还具有在对于与作为处理请求方的浏览器同步的其它浏览器的取 得请求输出了对应的内容后，删除所生成的内容的功能。
8.一种多模态界面系统，该多模态界面系统是一种在使每个模态都 具有通过解释对于特定模态的内容来与用户进行交互对话的浏览器，对 应来自所述任意一个浏览器的请求进行信息处理，并根据处理结果生成 内容并输出给各浏览器的多模态界面系统，其特征在于，具有：
模态管理部，管理同步的多个模态的组合，同时进行与各模态的信 息收发；
选择处理部，对于来自浏览器的处理请求，参照对应同步的多个模 态的组合而相关联地存储了应适用的每种模态的内容生成文件的选择定 义信息，根据与所述浏览器同步的其它浏览器和模态的组合，选择应适 用于每个模态的内容生成文件，对于作为处理请求方的浏览器，输出由 内容生成文件所生成的内容，同时对于同步的其它浏览器，相关联地存 储了用于识别所选择的内容生成文件的信息和关于对应来自浏览器的处 理请求而执行的处理的处理结果的信息，并向模态管理部通知用于取得 内容的取得请求信息；和
内容管理部，按照从同步的其它浏览器发送来的取得请求信息，根 据与该取得请求信息对应的内容生成文件和处理结果的相关信息生成内 容，向该浏览器输出所生成的内容。
技术领域
本发明涉及使多个用户界面同步的方法、实现该方法的系统及其程 序。
背景技术
伴随因特网的普及和Web技术的发展，用户使用Web浏览器可以从 WWW服务器(World Wide Web)取得因特网上的各种信息并阅读。从WWW 服务器取得的内容用HTML(Hyper Text Markup Language)描述语言进 行描述，Web浏览器解释这些信息并在画面上显示信息。
这些Web系统不仅单纯地取得服务器上的静态内容并显示在画面 上，而且发展到根据来自Web浏览器的输入数据，在服务器侧进行以数 据库等为对象的信息处理，并且以该结果为基础生成动态内容输出给浏 览器的Web应用程序。这样，用户可以轻松地通过Web浏览器利用网上 商店等因特网上的各种服务。
另一方面，为了也可以根据电话机等的语音来利用这些Web技术， 提出了VoiceXML这种内容记述语言。在VoiceXML系统中，通过在电话 机和WWW服务器之间设置VoiceXML浏览器，VoiceXML浏览器通过解释 VoiceXML来与用户进行对话，根据用户的语音识别结果，根据需要向WWW 服务器请求新的VoiceXML。
如上所述，虽然已经具备了可以通过Web浏览器等的GUI(图形用 户界面)模态和语音等的语音模态等的用户界面来利用因特网上的各种 服务的环境，但在通过将语音输入的便利性和GUI的阅览性这两方面的 便利性组合的多个模态来利用各种服务的情况下，需要由内容提供方实 现用于使各模态浏览器同步的结构，因而存在着增大开发者的负担的问 题。
对此，作为使多个模态用浏览器同步的结构，例如，提出有如专利 文献1所公开的多个用户界面的同步方法及其系统的方案。在该发明中， 在用各浏览器显示静态存在的HTML和VoiceXML时，预先在同步服务器 中定义HTML内容和VoiceXML内容的各自url(统一资源地址(uniform resource locator))的对应关系，在一方的浏览器请求url时，通过将 与该url对应的另一方的模态用url通知同步的浏览器，使同步的浏览 器取得与该url对应的内容来实现同步。另外，在为象Web应用程序那 样生成动态内容的服务器情况下，通过在一方的浏览器进行提交时，也 使对应的浏览器同时进行提交，并且按照每个模态对以不同模态存在的 CGI等程序进行相同处理，从而根据同一处理结果生成不同模态的内容， 来实现内容之间的同步。
专利文献1特开2003-150440号公报
上述专利文献1所记载的发明，虽然在使静态存在的每个模态的内 容同步时没有问题，但在应用于根据服务器侧的处理结果而动态地生成 内容的Web应用程序时，则会产生问题。
例如，在网上商店等订货系统中，在进行多模态服务时，预先对每 个模态准备好向订货系统转发订货数据并根据处理结果而生成内容的 CGI(公共网关界面)程序，通过在一方的浏览器进行订货委托时，使另 一方的同步的模态也同时进行订货委托，从而实现同步。
但是，由于两个浏览器同时进行相同的处理委托，所以产生订货系 统多次处理相同订货的双重执行的问题。作为解决该问题的方法，可以 考虑仅由一方的CGI向订货系统进行订货委托的方法，但由于不进行订 货委托的CGI也需要根据处理结果生成内容，所以需要从实际进行处理 委托的CGI取得处理结果。另外，需要实现在利用通常的单模态时，激 活CGI的订货处理功能，而仅在以多模态利用时使CGI功能无效的处理。
这样，在使多个浏览器进行相同的处理委托的本方式中，Web应用 程序的开发者应该安装的同步处理功能复杂，因而存在着增大开发者的 负担的问题。
这些Web系统不仅单纯地取得服务器上的静态内容并显示在画面 上，而且发展到根据来自Web浏览器的输入数据，在服务器侧进行以数 据库等为对象的信息处理，并且以该结果为基础生成动态内容输出给浏 览器的Web应用程序。这样，用户可以轻松地通过Web浏览器利用网上 商店等因特网上的各种服务。
另一方面，为了也可以根据电话机等的语音来利用这些Web技术， 提出了VoiceXML这种内容记述语言。在VoiceXML系统中，通过在电话 机和WWW服务器之间设置VoiceXML浏览器，VoiceXML浏览器通过解释 VoiceXML来与用户进行对话，根据用户的语音识别结果，根据需要向WWW 服务器请求新的VoiceXML。
如上所述，虽然已经具备了可以通过Web浏览器等的GUI(图形用 户界面)模态和语音等的语音模态等的用户界面来利用因特网上的各种 服务的环境，但在通过将语音输入的便利性和GUI的阅览性这两方面的 便利性组合的多个模态来利用各种服务的情况下，需要由内容提供方实 现用于使各模态浏览器同步的结构，因而存在着增大开发者的负担的问 题。
对此，作为使多个模态用浏览器同步的结构，例如，提出有如专利 文献1所公开的多个用户界面的同步方法及其系统的方案。在该发明中， 在用各浏览器显示静态存在的HTML和VoiceXML时，预先在同步服务器 中定义HTML内容和VoiceXML内容的各自url(统一资源地址(uniform resource locator))的对应关系，在一方的浏览器请求url时，通过将 与该url对应的另一方的模态用url通知同步的浏览器，使同步的浏览 器取得与该url对应的内容来实现同步。另外，在为象Web应用程序那 样生成动态内容的服务器情况下，通过在一方的浏览器进行提交时，也 使对应的浏览器同时进行提交，并且按照每个模态对以不同模态存在的 CGI等程序进行相同处理，从而根据同一处理结果生成不同模态的内容， 来实现内容之间的同步。
专利文献1特开2003-150440号公报
上述专利文献1所记载的发明，虽然在使静态存在的每个模态的内 容同步时没有问题，但在应用于根据服务器侧的处理结果而动态地生成 内容的Web应用程序时，则会产生问题。
例如，在网上商店等订货系统中，在进行多模态服务时，预先对每 个模态准备好向订货系统转发订货数据并根据处理结果而生成内容的 CGI(公共网关界面)程序，通过在一方的浏览器进行订货委托时，使另 一方的同步的模态也同时进行订货委托，从而实现同步。
但是，由于两个浏览器同时进行相同的处理委托，所以产生订货系 统多次处理相同订货的双重执行的问题。作为解决该问题的方法，可以 考虑仅由一方的CGI向订货系统进行订货委托的方法，但由于不进行订 货委托的CGI也需要根据处理结果生成内容，所以需要从实际进行处理 委托的CGI取得处理结果。另外，需要实现在利用通常的单模态时，激 活CGI的订货处理功能，而仅在以多模态利用时使CGI功能无效的处理。
这样，在使多个浏览器进行相同的处理委托的本方式中，Web应用 程序的开发者应该安装的同步处理功能复杂，因而存在着增大开发者的 负担的问题。
发明内容
本发明就是为了解决上述问题而做出的，其目的是在通过解释特定 模态的内容来与用户进行交互对话的浏览器，和根据来自浏览器的请求 进行信息处理，根据处理结果生成内容并输出给浏览器的信息处理系统 中，几乎不用修改现有的Web应用程序，就可以使多个模态用的浏览器 同步，容易地实现多模态服务。
本发明的模态同步控制方法是一种在使每个模态都具有通过解释对 于特定模态的内容来与用户进行交互对话的浏览器，对应来自所述任意 一个浏览器的请求进行信息处理，并根据处理结果生成内容并输出给各 浏览器的多模态界面系统中的模态同步控制方法，其特征在于，预先准 备好对应同步的多个模态的组合而相关联地存储了应适用的每种模态的 内容生成文件的选择定义信息，并包括：对于来自浏览器的处理请求， 参照所述选择定义信息，根据与所述浏览器同步的其它浏览器和模态的 组合，选择每个模态所适用的内容生成文件的步骤；和对于作为处理请 求方的浏览器，输出通过应用所述被选择的内容生成文件而生成的内容， 同时对于与所述浏览器同步的其它浏览器，输出通过应用所述被选择的 内容生成文件中对应的内容生成文件而生成的内容的步骤。
此处，可以构成为还包括：对于同步的其它浏览器进行内容的取得 通知的步骤和根据来自同步的其它浏览器的取得请求而输出内容的步 骤。
另外，本发明的程序是一种用于使计算机执行模态同步控制方法的 程序，该程序用于实现在使每个模态都具有通过解释对于特定模态的内 容来与用户进行交互对话的浏览器，对应来自所述任意一个浏览器的请 求进行信息处理，并根据处理结果生成内容并输出给各浏览器的多模态 界面系统中的模态同步控制方法，其特征在于，包括：对于来自浏览器 的处理请求，参照对应同步的多个模态的组合而相关联地存储了应适用 的每种模态的内容生成文件的选择定义信息，根据与所述浏览器同步的 其它浏览器和模态的组合，选择每个模态所适用的内容生成文件的步骤； 对于作为处理请求方的浏览器，输出通过应用所述被选择的内容生成文 件而生成的内容，同时对于与所述浏览器同步的其它浏览器，输出通过 应用所述被选择的内容生成文件中对应的内容生成文件而生成的内容的 步骤。
本发明的多模态界面系统，是一种在使每个模态都具有通过解释对 于特定模态的内容来与用户进行交互对话的浏览器，对应来自所述任意 一个浏览器的请求进行信息处理，并根据处理结果生成内容并输出给各 浏览器的多模态界面系统，其特征在于，具有：选择处理部，对于来自 浏览器的处理请求，参照对应同步的多个模态的组合而相关联地存储了 应适用的每种模态的内容生成文件的选择定义信息，根据与所述浏览器 同步的其它浏览器和模态的组合，选择每个模态所适用的内容生成文件； 和内容输出部，对于作为处理请求方的浏览器，输出通过应用所述被选 择的内容生成文件而生成的内容，同时对于与所述浏览器同步的其它浏 览器，输出通过应用所述被选择的内容生成文件中对应的内容生成文件 而生成的内容。
此处，可以构成为还具有管理同步的多个模态的组合的模态管理部。
另外，模态管理部可以构成为，在接受来自浏览器的处理请求的同 时，向作为处理请求方的浏览器发送由内容输出部生成的内容。
根据本发明的其它观点的多模态界面系统，是一种在使每个模态都 具有通过解释对于特定模态的内容来与用户进行交互对话的浏览器，对 应来自所述任意一个浏览器的请求进行信息处理，并根据处理结果生成 内容并输出给各浏览器的多模态界面系统，其特征在于，具有：模态管 理部，管理同步的多个模态的组合，同时进行与各模态的信息收发；选 择处理部，对于来自浏览器的处理请求，参照对应同步的多个模态的组 合而相关联地存储了应适用的每种模态的内容生成文件的选择定义信 息，根据与所述浏览器同步的其它浏览器和模态的组合，选择每个模态 所适用的内容生成文件，通过每个模态的内容生成文件生成与该模态对 应的内容，对于作为处理请求方的浏览器，输出由内容生成文件所生成 的内容，同时对于同步的其它浏览器，向模态管理部通知用于取得由内 容生成文件所生成的内容的取得请求信息；和内容管理部，根据从同步 的其它浏览器发送来的取得请求信息，向该浏览器输出对应该取得请求 信息的内容。
在该情况下，内容管理部可以构成为还具有在对于与作为处理请求 方的浏览器同步的其它浏览器的取得请求输出对应的内容后，删除所生 成的内容的功能。
根据本发明的另外其它观点的多模态界面系统，是一种在使每个模 态都具有通过解释对于特定模态的内容来与用户进行交互对话的浏览 器，对应来自所述任意一个浏览器的请求进行信息处理，并根据处理结 果生成内容并输出给各浏览器的多模态界面系统，其特征在于，具有： 模态管理部，管理同步的多个模态的组合，同时进行与各模态的信息收 发；选择处理部，对于来自浏览器的处理请求，参照对应同步的多个模 态的组合而相关联地存储了应适用的每种模态的内容生成文件的选择定 义信息，根据与所述浏览器同步的其它浏览器和模态的组合，选择应适 用于每个模态的内容生成文件，对于作为处理请求方的浏览器，输出由 内容生成文件所生成的内容，同时对于同步的其它浏览器，而相关联地 存储了用于识别所选择的内容生成文件的信息和关于对应来自浏览器的 处理请求而执行的处理的处理结果的信息，并向模态管理部通知用于取 得内容的取得请求信息；和内容管理部，按照从同步的其它浏览器发送 来的取得请求信息，根据与该取得请求信息对应的内容生成文件和处理 结果的相关信息生成内容，向该浏览器输出所生成的内容。
本发明只需记述每个模态类别的内容生成文件和用于定义与同步的 模态类别的组合适用的内容生成文件的组合的内容生成文件的选择定义 信息，就能够使现有的单模态用Web应用程序容易地对应多模态。
附图说明
图1是单模态用Web应用程序的构成图。
图2是第1实施方式的多模态界面系统的构成图。
图3是表示模态管理部的动作的流程图。
图4是模态管理表的说明图。
图5A是HTML浏览器用初始画面的说明图。
图5B是VXML浏览器用初始对话的说明图。
图6是表示模态管理部的动作的流程图。
图7是处理结果数据的说明图。
图8是内容生成文件的选择定义信息的说明图。
图9是HTML内容生成文件的说明图。
图10是VXML内容生成文件的说明图。
图11是表示内容管理部的动作的流程图。
图12A是HTML浏览器用内容的流程图。
图12B是VXML浏览器用内容的流程图。
图13是第2实施方式的构成图。
图14是表示选择处理部的流程图。
图15是由选择处理部生成的内部表的说明图。
图16是处理结果数据的说明图。
图17是表示内容管理部的动作的流程图。
本发明的模态同步控制方法是一种在使每个模态都具有通过解释对 于特定模态的内容来与用户进行交互对话的浏览器，对应来自所述任意 一个浏览器的请求进行信息处理，并根据处理结果生成内容并输出给各 浏览器的多模态界面系统中的模态同步控制方法，其特征在于，预先准 备好对应同步的多个模态的组合而相关联地存储了应适用的每种模态的 内容生成文件的选择定义信息，并包括：对于来自浏览器的处理请求， 参照所述选择定义信息，根据与所述浏览器同步的其它浏览器和模态的 组合，选择每个模态所适用的内容生成文件的步骤；和对于作为处理请 求方的浏览器，输出通过应用所述被选择的内容生成文件而生成的内容， 同时对于与所述浏览器同步的其它浏览器，输出通过应用所述被选择的 内容生成文件中对应的内容生成文件而生成的内容的步骤。
此处，可以构成为还包括：对于同步的其它浏览器进行内容的取得 通知的步骤和根据来自同步的其它浏览器的取得请求而输出内容的步 骤。
另外，本发明的程序是一种用于使计算机执行模态同步控制方法的 程序，该程序用于实现在使每个模态都具有通过解释对于特定模态的内 容来与用户进行交互对话的浏览器，对应来自所述任意一个浏览器的请 求进行信息处理，并根据处理结果生成内容并输出给各浏览器的多模态 界面系统中的模态同步控制方法，其特征在于，包括：对于来自浏览器 的处理请求，参照对应同步的多个模态的组合而相关联地存储了应适用 的每种模态的内容生成文件的选择定义信息，根据与所述浏览器同步的 其它浏览器和模态的组合，选择每个模态所适用的内容生成文件的步骤； 对于作为处理请求方的浏览器，输出通过应用所述被选择的内容生成文 件而生成的内容，同时对于与所述浏览器同步的其它浏览器，输出通过 应用所述被选择的内容生成文件中对应的内容生成文件而生成的内容的 步骤。
本发明的多模态界面系统，是一种在使每个模态都具有通过解释对 于特定模态的内容来与用户进行交互对话的浏览器，对应来自所述任意 一个浏览器的请求进行信息处理，并根据处理结果生成内容并输出给各 浏览器的多模态界面系统，其特征在于，具有：选择处理部，对于来自 浏览器的处理请求，参照对应同步的多个模态的组合而相关联地存储了 应适用的每种模态的内容生成文件的选择定义信息，根据与所述浏览器 同步的其它浏览器和模态的组合，选择每个模态所适用的内容生成文件； 和内容输出部，对于作为处理请求方的浏览器，输出通过应用所述被选 择的内容生成文件而生成的内容，同时对于与所述浏览器同步的其它浏 览器，输出通过应用所述被选择的内容生成文件中对应的内容生成文件 而生成的内容。
此处，可以构成为还具有管理同步的多个模态的组合的模态管理部。
另外，模态管理部可以构成为，在接受来自浏览器的处理请求的同 时，向作为处理请求方的浏览器发送由内容输出部生成的内容。
根据本发明的其它观点的多模态界面系统，是一种在使每个模态都 具有通过解释对于特定模态的内容来与用户进行交互对话的浏览器，对 应来自所述任意一个浏览器的请求进行信息处理，并根据处理结果生成 内容并输出给各浏览器的多模态界面系统，其特征在于，具有：模态管 理部，管理同步的多个模态的组合，同时进行与各模态的信息收发；选 择处理部，对于来自浏览器的处理请求，参照对应同步的多个模态的组 合而相关联地存储了应适用的每种模态的内容生成文件的选择定义信 息，根据与所述浏览器同步的其它浏览器和模态的组合，选择每个模态 所适用的内容生成文件，通过每个模态的内容生成文件生成与该模态对 应的内容，对于作为处理请求方的浏览器，输出由内容生成文件所生成 的内容，同时对于同步的其它浏览器，向模态管理部通知用于取得由内 容生成文件所生成的内容的取得请求信息；和内容管理部，根据从同步 的其它浏览器发送来的取得请求信息，向该浏览器输出对应该取得请求 信息的内容。
在该情况下，内容管理部可以构成为还具有在对于与作为处理请求 方的浏览器同步的其它浏览器的取得请求输出对应的内容后，删除所生 成的内容的功能。
根据本发明的另外其它观点的多模态界面系统，是一种在使每个模 态都具有通过解释对于特定模态的内容来与用户进行交互对话的浏览 器，对应来自所述任意一个浏览器的请求进行信息处理，并根据处理结 果生成内容并输出给各浏览器的多模态界面系统，其特征在于，具有： 模态管理部，管理同步的多个模态的组合，同时进行与各模态的信息收 发；选择处理部，对于来自浏览器的处理请求，参照对应同步的多个模 态的组合而相关联地存储了应适用的每种模态的内容生成文件的选择定 义信息，根据与所述浏览器同步的其它浏览器和模态的组合，选择应适 用于每个模态的内容生成文件，对于作为处理请求方的浏览器，输出由 内容生成文件所生成的内容，同时对于同步的其它浏览器，而相关联地 存储了用于识别所选择的内容生成文件的信息和关于对应来自浏览器的 处理请求而执行的处理的处理结果的信息，并向模态管理部通知用于取 得内容的取得请求信息；和内容管理部，按照从同步的其它浏览器发送 来的取得请求信息，根据与该取得请求信息对应的内容生成文件和处理 结果的相关信息生成内容，向该浏览器输出所生成的内容。
本发明只需记述每个模态类别的内容生成文件和用于定义与同步的 模态类别的组合适用的内容生成文件的组合的内容生成文件的选择定义 信息，就能够使现有的单模态用Web应用程序容易地对应多模态。
附图说明
图1是单模态用Web应用程序的构成图。
图2是第1实施方式的多模态界面系统的构成图。
图3是表示模态管理部的动作的流程图。
图4是模态管理表的说明图。
图5A是HTML浏览器用初始画面的说明图。
图5B是VXML浏览器用初始对话的说明图。
图6是表示模态管理部的动作的流程图。
图7是处理结果数据的说明图。
图8是内容生成文件的选择定义信息的说明图。
图9是HTML内容生成文件的说明图。
图10是VXML内容生成文件的说明图。
图11是表示内容管理部的动作的流程图。
图12A是HTML浏览器用内容的流程图。
图12B是VXML浏览器用内容的流程图。
图13是第2实施方式的构成图。
图14是表示选择处理部的流程图。
图15是由选择处理部生成的内部表的说明图。
图16是处理结果数据的说明图。
图17是表示内容管理部的动作的流程图。
具体实施方式
<概要构成>
通常在Web应用程序的开发中，为了减轻开发者的开发负担，一般 按照MVC(Model，View，Controller)模型将应用程序中的各种功能分 量化。在MVC中，Model进行对数据库的检索处理等各种数据管理和处理 逻辑，View实现根据Model的处理结果生成内容的功能。另外，Controller 根据来自浏览器的输入数据和内部状态决定调出方的Model和View，进 行将Model的处理结果转发给View的处理。这样，在MVC模型中，通过 将进行实际处理的分量(Controller Model)与根据处理结果生成内容 的分量(View)分离，并通过仅变更View部分，可以不变更处理逻辑就 能容易变更画面设计。在本发明中，通过有效利用将处理逻辑部分和画 面生成部分分离的Web应用程序的特征，构成了可容易地将现有的应用 程序多模态化的单元。
图1表示一般的单模态用网上商店的Web应用程序构成图。服务器 20由以下部分构成：接受来自HTML浏览器(Web浏览器)10的输入数据 的接受订货控制器(相当于Controller)21；根据接受订货控制器21的 委托进行实际的订货处理的订货系统(相当于Model)22；根据订货系统 22的处理结果生成html内容的html内容生成文件(相当于View)23。 在内容生成文件为Java系统时，可以使用JSP(Java Server Pages)等。 参照附图说明容易将这种Web应用程序多模态化的模态同步控制方法和 多模态界面系统的实施方式。
<第1实施方式>
在本实施方式中，对适用于接受处理商品订货的订货系统的示例进 行说明。
图2是本发明第1实施方式的多模态界面系统的整体构成图。
此处，服务器20具有：管理目前同步的模态和浏览器相关信息的模 态管理部24；通过模态管理部24接受来自浏览器的输入数据的接受订货 控制器21；根据接受订货控制器21的委托进行实际的订货处理的订货系 统22；根据内容生成文件的选择定义文件25选择内容生成文件的选择处 理部26；根据来自浏览器的同步内容取得请求输出内容的内容管理部31。
在处于同步的模态是HTML浏览器10和VXML浏览器11时，模态管 理部24管理这两个浏览器的同步。图4表示模态管理部24管理的管理 数据的一例。图4表示由同步ID、浏览器识别符、模态名称的各项目构 成的表，位于一个同步ID内的模态分别同步，相关联地存储各模态和浏 览器。
接受订货控制器21根据请求方浏览器的请求，委托订货系统22进 行处理，同时根据订货系统22的处理结果，向合适的选择定义文件25 转发处理结果。图8表示内容生成文件的选择定义文件25的一例。本实 施方式的内容生成文件的选择定义文件25是按照在订货系统22中可能 产生的每种处理结果做成的。图8是表示向订货系统22订货的商品有错 误时的示例，表示所订货商品可以按照订单接受的情况或预先设定其它 可能发生的每种处理结果。在该示例中，在标识符 中，对于模态的组合是HTML和VXML、CHTML和VXML时，进行与各模态 对应的内容生成文件的定义，记述各自适应的内容生成文件名称，例如 JSP(Java Server Pages)名称。
选择定义文件25通过从接受订货控制器21转发处理结果而被执行， 在执行的同时，选择处理部26读取选择定义文件并进行选择处理。在图 8的示例中，位于定义前头的“mmtaglib.jar”程序库是执行选择定义文 件25时被同时起动的选择处理。
在选择处理部26中，根据选择定义文件25的定义内容和与请求方 浏览器同步的其它浏览器的模态的组合，抽出应该适用的每个模态的内 容生成文件名称，向所抽出的各个内容生成文件转发从接受订货控制器 21转发的处理结果。
此处，根据HTML浏览器10或VXML浏览器11的请求，选择处理部 26从内容生成文件的选择定义文件25抽出相应的HTML内容生成文件27 和VXML内容生成文件，向各个内容生成文件转发订货系统的信息处理结 果，生成HTML内容29和VXML内容30。例如，在对于来自HTML浏览器 10的请求，从接受订货控制器21执行了图8的选择定义文件25时，与 HTML浏览器10同步的其它浏览器是VXML浏览器11，模态的组合是“HTML” 和“VXML”，所以对于HTML浏览器10选择“merr_html.jsp”的内容生 成文件，对于VXML浏览器11选择“merr_vxml.jsp”的内容生成文件， 将处理结果转发给内容生成文件。图9表示“merr_html.jsp”的内容， 图10表示“merr_vxml.jsp”的内容。另外，作为转发给各内容生成文 件的处理结果数据，例如图7所示，可以由内容中的项目名称和结果数 据相关联的表构成。此处，所生成的各内容分别作为文件被保存，但对 于作为处理请求方的浏览器而生成的内容仅通过模态管理部24转发，不 进行保存。
图12A、图12B表示在上述的内容生成文件中反映了处理结果数据 的内容的示例。图12A表示在HTML内容生成文件27中反映了处理结果 数据的HTML浏览器用内容，图12B表示在VXML内容生成文件28中反映 了处理结果数据的VXML浏览器用发声信息。
下面，根据流程图说明该第1实施方式的动作。图3是模态管理部 24的动作的流程图。
在步骤S11中，服务器20处于事件等待状态，在有来自浏览器的初 始页面取得请求时转入步骤S12，在有结束请求时转入步骤S18，在有内 容取得请求时转入步骤S20。
在步骤S12中，模态管理部24通过判别初始页面取得请求中包含的 模态类别，特定请求方浏览器的模态类别。模态类别的判定，例如根据 在浏览器有内容请求时发送的HTTP标题信息进行判定。
在步骤S13中，模态管理部24生成用于区别与其它浏览器的请求的 浏览器识别符。
在步骤S14中，模态管理部24判别浏览器的初始页面取得请求中是 否有指定的同步ID。在判断为未指定同步ID时转入步骤S15，在判断为 已指定同步ID时转入步骤S16。
在步骤S15中，模态管理部24对于作为初始页面取得请求方的浏览 器，生成新的同步ID。
在步骤S16中，在模态管理部24管理的模态管理表中记述同步ID、 浏览器识别符和模态类别。模态管理表如前面所述，例如为图4所示的 构成。
在步骤S17中，模态管理部24同时回复与模态类别相应的初始页面 和浏览器识别符。作为初始页面，例如，准备图5A所示的HTML浏览器 用初始画面，图5B所示的VXML浏览器用初始对话，模态管理部24将这 些内容生成数据发送给作为请求方的浏览器。另外，和初始页面的内容 生成数据一起发送的浏览器识别符在浏览器有处理请求时包含在该请求 中被发送，模态管理部24根据浏览器识别符可以判别该浏览器的模态类 别和同步的其它模态。
然后，转入步骤S11。
在步骤S18中，模态管理部24取得有结束请求的浏览器的浏览器识 别符。
在步骤S19中，模态管理部24删除所管理的模态管理表中的适应浏 览器识别符的栏。
然后，转入步骤S11。
在步骤S20中，模态管理部24取得有内容取得请求的浏览器的浏览 器识别符。
在步骤S21中，模态管理部24根据所取得的浏览器识别符并参照模 态管理表，取得属于同一同步ID的浏览器的模态类别。
在步骤S22中，模态管理部24将同步的所有模态的模态类别和内容 取得请求一起发送给接受订货控制器21。发送模态类别时，例如可以使 用HTTP标题进行发送。
在步骤S23中，模态管理部24从接受订货控制器21取得作为处理 请求方的浏览器用内容和与处理请求方的浏览器同步的其它浏览器用同 步内容取得用URL。处理请求方的浏览器用内容是根据由选择处理部26 抽出的内容生成文件和订货系统22的处理结束数据而生成的。另外，同 步内容取得用URL相对与处理请求方的浏览器同步的其它浏览器，表示 根据内容生成文件和处理结果数据所生成的内容的存储位置。
在步骤S24中，模态管理部24向处理请求方的浏览器发送所生成的 内容。
在步骤S25中，模态管理部24向与作为处理请求方的浏览器同步的 其它浏览器通知同步内容取得用URL。
然后，转入步骤S11。
根据图6所示的流程图说明选择处理部26的动作。
在步骤S31中，选择处理部26通过接受订货控制器21取得订货系 统22的处理结果和同步的模态类别信息。
在步骤S32中，选择处理部26根据同步的模态类别信息和内容生成 文件的选择定义信息，选择每个模态类别的内容生成文件。如上所述， 选择处理部26从图8所示的选择定义信息25抽出适应的内容生成文件 27、28。
在步骤S33中，选择处理部26向所选择的各内容生成文件转发订货 系统22的处理结果数据。例如，向图9所示的HTML内容生成文件27和 图10所示的VXML内容生成文件转发图7所示的处理结果数据，结果， 生成反映了订货系统22的处理结果的各浏览器用内容。
在步骤S34中，选择处理部26将所生成的各内容保存在文件中。对 于处理请求方的内容没必要必须保存，可以通过模态管理部24仅发送。
在步骤S35中，选择处理部26向作为处理请求方的浏览器回复所生 成的内容，向同步的其它浏览器通知同步内容取得用URL。
根据图11所示的流程图说明内容管理部31的动作。
在步骤S41中，内容管理部31处于事件等待状态，在浏览器有内容 取得请求时转入步骤S42。
在步骤S42中，内容管理部31根据浏览器的内容取得请求，读出所 保存的内容并回复给请求方的浏览器。在该情况下，是来自接受到同步 内容的取得通知的浏览器的内容取得请求，在该取得请求中包括从模态 管理部24通知的同步内容取得用URL。内容管理部31根据浏览器的取得 请求中包含的同步内容取得用URL，读出同步内容，并将其发送给作为请 求方的浏览器。
在步骤S43中，内容管理部31删除浏览器所请求的已发送的内容。
<第2实施方式>
图13表示本发明第2实施方式的多模态界面系统的整体构成。
在该第2实施方式中，和第1实施方式相同，服务器20具有：管理 目前同步的模态和浏览器相关信息的模态管理部24；通过模态管理部24 接受来自浏览器的输入数据的接受订货控制器21；根据接受订货控制器 21的委托进行实际的订货处理的订货系统22；根据内容生成文件的选择 定义文件25选择内容生成文件的选择处理部26；根据来自浏览器的同步 内容取得请求输出内容的内容管理部31。
在第2实施方式中，不是象第1实施方式那样按照每个模态类别根 据由选择处理部26选择的内容生成文件27、28来生成内容文件，而是 仅将生成内容所需的数据保存在内部存储器中，根据需要生成每个模态 类别的内容。
模态管理部24的动作和第1实施方式时相同，在此省略说明。根据 图14的流程图说明选择处理部26的动作。
在步骤S51中，选择处理部26通过接受订货控制器21取得订货系 统22的处理结果和同步的模态类别信息。
在步骤S52中，选择处理部26根据同步的模态类别信息和内容生成 文件的选择定义信息，选择每个模态类别的内容生成文件。如上所述， 选择处理部26从图8所示的选择定义信息25抽出相应的内容生成文件 27、28。
在步骤S53中，选择处理部26将所选择的各内容生成文件中除作为 处理请求方的浏览器的模态以外的对于同步的模态的内容生成文件名 称、和订货系统22的处理结果数据与识别ID一起存储在内部表中。该 内部表例如图15所示，由识别ID、处理结果数据ID、输入模态名称、 适用的内容生成文件名称等项目构成。处理结果数据是将订货系统22的 处理结果做成列表的列表数据，例如图16所示，由与各项目对应的数据 构成，被附加了处理结果数据ID(在该图中为“err数据1”)。
在步骤S54中，选择处理部26向所选择的各内容生成文件中与作为 处理请求方的浏览器模态对应的内容生成文件转发订货系统22的处理结 果数据，生成内容。
在步骤S55中，选择处理部26对作为处理请求方的浏览器回复所生 成的内容，同时生成附加了识别ID的同步内容取得用URL，相对同步的 浏览器，将同步内容取得用URL通知对应的浏览器。
下面，根据图17所示的流程图对内容管理部31的动作进行说明。
在步骤S61中，内容管理部31处于事件等待状态，在有来自浏览器 的内容取得请求时转入步骤S62。
在步骤S62中，内容管理部31根据浏览器的内容取得请求抽出识别 ID。在该情况下，是来自接受到同步内容的取得通知的浏览器的内容取 得请求，在取得请求中包括从模态管理部24通知的同步内容取得用URL。 在该同步内容取得用URL存储由选择处理部26h生成的内部表的识别ID， 内容管理部31抽出该识别ID。
在步骤S63中，内容管理部31取得作为取得请求方的浏览器的模态 类别。
在步骤S64中，内容管理部31根据由选择管理部26生成的内部表 和识别ID，获取与请求方浏览器的模态类别对应的内容生成文件名称和 处理结果数据。
在步骤S65中，内容管理部31向所取得的内容生成文件转发处理结 果数据，生成与浏览器对应的内容。
在步骤S66中，内容管理部31向请求方的浏览器回复所生成的内容。
在步骤S67中，内容管理部31删除与所发送的内容的识别ID对应 的请求方浏览器的模态类别的相应栏。
例如，模态类别是VXML的浏览器对内容管理部31指定“识别id001” 并进行内容请求时，作为应该适用的内容生成文件名称，从图15的内部 表抽出“merr_vxml.jsp”和作为处理结果数据的“err数据1”，通过向 “merr_vxml.jsp”转发处理结果数据“err数据1”的内容，生成相对 请求方浏览器的内容，将所生成的内容回复给请求方浏览器。
根据上述的本发明，Web应用程序开发者仅需记述相当于VIEW的每 个模态类别的内容生成文件、和用于定义与同步的模态类别的组合适用 的内容生成文件的组合的内容生成文件的选择定义信息，就能够使现有 的单模态用Web应用程序适应多模态界面系统。
通常在Web应用程序的开发中，为了减轻开发者的开发负担，一般 按照MVC(Model，View，Controller)模型将应用程序中的各种功能分 量化。在MVC中，Model进行对数据库的检索处理等各种数据管理和处理 逻辑，View实现根据Model的处理结果生成内容的功能。另外，Controller 根据来自浏览器的输入数据和内部状态决定调出方的Model和View，进 行将Model的处理结果转发给View的处理。这样，在MVC模型中，通过 将进行实际处理的分量(Controller Model)与根据处理结果生成内容 的分量(View)分离，并通过仅变更View部分，可以不变更处理逻辑就 能容易变更画面设计。在本发明中，通过有效利用将处理逻辑部分和画 面生成部分分离的Web应用程序的特征，构成了可容易地将现有的应用 程序多模态化的单元。
图1表示一般的单模态用网上商店的Web应用程序构成图。服务器 20由以下部分构成：接受来自HTML浏览器(Web浏览器)10的输入数据 的接受订货控制器(相当于Controller)21；根据接受订货控制器21的 委托进行实际的订货处理的订货系统(相当于Model)22；根据订货系统 22的处理结果生成html内容的html内容生成文件(相当于View)23。 在内容生成文件为Java系统时，可以使用JSP(Java Server Pages)等。 参照附图说明容易将这种Web应用程序多模态化的模态同步控制方法和 多模态界面系统的实施方式。
<第1实施方式>
在本实施方式中，对适用于接受处理商品订货的订货系统的示例进 行说明。
图2是本发明第1实施方式的多模态界面系统的整体构成图。
此处，服务器20具有：管理目前同步的模态和浏览器相关信息的模 态管理部24；通过模态管理部24接受来自浏览器的输入数据的接受订货 控制器21；根据接受订货控制器21的委托进行实际的订货处理的订货系 统22；根据内容生成文件的选择定义文件25选择内容生成文件的选择处 理部26；根据来自浏览器的同步内容取得请求输出内容的内容管理部31。
在处于同步的模态是HTML浏览器10和VXML浏览器11时，模态管 理部24管理这两个浏览器的同步。图4表示模态管理部24管理的管理 数据的一例。图4表示由同步ID、浏览器识别符、模态名称的各项目构 成的表，位于一个同步ID内的模态分别同步，相关联地存储各模态和浏 览器。
接受订货控制器21根据请求方浏览器的请求，委托订货系统22进 行处理，同时根据订货系统22的处理结果，向合适的选择定义文件25 转发处理结果。图8表示内容生成文件的选择定义文件25的一例。本实 施方式的内容生成文件的选择定义文件25是按照在订货系统22中可能 产生的每种处理结果做成的。图8是表示向订货系统22订货的商品有错 误时的示例，表示所订货商品可以按照订单接受的情况或预先设定其它 可能发生的每种处理结果。在该示例中，在
选择定义文件25通过从接受订货控制器21转发处理结果而被执行， 在执行的同时，选择处理部26读取选择定义文件并进行选择处理。在图 8的示例中，位于定义前头的“mmtaglib.jar”程序库是执行选择定义文 件25时被同时起动的选择处理。
在选择处理部26中，根据选择定义文件25的定义内容和与请求方 浏览器同步的其它浏览器的模态的组合，抽出应该适用的每个模态的内 容生成文件名称，向所抽出的各个内容生成文件转发从接受订货控制器 21转发的处理结果。
此处，根据HTML浏览器10或VXML浏览器11的请求，选择处理部 26从内容生成文件的选择定义文件25抽出相应的HTML内容生成文件27 和VXML内容生成文件，向各个内容生成文件转发订货系统的信息处理结 果，生成HTML内容29和VXML内容30。例如，在对于来自HTML浏览器 10的请求，从接受订货控制器21执行了图8的选择定义文件25时，与 HTML浏览器10同步的其它浏览器是VXML浏览器11，模态的组合是“HTML” 和“VXML”，所以对于HTML浏览器10选择“merr_html.jsp”的内容生 成文件，对于VXML浏览器11选择“merr_vxml.jsp”的内容生成文件， 将处理结果转发给内容生成文件。图9表示“merr_html.jsp”的内容， 图10表示“merr_vxml.jsp”的内容。另外，作为转发给各内容生成文 件的处理结果数据，例如图7所示，可以由内容中的项目名称和结果数 据相关联的表构成。此处，所生成的各内容分别作为文件被保存，但对 于作为处理请求方的浏览器而生成的内容仅通过模态管理部24转发，不 进行保存。
图12A、图12B表示在上述的内容生成文件中反映了处理结果数据 的内容的示例。图12A表示在HTML内容生成文件27中反映了处理结果 数据的HTML浏览器用内容，图12B表示在VXML内容生成文件28中反映 了处理结果数据的VXML浏览器用发声信息。
下面，根据流程图说明该第1实施方式的动作。图3是模态管理部 24的动作的流程图。
在步骤S11中，服务器20处于事件等待状态，在有来自浏览器的初 始页面取得请求时转入步骤S12，在有结束请求时转入步骤S18，在有内 容取得请求时转入步骤S20。
在步骤S12中，模态管理部24通过判别初始页面取得请求中包含的 模态类别，特定请求方浏览器的模态类别。模态类别的判定，例如根据 在浏览器有内容请求时发送的HTTP标题信息进行判定。
在步骤S13中，模态管理部24生成用于区别与其它浏览器的请求的 浏览器识别符。
在步骤S14中，模态管理部24判别浏览器的初始页面取得请求中是 否有指定的同步ID。在判断为未指定同步ID时转入步骤S15，在判断为 已指定同步ID时转入步骤S16。
在步骤S15中，模态管理部24对于作为初始页面取得请求方的浏览 器，生成新的同步ID。
在步骤S16中，在模态管理部24管理的模态管理表中记述同步ID、 浏览器识别符和模态类别。模态管理表如前面所述，例如为图4所示的 构成。
在步骤S17中，模态管理部24同时回复与模态类别相应的初始页面 和浏览器识别符。作为初始页面，例如，准备图5A所示的HTML浏览器 用初始画面，图5B所示的VXML浏览器用初始对话，模态管理部24将这 些内容生成数据发送给作为请求方的浏览器。另外，和初始页面的内容 生成数据一起发送的浏览器识别符在浏览器有处理请求时包含在该请求 中被发送，模态管理部24根据浏览器识别符可以判别该浏览器的模态类 别和同步的其它模态。
然后，转入步骤S11。
在步骤S18中，模态管理部24取得有结束请求的浏览器的浏览器识 别符。
在步骤S19中，模态管理部24删除所管理的模态管理表中的适应浏 览器识别符的栏。
然后，转入步骤S11。
在步骤S20中，模态管理部24取得有内容取得请求的浏览器的浏览 器识别符。
在步骤S21中，模态管理部24根据所取得的浏览器识别符并参照模 态管理表，取得属于同一同步ID的浏览器的模态类别。
在步骤S22中，模态管理部24将同步的所有模态的模态类别和内容 取得请求一起发送给接受订货控制器21。发送模态类别时，例如可以使 用HTTP标题进行发送。
在步骤S23中，模态管理部24从接受订货控制器21取得作为处理 请求方的浏览器用内容和与处理请求方的浏览器同步的其它浏览器用同 步内容取得用URL。处理请求方的浏览器用内容是根据由选择处理部26 抽出的内容生成文件和订货系统22的处理结束数据而生成的。另外，同 步内容取得用URL相对与处理请求方的浏览器同步的其它浏览器，表示 根据内容生成文件和处理结果数据所生成的内容的存储位置。
在步骤S24中，模态管理部24向处理请求方的浏览器发送所生成的 内容。
在步骤S25中，模态管理部24向与作为处理请求方的浏览器同步的 其它浏览器通知同步内容取得用URL。
然后，转入步骤S11。
根据图6所示的流程图说明选择处理部26的动作。
在步骤S31中，选择处理部26通过接受订货控制器21取得订货系 统22的处理结果和同步的模态类别信息。
在步骤S32中，选择处理部26根据同步的模态类别信息和内容生成 文件的选择定义信息，选择每个模态类别的内容生成文件。如上所述， 选择处理部26从图8所示的选择定义信息25抽出适应的内容生成文件 27、28。
在步骤S33中，选择处理部26向所选择的各内容生成文件转发订货 系统22的处理结果数据。例如，向图9所示的HTML内容生成文件27和 图10所示的VXML内容生成文件转发图7所示的处理结果数据，结果， 生成反映了订货系统22的处理结果的各浏览器用内容。
在步骤S34中，选择处理部26将所生成的各内容保存在文件中。对 于处理请求方的内容没必要必须保存，可以通过模态管理部24仅发送。
在步骤S35中，选择处理部26向作为处理请求方的浏览器回复所生 成的内容，向同步的其它浏览器通知同步内容取得用URL。
根据图11所示的流程图说明内容管理部31的动作。
在步骤S41中，内容管理部31处于事件等待状态，在浏览器有内容 取得请求时转入步骤S42。
在步骤S42中，内容管理部31根据浏览器的内容取得请求，读出所 保存的内容并回复给请求方的浏览器。在该情况下，是来自接受到同步 内容的取得通知的浏览器的内容取得请求，在该取得请求中包括从模态 管理部24通知的同步内容取得用URL。内容管理部31根据浏览器的取得 请求中包含的同步内容取得用URL，读出同步内容，并将其发送给作为请 求方的浏览器。
在步骤S43中，内容管理部31删除浏览器所请求的已发送的内容。
<第2实施方式>
图13表示本发明第2实施方式的多模态界面系统的整体构成。
在该第2实施方式中，和第1实施方式相同，服务器20具有：管理 目前同步的模态和浏览器相关信息的模态管理部24；通过模态管理部24 接受来自浏览器的输入数据的接受订货控制器21；根据接受订货控制器 21的委托进行实际的订货处理的订货系统22；根据内容生成文件的选择 定义文件25选择内容生成文件的选择处理部26；根据来自浏览器的同步 内容取得请求输出内容的内容管理部31。
在第2实施方式中，不是象第1实施方式那样按照每个模态类别根 据由选择处理部26选择的内容生成文件27、28来生成内容文件，而是 仅将生成内容所需的数据保存在内部存储器中，根据需要生成每个模态 类别的内容。
模态管理部24的动作和第1实施方式时相同，在此省略说明。根据 图14的流程图说明选择处理部26的动作。
在步骤S51中，选择处理部26通过接受订货控制器21取得订货系 统22的处理结果和同步的模态类别信息。
在步骤S52中，选择处理部26根据同步的模态类别信息和内容生成 文件的选择定义信息，选择每个模态类别的内容生成文件。如上所述， 选择处理部26从图8所示的选择定义信息25抽出相应的内容生成文件 27、28。
在步骤S53中，选择处理部26将所选择的各内容生成文件中除作为 处理请求方的浏览器的模态以外的对于同步的模态的内容生成文件名 称、和订货系统22的处理结果数据与识别ID一起存储在内部表中。该 内部表例如图15所示，由识别ID、处理结果数据ID、输入模态名称、 适用的内容生成文件名称等项目构成。处理结果数据是将订货系统22的 处理结果做成列表的列表数据，例如图16所示，由与各项目对应的数据 构成，被附加了处理结果数据ID(在该图中为“err数据1”)。
在步骤S54中，选择处理部26向所选择的各内容生成文件中与作为 处理请求方的浏览器模态对应的内容生成文件转发订货系统22的处理结 果数据，生成内容。
在步骤S55中，选择处理部26对作为处理请求方的浏览器回复所生 成的内容，同时生成附加了识别ID的同步内容取得用URL，相对同步的 浏览器，将同步内容取得用URL通知对应的浏览器。
下面，根据图17所示的流程图对内容管理部31的动作进行说明。
在步骤S61中，内容管理部31处于事件等待状态，在有来自浏览器 的内容取得请求时转入步骤S62。
在步骤S62中，内容管理部31根据浏览器的内容取得请求抽出识别 ID。在该情况下，是来自接受到同步内容的取得通知的浏览器的内容取 得请求，在取得请求中包括从模态管理部24通知的同步内容取得用URL。 在该同步内容取得用URL存储由选择处理部26h生成的内部表的识别ID， 内容管理部31抽出该识别ID。
在步骤S63中，内容管理部31取得作为取得请求方的浏览器的模态 类别。
在步骤S64中，内容管理部31根据由选择管理部26生成的内部表 和识别ID，获取与请求方浏览器的模态类别对应的内容生成文件名称和 处理结果数据。
在步骤S65中，内容管理部31向所取得的内容生成文件转发处理结 果数据，生成与浏览器对应的内容。
在步骤S66中，内容管理部31向请求方的浏览器回复所生成的内容。
在步骤S67中，内容管理部31删除与所发送的内容的识别ID对应 的请求方浏览器的模态类别的相应栏。
例如，模态类别是VXML的浏览器对内容管理部31指定“识别id001” 并进行内容请求时，作为应该适用的内容生成文件名称，从图15的内部 表抽出“merr_vxml.jsp”和作为处理结果数据的“err数据1”，通过向 “merr_vxml.jsp”转发处理结果数据“err数据1”的内容，生成相对 请求方浏览器的内容，将所生成的内容回复给请求方浏览器。
根据上述的本发明，Web应用程序开发者仅需记述相当于VIEW的每 个模态类别的内容生成文件、和用于定义与同步的模态类别的组合适用 的内容生成文件的组合的内容生成文件的选择定义信息，就能够使现有 的单模态用Web应用程序适应多模态界面系统。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 用于提供光的光系统 | 2020-05-12 | 522 |
| 多模态界面 | 2020-05-12 | 33 |
| 汽车爆胎安全稳定控制系统 | 2020-05-13 | 125 |
| 一种多模态认证的自助值机装置及设备 | 2020-05-19 | 783 |
| 协议生成系统及方法、协议显示系统、图像生成系统 | 2020-05-08 | 238 |
| 磁共振引导的激光热疗系统 | 2020-05-14 | 647 |
| 平面波束形成和操纵的光学相控阵列芯片以及使用其的方法 | 2020-05-12 | 742 |
| 多模态深度融合机载座舱人机交互方法 | 2020-05-18 | 294 |
| 一种面向医院交通的自动导航共享智能轮椅系统 | 2020-05-16 | 410 |
| 基于儿童专用智能设备的数据处理方法及系统 | 2020-05-11 | 493 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
多模态界面热门专利
-
2 图像显示装置
QQ群二维码
意见反馈
意见反馈