用于消费电子产品上的任务协调的方法和系统专利检索-消费电子产品家用电器家用器具专利检索查询-专利查询网

用于消费 电子产品上的任务协调的方法和系统

阅读：444发布：2020-05-13

专利汇可以提供用于消费电子产品上的任务协调的方法和系统专利检索，专利查询，专利分析的服务。并且一种在任务协调系统中表示将由多个电子装置的一个或多个执行的用户任务的方法。每一装置中包括指定装置可执行的功能的功能描述。功能描述被从一个或多个装置获得，描述某任务需要的装置功能的任务描述被获得，并且任务建议被基于获得的装置功能描述和任务描述产生。每一任务建议将用户任务表示为一个或多个获得的装置描述和任务描述的提取。任务建议被显示在显示器上以便用户从中选择，其中，用户选择的任务建议将基于使用在装置功能描述中描述的装置功能的任务描述通过一个或多个装置的协调(自动操作)执行。，下面是用于消费电子产品上的任务协调的方法和系统专利的具体信息内容。

权利要求

1.一种用户任务协调方法，所述用户任务由多个电子装置中的一个或多个执行，所述用户任务协调方法包括以下步骤：
(a)获得装置功能描述，其中，每一装置功能描述描述装置可执行的功能；
(b)获得任务描述，其中，每一任务描述描述某任务需要的装置功能；
(c)基于获得的任务描述和装置功能描述推理有效的任务，以产生任务建议，其中，每一任务建议将用户任务表示为一个或多个获得的装置功能描述和任务描述的提取；
(d)将任务建议显示在显示器上，以便用户从中选择，其中，由一个或多个装置执行用户选择的任务建议；和
(e)解析任务建议，并通过使用相应于解析的任务建议的任务和装置功能描述来推理能够执行选择的任务建议的装置和装置组合。
2.根据权利要求1所述的方法，其中，步骤(e)还包括使用推理引擎以基于任务和装置功能描述对可由可以执行选择的任务建议的装置和装置组合执行的任务进行推理的步骤。
3.根据权利要求1所述的方法，其中，步骤(e)还包括以下步骤：
构建装置功能描述为装置本体；
构建任务描述为任务本体；和
使用装置和任务本体将用户选择的任务建议映射为可由可用的装置执行的任务。
4.根据权利要求1所述的方法，其中，步骤(c)还包括以下步骤：
构建装置功能描述为装置本体；
构建任务描述为任务本体；
基于装置本体构建装置实例；
基于任务本体构建任务实例；和
使用装置和任务本体和实例将用户选择的任务映射为可由可用的装置执行的任务。
5.根据权利要求1所述的方法还包括步骤：控制装置组合执行选择的用户任务建议。
6.根据权利要求1所述的方法，其中，使用被组织为一组术语以将用户任务描述为获得的装置功能描述和任务描述的提取的语言结构来表示任务建议。
7.根据权利要求6所述的方法，其中，语言结构被以最接近地匹配自然语言的形式表示。
8.根据权利要求7所述的方法，其中，显示任务建议的步骤还包括显示描述任务建议的上述术语；和在选择任务建议中，允许用户选择术语由此用户选择的任务建议可被可用的装置执行的步骤。
9.根据权利要求7所述的方法，其中，显示任务建议的步骤还包括步骤：显示可由装置执行的任务建议。
10.根据权利要求8所述的方法，其中，选择的术语减少了任务建议的范围。
11.根据权利要求6所述的方法，其中，在语言结构中，一个或多个术语相互修饰。
12.根据权利要求11所述的方法，其中，修饰术语减小另一术语的范围。
13.根据权利要求11所述的方法，其中，术语包括组织的‘动词’和‘对象’，其中，‘对象’修饰‘动词’。
14.根据权利要求13所述的方法，其中，‘动词’定义用户任务动作。
15.根据权利要求11所述的方法，其中，术语包括‘动词’，‘对象’和‘修饰语’，其中，‘对象’修饰‘动词’并且‘修饰语’修饰‘对象’。
16.一种用户任务协调系统，所述用户任务由多个电子装置中的一个或多个执行，所述用户任务协调系统包括：
第一单元，获得装置功能描述，其中，每一装置功能描述描述装置可执行的功能；
第二单元，获得任务描述，其中，每一任务描述描述某任务需要的装置功能；
第三单元，基于获得的任务描述和装置功能描述推理有效的任务，以产生任务建议，其中，每一任务建议将用户任务表示为一个或多个获得的装置功能描述和任务描述的提取；
第四单元，将任务建议显示在显示器上，以便用户从中选择，其中，由一个或多个装置执行用户选择的任务建议；和
第五单元，解析任务建议，并通过使用相应于解析的任务建议的任务和装置功能描述来推理能够执行选择的任务建议的装置和装置组合。
17.根据权利要求16所述的系统，其中，第五单元还包括使用推理引擎以基于任务和装置功能描述对可由可以执行选择的任务建议的装置和装置组合执行的任务进行推理的单元。
18.根据权利要求16所述的系统，其中，第五单元还包括：
构建装置功能描述为装置本体的单元；
构建任务描述为任务本体的单元；和
使用装置和任务本体将用户选择的任务建议映射为可由可用的装置执行的任务的单元。
19.根据权利要求16所述的系统，其中，第三单元还包括：
构建装置功能描述为装置本体的单元；
构建任务描述为任务本体的单元；
基于装置本体构建装置实例的单元；
基于任务本体构建任务实例的单元；和
使用装置和任务本体和实例将用户选择的任务建议映射为可由可用的装置执行的任务的单元。
20.根据权利要求16所述的系统，还包括：控制装置组合执行选择的用户任务建议的单元。
21.根据权利要求16所述的系统，其中，使用被组织为一组术语以将用户任务描述为获得的装置功能描述和任务描述的提取的语言结构来表示任务建议。
22.根据权利要求21所述的系统，其中，语言结构被以最接近地匹配自然语言的形式表示。
23.根据权利要求22所述的系统，其中，第四单元还包括：显示描述任务建议的上述术语的单元；和在选择任务建议中，允许用户选择术语由此用户选择的任务建议可被可用的装置执行的单元。
24.根据权利要求22所述的系统，其中，第四单元还包括：显示可由装置执行的任务建议的单元。
25.根据权利要求23所述的系统，其中，选择的术语减少了任务建议的范围。
26.根据权利要求21所述的系统，其中，在语言结构中，一个或多个术语相互修饰。
27.根据权利要求26所述的系统，其中，修饰术语减小另一术语的范围。
28.根据权利要求26所述的系统，其中，术语包括组织的‘动词’和‘对象’，其中，‘对象’修饰‘动词’。
29.根据权利要求28所述的系统，其中，‘动词’定义用户任务动作。
30.根据权利要求26所述的系统，其中，术语包括‘动词’，‘对象’和‘修饰语’，其中，‘对象’修饰‘动词’并且‘修饰语’修饰‘对象’。

说明书全文

用于消费 电子产品上的任务协调的方法和系统

技术领域

[0001] 本发明总体上涉及提供一种用于装置的用户控制的用户界面，更特别地，涉及对一组消费电子产品(CE)装置呈现和表示用户任务。

背景技术

[0002] 用于如CE装置(例如，电视、VCR、DVD播放器、CD播放器等)的装置的用户控制的典型用户界面的形式是在装置中并不描述用户任务。相反，向用户呈现一组装置功能并且用户选择这些装置功能的组合以执行任务。例如，要观看录像磁带需要用户选择输入(例如，磁带)，倒带和按下在VCR上的播放。结果，用户不能简单地指定他/她希望‘观看’‘录像磁带’以自动执行上述操作。用户不能表达要被执行的期望的任务(例如，‘看’‘录像磁带’)，而用户必须直基础控制装置以执行期望的功能(例如，选择输入、倒带和按下在VCR上的播放)。

[0003] 这与传统的软件体系结构相似，其中，任务映射为应用的想法。例如，如果用户想写信，那么用户运行具有适当功能的文字处理器。然而，除了映射为公知的名称的公知的功能之外，其对用户表达得很有限。另一选择是以菜单的形式向用户提出一组选项。一些系统允许在菜单选项中(例如，拼写检查文档或在VCR上即时记录)列出公知的任务。然而，这样的系统仅向用户提供装置功能。

[0004] 但是另一选择允许用户以图表的方式表达任务(例如，使用线条将一组被描述的装置连接在一起以执行期望的任务)。使用此方法的问题是不能对用户掩蔽使用装置的复杂度。其以图表的方式向用户简单地描述功能的选择并要求用户指定执行任务所必需的连接。

[0005] 因而，需要一种允许用户表达任务而不是一组功能的方法和设备，从而可对自动操作该组功能的操作以执行任务的系统表达任务。还需要对如此允许以通用的方式表达任务的设备和方法，从而用户能够表达可由可用的装置的功能执行的任务。还需要如此允许在如消费电子产品的电子装置上的任务的协调的设备和方法。

发明内容

[0006] 本发明针对上述需要。在本发明的一实施例中提供一种任务协调系统，用于实现表示要由网络中多个电子装置中的一个或多个执行的用户任务的方法。每一装置其中包括指定该装置可执行的功能的功能描述。功能描述被从一个或多个装置获得。另外，描述执行某任务所需要的用户任务和功能的任务描述。然后，获得的功能描述和任务描述被用于产生对用户的任务建议。每一任务建议抽象地将用户任务表示成伪语句，并且被从任务描述获得并可使用一个或多个获得的装置描述。任务建议被显示在显示器上以使用户从中选择，其中，由选择的任务建议表示的请求的任务由一个或多个装置执行。由此，任务建议对系统的用户掩蔽功能。

[0007] 在一实施例中，使用被组织为一组具有各类型的术语的伪语言结构向用户描述任务建议，以将用户任务表示为任务描述和装置功能描述的提取。用户界面装置被用来将任务建议显示在显示器上以便用户从中选择，由此它们可被选择以在任务协调(自动操作)模块的控制下由一个或多个装置执行任务。

[0008] 在从任务建议中选择时，允许用户选择伪语句元素/术语，由此用户选择的任务建议可在系统中的任务协调模块的控制下由装置执行。任务协调模块可以是系统的逻辑组件。

[0009] 因而，在一实施例中，任务协调模块包括任务驱动控制器，其从一个或多个装置获得装置功能描述，获得描述被某任务需要的装置功能的任务描述，从任务描述和装置描述产生任务建议，并且一旦选择任务建议，则基于使用在获得的装置功能描述中描述的功能的任务描述来执行选择的任务建议。

[0010] 参照以下描述、所附权利要求和附图，本发明的这些和其它特点，方面和优点将被理解。

附图说明

[0011] 参照下面的描述、所附权利要求和附图，本发明的这些和其它特点、方面和优点将被理解，其中：

[0012] 图1A示出根据本发明的任务协调系统的实施例的示例结构的方框图；

[0013] 图1B示出根据图1A的系统的示例任务协调过程的流程图；

[0014] 图2示出根据本发明的包括任务协调模块的任务协调系统的另一实施例的示例结构的方框图；

[0015] 图3示出在图2的系统中使用伪语言的示例任务建议；

[0016] 图4示出在图2的系统中从装置获得装置功能描述以产生任务建议的示例；

[0017] 图5示出根据本发明的逻辑上分离的任务描述和装置描述的示例；

[0018] 图6示出产生和显示任务建议中的示例步骤的流程图；和

[0019] 图7示出向用户显示任务建议以便选择并由图2的系统中的任务协调模块执行中的示例步骤的流程图。

具体实施方式

[0020] 在一实施例中，本发明提供一种用于在一组不同的装置间配置用户任务的系统，所述装置如家庭中的消费电子产品装置，其中，所述装置在网络中被相互连接。协调用户任务包括自动执行选择用于执行任务的装置的处理。在一示例中，其包括获得装置功能描述和任务描述、基于获得的装置功能描述和任务描述产生任务建议、排列任务建议、允许用户在任务建议中选择、和协调(自动操作)装置以执行选择的/请求的任务建议。例如，上文所述的任务建议可被描述为包括一组相互修饰的元素/术语的伪语句。

[0021] 本发明允许通过使用也为人可读的伪语句以递增和灵活的方式来描述用户任务。因而，其不限定描述如何映射为装置的操作，相反集中在如何以可被用户解释的方式表达任务操作。伪语句提供脱离下层装置的提取层。可以以大概相似的方法使用伪语句来描述任务，其中，大概相似的方法如乱画手写识别符号接近于实际的罗马字母(例如，比作自然语言的用户任务的乱画和完全手写识别)。在一实现中，其允许简单的程序在无复杂的自然语言处理的情况下确定用户任务。

[0022] 任务协调以高级的、面向任务的、遥控装置的方式来工作并对用户最小化选择和设置。因而，应用多种技术的组合来提供适合自动操作用户任务的协调的协调系统。

[0023] 参照图1A和1B中的示例结构，根据本发明的任务协调系统10允许用户任务自动操作为具有最少的来自用户的输入的一组协调的装置动作。在一方案中，任务协调系统10包括三种类型逻辑装置：(1)客户端装置20，其包括显示用户界面的装置；(2)控制器装置30，其包括控制其他装置的装置；(3)被控制的装置40，其包括被控制器控制的装置。

[0024] 每一逻辑装置可以具有能执行根据本发明的任务协调的特定功能。具体地，被控制的装置40包括使用如语义注记语言(不描述其界面，而抽象地描述其功能)的语言进行的其功能的增强描述。另外，为了描述装置功能，装置可包括一个或多个用户任务描述。任务描述可指定仅使用其功能的任务，使用其功能和其他装置的潜在的功能的任务，或者只是对其他装置的任务。

[0025] 包括任务协调(TO)模块50组成的控制器装置30包括协调装置以执行用户选择的任务建议(即，任务请求)的功能。除了控制访问软件之外，控制器30在任务协调模块
50中包括推理系统(例如，专家系统，规则系统等)，该系统可以推理用于执行任务请求的一组动作和装置。控制器30获取任务和装置功能描述并使用该信息来进行推理：(1)考虑到当前装置、它们的功能、和描述的任务的情况下，在系统中哪些任务是有效的；(2)哪些装置组合潜在地可用于实现请求的任务。

[0026] 客户端装置20包括请求和向用户显示任务建议的功能。因而，它们包括与控制器30的任务协调模块50结合的用户界面以向用户显示任务。该结合能使用户界面(例如，GUI)仅显示考虑到当前装置40、任务和功能的情况下可行的任务建议。另外，如果任务建议的一部分已经被安排(即，任务请求的一部分已经被指定)，那么用户界面可使用控制器
30来进一步减少可应用的用户选项。使用该功能，客户端装置20能够将可用的任务和选项列为使用伪语句的任务建议。用户选择任务建议，并且控制器30处理执行选择的任务建议的请求以执行选择的/请求的任务。允许控制器30以简化的方式确定期望的用户任务并且使其与任务描述匹配，并最终与装置选择和配置匹配以实现任务。如在哪个房间播放视频的用户的偏爱被指定为任务建议伪语句的部分作为修饰语(例如，伪语句播放视频‘在卧室’或播放视频‘使用耳机’)。下面通过描述使用单独的任务和装置的描述消费电子产品来进一步解释用于选择任务建议的这些搜索空间(即，伪语句的可用部分)的部分。

[0027] 图2示出根据本发明的任务协调系统10的示例功能结构，其包括用户界面(GUI)模块60和包括作为在下层客户端装置40之上的上层的任务协调模块50的控制器30。中间件层/模块70在控制器30和客户端装置40之间。模块70提供能控制装置的中间层功
能(例如，提供用于控制装置的API)。模块70的操作超过本发明的范围，因此，在这里不再进行详细描述。

[0028] 通过用户界面60，任务协调模块50允许呈现和表示可由一组消费电子产品装置40执行的任务建议。因而，任务协调模块50掩蔽了那些任务建议如何与装置40映射，仅向用户描述任务建议。提供一种以递增和灵活的方式将任务描述为任务建议的方式，其也是人可读的。这样的方法不使用户集中在任务描述95如何被映射为装置40的操作，而是集中在以可由用户解释的方法(例如，作为被称为伪语句的任务建议)表达任务操作。

[0029] 现在还参照图3，在一示例中，任务建议可被以表示伪语句的简化的语言结构200来描述。为了这里描述的简单，示例结构被组织为一组相互修饰的术语，其中，在该示例中，一组标准化的定义动作的‘动词’被用为等级语言树200的根。例如，“播放”、“显示”、“观看”、“调整”、“灌溉”等是一组‘动词’，在每一‘动词’之后是如“照片”、“草地”、“电影”等的‘对象’。‘对象’通过减小由‘动词’限定的动作的范围来修饰‘动词’。

[0030] 在‘对象’之后，有如将范围进一步限定在特定动作的实例的‘修饰语’的组合。例如，“播放”“电影”“黑客帝国”添加“黑客帝国”作为特例。可指定如“在书房”或者“在下午8时”的其他‘修饰语’来控制任务。而其他修饰语可指定电影“黑客帝国”所在的介质。注意该结构指定任务，而不是装置动作。如改变音量或频道的装置动作不是其中的任务，而是关于现有任务的动作(例如，当“观看”“电视”时改变音量)。由位于装置40中的任务的标准化的描述来填充在该结构200中的文字组合，而不是由一组用于特定情况(例如家庭)的固定的术语。然后，询问这些装置以产生基于在系统中当前连接的或可获得的装置为可行的一组用于每一级别的术语和修饰语。因为大量不相关的词基础将使其难以确定正确的伪语句，所以该方法使指定用户任务更容易。

[0031] 现在还参照图4中的示例图，装置40被询问以用于基于在家庭网络85(图2)中当前连接的或可获得的装置为可行的一组用于每一级别(即，在伪语句中的位置)的术语和修饰语，作为任务描述95。该方法简化指定任务建议，因为否则大量不相关的词基础将使其难以确定正确的伪语句。

[0032] 对于本发明的该实施例的提高是仅确定基于其他术语或修饰语的当前选择可行的术语组或修饰语。例如，如果“播放”和“在CD播放器上”被选择，然后，即使“播放”“视频”是可行的任务，但是，因为视频不能在CD播放器上播放所以它不适合在系统中的装置任务描述。相反，如果其为基于当前装置40仅有选项，则仅“音乐”被向用户呈现。

[0033] 对于本发明的该实施例的另一提高是允许任务被部分地指定(例如，“播放”“音乐”“歌曲名称”)。如果多个任务匹配，那么可通过确定选项来对用户例示该任务。这可通过随机选择，通过基于过去的请求的认知，或通过更多复杂的方法来完成。当知道少数的选择存在或者任务协调模块50基于目前为止用户的输入可确定对于用户合适的选项时，允许用户减少他们的决定和用户界面选项。因为任务协调模块50基于可用的装置和资源确定可用选项，所以任务协调模块50还可填充可用选项。例如，如果仅有一个音乐装置存在(CD播放器)，那么房间修饰语和装置选择在运行时间作为任何下层设备自动操作的部分被去除。

[0034] 因此，本发明允许用户指定任务，而不是装置操作；允许应用或者装置指定它们执行什么功能；允许用户界面仅搜索可被表达/执行的任务而不是存在的所有任务；提供允许用户快速地表达任务的标准化词汇表；并且允许简单的程序在无需复杂的自然语言处理的情况下确定用户任务。

[0035] 如上文所述，在本发明的另一方面中提供一种使用单独的任务描述和装置功能描述来描述消费电子产品装置的方法。因而，使用装置功能描述和提取的装置交互两者来表达装置交互。这样，装置描述(即，装置功能)和用户任务(即，装置用法)被逻辑上分成一组丰富的描述。使用那些描述，可描述一组消费电子产品(如在家庭中的那些)和通过其它们可进行交互的一组可行的方式。基于任务描述和装置描述的复杂性，复杂的顺序的、并行的和协调的交互可被表达以协调家庭装置的功能以执行用户任务。其提供：以灵活的描述而不是作为担当黑匣子的控制器程序描述的装置交互；更加接近地匹配家庭装置用法的用户感知的结构的装置交互；允许交互不被集中在一个单独装置(即，无进行任务映射的直接装置)上的任务描述；和作为允许共同操作的描述和描述的相互交换的任务建议的用户任务的描述。

[0036] 参照图5，在一示例中，消费电子产品40的描述300被提供作为两个逻辑描述：任务描述310(即，用户任务)和装置描述320(即，装置功能)。这些描述310、320以这样的方式相互联系任务建议可允许控制器30了解在家庭网络85中可使用哪个可行的装置40基于任务描述310来完成任务建议。该类型描述310具有多种用途，但是主要地是其允许任务从家庭网络85中的装置40分离。还允许任务从以预置的和预定义的顺序对公知的现有的装置以程序执行任务的黑匣子控制器类型的应用分离。

[0037] 如图5所示，任务描述310包括四部分：(1)任务外部描述330，(2)任务性质340，(3)任务功能350和(4)任务动作360。任务外部描述330概述伪语句(注意，在该示例中图2的任务描述95和图5的任务描述330相同)。任务性质340表达关于任务的有用的信
息(例如，当DVD被播放时可随意地调暗灯光，或允许某些用户使用该任务)。任务功能350表达由完成目的的任务所需的功能。该功能被使用与装置描述320共享的术语所描述并描述装置40的提取的功能。例如，DVD播放器可以是“AVSource”。该功能被描述为功能的层次。另外，如果DVD播放器具有一些多功能操作的形式，那么它可以被描述为AV源。或者，被描述为作为描述DVD播放器的“AVSource”的子类“DVDAVSource”。最后，任务动作360描述实现所列功能的装置的先后顺序和组合。

[0038] 另外，装置描述320具有与任务描述相似的结构并且共享功能描述。装置描述320可包括功能350A，其中，任务描述310中的任务功能350映射为在装置描述320中的
功能350A。功能350A可包括功能描述370、装置基础380和装置属性(例如，屏幕大小，特征等)。功能描述370概述装置40的功能。例如，当代码转换机具有如MPEGAudioSink和MPEGAudioSource的功能时，CD播放器是AudioSink。装置基础380描述如何基于功能描述370来控制装置40。例如，可包括URL以调用来改变音量级，安装装置连接等。或者，其还可具有通过表达控制装置所必需的UPNP交互来控制UPNP装置的基础。正如本领域的技术人员将理解的那样，其他装置控制协议也可被使用。

[0039] 在运行时间，任务描述310和装置描述320被任务协调模块50读出并且被分析以确定匹配任务功能350的一组装置40是否存在。如果存在，任务协调模块50将匹配任务功能350的装置作为对于任务的候选装置。任务协调模块50然后在可用装置40中循环来确定实现任务的功能350的装置40的组合。匹配任务/装置组合的组被从该搜索返回并且被呈现给用户作为在GUI60(图2)的输出解决方案75。用户选择他喜欢的伪语句，其被映射到任务/装置组合并通过使用依次需要使用在装置描述320中的装置基础380的装置动作以完成任务的任务动作来例示任务。

[0040] 因为在描述300中，装置描述320仅在逻辑上与任务描述310分离，并未阻止装置40将它的功能描述为除了参与更大任务之外的任务描述，并且描述可被物理地组合。可选择的实现是使用语义网技术的装置描述320和任务描述310的组合，以允许共享的语义的本体(语言)被用于以作为机器可读的语义的方式丰富地描述装置和任务的所有方面。尽管上面的描述是在家庭消费电子产品的情况中，但是如本领域的那些技术人员所认识到的，本发明可被用于如在移动装置、桌上计算、企业计算等的其他应用中。

[0041] 因而，模块50组合任务描述和装置描述以确定装置是否可用于特定的任务。为了执行用户任务，模块50获得关于任务和装置描述的组合的信息以确定用于装置的基础信息，其中，任务描述包括模块50使用其协调装置动作的动作脚本的序列。另外，模块50将来自多个装置描述的基础信息与任务描述脚本组合以产生用于控制用于用户任务的装置的具体脚本。在来自装置描述的功能基础上指定装置基础信息。另外，装置基础信息指定交互和参数设置以确定装置的控制。可以以统一资源标识符(URI)的形式来指定装置基础以描述使用的动作和参数。另外，装置基础信息可包括将其组合以实现所需的功能的多个基础信息部分。另外，装置描述可包括映射为由控制或装置软件使用的不同协议的多个基础信息部分。

[0042] 现在描述使用上面方法以提高下层装置40的功能和智能的根据本发明的实施例的任务协调系统10的示例实现。如图2所示，任务协调系统10实现对于用户向系统10请求任务建议的技术和解释和处理该任务建议的技术。在该实施例中，采用多个基于语义网的工具和技术来建立有效的系统，包括以语义的丰富标记语言开发用于实体(例如，装置)的本体。本体被构建以表示家庭装置40和用户任务请求95，并且下面将详细描述本体。

[0043] 任务协调模块50向用户提供任务建议，并且从用户接收请求以协调由用户选择的任务建议的执行。任务协调模块50使用推理引擎65(图1B)与用户界面60(图2)结合作为上层以通过对其解析、发现可执行选择的任务建议的适当的装置40和将该信息传到用于执行的底层(例如，模块70)来处理选择的任务建议95。在一示例中，适当的标记语言与推理引擎65一起被用来在以该语言表达的内容中进行推论，因此实体相互通信和知晓。
在一方案中，语义技术被用来描述装置功能和任务以促进以功能为中心的装置的连接。

[0044] 例如，代表性地下面类型的装置40在家庭网络85中：

[0045] 电视——显示音频/视频

[0046] DVD——播放音频/视频，显示照片

[0047] PC——显示音频/视频，显示照，玩游戏，AV源

[0048] 接收器——将源与宿相连，播放音频，播放广播

[0049] 冰箱——上网，播放音频/视频，控制

[0050] 灯——控制

[0051] 电话——播放音频，呼叫用户，用户数据库

[0052] PVR——记录音频/视频，暂停，播放，存储照片，显示照片

[0053] 相机——记录音频/视频，播放音频/视频，流传输音频/视频等

[0054] 在该家庭网络85中的可能的任务示例可包括：

[0055] “灌溉” “花园”

[0056] “播放” “电影”“黑客帝国”“环绕音效”

[0057] “显示” “照片”“巴西”

[0058] “同步” “MP3播放器”

[0059] “调暗” “灯光”

[0060] “播放” “我的音乐”“起居室”

[0061] 以上示例(情况)使用例如伪语句语言来表达任务建议，而例如语义语言被用来描述装置和功能，并且推理引擎被用来在知识间进行推论并执行任务请求。在一示例中，选择的用来表达本体/规则的语言提供：语义级的协议、高度的灵活性和可表达性、对于类型和归类的支持、对于数据类型的支持、和限制和约束的表达。在任务协调模块50中包括知识库105(图2)。

[0062] 在另一示例中，语义网技术可被用在任务协调模块50中。语义网是当前网的扩展，其中，信息被给予明确的意义，语义网能更好地使计算机和人协调工作。对语义网设计的标记语言提供在不同实体间的公共的理解。示例语义网技术包括对语义网开发的DAML+OIL、DAML-S、OWL等。在任务协调模块50的一示例中，装置和任务本体110通过使用DAML+OIL被构建并且被加载在其所在的知识库105中。装置40的多种属性和功能被识别并且构成本体，其还获得在属性间的关系。另外，基于本体构建在DAML+OIL中的装置实例
115，其中，在界面和功能方面，它实质上是装置的语义描述。由图1B中的任务协调流程所示，用户选择的任务建议被分成一个或多个作为被需要并映射为可由可用装置执行的任务功能的任务。通过在以本体表达的信息间进行推理(推论)并执行关于装置/用户的状态/偏好的附加的规则使得映射成为可能。

[0063] 现在参照图2和图4中的示例，任务协调模块50存在于控制器30中，该控制器与为任务协调模块50提供界面的模块进行交互以在每当需要时获得装置描述。在一实施例中，由现有的装置提供的DAML+OIL任务实例120被声明在知识库105中，写为Jess规则和/或DAML+OIL的预定义的用户偏好130也被加载到知识库105中。另外，关于请求的任务的装置偏好和关于用于任务所需的功能的属性偏好被合并。全部可行的‘动词’(例如，“播放”)和‘对象’(例如，“电影”)从被知识库105中检索并且被显示在GUI60上。

[0064] 因而，用户的任务请求作为一组字段135(例如，图2)通过GUI60被获得并且作为任务协调模块50的知识库105的输入被提供。在一示例中，从用户获得的输入包括全部可选择字段。在另一示例中，从用户获得的输入包括：

[0065] a)强制的字段：动词，对象和内容，位置，终端装置

[0066] b)可选择字段：属性(例如，环绕音效，宽屏等)

[0067] 在该示例中，在用户选择‘动词’和‘对象’之后，任务协调模块50与在模块70中的协议堆栈通信以获得在该‘对象’的情况中相关的全部可用内容。

[0068] 一获得由用户选择的完整的任务建议，任务协调模块50即解析任务建议和相应的任务描述95并计算作为解决方案的可服务请求的装置40的全部可行的组合。然后，任务协调模块50在通过GUI60调用作为对用户的输出75的显示之前应用偏好并排列解决方案。

[0069] 如前所述，任务协调模块50通过GUI60与用户交互，并且与推理引擎65(图1B)和规则引擎130(图2)交互。任务协调模块50还包括用于以事实的形式存储本体100的知识库105并对数据应用规则130。

[0070] 现在还参照图6的流程图步骤，描述示例操作情况：

[0071] 1.在步骤400中，在启动期间装置和任务本体110被声明到知识库105中，其中，本题内容被转换成以‘(Property Value subclass manperson)’格式的事实。

[0072] 2.在步骤405中，装置实例115和任务实例120也被声明到知识库105中。在此示例中，对如电视、CD播放器、DVD播放器、IPAQ、扬声器、代码转换机等的视听(AV)装置执行本体110。

[0073] 3.在步骤410中，在本体110和实例115、120被加载之后，从知识库105中的事实中提取‘动词’，与‘动词’相关的‘对象’，和由装置40支持的‘任务’。

[0074] 4.在步骤415中，以相似的方式，执行上面识别的任务所需的‘功能’也被从知识库105中的事实提取并作为用于容易检索的新事实被存储。

[0075] 5.在步骤420中，使用GUI60，用户通过选择例如‘动词’，与‘动词’的情况相关的‘对象’，和相关的内容(哪个种类是所选择的对象)来指定/选择任务建议95。用户还可指定在其中将执行请求的/选择的任务建议的偏好的位置和/或终端装置40。

[0076] 6.在步骤425中，执行任务所需要的装置功能被识别(优选地，该信息被预前计算并存储为易于检索的事实，由此在该步骤中消耗很少的时间)。

[0077] 7.在步骤430中，任务协调模块50识别作为解决方案的处理需要的功能的装置40。如果任务需要许多功能，那么任务协调模块50识别可共同地执行/服务该任务的一组装置40。

[0078] 8.在步骤435中，在识别可执行用户选择的任务建议的该组装置40之后，对该组解决方案应用用户偏好130并给出排列。

[0079] 9.在步骤440中，最终以它们的排列的递增顺序向用户显示该组解决方案作为输出75。对于家庭网络的示例排列是家庭中的起居室外包括等离子电视、PC、扬声器和IPAQ。用户已设置偏好如：播放电影时选择大于40英寸的装置屏幕大小，和播放音频时，优选通过IPAQ作为扬声器。对于任务请求“在起居室中播放电影‘黑客帝国’”，任务协调模块50识别可执行请求的/选择的任务建议的装置的下列组合(解决方案)：PC&扬声器、PC&IPAQ和等离子电视。解决方案根据上面的用户的偏好被排列并且向用户显示为：(1)等离子电视，(2)PC&扬声器，(3)PC&IPAQ。

[0080] 用户在解决方案中选择装置40的最偏好的组合，并通过使用依次需要使用在装置描述320(图5)中的装置基础380来完成任务的装置动作的任务动作来例示任务。如上所述，一旦用户选择一组装置40以执行请求的任务，那么任务协调模块50调用在任务所需的装置上的适当的接口。

[0081] 参照图7的流程图步骤，在下文中，描述用户接口模块60的实施例的示例操作。用户可以以下面示例描述的四个步骤使用GUI模块来递增地组成任务请求：

[0082] 1.在步骤500中，在GUI60中显示全部有效的‘动词’的列表。用户可从列表选择‘动词’然后点击‘下一步’以继续下一步骤(即，步骤505)。在点击‘下一步’之前的任何时候，用户可改变选择的‘动词’。

[0083] 2.在步骤505中，在GUI60显示与选择的‘动词’相关的全部‘对象’的列表。用户可从列表选择‘对象’，然后点击‘下一步’以进入下一阶段(即，步骤510)。在点击‘下一步’之前的任何时候，用户可改变选择的‘对象’。用户还可点击‘返回’或者‘重启动’以转到先前的阶段(即，步骤500)并改变选择的‘动词’。

[0084] 3.在步骤510中，显示与选择的‘对象’相关的全部‘内容’的列表。用户可从列表选择一些‘内容’，然后点击‘下一步’以进入下一步骤(即，步骤515)。在点击‘下一步’之前的任何时候，用户可改变选择的‘内容’。用户还可点击‘返回’以转到先前的步骤(即，步骤505)并改变选择的‘对象’，或者可点击‘重启动’以转到步骤500并改变选择的‘动词’。在任何以上步骤期间或在步骤510的结束，用户可设置用于任务执行的期望的位置和/或执行全部的任务或部分任务的终端装置。

[0085] 4.在步骤515中，任务协调模块50在选择的‘动词’、‘对象’、‘内容’、用户偏好(如通过GUI设置的位置、终端装置和被指定为事实和规则的其他偏好)、和关于在知识库105中对其处理的现有的装置和任务的事实间进行内部推论。在推论之后，任务协调模块50确定可执行请求的任务的装置的全部可能的组合(即，解决方案)。获得的该组解决方案在任务协调模块50内部被排列并最终通过GUI60向用户显示(例如，以递增的排列顺序)。下文描述在步骤515中的示例处理。任务协调模块50读入任务和装置描述，并将该信息作为事实存储在知识库105中。推理引擎65解释任务和装置描述，并推导出在任务和装置描述中未直接指定，而是以类和性质的形式指定的新的信息，和它们之间的关系。任务协调模块50可处理和操作该信息。

[0086] 在一示例中，任务协调模块50中包括的基本步骤包括：

[0087] 1.读入任务和装置描述。

[0088] 2.对任务和装置描述应用语义。

[0089] 3.使用解析器转换被加载到知识库105的任务和装置描述。

[0090] 4.使用如上所述的其他规则和询问。

[0091] 如上所述，本体110被构建为机制以描述任务、装置和用户偏好。通常，本体是概念化的规范；它是用于实体或实体集(例如，装置、用户等)而可存在的概念和关系的描述(如以程序的正式规范)。在该示例中，装置和任务被基于提供的或需要的它们的基本属性/性质和/或功能而描述。使用标记语言编码所述描述，其中，基于该描述用户的任务请求可被理解、处理和服务。

[0092] 另外，在本体110中可包括‘功能+内容类型’属性。在此本体110的示例实现中，对于装置40提供的每一功能，还指定哪种类型数据被作为输入所接受(内容类型)、装置40可从哪些资源接受输入和哪种类型的数据被作为输出而产生(如果有)。其对于响应非常通用的和未指定内容类型的请求是充分的。然而，如果任务协调模块50将对装置40提供基于内容类型的查找，那么需要表示包括内容类型的功能(例如，mp3render)的方法，其不是作为单独的属性。可通过可在本体110中包括的‘功能+内容类型’属性来完成该方法。

[0093] 另外，用于表达用户偏好130的本体可被使用。在此示例实现中，偏好130可被以相似于装置实例115和任务实例120被指定的方式的标记语言来表达。为了以标准的/通用的格式进行描述并且为了更好地表达在一组偏好的不同属性之间的关系，本地可被使用，基于此，用户偏好的实例可被构建。

[0094] 还可实现用于理解偏好的机制。作为示例，任务协调模块50可理解如“当播放电影时选择具有较大屏幕大小的装置”的偏好。优选地，任务协调模块50可理解“等离子电视总是好于任何其他类型的电视，甚至具有最大屏幕大小的电视”。另外，可应用于所有类型装置，甚至在实现时间未知的装置的更多通用本体被包括。

[0095] 尽管此示例与消费电子产品和家庭网络相关，但是如本领域的那些技术人员所认知的，本发明可被应用于如移动个人装置、桌上任务、复杂企业系统等的其他装置和体系结构。另外，即使在本描述中已结合消费电子产品描述任务协调系统的实施例，但是本领域的那些技术人员认识到在公知的一组实体相互作用为任务并需要用于用户协调那些实体的简单的方法(例如，用于指定多种操作的生产线或在组装自动机器上配置)的其他应用中本发明是有用的。另外，因为将逻辑装置分离，没有它们不能被组合成物理装置的原因。尽管通过示例在此描述的是单个的控制器/协调模块时，但是一组装置可参与控制器动作或确定装置的协调。

[0096] 已参照本发明的某些优选方案对其进行的相当详细的描述；然而，其他方案也是可行的。因此，所附的权利要求的精神和范围不应该受限于包含在其中的优选方案的描述。

标题	发布/更新时间	阅读量
消费电子产品保护型夜光便携式珍珠包	2020-05-14	338
极小形状因数消费者电子产品中的ESD保护	2020-05-14	557
消费性电子产品的天线装置及其制造方法	2020-05-14	338
消费性电子产品控制的解决方案	2020-05-12	950
便携式消费类电子产品的强制关机电路	2020-05-13	922
消费电子产品保护型夜光理疗型珍珠包	2020-05-13	172
一种电子消费类产品壳体压铸模具	2020-05-12	567
一种消费电子产品安全装置	2020-05-14	502
一种消费电子产品的盖板及消费电子产品	2020-05-11	698
玻璃制品及包括其的消费者电子产品	2020-05-15	945

用于消费电子产品上的任务协调的方法和系统