首页 / 专利库 / 人工智能 / 语音用户界面 / 基于上下文信息确定接收语音输入的持续时间的电子设备和系统

基于上下文信息确定接收语音输入的持续时间的电子设备和系统

阅读:209发布:2020-05-11

专利汇可以提供基于上下文信息确定接收语音输入的持续时间的电子设备和系统专利检索,专利查询,专利分析的服务。并且电子 设备包括:扬声器;麦克 风 ;通信 电路 ;可操作地连接到扬声器、麦克风和通信电路的处理器;以及可操作地连接到处理器的 存储器 。存储器存储有指令,该指令在被执行时使处理器:接收激活智能系统的用户输入;至少部分地基于电子设备的状态来确定通过麦克风接收用户话语的持续时间的至少一部分;在接收到用户输入之后通过麦克风接收第一用户话语;通过通信电路将与第一用户话语相关联的第一数据发送到外部 服务器 ;以及通过通信电路从外部服务器接收第一响应。第一响应是至少部分地基于第一数据而生成的。,下面是基于上下文信息确定接收语音输入的持续时间的电子设备和系统专利的具体信息内容。

1.一种电子设备,所述电子设备包括:
壳体;
扬声器,所述扬声器位于所述壳体的第一部分;
麦克,所述麦克风位于所述壳体的第二部分;
通信电路,所述通信电路位于所述壳体中或附连到所述壳体;
处理器,所述处理器位于所述壳体中并可操作地连接到所述扬声器、所述麦克风和所述通信电路;以及
存储器,所述存储器位于所述壳体中并可操作地连接到所述处理器,
其中,所述存储器存储有指令,所述指令在被执行时使所述处理器:
接收激活智能系统的用户输入;
至少部分地基于所述电子设备的状态,确定通过所述麦克风接收用户话语的持续时间的至少一部分;
在接收到所述用户输入之后,通过所述麦克风接收第一用户话语;
通过所述通信电路将与所述第一用户话语相关联的第一数据发送到外部服务器;以及通过所述通信电路从所述外部服务器接收第一响应,其中,所述第一响应是至少部分地基于所述第一数据而生成的。
2.根据权利要求1所述的电子设备,其中,所述指令使所述处理器:
在接收到所述用户输入之后,检测所述第一用户话语结束的第一时间点;以及在从所述第一时间点到第二时间点的第一持续时间内保持所述麦克风开启,以便接收其他话语。
3.根据权利要求2所述的电子设备,其中,所述指令使所述处理器:
当在所述第一持续时间内接收到作为所述其他话语的第二用户话语时,检测所述第二用户话语结束的第三时间点;以及
在从所述第三时间点开始的与所述第一持续时间相同的时间段内保持所述麦克风开启以接收所述其他话语。
4.根据权利要求2所述的电子设备,其中,所述指令使所述处理器至少部分地基于所述电子设备的状态来确定所述第一持续时间。
5.根据权利要求4所述的电子设备,其中,所述电子设备的状态至少部分地与所述电子设备的当前活动的应用程序、当前活动的技能、当前活动的聊天机器人定/解锁状态中的至少一个相关联。
6.根据权利要求5所述的电子设备,所述电子设备还包括通过所述壳体暴露的显示器,其中,所述电子设备的状态至少部分地与当前显示在所述显示器上的用户界面相关联。
7.根据权利要求6所述的电子设备,其中,所述用户界面包括至少一个输入框,并且其中,所述电子设备的状态至少部分地与所述至少一个输入框中的至少一个输入框相关联。
8.根据权利要求7所述的电子设备,其中,所述第一持续时间与所述至少一个输入框的长度成比例。
9.根据权利要求1所述的电子设备,其中,所述用户输入包括唤醒所述智能系统的语音输入。
10.根据权利要求1所述的电子设备,所述电子设备还包括触摸屏显示器或物理按钮中的至少一者,其中,通过所述显示器或所述按钮中的至少一者来接收所述用户输入。
11.一种电子设备,所述电子设备包括:
壳体;
扬声器,所述扬声器位于所述壳体的第一部分;
麦克风,所述麦克风位于所述壳体的第二部分;
通信电路,所述通信电路位于所述壳体中或附连到所述壳体;
处理器,所述处理器位于所述壳体中并可操作地连接到所述扬声器、所述麦克风和所述通信电路;以及
存储器,所述存储器位于所述壳体中并可操作地连接到所述处理器,其中,所述存储器存储有指令,所述指令在被执行时使所述处理器:
通过所述麦克风接收第一用户话语,其中,所述第一用户话语包括用于执行任务的请求,所述任务至少部分地使用所述电子设备并且需要用于执行的一个或更多个参数,并且其中,所述第一用户话语不包括所述一个或更多个参数中的全部参数;
通过所述通信电路将与所述第一用户话语相关联的第一数据发送到外部服务器;
通过所述通信电路从所述外部服务器接收关于第二用户话语的上下文的信息,以获得执行所述任务所需的参数;
至少部分地基于所述电子设备的状态、所述第一用户话语、或所述第二用户话语的所述上下文中的至少一个来确定接收所述第二用户话语的持续时间的至少一部分;以及在所述持续时间内保持所述麦克风开启,使得所述电子设备处于通过所述麦克风接收话语的状态。
12.根据权利要求11所述的电子设备,其中,所述指令使所述处理器:
至少部分地基于所述电子设备的状态、所述第一用户话语、或所述第二用户话语的所述上下文中的至少一个来确定第一持续时间;
检测所述第二用户话语结束的第一时间点;以及
在从所述第一时间点到第二时间点的所述第一持续时间内保持所述麦克风开启,以接收其他话语,使得所述电子设备处于接收其他话语的状态。
13.根据权利要求12所述的电子设备,其中,所述电子设备的状态至少部分地与所述电子设备的当前活动的应用程序、当前活动的技能、当前活动的聊天机器人或锁定/解锁状态中的至少一个相关联。
14.根据权利要求13所述的电子设备,所述电子设备还包括通过所述壳体暴露的显示器,其中,所述电子设备的状态至少部分地与当前显示在所述显示器上的用户界面相关联。
15.根据权利要求14所述的电子设备,其中,所述用户界面包括至少一个输入框,并且其中,所述电子设备的状态至少部分地与所述至少一个输入框中的至少一个输入框相关联。

说明书全文

基于上下文信息确定接收语音输入的持续时间的电子设备和

系统

技术领域

[0001] 本公开涉及用于基于上下文信息来确定接收语音输入的持续时间的技术。

背景技术

[0002] 除了使用键盘鼠标的传统输入方案之外,电子设备最近还支持各种输入方案,例如语音输入等。例如,电子设备(诸如智能电话或平板电脑)可以在执行语音识别服务的状态下识别用户输入的语音,并且可以执行与语音输入相对应的动作,或者可以提供根据语音输入发现的结果。
[0003] 如今,正在基于处理自然语言的技术来开发语音识别服务。处理自然语言的技术是指领会用户话语意图并向用户提供适合该意图的结果的技术。
[0004] 以上信息仅作为背景信息呈现,以帮助理解本公开。关于以上内容中的任何内容是否可以用作关于本公开的现有技术,没有做出确定,也没有做出断言发明内容
[0005] 技术问题
[0006] 用户终端需要使用麦克来接收语音输入,并且可以根据麦克风的使用而消耗功率。当过早去激活麦克风以降低功耗时,用户终端可能会丢失语音信号的后半部分。替代地,当麦克风的去激活被延迟时,功率可能被不必要地消耗。
[0007] 本公开的方面在于至少解决上述问题和/或缺点,并至少提供下述优点。因此,本公开的一方面在于,基于用户终端的上下文,通过确定麦克风被激活的时间来有效地消耗功率。
[0008] 技术方案
[0009] 根据本公开的一方面,电子设备可以包括:壳体;扬声器,所述扬声器位于所述壳体的第一部分;麦克风,所述麦克风位于所述壳体的第二部分;通信电路,所述通信电路位于所述壳体中或附连到所述壳体;处理器,所述处理器位于所述壳体中并可操作地连接到所述扬声器、所述麦克风和所述通信电路;以及存储器,所述存储器位于所述壳体中并可操作地连接到所述处理器。所述存储器可以存储有指令,所述指令在被执行时使所述处理器:接收激活智能系统的用户输入;至少部分地基于所述电子设备的状态,确定通过所述麦克风接收用户话语的持续时间的至少一部分;在接收到所述用户输入之后,通过所述麦克风接收第一用户话语;通过所述通信电路将与所述第一用户话语相关联的第一数据发送到外部服务器;以及通过所述通信电路从所述外部服务器接收第一响应。所述第一响应是至少部分地基于所述第一数据而生成的。
[0010] 根据本公开的另一方面,电子设备可以包括:壳体;扬声器,所述扬声器位于所述壳体的第一部分;麦克风,所述麦克风位于所述壳体的第二部分;通信电路,所述通信电路位于所述壳体中或附连到所述壳体;处理器,所述处理器位于所述壳体中并可操作地连接到所述扬声器、所述麦克风和所述通信电路;以及存储器,所述存储器位于所述壳体中并可操作地连接到所述处理器。所述存储器可以存储有指令,所述指令在被执行时使所述处理器:通过所述麦克风接收第一用户话语;通过所述通信电路将与所述第一用户话语相关联的第一数据发送到外部服务器;通过所述通信电路从所述外部服务器接收关于第二用户话语的上下文的信息,以获得执行所述任务所需的参数;至少部分地基于所述电子设备的状态、所述第一用户话语、或所述第二用户话语的所述上下文中的至少一个来确定接收所述第二用户话语的持续时间的至少一部分;以及在所述持续时间内保持所述麦克风开启,使得所述电子设备处于通过所述麦克风接收话语的状态。所述第一用户话语可以包括用于执行任务的请求,所述任务至少部分地使用所述电子设备并且需要用于执行的一个或更多个参数,并且其中,所述第一用户话语不包括所述一个或更多个参数中的全部参数。
[0011] 根据本公开的另一方面,系统可以包括:至少一个网络接口;可操作地连接到所述网络接口的至少一个处理器;以及可操作地连接到所述处理器的至少一个存储器。所述存储器可以存储至少一个外部电子设备的状态的序列以执行至少一项任务。所述存储器还可以存储有指令,所述指令在被执行时使所述处理器:接收与经由包括麦克风的外部电子设备提供的第一用户话语相关联的第一数据;确定需要来自用户的第二用户话语来执行所述任务;至少部分地基于所述外部电子设备的状态、所述第一用户话语、和/或所述第二用户话语的上下文,来确定通过所述外部电子设备接收所述第二用户话语的持续时间的至少一部分;以及向所述外部电子设备提供关于所述持续时间的至少一部分的信息,使得所述外部电子设备处于在所述持续时间内通过所述麦克风接收话语的状态。所述第一用户话语可以包括至少部分地使用所述外部电子设备执行任务的请求。
[0012] 有益效果
[0013] 根据本公开的各种实施例,可以根据用户终端的上下文,通过确定麦克风被激活的时间来减少不必要的功耗。
[0014] 根据本公开的各种实施例,可以通过调整麦克风的激活时间来提高语音识别服务的反应速度。
[0015] 此外,可以提供通过本公开直接或间接理解的各种效果。附图说明
[0016] 根据以下结合附图的描述,本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显,其中:
[0017] 图1示出了根据本公开的各种实施例的集成智能系统;
[0018] 图2示出了根据本公开实施例的集成智能系统的用户终端;
[0019] 图3示出了根据本公开的实施例的用户终端的智能应用被执行;
[0020] 图4示出了根据本公开的实施例的智能服务模的上下文模块收集当前状态;
[0021] 图5示出了根据本公开的实施例的集成智能系统的智能服务器;
[0022] 图6示出了根据本公开的实施例的自然语言理解(NLU)模块的路径规则生成方法;
[0023] 图7示出了根据本公开的实施例的智能服务模块的色模块管理用户的信息;
[0024] 图8示出了根据本公开的实施例的在根据用户终端的状态确定的持续时间内接收用户话语并执行指定操作的方法的流程图
[0025] 图9a示出了根据本公开的实施例的在用于输入计划表的屏幕中时间输入框为空的状态;
[0026] 图9b示出了根据本公开的实施例的在用于输入计划表的屏幕中备注输入框为空的状态;
[0027] 图10示出了根据本公开的实施例的用于接收选择输入的屏幕;
[0028] 图11a示出了根据本公开的实施例的显示与在定状态下接收的用户话语相对应的文本的屏幕;
[0029] 图11b示出了根据本公开的实施例的用于请求密码输入的屏幕;
[0030] 图11c示出了根据本公开的实施例的在其上输入密码话语的屏幕;
[0031] 图11d示出了根据本公开的实施例的在其上执行根据用户话语的任务的结果屏幕;
[0032] 图12a示出了根据本公开的实施例的在智能服务器确定接收第二用户话语的持续时间的情况下,用户终端和智能服务器的操作的流程图;
[0033] 图12b示出了根据本公开的实施例的在用户终端确定接收第二用户话语的持续时间的情况下,用户终端和智能服务器的操作的流程图;
[0034] 图13a示出了根据本公开的实施例的显示与缺失了某参数的用户话语相对应的文本的屏幕;
[0035] 图13b示出了根据本公开的实施例的显示用于获得缺失的参数的请求消息的屏幕;
[0036] 图13c示出了根据本公开的实施例的显示与缺失了某参数的用户话语相对应的文本的屏幕;
[0037] 图13d示出了根据本公开的实施例的显示用于获得缺失的参数的请求消息的屏幕;以及
[0038] 图14示出了根据本公开的各种实施例的在网络环境中的电子设备。

具体实施方式

[0039] 术语“包括”和“包含”以及他们的派生词是指包括但不限于;术语“或”是包含性的,指和/或;短语“与……相关联”和“与之相关联”及其派生词可以表示包括、被包括在其中、与之互连、包含、被包含在其中、连接到或与之相连、耦接(couple)到或与之耦接、与……可通信、与……协作、交织、并置、邻近、绑定到或与之绑定、具有、具有……的性质等;术语“控制器”是指控制至少一个操作的任何设备、系统或其一部分,此种设备可以以硬件固件软件或他们中至少两个的某种组合来实现。应当注意的是,与任何特定控制器相关的功能不论是本地还是远程均可以是集中式或分布式。
[0040] 此外,下面描述的各种功能可以由一个或更多个计算机程序实现或支持,每个计算机程序由计算机可读程序代码形成并嵌入在计算机可读介质中。术语“应用”和“程序”是指适于以合适的计算机可读程序代码实施的一个或更多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其一部分。短语“计算机可读程序代码”包括任何类型的计算机代码,包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质,例如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)或任何其他类型的内存。“非暂时性”计算机可读介质不包括传输暂时性电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括能够永久存储数据的介质以及能够存储数据并随后被覆写的介质,诸如可重写光盘或可擦除存储设备。
[0041] 在整个专利文件中都提供了某些单词和短语的定义,本领域的普通技术人员应当理解的是,在很多情况下,即使不是大多数情况下,这种定义也适用于如此定义的单词和短语的先前以及将来的使用。
[0042] 下面讨论的图1至图14以及用于描述本专利文件中的本公开的原理的各种实施例仅是示例性的,并且不应当以任何方式解释为限制本公开的范围。本领域技术人员将理解的是,可以在任何适当布置的系统或设备中实现本公开的原理。
[0043] 在下文中,将参考附图描述本公开的各种实施例。然而,本领域普通技术人员将认识到,在不脱离本公开的范围和精神的情况下,可以对本文所述的各种实施例进行各种修改、等同和/或替换。
[0044] 在描述本公开的实施例之前,将描述能够应用本公开的实施例的集成智能系统。
[0045] 本公开的图1是根据本公开的各种实施例的集成智能系统。
[0046] 参考图1,集成智能系统10可以包括用户终端100、智能服务器200、个人信息服务器300或建议服务器400。
[0047] 用户终端100可以通过存储在用户终端100中的应用(或应用程序)(例如,闹铃应用、消息应用、图片(图库)应用等)来提供用户所需的服务。例如,用户终端100可以通过存储在用户终端100中的智能应用(或语音识别应用)来执行和操作其他应用。用户终端100可以通过智能应用来执行其他应用,并且可以接收用户输入来执行动作。例如,可以通过物理按钮、触摸板、语音输入、远程输入等来接收用户输入。根据实施例,与互联网连接的各种类型的终端设备(或电子设备),诸如移动电话、智能电话、个人数字助理(PDA)、笔记本计算机等可以对应于用户终端100。
[0048] 根据实施例,用户终端100可以接收用户话语作为用户输入。用户终端100可以接收用户话语,并且可以基于用户话语来生成用于操作应用的命令。这样,用户终端100可以通过使用命令来操作应用。
[0049] 智能服务器200可以通过通信网络从用户终端100接收用户的语音输入,并且可以将语音输入转换为文本数据。在另一个实施例中,智能服务器200可以基于文本数据生成(或选择)路径规则。路径规则可以包括关于用于执行应用功能的动作(或操作)的信息或关于执行该动作所需的参数的信息。另外,路径规则可以包括应用的动作顺序。用户终端100可以接收路径规则,可以根据路径规则选择应用,并且可以在所选择的应用中执行路径规则中包括的动作。
[0050] 通常,本公开的术语“路径规则”可以表示但不限于状态的序列,其允许电子设备执行用户请求的任务。换句话说,路径规则可以包括关于状态的序列的信息。例如,任务可以是智能应用能够提供的特定动作。该任务可以包括生成计划表、向期望的对方传输图片、或提供天气信息。用户终端100可以通过顺序地具有至少一个或更多个状态(例如,用户终端100的操作状态)来执行任务。
[0051] 根据实施例,路径规则可以由人工智能(AI)系统提供或生成。人工智能系统可以是基于规则的系统,或者可以是基于神经网络的系统(例如,前馈神经网络(FNN)或递归神经网络(RNN))。替代地,人工智能系统可以是上述系统的组合或不同于上述系统的人工智能系统。根据实施例,路径规则可以从一组预定义的路径规则中选择,或者可以响应于用户请求而实时地生成。例如,人工智能系统可以选择预定义的多个路径规则的至少一个路径规则,或者可以动态地(或实时地)生成路径规则。此外,用户终端100可以使用混合系统来提供路径规则。
[0052] 根据实施例,用户终端100可以执行动作并且可以在显示器中显示与执行该动作的用户终端100的状态相对应的屏幕。根据另一个实施例,用户终端100可以执行动作并且可以不在显示器中显示通过执行该动作而获得的结果。例如,用户终端100可以执行多个动作,并且可以仅在显示器中显示多个动作中的一部分动作的结果。例如,用户终端100可以仅在显示器中显示通过执行最后的动作而获得的结果。再例如,用户终端100可以接收用户输入以在显示器中显示通过执行动作而获得的结果。
[0053] 个人信息服务器300可以包括其中存储用户信息的数据库。例如,个人信息服务器300可以从用户终端100接收用户信息(例如,上下文信息、关于应用的执行的信息等),并且可以将用户信息存储在数据库中。智能服务器200可以用于通过通信网络从个人信息服务器300接收用户信息,并生成与用户输入相关联的路径规则。根据实施例,用户终端100可以通过通信网络从个人信息服务器300接收用户信息,并且可以将用户信息用作管理数据库的信息。
[0054] 建议服务器400可以包括存储关于终端中的功能、应用的介绍或要提供的功能的信息的数据库。例如,建议服务器400可以包括与通过从个人信息服务器300接收用户终端100的用户信息而使用户使用的功能相关联的数据库。用户终端100可以通过通信网络从建议服务器400接收关于要提供的功能的信息,并且可以将该信息提供给用户。
[0055] 图2示出了根据本公开实施例的集成智能系统的用户终端。
[0056] 参考图2,用户终端100可以包括输入模块110、显示器120、扬声器130、存储器140或处理器150。用户终端100还可以包括壳体,并且用户终端100的组件可以位于壳体中或者可以位于壳体上。
[0057] 根据实施例,输入模块110可以从用户接收用户输入。例如,输入模块110可以从所连接的外部设备(例如,键盘或头戴式机)接收用户输入。再例如,输入模块110可以包括耦接至显示器120的触摸屏(例如,触摸屏显示器)。再例如,输入模块110可以包括位于用户终端100(或用户终端100的壳体)中的硬件键(或物理键)。
[0058] 根据实施例,输入模块110可以包括麦克风,该麦克风能够接收用户的话语作为语音信号。例如,输入模块110可以包括话语输入系统,并且可以通过话语输入系统接收用户的话语作为语音信号。
[0059] 根据实施例,显示器120可以显示图像、视频和/或应用的执行屏幕。例如,显示器120可以显示应用的图形用户界面(GUI)。
[0060] 根据实施例,扬声器130可以输出语音信号。例如,扬声器130可以将在用户终端100中生成的语音信号输出到外部。
[0061] 根据实施例,存储器140可以存储多个应用(或应用程序)141和143。可以根据用户输入来选择、启动和执行存储在存储器140中的多个应用141和143。
[0062] 根据实施例,存储器140可以包括能够存储识别用户输入所必需的信息的数据库。例如,存储器140可以包括能够存储日志信息的日志数据库。再例如,存储器140可以包括能够存储用户信息的角色数据库。
[0063] 根据实施例,存储器140可以存储多个应用141和143,并且多个应用141和143可以被加载以进行操作。例如,存储在存储器140中的多个应用141和143可以由处理器150的执行管理器电路153加载以进行操作。多个应用141和143可以包括执行功能的执行服务模块141a和143a。在实施例中,出于执行功能的目的,多个应用141和143可以通过执行服务模块
141a和143a来执行多个动作(例如,状态的序列)141b和143b。即,执行服务模块141a和143a可以由执行管理器模块153激活,然后可以执行多个动作141b和143b。
[0064] 根据实施例,当执行应用141和143的动作141b和143b时,可以在显示器120中显示根据动作141b和143b的执行的执行状态屏幕。例如,执行状态屏幕可以是动作141b和143b被完成的状态下的屏幕。再例如,执行状态屏幕可以是动作141b和143b的执行处于部分登陆(例如,在动作141b和143b所需的参数未被输入的情况下)的状态下的屏幕。
[0065] 根据实施例,执行服务模块141a和143a可以根据路径规则来执行动作141b和143b。例如,执行服务模块141a和143a可以由执行管理器模块153激活,可以根据路径规则从执行管理器模块153接收执行请求,并且可以通过根据执行请求而执行动作141b和143b来执行应用141和143的功能。当动作141b和143b的执行完成时,执行服务模块141a和143a可以将完成信息发送到执行管理器模块153。
[0066] 根据实施例,在分别在应用141和143中执行多个动作141b和143b的情况下,多个动作141b和143b可以被顺序地执行。当一个动作(例如,第一应用141的动作1或第二应用143的动作1)的执行完成时,执行服务模块141a和143a可以开启下一动作(例如,第一应用
141的动作2或第二应用143的动作2),并且可以将完成信息发送到执行管理器模块153。在此,应理解的是,开启任意动作是将任意动作的状态改变为可执行状态或者准备动作的执行。换句话说,当未开启任意动作时,可能不会执行相应的动作。当接收到完成信息时,执行管理器模块153可以将与下一个动作(例如,第一应用141的动作2或第二应用143的动作2)相关联的执行请求发送到执行服务模块141a和143a。根据实施例,在执行多个应用141和
143的情况下,多个应用141和143可以被顺序地执行。例如,当在第一应用141的最后动作(例如,第一应用141的动作3)的执行完成之后接收到完成信息时,执行管理器模块153可以将第二应用143的第一动作(例如,第二应用143的动作1)的执行请求发送到执行服务模块
143a。
[0067] 根据实施例,在应用141和143中执行多个动作141b和143b的情况下,可以在显示器120中显示根据所执行的多个动作141b和143b中的每个动作的执行的结果屏幕。根据实施例,可以在显示器120中仅显示根据所执行的多个动作141b和143b的多个结果屏幕中的一部分结果屏幕。
[0068] 根据实施例,存储器140可以存储与智能代理151一起操作的智能应用(例如,语音识别应用)。与智能代理151一起操作的应用可以接收并处理用户的话语作为语音信号。根据实施例,可以由通过输入模块110输入的特定输入(例如,通过硬件键的输入、通过触摸屏的输入或特定语音输入)来操作与智能代理151一起操作的应用。
[0069] 根据实施例,处理器150可以控制用户终端100的整体动作。例如,处理器150可以控制输入模块110以接收用户输入。处理器150可以控制显示器120以显示图像。处理器150可以控制扬声器130以输出语音信号。处理器150可以控制存储器140以读取或存储所需的信息。
[0070] 根据实施例,处理器150可以包括智能代理151、执行管理器模块153或智能服务模块155。在实施例中,处理器150可以通过执行存储在存储器140中的指令来驱动智能代理151、执行管理器模块153或智能服务模块155。本公开的各种实施例中描述的模块可以通过硬件或软件来实现。在本公开的各种实施例中,应当理解的是,由智能代理151、执行管理器模块153或智能服务模块155执行的动作是由处理器150执行的动作。
[0071] 根据实施例,智能代理151可以基于作为用户输入而接收的语音信号来生成用于操作应用的命令。根据实施例,执行管理器模块153可以从智能代理151接收所生成的命令,并且可以选择、启动和操作存储在存储器140中的应用141和143。根据实施例,智能服务模块155可以管理用户的信息,并且可以使用用户的信息来处理用户输入。
[0072] 智能代理151可以处理通过输入模块110接收的用户输入并将其发送到智能服务器200。
[0073] 根据实施例,在将用户输入发送到智能服务器200之前,智能代理151可以预处理用户输入。根据实施例,为了预处理用户输入,智能代理151可以包括自适应回声消除(AEC)模块、噪声抑制(NS)模块、端点检测(EPD)模块或自动增益控制(AGC)模块。AEC可以去除用户输入中包括的回声。NS模块可以抑制用户输入中包括的背景噪声。EPD模块可以检测用户输入中包括的用户语音的端点,以搜索存在有用户语音的部分。AGC模块可以识别用户输入,并且可以调整用户输入的音量以便适合于处理所识别的用户输入。根据实施例,智能代理151可以包括针对性能的所有预处理组件。然而,在另一个实施例中,智能代理151可以包括一部分预处理组件从而以低功率进行操作。
[0074] 根据实施例,智能代理151可以包括识别用户呼叫的唤醒识别模块。唤醒识别模块可以通过语音识别模块来识别用户的唤醒命令。在唤醒识别模块接收到唤醒命令的情况下,唤醒识别模块可以激活智能代理151以接收用户输入。根据实施例,智能代理151的唤醒识别模块可以用低功率处理器(例如,包括在音频编解码器中的处理器)来实现。根据实施例,可以根据通过硬件键输入的用户输入来激活智能代理151。在智能代理151被激活的情况下,可以执行与智能代理151一起操作的智能应用(例如,语音识别应用)。
[0075] 根据实施例,智能代理151可以包括用于执行用户输入的语音识别模块。语音识别模块可以识别用于在应用中执行动作的用户输入。例如,语音识别模块可以识别用于在应用141和143中执行诸如唤醒命令的动作的有限用户(语音)输入(例如,在相机应用被执行时,用于执行拍摄动作的诸如“滴答”的话语)。例如,在辅助智能服务器200的同时还用于识别用户输入的语音识别模块可以识别并快速处理能够在用户终端100中被处理的用户命令。根据实施例,可以在应用处理器中实现用于执行智能代理151的用户输入的语音识别模块。
[0076] 根据实施例,智能代理151的语音识别模块(包括唤醒模块的语音识别模块)可以通过使用用于识别语音的算法来识别用户输入。例如,用于识别语音的算法可以是隐尔可夫模型(HMM)算法、人工神经网络(ANN)算法或动态时间规整(DTW)算法中的至少一种。
[0077] 根据实施例,智能代理151可以将用户的语音输入改变为文本数据。根据实施例,智能代理151可以将用户的语音发送到智能服务器200以接收所改变的文本数据。这样,智能代理151可以在显示器120中显示文本数据。
[0078] 根据实施例,智能代理151可以从智能服务器200接收路径规则。根据实施例,智能代理151可以将路径规则发送到执行管理器模块153。
[0079] 根据实施例,智能代理151可以根据从智能服务器200接收的路径规则将执行结果日志发送到智能服务模块155,并且所发送的执行结果日志可以被积累和管理为角色模块155b的用户的偏好信息。
[0080] 根据实施例,执行管理器模块153可以从智能代理151接收路径规则以执行应用141和143,并且可以允许应用141和143执行包括在路径规则中的动作141b和143b。例如,执行管理器模块153可以将用于执行动作141b和143b的命令信息(例如,关于路径规则的信息)发送到应用141和143,并且可以从应用141和143接收动作141b和143b的完成信息。
[0081] 根据实施例,执行管理器模块153可以在智能代理151与应用141和143之间发送和/或接收用于执行应用141和143的动作141b和143b的命令信息(例如,关于路径规则的信息)。执行管理器模块153可以根据路径规则来绑定要执行的应用141和143,并且可以将路径规则中包括的动作141b和143b的命令信息(例如,关于路径规则的信息)发送到应用141和143。例如,执行管理器模块153可以将路径规则中包括的动作141b和143b顺序地发送到应用141和143,并且可以根据路径规则顺序地执行应用141和143的动作141b和143b。
[0082] 根据实施例,执行管理器模块153可以管理应用141和143的动作141b和143b的执行状态。例如,执行管理器模块153可以从应用141和143接收关于动作141b和143b的执行状态的信息。例如,在动作141b和143b的执行状态处于部分登陆的情况下(例如,在动作141b和143b所需的参数未被输入的情况下),执行管理器模块153可以将关于部分登陆的信息发送到智能代理151。智能代理151可以通过使用所接收到的信息来向用户请求输入必要信息(例如,参数信息)。再例如,在动作141b和143b的执行状态处于操作状态的情况下,可以从用户接收话语,并且执行管理器模块153可以将关于正在执行的应用141和143的信息以及关于应用141和143的执行状态的信息发送到智能代理151。智能代理151可以通过智能服务器200接收用户的话语的参数信息,并且可以将所接收到的参数信息发送到执行管理器模块153。执行管理器模块153可以通过使用所接收到的参数信息将动作141b和143b中的每一个动作的参数改变为新参数。
[0083] 根据实施例,执行管理器模块153可以将包括在路径规则中的参数信息发送到应用141和143。在多个应用141和143根据路径规则被顺序地执行的情况下,执行管理器模块153可以将路径规则中包括的参数信息从一个应用发送到另一个应用。
[0084] 根据实施例,执行管理器模块153可以接收多个路径规则。执行管理器模块153可以基于用户的话语选择多个路径规则。例如,在用户话语指定执行一个动作141b的一个应用141但未指定执行另一个动作143b的另一个应用143的情况下,执行管理器模块153可以接收多个不同的路径规则,其中执行该一个动作141b的相同应用141(例如,图库应用)被执行,并且其中执行该另一个动作143b的不同应用143(例如,消息应用或电报应用)被执行。例如,执行管理器模块153可以执行多个路径规则的相同动作141b和143b(例如,相同的连续动作141b和143b)。在执行管理器模块153执行相同动作的情况下,执行管理器模块153可以在显示器120中显示用于选择在多个路径规则中包括的不同应用141和143的状态屏幕。
[0085] 根据实施例,智能服务模块155可以包括上下文模块155a、角色模块155b或建议模块155c。
[0086] 上下文模块155a可以从应用141和143收集应用141和143的当前状态。例如,上下文模块155a可以接收指示应用141和143的当前状态的上下文信息,以收集应用141和143的当前状态。
[0087] 角色模块155b可以利用用户终端100来管理用户的个人信息。例如,角色模块155b可以收集用户终端100的使用信息和执行结果,以管理用户的个人信息。
[0088] 建议模块155c可以预测用户的意图以向用户推荐命令。例如,建议模块155c可以考虑到用户的当前状态(例如,时间、地点、状况或应用)向用户推荐命令。
[0089] 图3示出了根据本公开的实施例的用户终端的智能应用被执行。
[0090] 图3示出了用户终端100接收用户输入以执行与智能代理151一起操作的智能应用(例如,语音识别应用)。
[0091] 根据实施例,用户终端100可以执行用于识别通过硬件键112的语音的智能应用。例如,在用户终端100通过硬件键112接收用户输入的情况下,用户终端100可以在显示器
120中显示智能应用的UI 121。例如,用户可以在智能应用的UI 121被显示在显示器120中的状态下触摸智能应用的UI 121的语音识别按钮121a,以输入语音120b。再例如,在连续按下硬件键112以输入语音120b时,用户可以输入语音120b。
[0092] 根据实施例,用户终端100可以执行用于识别通过麦克风111的语音的智能应用。例如,在通过麦克风111输入120a指定的声音(例如,起床!)的情况下,用户终端100可以在显示器120中显示智能应用的UI 121。
[0093] 图4示出了根据本公开的实施例的智能服务模块的上下文模块收集当前状态。
[0094] 参考图4,如果从智能代理151接收到上下文请求①,则上下文模块155a可以向应用141和143请求指示应用141和143的当前状态的上下文信息②。根据实施例,上下文模块155a可以从应用141和143接收上下文信息③,并且可以将上下文信息发送到智能代理151④。
[0095] 根据实施例,上下文模块155a可以通过应用141和143接收多条上下文信息。例如,上下文信息可以是关于最近执行的应用141和143的信息。再例如,上下文信息可以是关于应用141和143中的当前状态的信息(例如,在用户通过图库应用观看图片的情况下关于相应图片的信息)。
[0096] 根据实施例,上下文模块155a可以从设备平台以及应用141和143接收指示用户终端100的当前状态的上下文信息。上下文信息可以包括一般上下文信息、用户上下文信息或设备上下文信息。
[0097] 一般上下文信息可以包括用户终端100的一般信息。可以通过内部算法通过经由设备平台的传感器集线器等接收数据来验证一般上下文信息。例如,一般上下文信息可以包括关于当前时间和空间的信息。例如,关于当前时间和空间的信息可以包括关于用户终端100的当前时间或当前位置的信息。可以通过用户终端100上的时间来验证当前时间,并且可以通过全球定位系统(GPS)来验证关于当前位置的信息。再例如,一般上下文信息可以包括关于物理运动的信息。例如,关于物理运动的信息可以包括关于步行、跑步、驾驶等的信息。可以通过运动传感器来验证关于物理运动的信息。可以通过感测车辆中的蓝牙连接来验证关于驾驶的信息,以便通过运动传感器验证上车和停车以及验证驾驶。再例如,一般上下文信息可以包括用户活动信息。例如,用户活动信息可以包括关于通勤、购物、旅行等的信息。可以通过使用关于用户或应用在数据库中注册的地点的信息来验证用户活动信息。
[0098] 用户上下文信息可以包括关于用户的信息。例如,用户上下文信息可以包括关于用户的情绪状态的信息。例如,关于用户的情绪状态的信息可以包括关于用户的幸福、悲伤、愤怒等的信息。再例如,用户上下文信息可以包括关于用户的当前状态的信息。例如,关于用户当前状态的信息可以包括关于兴趣、意图等(例如,购物)的信息。
[0099] 设备上下文信息可以包括关于用户终端100的状态的信息。例如,设备上下文信息可以包括关于执行管理器模块153执行的路径规则的信息。再例如,设备信息可以包括关于电池的信息。例如,可以通过电池的充电和放电状态来验证关于电池的信息。再例如,设备信息可以包括关于连接的设备和连接的网络的信息。例如,可以通过与设备连接的通信接口来验证关于所连接的设备的信息。
[0100] 图5示出了根据本公开的实施例的集成智能系统的智能服务器。
[0101] 参考图5,智能服务器200可以包括自动语音识别(ASR)模块210、自然语言理解(NLU)模块220、路径规划器模块230、对话管理器(DM)模块240、自然语言生成器(NLG)模块250或文字转语音(TTS)模块260。
[0102] 智能服务器200的NLU模块220或路径规划器模块230可以生成路径规则。
[0103] 根据实施例,ASR模块210可以将从用户终端100接收的用户输入改变为文本数据。
[0104] 根据实施例,ASR模块210可以将从用户终端100接收的用户输入转换为文本数据。例如,ASR模块210可以包括语音识别模块。语音识别模块可以包括声学模型和语言模型。例如,声学模型可以包括与发声相关联的信息,并且语言模型可以包括单元音素信息和关于单元音素信息的组合的信息。语音识别模块可以通过使用与发声相关联的信息和单位音素信息将用户语音转换为文本数据。例如,关于声学模型和语言模型的信息可以存储在自动语音识别数据库(ASR DB)211中。
[0105] 根据实施例,NLU模块220可以通过执行语法分析或语义分析来领会用户意图。语法分析可以将用户输入划分为语法单元(例如,单词、短语、语素等),并确定所划分的单元具有哪些语法元素。可以通过使用语义匹配、规则匹配、公式匹配等来执行语义分析。这样,NLU模块220可以从用户输入获得域、意图或表达意图所需的参数(或时隙)。
[0106] 根据实施例,NLU模块220可以通过使用匹配规则来确定参数和用户的意图,该匹配规则被划分为域、意图和领会意图所需的参数(或时隙)。例如,一个域(例如,闹铃)可以包括多个意图(例如,闹铃设置、闹铃取消等),并且一个意图可以包括多个参数(例如,时间、迭代次数、闹铃声等)。例如,多个规则可以包括一个或更多个所需的参数。匹配规则可以存储在自然语言理解数据库(NLU DB)221中。
[0107] 根据实施例,NLU模块220可以通过使用诸如语素、短语等的语言特征(例如,语法元素)来领会从用户输入中提取的单词的含义,并且可以将所领会的单词的含义匹配到域和意图,以确定用户意图。例如,出于确定用户意图的目的,NLU模块220可以计算有多少从用户输入中提取的单词被包括在域和意图中的每一者中。根据实施例,NLU模块220可以通过使用基于其来领会意图的单词来确定用户输入的参数。根据实施例,NLU模块220可以通过使用存储用于领会用户输入的意图的语言特征的NLU DB 221来确定用户意图。根据另一个实施例,NLU模块220可以通过使用个人语言模型(PLM)来确定用户意图。例如,NLU模块220可以通过使用个性化信息(例如,联系人列表或音乐列表)来确定用户意图。例如,PLM可以被存储在NLU DB 221中。根据实施例,ASR模块210以及NLU模块220可以参考存储在NLU DB 221中的PLM来识别用户的语音。
[0108] 根据实施例,NLU模块220可以基于参数和用户输入的意图来生成路径规则。例如,NLU模块220可以基于用户输入的意图来选择要执行的应用,并且可以在所选择的应用中确定要执行的动作。NLU模块220可以确定与所确定的动作相对应的参数以生成路径规则。根据实施例,由NLU模块220生成的路径规则可以包括关于要执行的应用、要在应用中执行的动作(例如,至少一个或更多个状态)以及执行该动作所需的参数的信息。
[0109] 根据实施例,NLU模块220可以基于参数和用户输入的意图来生成一个路径规则或多个路径规则。例如,NLU模块220可以从路径规划器模块230接收与用户终端100相对应的路径规则集,并且可以将参数和用户输入的意图映射到所接收的路径规则集以确定路径规则。
[0110] 根据另一个实施例,为了生成一个路径规则或多个路径规则,NLU模块220可以基于参数和用户输入的意图来确定要执行的应用、要在应用中执行的动作以及执行该动作所需的参数。例如,为了生成路径规则,NLU模块220可以根据用户输入的意图,通过使用用户终端100的信息以本体或图形模型的形式来布置要执行的应用和要在应用中执行的动作。例如,可以通过路径规划器模块230将所生成的路径规则存储在路径规则数据库(PR DB)
231中。可以将所生成的路径规则添加到PR DB 231的路径规则集。
[0111] 根据实施例,NLU模块220可以选择所生成的多个路径规则中的至少一个路径规则。例如,NLU模块220可以选择多个路径规则中的最优路径规则。又例如,在基于用户话语仅动作的一部分被指定的情况下,NLU模块220可以选择多个路径规则。NLU模块220可以根据用户的额外输入来确定多个路径规则中的一个路径规则。
[0112] 根据实施例,NLU模块220可以响应于对用户输入的请求而将路径规则发送到用户终端100。例如,NLU模块220可以将与用户输入相对应的一个路径规则发送到用户终端100。再例如,NLU模块220可以将与用户输入相对应的多个路径规则发送到用户终端100。例如,在基于用户话语仅动作的一部分被指定的情况下,可以由NLU模块220生成多个路径规则。
[0113] 根据实施例,路径规划器模块230可以选择多个路径规则中的至少一个路径规则。
[0114] 根据实施例,路径规划器模块230可以将包括多个路径规则的路径规则集发送到NLU模块220。路径规则集的多个路径规则可以以表格形式存储在连接到路径规划器模块230的PR DB 231中。例如,路径规划器模块230可以将与从智能代理151接收到的用户终端
100的信息(例如,OS信息或应用信息)相对应的路径规则集发送到NLU模块220。例如,可以针对每个域或该域的每个版本来存储在PR DB 231中存储的表。
[0115] 根据实施例,路径规划器模块230可以从路径规则集中选择一个路径规则或多个路径规则,以将所选择的一个路径规则或所选择的多个路径规则发送到NLU模块220。例如,路径规划器模块230可以将用户意图和参数匹配到与用户终端100相对应的路径规则集,以选择一个路径规则或多个路径规则,并且可以将所选择的一个路径规则或所选择的多个路径规则发送到NLU模块220。
[0116] 根据实施例,路径规划器模块230可以通过使用用户意图和参数来生成一个路径规则或多个路径规则。例如,为了生成一个路径规则或多个路径规则,路径规划器模块230可以基于用户意图和参数来确定要执行的应用和要在应用中执行的动作。根据实施例,路径规划器模块230可以将所生成的路径规则存储在PR DB 231中。
[0117] 根据实施例,路径规划器模块230可以将由NLU模块220生成的路径规则存储在PR DB 231中。可以将所生成的路径规则添加到存储在PR DB 231中的路径规则集中。
[0118] 根据实施例,存储在PR DB 231中的表可以包括多个路径规则或多个路径规则集。多个路径规则或多个路径规则集可以反映执行每个路径规则的设备的种类、版本、类型或特性。
[0119] 根据实施例,DM模块240可以确定由NLU模块220领会的用户意图是否是明确的。例如,DM模块240可以基于参数的信息是否足够来确定用户意图是否清楚。DM模块240可以确定由NLU模块220领会的参数是否足以执行任务。根据实施例,在用户意图不清楚的情况下,DM模块240可以执行用于向用户请求所需信息的反馈。例如,DM模块240可以执行用于请求关于用于领会用户意图的参数的信息的反馈。
[0120] 根据实施例,DM模块240可以包括内容提供者模块。在内容提供者模块基于由NLU模块220领会的意图和参数来执行动作的情况下,内容提供者模块可以生成通过执行与用户输入相对应的任务而获得的结果。根据实施例,DM模块240可以将由内容提供者模块生成的结果作为针对用户输入的响应而发送到用户终端100。
[0121] 根据实施例,NLG模块250可以将指定的信息改变为文本形式。改变为文本形式的信息可以是自然语言话语的形式。例如,指定的信息可以是关于附加输入的信息、用于指导与用户输入相对应的动作完成的信息或者用于指导用户的附加输入的信息(例如,关于用户输入的反馈信息)。改变为文本形式的信息可以在被发送给用户终端100之后被显示在显示器120中,或者可以在被发送给TTS模块260之后被改变为语音形式。
[0122] 根据实施例,TTS模块260可以将文本形式的信息改变为语音形式的信息。TTS模块260可以从NLG模块250接收文本形式的信息,可以将文本形式的信息改变为语音形式的信息,并且可以将语音形式的信息发送到用户终端100。用户终端100可以将语音形式的信息输出到扬声器130。
[0123] 根据实施例,NLU模块220、路径规划器模块230和DM模块240可以使用一个模块实现。例如,NLU模块220、路径规划器模块230和DM模块240可以使用一个模块实现,可以确定用户意图和参数,并且可以生成与所确定的用户意图和参数相对应的响应(例如,路径规则)。这样,所生成的响应可以被发送到用户终端100。
[0124] 图6示出了根据本公开实施例的路径规划器模块的路径规则生成方法。
[0125] 参考图6,根据实施例,NLU模块220可以将应用的功能划分为任何一个动作(例如,状态A到状态F),并且可以将所划分的单元动作存储在PR DB 231中。例如,NLU模块220可以将被划分为动作(例如,状态)的包括多个路径规则A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F的路径规则集存储在PR DB 231中。
[0126] 根据实施例,路径规划器模块230的PR DB 231可以存储用于执行应用的功能的路径规则集。路径规则集可以包括多个路径规则,每个路径规则都包括多个动作(例如,状态的序列)。根据输入到多个动作中的每个动作的参数执行的动作可以被顺序地布置在多个路径规则中的每个路径规则中。根据实施例,以本体或图形模型的形式实现的多个路径规则可以被存储在PR DB 231中。
[0127] 根据实施例,NLU模块220可以在与参数和用户输入的意图相对应的多个路径规则A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F中选择最佳路径规则A-B1-C3-D-F。
[0128] 根据实施例,在不存在与用户输入完全匹配的路径规则的情况下,NLU模块220可以将多个规则发送到用户终端100。例如,NLU模块220可以选择与用户输入部分对应的路径规则(例如,A-B1)。NLU模块220可以选择包括与用户输入部分对应的路径规则(A-B1)的一个或更多个路径规则(例如,A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F),并且可以将该一个或更多个路径规则发送到用户终端100。
[0129] 根据实施例,NLU模块220可以基于由用户终端100添加的输入来选择多个路径规则中的一个路径规则,并且可以将所选择的一个路径规则发送到用户终端100。例如,NLU模块220可以根据由用户终端100额外输入的用户输入(例如,用于选择C3的输入)来选择多个路径规则(例如,A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)中的一个路径规则(例如,A-B1-C3-D-F),以将所选择的一个路径规则发送到用户终端100。
[0130] 根据另一个实施例,NLU模块220可以确定与用户终端100额外输入的用户输入(例如,用于选择C3的输入)相对应的参数和用户的意图,以用于将用户意图或参数发送到用户终端100。用户终端100可以基于所发送的意图或所发送的参数来选择多个路径规则(例如,A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)中的一个路径规则(例如,A-B1-C3-D-F)。
[0131] 这样,用户终端100可以基于所选择的一个路径规则来完成应用141和143的动作。
[0132] 根据实施例,在智能服务器200接收到信息不足的用户输入的情况下,NLU模块220可以生成与所接收的用户输入部分地相对应的路径规则。例如,NLU模块220可以将部分对应的路径规则发送到智能代理151。智能代理151可以将部分对应的路径规则发送到执行管理器模块153,并且执行管理器模块153可以根据路径规则来执行第一应用141。执行管理器模块153可以在执行第一应用141时将关于参数不足的信息发送到智能代理151。智能代理151可以通过使用关于参数不足的信息来向用户请求附加输入。如果用户接收到附加输入,则智能代理151可以处理附加输入并将其发送到智能服务器200。NLU模块220可以基于额外输入的用户输入的意图和额外输入的参数信息来生成要添加的路径规则,并且可以将要添加的路径规则发送到智能代理151。智能代理151可以将路径规则发送到执行管理器模块
153,并且可以执行第二应用143。
[0133] 根据实施例,在智能服务器200接收到缺失了一部分信息的用户输入的情况下,NLU模块220可以将用户信息请求发送到个人信息服务器300。个人信息服务器300可以将用户输入存储在角色数据库中的用户输入的信息发送到NLU模块220。NLU模块220可以通过使用用户信息来选择与动作的一部分被部分缺失的用户输入相对应的路径规则。这样,即使智能服务器200接收到缺失了一部分信息的用户输入,NLU模块220也可以请求缺失的信息以接收附加输入,或者可以通过使用用户信息来确定与该用户输入相对应的路径规则。
[0134] 根据实施例,下面所附的表1可以指示与用户请求的任务相关联的路径规则的示例性形式。
[0135] 表1
[0136]
[0137] 参考表1,由智能服务器(图1的智能服务器200)根据用户语音(例如,“请分享图片”)生成或选择的路径规则可以包括至少一个状态25、26、27、28、29或30。例如,至少一个状态(例如,终端的一种操作状态)可以对应于如下中的至少一者:图片应用执行PicturesView  25、图片搜索功能执行SearchView 26、搜索结果显示屏幕输出
SearchViewResult  27、搜索结果显示屏幕输出(其中未选择图片)
SearchEmptySelectedView 28、搜索结果显示屏幕输出(其中至少选择了一张图片)SearchSelectedView 29、或共享应用选择屏幕输出CrossShare 30。
[0138] 在实施例中,路径规则的参数信息可以对应于至少一个状态。例如,选择了至少一张图片的搜索结果显示屏幕输出SearchSelectedView 29可以被包括在至少一个状态中。
[0139] 可以根据包括状态25、26、27、28和29的序列的路径规则的执行结果,来执行用户请求的任务(例如“请分享图片!”)。
[0140] 图7示出了根据本公开的实施例的智能服务模块的角色模块管理用户的信息。
[0141] 参考图7,角色模块155b可以从应用141和143、执行管理器模块153或上下文模块155a接收用户终端100的信息。应用141和143以及执行管理器模块153可以将关于通过执行应用的动作141b和143b而获得的结果的信息存储在动作日志数据库中。上下文模块155a可以将关于用户终端100的当前状态的信息存储在上下文数据库中。角色模块155b可以从动作日志数据库或上下文数据库接收所存储的信息。例如,存储在动作日志数据库和上下文数据库中的数据可以通过分析引擎被分析,并且可以被发送到角色模块155b。
[0142] 根据实施例,角色模块155b可以将从应用141和143、执行管理器模块153或上下文模块155a接收的信息发送到建议模块155c。例如,角色模块155b可以将存储在动作日志数据库或上下文数据库中的数据发送到建议模块155c。
[0143] 根据实施例,角色模块155b可以将从应用141和143、执行管理器模块153或上下文模块155a接收的信息发送到个人信息服务器300。例如,角色模块155b可以定期地将累积并存储在动作日志数据库或上下文数据库中的数据发送到个人信息服务器300。
[0144] 根据实施例,角色模块155b可以将存储在动作日志数据库或上下文数据库中的数据发送到建议模块155c。角色模块155b生成的用户信息可以存储在角色数据库中。角色模块155b可以定期地将存储在角色数据库中的用户信息发送到个人信息服务器300。根据实施例,通过角色模块155b发送到个人信息服务器300的信息可以被存储在角色数据库中。个人信息服务器300可以通过使用存储在角色数据库中的信息来推断生成智能服务器200的路径规则所需的用户信息。
[0145] 根据实施例,角色模块155b通过使用所发送的信息来估计的用户信息可以包括配置文件(profile information)信息或偏好信息。可以通过用户的账户和累积的信息来推断配置文件信息或偏好信息。
[0146] 配置文件信息可以包括用户的个人信息。例如,配置文件信息可以包括用户的人口统计信息。例如,人口统计信息可以包括用户的性别、年龄等。再例如,配置文件信息可以包括生活事件信息。例如,可以通过将日志信息与生活事件模型进行比较来估计生活事件信息,并且可以通过分析行为模式来增强生活事件信息。再例如,配置文件信息可以包括感兴趣信息。例如,感兴趣信息可以包括感兴趣的购物项目、感兴趣领域(例如,体育、政治等)。再例如,配置文件信息可以包括活动区域信息。例如,活动区域信息可以包括关于住宅、工作地点等的信息。关于活动区域的信息可以包括关于基于累积的停留时间和访问次数而记录的优先的区域的信息,以及关于地点的位置的信息。再例如,配置文件信息可以包括活动时间信息。例如,活动时间信息可以包括关于睡醒时间、通勤时间、睡眠时间等的信息。可以通过使用活动区域信息(例如,关于住宅和工作地点的信息)来推断关于通勤时间的信息。可以通过用户终端100的未使用时间来推断关于睡眠时间的信息。
[0147] 偏好信息可以包括用户的偏好信息。例如,偏好信息可以包括关于应用偏好的信息。例如,可以通过应用的使用日志(例如,特定时间和地点的使用日志)来推断应用偏好。可以根据用户的当前状态(例如,时间或地点),使用应用偏好来确定要执行的应用。再例如,偏好信息可以包括关于联系人偏好的信息。例如,可以通过分析关于联系人的联系频率(例如,特定时间和地点的联系频率)的信息来推断联系人偏好。可以根据用户的当前状态(例如,重复名称的联系人),使用联系人偏好来确定要联系的联系人。再例如,偏好信息可以包括设置信息。例如,可以通过分析关于特定设置值的设置频率(例如,特定时间和地点的设置设置值的频率)的信息来推断设置信息。可以根据用户的当前状态(例如,时间、地点或状况)使用设置信息来设置特定的设置值。再例如,偏好信息可以包括地点偏好。例如,可以通过特定地点的访问历史(例如,特定时间的访问历史)来推断地点偏好。可以根据用户的当前状态(例如,时间),使用地点偏好来确定要访问的地点。再例如,偏好信息可以包括指令偏好。例如,可以通过指令的使用频率(例如,特定时间和地点的使用频率)来推断指令偏好。可以根据用户的当前状态(例如,时间或地点),使用指令偏好来确定要使用的指令模式。特别地,指令偏好可以包括关于通过分析日志信息而在正在执行的应用的当前状态中由用户最频繁选择的菜单的信息。
[0148] 图8示出了根据实施例的在根据用户终端的状态确定的持续时间内接收用户话语并执行指定操作的方法的流程图。
[0149] 在下文中,假定参考图2描述的用户终端100执行图8的过程。此外,在图8的描述中,应当理解的是,被描述为由用户终端100执行的操作由用户终端100的处理器150控制。
[0150] 替代地,图8的过程可以使用能够由用户终端100的处理器150执行(或运行)的指令来实现。例如,指令可以存储在计算机可读记录介质或图2所示的用户终端100的存储器140中。
[0151] 根据实施例,在操作801之前,处理器150可以接收激活智能系统(或智能应用)的用户输入。
[0152] 根据实施例,用户终端100可以包括触摸屏显示器120或物理按钮中的至少一者。根据实施例,处理器150可以通过触摸屏显示器120或物理按钮来接收激活智能系统的用户输入。
[0153] 例如,处理器150可以通过图3所示的用户终端100的硬件键112接收激活智能系统的用户输入。再例如,处理器150可以在图3中的智能应用的UI 121被显示在显示器120上的状态下接收用户输入以触摸智能应用的UI 121中的语音识别按钮121a以输入语音111b。
[0154] 根据实施例,用户输入可以包括唤醒智能系统的语音输入。
[0155] 例如,在麦克风111被激活的情况下,当通过麦克风111接收到指定的语音输入(例如,您好bixby或醒醒!)时,处理器150可以激活智能系统(例如,图2的智能代理151)。
[0156] 根据实施例,在麦克风111未激活的情况下,处理器150可以响应于用户输入(例如,物理按钮输入)的接收来激活麦克风111以激活智能系统。
[0157] 在操作801中,处理器150可以至少部分地基于用户终端100的状态来确定通过麦克风111接收用户话语的持续时间的至少一部分。根据实施例,持续时间可以包括等待用户话语接收的时间。例如,持续时间可以是从接收到用于激活智能系统的用户输入的时间点到要发送到外部服务器(例如,图2的智能服务器200)的用户话语的接收待机结束的时间点。在实施例中,用户话语的接收待机结束的时间点可以是麦克风111被去激活的时间点或处理器150终止用户话语的接收的时间点。
[0158] 根据实施例,处理器150可以确定持续时间是预定持续时间的默认值(例如,6秒)。根据另一个实施例,处理器150可以至少部分地基于用户终端100的状态来确定持续时间。
[0159] 根据实施例,处理器150可以至少部分地基于用户终端100的状态来确定第一持续时间。根据实施例,第一持续时间可以是从第一用户话语被确定为结束的第一时间点到第二时间点。根据实施例,第二时间点可以是麦克风111被关闭的时间点。
[0160] 根据实施例,用户终端100的状态可以至少部分地与电子设备的当前活动的应用程序、当前活动的技能(skill)、当前活动的聊天机器人或锁定/解锁状态中的至少一个相关联。
[0161] 根据实施例,当前活动的应用程序可以是处理器150当前以前台模式执行的应用程序。根据实施例,当前活动的应用程序可以是与显示器120上当前显示的屏幕相关联的应用程序。根据实施例,当前活动的技能可以是处理器150当前提供的功能。根据实施例,当前活动的聊天机器人可以是智能系统的聊天机器人,并且与该聊天机器人相关联的用户终端100的状态可以包括与该聊天机器人的对话上下文。根据实施例,锁定/解锁状态可以是以指纹认证方案、面部识别方案、数字密码(pin number)方案、密码(password)方案、虹膜认证方案等设置的锁定状态或解锁状态。
[0162] 根据实施例,用户终端100的状态可以至少部分地与当前显示在显示器120上的用户界面相关联。根据实施例,用户界面可以包括至少一个输入框,并且用户终端100的状态可以至少部分地与至少一个输入框中的至少一个输入框相关联。根据实施例,用户终端100的状态可以与至少一个输入框的特征(例如,输入框的长度、输入框是否被填充等)相关联。根据实施例,用户终端100的状态可以与多个输入框之中没有输入值的输入框、激活的输入框或重点输入框的特征相关联。
[0163] 例如,日历应用的用户界面可以包括标题输入框、时间输入框、地点输入框和备注输入框。在实施例中,备注输入框的长度可以比时间输入框的长度更长。在实施例中,处理器150可以确定第一持续时间,使得用于对时间输入框进行输入的第一持续时间短于用于对备注输入框进行输入的第一持续时间。
[0164] 在操作803,处理器150可以通过麦克风111接收第一用户话语。
[0165] 根据实施例,处理器150可以在接收到用户输入之后接收第一用户话语。
[0166] 根据实施例,处理器150可以检测第一用户话语结束时的第一时间点,并且可以使麦克风111从第一时间点到第二时间点保持开启以接收其他话语。换句话说,第一时间点可以是第一用户话语被确定为结束的时间点,并且处理器150可以在第一持续时间内将麦克风111保持在激活状态。
[0167] 根据实施例,处理器150可以基于语音信息来检测用户话语开始的时间点和用户话语结束的时间点。
[0168] 根据实施例,语音信息可以包括声学信号的时间轴特征、频率特征等。例如,语音信息可以包括能够用于语音信号处理的各种特征,诸如过零率、自相关、之间的互相关、相干性、功率、频谱功率、周期性、频谱包络等、或者他们的组合。
[0169] 根据实施例,语音信息可以包括基于时间轴信号或频率信号的统计特征的概率值。
[0170] 根据实施例,语音信息可以包括预测的非语音特征以及语音特征。例如,语音信息可以包括信噪比(SNR)值或SNR值的概率值,该SNR值是估计的语音信号的功率与估计的背景噪声的功率之比。
[0171] 根据实施例,处理器150可以基于语音信息包括的概率值来检测用户话语开始的时间点和用户话语结束的时间点。
[0172] 例如,当语音信息包括的概率值超过临界值时,处理器150可以确定声学信号是语音信号;当概率值小于临界值时,处理器150可以确定声学信号是非语音信号。
[0173] 根据实施例,当声学信号被确定为非语音信号然后被确定为语音信号时,处理器150可以将被确定为语音信号的声学信号的帧确定为用户话语开始的时间点。根据实施例,当声学信号被确定为语音信号然后被确定为非语音信号时,处理器150可以将被确定为非语音信号的声学信号的帧确定为用户话语结束的时间点。
[0174] 根据实施例,当在第一持续时间内接收到作为其他话语的第二用户话语时,处理器150可以检测第二用户话语结束时的第三时间点,并且可以使麦克风111从第三时间点到第四时间点保持开启以接收其他话语。根据实施例,从第三时间点到第四时间点的时间段可以与第一持续时间相同。
[0175] 根据实施例,当第一持续时间流逝且在第一持续时间内没有接收到其他话语时,处理器150可以结束用户话语的接收(或接收待机)。例如,处理器150可以将麦克风111的状态转换为去激活状态。
[0176] 在操作805中,处理器150可以通过通信电路将与第一用户话语相关联的第一数据发送到外部服务器(例如,智能服务器200)。
[0177] 根据实施例,与第一用户话语相关联的第一数据可以是处理器150通过麦克风111接收的语音信号。
[0178] 根据实施例,在第一持续时间内接收到作为其他话语的第二用户话语的情况下,处理器150可以通过通信电路将与第一用户话语和第二用户话语相关联的第一数据发送到外部服务器。
[0179] 在操作807中,处理器150可以通过通信电路从外部服务器接收至少部分基于第一数据生成的第一响应。
[0180] 根据实施例,第一响应可以包括关于用户终端100的状态的序列的信息,以供用户终端100执行任务。
[0181] 根据实施例,处理器150可以通过具有状态的序列来允许用户终端100执行任务。
[0182] 在下文中,参考图9a至图11d描述处理器150至少部分地基于用户终端100的状态来确定第一持续时间的实施例。
[0183] 图9a示出了根据实施例的在用于输入计划表的屏幕中时间输入框为空的状态。图9b示出了根据实施例的在用于输入计划表的屏幕中备注输入框为空的状态的视图。
[0184] 根据实施例,参考图9a和图9b,用于输入计划表的用户界面可以包括计划表的标题输入框911和921、计划表的时间输入框912和922、计划表的地点输入框913和923以及与计划表相关联的备注输入框914和924。
[0185] 根据实施例,如图9a所示,标题输入框911、计划表的时间输入框912、计划表的地点输入框913以及与计划表相关联的备注输入框914之中只有时间输入框912可以是空的。根据实施例,处理器150可以在显示器120上显示用于接收计划表的时间输入框912(该时间输入框912是没有输入值的输入框)的输入值的请求消息915,或者可以通过扬声器130输出请求消息915。
[0186] 根据实施例,如图9b所示,标题输入框921、计划表的时间输入框924、计划表的地点输入框923以及与计划表相关联的备注输入框924之中只有与计划表相关联的备注输入框924可以是空的。根据实施例,处理器150可以在显示器120上显示用于接收与计划表相关联的备注输入框924(该备注输入框924是没有输入值的输入框)的输入值的请求消息925,或者可以通过扬声器130输出请求消息915。
[0187] 根据实施例,计划表的时间输入框912和922的长度可以分别比与计划表相关联的备注输入框914和924的长度短。根据实施例,处理器150可以基于输入框的长度来确定第一持续时间,该第一持续时间从当第一用户话语被确定为结束的第一时间点到第二时间点。
[0188] 在实施例中,处理器150可以确定第一持续时间,使得用于接收时间输入框912的输入值的第一持续时间短于用于接收备注输入框924的输入值的第一持续时间。例如,用于接收时间输入框912的输入值的第一持续时间可以是0.3秒,而用于接收备注输入框924的输入值的第一持续时间可以是0.8秒。
[0189] 根据实施例,处理器150可以确定第一持续时间,使得第一持续时间与输入框的长度成比例。根据实施例,在输入框的长度值比临界值短的情况下,处理器150可以将第一持续时间确定为比预设时间(例如,0.5秒)短的时间(例如,0.3秒)。根据实施例,在输入框的长度值比临界值长的情况下,处理器150可以将第一持续时间确定为比预设时间(例如,0.5秒)长的时间(例如,0.8秒)。
[0190] 根据实施例,在图9a的实施例中,处理器150可以在第一持续时间(例如,0.3秒)之后,结束从语音输入被确定为结束的时间点之后的语音输入的接收(或接收待机)。例如,处理器150可以将麦克风的状态改变为去激活状态。根据实施例,在图9b的实施例中,处理器150可以在第一持续时间(例如,0.8秒)之后,结束从语音输入被确定为结束的时间点之后的语音输入的接收(或接收待机)。
[0191] 图10示出了根据实施例的用于接收选择输入的屏幕。
[0192] 根据实施例,图10示出了当接收到从图库中删除图像的输入时用于询问是否删除图像的消息和选择输入对象1011的屏幕。
[0193] 根据实施例,处理器150可以在显示器120上显示用于接收与是否删除图像相关联的语音输入的询问消息1012。
[0194] 根据实施例,当前活动的应用程序所请求的输入可以是与“删除”和“取消”中的一者相关联的选择输入。根据实施例,处理器150可以基于请求选择输入的应用程序的状态来确定第一持续时间。
[0195] 根据实施例,在当前应用程序所请求的输入是选择输入的情况下,处理器150可以将第一持续时间确定为比预设时间(例如,0.5秒)短的时间(例如,0.2秒)。
[0196] 根据实施例,处理器150可以在所确定的第一持续时间(例如,0.2秒)之后,结束从语音输入被确定为结束的时间点之后的用户话语的接收(或接收待机)。例如,处理器150可以将麦克风的状态改变为去激活状态。
[0197] 图11a示出了根据实施例的显示与在锁定状态下接收的用户话语相对应的文本的屏幕。图11b是示出了根据实施例的用于请求密码输入的屏幕的视图。图11c是示出了根据实施例的在其上输入密码话语的屏幕的视图。图11d是示出了根据实施例的在其上执行根据用户话语的任务的结果屏幕的视图。
[0198] 根据实施例,用户终端100可以被设置到语音密码方案的锁定状态。在实施例中,当接收到设置的语音密码输入时,处理器150可以解锁锁定状态。
[0199] 根据实施例,在接收到用于激活智能系统的用户输入之后,处理器150可以接收表述为“向我展示今天拍摄的图片”的语音命令输入。根据实施例,处理器150可以将语音命令输入与激活智能系统的语音输入一起接收。例如,处理器150可以接收表述为“你好bixby,向我展示今天拍摄的图片”的语音输入。根据实施例,处理器150可以将在锁定屏幕下接收到语音输入的时间点的第一持续时间设置为预定时间。
[0200] 根据实施例,处理器150可以将与所接收的语音输入相关联的数据(例如,语音信号)发送到智能服务器200,并且可以从智能服务器200接收响应。根据实施例,所接收到的响应可以包括与语音命令输入相对应的文本和基于语音命令的路径规则。
[0201] 根据实施例,如图11a所示,处理器150可以显示与语音命令输入相对应的文本1111。
[0202] 根据实施例,由于用户终端100处于锁定状态,所以如图11b所示,处理器150可以显示(或输出)用于接收语音密码输入的消息1121。
[0203] 根据实施例,由锁定状态的用户终端100请求的输入可以是语音密码输入。根据实施例,处理器150可以基于用户终端100的状态来确定请求语音密码输入的第一持续时间。
[0204] 根据实施例,在用户终端100请求的输入是语音密码输入的情况下,处理器150可以将第一持续时间确定为比预设时间(例如,0.5秒)短的时间(例如,0.1秒)。
[0205] 根据实施例,处理器150可以在确定的第一持续时间(例如,0.1秒)之后,结束从语音输入被确定为结束的时间点之后的语音输入的接收(或接收待机)。例如,处理器150可以将麦克风111的状态改变为去激活状态。
[0206] 根据实施例,处理器150可以将与所接收的语音输入相关联的数据(例如,语音信号)发送到智能服务器200,并且可以从智能服务器200接收响应。根据实施例,所接收到的响应可以包括与语音输入相对应的文本(例如,芝麻开)。
[0207] 根据实施例,如图11c所示,处理器150可以显示与密码输入相对应的符号1131。根据实施例,与所显示的密码输入相对应的符号的数目可以是与语音输入相对应的文本中的字符的数目,并且可以使用除了图11c所示的“*”之外,用于显示密码输入的适当符号。根据实施例,处理器150可以显示与密码语音输入相对应的文本。
[0208] 根据实施例,在与所接收到的语音输入相对应的文本与预设语音密码相同或相似的情况下,处理器150可以解锁锁定状态。根据实施例,在锁定状态被解锁之后,处理器150可以基于路径规则执行图库应用,该路径规则是基于语音命令“向我展示今天拍摄的图片”的,并且可以显示如图11d所示的屏幕。
[0209] 在下文中,根据实施例,将描述在用户终端100接收到用于执行任务的一部分参数被缺失的语音命令输入的情况下,用户终端100或智能服务器200确定第一持续时间的实施例。
[0210] 在下文中,假设参考图2描述的用户终端100执行图12a和图12b的过程。另外,在图12a和图12b的描述中,应当理解的是,被描述为由用户终端100执行的操作由用户终端100的处理器150控制。
[0211] 替代地,图12a和图12b的过程可以使用能够由用户终端100的处理器150执行(或运行)的指令来实现。例如,指令可以存储在计算机可读记录介质或图2所示的用户终端100的存储器140中。
[0212] 此外,假设参考图5描述的智能服务器200执行图12a和图12b的过程。根据实施例,智能服务器200可以包括至少一个网络接口、至少一个处理器和至少一个存储器。根据实施例,存储器可以存储至少一个用户终端100的状态的序列,以用于使用用户终端100执行至少一个任务。
[0213] 另外,在图12a和图12b的描述中,应当理解的是,被描述为由智能服务器200执行的操作由智能服务器200的处理器控制。
[0214] 替代地,图12a和图12b的过程可以使用能够由智能服务器200的处理器执行(或运行)的指令来实现。例如,指令可以存储在计算机可读记录介质或智能服务器200的存储器中。
[0215] 图12a示出了根据实施例的在智能服务器200确定接收第二用户话语的持续时间的情况下,用户终端100和智能服务器200的操作的流程图。
[0216] 根据实施例,在操作1211之前,用户终端100的处理器150可以接收激活智能系统(或智能应用)的用户输入。
[0217] 根据实施例,接收激活智能系统的用户输入的操作可以对应于参考图8描述的在操作801之前执行的接收激活智能系统的用户输入的操作。根据实施例,能够被应用于在操作801之前执行的接收激活智能系统的用户输入的操作的实施例可以被应用于在操作1211之前的接收激活智能系统的用户输入的操作。
[0218] 在操作1211中,用户终端100的处理器150可以通过麦克风111接收第一用户话语。根据实施例,第一用户话语可以包括用于至少部分地使用用户终端100来执行任务的请求。
根据实施例,任务可能需要一个或更多个参数,并且第一用户话语可能不包括一个或更多个参数中的全部参数。
[0219] 在操作1213中,用户终端100的处理器150可以将与第一用户话语相关联的数据发送到智能服务器200。根据实施例,与第一用户话语相关联的数据可以包括与第一用户话语相对应的语音信号。
[0220] 在操作1215中,智能服务器200的处理器可以基于与第一用户话语相关联的数据,确定用户终端100的处理器150需要来自用户的第二用户话语来执行任务。
[0221] 根据实施例,智能服务器200的处理器可以确定用户终端100的处理器150执行任务所需的一个或更多个参数中被缺失的参数。根据实施例,智能服务器200的处理器可以确定需要包括被缺失的参数的第二用户话语。
[0222] 在操作1217中,智能服务器200的处理器可以至少部分地基于用户终端100的状态、第一用户话语、或第二用户话语的上下文中的至少一个来确定用户终端100可以接收第二用户话语的持续时间的至少一部分。
[0223] 根据实施例,在智能应用接收与用户对话形式的用户话语以处理用户话语的情况下,智能服务器200的处理器可以根据智能服务器200所需的参数的类型(例如,地址、运输跟踪号、姓名、电话号码等),确定接收第二用户话语的持续时间的至少一部分。
[0224] 根据实施例,智能服务器200的处理器可以至少部分地基于用户终端100的状态、第一用户话语、或第二用户话语的上下文中的至少一个来确定第一持续时间。根据实施例,第一持续时间可以是从通过用户终端100的麦克风接收到的第二用户话语被确定为结束的第一时间点到第二时间点。根据实施例,第二时间点可以是麦克风111被关闭的时间点。
[0225] 根据实施例,用户终端100的状态可以至少部分地与电子设备的当前活动的应用程序、当前活动的技能、当前活动的聊天机器人或锁定/解锁状态中的至少一个相关联。
[0226] 根据实施例,第二用户话语的上下文可以与执行任务所需的一个或更多个参数中被缺失的参数相关联。例如,执行发送文本消息的任务所需的收信人参数和消息内容参数中的收信人参数可能被缺失。在实施例中,第二用户话语的上下文可以与被缺失的收信人参数相关联。
[0227] 根据实施例,智能服务器200的处理器可以基于与第一用户话语相关联的数据来生成响应,以将所生成的响应发送到用户终端100。根据实施例,第二用户话语的上下文可以是用户终端100的处理器150在执行任务时基于响应停止操作的状态。
[0228] 根据实施例,操作1217可以对应于上述操作801,并且能够被应用于操作801的实施例可以被应用于操作1217。
[0229] 在操作1219中,智能服务器200的处理器可以将关于所确定的持续时间的至少一部分的信息发送到用户终端100。
[0230] 根据实施例,关于所确定的持续时间的至少一部分的信息可以包括第一持续时间。
[0231] 根据实施例,智能服务器200的处理器还可以将关于用户终端100的状态的序列的信息发送到用户终端100,该状态的序列允许用户终端100执行任务。
[0232] 根据实施例,智能服务器200的处理器还可以将用于请求包括被缺失的参数的第二用户话语的消息发送到用户终端100。
[0233] 根据实施例,智能服务器200的处理器发送的关于持续时间的至少一部分的信息、关于用户终端100的状态的序列的信息以及用于请求第二用户话语的消息可以对应于针对与第一用户话语相关联的数据传输的响应。
[0234] 在操作1221中,用户终端100的处理器150可以基于持续时间通过麦克风111接收第二用户话语。
[0235] 根据实施例,用户终端100的处理器150可以检测第二用户话语结束时的第一时间点,并且可以使麦克风111从第一时间点到第二时间点保持开启以接收其他话语。换句话说,第一时间点可以是第二用户话语被确定为结束的时间点,并且用户终端100的处理器150可以在第一持续时间内将麦克风111保持在激活状态。
[0236] 根据实施例,当在第一持续时间内接收到作为其他话语的第三用户话语时,用户终端100的处理器150可以检测第三用户话语结束时的第三时间点,并且可以使麦克风111从第三时间点到第四时间点保持开启以接收其他话语。根据实施例,从第三时间点到第四时间点的时间段可以与第一持续时间相同。
[0237] 根据实施例,当在第一持续时间内没有接收到其他话语并且第一持续时间流逝时,用户终端100的处理器150可以结束其他话语的接收(或接收待机)。例如,处理器150可以将麦克风111的状态转换为去激活状态。
[0238] 根据实施例,操作1221可以对应于上述操作803,并且能够被应用于操作803的实施例可以被应用于操作1221。
[0239] 图12b示出了根据实施例的在用户终端100确定接收第二用户话语的持续时间的情况下,用户终端100和智能服务器200的操作的流程图。
[0240] 根据实施例,在操作1261之前,用户终端100的处理器150可以接收激活智能系统(或智能应用)的用户输入。
[0241] 根据实施例,接收激活智能系统的用户输入的操作可以对应于参考图8描述的在操作801之前执行的接收激活智能系统的用户输入的操作。根据实施例,能够被应用于在操作801之前执行的接收激活智能系统的用户输入的操作的实施例可以被应用于在操作1261之前的接收激活智能系统的用户输入的操作。
[0242] 在操作1261中,用户终端100的处理器150可以通过麦克风111接收第一用户话语。根据实施例,第一用户话语可以包括用于至少部分地使用用户终端100来执行任务的请求。
根据实施例,任务可能需要一个或更多个参数,并且第一用户话语可能不包括一个或更多个参数中的全部参数。
[0243] 在操作1263中,用户终端100的处理器150可以将与第一用户话语相关联的数据发送到智能服务器200。根据实施例,与第一用户话语相关联的数据可以包括与第一用户话语相对应的语音信号。
[0244] 在操作1265中,智能服务器200的处理器可以基于与第一用户话语相关联的数据,确定用户终端100的处理器150需要来自用户的第二用户话语来执行任务。
[0245] 根据实施例,智能服务器200的处理器可以确定用户终端100的处理器150执行任务所需的一个或更多个参数中被缺失的参数。根据实施例,智能服务器200的处理器可以确定需要包括缺失的参数的第二用户话语。
[0246] 在操作1267中,智能服务器200的处理器可以将关于第二用户话语的信息发送到用户终端100。
[0247] 根据实施例,第二用户话语的上下文可以与执行任务所需的一个或更多个参数中被缺失的参数相关联。
[0248] 根据实施例,智能服务器200的处理器可以基于与第一用户话语相关联的数据来生成响应,以将所生成的响应发送到用户终端100。根据实施例,第二用户话语的上下文可以是用户终端100的处理器150在执行任务时基于响应停止操作的状态。
[0249] 根据实施例,智能服务器200的处理器还可以将关于用户终端100的状态的序列的信息发送到用户终端100,该状态的序列允许用户终端100执行任务。
[0250] 根据实施例,智能服务器200的处理器还可以将用于请求包括被缺失的参数的第二用户话语的消息发送到用户终端100。
[0251] 根据实施例,智能服务器200的处理器发送的关于持续时间的至少一部分的信息、关于用户终端100的状态的序列的信息以及用于请求第二用户话语的消息可以对应于针对与第一用户话语相关联的数据传输的响应。
[0252] 在操作1269中,用户终端100的处理器150可以至少部分地基于用户终端100的状态、第一用户话语、或第二用户话语的上下文中的至少一个,确定用户终端100可以接收第二用户话语的持续时间的至少一部分。
[0253] 根据实施例,智能服务器200的处理器可以至少部分地基于用户终端100的状态、第一用户话语、或第二用户话语的上下文中的至少一个来确定第一持续时间。根据实施例,第一持续时间可以是从通过用户终端100的麦克风接收到的第二用户话语被确定为结束的第一时间点到第二时间点。根据实施例,第二时间点可以是麦克风111被关闭的时间点。
[0254] 根据实施例,用户终端100的状态可以至少部分地与电子设备的当前活动的应用程序、当前活动的技能、当前活动的聊天机器人或锁定/解锁状态中的至少一个相关联。
[0255] 根据实施例,操作1269可以对应于上述操作801,并且能够被应用于操作801的实施例可以被应用于操作1269。
[0256] 在操作1271中,用户终端100的处理器150可以基于持续时间通过麦克风111接收第二用户话语。
[0257] 根据实施例,操作1271可以对应于上述操作1221,并且能够被应用于操作1221的实施例可以被应用于操作1271。
[0258] 在下文中,将参考图13a至图13d描述在用户终端100接收到用于执行任务的一部分参数被缺失的语音命令输入的情况下,用户终端100或智能服务器200确定第一持续时间的实施例。
[0259] 图13a示出了根据实施例的显示与缺失了某参数的用户话语相对应的文本的屏幕。图13b是示出了根据实施例的显示用于获得缺失的参数的请求消息的屏幕的视图。
[0260] 根据实施例,在接收到用于激活智能系统的用户输入之后,用户终端100的处理器150可以接收表述为“给妈妈发消息”的第一用户话语。
[0261] 根据实施例,第一用户话语可以包括用于至少部分地使用用户终端100来执行发送文本消息的任务的请求。在实施例中,第一用户话语可能会缺失执行发送文本消息的任务所必需的收信人参数和消息内容参数中的消息内容参数。
[0262] 根据实施例,用户终端100的处理器150可以将与所接收的第一用户话语相关联的数据(例如,语音信号)发送到智能服务器200。
[0263] 根据实施例,智能服务器200的处理器可以基于与第一用户话语相关联的数据,确定从用户接收的包括用户终端100的处理器150执行任务所需的消息内容参数的第二用户话语。
[0264] 根据实施例,智能服务器200的处理器可以基于缺失的消息内容参数的特征来确定第一持续时间。根据实施例,消息内容文本可以是100个字符或更多的长文本。根据实施例,基于作为长文本的消息内容参数的特征,智能服务器200的处理器可以将第一持续时间确定为比预设时间(例如,0.5秒)长的时间(例如,1秒)。
[0265] 根据实施例,智能服务器200的处理器可以将关于第一持续时间的信息发送到用户终端100。
[0266] 根据实施例,智能服务器200的处理器还可以将关于用户终端100的状态的序列的信息发送到用户终端100,该状态的序列允许用户终端100执行发送文本消息的任务。
[0267] 根据实施例,智能服务器200的处理器还可以将与第一用户话语相对应的文本和用于请求包括缺失的消息内容参数的第二用户话语的消息发送到用户终端100。
[0268] 根据实施例,用户终端100的处理器150可以在接收第一用户话语的同时将与第一用户话语相关联的数据发送到智能服务器200。根据实施例,即使没有接收到整个第一用户话语,智能服务器200的处理器也可以将与所接收的第一用户话语的至少一部分相对应的文本发送到用户终端100。根据实施例,用户终端100的处理器150可以在显示器120上实时显示与所接收的第一用户话语的至少一部分相对应的文本。
[0269] 根据实施例,如图13a所示,用户终端100的处理器150可以显示与第一用户话语相对应的文本1311。
[0270] 根据实施例,在接收到关于状态的序列的信息和用于请求第二用户话语的消息之后,用户终端100的处理器150可以允许用户终端100具有关于状态的序列的信息,因此可以执行发送文本消息的部分任务。根据实施例,如图13b所示,在执行作为部分任务的输入收信人1321的任务之后,用户终端100的处理器150可以显示用于请求第二用户话语的消息1322。
[0271] 根据实施例,用户终端100的处理器150可以在持续时间内通过麦克风111接收(或等待接收)第二用户话语。
[0272] 根据实施例,用户终端100的处理器150可以检测第二用户话语结束时的第一时间点,并且可以使麦克风111从第一时间点开启保持第一持续时间(例如,1秒),以接收其他话语。根据实施例,当在第一持续时间内接收到作为其他话语的第三用户话语时,用户终端100的处理器150可以检测第三用户话语结束时的第三时间点,并且可以使麦克风111从第三时间点到第四时间点保持开启,以接收其他话语。根据实施例,从第三时间点到第四时间点的时间段可以与第一持续时间相同。
[0273] 根据实施例,在确定需要第二用户话语之后,智能服务器200的处理器还可以向用户终端100发送关于缺失的消息内容参数的特征的信息、关于用户终端100的用于执行发送文本消息的部分任务的状态的序列的信息、与第一用户话语相对应的文本、以及用于请求包括缺失的消息内容参数的第二用户话语的消息。
[0274] 根据实施例,用户终端100的处理器150可以基于缺失的消息内容参数的特征来确定第一持续时间。
[0275] 根据实施例,用户终端100的处理器150可以在基于所确定的第一持续时间的持续时间内经由麦克风111接收第二用户话语。
[0276] 图13c示出了根据实施例的显示与缺失了某参数的用户话语相对应的文本的屏幕。图13d是示出了根据实施例的显示用于获得缺失的参数的请求消息的屏幕的视图。
[0277] 根据实施例,在接收到用于激活智能系统的用户输入之后,用户终端100的处理器150可以接收表述为“发送消息说我迟到了”的第一用户话语。
[0278] 根据实施例,第一用户话语可以包括用于至少部分地使用用户终端100来执行发送文本消息的任务的请求。在实施例中,第一用户话语可能会缺失执行发送文本消息的任务所必需的收信人参数和消息内容参数中的收信人参数。
[0279] 根据实施例,用户终端100的处理器150可以将与所接收的第一用户话语相关联的数据(例如,语音信号)发送到智能服务器200。
[0280] 根据实施例,智能服务器200的处理器可以基于与第一用户话语相关联的数据,确定从用户接收的包括用户终端100的处理器150执行任务所需的消息内容参数的第二用户话语。
[0281] 根据实施例,智能服务器200的处理器可以基于缺失的收信人参数的特征来确定第一持续时间。根据实施例,收信人文本可以是10个字符或更少的文本。根据实施例,基于作为短文本的收信人参数的特征,智能服务器200的处理器可以将第一持续时间确定为比预设时间(例如,0.5秒)短的时间(例如,0.2秒)。
[0282] 根据实施例,智能服务器200的处理器可以将关于第一持续时间的信息发送到用户终端100。
[0283] 根据实施例,智能服务器200的处理器还可以将关于用户终端100的状态的序列的信息发送到用户终端100,该状态的序列允许用户终端100执行发送文本消息的任务。
[0284] 根据实施例,智能服务器200的处理器还可以将与第一用户话语相对应的文本和用于请求包括缺失的收信人参数的第二用户话语的消息发送到用户终端100。
[0285] 根据实施例,用户终端100的处理器150可以在接收第一用户话语的同时将与第一用户话语相关联的数据发送到智能服务器200。根据实施例,即使没有接收到整个第一用户话语,智能服务器200的处理器也可以将与所接收的第一用户话语的至少一部分相对应的文本发送到用户终端100。根据实施例,用户终端100的处理器150可以在显示器120上实时显示与所接收的第一用户话语的至少一部分相对应的文本。
[0286] 根据实施例,如图13c所示,用户终端100的处理器150可以显示与第一用户话语相对应的文本1131。
[0287] 根据实施例,在接收到关于状态的序列的信息和用于请求第二用户话语的消息之后,用户终端100的处理器150可以允许用户终端100具有关于状态的序列的信息,因此可以执行发送文本消息的部分任务。根据实施例,如图13d所示,在执行作为部分任务的搜索收信人的任务之后,用户终端100的处理器150可以显示用于请求第二用户话语的消息1341。
[0288] 根据实施例,用户终端100的处理器150可以在持续时间内通过麦克风111接收第二用户话语。
[0289] 根据实施例,用户终端100的处理器150可以检测第二用户话语结束时的第一时间点,并且可以使麦克风111从第一时间点开启保持第一持续时间(例如,0.2秒),以接收其他话语。根据实施例,当在第一持续时间内接收到作为其他话语的第三用户话语时,用户终端100的处理器150可以检测第三用户话语结束时的第三时间点,并且可以使麦克风111从第三时间点到第四时间点保持开启以接收其他话语。根据实施例,从第三时间点到第四时间点的时间段可以与第一持续时间相同。
[0290] 根据实施例,在确定需要第二用户话语之后,智能服务器200的处理器还可以向用户终端100发送关于缺失的收信人参数的特征的信息、关于用户终端100的用于执行发送文本消息的部分任务的状态的序列的信息、与第一用户话语相对应的文本以及用于请求包括缺失的收信人参数的第二用户话语的消息。
[0291] 根据实施例,用户终端100的处理器150可以基于缺失的收信人参数的特征来确定第一持续时间。
[0292] 根据实施例,用户终端100的处理器150可以在基于所确定的第一持续时间的持续时间内经由麦克风111接收第二用户话语。
[0293] 图14示出了根据各种实施例的在网络环境1400中的电子设备1401。参考图14,电子设备1401(例如,用户终端100)可以在网络环境1400中通过第一网络1498(例如,短程无线通信)与电子设备1402通信,或者可以通过第二网络1499(例如,长距离无线通信)与电子设备1404或服务器1408(例如,智能服务器200)通信。根据实施例,电子设备1401可以通过服务器1408与电子设备1404通信。根据实施例,电子设备1401可以包括处理器1420、存储器1430、输入设备1450、声音输出设备1455、显示设备1460、音频模块1470、传感器模块1476、接口1477、触觉模块1479、相机模块1480、电源管理模块1488、电池1489、通信电路1490、用户识别模块1496和天线1497。根据一些实施例,可以省略电子设备1401的组件中的至少一个组件(例如,显示设备1460或相机模块1480),或者可以向电子设备1401添加其他组件。根据一些实施例,一些组件可以如嵌入在显示设备1460(例如,显示器)中的传感器模块1476(例如,指纹传感器、虹膜传感器或照度传感器)那样被集成和实现。
[0294] 处理器1420(例如,处理器150)可以操作例如软件(例如,程序1440)来控制连接到处理器1420的电子设备1401的至少一个其他组件(例如,硬件或软件组件),并且可以处理和计算各种数据。处理器1420可以将从其他组件(例如,传感器模块1476或通信电路1490)接收的命令集或数据加载到易失性存储器1432中,可以处理加载的命令或数据,并且可以将结果数据存储到非易失性存储器1434中。根据实施例,处理器1420可以包括主处理器1421(例如,中央处理单元或应用处理器)和协同处理器1423(例如,图形处理设备、图像信号处理器、传感器集线器处理器或通信处理器),该协同处理器1423与主处理器1421独立地操作,附加地或替代地使用比主处理器1421少的功率,或者被指定用于指定功能。在这种情况下,协同处理器1423可以与主处理器1421分开地操作或被嵌入。
[0295] 在这种情况下,在主处理器1421处于非活动(例如,睡眠)状态时,协同处理器1423可以代替主处理器1421控制例如与电子设备1401的组件中的至少一个组件(例如,显示设备1460、传感器模块1476或通信电路1490)相关联的功能或状态中的至少一些功能或状态,或者在主处理器1421处于活动(例如,应用执行)状态时,协同处理器1423可以与主处理器1421一起控制例如与电子设备1401的组件中的至少一个组件(例如,显示设备1460、传感器模块1476或通信电路1490)相关联的功能或状态中的至少一些功能或状态。根据实施例,协同处理器1423(例如,图像信号处理器或通信处理器)可以被实现为在功能上与协同处理器
1423相关的另一个组件(例如,相机模块1480或通信电路1490)的一部分。存储器1430可以存储由电子设备1401的至少一个组件(例如,处理器1420或传感器模块1476)使用的各种数据,例如,软件(例如,程序1440)和关于与软件相关联的命令的输入数据或输出数据。存储器1430可以包括易失性存储器1432或非易失性存储器1434。
[0296] 程序1440可以作为软件存储在存储器1430中,并且可以包括例如操作系统1442、中间件1444或应用1446。
[0297] 输入设备1450可以是用于从电子设备1401的外部(例如,用户)接收用于电子设备1401的组件(例如,处理器1420)的命令或数据的设备,并且可以包括例如麦克风、鼠标或键盘。
[0298] 声音输出设备1455可以是用于将声音信号输出到电子设备1401的外部的设备,并且可以包括例如用于通用目的(诸如多媒体播放或录音播放)的扬声器,以及仅用于接收呼叫的接收器。根据实施例,接收器和扬声器可以整体地或分开地实现。
[0299] 显示设备1460可以是用于向用户可视地呈现信息的设备,并且可以包括例如显示器、全息设备或投影仪以及用于控制相应设备的控制电路。根据实施例,显示设备1460可以包括用于测量触摸的压强度的触摸电路或压力传感器
[0300] 音频模块1470可以双向地转换声音和电信号。根据实施例,音频模块1470可以通过输入设备1450获得声音,或者可以通过有线或无线连接到声音输出设备1455或电子设备1401的外部电子设备(例如,电子设备1402(例如,扬声器或耳机))输出声音。
[0301] 传感器模块1476可以生成与电子设备1401的内部工作状态(例如,功率或温度)或外部环境状态相对应的电信号或数据值。传感器模块1476可以包括例如姿势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器颜色传感器、红外传感器、生物传感器、温度传感器、湿度传感器或照度传感器。
[0302] 接口1477可以支持有线或无线连接到外部电子设备(例如,电子设备1402)的指定协议。根据实施例,接口1477可以包括例如HDMI(高清多媒体接口)、USB(通用串行总线)接口、SD卡接口或音频接口。
[0303] 连接端子1478可以包括将电子设备1401物理地连接到外部电子设备(例如,电子设备1402)的连接器,例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如,耳机连接器)。
[0304] 触觉模块1479可以将电信号转换成用户通过触觉或运动感觉来感知的机械刺激(例如,振动或运动)或电刺激。触觉模块1479可以包括例如电机、压电元件或电刺激器。
[0305] 相机模块1480可以拍摄静止图像或视频图像。根据实施例,相机模块1480可以包括例如至少一个透镜、图像传感器、图像信号处理器或闪光灯
[0306] 电源管理模块1488可以是用于管理供应给电子设备1401的电力的模块,并且可以用作电源管理集成电路(PMIC)的至少一部分。
[0307] 电池1489可以是用于向电子设备1401的至少一个组件供电的设备,并且可以包括例如不可充电(一次)电池、可充电(二次)电池或燃料电池。
[0308] 通信电路1490可以在电子设备1401与外部电子设备(例如,电子设备1402、电子设备1404或服务器1408)之间建立有线或无线通信信道,并通过所建立的通信信道支持通信执行。通信电路1490可以包括独立于处理器1420(例如,应用处理器)操作并支持有线通信或无线通信的至少一个通信处理器。根据实施例,通信电路1490可以包括无线通信电路1492(例如,蜂窝通信电路、短程无线通信电路或GNSS(全球导航卫星系统)通信电路)或有线通信电路1494(例如,LAN(局域网)通信电路或电力线通信电路),并且可以通过第一网络
1498(例如,诸如蓝牙、WiFi直连或IrDA(红外数据协会)的短程通信网络)或第二网络1499(例如,诸如蜂窝网络、互联网或计算机网络(例如,LAN或WAN)的长距离无线通信网络),使用第一网络1498和第二网络1499之中的相应通信电路与外部电子设备进行通信。上述各种通信电路1490可以被实现为一个芯片或分别被实现为分离的芯片。
[0309] 根据实施例,无线通信电路1492可以使用通信网络中的用户识别模块1496中存储的用户信息来识别和认证电子设备1401。
[0310] 天线1497可以包括一个或更多个天线,以向外部源发送信号或电力或者从外部源接收信号或电力。根据实施例,通信电路1490(例如,无线通信电路1492)可以通过适合于通信方法的天线向外部电子设备发送信号或从外部电子设备接收信号。
[0311] 组件中的某些组件可以通过在外围设备之间使用的通信方法(例如,总线、GPIO(通用输入/输出)、SPI(串行外围接口)或MIPI(移动行业处理器接口))相互连接,以相互交换信号(例如,命令或数据)。
[0312] 根据实施例,可以通过连接到第二网络1499的服务器1408在电子设备1401和外部电子设备1404之间发送或接收命令或数据。电子设备1402和1404中的每个电子设备的类型可以与电子设备1401相同或不同。根据实施例,由电子设备1401执行的全部或一些操作可以由另一个电子设备或多个外部电子设备执行。当电子设备1401自动或通过请求执行某些功能或服务时,除了电子设备1401自身执行功能或服务之外,或者作为电子设备1401自身执行功能或服务的替代,电子设备1401可以请求外部电子设备执行与该功能或服务相关的功能中的至少一些。接收到请求的外部电子设备可以执行所请求的功能或附加功能,并将结果发送到电子设备1401。电子设备1401可以基于所接收到的结果按原样或在附加地处理所接收到的结果之后提供所请求的功能或服务。为此,例如,可以使用计算、分布式计算或客户端-服务器计算技术。
[0313] 根据本公开的实施例,电子设备可以包括:壳体;扬声器,所述扬声器位于所述壳体的第一部分;麦克风,所述麦克风位于所述壳体的第二部分;通信电路,所述通信电路位于所述壳体中或附连到所述壳体;处理器,所述处理器位于所述壳体中并可操作地连接到所述扬声器、所述麦克风和所述通信电路;以及存储器,所述存储器位于所述壳体中并可操作地连接到所述处理器。所述存储器可以存储有指令,所述指令在被执行时使所述处理器:接收激活智能系统的用户输入;至少部分地基于所述电子设备的状态,确定通过所述麦克风接收用户话语的持续时间的至少一部分;在接收到所述用户输入之后,通过所述麦克风接收第一用户话语;通过所述通信电路将与所述第一用户话语相关联的第一数据发送到外部服务器;并且通过所述通信电路从所述外部服务器接收第一响应。所述第一响应可以是至少部分地基于所述第一数据而生成的。
[0314] 在实施例中,所述指令可以使处理器:在接收到所述用户输入之后,检测所述第一用户话语结束的第一时间点;以及在从所述第一时间点到第二时间点的第一持续时间内保持所述麦克风开启,以便接收其他话语。
[0315] 在实施例中,所述指令可以使所述处理器:当在所述第一持续时间内接收到作为所述其他话语的第二用户话语时,检测所述第二用户话语结束的第三时间点;以及在从第三时间点开始的与第一持续时间相同的时间段内保持所述麦克风开启以接收所述其他话语。
[0316] 在实施例中,所述指令可以使所述处理器至少部分地基于所述电子设备的状态来确定所述第一持续时间。
[0317] 在实施例中,所述电子设备的状态可以至少部分地与所述电子设备的当前活动的应用程序、当前活动的技能、当前活动的聊天机器人或锁定/解锁状态中的至少一个相关联。
[0318] 在实施例中,所述电子设备还可以包括通过所述壳体暴露的显示器。所述电子设备的状态可以至少部分地与当前显示在所述显示器上的用户界面相关联。
[0319] 在实施例中,所述用户界面可以包括至少一个输入框,并且其中,所述电子设备的状态可以至少部分地与所述至少一个输入框中的至少一个输入框相关联。
[0320] 在实施例中,所述第一持续时间可以与所述至少一个输入框的长度成比例。
[0321] 在实施例中,所述用户输入可以包括唤醒所述智能系统的语音输入。
[0322] 在实施例中,所述电子设备还可以包括触摸屏显示器和/或物理按钮,并且可以通过所述显示器和/或所述按钮中的至少一者来接收所述用户输入。
[0323] 根据本公开的实施例,电子设备可以包括:壳体;扬声器,所述扬声器位于所述壳体的第一部分;麦克风,所述麦克风位于所述壳体的第二部分;通信电路,所述通信电路位于所述壳体中或附连到所述壳体;处理器,所述处理器位于所述壳体中并可操作地连接到所述扬声器、所述麦克风和所述通信电路;以及存储器,所述存储器位于所述壳体中并可操作地连接到所述处理器。所述存储器可以存储有指令,所述指令在被执行时使所述处理器:通过所述麦克风接收第一用户话语;通过所述通信电路将与所述第一用户话语相关联的第一数据发送到外部服务器;通过所述通信电路从所述外部服务器接收关于第二用户话语的上下文的信息,以获得执行所述任务所需的参数;至少部分地基于所述电子设备的状态、所述第一用户话语、或所述第二用户话语的所述上下文中的至少一个来确定接收所述第二用户话语的持续时间的至少一部分;以及在所述持续时间内保持所述麦克风开启,使所述电子设备处于通过所述麦克风接收话语的状态。所述第一用户话语可以包括用于执行任务的请求,所述任务至少部分地使用所述电子设备并且需要用于执行的一个或更多个参数,并且所述第一用户话语可以不包括所述一个或更多个参数中的全部参数;
[0324] 在实施例中,所述指令可以使处理器:至少部分地基于所述电子设备的状态、所述第一用户话语、或所述第二用户话语的所述上下文中的至少一个来确定第一持续时间;检测所述第二用户话语结束的第一时间点;以及在从所述第一时间点到第二时间点的所述第一持续时间内保持所述麦克风开启,以接收其他话语,使所述电子设备处于接收其他话语的状态。
[0325] 在实施例中,所述电子设备的状态可以至少部分地与所述电子设备的当前活动的应用程序、当前活动的技能、当前活动的聊天机器人或锁定/解锁状态中的至少一个相关联。
[0326] 在实施例中,所述电子设备还可以包括通过所述壳体暴露的显示器。所述电子设备的状态可以至少部分地与当前显示在所述显示器上的用户界面相关联。
[0327] 在实施例中,所述用户界面包括至少一个输入框,并且所述电子设备的状态至少部分地与所述至少一个输入框中的至少一个输入框相关联。
[0328] 根据本公开的实施例,系统可以包括:至少一个网络接口;可操作地连接到所述网络接口的至少一个处理器;以及可操作地连接到所述处理器的至少一个存储器。存储器可以存储至少一个外部电子设备的状态的序列以执行至少一个任务。存储器还可以存储有指令,该指令在被执行时使处理器:接收与经由包括麦克风的外部电子设备提供的第一用户话语相关联的第一数据;确定需要来自用户的第二用户话语来执行任务;至少部分地基于外部电子设备的状态、第一用户话语、和/或第二用户话语的上下文,来确定经由外部电子设备接收第二用户话语的持续时间的至少一部分;以及将关于该持续时间的至少一部分的信息提供给外部电子设备,使外部电子设备处于在该持续时间内经由麦克风接收话语的状态。第一用户话语可以包括至少部分地使用外部电子设备来执行任务的请求。
[0329] 在实施例中,外部电子设备可以被配置为:检测来自用户的第二用户话语结束的第一时间点,以及在从第一时间点到第二时间点的第一持续时间内保持麦克风开启,以接收其他话语,并且所述指令可以使处理器至少部分地基于外部电子设备的状态、第一用户话语、和/或第二用户话语的上下文来确定第一持续时间。
[0330] 在实施例中,外部电子设备的状态可以至少部分地与外部电子设备的当前活动的应用程序、当前活动的技能、当前活动的聊天机器人或锁定/解锁状态中的至少一个相关联。
[0331] 在实施例中,外部电子设备还可以包括显示器。外部电子设备的状态可以至少部分地与当前显示在显示器上的用户界面相关联。
[0332] 在实施例中,用户界面可以包括至少一个输入框,并且外部电子设备的状态可以至少部分地与至少一个输入框中的至少一个输入框相关联。
[0333] 根据本公开中公开的各种实施例的电子设备可以是各种类型的设备。该电子设备可以包括例如便携式通信设备(例如,智能电话)、计算机设备、便携式多媒体设备、移动医疗设备、相机、可穿戴设备或家用电器中的至少一种。根据本公开的实施例的电子设备不应限于上述设备。
[0334] 应当理解的是,本公开的各种实施例和在实施例中使用的术语并不旨在将本公开中公开的技术限制为本文中公开的特定形式;相反,本公开应当被解释为覆盖本公开的实施例的各种修改、等同形式和/或替代。关于附图的描述,相似的组件可以被分配相似的附图标记。如本文所使用的,单数形式也可以包括复数形式,除非上下文另外明确指出。在本文公开的本公开中,本文所使用的表述“A或B”、“A或/和B中的至少一个”、“A、B或C”或“A、B或/和C中的一个或更多个”等可以包括一个或更多个相关联的所列项目的任何和所有组合。在本文中使用的表述“第一”、“第二”、“所述第一”或“所述第二”可以指代各种组件,而与顺序和/或重要性无关,但是不限制相应的组件。以上表述仅用于将组件与其他组件区分开的目的。应当理解的是,当组件(例如,第一组件)被称为(可操作地或通信地)“连接”或“耦接”到另一个组件(例如,第二组件)时,他可以直接连接或直接耦接到另一个组件或可以在他们之间插入任何其他组件(例如,第三组件)。
[0335] 这里使用的术语“模块”可以表示例如包括硬件、软件和固件的一个或更多个组合的单元。术语“模块”可以与术语“逻辑”、“逻辑块”、“部件”和“电路”互换使用。“模块”可以是集成部件的最小单元,也可以是集成部件的一部分。“模块”可以是用于执行一个或更多个功能或其一部分的最小单元。例如,“模块”可以包括专用集成电路(ASIC)。
[0336] 本公开的各种实施例可以由包括存储在由机器(例如,计算机)可读的机器可读存储介质(例如,内部存储器1436或外部存储器1438)中的指令的软件(例如,程序1440)来实现。机器可以是从机器可读存储介质调用指令并根据所调用的指令进行操作的设备,并且可以包括电子设备(例如,电子设备1401)。当指令由处理器(例如,处理器1420)执行时,处理器可以直接执行与该指令相对应的功能,或者在处理器的控制下使用其他组件来执行与该指令相对应的功能。该指令可以包括由编译器或解释器生成或执行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。这里,与对数据存储持久性的限制不同,本文所使用的术语“非暂时性”是对介质本身的限制(即,有形的、不是信号)。
[0337] 根据实施例,根据本公开中公开的各种实施例的方法可以被提供为计算机程序产品的一部分。计算机程序产品可以作为产品在买卖双方之间进行交易。该计算机程序产品可以以机器可读存储介质(例如,光盘只读存储器(CD-ROM))的形式分发,或者可以仅通过应用商店(例如, )分发。在在线分发的情况下,计算机程序产品的至少一部分可以被临时存储或生成在存储介质中,诸如制造商的服务器、应用商店的服务器或中继服务器的存储器。
[0338] 根据各种实施例的每个组件(例如,模块或程序)可以包括上述组件中的至少一个,并且可以省略上述子组件的一部分,或者还可以包括其他子组件。替代地或附加地,一些组件(例如,模块或程序)可以被集成在一个组件中,并且可以执行与在集成之前由每个相应组件执行的功能相同或相似的功能。根据本公开的各种实施例的由模块、程序或其他组件执行的操作可以顺序地、并行地、重复地或以启发式方法来执行。而且,至少一些操作可以以不同的顺序执行,可以被省略,或者可以添加其他操作。
[0339] 尽管已经参考本公开的各种实施例示出和描述了本公开,但是本领域技术人员将理解的是,在不脱离由所附权利要求及其等同形式限定的本公开的精神和范围的情况下,可以在形式和细节上进行各种改变。
[0340] 尽管已经用各种实施例描述了本公开,但是可以向本领域技术人员建议各种改变和修改。本公开旨在涵盖落入所附权利要求的范围内的这种改变和修改。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈