用于多个搜索机器人和行为机器人的计算体系架构以及相关的设备和方法
阅读：892发布：2020-05-08
专利汇可以提供用于多个搜索机器人和行为机器人的计算体系架构以及相关的设备和方法专利检索，专利查询，专利分析的服务。并且对于许多计算系统来说，要生成的数据量和种类变得太极端，以至于信息系统向用户提供相关数据变得更加困难。提供了一种分布式计算系统，该分布式计算系统包括形成数据使能平台的 服务器 机器。该平台包括：多个数据收集器，通过消息总线将数据 流式传输 到流分析和 机器学习 引擎；数据湖和海量索引库，分别用于存储和索引数据；行为分析和机器学习模 块 ；以及多个应用程序 接口 (API)，与数据湖和海量索引库进行交互，并与多个应用进行交互。所述多个应用是命令卡，每个命令卡包括至少在数据使能平台中操作的指令模块、 存储器 模块、搜索 机器人 和行为机器人。，下面是用于多个搜索机器人和行为机器人的计算体系架构以及相关的设备和方法专利的具体信息内容。
1.一种分布式计算系统，包括形成数据使能平台的服务器机器，所述数据使能平台包括：
多个数据收集器，其通过消息总线将数据流式传输到流分析和机器学习引擎；
数据湖和海量索引库，分别用于存储和索引数据；
行为分析和机器学习模块；
多个应用程序接口(API)，用于与所述数据湖和所述海量索引库进行交互，并与多个应用进行交互；
其中所述多个应用包括多个命令卡，并且给定的命令卡是特定于给定用户的，并且所述给定的命令卡包括存储给定指令的指令模块、存储器模块、搜索与所述给定指令相关的数据的一个或多个搜索机器人、以及根据所述给定用户的一个或多个行为属性来处理由所述一个或多个搜索机器人获得的数据的一个或多个行为机器人。
2.如权利要求1所述的计算系统，其中所述一个或多个行为机器人将一个或多个人工限制应用于由所述一个或多个搜索机器人获得的数据，并且所述一个或多个人工限制与所述给定用户的所述一个或多个行为属性相关联。
3.如权利要求1所述的计算系统，其中所述一个或多个行为机器人将来自不同主题的数据与由所述一个或多个搜索机器人获得的数据组合，并且所述来自不同主题的数据与所述给定用户的所述一个或多个行为属性相关联。
4.如权利要求1所述的计算系统，其中所述一个或多个搜索机器人在考虑与所述给定指令相关的一个或多个准则的情况下搜索与所述给定指令相关的数据；以及所述一个或多个行为机器人评估由所述搜索机器人获得的数据的一个或多个属性；其中所述数据的所述一个或多个属性与所述给定指令无关，并且与所述给定用户的所述一个或多个行为属性相关联。
5.如权利要求4所述的计算系统，其中根据所述一个或多个属性对由所述搜索机器人获得的数据进行排名。
6.如权利要求1所述的计算系统，其中所述一个或多个行为机器人以响应于所述给定用户的当前行为属性的语音生成由所述一个或多个搜索机器人获得的数据的语音表示。
7.如权利要求6所述的计算系统，其中，如果检测到所述给定用户处于悲伤情绪或激动情绪，那么所述一个或多个行为机器人以愉悦的声音生成语音表示。
8.如权利要求6所述的计算系统，其中，如果检测到所述给定用户处于悲伤情绪或激动情绪，那么所述一个或多个行为机器人以给定用户熟悉的语音生成语音表示。
9.如权利要求6所述的计算系统，其中，如果检测到所述给定用户处于忙碌或注意力集中的情绪，那么所述一个或多个行为机器人以中性语音生成语音表示。
10.如权利要求6所述的计算系统，其中，如果检测到所述给定用户处于忙碌或注意力集中的情绪，那么所述一个或多个行为机器人以快速说出的单词生成语音表示。
11.如权利要求6所述的计算系统，还包括一个或多个合成语音库，其中所述一个或多个合成语音库中的每一个合成语音库包括一个或多个对应的人的语音参数特征，并且所述一个或多个行为机器人选择所述合成语音库中的至少一个合成语音库以生成所述语音表示。
12.如权利要求11所述的计算系统，其中所述语音参数特征包括以下中的两个或更多个：音调；频率；响度；单词或短语被说出的速率；语音读音；词汇；句法；发声；节律；以及旋律。
13.如权利要求1所述的计算系统，其中，在所述给定命令卡中，存在多个搜索机器人，每个搜索机器人被指派给不同的数据源，并且所述多个搜索机器人全部搜索与所述给定命令卡的所述给定指令相关的数据。
14.如权利要求1所述的计算系统，其中所述多个数据收集器包括来自所述多个命令卡的多个搜索机器人，并且每个搜索机器人生成分离且并行的数据流。
15.如权利要求1所述的计算系统，其中所述流分析和机器学习引擎包括来自所述多个命令卡的多个搜索机器人，并且每个搜索机器人生成并行的数据流。
16.如权利要求15所述的计算系统，其中第一搜索机器人具有用于对从第一数据源收集的数据进行处理的第一组流分析模块，并且第二搜索机器人具有用于对从第二数据源收集的数据进行处理的第二组流分析模块。
17.如权利要求1所述的计算系统，其中所述行为分析和机器学习模块包括多个行为机器人，所述多个行为机器人监视经由用户界面的用户交互数据，并进一步处理所述数据以获得个性化数据。
18.如权利要求17所述的计算系统，其中在所述数据湖和所述海量索引库上预配置所述给定命令卡的所述存储器模块，并且所述个性化数据被存储在所述给定命令卡的所述存储器模块中。
19.如权利要求17所述的计算系统，其中链接至源数据的数据链接以及所述个性化数据的数据摘要被存储在所述给定命令卡的所述存储器模块中。
20.如权利要求1所述的计算系统，其中通过处理所述给定用户的言语数据来获得所述给定指令。
21.如权利要求20所述的计算系统，其中所述言语数据是从通过检测所述给定用户的语音的麦克风所记录的数据得出的。
22.如权利要求20所述的计算系统，其中所述言语数据是从通过所述给定用户身上的脑信号传感器、肌肉信号传感器和神经信号传感器中的至少一个所记录的数据得出的。
23.如权利要求1所述的计算系统，其中所述给定用户的所述一个或多个行为属性是从通过使用所述给定用户身上的脑信号传感器、肌肉信号传感器和神经信号传感器中的至少一个获得的用户数据得出的。
24.如权利要求1所述的计算系统，其中所述给定用户的所述一个或多个行为属性是从通过使用至少麦克风获得的用户数据得出的。
25.如权利要求1所述的计算系统，其中所述给定用户的所述一个或多个行为属性是从通过使用至少相机获得的用户数据得出的。
用于多个搜索机器人和行为机器人的计算体系架构以及相关
的设备和方法
[0001] 相关申请的交叉引用
[0002] 本专利申请要求于2017年8月21日提交的标题为“Computing Architecture For Multiple Search Bots And Behavior Bots And Related Devices And Methods(用于多个搜索机器人和行为机器人的计算体系架构以及相关的设备和方法)”美国临时专利申请No.62/548,173的优先权，该申请的全部内容通过引用并入本文。
技术领域
[0003] 在一方面，以下内容一般而言涉及用于多个搜索机器人(Search Bot)和行为机器人(Behavior Bot)处理来自许多不同数据源的大量数据的计算体系架构。在另一方面，以下内容一般而言涉及用于处理数据和输出用户界面内容的用户设备以及相关的计算体系架构和方法，所述用户界面内容包括但不限于音频内容或视觉内容，或两者。
背景技术
[0004] 我们的信息时代正在变得越来越复杂。在“大数据”领域中，数据量越来越大、数据种类越来越多，并且数据速度越来越快。在使用大多数计算系统时，要搜索的数据太多，并且正在创建太多数据以至于计算系统无法跟上。
[0005] 数据源的数量和种类也在增长。互联网用户、社交网站、公司、第三方数据公司、物联网(IoT)设备以及企业系统都在生成数据。即使在社交媒体数据的范畴内，也存在许多类型的数据格式、许多数据源以及许多不同的数据含义。即使在来自IoT设备的数据类别中，也存在许多类型的数据格式、许多数据源以及许多不同的数据含义。这种庞大的数据复杂性，并且其将继续增长，导致“极端数据”(XD)的状态。
[0006] Web爬虫技术，也被称为互联网机器人或搜索引擎机器人，对来自各种网站的数据进行索引。但是，这种技术专注于网站数据源，并且没有考虑极端数据。
[0008] 现在将参考附图仅通过示例的方式来描述实施例，其中：
[0009] 图1是示例计算体系架构的示意图，该示例计算体系架构用于经由用户设备摄取用户数据，并使用数据使能平台提供大数据计算和机器学习。
[0010] 图2是另一个示意图，示出了图1中的计算体系架构的另一种表示。
[0011] 图3是与相应用户设备通信的口头通信设备(OCD)的示意图，这些用户设备进而与数据使能平台通信。
[0012] 图4A是示出在会议中使用的OCD以及示出各种设备与数据使能平台之间的数据连接的示意图。
[0014] 图5是示出OCD的示例部件的框图。
[0015] 图6是示出用于命令卡的示例软件体系架构的示意图。
[0016] 图7是示出给定命令卡的软件部件之间的示例数据流的流程图。
[0017] 图8和9是示出用于数据使能平台的示例计算体系架构的示意图，该数据使能平台包括支持并行化的搜索机器人和并行化的行为机器人。
[0018] 图10A和10B是示出被用于使用团队命令卡来协调多个命令卡的示例软件体系架构的框图。
[0019] 图11是驻留在用户设备和数据使能平台上的示例软件模块的框图。
[0021] 图14是示例可执行指令的流程图，该示例可执行指令用于将命令卡与数据使能平台一起使用以提供针对给定指令的相关信息。
[0022] 图15是示出搜索机器人和行为机器人之间的数据流的另一个流程图。
[0023] 图16是用于使用数据使能平台监视给定主题的示例可执行指令的流程图。
[0024] 图17是用于使用数据使能平台监视给定主题(包括既使用内部数据又使用外部数据)的示例可执行指令的流程图。
[0026] 图19是用于使用数据使能平台从语音数据和相关联的背景噪声中提取数据特征的示例可执行指令的流程图。
[0027] 图20是用于使用数据使能平台向用户设备提供有意义的交互数据的示例可执行指令的流程图。
[0029] 图22是基于DSP的语音合成器所使用的硬件系统的示例实施例。
具体实施方式
[0030] 将认识到的是，为了图示的简单和清楚，在被认为适当的情况下，附图标记可以在附图之间重复以指示对应或相似的元件。此外，阐述了众多具体细节以便提供对本文描述的示例实施例的透彻理解。但是，本领域普通技术人员将理解的是，可以在没有这些具体细节的情况下实践本文描述的示例实施例。在其它情况下，未详细描述众所周知的方法、过程和部件，以免模糊本文所述的示例实施例。而且，本描述不应被认为是对本文描述的示例实施例的范围的限制。
[0031] 在本文应认识到的是，期望处理数据以提供相关或有意义的结果。应认识到的是，现有计算系统还存在许多技术挑战。
[0032] 特别地，在本文应认识到的是，用于信息系统的典型计算体系架构和软件程序仅限于摄取有限类型的数据，并且通常从少量数据源摄取。通常，这些类型的数据基于内部数据库。但是，在本文应认识到的是，存在可以被使用和处理以向人提供有趣数据的更多类型的数据以及来自不同数据源的数据。应认识到的是，利用极端数据可提供更多相关的数据。例如，应认识到的是，数据源可以包括但不限于以下任何一个或多个：来自IoT设备、各种报纸服务器、各种企业软件系统、各种电视频道、各种无线电网络、各种杂志服务器、社交数据网络和相关平台、内部数据库的数据，经由个人用户设备、证券交易所平台、博客、第三方搜索引擎获得的数据等。从这些示例源中可以认识到的是，数据的类型是变化的，并且数据可以不断更新。
[0033] 还应认识到的是，典型的信息系统在技术上不适合有效地处理极端数据，或者换句话说，其被设计为通常处理来自选定少数几个数据源的数据。处理极端数据的技术挑战之一包括能够实时或接近实时地处理许多不同类型的数据。另一个技术挑战是存储和组织极端数据需要大量存储器资源和处理资源(例如，硬件和软件两者)。
[0034] 此外，在本文应认识到的是，拥有极端数据本身并不提供相关或有意义的信息，这是信息系统的目的。在本文应认识到的是，难以从所获得的极端数据中识别有意义的数据。当不同的用户希望从信息系统中获得不同的有意义的信息时，技术挑战进一步复杂化。例如，第一用户希望使用信息系统获得关于第一事物、特征、人或概念等的有意义的信息，而第二用户试图使用相同的信息系统来获得关于第二事物、特征、人或概念等的有意义的信息。第一用户和第二用户所寻求的信息的类型越存在差异，要建立有效信息系统来容纳这些类型的信息就越具有技术挑战性。因此，当前，许多组织使用并依赖许多不同的信息系统，每个信息系统通常集中于一种或两种类型的信息。建立信息系统的技术挑战进一步增加了大量用户的困难。
[0035] 在本文应认识到的是，不仅当前的计算体系架构不足以处理极端数据，而且当前的前端计算系统(例如，用户界面软件和设备)也受到限制。例如，在许多当前的信息系统中，用户通常经由诸如物理键盘或触摸屏键盘将文本数据键入预定义的字段。这些预定义的输入字段和输入GUI使用更典型的计算软件进行处理。在本文应认识到的是，这种方法固有地忽略了利用可用于各种数据源的数据的多样性和量，这些数据源可能具有不符合预定义的输入表单和输入GUI的数据类型和数据格式。
[0036] 在本文应认识到的是，人们常常以非预定义的模式思考、交谈和行动。换句话说，人的思考过程或人与人之间的对话通常不遵循预定义的GUI和预定义的输入表单。使用现有的GUI，人将需要从对话中提取其注释(note)，并将提取出的信息部分输入到预定义的GUI和输入表单中。当许多人开会时，这个过程将变得更加繁琐和复杂，并且人必须识别相关的信息以键入预定义的GUI或预定义的输入表单中。这种数据输入过程不仅效率低下，而且该技术固有地忽略了来自个人想法、对话、会议或其组合的其它数据。换句话说，当前的信息技术无法识别用户行为的价值。当前的信息技术也不收集与用户行为相关的数据、对其进行处理，并将已理解的行为应用于整个信息系统。
[0037] 此外，在本文应认识到的是，针对用户使用当前的搜索界面，人需要花费时间和精力来将正确的搜索项输入到由信息系统提供的预定义的GUI中、分析结果并做出关于分析结果的决定。在本文应认识到的是，如果信息系统可以向用户提供用户问题的一个或多个答案，那么信息系统将更加有效。
[0038] 因此，本文描述了计算体系架构、计算功能和设备以解决上述技术挑战中的一个或多个。
[0039] 在示例实施例中，提供了一种计算系统，其包括数据使能平台，该数据使能平台包括通过数据网络彼此通信的多个计算机器。该计算系统还包括用户设备，该用户设备包括用于接收用户输入以生成命令卡的用户界面。与命令卡相关联的，包括表示指令的数据、多个搜索机器人、多个行为机器人、存储器模块和用户界面模块。多个搜索机器人驻留在数据使能平台上。每一个搜索机器人搜索特定于命令卡的同一指令的数据，但每个搜索机器人也特定于不同的数据源。换句话说，第一搜索机器人搜索第一数据源，而第二搜索机器人搜索第二数据源。搜索机器人使用分布式流分析(Streaming Analytics)计算平台处理来自其相应数据源的数据。例如，与和第二数据源相关联的第二搜索机器人相比，第一搜索机器人使用不同的计算集来处理来自第一数据源的数据。然后，来自搜索机器人的结果由行为机器人处理。
[0040] 行为机器人也驻留在数据使能平台上，并与命令卡的用户界面模块进行交互。行为机器人从用户界面模块接收用户交互数据，并使用数据科学和机器学习对其进行处理，以识别不同的行为属性。行为机器人处理由搜索机器人输出的结果，以产生个性化的数据结果。例如，行为机器人对由搜索机器人输出的结果进行过滤，以反映行为属性。在另一个示例中，附加地或者替代地，行为机器人对由搜索机器人输出的结果进行变换，以反映行为属性。
[0041] 在一个示例方面，行为机器人包括反映用户的行为属性的人工约束。例如，用户具有自己动手做(DIY)的个性，该个性由用户的行为机器人捕获。当搜索机器人搜索家具(例如，由用户提供的指令)时，行为机器人自动呈现具有DIY特征的家具(例如，需要组装，可以对家具进行修改，家具看起来是手工制作的，等等)的结果。
[0042] 在另一个示例方面，行为机器人添加反映用户的行为属性的数据(例如，元数据)。例如，用户喜爱汽车，这由用户的行为机器人捕获。搜索机器人根据用户提供的指令搜索关系建议(例如，约会、结婚等)，然后搜索机器人获得关系建议。行为机器人自动为所述关系建议数据添加汽车模拟(analogy)和其它数据(例如，汽车的图像、汽车的视频剪辑)，并两者结合。以这种方式，用户可以更轻松地理解关系建议数据，因为它已经被汽车模拟和其它与汽车相关的数据增强(augmented)。
[0043] 在另一个示例方面，行为机器人以反映用户的行为属性的方式来增强数据。例如，用户是厌恶风险的，这被用户的行为机器人捕获。搜索机器人根据用户的指令搜索度假目的地，并且搜索机器人识别满足用户设定准则(例如，一般地点、预算、海滩等)的若干度假地点。用户的行为机器人自动识别与每个度假地点相关联的潜在风险和安全措施，并将度假地点从风险最低到风险最高进行排名。例如，行为机器人识别与不同度假地点相关联的风险的数量和严重程度，诸如战争、盗窃、内乱、健康风险、自然灾害风险(例如，火山、飓风、火灾等)，并相应地对度假地点进行排名。在另一个示例方面，行为机器人识别风险和针对风险采取的安全措施(例如，旅行疫苗、旅行路线等)。
[0044] 在另一个示例实施例中，行为机器人以反映用户的行为属性的方式来增强数据表示。例如，如果行为机器人检测到用户有悲伤的情绪，那么行为机器人以愉悦的声音大声朗读新闻文章(例如，播放音频文件)。例如，如果行为机器人检测到用户有忙碌或注意力集中的情绪，那么行为机器人以快节奏且中性的声音大声朗读新闻文章(例如，播放音频文件)。
[0045] 可以认识到的是，行为机器人可以以各种方式修改搜索数据以反映用户的行为。
[0046] 由行为机器人输出的结果与命令卡相关联地存储，并输出给用户。在示例实施例中，由行为机器人输出的结果的摘要与命令卡相关联地存储，其中命令卡具有到由搜索机器人获得的各种数据源的数据链接。数据使能平台包括存储这种信息的数据湖(Data Lake)。
[0047] 行为机器人输出的结果经由用户界面呈现给用户。当用户与用户界面交互时，行为机器人接收反映用户行为的数据。行为机器人使用这种数据重复地更新数据科学和机器学习计算中使用的参数，或自动选择新数据科学算法或机器学习算法，或其组合。
[0048] 在本文应认识到的是，对于一个人有意义的数据是主观的并且反映该人的行为。此外，人会在两种不同的想法(例如，两种不同的主题、两种不同的数据集等)之间做出或得出关系和结论，这倾向于反映其行为。本文的术语“行为”包括人的习惯、情感、观点、个性、欲望、思想、预先设想的观念、偏见、观点等。不同的行为机器人捕获人的行为的不同方面(例如，通过捕获人的基线数据，通过进行假设，通过使用相似算法等)，并在搜索相关数据时考虑此人的行为属性。在示例方面，这导致从此人的角度寻找并提供更多有意义的数据。
[0049] 行为机器人检测和推断人的行为属性。在一些方面，人难以意识或识别其自己的行为属性，但是行为机器人能够使用在一段时间内收集的有关此人的数据和从其他人那里收集的数据来识别那些行为属性。
[0050] 在另一个示例方面，行为机器人和搜索机器人的结合允许人的指令获得待衡量的相关的和个性化答案。换句话说，行为机器人和搜索机器人可以用于搜索和处理针对许多不同主题以及来自许多数据源的许多不同类型的数据，同时仍然考虑到人的行为。
[0051] 在另一个示例方面，行为机器人是可转移的。例如，在搜索第一个主题时使用的给定行为机器人也可以在搜索第二个主题时使用。例如，第二个主题可以与第一个主题无关。在另一个示例中，与第一个人相关联的给定行为机器人被转移到第二个人，使得第二个人的数据搜索和处理采用与第一个人的数据搜索和处理相同的行为质量。
[0052] 在示例实施例中，用户界面呈现多个命令卡，每个命令卡与不同的指令相关联。每个命令卡与特定于命令卡的指令的多个搜索机器人和多个行为机器人相关联。
[0053] 将认识到的是，术语“机器人”在计算机器和智能中是已知的，意指软件机器人或软件代理。本文所述的机器人，诸如搜索机器人和行为机器人，具有人工智能。
[0054] 还将认识到的是，用户可以以各种方式与用户界面交互，包括但不限于：使用口头语言、视觉上、使用手势、使用面部表情、通过键入、通过使用GUI中呈现的选项、通过使用脑信号、通过使用肌肉信号、通过使用神经信号，或其组合。
[0055] 在示例实施例中，口头通信用户设备(例如，包括麦克风的设备)记录来自用户的口头信息(例如，用户的单词和声音)以与数据使能系统进行交互。数据使能系统处理语音数据以提取至少单词和口头语言，并相应地使用人工智能计算软件和数据科学算法来处理数据。从口头通信设备获得的数据与特定于组织的内部数据和外部数据相结合地、或者相比较地、或者同时以两种方式进行处理。计算体系架构经由多个搜索机器人从外部数据源或内部数据源或两者摄取数据，以提供实时输出或接近实时的数据输出，或两者都输出。数据输出以音频反馈或视觉反馈或两者的形式呈现给用户。可以使用其它类型的用户反馈，包括触觉反馈。可以基于数据输出来发起或执行其它机器动作。
[0056] 在另一个示例实施例中，口头通信设备是跟踪用户的移动的可穿戴技术。当前已知和将来已知的可穿戴设备可应用于本文描述的原理。在另一个示例实施例中，口头通信设备是虚拟现实系统或增强现实系统或两者的一部分。换句话说，视觉数据的显示是沉浸式的，并且用户可以使用口头陈述和问题、或者使用物理移动、或者使用面部表情或其组合来与视觉数据进行交互。
[0057] 转到图1，用户设备102与用户101交互。例如，该用户是消费者用户、商业用户、销售行业用户、制造行业用户等。除其它以外，用户设备102尤其包括输入设备113和输出设备114。输入设备包括例如麦克风和键盘(例如，物理键盘或触摸屏键盘，或两者)。其它类型的输入设备包括脑信号传感器、神经信号传感器或肌肉信号传感器或其组合，其可用于检测用户的言语、思想或意图(或其组合)。输出设备包括例如音频扬声器和显示屏。用户设备的非限制性示例包括移动电话、智能电话、平板电脑、智能手表、提供增强现实或虚拟现实或两者的耳机、台式计算机、膝上型计算机、电子书、可穿戴设备以及车载计算机接口。在另一个示例中，提供了用户设备的系统，以生成视觉上沉浸式的用户界面，以记录人的声音，并跟踪他们的手势和运动以与数据进行交互。一个或多个用户设备与第三方云计算服务103通信，该第三方云计算服务103通常包括服务器机器组。与多个用户112对应的多个用户设备111可以与第三方云计算服务103通信。
[0058] 云计算服务103与一个或多个数据科学服务器机器104数据通信。这一个或多个数据科学服务器机器与内部应用和数据库105通信，其中内部应用和数据库105可以驻留在分开的服务器机器上，或者在另一个示例实施例中，驻留在数据科学服务器机器上。在示例实施例中，由数据科学服务器执行的数据科学计算以及内部应用和内部数据库被认为是给定组织或公司专有的，因此受到防火墙106的保护。可以使用当前已知的防火墙硬件和软件系统以及将来已知的防火墙系统。
[0059] 数据科学服务器机器(也称为数据科学服务器)104与人工智能(AI)平台107通信。AI平台107包括一个或多个AI应用程序接口(API)108和AI极端数据(XD)平台109。如稍后将讨论的，AI平台运行适合于不同功能的不同类型的机器学习算法，并且数据科学服务器104可以经由AI API来利用和访问这些算法。
[0060] AI平台还连接到各种数据源110，其可以是第三方数据源或内部数据源，或两者。这些各种数据源的非限制性示例包括：新闻服务器、无线电网络、电视频道网络、杂志服务器、证券交易所服务器、IoT数据、企业数据库、社交媒体数据、媒体数据库等。在示例实施例中，AI XD平台109摄取并处理来自各种数据源的不同类型的数据。
[0061] 在示例实施例中，服务器103、104、105、106、107和可选的110的网络组成数据使能系统。除其它以外，数据使能系统尤其向用户设备提供与数据相关的信息。在示例实施例中，所有服务器103、104、105、106和107都驻留在云服务器上。
[0062] 使用字母参考标记来提供关于图1的操作示例。在操作A处，用户设备102从用户101接收输入。例如，用户正在讲话，并且用户设备记录来自用户的音频数据(例如，语音数据)。用户可以向数据使能系统提供命令或查询，该命令或查询用于生成命令卡的指令。用户还可以使用用户设备进行音频记录或捕获图像，或两者，以记住自己的想法，或为自己提供将来要完成的待办事项列表。在另一个示例实施例中，用户设备包括一个或多个检测用作用户输入数据的脑信号、肌肉信号或神经信号或其组合的传感器，或者正在与所述一个或多个传感器进行数据通信。例如，对脑信号、肌肉信号或神经信号或其组合进行处理，以生成用户的言语数据。换句话说，虽然本文中的许多示例将音频数据或语音数据称为用户输入数据，但是将认识到的是，在类似的示例实施例中，可以使用其它类型的用户输入数据。
[0063] 在示例实施例中，在用户设备上激活数据使能应用，并且该应用被用户置于某种模式或者根据某些条件自主地置于某种模式。例如，这种特定模式特定于给定的命令卡。例如，如果用户与第一命令卡、第二命令卡、第三命令卡等相关联，那么用户对第二命令卡的选择将把数据使能应用置于第二命令卡的模式。
[0064] 在操作B处，用户设备将记录的音频数据传输到第三方云计算服务器103。在示例实施例中，用户设备还将其它数据传输到服务器103，诸如上下文数据(例如，记录消息的时间、关于用户的信息、其中记录消息的数据使能应用的模式等)。这些服务器103采用包括人工智能的机器智能，以从音频数据中提取数据特征。除其它以外，这些数据特征尤其包括：文本、情感、情绪、背景噪声、命令或查询、或与所记录的数据的存储或使用或两者相关的元数据，或其组合。
[0065] 在操作C处，服务器103将提取的数据特征和上下文数据发送到数据科学服务器104。在示例实施例中，服务器103还将原始记录的音频数据发送到数据科学服务器104以进行附加处理。
[0066] 在操作D处，数据科学服务器104与内部应用和数据库105交互以处理接收到的数据。特别地，数据科学服务器存储并执行一个或多个各种数据科学算法以处理(来自操作C的)接收的数据，这可以包括处理从内部应用和数据库105获得的专有数据和算法。
[0067] 作为操作D的替代或补充，数据科学服务器104在操作E和G处与AI平台107交互。在示例实施例中，数据科学服务器104具有处理接收到的数据的算法，并且这些算法将信息传输到AI平台以进行处理(例如，操作E)。传输到AI平台的信息可以包括：在操作C处由数据科学服务器接收的数据的部分或全部；在操作D处从内部应用和数据库获得的数据；由数据科学服务器通过在操作C处处理接收的数据、或在操作D处处理接收的数据、或同时执行这两种处理而获得的结果；或其组合。反过来，AI平台107在操作E处处理接收的数据，这包括在操作F处处理从各种数据源110摄取的信息。每个搜索机器人在AI平台107和数据科学服务器104上操作，以搜索并获得与其给定指令相关的信息。随后，AI平台107在操作G中将其AI处理的结果返回给数据科学服务器。
[0068] 例如，基于数据科学服务器104在操作G处接收到的结果，数据科学服务器104更新其内部应用和数据库105(操作D)或其自身的存储器和数据科学算法，或两者。在操作H处，数据科学服务器104还向第三方云计算服务器104提供信息输出。所输出的信息可以是对用户在操作A处发起的查询的直接答复。在另一个示例中，替代地或者附加地，所输出的信息可以包括基于在操作A处接收的音频信息而有意或者无意地请求的辅助信息。在另一个示例中，替代地或者附加地，所述输出的信息包括由在操作A处接收的音频信息有意或者无意地发起的一个或多个命令。例如，这些一个或多个命令影响用户设备102、或与第三方云计算服务器104通信的其它用户设备111或IoT设备、或其组合的操作或功能。
[0069] 行为机器人或其部分驻留在AI平台、或数据科学服务器、或第三方云计算服务器上，或其组合。例如，行为机器人的部分还驻留在用户设备、智能设备、电话、边缘设备和IoT设备上。换句话说，行为机器人驻留在用户交互设备或靠近用户交互设备的设备上，并且正在主动监视用户交互数据。在从搜索机器人获得之后，行为机器人将处理这种数据以向用户呈现个性化数据。
[0070] 第三方云计算服务器104例如获取在操作H处接收的数据并将变换应用于该数据，使得变换后的数据适合于在用户设备102处输出。例如，服务器104在操作H处接收文本数据，然后服务器104将文本数据变换成口语音频数据。在操作I处，这种口语音频数据被传输到用户设备102，然后在操作J处，用户设备102播放音频数据或将其输出给用户。
[0071] 对各种其他用户112及其用户设备111重复这个过程。例如，在操作K处，另一个用户对另一个用户设备讲话，并且在操作L处，这个音频数据被传递到数据使能平台中。在操作M处，音频数据被处理，并且音频响应数据由另一个用户设备接收。在操作N处，这个音频响应数据被另一个用户设备播放或输出。
[0072] 在另一个示例实施例中，作为口头输入的补充或者作为替代，用户在操作A处使用触摸屏手势、移动、键入、脑信号、肌肉信号、神经信号等向用户设备102提供输入。在另一个示例实施例中，作为音频反馈的补充或者作为替代，用户设备102在操作J处提供视觉信息(例如，文本、视频、图片)。
[0073] 转到图2，以不同的数据联网配置示出了服务器和设备的另一个示例。用户设备102、云计算服务器103、数据科学服务器104、AI计算平台107和各种数据源110能够经由诸如互联网之类的网络201发送和接收数据。在示例实施例中，数据科学服务器104以及内部应用和数据库105通过专用网络彼此通信，以增强数据安全性。在另一个示例实施例中，服务器104以及内部应用和数据库105通过相同的网络201彼此通信。
[0074] 如图2中所示，用户设备102的示例部件包括麦克风、一个或多个其它传感器、音频扬声器、存储器设备、一个或多个显示设备、通信设备以及一个或多个处理器。用户设备还可以包括全球定位系统模块，以跟踪用户设备的位置坐标。当用户正在消费数字内容或与数字内容进行交互时，例如添加注释、滑动手势、注视手势、语音数据、添加图像、添加链接、共享内容、提供脑信号、提供肌肉信号、提供神经信号等，或进行两者，这个位置信息可以用于提供上下文数据。
[0075] 在示例实施例中，用户设备的存储器包括作为数据使能应用的一部分的各种用户界面机器人，其也可以驻留在用户设备上。这些机器人包括也驻留在第三方云计算服务器103上的处理。这些用户界面机器人具有聊天能力。可以适用于本文描述的系统的聊天机器人技术的示例包括但不限于商品名Siri、Google Assistant、AIexa和Cortana。在示例方面，本文使用的机器人具有专注于各种主题的各种语言词典。在示例方面，本文使用的机器人被配置为理解特定于各种主题的问题和答案。本文所述的用户界面机器人不仅限于聊天能力，而是还可以包括用于结合语言来控制信息的视觉显示(例如，图像和视频)的功能和人工智能。
[0076] 在示例方面，本文使用的一个或多个行为机器人学习用户的独特语音，因此，一个或多个行为机器人使用该语音来学习可以特定于用户的行为。这种预期的行为进而被数据使能系统用来预期与给定主题相关的未来问题和答案。这种识别的行为例如还被用于提出动作建议以帮助用户实现结果，并且这些动作建议是基于具有相同主题兴趣的较高排名用户的识别的行为(例如，经由机器学习识别的)。例如，可以基于用户在主题上的专业知识、他们对主题的影响力、他们对主题的评论深度(例如，私人评论或公共评论，或两者)、他们的机器人针对给定主题的复杂度等等来对用户进行排名。
[0077] 在示例方面，给定的行为机器人应用机器学习来识别用户语音中的独特数据特征。机器学习可以包括深度学习。用于提取语音特征的当前已知和将来已知的算法适用于本文描述的原理。语音数据特征的非限制性示例包括以下一个或多个：音调、频率(例如，也称为音色(timbre))、响度、单词或短语被说出的速率(例如，也称为节拍(tempo))、语音读音(phonetic pronunciation)、词汇(例如，单词的选择)、语法(例如，句子结构的选择)、发声(articulation)(例如，发音(pronounciation)的清晰度)、节律(rhythm)(例如，长短音节的模式)和旋律(例如，语音的起伏)。如上所述，这些数据特征可以用于识别用户的行为和意义，并在将来预测用户的内容、行为和意义。将认识到的是，机器学习中的预测操作包括用对应的似然值来计算表示某些预测特征(例如，与内容、行为、意义、动作等有关)的数据值。
[0078] 用户设备可以附加地或可替代地从用户接收视频数据或图像数据，或两者，并且经由机器人将这种数据传输到数据使能平台。因此，数据使能平台被配置为应用不同类型的机器学习，以从不同类型的接收数据中提取数据特征。例如，第三方云计算服务器使用自然语言处理(NLP)算法或深度神经网络或两者，来处理语音和文本数据。在另一个示例中，第三方云计算服务器使用机器视觉或深度神经网络或两者，来处理视频和图像数据。
[0079] 转到图3，示出了口头通信设备(OCD)301的示例实施例，其与用户设备102结合操作，以减少由用户设备102执行数据使能功能所消耗的计算资源(例如，硬件和处理资源)的量，如本文所述。在一些情况下，与用户设备102相比，OCD 301提供了更好的或更多的传感器。在一些情况下，与用户设备102相比，OCD 301配备有更好或更多的输出设备。例如，OCD包括一个或多个麦克风、一个或多个相机、一个或多个音频扬声器，以及一个或多个可以将光投射到表面上的多媒体投影仪。OCD还包括处理设备和存储器，其能够处理感测的数据(例如，语音数据、视频数据等)并且处理已经由数据使能平台303输出的数据。如上所述，数据使能平台303包括例如服务器103、104、105和107。
[0080] 如图3中所示，OCD 301经由无线或有线数据链接与用户设备进行数据通信。在示例实施例中，用户设备102和OCD 301使用蓝牙协议进行数据通信。用户设备102与网络201进行数据通信，网络201进而与数据使能平台303进行通信。在操作中，当用户讲话或拍摄视频时，OCD 301记录音频数据或视觉数据，或两者。例如，OCD 301还预处理记录的数据，例如用于提取数据特征。附加地或者替代地，所记录的数据的预处理可以包括数据压缩。该处理后的数据、或原始数据、或两者被传输到用户设备102，并且用户设备经由网络201将这种数据传输到数据使能平台303。用户设备102还可以将上下文数据与由OCD 301获得或产生的数据一起传输。这种上下文数据可以由在用户设备102上运行的数据使能应用或由OCD 301生成。
[0081] 来自数据使能平台303的输出被发送到用户设备102，然后用户设备102可以或可以不将输出传输到OCD 301。例如，某些视觉数据可以直接显示在用户设备102的显示屏上。在另一个示例实施例中，OCD接收来自用户设备的输入并提供用户反馈(例如，经由扬声器播放音频数据、经由内置显示屏或内置媒体投影仪显示视觉数据，等等)。
[0082] 在示例实施例中，OCD 301与用户设备102处于数据连接，并且OCD 301本身具有与网络201的直接连接以与数据使能平台303通信。在另一个示例中，用户使用用户设备102来与没有OCD的数据使能平台进行交互。
[0083] 在示例实施例中，静默OCD 304的不同示例被用于记录用户的语言输入。静默OCD 304包括检测其它用户输入(但不是语音)的传感器。静默OCD 304中的传感器的示例包括以下中的一个或多个：脑信号传感器、神经信号传感器和肌肉信号传感器。这些传感器检测静默的手势、想法、微动作等，这些静默的手势、想法、微动作等被翻译成语言(例如，文本数据)。在示例实施例中，这些传感器包括触摸用户的面部或头部的部分的电极。换句话说，用户可以提供语言输入而不必对着麦克风讲话。例如，静默OCD 304是戴在用户头部的可穿戴设备。静默OCD 304有时也被称为静默言语接口或脑计算机接口。例如，静默OCD 304允许用户在群组设置(参见图4A)中或在公共场合以私有方式与其设备进行交互。
[0084] 类似的功能适用于与台式计算机302进行数据通信的OCD 301的其它实例。特别地，在本文应认识到的是，许多现有的计算设备和用户设备未配备有足够质量的传感器，也未配备有被配置为高效且有效地从感测的数据中提取特征的处理硬件。因此，OCD 301补充并增强这些计算设备和用户设备的硬件和处理能力。
[0085] 转到图4A，示出了OCD 301用于与各种人的会议中，每个人具有其自己的相应用户设备401、402、403、404、405、304。如上所述，用户设备的类型可以是各种各样的(例如，可穿戴技术、具有虚拟现实和/或增强现实能力的头戴式耳机、智能电话、平板电脑、膝上型计算机等)。OCD还可以用于记录数据(例如，音频数据、视觉数据等)，并将数据提供给没有其自己的用户设备的人406。OCD记录会议的口头对话，例如做会议记录。在另一方面，OCD还链接到用户设备，以例如实时地向他们提供关于会议期间讨论的主题的信息。OCD还减少了单体用户设备上的计算资源(例如，硬件和处理资源)。
[0086] 在示例实施例中，用户406穿戴静默OCD 304以与OCD 301私下交互。例如，捕获用户的脑信号、神经信号、肌肉信号或其组合，将其合成为言语。以这种方式，用户406可以有时向OCD 301给出私有的或静默的注释、命令、查询等，而在其它时候，可以向OCD 301提供被会议中的其他用户听到的公开的注释、命令、查询等。
[0087] 在示例实施例中，用户设备401、402、403、404、405、304经由无线连接或有线连接与OCD 301进行数据通信。在示例实施例中，用户设备401、402中的一些不具有互联网接入，但是其它用户设备403、404、405确实通过分开的数据连接X、Y和Z具有互联网接入。因此，OCD 301使用这些数据连接X、Y和Z中的一个或多个向数据使能平台303传输和从其接收数据。
[0088] OCD可以基于可用带宽来使用不同的通信路由，这可以由用户设备指示。
[0089] 例如，OCD将要传输到数据使能平台的数据集解析为三个分开的数据线程，并将这些线程分别传输到用户设备403、404和405。这些数据线程进而由用户设备通过相应的数据连接X、Y和Z传输到数据使能平台303，数据使能平台303将来自分开的线程的数据重新构造为原始数据集。
[0090] 可替代地，OCD仅使用数据连接之一(例如，X)，因此通过用户设备403来汇集数据。
[0091] 在另一个示例实施例中，OCD指定与用户设备403和404对应的数据连接X和Y，用于将数据传输到数据使能平台303。OCD指定与用户设备405对应的数据连接Z，用于从数据使能平台303接收数据。
[0092] 由OCD获得的、源自用户设备或者源自数据使能平台的数据可以在与OCD通信的用户设备当中分布。OCD还可以向附近的用户提供中央用户反馈(例如，音频数据、视觉数据等)。
[0093] 因此，将认识到的是，OCD充当本地中央输入和输出设备。在另一个示例方面，OCD还充当本地中央处理设备以处理感测的数据，或处理来自数据使能平台的数据，或两者。在另一个示例方面，OCD还充当本地中央通信集线器。
[0094] 在示例实施例中，替代地或者附加地，OCD具有其自己的网络通信设备，并且经由网络201而与数据使能平台303之间发送和接收数据。
[0095] OCD结合数据使能平台303提供各种功能。在示例操作中，OCD提供音频输出，该音频输出口头传达讨论主题。在示例操作中，OCD记录对话期间说出的讨论项目，并自动创建包含会议纪要的文本。在示例操作中，OCD监视讨论的流程和当前时间，并在适当的时间(例如，暂停、硬性休会、句子结尾等)插入，以提供相关主题的音频反馈。例如，OCD监视正在讨论的主题和概念，并实时地将辅助和相关数据智能分发给用户设备。在示例操作中，OCD监视正在讨论的主题和概念，并实时地确定是否要共享有关的相关新闻或事实，并且如果要共享，则通过提供有关的相关新闻或事实的音频或视频输出来中断对话。在另一个示例操作中，OCD监视正在讨论的主题和概念，并实时地确定用户是否提供了不正确的信息，并且如果是，则通过提供正确信息的音频或视觉输出来中断对话。在另一个示例操作中，OCD在用户之间的对话期间向不同的用户设备提供不同的反馈，以适应特定于不同用户的兴趣和目标。在另一个示例操作中，OCD使用相机和麦克风来记录数据，以确定各种用户的情感和情绪，这有助于通知：哪些内容应当发布给某些用户；内容呈现的次序或格式，或两者；以及新内容的生成。在另一个示例操作中，每个用户可以并行地使用其用户设备来与OCD或数据使能平台或两者交互，以在对话期间进行自己的研究或做私人注释(或两者)。在另一个示例实施例中，OCD包括一个或多个媒体投影仪以将光图像投影在周围表面上。
[0096] 将认识到的是，虽然OCD的壳体被示为圆柱形，但在其它示例实施例中，其具有不同的形状。
[0097] 转到图4B，处于位置A的用户正在与一个或多个OCD交互，而处于分开的位置(即，位置B)中的用户正在与另一个OCD交互。虽然这些用户处于不同的位置，但他们可以一起通过数字语音和图像数据彼此交互。数据使能平台处理他们的数据输入，这可以包括语音数据、图像数据、物理手势和物理移动。这些数据输入然后被数据使能平台用于向用户提供反馈。
[0098] 在位置A处，两个OCD单元301彼此进行数据通信，并投影光图像区域411、410、409、408。这些投影的光图像区域以连续的方式定位，以提供实际上能够围绕用户或以弧形方式绕在用户周围的单个大的投影光图像区域。这将产生增强现实或虚拟现实空间。例如，一个OCD单元投影光图像区域411和410，而另一个OCD单元投影光图像区域409和408。
[0099] 而且，在位置A处还有戴着OCD 301a的另一个实施例的用户407。OCD 301a的这个实施例包括麦克风、音频扬声器、处理器、通信设备和其它电子设备，以跟踪用户的手势和移动。例如，这些电子设备包括陀螺仪、加速度计和磁力计中的一个或多个。这些类型的设备都是惯性测量单元或传感器。但是，可以使用其它类型的手势和移动跟踪。在示例实施例中，可以使用三角测量来跟踪OCD 301a，该三角测量是根据来自位于不同位置(但都在位置A内)的两个OCD单元301的无线电能量信号计算出来的。在另一个示例中，使用来自相机的图像跟踪来跟踪手势。
[0100] 位置A处的用户可以与位置B处的用户交谈和看见该用户。
[0101] 相反，位置B处的用户戴着作为OCD 301b的另一个实施例的虚拟现实或增强现实耳机，并使用它与位置A处的用户交谈和看见该用户。OCD实施例301b在用户眼睛附近或用户眼睛上投影或显示图像。除了其它电子部件以外，OCD实施例301b尤其还包括麦克风、音频扬声器、处理器和通信设备。使用OCD实施例301b，用户能够看到相同的图像被投影到图像区域411、410、409和408中的一个或多个上。
[0102] 转到图5，示出了容纳在OCD 301内的示例部件。所述部件包括一个或多个中央处理器502，与诸如传感器501的各种其它设备交换数据。所述传感器包括例如一个或多个麦克风、一个或多个相机、温度传感器、磁力计、一个或多个输入按钮以及其它传感器。
[0103] 在示例实施例中，存在多个麦克风，这些麦克风被定向为面向彼此不同的方向。以这种方式，可以确定音频源的相对方向或相对位置。在另一个示例实施例中，存在被调谐或设置为记录不同频率范围的音频波的多个麦克风(例如，用于第一频率范围的麦克风、用于第二频率范围的麦克风、用于第三频率范围的麦克风等)。以这种方式，可以跨更大的频率范围记录更清晰的音频数据。
[0104] 在示例实施例中，存在被定向为面向不同方向的多个相机。以这种方式，OCD可以获得360度的视野。在另一个示例中，一个或多个相机具有第一分辨率的第一视野，并且一个或多个相机具有第二分辨率的第二视野，其中第一视野大于第二视野，并且第一分辨率低于第二分辨率。在另一个示例方面，具有第二视野和第二分辨率的一个或多个相机可以被机械地定向(例如，倾斜(pitched)、偏斜(yawed)等)，而具有第一视野和第一分辨率的一个或多个相机是固定的。以这种方式，可以从更大的角度(例如，周围区域、人的身体及其身体姿势)同时拍摄视频和图像，并且可以针对某些区域(例如，人的脸部及其面部表情)同时拍摄高分辨率的视频和图像。将认识到的是，用于处理面部表情的当前已知和将来已知的图像处理算法和面部表情数据库可适用于本文所述的原理。
[0105] OCD还包括一个或多个存储设备503、灯505、一个或多个音频扬声器506、一个或多个通信设备504、一个或多个内置显示屏507，以及一个或多个媒体投影仪508。OCD还包括一个或多个图形处理单元(GPU)509。GPU或其它类型的多线程处理器被配置为执行AI计算，诸如神经网络计算。GPU还例如被用于处理由(一个或多个)多媒体投影仪或(一个或多个)显示屏507或两者输出的图形。
[0106] 在示例实施例中，通信设备包括一个或多个设备到设备通信收发器，其可用于与一个或多个用户设备进行通信。例如，OCD包括蓝牙收发器。在另一个示例方面，通信设备包括被配置为与网络201通信的一个或多个网络通信设备，诸如网卡或WiFi收发器，或两者。
[0107] 在示例实施例中，在OCD上，多个音频扬声器506被定位为面向不同的方向。在示例实施例中，存在被配置为播放不同频率范围的声音的多个音频扬声器。
[0108] 在示例实施例中，内置显示屏在OCD壳体周围形成弯曲的表面。在示例实施例中，存在在不同方向上投射光的多个媒体投影仪。
[0109] 在示例实施例中，OCD能够使用板载硬件和机器学习算法来本地预处理语音数据、视频数据、图像数据和其它数据。这减少了传输到数据使能平台303的数据量，从而减少带宽消耗。这也减少了数据使能平台所需的处理量。
[0110] 转到图6，示出了用于两个命令卡的计算模块的示例实施例。将认识到的是，用户可以针对不同的主题或请求发起不同命令卡的创建。
[0111] 例如，用户在一家销售产品的公司工作。用户可以通过对用户设备讲话来创建第一命令卡：“我如何基于我们的产品的销售来与A公司建立关系？”例如，这被用于形成命令卡A的指令(例如，简称为CC.A)。同一个用户可以在用户设备上键入或讲话，指示：“帮我计划我的第一次日本之旅的行程。”用户提供的这个语句被用于形成命令卡B的指令(例如，简称为CC.B)。
[0112] 关于命令卡A601，其包括：ID数据标签602，唯一地标识命令卡；指令模块603，被配置为处理用户输入以识别命令卡601的指令；存储器模块604，存储与命令卡601相关的数据；Ul模块605，包括可执行指令，该可执行指令用于经由一个或多个用户设备输出信息，以及经由一个或多个用户设备接收用户输入；注释模块606，用于从用户那里获得并处理与命令卡601相关的数据(例如，文本数据、口头数据、图像数据、视频数据等)；一个或多个搜索机器人607，用于搜索特定于指令的数据；一个或多个行为机器人608，用于监视用户行为和处理由搜索机器人获得的数据；以及隐私和安全性模块609，用于确定与数据或计算功能或两者相关的隐私设置。例如，用户可以将以下一个或多个保持私有或共享：命令卡A 601的结果数据、注释模块606的数据、搜索机器人自身中的一个或多个，以及行为机器人自身中的一个或多个。
[0113] 例如，搜索机器人607包括：搜索机器人1-CC.A和许多其它搜索机器人，包括搜索机器人n-CC.A。这些搜索机器人中的每一个搜索不同的数据源，以查找并处理特定于指令的信息。在本文应认识到的是，不同类型的数据需要不同类型的计算处理。例如，照片数据、音频数据、视频数据、文本数据和机器数据，每种数据都需要不同类型的处理。行为机器人608例如包括：行为机器人1-CC.A和许多其它行为机器人，包括行为机器人n-CC.A。每个行为机器人监视用户的不同行为，并相应地处理数据。例如，一个行为机器人监视用户的面部表情以确定行为，而不同的行为机器人监视用户的风险承受能力模式，而再另一个行为机器人监视用户的旅行模式。
[0114] 在示例方面，用户经由UI模块提供用户输入以修改指令。在示例实施例中，一个或多个行为机器人经由UI模块检测到的用户行为被用于修改对指令的理解。例如，指令模块使用数据科学和机器学习来最初解释用户的命令或查询。随着时间的流逝，当用户与数据交互时，指令模块从一个或多个行为机器人获得数据，以修改数据科学计算或机器学习计算或两者中的一个或多个参数，以输出对用户命令或查询的第二种解释。然后，该第二种解释成为命令卡的新指令。
[0115] 命令卡B(CC.B)610具有类似的数据部件、模块和机器人。但是，除其它以外，指令、搜索机器人和行为机器人尤其不同于命令卡A的那些指令、搜索机器人和行为机器人。
[0116] 可以认识到的是，用户可以形成许多不同的命令卡。
[0117] 在示例方面，每个命令卡是特定于用户定义的给定主题、题材(theme)、概念或查询的数字容器。它包含用于为给定主题、概念或查询搜索并提供个人相关数据的机器智能。
[0118] 在示例方面，这种数字容器是私有的、个人的和安全的。在另一方面，这种数字容器对于命令卡自身、对于各种级别的用户以及对于机器人具有凭证能力。这使得个人能够拥有只有用户才能看到的私有容器和答案。这使得多组人员能够协作并保持容器内容和答案仅对该组是私有的。这使得与企业或组织相关联的雇员或人员能够协作，并保持容器内容和答案对于该企业或组织是私有的。这使得不同级别的个人、组、企业或组织只能够挑选和使用某些全局机器人、本地机器人和用户信息。
[0119] 转到图7，示出了命令卡的不同部件之间的数据的示例流程图。部件或模块之间的流用参考标记字母来标记。在图7所示的示例中，例如已基于某种用户输入创建了给定的命令卡A。
[0120] 在操作A处，指令模块603将指令发送给每个搜索机器人607。例如，这可以在每个搜索引擎的预配置(provision)过程中发生。然后，搜索机器人执行其对不同数据源的搜索功能。每个搜索机器人搜索不同的源，以查找与指令模块提供的指令相关的数据。
[0121] 可以认识到的是，不同的搜索机器人可以使用不同的数据协议来搜索数据。例如，一个搜索机器人使用推送协议来获得数据，其中给定的数据源将数据推送到搜索机器人。在另一个示例中，不同的搜索机器人使用拉取协议，诸如针对网络爬虫机器人。此外，每个搜索机器人可以通过不同的内部策略管控。例如，一个搜索机器人每24小时搜索一次数据源，而另一个搜索机器人每秒搜索一次不同的数据源。搜索机器人之间可以存在其它差异。
搜索机器人彼此并行且重复地操作。
搜索机器人彼此并行且重复地操作。
[0122] 根据操作B，由搜索机器人获得的结果在与命令卡A相关联的存储器模块604中是临时的。在操作C中，行为机器人608对由搜索机器人获得的数据进行过滤或处理或两者，并将经过滤的数据或经处理的数据(或两者)存储在存储器模块604中。这种经过滤的数据或经处理的数据或两者与用户的行为相关。在示例实施例中，对数据进行过滤，然后对其进行处理以获得数据的摘要；这种数据与链接至数据源的数据链接一起存储在存储器模块604中。在示例实施例中，数据链接的全部或实际数据源是通过该数据链接可访问的，但是未将全部或实际数据源存储在存储器模块中，以便减少存储器资源(例如，硬件和软件资源)的量。
[0123] 在操作D中，结果所得的信息被发送到UI模块605，UI模块605然后处理数据以经由操作E输出到一个或多个用户设备701。一个或多个用户设备701可以是OCD 301、或者用户设备102，或者允许一个或多个人与数据进行交互的一个或多个其它用户设备。一个或多个用户与一个或多个用户设备进行交互，并且作为操作E的一部分，UI模块获得用户交互数据。这些交互数据可以包括，例如但不限于，语音数据、手势数据、文本数据、图像数据、面部数据、音频数据、生物识别数据、脑信号数据、肌肉信号数据、神经信号数据、命令数据(例如，点击、滑动、不喜欢/喜欢输入、关于数据共享的信息、数据的加书签、数据的突出显示等)，或其组合。在操作F处，UI模块605将这种检测到的用户交互特征数据发送给行为机器人608。
[0124] 行为机器人608将这个数据作为输入，以修改在其过滤算法或处理算法或两者中使用的参数。附加地或可替代地，行为机器人可以基于用户交互特征数据，完全改变其过滤算法或处理算法或两者。这种反馈进而影响操作C对由搜索机器人获得的数据进行过滤或处理或两者的将来迭代。
[0125] 例如，如果用户表示接受不确定信息，或表示愿意对不确定性程度较高的信息采取行动，那么认为该用户的风险承受能力高。与行为机器人的过滤掉具有更高不确定性程度的数据的初始设置相比，特定于风险承受能力的行为机器人随后对其过滤器进行修改，以接受具有更高不确定性程度的数据。
[0126] 在另一个示例实施例中，在操作G中，行为机器人中的一个或多个还将用户的确定的行为发送到UI模块605。例如，UI模块605使用这些确定的行为来修改数据表示，以针对用户的行为进行定制。
[0127] 在另一个示例实施例中，在操作H中，行为机器人中的一个或多个还将用户的确定的行为发送到搜索机器人。例如，搜索机器人608使用这些确定的行为来修改数据的搜索和初始处理的参数以反映用户的确定的行为。
[0128] 图8和9示出了数据使能平台的示例计算体系架构，其可以被并入以上计算系统中。
[0129] 转到图8，提供了示例计算体系架构，用于收集数据并对其执行机器学习。这个体系架构例如在AI平台107和数据科学服务器104中使用。
[0130] 图8中的体系架构包括多个数据源。例如，数据源包括被视为以下任何一个或多个数据源的一部分的那些数据源：IoT数据源、企业数据源、用户生成的数据源以及公共数据源(例如，公共网站和数据网络)。IoT设备的非限制性示例包括用于确定产品状况(例如，产品的数量、产品的当前状态、产品的位置等)的传感器。IoT设备还可以被用于确定用户的状态(例如，可穿戴设备)。IoT设备还可以被用于确定用户的状态(例如可穿戴设备)、用户环境或收集关于特定主题的数据的传感器。例如，如果一个人对天气感兴趣，那么IoT传感器可以是位于世界各地的天气传感器。如果一个人对智能城市感兴趣，那么IoT传感器可以包括交通传感器。企业软件可以包括客户关系管理软件、企业资源规划软件、供应管理软件等。用户生成的数据包括社交数据网络、消息通信应用、电子邮件数据、文本数据、博客、用户生成的视频数据、音频博客数据和在线论坛。公共网站和数据网络包括政府网站和数据库、银行组织网站和数据库、经济和金融事务网站和数据库。可以认识到的是，可以由搜索机器人收集其它数字数据源。在示例实施例中，一个或多个数据源对于给定的人或给定的组织是内部的或私有的。例如，企业数据可以是给定公司的内部数据，并且消息通信数据(例如，经由FaceBook、MSN Messenger、WeChat、WhatsApp、SnapChat等)可以是给定人的私有数据。
[0131] 特别地，数据收集器模块802中的每个搜索机器人从特定的数据源收集数据。例如，用于命令卡A的搜索机器人1(SB1-CC.A)搜索第一个数据源，以获得用于命令卡A中的指令的数据，而用于命令卡A的搜索机器人2(SB2-CC.A)搜索第二个数据源，以获得用于命令卡A中的相同指令的数据。用于命令卡B的搜索机器人1(SB1-CC.B)搜索第三个数据源，以获得用于命令卡B中的指令的数据，而用于命令卡B的搜索机器人2(SB2-CC.B)搜索第四个数据源，以获得用于命令卡B中的相同指令的数据。
[0132] 例如，第一、第二、第三和第四数据源彼此都不同。
[0133] 在另一个示例中，第一与第二数据源彼此不同，并且第三与第四数据源彼此不同。但是，第一数据源与第三数据源相同的。换句话说，两个不同的命令卡可以具有它们各自的不同搜索机器人，这些搜索机器人搜索相同的数据源，但用于搜索不同的指令。
[0134] 搜索机器人并行地操作以生成所收集的数据的并行流或线程。所收集的数据经由消息总线803传输到分布式流分析引擎804，该引擎应用各种数据转换和机器学习算法。例如，对于用于命令卡A的搜索机器人1(SB1-CC.A)，流分析引擎804具有转换传入数据、应用语言检测、向传入数据添加自定义标签、检测趋势以及从图像和视频中提取对象和意义的模块。将认识到的是，其它模块可以被结合到SB1-CC.A中。其它搜索机器人可以具有相同的流分析模块，或者不同的流分析模块。例如，用于命令卡B的搜索机器人2(SB2-CC.B)的流分析模块包括使用自然语言处理和言语转文本处理从音频数据(例如，播客或视频)生成文本数据、识别数据的情感，以及格式化文本数据和情感数据。可以认识到的是，不同的数据源可以使用不同的重新格式化协议。每个搜索机器人使用流分析与其它搜索机器人并行地处理其数据。由搜索机器人进行的这种持续并行处理允许数据使能平台实时或接近实时地处理来自不同数据源的大量数据。
[0135] 在示例实施方式中，使用以下大数据计算方法中的一种或多种来构造引擎804：NiFi、Spark和TensorFlow。
[0136] NiFi使系统之间的数据流自动化并进行管理。更特别地，它是管理从任何源到任何位置的数据流的实时集成数据物流平台。NiFi与数据源无关，并且支持不同格式、架构、协议、速度和尺寸的不同且分布式的源。在示例实施方式中，NiFi在Java虚拟机体系架构内操作，并且包括流控制器、NiFi扩展、内容存储库、流文件存储库和出处存储库。
[0137] Spark，也称为Apache Spark，是用于大数据的集群计算框架。Spark的特征之一是执行流分析的Spark Streaming。它以小批量摄取数据，并对这些小批量数据执行弹性分布式数据集(RDD)转换。
[0138] TensorFlow是谷歌(Google)开发的用于机器智能的软件库。它使用在多个中央处理器(CPU)、GPU和张量处理单元(TPU)上操作的神经网络。
[0139] 还提供了分析和机器学习模块810，以摄取在较长时间段内(例如，从数据湖807)收集的大量数据。特别地，行为机器人获得用户交互数据，以设置用于过滤或处理算法的参数，或者完全从算法库中选择过滤或处理算法。例如，行为机器人使用以下一个或多个数据科学模块从用户交互数据中提取行为：推理模块、会话(sessionization)模块、建模模块、数据挖掘模块和深度学习模块。这些模块也可以例如通过NiFi、Spark或TensorFlow或其组合实现。与流分析引擎804中的这些模块不同，由模块810完成的分析不是流。然后，行为机器人对从引擎804中的搜索机器人输出的数据进行过滤或处理或两者。在示例实施例中，行为机器人不仅过滤数据，而且还处理数据，以提供与给定命令卡的指令相关的理解和预测。换句话说，结果可以包括经过滤的数据、经过滤的数据摘要、链接至原始数据源的数据链接、显示经过滤的数据如何适用于给定命令卡的指令的理解数据(例如，文本、图像、视频、音频数据等)，以及提供与给定命令卡的指令相关的预测事件或情形的预测数据。由行为机器人输出的这些结果被存储在存储器(例如，高速缓存服务811)中，然后被传输到流分析引擎604。
[0140] 流分析引擎804输出的结果经由消息总线805传输到摄取器606。从分析和机器学习模块810输出的数据也经由消息总线805传输到摄取器806。
[0141] 摄取器806将数据组织并存储到包括大型数据库框架的数据湖807中。这些数据库框架的非限制性示例包括Hadoop、HBase、Kudu、Giraph、MongoDB、Parquet和MySQL。从摄取器806输出的数据也可以输入到搜索平台808中。搜索平台808的非限制性示例是基于Apache Lucene构建的Solr搜索平台。例如，Solr搜索平台提供分布式索引、负载平衡查询以及自动故障转移和恢复。
[0142] 搜索机器人操作的存储器模块被预配置并存储在数据湖807和Solr搜索平台808中。例如，所有与SB1-CC.A相关存储的结果数据都被存储到在数据湖中存储的、或者使用Solr搜索平台索引的、或者既在数据湖中存储又使用Solr搜索平台索引的存储器模块中。使用这种体系架构，可以从数据湖或Solr搜索平台并行地获得与不同搜索机器人相关的数据。
[0143] 来自数据湖和搜索引擎的数据可由API服务809访问。
[0144] 转到图9，示出了基于图8的计算体系架构的延续，该体系架构在数据已经被存储在数据湖807中并被索引到搜索平台808中之后使用。
[0145] 核心服务模块702从搜索平台608和数据湖607获得数据，并将数据科学和机器学习服务、分布式处理服务、数据持久性服务应用于获得的数据。例如，数据科学和机器学习服务是使用以下一种或多种技术实现的：NiFi、Spark、TensorFlow、CloudVision、Caffe、KAIdi和Visage。将认识到的是，其它当前已知和将来已知的数据科学或机器学习平台可以用于执行算法以处理数据。分布式处理服务的非限制性示例包括NiFi和Spark。
[0146] API层809包括与包括数据使能应用的应用901交互的各种API。例如，API使用以下一种或多种协议与应用交换数据：HTTP、Web套接字、通知和JSON。将认识到的是，可以使用其它当前已知或将来已知的数据协议。
[0147] 数据使能应用包括各自具有自己的指令的各种命令卡(例如，命令卡A和命令卡B)。还提供了团队命令卡，该命令卡是管理和组织来自各种命令卡的数据的应用。AI XD平台109包括例如多个智能设备、智能设备消息总线和网络。
[0148] 在示例方面，命令卡可以是应用自身，或者是插入到另一个应用(例如，Excel、CRM、ERP等)中的窗口小部件(widget)。
[0149] 在另一方面，模块810被示为与API通信，但是在另一个示例中，模块810可以直接访问数据湖和Solr搜索索引器。
[0150] 转到图10A和10B，提供了团队命令卡的示例。
[0151] 在图10A中，团队命令卡与用于用户1的命令卡和用于用户2的命令卡相关联。团队命令卡和这些相关联的命令卡都具有相同的指令模块A。但是，关于命令卡的其它属性可以不同，诸如指派给每个命令卡的搜索机器人和行为机器人。通过用于用户的命令卡获得的不同数据被发送到团队命令卡。团队命令卡使用其统一模块来组合来自用于各用户的各命令卡的数据，这包括识别和删除重复数据。换句话说，使用这种体系架构，使用不同的命令卡从不同的来源获得数据，并对不同的用户进行个性化。这些具有不同个性化的不同数据与团队命令卡组合。
[0152] 在图10B中，团队命令卡与用于用户1和用户2的不同命令卡相关联。团队命令卡包括指令模块、用于统一来自不同命令卡的数据的统一模块，以及分发模块。分发模块包括可执行指令和存储器，用于将指令划分为子指令，并将不同的子指令指派给不同的命令卡。例如，用于用户1的命令卡具有子指令模块A，并且用于用户2的命令卡具有子指令模块B。换句话说，不同的命令卡获得和处理数据以回答不同的问题或实现不同的目标，它们是整体指令的一部分。例如，团队命令卡中的指令模块的整体指令是帮助一个用户家庭计划他们第一次日本之旅的行程。子指令模块A具有计划旅行和住宿的指令，而子指令模块B具有计划活动和观光的指令。
[0153] 在本文应认识到的是，本文描述的设备、系统和方法使得能够提供特定于给定用户的兴趣的相关数字内容。
[0154] 在示例方面，与数据使能平台组合的设备为人们提供了“完美信息”，这是来自于经济学家的一个概念。
[0155] 本文所述的数据使能平台与用户设备或OCD或两者组合提供了完美信息，以帮助人们消费数字媒体内容并与数字媒体内容进行交互。例如，用户与用户设备或OCD上的聊天机器人交谈。
[0156] 在优选实施例中，聊天机器人具有经由文本语言或口头语言或两者与用户进行交互的语言能力。但是，在其它示例实施例中，命令卡用户界面不一定与用户聊天，但是仍然影响呈现给用户的数据的显示。
[0157] 本文所述的系统提供了命令卡的集合，每个命令卡具有绑定的智能机器人。每个命令卡是由用户创建或定制的，并且表示主题、题材、兴趣、查询、研究项目、目标等。例如，用户可以口头对应用讲话，说：“嗨，机器人，创建黑洞缠结命令卡。”该应用依次创建命令卡、从网上选择描绘黑洞缠结的图片，并在图片下方显示说明“黑洞缠结”的单词。在替代示例实施例中，用户使用他们的脑信号、神经信号或肌肉信号或其组合来生成用户输入数据，该数据由用户设备或数据使能程序转换成言语，处理后的言语是“嗨，机器人，创建黑洞缠结命令卡”。
[0158] 将认识到的是，本文中的术语“命令卡”是指回答与其相关联的指令或与其相关的数据的统一集合。该数据包括例如文本数据、音频数据和视觉数据中的一个或多个(例如，图像或视频，或两者)。
[0159] 与用于黑洞缠结的命令卡相关联的各种搜索机器人开始从互联网新闻、博客、论坛、期刊、杂志、社交网站、视频网站等自主搜索与关键词和短语“黑洞缠结”密切匹配的多媒体(文本、音频、视频、图片)。这些搜索机器人使用数据科学，诸如但不限于K均值聚类，来识别最能反映黑洞缠结的属性和特征的属性和特征。与这个命令卡相关联的行为机器人会对找到的数据进行过滤或处理或两者。
[0160] 用户随后经由用户界面选择黑洞缠结命令卡，因此，命令卡开始基于行为机器人进行过滤或处理或两者之后的结果显示特定于黑洞缠结的信息的摘要信息、图片、文章、视频等。
[0161] 用户可以相对于每个多媒体图片、文本、音频、视频口头或手动说出他或她喜欢或不喜欢该内容。行为机器人开始学习该用户喜欢和不喜欢该K均值结果的什么，然后调整数据科学以呈现更像机器学习到用户“喜欢”的结果。
[0162] 用户还可以通过命令卡的注释模块，通过利用麦克风或利用其它传感器，如脑信号传感器、肌肉信号传感器或神经信号传感器，或其组合，对内容进行评论。例如，用户可以评论：这个理论听起来是熟悉的；或来自ABC公司的新卫星应当提供支持这个理论的更多事实。命令卡通过数据使能平台，使用这个信息在同一本电子杂志中提供相关信息。
[0163] 在特定示例中，当用户阅读、收听或观看多媒体片段时，用户可以告诉应用暂停。在这个暂停点，用户可以创建语音和键入机器人注释，这些注释链接到多媒体中的关键词、短语、图片、视频帧和声音字节；这是使用暂停点机器人实现的。这些由用户创建的机器人注释使得用户能够插入想法、评论、提醒、待办事项等，并对其加索引以供将来访问。在这个暂停点，在替代实施例中，用户可以使用诸如Google或Bing之类的搜索引擎来执行搜索。如果用户喜欢来自搜索结果页面的结果之一，那么用户可以将链接的多媒体口头连接到数字杂志暂停点以供将来参考。在这个暂停点，在替代实施例中，用户可以口头链接到不同的网站、论坛、博客、论坛等、搜索结果，并将这个结果信息链接回暂停点。暂停点机器人可以同时开始搜索其它互联网多媒体文档，将K均值应用于结果，并推荐与每个评论、待办事项、提醒、搜索结果链接、论坛、博客、新闻、期刊等非常相似的其它多媒体文档，这类似于看到针对主题的这些结果的人也搜索并找到了X个多媒体，这X个多媒体具有与特定想法、待办事项、视频等密切相关的特征和属性。
[0164] 当用户阅读、收听以及将更多的相关评论、注释、链接等添加到黑洞缠结命令卡时，用户可以选择经由社交媒体、论坛、博客等发布和与其他人共享他的命令卡。
[0165] 用户创建或用户追加的与命令卡相关联的注释可以包括文档、捕获的图片/视频、音频记录和输入的IoT数据。
[0166] 当用户向命令卡添加评论时(例如，经由口头、键入、脑信号、神经信号、肌肉信号等)，行为机器人将情感分析应用于用户输入的评论，从而创建可帮助行为机器人理解命令卡中的对于某个片段(例如，文章、视频、博客条目、音频段(audio cast)或播客等)的兴奋、悲伤等的元数据。
[0167] 当用户向数字杂志添加语音、图片和视频评论时，另一个行为机器人可以记录/观察背景噪声、背景图片/视频元素(位置、颜色、人、物体)，以创建能够帮助行为机器人更好地理解用户正在其中消费关于黑洞缠结命令卡的信息的上下文或环境的元数据。例如，数据使能平台确定用户是否正在火车上、飞机上、在浴室中、在公园里还是在与周围有人的情况下等等消费媒体。
[0168] 黑洞缠结卡的用户界面模块还可以计算并生成可视图形数据表示，该数据表示示出所有黑洞缠结媒体块如何彼此关联以便于将来访问，并建议和推荐其它媒体文章、网站、新闻、博客和论坛，以查看并可能将其添加到黑洞缠结数字杂志中。
[0169] 如果命令卡创建者发布并允许人们遵循这个命令卡，那么数据使能平台还使其他人能够遵循用户的特定命令卡。
[0170] 在示例方面，为某个主题创建命令卡的人可以调整设置，这些设置指导数据使能平台与所选择的联系人私下共享给定的命令卡，或者公开共享。
[0171] 系统使命令卡创建者能够接收评论、问题、链接、数字媒体，并决定是否将这种提交的信息添加到现有的黑洞缠结命令卡。
[0172] 在示例方面，关于特定主题、题材、兴趣等的上述信息的结果产生最接近、实时、完美的信息。
[0173] 基于这些技术特征，实际上对于用户，即作为发烧友的用户来说，不再需要进行与指令相关的深入搜索。数据使能平台和一个或多个用户设备以易于消费和交互的格式，为用户一起拉取该信息。
[0174] 转到图11，提供了驻留在给定的用户设备1101、数据科学服务器1102以及内部应用和数据库1103上的软件模块的示例实施例。
[0175] 例如，数据使能应用1104驻留在用户设备上，并且该应用包括：命令卡A、命令卡B、命令卡N等、团队命令卡和配置模块。用户设备还包括用户界面(UI)模块1105，其可以是数据使能应用1104的一部分，或者可以与数据使能应用1104交互。UI模块包括与每个命令卡相关联或作为其一部分的用户界面机器人(例如，聊天机器人)。例如，Ul机器人A链接到命令卡A，而Ul机器人B链接到命令卡B。还有全局聊天机器人，它与整个应用1104和命令卡接口。Ul模块还包括一个或多个GUI、一个或多个消息通信应用、一个或多个合成器语音模块以及一个或多个触觉反馈模块，或其组合。
[0176] 数据科学服务器1102包括数据科学算法库、包含各种搜索机器人的搜索机器人库、包含各种行为机器人的行为机器人库、配置模块以及策略和规则引擎。例如，策略和规则引擎包括特定于使用数据使能平台的公司或组织的策略和规则。
[0177] 关于数据科学算法库，将认识到的是，本文的数据科学是指以包括但不限于算法、机器学习、人工科学、中性网络等形式应用于数据的数学和科学。数据科学的结果包括但不限于商业和技术趋势推荐、行动、趋势等。搜索机器人和行为机器人从数据科学算法库中获得用于进行数据科学和机器学习的可执行代码。
[0178] 在示例方面，数据科学算法库中包括表面、趋势、推荐、推断、预测和行动(STRIPA)算法。这一系列STRIPA算法值得一起使用并且被用于将特定类型的数据科学分类到相关的类。
[0179] 数据科学库中的其它数据科学算法的非限制性示例包括：Word2vec表示学习；情感(例如，多模态、方面、上下文等)；否定提示，范围检测；主题分类；TF-IDF特征向量；实体提取；文档摘要；网页排名；模块化；诱导子图；双图传播；用于推断的标签传播；广度优先搜索；特征中心度，输入/输出度；基于GPU的Monte Carlo Markov链(MCMC)模拟；利用区域卷积神经网络(R-CNN)的深度学习；Torch、Caffe和基于GPU的Torch(Torch on GPU)；徽标检测；ImageNet、GoogleNet目标检测；SIFT、感兴趣区域语义分割网络(SegNet Regions of interest)；组合NLP和图像的序列学习；K均值、层次聚类；决策树；线性、逻辑回归；相关性关联(Affinity Association)规则；朴素贝叶斯；支持向量机(SVM)；趋势时间序列；突发异常检测；KNN分类器；语言检测；表面语境情感、趋势、推荐；新兴趋势；独特之处(Whats Unique)查找器；实时事件趋势；趋势洞察；相关查询建议；用户、产品、品牌、公司的实体关系图；实体推断：地理、年龄、性别、人口统计数据等；主题分类；基于方面的NLP(Word2Vec、NLP查询等)；分析和报告；视频和音频识别；意图预测；最佳结果路径；基于属性的优化；搜索和发现；以及基于网络的优化。
[0180] 在其它示例实施例中，上面提到的数据科学可以驻留在用户的智能电话上、公共云或私有云中、或公司的数据中心中，或上面提到的任何组合。
[0181] 继续图11，UI模块1106也驻留在数据科学服务器1102上。
[0182] 在示例实施例中，内部应用和数据库1103被用于协助执行命令卡的指令。此类软件和数据库的示例包括：电子邮件软件、日历软件、联系人列表软件、项目管理软件、CRM软件、会计软件和库存软件。这些不同的软件中的每一个都是不同的数据源，并且使用不同的搜索机器人分别搜索这些不同的软件。
[0183] 图12和13包括示例GUI的屏幕快照，示为将数据使能系统应用于命令卡的显示数据。
[0184] 在图12中，示出了用于数据使能应用的主页登录页面1201。它包括搜索字段1202，用于接收针对主题、名称、事物等的文本输入。用户还可以向全局聊天机器人讲话，以探索或搜索主题、名称、事物等。它还包括用于激活每个命令卡的GUI控件1203、1203。例如，控件1203表示关于黑洞缠结的命令卡，而控件1204表示关于计划第一次日本之旅的行程的不同的命令卡。通过接收对于这些控件之一的选择(例如，通过GUI或者通过口头命令)，用户设备将启动特定于所选择的命令卡的GUI，并将激活对应的UI机器人。
[0185] 图13示出了所选择的命令卡的示例GUI 1301。内容的布局和格式可以随时间改变，并且可以因用户而异。GUI可以包括文本、视频或图像或其组合。文本字段1302接收文本输入以发起搜索或存储与给定数字媒体片段相关的评论。可视内容的显示可以上下滚动，或者可以被呈现为可以翻转的页面。
[0186] 通过在GUI中选择一段内容，Ul机器人开始大声读取该内容。
[0187] 应该认识到的是，即使用户正在查看GUI，命令卡用户界面中的内容也可以实时更新，因为该内容是由命令卡的搜索机器人和行为机器人获得的。
[0188] 所描绘的控制元件是作为示例。具有不同数据科学、机器人、特征和功能的其它控制元素可以被添加以及与其它控制元素混合。
[0189] 以下是用户提出的示例问题和陈述，以及Ul机器人(例如，聊天机器人)提供的口头反馈。将认识到的是，Ul机器人是对话式的，并且适应于其正在对话的用户的风格。
[0190] 示例1
[0191] 用户：嗨，机器人，请向我提供有关主题X的文章。
[0192] 机器人：嗨，用户，这是有关主题X的最新文章以及有关主题X的引用最多的文章。
[0193] 机器人读出来自各种数据源的最新的3篇新文章的摘要，并读出了引用最多的3篇文章的摘要。
[0194] 示例2
[0195] 用户：嗨，机器人，为我阅读XYZ文章。
[0196] 机器人读出文章XYZ。
[0197] 用户：嗨，机器人，请重复最后几句话。
[0198] 机器人重新阅读最后三个句子，停顿，并继续阅读文章XYZ的其余部分。
[0199] 示例3
[0200] 用户：嗨，机器人，为我阅读XYZ文章。
[0201] 机器人读出文章XYZ。
[0202] 用户：嗨，机器人，我认为R理论的观点很有趣。P教授正在做一些研究来反驳它。
[0203] 机器人：嗨，用户，我发现了更多关于R理论的内容、P教授关于R理论的文章、以及关于反驳R理论的其它内容。您想现在听这些内容还是将其保存以备后用？
[0204] 用户：嗨，机器人，继续阅读本文章，然后为我读P教授的文章。
[0205] 机器人继续读出XYZ文章。之后，机器人读出P教授的文章。
[0206] 示例4
[0207] 用户：嗨，机器人，请告诉我当前的生产能力。
[0208] 搜索机器人收集有关制造机械生产率的IoT数据，并且命令卡Ul机器人生成示出每台机器的生产能力的图表。
[0209] 转到图14，由数据使能平台实施示例计算操作以搜索个性化数据并将其输出给用户。
[0210] 方框1401：基于用户输入，数据使能平台创建命令卡。这包括指令模块接收用户输入的指令，并对其进行处理以生成计算机可读指令。
[0211] 方框1402：数据使能平台向命令卡指派并预配置搜索机器人。预配置包括创建用于搜索不同的数据源以完成指令的每个搜索机器人。这可以自动或半自动地完成。例如，用户可以经由Ul选择要搜索的数据源，进而确定搜索机器人的类型。用户还可以调整指派的搜索机器人的参数，从而定制搜索机器人。例如，用户可以输入特定的关键词、名称或数据类型，以供给定的搜索机器人在其搜索计算中使用。
[0212] 方框1403：数据使能平台向命令卡指派并预配置行为机器人。这包括在命令卡及其指令的上下文中创建每个行为机器人，以监视、理解和潜在地预测行为数据。这可以自动或半自动地完成。例如，用户可以选择要监视的某些行为。用户还可以定制行为机器人，使其具有特定于给定命令卡的某些偏向(bias)。
[0213] 方框1404：数据使能平台为命令卡预配置存储空间。例如，在数据湖中预配置存储空间。
[0214] 方框1405：数据使能平台向搜索机器人、行为机器人或存储空间或其组合指派隐私/安全性设置。这可以根据默认设置完成，并且可以由用户定制。
[0215] 方框1406：执行搜索机器人。虽然搜索机器人具有相同的指令，但它们彼此独立且并行地操作。
[0216] 方框1407：数据使能平台高速缓存、加索引和存储由搜索机器人获得的结果。
[0217] 方框1408：行为机器人对由搜索机器人获得的结果进行过滤和处理，以生成个性化结果。
[0218] 方框1409：作为行为机器人或整个命令卡的处理的一部分，数据使能平台格式化个性化结果，以经由用户界面输出。
[0219] 方框1410：命令卡的用户界面模块经由一个或多个用户设备输出格式化的个性化结果。
[0220] 方框1411：数据使能平台响应于输出结果，经由用户界面模块检测用户交互。用户交互的类型取决于这个系统中提供的用户设备和用户界面的类型。
[0221] 方框1412：行为机器人使用检测到的用户交互数据作为输入来影响行为机器人的数据科学。这些经过修订或自修正的行为机器人在将来的对数据进行过滤和处理的迭代中使用。
[0222] 方框1413：搜索机器人从行为机器人获得数据，以更新搜索机器人所使用的数据科学算法。这些经过修订或自修正的搜索机器人随后用于在未来迭代中搜索数据。该过程在方框1406及后续方框处重复。
[0223] 在示例实施例中，该处理从方框1406开始向后是连续的，其中搜索机器人连续搜索数据并且每一搜索机器人产生其自己的数据流。
[0224] 转到图15，根据另一个示例实施例，示出了用于使用搜索机器人和行为机器人的计算流程图。不同的搜索机器人1501被用于搜索不同的数据源。例如，存在与每个不同数据源对应的不同搜索机器人：用于社交数据的搜索机器人、用于给定搜索引擎的搜索机器人、用于职业网站的搜索机器人、用于IoT数据的搜索机器人、用于虚拟或增强现实数据的搜索机器人、用于边缘设备数据的搜索机器人、用于企业资源规划(ERP)数据的搜索机器人、用于音乐数据的搜索机器人、用于视频数据的搜索机器人、以及用于第三方数据的搜索机器人。
[0225] 根据方框1502，每个搜索引擎对相关数据执行搜索操作。例如，在一些情况下，使用爬虫技术来获得相关数据。每个搜索机器人摄取并高速缓存数据结果。每个搜索机器人将数据科学应用于数据结果。如果提供了用户定义的关键词、话题标签(hashtag)、查询，那么搜索机器人将这个用户定义的输入应用于数据结果。每个搜索机器人使用上述操作过滤、显现(surface)和生成修订数据集，以生成集合A数据集。
[0226] 在方框1503处，集合A的数据包括与命令卡的指令相关的所有相关答案、推荐和信息。这种信息被高速缓存、加索引，并存储链接至源数据的数据链接。源数据可以包括以下中的一个或多个：图片、视频、社交内容、音乐、IoT数据、边缘设备数据、第三方数据、ERP数据、虚拟现实或增强现实数据、职业站点数据、新闻、博客、论坛和其它互联网网站。
[0227] 行为机器人1504对集合A数据执行个性化，以产生集合B数据1505。在示例实施例中，行为机器人1504包括一个或多个局部行为机器人和一个或多个全局行为机器人的混合。例如，局部行为机器人特定于用户。全局行为机器人特定于一组用户(例如，组织)，给定用户是该组中成员。例如，给定的局部行为机器人特定于给定用户的兴趣或偏好，而给定的全局行为机器人特定于代表该用户组的行为准则(ethics)。
[0228] 集合B数据是集合A数据的子集，并且可以对其摘要和表示进行进一步变换，以反映由行为机器人确定的行为数据特征。
[0229] 在方框1505处，集合B数据包括基于由行为机器人生成的机器学习的简档而被裁剪适应于给定用户、给定组、给定部门、给定组织等的数据。这个集合B数据被高速缓存、加索引，并存储链接至源数据的链接。也可以针对相关性对这个集合B数据进行排名和评分。
[0230] 在方框1506处，通过API、应用和一个或多个用户设备来呈现集合B数据的答案、推荐和信息。
[0231] 方框1505的输出被用于通知搜索机器人，而搜索机器人可以基于某些行为特征来调整其搜索和数据科学参数。
[0232] 转到图16，示出了用于应用自然语言处理(NLP)的示例计算。在方框1601处，用户设备或OCD接收输入以监视给定主题。在方框1602处，以规则的间隔(例如，每天)，数据使能平台对与给定主题相关的最新新闻执行外部搜索。在方框1603处，将外部搜索结果存储在存储器中。在方框1604处，数据使能平台对搜索结果应用NLP自动摘要，并将该摘要输出到用户设备(例如，经由音频反馈)(方框1605)。然后，根据方框1602，以规则的间隔重复该处理。
[0233] 转到图17，提供了另一个示例计算。在方框1701处，用户设备或OCD根据命令卡的指令接收输入以获得关于给定主题的信息。在方框1702处，以规则的间隔(例如，每天)，数据使能平台通过搜索机器人，对与给定主题相关的最新新闻执行外部搜索。在方框1703处，将外部搜索结果存储在存储器中。在方框1704处，数据使能平台通过搜索机器人，对给定主题执行内部搜索。在方框1705处，存储这些内部搜索结果。在方框1706处，数据使能平台将外部搜索结果与内部搜索结果进行比较，以确定它们是否彼此影响。例如，数据使能平台确定数据中是否存在差异或数据中是否存在相似性，或两者兼有。在方框1707处，数据使能平台对受影响的外部搜索结果或受影响的内部搜索结果或两者应用NLP自动摘要。摘要被输出到用户设备以用于视觉显示或音频反馈(方框1708)。以这种方式，向用户通知相关新闻以及该新闻为何相关(例如，受影响的内部数据等)。
[0234] 在示例实施例中，图16或17中的上述方法用于提供Ul机器人或聊天机器人，其为每个特定主题提供了消费新闻摘要(例如，新闻发布、调查性文章、纪录片、领英(Linkedln)、脸书(Facebook)粉丝页面等)的方便快捷的方式。
[0235] 转到图18，提供了示例性可执行指令，用于使用动态搜索来影响某些数据在用户设备处的输出方式。
[0236] 方框1801：当用户设备播放文本的音频时，用户设备将用户的口头命令检测为以下中的至少一个：重复文本的一部分、搜索文本的一部分、澄清文本的一部分、对文本的一部分进行注释、突出显示或记住文本的一部分，等等。
[0237] 方框1802：用户设备或数据使能平台或两者执行用户命令。
[0238] 方框1803：数据使能平台总体统计任何和所有用户或某些排名较高的用户或两者所作用的文本的特定部分的次数。
[0239] 方框1804：在统计了一定次数之后，数据使能平台标记文本的该特定部分。
[0240] 方框1805：当正在通过辅助用户设备经由音频手段播放被标记的文本的特定部分时，用户设备以强调的方式(例如，更慢、更大声、以不同的音调、以不同的语音等)播放音频文本。换句话说，数据使能平台已标记了文本的特定部分，并已对文本的特定部分执行了音频变换。
[0241] 因此，如果用户1对一些文本或音频或视频发表评论，那么当用户2回顾相同的数据时，用户2的聊天机器人将重点读取该文本。在示例实施例中，用户2不知道注释是什么，而仅知道文本的那部分被许多用户认为是重要的。
[0242] 转到图19，提供了用于处理语音数据和背景噪声的示例可执行指令。
[0243] 方框1901：用户设备或OCD记录音频数据，包括语音数据和背景噪声。
[0244] 方框1902：数据使能平台应用音频处理以将语音数据与背景噪声分离。
[0245] 方框1903：数据使能平台将语音数据和背景噪声保存为分离的文件并彼此关联。
[0246] 方框1904：数据使能平台应用机器学习来针对以下内容分析语音数据：文本；意义；情绪；文化；语言；用户的健康状态；等等。
[0247] 方框1905：数据使能平台应用机器学习来针对以下内容分析背景噪声：环境、用户参与的当前活动等。
[0248] 方框1906：数据使能平台应用机器学习来确定从语音数据提取的特征与从背景噪声提取的特征之间的相关性。
[0249] 以这种方式，可以更准确地确定关于用户的信息，诸如他们的行为和周围环境。这个信息被存储为给定用户简档的一部分(例如，用户1简档、用户2简档等)。这进而可以被用于为用户策划更相关的内容、识别相似的用户、格式化内容的输出(例如，语言、阅读的速度、音量、视觉布局、字体等)，以满足用户的简档，并将数据提供给发布者和内容制作者以生成更相关内容。
[0250] 转到图20，提供了用于使用数据使能平台来处理数据的示例计算机可执行指令。在方框2001处，用户设备或OCD或两者接收输入以选择驻留在用户设备上的应用(例如，数据使能应用)的功能或模式。在方框2002处，用户设备或OCD或两者从用户获得语音数据。在方框2003处，用户设备或OCD或两者将相同的数据传输到第三方云计算服务器。用户设备还传输例如上下文数据。在方框2004处，第三方云计算服务器处理语音数据以获得数据特征。
[0251] 所提取的数据特征的非限制性示例包括文本、情感、动作标签(例如，命令、请求、问题、紧急程度等)、语音特征等。上下文特征的非限制性示例包括用户信息、设备信息、位置、数据使能应用(例如、所选择的命令卡)的功能或模式、以及日期和时间标签。
[0252] 所提取的数据特征和上下文特征被传输到数据科学服务器(方框2005)。原始数据(例如，原始音频数据)也可以被传输到数据科学服务器。在方框2006处，数据科学服务器处理该接收到的数据。
[0253] 在方框2007处，数据科学服务器与AI平台或内部应用和内部数据库或两者交互，以生成一个或多个输出。
[0254] 然后，数据科学服务器将一个或多个输出发送到第三方云计算服务器(方框2008)。在一个示例实施例中，第三方云计算服务器对输出进行后处理以提供或编译文本、图像、视频或音频数据或其组合(方框2009)。在方框2010处，第三方云计算服务器将经后处理的输出传输到相关的(一个或多个)用户设备或(一个或多个)OCD。在方框2011处，(一个或多个)用户设备或(一个或多个)OCD或两者例如经由音频设备或显示设备或两者输出经后处理的输出。
[0255] 在替代实施例中，源于方框2008，在方框2012处，第三方云计算服务器将输出传输到一个或多个相关设备(例如，用户设备或OCD)。然后，在一个或多个相关设备上本地执行后处理(方框2013)。然后，这些经后处理的输出经由音频设备或视觉设备或两者，在一个或多个用户设备或OCD上输出(方框2011)。
[0256] 返回到方框2007，在示例方面，数据科学服务器从内部应用和内部数据库中拉取数据，或者基于由数据科学服务器产生的结果来更新内部应用和内部数据库，或者执行以上两种操作(方框2014)。
[0257] 在另一个示例方面，数据科学服务器将数据和命令传输到AI平台，以将AI处理应用于所传输的数据。作为回报，AI平台将外部和本地信息以及数据智能传输到数据科学服务器。这些操作在方框2015中示出。
[0258] 可以认识到的是，方框2007、2014和2015中的任何两个或更多个操作可以相互影响。在示例实施例中，在方框2015的操作中使用方框2014的输出。在另一个示例实施例中，在方框2014的操作中使用方框2015的输出。
[0259] 使用本文所述的系统、设备和计算操作，用户无需浪费时间去尝试搜索和分析所有最新和最重要的信息，而是可以仅仅讲话、打手势就可以将数据、照片、视频、音频、关键词、标签等输入到与用户相关的定义的命令卡中。每个数字命令卡表示用户的兴趣、搜索、项目、机会等。搜索机器人使用数据科学(AI、ML、STRIPA)自主搜索、对搜索结果数据分类和过滤，并创建一组可能答案。随着该组答案的出现，系统开始应用其他类型的数据科学机器人。这些行为机器人是对我的兴趣、喜好、厌恶等进行机器学习和理解的用户行为和简档机器人。这些行为机器人被应用于该组可能答案，并最终将被裁剪适应于我的行为和简档的答案显现出来。例如，通过对所返回的搜索结果答案以及我的机器学习后的行为简档全部应用K值，将仅对排名靠前的答案或结果赋予优先级，并按排名顺序显示。可能有数百个可能的正确答案，但只有2或3个正确答案与我的个性、行为或简档匹配。通过提供这2或3个答案，可以为用户节约宝贵的时间，并有助于做出对该人可用的最明智的“完美信息”决策。
[0260] 此外，通过使用诸如增强现实和虚拟现实设备以及房间和可穿戴设备之类的交互式设备，创造性地输入命令卡多媒体和数据并与之积极交融的能力创建了更具创造性和更丰富的答案。
[0261] 创建和使用命令卡的示例处理
[0262] 在第一步骤，用户创建数字命令卡，并向该命令卡指派n个搜索机器人。用户可以键入或说出命令卡名称。在示例实施例中，用户选择现有的机器人或创建用户定义的机器人。
[0263] 特定于给定数据源的搜索机器人的非限制性示例包括：谷歌(Google)机器人；必应(Bing)机器人；领英(Linkedln)机器人；脸书(FaceBook)机器人；新闻、博客和论坛机器人；蜚比(Fitbit)机器人；引擎低油IoT传感器机器人；火车制动系统IoT传感器机器人；网络监视边缘设备；ERP机器人；音乐机器人；视频机器人；用户定义的查询机器人；增强现实和虚拟现实可穿戴设备以及房间机器人；以及第三方专有查询机器人。
[0264] 在第一步骤的另一方面，用户可以创建自己的独特机器人。例如，用户可以创建用户定义的查询机器人。
[0265] 在第一步骤的另一方面，用户可以重复使用先前创建的机器人。
[0266] 在第一步骤的另一方面，搜索机器人检索包括图片、视频、日志、文本、机器数据和音频的数据。搜索机器人对图片、视频、日志、文本、机器数据和音频数据执行数据科学。数据科学处理的非限制性示例包括：用于分组的k统计，以及用于对相似群组(cohort)进行分组的最近邻居。
[0267] 在第一步骤的另一方面，将行为机器人预配置为命令卡的一部分。基线行为是机器学习后的机器人，该机器人将总体(overarching)机器学习应用于所有命令卡搜索结果。这些行为机器人中的每一个监视特定于给定的人或组的不同行为功能，并将其用于处理由搜索机器人发现的数据。行为机器人的非限制性示例包括：我的行为模式机器人；我的个性模式机器人；我的消费模式机器人；我的风险承受能力模式机器人；我的亲缘关系模式机器人；我的兴趣模式机器人；我的健康模式机器人；我的面部表情模式机器人；我的说话和语调模式机器人；我的手势模式机器人；我的情感模式机器人；我的人口统计数据模式机器人；我的休闲机器人；我的关系机器人；我的旅行模式机器人；我的经济状况模式机器人；我的教育状况机器人；我的性取向模式机器人；我的师生关系机器人；我的家庭机器人；我的工作机器人；我的朋友机器人；我的伦理机器人；我的学习机器人；我的生物信号机器人(例如，用于检测脑信号、肌肉信号和神经信号中的一个或多个)；我的乐观机器人；以及我的类迈尔斯布里格斯的性格特质模式机器人。
[0268] 例如，这些行为机器人被指派了用户已知的基线行为参数。但是，行为机器人能够随着时间的流逝而进化，并变得特定于给定的命令卡。例如，针对用于用户的第一命令卡的风险承受能力模式机器人与针对用于同一用户的第二命令卡的风险承受能力模式机器人不同。在另一个示例中，当用户偏向本地机器人(示例的喜欢/不喜欢内容，其不同于与我的正常行为模式)时，针对特定命令卡来修改我的机器学习后的行为模式。偏向本地机器人示例包括喜欢和不喜欢用户读取并对其做出反应的命令卡结果。在另一个示例中，偏向行为机器人还包括应用机器学习来识别用户相对于其它文章、图片或视频而对一些文章、图片、视频点击更多。在另一个示例中，偏向行为机器人包括对用户的口头注释(经由NLP)进行机器学习，或者对用户的语调进行机器学习，或理解这些注释的情感，或以上操作的组合。因此，行为机器人将用户注释偏好结合到本地机器人中，以对答案进行筛选或排名排序。
[0269] 在第二步骤，用户启动和操作命令卡。它包括以下步骤：
[0270] 1)将命令卡创建命令以口头方式传送至、键入、或以手势方式输入至数据使能应用中。
[0271] 2)数据使能应用口头说出或提示用户输入命令卡的名称。
[0272] 3)用户命名命令卡。
[0273] 4)数据使能应用提示用户从库中选择机器人(例如，搜索机器人和行为机器人)。
[0274] 5)用户为命令卡挑选和选择机器人。
[0275] 6)数据使能应用提示用户为了协作的目的而(可选地)添加人，以在命令卡中CRUD(创建、读取、更新、删除)信息。
[0276] 7)用户挑选和选择人，以在命令卡中CRUD信息。
[0277] 8)数据使能应用保存新创建的命令卡。
[0278] 9)数据使能应用开始执行先前选择的机器人。
[0279] 10)如果为了协作的目的而曾经将人添加到数字容器中，则数据使能应用向这些人发送邀请。
[0280] 以下是用于创建用户定义的机器人的操作，其不同于用户从现有机器人库中进行选择。
[0281] 1)执行创建机器人的命令。
[0282] 2)给机器人命名。
[0283] 3)定义数据源(社交网站、企业数据库、IoT/边缘设备、新闻博客论坛等)。
[0284] 4)在执行搜索时，添加关键词、话题标签、特殊查询/过滤器。
[0285] 5)选择、解析和集成数据源API。
[0286] 6)选择和集成将应用于数据源搜索结果的数据科学(ML、AI、STRIPA)。
[0287] 7)定义用于搜索和流式传输数据的技术和业务规则与策略。例如，一些论坛具有爬网规则，这些规则阻止来自一IP地址(互联网协议地址)的计算系统每天爬网其站点超过一次。如果该规则被破坏，那么将拒绝该爬虫机器人继续爬网。
[0288] 8)保存新创建的机器人。
[0289] 9)将新创建的机器人添加到现有机器人库中。
[0290] 以下是从机器人库中挑选现有机器人的示例步骤。
[0291] 1)执行打开新的或现有的命令卡。
[0292] 2)打开机器人库。
[0293] 3)从机器人库中挑选n个机器人。
[0294] 4)对于每个机器人，用户可以打开该机器人并读取机器人搜索准则。
[0295] 5)用户可以添加、更新和删除特定于机器人的关键词、话题标签、查询，[0296] 6)经修改的机器人被保存在库中，并且作为命令卡的一部分。
[0297] 7)保存具有新添加的机器人的命令卡。
[0298] 用户可以随时读取、添加、更新和删除命令卡中的机器人。
[0299] 在整个过程的第三步骤，命令卡开始执行机器人。这包括以下操作：
[0300] 1)搜索机器人开始返回结果。
[0301] 2)每个命令卡高速缓存机器人搜索结果。
[0302] 3)数据科学被应用于每个命令卡搜索机器人结果。例如，数据科学包括确定相关性；确定关键词/话题标签匹配；以及确定K统计；以及最近邻居。
[0303] 在整个过程的第四步骤，对来自数据科学的结果(第二步骤)进行高速缓存、加索引和存储。
[0304] 在第四步骤的一方面，机器人对链接至照片、视频、文本、音频、机器数据、IoT边缘设备、企业数据和其它数据的链接进行索引和存储。机器人不存储所有内容，而是仅存储答案或摘要以及链接至源数据的链接。答案或摘要包括图片或文本摘要，以提醒用户。因此，数据使能系统通过避免存储已知的数据来节省资源。数据使能系统存储来自于不同位置的产生答案的数据的链接和路径，这被认为是当涉及极端数据时更有效和高效的方法。
[0305] 在整个过程的第五步骤，随后将行为机器人应用于由搜索机器人获得的高速缓存的结果，以便将“所有可能答案”的集合裁剪为“也匹配我的行为简档的正确答案”的小集合。在示例特征中，对经处理的结果进行排名、评分和显示。在另一个示例实施例中，虽然搜索机器人可能潜在地发现数百个正确答案，但基于机器学习的机器人行为简档，仅显示2或3个答案，并且这些答案是针对“我”(例如，给定用户)的正确答案。在另一个示例方面，基于行为机器人的处理，将评分应用于搜索机器人提供的所有可能的答案，行为机器人可以在将来的迭代中将其用于机器学习。
[0306] 在第六步骤，用户可以与搜索机器人提供的所有可能答案的整个集合进行交互，或者仅与行为机器人选择并呈现的2或3个答案进行交互，以便创造性地探索其它有趣的和相关的主题、想法、地点、人、事件等。这种信息可以经由GUI来浏览，该GUI示出所有可能答案的文氏图(Venn diagram)以及作为可能答案的子集的所选择的2或3个个性化答案。
[0307] 在第六步骤的一方面，用户交互可以包括口头导航或键入创造性探索。在第六步骤的另一方面，用户交互可以包括增强现实或虚拟现实创造性探索。在第六步骤的另一方面，用户交互可以包括可穿戴设备创造性探索。在第六步骤的另一方面，用户交互可以包括语音笔记和会议记录(注解)。在第六步骤的另一方面，用户交互可以包括添加图片、视频、文本、音频添加到“答案”。在第六步骤的另一方面，随后可以将来自任何或所有上述创造性探索技术的结果，以使行为机器人偏向，或调整行为机器人。在第六步骤的另一方面，来自任何或所有上述创造性探索技术的结果可以将新内容、话题标签、关键词、链接、数据添加到现有命令卡。在第六步骤的另一方面，用户可以选择将可能随着时间而变得相关的其它命令卡链接在一起。
[0308] 在第七步骤，第二步骤至第六步骤自主且连续地运行，以便连续地提供最新的“完美信息”答案。
[0309] 搜索机器人的示例方面
[0310] 数据科学驱动的搜索机器人搜索或爬行数据，或执行两者，并高速缓存来自数据源的数据。搜索机器人还对高速缓存的搜索结果执行数据科学处理，并对相关结果进行过滤和显现。
[0311] 过滤和显现的结果是与命令卡和搜索机器人准则相关的信息、数据、图片、视频、数据日志、机器数据、IoT和边缘设备数据、VR/AR数据等的文氏图。可以将一个或多个搜索机器人指派给命令卡。
[0312] 在一方面，搜索机器人从单个数据源或多个数据源收集信息。
[0313] 在另一方面，搜索机器人遵循规则和策略(例如，机器人每天可以爬网/查询站点的次数)。
[0314] 在另一方面，搜索机器人的结果被高速缓存。例如，高速缓存可以发生在边缘设备、智能电话设备、IoT设备、公共云或私有云中、或上述各项的任意组合。
[0315] 在另一方面，搜索机器人不停止地执行分析，包括对正在流入的高速缓存的搜索结果应用数据科学处理。该数据科学处理仅仅对与命令卡指令和机器人准则相关的数据、信息和答案进行过滤和显现。例如，搜索机器人准则包括对用户输入的应用于高速缓存的搜索结果的(可选的)匹配关键词、话题标签等进行过滤和显现。
[0316] 通过执行该分析而获得的输出成为与命令卡指令最相关的集合A数据。输出结果以信息、问题的答案、图片、数据、视频、机器数据、机器数据、音频数据等形式表示。
[0317] 在另一方面，集合A数据是临时的，因此当搜索机器人提供新的流数据时，集合A数据可能变得过时。例如，每个机器人连续摄取流数据，这进而可以将集合A修改为时间T+1处的集合A’、T+2处的集合B”，等等。在另一个示例中，每个机器人可以每小时、每天、每周、每月自动搜索和爬网数据源。
[0318] 行为机器人的示例方面
[0319] 数据科学驱动的行为机器人是使用行为数据来训练机器学习算法的行为、个性、简档机器人。
[0320] 这些行为机器人可以针对特定的人，人的组，人的部门，企业，组织，人的一次性事件，具有相似兴趣、亲缘关系、偏好或倾向性的人的组，物体，头像，地点，事件，动作，时间段，主题，人或物体中的时间段或时间窗，历史时间段，将来时间段，或这些特征的组合。
[0321] 行为机器人将其数据科学处理应用于从搜索机器人获得的“经过滤和显现的”结果集，也称为集合A数据。行为机器人的输出是被裁剪适应于上文所列出的人的行为、简档等、或者人的组的行为、简档、或者人的部门的行为、简档、企业行为、简档等等的信息和答案。在示例方面，命令卡提供被裁剪适应于我的个人简档、我的组简档、部门简档等的高度裁剪的推荐、答案和信息，也称为集合B数据。该集合B数据的小组与集合A数据不同，集合A数据可以具有数百个正确的推荐、答案和信息，这些推荐、答案和信息都非常好，但不适合我自己、或者由志同道合的人构成的组的简档和行为。
[0322] 就像集合A数据一样，集合B数据是临时的。
[0323] 本文描述的计算体系架构以及相关的系统和设备包括多个搜索机器人和多个行为机器人。这些搜索机器人并行操作，并且每个搜索机器人提供专用于每个数据源的实时馈送。对于每个搜索机器人，存在针对每个数据源进行优化的特定数据科学和处理。
[0324] 类似地，行为机器人并行操作，并且每个行为机器人专用于监视用户的某个行为属性。每个行为机器人可以并行地过滤掉输入的数据流，并包括针对每个行为机器人优化后的特定数据科学和处理。行为机器人还可以有利地收集行为属性，以及转换和组合数据。
[0325] 搜索机器人与行为机器人之间的区分和分离允许这两类机器人彼此并行操作。此外，搜索机器人和行为机器人也专用于各自不同的操作。此外，搜索机器人与行为机器人之间、以及搜索机器人之间以及行为机器人之间的区分和分离有利于两者的可移植性和可定制性。它还使得整个计算体系架构具有很强的可扩展性，可针对许多不同类型指令扩展至海量用户。
[0326] 在示例实施例中，包括但不限于OCD的用户设备包括用于生成合成语音的板载语音合成器模块。转到图21，板载语音合成器是驻留在用户设备上的基于数字信号处理(DSP)的系统。它包括一个或多个合成语音库。它还包括文本处理器、汇编器、链接器模块、模拟器、加载器、由硬件资源管理器管理的DSP加速器模块以及语音获取和合成模块(例如，模拟/数字转换器和数字/模拟转换器)。语音获取和合成模块与麦克风和音频扬声器进行数据通信。
[0327] 图22示出了用户设备上的部件的示例子集，其包括DSP板/芯片、ADDA2板/芯片、DSP板的局部总线、主机总线和智能设备的CPU。例如，这些部件支持图21中所示的软件体系架构。
[0328] 将认识到的是，用户设备中的不同软件和部件体系架构(即，与图21和22中所示的示例体系架构不同)可以用于促进输出合成语音数据。
[0329] 在示例实施例中，给定的行为机器人检测用户的当前行为，并选择合成语音库以便为用户生成响应于该用户的当前行为的数据的语音表示。例如，如果检测到用户是悲伤的，那么行为机器人选择愉快的合成语音库。此外或替代地，合成语音库合成用户熟悉的人(例如，他们的朋友、他们的家庭成员、他们的教练、他们的导师等)的语音。在另一个示例中，如果检测到用户沮丧或没有积极性，那么行为机器人响应性地选择具有激励语音特征的教练的合成语音库，并使用教练的合成语音库生成数据的语音表示。
[0330] 下面描述了附加的一般示例实施例和方面。
[0331] 在一般示例实施例中，提供了一种分布式计算系统，其包括形成数据使能平台的服务器机器，所述数据使能平台包括：多个数据收集器，其通过消息总线将数据流式传输到流分析和机器学习引擎；数据湖和海量索引库，分别用于存储和索引数据；行为分析和机器学习模块；以及多个应用程序接口(API)，以与所述数据湖和所述海量索引库进行交互，并与多个应用进行交互。所述多个应用包括多个命令卡。给定的命令卡是特定于给定用户的，并且所述给定的命令卡包括存储给定指令的指令模块、存储器模块、搜索与所述给定指令相关的数据的一个或多个搜索机器人、以及根据所述给定用户的一个或多个行为属性来处理由所述一个或多个搜索机器人获得的数据的一个或多个行为机器人。
[0332] 在示例方面，所述一个或多个行为机器人将一个或多个人工限制应用于由所述一个或多个搜索机器人获得的数据，并且所述一个或多个人工限制与所述给定用户的所述一个或多个行为属性相关联。
[0333] 在另一个示例方面，所述一个或多个行为机器人将来自不同主题的数据与由所述一个或多个搜索机器人获得的数据组合，并且所述来自不同主题的数据与所述给定用户的所述一个或多个行为属性相关联。
[0334] 在另一个示例方面，所述一个或多个搜索机器人在考虑与所述给定指令相关的一个或多个准则的情况下搜索与所述给定指令相关的数据；以及所述一个或多个行为机器人评估由所述搜索机器人获得的数据的一个或多个属性；其中所述数据的所述一个或多个属性与所述给定指令无关，并且与所述给定用户的一个或多个行为属性相关联。
[0335] 在另一个示例方面，根据所述一个或多个属性对由所述搜索机器人获得的数据进行排名。
[0336] 在另一个示例方面，所述一个或多个行为机器人以响应于所述给定用户的当前行为属性的语音生成由所述一个或多个搜索机器人获得的数据的语音表示。
[0337] 在另一个示例方面，如果检测到所述给定用户处于悲伤情绪或激动情绪，那么所述一个或多个行为机器人以愉悦的声音生成语音表示。
[0338] 在另一个示例方面，如果检测到所述给定用户处于悲伤情绪或激动情绪，那么所述一个或多个行为机器人以给定用户熟悉的语音生成语音表示。
[0339] 在另一个示例方面，如果检测到所述给定用户处于忙碌或注意力集中的情绪，那么所述一个或多个行为机器人以中性语音生成语音表示。
[0340] 在另一个示例方面，如果检测到所述给定用户处于忙碌或注意力集中的情绪，那么所述一个或多个行为机器人以快速说出的单词生成语音表示。
[0341] 在另一个示例方面，计算系统还包括一个或多个合成语音库，其中所述一个或多个合成语音库中的每一个合成语音库包括一个或多个对应的人的语音参数特征，并且所述一个或多个行为机器人选择所述合成语音库中的至少一个以生成所述语音表示。
[0342] 在另一个示例方面，语音参数特征包括以下中的两个或更多个：音调；频率；响度；单词或短语被说出的速率；语音读音；词汇；句法；发声；节律；以及旋律。
[0343] 在另一个示例方面，在所述给定命令卡中，存在多个搜索机器人，每个搜索机器人被指派给不同的数据源，并且所述多个搜索机器人全部搜索与所述给定命令卡的所述给定指令相关的数据。
[0344] 在另一个示例方面，所述多个数据收集器包括来自所述多个命令卡的多个搜索机器人，并且每个搜索机器人生成分离且并行的数据流。
[0345] 在另一个示例方面，所述流分析和机器学习引擎包括来自所述多个命令卡的多个搜索机器人，并且每个搜索机器人生成并行的数据流。
[0346] 在另一个示例方面，第一搜索机器人具有用于对从第一数据源收集的数据进行处理的第一组流分析模块，并且第二搜索机器人具有用于对从第二数据源收集的数据进行处理的第二组流分析模块。
[0347] 在另一个示例方面，所述行为分析和机器学习模块包括多个行为机器人，所述多个行为机器人监视经由用户界面的用户交互数据，并进一步处理所述数据以获得个性化数据。
[0348] 在另一个示例方面，在所述数据湖和所述海量索引库上预配置所述给定命令卡的所述存储器模块，并且所述个性化数据被存储在所述给定命令卡的所述存储器模块中。
[0349] 在另一个示例方面，链接至源数据的数据链接以及所述个性化数据的数据摘要被存储在所述给定命令卡的所述存储器模块中。
[0350] 在另一个示例方面，通过处理所述给定用户的言语数据来获得所述给定指令。
[0351] 在另一个示例方面，所述言语数据是从通过检测所述给定用户的语音的麦克风所记录的数据得出的。
[0352] 在另一个示例方面，所述言语数据是从通过所述给定用户身上的脑信号传感器、肌肉信号传感器和神经信号传感器中的至少一个所记录的数据得出的。
[0353] 在另一个示例方面，所述给定用户的所述一个或多个行为属性是从通过使用所述给定用户身上的脑信号传感器、肌肉信号传感器和神经信号传感器中的至少一个获得的用户数据得出的。
[0354] 在示例方面，口头计算设备是用于与数据动态交互的可穿戴设备。例如，可穿戴设备包括惯性测量传感器。在另一个示例中，可穿戴设备是智能手表。在另一个示例中，可穿戴设备是耳机。在另一个示例中，可穿戴设备投影图像以提供增强现实。
[0355] 在另一个示例方面，口头计算设备在周围表面上投影光图像以提供虚拟现实或增强现实。在另一个示例方面，口头计算设备与其它设备数据连接，用于投影光图像以在房间中提供增强现实或虚拟现实。实际上，房间中物理存在的人或通过投影的光图像显示的虚拟人同时使用其命令卡进行交互和协作。
[0356] 在示例方面，口头计算设备包括与处理器交换数据的图形处理单元(GPU)，GPU被配置为使用并行线程计算来预处理音频数据以提取数据特征，并且数据通信设备传输与上下文数据和音频数据相关联的提取出的数据特征。
[0357] 在示例实施例中，口头计算设备是用户设备102或OCD 301的具体实施例。
[0358] 在另一个一般示例实施例中，提供了一种数据使能系统(在本文也称为数据使能平台)，其包括云计算服务器，该云计算服务器摄取源自一个或多个用户设备的音频数据，该音频数据包括至少一个或多个用户的口头对话，并且云计算服务器被配置为应用机器学习计算来提取至少内容和情感数据特征。
[0359] 还存在与云计算服务器和外部人工智能计算平台进行数据通信的数据科学服务器。数据科学服务器还包括被用于处理内容和情感特征的数据科学算法库。换句话说，数据科学算法也可以特定于给定的搜索机器人或行为机器人。数据科学服务器将响应数据输出到云计算服务器，该响应数据是对音频数据的响应。随后，云计算服务器将响应数据格式化为给定用户设备可播放的音频数据格式，并传输格式化的响应数据。
[0360] 将认识到的是，本文例示的执行指令的任何模块或部件可以包括或以其它方式可访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备(可移动和/或不可移动)，诸如例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质的示例包括RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光学存储、磁带盒、磁带、磁盘存储装置或其它磁性存储设备，或可以被用于存储期望信息并且可以由应用、模块或两者访问的任何其它介质。任何此类计算机存储介质都可以是服务器或计算设备的一部分，或者可由其访问或可连接到其。可以使用可以由此类计算机可读介质存储或以其它方式保持的计算机可读/可执行指令来实现本文描述的任何应用或模块。
[0361] 将认识到的是，如本文所述，系统和方法的示例实施例的不同特征可以以不同方式彼此组合。换句话说，虽然没有具体说明，但是根据其它示例实施例，可以一起使用不同的设备、模块、操作、功能和部件。
[0362] 在本文描述的流程图中的步骤或操作仅仅是示例。根据本文描述的原理，这些步骤或操作可以有许多变化。例如，可以以不同的次序执行步骤，或者可以添加、删除或修改步骤。
[0363] 本文描述的GUI和屏幕截图仅仅是示例。根据本文描述的原理，图形和交互式元素可以有变化。例如，可以将此类元素定位在不同的地方，或者被添加、删除或修改。
[0364] 还应认识到的是，本文使用的示例和对应系统图仅用于说明目的。在不脱离本文所表达的原理的情况下，可以使用不同的配置和术语。例如，可以在不背离这些原理的情况下添加、删除、修改或布置具有不同连接的部件和模块。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 用于多用户通信会话的用户界面 | 2020-05-08 | 689 |
| 用户交互分析模块 | 2020-05-08 | 359 |
| 用于媒体内容的按区包装，内容覆盖度，以及发信帧包装 | 2020-05-11 | 865 |
| 存储与捕获图像相关的元数据 | 2020-05-13 | 685 |
| 一种基于视频流的自由定制检测任务的方法 | 2020-05-11 | 303 |
| 广播信号发送设备、广播信号接收设备、广播信号发送方法和广播信号接收方法 | 2020-05-13 | 26 |
| 适用于远程桌面应用程序的个体应用程序窗口的流式传输 | 2020-05-08 | 187 |
| 用于多个搜索机器人和行为机器人的计算体系架构以及相关的设备和方法 | 2020-05-08 | 892 |
| 处理具有动态逐区封装的全向媒体 | 2020-05-08 | 181 |
| 实时流式传输的接收控制方法和装置 | 2020-05-12 | 718 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈