将人类标注者影响嵌入在计算环境中的机器学习界面中专利检索-多模态界面人工智能专利检索查询-专利查询网

将人类标注者影响嵌入在计算环境中的 机器学习界面中

阅读：747发布：2020-05-08

专利汇可以提供将人类标注者影响嵌入在计算环境中的机器学习界面中专利检索，专利查询，专利分析的服务。并且根据一个实施例，描述了一种用于促进将人类标注者影响嵌入在计算环境中的机器学习界面中的机制。如本文中所述，实施例的方法包括：经由计算设备的一个或多个传感器检测传感器数据；以及在耦合到计算设备的一个或多个数据库处访问人类标注者数据。该方法可以进一步包括：评估传感器数据与人类标注者数据之间的相关性，其中相关性基于与人类标注者数据相对应的人类行为来标识传感器数据的含义；基于该相关性将人类标注者数据与传感器数据相关联，以将传感器数据分类为经标注的数据。该方法可以进一步包括：基于经标注的数据训练机器学习模型，以经被标注的数据中提取人类影响，并将人类影响中的一个或多个人类影响嵌入在表示涉及一个或多个人的一个或多个物理场景的一个或多个环境中。，下面是将人类标注者影响嵌入在计算环境中的机器学习界面中专利的具体信息内容。

权利要求

1.一种用于促进将人类标注者影响嵌入在计算环境中的机器学习界面中的设备，所述设备包括：
一个或多个处理器，用于：
利用人类标注者数据对传感器数据进行分类，其中所述传感器数据通过一个或多个传感器获得；以及
基于特征来创建并训练统一机器学习模型，所述特征与基于所述人类标注者数据的经分类的传感器数据相关联，其中所述特征包括从与所述传感器数据相关联的所述人类标注者数据获得的人类标注者影响。
2.如权利要求1所述的设备，其特征在于，所述一个或多个处理器进一步用于：
通过所述一个或多个传感器来检测所述传感器数据，所述一个或多个传感器包括相机、麦克风、触摸传感器、电容器、无线电组件、雷达组件、扫描仪、和加速度计中的一个或多个；以及
监测所述人类标注者数据以确定人类行为和人类变量中的一个或多个，其中所述人类标注者数据通过多个源获得，所述多个源包括所述一个或多个传感器、历史数据、分类数据、和个人简档中的一个或多个。
3.如权利要求2所述的设备，其特征在于，所述一个或多个处理器进一步用于：在对所述传感器数据进行分类之前，评估所述人类行为和所述人类变量以及所述人类行为和所述人类变量与所述传感器数据的关联性。
4.如权利要求3所述的设备，其特征在于，所述一个或多个处理器进一步用于：过滤掉所述人类变量中的与不准确性、意外后果、和偏见中的一个或多个相关联的一个或多个人类变量，其中被过滤掉的一个或多个人类变量包括年龄、性别、种族、民族、国籍、宗教、和性取向中的一个或多个，并且其中被过滤掉的一个或多个人类变量进一步包括意外行为和巧合项目中的一个或多个，其中，所述一个或多个处理器进一步用于：在将第一人类变量和第二人类变量应用于训练机器学习模型时，识别并考虑所述第一人类变量与所述第二人类变量之间的一个或多个方差。
5.如权利要求1所述的设备，其特征在于，所述统一机器学习模型在早期融合机器学习环境中被创建和训练。
6.如权利要求1所述的设备，其特征在于，所述一个或多个处理器进一步用于：
创建并训练多个机器学习模型，使得所述多个机器学习模型中的每一个机器学习模型基于所述特征中的与所述传感器数据相关联的第一特征或所述特征中的与所述人类标注者数据相关联的第二特征；以及
基于从与所述传感器数据和所述人类标注者数据相关联的所述多个机器学习模型获得的平均结果来计算得分，其中所述得分被维持在一个或多个数据库中以用于未来的机器学习模型的创建和训练。
7.如权利要求1所述的设备，其特征在于，所述一个或多个处理器包括图形处理器和应用处理器中的一个或多个，其中，所述图形处理器和所述应用处理器共同位于公共的半导体封装上。
8.一种用于促进将人类标注者影响嵌入在计算环境中的机器学习界面中的方法，所述方法包括：
经由计算设备的一个或多个传感器检测传感器数据；
在耦合至所述计算设备的一个或多个数据库处访问人类标注者数据；
评估所述传感器数据与所述人类标注者数据之间的相关性，其中所述相关性基于与所述人类标注者数据对应的人类行为标识所述传感器数据的含义；
基于所述相关性将所述人类标注者数据与所述传感器数据相关联，以将所述传感器数据分类为经标注的数据；以及
基于所述经标注的数据来训练机器学习模型，以从所述经标注的数据提取人类影响，并将所述人类影响中的一个或多个人类影响嵌入在表示涉及一个或多个人的一个或多个物理场景的一个或多个环境中。
9.如权利要求8所述的方法，其特征在于，训练进一步用于：促进所述机器学习模型在将所述一个或多个人类影响嵌入在所述一个或多个环境中之前，基于所述经标注的数据，根据多个环境来解释所述人类影响，其中对所述人类影响的所述解释基于从所述经标注的数据导出且基于所述相关性的对所述人类行为的接受和所述人类行为的例外，其中对所述人类行为的接受基于从个人简档、文化特征、历史规范、社会偏好、个人偏见、社会偏见、习惯中的一个或多个获得的经验证的数据，并且
其中所述人类行为的例外基于从巧合、事故、不准确性、偶然、以及意外后果中的一个或多个获得的未经验证的数据，其中所述人类行为中的一个或多个人类行为基于所述例外中的一个或多个例外被过滤掉，以避免将不准确性关联至所述人类影响。
10.如权利要求8所述的方法，其中所述相关性进一步基于所述人类行为的人类变量部分，其中所述人类变量部分基于煽动个人偏见或社会偏见的人类变量，其中所述人类变量包括年龄、性别、种族、民族、国籍、政治派别、宗教团体、以及性取向中的一个或多个。
11.如权利要求8所述的方法，其特征在于，所述机器学习模型包括基于所述传感器数据和所述人类标注者数据的统一机器学习模型，其中所述统一机器学习模型在多模态机器学习环境的早期融合方案期间被采用，其中所述早期融合方案表示对所述传感器数据和所述人类标注者数据的早期融合。
12.如权利要求8所述的方法，其特征在于，所述机器学习模型包括多个单独的机器学习模型，其中所述多个单独的机器学习模型中的第一机器学习模型基于所述传感器数据而不是所述人类标注者数据，其中所述多个单独的机器学习模型中的第二机器学习模型基于所述人类标注者数据而不是所述传感器数据，并且其中在所述多模态机器学习环境的后期融合方案期间采用所述多个单独的机器学习模型，其中所述后期融合方案表示对所述传感器数据和所述人类标注者数据的后期融合。
13.如权利要求8所述的方法，进一步包括：
从与所述传感器数据相关联的所述第一机器学习模型获得第一得分；
从与所述人类标注者数据相关联的所述第二机器学习模型获得第二得分；
对所述第一得分和所述第二得分进行平均；以及
将被平均的所述第一得分和所述第二得分维持在所述一个或多个数据库处以应用于所述多个单独的机器学习模型的后续训练。
14.如权利要求8所述的方法，其特征在于，所述方法由一个或多个处理器促进，所述一个或多个处理器包括图形处理器和应用处理器中的一个或多个，其中所述图形处理器和所述应用处理器共同位于公共的半导体封装上，并且其中，所述一个或多个传感器包括相机、麦克风、触摸传感器、电容器、无线电组件、雷达组件、扫描仪、和加速度计中的一个或多个。
15.至少一种机器可读介质，包括多条指令，所述多条指令当在计算设备上执行时，用于实现或执行如权利要求8-14中任一项所述的方法。
16.一种系统，包括用于实现或执行如权利要求8-14中任一项所述的方法的机制。
17.一种设备，包括用于执行如权利要求8-14中任一项所述的方法的装置。
18.一种计算设备，所述计算设备被布置成用于实现或执行如权利要求8-14中任一项所述的方法。
19.一种通信设备，所述通信设备被布置成用于实现或执行如权利要求8-14中任一项所述的方法。

说明书全文

将人类标注者影响嵌入在计算环境中的机器学习界面中

技术领域

[0001] 本文描述的实施例总体上涉及数据处理，并且更具体地涉及促进将人类标注者(human labeler)影响嵌入在计算环境中的机器学习界面中。

背景技术

[0002] 在传统技术中，人类参考通常用于命名图像中的对象、标识音频剪辑中的声音、检测视频剪辑中的活动等。然而，此类传统技术受到严重限制，因为它们忽略了大量的人类行
为以及其他此类变量，诸如，人类行为的不确定性、偏好、偏见等。此类缺陷被转入到传统的推理模型中，使得今天的机器学习模型有些不完整和不确定。
附图说明

[0003] 在所附附图的各图中，以示例方式而不以限制方式对实施例进行说明，其中相同的附图标记指代类似的要素。

[0004] 图1示出了根据一个实施例的采用人类标注者机制的计算设备。

[0005] 图2示出了根据一个实施例的人类标注者机制。

[0006] 图3A示出了根据一个实施例的用于将人类标注者影响嵌入在机器学习模型中的事务序列。

[0007] 图3B示出了传统的早期融合方案。

[0008] 图3C示出了传统的后期融合方案。

[0009] 图4A示出了根据一个实施例的用于基于早期融合将人类标注者影响嵌入在机器学习模型和/或网络中的方法的实施例。

[0010] 图4B示出了根据一个实施例的用于用于后期融合将人类标注者影响嵌入在机器学习模型和/或网络中的方法的实施例。

[0011] 图5示出了根据一个实施例的能够支持和实现一个或多个实施例的计算机设备。

[0012] 图6示出了根据一个实施例的能够支持和实现一个或多个实施例的计算环境的实施例。

[0013] 图7示出了根据一个实施例的机器学习软件栈。

[0014] 图8A示出了根据一个实施例的神经网络层。

[0015] 图8B示出了根据一个实施例的与神经网络层相关联的计算级。

具体实施方式

[0016] 在下列描述中，阐述了众多特定细节。然而，在没有这些特定细节的情况下，也可实施如本文中所描述的实施例。在其他实例中，未详细示出公知的电路、结构和技术，以免
使对本描述的理解模糊。

[0017] 实施例提供了用于将人类标注者影响嵌入在计算环境中的机器学习界面中的新颖技术。在一个实施例中，该新颖技术通过以下方式实现：获取人类标注者数据(诸如，通过传感器、历史数据、与个人简档相关联的分类数据等)；以及将此类人类标注者数据与传感
器数据相关联，以便对人类行为进行分类，并将此类知识嵌入到机器学习模型、深度学习神
经网络等，以使此类模型和网络更加智能化，从而它们可以要求适当的人类行为、变量等。
在一个实施例中，人类标注者数据用于检测和考虑在不同时间发生的人类行为和变量，诸
如，在训练神经网络或其他机器学习模型时进行最终分类决策之前，或在训练神经网络或
其他机器学习模型时进行最终分类决策期间，或在训练神经网络或其他机器学习模型时作
出最终分类决策之后。

[0018] 构想了贯穿本文档可以互换地引用诸如“请求”、“查询”、“作业”、“工作”、“工作项”和“工作负荷”之类的术语。类似地，“应用”或“代理”可以指代或包括通过应用编程接口(API)提供的计算机程序、软件应用、游戏、工作站应用等，API诸如自由渲染API，诸如开放图形库 11、 12等，其中“分派”可以互换地称为“工作单位”或“绘制”，并且类似地，“应用”可以互换地称为“工作流”或简单地称为“代理”。例如，诸如三维(3D)游戏的工作负荷之类的工作负荷可以包括并发布任何数量和类型的“帧”，其
中，每个帧可以表示图像(例如，帆船、人脸)。此外，每个帧可以包括并提供任何数量和类型的工作单元，其中，每个工作单元可以表示由其相应帧表示的图像(例如，帆船、人脸)的一
部分(例如，帆船的桅杆、人脸的前额)。然而，为了一致性，贯穿本文档，每一项可以由单个术语(例如，“分派”、“代理”等)来引用。

[0019] 在一些实施例中，如“显示屏”和“显示表面”之类的术语可用于互换地指代显示设备的可见部分，而显示设备的其余部分可以被嵌入到诸如智能电话、可穿戴设备等的计算设备中。构想到并且应当注意，实施例不限于任何特定的计算设备、软件应用、硬件组件、显示设备、显示屏或表面、协议、标准等。例如，实施例可被应用于任何数量和类型的计算机上的任何数量和类型的实时应用，并且可以与在任何数量和类型的计算机上的任何数量和类
型的实时应用一起使用，计算机诸如台式机、膝上型计算机、平板计算机、智能电话、头戴式显示器、以及其他可穿戴设备等。进一步地，例如，使用这种新颖技术渲染场景以实现高效
性能范围可以从诸如桌面合成之类简单场景到诸如3D游戏、增强现实应用等复杂场景。

[0020] 应注意，贯穿本文档，像卷积神经网络(CNN)、CNN、神经网络(NN)、NN、深度神经网络(DNN)、DNN、递归神经网络(RNN)、RNN等之类的术语或首字母缩写词等可以互换地引用。进一步地，贯穿本文档，像“自主机器”或简称为“机器”、“自主车辆”或简称为“车辆”、“自主代理”或简称为“代理”、“自主设备”或“计算设备”、“机器人”等之类的术语可以互换地引用。

[0021] 图1示出了根据一个实施例的采用人类标注者机制110的计算设备100。计算设备100表示通信和数据处理设备，其包括或表示(但不限于)智能语音命令设备、智能个人助
理、家庭/办公自动化系统、家用电器(例如，洗衣机、电视机等)、移动设备(例如，智能电话、平板电脑等)、游戏设备，手持设备、可穿戴设备(例如，智能手表、智能手环等)、虚拟现实(VR)设备、头戴式显示器(HMD)、物联网(IoT)设备、膝上型计算机、台式计算机、服务器计算机、机顶盒(例如，基于互联网的有线电视机顶盒等)、基于全球定位系统(GPS)的设备、汽车信息娱乐设备等。

[0022] 在一些实施例中，计算设备100包括任何数量和类型的其他智能设备，或与任何数量和类型的其他智能设备一起工作，或嵌入在任何数量和类型的其他智能设备中，或促进
任何数量和类型的其他智能设备，任何数量和类型的其他智能设备诸如(但不限于)自主机
器或人工智能代理，诸如，机械代理或机器、电子代理或机器、虚拟代理或机器、机电代理或机器等。自主机器或人工智能代理的示例可以包括(但不限于)机器人、自主车辆(例如，自
动驾驶汽车、自动驾驶飞机，自动航行帆船等)、自主装备(自操作工程车辆、自操作医疗装
备等)等。进一步地，“自主车辆”不限于汽车，而是可以包括任何数量和类型的自主机器，诸如机器人、自主装备、家居自主设备等，并且与此类自主机器相关的任何一个或多个任务或
操作可以与自主驾驶互换地引用。

[0023] 进一步地，例如，计算设备100可以包括主控集成电路(“IC”)的计算机平台，诸如片上系统(“SoC”或“SOC”)，该计算机平台将计算设备100的各个硬件和/或软件组件集成在单个芯片上。

[0024] 如所示，在一个实施例中，计算设备100可以包括任何数量和类型的硬件和/或软件组件，诸如(但不限于)图形处理单元(“GPU”或简称为“图形处理器”)114、图形驱动器(也称为“GPU驱动器”、“图形驱动器逻辑”、“驱动器逻辑”、用户模式驱动器(UMD)、UMD、用户模式驱动器框架(UMDF)、UMDF或简称为“驱动器”)116、中央处理单元(“CPU”或简称为“应用处理器”)112、存储器108、网络设备、驱动器等，以及诸如触摸屏、触摸面板、触摸板、虚拟或常规键盘、虚拟或常规鼠标、端口、连接器等之类的输入/输出(I/O)源104。计算设备100可以
包括用作计算设备100的硬件和/或物理资源与用户之间的接口的操作系统(OS)106。

[0025] 应当理解，对于某些实施方式，比在上文中所描述的示例更少或更多地配备的系统可以是优选的。因此，取决于众多因素，诸如价格约束、性能要求、技术改进或其他情况，计算设备100的配置可以随着实施方式而改变。

[0026] 实施例可以被实施为以下各项中的任何一项或其组合：使用主板互连的一个或多个微芯片或集成电路、硬连线逻辑、由存储器设备存储且由微处理器执行的软件、固件、专
用集成电路(ASIC)和/或现场可编程门阵列(FPGA)。作为示例，术语“逻辑”、“模块”、“组件”、“引擎”、“电路”、“元件”和“机制”可包括软件、硬件、固件和/或其组合，诸如固件。

[0027] 在一个实施例中，如图所示，人类标注者机制110可以由与计算设备100的(多个)I/O源108(诸如，麦克风、扬声器等)通信的存储器104主控。在另一个实施例中，人类标注者机制110可以是操作系统106的一部分或由操作系统106主控。在又另一实施例中，人类标注
者机制110可以由图形驱动器116主控或促进。在又另一实施例中，人类标注者机制110可以
由图形处理单元(“GPU”或简称“图形处理器”)114或图形处理器114的固件主控，或者可以是图形处理单元114或图形处理器114的固件的一部分。例如，人类标注者机制110可以被嵌
入在图形处理器114的处理硬件的一部分中或实现为图形处理器114的处理硬件的一部分。
类似地，在又另一实施例中，人类标注者机制110可以由中央处理单元(“CPU”或简称“应用处理器”)112来主控或者是中央处理单元112的一部分。例如，人类标注者机制110可以被嵌
入在应用处理器112的处理硬件的一部分中或实现为应用处理器112的处理硬件的一部分。

[0028] 在又另一实施例中，人类标注者机制110可以由计算设备100的任何数量和类型的组件主控，或者可以是计算设备100的任何数量和类型的组件的一部分，诸如，人类标注者
机制110的一部分可以由操作系统116主控或者可以是操作系统116的一部分，另一部分可
以由图形处理器114主控或者可以是图形处理器114的一部分，另一部分可以由应用处理器
112主控或者可以是应用处理器112的一部分，而人类标注者机制110的一个或多个部分可
以由操作系统116和/或计算设备100的任何数量和类型的设备主控或者可以是操作系统
116和/或计算设备100的任何数量和类型的设备的一部分。构想了实施例不限于人类标注
者机制110的某些实现或主控，并且人类标注者机制110的一个或多个部分或组件可以被采
用或被实现为硬件、软件或其任何组合，诸如固件。

[0029] 计算设备100可主控用于提供对网络的访问的(多个)网络接口设备，该网络诸如LAN、广域网(WAN)、城域网(MAN)、个域网(PAN)、蓝牙、云网络、移动网络(例如，第三代(3G)、第四代(4G)等)、内联网、因特网等。(多个)网络接口可包括例如具有天线(其可表示一个或
多个天线)的无线网络接口。(多个)网络接口还可以包括例如经由网络电缆与远程设备通
信的有线网络接口，网络电缆可以是例如以太网电缆、同轴电缆、光缆、串行电缆或并行电
缆。

[0030] 实施例可以被提供为例如计算机程序产品，该计算机程序产品可以包括一种或多种机器可读介质，这一种或多种机器可读介质具有存储于其上的机器可执行指令，这些机
器可执行指令在由一个或多个机器(诸如，计算机、计算机网络或其他电子设备)执行时可
导致这一个或多个机器执行根据在本文中所描述的实施例的操作。机器可读介质可以包括
但不限于：软盘、光盘、CD-ROM(紧凑盘只读存储器)以及磁光盘、ROM、RAM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或者适用于存储机器可执行指令的其他类型的介质/机器可读介质。

[0031] 此外，实施例可以作为计算机程序产品被下载，其中，可以经由通信链路(例如，调制解调器和/或网络连接)，借助于在载波或其他传播介质中具体化和/或由载波或其他传
播介质调制的一个或多个数据信号将程序从远程计算机(例如，服务器)传输至请求计算机
(例如，客户端)。

[0032] 贯穿本文档，术语“用户”可以被互换地称为“观看者”、“观察者”、“演讲者”、“个人”、“终端用户”等。应当注意，贯穿本文档，如“图形域”等术语可以与“图形处理单元”、“图形处理器”或简单地与“GPU”互换地引用，并且类似地，“CPU域”或“主机域”可以与“计算机处理单元”、“应用处理器”或简单地与“CPU”互换地引用。

[0033] 应当注意的是，贯穿本文档，可互换地使用如“节点”、“计算节点”、“服务器”、“服务器设备”、“云计算机”、“云服务器”、“云服务器计算机”、“机器”、“主机”、“设备”、“计算设备”、“计算机”、“计算系统”等术语。应当进一步注意，贯穿本文档，可以互换地使用如“应用”、“软件应用”、“程序”、“软件程序”、“包”、“软件包”等术语。并且，贯穿本文档，可以互换地使用如“作业”、“输入”、“请求”、“消息”等术语。

[0034] 图2示出根据一个实施例的图1的人类标注者机制110。为了简洁起见，此后不再重复或讨论已经参考图1所讨论的细节中的许多细节。在一个实施例中，人类标注者机制110
可以包括任何数量和类型的组件，诸如(但不限于)：检测和监测逻辑201；分类逻辑203；评
估和过滤逻辑205；模型创建和训练逻辑207；通信/兼容性逻辑209；和评分逻辑211。

[0035] 计算设备100进一步被示为包括用户接口219(例如，基于图形用户界面(GUI)的用户界面、Web浏览器、基于云的平台用户界面、基于软件应用的用户界面、其他用户或应用编程接口(API)等)。计算设备100可以进一步包括具有(多个)输入组件231和(多个)输出组件
233的(多个)I/O源108，(多个)输入组件231诸如(多个)相机242(例如，
RealSenseTM相机)、传感器、(多个)麦克风241等，(多个)输出组件233诸如(多个)显示设备
或简称(多个)显示器244(例如，一体式显示器、张量显示器、投影屏幕、显示屏等)、(多个)扬声器设备或简称(多个)扬声器等。

[0036] 计算设备100进一步被示出为通过一种或多种通信介质230(例如，诸如邻近网络、云网络、因特网等之类的网络)具有对一个或多个数据库225和/或其他计算设备中的一个
或多个的访问权，和/或与一个或多个数据库225和/或其他计算设备中的一个或多个通信。

[0037] 在一些实施例中，(多个)数据库225可包括存储介质或设备、储存库、数据源等中的一个或多个，它们具有与任何数量和类型的应用相关的任何数量和类型的信息(诸如，数
据、元数据等)，诸如，与一个或多个用户、物理位置或区域、适用法律、策略和/或规则、用户偏好和/或概况、安全和/或认证数据、历史和/或偏好细节、和/或类似物相关的数据和/或
元数据。

[0038] 如前所述，计算设备100可主控包括(多个)输入组件231和(多个)输出组件233的I/O源108。在一个实施例中，(多个)输入组件231可包括传感器阵列，包括但不限于(多个)
麦克风241(例如，超声麦克风)、(多个)相机242(例如，二维(2D)相机、三维(3D)相机、红外(IR)相机、深度感测相机等)、电容器、无线电组件、雷达组件、扫描仪、和/或加速度计等。类似地，(多个)输出组件233可包括任何数量和类型的显示设备244、投影仪、发光二极管
(LED)、(多个)扬声器243、和/或振动电机等。

[0039] 如前所述，作为示例，如“逻辑”、“模块”、“组件”、“引擎”、“电路”、“元件”和“机制”之类的术语可包括软件或硬件和/或其组合，诸如，固件。例如，逻辑本身可以是或可包括一个或多个设备处的电路或可与一个或多个设备处的电路相关联，以促进或执行相应的逻辑以执行某些任务，一个或多个设备诸如图1中的应用处理器112和/或图形处理器114。

[0040] 例如，如图所示，(多个)输入组件231可包括任何数量和类型的麦克风241，诸如，多个麦克风或麦克风阵列，诸如，超声麦克风、动态麦克风、光纤麦克风、激光麦克风等。构想了麦克风241中的一个或多个用作一个或多个输入设备，以用于将音频输入(诸如，人类
语音)接受或接收到计算设备100中，并将该音频或声音转换成电信号。类似地，构想了相机
242中的一个或多个用作一个或多个输入设备，以用于检测并捕获场景、对象等的图像和/
或视频，并将所捕获的数据作为视频输入提供给计算设备100。

[0041] 如前所述，人类参考可以用于标注数据以用于训练神经网络，诸如用于命名图像中的对象、标识音频剪辑中的声音、检测视频剪辑中的活动等。在一些情况下，Mechanical Turk被用作此类标注的服务。例如，在收集了人类标注之后，可以使用启发法来选择训练中
的数据，诸如在某些情况下，可能期望跨标注者的最小认同百分比。然而，传统技术忽略或
忽视了大量的人类行为(以及其他变量)，诸如，如果标注者花费比正常时间更长的时间对
于在所创建的推理模型中具有潜在意义的分类作出决定则将会怎样。构想了决策场理论和
其他决策模型长期以来已经证明不确定性如何导致更长的决策时间并已对不确定性如何
导致更长的决策时间进行建模，其中标注中的这种不确定性可用于创建推理模型，诸如种
族或性别缺乏多样性的观察可用于影响推理模型。

[0042] 众所周知的Frogger示例已经证明诸如在玩Frogger时，人类自言自语，以针对可解释的人工智能(AI)界面创建话语语料库，用于指示当人作出与该人被训练要扮演的AI相
同的决策和/或选择时，这个人可能会说什么。例如，可以单独地完成AI的任何话语和训练，诸如，不使用创建机器学习来玩游戏的时期的玩家。但是，Frogger示例不包括来自推理模
型中标注者的任何真实评估或判断，而只包括相关的话语。

[0043] 另一种已知技术是眼睛跟踪，其已被用于对图像内的对象位置进行注释(annotate)以创建边界框，诸如，注视持续多长时间也可表示其重要性。基于任何注视点的
衍生物(人类给出寻找对象类型的指令)，对象被描绘以通过自动方式建立地面。监测人类
反应以标注数据的想法可以在若干情况下使用和应用，诸如，监测情绪反应以训练机器人。

[0044] 此外，在创建机器学习推理模型时，语义和分类数据可以与传感器数据(例如，场景的视频流、图像、声音等)融合，传感器数据诸如通过(多个)相机242、(多个)麦克风241、加速度计以及其他此类传感器或检测器所捕获的数据，其中，例如，语义数据融合可以分为
多个类别的方法，诸如：基于多视图学习的方法、基于相似性的方法、基于概率依赖的方法、和基于转移学习的方法。与模式映射和数据合并相反，此类方法可以用于知识融合，这在跨
域数据融合于传统数据融合之间进行区分。例如，如果基于包含感兴趣对象的图像训练
CNN，则第二融合级(例如，使用概率依赖性(或其他融合类型之一)用不确定性数据进行加
权)可以产生最终模型，并且因此将人类行为整合到该模型中。

[0045] 对于深度学习，多模态融合正变得越来越普遍。如将参考图4A-图4B进一步说明和描述，用于标注者的话语的解决方案可以是标准音频/视频融合方法，其中CNN和RNN组合模
型在早期或后期被融合。此外，可以使用基于图像内容和文本描述的检测融合，诸如，依赖
于用于早期融合方案和后期融合方案两者的向量串接以获得多模态表示，而在一些情况
下，对于后期融合，概率结果得分可以在由评分逻辑211促进的视觉分析之后被串接。该概
率得分可以从文本分析产生，并且被保留以便在分析针对某些机器学习模型和神经网络的
相同或相似的人类行为和/或变量时供将来使用。

[0046] 实施例提供了一种用于检测和确定围绕有意识的数据标注任务的人类行为和变量的新颖技术，其诸如通过经由传感器获得的人类标注者数据、历史数据、分类数据、个人
简档数据等，如由人类标记者机制110所促进。例如，与眼睛跟踪或情绪反应不同，实施例提供了一种用于通过等待时间(latency)来显示标注决策的新颖技术，诸如，在分类之前反复
播放样本或者其他类似特定行为，如由人类标记者机制110所促进。替代地，例如，实施例可以处理对在分类决策之前的各种人类行为(或像性别之类个人变量)的拦截，其中人类标注
者行为和/或变量或其影响被添加到实际的机器学习模型、神经网络等，如由人类标记者机
制110所促进。

[0047] 在一个实施例中，检测和监测逻辑201可用于检测、观察、和/或监测与人类行为和/或变量相关联的各种人类标注者数据，该人类行为和/或变量可以在训练神经网络和/
或其他机器学习模型中的最终分类决策之前、期间、和/或之后发生。类似地，检测和监测逻辑201用于通过促进一个或多个传感器和/或检测器来检测、观察和/或监测传感器数据，以
捕获场无论是室内还是室外的景内的物体(例如，生物(例如，人、动物、植物等)、非生物(车辆、家具、岩石等)，一个或多个传感器和/或检测器诸如，(多个)相机242、(多个)麦克风
241、触摸传感器(例如，触摸板、触摸面板等)、电容器、无线电组件、雷达组件、扫描仪、和加速度计等。例如，传感器数据可以包括通过直接观察人获得的信息，直接观察人诸如通过
(多个)相机242捕获图像，通过(多个)麦克风241捕获嗓音或声音，通过其他传感器捕获移
动等。在一个实施例中，如将在本文档中稍后进一步所描述，可以基于人类标注者数据对传
感器数据进行分类，其中该人类标注者数据被用作参考以定义和关联与传感器数据的各个
部分对应的各种人类行为和变量。

[0048] 例如，一旦由检测和监测逻辑201检测和/或监测到人类标注者数据，随后可以触发分类逻辑203以基于人类标注者数据对任何传感器数据进行分类，以使传感器数据的各
个部分在创建和/或训练机器学习模型、神经网络等方面是有意义的，因此模型/网络可以
智能地将人类行为和/或变量结合并应用于它们的推理和输出中。

[0049] 在一个实施例中，在由检测和监测逻辑201检测、获得、和/或监测到人类标注者数据时，随后基于人类标注者数据对传感器数据分类以反映各种人类行为和其他变量。例如，
以下是反映人类行为或其他可观察变量的潜在有意义的人类标注者数据的示例中的一些：
1)对标注的决策的时间可指示可能具有相关性的人的视觉困难，诸如，基于红绿蓝(RGB)的
自主识别；2)在通过指示更困难的决策来对音频样本进行分类时倾斜头部、眯眼、闭眼、反
复聆听等；3)在视觉分类期间的“无关的”语言表达(例如，“嗯(ummm)”、“啊(huh)”等)可以指示某种情感或保留，诸如，在执行动作时犹豫，或在看到某事时感到惊讶等。

[0050] 类似地，其他示例可以包括：4)当对数据进行分类以增加可用的语言数据(例如，“这看起来不合适”、“可能这是只猫”等)时，人类标注者被指示“自言自语”。例如，与Frogger不同，在一个实施例中，在实际标注期间评估话语的性质，以便随后在推理模型训
练中使用；5)当使用触摸输入或描绘的物体时人的移动速度；6)在对气味进行分类之前，人
所嗅的次数；7)与人相关联的其他变量，诸如种族、性别、国籍、地点、国家等。

[0051] 构想了如种族、性别、国籍、民族、宗教信仰、政治倾向、性取向等可观察变量也可涉及其他考虑或分类，诸如偏见、歧视、和其他类似的伦理或道德AI问题。如将在本文档中进一步所描述，评估和过滤逻辑205可以被触发以处理可能触发歧视或偏见的此类变量。例
如，在一个实施例中，评估和过滤逻辑205可以过滤掉此类变量，诸如，如果它们被认为是次要的或不相关的或令人讨厌的，或者相反，在另一个实施例中，合并并应用此类变量以用于
机器学习模型、神经网络的适当创建和/或训练。例如，模型创建和训练逻辑207可以提供相
关训练以确保此类变量是通过机器学习模型、神经网络等被智能地推理和应用的，从而提
供不受无意识偏见影响的现实结果。

[0052] 在一个实施例中，在基于人类标注者数据对传感器数据进行分类后，随后评估和过滤逻辑205可以被触发以评估和确定经分类的传感器数据和相关的人类标注者数据在其
相关联的和经分类的人类行为和/或变量方面的价值或有用性，以用于将它们应用于机器
学习模型、深度学习神经网络。例如，评估和过滤逻辑205可以确定：当创建要在过分简单化的应用中执行的推理时，较不确凿的人类标注者数据样本(诸如，在其中标注者数据显示更
多怀疑、犹豫等的人类标注者数据样本)可具有或被分配较小的权重。类似地，如果在复杂
情况下执行推理，则机器学习模型可以利用更具挑战性的样本(诸如，在其中标注者花费更
长时间来决定)来创建以便是期望的和确凿的。对于个体推理模型，可以使用样本数据来测
试人类标注者数据的使用或不使用。

[0053] 此外，如上所述，评估和过滤逻辑205可用于过滤掉与不准确性、非预期结果和偏见中的一者或多者相关联的人类变量中的一个或多个，诸如，基于年龄、性别、种族、民族、国籍、宗教、宗教信仰、政治倾向、性取向、和/或类似情况中的一个或多个的变量。被过滤掉的人类变量可以进一步包括意外行为、巧合项目等，或者当协变量被视为被过滤掉的有害
变量时。

[0054] 例如，由于与人类标注者数据相关联的某些无关的人类行为或变量可能会潜在地损害机器学习模型、神经网络等的训练，诸如，如果某人离开一杯咖啡5分钟，则该5分钟等
待可能被视为是“犹豫”，因此在一个实施例中，评估和过滤逻辑205可以评估并选择过滤掉这种犹豫，因此该由于不会不必要地影响模型或神经网络。

[0055] 然而，构想了如果此类变量似乎是次要的或不相关，则可以将其他们过滤掉，并且在一些实施例中，这些变量被考虑、被评估、并被应用于相应智能结果。例如，评估和过滤逻辑205评估是否存在全部都是种族A的标注者，其中他们可能倾向于使他们对于种族B的人
的标注带有偏见，即便这是无意的。例如，如果标注者的目的是在图像中圈出商店扒手，则
使用标注者的种族(例如，种族A)和被标注者的种族(例如，种族B)可能会受到社会或无意
的偏见的影响，诸如，种族A的观察可能会对于在图像中对种族B的人的观察带有偏见。

[0056] 因此，在一个实施例中，评估和过滤逻辑205评估和调整该协变量，以在与标注者和被标注者相关联的两个变量之间具有一些对应性和意义，并且将该调整传递(诸如，以便
考虑到潜在的偏见)到模型创建和训练逻辑207，使得将那个调整结合并应用于机器学习模
型、神经网络等，以获得智能和现实的推理分析和所得到的结果。

[0057] 类似地，在一个实施例中，随后可使用评估和过滤逻辑205，以判定是否可以使用经标注和分类的传感器数据中的任一者来通过将这视为另一个数据源而将预测性添加到
机器学习模型、神经网络等。例如，评估和过滤逻辑205具有用于基于任何经标注和经分类
的数据对机器学习模型和/或神经网络的应用和从机器学习模型和/或神经网络输出来改
变该经标注的和经分类的数据的有用性的智能。例如，可以通过允许具有不同标注者人口
统计或其他潜在偏见的此类机器学习模型、神经网络等针对不同用途和对不同数据集进行
比较来启用和使用更具解释性的AI(XAI)。这可以被视为诸如在不必改变或修复整个XAI挑
战的情况下启用某种形式的XAI的持续方式。

[0058] 此外，在区别于传统眼睛跟踪技术时，实施例提供确定在显示决策时、在分类之前反复播放样本时、或者在其他特定行为和变量中的等待时间，如有评估和过滤逻辑205所确
定。替代地，实施例提供一种用于确定在分类决策之前的基于人类标注者数据的行为(与如
眼睛运动这样的行为相反)和/或行为的不确定性以及不确定性估计的使用，如由评估和过
滤逻辑205所促进。

[0059] 在一个实施例中，不确定性估计指与每个标注者相关联的不确定性等级，该不确定性等级由评估和过滤逻辑205以任何数量的方式来测量，这取决于哪种方式被认为最适
合于应用，诸如(但不限于)：1)在对图像或声音进行分类时的响应时间；2)在对图像或声音
进行分类的同时，存在或不存在一定程度的眯眼(或头部倾斜、头部朝向屏幕的移动等)；3)
视觉分类期间的无关语言表达次数；4)用于描绘对象的触摸输入时间；5)用于对气味进行
分类所嗅的次数；以及6)如“相似”、“难”、“说不清”、“相同”等评价词的计数。

[0060] 此外，在一个实施例中，不确定性可能不是基于人类标注者数据的人类标注者跟踪的唯一感兴趣的变量，因为其他示例可以包括(但不限于)：1)如由面部表情检测到的情
绪响应；2)用于指示兴奋水平的心率、心率变化、皮肤电响应等，3)关于标注者的变量，诸
如，种族、年龄、性别、国籍、原籍国、以及可能导致标注时的偏见或与标注时的偏见相关联的其他类似方面。

[0061] 例如，评估和过滤逻辑205可以基于所研究的和/或所考虑的众所周知的人类行为和/或变量来评估经标注的数据，诸如，对于人类来说，每图像的平均响应时间(诸如从图像
的开始到按下按钮的时间)可以是889ms等等，而绘制边界框已经显示花费了26秒等等。换
言之，取决于任务，在标注者响应时间(RT)方面可以有宽范围。尽管人类RT遵循略微偏斜的
分布(尽管接近正态)，但是可以容易地完成利用标准偏差对数据进行修剪。例如，可以过滤
掉高于平均RT2个STDV的任何时间，并且对于指示犹豫的语言表达、手势、或其他显式行为，可以为那个特定任务定义感兴趣的行为。对于音频或视频内容的反复播放，简单频率可以
被跟踪，其中超过适当阈值的极端反复被过滤掉。此外，在不存在人类标注者数据的情况下
(例如，没有面部表情改变)，一些融合方法被认为更容忍稀疏数据。

[0062] 在一个实施例中，然后可以触发模型创建和训练逻辑207以诸如基于以经标注的数据为基础的行为和/或变量来应用对经标注/经分类的传感器数据的发现和评估，从而生
成和/或训练机器学习模型/神经网络以允许有价值以及确凿且可靠的机器学习模型、深度
学习神经网络等。例如，在一个实施例中，为了创建新的机器学习模型，可以使用模型创建
和训练逻辑207来简单地使用来自特定的不确定度测量的经标注的传感器数据(诸如，使用
人类标注者“快速决策”数据)来创建多个机器学习推理模型。

[0063] 在一些实施例中，诸如在后期融合的情况下，在分别针对和使用被存储和维持在(多个)数据库225处的传感器数据和标记者数据训练了模型之后，随后可以触发评分逻辑
211以基于以人类标注者数据为基础对每个机器学习模型或神经网络的结果进行平均来计
算人类标注者数据的每个部分或元素的得分。例如，可以(诸如在一个或多个数据库225处)
保持和维持此类得分，以便在将来(诸如，当训练机器学习模型时，当遇到类似或相同的人
类标注者数据或行为/变量时)使用，从而增加用于处理的系统资源的效率和保存。

[0064] 此外，在一个实施例中，语义数据可以与传感器数据一起使用，以基于异构数据构建机器学习模型、神经网络，诸如，在对特征训练了模型或神经网络之后，使用语义数据的
另一级可以用于利用语义变量创建机器学习模型，如由模型创建和训练逻辑207所促进。语
义融合的类别可以包括：基于多视图的方法、基于相似性的方法、基于概率依赖性的方法、
和基于转移学习的方法。此外，在另一个实施例中，可以通过模型创建和训练逻辑207使用
早期融合和后期融合方法来生成经融合的模型，其中人类标注者数据被视为仅为传感器数
据的另一个源(例如，音频、视觉、视听等)。

[0065] 考虑示例，可以使用计算设备100的一个或多个传感器(诸如，(多个)相机242、(多个)麦克风241)来检测传感器数据，同时在(多个)数据库225处访问人类标注者数据，如有
检测和监测逻辑201所促进。在一个实施例中，评估和过滤逻辑205可以被触发以评估传感
器数据与人类标注者数据之间的任何相关性，使得该相关性基于与人类标注者据相对应的
人类行为来标识传感器数据的含义。在一个实施例中，分类逻辑203随后可以被触发以基于
相关性将人类标注者数据与传感器数据相关联以将传感器数据分类为经标注的数据，而模
型创建和训练逻辑207随后使用该经标注的数据以促进机器学习模型的训练，从而从经标
注的数据提取人类影响，并将人类影响中的一个或多个嵌入在表示涉及一个或多个人类的
一个或多个物理场景的一个或多个环境中。

[0066] 继续该示例，可以使用训练来促进机器学习模型，以基于经标注的数据、在将一个或多个人类影响嵌入在一个或多个环境中之前、根据多个环境来解释人类影响，其中，例
如，对人类影响的解释基于如从经标注的数据导出且基于相关性的对人类行为的接受和人
类行为的例外。

[0067] 例如，对人类行为的接受基于从个人简档、文化特征、历史规范、社会偏好、个人偏见、社会偏见、习惯等中的一个或多个获得的经验证数据。例如，人类行为的例外是基于从巧合、事故、不准确、偶然、意外后果等中的一个或多个获得的未经验证的数据，使得人类行为中的一个或多个可以基于例外中的一个或多个被过滤掉，以避免将不准确性关联至人类
影响。

[0068] 例如，相关性进一步基于人类行为的人类变量部分，其中该人类变量部分基于煽动个人偏见或社会偏见的人类变量，其中此类人类变量可包括年龄、性别、种族、民族、国
籍、政治派别、宗教团体、性取向等中的一个或多个。

[0069] 在一些实施例中，机器学习模型包括基于传感器数据和人类标注者数据的统一机器学习模型，其中在多模态机器学习环境的早期融合方案期间采用统一机器学习模型。在
这种情况下，早期融合方案表示传感器数据和人类标注者数据的早期融合。

[0070] 在一些实施例中，机器学习模型包括多个单独的机器学习模型，其中多个单独的机器学习模型中的第一机器学习模型基于传感器数据而不是人类标注者数据，并且多个单
独的机器学习模型中的第二机器学习模型基于人类标注者数据而不是传感器数据。在多模
态机器学习环境的后期融合方案期间采用这些单独的机器学习模型，其中后期融合方案表
示传感器数据和人类标注者数据的后期融合。

[0071] 此外，在一个实施例中，当处理多个单独的机器学习模型时，评分逻辑211被触发以从与传感器数据相关联的第一机器学习模型获得第一得分，并从与人类标注者数据相关
联的第二机器学习模型获得第二得分。随后，通过评分逻辑211对这些第一得分和第二得分
进行平均，并且随后将第一得分和第二得分的平均值维持在(多个)数据库225处，以便随后
与多个单独的机器学习模型的任何后续训练一起使用并应用于多个单独的机器学习模型
的任何后续训练。

[0072] 构想了实施例不限于任何数量或类型的(多个)麦克风241、(多个)相机243、(多个)扬声器243、(多个)显示器244等。例如，如由检测和监测逻辑201所促进，麦克风241中的一个或多个可用于同时从用户(例如，扬声器)检测语音或声音。类似地，如由检测和监测逻
辑201所促进，相机242中的一个或多个可用于捕获地理位置(无论是室内还是室外)的图像
或视频及其相关联的内容(例如，家具、电子设备、人类、动物、树木、山脉等)，并形成一组图像或视频流。

[0073] 类似地，如图所示，(多个)输出组件233可以包括任何数量和类型的(多个)扬声器或(多个)扬声器设备243，以用作输出设备，用于出于任何数量或类型的原因(诸如，人类收
听或消耗)从计算设备100输出或发出音频。例如，(多个)扬声器243与(多个)麦克风241相
反地工作，其中(多个)扬声器243将电信号转换为声音。

[0074] 此外，(多个)输入组件231可以进一步包括任何数量和类型的相机，诸如，深度感测相机或捕获设备(例如， RealSenseTM深度感测相机)，该深度感测相机或捕获设
备已知用于捕获诸如个人媒体之类的媒体的静止和/或视频红－绿－蓝(RGB)和/或RGB深
度(RGB-D)图像。具有深度信息的此类图像已经有效地用于各种计算机视觉和计算摄影学
效果，诸如(但不限于)场景理解、重新聚焦、合成、电影拍摄(cinema-graphs)等。类似地，例如，显示器可以包括任何数量和类型的显示器，诸如，一体式显示器、张量显示器、立体显示器等，包括(但不限于)嵌入的或连接的显示屏、显示设备、投影仪等。

[0075] (多个)输入组件231还可包括振动组件、触觉组件、电导元件、生物测定传感器、化学检测器、信号检测器、脑电图描记、功能性近红外光谱、波检测器、力传感器(例如，加速度计)、照明器、眼睛跟踪或注视跟踪系统、头部跟踪系统等中的一个或多个，上述各项可被用于捕捉任何数量和类型的视觉数据和非视觉数据，视觉数据诸如，图像(例如，照片、视频、电影、音频/视频流等)，非视觉数据诸如，音频流或信号(例如，声音、噪声、振动，超声波等)、无线电波(例如，无线信号，诸如，具有数据、元数据、符号等的无线信号)、化学变化或属性(例如，湿度、体温等)、生物测定读数(例如，图形打印等)、脑波，脑循环、环境/天气条件、地图等。构想了“传感器”和“检测器”贯穿本文档可互换地引用。进一步构想了一个或多个输入组件231可进一步包括用于捕获和/或感测数据的支持性或补充设备中的一个或多
个，诸如，照明器(例如，IR照明器)、灯具、发电机、声音拦截器等。

[0076] 进一步构想了，在一个实施例中，(多个)输入组件231可进一步包括用于感测或检测任何数量和类型的情境(例如，估计与移动计算设备等有关的地平线、线性加速度等)的
任何数量和类型的情境传感器(例如，线性加速度计)。例如，(多个)输入组件231可包括任
何数量和类型的传感器，诸如(但不限于)：加速度计(例如，用于测量线性加速度的线性加
速度计等)；惯性设备(例如，惯性加速度计、惯性陀螺仪、微机电系统(MEMS)陀螺仪、惯性导航仪等)；以及用于研究和测量由于重力而引起的重力加速度的变化的重力梯度仪等。

[0077] 此外，例如，(多个)输入组件231可包括(但不限于)：音频/视觉设备(例如，相机、麦克风、扬声器等)；情境感知传感器(例如，温度传感器、与音频/视觉设备的一个或多个相机一起工作的面部表情和特征测量传感器、环境传感器(诸如，用于感测背景颜色、光等)；
生物测定传感器(诸如，用于检测指纹等)、日历维护和阅读设备)等；全球定位系统(GPS)传
感器；资源请求器；和/或TEE逻辑。可分开采用TEE逻辑，或者TEE逻辑可以是资源请求器和/或I/O子系统等的部分。(多个)输入组件231还可包括语音识别设备、照片识别设备、面部和
其他身体识别组件、语音-文本转换组件等。

[0078] 类似地，(多个)输出组件233可包括具有触觉效应器的动态触觉触摸屏来作为呈现触摸的可视化的示例，其中这样的实施例可以是可在空间中发送信号的超声波发生器，
该信号在到达例如人类手指时会引起手指上的触感或类似感觉。此外，例如并且在一个实
施例中，(多个)输出组件233可以包括(但不限于)以下一个或多个：光源、显示设备和/或屏
幕、音频扬声器、触觉组件、电导元件、骨传导扬声器，嗅觉或气味视觉和/或非视觉呈现设备、触觉或触摸视觉和/或非视觉呈现设备、动画显示设备、生物测定显示设备、X射线显示
设备、高分辨率显示器、高动态范围显示器、多视图显示器、以及用于虚拟现实(VR)和增强
现实(AR)中的至少一个的头戴式显示器(HMD)等。

[0079] 构想了实施例不限于任何数量或类型的用例场景、架构放置或组件设置；然而，为了简洁和清楚起见，出于示例性目的，贯穿本文档提供和讨论了图示和描述，但是实施例不
限于此。此外，贯穿本文档，“用户”可指代有权访问一个或多个计算设备(诸如，计算设备
100)的某人，并且可与“人”、“个人”、“人类”、“他”、“她”、“孩子”、“成人”、“观看者”、“运动员”、“玩家”、“开发者”、“程序员”等互换地被引用。

[0080] 通信/兼容性逻辑209可用于促进各种组件、网络、计算设备、(多个)数据库225和/或(多个)通信介质230等与任何数量和类型的以下各项之间的动态通信和兼容性，同时确
保与变化的技术、参数、协议、标准等的兼容性：其他计算设备(诸如，可穿戴计算设备、移动计算设备、台式计算机，服务器计算设备等)、处理设备(例如，中央处理单元(CPU)、图形处理单元(GPU)等)、捕捉/感测组件(例如，非可视数据传感器/检测器，诸如，音频传感器、嗅觉传感器、触觉传感器、信号传感器、振动传感器、化学检测器、无线电波检测器、力传感器、天气/温度传感器、身体/生物传感器，扫描仪等；以及可视数据传感器/检测器，诸如，相机等)、用户/情境感知组件和/或标识/验证传感器/设备(诸如，生物测定传感器/检测器、扫
描仪等)、存储器或存储设备、数据源、和/或(多个)数据库(诸如，数据存储设备、硬驱动器、固态驱动器、硬盘、存储卡或设备、存储器电路等)、(多个)网络(例如，云网络、因特网、物联网、内联网、蜂窝网络、邻近网络，诸如，蓝牙、蓝牙低功耗(BLE)、蓝牙智能、Wi-Fi邻近、射频识别、近场通信、体域网等)、无线或有线通信和相关协议(例如， WiMAX、以太网
等)、连接性和位置管理技术、软件应用/网站，(例如，社交和/或商业联网网页、商业应用、游戏和其他娱乐应用等)、编程语言等。

[0081] 贯穿本文档，如“逻辑”、“组件”、“模块”、“框架”、“引擎”、“工具”、“电路”等术语可以互换地引用，并且作为示例包括软件、硬件、和/或软件和硬件的任何组合(诸如，固件)。在一个示例中，“逻辑”可以指代或可包括与诸如计算设备100之类的计算设备的操作系统、图形驱动器等中的一个或多个一起工作的软件组件。在另一示例中，“逻辑”可以指代或可
包括能够与诸如计算设备100之类计算设备的一个或多个系统硬件元件(诸如，应用处理
器、图形处理器等)一起被在物理上被安装或作为其一部分的硬件组件。在又另一个实施例
中，“逻辑”可以指代或可包括能够作为诸如计算设备100等之类的计算设备的系统固件(诸
如，应用处理器或图形处理器的固件)的一部分的固件组件。

[0082] 此外，特定品牌、单词、术语、短语、名称和/或首字母缩略词，诸如“人类标注者”、“人类标注者数据”、“传感器数据”、“经标注的传感器数据”、“经分类的传感器数据”、“行为”、“变量”、“机器学习界面”、“机器学习模型”、“神经网络”、“创建”、“训练”、“推理”、“分类”、“评分”、“RealSenseTM相机”、“实时”、“自动”、“动态”、“用户界面”、“相机”、“传感器”、“麦克风”、“显示屏”、“扬声器”、“验证”、“认证”、“隐私”、“用户”、“用户简档”、“用户偏好”、“发送方”、“接收方”、“个人设备”、“智能设备”、“移动计算机”、“可穿戴设备”、“物联网设备”、“邻近网络”、“云网络”、“服务器计算机”的任何使用不应被解读成将各实施例限制成产品中或在该文件外部的文献中携带该标签的软件或设备。

[0083] 构想了可以向人类标注者机制110添加和/或从人类标注者机制110去除任何数量和类型的组件，以促进包括添加、去除和/或增强某些特征的各实施例。为了简洁、清楚，并易于理解人类标注者机制110起见，在此未示出或讨论标准和/或已知组件中的许多，诸如
计算设备的那些标准和/或已知组件。构想了如本文所述的实施例不限于任何技术、拓扑、
系统、架构、和/或标准，并且动态到足以采用和适应任何未来变化。

[0084] 图3A示出了根据一个实施例的用于将人类标注者影响嵌入在机器学习模型中的系统300的实施例。为了简洁起见，此后可以不讨论或重复先前参考图1-图2所讨论的细节
中的许多细节。具有该图示和其他图示的任何过程或事务可以由处理逻辑来执行，该处理
逻辑可以包括如由图1的人类标注者机制110促进的硬件(例如，电路、专用逻辑、可编程逻
辑等)、软件(诸如，在处理设备上运行的指令)或其组合。为了呈现的简洁和清晰，能以线性序列示出或记载与该图示和其他图示相关联的任何过程或事务；然而，构想了任何数量的
过程或事物都可以并行地、异步地或以不同顺序执行。

[0085] 如图所示，由图2的检测和监测逻辑201所促进，在311处，检测、观察和监测人类标注者数据，诸如，人类标注者1 301、人类标注者2 303、人类标注者N 305。随后，将与这些人类标注者301、303、305相关联的任何信息继续转发到中央计算块321，在该中央计算块321
处，通过如分别由图2的分类逻辑203、评估和过滤逻辑205以及模型创建和训练逻辑207促
进的标注者分类323、标注者评估和过滤325、模型创建和训练327来处理该信息。此外，在一些实施例中，也可以在评分329处执行评分，由如图2的评分逻辑211所促进。

[0086] 例如，如先前参考图2所描述，使用传感器数据来评估人类标注者数据，以通过如由图2的分类逻辑203所促进的处理的标注者分类323来确定与人类标注者数据相关联的人
类行为和/或变量，其中，随后通过如由图2的评估和过滤逻辑205所促进的标注者评估和过
滤325来评估此类人类行为和/或变量以保持或过滤。随后，该经评估的信息用于使用如由
图2的模型创建和训练逻辑207所促进的中央计算321处的处理的模型创建和培训327来创
建和/或训练机器学习模型和/或深度学习神经网络。此外，在一些实施例中，诸如在后期融
合处理的情况下，可以在如由图2的评分逻辑211所促进的评分329处执行对来自模型/网络
的结果的评分。

[0087] 如进一步所示，中央计算块321可以与包括传感器数据库331的(多个)数据库225通信，以用于具有和维持用于中央计算的标注者和其他相关数据以便由图1的人类标注者
机制110所促进进行访问和处理。此外，传感器数据库331处的该传感器数据可以通过一个
或多个I/O源108捕获或获得，一个或多个I/O源108诸如图2中的用于捕获音频(例如，声音、
噪声等)的(多个)麦克风241，用于捕获视觉(例如，静止图像、视频等)的(多个相机242)，如由检测和监视逻辑201所促进等。随后，基于通过人类标注者1 301、人类标注者2 303、人类标注者N 305获得的人类标注者数据来对该传感器数据进行处理和分类，并发送该传感器
数据以用于传感器数据呈现333，在传感器数据呈现333处，传感器数据被处理以通过图2的
一个或多个显示设备244往回呈现给计算设备的用户。

[0088] 图3B示出了传统的早期融合方案350。如前面参考图2所示和所述，在早期融合中，在学习概念之前融合单模态分析的输出。如图所示，视觉特征提取、听觉特征提取和文本特
征提取被形成为多模态特征组合，接着是有监督学习。

[0089] 图3C示出了传统的后期融合方案360。如前面参考图2所示和所述，在后期融合中，单模态分析的输出用于学习概念的多个单独得分，其中该概念的最终得分在融合之后被学
习。如图所示，视觉特征提取、听觉特征提取和文本特征提取继续进行，直到形成多模态特
征组合，接着是有监督学习。

[0090] 图4A示出了根据一个实施例的用于基于早期融合将人类标注者影响嵌入在机器学习模型/网络中的方法400的实施例。为了简洁起见，此后可以不讨论或重复先前参考图
1-图3C所讨论的细节中的许多细节。该图示和其他图示的任何过程或事务可以由处理逻辑
来执行，该处理逻辑可以包括如由图1的人类标注者机制110促进的硬件(例如，电路、专用
逻辑、可编程逻辑等)、软件(诸如，在处理设备上运行的指令)或其组合。为了呈现的简洁和清晰，能以线性序列示出或记载与该和其他图示相关联的任何过程或事务；然而，构想了任
何数量的过程或事物都可以并行地、异步地或以不同顺序执行。

[0091] 如参考图3B的早期融合方案350所述，在早期融合中，在学习概念之前融合单模态分析的输出。在图4A所示的实施例中，方法400开始于框401：准备标注与用户相关联的并且
通过计算设备的麦克风、相机等获得的传感器数据。在框403处，发起对人类标注者数据的
监测，其中可以通过传感器(例如，相机、麦克风等)、历史数据、分类数据、用户个人简档等获得人类标注者数据。在框405处，(诸如，通过嵌入在或耦合到计算设备的一个或多个显示
设备或屏幕)呈现传感器数据以用于标注并呈现给用户。在框407处，人类标注者数据被用
于将传感器数据进行分类，以便对于机器学习模型、神经网络等的目的是有意义的。

[0092] 在框409处，作出是否使用标注者对更多传感器数据进行分类的判定。例如，在一些情况下，传感器数据或其分类可能不足以使相应的人类动作有意义或有含义，因此如果
需要附加的分类或附加的分类可能有帮助，则方法400从框405处的呈现传感器数据继续。
然而，如果所有必要的传感器数据已被分类，则方法400继续：在框411处，选择经标注的传
感器数据，以用于用于在创建和训练机器学习模型时使用的人类行为和其他变量。在框413
处，确定人类标注者行为和/或变量。在框415处，在一个实施例中，创建统一模型，并随后利用来自传感器数据和标注者数据的组合特征来训练统一模型。

[0093] 图4B示出了根据一个实施例的用于基于后期融合将人类标注者影响嵌入在机器学习模型/网络中的方法450的实施例。为了简洁起见，此后可以不讨论或重复先前参考图
1-图4A所讨论的细节中的许多细节。该图示和其他图示的任何过程或事务可以由处理逻辑
来执行，该处理逻辑可以包括如由图1的人类标注者机制110促进的硬件(例如，电路、专用
逻辑、可编程逻辑等)、软件(诸如，在处理设备上运行的指令)或其组合。为了呈现的简洁和清晰，能以线性序列示出或记载与该图示和其他图示相关联的任何过程或事务；然而，构想
了任何数量的过程或事物都可以并行地、异步地或以不同顺序执行。

[0094] 如参考图3B的传统后期融合方案360所描述。如图所示，在晚期融合中，单模态分析的输出用于学习概念的多个单独得分，其中在融合之后学习概念的最终得分。如参考图
4A所示，方法450开始于框451：准备传感器数据以用于标注，而在框453处，发起对人类标注者的监测。在框455处，(诸如，通过嵌入在或耦合到计算设备的一个或多个显示设备或屏
幕)呈现传感器数据以用于标注并呈现给用户。在框457处，人类标注者被用于将传感器数
据进行分类，以便对于机器学习模型、神经网络等的目的是有意义的。

[0095] 在框459处，作出是否使用标注者对更多传感器数据进行分类的判定。例如，在一些情况下，传感器数据或其分类可能不足以使相应的人类动作有意义或有含义，因此如果
需要附加的分类或附加的分类可能有帮助，则方法450从框455处的呈现传感器数据继续。
然而，如果所有必要的传感器数据已被分类，则方法450继续：在框461处，选择经标注的传
感器数据，以用于确定用于在创建和训练机器学习模型时使用的人类行为和其他变量。在
框463处，确定人类标注者行为和/或变量。在框465处，在一个实施例中，分别为来自传感器数据和标注者数据的特征创建多个和单独的机器学习模型，并随后训练多个和单独的机器
学习模型。例如，与图4A的统一模型相反，在此，在框465处，为诸如传感器数据和标注者数据之类的两组数据中的每一组分配用于训练目的的模型。此外，在一个实施例中，在框467
处，基于将通过传感器数据和标注者数据模型获得的结果进行平均来确定得分。例如，得分
可以基于人类标注者和/或传感器数据指示平均而言人类行为的解释的可能性，其中可以
将此类得分保存在一个或多个数据库中以供将来访问和使用，使得不必重复整个过程。

[0096] 图5示出了根据一个实现的计算设备500。示出的计算设备500可以与图1的计算设备100相同或相似。计算设备500容纳系统板502。板502可包括多个组件，包括但不限于处理
器504和至少一个通信封装506。通信封装被耦合到一个或多个天线516。处理器504物理地
以及电气地耦合至板502。

[0097] 取决于其应用，计算设备500可包括可物理地以及电气地耦合到板502或者可以不物理地以及电气地耦合到板502的其他组件。这些其他组件包括但不限于,易失性存储器
(例如，DRAM)508、非易失性存储器(例如，ROM)509、闪存(未示出)、图形处理器512、数字信号处理器(未示出)、加密处理器(未示出)、芯片组514、天线516、显示器518(诸如，触摸屏显示器)、触摸屏控制器520、电池522、音频编码解码器(未示出)、视频编码解码器(未示出)、功率放大器524、全球定位系统(GPS)设备526、罗盘528、加速度计(未示出)、陀螺仪(未示
出)、扬声器530、相机532、麦克风阵列534、以及大容量存储设备(诸如，硬盘驱动器)510、紧凑盘(CD)(未示出)、数字多功能盘(DVD)(未示出)等等)。这些组件可连接到系统板502，安
装到系统板，或与其他组件中的任一者相组合。

[0098] 通信封装506启用无线和/或有限通信以将数据传递到计算设备500或从计算设备500传递数据。术语“无线”及其衍生词可用于描述通过使用经调制的电磁辐射将数据传递
通过非固态介质的电路、设备、系统、方法、技术、通信信道等。尽管在一些实施例中相关联的设备可以不包含任何线，但是该术语并不暗示相关联的设备不包含任何线。通信封装506
可实现多种无线或有线标准或协议中的任一种，包括但不限于Wi-Fi(IEEE 802.11系列)、
WiMAX(IEEE 802.16系列)、IEEE 802.20、长期演进(LTE)、Ev-DO、HSPA+、HSDPA+、HSUPA+、EDGE、GSM、GPRS、CDMA、TDMA、DECT、蓝牙及其以太网衍生物以及被指定为3G、4G、5G以及更高世代的任何其他无线和有线协议。计算设备500可包括多个通信封装506。例如，第一通信封
装506可专用于较短程的无线通信，诸如，Wi-Fi和蓝牙；而第二通信封装506可专用于较长
程的无线通信，诸如，GPS、EDGE、GPRS、CDMA、WiMAX、LTE、Ev-DO等。

[0099] 包括任何深度传感器或接近度传感器的相机532被耦合到任选的图像处理器536以执行如本文所述的转换、分析、降噪、比较、深度分析或距离分析、图像理解以及其他过
程。处理器504被耦合到图像处理器，以利用图像处理器和相机的中断、设置参数、和控制操作来驱动该过程。替代地，可以在处理器504、图形CPU 512、相机532、或任何其他设备中执行图像处理。

[0100] 在各种实现中，计算设备500可以是膝上型设备、上网本、笔记本、超级本、智能电话、平板、个人数字助理(PDA)、超移动PC、移动电话、台式计算机、服务器、机顶盒、娱乐控制单元、数码相机、便携式音乐播放器或数字视频记录仪。计算设备可以是固定的、便携式的
或可穿戴的。在进一步的实现中，计算设备500可以是处理数据或记录数据以用于在别处处
理的任何其他电子设备。

[0101] 实施例可使用以下各项来实现：使用主板互连的一个或多个存储器芯片、控制器、CPU(中央处理单元)、微芯片或集成电路；专用集成电路(ASIC)和/或现场可编程门阵列
(FPGA)。作为示例，术语“逻辑”可以包括软件或硬件和/或软件和硬件的组合。

[0102] 对“一个实施例”、“实施例”、“示例实施例”、“各实施例”等的引用指示如此描述的(多个)实施例可包括特定的特征、结构或特性，但是，不是每一个实施例都必定包括该特定的特征、结构或特性。此外，一些实施例可具有针对其他实施例所描述的特征中的一些、全
部特征，或不具有针对其他实施例所描述的特征。

[0103] 在以下说明书和所附权利要求书中，可使用术语“耦合的”及其派生词。“耦合的”被用来指示两个或更多个元件彼此协作或彼此交互，但是这两个或更多个元件在它们之间可具有或可不具有中间物理组件或电气组件。

[0104] 如权利要求书中所使用，除非另外指定，否则使用序数形容词“第一”、“第二”、“第三”等来描述共同的要素仅指示类似要素的不同实例被提及，并不旨在暗示如此描述的要素必须按照给定的序列，无论是时间上、空间上、等级上或以任何其他方式。

[0105] 附图以及前述描述给出了实施例的示例。本领域技术人员将理解，所描述的元件中的一个或多个可以很好地合并成单个功能元件。或者，某些元件可以被拆分成多个功能
元件。可将来自一个实施例的元件添加到另一实施例。例如，可改变本文中所描述的过程的
顺序，并且本文中所描述的过程的顺序不限于本文中所描述的方式。而且，任何流程图的动
作都不不必以所示的顺序来实现；也不一定需要执行所有这些动作。此外，不依赖于其他动
作的那些动作也可与其他动作并行地执行。各实施例的范围绝非由这些特定示例来限定。
众多变体(无论是否在说明书中明确地给出)都是可能的，这些变体诸如，结构、尺度以及材
料的使用方面的差异。实施例的范围至少与由所附权利要求书给出的范围一样广泛。

[0106] 实施例可以被提供为例如计算机程序产品，该计算机程序产品可以包括一种或多种瞬态或非瞬态机器可读存储介质，这一种或多种瞬态或非瞬态机器可读存储介质具有存
储于其上的机器可执行指令，该机器可执行指令在由一个或多个机器(诸如，计算机、计算
机网络或其他电子设备)执行时可导致这一个或多个机器执行根据在本文中所描述的实施
例的操作。机器可读介质可以包括但不限于：软盘、光盘、CD-ROM(紧凑盘只读存储器)以及
磁光盘、ROM、RAM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储
器)、磁卡或光卡、闪存、或者适用于存储机器可执行指令的其他类型的介质/机器可读介
质。

[0107] 图6示出了能够支持上文所讨论的操作的计算环境600的实施例。可以用各种各样不同的硬件架构和形状因子(包括图5中示出的形状因子)来实现这些模块和系统。

[0108] 命令执行模块601包括中央处理单元，该中央处理单元用于对命令进行高速缓存并执行命令，并且用于在所示的其他模块和系统之间分发任务。它可包括指令栈、用于存储
中间结果和最终结果的高速缓存存储器、以及用于存储应用和操作系统的大容量存储器。
命令执行模块也可用作系统的中央协调和任务分配单元。

[0109] 屏幕渲染模块621在一个或多个多屏上绘制对象以供用户看到。它可以适用于从以下所描述的虚拟对象行为模块604接收数据，并适用于在适当的一个或多个屏幕上渲染
虚拟对象和任何其他对象和力。因此，来自虚拟对象行为模块的数据将确定例如虚拟对象
的位置和动态以及相关联的姿势、力和对象，并且屏幕渲染模块将相应地在屏幕上描绘该
虚拟对象以及相关联的对象和环境。屏幕渲染模块可以进一步适用于从以下所描述的相邻
屏幕透视模块607接收数据，以便如果虚拟对象可以被移动到相邻屏幕透视模块与之相关
联的设备的显示器，则描绘用于该虚拟对象的目标着陆区域。因此，例如，如果该虚拟对象
正从主屏幕被移动到辅助屏幕，则相邻屏幕透视模块2可以向屏幕渲染模块发送数据以例
如以阴影的形式暗示关于对用户的手移动或眼睛移动的那个跟踪的用于虚拟对象的一个
或多个目标着陆区域。

[0110] 对象和姿势识别模块622可适用于识别和跟踪用户的手姿势和手臂姿势。此类模块可被用于识别手、手指、手指姿势、手移动以及手相对于显示器的位置。例如，对象和姿势识别模块可以例如确定用户作出身体部位姿势来将虚拟对象投或抛到多个屏幕中的一个
或另一个上，或者确定用户作出身体部位姿势来将虚拟对象移动到多个屏幕中的一个或另
一个的边框。对象和姿势识别系统可被耦合至相机或相机阵列、麦克风或麦克风阵列、触摸
屏或触摸表面、或指点设备、或者这些项的某个组合，以检测来自用户的姿势和命令。

[0111] 对象和姿势识别系统的触摸屏或触摸表面可包括触摸屏传感器。来自该传感器的数据可被馈送到硬件、软件、固件或硬件、软件和固件的组合，以将用户的手在屏幕或表面
上的触摸姿势映射到虚拟对象的相应的动态行为。传感器数据可被用于动量和惯量因子以
基于来自用户的手的输入而允许虚拟对象的各种各样的动量行为，来自用户的手的输入诸
如，用户的手指相对于屏幕的滑动速率。捏姿势可被解释为用于从显示屏提起虚拟对象、或
用于开始生成与虚拟对象相关联的虚拟绑定、或用于在显示器上放大或缩小的命令。类似
的命令可由对象和姿势识别系统使用一个或多个相机而无需触摸表面的益处来生成。

[0112] 关注方向模块623可配备有相机或其他传感器，以跟踪用户的脸部或手的位置或取向。当姿势或语音命令被发布时，系统可以为该姿势确定适当的屏幕。在一个示例中，相
机被安装在每个显示器附近以检测用户是否正在面向该显示器。如果是，则关注方向模块
信息被提供给对象和姿势识别模块622，以确保姿势或命令与用于活跃显示器的适当的库
相关联。类似地，如果用户正从所有屏幕转移目光，则命令可以被忽略。

[0113] 设备接近度检测模块625可以使用接近度传感器、罗盘、GPS(全球定位系统)接收器、个域网无线电、以及其他类型的传感器，与三角测量和其他技术一起来确定其他设备的
接近度。一旦邻近的设备被检测到，该邻近的设备就可以被注册到系统，并且该邻近的设备
的类型可以被确定为输入设备或显示设备或这两者。对于输入设备，随后可将所接收的数
据应用到对象姿势和识别模块622。对于显示设备，它可由相邻屏幕透视模块607考虑。

[0114] 虚拟对象行为模块604适用于从对象速度和方向模块接收输入，并适用于将此类输入应用于正在显示器中被显示的虚拟对象。因此，例如，对象和姿势识别系统将解释用户
姿势，并且通过将用户的手的所捕获的移动映射至所识别的移动，虚拟对象跟踪器模块将
会将虚拟对象的位置和移动关联到如由对象和姿势识别系统所识别的移动，对象和速度和
方向模块将捕捉虚拟对象的移动的动态，并且虚拟对象行为模块将从对象和速度和方向模
块接收输入以生成数据，该数据将指示虚拟对象的移动对应于来自对象和速度和方向模块
的输入。

[0115] 另一方面，虚拟对象跟踪器模块606可适用于基于来自对象和姿势识别模块的输入来跟踪虚拟对象应当位于显示器附近的三维空间中的何处以及用户的哪个身体部位正
在持有该虚拟对象。虚拟对象跟踪器模块606可例如在虚拟对象跨越屏幕以及在屏幕之间
移动时跟踪该虚拟对象，并且跟踪用户的哪个身体部位正在持有该虚拟对象。跟踪正在持
有虚拟对象的身体部位允许对该身体部位的空中移动的连续感知，并由此允许关于该虚拟
对象是否已经被释放到一个或多个屏幕上的最终感知。

[0116] 观看姿势和屏幕同步模块608从关注方向模块623接收视图的选择和屏幕的选择或这两者的选择，并且在一些情况下，接收语音命令以确定哪个视图是活跃视图以及哪个
屏幕是活跃屏幕。随后，该观看姿势和屏幕同步模块608使得相关的姿势库被加载用于对象
和姿势识别模块622。应用在一个或多个屏幕上的各种视图可以与用于给定视图的替代的
姿势库或姿势模板集相关联。作为示例，在一个图中，捏-放姿势发射鱼雷，但是在另一图
中，同一姿势发射深水炸弹。

[0117] 相邻屏幕透视模块607可适用于确定一个显示器相对于另一显示器的角度和位置，该相邻屏幕透视模块607可包括或被耦合至设备接近度检测模块625。所投射的显示包
括例如投射到墙或屏幕上的图像。用于检测邻近的屏幕的接近度以及从该邻近的屏幕投射
的显示的相应角度或取向的能力可例如利用红外发射器和接收器、或利用电磁或光检测感
测能力来实现。对于利用触摸输入来允许所投射的显示的技术，传入视频可以被分析以确
定所投射的显示的位置，并校正通过以某个角度显示而引起的失真。加速度计、磁力计、罗
盘或相机可以被用于确定设备正被持有所处于的角度，而红外发射器和相机可以允许相对
于相邻设备上的传感器来确定屏幕设备的取向。以此方式，相邻屏幕透视模块607可确定相
邻屏幕相对于其自身的屏幕坐标的坐标。因此，相邻屏幕透视模块可确定哪些设备彼此邻
近、以及用于移动一个或多个虚拟对象跨越屏幕的进一步的潜在目标。相邻屏幕透视模块
可进一步允许屏幕的位置与表示所有现存对象和虚拟对象的三维空间的模型相关。

[0118] 对象和速度和方向模块603可适用于通过从虚拟对象跟踪器模块接收输入来估计正在被移动的虚拟对象的动态，诸如，它的轨迹、速度(无论是线性的还是角度的)、动量(无论是线性的还是角度的)等。对象和速度和方向模块可进一步适用于通过例如估计加速度、
偏转、虚拟绑定的拉伸程度等以及一旦被用户的身体部位释放时的虚拟对象的动态行为来
估计任何物理力的动态。对象和速度和方向模块也可使用图像运动、尺寸和角度变化来估
计对象的速度，诸如，手和手指的速度。

[0119] 动量和惯量模块602可以使用在图像平面中或在三维空间中的图像运动、图像尺寸和对象的角度变化来估计这些对象在该空间中或在显示器上的速度和方向。动量和惯量
模块被耦合至对象和姿势识别模块622，以估计由手、手指或其他身体部位执行的姿势的速
度，并且随后应用那些估计以确定将受该姿势影响的虚拟对象的动量和速度。

[0120] 3D图像交互和影响模块605跟踪与看起来像从一个或多个屏幕中延伸出来的3D图像的用户交互。可以计算对象在z轴(朝向和远离屏幕平面)上的影响以及这些对象对彼此
的相对影响。例如，在虚拟对象到达屏幕平面之前，由用户姿势抛出的对象可以受前景中的
3D对象影响。这些对象可改变抛射体的方向或速度，或完全摧毁它。对象可以由3D图像交互
和影响模块在显示器中的一个或多个显示器上的前景中进行渲染。如图所示，各组件(诸
如，组件601、602、603、604、605、606、607和608)经由互连或总线(诸如，总线609)连接。

[0121] 图7是机器学习软件栈700的概括图。尽管图7示出了用于通用GPU(GPGPU)操作的软件栈，但是机器学习软件栈不限于该示例并且还可以包括用于CPU操作的机器学习软件
栈。机器学习应用702可被配置成使用训练数据集来训练神经网络或使用经训练深度神经
网络来实现机器智能。机器学习应用702可包括用于神经网络和/或专业软件的训练和推断
功能，该训练和推断功能可被用于在部署之前训练神经网络。机器学习应用702可实现任何
类型的机器智能，包括但不限于图像识别、绘图和定位、自主导航、话音合成、医疗成像或语言翻译。

[0122] 可经由机器学习框架704来启用对机器学习应用702的硬件加速。机器学习框架704可提供机器学习原语的库。机器学习原语是常由机器学习算法执行的基本操作。在没有
机器学习框架704的情况下，机器学习算法的开发者将需要创建和优化与机器学习算法相
关联的主计算逻辑，随后在开发新的并行处理器时重新优化该计算逻辑。替代地，机器学习
应用可被配置成使用由机器学习框架704提供的原语来执行必要的计算。示例性原语包括
张量卷积、激活函数和池化(pooling)，这些是在训练卷积神经网络(CNN)时执行的计算操
作。机器学习框架704还可提供用于实现由许多机器学习算法执行的基本线性代数子程序
(诸如，矩阵和向量操作)的原语。

[0123] 机器学习框架704可处理从机器学习应用702接收的输入数据，并且生成对计算框架706的适当输入。计算框架706可对被提供至GPGPU驱动器708的底层指令进行抽象以使机
器学习框架704能够经由GPGPU硬件710来利用硬件加速，而不需要机器学习框架704熟悉
GPGPU硬件710的架构的情况。此外，计算框架706可跨各种类型以及各代GPGPU硬件710来启
用用于机器学习框架704的硬件加速。
机器学习神经网络实现

[0124] 由本文描述的实施例提供的计算架构可被配置成执行尤其适合训练和部署用于机器学习的神经网络的并行处理的类型。神经网络可被概括为具有图关系的函数网络。如
本领域中已知的，存在用于机器学习的各种类型的神经网络实现。如前所述，一种示例性类
型的神经网络是前馈网络。

[0125] 第二示例性类型的神经网络是卷积神经网络(CNN)。CNN是用于处理具有已知的网格状拓扑的数据(诸如，图像数据)的专业的前馈神经网络。相应地，CNN常被用于计算视觉
和图像识别应用，但是其也可被用于其他类型的模式识别，诸如，话音和语言处理。CNN 输入层中的节点被组织成“过滤器”(由视网膜中发现的感受域激发的特征检测器)集合，并且每
个过滤器集合的输出被传播至网络的相继层中的节点。用于CNN的计算包括对每个过滤器
应用卷积数学运算以产生此过滤器的输出。卷积是由两个函数执行以产生第三函数的专业
种类的数学运算，该第三函数是两个原始函数中的一个的经修改版本。在卷积网络术语中，
卷积的第一个函数可以称为输入，而第二个函数可以称为卷积核(convolution kernel)。
输出可以称为特征图。例如，卷积层的输入可以是定义输入图像的各种颜色分量的多维数
据数组。卷积核可以是多维参数数组，其中通过用于神经网络的训练过程来使参数适配。

[0126] 递归神经网络(RNN)是包括层之间的反馈连接的前馈神经网络族。RNN通过跨神经网络的不同部分共享参数数据来实现对序列化数据的建模。RNN的架构包括周期。周期表示
变量的当前值在未来时间对其自身的值的影响，因为来自RNN的输出数据的至少一部分被
用作对处理序列中的后续输入的反馈。该特征由于语言数据可被组成这一可变性质而使
RNN对语言处理尤其有用。

[0127] 以下描述的附图表示示例性的前馈、CNN和RNN网络，并且描述用于分别训练和部署那些类型的网络中的每一个的一般过程。将理解，这些描述对于本文描述的任何特定实
施例是示例性的和非限制性的，并且所示的概念一般可被应用于深度神经网络以及总体上
被应用于机器学习技术。

[0128] 上文描述的示例性神经网络可被用于执行深度学习。深度学习是使用深度神经网络的机器学习。与仅包括单个隐藏层的浅神经网络相比，用于深度学习的深度神经网络是
由多个隐藏层组成的人工神经网络。更深的神经网络要进行训练一般是更加计算密集的。
然而，网络的附加隐藏层实现多步模式识别，这导致相对于浅机器学习技术的降低的输出
误差。

[0129] 用于深度学习的深度神经网络典型地包括用于执行特征识别的前端网络，该前端网络耦合至后端网络，该后端网络表示数学模型，该数学模型可基于提供至该模型的特征
表示来执行操作(例如，对象分类、话音识别等)。深度学习使机器学习能够在不需要针对模
型执行手工特征工程的情况下执行。相反，深度神经网络可基于统计结构或输入数据内的
相关性来学习特征。所学习的特征可被提供至可将检测到的特征映射到输出的数学模型。
由网络使用的数学模型一般专门用于要执行的特定任务，并且不同模型将被用于执行不同
的任务。

[0130] 一旦神经网络被构建，学习模型便可被应用于该网络以训练该网络来执行特定任务。学习模型描述如何调整模型内的权重以减小网络的输出误差。误差的反向传播是用于
训练神经网络的常见方法。输出向量被呈递至网络以供处理。使用损失函数将网络的输出
与期望输出进行比较，并且针对输出层中的神经元中的每一个神经元来计算误差值。误差
值随后反向传播，直到每个神经元具有粗略地表示其对原始输出的贡献的相关联的误差
值。网络随后可使用算法(诸如，随机梯度下降算法)来从那些误差学习，以更新神经网络的
权重。

[0131] 图8A-图8B示出了示例性卷积神经网络。图8A示出了CNN内的各个层。如图8A中所示，用于对图像处理建模的示例性CNN可以接收描述输入图像的红色、绿色、和蓝色(RGB)分
量的输入802。输入802可以由多个卷积层(例如，第一卷积层804、第二卷积层806)处理。来
自多个卷积层的输出可以任选地由完全连接的层的集合808处理。完全连接层中的神经元
具有至前一层中的所有激活的完全连接，如先前针对前馈网络所描述的。来自完全连接的
层808的输出可用于从网络生成输出结果。可以使用矩阵乘法而不是卷积来计算完全连接
的层808内的激活。并非所有CNN实现都利用完全连接的层808。例如，在一些实现中，第二卷积层806可以生成CNN的输出。

[0132] 卷积层被稀疏地连接，这不同于在完全连接的层808中发现的传统神经网络配置。传统的神经网络层被完全连接，使得每个输出单元与每个输入单元相互作用。然而，卷积层
被稀疏地连接，因为域的卷积的输出被输入(而不是域中的每个节点的相应状态值)到后续
层的节点，如图所示。与卷积层相关联的核执行卷积运算，该卷积运算的输出被发送到下一
层。在卷积层内执行的维度减少是使CNN能够缩放以处理大图像的一个方面。

[0133] 图8B示出了CNN的卷积层内的示例性计算级。可以在卷积层814的三个级中处理CNN的卷积层812的输入。这三个级可以包括卷积级816、检测器级818、和池化级820。随后卷积层814可以将数据输出到相继的卷积层。网络的最终卷积层可以生成输出特征图数据或
者向完全连接的层提供输入，例如，以生成用于CNN的输入的分类值。

[0134] 在卷积级816并行地执行若干卷积以产生线性激活的集合。卷积级816可以包括仿射变换，该仿射变换是可以被指定为线性变换加平移的任何变换。仿射变换包括旋转、平
移、缩放以及这些变换的组合。卷积级计算连接到输入中的特定区域的函数(例如，神经元)
的输出，这些特定区域可以被确定为与神经元相关联的局部区域。神经元计算神经元的权
重与神经元被连接到的局部输入中的区域之间的点积。来自卷积级816的输出定义了线性
激活的集合，该组线性激活的集合由卷积层814的相继的级处理。

[0135] 线性激活可以由检测器级818处理。在检测器级818中，每个线性激活由检非线性激活函数处理。在不影响卷积层的感受域的情况下，非线性激活函数增加了整个网络的非
线性特性。可以使用若干类型的非线性激活函数。一种特定类型是修正线性单元(ReLU)，其
使用定义为f(x)＝max(0,x)的激活函数，使得激活在零处设定阈值。

[0136] 池化级820使用池化函数，该池化函数利用附近输出的摘要统计来替换第二卷积层806的输出。池化函数可用于将平移不变性引入到神经网络中，使得对输入的小平移不改
变被池化的输出。对局部平移的不变性在其中输入数据中特征的存在比该特征的精确位置
更重要的场景中可能是有用的。在池化级820期间可以使用各种类型的池化函数，包括：最
大池化、平均池化、和l2范式池化。另外，一些CNN实现不包括池化级。替代地，此类实现具体替代的和附加的卷积级，这些替代的和附加的卷积级相对于先前的卷积级具有增加的跨
步。

[0137] 随后，来自卷积层814的输出可以由下一层822处理。下一层822可以是附加卷积层或完全连接的层808中的一个层。例如，图8A的第一卷积层804可以输出到第二卷积层806，
而第二卷积层可以输出到完全连接的层808中的第一层。

[0138] 以下条款和/或示例涉及进一步的实施例或示例。可在一个或多个实施例中的任何地方使用示例中的细节。能以各种方式将不同的实施例或示例的各种特征与所包括的一
些特征以及被排除的其他特征组合以适应各种不同的应用。示例可以包括主题，诸如：方
法；用于执行所述方法的动作的装置；至少一种包括指令的机器可读介质，所述指令当由机
器执行时使所述机器执行所述方法的动作；或用于根据本文中所描述的实施例和示例促进
混合通信的设备或系统。

[0139] 一些实施例涉及示例1，示例1包括用于促进将人类标注者影响嵌入在计算环境中的机器学习界面中的设备，该设备包括：一个或多个处理器，用于：利用人类标注者数据对
传感器数据进行分类，其中传感器数据通过一个或多个传感器获得；以及基于特征来创建
并训练统一机器学习模型，该特征与基于人类标注者数据的经分类的传感器数据相关联，
其中该特征包括从与传感器数据相关联的人类标注者数据获得的人类标注者影响。

[0140] 示例2包括示例1的主题，其中，该一个或多个处理器进一步用于：通过一个或多个传感器检测传感器数据，该一个或多个传感器包括相机、麦克风、触摸传感器、电容器、无线电组件、雷达组件、扫描仪、和加速度计中的一个或多个；以及监测人类标注者数据以确定
人类行为和人类变量中的一个或多个，其中人类标注者数据通过多个源来获得，多个源包
括一个或多个传感器、历史数据、分类数据、和个人简档中的一个或多个。

[0141] 示例3包括示例1-2的主题，其中该一个或多个处理器进一步用于：在对传感器数据进行分类之前，评估人类行为和人类变量以及该人类行为和人类变量与传感器数据的关
联性。

[0142] 示例4包括示例1-3的主题，其中该一个或多个处理器进一步用于：过滤掉人类变量中的与不准确性、意外后果、和偏见中的一个或多个相关联的一个或多个人类变量，其中
被过滤掉的一个或多个人类变量包括年龄、性别、种族、民族、国籍、宗教、和性取向中的一个或多个，并且其中被过滤掉的一个或多个人类变量进一步包括偶然行为和巧合项目中的
一个或多个，其中，该一个或多个处理器进一步用于：在将第一人类变量和第二人类变量应
用于训练机器学习模型时，识别并考虑该第一人类变量与该第二人类变量之间的一个或多
个方差。

[0143] 示例5包括示例1-4的主题，其中统一机器学习模型在早期融合机器学习环境中被创建和训练。

[0144] 示例6包括示例1-5的主题，其中，该一个或多个处理器进一步用于：创建并训练多个机器学习模型，使得多个机器学习模型中的每一个机器学习模型基于特征中的与传感器
数据相关联的第一特征或特征中的与人类标注者数据相关联的第二特征。

[0145] 示例7包括示例1-6的主题，其中，该一个或多个处理器进一步用于：基于从与传感器数据和人类标注者数据相关联的多个机器学习模型获得的平均结果来计算得分，其中该
得分被维持在一个或多个数据库中以用于未来的机器学习模型的创建和训练，其中该一个
或多个处理器包括图形处理器和应用处理器中的一个或多个，其中图形处理器和应用处理
器共同位于公共的半导体封装上。

[0146] 一些实施例涉及示例8，该示例8包括一种促进将人类标注者影响嵌入在计算环境中的机器学习界面中的方法，该方法包括：利用人类标注者数据对传感器数据进行分类，其
中传感器数据通过一个或多个传感器获得；以及基于特征来创建并训练统一机器学习模
型，该特征与基于人类标注者数据的经分类的传感器数据相关联，其中该特征包括从与传
感器数据相关联的人类标注者数据获得的人类标注者影响。

[0147] 示例9包括示例8的主题，进一步包括：通过一个或多个传感器检测传感器数据，该一个或多个传感器包括相机、麦克风、触摸传感器、电容器、无线电组件、雷达组件、扫描仪、和加速度计中的一个或多个；以及监测人类标注者数据，以确定人类行为和人类变量中的
一个或多个，其中人类标注者数据通过多个源来获得，多个源包括一个或多个传感器、历史
数据、分类数据、和个人简档中的一个或多个。

[0148] 示例10包括示例8-9的主题，进一步包括：在对传感器数据进行分类之前，评估人类行为和人类变量以及该人类行为和该人类变量与传感器数据的关联性。

[0149] 示例11包括示例8-10的主题，进一步包括：过滤掉人类变量中的与不准确性、意外后果、和偏见中的一个或多个相关联的一个或多个人类变量，其中被过滤掉的一个或多个
人类变量包括年龄、性别、种族、民族、国籍、宗教、和性取向中的一个或多个，并且其中被过滤掉的一个或多个人类变量进一步包括偶然行为和巧合项目中的一个或多个；以及在将第
一人类变量和第二人类变量应用于训练机器学习模型时，识别并考虑该第一人类变量与该
第二人类变量之间的一个或多个方差。

[0150] 示例12包括示例8-11的主题，其中统一机器学习模型在早期融合机器学习环境中被创建和训练。

[0151] 示例13包括示例8-12的主题，进一步包括：创建并训练多个机器学习模型，使得多个机器学习模型中的每一个基于特征中的与传感器数据相关联的第一特征或特征中的与
人类标注者数据相关联的第二特征。

[0152] 示例14包括示例8-13的主题，进一步包括：基于从与传感器数据和人类标注者数据相关联的多个机器学习模型获得的平均结果来计算得分，其中该得分被维持在一个或多
个数据库中以用于未来的机器学习模型的创建和训练，其中，该方法由一个或多个处理器
来促进，这一个或多个处理器包括图形处理器和应用处理器中的一个或多个，其中图形处
理器和应用处理器共同位于公共的半导体封装上。

[0153] 一些实施例涉及示例15，该示例15包括数据处理系统，该数据处理系统包括耦合到存储器的处理设备，该处理设备用于：利用人类标注者数据对传感器数据进行分类，其中
传感器数据通过一个或多个传感器获得；以及基于特征来创建并训练统一机器学习模型，
该特征与基于人类标注者数据的经分类的传感器数据相关联，其中该特征包括从与传感器
数据相关联的人类标注者数据获得的人类标注者影响。

[0154] 示例16包括示例15的主题，其中处理设备用于：通过一个或多个传感器检测传感器数据，该一个或多个传感器包括相机、麦克风、触摸传感器、电容器、无线电组件、雷达组件、扫描仪、和加速度计中的一个或多个；以及监测人类标注者数据，以确定人类行为和人
类变量中的一个或多个，其中人类标注者数据通过多个源来获得，多个源包括一个或多个
传感器、历史数据、分类数据、和个人简档中的一个或多个。

[0155] 示例17包括示例15-16的主题，其中处理设备用于：在对传感器数据进行分类之前，评估人类行为和人类变量以及该人类行为和该人类变脸与传感器数据的关联性。

[0156] 示例18包括示例15-17的主题，其中处理设备用于：过滤掉人类变量中的与不准确性、意外后果、和偏见中的一个或多个相关联的一个或多个人类变量，其中被过滤掉的一个
或多个人类变量包括年龄、性别、种族、民族、国籍、宗教、和性取向中的一个或多个，并且其中被过滤掉的一个或多个人类变量进一步包括偶然行为和巧合项目中的一个或多个；以及
在将第一人类变量和第二人类变量应用于训练机器学习模型时，识别并考虑该第一人类变
量与该第二人类变量之间的一个或多个方差。

[0157] 示例19包括示例15-18的主题，其中统一机器学习模型在早期融合机器学习环境中被创建和训练。

[0158] 示例20包括示例15-19的主题，其中，处理设备用于：创建并训练多个机器学习模型，使得多个机器学习模型中的每一个机器学习模型基于特征中的与传感器数据相关联的
第一特征或特征中的与人类标注者数据相关联的第二特征。

[0159] 示例21包括示例15-20的主题，其中处理设备用于：基于从与传感器数据和人类标注者数据相关联的多个机器学习模型获得的平均结果来计算得分，其中该得分被维持在一
个或多个数据库中以用于未来的机器学习模型的创建和训练，其中该处理设备包括图形处
理器和应用处理器中的一个或多个，其中图形处理器和应用处理器共同位于公共的半导体
封装上。

[0160] 一些实施例涉及示例22，示例22包括一种用于促进将人类标注者影响嵌入在计算环境中的机器学习界面中的设备，该设备包括：用于利用人类标注者数据对传感器数据进
行分类的装置，其中该传感器数据通过一个或多个传感器获得；以及用于基于特征来创建
并训练统一机器学习模型的装置，该特与基于人类标注者数据的经分类的传感器数据相关
联，其中该特征包括从与传感器数据相关联的人类标注者数据获得的人类标注者影响。

[0161] 示例23包括示例22的主题，进一步包括：用于通过一个或多个传感器检测传感器数据的装置，该一个或多个传感器包括相机、麦克风、触摸传感器、电容器、无线电组件、雷达组件、扫描仪、和加速度计中的一个或多个；以及用于监测人类标注者数据以确定人类行
为和人类变量中的一个或多个的装置，其中人类标记者数据通过多个源来获得，多个源包
括一个或多个传感器、历史数据、分类数据、和个人简档中的一个或多个。

[0162] 示例24包括示例22-23的主题，进一步包括：在对传感器数据进行分类之前，用于评估人类行为和人类变量以及该人类行为和该人类变量与传感器数据的关联性的装置。

[0163] 示例25包括示例22-24的主题，进一步包括：用于过滤掉人类变量中的与不准确性、意外后果、和偏见中的一个或多个相关联的一个或多个人类变量的装置，其中被过滤掉
的一个或多个人类变量包括年龄、性别、种族、民族、国籍、宗教、和性取向中的一个或多个，并且其中被过滤掉的一个或多个人类变量进一步包括偶然行为和巧合项目中的一个或多
个；以及用于在将第一变量和第二变量应用于训练机器学习模型时识别并考虑该第一人类
变量与该第二人类变量之间的一个或多个方差的装置。

[0164] 示例26包括示例22-25的主题，其中统一机器学习模型在早期融合机器学习环境中被创建和训练。

[0165] 示例27包括示例22-26的主题，进一步包括：用于创建并训练多个机器学习模型使得多个机器学习模型中的每一个机器学习模型基于特征中的与传感器数据相关联的第一
特征或特征中的与人类标注者数据相关联的第二特征的装置。

[0166] 示例28包括示例22-27的主题，进一步包括：用于基于从与传感器数据和人类标注者数据相关联的多个机器学习模型获得的平均结果来计算得分的装置，其中该得分被维持
在一个或多个数据库中以用于未来的机器学习模型的创建和训练，其中该处理设备包括图
形处理器和应用处理器中的一个或多个，其中图形处理器和应用处理器共同位于公共的半
导体封装上。

[0167] 一些实施例涉及示例29，示例29包括用于促进将人类标注者影响嵌入在计算环境中的机器学习界面的设备，该设备包括：一个或多个处理器，用于：经由计算设备的一个或
多个传感器检测传感器数据；在耦合至计算设备的一个或多个数据库处访问人类标注者数
据；评估传感器数据与人类标注者数据之间的相关性，其中该相关性基于与人类标注者数
据对应的人类行为来标识传感器数据的含义；基于该相关性将人类标注者数据与传感器数
据相关联，以将传感器数据分类为经标注的数据；以及基于该经标注的数据来训练机器学
习模型，以从经标注的数据提取人类影响，并且将人类影响中的一个或多个人类影响嵌入
在表示涉及一个或多个人的一个或多个物理场景的一个或多个环境中。

[0168] 示例30包括示例29的主题，其中，该一个或多个处理器进一步用于：促进机器学习模型在将一个或多个人类影响嵌入在一个或多个环境中之前，基于经标注的数据，根据多
个环境来解释人类影响，其中对人类影响的解释基于从经标注的数据导出且基于相关性的
对人类行为的接受和人类行为的例外，其中对人类行为的接受基于从个人简档、文化特征、
历史规范、社会偏好、个人偏见、社会偏见、习惯中的一个或多个获得的经验证的数据，并且其中人类行为的例外基于从巧合、事故、不准确性、偶然、以及意外后果中的一个或多个获
得的未经验证的数据，其中，人类行为中的一个或多个人类行为基于例外中的一个或多个
例外被过滤掉，以避免将不准确性关联至人类影响。

[0169] 示例31包括示例29-30的主题，其中相关性进一步基于人类行为的人类变量部分，其中人类变量部分基于煽动个人偏见或社会偏见的人类变量，其中人类变量包括年龄、性
别、种族、民族、国籍、政治派别、宗教团体、以及性取向中的一个或多个。

[0170] 示例32包括示例29-31的主题，其中机器学习模型包括基于传感器数据和人类标注者数据的统一机器学习模型，其中在多模态机器学习环境的早期融合方案期间采用统一
机器学习模型，其中早期融合方案表示对传感器数据和人类标注者数据的早期融合。

[0171] 示例33包括示例29-32的主题，其中机器学习模型包括多个单独的机器学习模型，其中多个单独的机器学习模型中的第一机器学习模型基于传感器数据而不是人类标注者
数据，其中多个单独的机器学习模型中的第二机器学习模型基于人类标注者数据而不是传
感器数据，并且其中在多模态机器学习环境的后期融合方案期间采用多个单独的机器学习
模型，其中该后期融合方案表示对传感器数据和人类标注者数据的后期融合。

[0172] 示例34包括示例29-33的主题，其中，该一个或多个处理器进一步用于：从与传感器数据相关联的第一机器学习模型获得第一得分；从与人类标注者数据相关联的第二机器
学习模型获得第二得分；以及对第一得分和第二得分进行平均；并且被平均的第一得分和
第二得分维持在一个或多个数据库处以应用于多个单独的机器学习模型的后续训练。

[0173] 示例35包括示例29-34的主题，其中，该一个或多个处理器包括图形处理器和应用处理器中的一个或多个，其中图形处理器和应用处理器共同位于公共的半导体封装上，并
且其中，该一个或多个传感器包括相机、麦克风、触摸传感器、电容器、无线电组件、雷达组件、扫描仪、和加速度计中的一个或多个。

[0174] 一些实施例涉及示例36，该示例36包括一种用于促进将人类标注者影响嵌入在计算环境中的机器学习界面中的方法，该方法包括：经由计算设备的一个或多个传感器检测
传感器数据；在耦合至计算设备的一个或多个数据库处访问人类标注者数据；评估传感器
数据与人类标注者数据之间的相关性，其中该相关性基于与人类标注者数据对应的人类行
为标识传感器数据的含义；基于该相关性将人类标注者数据与传感器数据相关联，以将传
感器数据分类为经标注的数据；以及基于该经标注的数据来训练机器学习模型，以从经标
注的数据提取人类影响，并将人类影响中的一个或多个人类影响嵌入在表示涉及一个或多
个人的一个或多个物理场景的一个或多个环境中。

[0175] 示例37包括示例36的主题，其中，训练进一步用于：促进机器学习模型在将一个或多个人类影响嵌入在一个或多个环境中之前，基于经标注的数据，根据多个环境来解释人
类影响，其中对人类影响的解释基于从经标注的数据导出且基于相关性的对人类行为的接
受和人类行为的例外，其中对人类行为的接受基于从个人简档、文化特征、历史规范、社会
偏好、个人偏见、社会偏见、习惯中的一个或多个获得的经验证的数据，并且其中人类行为
的例外基于从巧合、事故、不准确性、偶然、以及意外后果中的一个或多个获得的未经验证
的数据，其中，人类行为中的一个或多个人类行为基于例外中一个或多个例外被过滤掉，以
避免将不准确性关联至人类影响。

[0176] 示例38包括示例36-37的主题，其中相关性进一步基于人类行为的人类变量部分，其中人类变量部分基于煽动个人偏见或社会偏见的人类变量，其中所述人类变量可包括年
龄、性别、种族、民族、国籍、政治派别、宗教团体、以及性取向中的一个或多个。

[0177] 示例39包括示例36-38的主题，其中机器学习模型包括基于传感器数据和人类标注者数据的统一机器学习模型，其中在多模态机器学习环境的早期融合方案期间采用统一
机器学习模型，其中早期融合方案表示对传感器数据和人类标注者数据的早期融合。

[0178] 示例40包括示例36-39的主题，其中机器学习模型包括多个单独的机器学习模型，其中多个单独的机器学习模型中的第一机器学习模型基于传感器数据而不是人类标注者
数据，其中多个单独的机器学习模型中的第二机器学习模型基于人类标注者数据而不是传
感器数据，并且其中在多模态机器学习环境的后期融合方案期间采用多个单独的机器学习
模型，其中该后期融合方案表示对传感器数据和人类标注者数据的后期融合。

[0179] 示例41包括示例36-40的主题，进一步包括：从与传感器数据相关联的第一机器学习模型获得第一得分；从与人类标注者数据相关联的第二机器学习模型获得第二得分；以
及对第一得分和第二得分进行平均；并且将被平均的第一得分和第二得分维持在一个或多
个数据库处以应用于多个单独的机器学习模型的后续训练。

[0180] 示例42包括示例36-41的主题，其中，该方法由一个或多个处理器促进，该一个或多个处理器包括图形处理器和应用处理器中的一个或多个，其中图形处理器和应用处理器
共同位于公共的半导体封装上，并且其中，该一个或多个传感器包括相机、麦克风、触摸传
感器、电容器、无线电组件、雷达组件、扫描仪、和加速度计中的一个或多个。

[0181] 一些实施例涉及示例43，该示例43包括数据处理系统，该数据处理系统包括耦合到存储器的处理设备，该处理设备用于：经由计算设备的一个或多个传感器检测传感器数
据；在耦合至计算设备的一个或多个数据库处访问人类标注者数据；评估传感器数据与人
类标注者数据之间的相关性，其中该相关性基于与人类标注者数据对应的人类行为标识传
感器数据的含义；基于该相关性将人类标注者数据与传感器数据相关联，以将传感器数据
分类为经标注的数据；以及基于该经标注的数据来训练机器学习模型，以从经标注的数据
提取人类影响，并将人类影响中的一个或多个人类影响嵌入在表示涉及一个或多个人的一
个或多个物理场景的一个或多个环境中。

[0182] 示例44包括示例43的主题，其中，处理设备进一步用于：促进机器学习模型在将一个或多个人类影响嵌入在一个或多个环境中之前，基于经标注的数据，根据多个环境来解
释人类影响，其中对人类影响的解释基于从经标注的数据导出且基于相关性的对人类行为
的接受和人类行为的例外，其中对人类行为的接受基于从个人简档、文化特征、历史规范、
社会偏好、个人偏见、社会偏见、习惯中的一个或多个获得的经验证数据，并且其中人类行
为的例外基于从巧合、事故、不准确性、偶然、以及意外后果中的一个或多个获得的未经验
证的数据，其中，人类行为中的一个或多个人类行为基于例外中的一个或多个例外被过滤
掉，以避免将不准确性关联至人类影响。

[0183] 示例45包括示例43-44的主题，其中相关性进一步基于人类行为的人类变量部分，其中人类变量部分基于煽动个人偏见或社会偏见的人类变量，其中人类变量包括年龄、性
别、种族、民族、国籍、政治派别、宗教团体、以及性取向中的一个或多个。

[0184] 示例46包括示例43-45的主题，其中机器学习模型包括基于传感器数据和人类标注者数据的统一机器学习模型，其中在多模态机器学习环境的早期融合方案期间采用统一
机器学习模型，其中早期融合方案表示对传感器数据和人类标注者数据的早期融合。

[0185] 示例47包括示例43-46的主题，其中机器学习模型包括多个单独的机器学习模型，其中多个单独的机器学习模型中的第一机器学习模型基于传感器数据而不是人类标注者
数据，其中多个单独的机器学习模型中的第二机器学习模型基于人类标注者数据而不是传
感器数据，并且其中在多模态机器学习环境的后期融合方案期间采用多个单独的机器学习
模型，其中该后期融合方案表示对传感器数据和人类标注者数据的后期融合。

[0186] 示例48包括示例43-47的主题，其中处理设备进一步包括：从与传感器数据相关联的第一机器学习模型获得第一得分；从与人类标注者数据相关联的第二机器学习模型获得
第二得分；以及对第一得分和第二得分进行平均；并且将被平均的第一得分和第二得分维
持在一个或多个数据库处以应用于多个单独的机器学习模型的后续训练。

[0187] 示例49包括示例43-48的主题，其中，处理设备包括图形处理器和应用处理器中的一个或多个，其中图形处理器和应用处理器共同位于公共的半导体封装上，并且其中，该一
个或多个传感器包括相机、麦克风、触摸传感器、电容器、无线电组件、雷达组件、扫描仪、和加速度计中的一个或多个。

[0188] 一些实施例涉及示例50，示例22包括一种用于促进将人类标注者影响嵌入在计算环境中的机器学习界面中的设备，该设备包括：用于经由计算设备的一个或多个传感器检
测传感器数据的装置；用于在耦合至计算设备的一个或多个数据库处访问人类标注者数据
的装置；用于评估传感器数据与人类标注者数据之间的相关性的装置，其中该相关性基于
与人类标注者数据对应的人类行为标识传感器数据的含义；用于基于该相关性将人类标注
者数据与传感器数据相关联以将传感器数据分类为经标注的数据的装置；以及用于基于该
经标注的数据来训练机器学习模型以从经标注的数据提取人类影响并将人类影响中的一
个或多个人类影响嵌入在表示涉及一个或多个人的一个或多个物理场景的一个或多个环
境中的装置。

[0189] 示例51包括示例50的主题，其中，用于训练的装置进一步用于：促进机器学习模型在将一个或多个人类影响嵌入在一个或多个环境中之前，基于经标注的数据，根据多个环
境来解释人类影响，其中对人类影响的解释基于从经标注的数据导出且基于相关性的对人
类行为的接受和人类行为的例外，其中对人类行为的接受基于从个人简档、文化特征、历史
规范、社会偏好、个人偏见、社会偏见、习惯中的一个或多个获得的经验证的数据，并且其中人类行为的例外基于从巧合、事故、不准确性、偶然、以及意外后果中的一个或多个获得的
未经验证的数据，其中，人类行为中的一个或多个人类行为基于例外中的一个或多个例外
被过滤掉，以避免将不准确性关联至人类影响。

[0190] 示例52包括示例50-51的主题，其中相关性进一步基于人类行为的人类变量部分，其中人类变量部分基于煽动个人偏见或社会偏见的人类变量，其中人类变量包括年龄、性
别、种族、民族、国籍、政治派别、宗教团体、以及性取向中的一个或多个。

[0191] 示例53包括示例50-52的主题，其中机器学习模型包括基于传感器数据和人类标注者数据的统一机器学习模型，其中在多模态机器学习环境的早期融合方案期间采用统一
机器学习模型，其中早期融合方案表示对传感器数据和人类标注者数据的早期融合。

[0192] 示例54包括示例50-53的主题，其中机器学习模型包括多个单独的机器学习模型，其中多个单独的机器学习模型中的第一机器学习模型基于传感器数据而不是人类标注者
数据，其中多个单独的机器学习模型中的第二机器学习模型基于人类标注者数据而不是传
感器数据，并且其中在多模态机器学习环境的后期融合方案期间采用多个单独的机器学习
模型，其中该后期融合方案表示对传感器数据和人类标注者数据的后期融合。

[0193] 示例55包括示例50-54的主题，进一步包括：用于从与传感器数据相关联的第一机器学习模型获得第一得分的装置；用于从与人类标注者数据相关联的第二机器学习模型获
得第二得分的装置；用于对第一得分和第二得分进行平均的装置；以及用于将被平均的第
一得分和第二得分维持在一个或多个数据库处以应用于多个单独的机器学习模型的后续
训练的装置。

[0194] 示例56包括示例50-55的主题，其中，该设备包括一个或多个处理器，该一个或多个处理器包括图形处理器和应用处理器中的一个或多个，其中图形处理器和应用处理器共
同位于公共的半导体封装上，并且其中，该一个或多个传感器包括相机、麦克风、触摸传感
器、电容器、无线电组件、雷达组件、扫描仪、和加速度计中的一个或多个。

[0195] 示例57包括至少一种非瞬态或有形的机器可读介质，该机器可读介质包括多条指令，这些指令当在计算设备上被执行时用于实现或执行示例8-14或36-42中任一项所述的
方法。

[0196] 示例58包括至少一种机器可读介质，该机器可读介质包括多条指令，这些指令当在计算设备上执行时，用于实现或执行如示例8-14或36-42中任一项所述的方法。

[0197] 示例59包括一种系统，该系统包括用于实现或执行如示例8-14或36-42中任一项所述的方法的机制。

[0198] 示例60包括一种设备，该设备包括用于执行如示例8-14或36-42中任一项中所述的方法的装置。

[0199] 示例61包括一种计算设备，该计算设备被布置成用于实现或执行如示例8-14或36-42中任一项所述的方法。

[0200] 示例62包括一种通信设备，该计算设备被布置成用于实现或执行如示例8-14或示例36-42中任一项所述的方法。

[0201] 示例63包括至少一种机器可读介质，该机器可读介质包括多条指令，这些指令当在计算设备上被执行时用于实现或执行任何前述示例中所述的方法或实现任何前述示例
中所述的装置。

[0202] 示例64包括至少一种非瞬态或有形的机器可读介质，该机器可读介质包括多条指令，这些指令当在计算设备上被执行时用于实现或执行任何前述示例中所述的方法或实现
任何前述示例中所述的装置。

[0203] 示例65包括一种系统，该系统包括用于实现或执行任何前述示例中所述的方法或实现任何前述示例中所述的装置的机制。

[0204] 示例66包括一种设备，该设备包括用于执行任何前述示例中所述的方法的装置。

[0205] 示例67包括一种计算设备，该计算设备被布置成用于实现或执行任何前述示例中所述的方法或实现任何前述示例中所述的装置。

[0206] 示例68包括一种通信设备，该通信设备被布置成用于实现或执行任何前述示例中所述的方法或实现任何前述示例中所述的装置。

[0207] 附图以及前述描述给出了实施例的示例。本领域技术人员将理解，所描述的元件中的一个或多个可以很好地合并成单个功能元件。或者，某些元件可以被拆分成多个功能
元件。可将来自一个实施例的元件添加到另一实施例。例如，可改变本文中所描述的过程的
顺序，并且本文中所描述的过程的顺序不限于本文中所描述的方式。而且，任何流程图的动
作都不必以所示的顺序来实现；也不一定需要执行所有这些动作。此外，不依赖于其他动作
的那些动作也可与其他动作并行地执行。各实施例的范围绝非由这些特定示例限制。众多
变体(无论是否在说明书中明确地给出)都是可能的，这些变体诸如，结构、尺度以及材料的
使用方面的差异。实施例的范围至少与由所附权利要求书给出的范围一样广泛。

标题	发布/更新时间	阅读量
一种基于Kinect V2的多模态信息采集系统	2020-05-20	757
一种基于多模通信的遇险救生方法及系统	2020-05-21	19
一种基于KVM的数据控制系统	2020-05-11	224
用于提供光的光系统	2020-05-12	522
多模态界面	2020-05-12	33
一种智能机器人教学系统及学生学习方法	2020-05-19	641
基于北斗双天线系统的高大架体垂直度监测系统及方法	2020-05-15	474
导航应用程序中的搭乘服务选项的交互式列表	2020-05-11	426
管道上水吸污智能检测设备和方法	2020-05-17	892
井中三分量声波远探测测井装置及其测量方法	2020-05-17	440

将人类标注者影响嵌入在计算环境中的机器学习界面中

将人类标注者影响嵌入在计算环境中的机器学习界面中

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：