可穿戴多媒体设备和具有应用程序生态系统的云计算平台专利检索-增强现实显示技术专利检索查询-专利查询网

可穿戴多媒体设备和具有应用程序 生态系统的云计算平台

阅读：505发布：2020-05-11

专利汇可以提供可穿戴多媒体设备和具有应用程序生态系统的云计算平台专利检索，专利查询，专利分析的服务。并且公开了用于可穿戴多媒体设备和具有用于处理由所述可穿戴多媒体设备捕获的多媒体数据的应用程序生态系统的云计算平台的系统、方法、设备和非暂态计算机可读存储介质。在一个实施例中，方法包括：由云计算平台的一个或多个处理器从可穿戴多媒体设备接收上下文数据，所述可穿戴多媒体设备包括用于捕获所述上下文数据的至少一个数据捕获设备；基于所述上下文数据的一个或多个特征和用户请求来创建具有一个或多个应用程序的数据处理流水线；通过所述数据处理流水线处理所述上下文数据；以及发送所述数据处理流水线的输出到所述可穿戴多媒体设备或其他设备以呈现所述输出。，下面是可穿戴多媒体设备和具有应用程序生态系统的云计算平台专利的具体信息内容。

权利要求

1.一种方法，包括：
由云计算平台的一个或多个处理器从可穿戴多媒体设备接收上下文数据，所述可穿戴多媒体设备包括用于捕获所述上下文数据的至少一个数据捕获设备；
由所述一个或多个处理器基于所述上下文数据的一个或多个特征和用户请求来创建具有一个或多个应用程序的数据处理流水线；
由所述一个或多个处理器通过所述数据处理流水线处理所述上下文数据；以及由所述一个或多个处理器发送所述数据处理流水线的输出至所述可穿戴多媒体设备或其他设备以用于呈现所述输出。
2.根据权利要求1所述的方法，其中所述上下文数据包括视频和音频，并且所述处理还包括：
确定所述音频包括语音形式的用户请求；
将所述语音转换为文本；
发送所述文本至视频处理器；
至少部分地基于所述文本来标识所述视频中的对象；
生成场景描述，所述场景描述包括地图位置和所述场景中的对象的描述；以及发送所述场景描述至所述可穿戴多媒体设备或其他设备。
3.根据权利要求1所述的方法，其中所述上下文数据包括视频和音频，并且所述处理还包括：
确定所述音频包括语音形式的所述用户请求；
将所述语音转换为文本；
发送所述文本至运输服务处理器；
根据所述文本来接收数据结构；
设置回调以检查运输状态；以及
发送所述运输状态和车辆的描述至所述可穿戴多媒体设备或其他设备。
4.根据权利要求1所述的方法，其中所述上下文数据包括视频和点云数据，所述一个或多个应用程序包括虚拟现实(VR)或增强现实(AR)应用程序，并且所述处理还包括：
由所述VR或AR应用程序基于所述视频来生成VR或AR内容；以及
发送所述VR或AR内容至所述可穿戴多媒体设备或其他设备。
5.根据权利要求1所述的方法，其中所述一个或多个应用程序包括人工智能应用程序，并且所述处理还包括：
由所述人工智能应用程序根据过去的用户请求历史来确定用户偏好；以及由所述一个或多个应用程序根据所述用户偏好来处理所述上下文数据。
6.根据权利要求1所述的方法，其中所述上下文数据包括一个或多个图像，所述一个或多个应用程序包括定位应用程序，并且所述处理还包括：
由所述定位应用程序基于所述一个或多个图像来确定所述可穿戴多媒体设备的位置；
以及
发送所述位置至所述可穿戴多媒体设备或其他设备。
7.根据权利要求1所述的方法，其中所述上下文数据包括用于金融交易的金融交易数据、生物计量数据和指示所述金融交易的位置的位置数据，所述一个或多个应用程序包括金融应用程序，并且所述处理还包括：
由所述金融应用程序基于所述金融交易数据、生物计量数据和位置数据来创建所述金融交易的金融记录；以及
发送所述金融记录至所述可穿戴多媒体设备或其他设备。
8.根据权利要求1所述的方法，其中所述上下文数据包括环境传感器数据，所述一个或多个应用程序包括环境应用程序，并且所述处理还包括：
由所述环境应用程序基于环境传感器数据来生成与所述可穿戴多媒体设备的操作环境相关联的内容；以及
发送所述内容至所述可穿戴多媒体设备或其他设备。
9.根据权利要求1所述的方法，其中所述上下文数据包括视频和音频，所述一个或多个应用程序包括视频编辑应用程序，并且所述处理还包括：
根据用户请求或对于特定电影风格的用户偏好来编辑所述视频和音频；以及发送所编辑的视频和音频至所述可穿戴多媒体设备或其他设备。
10.一种系统，包括：
一个或多个处理器；
存储指令的存储器，所述指令在由所述一个或多个处理器执行时致使所述一个或多个处理器执行操作，所述操作包括：
由云计算平台的一个或多个处理器从可穿戴多媒体设备接收上下文数据，所述可穿戴多媒体设备包括用于捕获所述上下文数据的至少一个数据捕获设备；
由所述一个或多个处理器基于所述上下文数据的一个或多个特征和用户请求来创建具有一个或多个应用程序的数据处理流水线；
由所述一个或多个处理器通过所述数据处理流水线处理所述上下文数据；以及由所述一个或多个处理器发送所述数据处理流水线的输出至所述可穿戴多媒体设备或其他设备以用于呈现所述输出。
11.根据权利要求10所述的系统，其中所述上下文数据包括视频和音频，并且所述处理还包括：
确定所述音频包括语音形式的用户请求；
将所述语音转换为文本；
发送所述文本至视频处理器；
至少部分地基于所述文本来标识所述视频中的对象；
生成场景描述，所述场景描述包括地图位置和所述场景中的对象的描述；以及发送所述场景描述至所述可穿戴多媒体设备或其他设备。
12.根据权利要求10所述的系统，其中所述上下文数据包括视频和音频，并且所述处理还包括：
确定所述音频包括语音形式的所述用户请求；
将所述语音转换为文本；
发送所述文本至运输服务处理器；
根据所述文本来接收数据结构；
设置回调以检查运输状态；以及
发送所述运输状态和车辆的描述至所述可穿戴多媒体设备或其他设备。
13.根据权利要求10所述的系统，其中所述上下文数据包括视频和点云数据，所述一个或多个应用程序包括虚拟现实(VR)或增强现实(AR)应用程序，并且所述处理还包括：
由所述VR或AR应用程序基于所述视频来生成VR或AR内容；以及
发送所述VR或AR内容至所述可穿戴多媒体设备或其他设备。
14.根据权利要求10所述的系统，其中所述一个或多个应用程序包括人工智能应用程序，并且所述处理还包括：
由所述人工智能应用程序根据过去的用户请求历史来确定用户偏好；以及由所述一个或多个应用程序根据所述用户偏好来处理所述上下文数据。
15.根据权利要求10所述的系统，其中所述上下文数据包括一个或多个图像，所述一个或多个应用程序包括定位应用程序，并且所述处理还包括：
由所述定位应用程序基于所述一个或多个图像来确定所述可穿戴多媒体设备的位置；
以及
发送所述位置至所述可穿戴多媒体设备或其他设备。
16.根据权利要求10所述的系统，其中所述上下文数据包括用于金融交易的金融交易数据、生物计量数据和指示所述金融交易的位置的位置数据，所述一个或多个应用程序包括金融应用程序，并且所述处理还包括：
由所述金融应用程序基于所述金融交易数据、生物计量数据和位置数据来创建所述金融交易的金融记录；以及
发送所述金融记录至所述可穿戴多媒体设备或其他设备。
17.根据权利要求10所述的系统，其中所述上下文数据包括环境传感器数据，所述一个或多个应用程序包括环境应用程序，并且所述处理还包括：
由所述环境应用程序基于环境传感器数据来生成与所述可穿戴多媒体设备的操作环境相关联的内容；以及
发送所述内容至所述可穿戴多媒体设备或其他设备。
18.根据权利要求10所述的系统，其中所述云计算平台为分布式流式平台。
19.根据权利要求10所述的系统，其中所述上下文数据包括视频和音频，所述一个或多个应用程序包括视频编辑应用程序，并且所述处理还包括：
根据用户请求或对于特定电影风格的用户偏好来编辑所述视频和音频；以及发送所编辑的视频和音频至所述可穿戴多媒体设备或其他设备。
20.一种其上储存有指令的非暂态计算机可读存储介质，所述指令在由所述一个或多个处理器执行时致使所述一个或多个处理器执行操作，所述操作包括：
由云计算平台的一个或多个处理器从可穿戴多媒体设备接收上下文数据，所述可穿戴多媒体设备包括用于捕获所述上下文数据的至少一个数据捕获设备；
由所述一个或多个处理器基于所述上下文数据的一个或多个特征和用户请求来创建具有一个或多个应用程序的数据处理流水线；
由所述一个或多个处理器通过所述数据处理流水线处理所述上下文数据；以及由所述一个或多个处理器发送所述数据处理流水线的输出至所述可穿戴多媒体设备或其他设备以用于呈现所述输出。

说明书全文

可穿戴多媒体设备和具有应用程序生态系统的云计算平台

技术领域

[0001] 本公开整体涉及云计算和多媒体编辑。

背景技术

[0002] 现代移动设备(例如，智能电话、平板计算机)经常包括允许用户拍摄自发事件的数字图像或视频的嵌入式相机。可将这些数字图像和视频储存在与用户帐户相关联的在线数据库中，以释放移动设备上的存储器。用户可与朋友和家人共享他们的图像和视频，并且使用他们的各种回放设备按需下载或流式传输图像和视频。这些嵌入式相机比体积更大并且经常需要更多时间来设置拍摄的传统数码相机提供了显著的优势。

[0003] 尽管移动设备嵌入式相机有便利性，但有许多重要时刻未被这些设备捕获，因为这些时刻发生得太快，或者用户只是由于一时沉浸在那一刻而忘记拍摄图像或视频。发明内容

[0004] 公开了用于可穿戴多媒体设备和具有用于处理由所述可穿戴多媒体设备捕获的多媒体数据的应用程序生态系统的云计算平台的系统、方法、设备和非暂态计算机可读存储介质。

[0005] 在一个实施例中，方法包括：由云计算平台的一个或多个处理器从可穿戴多媒体设备接收上下文数据，所述可穿戴多媒体设备包括用于捕获所述上下文数据的至少一个数据捕获设备；由所述一个或多个处理器基于所述上下文数据的一个或多个特征和用户请求来创建具有一个或多个应用程序的数据处理流水线；由所述一个或多个处理器通过所述数据处理流水线处理所述上下文数据；以及通过所述一个或多个处理器发送数据处理流水线的输出到可穿戴多媒体设备或其他设备以呈现所述输出。

[0006] 在一个实施例中，系统包括：一个或多个处理器；储存指令的存储器，该指令当由一个或多个处理器执行时致使一个或多个处理器执行操作，该操作包括：由云计算平台的一个或多个处理器从可穿戴多媒体设备接收上下文数据，该可穿戴多媒体设备包括用于捕获上下文数据的至少一个数据捕获设备；由所述一个或多个处理器基于所述上下文数据的一个或多个特征和用户请求来创建具有一个或多个应用程序的数据处理流水线；由所述一个或多个处理器通过所述数据处理流水线处理所述上下文数据；以及通过所述一个或多个处理器发送数据处理流水线的输出到可穿戴多媒体设备或其他设备以呈现所述输出。

[0007] 在一个实施例中，非暂态计算机可读存储介质包括用于以下操作的指令：由云计算平台的一个或多个处理器从可穿戴多媒体设备接收上下文数据，该可穿戴多媒体设备包括用于捕获上下文数据的至少一个数据捕获设备；由所述一个或多个处理器基于所述上下文数据的一个或多个特征和用户请求来创建具有一个或多个应用程序的数据处理流水线；由所述一个或多个处理器通过所述数据处理流水线处理所述上下文数据；以及通过所述一个或多个处理器发送数据处理流水线的输出到可穿戴多媒体设备或其他设备以呈现所述输出。

[0008] 本文所公开的特定实施例提供以下优势中的一个或多个。可穿戴多媒体设备以最少的用户交互来捕获自发时刻和交易的多媒体数据。基于用户偏好在云计算平台上自动编辑和格式化多媒体数据，并且然后使其可供用户在各种用户回放设备上重放。在一个实施例中，由第三方开发者专有的和/或提供/许可的应用程序的生态系统执行数据编辑和/或处理。应用程序生态系统提供允许第三方开发者上传、验证和更新它们的应用程序的各种接入点(例如，网站、门户网站、API)。云计算平台使用生态系统应用程序、用户偏好和其他信息(例如，数据的类型或格式、数据的数量和质量)中的一者或多者为每个多媒体数据流自动构建自定义(custom)的处理流水线。

[0009] 在附图和下面的具体实施方式中阐述了所公开的实施例的细节。其他特征、目的和优势从说明书、附图和权利要求书中是显而易见的。

附图说明

[0010] 图1是根据实施例的用于可穿戴多媒体设备和具有用于处理由可穿戴多媒体设备捕获的多媒体数据的应用程序生态系统的云计算平台的操作环境的框图。

[0011] 图2是根据实施例的由图1的云计算平台实现的数据处理系统的框图。

[0012] 图3是根据实施例的用于处理上下文数据流的数据处理流水线的框图。

[0013] 图4是根据实施例的用于处理用于运输应用程序的上下文数据流的另一数据处理的框图。

[0014] 图5示出了根据实施例的图2的数据处理系统所使用的数据对象。

[0015] 图6为根据实施例的数据流水线过程的流程图。

[0016] 图7为根据实施例的云计算平台的架构。

[0017] 图8为根据实施例的可穿戴多媒体设备的架构。

[0018] 在各种附图中使用的相同附图标记指示相似的元件。

具体实施方式

[0019] 概述

[0020] 可穿戴多媒体设备是轻量的、小外形的、电池供电的设备，其可使用张力扣、互锁背扣、磁体或任何其他附接机构附接到用户的衣服或对象。可穿戴多媒体设备包括数字图像捕获设备(例如，具有光学图像稳定器(OIS)的180°FOV)，该设备允许用户以最少的用户交互或设备设置自发地捕获生活事件(“时刻”)的多媒体数据(例如，视频、音频、深度数据)以及记录交易(例如，金融交易)。由无线多媒体设备捕获的多媒体数据(“上下文数据”)被上传至具有应用程序生态系统的云计算平台，该应用程序生态系统允许由一个或多个应用程序(例如，人工智能(AI)应用程序)将上下文数据处理、编辑和格式化为可在可穿戴多媒体设备和/或任何其他回放设备上被下载和回放的任何期望的呈现格式(例如，单图像、图像流、视频片段、音频片段、多媒体呈现、图像库)。例如，云计算平台可将视频数据和音频数据转换为用户所指定的任何期望的电影制作风格(例如，纪录片、生活、猎影、新闻摄影、体育、街头)。

[0021] 在一个实施例中，由云计算平台的一个或多个服务器计算机基于用户偏好来处理上下文数据。例如，可以基于用户偏好而对图像进行颜色分级、稳定化和裁剪，直到用户想要重新体验的时刻。用户偏好可被储存在由用户通过可通过网站或门户网站访问的在线账户创建的用户配置文件中，或者可由平台随时间(例如，使用机器学习)学习用户偏好。在一个实施例中，云计算平台为可扩展的分布式计算环境。例如，云计算平台可以是具有实时流式数据流水线和对数据流进行转换或作出反应的流式应用程序的分布式流式平台(例如，Apache KafkaTM)。

[0022] 在一个实施例中，用户可用简单的触摸手势(例如轻击或轻扫)、通过说出命令或任何其他输入机制，来开始和停止可穿戴多媒体设备上的上下文数据捕获会话。可穿戴多媒体设备的全部或部分可在其使用一个或多个传感器(例如，接近传感器、光学传感器、加速度计、陀螺仪)检测到用户未穿戴其时自动断电。在一个实施例中，设备可包括用以维持电池寿命的光伏表面技术、和用以允许充电垫上感应充电和无线空中(OTA)充电的感应充电电路(例如，Qi)。

[0023] 可使用任何期望的加密或压缩技术对上下文数据加密和压缩，并且将其储存在与用户帐户相关联的在线数据库中。上下文数据可被储存可由用户设置的指定时间段。可通过网站、门户网站或移动应用程序向用户提供选择加入机制和其他工具以用于管理他们的数据和数据隐私。

[0024] 在一个实施例中，上下文数据包括点云数据以提供三维(3D)表面映射对象，可使用例如应用程序生态系统中的增强现实(AR)和虚拟现实(VR)应用程序来处理该对象。可由嵌入在可穿戴多媒体设备上的深度传感器(例如，LiDAR或飞行时间(TOF))生成点云数据。

[0025] 在一个实施例中，可穿戴多媒体设备包括全球导航卫星系统(GNSS)接收器(例如，用于在捕获上下文数据时确定穿戴所述设备的用户的位置和取向的一个或多个惯性传感器(例如，加速度计、陀螺仪)和全球定位系统(GPS))。在一个实施例中，可由应用程序生态系统中的定位应用程序诸如视觉里程计应用程序使用上下文数据中的一个或多个图像来确定用户的位置和取向。

[0026] 在一个实施例中，可穿戴多媒体设备还可包括一个或多个环境传感器，该环境传感器包括但不限于：环境光传感器、磁力计、压力传感器、语音活动检测器等。该传感器数据可被包括在上下文数据中以利用可被用于捕获时刻的附加信息来丰富内容呈现。

[0027] 在一个实施例中，可穿戴多媒体设备可包括一个或多个生物计量传感器，诸如心率传感器、指纹扫描器等。该传感器数据可被包括在上下文数据中以记录交易或指示用户在该时刻期间的情绪状态(例如，升高的心率可指示兴奋或害怕)。

[0028] 在一个实施例中，可穿戴多媒体设备包括连接头戴式耳机或耳塞的耳机插孔，以及用于接收语音命令并且捕获环境音频的一个或多个麦克风。在一个另选的实施例中，可穿戴多媒体设备包括短距离通信技术，该短距离通信技术包括但不限于蓝牙、IEEE TM802.15.4(ZigBee )和近场通信(NFC)。除了耳机插孔之外或代替耳机插孔，短距离通信技术可用于无线地连接到无线头戴式耳机或耳塞，和/或可无线地连接到任何其他外部设备(例如，计算机、打印机、激光投影仪、电视和其他可穿戴设备)。

[0029] 在一个实施例中，可穿戴多媒体设备包括用于包括WiFi、3G、4G和5G通信技术的多种通信技术的无线收发器和通信协议栈。在一个实施例中，头戴式耳机或耳塞还包括提供关于用户所面对方向的信息的传感器(例如，生物计量传感器、惯性传感器)，以提供具有头部姿势的命令等。在一个实施例中，可由头部姿势控制相机方向，以使得相机视图遵循用户的视线方向。在一个实施例中，可穿戴多媒体设备可嵌入在用户的眼镜中或附接到用户的眼镜。

[0030] 在一个实施例中，可穿戴多媒体设备包括允许用户在诸如墙壁或桌面等表面上重放时刻的激光投影仪(或可有线或无线地耦接到外部激光投影仪)。在另一个实施例中，可穿戴多媒体设备包括可连接到激光投影仪或其他输出设备的输出端口。

[0031] 在一个实施例中，可穿戴多媒体捕获设备包括响应于触摸手势(例如轻击、多击或轻扫手势)的触摸表面。可穿戴多媒体设备可包括小显示器以用于呈现信息、以及一个或多个光指示器以指示开/关状态、电源状况或任何其他期望的状态。

[0032] 在一个实施例中，可由基于上下文的手势(例如，隔空手势)结合语音查询而驱动云计算平台，诸如，用户指向在其环境中的对象并且说：“那是什么建筑物？”云计算平台使用隔空手势来缩小相机视口的范围并且隔离建筑物。捕获建筑物的一个或多个图像并且将其发送至云计算平台，其中图像识别应用程序可运行图像查询并且储存结果或返回结果到用户。也可例如响应于用户界面元素在所投影的临时显示上执行隔空手势和触摸手势。

[0033] 在一个实施例中，可在设备和云计算平台上加密上下文数据，以使得仅用户或任何授权查看者可在连接的屏幕(例如，智能电话、计算机、电视等)上或作为表面上的激光投影来重新体验该时刻。参照图8描述了可穿戴多媒体设备的示例架构。

[0034] 除了个人生活事件之外，可穿戴多媒体设备还简化了当前由智能电话处理的金融交易的捕获。通过使用由可穿戴多媒体设备提供的视觉辅助上下文感知，使每天的交易(例如，商业交易、微交易)的捕获变得更简单、更快和更流畅。例如，当用户参与金融交易(例如，进行购买)时，可穿戴多媒体设备将生成记住金融交易的数据，该数据包括日期、时间、金额、双方的数字图像或视频、音频(例如，描述交易的用户评论)和环境数据(例如，位置数据)。数据可被包括在发送至云计算平台的多媒体数据流中，其中该数据可被在线储存和/或由一个或多个金融应用程序(例如，财务管理、会计、预算、税务筹划、库存等)处理。

[0035] 在一个实施例中，云计算平台在网站或门户网站上提供允许各种第三方应用程序开发者上传、更新和管理其在应用程序生态系统中的应用程序的图形用户界面。一些示例应用程序可包括但不限于：个人实时广播(例如，InstagramTMLife、SnapchatTM)、高级监视(例如，确保所爱的人已经服药)、记忆唤醒(例如，播放孩子上周的足球比赛)和个人指南(例如，启用AI的个人指南，其知道用户的位置并且引导用户执行动作)。

[0036] 在一个实施例中，可穿戴多媒体设备包括一个或多个麦克风、和头戴式耳机。在一些实施例中，头戴式耳机线包括麦克风。在一个实施例中，在可穿戴多媒体设备上实现对用户查询、请求和命令进行响应的数字助理。例如，由家长穿戴的可穿戴多媒体设备捕获孩子足球比赛、尤其是孩子进球的“时刻”的时刻上下文数据。用户可请求(例如，使用语音命令)平台创建进球的视频片段并且将其储存在他们的用户帐户中。如果用户没有任何进一步的动作，云计算平台则标识进球时的时刻上下文数据的正确部分(例如，使用面部识别、视觉或听觉提示)，将时刻上下文数据编辑成视频片段，并且将视频片段储存在与用户帐户相关联的数据库中。

[0037] 示例操作环境

[0038] 图1是根据一个实施例的用于可穿戴多媒体设备和具有用于处理由可穿戴多媒体设备捕获的多媒体数据的应用程序生态系统的云计算平台的操作环境的框图。操作环境100包括可穿戴多媒体设备101、云计算平台102、网络103、应用程序(“app”)开发者104和第三方平台105。云计算平台102耦接到用于储存由可穿戴多媒体设备101上传的上下文数据的一个或多个数据库106。

[0039] 如前所述，可穿戴多媒体设备101是轻量的、小外形的、电池供电的设备，其可使用张力扣、互锁背扣、磁体或任何其他附接机构附接到用户的衣服或对象。可穿戴多媒体设备101包括数字图像捕获设备(例如，具有OIS的180°FOV)，该设备允许用户以最少的用户交互或设备设置自发地捕获“时刻”的多媒体数据(例如，视频、音频、深度数据)并且记录每天的交易(例如，金融交易)。由无线多媒体设备101捕获的上下文数据被上传至云计算平台102。
云计算平台101包括应用程序生态系统，该应用程序生态系统允许由一个或多个服务器端应用程序将上下文数据处理、编辑和格式化为可在可穿戴多媒体设备和/或其他回放设备上被下载和重放的任何期望的呈现格式(例如，单图像、图像流、视频片段、音频片段、多媒体呈现、图像库)。

[0040] 以举例的方式，在孩子的生日聚会上，父母可将可穿戴多媒体设备夹在他们的衣服上(或将设备附接到项链或链子并且围绕颈部穿戴)，以使得相机镜头面向他们的视线方向。相机包括允许相机捕获用户当前正在观看的几乎一切的180°FOV。用户可通过仅轻击设备的表面或按下按钮来开始录制。不需要附加的设置。录制捕获生日的特殊时刻(例如，吹灭蜡烛)的多媒体数据流(例如，带音频的视频)。这一“上下文数据”通过无线网络(例如，WiFi、蜂窝通信)被实时发送到云计算平台102。在一个实施例中，上下文数据被储存在可穿戴多媒体设备上，以使得其可稍后被上传。在另一个实施例中，用户可传输上下文数据至另一设备(例如，个人计算机硬盘、智能电话、平板计算机、拇指驱动器)，并且在稍后使用应用程序上传上下文数据至云计算平台102。

[0041] 在一个实施例中，由云计算平台102托管和管理的应用程序生态系统的一个或多个应用程序处理上下文数据。应用程序可通过它们各自的应用程序编程接口(API)被访问。由云计算平台102基于数据类型、数据量、数据质量、用户偏好、模板和/或任何其他信息中的一者或多者来创建自定义的分布式流式流水线以处理上下文数据，以基于用户偏好生成期望的呈现。在一个实施例中，机器学习技术可用于自动选择合适的应用程序以包括在数据处理流水线中，不论是否考虑用户偏好。例如，储存在数据库(例如，NoSQL数据库)中的历史用户上下文数据可用于使用任何合适的机器学习技术(例如，深度学习或卷积神经网络)来确定对于数据处理的用户偏好。

[0042] 在一个实施例中，应用程序生态系统可包括处理上下文数据的第三方平台105。在云计算平台102和第三方平台105之间设置安全会话以发送/接收上下文数据。这一设计允许第三方应用程序提供者控制对其应用程序的访问并且提供更新。在其他实施例中，应用程序运行在云计算平台102的服务器上，并且更新被发送至云计算平台102。在后一个实施例中，应用程序开发者104可使用由云计算平台102提供的API来上传和更新要被包括在应用程序生态系统中的应用程序。

[0043] 示例数据处理系统

[0044] 图2是根据实施例的由图1的云计算平台实现的数据处理系统的框图。数据处理系统200包括录制器201、视频缓冲器202、音频缓冲器203、照片缓冲器204、摄取服务器205、数据存储206、视频处理器207、音频处理器208、照片处理器209和第三方处理器210。

[0045] 在可穿戴多媒体设备上运行的录制器201(例如，软件应用程序)录制由相机和音频子系统捕获的视频、音频和照片数据(“上下文数据”)，并且将数据分别储存在缓冲器202、203、204中。该上下文数据(例如，使用无线OTA技术)然后被发送至云计算平台102的摄取服务器205。在一个实施例中，可在单独的数据流中发送数据，每个数据流具有唯一的流标识符(流id)。流是可包含以下示例属性的离散数据块：位置(例如，纬度、经度)、用户、音频数据、持续时间不同的视频流和N张照片。流的持续时间可为1到MAXSTREAM_LEN秒，在这个示例中MAXSTREAM_LEN＝20秒。

[0046] 摄取服务器205摄取流并且在数据存储206中创建流记录以储存处理器207-209的结果。在一个实施例中，音频流首先被处理并且用于确定所需的其他流。摄取服务器205基于流id发送流至适当的处理器207-209。例如，视频流被发送至视频处理器207，音频流被发送至音频处理器208并且照片流被发送至照片处理器209。在一个实施例中，从可穿戴多媒体设备收集的数据的至少一部分(例如，图像数据)被处理成元数据并且被加密，以使得其可由给定的应用程序进一步处理并且被发送回可穿戴多媒体设备或其他设备。

[0047] 如上所述，处理器207-209可运行专有的应用程序或第三方应用程序。例如，视频处理器207可以是视频处理服务器，其基于用户偏好或其他信息发送储存在视频缓冲器202中的原始视频数据至一组一个或多个图像处理/编辑应用程序211、212。处理器207发送请求至应用程序211、212，并且返回结果至摄取服务器205。在一个实施例中，第三方处理器210可使用其自身的处理器和应用程序来处理一个或多个流。在另一个示例中，音频处理器
208可为音频处理服务器，其发送储存在音频缓冲器203中的语音数据至语音-文本转换器应用程序213。

[0048] 示例场景标识应用程序

[0049] 图3是根据实施例的用于处理上下文数据流的数据处理流水线的框图。在这个实施例中，基于由用户穿戴的可穿戴多媒体设备所捕获的上下文数据创建数据处理流水线300并将其配置为确定用户正在看什么。摄取服务器301从可穿戴多媒体设备的音频缓冲器
203接收音频流(例如，包括用户评论)并且发送音频流至音频处理器305。音频处理器305发送音频流至执行语音-文本转换并且返回解析文本至音频处理器305的应用程序306。音频处理器305返回解析文本至摄取服务器301。

[0050] 视频处理器302从摄取服务器301接收解析文本并且发送请求至视频处理应用程序307。视频处理应用程序307标识视频场景中的对象并且使用解析文本来标记对象。视频处理应用程序307发送描述场景(例如，标记的对象)的响应至视频处理器302。视频处理器然后转发响应至摄取服务器301。摄取服务器301发送响应至将响应与用户的位置、取向和地图数据合并的数据合并进程308。数据合并进程308返回具有场景描述的响应至可穿戴多媒体设备上的录制器304。例如，响应可包括将场景描述为孩子生日聚会的文本，该文本包括地图位置和场景中的对象描述(例如，标识场景中的人物)。录制器304将场景描述与储存在可穿戴多媒体设备上的多媒体数据(例如，使用流id)相关联。当用户调用数据时，数据被场景描述所丰富。

[0051] 在一个实施例中，数据合并进程308可使用不止位置和地图数据。也可存在本体的概念。例如，图像中所捕获的用户父亲的面部特征可由云计算平台识别，并且作为“Dad”而不是用户的名称被返回，并且地址诸如“555Main Street,San Francisco,CA”可作为“Home”被返回。本体可特定于用户，并且可从用户的输入中成长和学习。

[0052] 示例运输应用程序

[0053] 图4是根据实施例的用于处理用于运输应用程序的上下文数据流的另一数据处理的框图。在这一实施例中，创建数据处理流水线400以呼叫运输公司(例如，)来乘车回家。来自可穿戴多媒体设备的上下文数据由摄取服务器401接收，并且来自音频缓冲器203的音频流被发送至音频处理器405。音频处理器405发送音频流至将语音转换为文本的应用程序406。解析文本被返回至音频处理器405，该音频处理器返回解析文本(例如，对运输的用户语音请求)至摄取服务器401。处理的文本被发送至第三方处理器402。第三方处理器402发送用户位置和令牌至第三方应用程序407(例如，或应用程
序)。在一个实施例中，令牌是用于代表用户代理请求的API和授权令牌。应用程序407返回响应数据结构至第三方处理器402，该响应数据结构被转发到摄取服务器401。摄取服务器
401检查响应数据结构中的乘车到达状态(例如，ETA)，并且在用户回调(callback)队列408中设置对用户的回调。摄取服务器401返回具有车辆描述的响应至录制器404，该响应可由数字助理通过可穿戴多媒体设备上的扬声器或经由有线或无线连接通过用户的头戴式耳机或耳塞向用户说出。

[0054] 图5示出了根据实施例的图2的数据处理系统所使用的数据对象。数据对象是在云计算平台上实例化的软件部件基础结构的一部分。“流”对象包括数据流id、设备id、开始、结束、纬度、经度、属性和实体。“流id”标识流(例如，视频、音频、照片)，“设备id”标识可穿戴多媒体设备(例如，移动设备ID)，“开始”是上下文数据流的开始时间，“结束”是上下文数据流的结束时间，“纬度”是可穿戴多媒体设备的纬度，“经度”是可穿戴多媒体设备的经度，“属性”包括例如生日、面部点、肤色、音频特征、地址、电话号码等，并且“实体”构成本体。例如，取决于用户，名称“John Do”将被映射到“Dad”或“Brother”。

[0055] “用户”对象包括数据用户id、设备id、电子邮件、名字和姓氏。用户id以唯一标识符来标识用户，设备id以唯一标识符来标识可穿戴设备，电子邮件是用户的注册电子邮件地址，名字是用户的名字，以及姓氏是用户的姓氏。“用户设备”对象包括数据用户id和设备id。“设备”对象包括数据设备id、已开始、状态、已修改和已创建。在一个实施例中，设备id是设备的唯一标识符(例如，不同于MAC地址)。已开始是首次启动设备的时间。状态为开/关/休眠。已修改是上次修改的日期，其反映上次状态改变或操作系统(OS)改变。已创建是开通设备的首次时间。

[0056] “处理结果”对象包括数据流id、ai、结果、回调、持续时间和准确度。在一个实施例中，流id是作为通用唯一标识符(UUID)的每个用户流。例如，在从上午8时00分开始至上午10时00分的流将具有id：15h158dhb4，而从上午10时15分开始至上午10时18分的流将具有针对该流联系的UUID。ai是针对该流联系的平台应用程序的标识符。结果是从平台应用程序发送的数据。回调是所使用的回调(版本可改变，因此如果平台需要重放请求则对回调进行跟踪)。准确度是结果集的准确度得分。在一个实施例中，处理结果可用于很多事情，诸如
1)通知合并服务器完整的结果集，2)确定最快的ai以使得用户体验可被增强，以及3)确定最准确的ai。取决于使用情况，人们可能更喜欢速度而不是准确度，反之亦然。

[0057] “实体”对象包括数据实体ID、用户ID、实体名称、实体类型和实体属性。实体ID是实体的UUID，并且实体具有多个条目，其中实体ID引用一个实体。例如，“Barack Obama”将具有实体ID 144，该实体ID在关联表中可链接到POTUS44或“Barack Hussein Obama”或“President Obama”。实体ID标识实体记录所针对的用户。实体名称是用户ID对实体的所称呼的名称。例如，Malia Obama对于实体ID 144的实体名称可以是“Dad”或“Daddy”。实体类型是人物、地点或事物。实体属性是关于实体的一组属性，该属性特定于用户ID对该实体的理解。这将实体映射到一起，以便例如当Malia进行语音查询：“Can you see Dad？”时，云计算平台可将该查询转换为Barack Hussein Obama，并将其用于代理向第三方发送请求或用于在系统中查找信息。

[0058] 示例过程

[0059] 图6为根据实施例的数据流水线过程的流程图。可使用参考图1-5所述的可穿戴多媒体设备101和云计算平台102来实现过程600。

[0060] 可通过从可穿戴多媒体设备接收上下文数据来启动过程600(601)。例如，上下文数据可包括由可穿戴多媒体设备的相机和音频子系统捕获的视频、音频和静态图像。

[0061] 可通过基于上下文数据和用户请求/偏好创建(例如，实例化)具有应用程序的数据处理流水线(602)来继续过程600。例如，基于用户请求或偏好，并且还基于数据类型(例如，音频、视频、照片)，一个或多个应用程序可被逻辑地连接以形成数据处理流水线以将上下文数据处理为要在可穿戴多媒体设备或另一设备上回放的呈现。

[0062] 可通过在数据处理流水线中处理上下文数据(603)来继续过程600。例如，可以将在时刻或交易期间来自用户评论的语音转换为文本，然后使用该文本来标记视频片段中的对象。

[0063] 可通过发送数据处理流水线的输出至可穿戴多媒体设备和/或其他回放设备(604)来继续过程600。

[0064] 示例云计算平台架构

[0065] 图7为根据一个实施例的参考图1-6所述的云计算平台102的示例架构700。包括具有更多或更少部件的架构的其他架构是可能的。在一些具体实施中，架构700包括一个或多个处理器702(例如，双核处理器)、一个或多个网络接口706，一个或多个存储设备704(例如，硬盘、光盘、闪存存储器)和一个或多个计算机可读介质708(例如，硬盘、光盘、闪存存储器等)。这些部件可通过一个或多个通信信道710(例如，总线)来交换通信和数据，该通信信道可利用各种硬件和软件以促进在部件之间传输数据和控制信号。

[0066] 术语“计算机可读介质”是指参与向一个或多个处理器702提供指令以用于执行的任何介质，该介质包括但不限于非易失性介质(例如，光盘或磁盘)、易失性介质(例如，存储器)和传输介质。传输介质包括但不限于同轴电缆、铜线和光纤。

[0067] 一个或多个计算机可读介质708还可包括操作系统712(例如，Mac 服务器、NT服务器、Linux服务器)、网络通信模块714，接口指令716和数据处理指令718。

[0068] 操作系统712可以是多用户、多处理、多任务处理、多线程操作、实时的等。操作系统712执行基本任务，包括但不限于：识别来自设备702、704、706和708的输入以及向这些设备提供输出；保持跟踪并且管理一个或多个计算机可读介质708(例如，存储器或存储设备)上的文件和目录；控制外围设备；以及管理一个或多个通信信道710上的流量。网络通信模块714包括用于建立和维护网络连接(例如，用于实现诸如TCP/IP、HTTP等的通信协议的软件)以及用于使用例如Apache KafkaTM来创建分布式流式平台的各种部件。如参考图1-6所述，数据处理指令716包括用于实现服务器端操作的服务器端或后端软件。如参考图1所述，接口指令718包括用于实现用于向可穿戴多媒体设备101、第三方应用程序开发者104和第三方平台105发送数据和从其接收数据的web服务器和/或门户网站的软件。

[0069] 架构700可被包括在任何计算机设备中，该计算机设备包括本地网络或分布式网络中的一个或多个服务器计算机，每个服务器计算机具有一个或多个处理核心。可在并行处理或对等基础结构中或在具有一个或多个处理器的单个设备上实现架构700。软件可包括多个软件部件或者可以是单个代码主体。

[0070] 示例可穿戴多媒体设备架构

[0071] 图8是实现参考图1-6所述的特征和过程的可穿戴多媒体设备的示例架构800的框图。可在任何可穿戴多媒体设备101中实现架构800以用于实现参考图1-6所述的特征和处理器。架构800可包括存储器接口802、一个或多个数据处理器、一个或多个图像处理器或一个或多个中央处理单元804和外围设备接口806。存储器接口802、一个或多个处理器804或外围设备接口806可以是独立的部件或可被集成在一个或多个集成电路中。一条或多条通信总线或信号线可耦接各种部件。

[0072] 传感器、设备和子系统可耦接到外围设备接口806以促进多个功能。例如，一个或多个运动传感器810、一个或多个生物计量传感器812、深度传感器814可耦接到外围设备接口806以促进运动、取向、生物计量和深度检测功能。在一些具体实施中，一个或多个运动传感器810(例如，加速度计、速率陀螺仪)可用于检测可穿戴多媒体设备的移动和取向。

[0073] 其他传感器也可连接到外围设备接口806，诸如用以促进环境感测功能的一个或多个环境传感器(例如，温度传感器、气压计、环境光)。例如，生物计量传感器可检测指纹、面部识别、心率和其他健康参数。在一个实施例中，触觉电机(未示出)可耦接到外围设备接口，该外围设备接口可向用户提供振动模式作为触觉反馈。

[0074] 位置处理器815(例如，GNSS接收器芯片)可连接到外围设备接口806以提供地理参考。电子磁力计816(例如，集成电路芯片)也可连接到外围设备接口806以提供可用于确定磁北方向的数据。因此，电子磁力计816可由电子罗盘应用程序使用。

[0075] 相机子系统820和光学传感器822，例如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光学传感器，可用于促进相机功能，诸如录制照片和视频片段。在一个实施例中，相机具有180°FOV和OIS。深度传感器可包括以已知模式将点投影到对象/主体上的红外发射器。然后由专用红外相机拍摄该点，并且对其进行分析以确定深度数据。在一个实施例中，可使用飞行时间(TOF)相机基于已知的光速并且针对图像的每个点测量相机与对象/主体之间的光信号的飞行时间，来分辨距离。

[0076] 可通过一个或多个通信子系统824来促进通信功能。一个或多个通信子系统824可包括一个或多个无线通信子系统。无线通信子系统824可包括射频接收器和发射器和/或光学(例如，红外)接收器和发射器。有线通信系统可包括端口设备，例如通用串行总线(USB)端口或可用于建立与其他计算设备的有线连接的一些其他有线端口连接，该其他计算设备为诸如其他通信设备、网络访问设备、个人计算机、打印机、显示屏或能够接收或发送数据的其他处理设备(例如，激光投影仪)。

[0077] 通信子系统824的具体设计和实现可取决于设备旨在通过其操作的一个或多个通信网络或一个或多个介质。例如，设备可包括无线通信子系统，其被设计为通过针对移动通信(GSM)网络、GPRS网络、增强型数据GSM环境(EDGE)网络、IEEE802.xx通信网络(例如WiFi、WiMax、ZigBeeTM)、3G、4G、4G LTE、码分多址(CDMA)网络、近场通信(NFC)、Wi-Fi直连和BluetoothTM网络的全局系统来操作。无线通信子系统824可包括托管协议，以使得设备可被配置为针对其他无线设备的基站。又如，通信子系统可允许设备使用一个或多个协议或通信技术与主机设备同步，该协议或通信技术为诸如，例如，TCP/IP协议、HTTP协议、UDP协议、ICMP协议、POP协议、FTP协议、IMAP协议、DCOM协议、DDE协议、SOAP协议、HTTP实时流、MPEG Dash和任何其他已知的通信协议或技术。

[0078] 音频子系统826可耦接到扬声器828和一个或多个麦克风830以促进启用语音的功能，诸如语音识别、语音复制、数字录制、电话功能和波束成形。

[0079] I/O子系统840可包括触摸控制器842和/或另外的一个或多个输入控制器844。触摸控制器842可耦接到触摸表面846。触摸表面846和触摸控制器842可例如使用多种触摸灵敏度技术中的任一种来检测其接触以及移动或断开，该技术包括但不限于电容技术、电阻技术、红外技术和表面声波技术，以及其他接近传感器阵列或用于确定与触摸表面846的一个或多个接触点的其他元件。在一个具体实施中，触摸表面846可显示虚拟按钮或软按钮，该按钮可由用户用作输入/输出设备。

[0080] 一个或多个其他输入控制器844可耦接到其他输入/控制设备848，诸如一个或多个按钮、摇臂开关、拇指滚轮、红外端口、USB端口和/或指向设备诸如触笔。一个或多个按钮(未示出)可包括用于扬声器828和/或麦克风830的音量控制的向上/向下按钮。

[0081] 在一些具体实施中，设备800向用户回放录制的音频和/或视频文件，诸如MP3、AAC和MPEG视频文件。在一些具体实施中，设备800可包括MP3播放器的功能，并且可包括用于连接到其他设备的引脚连接器或其他端口。可使用其他输入/输出和控制设备。在一个实施例中，设备800可包括用于通过直接或间接的通信链路将音频流式传输到附件设备的音频处理单元。

[0082] 存储器接口802可耦接到存储器850。存储器850可包括高速随机存取存储器或非易失性存储器，诸如一个或多个磁盘存储设备、一个或多个光学存储设备或闪存存储器(例如，NAND、NOR)。存储器850可储存操作系统852，诸如Darwin、RTXC、LINUX、UNIX、OS X、iOS、WINDOWS或嵌入式操作系统诸如VxWorks。操作系统852可包括用于处理基本系统服务和用于执行依赖硬件的任务的指令。在一些具体实施中，操作系统852可包括内核(例如，UNIX内核)。

[0083] 如参考图1-6所述，存储器850还可储存通信指令854以促进与一个或多个附加设备、一个或多个计算机或服务器通信，该通信包括与无线附件设备的对等通信。通信指令854还可用于基于设备的地理位置来选择供设备使用的操作模式或通信介质。

[0084] 如参考图1-6所述，存储器850可包括用于促进传感器相关的处理和功能的传感器处理指令858和用于促进录制功能的录制器指令860。其他指令可包括用于促进GNSS和导航相关的过程的GNSS/导航指令、用于促进相机相关的过程的相机指令和用于促进用户界面处理的用户界面指令，该用户界面处理包括用于解译触摸输入的触摸模型。

[0085] 以上所标识的指令和应用程序中的每一者可对应于用于执行上述一个或多个功能的指令集。这些指令不需要实现为单独的软件程序、过程或模块。存储器850可包括附加的指令或更少的指令。此外，设备的各种功能可在硬件和/或软件中实现，包括在一个或多个信号处理和/或专用集成电路(ASIC)中实现。

[0086] 所描述的特征可在数字电子电路中或在计算机硬件、固件、软件中或在它们的组合中实现。该特征可在计算机程序产品中实现，该计算机程序产品有形地体现在信息载体中，例如，体现在机器可读存储设备中，以供可编程处理器执行。方法步骤可由可编程处理器执行，该可编程处理器通过操作输入数据并且生成输出来执行指令程序以执行所描述的具体实施的功能。

[0087] 所描述的特征可有利地在可在包括至少一个可编程处理器的可编程系统上执行的一个或多个计算机程序中实现，该至少一个可编程处理器被耦接以从数据存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并且向其发送数据和指令。计算机程序是可直接或间接地在计算机中使用以执行某个活动或带来某种结果的指令集。计算机程序能够以包括编译语言或解译语言的任何形式的编程语言(例如，Objective-C、Java)被写入，并且能够以包括作为独立程序或作为模块、部件、子例程或适于在计算环境中使用的其他单元的任何形式被部署。

[0088] 用于执行指令程序的合适处理器以举例的方式包括通用微处理器和专用微处理器两者，以及任何类型的计算机的唯一处理器或多个处理器或核心中的一个。一般地，处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的必需元件是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器。一般地，计算机可与大容量存储设备通信以储存数据文件。这些海量存储设备可包括磁盘，诸如内部硬盘和可移动盘；磁光盘；和光盘。适用于有形地体现计算机程序指令和数据的存储设备包括所有形式的非易失性存储器，以举例的方式包括半导体存储器设备，诸如EPROM、EEPROM和闪存存储器设备；磁盘，诸如内部硬盘和可移动盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器可由ASIC(专用集成电路)补充或被结合到ASIC中。为了提供与用户的交互，特征可在具有显示设备诸如CRT(阴极射线管)、LED(发光二极管)或LCD(液晶显示器)显示器或用于向作者显示信息的监视器、键盘、和指向设备，诸如可由作者向计算机提供输入的鼠标或轨迹球的计算机上实现。

[0089] 可使用应用程序编程接口(API)来实现所公开的实施例的一个或多个特征或步骤。API可定义在调用应用程序与提供服务、提供数据或执行操作或计算的其他软件代码(例如，操作系统、库例程、函数)之间传递的一个或多个参数。API可实现为程序代码中的一个或多个调用，该调用基于API规范文档中定义的调用约定来通过参数列表或其他结构发送或接收一个或多个参数。参数可以是常量、密钥、数据结构、对象、对象类、变量、数据类型、指针、数组、列表或另一个调用。API调用和参数能够以任何编程语言实现。编程语言可定义程序员将会采用以访问支持API的函数的词汇表和调用约定。在一些具体实施中，API调用可向应用程序报告运行应用程序的设备的能力，诸如输入能力、输出能力、处理能力、功率能力、通信能力等。

[0090] 已经介绍了若干具体实施。然而，应当理解，可做出各种修改。一个或多个具体实施的元素可被组合、删除、修改或补充以形成进一步的具体实施。在又一个示例中，图中所描绘的逻辑流程不需要所示的特定顺序或次序来获得期望的结果。此外，可提供其他步骤，或者可从所述的流程中删除步骤，并且其他部件可被添加到所述系统或从中移除。因此，其他具体实施均在以下权利要求的范围内。

标题	发布/更新时间	阅读量
用于显示固定大小的增强现实对象的方法和系统	2020-05-08	546
工业应用服务处理方法和系统	2020-05-08	968
一种基于双向对抗网络的图像超分辨率重建方法	2020-05-08	168
数据处理方法、装置、电子设备及存储介质	2020-05-08	623
一种头戴式助视装置	2020-05-08	865
一种上肢康复训练装置	2020-05-08	909
处理具有动态逐区封装的全向媒体	2020-05-11	949
用于在施工现场生成自适应投射现实的方法和系统	2020-05-11	115
一种校园立体防控系统	2020-05-08	78
一种AR现实增强游戏手柄	2020-05-11	694

可穿戴多媒体设备和具有应用程序生态系统的云计算平台

可穿戴多媒体设备和具有应用程序生态系统的云计算平台

技术领域

背景技术

附图说明

具体实施方式

该功能需要专业版企业版VIP权限，您可以：