用于生成视频流的注释的方法和装置专利检索-视频流媒体流多媒体工具与应用专利检索查询-专利查询网

用于生成视频流的注释的方法和装置

阅读：728发布：2020-05-08

专利汇可以提供用于生成视频流的注释的方法和装置专利检索，专利查询，专利分析的服务。并且用户设备具有显示器、用户界面和网络接口。网络接口从另一个用户界面接收视频数据流。用户设备的用户能够暂停视频流。视频流的暂停的图像和视频流都显示在显示器上。用户能够注释暂停的图像。，下面是用于生成视频流的注释的方法和装置专利的具体信息内容。

权利要求

1.一种用户设备，包括：
显示器；
用户界面；
网络接口，其被配置为经由通信网络在所述用户设备处从另一用户设备接收视频数据流，所述显示器被配置为显示所述视频数据流；以及
至少一个处理器，其被配置为：
检测经由所述用户界面的交互以暂停所述视频流并且显示所述视频流的暂停的视频帧，以及还显示所述视频数据流；
检测经由所述用户界面将被应用于暂停的接收的视频帧的对象的至少一个注释应用到所述暂停的视频帧；
使得所述暂停的视频帧和所述至少一个注释与所述视频数据流一起由所述显示器来显示；
使得关于所述至少一个注释的信息经由所述网络接口被发送到所述另一用户设备；以及
基于自所述至少一个注释最后被应用以来的时间来控制对取消暂停图标的显示，对所述取消暂停图标的选择被配置为取消暂停所述暂停的视频帧。
2.根据权利要求1所述的用户设备，其中，所述网络接口被配置为接收包括对象和所述至少一个注释的所述视频数据流的视频帧，并且所述显示器能够被配置为将包括所述对象和所述至少一个注释的视频数据的流的接收的视频帧与所述暂停的视频帧一起显示。
3.根据权利要求1或2所述的用户设备，其中，所述显示器是触摸屏显示器，并且能够被配置为提供所述用户界面，并且用于暂停所述视频流的经由所述用户界面的检测的交互能够包括与所述触摸屏显示器的交互。
4.一种计算机实现的方法，所述方法包括：
在用户设备处经由通信网络从额外的用户设备接收视频数据流；
经由在所述用户设备的显示器上显示的用户界面，检测用于暂停所述视频数据流的交互；
在所述用户设备的所述显示器上显示所述视频数据流的暂停的视频帧和所述视频数据流两者；
经由所述用户界面检测至少一个注释到所述暂停的视频帧的应用；
使得由所述显示器显示所述暂停的视频帧和所述至少一个注释以及所述视频数据流；
使得关于所述至少一个注释的信息经由网络接口被发送到所述额外的用户设备；以及基于自所述至少一个注释最后被应用以来的时间来控制对取消暂停图标的显示，对所述取消暂停图标的选择被配置为取消暂停所述暂停的视频帧。
5.根据权利要求4所述的方法，其中，接收的所述视频数据流具有混合现实场景。
6.根据权利要求4所述的方法，其中，所述用户设备以及所述额外的用户设备处于视频通话中。
7.根据权利要求4所述的方法，其中，所述网络接口被配置为接收包括对象和所述至少一个注释的所述视频数据流的视频帧，并且所述显示器被配置为将包括所述对象和所述至少一个注释的所述视频数据流的接收的视频帧与所述暂停的视频帧一起显示。
8.根据权利要求4所述的方法，其中，所述显示器是触摸屏显示器，并且被配置为提供所述用户界面，并且用于暂停所述视频数据流的经由所述用户界面的检测的交互包括与所述触摸屏显示器的交互。
9.根据权利要求4所述的方法，还包括当所述暂停的视频帧被显示时，在所述显示器的外围区域中显示所述视频数据流的接收的视频帧。
10.根据权利要求4所述的方法，其中，显示的暂停的视频帧大于所述视频数据流的显示的接收的视频帧。
11.根据权利要求4所述的方法，包括响应于对用于暂停所述视频的交互的检测，显示提供一个或多个注释选项的菜单信息。
12.一种非暂时性计算机可读介质，其上包含计算机程序，所述计算机程序被配置为当在用户设备的至少一个处理器上执行时，使得：
显示通过通信网络从另外的用户设备接收的视频数据的流的视频帧；
当接收的视频帧正被显示时，检测经由所述用户设备的用户界面的对暂停选项的选择以暂停所述接收的视频帧；
响应于所述检测，显示暂停的接收的视频帧和所述视频数据的流的接收的视频帧；
经由所述用户界面接收至少一个注释输入，所述至少一个注释输入定义将被应用于所述暂停的接收的视频帧的对象的至少一个注释；
将关于所述至少一个注释的信息发送到所述另外的用户设备；以及
基于自所述至少一个注释最后被应用以来的时间来显示取消暂停图标，对所述取消暂停图标的选择被配置为取消暂停暂停的视频帧。

说明书全文

用于生成视频流的注释的方法和装置

背景技术

[0001] 基于分组的通信系统允许设备的用户(例如，个人计算机)使用分组协议(例如，因特网协议(IP))通过计算机网络进行通信。基于分组的通信系统可以用于各种类型的通信事件。可以建立的通信事件包括语音通话、视频通话、即时消息传送、语音邮件、文件传输和其他。这些系统对用户是有益的，因为它们通常比固定线路或移动网络具有显著降较低的成本。远距离通信的情况可能尤其如此。要使用基于分组的系统，用户在其设备上安装并执行客户端软件。客户端软件提供基于分组的连接以及其他功能，如注册和认证。

[0002] 通信系统允许设备的用户通过诸如因特网的计算机网络进行通信。可以建立的通信事件包括语音通话、视频通话、即时消息传送、语音邮件、文件传输和其他。利用视频通话，呼叫者可以观看视频图像。

[0003] 已知通信客户端应用提供使用户能够通过添加二维剪贴画效果来修改在用户的设备处捕获的视频的功能。发明内容

[0004] 本公开的实施例涉及在例如视频通话期间注释所显示的视频帧。

[0005] 发明人已经认识到，当视频帧被用户注释时，该用户将不知道在视频通话的另一端正在发生什么。例如，如果一个用户在注释图像的另一个用户的帮助下远程地执行手术，则注释用户将不知道正在进行手术的用户正在做什么或该用户正在看什么。

[0006] 一些实施例可以提供用于查看实况视频流的设备和方法，而所述实况视频流针对注释暂停。

[0007] 提供本发明内容以便以简化的形式来引入在下面的具体实施方式中进一步描述的概念的选择。本发明内容不是要识别所要求保护的主题的关键特征或主要特征，也不是要用于限定所要求保护的主题的范围。所要求保护的主题也不限于解决所提到的缺点中的任何或所有缺点的实现方式。

[0008] 根据本公开的第一方面，提供了一种在用户设备处实现的方法，所述方法包括：显示通过通信网络从另外的用户设备接收的视频数据的流的视频帧；当接收的视频帧正被显示时，检测经由所述用户设备的用户界面的对暂停选项的选择以暂停所述接收的视频帧；响应于所述检测，显示暂停的接收的视频帧和所述视频数据的流的接收的视频帧；经由所述用户界面接收至少一个注释输入，所述至少一个注释输入定义将被应用于所述暂停的接收的视频帧的对象的至少一个注释；以及使得关于所述至少注释的信息被发送到所述另外的用户设备。

[0009] 根据本公开的另一方面，提供了一种用户设备，包括：显示器；用户界面；网络接口，其被配置为经由通信网络在所述用户设备处从另一用户设备接收视频数据流，所述显示器被配置为显示所述视频数据流；以及至少一个处理器被配置为：检测经由所述用户界面的交互以暂停所述视频流并且显示所述视频流的暂停的视频帧，以及还显示所述视频数据流；检测经由所述用户界面将至少一个注释应用到所述暂停的视频帧；使得所述暂停的视频帧和所述至少注释与所述视频数据流一起由所述显示器来显示；以及使得关于所述至少注释的信息经由所述网络接口被发送到所述另一用户设备。

[0010] 根据本公开的另一方面，提供了一种计算机程序产品，该计算机程序产品被包含在非暂时性计算机可读介质或计算机程序产品上，并被配置为当在用户设备与至少一个另外的用户设备之间的视频通话期间在用户设备的处理器上执行时来执行本文描述的方法中的任何一个。附图说明

[0011] 为了更好地理解本公开内容并且示出如何可以实施本公开，现在将通过举例的方式参考以下附图，其中：

[0012] 图1示出了通信系统的示意图；

[0013] 图2示出了用户设备的示意图；

[0014] 图3示出了作为可穿戴式头戴式耳机的用户设备的示意图；

[0015] 图4a至图4d示意性地示出了当图像被注释时的用户设备的显示；

[0016] 图5示出了在图像被注释的用户设备处执行的处理的流程图；

[0017] 图6示出了作为正被注释的图像的源的用户设备处的处理的步骤的流程图；

[0018] 图7a和图7b示出了用于组合的视频和表面再现SR数据的示例发射机和接收机流水线的示意图；

[0019] 图8示出了帧修改应用与在用户设备上执行的通信客户端应用之间的通信；以及[0020] 图9示出了二维纹理映射。

具体实施方式

[0021] 仅通过示例来描述本公开的实施例。

[0022] 图1示出了通信系统100，其包括与用户终端或设备102相关联的第一用户104(用户A)，以及与第二用户终端或设备108相关联的第二用户110(用户B)。用户设备102和108可以通过通信网络106在通信系统100中进行通信，从而允许用户104和110通过通信网络106彼此通信。通信网络106可以是具有在第一用户设备102和第二用户设备108之间提供通信信道的能力的任何适合的网络。例如，通信网络106可以是因特网或另一类型的网络，诸如高数据速率蜂窝或移动网络(例如，第三代(“3G”)移动网络)。

[0023] 注意，在替代实施例中，用户设备可以经由图1中未示出的附加中间网络连接到通信网络106。例如，如果用户设备102是移动设备，则它可以经由蜂窝或移动网络(图1中未示出)连接到通信网络106，所述蜂窝或移动网络例如GSM、UMTS、4G等网络。

[0024] 用户设备102和104可以是任何适合的设备，并且可以例如是移动电话、个人数字助理(“PDA”)、个人计算机(“PC”)(包括，例如，WindowsTM、Mac OSTM和LinuxTM PC)、平板计算机、游戏设备、可穿戴设备或能够连接到通信网络106的其他嵌入式设备。可穿戴设备可以包括可穿戴式头戴式耳机。

[0025] 可以理解的是，用户设备中的一个或多个可以由单个设备提供。用户设备中的一个或多个可以由两个或更多个设备提供，所述两个或更多个设备协作以提供用户设备或终端。

[0026] 在一些实施例中，呼叫中的至少两个用户设备可以是相同类型的设备或不同类型的设备。

[0027] 用户设备102被布置为从用户A 104接收信息以及向用户A 104输出信息。

[0028] 用户设备102执行由与通信系统100相关联的软件提供商提供的通信客户端应用112。通信客户端应用112是在用户设备102中的本地处理器上执行的软件程序。通信客户端应用112在用户设备102处执行处理，以便用户设备102通过通信系统100发送和接收数据。
在用户设备102处执行的通信客户端应用112可以被认证以通过数字证书的呈现在通信系统上进行通信(例如，以证明用户104是通信系统的真实订户，这在WO2005/009019中更详细地描述)。

[0029] 第二用户设备108可以与用户设备102相同或不同。第二用户设备108在本地处理器上执行与在用户设备102处执行的通信客户端应用112相对应的通信客户端应用114。第二用户设备108处的通信客户端应用114执行处理以允许用户B 110通过网络106进行通信，其方式与第一用户设备102处的通信客户端应用112执行处理而允许用户A 104通过网络106进行通信相同。用户设备102和108是通信系统中的端点。

[0030] 为了清楚，图1仅示出了两个用户(104和110)和两个用户设备(102和108)，但是在通信系统100中可以包括更多的用户和用户设备，并且可以使用在相应用户设备上执行的相应通信客户端通过通信系统100进行通信，如本领域已知的。

[0031] 在一些实施例中，视频通话发生在至少两个用户之间。然而，可以理解的是，其他实施例可能没有建立视频通话。

[0032] 在一些实施例中，来自另一用户设备的视频流由一个用户设备接收。另一用户设备准许视频流的至少一个视频图像的注释，并且向能够查看注释的一个用户设备发送信息。信息可以包括注释的图像本身或允许在一个用户设备上重新创建注释的图像的信息。

[0033] 图2示出了在其上执行通信客户端应用以通过通信系统100进行通信的用户设备102的示意图。可以理解的是，其他用户设备108可以是相同的或具有至少所示的模块中的一些。在一些实施例中，图2所示的用户设备102的部件中的一个或多个可以是可选的。如前所述，一些实施例的用户设备可以是单个设备，或者可以由共同提供用户设备功能的多个设备所提供。

[0034] 用户设备102包括中央处理单元(“CPU”)202，该CPU被连接到诸如屏幕或触摸屏、虚拟显示器等的显示器204、诸如用户界面206的输入设备(例如，小键盘)、摄像机208和触摸屏204。在一些实施例中，显示器可替代地由被配置为将图像投影到表面上的投影模块来提供。

[0035] 在一些实施例中，用户界面206可以是小键盘、键盘、鼠标、定向设备、触摸板或类似物等。然而，用户界面206可以是任何适合的用户界面输入设备，例如姿势或运动控制用户输入、头部跟踪或眼部跟踪用户输入。此外，在一些实施例中，用户界面206可以是被配置为确定用户到显示器204的接近度的“触碰”或“接近”检测输入。因此，在一些实施例中，用户界面可以由触摸屏提供。

[0036] 在下面描述的实施例中，摄像机208可以是集成到用户设备102中的或者经由有线或无线连接耦合到用户设备的常规网络摄像机。可替代地，摄像机208可以是深度感知摄像机，例如飞行时间或结构光摄像机。摄像机208可以包括多个图像捕获元件。图像捕获元件可以位于不同的位置或者用不同的点或视图所指向，使得来自图像捕获元件的每个中的图像可以被处理或组合。例如，可以比较图像捕获元件图像，以便基于视差错误来确定距图像的深度或物距。此外，在一些示例中，图像可以被组合以产生具有比来自单个图像捕获元件图像的可能更大的分辨率或更大的视角的图像。在一些实施例中，摄像机可以由多个摄像机提供。

[0037] 在一些实施例中，可以提供一个或多个摄像机来跟踪用户的眼部的移动。一个或多个摄像机可以是专用摄像机，或者也可以提供场景视图。在一些实施例中，眼部跟踪摄像机向算法提供输入以控制提供给另一用户的视频流。例如，提供给另一用户的视频流可以具有当前设备的用户当前正在查看的场景的一部分。例如在用户设备是头戴式耳机或头戴式设备的形式的情况下，情况可能如此。

[0038] 输出音频设备210(例如，扬声器、多个扬声器、头戴式耳机、耳机和/或类似物)和输入音频设备212(例如，麦克风或多个麦克风)连接到CPU202。显示器204、用户界面206、摄像机208、输出音频设备210和输入音频设备212可以集成到用户设备102中，如图2所示。在替代的用户设备中，显示器204、用户界面206、摄像机208、输出音频设备210和输入音频设备212中的一个或多个可以不被集成到用户设备102中，并且可以经由相应的接口连接到CPU 202。这种接口的一个示例是USB(通用串行总线)接口。

[0039] CPU 202连接到网络接口224(例如，调制解调器)，以用于与通信网络106进行通信。网络接口224可以集成到用户设备102中，如图2所示。在可替代的用户设备中，网络接口224未被集成到用户设备102中。

[0040] 如本领域已知的，用户设备102还包括用于存储数据的一个或多个存储器226。存储器226可以是诸如ROM的永久存储器。可选地或附加地，存储器226可以包括诸如RAM的暂时性存储器。

[0041] 用户设备102安装有通信客户端应用112，其中通信客户端应用112存储在存储器226中并且被布置用于在CPU 202上执行。图2还示出了在CPU202上执行的操作系统(“OS”)
214。在OS 214之上运行的是用于上述通信客户端应用112的软件栈216。软件栈示出了I/O层218、客户端引擎层220和客户端用户界面层(“UI”)222。每层负责特定功能。因为每层通常与两个其他层进行通信，所以它们被认为是被布置成栈的，如图2所示。操作系统214管理计算机的硬件资源并且处理经由网络接口224向通信网络106发送的和从通信网络106发送的数据。I/O层218包括音频和/或视频编解码器，其接收输入的编码的流并对它们进行解码，以便适当地输出到扬声器210和/或显示器204，并且其从麦克风212和/或摄像机208接收未编码的音频和/或视频数据，并且对该数据进行编码以作为流发送到通信系统100的其他最终用户设备。客户端引擎层220处理如上所述的VoIP系统的连接管理功能，例如，通过基于服务器或P2P(对等)地址查找和认证来建立通话或其他连接。客户端引擎也可以负责本文中未讨论的其他次要功能。客户端引擎220与客户端用户界面层222进行通信。客户端引擎220可以被布置为控制客户端用户界面层222以经由显示在显示器204上的通信客户端应用112的用户界面向用户设备102的用户呈现信息，并且经由用户界面从用户设备102的用户接收信息。

[0042] 在OS 214之上运行的可以是另外的应用230a和230b。下面参考另外的应用230a和230b以及作为单独的应用的通信客户端应用112来描述实施例，然而可以将另外的应用
230a和230b的功能并入到通信客户端应用112中。

[0043] 在图3所示的一个实施例中，用户设备102是头戴式耳机或头戴式用户设备的形式。头戴式用户设备包括框架302，该框架302具有想要适合于穿戴者的鼻梁上的中央部分304以及想要适合于用户的耳朵上的左右支撑延伸部306、308。虽然支撑延伸部306、308基本上被示出为是直的，但是它们可以以弯曲的部分终止，以常规眼镜的方式更舒适地适合于耳朵上。

[0044] 框架302支持标记为310L和310R的左光学组件和右光学组件，该光学组件可以是例如由玻璃或聚合物形成的波导。

[0045] 中央部分304可以容纳CPU 303、存储器328和网络接口324，如图2所述。此外，框架302可容纳微型显示器形式的光引擎和形式为凸透镜和准直透镜的成像光学器件。在一些实施例中，光引擎可以包括另外的处理器，或者采用CPU 303来生成用于微型显示器的图像。微型显示器可以是任何类型的图像源的光，例如液晶显示器(LCD)、背光LCD、LED矩阵阵列(无论是有组织的还是无组织的)和任何其他适合的显示器。显示器可以由激活显示器的各个像素的电路来驱动以生成图像。来自每个显示器的基本准直的光通过在每个组件上提供的相应的耦合接入区312L、312R输出或耦合到每个光学组件310L、310R。然后，耦合接入的光可以通过涉及在相应的中间(折叠)区域314L、314R中的光学组件的横向的衍射和TIR(全内反射)的机制被引导，并且还向下进入相应的出射区域316L、316R，在出射区域316L、
316R中耦合接入的光向用户的眼睛出射。

[0046] 光学组件310可以基本上是透明的，使得用户不仅可以查看来自光引擎的图像，而且还可以通过光学组件查看真实世界视图。

[0047] 光学组件可以具有折射率n，其使得完全内部反射发生以沿着中间扩展区域314引导来自光引擎的光束，并向下朝向出射区域316。

[0048] 头戴式耳机或头戴式设备形式的用户设备102还可以包括被配置为捕获佩戴头戴式耳机的用户的视场的至少一个摄像机。例如，图3所示的头戴式耳机包括立体摄像机318L和318R，立体摄像机318L和318R被配置为分别从用户的左眼和右眼捕获近似视图(或视场)。在一些实施例中，一个摄像机可以被配置为捕获适合的视频图像，并且另外的摄像机或范围感测传感器被配置为捕获或确定从用户到用户的环境中的对象的距离。

[0049] 类似地，头戴式耳机形式的用户设备102可以包括安装在头戴式耳机的框架306上的多个麦克风。图3所示的示例分别示出了位于支撑延伸部或臂306和308的“前”端处的左麦克风322L和右麦克风322R。支撑延伸部或臂306和308还可以包括“左”和“右”通道扬声器、耳机或其他音频输出换能器。例如，图3所示的头戴式耳机包括用作左和右声道输出扬声器的一对骨传导音频换能器320L和320R。

[0050] 参考图4a至图4d，其示出了在接收设备处显示的图像的示例。所有附图示出了在显示器204上显示的图像，该示例显示器在本示例中是触摸屏。

[0051] 在图4a中，视频流已被暂停，并且视频流被显示在显示器的角落区域中。这被标记为8。区域8因此继续显示接收的视频流，但是现在以更小的尺寸显示视频流。在一些实施例中，所显示的视频流看起来覆在暂停的视频图像上。暂停的图像具有接收流的设备的用户想要注释的区域2。可以控制显示器以显示控制器6。在所示的示例中，控制器可以是具有在中央区域周围显示的不同选项的径向菜单。中央区域可以包含取消暂停选项。可以理解的是，在其他实施例中，控制器可以采取任何其他适合的格式。在一些实施例中，控制器可以在显示器的不同区域上显示给通话控制器。在其他实施例中，控制器可以与通话控制器一起被显示或合并通话控制器。

[0052] 在一些实施例中，取消暂停选项使得暂停的图像不再显示。可以显示实况视频流。该实况视频流可以是全屏显示的。实况视频流可以是实时的。

[0053] 控制器可以具有绘图工具，其中一些实施例可以是默认选择。

[0054] 在一些实施例中，3D网格过渡可以指示绘图体验是空间的并且针对可以在其上被绘制的表面提供可见性。

[0055] 在一些实施例中，视频流与网格信息一起从源设备被接收。

[0056] 在图4b中，已经选择了绘图工具。在一些实施例中，可以显示图标12以指示已经选择了绘图工具。然后，用户可以注释暂停的图像的任何部分。在该示例中，用户希望如上所述地注释区域2。在该示例中，绘制了线10。可以理解的是，在一些实施例中，用户可以直接在屏幕上进行绘制以开始3D注释。线可以放置在发射机设备处显示的混合现实场景的3D表面上。

[0057] 播放图标11(其将取消暂停图像)可以显示在预览PiP(画中画)之上，即在所显示的视频图像流上。在一些实施例中，播放图标11可以在给定的时间量之后不被显示。在一些实施例中，播放图标可以渐弱。当用户停止与屏幕交互时，播放图标可以被再次显示。在一些实施例中，播放图标可以渐显。在一些实施例中，播放图标可以是可选的。

[0058] 在一些实施例中，在显示器的角落中选择实况流窗口将恢复在显示器的全屏幕上播放视频。在一些实施例中，这可以取消暂停所暂停的图像。可以有或者也可以没有图标来促进这种行为。

[0059] 可以理解的是，当用户触摸屏幕并创建注释时，控制器6由选择的选项(例如，绘图工具)来替代。可以理解的是，在一些实施例中，当用户触摸屏幕并创建注释时，绘图工具切换到橡皮擦工具。

[0060] 可以理解的是，注释信息可以被提供给源设备，使得源设备的用户将会看到注释。在一些实施例中，来自源设备的视频流包括注释。由于来自源设备的视频流包括注释，所以与暂停的图像同时被显示在屏幕上的实况视频流也将显示注释。

[0061] 在其他实施例中，应用于图像的注释可以在接收机设备中本地被构造并且被添加到视频流中，或者由在源用户设备和接收用户设备之间的网络中所提供的服务器设备添加。

[0062] 因此，可以在暂停的图像上和实况视频流中看到注释。

[0063] 可以理解的是，显示的视频流可以由用户正在查看源设备的方向来控制。如果可穿戴的源设备佩戴在头上，则视频流可以取决于源设备被指向的方向。

[0064] 在替代实施例中，显示的视频流可以由可选的眼部跟踪算法控制，使得在源处的用户正在观看的图像被显示在接收机处。

[0065] 如图4c所示，用户已经移动了绘图图标12。

[0066] 如图4d所示，用户已经与绘图图标进行了交互，以使控制器6再次显示有多个菜单选项。用户可以以任何适合的方式与绘图图标进行交互，并且可以例如点击、双击、按压和/或按住绘图图标。用户可以选择取消暂停的选项来恢复视频流的实况视图。在一些实施例中，提供了暂停选项，其被选择时将在实况视图和暂停选项之间切换。

[0067] 参考图5，图5示出了当在第一用户设备和第二用户设备之间正在进行通话时，在视频流的接收机处执行的方法的流程图500。

[0068] 该过程在S500开始，其中视频流在第一用户设备处被接收并显示。在该示例中，视频流是从第二用户设备接收的。网格数据和/或其他SR数据可以与视频流一起被提供。

[0069] 在步骤S504，第一用户设备的用户与所显示的图像进行交互以使视频流被暂停。例如，如果视频流正被显示在触摸屏上，则用户可以通过简单地点击或触碰触摸屏来暂停视频流。在一些设备中，用户可以通过与用户界面的适合的交互来暂停视频流。

[0070] 在步骤S506，显示暂停的图像。此外，视频流将继续被显示。

[0071] 在一些实施例中，暂停的图像将是所显示的两个图像中较大的图像，并且视频流可以是所显示的图像中较小的图像。

[0072] 视频流可以覆盖暂停的图像的相对较小的一部分。

[0073] 视频流可以被布置在显示器的外围区域中。

[0074] 在其他实施例中，暂停的图像和视频流可以以不同的相对大小来显示。例如，在一些实施例中，显示器的一半可以用于暂停的图像，并且显示器的一半可以用于视频流。

[0075] 可以理解的是，这仅作为示例，并且暂停的图像和视频流的相对大小可以将显示区域的大小考虑在内。例如，在平板计算机大小的设备上，可能是暂停的图像比视频流大得多。在桌上型类型的布置中，视频流和暂停的图像可能具有较大的区域。

[0076] 在一些实施例中，可能的是暂停的图像小于视频流。

[0077] 在一些实施例中，可以提供类似切换的机制，其中用户可以在暂停的视图和实况视频流之间翻转。在一些实施例中，可以一次只显示暂停的视图和实况视频流中的一个，用户能够在暂停的视图和实况视频流之间切换或以其他方式进行转换。在其他实施例中，同时显示暂停的视图和实况视频流两者，并且用户能够在视图之间进行转换或切换。例如，如果暂停的视图是较大的视图并且视频流是较小的视图，则用户可以切换到其中暂停的视图是较小的视图且视频流是较大的视图的视图，反之亦然。

[0078] 在一些实施例中，用户能够选择暂停的视图和实况视频流中的一个或多个的大小。可替代地或附加地，用户能够选择暂停的视图和实况视频流中的一个或多个的位置。这可以经由用户界面来完成。在由触摸屏提供用户界面的情况下，这可以由用户移动暂停的视图和实况视频流中的一个或多个和/或通过调整暂停的视图和实况视频流中的一个或多个来完成。

[0079] 在步骤S508中，用户能够注释或以其他方式修改暂停的图像，并且当用户进行这些注释时，对暂停的视频图像进行的注释与暂停的图像一起被显示。如稍后将描述的，注释可以采取任何适合的形式。注释可以是文本、线、另一图像等。

[0080] 在步骤510中，注释信息被发送到从其接收到视频流的源设备。

[0081] 在步骤S512中，进行检查以查看图像是否仍然暂停。可替代地，等待取消暂停事件，这将触发步骤S514。用户与用户设备的任何适合的交互可以导致图像被取消暂停。如果图像仍然被暂停，则用户能够继续对暂停的视频图像的注释，如步骤S508所述的及其所示的。

[0082] 在一些实施例中，其注释或更新基本上被实时地发送到源设备。在其他实施例中，其注释或更新可以在时间间隔处发送到源设备。在一些实施例中，在图像被取消暂停之后，注释可以仅发送回到源设备。

[0083] 在一些实施例中，信息可以被发送到源设备，其将可以指示图像在接收设备处仍然是暂停的。

[0084] 如果图像不再暂停，则当照常显示实况视频流时下一个步骤是步骤S514。暂停的图像可以不再显示在接收机侧。然而，可以理解的是，注释的图像可以继续被显示在发射机侧，并且因此也可以被显示在接收设备处接收的视频流中。

[0085] 在取消暂停之后，在一些实施例中，视频流继续被显示，并且不从视频流最初被暂停的时间恢复。显示的视频流可以基本上是实时的。

[0086] 应当理解的是，应用230a可以被配置为检测用户已经暂停了视频流。这可以响应于来自用户界面的输入接收机。该应用可以被配置为使得在视频数据的流(在暂停之后继续接收)也被显示的同时，显示暂停的图像。应用可以被配置为如前所述地控制视频数据的流和暂停的图像的相对大小。应用230a可以被配置为响应于检测到用户已经取消暂停视频流而控制视频流大小以用于改变。

[0087] 应用可以被配置为执行图5的步骤中的一个或多个步骤和/或有助于执行图5的一个或多个步骤。

[0088] 在一些实施例中，应用可以至少在与至少一个存储器结合的处理器上运行的计算机程序或软件来实现。

[0089] 参考图6，其示出了在发送视频的设备处执行的方法的流程图。

[0090] 在步骤S602中，发送视频流。在一些实施例中，这将在整个通话中持续进行。网格信息等可以与视频流一起发送。

[0091] 在步骤S604中，从视频流的接收机接收指示图像已被暂停的信息。该信息可以包括已被暂停的图像或从其中可以确定哪个图像已被暂停的信息。

[0092] 在步骤S606中，从接收设备接收注释信息。

[0093] 在步骤S608中，显示注释。注释被显示叠加在相关联的图像上。

[0094] 可以理解的是，在步骤S604中接收到暂停信息之后，可以任选地执行步骤S610。在该步骤中，可以修改视频流参数。例如，如果要在接收侧显示的视频流是图像视频流的较小版本，则可以发送较低分辨率的流，例如以节省带宽。

[0095] 在步骤S612中，利用修改的视频参数发送视频流。

[0096] 在步骤S614中，可以周期性地进行检查以查看图像是否仍然暂停。如果图像仍然暂停，将继续利用修改的视频参数发送视频流。可以理解的是，在一些实施例中，发射机将响应于接收到指示图像不再暂停的信息。如果图像仍然暂停，则可以继续接收并显示注释信息。

[0097] 如果图像不再暂停，则下一步骤可以是步骤S616，其中视频流参数可以被修改，例如返回到初始视频参数设置，并且可以利用更新的视频流参数来发送视频流。

[0098] 可以理解的是，在一些实施例中，视频参数可以保持不变，而不管图像是否被暂停。

[0099] 在一些实施例中，视频流可以以适当的方式被暂停和/或取消暂停。例如，如果视频流被显示在触摸屏上，触碰或点击屏幕可以导致视频流被暂停和/或取消暂停。可以理解的是，在其他实施例中，诸如鼠标等的定向设备的激活可以提供类似的结果。在其他实施例中，由用户接收的任何其他适合的输入将导致视频流被暂停/取消暂停。

[0100] 在一些实施例中，与显示视频流的触摸屏的任何接触将暂停实况视频流，并允许暂停的图像被注释。

[0101] 在一些实施例中，用户激活放大功能是可能的。在触摸屏的情况下，这可以由用户分开地移动他手上的两个手指或通过与用户界面的任何其他适合的交互来激活。通常，这将是手指和拇指，它们从彼此移开。这种运动可以是所谓的扩展放大移动。在视频流期间的扩展放大移动或其他放大功能将暂停图像并同时在图像上放大。

[0102] 在一些实施例中，如果视频流已经暂停，则用户将能够利用扩展或类似动作进行放大。

[0103] 一些实施例，缩小功能可以由用户使用所谓的缩紧缩小动作来实现，其中手指和拇指一起移动。可以理解的是，在一些实施例中，缩小功能可以经由用户界面以任何其他适合的方式实现。在一些实施例中，如果视频流的暂停的图像处于其缩小极限，则视频流上的缩小功能的执行仅导致图像被暂停。在其他实施例中，缩小功能可以导致缩小功能被执行以及视频流的暂停。

[0104] 可以理解的是，在一些实施例中，用户可以轻点、按压、点击、以其他方式与显示器进行交互从而开始注释。用户可以在显示器上移动他的手指、触控笔或定向设备来定义注释。在一些实施例中，如果用户通过用两个手指触碰与显示器进行交互，则当用户在显示器上移动他的手指时，可以提供两个注释。

[0105] 在OS 214之上运行的是帧修改应用230b。下面参照作为单独的应用的帧修改应用程序230b和通信客户端应用112来描述实施例，然而下面更详细地描述的帧修改应用230b的功能可以被并入到通信客户端应用112中。

[0106] 图8示出了用户设备的帧修改应用230b如何与通信客户端应用112进行交互。在一些实施例中，帧修改应用可以在接收设备和/或源设备中提供。

[0107] 如图8所示，帧修改应用230b被布置为接收捕获的视频(暂停的图像)和绘图或注释指令。帧修改应用程序230b被布置为根据绘图指令修改捕获的(暂停的)视频帧，并向通信客户端应用112提供修改的视频帧。

[0108] 在下面描述的实施例中，帧修改应用230b接收视频帧，并且帧修改应用230b从用户接收绘图指令。响应于从接收设备的用户接收到的绘图指令而被修改的暂停的图像帧是从帧修改应用230b供应到通信客户端应用112的，以用于通过网络106传送回到源用户设备。可以理解的是，暂停的图像以及注释被显示在接收设备处。可替代地，注释或绘图指令可以被发送回到源用户设备，并且帧修改应用可以在源设备本地应用注释以向源设备的用户进行显示。

[0109] 帧修改应用230b经由显示在显示器204上的用户界面向用户呈现信息。该信息将允许用户对图像进行注释，并且将控制例如控制器的显示。这例如如图4a至图4d所示。

[0110] 可以理解的是，来自源设备的视频流可以包括视频网格信息。

[0111] 可以提供三维跟踪器功能，其识别捕获的视频数据中的多个图像的点，并且如果可能是面部等的对象移动则跟踪这些点。在其他实施例中，对象可以是静止的。该对象显示在已暂停的图像中并被注释。暂停的图像可以被认为是对象，或者可以被认为包括一个或多个对象。

[0112] 在一些实施例中，用户在暂停的图像上绘制的注释可以被映射到由跟踪器识别的对象的点上，使得绘图与对象一起三维地移动。对象可以是面部或任何其他适合的对象。可以使用与从接收机设备提供的网格信息和/或纹理映射信息相关联的注释信息将注释应用于源设备处的移动对象。

[0113] 二维的点被拟合到三维三角形的网格到跟踪的特征点。跟踪器算法确定拟合到对象的三维三角形的网格的每个顶点的三维像素坐标(x，y，z)。三维三角形的网格包括限定多个三角形的多个顶点。该网格信息可以从源设备来提供。三维三角形的网格的每个顶点的坐标定义了顶点在帧中的位置，这可以根据像素数量来限定。如上所述，源设备中的摄像机208可以是常规的摄像机或深度感知摄像机。当摄像机208是深度感知摄像机时，由深度感知摄像机输出的深度信息被用作跟踪器算法的附加输入。

[0114] 帧修改应用230b被配置为计算三维三角形的网格的二维表示。这在本文中被称为二维纹理映射。这可以在源设备处确定。

[0115] 用于计算三维三角形的网格的二维表示的各种可能的技术对于本领域技术人员是公知的，并因此在此不再详细讨论。一个示例性的方法包括(i)将三维三角形的网格投影到椭球上；以及(ii)将椭球投影成二维(例如，使用Gall-Peters等面积映射投影)。

[0116] 二维纹理映射叠加在像素网格上，像素网格是多个像素宽，并且是多个像素高。该像素宽度和像素高度定义像素网格的分辨率。像素网格的分辨率例如可以是512×512。UV坐标(表示为像素网格的像素坐标)用于描述图9所示的二维纹理映射700的表面。二维纹理映射中的每个u、v坐标具有在视频帧中的相对应的x、y像素坐标。对于本领域的技术人员将显而易见的是，将意识到选择与接收到的图像中的对象的最大尺寸近似相对应的像素网格的像素分辨率是恰当的。

[0117] 帧修改应用执行纹理映射处理，由此将三维三角形的网格中的每个三角形的纹理复制到二维纹理映射中的相对应三角形。这里使用对三维三角网格中的三角形的“纹理”的引用来指代三维三角网格中特定三角形中每个像素的颜色值。可以根据RGB颜色模型来定义像素颜色值。

[0118] 帧修改应用230b确定并存储对应于注释的坐标(x，y)的u、v坐标。二维纹理映射依据注释进行修改。也就是说，对于所确定的u、v坐标，帧修改应用230b依据其相关联的效果信息来修改二维纹理映射的u、v坐标。帧修改应用230b执行纹理映射处理，其中将二维纹理映射中的每个三角形的纹理复制到三维三角形的网格的相对应的三角形。这里使用对二维纹理映射中的三角形的“纹理”的引用是指代二维纹理映射中特定三角形中的每个像素的颜色值。

[0119] 帧修改应用230b可以将修改的视频帧供应给通信客户端应用112，以用于通过网络106发送到其他用户设备。

[0120] 在上述实施例中，由显示器204上的帧修改应用230b提供的用户界面中所显示的任何修改的帧是由接收设备的通信客户端应用112发送到源设备的。

[0121] 在一些实施例中，将网格信息和/或纹理映射与视频流一起提供给接收机设备。注释信息与接收机设备处的网格信息和/或纹理映射相关联，并且可以被发送回源设备。源处的帧修改应用可以使用该信息将注释应用于对象。这可以用于对象移动的情况。可以使用接收机处的帧修改应用来提供注释的暂停的图像。

[0122] 一些实施例可以在混合现实(MR)应用中使用，然而在其他实施例中，相同的概念可以应用于涉及两个或更多个参与者的任何通信应用。混合现实应用可以例如涉及场景的共享，其中包括摄像机的设备被配置为捕获视频并将视频发送到其他设备。此外，视频的图像可以由远程设备注释并且被“放置”在源设备的图像场景内。

[0123] 为了使对象能够由远程设备注释，与对象相关联的表面再现(SR)或网格数据可以被传递给一个或多个其他参与者。

[0124] 关于图7a，用于用户设备的适合的发送(媒体栈)流水线架构的示例。用户设备可以在本文所描述的实施例中被配置为生成图像(视频数据)和表面再现(SR)或网格数据。该视频数据和SR或网格数据可以被发送到接收设备以便与如先前所述的注释一起使用。

[0125] 在所示的示例中，用于生成共享场景的图像可以由(红-绿-蓝)RGB传感器/摄像机403捕获。RGB传感器/摄像机403可以被配置为传递捕获的RGB原始数据，并且还将任何摄像机姿势/投影矩阵信息传递到适合的设备视频源405。

[0126] 图7a所示的示例性架构还包括深度传感器/摄像机401，其被配置为捕获可以传递给表面再现(SR)引擎和数据库402的深度信息。SR引擎和数据库可以被配置为接收深度信息，并根据已知的网格/SR方法生成SR原始数据。然后可以将SR原始数据传递到设备视频源405。

[0127] 视频源405可以被配置为接收SR原始数据和RGB原始数据以及任何摄像机姿势/投影矩阵信息。此外，视频源405可以被配置为将SR原始数据输出到适合的SR信道编码器407，并且根据原始帧和摄像机姿势/投影矩阵数据将视频图像数据输出到适合的H.264信道编码器409。

[0128] SR信道编码器407可以被配置为接收SR原始数据并对SR原始数据进行编码以生成适合的编码的SR数据。然后，SR信道编码器407可以被配置为将编码的SR数据传递给分组生成器411。具体地，编码的数据可以被传递到SR分组创建器413。

[0129] H.264信道编码器409可以类似地被配置为接收原始图像/视频帧和摄像机姿势/投影矩阵数据，并且处理这些数据以生成编码的帧和SEI(补充增强信息)消息数据。编码的帧和SEI消息数据可以被传递到分组生成器411，并且具体地被传递到H.264分组创建器415。

[0130] 分组生成器411可以控制视频和SR数据的分组，以便数据的接收机能够产生可靠和有效的混合现实体验。

[0131] 分组生成器411可以例如包括SR分组创建器413。SR分组创建器413可以被配置为生成可以被传递到分组类型敏感成形器419的SR片段分组。SR分组创建器413还可以被控制以用于重发反馈目的。在一些实施例中，使用NACK方法进行重传反馈可能是不适合的，因此可以实施ACK方法。

[0132] 因此，在一些实施例中，SR分组创建器413可被配置为将任何SR数据分组的引用保持在未决缓冲器中直至它们被发送。一旦分组被发送，然后可以将引用移动到未确认缓冲器。

[0133] 在这样的实施例中，未确认缓冲器可以具有限制发射机和接收机之间的业务的窗口大小。

[0134] 然后可以维护SR数据分组的引用，直到接收机确认接收到分组。

[0135] 在一些实施例中，SR分组创建器413可被配置为在SR帧到达时继续发送来自未决缓冲器的SR数据分组，即使当时没有接收到反馈消息。实施持续发送方法表示接收机处的饥饿可以不发生。

[0136] 分组生成器411可以包括H.264分组创建器415。H.264分组创建器415可以被配置为生成适合的H.264分组片段并将这些分组片段传递到分组类型敏感成形器419。

[0137] 分组生成器411可以包括被配置为控制分组片段的生成和输出的带宽(BW)控制器417。BW控制器417可以负责在SR分组创建器413和H.264分组创建器415之间划分带宽分配。

[0138] 分组敏感成形器419可以被配置为接收SR分组片段和H.264分组片段并且生成被传递到传送器421的适合的数据分组。传送器421经由适合的输出流来接收数据分组和这些的输出。

[0139] 关于图7b，示出了用于被配置为接收图像(视频数据)和表面再现(SR)或网格数据的用户设备的适合的接收流水线(媒体栈)架构。

[0140] 用户设备可以包括被配置为接收视频流数据并将该信息传递给接收机/分组汇编器的传送器451。

[0141] 分组汇编器可以包括SR分组汇编器453和H.264分组汇编器455。SR分组片段可以被传递到SR分组汇编器453以用于生成编码的SR数据分组。H.264分组汇编器455可以被配置为接收H.264分组片段并生成编码的帧数据。

[0142] SR分组汇编器453可以被配置为生成适合的反馈消息，所述适合的反馈消息可以被发送到SR分组创建器，以便控制SR数据的重传。SR信道解码器457可以报告导致生成反馈消息的错误。

[0143] 编码的SR数据分组可以被传递到SR信道解码器457以生成SR原始数据。

[0144] H.264信道解码器459可以被配置为从分组汇编器455接收编码的帧，并且输出适合的原始帧和摄像机姿势/投影数据。然后，可以将SR原始数据和原始帧以及摄像机姿势/投影数据传递到视频接收器461。

[0145] 然后，视频接收器461可以被配置为将信息输出到适合的远程视频应用463或库，用于在渲染器465处进行渲染或在视频表面渲染器467处进行视频服务渲染。

[0146] 此外，经由传送器451接收的关于对象或注释的任何数据可以被传递到适合的对象协议实体，例如对象更新消息解码器，并且可以被传递到适合的注释或对象渲染器。

[0147] 在实现如本文所描述的架构中，以视频或图像数据的形式的MR场景和用于生成场景的3D渲染的数据可以被可靠地并且有效地使用可用带宽从一个设备传送到另一个设备。

[0148] 如本文所述，MR的方面之一是共享和注释捕获的场景的能力。例如，由场景中的一个参与者捕获的视频可以被注释。

[0149] 对象的放置可以关于场景并且还可以关于场景的三维表示来进行。为了使得能够在远程设备上呈现或渲染准确的放置，与该场景相关联的表面再现(SR)或网格数据可以被传递给共享场景的所有参与者。

[0150] 如本文所述，MR的方面之一是共享和注释对象的能力。例如，由场景中的一个参与者捕获的图像可以由不同设备处的另一个用户来注释。场景所有者可以由第一用户设备来提供，并且可以是与其他参与者共享其混合现实场景的协议端点。例如，场景所有者可以包括操作诸如图3所示的用户设备并捕获用户A的环境的用户。

[0151] 场景参与者可以是协议端点，其被配置为接收由场景所有者生成的混合现实场景的视频流，并且将注释应用于暂停的图像，其中图像在从场景所有者接收的视频流中。这可以由用户B操作的第二用户设备来提供。在一些实施例中，第二用户设备可以是触摸屏设备、计算机、移动电话等。

[0152] 虽然已经参考用户对来自混合现实环境的视频流的暂停的图像所做的注释来描述实施例，但是实施例可以与从源设备接收的任何视频流一起被使用。

[0153] 一些实施例已经被描述为使用SR网格。这仅作为示例，并且其他实施例可以不使用SR网格。注释可以包括由用户应用到暂停的图像的任何图像数据，并且可以是线、文本、图像、标签或任何其他适合的图像数据。

[0154] 通常，本文所描述的功能中的任何一项可以使用软件、固件、硬件(例如，固定逻辑电路)或这些实现的组合来实现。本文所用的术语“控制器”、“功能”、“组件”和“应用”通常表示软件、固件、硬件或其组合。在软件实现的情况下，控制器、功能、组件或应用表示在处理器(例如，CPU或多个CPU)上执行时执行指定任务的程序代码。程序代码可以存储在一个或多个计算机可读存储器设备中。下面描述的技术的特征是平台无关的，这表示技术可以在具有各种处理器的各种商业计算平台上被实现。

[0155] 例如，用户设备还可以包括使得用户设备的硬件执行操作的实体(例如，软件)，例如，处理器功能块等等。例如，用户设备可以包括计算机可读介质，其可以被配置为维护如下指令，所述指令使得用户设备并且更具体地使得用户设备的操作系统和相关联的硬件来执行操作。因此，该指令用于配置操作系统和相关联的硬件来执行操作，并且以这种方式引起操作系统和相关联的硬件的变换以执行功能。指令可以由计算机可读介质通过各种不同的配置提供给用户设备。

[0156] 计算机可读介质的一种这样的配置是信号承载介质，并因此被配置为例如经由网络将指令(例如，作为载波)发送到计算设备。计算机可读介质也可以被配置为计算机可读存储介质，并因此不是信号承载介质。计算机可读存储介质的示例包括随机存取存储器(RAM)、只读存储器(ROM)、光盘、闪速存储器、硬盘存储器以及可以是使用磁性、光学和其他技术来存储指令和其他数据的其他存储器设备。

[0157] 因此，提供了用户设备，包括：显示器；用户界面；网络接口，其被配置为经由通信网络在所述用户设备处从另一用户设备接收视频数据流，所述显示器被配置为显示所述视频数据流；以及至少一个处理器，被配置为：检测经由所述用户界面的交互以暂停所述视频流并且显示所述视频流的暂停的视频帧，并且还显示所述视频数据流；检测经由所述用户界面将至少一个注释应用到所述暂停的视频帧；使得所述暂停的视频帧和所述至少注释与所述视频数据流一起由所述显示器来显示；以及使得关于所述至少注释的信息经由所述网络接口被发送到所述另一用户设备。

[0158] 网络接口可以被配置为接收包括所述对象和所述至少一个注释的所述视频数据的流的视频帧，并且所述显示器能够被配置为将包括所述对象和所述至少一个注释的视频数据的流的接收的视频帧与所述暂停的视频帧一起显示。

[0159] 显示器可以是触摸屏显示器，并且能够被配置为提供所述用户界面，并且用于暂停所述视频流的经由所述用户界面的检测的交互能够包括与所述触摸屏显示器的交互。

[0160] 所述至少一个处理器可被配置为当所述显示器正在显示所述视频数据的流的接收的视频帧时响应于检测到所述显示器上的移动，所述移动表示缩放功能，并且响应于检测到所述移动暂停所述接收到的视频帧，执行缩放功能并且根据所述缩放功能使得显示所述暂停的接收的视频帧。

[0161] 所述至少一个处理器可以被配置为，在执行所述缩放功能之前，确定所述缩放功能是否可以被执行，并且如果确定所述缩放功能可以被执行，则仅执行所述缩放功能。

[0162] 所述至少一个处理器可以被配置为当所述暂停的接收到的视频帧被显示时，使得在所述显示器的外围区域中显示所述视频数据的流的接收的视频帧。

[0163] 所述至少一个处理器可以被配置为控制显示器使得显示的暂停的接收的视频帧大于视频数据的流的显示的接收的视频帧。

[0164] 所述至少一个处理器可以被配置为响应于检测到对暂停选项的选择，使得显示提供一个或多个注释选项的菜单信息。

[0165] 所述至少一个处理器可以被配置为控制对与所述视频数据的流的接收的视频帧相关联的取消暂停图标的显示，所述图标的选择使得取消暂停暂停的接收的视频帧。

[0166] 所述至少一个处理器可以被配置为根据自上次注释被应用以来的时间来控制对所述取消暂停图标的显示。

[0167] 显示器可以被配置为显示所述暂停的接收的视频帧和所述至少一个注释。

[0168] 该设备可以被配置为经由网络接口从所述另外的用户设备接收网格信息。

[0169] 所述至少一个处理器可以被配置为使用所述暂停的视频帧的所述对象的所述网格信息和所述注释输入来提供包括暂停的接收的视频帧和所述至少一个注释的图像数据。

[0170] 用户设备和另外的用户设备可以在视频通话中。

[0171] 视频数据的流的接收的视频帧可以具有混合现实场景。

[0172] 还提供了在用户设备处实现的方法，所述方法包括：显示通过通信网络从另外的用户设备收视视频数据的流的接频帧；当接收的视频帧正被显示时，检测经由所述用户设备的用户界面的对暂停选项的选择以暂停所述接收的视频帧；响应于所述检测，显示所述暂停的接收的视频帧和视频数据的流的接收的视频帧；经由所述用户界面接收至少一个注释输入，所述至少一个注释输入定义将被应用于所述暂停的接收的视频帧的对象的至少一个注释；并且使得关于所述至少注释的信息被发送到所述另外的用户设备。

[0173] 所述方法可以包括响应于使得关于所述注释的所述信息被发送到所述另外的用户设备，接收包括所述对象和所述至少一个注释的数据的帧，并且将包括所述对象和所述至少注释的接收的数据的帧与所述暂停的接收的视频帧一起显示。

[0174] 显示器可以提供所述用户界面，并且对所述暂停选项的选择的检测可以包括检测所述显示器的触碰。

[0175] 所述方法可以包括当所述显示器正在显示所述视频数据的流的接收的视频帧时，检测所述显示器上的移动，所述移动表示缩放功能，并且响应于检测到所述移动暂停所述接收的视频帧，执行缩放功能，并根据缩放功能显示所述暂停的接收的视频帧。

[0176] 该方法可以包括在执行所述缩放功能之前，确定所述缩放功能是否可以被执行，并且仅如果确定所述缩放功能可以被执行，则执行所述缩放功能。

[0177] 所述方法可以包括当所述暂停的接收到的视频帧被显示时，在所述显示器的外围区域中显示视频数据的流的接收的视频帧。

[0178] 显示可以使得所显示的暂停的接收的视频帧大于视频数据的流的显示的接收的视频帧。

[0179] 该方法可以包括响应于检测到对暂停选项的选择，显示提供一个或多个注释选项的菜单信息。

[0180] 该方法可以包括显示与视频数据的流的接收的视频帧相关联的取消暂停图标，对所述图标的选择使得取消暂停所述暂停的接收的视频帧。

[0181] 所述方法可以包括根据自上次注释被应用以来的时间来控制对所述取消暂停图标的显示。

[0182] 该方法可以包括显示所述暂停的接收的视频帧和所述至少一个注释。

[0183] 该方法可以包括从所述另外的用户设备接收网格信息。

[0184] 该方法可以包括使用所述暂停的视频帧的所述对象的所述网格信息和所述注释输入来提供包括暂停的接收的视频帧和所述至少一个注释的图像。

[0185] 用户设备和另外的用户设备可以在视频通话中。

[0186] 视频数据的流的接收的视频帧可以具有混合现实场景。

[0187] 可以提供一种计算机程序，该计算机程序包括计算机可执行指令，所述计算机可执行指令当在至少一个处理器上运行时，使得先前讨论的任何方法步骤被提供。

[0188] 尽管已经以结构特征和/或方法动作特有的语言对主题进行了描述，但是应当理解，所附权利要求中限定的主题不一定限于上述具体特征或动作。相反，上述具体特征和动作被公开为实现权利要求的示例形式。

标题	发布/更新时间	阅读量
全景视频处理方法及系统	2020-05-08	252
适用于远程桌面应用程序的个体应用程序窗口的流式传输	2020-05-08	567
一种用于DVR的音视频流的处理方法及装置	2020-05-08	614
短视频制作系统、方法、电子设备及可读存储介质	2020-05-08	782
基于安全帽识别监控系统的配置系统、方法、设备及介质	2020-05-11	848
人机交互式软件录屏方法	2020-05-08	564
直播间弹幕显示方法、存储介质、设备及系统	2020-05-08	384
基于动态模式分解的运动检测方法、终端设备及计算机可读存储介质	2020-05-08	828
一种基于深度学习的疲劳检测方法	2020-05-08	265
一种跨平台集成视频流的系统及方法	2020-05-08	613

用于生成视频流的注释的方法和装置

用于生成视频流的注释的方法和装置

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：