用于多媒体回放中的环境信号的分布式同步控制系统专利检索-内容可寻址存储器随机存取存储器资料储存系统专利检索查询-专利查询网

用于多媒体回放中的环境 信号的分布式同步控制系统

阅读：120发布：2020-05-13

专利汇可以提供用于多媒体回放中的环境信号的分布式同步控制系统专利检索，专利查询，专利分析的服务。并且一种方法，包括提供媒体数据集，该媒体数据集包括媒体内容数据和定义一组环境事件的环境效果元数据，每个环境事件对应于多个媒体时间戳中的一个媒体时间戳。该方法还包括，针对该组环境事件中的每个环境事件，识别通信协议的协议时间戳，其中协议时间戳对应于环境事件的媒体时间戳，以及包括生成用于根据通信协议传输的消息，其中该消息将环境事件与协议时间戳相关联。该方法还包括将消息寻址到一个或更多个环境效果生成器。，下面是用于多媒体回放中的环境信号的分布式同步控制系统专利的具体信息内容。

权利要求

1.一种方法，包括：
提供媒体数据集，该媒体数据集包括媒体内容数据和定义一组环境事件的环境效果元数据，每个环境事件对应于多个媒体时间戳中的一个媒体时间戳；以及针对该组环境事件中的每个环境事件，
识别通信协议的协议时间戳，其中所述协议时间戳对应于该环境事件的媒体时间戳，生成用于根据所述通信协议传输的消息，其中所述消息将所述环境事件与所述协议时间戳相关联，以及
将所述消息寻址到一个或更多个环境效果生成器。
2.根据权利要求1所述的方法，其中：
所述通信协议是无线通信协议，
将所述消息寻址到一个或更多个环境效果生成器是基于所述环境事件的方位，并且所述方法还包括将每个环境事件的消息无线传输到包括所述一个或更多个环境效果生成器的一组环境效果生成器。
3.根据权利要求2所述的方法，其中：
所述媒体内容数据包括多个音频帧；
所述消息将所述多个音频帧中的一个或更多个与所述协议时间戳相关联；并且所述方法还包括在所述消息中传输一个或更多个音频帧和所述环境效果元数据中描述所述环境事件的部分。
4.根据权利要求1所述的方法，其中，所述媒体内容数据包括多个媒体帧，并且其中所述方法还包括，针对该组环境事件中的每个环境事件，在呈现与对应于该环境事件的媒体时间戳相关联的媒体帧之前或之后的一毫秒内，在所述一个或更多个环境效果生成器处生成该环境事件。
5.根据权利要求1所述的方法，还包括：
针对所述一个或更多个环境效果生成器中的每个环境效果生成器，存储该环境效果生成器的方位，其中该环境效果生成器的所述方位包括该环境效果生成器的位置和该环境效果生成器的方向；
针对该组环境事件中的每个环境事件，基于该环境事件的方位和所述一个或更多个环境效果生成器中每个环境效果生成器的方位，识别用于生成该环境事件的所述环境效果生成器的子组；以及
针对所述子组中的每个环境效果生成器：
基于该环境效果生成器的方位和所述环境事件的方位，计算用于与所述子组中的其他环境效果生成器相结合地生成所述环境事件的一组一个或更多个指令，以及将该组一个或更多个指令传输到该环境效果生成器。
6.根据权利要求1所述的方法，还包括：
在通信接口处接收所述媒体数据集作为数据流，其中所述媒体内容数据包括多个视频帧，每个视频帧与所述多个媒体时间戳中的一个相关联，并且其中所述多个视频帧和所述环境效果元数据在所述数据流中被多路复用；以及
解复用所述数据流。
7.根据权利要求1所述的方法，还包括基于三维环境的交互式表示生成所述环境效果元数据。
8.根据权利要求1所述的方法，还包括，针对该组环境事件中的每个环境事件：
在所述一个或更多个环境效果生成器中的一个环境效果生成器处接收所述消息；
将与该环境事件相关联的所述协议时间戳与由该环境效果生成器的设备时钟生成的时钟值进行比较；以及
响应于确定所述协议时间戳等于或晚于所述时钟值，基于所述消息中的一个或更多个指令生成该环境事件。
9.根据权利要求1所述的方法，其中，针对该组环境事件中的每个环境事件，所生成的消息指定用于控制所述环境效果生成器之一中的光源的一个或更多个指令，其中，所述一个或更多个指令指示将由所述光源生成的光的颜色、强度和方向中的至少一个。
10.一种多媒体设备，包括：
媒体输入端，其被配置成提供媒体数据集，该媒体数据集包括媒体内容数据和定义一组环境事件的环境效果元数据，每个环境事件对应于多个媒体时间戳中的一个媒体时间戳；
解码器模块，其被配置成，针对该组环境事件中的每个环境事件，识别通信协议的协议时间戳，其中所述协议时间戳对应于环境事件的媒体时间戳；
封装模块，其被配置成，针对该组环境事件中的每个环境事件，
生成用于根据所述通信协议传输的消息，其中所述消息将所述环境事件与所述协议时间戳相关联，以及
将所述消息寻址到一个或更多个环境效果生成器；以及
 通信接口，其被配置成传输所述消息。
11.根据权利要求10所述的多媒体设备，还包括被配置成显示媒体内容的显示器模块，其中所述媒体内容包括视频数据。
12.根据权利要求10所述的多媒体设备，其中：
所述通信协议是无线通信协议，
所述封装模块被配置成，针对该组环境事件中的每个环境事件，基于该环境事件的方位将所述消息寻址到所述一个或更多个环境效果生成器，并且
所述通信接口还被配置成将每个环境事件的消息无线传输到包括所述一个或更多个环境效果生成器的一组环境效果生成器。
13.根据权利要求12所述的多媒体设备，其中：
所述媒体内容数据包括多个音频帧；
所述消息将所述多个音频帧中的一个或更多个与所述协议时间戳相关联；并且所述通信接口还被配置成在所述消息中传输一个或更多个音频帧和所述环境效果元数据中描述所述环境事件的部分。
14.根据权利要求10所述的多媒体设备，还包括：
配置存储器，其被配置成，针对所述一个或更多个环境效果生成器中的每个环境效果生成器，存储该环境效果生成器的方位，其中该环境效果生成器的所述方位包括该环境效果生成器的位置和该环境效果生成器的方向；以及
重新映射模块，其被配置成，针对该组环境事件中的每个环境事件，
基于该环境事件的方位和所述一个或更多个环境效果生成器中每个环境效果生成器的方位，识别用于生成该环境事件的环境效果生成器的子组，以及
基于所述子组中每个环境效果生成器的方位和该环境事件的方位，计算用于在环境效果生成器的所述子组中生成该环境事件的一组一个或更多个指令，其中所述通信接口还被配置成，针对所述子组中的每个环境效果生成器，将所述一组一个或更多个指令传输到所述环境效果生成器。
15.根据权利要求10所述的多媒体设备，还包括所述一个或更多个环境效果生成器，其中所述一个或更多个环境效果生成器中的每个环境效果生成器包括：
无线接收器，其被配置成接收该组环境事件中每个环境事件的消息；
设备时钟，其与所述一个或更多个环境效果生成器的其他环境效果生成器中的一个或更多个设备时钟中的每一个同步；以及
可配置光源，其被配置成响应于确定所述协议时间戳等于或晚于由所述设备时钟生成的时钟值，生成环境事件。
16.根据权利要求10所述的多媒体设备，其中，针对所述一组环境事件中的每个环境事件，所生成的消息指定用于控制所述环境效果生成器之一中的光源的一个或更多个指令，其中，所述一个或更多个指令指示将由所述光源生成的光的颜色、强度和方向中的至少一个。
17.一种系统，包括：
输入端，其被配置成接收定义一组环境事件的环境效果元数据，其中每个环境事件指定视觉效果；
解码器模块，其被配置成，针对该组环境事件中的每个环境事件，识别通信协议的协议时间戳；以及
封装模块，其被配置成，针对该组环境事件中的每个环境事件，生成用于根据所述通信协议进行传输的消息，其中该消息将所述协议时间戳与所述环境事件相关联。
18.根据权利要求17所述的系统，还包括：
一组一个或更多个扬声器；
一组一个或更多个环境效果生成器，每个环境效果生成器与所述扬声器中的一个位于同一外壳中；以及
通信接口，其被配置成:
将所述消息无线传输到所述环境效果生成器中的至少一个，以及
将音频数据无线传输到该组一个或更多个扬声器。
19.根据权利要求17所述的系统，其中：
所述输入端被配置成接收媒体数据集中的环境效果元数据，该媒体数据集包括媒体内容数据，其中该组环境事件中的每个环境事件对应于所述媒体内容数据的多个媒体时间戳中的一个媒体时间戳；
所述协议时间戳对应于所述环境事件的媒体时间戳；并且
所述封装模块还被配置成将所述消息寻址到一个或更多个环境效果生成器。
20.根据权利要求17所述的系统，其中，所述封装模块被配置成，针对该组环境事件中的每个环境事件，基于该环境事件的方位将所述消息寻址到一个或更多个环境效果生成器。

说明书全文

用于多媒体回放中的环境信号的分布式同步控制系统

[0001] 相关申请

[0002] 本申请是于2018年3月14日提交的第15/921,473号美国申请的国际申请，其要求于2017年5月17日提交的第62/507,650号美国临时申请的优先权，所有这些申请通过引用以其整体并入本文。

技术领域

[0003] 本公开涉及多媒体回放设备领域，尤其涉及多媒体回放的环境效果。

[0004] 背景

[0005] 家庭影院系统是视听系统，通常包括许多消费电子部件，如大型高分辨率显示器设备(例如，电视(TV)屏幕、投影仪等)、多信道扬声器和音频回放系统以及视频回放装置(例如机顶盒、光盘播放器、流媒体设备)。这种系统允许用户体验电影、音乐、游戏和从基于互联网的订阅流式服务、物理媒体(例如，数字多功能光盘(DVD)或蓝光光盘)、下载的文件、卫星链接或其他来源提供的其他媒体。

[0006] 现代家庭影院系统的常见配置包括大型平板高清电视(HDTV)或视频投影仪以及5.1或7.1信道环绕声放大器，其中多个扬声器放置在房间周围的不同位置，环绕用户的观看位置。扬声器系统通常包括至少一个低音音箱，以准确再现电影或音乐轨道中的低频声音。TV设备可以是智能TV，它提供集成的互联网和家庭网络接入，并具有执行应用程序以及从不同来源获取并存储媒体内容的能力。
附图说明

[0007] 本公开在附图的图中通过示例而非限制的方式说明。

[0008] 图1是根据一个实施例的多媒体系统的框图。

[0009] 图2A示出了根据一个实施例的媒体数据集，包括环境效果元数据。

[0010] 图2B示出了根据一个实施例的用于传输环境事件数据的消息。

[0011] 图3示出了根据一个实施例的环境效果生成器的框图。

[0012] 图4示出了根据一个实施例的环境效果生成器和扬声器组件的两种视图。

[0013] 图5A示出了根据一个实施例的观看室内的一组环境效果生成器的回放位置。

[0014] 图5B示出了根据一个实施例的观看室内的一组环境效果生成器的充电位置。

[0015] 图6示出了根据一个实施例的用于指定观看室内位置的坐标系统。

[0016] 图7示出了根据一个实施例的球形坐标系统。

[0017] 图8A示出了根据一个实施例的媒体轨道，包括环境效果元数据轨道。

[0018] 图8B示出了根据一个实施例的攻击(attack)、衰减(decay)、维持(sustain)、释放(release)(ADSR)曲线图。

[0019] 图9示出了根据一个实施例的用于生成环境效果的过程。

[0020] 详细描述

[0021] 下面的描述阐述了诸如特定系统、部件、方法等的示例的许多特定细节，以便提供对所要求保护的主题的若干实施例的良好理解。然而对本领域的技术人员将明显的是至少一些实施例可在没有这些特定细节的情况下被实施。在其他实例中，未详细描述或以简单框图形式呈现众所周知的部件或方法，以便避免不必要地模糊所要求保护的主题。因此，阐述的特定细节仅仅是示例性的。特定的实施例可根据这些示例性细节而变化，并且仍然被设想为在要求保护的主题的范围内。

[0022] 家庭影院系统的一个实施例包括产生氛围照明效果的硬件，该效果与主显示器(如HDTV屏幕)上视频内容的呈现同时显示。用于提供氛围照明效果的一种方法包括基于主显示器上显示的视频图像的颜色和强度产生照明效果，然后将来自光源的氛围光投射到主显示器的背面。使用这种方法，氛围光被限制在主显示器的背面，并且没有广泛分布在整个房间环境中。此外，这种方法不提供任何由原始内容创建者或第三方编写氛围照明事件或其他环境效果脚本的机制。

[0023] 用于提供氛围照明或分布在整个观看室周围的其他环境效果(例如，运动致动器、座椅晃动器、闪光灯或烟雾效果等)的一种方法包括放置在房间周围不同位置中的多个环境效果生成器。然而，这增加了系统中部件的数量；许多独立部件(即，环绕声扬声器和环境效果生成器)到主显示器或媒体内容播放器的有线连接会导致大量电线在房间周围布线。

[0024] 在一个实施例中，提供视觉效果(例如，氛围照明)和/或其他环境效果的家庭影院系统包括多个环境效果生成器，如氛围光源，其与环绕声扬声器集成到相同的外壳中，并且由多媒体设备(例如，HDTV、机顶盒等)无线控制。在这样的系统中，音频数据和用于控制环境效果生成器的指令都是无线传输的，消除了对信号线缆的需求。扬声器和环境效果生成器由感应可充电电池供电，进一步消除了对电源线的需求。此外，多媒体设备通过将与媒体内容的回放相关联的时间戳与无线通信协议的时间戳相关联，实现了与媒体内容(例如，音乐或电影)的回放同步地呈现环境效果事件的亚毫秒时延。每个环境效果生成器可以被单独控制，使得效果可以被局部化；例如，不同的氛围照明效果可以位于房间中不同的预定位置和方向。因此，该系统提供了一种机制，通过该机制，环境效果可以广泛分布在观看室周围，与媒体内容同步，并且被远程创作以在观看室(例如，在用户家中)中再现。

[0025] 图1示出了包括多个环境效果生成器141-145的多媒体系统100的实施例。多媒体系统100包括从媒体流110或文件系统120接收媒体内容(包括音频和视频内容)的多媒体设备120。多媒体设备120解码媒体内容，并传输要在显示器130上呈现的视频数据。多媒体设备120从媒体流110和/或定义环境效果事件的理想虚拟位置的环境效果元数据文件152提取元数据113，然后生成用于生成指定环境效果的指令，该指令被无线传输到环境效果生成器141-145。如图1所示，环境效果生成器141-144包括可配置的氛围光源，并且环境效果生成器145包括运动致动器，该运动致动器可用于产生座椅隆隆声或晃动效果或其他类型的运动。在替代实施例中，环境效果生成器可以包括控制温度、气流、湿度、香味(例如，可编程气味生成器)、水压(例如，用于喷泉)、整个环境的运动或方位(例如，运动模拟器)或环境中可以感受到的其他特性的设备。

[0026] 媒体数据集由媒体流110传送，并且包括视频和音频数据作为可以由多媒体设备120重播的视频帧111和音频帧112的序列。媒体数据集也包括环境效果元数据113，其定义环境事件并将这些事件中的每一个与相应的媒体时间戳相关联。媒体时间戳指示媒体内容(即，音频帧112和视频帧111)回放期间的时间。在一个实施例中，环境效果元数据113以诸如运动图像专家组2传送流(MPEG2-TS)的格式与视频帧111和音频帧112多路复用。在一个实施例中，环境效果元数据113可以与现有的预先掌握的音频和视频流重新多路复用，而无需重新编码和重新掌握音频和视频流(例如，针对以MPEG-2或MPEG-4格式编码的媒体内容)。媒体流110经由互联网流、卫星或线缆TV连接、光盘阅读器(例如，蓝光或DVD)或其他源接收。

[0027] 因此，诸如电影或TV节目制作人的原始内容创建者可以使用视频编辑软件来创建被编码在环境效果元数据113中的环境效果的序列，以在回放时间线中的预定时间与视频帧111和音频帧112一起回放。环境效果轨道与其相关联的音频和视频内容数据多路复用，并且因此可以与音频和视频内容一起分发，不管其是通过数据流(例如，互联网流)还是物理介质(例如，数据文件或光盘)分发。

[0028] 在一个实施例中，独立于任何视频或音频内容使用环境效果元数据113(例如，在艺术殿堂、现场表演或其他环境中提供氛围照明或其他效果)。在这种情况下，环境效果元数据113可以本地创建，或者远程创建，并经由网络作为文件或流下载，或者以其他方式获得。元数据113被同步到本地系统时间，并且被分发给环境中的环境效果生成器，以创建期望的照明和/或其他环境效果。

[0029] 还可以针对游戏系统产生环境效果序列，从而可以为交互式三维(3D)环境动态生成环境效果。不同的环境效果序列可以由不同的游戏中事件触发，或者由玩家在3D渲染环境中的虚拟位置触发。在一个实施例中，环境效果元数据113不需要专门为了生成环境效果而产生；例如，环境事件可以基于触觉元数据或控制输入(例如，操纵杆或游戏手柄)元数据来生成。因此，这些类型的元数据也可以被认为是环境效果元数据113。

[0030] 在一个实施例中，多媒体设备120还包括用于存储数据文件的文件系统121。因此，可以在环境效果元数据文件152中定义环境效果，环境效果元数据文件152与提供用于回放的媒体内容的相应音频/视频媒体文件151一起存储在文件系统121中。替代地，环境效果元数据可以存储在与音频和视频内容相同的文件中(例如，根据MPEG格式之一多路复用)。

[0031] 多媒体设备120包括媒体输入端122，其从媒体流110(或者从文件系统121中的文件151和152)接收媒体数据集，媒体数据集包括媒体内容数据和环境效果元数据113。媒体输入端122向解码器模块123提供媒体数据集。多媒体系统100包括连接到多媒体设备120并且能够显示视频的显示器130。解码器模块123从媒体流110中提取视频帧111，并将视频信号传输到显示器模块130，显示器模块130向用户呈现视频。在一个实施例中，显示器130是HDTV；替代地，显示器130可以使用投影仪或其他显示器设备来实现。在一个实施例中，显示器130位于与多媒体设备120相同的物理外壳中；在替代实施例中，显示器130位于与多媒体设备120分离的外壳中，如当多媒体设备120在机顶盒、流式设备、家庭影院个人计算机(HTPC)或其他分离的设备中实现时。在一个实施例中，显示器130上视频帧的回放可以被延迟，以适应用于处理环境效果元数据113的任何增加的时延，使得脚本化的环境事件可以更容易与视频回放同步。

[0032] 在一个实施例中，环境效果生成器141-145的位置不需要精确匹配如环境效果元数据113或环境效果元数据文件152中所定义的要生成的环境事件的方位(即，位置和方向)。多媒体设备120包括重新映射模块126，其计算用于控制环境效果生成器141-145的一组指令，以生成如环境效果元数据113或环境效果元数据文件152中所指定的一组理想环境效果的近似。例如，环境效果元数据113可以定义虚拟氛围光效果，该虚拟氛围光效果被理想地定向在用户房间中实际上没有定位可控氛围光源(例如，141-144)的位置处。为了再现所请求的氛围光，重新映射模块126识别最接近所定义的理想位置的氛围光源，并基于最接近的实际光源与理想位置的距离在最接近的实际光源之间分配所请求的光的全部强度。

[0033] 为了便于重新映射模块126执行该重新映射过程，发现模块124首先确定可以从多媒体设备120进行控制的每个环境效果生成器141-145的存在和方位。在发现过程中，发现模块124收集关于环境效果生成器141-145的效果生成能力的信息。这些能力可以由环境效果生成器141-145本身经由在无线通信接口128接收的无线通信来报告，并转发给发现模块124。发现模块124还收集关于每个环境效果生成器141-145的方位的信息。在一个实施例中，每个环境效果生成器141-145确定它自己的方位(包括位置和方向)，并向发现模块124无线报告其方位。替代地，发现模块124可以确定环境效果生成器141-145的方位，而无需环境效果生成器141-145的主动参与，或者发现模块124和环境效果生成器141-145可以协作来共同确定所有环境效果生成器141-145的方位(例如，通过信号三角测量、时延测量等)。

[0034] 在一个实施例中，其中每个环境效果生成器包括与环绕声扬声器在同一外壳中的氛围光源，氛围光源的位置可以基于扬声器在环绕声系统中的角色(例如，左前、右前、中心等)来推断。该信息可以由环境效果生成器141-145自身提供给发现模块124，或者由用户配置。

[0035] 一旦发现模块124已经确定了每个环境效果生成器141-145的方位，发现模块124就将方位信息存储在配置存储器125中。配置存储器125存储每一个环境效果生成器141-145的方位(包括位置和方向)，每一个环境效果生成器141-145的方位(包括位置和方向)能够被重新映射模块126使用来生成脚本化环境事件的近似。

[0036] 针对氛围照明效果生成器141-144，发现过程还确定每个环境效果生成器141-145的光控制能力。例如，一些氛围光源可能仅能够产生某个颜色范围或强度内的光，或者可能能够投射具有某种最小或最大光束扩散、或在某个方向范围内的光。重新映射模块126也使用这些光控制能力，从而不要求实际光源生成超出其相应能力的照明效果。因此，在发现过程中确定的光控制能力也存储在配置存储器125中。其他类型环境效果生成器的能力(例如针对运动致动器145的频率、强度等)也可以被确定并存储在配置存储器125中。在发现过程之后，发现模块124启动环境效果生成器141-145的校准。

[0037] 一旦发现并校准了环境效果生成器141-145，解码器模块123开始解码媒体流110或文件151和152中的数据。重新映射模块126处理环境效果元数据113或环境效果元数据文件152，以生成用于控制环境效果生成器141-145的适当指令，从而生成与环境效果元数据113或环境效果元数据文件152中请求的环境效果近似的环境效果。对于氛围光源141-144，重新映射模块126确定氛围光源141-144中的哪一个应该打开或关闭，并且还确定用于生成氛围光效果的其他参数，如光颜色、强度、方向等。重新映射模块126还可以确定某些所请求的环境效果不会被渲染，因为没有环境效果生成器可用于在所请求的位置或强度生成效果。

[0038] 因此，重新映射模块126基于系统多媒体系统100中每个环境效果生成器141-145的方位，基于所请求的环境事件的方位，识别将用于生成环境效果元数据113或环境效果元数据文件152中所请求的每个环境事件的环境效果生成器141-145的子组，以及用于控制环境效果生成器的该子组的指令。由重新映射模块126产生的指令与定时信息一起封装在要无线传输到环境效果生成器141-145的消息中。环境效果元数据113或152将每个环境事件与媒体时间戳相关联，该媒体时间戳指示在音频帧112和视频帧111的回放期间何时呈现环境事件。对于由环境效果元数据定义的每个环境事件，解码器模块123识别对应于媒体时间戳的协议时间戳。协议时间戳是通信协议使用的时间戳；例如，这种时间戳是在支持Wi-Fi TimeSyncTM的无线通信协议中提供的。在各种实施例中，无线协议可以是Wi-Fi协议、Bluetooth协议、或者支持或可以被修改以支持时间戳的其他无线协议。在一个实施例中，可以使用有线通信协议(例如，以太网协议)来代替无线协议。

[0039] 对于环境效果元数据113或152中指定的每个环境事件，封装模块127生成用于根据将环境事件与所确定的协议时间戳相关联的无线通信协议进行传输的一个或更多个消息。具体地，封装模块127将协议时间戳与所生成的消息中用于生成环境事件的指令(如重新映射模块126所确定的)相关联。

[0040] 在一个实施例中，其中一些或所有环境效果生成器141-145位于与多媒体系统100的环绕声扬声器相同的外壳中，封装模块127还在一个或更多个消息中包括与协议时间戳相关联的一个或更多个音频帧112，以指示要在与环境事件相同的时间回放的音频。如前所述，封装模块127将得到的消息(包括指令和音频帧，每个与协议时间戳相关联)寻址到由重新映射模块126基于环境事件的方位和环境效果生成器141-145的方位识别的环境效果生成器子组中的一个或更多个环境效果生成器。

[0041] 无线通信接口128从封装模块127接收消息，并将该消息传输到环境效果生成器141-145。因此，消息将音频帧和原始环境效果元数据113中定义该环境事件的部分(以指令的形式)分别传送给扬声器和环境效果生成器141-145，在那里它们与显示器130显示的视频同步回放。在一个实施例中，根据支持协议时间戳机制(如Wi-Fi TimeSyncTM)的无线通信协议，将消息无线广播到环境效果生成器141-145中的每一个。

[0042] 图2A示出了根据一个实施例的媒体数据集210中不同类型的数据。媒体数据集210包括媒体内容数据211，其表示用户观看、收听或以其他方式消费的内容。媒体内容数据211包括视频帧序列111和音频帧序列112，视频帧序列111表示可以在监视器、TV、投影仪等上显示的视频，音频帧序列112表示用于在扬声器回放的音频样本。一般来说，音频和视频媒体帧中的每一个都包括与媒体时间戳相关联的一组样本，媒体时间戳识别在回放期间媒体帧将被呈现的时间。在一个实施例中，媒体内容数据可以包括实时生成的语音或其他声音(例如，来自电话或视频会议呼叫)，和/或从警报、通知、报警等生成的音频。媒体数据集210包括环境效果元数据113，其将任意数量的环境事件231-233中的每一个与媒体时间戳221-223中相应的一个相关联。

[0043] 图2B示出了根据一个实施例的消息250，其由封装模块127生成并通过无线通信接口128传输到环境效果生成器141-145。消息250包括与音频帧253(表示将在对应于协议时间戳252的时间被重放的音频样本)相关联的协议时间戳252，以及将在对应于协议时间戳252的时间生成的环境事件260。环境事件260以用于控制环境效应生成器的指令261-263的形式被定义。地址251识别消息250所指向的环境效果生成器141-145之一(例如，能够生成环境事件260的环境效果生成器)。指令261-263是被提供给环境效果生成器用于产生环境事件260的指示。例如，指令261-263可以针对氛围照明效果指定颜色、强度、方向等。对于运动致动器，指令261-263可以指定将要生成的运动的振幅、频率、位移、方向、持续时间等。

[0044] 图3示出了根据一个实施例的环境效果生成器141。其他环境效果生成器142-145包括与环境效果生成器141类似的部件，除了环境效果生成器145包括运动致动器，而不是光源304。环境效果生成器141包括扬声器305、可配置光源304和用于给扬声器305、可配置光源304和环境效果生成器141中的其他部件供电的电源电路(包括充电电路310和电池311)。在一个实施例中，电池311是可充电电池，其可以由充电电路310充电。在一个实施例中，充电电路310包括位于环境效果生成器141底表面附近的线圈，使得可以通过将环境效果生成器141放置在感应充电表面上来对电池311进行感应充电。

[0045] 环境效果生成器141经由无线接收器301从多媒体设备120无线接收消息。无线接收器301基于地址251确定接收到的消息250是否寻址到环境效果生成器141，如果是，则将接收到的消息传输到解码器模块302。解码器模块302从消息250中提取音频帧253和指令261-263，然后在扬声器305处播放音频，并根据指令261-263使得环境事件260在协议时间戳252指示的时间在可配置光源304处被生成。

[0046] 在一个实施例中，所有环境效果生成器141-145具有彼此同步的设备时钟，使得音频和环境事件的呈现在所有环境效果生成器141-145上同步。在一个实施例中，使用由无线通信协议提供的同步机制，环境效果生成器141中的设备时钟303与其他环境效果生成器中的设备时钟同步。因此，设备时钟同步过程可以基于周期性地调整设备时钟303，或者通过其他方法，周期性地调整设备时钟303是基于所检测到的从其他环境效果生成器接收的无线传输的消息的时延。

[0047] 一旦接收到消息250，解码器模块302将协议时间戳252与设备时钟303指示的当前协议时间进行比较。如果协议时间戳252指定了等于或晚于当前协议时间的时间，则解码器模块302在协议时间戳252匹配当前协议时间时(即，立即或在适当的延迟之后)，在扬声器305处播放音频帧253，并使可配置光源304生成环境事件260。如果协议时间戳252指定了早于当前协议时间的时间，则解码器模块302丢弃消息250。

[0048] 对于包括可配置光源304的环境效果生成器141，校准过程由校准模块306执行，以确定颜色校正矩阵，用于补偿由于环境变化引起的色彩空间偏移。在校准过程中，校准模块306使得可配置光源304输出从环境反射的已知光图案。反射光被测量，并且校准模块306基于反射光和与已知光图案相关联的预期结果之间的差异来计算校正矩阵。校正矩阵被供应给解码器模块302。在一个实施例中，解码器模块302根据校正矩阵调整指令261-263中的参数，以更准确地再现所请求的氛围光效果。因此，可配置光源304基于颜色校正矩阵和基于用于生成氛围光效果的该组指令261-263来生成光。

[0049] 除了颜色校正之外，校准过程还补偿可能会受到观看室中墙壁反射率等因素的影响的光强度的动态范围。在一个实施例中，校准过程包括命令所有可用光源打开和关闭，并测量最大和最小强度值。

[0050] 如图3所示的环境效果生成器141包括扬声器305；然而，在替代实施例中，环境效果生成器141可以在外壳中包括可配置光源304，而没有扬声器305。相应地，氛围光效果生成器的放置不一定局限于环绕声扬声器所位于的观看室内的位置。此外，与将光横向投射到墙壁或远离用户的其他表面上的氛围光源相反，一些实施例可以包括控制直接光源(例如，从天花板向下或朝向用户投射)的环境效果生成器。

[0051] 图4示出了根据一个实施例的组件的两种不同视图，该组件包括扬声器和环境效果生成器。组件包括基座401和通过支撑件402连接到基座401的外壳403。电池311和充电电路310位于基座401中。扬声器305和404安装在外壳403中。扬声器305是音频信道的主扬声器，面向外壳403的前部，而扬声器404是向上发射的扬声器，其与外壳403的顶部成一定角度，用于将声音从房间的天花板反射出去。光源304是在与扬声器305相反的方向中面向外壳403背部的可配置氛围光源。当主扬声器305面向用户时，光源304背向用户，朝向墙壁或可以反射氛围光的其他物体。光源304覆盖沿多个轴弯曲的区域，使得光可以投射到不同方向的范围内。在一个实施例中，光源304内部包括面向不同方向的多个照明元件，如发光二极管(LED)，使得可以通过控制不同照明元件的强度来控制光效果的方向。在一个实施例中，光源304包括红、绿、蓝和白(RGBW)LED的矩阵。

[0052] 图5A和5B分别示出了根据一个实施例的环境效果生成器141-144及其相应扬声器的回放和充电位置。在图5A中，环境效果生成器141-144被最优地定位，用于回放具有脚本化氛围照明效果和/或其他环境效果的媒体内容(即，电影或音乐)。当环境效果生成器141-144处于这个位置时，执行发现和校准过程。图5B示出了环境效果生成器141-144的充电位置，其中每个环境效果生成器141-144被放置在充电垫501和502之一的感应充电表面上。充电垫501和502可以远离房间的高频活动区域被定位，使得环境效果生成器141-144在充电时不会阻碍行人活动。

[0053] 图6示出了根据一个实施例的用于指定家庭影院系统布局中环境效果(例如，虚拟光效果)的位置的坐标系统。坐标系统被示为从原点600延伸的x轴、y轴和z轴。原点600接近家庭影院系统的用户观看或收听视频或音频媒体内容的最佳位置。在一个实施例中，原点600与显示器130的中心处于相同的高度，并且一个轴(在这种情况下，y轴)与用户到显示器
130的视线对齐。

[0054] 图6附加地示出了独立的氛围光生成器601和602，它们是包括可配置光源，并且不附接到任何扬声器的环境效果生成器。由于氛围光生成器601和602没有附接到扬声器，所以它们可以更灵活地定位在环绕声系统中除指定的扬声器位置之外的位置。类似于可配置光源304，氛围光生成器601和602中的可配置光源可以类似地被配置和充电。在一个实施例中，氛围光生成器601和602各自包括以弯曲结构布置的多种颜色LED的矩阵，用于以各种颜色、方向和光束宽度投射光。

[0055] 图7示出了根据一个实施例的球面坐标系统，其中位置由两个角度θ和以及距离r来识别，如国际标准化组织(ISO)标准ISO 80000-2:2009和较早的在ISO 31-11(1992)中所定义的。使用坐标系统，可以将虚拟光源相对于观看室内的固定位置(例如，用户的最佳视点)的位置指定为一组坐标在一个实施例中，虚拟光源的坐标被包括在元数据轨道中作为环境效果元数据113的一部分。定义虚拟光源位置的每组坐标表示定义与元数据轨道中的时间(例如，如由媒体时间戳221指示的)相关联的环境事件(例如，环境事件231)的元数据的一部分。

[0056] 图8A示出了根据一个实施例的媒体数据集210中的元数据轨道800、音频轨道810和视频轨道820。在图8A中，时间从左向右前进。元数据轨道800、音频轨道810和视频轨道820的图示部分在同一时间段上同时呈现。一些媒体格式(例如，MPEG2-TS)定义了绝对时间；因此，数据轨道800、810和820中的帧或事件具有相对于相同的绝对时间线指定的呈现时间。换句话说，元数据轨道800中定义的事件801-803发生在与视频轨道820和音频轨道
810回放相同的时间线上，使得当轨道800、810和820被重新播放时，事件801-803一致地与相同的音频和视频帧同时发生。在一个实施例中，当没有提供外部定时轨道时，事件801-
803直接与特定的音频或视频帧号相关联，并且因此与相同的音频和/或视频帧一致地同时触发。

[0057] 如图所示，元数据轨道800指定全局设置事件801和两组虚拟光设置事件802和803。全局设置801以及虚拟光设置事件802和803表示原始媒体流110中的环境效果元数据
113中的环境事件。元数据轨道800一般定义环境事件，并且通过由重新映射模块126执行的重新映射过程被转换成用于控制实际可用的一组环境效果生成器的一组特定的消息。在一个实施例中，重新映射的消息遵循与原始消息相同的格式。

[0058] 在一个实施例中，全局设置事件由全局设置消息来定义，该全局设置消息指定用于定义在多媒体回放序列期间要渲染的照明效果的颜色空间和光强度(即，亮度)的动态范围的参数。在一个实施例中，全局设置消息包括以下指令：传输时间、执行时间、颜色空间定义、最小亮度和最大亮度。

[0059] 传输时间指示全局设置消息的传送时间(例如，消息的无线传输)，而执行时间指示执行消息的时间(例如，消息中的指令在已寻址的环境效果生成器中执行的时间)。在一个实施例中，执行时间由媒体时间戳(例如，221、222、223)来表示，其指示音频/视频回放时间线中的绝对时间。

[0060] 全局设置消息中的颜色空间定义向环境效果生成器141-144指示用于指定氛围光颜色的颜色空间。可能的颜色空间包括但不限于国际照明委员会(CIE)1931XYZ颜色空间、标准红绿蓝(sRGB)颜色空间(例如，国际电信联盟无线电通信部门(ITU-R)建议BT.709、BT.601和BT.2020)以及色调、饱和度、值(HSV)颜色空间和色调、饱和度、亮度(HSL)颜色空间。氛围光源304使用的颜色空间不需要与显示器130使用的颜色空间相同。例如，超高清电视(UHDTV)显示器使用BT.2020的清晰度，但是如果氛围照明效果创建者希望对亮度进行更直接的控制，则氛围光源304可以被配置成使用不同的颜色空间，例如HSV。最小和最大亮度值指示元数据轨道800中定义的氛围照明效果的动态范围。

[0061] 一旦环境效果生成器141-144已经根据全局设置消息被初始配置，随后的虚拟光设置消息(例如，对应于802，803)被用于创建光效果。在一个实施例中，虚拟光设置消息包括以下指令：传输时间、执行时间、唯一光标识符(ID)、球面坐标、方向、孔径、颜色坐标以及每个颜色分量的颜色攻击、衰减、维持、释放(ADSR)模式。

[0062] 类似于全局设置消息，虚拟光设置消息中的传输时间指示虚拟光设置消息的传送时间，而执行时间指示执行消息的时间(例如，消息中的指令在已寻址的环境效果生成器中执行的时间)。在光设置消息的情况下，执行时间对应于可配置光源生成光效果并且用户可以看到光效果的时间。在一个实施例中，执行时间由媒体时间戳(例如，221、222、223)表示，媒体时间戳指示音频/视频回放时间线中的绝对时间。

[0063] 在一个实施例中，每个可配置光源(例如，304)一次渲染一个虚拟光设置消息中指定的光效果。如果当到达另一个虚拟光设置消息的执行时间时，可配置光源仍在渲染光效果，则更近的虚拟光设置消息取代较早的虚拟光设置消息。停止渲染先前请求的光效果，并且如最近接收到的虚拟光设置消息所指示的，可配置光源304开始渲染新请求的光效果。

[0064] 唯一ID是一个64位的值，它唯一地识别一个虚拟光对象，该虚拟光对象用于在回放时间期间引用虚拟光。唯一ID在整个多媒体回放序列中是唯一的，但是在不同多媒体序列的虚拟光对象的ID中不一定是唯一的。

[0065] 在虚拟光设置消息中，球面坐标被表示为一组坐标值其指示虚拟光效果在房间空间中相对于用户的最佳观看位置的空间位置。该位置表示光效果的理想位置，其可以由重新映射模块126重新映射到可用可配置光源的特定组。虚拟光设置消息中的方向值指示虚拟光效果应该朝向外部(例如，朝向房间的墙壁)还是内部(例如，朝向观看者)。孔径值以度数指示光束的宽度，允许指定照明效果，如聚光灯或宽全向灯。

[0066] 虚拟光设置消息中的颜色坐标使用由全局设置消息中的颜色空间定义所定义的颜色系统来指示所请求的光效果的颜色。这些颜色坐标还定义了虚拟光效果的亮度。虚拟光设置消息中针对每种颜色所指定的ADSR模式指示照明效果的每种颜色的强度如何随时间变化。

[0067] 在一个实施例中，可配置光源304能够显示光图案(例如，具有多个像素)。相应地，虚拟光设置消息可以附加地指定用于生成照明效果的图像，该图像可以投射到房间的表面上或者被直接观看。在一个实施例中，指定图像的分辨率低于主显示器130上播放的视频。在一个实施例中，这种照明效果图像的序列在主视频格式的子轨道中传送(因此使用与主视频数据相同的压缩协议进行压缩)。子轨道被交叉引用到输出虚拟光设置消息的队列，因此在接收到这些图像时它们被包括在输出虚拟光设置消息中。

[0068] 图8B示出了根据一个实施例的ADSR曲线图。在虚拟光设置消息中，颜色坐标的每个颜色分量与四个ADSR值相关联：攻击(attack)861、衰减(decay)862、维持(sustain)863和释放(release)864，它们定义了该颜色分量的强度851随时间852的增加和降低。攻击值861指示颜色分量的强度851增加的持续时间，而衰减值862指示强度851降低到由维持值
863指示的强度水平的持续时间。释放值864指示光的强度851降低到零的持续时间。当为RGB光的红色、蓝色和绿色分量中的每一个定义相同的ADSR值时，光的亮度改变，同时保持相同的色调。色调随时间的变化可以通过对不同颜色分量使用不同的ADSR值来实现。

[0069] 图9示出了根据一个实施例的用于基于环境效果元数据生成环境效果的过程900。环境效果生成过程900中的操作由多媒体系统100的部件执行，包括多媒体设备120和环境效果生成器141-145。

[0070] 在框901处，多媒体设备120中的发现模块124执行发现过程，以确定系统100中每个环境效果生成器141-145的方位和能力。每个环境效果生成器的方位包括环境效果生成器的位置和环境效果生成器的方向。在一个实施例中，房间中每个环境效果生成器的方位被记录为球形坐标系统中的坐标该坐标系统的原点600位于用户的最佳观看位置，如图6所示。

[0071] 在框903处，如果在多媒体系统100中播放的媒体类型是音频或视频媒体，则过程905在框905处继续。音频和视频媒体包括音乐、电影、电视节目等。在框905处，多媒体设备
120在媒体输入端122从媒体数据流110接收媒体数据集。替代地，媒体数据集可以作为来自多媒体设备120的文件系统121的文件151和152被获取。媒体数据集在媒体输入端122处被接收，媒体输入端122表示通信接口(例如，互联网连接、内部总线等)，在那里可以接收媒体数据集。

[0072] 媒体数据集包括媒体内容数据，媒体内容数据包括媒体帧(例如，视频帧111和音频帧112)，媒体帧可以顺序播放以产生音频或视频。媒体数据集还包括环境效果元数据113，其定义一组环境事件231-233。环境事件231-233中的每一个对应于相应的媒体时间戳
221-223。视频帧111和音频帧112中的每一个也与媒体时间戳相关联，该媒体时间戳指示帧应该被回放的时间序列。使用诸如例如MPEG2-TS或MPEG4的文件格式将媒体内容(包括音频和视频数据)和环境效果元数据113多路复用在一起成为单个数据流110或文件。在框907处，多媒体设备120的解码器123解复用数据流110或文件，使得音频112、视频111和环境效果元数据113可以被不同地处理和呈现。

[0073] 在一个实施例中，多媒体系统100还支持交互式三维(3D)环境的计算机渲染，如视频游戏应用。在框903处，如果媒体类型是游戏或其他3D渲染体验，则过程900在框909处继续。在框909处，多媒体系统100基于3D环境的交互式表示生成环境效果元数据。在一个实施例中，环境效果元数据在与多媒体设备120分离的个人计算机或游戏控制台中生成。替代地，环境效果元数据可以在多媒体设备120中生成。在一个实施例中，环境效果元数据定义模仿虚拟游戏中环境的照明效果和/或其他环境效果。

[0074] 从框907或框909，过程900在框911处继续。在框911处，解码器模块123识别对应于流110(或文件152)中下一个环境事件231的媒体时间戳的协议时间戳。协议时间戳是通信协议用来将定时信息附加到消息的时间戳。

[0075] 在框913处，重新映射模块126开始重新映射过程，以允许该组环境效果生成器141-145近似环境事件231。在框913处，重新映射模块126基于环境事件231的方位，并且还基于每个环境效果生成器141-145的方位和能力，识别用于生成环境事件231的环境效果生成器141-145的子组。例如，对于定义其中不存在实际可配置光源的虚拟光源的环境事件，重新映射模块126能够识别环境效果生成器的子组，该环境效果生成器的子组能够产生最接近该虚拟光源的理想位置的光。然后，重新映射模块126可以根据最接近的环境效果生成器与虚拟光源的理想位置的相应距离，在最接近的环境效果生成器之间分配光强度。

[0076] 在框915处，重新映射模块126基于理想的环境效果位置到房间中实际环境效果生成器的方位和能力的重新映射，生成用于控制所识别的子组中的一个或更多个环境效果生成器的新指令。这些指令是用于使所识别的子组中的环境效果生成器相互结合地生成所请求的环境事件231的命令。指令可以命令光源(例如，304)生成具有某一颜色、强度、方向等的光。

[0077] 在框917处，封装模块127生成用于根据无线通信协议传输的消息250。生成的消息250将环境事件260与协议时间戳252相关联，并且包括用于使环境效果生成器(例如，141)生成环境事件260的指令261-263。当环境事件是氛围光效果时，指令261-263指定用于控制环境效果生成器141中的可配置光源304的参数。消息250还将至少一个音频帧253与协议时间戳252相关联。在框919处，封装模块127通过在消息250的地址字段251中指示环境效果生成器141的地址，将消息250寻址到环境效果生成器141。

[0078] 在框921处，无线通信接口128将消息250无线传输到环境效果生成器141-145。音频帧253和环境效果元数据113中定义环境事件260的部分(以重新映射指令261-263的形式)因此被传输到环境效果生成器141-145。在一个实施例中，消息250被广播给所有环境效果生成器141-145。

[0079] 在框923处，在环境效果生成器141处接收消息250。消息250在环境效果生成器141的无线接收器301处被接收。在框924处，如果消息250没有被寻址到环境效果生成器141，则在框929处丢弃消息250。在框924处，如果消息250被寻址到环境效果生成器141，则过程在框925处继续。在框925处，解码器302将与环境事件260相关联的协议时间戳252与设备时钟303指示的时钟值进行比较。在框927处，如果协议时间戳252大于或等于(即，指示相同的时间或之后的时间)设备时钟值，则过程900继续到框931。

[0080] 在框931处，解码器302执行指令261-263，以使可配置光源304生成用于生成环境事件260的所请求的照明效果。在一个实施例中，无线协议时间戳能够达到亚毫秒的精度，使得环境效果生成器141处环境事件的渲染发生在与环境事件的相同媒体时间戳相关联的媒体帧(例如，音频或视频帧)的呈现之前或之后的一毫秒内。因此，照明效果和其他环境效果可以以亚毫秒精度与音频和/或视频事件同步，使得任何定时误差对于人类来说都是察觉不到的。

[0081] 在框927处，如果协议时间戳小于(即，指示早于)来自设备时钟303的时钟值，则消息250过时，并在框929处被丢弃。通过这种机制，环境效果生成器141避免了环境效果的后期渲染。

[0082] 在过程900中，对于在环境效果元数据113中定义的每个环境事件231-233，重复框911-921，使得环境事件231-233的序列在媒体内容211回放的同时被重建。每个环境事件
231-233可以被重新映射以生成单个消息或多个消息，消息包括用于控制环境效果生成器
141-145的特定子组以生成一般定义的环境效果的近似值的指令。因此，即使在创作时不知道环境效果生成器的特定方位，也可以近似地重新创建所创作的环境效果序列。因此，该系统提供了一种机制，通过该机制，环境效果可以在观看室周围广泛分布，与媒体内容同步，并且被远程创作以在观看室(例如，在用户家中)中再现。

[0083] 在前述实施例中，可以进行各种修改；例如，被描述为用高电压断言的信号可以改为用低电压断言，或者可以用具有类似功能的其他部件替换指定部件。如本文所述，“电连接”或“电耦合”的导电电极可以被耦合成使得在导电电极之间存在相对低电阻的导电路径。被描述为“基本上”相等的量、尺寸或其他值可以是名义上相等的，但不必完全相等(由于制造公差、环境条件、量化或四舍五入误差和/或其他因素引起的变化)，或者可以足够接近相等以达到预期的效果或效益。

[0084] 本文描述的实施例包括各种操作。这些操作可由硬件部件、软件、固件或其组合执行。如本文中所使用的，术语“耦合到”可意味着直接或通过一个或更多个中间部件间接耦合。通过本文所述的在各种总线上提供的任何信号可以与其他信号时间复用并通过一个或更多个公共总线被提供。此外，在电路部件或块之间的互连可被示为总线或单信号线。总线中的每一个可以可选地是一个或更多个单信号线，并且单信号线中的每一个可以可选地是总线。

[0085] 某些实施例可被实现为可包括储存在计算机可读介质上的指令的计算机程序产品。这些指令可以用来对通用或专用处理器编程以执行所描述的操作。计算机可读介质包括用于存储或传输以由机器(例如计算机)可读的形式的信息的任何机制(如，软件、处理应用)。计算机可读存储介质可以包括但不限于磁存储介质(例如，软盘)；光学存储介质(例如CD-ROM)；磁光存储介质；只读存储器(ROM)；随机存取存储器(RAM)；可擦除可编程存储器(例如，EPROM和EEPROM)；闪存或适合于存储电子指令的另一类型的介质。

[0086] 此外，一些实施例可以在分布式计算环境中被实践，其中计算机可读介质被存储在多于一个计算机系统上和/或由多于一个计算机系统执行。另外，在计算机系统之间传送的信息可以在连接计算机系统的传输介质当中进出。

[0087] 虽然本文中的方法的操作以特定次序示出和描述，但是每种方法的操作次序可以被改变，使得某些操作可以以相反次序执行，或使得某些操作可与其他操作至少部分并行执行。在另一实施例中，指令或不同操作的子操作可以以间歇和/或交替的方式。

[0088] 在前述说明书中，所要求保护的主题已参考其特定示例性实施例进行描述。然而明显的是，在不偏离如在所附权利要求中阐述的本发明的更宽范围的情况下，可对其做出各种修改和改变。说明书和附图相应地是从说明性意义上而非从限制性意义上来考虑的。

标题	发布/更新时间	阅读量
网络节点存储器利用率分析	2020-05-12	743
一种移动终端的寻址方法、装置、存储介质和服务器	2020-05-14	790
LVDS信号转可选LCOS接口格式信号的转换装置	2020-05-12	825
基于APB总线的OWI通讯设备	2020-05-08	503
使用MBMS中继装置管理多媒体广播多播服务	2020-05-12	24
用于管理在源设备和目标设备之间路由的事务的方法	2020-05-13	660
端口扩展器设备的灵活处理器	2020-05-14	569
基于内容的流量的时间敏感网络区分	2020-05-13	266
记忆增强的生成时间模型	2020-05-14	602
数据包的传输方法和装置、存储介质、电子装置	2020-05-14	344

用于多媒体回放中的环境信号的分布式同步控制系统

用于多媒体回放中的环境信号的分布式同步控制系统

技术领域

该功能需要专业版企业版VIP权限，您可以：