广播接收机及其3D视频数据处理方法专利检索-立体像对显示技术专利检索查询-专利查询网

广播接收机及其3D视频 数据处理方法

阅读：346发布：2024-02-22

专利汇可以提供广播接收机及其3D视频数据处理方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种广播接收机和3D广播数据处理方法。该处理方法包括以下步骤：接收包括系统信息(SI)和视频数据的广播信号；解析节目的SI，并且基于该SI确定该节目是否提供3D广播服务；在该节目提供3D广播服务的情况下提取与3D广播服务对应的3D广播数据；以及根据SI处理3D视频数据。该广播接收机包括：接收单元，该接收单元用于接收包括SI和视频数据的广播信号；SI处理器，该SI处理器解析节目的系统信息，并且基于该SI确定该节目是否提供3D广播服务；分用器，该分用器用于在该节目提供3D广播服务的情况下提取与3D广播服务对应的3D广播数据；以及视频处理单元，该视频处理单元根据SI处理3D视频数据。，下面是广播接收机及其3D视频数据处理方法专利的具体信息内容。

权利要求

1.一种广播接收机中使用的三维3D广播数据处理方法，所述方法包括以下步骤：
接收包括系统信息和视频数据的广播信号；
在节目提供3D广播节目的情况下，提取与3D广播节目对应的3D广播数据；
解析节目的系统信息，并且基于所述系统信息确定所述节目是否提供3D广播节目；
其特征在于：
根据所述系统信息处理包括在所述3D广播数据中的第一基本流和第二基本流；
其中，所述系统信息包括节目映射表PMT信息，并且
其中，所述节目映射表PMT包括3DTV基本流信息描述符，所述3DTV基本流信息描述符包括：
立体成分类型字段，该立体成分类型字段指示关于所述第一基本流和所述第二基本流中的一个中所包括的扩展图像的扩展分辨率的信息；
水平子采样类型字段，该水平子采样类型字段指示当在水平方向上子采样扩展图像分辨率时使用的子采样线；以及
竖直子采样类型字段，该竖直子采样类型字段指示当在竖直方向上子采样扩展图像分辨率时使用的子采样线。
2.根据权利要求1所述的3D广播数据处理方法，其中，确定所述节目是否提供3D广播节目的步骤还包括解析节目映射表PMT中包含的stream_type字段。
3.根据权利要求1所述的3D广播数据处理方法，所述方法还包括以下步骤：
在当前观看模式从3D观看模式被改变为2D观看模式时：
从所述系统信息获取输出当前观看的节目的2D视频数据的2D视频数据信息；
使用所述2D视频数据信息提取2D视频数据；以及
处理所述2D视频数据。
4.根据权利要求3所述的3D广播数据处理方法，其中，与所述3D广播节目对应的所述
3D广播数据被分配不同于2D视频数据的流类型值。
5.根据权利要求3所述的3D广播数据处理方法，其中，所述2D视频数据信息是具有与所述节目中包含的2D视频数据相关联的流类型值的视频基本流ES的PID信息。
6.根据权利要求3所述的3D广播数据处理方法，其中，所述2D视频数据信息是均具有与所述节目中包含的3D广播数据相关联的流类型值的视频ES当中的基本视图视频基本流ES的PID信息。
7.根据权利要求1所述的3D广播数据处理方法，其中，所述3DTV基本流信息描述符还包括：
视点信息标记字段，所述视点信息标记字段指示所述第一基本流和所述第二基本流中的一个是左图像还是右图像；以及
相关性字段，所述相关性字段指示所述第一基本流和所述第二基本流中的一个是基本视图视频数据还是扩展视图视频数据。
8.一种广播接收机，所述广播接收机包括：
接收单元(11010)，所述接收单元用于接收包括系统信息和视频数据的广播信号；
分用器(11020)，所述分用器用于在节目提供3D广播节目的情况下提取与3D广播节目对应的3D广播数据；
系统信息SI处理器(11030)，所述SI处理器用于解析所述节目的系统信息，并且基于所述系统信息确定所述节目是否提供3D广播节目；
其特征在于：
视频处理单元(11040)，所述视频处理单元根据所述系统信息处理包括在所述3D广播数据中的第一基本流和第二基本流；
其中，所述系统信息包括节目映射表PMT信息，并且
其中，所述节目映射表PMT包括3DTV基本流信息描述符，所述3DTV基本流信息描述符包括：
立体成分类型字段，该立体成分类型字段指示关于所述第一基本流和所述第二基本流中的一个中所包括的扩展图像的扩展分辨率的信息；
水平子采样类型字段，该水平子采样类型字段指示当在水平方向上子采样扩展图像分辨率时使用的子采样线；以及
竖直子采样类型字段，该竖直子采样类型字段指示当在竖直方向上子采样扩展图像分辨率时使用的子采样线。
9.根据权利要求8所述的广播接收机，其中，所述SI处理器(11030)通过解析节目映射表PMT中包含的stream_type字段确定所述节目是否提供3D广播节目。
10.根据权利要求8所述的广播接收机，其中，在当前观看模式从3D观看模式被改变为
2D观看模式时：
所述SI处理器(11030)从所述系统信息获取输出当前观看的节目的2D视频数据的2D视频数据信息，并使用所述2D视频数据信息提取2D视频数据；并且
所述视频处理单元(11040)对2D视频数据进行处理，
其中，所述广播接收机还包括控制器，所述控制器用于使用所述2D视频数据信息将观看模式改变为所述2D观看模式。
11.根据权利要求10所述的广播接收机，其中，与所述3D广播节目对应的所述3D广播数据被分配不同于2D视频数据的流类型值。
12.根据权利要求10所述的广播接收机，其中，所述2D视频数据信息是具有与所述节目中包含的2D视频数据相关联的流类型值的视频基本流ES的PID信息。
13.根据权利要求10所述的广播接收机，其中，所述2D视频数据信息是均具有与所述节目中包含的3D广播数据相关联的流类型值的视频ES当中的基本视图视频基本流ES的PID信息。
14.根据权利要求8所述的广播接收机，其中，所述3DTV基本流信息描述符还包括：
视点信息标记字段，所述视点信息标记字段指示所述第一基本流和所述第二基本流中的一个是左图像还是右图像；以及
相关性字段，所述相关性字段指示所述第一基本流和所述第二基本流中的一个是基本视图视频数据还是扩展视图视频数据。

说明书全文

广播接收机及其3D视频数据处理方法

技术领域

[0001] 本发明涉及用于处理广播信号的设备和方法，更具体地涉及当3D广播系统提供3D广播服务时用于使用3D广播服务的信令信息来处理视频数据的广播接收机，及其3D视频数据处理方法。

背景技术

[0002] 总体而言，三维(3D)图像(或者立体图像)使用立体视觉原理向用户的眼睛提供立体视觉效果。人眼通过彼此隔开约65mm的两眼之间的距离造成的双目视差感知远近，使得3D图像使左眼和右眼能够分别观看相关联的平面图像，导致立体视觉效果和透视效果。

[0003] 可以将上述3D图像显示方法分类为立体视觉方案、体块方案、全息方案等。在使用立体视觉方案的情况下，3D图像显示方法提供被左眼观看的左视点图像和被右眼观看的右视点图像，使得通过偏振眼镜或者显示装置，用户的左眼观看左视点图像并且用户的右眼观看右视点图像，从而导致3D图像效果的识别。

发明内容

[0004] 技术问题

[0005] 因此，本发明致力于一种广播接收机和3D视频数据处理方法，其基本上消除由于相关技术的限制和缺点而导致的一个或更多个问题。

[0006] 本发明的目的是提供一种广播接收机和3D视频数据处理方法，其在3D广播系统发送用于立体显示的视频流时发送和接收3D视频数据，并使用广播接收机处理3D视频数据，并因而向用户提供更有效和方便的广播环境。

[0007] 技术方案

[0008] 本发明的目的可以通过提供一种广播接收机中使用的三维(3D)广播数据处理方法来实现，该方法包括：接收包括系统信息和视频数据的广播信号；解析节目的系统信息，并且基于该系统信息确定节目是否提供3D广播服务；在节目提供3D广播服务的情况下提取与3D广播服务对应的3D广播数据；以及根据系统信息处理3D视频数据。

[0009] 在本发明的另一个方面中，本文提供一种广播接收机，该广播接收机包括：接收单元，该接收单元用于接收包括系统信息和视频数据的广播信号；系统信息(SI)处理器，该系统信息处理器用于解析节目的系统信息，并且基于该系统信息确定节目是否提供3D广播服务；分用器，该分用器用于在节目提供3D广播服务的情况下提取与3D广播服务对应的3D广播数据；以及视频处理单元，该视频处理单元根据系统信息处理3D视频数据。

[0010] 本发明的有益效果

[0011] 根据本发明的实施方式，广播接收机可以处理3D视频数据，从而在3D广播服务中反映出3D广播服务提供商想要的3D效果。

[0012] 另外，本发明的实施方式可以在最小化对现有2D广播服务的影响的同时有效地提供3D广播服务。附图说明

[0013] 附图被包括在本申请中以提供对本发明的进一步理解，附图示出了本发明的实施方式，且与说明书一起用于解释本发明的原理。

[0014] 在附图中：

[0015] 图1是例示根据本发明的第一实施方式的根据节目号分配来提供3D广播服务的方法的概念图。

[0016] 图2是例示根据本发明的第二实施方式的根据节目号分配来提供3D广播服务的方法的概念图。

[0017] 图3示出根据本发明的一个实施方式的包括3D广播信息的节目映射表(PMT)的语法结构。

[0018] 图4示出根据本发明的一个实施方式的包含在PMT中的3DTV信息的语法结构。

[0019] 图5示出根据本发明的第一实施方式的包含在PMT中的3DTV基本流(ES)信息的语法结构。

[0020] 图6是例示根据本发明的第一实施方式的用于处理广播信号的广播接收机的一个示例的框图。

[0021] 图7是例示根据本发明的第一实施方式的用于处理广播信号的广播接收机的另一个示例的框图。

[0022] 图8示出根据本发明的一个实施方式的包括3D广播信息的PMT的语法结构。

[0023] 图9示出根据本发明的一个实施方式的包含在PMT中的3DTV信息的语法结构。

[0024] 图10示出根据本发明的一个实施方式的包含在PMT中的3D格式信息的语法结构。

[0025] 图11是例示根据本发明的第二实施方式的用于处理广播信号的广播接收机的框图。

[0026] 图12是例示根据本发明的一个实施方式的使用3D图像格式信息将收到的图像的复用格式转换为另一种格式并输出转换结果的广播接收机的结构图。

[0027] 图13是例示根据本发明的一个实施方式的使用3DTV格式信息转换收到的图像的复用格式并且输出转换结果的广播接收机的视频数据处理方法的概念图。

[0028] 图14是例示根据本发明的一个实施方式的3D广播接收机的广播数据处理方法的流程图。

[0029] 图15是例示根据本发明的第三实施方式的采用一个节目号来提供3D广播服务的方法的概念图。

[0030] 图16示出根据本发明的一个实施方式的包括3D广播信息的节目映射表(PMT)的语法结构。

[0031] 图17示出根据本发明的第一实施方式的包含在PMT中的3DTV基本流(ES)信息的语法结构。

[0032] 图18示出根据本发明的一个实施方式的执行用信号发送多个视频元素的PMT的语法结构。

[0033] 图19示出根据本发明的一个实施方式的3DTV基本流(ES)信息的语法结构。

[0034] 图20是例示根据本发明的一个实施方式的3D广播接收机的处理3D广播数据的方法的流程图。

具体实施方式

[0035] 下面将详细描述本发明的具体实施方式，在附图中例示出了本发明的优选实施方式的示例。以下将结合附图给出的详细描述旨在说明本发明的示例性实施方式，而不是示出根据本发明可实现的仅有的实施方式。

[0036] 在描述本发明之前，应注意本发明公开的大多数术语是考虑了本发明的功能而限定的，并且对应于本领域已知的通用术语，并且可根据本领域技术人员的意图、通常做法或者新技术的引入而不同地确定。在一些情况下，申请人已经根据需要选择了一些术语，并且下面将在本发明的以下描述中公开这些术语。因此，优选地基于这些术语在本发明中的含义理解申请人限定的这些术语。

[0037] 3D图像显示方法包括立体成像方案以及多视图成像方案，在立体成像方案中考虑两个视点，在多视图成像方案中考虑三个或者更多个视点。相比而言，相关技术中示出的单视图图像方案也可以被称为单视场图像方案。

[0038] 立体成像方案被设计为使用当彼此间隔开预定距离的左侧摄像机和右侧摄像机拍摄同一目标对象时获取的一对右视点图像和左视点图像。多视图成像方案使用间隔开预定距离或者角度的三个或者更多个摄像机拍摄的三个或者更多个图像。尽管以下描述使用立体成像方案作为示例公开了本发明的实施方式，但是本发明的发明概念还可应用于多视图成像方案。为了便于描述和更好地理解本发明，必要时术语“立体视觉”也可以称为“立体”。

[0039] 可以根据包括运动图像专家组(MPEG)方案的多种方法将立体图像或者多-视图图像进行压缩或者编码，并且发送到目的地。

[0040] 例如，可以根据H.264/高级视频编码(AVC)方案对立体图像或者多视图图像进行压缩和编码并且发送。在此情况下，接收系统可以按照H.264/AVC编码方案的相反顺序对收到的图像进行解码，使得能够获得3D图像。

[0041] 另外，立体图像的左视点图像和右视点图像中的一个或者多视图图像中的一个可以被分配到基本层的图像，并且剩余的一个可以被指定到扩展层的图像。可以使用与单视觉成像方法相同的方法对基本层图像进行编码。与扩展层图像关联，可以仅编码和发送基本层图像和扩展层图像之间关系的信息。作为用于基本层图像的示例性压缩编码方案，可以使用JPEG、MPEG-2、MPEG-4或者H.264/AVC方案。为了便于描述，可以在本发明的一个实施方式中示例性地使用H.264/AVC方案。在本发明的一个实施方式中，用于上层或者更高层的图像的压缩编码方案可以被设定为H.264/多视图视频编码(MVC)方案。

[0042] 常规的地面DTV发送/接收标准是基于2D视频内容。因此，为了提供3CD TV广播内容，必须附加地限定针对3D视频内容的发送/接收标准。广播接收机根据添加的发送/接收标准接收广播信号，并且适当地处理收到的广播信号，使得广播接收机可以支持3D广播服务。另外，当3D广播服务被提供时，广播接收机接收2D广播服务和2D广播服务，使得必须考虑与传统设备的后向兼容性。

[0043] 在下文将使用先进电视系统委员会(ATSC)标准作为示例来描述根据本发明的实施方式的常规的DTV发送/接收标准。

[0044] ATSC系统包括用于处理系统信息中的广播内容的特定信息，并且发送得到的包括该特定信息的系统信息。例如，系统信息可以被称为服务信息。系统信息包括频道信息、节目信息、事件信息等。ATSC标准将前述系统信息包括在节目特定信息/节目和系统信息协议(PSI/PSIP)中，并且可以发送和接收得到的包括系统信息的PSI/PSIP。然而，本发明的范围和精神不限于上述示例。如果假定存在能够发送表格形式的系统信息的协议，则本发明的范围和精神还可以应用于其它示例，而不考虑系统信息的标题。

[0045] PSI仅是为了例示和对本发明的更好的理解而公开。PSI可以包括节目关联表(PAT)、节目映射表(PMT)等。

[0046] PAT对应于由具有PID“0”的包发送的特定信息。PMT发送节目标识号、传输流包的包标识符(PID)信息和PID信息，在传输流包中构成节目的视频和音频数据的单独比特流被发送，在PID信息中PCT被发送。另外，在解析从PAT获取的PMT的情况下，可以获取关于组成元素之间的相关性的信息。

[0047] PSIP可以包括例如虚拟频道表(VCT)、系统时间表(STT)、分级区域表(RRT)、扩展文字表(ETT)、直接频道改变表(DCCT)、直接频道改变选择代码表(DCCSCT)、事件信息表(EIT)、主引导表(MGT)等。

[0048] VCT发送关于虚拟频道的信息，例如用于选择频道的频道信息和用于接收音频数据和/或视频数据的关于包标识符(PID)的信息。也就是说，当VCT时被解析时，可以获知频道中携带的广播节目的音频和视频数据的PID、频道名称和频道号。STT发送当前日期和时间信息，并且RRT发送关于区域和用于节目分级级别的审议委员会的信息。ETT发送关于频道和广播节目的附加描述，并且EIT发送关于虚拟频道的事件的信息。DCCT/DCCSCT发送关于自动频道改变的信息，并且MGT发送PSIP中包含的各个表的版本和PID信息。

[0049] 包含在广播信号中并被发送到目的地的视频和音频元素可以按照流ID或基本流(ES)ID等来识别。可以根据广播信号的发送/接收协议和诸如ATSC系统之类的系统标准来改变上述识别方案。

[0050] 根据系统标准指示包括或者不包括TVCT的特定信息可以不是强制性的。相反地，当广播流使用MPEG2编解码码方案时PMT可以被强制发送。另外，在使用接收系统的情况下，TVCT可以不包括在广播信号中。如果TVCT的接收间隔长于PMT的接收间隔，则接收系统可以使用PMT识别视频和音频元素。然而，在此情况下，常规的PMT不具有指示包括或者不包括3D广播服务的特定信息。因此，在下文将详细描述使用PMT用信号发送3D广播服务信息的信号方法。

[0051] 在2D广播服务和3D广播服务被同时提供的条件下，如果广播接收系统期望维持与2D广播服务的后向兼容性并同时提供3D广播服务，则广播接收系统能够将节目号映射到各广播服务。特别是，如果3D广播服务提供立体图像，则广播系统可以根据构建和发送立体图像的方法使用多种节目号映射方案。可以提供与提供3D广播服务的内容的相对应的2D方案内容。在此情况下，节目号被分配到与相同内容对应的各2D内容和3D内容，使得视频和音频元素可被彼此识别。

[0052] 图1是例示根据本发明的第一实施方式的根据节目号分配来提供3D广播服务的方法的概念图。

[0053] 参照图1，2D视频内容被映射到节目A 1010，并且3D视频内容被映射到节目B1020。节目A 1010包括用于提供2D视频内容的视频元素1030。节目B 1020包括基本视图视频元素1030和扩展视图视频元素1040，以提供3D视频内容。

[0054] 传统广播接收机识别节目A，并且可以处理对应于视频元素1030的视频数据。对于节目B的情况，节目B中包含的元素可能不是全部被传统广播接收机识别，或者要被忽略的ID或者类型被分配给各元素，使得传统广播接收机仅能够处理节目A。

[0055] 3D广播接收机不仅可以识别对应于节目A的元素而且可以识别对应于节目B的元素。因此，3D广播接收机可以处理2D内容(节目A)和3D内容(节目B)，并且提供经处理的2D和3D内容。

[0056] 在图1中，未示出音频元素。不用说，音频元素可以等同地提供到2D内容和3D内容，使得可以被包含在节目A中。如图1所示，根据3D广播服务的提供，音频元素不必须被分配节目号。然而，为了防止传统广播接收机的错误操作，音频元素被包含在与3D广播服务对应的节目B的各元素中，使得音频元素可以被丢弃或者忽略。

[0057] 图2是例示根据本发明的第二实施方式的根据节目号分配来提供3D广播服务的方法的概念图。

[0058] 在图2中，2D视频内容被映射到节目A 2010，并且3D视频内容被映射到节目B2020。节目A 1010包括用于提供2D视频内容的视频元素2030和音频元素2050。节目B
2020包括用于提供3D视频内容的视频元素2040和音频元素2060。

[0059] 在图2中，3D视频内容2020的视频元素2040包括用于按照不同于图1的方式提供3D内容所需要的全部视频元素。换句话说，用作单个视频元素的视频元素2040被划分为提供立体图像所需要的左视点图像和右视点图像。左视点图像和右视点图像的每一个具有半分辨率，使得左视点图像和右视点图像被复用为一个帧，并且复用结果被发送到目的地。

[0060] 传统广播接收机识别节目A，并且处理对应于视频元素2030的数据和对应于音频元素2050的数据。对于节目B的情况，节目B中包含的元素可能不是全部在传统广播接收机被识别，或者要被忽略的ID或者类型被分配到传统广播接收机，使得传统广播接收机仅处能够理节目A。

[0061] 3D广播接收机不仅可以识别对应于节目A的元素而且可以识别对应于节目B的元素。在提供2D内容的情况下，3D广播接收机处理对应于节目A 2010的元素并且提供处理结果。在提供3D内容的情况下，3D广播接收机处理对应于节目B 2020的元素并且提供处理结果。

[0062] 在下文将详细描述根据本发明的第一和第二实施方式的构建PMT、广播接收机的方法和广播接收机的操作。

[0063] 首先，在下文将详细描述根据本发明的第一实施方式的PMT结构、广播接收机结构和广播接收机的操作。

[0064] 图3示出根据本发明的一个实施方式的包括3D广播信息的节目映射表(PMT)的语法结构。

[0065] 在图3中，PMT包括3DTV信息、流类型和3DTV ES信息，该3DTV信息、流类型和3DTV ES信息被用作3D广播信息、描述符(descriptor)或者字段类型。PMT中包含的字段的详细描述如下。

[0066] “table_id”字段是8比特字段，其在“TS_program_map_section”字段中总被设定为“0x02”。

[0067] “section_syntax_indicator”字段是1比特字段，其应被设定为“1”。

[0068] “section_length”字段是12比特字段，其中前两个比特将被设定为“00”，并且规定立即开始“section_length”字段的、并包括CRC的部分的字节数量。

[0069] “program_number”字段是16比特字段，其规定“program_map_PID”字段可被应用于的节目。

[0070] “version_number”字段是5比特字段，其指示“TS_program_map_section”字段的版本号。

[0071] “current_next_indicator”字段是1比特字段。当“current_next_indicator”字段的比特被设定为“1”时，这意味着发送的“TS_program_map_section”字段当前可用。当“current_next_indicator”字段的比特被设定为“1”时，这意味着发送的“TS_program_map_section”字段仍不可用，并且下一个“TS_program_map_section”字段将变为有效。

[0072] “section_number”字段包括应为“0x00”的8比特字段的值。

[0073] “last_section_number字段包括应为“0x00”的8比特字段的值。

[0074] “PCR_PID”字段是指示传输流(TS)包的PID的13比特的字段，该13比特的字段应包含针对“program_number”字段规定的节目有效的PCR字段。在没有PCR与私有流的节目定义相关联的情况下，该字段应取“0x1FFF”的值。

[0075] “program_info_length”字段是12比特字段，其前两个比特应为“00”。“program_info_length”字段规定紧接在“program_info_length”字段之后的descriptor的比特数。

[0076] 3DTV信息(或者3DTV_descriptor)被包含在descriptor字段3010中，在下文将详细描述3DTV信息。

[0077] “stream_type”字段是8比特字段，其规定具有PID(其值由“elementary_PID”字段规定)的包中携带的基本流或者负载的类型。“stream_type”字段可以指示相应的视频流的编码类型。作为示例性编码类型，可以使用JPEG、MPEG-2、MPEG-4、H.264/AVC或者H.264/AVC方案。另外，stream_type字段3020可以具有在2D广播接收机中被解释为私有数据的特定字段值。例如，关于包含在3D对应节目中的视频流或者音频流，stream_type字段3020的字段值被设定为0x06，使得传统2D广播接收机可以丢弃或者忽略相应的流。

[0078] “elementary_PID”字段是13比特字段，其规定携带相关联的基本流或者负载的传输流(TS)包的PID。该PID可以用作主视频数据或者辅视频数据的PID。

[0079] “ES_info_length”字段是12比特字段，其前两个比特应为“00”。“ES_info_length”字段可以规定紧接在“ES_info_length”字段之后的相关联的基本流的descriptor的字节数。

[0080] 3DTV ES信息(或者3DTV_ES_descriptor)可以被包含在descriptor字段3030中，在下文将详细描述3DTV ES信息。

[0081] “CRC_32”字段是32比特字段，其包含CRC值，在处理整个传输流节目映射部分之后，在附件B中定义的解码器中给出寄存器的零输出。

[0082] 图4示出根据本发明的一个实施方式的包含在PMT中的3DTV信息的语法结构。

[0083] 对图4中的字段的详细描述如下，并且图4中的字段可以包含在图3的descriptor3010中。

[0084] “corresponding_2D_program_number”字段可以指示与3D节目的2D内容相对应的节目号。如果在3D模式下观看节目的用户将指示3D模式的当前观看模式切换到2D模式，则使用“corresponding_2D_program_number”字段中示出的节目号。例如，如果没有2D节目，则“corresponding_2D_program_number”字段可以被设定为0x0000。

[0085] “number_of_total_views”字段可以指示包含在对应的3D内容中并且被提供的图像的视点的数量。

[0086] 图5示出根据本发明的第一实施方式的包含在PMT中的3DTV基本流(ES)信息的语法结构。

[0087] 对包含在3DTV ES信息中的字段的描述如下，并且图5中示出的字段可以包含在图3的descriptor 3030中。

[0088] 3D_ES_stream_type字段可以指示包含在对应的3D视频服务中的视频ES的类型信息和编解码信息。例如，可以使用ISO/IEC 13818-1(MPEG-2系统)的表2-34中限定的具体值。

[0089] “3D_ES_stream_type＝＝video”意味着包含在3DTV_ES_descriptor中的3D_ES_stream_type值对应于视频ES，诸如0x02(MPEG-2视频)、0x1B(AVC/H.264)或者
0x20(MVC)。换句话说，当对应的ES是音频ES时，可以不存在或者丢弃base_video_flag字段或者left_right_flag字段。

[0090] base_video_flag字段指示对应的视频元素是否是基本视频(即基本视图视频)。如果使用3D广播接收机观看3D节目的用户将当前3D模式改变为2D模式，则根据本发明的广播系统可以使用“corresponding_2D_program_number”字段将当前节目切换到另一个节目。另选地，广播系统可以仅处理具有为“1”的base_video_flag字段的视频ES，并接着显示处理结果。构成3D节目的多个视频ES中各具有为“1”的base_video_flag字段的流的数量需要被设定为1。换句话说，包含在同一节目号中的多个视频ES当中的仅一个流可以被设定为基本视频元素。

[0091] “left_right_flag”字段指示对应的视频元素是左图像还是右图像。例如，如果确定对应的视频元素是左图像，则“left_right_flag”字段可以被设定为0。相反地，如果对应的视频元素是右图像，则“left_right_flag”字段可以被设定为1。为了便于描述和更好地理解本发明，本发明的实施方式基于作为示例的立体图像格式公开了3D广播服务。然而如果需要，则可以扩展具有多个视点的多视图流，以使用“left_right_flag”字段使用“horizontal_position_id”或者“vertical_position_id”信息在二维摄像机排列中指示各个流的摄像机位置信息和视点信息。

[0092] 如果广播接收机接收第一实施方式中示出的PMT，则广播接收机的操作可以如下进行。

[0093] (1)2D广播接收机的操作

[0094] 2D广播接收机从广播信号中包含的SI信息提取PMT，并且解析所提取的PMT。在此情况下，校验PMT中包含的stream_type信息。如果stream_type信息被设定为0x06，则广播接收机确定对应的流为私有数据，该对应的流被认为是不能够在2D广播接收机中处理的服务，从而对应的节目被忽略或者丢弃。构成3D节目的全部ES被解释为私有数据，使得2D广播接收机忽略对应的节目并且防止因处理3D节目的元素时产生的错误操作而造成节目出现(例如，输出混合了左视点图像和右视点图像的图像，或者在视频数据被忽略或者丢弃的条件下仅输出音频流)。

[0095] (2)3D广播接收机的操作——观看3D广播服务

[0096] 3D广播接收机从广播信号中包含的SI信息提取PMT，并且解析所提取的PMT。3D广播接收机校验构成节目的各个ES的stream_type信息。如果stream_type信息被设定为0x06并且PMT中存在3DTV信息，或者如果在各个ES环中存在3DTV ES信息，则确定对应的节目对应于3DTV服务。在此情况下，构成3D节目的各个ES的stream_type字段应被设定为0x06。为0x06的该stream_type字段不仅应用于视频ES和音频ES，而且应用于与对应的节目相关联的数据广播流。

[0097] 可以使用包含在3DTV ES信息中的3D_ES_stream_type字段的信息获取与构成对应节目的ES相关的实际编解码或者流类型的信息。广播接收机通过“left_right_flag”字段获取视频PID值，并且获取与所获取的视频PID值对应的左/右视点信息。

[0098] 广播接收机使用输出格式化器组合两个解码的视频元素流，并且输出组合结果。组合两个解码是视频元素流的过程如下。广播接收机接收左/右视点视频帧，根据显示格式转换收到的左/右视图视频帧。在组合过程期间，可以对完全解码的左/右帧的视频数据执行多种任务，诸如调整大小和帧率转换。

[0099] (3)3D广播接收机的操作——转换到2D模式

[0100] 1)在PMT中存在3DTV信息的情况下

[0101] 广播接收机从3DTV信息读取“corresponding_2D_program_number”字段，并且识别“corresponding_2D_program_number”字段中描述的2D节目。之后，广播接收机提取与“corresponding_2D_program_number”字段中描述的节目号相关联的PMT，并且解析所提取的PMT，使得广播接收机获取对应的节目的视频和音频元素的信息。在获取频道信息的处理期间，广播接收机与VCT等相互工作，使得广播接收机可以进一步获取逻辑频道信息。

[0102] 广播接收机进行节目切换(或者频道切换)，将与经转换的节目对应的2D节目的视频和音频元素进行解码，并且输出解码结果。

[0103] 2)在PMT中不存在3DTV信息的情况下

[0104] 如果不存在3DTV信息，则广播接收机不能够立即获取与3D节目对应的2D节目的节目号。然而，广播接收机提供当前提供的3D视频流中的基本视图视频流，使得广播接收机可提供2D图像。

[0105] 因此，广播接收机从配置3D节目的视频元素中获取具有为“1”的“base_video_flag”字段的流的PID。另外，广播接收机仅解码与所获取的PID对应的视频元素，并且输出2D节目图像。在此情况下，广播接收机停止对剩余视频ES进行解码。

[0106] 图6是例示根据本发明的第一实施方式的用于处理广播信号的广播接收机的一个示例的框图。

[0107] 参照图6，广播接收机包括接收单元6010、用于从广播信号提取传输包(TP)或者基本流(ES)并且输出提取的TP或者ES的分用器(TP分用器)6020、用于解析系统信息(SI)的系统信息处理器6030和用于处理视频元素的视频处理单元6040。根据实施方式类别，接收单元6010可以还包括调谐器和解调器6050和残余边带(VSB)解码器6060。视频处理单元6040可以还包括用于对视频数据进行解码的视频解码器6070、用于对视频数据的帧进行同步的输出同步器6080和用于格式化输出图像的输出格式化器6090。视频解码器6070可以还包括第一视频解码器(视频解码器1)6100和第二视频解码器(视频解码器2)6110。另外，尽管图6中未示出，但是广播接收机还可以包括用于按照需要控制上述部件的控制器。控制器还可以按照需要进行节目切换或者频道切换。

[0108] 根据本发明的第一实施方式，用于2D广播服务的图像和用于3D广播服务的附加图像可以作为附加ES被接收。基于立体图像格式的各个图像可以分别对应于左视点图像和右视点图像。

[0109] 如果存在两个解码器(即，第一视频解码器6100和第二视频解码器6110)，各个解码器接收作为具有不同包标识符(PID)的流的两个视频ES并且独立地解码各个ES，应以帧为单位同步左视点图像和右视点图像。在此情况下，如果输出同步器6080执行上述任务，同步左视点图像和右视点图像，并且输出经同步的左视点图像和右视点图像，则输出格式化器6090根据显示格式进行这两个图像(左视点图像和右视点图像)的转换，从而可以输出最终3D立体显示信号。

[0110] 图7是例示根据本发明的第一实施方式的用于处理广播信号的广播接收机的另一个示例的框图。

[0111] 参照图7，广播接收机包括接收单元7010、用于从广播信号提取传输包(TP)或者基本流(ES)并且输出提取的TP或者ES的分用器(TP分用器)7020、用于解析系统信息(SI)的系统信息处理器7030和用于处理视频元素的视频处理单元7040。根据实施方式类别，接收单元7010可以还包括调谐器和解调器7050和残余边带(VSB)解码器7060。视频处理单元7040可以还包括用于对视频数据的帧进行同步的输入同步器7070、用于对视频数据进行解码的视频解码器7080和用于格式化输出图像的输出格式化器7090。另外，尽管图7中未示出，但是广播接收机还可以包括用于按照需要控制上述部件的控制器。控制器还可以按照需要进行节目切换或者频道切换。

[0112] 在图7中，两个视频ES作为具有不同PID的流被接收，并且单个解码器可以同时对这两个视频ES解码。在此情况下，对在两个路径中被接收的视频ES以帧为单位进行同步，使得经同步的视频ES需要被输入到视频解码器。输入同步器7070执行相应的任务。输出格式化器7090根据显示格式对经解码的左视点图像和经解码的右视点图像进行图像处理，从而可以输出3D立体显示信号。

[0113] 在下文将详细描述根据本发明的第二实施方式的PMT结构、广播接收机结构和广播接收机的操作。

[0114] 图8示出根据本发明的一个实施方式的包括3D广播信息的PMT的语法结构。

[0115] 参照图8，PMT包括3DTV信息、流类型和3DTV ES信息等，该3DTV信息、流类型和3DTV ES信息等被用作3D广播信息、描述符(descriptor)或者字段类型。图8的PMT语法结构类似于图3的PMT语法结构，因此在此省略其详细描述。图8的PMT中包含的字段的详细描述如下。

[0116] “descriptor”字段8010包括3DTV信息(或者3DTV_descriptor)，并且3DTV信息的详细描述将在下文进行详细描述。

[0117] “stream_type”字段(8020)是8比特字段，其规定具有(其值由“elementary_PID”字段规定)PID的包中携带的基本流或者负载的类型。另外，“stream_type”字段可以指示相应的视频元素的编码类型。作为示例性编码类型，可以使用JPEG、MPEG-2、MPEG-4、H.264/AVC、H.264/SVC或者H.264/MVC方案。另外，stream_type字段8020可以具有在2D广播接收机中被解释为私有数据的特定字段值。例如，关于包含在3D对应节目中的视频流或者音频流，stream_type字段8020的字段值被设定为0x06，使得传统2D广播接收机可以丢弃或者忽略相应的流。

[0118] descriptor字段8030包括3DTV格式信息(或者3DTV_format_descriptor)，并且3DTV格式信息将在下文详细描述。

[0119] 图9示出根据本发明的一个实施方式的包含在PMT中的3DTV信息的语法结构。

[0120] 对图9中所示的字段的详细描述等同于对3DTV信息字段的那些详细描述。根据本发明的第二实施方式，公开了作为示例的立体图像格式，从而可以省略“number_of_total_views”字段。然而，上述示例仅是为了例示性目的而公开。在发送多视图图像的情况下，图9的语法结构可以包括number_of_total_views字段。在此情况下，number_of_total_views字段已经在图4中公开。

[0121] 图10示出根据本发明的一个实施方式的包含在PMT中的3D格式信息的语法结构。

[0122] 对图10的3D格式信息中包含的字段的详细描述如下。

[0123] 3D_ES_stream_type字段指示视频ES的类别信息和编解码信息。例如，3D_ES_stream_type字段可以使用ISO/IEC 138181(MPEG-2系统)的表2-34中定义的值。

[0124] 当3D_format_descriptor字段的3D_ES_stream_type字段对应于音频流时，以下描述的字段可以被省略或者丢弃(也就是说，上述字段仅存在于视频ES)。

[0125] composition_type字段指示立体复用视频数据的左/右图像如何被复用。换句话说，广播接收机解析composition_type字段的值，并且composition_type字段确定多个格式(即，并排格式、上下格式、交织格式、帧序列格式、棋盘格式、视差图像格式(anaglyph format)、全左/由格式、全左/半右格式和2D视频/深度格式)中的哪个格式被用于接收对应的3D图像。

[0126] 当构建(或者复用)立体图像时，LR_ﬁrst_flag字段指示帧的最左上像素属于左图像还是右图像。例如，如果LR_ﬁrst_flag字段具有值零，则这意味着属于左图像的像素在右图像之前定位。

[0127] spatial_flipping_flag字段指示右图像和左图像中的至少一个是否在反方向(inverse direction)上被扫描和编码。

[0128] 为1的image0_flipped_flag字段指示图像中的哪一个被翻转或者镜像逆转。如果图像(图像0)被翻转，则用“1”表示image0_flipped_flag字段。如果另一图像(图像1)被翻转，则用“0”表示image0_flipped_flag字段。例如，图像0包括由左图像和右图像组成的一个帧的左上像素，并且图像1是不同的图像。换句话说，根据LR_ﬁrst_flag字段的信息，图像0或者图像1可以被映射到左图像或者右图像。如果LR_ﬁrst_flag字段被设定为“0”，则这意味着左图像。如果LR_ﬁrst_flag字段被设定为“1”，则这意味着右图像。

[0129] quincunx_ﬁltering_flag字段可以指示当按半分辨率对左图像或者右图像进行采样时，是否使用五株形滤波器(quincunx ﬁlter)进行采样。例如，如果进行五株形滤波，则可以用“1”表示quincunx_ﬁltering_flag字段。否则，可以用“0”表示quincunx_ﬁltering_flag字段。如果quincunx_ﬁltering_flag字段被设定为1，则接收系统可以对对应的图像进行五株形滤波的逆处理。

[0130] 当根据第二实施方式接收PMT时，广播接收机的操作可以如以下操作。

[0131] (1)2D广播接收机的操作

[0132] 2D广播接收机从广播信号中包含的SI信息提取PMT，并且解析所提取的PMT。在此情况下，校验PMT中包含的stream_type信息。如果stream_type信息被设定为0x06，则广播接收机确定对应的流为私有数据，该对应的流被认为是不能够在2D广播接收机中处理的服务，从而对应的节目被忽略或者丢弃。构成3D节目的全部ES被解释为私有数据，使得2D广播接收机忽略对应的节目并且防止因处理3D节目的元素时产生的错误操作而造成节目出现(例如，输出混合了左视点图像和右视点图像的图像，或者在视频数据被忽略或者丢弃的条件下仅输出音频流)。

[0133] (2)3D广播接收机的操作——观看3D广播服务

[0134] 3D广播接收机从广播信号中包含的SI信息提取PMT，并且解析所提取的PMT。3D广播接收机校验构成节目的各个ES的stream_type信息。如果stream_type信息被设定为0x06并且PMT中存在3DTV信息，或者如果在各个ES环中存在3DTV ES信息，则确定对应的节目对应于3DTV服务。在此情况下，构成3D节目的各个ES的stream_type字段应被设定为0x06。为0x06的该stream_type字段不仅应用于视频ES和音频ES，而且应用于与对应的节目相关联的数据广播流。

[0135] 可以使用包含在3DTV ES信息中的3D_ES_stream_type字段的信息获取与构成对应节目的ES相关的真实编解码或者流类型的信息。广播接收机获取视频PID值，并且获取对应的视频元素的3D格式类别信息和左/右排列信息。

[0136] 广播接收机使用输出格式化器处理经解码的立体复用视频元素，并且输出经处理的视频元素。输出格式化器可以不仅使用从3DTV格式信息获取的3D格式类别信息而且使用左/右排列信息进行附加调整大小和帧率转换等。

[0137] (3)3D广播接收机的操作——转换到2D模式

[0138] 广播接收机从3DTV信息读取corresponding_2D_program_number字段，并且识别corresponding_2D_program_number字段中描述的2D节目。之后，广播接收机提取与corresponding_2D_program_number字段中描述的节目号相关联的PMT，并且解析所提取的PMT，使得广播接收机获取对应节目的视频和音频元素的信息。在获取频道信息的处理期间，广播接收机与VCT等相互工作，使得广播接收机可以进一步获取逻辑频道信息。

[0139] 广播接收机进行节目切换(或者频道切换)，将与经转换的节目对应的2D节目的视频和音频元素解码，并且输出解码结果。

[0140] 图11是例示根据本发明的第二实施方式的用于处理广播信号的广播接收机的框图。

[0141] 参照图11，广播接收机包括接收单元11010、用于从广播信号提取传输包(TP)或者基本流(ES)并且输出提取的TP或者ES的分用器(TP分用器)11020、用于解析系统信息(SI)的系统信息处理器11030和用于处理视频元素的视频处理单元11040。根据实施方式类别，接收单元11010可以还包括调谐器和解调器11050和残余边带(VSB)解码器11060。视频处理单元11040可以还包括用于对视频数据进行解码的视频解码器11070、用于对视频数据的帧进行同步的输出同步器11080。另外，尽管图11中未示出，但是广播接收机还可以包括用于按照需要控制上述部件的控制器。控制器还可以按照需要进行节目切换或者频道切换。

[0142] 根据本发明的第二实施方式，用于2D广播服务的图像和用于3D广播服务的附加图像可以作为附加ES被接收。在用于3D广播服务的各个图像中，左图像和右图像被复用为一个图像，并且复用结果被发送到目的地。

[0143] 图11的广播接收机可以按照类似于常规的2D广播接收机的方式操作，除了系统信息(SI)处理器和输出格式化器的操作以外，即除了由SI处理器提取3DTV格式描述符的操作和由输出格式化器进行格式转换的操作以外。

[0144] 图12和图13所示的实施方式公开了允许广播接收机使用3DTV格式信息将收到的复用格式转换为另一种复用格式并且输出转换结果的方法。

[0145] 图12是例示根据本发明的一个实施方式的使用3D图像格式信息将收到的图像的复用格式转换为另一种格式并且输出转换结果的广播接收机的结构图。

[0146] 从图12的左侧可见，能够根据composition_type字段的值识别3D视频数据的复用格式。广播接收机解析系统信息。如果composition_type字段被设定为值“0”，则广播接收机可以识别竖直交织格式。如果composition_type字段被设定为值“1”，则广播接收机可以识别并排格式。如果composition_type字段被设定为值“2”，则广播接收机可以识别水平交织格式。如果composition_type字段被设定为值“3”，则广播接收机可以识别竖直交织格式。如果composition_type字段被设定为值“4”，则广播接收机可以识别棋盘格式。

[0147] 图12的右侧例示广播接收机的输出格式化器的概念图。在一个实施方式中，广播接收机的输出格式化器可以包括缩放器(scaler)12010、整形器12020、存储器(DDR)12030和格式化器12040。

[0148] 缩放器12010对收到的图像进行调整大小和插值。例如，缩放器12010可以根据收到的图像格式和输出图像格式对收到的图像进行调整大小和五株形逆采样。在调整大小期间，收到的图像可以根据分辨率和图像大小按照各种比例(例如，1/2调整大小，加倍(2/1)调整大小)被调整大小。整形器12020从收到的图像提取左图像/右图像并且将提取的左图像/右图像存储在存储器12030中，或者从存储器12030提取读取的图像。如果存储在存储器12030中的一个图像的映射图不同于输出图像的映射图，则整形器12020读取存储在存储器中的图像并且将读取的图像映射到输出图像。存储器12030存储收到的图像，或者缓冲收到的图像并且输出缓冲的图像结果。格式化器12040根据要显示的图像的格式转换图像格式。例如，格式化器12040可以将上下格式的图像转换为交织格式。

[0149] 图13是例示根据本发明的一个实施方式的使用3DTV格式信息转换收到的图像的复用格式并且输出转换结果的广播接收机的视频数据处理方法的概念图。

[0150] 1)首先，本发明的第一实施方式公开了输出格式对应于水平交织操作，并且在下文将描述其详细描述。

[0151] 缩放器对收到的左图像或者右图像进行竖直或水平1/2调整大小，并且输出调整大小后的结果。整形器将输出图像存储在存储器中，使用上下格式进行图像扫描，并且输出扫描结果。缩放器对收到的上下格式图像进行水平2/1调整大小，并且格式化器将收到的全画面上下格式图像转换为水平交织格式，并且输出转换结果。

[0152] 2)接着，本发明的第二实施方式公开了收到的3D图像的复用格式是并排格式，并且输出格式对应于水平交织模式。假定收到的3D图像指示左为先并且没有翻转。

[0153] 缩放器对收到的并排格式图像的大小进行竖直1/2调整，并且输出调整大小后的结果。整形器将输出图像存储在存储器中，使用上下格式进行图像扫描，并且输出扫描结果。缩放器对收到的上下格式图像的大小进行水平2/1调整，并且格式化器将收到的全画面上下格式图像转换为水平交织格式，并且输出转换结果。

[0154] 图14是例示根据本发明的一个实施方式的3D广播接收机的广播数据处理方法的流程图。

[0155] 参照图14，在步骤S14010，广播接收机允许接收单元接收广播信号，该广播信号不仅包括具有各个节目的广播信息的系统信息而且包括广播数据(或者视频数据)。例如，系统信息可以对应于ASTC标准PSI，并且各个节目的广播信息可以对应于PMT信息。广播信号或者广播数据可以包括对应于节目的视频数据、音频数据和附加数据。以下将基于视频数据进行描述。视频数据可以表示包括视频流、ES、帧和图像的视频数据。

[0156] 在步骤S14020，广播接收机使用系统信息(SI)处理器解析系统信息，并且通过参照系统信息确定节目是否提供3D广播服务。例如，广播接收机通过检测以下中的至少一个来确定节目是否提供3D广播服务：PMT中存在或者不存在配置节目的各个ES的stream_type信息、存在或者不存在3DTV信息以及存在或者不存在各个ES环中包含的3DTV ES信息。换句话说，广播接收机解析系统信息并且基于该系统信息确定特定节目的视频数据是否表示3D广播服务。

[0157] 在步骤S14030，广播接收机使用分用器提取与提供3D广播服务的节目对应的广播数据(或者视频数据)。例如，广播接收机可以使用通过PMT提供3D广播服务的节目的PID提取视频数据。

[0158] 在步骤S14040，广播接收机使用视频处理单元处理提取出的视频数据。处理视频数据的操作可以包括视频解码器的解码操作、同步器的同步操作和输出格式化器的图像格式化操作等。例如，广播接收机通过解析PMT获取3DTV信息、3DTV ES信息和3DTV格式信息，并且可以使用所获取的信息中的至少一个处理视频数据。

[0159] 在步骤S14050，当从用户收到输入信号时，广播接收机可以将3D观看模式切换到2D观看模式。

[0160] 在此情况下，在步骤S14060，广播接收机可以使用SI处理器从系统信息获取2D节目的节目信息，该2D节目的节目信息提供能够提供3D广播服务的特定节目的2D广播服务。例如，节目信息可以包括与3D节目对应的2D节目的节目号(例如，corresponding_2D_program_number信息)。

[0161] 在步骤S14070，广播接收机进行节目转换(或者改变)，并且使用分用器根据2D节目的节目信息提取2D节目的视频数据。例如，广播接收机可以将节目号转换(或者切换)为2D节目号，并且可以通过将系统信息中包含的VCT的频道号映射到节目号来进行频道转换，使得广播接收机可以提取对应的节目或者频道的视频数据。广播接收机可以通过控制SI处理器使用系统信息中包含的地面传输虚拟频道列表(TVCT)获取节目的频道信息，并且由控制器使用频道信息将频道切换到另一个频道。

[0162] 在步骤S14080，广播接收机可以处理2D节目的视频数据。广播接收机的视频数据处理可以对视频数据进行解码，并且还包括在图12和图13中公开的视频格式化。

[0163] 广播接收机可以使用控制器对节目或者频道进行转换。换句话说，如果将当前观看模式转换为2D观看模式，则广播接收机根据收到的观看模式转换输入信号控制广播接收机中包含的部件，使得广播接收机可以进行上述操作。

[0164] 与图14相关联的个别步骤涉及图1至图13中公开的实施方式，因此在此省略其详细描述。

[0165] 图15是例示根据本发明的第三实施方式的采用一个节目号来提供3D广播服务的方法的概念图。

[0166] 根据本发明的第一和第二实施方式公开了将不同的节目号分配到2D广播服务和3D广播服务、相关联的接收机结构和接收机的操作方法。然而，根据第一和第二实施方式，当用户观看相同内容时仅2D广播服务和3D广播服务改变，用户可以感觉节目号或者频道号的改变有些奇怪。因此，本发明的第三实施方式提供了用于向2D广播服务和3D广播服务提供一个节目号的技术结构。

[0167] 在图15中，视频1(15010)对应于2D视频内容，视频2(15020)对应于3D视频内容。在本发明的第三实施方式中，将与相同内容相关联的2D视频数据15010和3D视频数据15020的每一个映射到节目A。换句话说，2D视频数据15010和3D视频数据15020可以通过节目A发送和接收。

[0168] 用作2D视频数据的视频1(15010)可以被分配能够由2D接收机识别和处理的流类型，并且用作3D视频数据的视频2(15020)可以被分配不能够由2D接收机识别的流类型(私有数据类型)。向视频2(15020)分配的流类型可以由3D广播接收机识别。

[0169] 下文将参照附图描述根据本发明第三实施方式构建PMT的示例、根据本发明的广播接收机和广播接收机的操作。

[0170] 图16示出根据本发明的一个实施方式的包括3D广播信息的节目映射表(PMT)的语法结构。

[0171] 图16中所示的PMT语法结构类似于图3和图8中的语法结构，因此为了便于描述，在此省略相同字段的详细描述。

[0172] 从图16可见，本发明的第三实施方式不使用节目信息识别对应的广播数据是2D广播数据还是3D广播数据。换句话说，2D广播数据和3D广播数据通过一个节目号或者一个标识符(ID)来识别，并且还通过对应的节目中包含的不同流(或者基本流(ES))来识别。

[0173] 在图16中，可以根据stream_type字段16010的值识别对应的流或者ES是2D广播服务还是3D广播服务。根据一个实施方式，对应能够在2D广播接收机上显示的MPEG-2视频流的情况，可以向stream_type字段16010字段分配“0x02”。能够仅在3D广播接收机上显示的视频流和/或音频流可以被分配“0x06”。该字段值“0x06”由2D广播接收机解析为私有数据，使得该字段值不被接收机处理或者被忽略。

[0174] 如果对应的ES对应于3D广播服务，则descriptor字段16020包括与3D广播服务相关联的3DTV ES信息(或者3DTV_ES_descriptor)，将在以下描述3DTV ES信息。

[0175] 图17示出根据本发明的第一实施方式的包含在PMT中的3DTV基本流(ES)信息的语法结构。

[0176] 对图17中所示的3DTV ES信息中包含的字段的详细描述如下。图17的3DTV ES信息(3DTV_ES_descriptor)可以包含在图16中所示的PMT的descriptor 16020中。

[0177] 3D_ES_stream_type字段不仅指示对应的3D视频服务中包含的视频ES的类型，而且还指示编解码信息。例如，3D_ES_stream_type可以使用ISO/IEC 13818-1(MPEG-2系统)的表2-34中定义的值。

[0178] “3D_ES_stream_type＝＝video”意味着包含在3DTV_ES_descriptor字段中的3D_ES_stream_type具有视频ES值(诸如0x02(MPEG-2视频)、0x1B(AVC/H.264)或者0x20(MVC)等)的特定情况。也就是说，当对应的ES是音频ES时，base_video_flag字段和left_right_flag字段可以不存在或者被丢弃。

[0179] base_video_flag字段指示对应的视频元素是否是基本视频(即基本视图视频)。例如，如果对应的视频元素是基本视图视频，则“base_video_flag”字段可以被设定为1。
如果对应的视频元素不是基本视图视频，则“base_video_flag”字段可以被设定为0。如果3D广播接收机的3D模式被切换到2D模式，则仅与为“1”的base_video_flag”字段相对应的视频ES可以被处理和显示。在立体方案中，2D视频数据可以是基本视图视频数据，并且附加发送和接收的3D视频数据可以是扩展视图视频数据。在此情况下，按照需要可以省略base_video_flag字段。然而，假定2D视频数据是扩展视图数据并且3D视频数据是基本视图数据，当3D广播接收机切换到2D模式时，仅其中base_video_flag字段被设定为“1”的视频ES可以被处理和显示。

[0180] left_right_flag字段指示对应的视频元素是左图像(即，左视点图像)还是右图像(即，右视点图像)。例如，如果对应的视频元素是左图像，则“left_right_flag”字段可以被设定为0。如果对应的视频元素是右图像，则“left_right_flag”字段可以被设定为1。

[0181] 为了便于描述和更好地理解本发明，如上所述，本发明示例性地公开了立体图像类型3D广播服务。然而，在使用具有多个视点的多视图流的情况下，可以使用horizontal_position_id或者vertical_position_id 信息代替 left_right_flag字段，使得horizontal_position_id或者vertical_position_id信息可以指示各个流的摄像机位置信息和视点信息以便在2D摄像机排列中使用。

[0182] 图18示出根据本发明的一个实施方式的执行用信号发送多个视频元素的PMT的语法结构。

[0183] 更详细地，当通过针对图16所示的3D广播服务的一个节目发送和接收多个视频元素时，图18的语法结构示出用信号发送关于多个视频元素的信息的实施方式。也就是说，图18的语法结构被添加到位于图16的stream_type字段下方的部分。在图18的实施方式中，通过一个PMT用信号发送2D广播内容和3D广播内容，并且根据立体方案，节目包括两个视频元素(即左视频元素和右视频元素)。图18未示出音频元素和附加数据元素，音频元素和附加数据元素中的每一个可以附加地包含在节目中。

[0184] 从图18可见，一个节目号包括具有0x02的流类型的视频元素信息19010和具有0x06的流类型的视频元素信息19020。

[0185] 如果流类型(stream_type)字段被设定为值“0x02”，则这意味着对应的视频元素对应于基本视图视频数据和MPEG-2视频数据。该基本视图视频数据可以在2D广播接收机上显示。如果stream_type字段被设定为值“0x06”，则对应的视频元素可以是扩展视图视频并且可以在3D广播接收机上显示。3D广播接收机将扩展视图视频数据添加到具有stream_type字段值为0x02的基本视图视频数据，使得3D广播接收机可以显示3D图像。根据本发明的一个实施方式，扩展视图视频可以对应于H.264视频数据。由于2D广播接收机将字段值“0x06”识别为私有数据，因此3D广播服务的视频元素可以在不经处理的情况下被丢弃或者可以被忽略。

[0186] 对于流类型(stream_type)字段被设定为值“0x06”的视频元素的情况，PMT中包含指示视频元素的信息的描述符(descriptor2)19030。该descriptor2 19030中包含的信息可以被称为3DTV ES信息(3DTV_ES_info_descripotor)，并且将在下面描述其详细描述。

[0187] 图19示出根据本发明的一个实施方式的3DTV基本流(ES)信息的语法结构。

[0188] 3DTV ES信息可以识别或者解释图18所示的PMT中的用于3D广播服务的视频元素。也就是说，3D广播接收机提取用于3D广播服务的视频元素并且进行图像处理以显示3D图像。当进行图像处理时，3D广播接收机可以使用3DTV ES信息。3D广播接收机可以使用3DTV ES信息执行对3D视频数据的子采样。在对附加图像进行插值期间，3D广播接收机可以在正确的位置恢复经插值的图像。3DTV ES信息可以包含在图18的descriptor字段
19030中，并且字段的详细描述如下。

[0189] stereoscopic_view_info_flag字段可以指示对应的ES是左图像还是右图像。例如，如果对应的ES是左图像，则stereoscopic_view_info_flag字段被设定为值“1”。如果对应的ES是右图像，则stereoscopic_view_info_flag字段被设定为值“0”。

[0190] stereoscopic_dependency_flag字段可以指示对应的ES是基本视图视频数据还是扩展视图视频数据。例如，如果对应的ES是基本视图视频数据，则stereoscopic_dependency_flag字段被设定为值“1”。如果对应的ES是扩展视图视频数据，则stereoscopic_dependency_flag字段被设定为值“0”。

[0191] “stream_type”字段可以指示附加图像的流类型。例如，附加图像的流类型可以指示对应的视频流的视频编码类型或者编解码类型(例如，MPEG-2、H.264、H.265、AVC、SVC或者MVC)。

[0192] streoscopic_composition_type字段可以指示响应于如以下表1所示的对应字段值而用于立体视频广播服务中的图像格式类型。

[0193] [表1]

[0194] [表]

[0195]值描述
000 保留
001 具有相同分辨率的参考/附加图像
010 与参考图像相比，附加图像分辨率在水平方向上具有1/2大小
011 与参考图像相比，附加图像分辨率在竖直方向上具有1/2大小
100 与参考图像相比，附加图像分辨率在竖直和水平方向上具有1/2大小
101～111 保留

[0196] horizontal_subsampling_type字段指示当在在水平方向上子采样附加图像分辨率时使用的子采样线，vertical_subsampling_type字段指示当在竖直方向上子采样附加图像分辨率时使用的子采样线。根据一个实施方式，horizontal_subsampling_type字段可以指示当如以下表2所示执行按1/2大小的子采样时响应于对应字段值的子采样方案。vertical_subsampling_type字段可以指示当如以下表3所示执行按1/2大小的子采样时响应于对应字段值的另一子采样方案。

[0197] [表2]

[0198] [表]

[0199]值描述
00 不子采样
01 在水平方向上进行偶数的线子采样
10 在水平方向上进行奇数的线子采样
11 保留

[0200] [表3]

[0201] [表]

[0202]值描述
00 不子采样
01 在竖直方向上进行偶数的线子采样
10 在竖直方向上进行奇数的线子采样
11 保留

[0203] 当根据第三实施方式接收PMT时，广播接收机的操作可以如以下进行。

[0204] (1)2D广播接收机的操作

[0205] 2D广播接收机从广播信号中包含的SI信息提取PMT，并且解析所提取的PMT。在此情况下，校验PMT中包含的stream_type信息。如果stream_type信息被设定为0x06，则2D广播接收机确定对应的流为私有数据，该对应的ES流被认为是不能够在2D广播接收机中处理的服务，从而对应的节目被忽略或者丢弃。

[0206] 3D广播服务额外需要的全部ES具有被解释为私有数据的stream_type字段值，使得2D广播接收机忽略对应的节目并且防止因处理3D节目的元素时产生的错误操作而造成节目出现(例如，输出混合了左视点图像和右视点图像的图像，或者在视频数据被忽略或者丢弃的条件下仅输出音频流)。

[0207] (2)3D广播接收机的操作？观看3D广播服务

[0208] 3D广播接收机从广播信号中包含的SI信息提取PMT，并且解析所提取的PMT。3D广播接收机校验构成节目的各个ES的流类型(stream_type)信息。如果流类型(stream_type)信息被设定为0x06并且PMT中存在3DTV信息，或者如果在各个ES环中存在3DTV ES信息，则确定对应的节目对应于3DTV服务。在此情况下，构成3D节目的各个ES的流类型(stream_type)字段应被设定为0x06。为0x06的该stream_type字段不仅应用于视频ES和音频ES，而且应用于与对应的节目相关联的数据广播流。

[0209] 可以使用包含在3DTV ES信息中的3D_ES_stream_type字段的信息获取与构成对应节目的ES相关的实际编解码或者流类型的信息。广播接收机获取视频PID值，并且获取对应的视频元素的3D格式类别信息和左/右排列信息。

[0210] 广播接收机使用输出格式化器组合两个解码的视频元素流，并且输出组合结果。在组合处理期间，广播接收机接收对应的左/右视图视频帧，根据显示格式转换收到的左/右视图视频帧。在此情况下，经完全解码的左/右帧视频数据可以按照多种方式进行处理，例如调整大小、子采样、帧率转换等。在此，广播接收机可以使用3DTVES信息中包含的streoscopic_composition_type信息、horizontal_subsamplimg_type信息和vertical_subsamplimg_type信息中的至少一个。

[0211] (3)3D广播接收机的操作？转换到2D模式

[0212] 如果将3D广播接收机的显示模式切换到2D模式，则可以使用以下方法1)和2)来显示2D图像。

[0213] 1)第一方法

[0214] 在第一方法中，3D广播接收机从对应的节目提取具有stream_type字段为0x02的视频元素，解码所提取的视频元素，并且输出解码结果。也就是说，3D广播接收机可以在2D模式中显示2D兼容视频流代替私有数据类型。

[0215] 2)第二方法

[0216] 在第二方法中，3D广播接收机识别构成3D广播服务的视频元素中base_video_flag字段被设定为1或者stereoscopic_dependency_flag字段被设定为0的流的PID。也就是说，3D广播接收机从具有stream_type字段为0x06的视频元素中获得基本视图视频元素的PID。如果用户执行到2D模式的转换，则3D广播接收机仅解码与所获得的PID对应的视频元素，输出2D视频元素，并且停止解码其余的视频ES，使得3D广播接收机显示与基本视图图像对应的2D图像。

[0217] 图6和图7示出根据本发明的第三实施方式的广播接收机的结构和操作。然而，根据第三实施方式，广播接收机的SI处理器根据节目中包含的stream_type字段的值而不是节目号识别视频ES是2D广播服务还是3D广播服务，使用前述方法识别PID，并且提取和处理视频ES。

[0218] 图20是例示根据本发明的一个实施方式的3D广播接收机的处理3D广播数据的方法的流程图。

[0219] 参照图20，在步骤S20010，广播接收机允许接收单元接收广播信号，该广播信号不仅包括具有各个节目的广播信息的系统信息而且包括视频数据。例如，系统信息可以对应于ASTC标准PSI，并且各个节目的广播信息可以对应于PMT信息。广播信号或者广播数据可以包括对应于节目的视频数据、音频数据和附加数据。以下将基于视频数据进行描述。视频数据可以表示包括视频流、ES、帧和图像的视频数据。

[0220] 在步骤S20020，广播接收机使用系统信息(SI)处理器解析系统信息，并且通过参照系统信息确定节目是否提供3D广播服务。例如，广播接收机通过检测PMT中配置节目的各个ES的stream_type信息确定节目是否提供3D广播服务。也就是说，在图16或图18中所示的PMT中存在具有为0x06的stream_type字段的视频ES的情况下，可以确定对应的节目提供3D广播服务。

[0221] 在步骤S20030，广播接收机使用分用器提取与提供3D广播服务的节目对应的广播数据。例如，广播接收机可以从PMT获得提供3D广播服务的视频ES的PID，并且可以提取对应于这些PID的视频ES。尽管如上所述将对应于3D广播服务的stream_type字段值应用于音频数据和附加数据，为了便于说明和更好地理解本发明，在下文将仅基于视频数据描述本发明。

[0222] 在步骤S20040，广播接收机使用视频处理单元处理提取出的视频数据。处理视频数据的操作可以包括视频解码器的解码操作、同步器的同步操作和输出格式化器的图像格式化操作等，与图12和图13中所示的接收机操作相关联。例如，广播接收机可以使用通过以下中的至少一个来处理视频数据：PMT解析获得的3DTVES信息(参见图17或者图19)和图17和图19中所示的字段的信息。

[0223] 在步骤S20050，当从用户收到输入信号时，广播接收机可以将3D观看模式切换到2D观看模式。

[0224] 在此情况下，在步骤S20060，广播接收机可以使用系统信息(SI)信息从系统信息获得输出在3D模式下观看的节目的2D视频数据的2D视频数据信息。例如，2D视频数据信息可以是与stream_type字段被设定为0x02的基本视图视频的视频ES相对应的PID信息。作为另一示例，2D视频数据信息可以是具有为0x06的stream_type字段的3D视频ES中的视频ES(其中base_video_flag字段被设定为“1”或者stereoscopic_dependency_flag字段被设定为“0”)的PID信息。

[0225] 在步骤S20070，广播接收机可以使用分用器根据2D视频数据信息提取2D视频数据。例如，广播接收机可以使用在步骤S20060获得的2D视频ES的PID提取2D视频ES。

[0226] 在步骤S20080，广播接收机对视频数据进行处理。广播接收机的视频数据处理可以对视频数据解码，并且还包括图12和图13中公开的视频格式化。

[0227] 广播接收机可以使用控制器对节目或者频道进行转换。换句话说，如果将当前观看模式切换为2D观看模式，则广播接收机根据收到的观看模式切换输入信号控制广播接收机中包含的部件，使得广播接收机可以进行上述操作。

[0228] 与图20相关联的个别步骤涉及图1到图19中公开的实施方式，因此在此省略其详细描述。

[0229] 本发明公开的方法可以按照可以由多个计算机单元执行的程序命令的形式实现，并且记录在计算机可读记录介质上。计算机可读记录介质可以单独地或者组合地包括程序命令、数据文件、数据结构等。在介质上记录的程序命令可以是针对本发明特别设计并且配置的程序命令，或者是计算机软件领域技术人员已知并且可得的程序命令。计算机可读记录介质的示例包括：诸如硬盘、软盘和磁带这样的磁介质、诸如致密盘只读存储器(CD-ROM)和数字多功能盘(DVD)这样的光学介质、诸如软式光盘之类的磁光介质，以及诸如ROM、随机存取存储器(RAM)和闪存存储器这样的特别配置为存储和执行程序命令的硬件装置。程序命令的示例包括可由使用解析器的计算机执行的高级语言代码等，以及诸如由编译器产生的机器语言代码。上述硬件装置可以被配置为作为一个或者更多个软件模块来操作以执行本发明的操作，反之亦然。

[0230] 尽管结合有限的实施方式和附图描述了本发明，但是本发明不限于此。本领域技术人员将理解根据此描述可以进行各种修改、添加和替换。因此，本发明的范围不应限制于示例实施方式的描述而应按照所附的权利要求和它们的等同形式来确定。

[0231] 本发明的模式

[0232] 以用于实现本发明的最佳方式描述了各个实施方式。

[0233] 工业实用性

[0234] 根据以上描述明显的是，本发明的实施方式可以整体或者部分应用于数字广播系统。

[0235] 根据本发明的实施方式，广播接收机可以处理3D视频数据，从而在3D广播服务中反映出3D广播服务提供商想要的3D效果。

[0236] 另外，本发明的实施方式可以在最小化对现有2D广播服务的影响的同时有效地提供3D广播服务。

[0237] 对本领域技术人员来说明显的是，在不脱离本发明的精神或者范围的情况下可对本发明进行各个修改和变型。由此，本发明旨在覆盖本发明的这些修改和变型只要它们落入所附权利要求和它们的等同形式的范围。

标题	发布/更新时间	阅读量
一种耕地现场边云协同的三维重建方法	2020-05-08	452
一种列车触摸屏控制器	2020-05-11	642
机器人系统、机器人的校准治具、机器人的校准方法	2020-05-08	795
用于修改立体声信号的立体声像的音频信号处理装置和方法	2020-05-11	12
一种基于人工智能的服务器巡检方法及系统	2020-05-08	862
一种带手势控制视觉检测功能的油烟机及降噪方法	2020-05-11	808
相机标定系统以及方法	2020-05-08	186
一种自动调节空调制冷量、制热量的方法及空调	2020-05-08	633
一种放射治疗系统	2020-05-08	713
成像光学膜及装饰膜	2020-05-08	1019

广播接收机及其3D视频数据处理方法

广播接收机及其3D视频数据处理方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：