发送装置、发送方法、接收装置和接收方法
阅读：30发布：2020-06-04
专利汇可以提供发送装置、发送方法、接收装置和接收方法专利检索，专利查询，专利分析的服务。并且本 发明 的目的是为了使字幕位图数据可以有利地 叠加 到接收侧的视频数据上。生成具有渐进的视频数据的 视频流 。生成具有渐进的字幕位图数据的字幕流。发送包括视频流和字幕流的预定格式的容器。例如，在字幕流中，渐进的字幕位图数据以划分为顶部字段字幕位图数据和底部字段字幕位图数据或未划分的状态存在。，下面是发送装置、发送方法、接收装置和接收方法专利的具体信息内容。
1.一种发送装置，包括：
视频编码单元，被配置为生成具有渐进的视频数据的视频流；
字幕编码单元，被配置为生成具有渐进的字幕位图数据的字幕流；以及
发送单元，被配置为发送包括所述视频流和所述字幕流的预定格式的容器。
2.根据权利要求1所述的发送装置，其中，在所述字幕流中，所述渐进的字幕位图数据以划分为顶部字段字幕位图数据和底部字段字幕位图数据的状态存在。
3.根据权利要求2所述的发送装置，其中，在所述字幕流中存在顶部字段用数据块和底部字段用数据块，并且
所述顶部字段字幕位图数据设置在所述顶部字段用数据块中，并且所述底部字段字幕位图数据设置在所述底部字段用数据块中。
4.根据权利要求1所述的发送装置，其中，在所述字幕流中，所述渐进的字幕位图数据以未划分状态存在。
5.根据权利要求4所述的发送装置，其中，在所述字幕流中存在顶部字段用数据块和底部字段用数据块，并且
未划分状态的所述渐进的字幕位图数据设置在所述顶部字段用数据块或所述底部字段用数据块中。
6.根据权利要求4所述的发送装置，其中，在所述字幕流中存在渐进用数据块，并且未划分状态的所述渐进的字幕位图数据设置在所述渐进用数据块中。
7.根据权利要求1所述的发送装置，所述视频数据具有第一分辨率，所述字幕位图数据具有比所述第一分辨率低的第二分辨率，所述发送装置还包括：识别信息插入单元，被配置为在所述字幕流的层内插入识别信息，所述识别信息指示在对所述字幕位图数据执行坐标变换和分辨率变换之后，所述字幕位图数据将叠加到所述视频数据上。
8.一种发送方法，包括以下步骤：
由视频编码单元生成具有视频数据的视频流；
由字幕编码单元生成具有渐进的字幕位图数据的字幕流；并且由发送单元发送包括所述视频流和所述字幕流的预定格式的容器。
9.一种接收装置，包括：
接收单元，被配置为接收包括具有渐进的视频数据的视频流和具有渐进的字幕位图数据的字幕流的预定格式的容器；以及
控制单元，被配置为控制通过解码视频流而获取所述渐进的视频数据的处理、通过解码字幕流而获取所述渐进的字幕位图数据的处理以及通过将渐进的字幕位图数据叠加到所述渐进的视频数据上而获取显示用视频数据的处理。
10.根据权利要求9所述的接收装置，其中，在所述字幕流中，所述渐进的字幕位图数据以划分为顶部字段字幕位图数据和底部字段字幕位图数据的状态存在，并且在获取所述渐进的字幕位图数据的处理中，利用通过解码字幕流而获取的所述顶部字段字幕位图数据和所述底部字段字幕位图数据的组合来获取所述渐进的字幕位图数据。
11.根据权利要求9所述的接收装置，其中，在所述字幕流中存在顶部字段用数据块和底部字段用数据块，并且
在获取所述渐进的字幕位图数据的处理中，获取插入在所述顶部字段用数据块或所述底部字段用数据块中的未划分状态的渐进的字幕位图数据。
12.根据权利要求9所述的接收装置，其中，在所述字幕流中存在渐进用数据块，并且在获取所述渐进的字幕位图数据的处理中，获取插入在所述渐进用数据块中的未划分状态的渐进的字幕位图数据。
13.一种接收方法，包括以下步骤：
由接收单元接收包括具有渐进的视频数据的视频流和具有渐进的字幕位图数据的字幕流的预定格式的容器；并且
由控制单元控制通过解码所述视频流而获取所述渐进的视频数据的处理、通过解码所述字幕流而获取所述渐进的字幕位图数据的处理以及通过将所述渐进的字幕位图数据叠加到所述渐进的视频数据上而获取显示用视频数据的处理。
14.一种发送装置，包括：
视频编码单元，被配置为生成具有第一分辨率的视频数据的视频流；
字幕编码单元，被配置为生成具有比所述第一分辨率低的第二分辨率的字幕位图数据的字幕流；
发送单元，被配置为发送包括所述视频流和所述字幕流的预定格式的容器；以及识别信息插入单元，被配置为在所述字幕流的层内插入识别信息，所述识别信息指示在对所述字幕位图数据执行坐标变换和分辨率变换之后，所述字幕位图数据将叠加到所述视频数据上。
15.根据权利要求14所述的发送装置，还包括分辨率信息插入单元，被配置为在所述容器的层内插入关于包括在所述字幕位图数据要叠加在其上的所述视频数据内的所述第一分辨率的信息。
16.根据权利要求14所述的发送装置，其中，所述第一分辨率是UHD分辨率，并且所述第二分辨率是HD分辨率。
17.根据权利要求14所述的发送装置，其中，所述识别信息插入单元将所述识别信息插入到显示定义段内。
18.根据权利要求14所述的发送装置，其中，所述识别信息插入单元将作为所述识别信息的片段插入到所述字幕流内。
19.根据权利要求18所述的发送装置，其中，作为所述识别信息的所述片段包括关于变换倍率的信息。
20.一种发送方法，包括以下步骤：
由视频编码单元生成具有第一分辨率的视频数据的视频流；
由字幕编码单元生成具有比所述第一分辨率低的第二分辨率的字幕位图数据的字幕流；
由发送单元发送包括所述视频流和所述字幕流的预定格式的容器；以及
由识别信息插入单元在所述字幕流的层内插入识别信息，所述识别信息指示在对所述字幕位图数据执行坐标变换和分辨率变换之后，所述字幕位图数据将叠加到所述视频数据上。
21.一种接收装置，包括：
接收单元，被配置为接收包括具有第一分辨率的视频数据的视频流和具有比所述第一分辨率低的第二分辨率的字幕位图数据的字幕流的预定格式的容器，
其中，在所述字幕流的层内插入有识别信息，所述识别信息指示在对所述字幕位图数据执行坐标变换和分辨率变换之后，所述字幕位图数据将叠加到所述视频数据上，所述接收装置还包括：
控制单元，被配置为控制通过解码所述视频流而获取所述视频数据的处理、通过解码所述字幕流而获取所述字幕位图数据的处理以及基于所述识别信息，在对所述字幕位图数据执行所述坐标变换和所述分辨率变换之后，通过将所述字幕位图数据叠加到所述视频数据上而获取显示用视频数据的处理。
22.一种接收方法，包括以下步骤：
由接收单元接收包括具有第一分辨率的视频数据的视频流和具有比所述第一分辨率低的第二分辨率的字幕位图数据的字幕流的预定格式的容器，
其中，在所述字幕流的层内插入有识别信息，所述识别信息指示在对所述字幕位图数据执行坐标变换和分辨率变换之后，所述字幕位图数据将叠加到所述视频数据上，所述接收方法还包括以下步骤：
由控制单元控制通过解码所述视频流而获取所述视频数据的处理、通过解码所述字幕流而获取所述字幕位图数据的处理以及基于所述识别信息，在对所述字幕位图数据执行所述坐标变换和所述分辨率变换之后，通过将所述字幕位图数据叠加到所述视频数据上而获取显示用视频数据的处理。
发送装置、发送方法、接收装置和接收方法
技术领域
[0001] 本技术涉及一种发送装置、一种发送方法、一种接收装置以及一种接收方法，并且更具体地，涉及例如一种发送装置，其发送字幕位图数据以及视频数据。
背景技术
[0003] 现有技术文献
[0004] 专利文献
[0006] 本发明要解决的问题
[0007] 本技术的目的是允许将字幕位图数据有利地叠加到接收侧的视频数据上。
[0008] 问题的解决方案
[0009] 根据本技术的构思，一种发送装置包括：视频编码单元，被配置为生成具有渐进的视频数据的视频流；字幕编码单元，被配置为生成具有渐进的字幕位图数据的字幕流；以及发送单元，被配置为发送包括视频流和字幕流的预定格式的容器。
[0010] 根据本技术，视频编码单元生成具有渐进的视频数据的视频流。字幕编码单元生成具有渐进的字幕位图数据的字幕流。然后，发送单元发送包括视频流和字幕流的预定格式的容器。
[0011] 例如，在字幕流中，渐进的字幕位图数据可以以划分为顶部字段字幕位图数据和底部字段字幕位图数据的状态存在。在这种情况下，例如，在字幕流中可以存在顶部字段用数据块和底部字段用数据块，并且顶部字段字幕位图数据可以设置在顶部字段用数据块中，并且底部字段字幕位图数据可以设置在底部字段用数据块中。
[0012] 另外，例如，在字幕流中，渐进的字幕位图数据可以以未划分状态存在。在这种情况下，例如，在字幕流中可以存在顶部字段用数据块和底部字段用数据块，并且未划分状态的渐进的字幕位图数据可以设置在顶部字段用数据块或底部字段用数据块中。另外，在这种情况下，例如，可以在字幕流中存在渐进用数据块，并且未划分状态的渐进的字幕位图数据可以设置在渐进用数据块中。
[0013] 以这种方式，根据本技术，沿着渐进的视频数据的发送，发送渐进的字幕位图数据。因此，字幕位图数据有利地叠加到接收侧的视频数据上。
[0014] 注意，根据本技术，例如，可以进一步提供识别信息插入单元，被配置为在字幕流的层内插入识别信息，识别信息指示在对具有第二分辨率的字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到具有比第二分辨率高的第一分辨率的视频数据上。在这种情况下，在接收侧，基于识别信息，字幕位图数据将有利地叠加到视频数据上，在对字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到视频数据上。
[0015] 另外，根据本技术的不同构思，一种接收装置包括：接收单元，被配置为接收包括具有渐进的视频数据的视频流和具有渐进的字幕位图数据的字幕流的预定格式的容器；以及控制单元，被配置为控制通过解码视频流而获取渐进的视频数据的处理、通过解码字幕流而获取渐进的字幕位图数据的处理以及通过将渐进的字幕位图数据叠加到渐进的视频数据上而获取显示用视频数据的处理。
[0016] 根据本技术，接收单元接收包括具有渐进的视频数据的视频流和具有渐进的字幕位图数据的字幕流的预定格式的容器。然后，控制单元控制通过解码视频流而获取渐进的视频数据的处理、通过解码字幕流而获取渐进的字幕位图数据的处理以及通过将渐进的字幕位图数据叠加到渐进的视频数据上而获取显示用视频数据的处理。
[0017] 例如，在字幕流中，渐进的字幕位图数据可以以划分为顶部字段字幕位图数据和底部字段字幕位图数据的状态存在，并且在获取渐进的字幕位图数据的处理中，可以利用通过解码字幕流而获取的顶部字段字幕位图数据和底部字段字幕位图数据的组合来获取渐进的字幕位图数据。
[0018] 另外，例如，在字幕流中可以存在顶部字段用数据块和底部字段用数据块，并且在获取渐进的字幕位图数据的处理中，可以获取插入在顶部字段用数据块或底部字段用数据块中的未划分状态的渐进的字幕位图数据。
[0019] 另外，例如，在字幕流中可以存在渐进用数据块，并且在获取渐进的字幕位图数据的处理中，可以获取插入在渐进用数据块中的未划分状态的渐进的字幕位图数据。
[0020] 以这种方式，根据本技术，通过将通过解码字幕流而获取的渐进的字幕位图数据叠加到渐进的视频数据上，获取显示用视频数据。因此，字幕位图数据有利地叠加到视频数据上。
[0021] 另外，根据本技术的不同构思，一种发送装置包括：视频编码单元，被配置为生成具有第一分辨率的视频数据的视频流；字幕编码单元，被配置为生成具有比第一分辨率低的第二分辨率的字幕位图数据的字幕流；发送单元，被配置为发送包括视频流和字幕流的预定格式的容器；以及识别信息插入单元，被配置为在字幕流的层内插入识别信息，识别信息指示在对字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上。
[0022] 根据本技术，视频编码单元生成具有第一分辨率的视频数据的视频流。字幕编码单元生成具有比第一分辨率低的第二分辨率的字幕位图数据的字幕流。然后，发送单元发送包括视频流和字幕流的预定格式的容器。例如，第一分辨率可以是UHD分辨率，并且第二分辨率可以是HD分辨率。
[0023] 识别信息插入单元在字幕流的层内插入识别信息，识别信息指示在对字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上。例如，可以进一步提供分辨率信息插入单元，被配置为在容器的层内插入关于包括在字幕位图数据要叠加在其上的视频数据内的第一分辨率的信息。另外，例如，识别信息插入单元可以将识别信息插入到显示定义段内。另外，例如，识别信息插入单元可以将作为识别信息的片段插入到字幕流内。在这种情况下，例如，作为识别信息的片段可以包括关于变换倍率的信息。
[0024] 以这种方式，根据本技术，在字幕流的层内插入识别信息，识别信息指示在对字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上。因此，在接收侧，基于识别信息，在对字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上，使得字幕位图数据有利地叠加到视频数据上。
[0025] 另外，根据本技术的不同构思，一种接收装置包括：接收单元，被配置为接收包括具有第一分辨率的视频数据的视频流和具有比第一分辨率低的第二分辨率的字幕位图数据的字幕流的预定格式的容器，在字幕流的层内插入有识别信息，识别信息指示在对字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上；以及控制单元，被配置为控制通过解码视频流而获取视频数据的处理、通过解码字幕流而获取字幕位图数据的处理以及基于识别信息，在对字幕位图数据执行坐标变换和分辨率变换之后，通过将字幕位图数据叠加到视频数据上而获取显示用视频数据的处理。
[0026] 根据本技术，接收单元接收包括具有第一分辨率的视频数据的视频流和具有比第一分辨率低的第二分辨率的字幕位图数据的字幕流的预定格式的容器。在字幕流的层内插入识别信息，识别信息指示在对字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上。
[0027] 控制单元控制通过解码视频流而获取视频数据的处理、通过解码字幕流而获取字幕位图数据的处理以及基于识别信息，在对字幕位图数据执行坐标变换和分辨率变换之后，通过将字幕位图数据叠加到视频数据上而获取显示用视频数据的处理。
[0028] 以此方式，根据本技术，在对具有第二分辨率的字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到具有第一分辨率的视频数据上，以获取显示用视频数据。因此，字幕位图数据有利地叠加到视频数据上。
[0029] 本发明的效果
[0032] 图2是用于传送渐进的字幕位图数据的方法1和2的说明性示意图；
[0033] 图3是用于传送渐进的字幕位图数据的方法3和4的说明性示意图；
[0034] 图4是用于描述要对叠加到具有UHD分辨率的视频数据上的具有HD分辨率的字幕位图数据执行的坐标变换和分辨率变换的示图；
[0035] 图5是发送装置的示例性配置的方框图；
[0036] 图6是对象数据段的示例性结构的图表；
[0037] 图7示出了示例性结构中的对象数据段的示例性结构和主要信息的描述的相应图表；
[0038] 图8示出了示例性结构中的显示定义段的示例性结构和主要信息的描述的相应图表；
[0039] 图9是作为部件描述符的重要因素的“component_type”的值与用相应值识别的字幕位图数据之间的对应关系的图表；
[0040] 图10是传输流TS的示例性配置的示图；
[0041] 图11是接收装置的示例性配置的方框图；
[0042] 图12是坐标和分辨率变换单元中的示例性处理的流程图；
[0043] 图13示出了示例性结构中的渲染指南片段的示例性结构和主要信息的描述的相应图表。
具体实施方式
[0044] 下面将描述用于执行本发明的模式(在下文中，称为“实施例”)。注意，将按以下顺序给出描述。
[0045] 1、实施例
[0047] <1、实施例>
[0048] 【发送和接收系统的示例性配置】
[0049] 图1示出了根据该实施例的发送和接收系统10的示例性配置。发送和接收系统10包括发送装置100和接收装置200。
[0050] 发送装置100生成MPEG2的传输流TS，作为容器，并且将传输流TS设置到广播波或者网的分组上，以发送该传输流TS。传输流TS包括具有UHD分辨率的渐进的视频数据(图像数据)的视频流。在此处，UHD分辨率超过了HD分辨率，包括4K分辨率或8K分辨率。
[0051] 另外，传输流TS包括具有HD分辨率的渐进的字幕位图数据(字幕数据)的字幕流。根据该实施例，通过方法1、2、3和4中的任何一种来传送渐进的字幕位图数据。
[0052] 【方法1的描述】
[0053] 将描述方法1。对于方法1，在字幕流中，渐进的字幕位图数据以划分为顶部字段字幕位图数据和底部字段字幕位图数据的状态存在。
[0054] 图2的(a)示意性地示出了方法1的传输。在这种情况下，在字幕流中，顶部字段用数据块和底部字段用数据块在作为编码字幕传输格式的ODS(Object_data_segment)中存在。然后，将顶部字段字幕位图数据设置在顶部字段用数据块中，并且将底部字段字幕位图数据设置在底部字段用数据块中。
[0055] 在这种情况下，由于字幕位图数据设置在顶部字段用数据块和底部字段用数据块中，所以认识到在这两个块中的字幕位图数据段的组合允许在接收侧形成渐进的字幕位图数据。
[0056] 在接收侧，从相应块中提取顶部字段字幕位图数据和底部字段字幕位图数据，然后组合，从而获取用于显示字幕(字幕)的渐进的字幕位图数据。将渐进的字幕位图数据叠加到渐进的视频数据上，以便获取显示用视频数据。
[0057] 【方法2的描述】
[0058] 将描述方法2。对于方法2，在字幕流中，渐进的字幕位图数据以完整的(即，未划分的)状态存在。
[0059] 图2的(b)示意性地示出了方法2的传输。在这种情况下，在字幕流中，顶部字段用数据块和底部字段用数据块在作为编码字幕传输格式的ODS(Object_data_segment)中存在。然后，将未划分状态的渐进的字幕位图数据设置在顶部字段用数据块中。在这种情况下，在底部字段用数据块中不设置字幕位图数据。
[0060] 在这种情况下，由于字幕位图数据仅设置在顶部字段用数据块中并且在底部字段用数据块中不设置字幕位图数据，所以认识到仅设置在顶部字段用数据块中的字幕位图数据允许在接收侧形成渐进的字幕位图数据。
[0061] 在接收侧，从顶部字段用数据块中提取未划分状态的渐进的字幕位图数据，然后，允许保持完整的未划分状态的渐进的字幕位图数据成为用于显示字幕(字幕)的渐进的字幕位图数据。将渐进的字幕位图数据叠加到渐进的视频数据上，以便获取显示用视频数据。
[0062] 【方法3的描述】
[0063] 将描述方法3。对于方法3，在字幕流中，渐进的字幕位图数据以完整的(即，未划分的)状态存在。
[0064] 图3的(c)示意性地示出了方法3的传输。在这种情况下，在字幕流中，顶部字段用数据块和底部字段用数据块在作为编码字幕传输格式的ODS(Object_data_segment)中存在。然后，将未划分状态的渐进的字幕位图数据设置在底部字段用数据块中。在这种情况下，在顶部字段用数据块中不设置字幕位图数据。
[0065] 在这种情况下，由于字幕位图数据仅设置在底部字段用数据块中并且在顶部字段用数据块中不设置字幕位图数据，所以认识到仅设置在底部字段用数据块中的字幕位图数据允许在接收侧形成渐进的字幕位图数据。
[0066] 在接收侧，从底部字段用数据块中提取未划分状态的渐进的字幕位图数据，然后，允许保持完整的未划分状态的渐进的字幕位图数据成为用于显示字幕(字幕)的渐进的字幕位图数据。将渐进的字幕位图数据叠加到渐进的视频数据上，以便获取显示用视频数据。
[0067] 【方法4的描述】
[0068] 将描述方法4。对于方法4，在字幕流中，渐进的字幕位图数据以完整的(即，未划分的)状态存在。
[0069] 图3的(d)示意性地示出了方法4的传输。在这种情况下，在字幕流中，渐进用数据块在作为编码字幕传输格式的ODS(Object_data_segment)中存在。然后，将未划分状态的渐进的字幕位图数据设置在渐进用数据块中。
[0070] 在这种情况下，由于存在渐进用数据块并且字幕位图数据设置在块中，所以认识到仅在渐进用数据块中设置的字幕位图数据允许在接收侧形成渐进的字幕位图数据。
[0071] 在接收侧，从渐进用数据块中提取未划分状态的渐进的字幕位图数据，然后，允许保持完整的未划分状态的渐进的字幕位图数据成为用于显示字幕(字幕)的渐进的字幕位图数据。将渐进的字幕位图数据叠加到渐进的视频数据上，以便获取显示用视频数据。
[0072] 返回参考图1，识别信息被插入到字幕流的层中，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据要叠加到具有UHD分辨率的视频数据上。以这种方式，对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换，使得能够在具有UHD分辨率的视频屏幕上的适当位置处显示字幕(字幕)。
[0073] 接收装置200接收从发送装置100发送的传输流TS。接收装置200解码视频流，以获取具有UHD分辨率的渐进的视频数据。另外，接收装置200解码字幕流，以获取具有HD分辨率的渐进的字幕位图数据。在这种情况下，解码处理根据渐进的字幕位图数据的传输方法而变化。
[0074] 对于方法1，由于字幕位图数据设置在顶部字段用数据块和底部字段用数据块中，所以接收装置200认识到在这两个块中的字幕位图数据片的组合允许形成渐进的字幕位图数据。
[0075] 在这种情况下，解码字幕流，使得从顶部字段用数据块中提取顶部字段字幕位图数据，另外，从底部字段用数据块中提取底部字段字幕位图数据。然后，顶部字段字幕位图数据和底部字段字幕位图数据组合，以获取渐进的字幕位图数据。
[0076] 对于方法2，由于字幕位图数据仅设置在顶部字段用数据块中，所以接收装置200认识到仅设置在顶部字段用数据块中的字幕位图数据允许形成渐进的字幕位图数据。在这种情况下，解码字幕流，然后，从顶部字段用数据块中提取字幕位图数据，从而获取渐进的字幕位图数据。
[0077] 对于方法3，由于字幕位图数据仅设置在底部字段用数据块中，所以接收装置200认识到仅设置在顶部字段用数据块中的字幕位图数据允许形成渐进的字幕位图数据。在这种情况下，解码字幕流，然后，从底部字段用数据块中提取字幕位图数据，以便获取渐进的字幕位图数据。
[0078] 对于方法4，接收装置200认识到仅设置在渐进用数据块中的字幕位图数据允许形成渐进的字幕位图数据。在这种情况下，解码字幕流，然后，从渐进用数据块中提取字幕位图数据，以便获取渐进的字幕位图数据。
[0079] 如上所述，将识别信息插入在字幕流的层中，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据叠加到具有UHD分辨率的视频数据上。接收装置200基于识别信息对如上所述获取的渐进的字幕位图数据执行坐标变换和分辨率变换，然后，将渐进的字幕位图数据叠加到渐进的视频数据上，以获取显示用视频数据。
[0080] 图4的(a)示出了在没有执行坐标变换和分辨率变换的情况下保持完整的字幕位图数据的使用。在这种情况下，具有HD分辨率的字幕(字幕)叠加(覆盖)到具有UHD分辨率的视频屏幕上的HD显示位置处，使得字幕(字幕)由于在UHD和HD之间的坐标宽度的差异而不显示在适当的位置。注意，“R”表示参考点(原点)。另外，“p0”表示作为该区域的起点的左上点。“q0”表示作为该地区的终点的右下点。
[0081] 图4的(b)示出了经过坐标变换和分辨率变换的字幕位图数据的使用。在这种情况下，具有UHD分辨率的字幕(字幕)叠加(覆盖)到具有UHD分辨率的视频屏幕上的UHD显示位置处，使得在适当的位置显示字幕(字幕)。
[0082] 在这种情况下，由于坐标变换，通过以下变换获取该区域的起点“p1”的坐标：p1(x，y)＝p0(x，y)*N，并且通过以下变换获取该区域的终点“q1”的坐标：q1(x，y)＝q0(x，y)*N。在此处，“N”表示UHD分辨率和HD分辨率之间的比率。在UHD分辨率是4K分辨率的情况下，满足以下表达式：N＝2。
[0083] 另外，在这种情况下，对具有“N”的值的字幕位图数据水平和垂直进行缩放处理，使得具有HD分辨率的字幕位图数据变换为具有UHD分辨率的字幕位图数据。
[0084] 【发送装置的示例性配置】
[0085] 图5示出了发送装置100的示例性配置。发送装置100包括控制单元101、相机102、视频光电转换单元103、RGB/YCbCr转换单元104、视频编码器105、字幕生成单元106、位图数据生成单元107、字幕编码器108、系统编码器109和发送单元110。
[0086] 控制单元101包括中央处理单元(CPU)，并且基于控制程序来控制发送装置100的每个单元的操作。相机102捕捉主体，以输出具有UHD分辨率的渐进的视频数据(图像数据)。视频光电转换单元103对相机102获取的视频数据执行光电转换，以获取视频数据V1。
[0087] RGB/YCbCr转换单元104将视频数据V1从RGB域转换成YCbCr(亮度/色度)域。视频编码器105例如对转换到YCbCr域的视频数据V1执行诸如MPEG4-AVC或HEVC等编码，以生成包括编码视频数据的视频流(PES流)VS。
[0088] 字幕生成单元106生成作为字幕信息的文本数据(字符码)DT。位图数据生成单元107接收由字幕生成单元106生成的文本数据DT，以生成具有HD分辨率的渐进的字幕位图数据。字幕编码器108将字幕位图数据和显示控制信息转换成各种片段，以生成包括PES分组的字幕流SS，该PES分组包括设置在有效载荷中的片段。
[0089] 通过方法1至4中的任何一种将渐进的字幕位图数据与对象数据段(Object_data_segment)一起传输。图6和图7的(a)示出了对象数据段的示例性结构(语法)。图7的(b)示出了示例性结构中的主要信息的描述(语义)。
[0090] “object_coding_method”的2位字段基于对象的类型指示存在位图数据还是文本数据。“00”表示位图数据，“01”表示文本数据。另外，根据本实施例，除了交错视频的“00”之外，为作为位图数据的另一表示的“渐进的视频”重新定义“11”。
[0091] 当“object_coding_method”是“00”时，存在“top_field_data_block_length”的16位字段。然后，以“top_field_data_block_length”指示的数字，重复出现“pixel-data_sub-block()”块，即，顶部字段用数据块。
[0092] 另外，当“object_coding_method”是“00”时，存在“bottom_field_data_block_length”的16位字段。然后，以“bottom_field_data_block_length”表示的数字，重复出现“pixel-data_sub-block()”块，即，底部字段用数据块。
[0093] “8_stuff_bits”的8位字段是用于在未进行8位字节对齐的情况下添加填充位以实现8位的字段。
[0094] 对于方法1至3中的任何一种的传输，“object_coding_method”设置为“00”，并且在顶部字段用数据块和/或底部字段用数据块中设置渐进的字幕位图数据。
[0095] 即，对于方法1的传输，将渐进的字幕位图数据划分为顶部字段字幕位图数据和底部字段字幕位图数据，然后，将顶部字段字幕位图数据设置在顶部字段用数据块中，并且将底部字段字幕位图数据设置在底部字段用数据块中。
[0096] 另外，对于方法2的传输，不划分渐进的字幕位图数据，并且整个未划分状态的渐进的字幕位图数据设置在顶部字段用数据块中。在这种情况下，“bottom_field_data_block_length”被设置为0，因此，指示在底部字段用数据块中不设置字幕位图数据。
[0097] 另外，对于方法3的传输，不划分渐进的字幕位图数据，并且整个未划分状态的渐进的字幕位图数据设置在底部字段用数据块中。在这种情况下，“top_field_data_block_length”被设置为0，因此，指示在顶部字段用数据块中不设置字幕位图数据。
[0098] 另外，当“object_coding_method”是“11”时，存在“progressive_frame_data_block_length”的16位字段。然后，以“progressive_frame_data_block_length”表示的数字，重复出现“pixel-data_sub-block()”块，即，渐进用数据块。“8_stuff_bits”的8位字段是用于在未进行8位字节对齐的情况下添加填充位以实现8位的字段。
[0099] 对于方法4的传输，“object_coding_method”被设置为11，并且渐进的字幕位图数据设置在渐进用数据块中。即，未划分渐进的字幕位图数据，并且整个未划分状态的渐进的字幕位图数据设置在渐进用数据块中。
[0100] 显示定义段“display_difinition_segment”包括识别信息，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到具有UHD分辨率的视频数据上。
[0101] 图8的(a)示出了显示定义段的示例性结构(语法)。图8的(b)示出了示例性结构中的主要信息的描述(语义)。“display_window_flag”的1位字段指示是否存在窗口的定义。“1”表示存在窗口的定义。“0”表示不存在窗口的定义。
[0102] 当“display_rendering_type”的2位字段是“11”时，指示将根据要对其执行覆盖显示的对象的视频坐标来变换字幕(字幕)的显示位置。即，“display_rendering_type”的“11”是识别信息，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到具有UHD分辨率的视频数据上。
[0103] “display_width”的16位字段和“display_height”的16位字段表示字幕位图数据的分辨率。例如，“display_width”表示HD分辨率为1920，表示包括在UHD分辨率中的4K分辨率为3820。另外，例如，“display_height”表示HD分辨率为1080，并且表示包括在UHD分辨率中的4K分辨率为2160。
[0104] 当“display_window_flag”是“1”时，存在指示窗口的区域的字段。即，存在“display_window_horizontal_position_minimum”的16位字段、“display_window_horizontal_position_maximum”的16位字段、“display_window_vertical_position_minimum”的16位字段以及“display_window_vertical_position_maximum”的16位字段。
[0105] 字段“display_window_horizontal_position_minimum”和“display_window_vertical_position_minimum”表示窗口起点的坐标。字段“display_window_horizontal_position_maximum”和“display_window_vertical_position_maximum”表示窗口的终点的坐标。
[0106] 返回参考图5，系统编码器109生成传输流TS，传输流TS包括由视频编码器105生成的视频流VS和由字幕编码器108生成的字幕流SS。发送单元110将传输流TS设置到广播波或网络的分组上，以将传输流TS发送到接收装置200。
[0107] 此时，系统编码器109将关于在其上要叠加字幕位图数据的视频数据的分辨率信息插入作为容器的传输流TS的层中。具体地，系统编码器109将分辨率信息插入到事件信息表(EIT)中的部件描述符“Component_descriptor”中。
[0108] 存在“stream_content”和“component_type”，作为部件描述符的重要因素。图9示出了“component_type”的值和用相应值识别的字幕位图数据之间的对应关系。注意，当“stream_content”是“0x03”时，表示字幕用于DVB。
[0109] 然后，例如，当“component_type”是“0x16”时，表示DVB字幕用于超高清(UHD)显示器。另外，例如，当“component_type”是“0x26”时，表示DVB字幕(用于具有听力障碍的人)用于超高分辨率(UHD)显示器。根据该实施例，“component_type”是“0x16”或“0x26”，因此，指示DVB字幕用于UHD分辨率显示器。这表明要在其上叠加字幕位图数据的视频数据的分辨率是UHD分辨率。
[0110] 【传输流TS的示例性配置】
[0111] 图10示出了传输流TS的示例性配置。在示例性配置中存在用PID1识别的视频流的PES分组“视频PES1”。另外，在示例性配置中存在用PID2识别的字幕流的PES分组“字幕PES2”。
[0112] 将视频编码流插入到视频流的PES分组中。另外，包括字幕位图数据和显示控制信息的各种片段插入到字幕流的PES分组中。
[0113] 在包括字幕位图数据的对象数据段(ODS)中存在“object_coding_method”的字段，并且指示要对其执行对象编码的对象。另外，存在“display_rendering_type”的字段，并且在显示定义段(DDS)中具有“11”，因此，具有识别信息，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到具有UHD分辨率的视频数据上。
[0114] 另外，在页面组合片段(PCS)中存在字段“region_horizontal_address”和“region_vertical_address”，并且指示该区域的起点的坐标。另外，在区域组合片段(RCS)中存在字段“region_width”和“resion_height”，并且指示该区域的水平和垂直尺寸。
[0115] 另外，传输流TS包括作为节目特定信息(PSI)的节目映射表(PMT)。PSI是描述在传输流中包括的每个基本流属于哪个节目的信息。在PMT中存在描述与整个节目相关的信息的节目循环(节目循环)。
[0116] 另外，均具有与基本流有关的信息的基本流循环存在于PMT中。在示例性配置中存在与视频流对应的视频基本流循环(视频ES1循环)和与字幕流对应的字幕基本流循环(字幕ES2循环)。
[0117] 在视频基本流循环(视频ES1循环)中，设置了与视频流对应的诸如流类型和分组标识符(PID)等信息，另外，设置了描述与视频流相关的信息的描述符。视频流的“Stream_type”的值例如被设置为指示HEVC视频流的“0x24”的值，并且PID信息指示提供给视频流的PES分组“视频PES1”的PID1。
[0118] 在字幕基本流循环(字幕ES2循环)中，设置了与字幕流对应的诸如流类型和分组标识符(PID)等信息，另外，设置了描述与字幕流相关的信息的描述符。字幕流的“Stream_type”的值例如被设置为指示专用流的值，PID信息表示提供给字幕流的PES分组“字幕PES2”的PID2。
[0119] 另外，传输流TS包括作为用于执行每个事件的管理的服务信息(SI)的事件信息表(EIT)。在EIT中描述了每个节目的元数据。具有作为关于视频数据的分辨率信息(参考图9)的因子“component_type”的部件描述符(Component_descriptor)插入在EIT下面。根据该实施例，“component_type”是“0x16”或“0x26”，并且表明DVB字幕用于UHD分辨率的显示器。因此，表明字幕位图数据要叠加在其上的视频数据的分辨率是UHD分辨率。
[0120] 注意，流标识符描述符(Stream_identifier_descriptor)插入到字幕基本流循环(字幕ES2loop)中。描述符将字幕基本流循环与EIT下面的部件描述符相关联，具有部件标签“Component_tag”。
[0121] 将简单描述图5中所示的发送装置100的操作。由相机102拍摄并获取的具有UHD分辨率的渐进的视频数据(图像数据)提供给视频光电转换单元103。视频光电转换单元103对视频数据执行光电转换，以获取视频数据V1。
[0122] RGB/YCbCr转换单元104将由视频光电转换单元103获取的视频数据V1从RGB域转换为YCbCr(亮度/色度)域，然后，将视频数据V1提供给视频编码器105。视频编码器105例如对视频数据V1执行诸如MPEG4-AVC或HEVC等编码处理，以生成包括编码视频数据的视频流(PES流)VS。
[0123] 字幕生成单元106生成文本数据(字符码)DT，作为字幕信息。文本数据DT提供给位图数据生成单元107。位图数据生成单元107基于文本数据DT生成具有HD分辨率的渐进的字幕位图数据。
[0124] 字幕位图数据提供给字幕编码器108。字幕编码器108将字幕位图数据和显示控制信息转换为各种片段，以生成包括PES分组的字幕流SS，所述PES分组包括设置在有效载荷中的片段。
[0125] 通过方法1至4中的任何一种，将渐进的字幕位图数据与对象数据段(ODS)一起传输(参考图6和7)。另外，识别信息插入到显示定义段(DDS)(参考图8)，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到具有UHD分辨率的视频数据上(“display_rendering_type”＝“11”)。
[0126] 由视频编码器105生成的视频流VS提供给系统编码器109。由字幕编码器108生成的字幕流SS提供给系统编码器109。系统编码器109生成包括视频流VS和字幕流SS的传输流TS。
[0127] 此时，系统编码器109将具有关于要在其上叠加字幕位图数据的视频数据(“component_type”的因子)的分辨率信息的部件描述符插入到事件信息表中。
[0128] 发送单元110将由系统编码器109生成的传输流TS设置到广播波或网络的分组上，以将传输流TS发送到接收装置200。
[0129] 【接收装置的示例性配置】
[0130] 图11示出接收装置200的示例性配置。接收装置200包括控制单元201、接收单元202、系统解码器203、视频解码器204、字幕解码器205以及坐标和分辨率变换单元206。另外，接收装置200包括视频叠加单元208、YCbCr/RGB转换单元209、电光转换单元210、显示映射单元211、CE显示器212和用户操作单元213。
[0131] 控制单元201包括中央处理单元(CPU)，并且基于控制程序来控制接收装置200的每个单元的操作。用户操作单元213例如包括用于允许诸如观看者等用户执行各种操作的开关、触摸面板和遥控器发送单元。
[0132] 接收单元202接收从发送装置100发送的传输流TS，该传输流TS设置在广播波或网络的分组上。系统解码器203从传输流TS中提取视频流VS和字幕流SS。
[0133] 另外，系统解码器203提取插入在传输流TS(容器)中的各种类型的信息，以将各种类型的信息发送到控制单元201。所提取的信息包括具有关于字幕位图数据将叠加在其上的视频数据的分辨率信息的部件描述符。这种设置允许控制单元201识别视频数据的分辨率。注意，也可以从视频解码器204提取的信息中识别视频数据的分辨率。
[0134] 视频解码器204对由系统解码器203提取的视频流VS执行解码处理，以输出具有UHD分辨率的渐进传输的视频数据V1。如上所述，UHD分辨率超过了HD分辨率，并且包括4K分辨率或8K分辨率。
[0135] 另外，视频解码器204提取插入在包括在视频流VS中的每个访问单元中的各种类型的信息，例如，参数集和SEI消息，以将各种类型的信息发送到控制单元201。
[0136] 字幕解码器205对字幕流SS执行解码处理，以获取具有HD分辨率的渐进的字幕位图数据。在这种情况下，解码处理基于针对渐进的字幕位图数据的传输方法采用方法1至4中的哪一种方法而变化。
[0137] 例如，对于方法1，从顶部字段用数据块中提取顶部字段字幕位图数据，另外，从底部字段用数据块中提取底部字段字幕位图数据。然后，顶部字段字幕位图数据和底部字段字幕位图数据组合，以获取渐进的字幕位图数据。
[0138] 对于方法2，从顶部字段用数据块中提取字幕位图数据，以便获取渐进的字幕位图数据。对于方法3，从底部字段用数据块中提取字幕位图数据，以便获取渐进的字幕位图数据。对于方法4，从渐进用数据块中提取字幕位图数据，以便获取渐进的字幕位图数据。
[0139] 另外，字幕解码器205提取插入在字幕流SS中的各种类型的信息，以将各种类型的信息发送到控制单元201。所提取的信息包括识别信息，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到具有UHD分辨率的视频数据上(“display_rendering_type”＝“11”)。另外，所提取的信息包括诸如该区域的起点的坐标以及该区域的水平和垂直尺寸等信息。
[0140] 坐标和分辨率变换单元206在控制单元201的控制下基于识别信息对由字幕解码器205获取的渐进的字幕位图数据执行坐标变换和分辨率变换处理(识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到具有UHD分辨率的视频数据上)。
[0141] 在这种情况下，如图4的(b)所示，通过以下变换获取该区域的起点“p1”的坐标：p1(x，y)＝p0(x，y)*N，并且通过以下变换获取该区域的终点“q1”的坐标：q1(x，y)＝q0(x，y)*N。在此处，“N”表示UHD分辨率和HD分辨率之间的比率。在UHD分辨率是4K分辨率的情况下，满足以下表达式：N＝2。
[0142] 另外，在这种情况下，对具有“N”的值的字幕位图数据水平和垂直进行缩放处理，使得具有HD分辨率的字幕位图数据变换为具有UHD分辨率的字幕位图数据。
[0143] 图12的流程图示出了坐标和分辨率变换单元206中的示例性处理。注意，在此处，控制单元201中的相关处理也将被描述为坐标和分辨率变换单元206的处理。
[0144] 坐标和分辨率变换单元206在步骤ST1开始处理。接下来，坐标和分辨率变换单元206在步骤ST2检测视频图像帧，即，视频数据的分辨率。可以从视频流的参数集(SPS)中检测关于视频数据的分辨率信息。或者，可以从部件描述符中的“component_type”的因子来检测关于视频数据的分辨率信息。根据该实施例，检测到UHD分辨率。
[0145] 接下来，坐标和分辨率变换单元206在步骤ST3检测字幕位图数据的分辨率，即，字幕的显示区域。可以从显示定义段(DDS)中检测字幕的显示区域(display_width、display_height)。根据该实施例，检测到HD分辨率。
[0146] 接下来，在步骤ST4，坐标和分辨率变换单元206确定视频数据的分辨率是否是UHD分辨率。当确定视频数据的分辨率不是UHD分辨率时，坐标和分辨率变换单元206在步骤ST5结束处理。
[0147] 当确定视频数据的分辨率是UHD分辨率时，坐标和分辨率变换单元206在步骤ST6检测“display_rendering_type”。然后，坐标和分辨率变换单元206在步骤ST7确定“display_rendering_type”是否为“11”。当确定“display_rendering_type”不是“11”时，坐标和分辨率变换单元206在步骤ST5结束处理。
[0148] 当确定“display_rendering_type”是“11”时，坐标和分辨率变换单元206在步骤ST8将视频图像帧中的区域的位置坐标值设置为坐标值，该坐标值使来自HD显示区域原点R的HD坐标值乘以N(参考图4的(b))。另外，分辨率从HD变换为UHD，同时变换该区域的位置坐标值。注意，在位图数据的CLUT输出之后的字幕数据中，处理在视频叠加中的表示混合比的值，以甚至在分辨率变换之后，也保持CLUT中指定的值。
[0149] 在步骤ST8的处理之后，坐标和分辨率变换单元206在步骤ST5结束处理。
[0150] 返回参考图11，视频叠加单元208将通过坐标和分辨率变换单元206获取的具有UHD分辨率的渐进的字幕位图数据叠加到由视频解码器204获取的具有UHD分辨率的渐进的视频数据V1上。
[0151] YCbCr/RGB转换单元209将具有UHD分辨率的包括叠加在其上的字幕位图数据的渐进的视频数据V1'从YCbCr(亮度/色度)域转换为RGB域。电光转换单元210通过应用与应用于所传输的视频数据V1'的光电转换特性对应的电光转换特性，来对转换成RGB域的传输的视频数据V1'执行电光转换，从而获取用于显示图像的显示用视频数据。
[0152] 显示映射单元211对显示用视频数据执行与例如CE显示器212的最大亮度显示性能对应的显示亮度调整。CE显示器212基于显示用视频数据显示图像。CE显示器212包括例如液晶显示器(LCD)、有机电致发光(EL)显示器等。
[0153] 将简单描述图11中所示的接收装置200的操作。接收单元202接收从发送装置100发送的传输流TS，该传输流TS设置在广播波或网络的分组上。传输流TS提供给系统解码器203。系统解码器203从传输流TS中提取视频流VS和字幕流SS。
[0154] 另外，系统解码器203提取插入在传输流TS(容器)中的各种类型的信息，以将各种类型的信息发送到控制单元201。所提取的信息包括具有关于将在其上叠加字幕位图数据的视频数据的分辨率信息的部件描述符。
[0155] 由系统解码器203提取的视频流VS提供给视频解码器204。视频解码器204对视频流VS执行解码处理，以获取具有UHD分辨率的渐进的视频数据V1。另外，视频解码器204提取插入到包括在视频流VS中的每个访问单元中的参数集和SEI消息，以将参数集和SEI消息发送到控制单元201。
[0156] 由系统解码器203提取的字幕流SS提供给字幕解码器205。字幕解码器205对字幕流SS执行与(方法1至4的)任何传输方法对应的解码处理，以获取具有HD分辨率的渐进的字幕位图数据。
[0157] 另外，字幕解码器205提取插入在字幕流SS中的各种类型的信息，以将各种类型的信息发送到控制单元201。所提取的信息包括识别信息，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到具有UHD分辨率的视频数据上(“display_rendering_type”＝“11”)。另外，所提取的信息包括诸如该区域的起点的坐标以及该区域的水平和垂直尺寸等信息。
[0158] 由字幕解码器205获取的具有HD分辨率的渐进的字幕位图数据提供给坐标和分辨率变换单元206。坐标和分辨率变换单元206对要适当地叠加在UHD分辨率的视频数据上的字幕位图数据执行坐标变换和分辨率变换。基于识别信息的指示(“display_rendering_type”＝“11”)，在控制单元201的控制下，执行坐标和分辨率变换单元206中的处理。
[0159] 由视频解码器204获取的具有UHD分辨率的渐进的视频数据V1提供给视频叠加单元208。另外，由坐标和分辨率变换单元206获取的具有通过坐标变换校正的显示位置的具有UHD分辨率的渐进的字幕位图数据提供给视频叠加单元208。视频叠加单元208将字幕位图数据叠加到视频数据V1上。
[0160] 包括叠加在其上的位图数据的视频数据V1'提供给YCbCr/RGB转换单元209。YCbCr/RGB转换单元209将视频数据V1'从YCbCr(亮度/色度)域转换到RGB域，以将视频数据V1'提供给电光转换单元210。电光转换单元210通过应用与应用于视频数据V1'的光电转换特性对应的电光转换特性，来对视频数据V1'执行电光转换，从而获取用于显示图像的显示用视频数据。
[0161] 将显示用视频数据提供给显示映射单元211。显示映射单元211对显示用视频数据执行与例如CE显示器212的最大亮度显示性能对应的显示亮度调整。以这种方式进行了显示亮度调整的显示用视频数据提供给CE显示器212。CE显示器212基于显示用视频数据显示图像。
[0162] 如上所述，图1所示的发送和接收系统10通过方法1至4中的任何传输方法来发送渐进的字幕位图数据，并且发送渐进的视频数据。因此，允许字幕位图数据有利地叠加到接收侧的视频数据上。
[0163] 另外，图1所示的发送和接收系统10将识别信息插入到字幕流的层内，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到具有UHD分辨率的视频数据上。因此，在接收侧，基于识别信息，在对字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到视频数据上，以便可以在适当的位置执行将字幕位图数据叠加到具有UHD分辨率的视频数据上。
[0164] <2、修改>
[0165] 注意，根据该实施例，提供了将识别信息插入到显示定义段(DDS)(参考图8)中的示例，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到具有UHD分辨率的视频数据上(“display_rendering_type”＝“11”)。
[0166] 然而，新定义的片段的传输能够实现与识别信息的效果类似的效果。在这种情况下，传统的接收机会忽略新定义的片段，因此，传统的接收机可以有效地避免发生故障。
[0167] 图13的(a)示出了作为新定义的片段的渲染指南片段(Rendering_guide_segment)的示例性结构(语法)，并且图13的(b)示出该示例性结构中的主要信息的描述(语义)。
[0168] “pixel_rendering_conversion_ratio”的2位字段指示变换倍率，变换倍率用于使作为用于显示在显示定义段(DDS)中描述的字幕(字幕)(图像显示区域)的粘贴位置的窗口区域与要对其执行叠加的对象的视频分辨率的像素坐标对应。在此处，字幕的分辨率用DDS中的“display_height”和“display_width”的因子来指示。另外，倍率计算的原点被设置为粘贴位置(窗口区域)的左上位置。
[0169] “00”表示统一倍率(保持原始位置的字幕将叠加到视频上)。“01”表示两倍(字幕粘贴位置将水平和垂直地双倍放大，然后叠加到视频上)。“10”表示四倍(字幕粘贴位置将水平和垂直地四倍放大，然后叠加到视频上)。例如，在字幕的分辨率具有HD(1920×1080)图像帧并且要对其执行叠加的视频的分辨率具有UHD(3840×2160)图像帧的情况下，“pixel_rendering_conversion_ratio”是“01”，因此，执行双倍放大。
[0170] 另外，根据本实施例，已经提供了作为视频数据的分辨率的第一分辨率是UHD分辨率并且作为字幕位图数据的分辨率的第二分辨率是HD分辨率的示例。然而，本技术不限于此。例如，可以考虑第一分辨率是8K分辨率并且第二分辨率是4K分辨率的情况或其他情况。
[0171] 另外，根据该实施例，已经提供了视频数据的分辨率是UHD分辨率并且字幕位图数据的分辨率是HD分辨率的示例。在具有分辨率的字幕位图数据的分辨率为UHD分辨率的情况下，在接收侧不需要坐标变换和分辨率变换的处理。在这种情况下，“display_rendering_type”具有与“11”不同的值。
[0172] 另外，根据本实施例，已经提供了容器是MPEG-2TS的示例。然而，本技术不限于作为容器的MPEG-2TS，因此，可以类似地应用于其他分组，例如，在ISOBMFF、MMT等中。
[0173] 另外，本技术可以具有以下配置。
[0174] (1)一种发送装置，包括：
[0175] 视频编码单元，被配置为生成具有渐进的视频数据的视频流；
[0176] 字幕编码单元，被配置为生成具有渐进的字幕位图数据的字幕流；以及[0177] 发送单元，被配置为发送包括视频流和字幕流的预定格式的容器。
[0178] (2)根据以上(1)所述的发送装置，其中，在字幕流中，渐进的字幕位图数据以划分为顶部字段字幕位图数据和底部字段字幕位图数据的状态存在。
[0179] (3)根据以上(2)所述的发送装置，其中，在字幕流中存在顶部字段用数据块和底部字段用数据块，并且
[0180] 顶部字段字幕位图数据设置在顶部字段用数据块中，并且底部字段字幕位图数据设置在底部字段用数据块中。
[0181] (4)根据以上(1)所述的发送装置，其中，在字幕流中，渐进的字幕位图数据以未划分状态存在。
[0182] (5)根据以上(4)所述的发送装置，其中，在字幕流中存在顶部字段用数据块和底部字段用数据块，并且
[0183] 未划分状态的渐进的字幕位图数据设置在顶部字段用数据块或底部字段用数据块中。
[0184] (6)根据以上(4)所述的发送装置，其中，在字幕流中存在渐进用数据块，并且[0185] 未划分状态的渐进的字幕位图数据设置在渐进用数据块中。
[0186] (7)根据(1)至(6)中任一项所述的发送装置，视频数据具有第一分辨率，字幕位图数据具有比第一分辨率低的第二分辨率，发送装置还包括：识别信息插入单元，被配置为在字幕流的层内插入识别信息，识别信息指示在对的字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上。
[0187] (8)一种发送方法，包括以下步骤：
[0188] 由视频编码单元生成具有视频数据的视频流；
[0189] 由字幕编码单元生成具有渐进的字幕位图数据的字幕流；并且
[0190] 由发送单元以发送包括视频流和字幕流的预定格式的容器。
[0191] (9)一种接收装置，包括：
[0192] 接收单元，被配置为接收包括具有渐进的视频数据的视频流和具有渐进的字幕位图数据的字幕流的预定格式的容器；以及
[0193] 控制单元，被配置为控制通过解码视频流而获取渐进的视频数据的处理、通过解码字幕流而获取渐进的字幕位图数据的处理以及通过将渐进的字幕位图数据叠加到渐进的视频数据上而获取显示用视频数据的处理。
[0194] (10)根据以上(9)所述的接收装置，其中，在字幕流中，渐进的字幕位图数据以划分为顶部字段字幕位图数据和底部字段字幕位图数据的状态存在，并且
[0195] 在获取渐进的字幕位图数据的处理中，利用通过解码字幕流而获取的顶部字段字幕位图数据和底部字段字幕位图数据的组合来获取渐进的字幕位图数据。
[0196] (11)根据以上(9)所述的接收装置，其中，在字幕流中存在顶部字段用数据块和底部字段用数据块，并且
[0197] 在获取渐进的字幕位图数据的处理中，获取插入在顶部字段用数据块或底部字段用数据块中的未划分状态的渐进的字幕位图数据。
[0198] (12)根据以上(9)所述的接收装置，其中，在字幕流中存在渐进用数据块，并且[0199] 在获取渐进的字幕位图数据的处理中，获取插入在渐进用数据块中的未划分状态的渐进的字幕位图数据。
[0200] (13)一种接收方法，包括以下步骤：
[0201] 由接收单元接收包括具有渐进的视频数据的视频流和具有渐进的字幕位图数据的字幕流的预定格式的容器；并且
[0202] 由控制单元控制通过解码视频流而获取渐进的视频数据的处理、通过解码字幕流而获取渐进的字幕位图数据的处理以及通过将渐进的字幕位图数据叠加到渐进的视频数据上而获取显示用视频数据的处理。
[0203] (14)一种发送装置，包括：
[0204] 视频编码单元，被配置为生成具有第一分辨率的视频数据的视频流；
[0205] 字幕编码单元，被配置为生成具有比第一分辨率低的第二分辨率的字幕位图数据的字幕流；
[0206] 发送单元，被配置为发送包括视频流和字幕流的预定格式的容器；以及[0207] 识别信息插入单元，被配置为在字幕流的层内插入识别信息，识别信息指示在对字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上。
[0208] (15)根据以上(14)所述的发送装置，还包括分辨率信息插入单元，被配置为在容器的层内插入关于包括在字幕位图数据要叠加在其上的视频数据内的第一分辨率的信息。
[0209] (16)根据以上(14)或(15)所述的发送装置，其中，第一分辨率是UHD分辨率，并且第二分辨率是HD分辨率。
[0210] (17)根据以上(14)至(16)中任一项所述的发送装置，其中，识别信息插入单元将识别信息插入到显示定义段内。
[0211] (18)根据以上(14)至(16)中任一项所述的发送装置，其中，识别信息插入单元将作为识别信息的片段插入到字幕流内。
[0212] (19)根据以上(18)所述的发送装置，其中，作为识别信息的片段包括关于变换倍率的信息。
[0213] (20)一种发送方法，包括以下步骤：
[0214] 由视频编码单元生成具有第一分辨率的视频数据的视频流；
[0215] 由字幕编码单元生成具有比第一分辨率低的第二分辨率的字幕位图数据的字幕流；
[0216] 由发送单元发送包括视频流和字幕流的预定格式的容器；以及
[0217] 由识别信息插入单元在字幕流的层内插入识别信息，识别信息指示在对字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上。
[0218] (21)一种接收装置，包括：
[0219] 接收单元，被配置为接收包括具有第一分辨率的视频数据的视频流和具有比第一分辨率低的第二分辨率的字幕位图数据的字幕流的预定格式的容器，
[0220] 其中，在字幕流的层内插入有识别信息，识别信息指示在对字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上，
[0221] 接收装置还包括：
[0222] 控制单元，被配置为控制通过解码视频流而获取视频数据的处理、通过解码字幕流而获取字幕位图数据的处理以及基于识别信息，在对字幕位图数据执行坐标变换和分辨率变换之后，通过将字幕位图数据叠加到视频数据上而获取显示用视频数据的处理。
[0223] (22)一种接收方法，包括以下步骤：
[0224] 由接收单元接收包括具有第一分辨率的视频数据的视频流和具有比第一分辨率低的第二分辨率的字幕位图数据的字幕流的预定格式的容器，
[0225] 其中，在字幕流的层内插入有识别信息，识别信息指示在对字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上，
[0226] 接收方法还包括以下步骤：
[0227] 由控制单元控制通过解码视频流而获取视频数据的处理、通过解码字幕流而获取字幕位图数据的处理以及基于识别信息，在对字幕位图数据执行坐标变换和分辨率变换之后，通过将字幕位图数据叠加到视频数据上而获取显示用视频数据的处理。
[0228] 根据本技术的主要特征，通过各种发送方法发送渐进的字幕位图数据并且发送渐进的视频数据，允许字幕位图数据有利地叠加到接收侧的视频数据上(参考图2和3)。
[0229] 另外，根据本技术的另一特征，基于识别信息，在字幕流的层内插入识别信息，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到具有UHD分辨率的视频数据上，允许在接收侧的具有UHD分辨率的视频数据上的适当位置处叠加字幕位图数据，在对字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到视频数据上(参考图4)。
[0230] 附图标记列表
[0231] 10 发送和接收系统
[0232] 100 发送装置
[0233] 101 控制单元
[0234] 102 相机
[0235] 103 视频光电转换单元
[0236] 104 RGB/YCbCr转换单元
[0237] 105 视频编码器
[0238] 106 字幕生成单元
[0239] 107 位图数据生成单元
[0240] 108 字幕编码器
[0241] 109 系统编码器
[0242] 110 发送单元
[0243] 200 接收装置
[0244] 201 控制单元
[0245] 202 接收单元
[0246] 203 系统解码器
[0247] 204 视频解码器
[0248] 205 字幕解码器
[0249] 206 坐标和分辨率变换单元
[0250] 208 视频叠加单元
[0251] 209 YCbCr/RGB转换单元
[0252] 210 电光转换单元
[0253] 211 显示映射单元
[0254] 212 CE显示器
[0255] 213 用户操作单元
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于机器学习的内容自适应视频编码方法 | 2020-05-08 | 839 |
| 解码器、解码方法、编码器以及编码方法 | 2020-05-11 | 978 |
| 向后兼容的HDR视频多层压缩技术 | 2020-05-12 | 152 |
| 用于视频编码分数像素插值的卷积神经网络的构建方法 | 2020-05-12 | 340 |
| 压缩/解压缩的装置和系统、芯片、电子装置、方法 | 2020-05-08 | 169 |
| 处理和传输媒体数据的方法和装置 | 2020-05-11 | 992 |
| 一种基于动态注意力机制的多事件视频描述方法 | 2020-05-08 | 733 |
| 在native层实现无缝录像的方法、装置及终端设备 | 2020-05-08 | 810 |
| 一种360度视频帧间快速编码方法 | 2020-05-08 | 379 |
| 基于rtmp的音视频数据加解密方法、装置及可读存储介质 | 2020-05-11 | 127 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈