首页 / 专利库 / 光学 / 辉度 / 显示方法和显示装置

显示方法和显示装置

阅读:629发布:2020-05-08

专利汇可以提供显示方法和显示装置专利检索,专利查询,专利分析的服务。并且一种显示方法,用于在显示装置显示由表示HDR的 辉度 和代码值的对应关系的第1EOTF定义了影像的辉度的影像数据的影像,HDR(High Dynamic Range)是高动态范围,EOTF(Electoro‑Optical Transfer Function)是电光转换函数,该方法包括:取得影像数据;进行第1判定,在第1判定中,针对构成所取得的影像数据所包含的影像的多个 像素 的各像素,判定该像素的辉度是否超过第1预定辉度;进行双 色调 映射,在双色调映射中,针对多个像素的各像素,在第1判定的结果是该像素的辉度超过第1预定辉度的情况下和该像素的辉度在第1预定辉度以下的情况下,以不同的方式将该像素的辉度缩小;以及使用双色调映射的结果,在显示装置显示影像。,下面是显示方法和显示装置专利的具体信息内容。

1.一种显示方法,用于在显示装置显示由表示HDR的辉度和代码值的对应关系的第
1EOTF定义了影像的辉度的影像数据的影像,HDR是高动态范围,EOTF是电光转换函数,所述显示方法包括:
取得所述影像数据;
进行第1判定,在所述第1判定中,针对构成所取得的所述影像数据所包含的所述影像的多个像素的各像素,判定该像素的辉度是否超过第1预定辉度;
进行双色调映射,在所述双色调映射中,针对所述多个像素的各像素,在所述第1判定的结果是该像素的辉度超过所述第1预定辉度的情况下和该像素的辉度在所述第1预定辉度以下的情况下,以不同的方式将该像素的辉度缩小;以及
使用所述双色调映射的结果,在所述显示装置显示所述影像,
在所述双色调映射中,针对所述多个像素的各像素,
在该像素的辉度超过所述第1预定辉度的情况下,进行将该像素的在YUV空间定义的辉度缩小的YUV空间色调映射,
在该像素的辉度在所述第1预定辉度以下的情况下,进行将该像素的在RGB空间定义的RGB的各色的值缩小的RGB空间色调映射。
2.根据权利要求1所述的显示方法,
所述影像数据包括静态元数据,
基于所取得的所述影像数据所包含的所述静态元数据,进行第2判定,在所述第2判定中,判定所述影像数据所包含的所述影像的辉度被进行了绝对辉度管理、还是被进行了相对辉度管理,
在所述第2判定的结果是所述影像数据所包含的所述影像的辉度被进行了绝对辉度管理的情况下,进行所述双色调映射,
在所述第2判定的结果是所述影像数据所包含的所述影像的辉度被进行了相对辉度管理的情况下,针对构成所述影像数据所包含的所述影像的多个像素的各像素,进行将该像素的在RGB空间定义的RGB的各色的值缩小的RGB空间色调映射。
3.根据权利要求2所述的显示方法,
所述影像数据包括ST2086的信息作为所述静态元数据,
在所述第2判定中,
判定所述ST2086的信息所包含的、在生成了作为生成所述影像数据的基础的主影像时使用的主监视器的特性是否接近在生成被进行了绝对辉度管理的影像时使用的预定的主监视器的特性,
在判定为所述主监视器的特性接近所述预定的主监视器的特性的情况下,判定为所述影像数据的影像的辉度被进行了绝对辉度管理,在判定为所述主监视器的特性不接近所述预定的主监视器的特性的情况下,判定为所述影像数据的影像的辉度被进行了相对辉度管理。
4.根据权利要求3所述的显示方法,
在所述第2判定中,
基于表示作为所述主监视器的特性的所述主监视器的显示峰值辉度的显示峰值辉度信息,判定所述显示峰值辉度是否是4000nit附近的值,由此判定所述主监视器的特性是否接近所述预定的主监视器的特性,
在所述显示峰值辉度是4000nit附近的值的情况下,判定为所述影像数据所包含的所述影像的辉度被进行了绝对辉度管理,在所述显示峰值辉度不是4000nit附近的值的情况下,判定为所述影像数据所包含的所述影像的辉度被进行了相对辉度管理。
5.根据权利要求3或4所述的显示方法,
在所述第2判定中,
基于表示作为所述主监视器的特性的所述主监视器的显示原色的显示原色信息,判定所述显示原色是否是所述预定的主监视器的显示原色附近的值,由此,判定所述主监视器的特性是否接近所述预定的主监视器的特性,
在所述显示原色是所述预定的主监视器的显示原色附近的值的情况下,判定为所述影像数据所包含的所述影像的辉度被进行了绝对辉度管理,在所述显示原色不是所述预定的主监视器的显示原色附近的值的情况下,判定为所述影像数据所包含的所述影像的辉度被进行了相对辉度管理。
6.根据权利要求3或4所述的显示方法,
在所述第2判定中,
基于表示作为所述主监视器的特性的所述主监视器的白点的白点信息,判定所述白点是否是所述预定的主监视器的白点附近的值,由此,判定所述主监视器的特性是否接近所述预定的主监视器的特性,
在所述白点是所述预定的主监视器的白点附近的值的情况下,判定为所述影像数据所包含的所述影像的辉度被进行了绝对辉度管理,在所述白点不是所述预定的主监视器的白点附近的值的情况下,判定为所述影像数据所包含的所述影像的辉度被进行了相对辉度管理。
7.根据权利要求3或4所述的显示方法,
所述影像数据包括表示所述影像的峰值辉度的峰值辉度信息,
在所述第2判定中,判定由所述峰值辉度信息表示的所述峰值辉度是否超过第2预定辉度,
在所述峰值辉度超过所述第2预定辉度的情况下,判定为所述影像数据所包含的所述影像的辉度被进行了绝对辉度管理,在所述峰值辉度在所述第2预定辉度以下的情况下,判定为所述影像数据所包含的所述影像的辉度被进行了相对辉度管理。
8.根据权利要求3或4所述的显示方法,
所述影像数据包括表示最大平均辉度的最大帧平均辉度信息,所述最大帧平均辉度是构成所述影像的多个帧的各帧的平均辉度的最大值,
在所述第2判定中,判定由所述最大帧平均辉度信息表示的所述最大帧平均辉度是否超过第3预定辉度,
在所述最大帧平均辉度超过所述第3预定辉度的情况下,判定为所述影像数据所包含的所述影像的辉度被进行了绝对辉度管理,在所述最大帧平均辉度在所述第3预定辉度以下的情况下,判定为所述影像数据所包含的所述影像的辉度被进行了相对辉度管理。
9.一种显示装置,用于显示由表示HDR的辉度和代码值的对应关系的第1EOTF定义了影像的辉度的影像数据的影像,HDR是高动态范围,EOTF是电光转换函数,所述显示装置具备:
判定部,其取得所述影像数据,针对构成所取得的所述影像数据所包含的所述影像的多个像素的各像素,判定该像素的辉度是否超过第1预定辉度;
处理部,其针对所述多个像素的各像素,在所述判定部的判定的结果是该像素的辉度超过所述第1预定辉度的情况下和该像素的辉度在所述第1预定辉度以下的情况下,进行以不同的方式将该像素的辉度缩小的双色调映射;以及
显示部,其使用所述双色调映射的结果,在所述显示装置显示所述影像,所述处理部,针对所述多个像素的各像素,在该像素的辉度超过所述第1预定辉度的情况下,进行将该像素的在YUV空间定义的辉度缩小的YUV空间色调映射,在该像素的辉度在所述第1预定辉度以下的情况下,进行将该像素的在RGB空间定义的RGB的各色的值缩小的RGB空间色调映射。

说明书全文

显示方法和显示装置

技术领域

[0001] 本公开涉及显示方法和显示装置。

背景技术

[0002] 以往,公开了用于改善能够显示的辉度等级的图像信号处理装置(例如参照专利文献1)。
[0003] 现有技术文献
[0004] 专利文献
[0005] 专利文献1:日本特开2008-167418号公报发明内容
[0006] 发明要解决的课题
[0007] 然而,在上述专利文献中,需要进一步的改善。
[0008] 用于解决课题的技术方案
[0009] 本公开的一个方式的显示方法,用于在显示装置显示由表示HDR(High Dynamic Range;高动态范围)的辉度和代码值的对应关系的第1EOTF(Electoro-Optical Transfer Function;电光转换函数)定义了影像的辉度的影像数据的影像,所述显示方法包括:取得所述影像数据;进行第1判定,在所述第1判定中,针对构成所取得的所述影像数据所包含的所述影像的多个像素的各像素,判定该像素的辉度是否超过第1预定辉度;进行双色调映射(dual tone mapping),在所述双色调映射中,针对所述多个像素的各像素,在所述第1判定的结果是该像素的辉度超过所述第1预定辉度的情况下和该像素的辉度在所述第1预定辉度以下的情况下,以不同的方式将该像素的辉度缩小;以及使用所述双色调映射的结果,在所述显示装置显示所述影像。
[0010] 此外,这些总括性的或者具体的技术方案,既可以通过装置、系统、集成电路计算机程序或者计算机可读取的CD-ROM等记录介质来实现,也可以通过装置、系统、集成电路、计算机程序或记录介质的任意组合来实现。
[0011] 发明的效果
[0012] 根据上述方式,能够实现进一步的改善。附图说明
[0013] 图1是用于对影像技术的进化进行说明的图。
[0014] 图2是用于说明SDR信号与HDR信号的差异的图。
[0015] 图3是保存于内容的辉度信号的代码值的决定方法以及在再现时从代码值复原辉度的过程的说明图。
[0016] 图4是用于说明以HDRTV使HDR信号显示的情况下的显示处理的一例的图。
[0017] 图5是用于说明以HDRTV使通过高辉度主监视器分级后的HDR内容的HDR信号显示的情况下的显示处理的一例的图。
[0018] 图6是示出图像拍摄时的辉度的尺度的图。
[0019] 图7是在拍摄到的图像的辉度的例子中示出的图。
[0020] 图8是用于对制作与SDR对应的家庭娱乐用母版的流程、发布媒体以及显示装置的关系进行说明的图。
[0021] 图9A是示出将图7中示出的原图像进行母版处理成SDR图像的结果的辉度的一例的图。
[0022] 图9B是示出用于将原信号值变换为SDR信号值(进行母版处理)的原信号值与SDR信号值的关系的一例的图。
[0023] 图10A是示出将图7中示出的原图像进行母版处理成HDR图像的结果的辉度的一例的图。
[0024] 图10B是示出用于将原信号值变换为HDR信号值(进行母版处理)的原信号值与HDR信号值的关系的一例的图。
[0025] 图11是用于对实施方式1的显示方法中的辉度变换处理的具体例进行说明的图。
[0026] 图12是对分级的方式进行说明的表。
[0027] 图13是示出使用标准主监视器以以往方式进行HDR分级的情况下的HDR/SDR母版处理的整体结构的图。
[0028] 图14A是示出以以往方式将图7中示出的原图像进行母版处理成HDR图像的结果的辉度的一例的图。
[0029] 图14B是示出用于将原信号值变换为HDR信号值(以以往方式进行母版处理)的、原信号值与HDR信号值的关系的一例的图。
[0030] 图15是示出通过以以往方式进行HDR分级而得到的SDR图像的例子的图。
[0031] 图16是示出通过以以往方式进行HDR分级而得到的HDR图像的例子的图。
[0032] 图17是示出使用标准主监视器以ACES方式进行ACES/HDR分级的情况下的HDR/SDR母版处理的整体结构的图。
[0033] 图18A是示出将图7中示出的原图像以ACES方式进行母版处理成HDR图像的结果的辉度的一例的图。
[0034] 图18B是示出用于将原信号值变换为HDR信号值(以ACES方式进行母版处理)的、原信号值与HDR信号值的关系的一例的图。
[0035] 图19是示出从通过以ACES方式进行ACES/HDR分级而得到的ACES/HDR的主影像自动生成的SDR图像的例子的图。
[0036] 图20是示出从通过以ACES方式进行ACES/HDR分级而得到的ACES/HDR的主影像自动生成的HDR图像的例子的图。
[0037] 图21是示出使用高辉度主监视器以DolbyVision方式进行HDR分级的情况下的HDR/SDR母版处理的整体结构的图。
[0038] 图22A是示出以DolbyVision方式将图7中示出的原图像进行母版处理成HDR图像的结果的辉度的一例的图。
[0039] 图22B是示出用于将原信号值变换为HDR信号值(以DolbyVision方式进行母版处理)的、原信号值与HDR信号值的关系的一例的图。
[0040] 图23是示出认为具有与从通过以DolbyVision方式进行HDR分级而得到的高辉度主影像自动生成的SDR图像同等的效果的数字影片评价用内容“Stem”的例子的图。
[0041] 图24是示出认为具有与通过以DolbyVision方式进行HDR分级而得到的高辉度主影像同等的倾向的数字影片评价用内容“Stem”的例子的图。
[0042] 图25是对分级的3个方式的课题进行说明的表。
[0043] 图26是示出经由HDR对应的HDMI(注册商标)2.0a将HDR对应的Ultra HD Blu-ray(注册商标)设备与HDRTV相连的情况下的例子的图。

具体实施方式

[0044] (作为本公开的基础的见解)
[0045] 本发明人,关于在“背景技术”一栏中记载的图像信号处理装置,发现存在以下的问题。
[0046] 在专利文献1所公开的图像信号处理装置中,基于从构成被拍摄对象的像素算出的线性RGB值按各像素算出线性辉度,基于线性RGB值以及线性辉度算出按各像素的修正线性辉度以及将包含该像素的多个像素合成而得的合成像素的修正线性RGB值,对修正线性辉度以及修正线性RGB值分别进行伽修正而算出显示用辉度以及显示用RGB值。这样,在图像信号处理装置中,基于修正线性RGB值对线性辉度进行修正,由此,实现了能够显示的灰度数的增加。
[0047] 然而,近些年,伴随着影像技术的进化,已知有使HDR影像在TV等显示装置上显示的技术,HDR影像是用比定义以往的影像的辉度的动态范围更宽的动态范围即HDR(High Dynamic Range;高动态范围)定义了辉度的影像。在此,对于影像技术的变迁,使用图1进行说明。
[0048] 图1是用于对影像技术的进化进行说明的图。
[0049] 迄今为止,作为影像的高画质化,主要着眼于显示像素数的扩大,从标准清晰度(Standard Definition;SD的720×480像素的影像起,高清晰度(High Definition;HD的1920×1080像素的、所谓2K影像普及开来。
[0050] 近些年,以进一步的高画质化为目标,开始导入超高清晰度(UltraHigh Definition;UHD)的3840×1920像素、或者4K的4096x1920像素的、所谓4K影像。
[0051] 正在研究通过进行由4K的导入实现的影像的高分辨率化并且进行动态范围扩张和/或色域的扩大、或者率的追加、提高等来使影像高画质化。
[0052] 关于动态范围扩张,由于数码摄像头和/或CMOS(Complementary metal-oxide-semiconductor)图像传感器的性能提高,能够进行表示曝光的光圈数(Stop数)为14Stops以上的宽的动态范围的图像的拍摄。因此,能够在维持暗部灰度的同时,拍摄100%反射光以上明亮的光(镜面反射光等明亮的光)。为了将该摄像头或图像传感器的性能提高活用于表现的提高,作为也能够传送更高辉度的信号的信号标准,HDR受到瞩目。
[0053] 迄今为止的TV信号被称作SDR(Standard Dynamic Range;标准动态范围),峰值辉度(最大辉度)为100nit,相对于此,在HDR(尤其是,以利用SMPTE标准化后的EOTF即ST 2084(PQ曲线)编码的HDR)的情况下,会能够表现到10000nit以上的峰值辉度。
[0054] 作为HDR的具体的应用对象,设想了与HD、UHD同样地,在播放、封装介质(package media)(Blu-ray(日本注册商标)、Disc等)、互联网发布中使用。
[0055] 接着,使用图2对SDR以及HDR进行说明。
[0056] 图2是用于说明SDR信号与HDR信号的差异的图。此外,SDR信号是表示与SDR对应的SDR影像的影像信号,HDR信号是表示与HDR对应的HDR影像的影像信号。
[0057] 在通过用动态范围(14Stop等)宽的数字摄像头拍摄而得到的原信号中包含0~10000nit的宽范围的辉度信息。
[0058] SDR信号是满足bt709等播放规格的影像,是通过按照从原信号变为峰值辉度为100nit的SDR影像的方式进行颜色修正(grading,分级)处理而得到的影像信号。也就是说,SDR信号是由影像的辉度为0~100nit这一辉度的动态范围定义的影像信号。
[0059] 另一方面,HDR信号是按照撤除SDR信号那样的使峰值辉度为100nit的制约,而与ST2084(以下,称作“PQ曲线”。)的制约相配合地变为使得辉度的动态范围的最大辉度为达到10000nit的HDR影像的方式进行颜色修正(grading;分级)处理而得到的影像信号。也就是说,HDR信号是由影像的辉度为0~10000nit这一辉度的动态范围定义的影像信号。此外,HDR信号的辉度的动态范围的最大辉度不限于10000nit,也可以是例如800~4000nit。
[0060] 这样,HDR的辉度的动态范围,是与SDR的辉度的动态范围相比峰值辉度大的动态范围。此外,HDR的辉度的动态范围的最小辉度与SDR的辉度的动态范围的最小辉度相同,是0nit。
[0061] 图3是保存于内容的辉度信号的代码值的决定方法以及在再现时从代码值复原辉度的过程的说明图。
[0062] 本例中的影像信号是与HDR对应的HDR信号。分级(grading)后的图像,通过HDR的逆EOTF而量化,决定与该图像的辉度对应的代码值。基于该代码值进行图像编码等,生成视频流。在再现时,对于流的解码结果,通过基于HDR的EOTF进行逆量化而变换为线性的信号,恢复每个像素的辉度。以下,将使用了HDR的逆EOTF的量化称作“逆HDR的EOTF变换”。将使用了HDR的EOTF的逆量化称作“HDR的EOTF变换”。同样,将使用了SDR的逆EOTF的量化称作“逆SDR的EOTF变换”。将使用了SDR的EOTF的逆量化称作“SDR的EOTF变换”。
[0063] 在进行用HDR对应的显示装置(例如,HDRTV)显示上述那样的HDR信号的显示控制的情况下,与HDR信号的峰值辉度相比HDRTV的能够显示的峰值辉度(以下,称为“显示峰值辉度”)小的情况居多。因此,为了使HDR信号的峰值辉度与HDRTV的显示峰值辉度相符合,需要将HDR信号的辉度的动态范围缩小为HDRTV所对应的辉度的动态范围。
[0064] 但是,在专利文献1所公开的图像信号处理装置等的辉度的修正(变换)中,没有考虑将辉度修正(变换)为比定义影像的辉度的HDR的辉度的动态范围窄的辉度的动态范围时的辉度的变换方法。
[0065] 因此,产生了如下的课题。
[0066] 由于SDR的EOTF(伽马曲线:相对辉度基准)与HDR的EOTF(ST2084:PQ曲线:绝对辉度基准)的差异,在利用HDRTV显示HDR信号的情况下,与利用SDR对应的显示装置(例如,SDRTV)显示SDR信号的情况不同,产生了下述课题。
[0067] Blu-ray(注册商标)Disc Association、UHD Alliance等数字AV技术的国际标准化组织,要求将与HDR对应的内容,以比当前10000nit小的预定辉度(例如1000nit)为上限进行分级(允许其以上的辉度也存在)。
[0068] 图4是用于说明使HDR信号在HDRTV显示的情况下的显示处理的一例的图。图4的(a)是示出定义了HDR内容的影像的辉度的HDR的EOTF的图。图4的(b)是示出用于与HDRTV的显示峰值辉度相配合地变换HDR内容的辉度的色调映射(tone mapping)处理(辉度变换处理)的图。
[0069] 如图4所示,在使显示峰值辉度小于预定辉度(例如500nit)的HDRTV显示由以预定辉度(例如,1000nit)为峰值辉度的动态范围定义的HDR影像的情况下,要求通过对该HDR影像的HDR信号进行预定的色调映射处理,使HDRTV表现作为HDR影像的峰值辉度的预定辉度。也就是说,要求进行使预定辉度与HDRTV的显示峰值辉度相符的色调映射处理,以使HDR影像的峰值辉度能够通过HDRTV表现。
[0070] 在该情况下,若仅是辉度分量,则如图4的(b)所示,只要进行包括拐点曲线(knee curve)处理在内的色调映射(tone mapping)处理,就能够使影像的辉度与HDRTV的显示峰值辉度相配合地变换,拐点曲线处理使用了表示输入辉度与输出辉度的关系的拐点曲线。但是,在针对影像信号的RGB各色的值独立地应用了同等的拐点曲线处理的情况下,颜色有可能会变化。
[0071] 在预定的色调映射处理中,需要以颜色不变化的方式,针对RGB各色的值独立地进行同等的处理。此时,在成为预定的色调映射处理的对象的1个像素的颜色由跨过拐点曲线化的点而配置的RGB各色的值构成的情况下,预定的色调映射处理后的RGB的平衡被打破,在色调映射处理前后颜色会变化。也就是说,在RGB的第1颜色(例如R)是与没有拐点曲线化的辉度范围的辉度对应的值,与RGB的第1颜色不同的第2颜色(例如B)是与拐点曲线化的辉度范围的辉度对应的值的情况下,与处于没有拐点曲线化的辉度范围内的辉度对应的第1颜色的值,辉度不变化,因此,对第1颜色的值几乎没有影响,与处于拐点曲线化的辉度范围内的辉度对应的第2颜色的值,辉度小程度地变化,因此第2颜色的值也变化。因此,在预定的色调映射处理的前后,RGB的各色间的值的相对关系被打破,颜色会变化。另外,即使RGB各色的值是拐点曲线化的辉度范围内的辉度,由于在拐点曲线化的辉度范围内,根据辉度的大小,辉度被缩小的变化率不同,所以RGB的各色间的值的相对关系会被打破。因此,为了减小预定的色调映射处理前后的颜色的变化,需要三维颜色变换处理等复杂的处理。
[0072] 也即是,在利用用于将绝对辉度基准的HDR内容分级的高辉度主监视器(master monitor)(例如,DolbyVision)分级后的HDR内容的情况下,在1000nit以上的范围内也存在有效的像素。因此,如图4所示那样以1000nit截止那样地进行拐点曲线处理的色调映射处理中,存在无法正确地再现具有1000nit以上的辉度的像素的颜色的可能性。
[0073] 图5是用于说明使通过高辉度主监视器分级后的HDR内容的HDR信号在HDRTV显示的情况下的显示处理的一例的图。图5的(a)是示出定义了HDR内容的影像的辉度的HDR的EOTF的图。图5的(b)是示出用于与HDRTV的显示峰值辉度相配合地变换HDR内容的辉度的色调映射处理(辉度变换处理)的图。
[0074] 如图5所示,在通过高辉度主监视器分级后的HDR内容的情况下,存在具有例如2000nit的峰值辉度的可能性。针对这样的峰值辉度为2000nit的HDR内容的HDR影像,在使其显示于显示峰值辉度小于2000nit(例如500nit)的HDRTV的情况下,要求通过进行图5所示那样的包含拐点曲线处理的色调映射处理,使HDRTV表现HDR影像的峰值辉度即2000nit。
[0075] 在单纯地与图4同样地进行了该色调映射处理的情况下,为了将到2000nit为止的辉度收敛于500nit,能够线性地显示的范围会非常窄。也即是,与图4进行比较,存在如下课题:取代能够进行例如1000~2000nit的区域的表现,在1000nit以下的辉度中,与图4那样的到1000nit为止的辉度相比,再现性会变差。
[0076] 另外,具有超过例如1000nit那样的预定的高辉度的辉度的影像,是被称为闪耀(sparkle)的雷、焰火、电灯泡、火焰、爆炸、太阳、的反射等的影像,是针对全体的影像(图像)的小区域的影像。另外,该影像是白色或单色的情况居多。因此,需要针对具有超过预定的高辉度的辉度的像素,进行考虑到由该像素构成的影像是小区域、并且多是白色或单色的情况这一特征的处理,通过对预定的高辉度以下的辉度尽可能进行与图4同样的处理,来表现影像。
[0077] 在进行了以上的研究的基础上,本发明人,为了解决上述课题而研究出了下述的改善对策。
[0078] 本公开的一个方式的显示方法,用于在显示装置显示由表示HDR的辉度和代码值的对应关系的第1EOTF定义了影像的辉度的影像数据的影像,HDR(High Dynamic Range)是高动态范围,EOTF(Electoro-OpticalTransfer Function)是电光转换函数,所述显示方法包括:取得所述影像数据;进行第1判定,在所述第1判定中,针对构成所取得的所述影像数据所包含的所述影像的多个像素的各像素,判定该像素的辉度是否超过第1预定辉度;进行双色调映射,在所述双色调映射中,针对所述多个像素的各像素,在所述第1判定的结果是该像素的辉度超过所述第1预定辉度的情况下和该像素的辉度在所述第1预定辉度以下的情况下,以不同的方式将该像素的辉度缩小;以及使用所述双色调映射的结果,在所述显示装置显示所述影像。
[0079] 据此,由于进行在超过第1预定辉度的辉度和在第1预定辉度以下的辉度,以不同的方式将辉度缩小的双色调映射,因此,能够抑制在辉度的变换处理的前后,各像素的颜色会变化。
[0080] 另外,也可以是,在所述双色调映射中,针对所述多个像素的各像素,在该像素的辉度超过所述第1预定辉度的情况下,进行将该像素的在YUV空间定义的辉度缩小的YUV空间色调映射,在该像素的辉度在所述第1预定辉度以下的情况下,进行将该像素的在RGB空间定义的RGB的各色的值缩小的RGB空间色调映射。
[0081] 据此,在对于HDR内容的HDR影像所包含的多个像素,该像素所具有的辉度超过第1预定辉度的情况下,进行YUV空间色调映射,因此,能够有效地抑制在辉度的变换处理的前后,各像素的颜色会变化。另外,在对于HDR内容的HDR影像所包含的多个像素,该像素所具有的辉度超过第1预定辉度的情况下,进行RGB空间色调映射,因此,能够在辉度的变换处理的前后,极力维持各像素的颜色的再现性。
[0082] 另外,也可以是,所述影像数据包括静态元数据,基于所取得的所述影像数据所包含的所述静态元数据,进行第2判定,在所述第2判定中,判定所述影像数据所包含的所述影像的辉度被进行了绝对辉度管理、还是被进行了相对辉度管理,在所述第2判定的结果是所述影像数据所包含的所述影像的辉度被进行了绝对辉度管理的情况下,进行所述双色调映射,在所述第2判定的结果是所述影像数据所包含的所述影像的辉度被进行了相对辉度管理的情况下,针对构成所述影像数据所包含的所述影像的多个像素的各像素,进行将该像素的在RGB空间定义的RGB的各色的值缩小的RGB空间色调映射。
[0083] 据此,由于判定影像的辉度被进行了绝对辉度管理、还是被进行了相对辉度管理,因此,能够根据是绝对辉度管理、还是相对辉度管理来适当地选择并进行色调映射处理。这样,无论是被进行了绝对辉度管理的影像、还是被进行了相对辉度管理的影像,都能进行适当的处理,因此,能够使恰当的影像得以显示。
[0084] 另外,也可以是,所述影像数据包括ST2086的信息作为所述静态元数据,在所述第2判定中,判定所述ST2086的信息所包含的、在生成了作为生成所述影像数据的基础的主影像(master video image)时使用的主监视器的特性是否接近在生成被进行了绝对辉度管理的影像时使用的预定的主监视器的特性,在判定为所述主监视器的特性接近所述预定的主监视器的特性的情况下,判定为所述影像数据的影像的辉度被进行了绝对辉度管理,在判定为所述主监视器的特性不接近所述预定的主监视器的特性的情况下,判定为所述影像数据的影像的辉度被进行了相对辉度管理。
[0085] 因此,能够容易地判定影像的辉度被进行了绝对辉度管理、还是被进行了相对辉度管理。
[0086] 另外,也可以是,在所述第2判定中,基于表示作为所述主监视器的特性的所述主监视器的显示峰值辉度的显示峰值辉度信息,判定所述显示峰值辉度是否是4000nit附近的值,由此判定所述主监视器的特性是否接近所述预定的主监视器的特性,在所述显示峰值辉度是4000nit附近的值的情况下,判定为所述影像数据所包含的所述影像的辉度被进行了绝对辉度管理,在所述显示峰值辉度不是4000nit附近的值的情况下,判定为所述影像数据所包含的所述影像的辉度被进行了相对辉度管理。
[0087] 因此,能够容易地判定影像的辉度被进行了绝对辉度管理、还是被进行了相对辉度管理。
[0088] 另外,也可以是,在所述第2判定中,基于表示作为所述主监视器的特性的所述主监视器的显示原色的显示原色信息,判定所述显示原色是否是所述预定的主监视器的显示原色附近的值,由此,判定所述主监视器的特性是否接近所述预定的主监视器的特性,在所述显示原色是所述预定的主监视器的显示原色附近的值的情况下,判定为所述影像数据所包含的所述影像的辉度被进行了绝对辉度管理,在所述显示原色不是所述预定的主监视器的显示原色附近的值的情况下,判定为所述影像数据所包含的所述影像的辉度被进行了相对辉度管理。
[0089] 因此,能够容易地判定影像的辉度被进行了绝对辉度管理、还是被进行了相对辉度管理。
[0090] 另外,也可以是,在所述第2判定中,基于表示作为所述主监视器的特性的所述主监视器的白点的白点信息,判定所述白点是否是所述预定的主监视器的白点附近的值,由此,判定所述主监视器的特性是否接近所述预定的主监视器的特性,在所述白点是所述预定的主监视器的白点附近的值的情况下,判定为所述影像数据所包含的所述影像的辉度被进行了绝对辉度管理,在所述白点不是所述预定的主监视器的白点附近的值的情况下,判定为所述影像数据所包含的所述影像的辉度被进行了相对辉度管理。
[0091] 因此,能够容易地判定影像的辉度被进行了绝对辉度管理、还是被进行了相对辉度管理。
[0092] 另外,也可以是,所述影像数据包括表示所述影像的峰值辉度的峰值辉度信息,在所述第2判定中,判定由所述峰值辉度信息表示的所述峰值辉度是否超过第2预定辉度,在所述峰值辉度超过所述第2预定辉度的情况下,判定为所述影像数据所包含的所述影像的辉度被进行了绝对辉度管理,在所述峰值辉度在所述第2预定辉度以下的情况下,判定为所述影像数据所包含的所述影像的辉度被进行了相对辉度管理。
[0093] 因此,能够容易地判定影像的辉度被进行了绝对辉度管理、还是被进行了相对辉度管理。
[0094] 另外,也可以是,所述影像数据包括表示最大帧平均辉度的最大帧平均辉度信息,所述最大帧平均辉度是构成所述影像的多个帧的各帧的平均辉度的最大值,在所述第2判定中,判定由所述最大帧平均辉度信息表示的所述最大帧平均辉度是否超过第3预定辉度,在所述最大帧平均辉度超过所述第3预定辉度的情况下,判定为所述影像数据所包含的所述影像的辉度被进行了绝对辉度管理,在所述最大帧平均辉度在所述第3预定辉度以下的情况下,判定为所述影像数据所包含的所述影像的辉度被进行了相对辉度管理。
[0095] 因此,能够容易地判定对影像的辉度进行了绝对辉度管理,还是进行了相对辉度管理。
[0096] 此外,这些总括性的或者具体的技术方案,既可以通过装置、系统、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现,也可以通过装置、系统、集成电路、计算机程序或记录介质的任意组合来实现。
[0097] 以下,参照附图,对本公开的一个方式的显示方法以及显示装置,具体地进行说明。
[0098] 此外,以下要说明的实施方式,都是本公开的一个具体例。在以下的实施方式中示出的数值、形状、材料、结构要素的配置位置以及连接方式、步骤、步骤的顺序等都是一例,主旨不是用于限定本公开。另外,对于以下的实施方式中的结构要素中、未记载于表示最上位概念的独立技术方案的结构要素,作为任意的结构要素进行说明。
[0099] 本公开涉及用于实现在具有与HDR信号所对应的辉度的动态范围内的峰值辉度(最大辉度或最高辉度)不同的辉度的动态范围的显示能力的显示装置(例如,TV、投影仪、平板电脑、智能手机等)显示通过SMPTE(Society of Motion Picture&Television Engineers;电影电视工程师协会)ST2084标准的EOTF(以下,称作“PQ曲线”。)编码后的动态范围高的高辉度信号即HDR(High Dynamic Range;高动态范围)信号的HDR信号形式及该HDR信号的显示方法和显示装置。
[0100] (实施方式1)
[0101] 以下,使用图6~图11对实施方式1进行说明。
[0102] 首先,使用图6~图10B对从图像的拍摄到将图像在显示部显示为止的处理的流程,按顺序进行说明。
[0103] [1-1.图像拍摄时的辉度的尺度的想法]
[0104] 图6是示出图像拍摄时的辉度的尺度的图。
[0105] 如图6所示,在利用摄像头拍摄图像的情况下,将反射率成为18%的灰度即18%灰度作为明亮度的基准点进行拍摄。也就是说,18%灰度是成为明亮度的基准的基准反射率。Stop数定义为以18%灰度下的辉度为基准点,每当辉度成为2倍时,增加1。
[0106] 在实际利用摄像头拍摄图像时,从摄像头的图像传感器(例如CMOS、CCD等)得到的辉度,根据基于光圈、速度、感光度设定等的曝光而变化。也就是说,从图像传感器得到的辉度,即使是拍摄相同明亮度的被拍摄体,也会与曝光相应地成为不同的值。因此,Stop数的值自身不是绝对的值,而是相对的值。也就是说,无法利用Stop数来表示辉度。
[0107] 例如,在图6的(1)的拍摄夜晚的场景那样的情况下,为了不引起曝光不足(blocked-up shadows),对摄像头进行如下曝光设定:通过放慢快门速度、打开光圈等而改变曝光,由此,保留暗的部分的灰度,舍弃明亮的部分。
[0108] 另外,在图6的(2)的拍摄白天的室内的场景那样的情况下,对摄像头进行暗的部分与明亮的部分的平衡良好的曝光的设定。另外,在图6的(3)的拍摄白天的室外的场景那样的情况下,为了防止明亮的部分的过渡曝光,对摄像头进行减少了曝光的曝光设定。
[0109] 为了将这样得到的相对的辉度变换为绝对的辉度,需要计算与18%灰度的相对关系。
[0110] [1-2.图像拍摄时的辉度]
[0111] 图7是拍摄到的图像的辉度的例子所示的图。
[0112] 如图7所示,拍摄到的图像(以下,称作“原图像”)10的A)示出具有与成为明亮度的基准的基准反射率即18%灰度(0Stop)对应的辉度(以下,称作“基准辉度”或“18%灰度(Gray)值”。)的像素。原图像10的B)示出具有与90%的反射率(90%灰度)(2.3Stops)对应的辉度的像素。原图像10的C)示出具有与几乎黑的2.3%灰度(-3Stops)对应的辉度的像素。原图像10的D)示出通过拍摄太阳得到的像素,得到了非常明亮的辉度,具有与1150%灰度(6Stops)对应的辉度。原图像10的E)示出通过拍摄引起了镜面反射的位置得到的像素,具有与290%灰度(4Stops)对应的辉度。
[0113] [1-3.母版生成、发布方式以及显示装置的关系]
[0114] 图8是用于对制作与SDR对应的家庭娱乐用母版的流程、发布介质以及显示装置的关系进行说明的图。
[0115] 图7中所说明的那样的原图像10是最大辉度为1300nit的图像。也就是说,在使用原图像10来制作与最大辉度为100nit的SDR对应的母版图像(SDR图像)的情况下,以SDR无法表现出具有100nit以上的辉度的像素,所以无法不变换原图像10的辉度地直接使用来制作与SDR对应的母版图像。也就是说,若要使用原图像10来制作与SDR对应的母版图像,则需要将原图像10的辉度变换为与SDR对应的动态范围的辉度。
[0116] [1-4.从原图像向SDR图像的母版处理]
[0117] 接着,对从原图像10向SDR图像的SDR分级处理(母版处理)进行说明。
[0118] 首先,为了使利用摄像头拍摄的、具有100nit以上的高辉度分量的内容的影像(图像)适应于Bt709等播放标准,在通常的分级处理中,进行拐点曲线处理,即,在到80nit前后为止,按原样线性地保持辉度,对于其以上的部分,以最高辉度收敛于100nit的方式将其弯曲。具体地说,拐点曲线处理是将一定值以下的辉度线性地显示,使一定值以上的辉度与要显示的显示装置的显示峰值辉度相配合地衰减的处理。
[0119] 图9A是示出将在图7中示出的原图像母版处理成SDR图像的结果的辉度的一例的图。图9B是示出用于将原信号值变换(母版处理)为SDR信号值的原信号值与SDR信号值的关系的一例的图。此外,原信号值是原图像10的0~1300nit的动态范围内的辉度(以下,称作“原图像10的辉度”。),SDR信号值是SDR的辉度范围内的辉度(以下,称作“SDR的辉度”。)。
[0120] 如图9B所示,在本例中的从原图像10向SDR图像11的母版处理中,与基准反射率即18%灰度(0Stop)对应的像素是具有成为明亮度的基准的基准辉度的像素。因此,在向SDR图像的母版处理中,即使在将原图像10变换为SDR图像11之后,也不变更与原图像10中的
18%灰度对应的原图像10的辉度(18nit)地被决定为SDR的辉度。
[0121] 在此,如图9B所示,在从原图像10向SDR图像11的母版处理中,在与原图像10的90%灰度对应的原图像10的辉度(90nit)以下的辉度范围(0~90nit)内,不变更原图像10的辉度地被决定为SDR的辉度。另外,如图9B所示,将比与原图像10的90%灰度对应的原图像10的辉度(90nit)大的原图像10的辉度范围(90~1300〔nit〕)内的原图像10的辉度,通过线性变换,分配到90~100nit的辉度范围的SDR的辉度。
[0122] 例如,在SDR图像11的B)那样的、关于与90%灰度(2.3Stops)对应的像素的向SDR图像11的母版处理中,即使在将原图像10变换为SDR图像11之后,也不变更与原图像10中的90%灰度对应的原图像10的辉度(90nit)地被决定为SDR的辉度。
[0123] 另外,例如,在SDR图像11的C)那样的、关于与2.3%灰度(-3Stops)对应的像素的向SDR图像的母版处理中,与上述同样,即使在将原图像10变换为SDR图像11之后,也不变更与原图像10中的2.3%灰度对应的原图像10的辉度(2nit)地被决定为SDR的辉度。
[0124] 例如,在SDR图像11的D)那样的、关于与1150%灰度(6Stops)对应的像素的向SDR图像的母版处理中,将与原图像10中的1150%灰度对应的原图像10的辉度(1150nit)变换为SDR的最大辉度即100nit。
[0125] 另外,例如,在SDR图像11的E)那样的、关于与290%灰度(4Stops)对应的像素的向SDR图像的母版处理中,将与原图像10中的290%灰度对应的原图像10的辉度变换为95nit。
[0126] [1-5.从原图像向HDR图像的第1母版处理]
[0127] 图10A是示出将图7中示出的原图像母版处理成HDR图像的结果的辉度的一例的图。图10B是示出用于将原信号值变换(母版处理)为HDR信号值的原信号值与HDR信号值的关系的一例的图。此外,HDR信号值是HDR的辉度范围内的辉度(以下,称作“HDR的辉度”。)。此外,在本例中的从原图像10向HDR图像的母版处理中,允许将到2000nit为止的辉度作为HDR的辉度进行分配,所以在HDR图像中也能够按原样保持原图像10的辉度。
[0128] 例如,HDR图像12的A)那样的、与基准反射率即18%灰度(0Stop)对应的像素,是具有成为明亮度的基准的基准辉度的像素,所以在向HDR图像的母版处理中,即使在将原图像10变换为HDR图像12之后,也不变更与原图像10中的18%灰度对应的原图像10的辉度(18nit)地被决定为HDR的辉度。
[0129] 同样,例如,关于HDR图像12的B)那样的与90%灰度(2.3Stops)对应的像素、HDR图像12的C)那样的与2.3%灰度(-3Stops)对应的像素、HDR图像12的D)那样的与1150%灰度(6Stops)对应的像素、以及HDR图像12的E)那样的与290%灰度(4Stops)对应的像素的各像素,在向HDR图像的母版处理中,不变更该原图像10的辉度地被决定为HDR的辉度。
[0130] [1-6.显示方法]
[0131] 接着,使用图11对实施方式1的显示方法进行说明。
[0132] 图11是用于对实施方式1的显示方法中的辉度变换处理的具体例进行说明的图。
[0133] 如图11所示,在本实施方式的显示方法中,进行双色调映射。在双色调映射中,针对具有第1预定辉度(例如1000nit)以下的辉度的像素,对由通常的RGB空间定义的RGB的各色的值进行色调映射处理(以下,称为“RGB空间色调映射”)。例如,在HDRTV的显示峰值辉度为500nit的情况下,针对具有1000nit以下的辉度的像素进行RGB空间色调映射,由此,通过HDRTV的到460nit为止的辉度范围表现HDR内容的HDR影像的具有1000nit以下的辉度的像素。另一方面,针对具有超过第1预定辉度的辉度的像素,不进行通常的RGB空间中的色调映射处理,而针对用YUV空间定义的辉度进行色调映射处理(以下,称为“YUV空间色调映射”)。此外,在YUV空间色调映射中,除了针对构成像素的辉度的处理之外,还针对构成该像素的色差进行处理。
[0134] 总之,在本实施方式1的显示方法中,取得HDR影像的影像数据,关于构成所取得的影像数据所包含的影像的多个像素的各像素,进行判定该像素的辉度是否超过第1预定辉度的第1判定。并且,关于多个像素的各像素,在第1判定的结果是该像素的辉度超过第1预定辉度的情况和该像素的辉度在第1预定辉度以下的情况下,通过不同的方式进行将该像素的辉度缩小的双色调映射。之后,使用双色调映射的结果,将HDR影像在显示装置显示。
[0135] 另外,在双色调映射中,关于多个像素的各像素,在该像素的辉度超过第1预定辉度的情况下,进行YUV空间色调映射,在该像素的辉度在第1预定辉度以下的情况下,进行RGB空间色调映射。
[0136] [1-7.效果等]
[0137] 根据本实施方式的显示方法,针对HDR内容的HDR影像所包含的多个像素,根据该像素所具有的辉度是否超过第1预定辉度,选择性地进行2个色调映射处理的某一个,由此,能够抑制在辉度的变换处理的前后各像素的颜色会变化。也即是,能够一边维持作为第1预定辉度的1000nit以下的辉度范围内的影像的再现性,一边实现超过1000nit的辉度范围的、sparkle部分(雷、焰火、电灯泡、火焰、爆炸、太阳、水的反射等小区域的影像)的辉度差与颜色分量的保持。
[0138] 另外,根据本实施方式的显示方法,针对HDR内容的HDR影像所包含的多个像素,在该像素所具有的辉度超过第1预定辉度的情况下,进行YUV空间色调映射,因此,能够有效地抑制在辉度的变换处理的前后各像素的颜色会变化。另外,针对HDR内容的HDR影像所包含的多个像素,在该像素所具有的辉度超过第1预定辉度的情况下,进行RGB空间色调映射,因此能够极力维持在辉度的变换处理的前后的各像素的颜色的再现性。
[0139] (实施方式2)
[0140] 接着,使用图12~图26对实施方式2的显示方法进行说明。
[0141] 首先,对分级的方式进行说明。
[0142] [2-1.分级的方式]
[0143] 图12是对分级的方式进行说明的表。
[0144] HDR内容的分级方法,如图12所示那样大致存在3个方式。具体而言,存在DolbyVision方式、与SDR同样的方式(以下,称为“以往方式”。)、以及ACES(Academy Color Encoding System)方式。
[0145] 以下,对3个方式依次进行说明。
[0146] 在DlobyVision方式中,与主监视器(图12中记为“主监”)的显示能力相配合地,以绝对辉度基准进行分级,使用PQ曲线(PQ空间)对通过分级得到的影像信号的辉度进行量化,由此生成HDR的主影像。在DlobyVision方式中,作为主监视器使用显示峰值辉度(最高辉度)非常高的例如4000nit的高辉度主监视器(例如Pulsar)来生成主影像。
[0147] 另外,在DlobyVision方式中,使用所生成的主影像,分离为SDR影像的SDR信号和用于再现HDR的辅助信号,由此,生成SDR影像。由此,在DlobyVision方式中,实现了HDR和SDR的互换性。这样,在DlobyVision方式中,为了取得HDR和SDR的互换,约80nit以下的辉度范围(区域),在HDR和SDR中设为共同,18%灰度(Middle Gray)的值(点)也设为共同。也即是,在HDR和SDR中,仅超过约80nit的辉度范围(高辉度部分)成为不同的辉度。另外,通过DlobyVision方式生成的HDR影像的峰值辉度(最高辉度),为了能够表现出高辉度主监视器的最高辉度,成为2000~4000nit这样非常高的辉度。
[0148] 在以往方式中,采用与DlobyVision方式同样的分级方针,是绝对辉度基准。但是,在以往方式中,作为主监视器,使用相当显示峰值辉度为1000nit的标准主监视器(例如,SONY的X300、高端家庭TV等)来生成主影像。
[0149] 另外,在以往方式中,不存在HDR和SDR的互换性。也即是,SDR,通过与HDR独立地分级而生成。通过这样以往方式分级后的HDR影像,具有与DV方式同样的特性。另外,该HDR影像,依赖于标准主监视器的最高辉度,因此成为800~1000nit的程度。
[0150] 在ACES方式中,利用相对辉度基准进行分级。也即是,与主监视器的显示能力独立地进行分级,用浮动小数点(相对辉度)将通过分级得到的影像信号的辉度进行量化,由此生成HDR的主影像。在ACES方式中,作为主监视器使用上述的标准主监视器。
[0151] 另外,在ACES方式中,通过ACES进行相对辉度管理,因此,在从所生成的HDR的主影像生成HDR影像或SDR影像时,一边维持HDR的主影像的辉度的相对关系,一边对辉度进行变换。由此,能够容易地生成峰值辉度为100nit的SDR影像或峰值辉度为例如1000nit的HDR影像。这样,在ACES方式中,根据进行相对辉度管理后的辉度信息,与HDR影像的峰值辉度相配合地进行自动变换,因此,在SDR影像和HDR影像中,仅峰值辉度不同,相互的辉度的相对关系被维持。HDR影像存在18%灰度(Middle Gray)的值比SDR影像大的情况。通过ACES方式生成的HDR影像,依赖于标准主监视器的最高辉度,因此,成为800~1000nit的程度。
[0152] 如以上那样,通过以3个方式的各方式进行分级而得到的HDR影像的特性不同。因此,在HDRTV中,在以这些3个方式中的某一个分级方式为前提进行显示处理(色调映射处理等)时,有可能在HDRTV显示与CI(Creator’s Intent;创作者的意图)不同的HDR影像。
[0153] 接着,对进行分级的情况下的以往的母版处理的结构进行说明。
[0154] [2-2.以往方式的母版处理的结构]
[0155] 图13是示出使用标准主监视器通过以往方式进行HDR分级的情况下的HDR/SDR母版处理的整体结构的图。
[0156] 在分级中,一边使用将分级前的原图像10那样的素材数据与HDR对应的标准主监视器来确认图像,一边制作HDR的主影像。该HDR的主影像,受到标准主监视器的显示峰值辉度(例如1000nit)的制约,因此,难以制作包含该显示峰值辉度的1000nit以上的辉度分量的HDR的主影像。
[0157] 将该HDR的主影像在各发布媒体(Blu-ray(注册商标)、播放、OTT等)中共同地利用,各TV厂商进行对应于TV的能力的画质调整,由此,能够在各TV再现与标准主监视器的可视度相配合的HDR表现。
[0158] [2-3.从原图像向HDR图像的通过以往方式的母版处理]
[0159] 图14A是示出将图7中示出的原图像通过以往方式进行母版处理成HDR图像的结果的辉度的一例的图。图14B是示出用于将原信号值变换(通过以往方式进行母版处理)为HDR信号值的、原信号值与HDR信号值的关系的一例的图。
[0160] 此外,在从该例中的原图像10向HDR图像13的母版处理中,使用的标准主监视器的显示峰值辉度被限制于1000nit,因此,900%左右以上的值无法按原样被保持。因此,与母版处理成SDR影像的情况同样地,为了将峰值辉度抑制至1000nit为止,而导入了拐点曲线处理。
[0161] 如图14B所示,在从该例中的原图像10向HDR图像13的母版处理中,与作为基准反射率的18%灰度(0Stop)对应的像素,是具有作为明亮度的基准的基准辉度的像素。因此,在向HDR图像的母版处理中,即便在将原图像10变换为HDR图像13后,也不变更与原图像10中的18%灰度对应的原图像10的辉度(18nit)地被决定为HDR的辉度。
[0162] 在此,如图14B所示,在从原图像10向HDR图像13的母版处理中,在与原图像10的900%灰度对应的原图像10的辉度(900nit)以下的辉度范围(0~900nit)中,不变更原图像
10的辉度地被决定为HDR的辉度。另外,如图14B所示,通过线性变换将比与原图像10的
900%灰度对应的原图像10的辉度(900nit)大的原图像10的辉度范围(900~10000nit)中的原图像10的辉度分配给900~1000nit的辉度范围的HDR的辉度。
[0163] 例如,在HDR图像13的A)那样的、对于与18%灰度(0Stops)对应的像素的向HDR图像13的母版处理中,将原图像10变换为HDR图像13后,也不变更与原图像10中的18%灰度对应的原图像10的辉度(18nit)地被决定为HDR的辉度。
[0164] 例如,在HDR图像13的B)那样的、关于与90%灰度(2.3Stops)对应的像素的向HDR图像13的母版处理中,即便在将原图像10变换为HDR图像13后,也不变更与原图像10中的90%灰度对应的原图像10的辉度(90nit)地被决定为HDR的辉度。
[0165] 另外,例如,在HDR图像13的C)那样的、关于与2.3%灰度(-3Stops)对应的像素的向HDR图像13的母版处理中,即便将原图像10变换为HDR图像13后,也不变更与原图像10中的2.3%灰度对应的原图像10的辉度(2nit)地被决定为HDR的辉度。
[0166] 例如,在HDR图像13的D)那样的、关于与1150%灰度(6Stops)对应的像素的向HDR图像13的母版处理中,通过拐点曲线处理将与原图像10中的1150%灰度对应的原图像10的辉度(1150nit)变换为例如930nit。
[0167] 另外,例如,在HDR图像13的E)那样的、关于与290%灰度(4Stops)对应的像素的向HDR图像的母版处理中,即便在将原图像10变换为HDR图像13后,也不变更与原图像10中的290%灰度对应的原图像10的辉度(290nit)地被决定为HDR的辉度。
[0168] 图15是示出通过以以往方式进行HDR分级而得到的SDR图像的例子的图。
[0169] 图16是通过以以往方式进行HDR分级而得到的HDR图像的例子的图。
[0170] 如图15以及图16所示,通过比较SDR图像以及HDR图像可知:浪头、天空等辉度高的部分通过HDR分级会变化,但是,90nit左右以下的SDR的部分的辉度不变。
[0171] [2-4.ACES方式的母版处理的结构]
[0172] 图17是示出使用标准主监视器以ACES方式进行ACES/HDR分级的情况下的HDR/SDR母版处理的整体结构的图。
[0173] 在分级中,一边使用将分级前的原图像10那样的素材数据与HDR对应的标准主监视器来确认图像,一边制作ACES/HDR的主影像。该ACES/HDR的主影像,受到标准主监视器的显示峰值辉度(例如,1000nit)的制约,但是,在该情况下,不使用绝对辉度基准而使用浮动小数点(相对辉度表示)来制作ACES/HDR的主影像。因此,ACES/HDR的主影像不受1000nit的制约。
[0174] 通过ACES的HDR转换器对该ACES/HDR的主影像进行变换,由此,能够制作与HDR主影像的最高辉度相配合的HDR主影像。此时,即便主监视器的显示峰值辉度是1000nit,也能够制作峰值辉度为1300nit或800nit的主影像。在各发布媒体(Blu-ray(注册商标)、播放、OTT)中共同地利用该HDR的主影像,各TV厂商进行根据各TV的能力的画质调整,由此,能够在各TV再现与该HDR的主影像的可视度(見え方)相配合的HDR表现(详细请参照http://www.oscars.org/science-technology/sci-tech-projects/aces)。
[0175] [2-5.从原图像向HDR图像的通过ACES方式的母版处理]
[0176] 图18A是示出将图7中示出的原图像通过ACES方式母版处理成HDR图像的结果的辉度的一例的图。图18B是示出用于将原信号值变换(通过ACES方式进行母版处理)为HDR信号值的、原信号值与HDR信号值的关系的一例的图。
[0177] 在使用了ACES的情况下,如图14A以及图14B所示,也可以与使用的主监视器的显示峰值辉度相配合地进行分级。该情况下,会得到与图14A以及图14B相同的结果。在ACSE的情况下,为了有效使用辉度区域(辉度范围)拓宽的情况,利用暗部分(低辉度范围)保持信息,也能够不将18%灰度值设为18nit,而设为例如2倍的36nit来进行变换。
[0178] 图18A是示出将图7中示出的原图像10的18%灰度值指定为通常的2倍的36nit而进行母版处理成HDR图像的结果的一例。
[0179] 此外,在从该例中的原图像10向HDR图像14的母版处理中,将18%灰度值从18nit变更为36nit,因此,使低辉度范围的线性部分的斜率变化为2倍。另外,为了将峰值辉度限制为1000nit,而导入了拐点曲线处理。
[0180] 例如,在HDR图像14的A)那样的、关于与18%灰度(0Stop)对应的像素的向HDR图像14的母版处理中,从18nit变更为36nit。
[0181] 另外,例如,在关于与HDR图像14的B)那样的90%灰度(2.3Stops)、HDR图像14的C)那样的2.3%灰度(-3Stops)、HDR图像14的E)那样的290%灰度(4Stops)的各灰度对应的像素的向HDR图像14的母版处理中,低辉度范围的线性部分的斜率变为2倍,因此,分别成为2倍化的值。
[0182] 另外,在关于例如HDR图像的14的D)那样的与1150%灰度(6Stops)对应的像素的向HDR图像14的母版处理中,通过拐点曲线处理将与原图像10中的1150%灰度对应的原图像10的辉度(1150nit)变换为例如950nit。
[0183] 图19是示出从通过以ACES方式进行ACES/HDR分级而得到的ACES/HDR的主影像自动生成的SDR图像的例子的图。
[0184] 图20是示出从通过以ACES方式进行ACES/HDR分级而得到的ACES/HDR的主影像自动生成的HDR图像的例子的图。
[0185] 如图19以及图20所示,通过对SDR图像以及HDR图像进行比较可知,一边在SDR/HDR间维持与太阳、水的反射、暗的森林的相对关系,一边生成HDR图像。因此,在通过以ACES方式进行分级而得到的HDR图像以及SDR图像中,如以往方式的HDR图像以及SDR图像那样,暗的部分的辉度不成为相同。
[0186] [2-6.DolbyVision方式的母版处理的结构]
[0187] 图21是示出使用高辉度主监视器以DolbyVision方式进行HDR分级的情况下的HDR/SDR母版处理的整体结构的图。在DolbyVision方式的情况下,在剧场和家庭的各情形下,有HDR的DolbyVision专用的主监视器,与这些主监视器相配合地进行分级处理。SDR从以DolbyVision方式生成的高辉度主影像自动被生成。
[0188] 在分级中,一边使用将分级前的原图像10那样的素材数据与HDR对应的高辉度主监视器来确认图像,一边制作高辉度主影像。关于该高辉度主影像,由于高辉度主监视器的显示峰值辉度例如是高达4000nit的高辉度,因此,通常不进行辉度变换处理也可以进行分级。另外,通过用高辉度主监视器进行分级而得到的高辉度主影像,灵活运用高辉度主监视器的直至4000nit的显示能力,实现了整体上暗沉,闪电、霓虹灯、焰火、火等的影像的辉度非常地高,强调了明暗的HDR效果。
[0189] 即便将该高辉度主影像设为DolbyVision设备用的专用分发格式,也能够面向非DolbyVision对应设备,以标准HDR格式在各发布媒体(Blu-ray(注册商标)、播放、OTT)中共同地利用。也即是,HDR母版,会包含DolbyVision元数据和DolbyVision用SDR母版(详细地,参照http://www.dolby.com/us/en/technologies/dolby-vision.html以及http://www.dolby.com/us/en/technologies/dolby-vision-color-grading.pdf)。
[0190] [2-7.从原图像向HDR图像的利用DolbyVision方式的母版处理]
[0191] 图22A是示出将图7中示出的原图像通过DolbyVision方式进行母版处理成HDR图像的结果的辉度的一例的图。图22B是示出用于将原信号值变换(通过DolbyVision方式进行母版处理)为HDR信号值的、原信号值与HDR信号值的关系的一例的图。
[0192] 在该例中,在使用了PQ曲线的情况下,在母版处理后,直至10,000nit,的值都可以被容许,DolbyVision方式的高辉度主监视器的显示峰值辉度为直至4000nit,因此,通常不需要拐点曲线的导入。具体而言,在80~90nit以下的低辉度范围内,HDR影像与SDR影像完全相同。另外,为了仅对于超过4000nit的辉度,将峰值辉度限制为4000nit,而导入了与SDR同样的拐点曲线处理。
[0193] 例如,在关于HDR图像15的A)那样的与18%灰度(0Stop)对应的像素的向HDR图像15的母版处理中,即便在将原图像10变换为HDR图像15后,也不变更原图像10中的与18%灰度对应的原图像10的辉度(18nit)地被决定为HDR的辉度。
[0194] 另外,例如,在关于与HDR图像15的B)那样的90%灰度(2.3Stops)、HDR图像15的C)那样的2.3%灰度(-3Stops)、HDR图像15的E)那样的290%灰度(4Stops)分别对应的像素的向HDR图像15的母版处理中,不变换地分别将90nit、2nit以及290nit决定为HDR的辉度。
[0195] 另外,例如,在关于HDR图像15的D)那样的与1150%灰度(6Stops)对应的像素的向HDR图像15的母版处理中,利用拐点曲线处理将与原图像10中的1150%灰度对应的原图像10的辉度(1150nit)例如变换为1050nit。
[0196] 图23是示出认为具有与从通过以DolbyVision方式进行HDR分级而得到的高辉度主影像自动生成的SDR图像同等的效果的数字影片评价用内容”Stem”的例子的图。
[0197] 图24是示出认为具有与通过以DolbyVision方式进行HDR分级而得到的高辉度主影像同等的倾向的数字影片评价用内容”Stem”的例子的图。
[0198] 如图23以及图24所示,可知:HDR图像,与SDR图像相比,电灯泡、烛光等辉度高的部分具有非常高的值,90nit左右以下的部分的辉度不变。
[0199] [2-8.第2课题]
[0200] 图25是对分级的3个方式的课题进行了说明的表。
[0201] 如图12所示,通过以3个方式进行分级而得到的HDR内容的特性分别不同。因此,用家庭HDRTV进行显示处理(色调映射处理等)的方面的HDRTV课题,与图25所示那样不同。换言之,是基于绝对辉度管理的影像、还是基于相对辉度管理的影像,HDRTV的课题有较大地不同,需要进行适合各个影像的显示处理。但是,在HDRTV中,并未考虑判定是基于绝对辉度管理的影像、还是基于相对辉度管理的影像,在绝对辉度管理和相对辉度管理下,使显示处理不同。
[0202] 此外,为了判定是基于绝对辉度管理的影像、还是基于相对辉度管理的影像,需要识别分级的3种方式。但是,在不是DolbyVision方式的方式的HDRTV的情况下,不存在判定发送来的HDR信号是通过DolbyVision、以往方式、还是ACES方式中的哪个方式进行了分级的单元。因此,在HDRTV中,以无视3种分级方式的差异的方式显示了HDR信号的HDR影像。
[0203] 于是,如果在再现HDR内容前,HDRTV就能够得知HDR内容被分级的方式是3种方式中的哪种方式,则能够进行适合该方式的色调映射处理等显示处理。但是,实际上,HDRTV,在HDR内容的再现开始时刻,该HDR内容中没有包含直接地表示以哪种方式进行了分级的信息,因此,难以特定分级的方式。
[0204] 图26是示出通过经由HDR对应的HDMI(注册商标)2.0a将HDR对应的Ultra HD Blu-ray(注册商标)设备与HDRTV相连的情况下的例子的图。
[0205] 这样在通过经由HDMI(注册商标)2.0a将Ultra HD Blu-ray(注册商标)设备与HDRTV连接的情况下,在将HDR影像再现时,能够将与从Ultra HD Blu-ray(注册商标)设备发送的HDR影像相关的静态元数据(ST2086+α)作为HDMI(注册商标)的InfoFrame而发送。因此,HDRTV能够得到与最低限的HDR内容相关的静态元数据的信息。
[0206] 然而,对于HDRTV而言,仅通过静态元数据(ST2086等),只能得到要再现的HDR内容使用了怎样的主监视器进行了分级的最低信息和HDR内容的最低限的统计信息。因此,使用静态元数据,难以判定是通过分级的3种方式中的哪种方式进行了分级的HDR内容。
[0207] 尤其是,在通过以往方式或ACES方式进行了分级的HDR内容的情况下,即便错误地选择最适合某一方式的再现控制方式而进行了HDR再现控制处理,通常,也会没有大的破绽地进行再现。相对与此,在以往方式或ACES方式和DolbyVision方式下,分级方法、分级后的内容的特性有较大地差异,因此,弄错方式的选择会有可能在HDR再现画质产生破绽。因此,是否是通过DolbyVision进行了分级的HDR内容的判定较重要。
[0208] [2-9.显示方法]
[0209] 接着,对实施方式2的显示方法进行说明。
[0210] 在本实施方式的显示方法中,通过有效地使用从影像数据所含的静态元数据得到的信息,判定是否是通过DolbyVision方式进行了分级,由此,实现更恰当的显示控制。
[0211] 在DolbyVision方式中,利用如上述那样使用特殊的高辉度主监视器(Pulsar)来进行分级,使用静态元数据所含的ST2086的信息来进行推定。
[0212] 在ST2086的信息中包含用于分级的主监视器的特性。因此,如果利用ST2086的信息,则能够推测是否是利用在DolbyVision方式的分级中使用的特殊的高辉度主监视器而生成的HDR内容。
[0213] 也即是,在本实施方式的显示方法中,进行第2判定,在第2判定中,基于所取得的影像数据所含的静态元数据,判定影像数据所含的影像的辉度被进行绝对辉度管理还是被进行相对辉度管理。并且,在第2判定的结果是影像数据所含的影像的辉度被进行绝对辉度管理的情况下,进行在实施方式1中说明的双色调映射。另一方面,在第2判定的结果是影像数据所含的影像的辉度被进行相对辉度管理的情况下,关于构成影像数据所含的影像的多个像素的各像素,进行将该像素的在RGB空间定义的RGB的各色的值缩小的RGB空间色调映射。
[0214] 另外,在第2判定中,判定ST2086的信息所包含的、在生成成为生成影像数据的基础的主影像时使用的主监视器的特性,是否与生成进行绝对辉度管理的影像时使用的预定的主监视器的特性接近。并且,在判定为主监视器的特性与预定的主监视器(高辉度主监视器)的特性接近的情况下,判定为影像数据的影像的辉度被进行绝对辉度管理,在判定为主监视器的特性不与预定的主监视器(高辉度主监视器)的特性接近的情况下,判定为影像数据的影像的辉度被进行相对辉度管理。
[0215] 此外,具体而言,第2判定使用下述的算法来进行。
[0216] 例如,判定ST2086的信息所包含的max_display_mastering_luminance是否在4000nit附近,如果判定为max_display_mastering_luminance在4000nit附近,则推定为是通过在DolbyVision方式中使用的高辉度主监视器生成的HDR内容。也即是,在第2判定中,基于表示作为主监视器的特性的主监视器的显示峰值辉度的显示峰值辉度信息(max_display_mastering_luminance),判定显示峰值辉度是否是4000nit附近的值,由此,判定主监视器的特性是否接近预定的主监视器(高辉度主监视器)的特性。并且,在第2判定中,在显示峰值辉度是4000nit附近的值的情况下,判定为影像数据所包含的影像的辉度被进行绝对辉度管理,在显示峰值辉度不是4000nit附近的值的情况下,判定为影像数据所包含的影像的辉度被进行相对辉度管理。
[0217] 另外,例如,也可以是,判定ST2086的信息所包含的display_primaries是否接近高辉度主监视器(Pulsar)的特性值,如果判定为display_primaries位于高辉度主监视器(Pulsar)的特性值附近,则推定为是通过在DolbyVision方式中使用的高辉度主监视器生成的HDR内容。也即是,在第2判定中,基于表示作为主监视器的特性的主监视器的显示原色的显示原色信息(display_primaries),判定显示原色是否是预定的主监视器(高辉度主监视器)的显示原色附近的值,由此,判定主监视器的特性是否接近预定的主监视器(高辉度主监视器)的特性。并且,在第2判定中,在显示原色是预定的主监视器(高辉度主监视器)的显示原色附近的值的情况,判定为影像数据所包含的影像的辉度被进行绝对辉度管理,在显示原色不是预定的主监视器的显示原色附近的值的情况下,判定为影像数据所包含的影像的辉度被进行相对辉度管理。
[0218] 另外,例如,也可以是,判定ST2086的信息所包含的white_point是否接近高辉度主监视器(Pulsar)的特性值,如果判定为white_point位于高辉度主监视器(Pulsar)的特性值附近,则推定为是通过在DolbyVision方式中使用的高辉度主监视器生成的HDR内容。也即是,在第2判定中,基于表示作为主监视器的特性的主监视器的白点的白点信息(white_point),判定白点是否是预定的主监视器(高辉度主监视器)的白点附近的值,由此,判定主监视器的特性是否接近预定的主监视器(高辉度主监视器)的特性。并且,在第2判定中,在白点是预定的主监视器(高辉度主监视器)的白点附近的值的情况下,判定为影像数据所包含的影像的辉度被进行了绝对辉度管理,在白点不是预定的主监视器的白点附近的值的情况下,判定为影像数据所包含的影像的辉度被进行了相对辉度管理。
[0219] 另外,例如,也可以是,上述的display_primaries以及white_point,与高辉度主监视器的特性值不同,并且,判定是否接近标准主监视器(例如,SONY的X300等)的特性值,在接近标准主监视器的特性值的情况下,判定为是以非DolbyVision方式的方式进行了分级的HDR内容。HDR对应的主监视器,与家庭TV不同,种类非常少,因此,能够保持HDR对应的主监视器的管理表,并通过适当经由因特网等进行更新。这样通过预先保持HDR对应的主监视器的管理表,会能够适当地推定用于分级的主监视器,能够更有效地判定是否是通过DolbyVision方式进行了分级。
[0220] 另外,第2判定中,除了使用ST2086的信息进行之外,还可以使用由Blu-ray(注册商标)Disc Association、HDMI(注册商标)Forum、UHD Alliance定义的静态元数据的MaxCLL(The Maximum Content Light Level;)以及MaxFALL(The Maximum Frame-Average Light Level)来进行。
[0221] 此外,MaxCLL是表示HDR内容的影像的HDR峰值辉度的峰值辉度信息。MaxCLL是仅HDR内容的静态元数据。
[0222] 另外,MaxFALL是表示最大帧平均辉度的最大帧平均辉度信息,最大帧平均辉度是构成HDR内容的HDR影像的多个帧的各帧的平均辉度的最大值。MaxFALL是仅HDR内容的静态元数据,在用于HDR内容的Ultra HD Blu-ray(注册商标)的格式中,作成不超过400nit的创作指南(authoring guideline)。
[0223] 具体而言,也可以通过使用MaxCLL而如下那样进行第2判定。
[0224] 例如,也可以是,判定MaxCLL的值是否在2000nit以上,在为2000nit以上的情况下,由于包含非常高辉度的像素分量,因此,推定为是通过DolbyVision方式分级后(进行绝对辉度管理后)的HDR影像。此外,成为判定的基准的2000nit仅是一例,也可以是3000nit。
[0225] 也即是,在第2判定中,判定由峰值辉度信息表示的峰值辉度是否超过第2预定辉度(例如,2000nit、3000nit等)。并且,在第2判定中,在峰值辉度超过第2预定辉度的情况下,判定为影像数据所包含的影像的辉度被进行绝对辉度管理,在峰值辉度为第2预定辉度以下的情况下,判定为影像数据所含的影像的辉度被进行相对辉度管理。
[0226] 另外,例如,也可以是,判定MaxCLL的值是否在1500nit以上,在为1500nit以上的情况下,由于包含高辉度的像素分量,因此,推定为是通过DolbyVision方式分级(进行绝对辉度管理)后的HDR影像的可能性高。此外,作为判定的基准的1500nit仅是一例,也可以是1200nit。
[0227] 另外,例如,也可以是,判定MaxCLL的值是否在1500nit以下,在为1500nit以下的情况下,由于不包含高辉度的像素分量,因此,推定为不是通过DolbyVision方式分级后的HDR影像、而是进行了相对辉度管理的HDR影像的可能性高。此外,作为判定的基准的1500nit仅是一例,也可以是1750nit。
[0228] 另外,例如,也可以是,判定MaxCLL的值是否在800nit以下,在为800nit以下的情况下,推定为不是通过DolbyVision方式分级后(进行绝对辉度管理后)的HDR影像,而是进行了相对辉度管理的HDR影像。此外,作为判定的基准的800nit仅是一例,既可以是750nit,又可以是1000nit。
[0229] 另外,也可以通过对MaxFALL的值设置基准值来与MaxCLL同样地进行判定。也即是,在第2判定中,判定通过最大帧平均辉度信息表示的最大帧平均辉度是否超过第3预定辉度。并且,在第2判定中,在最大帧平均辉度超过第3预定辉度的情况下,判定为影像数据所包含的影像的辉度被进行绝对辉度管理,在最大帧平均辉度为第3预定辉度以下的情况下,判定为影像数据所含的影像的辉度被进行相对辉度管理。
[0230] 这样,通过除了使用ST2086的信息之外,还使用MaxCLL或MaxFALL来进行第2判定,能够更有效地判定是否以DolbyVision方式被分级,能够判定是否是进行了绝对辉度管理的HDR影像。因此,能够针对HDR影像应用更恰当的显示处理。
[0231] [2-10.效果等]
[0232] 根据本实施方式的显示方法,能够识别以DolbyVision方式分级后的HDR内容的HDR影像,并且,能够根据识别结果适当地选择并进行在实施方式1中说明的双色调映射以及RGB空间色调映射中的某一个色调映射处理。因此,无论HDR影像是进行了绝对辉度管理的影像、还是进行了相对辉度管理的影像,都能够进行恰当的处理,因此,能够显示恰当的影像。
[0233] (其他的实施方式)
[0234] 另外,也可以作为执行上述说明的显示方法的显示装置而实现。
[0235] 此外,在上述各实施方式中,各结构要素,可以由专用的硬件构成,还可以通过执行适合各结构要素的软件程序来实现。各结构要素,也可以通过CPU或处理器等程序执行部读出并执行记录于硬盘半导体存储器等记录介质的软件程序来实现。在此,实现上述各实施方式的显示方法等的软件,是如下那样的程序。
[0236] 即,该程序使计算机执行如下显示方法,该显示方法用于在显示装置显示由表示HDR的辉度和代码值的对应关系的第1EOTF定义了影像的辉度的影像数据的影像,HDR(High Dynamic Range)是高动态范围,EOTF(Electoro-Optical Transfer Function)是电光转换函数,所述显示方法包括:取得所述影像数据;进行第1判定,在所述第1判定中,针对构成所取得的所述影像数据所包含的所述影像的多个像素的各像素,判定该像素的辉度是否超过第1预定辉度;进行双色调映射,在所述双色调映射中,针对所述多个像素的各像素,在所述第1判定的结果是该像素的辉度超过所述第1预定辉度的情况下和该像素的辉度在所述第1预定辉度以下的情况下,以不同的方式将该像素的辉度缩小;以及使用所述双色调映射的结果,在所述显示装置显示所述影像。
[0237] 以上,基于实施方式对本公开的一个或多个方式的显示方法以及显示装置进行了说明,但是,本公开不限定于该实施方式。只要不脱离本公开的主旨,将本领域技术人员所能够想到的各种变形应用于本实施方式的方式、将不同的实施方式中的结构要素进行组合而构筑的方式也可以包含于本公开的一个或多个方式的范围内。
[0238] 产业上的可利用性
[0239] 本公开,作为能够容易地进行使与HDR对应的影像数据的影像与显示峰值辉度相配合的辉度变换、且能够抑制变换前后的颜色的变化的显示方法、显示装置等是有用的。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈