自适应色彩等级插值方法和设备
阅读：1030发布：2020-07-02
专利汇可以提供自适应色彩等级插值方法和设备专利检索，专利查询，专利分析的服务。并且公开一种自适应色彩等级插值方法。该方法包括从适应于第一观看条件的画面的第一色彩分级版本和与第一色彩分级版本不同并且适应于第二观看条件的所述画面的第二色彩分级版本插值，以获得适应于第三观看条件的画面的第三色彩分级版本，其中，所述插值从所述第一色彩分级版本、适应于所述第三观看条件的所述第一色彩分级版本的第一映射色彩版本、适应于所述第二观看条件的所述第一色彩分级版本的第二映射色彩版本获得，以使得所述第一色彩分级版本和第二映射色彩版本被插值到所述第一映射色彩版本。，下面是自适应色彩等级插值方法和设备专利的具体信息内容。
1.一种方法，包括对适应于第一观看条件(VC1)的画面的第一色彩分级版本(G1)和与第一色彩分级版本不同并且适应于第二观看条件(VC2)的所述画面的第二色彩分级版本(G2)进行插值，以获得适应于第三观看条件(VC3)的画面的第三色彩分级版本(G3)，其中，插值响应于第一色彩分级版本(G1)、适应于所述第三观看条件(VC3)的所述第一色彩分级版本的第一映射色彩版本(M1)、适应于所述第二观看条件(VC2)的所述第一色彩分级版本的第二映射色彩版本(M2)，以使得所述第一色彩分级版本和第二映射色彩版本被插值到所述第一映射色彩版本。
2.如权利要求1所述的方法，其中，所述观看条件包括以下中的至少一个：
-显示器最大亮度；
-显示器最小亮度；
-显示器色域；
-环境最大亮度；
-环境平均亮度；
-环境主要色彩。
3.如权利要求1所述的方法，其中，所述画面的第一和第二映射色彩版本通过色彩映射算法获得，色彩映射算法被调节用于观看条件并且配置为将至少一个色彩映射到适应于观看条件的映射色彩。
4.如权利要求3所述的方法，其中，所述插值包括：
-使用被调节用于第三观看条件的所述色彩映射算法将所述第一色彩分级版本映射(S1)到适应于第三观看条件的所述第一映射色彩版本(M1)；
-使用被调节用于第二观看条件的所述色彩映射算法将所述第一色彩分级版本映射(S1)到适应于第二观看条件的第二映射色彩版本(M2)；
-从定义的所述第一色彩分级版本(G1)、第一映射色彩版本(M1)和第二映射色彩版本(M2)获得插值函数(S2)，以使得插值函数将所述第一色彩分级版本和第二映射色彩版本插值到所述第一映射色彩版本；
-将所述插值函数应用(S3)到所述第一色彩分级版本(G1)和所述第二色彩分级版本(G2)，以获得所述第三色彩分级版本(G3)。
5.如权利要求3所述的方法，使用色调映射算法作为色彩映射算法。
6.如权利要求5所述的方法，其中，所述插值包括：
-从所述第一色彩分级版本获得第一亮度；
-使用被调节用于第三观看条件的所述色调映射算法，将所述第一亮度映射到适应于第三观看条件的第一映射亮度；
-使用被调节用于第二观看条件的所述色调映射算法，将所述第一亮度映射到适应于第二观看条件的第二映射亮度；
-从定义的所述第一亮度、第一映射亮度和第二映射亮度获得插值函数，以使得插值函数将所述第一亮度和第二映射亮度插值到所述第一映射亮度；
-将所述插值函数应用到所述第一色彩分级版本和所述第二色彩分级版本，以获得第三色彩分级版本。
7.如权利要求4所述的方法，使用全域映射算法作为色彩映射算法。
8.如权利要求4，6或7所述的方法，其中，对画面的第一和第二色彩分级版本进行插值以获得画面的第三色彩分级版本包括，对于所述画面的所述第三色彩分级版本中的像素，确定色彩值作为获得的插值函数应用于所述画面的第一和第二色彩分级版本的同位置像素的色彩值的结果。
9.一种设备(2)，包括处理器(210)，处理器配置为从适应于第一观看条件的画面的第一色彩分级版本和与第一色彩分级版本不同并且适应于第二观看条件的所述画面的第二色彩分级版本进行插值，以获得适应于第三观看条件的画面的第三色彩分级版本，其中，插值响应于所述第一色彩分级版本、适应于所述第三观看条件的所述第一色彩分级版本的第一映射色彩版本、适应于所述第二观看条件的所述第一色彩分级版本的第二映射色彩版本，以使得将所述第一色彩分级版本和第二映射色彩版本插值到所述第一映射色彩版本。
10.如权利要求9所述的设备，其中，所述设备属于包括以下的集合:
-移动设备；
-通信设备；
-游戏设备；
-机顶盒；
-电视机；
-蓝光盘播放器；
-播放器；
-平板电脑(或者平板计算机)
-膝上型计算机；
-显示器；
-相机；和
-解码芯片。
11.如权利要求9所述的设备，其中，所述观看条件包括以下中的至少一个：
-显示器最大亮度；
-显示器最小亮度；
-显示器色域；
-环境最大亮度；
-环境平均亮度；
-环境主要色彩。
12.如权利要求9所述的设备，其中，所述画面的第一和第二映射色彩版本通过色彩映射运算器获得，色彩映射运算器被调节用于观看条件并且配置为将至少一个色彩映射到适应于观看条件的映射色彩。
13.如权利要求12所述的设备，其中，所述插值包括：
-使用被调节用于第三观看条件的色彩映射运算器将所述第一色彩分级版本映射(S1)到适应于第三观看条件的所述第一映射色彩版本(M1)；
-使用被调节用于第二观看条件的色彩映射运算器将所述第一色彩分级版本映射(S1)到适应于第二观看条件的第二映射色彩版本(M2)；
-从定义的所述第一色彩分级版本(G1)、第一映射色彩版本(M1)和第二映射色彩版本(M2)获得插值函数(S2)，以使得插值函数将所述第一色彩分级版本和第二映射色彩版本插值到所述第一映射色彩版本；
-将所述插值函数应用(S3)到所述第一色彩分级版本(G1)和所述第二色彩分级版本(G2)，以获得所述第三色彩分级版本(G3)。
14.如权利要求12所述的设备，使用色调映射运算器作为色彩映射运算器。
15.如权利要求14所述的设备，其中，所述插值包括：
-从所述第一色彩分级版本获得第一亮度；
-使用被调节用于第三观看条件的所述色调映射运算器，将所述第一亮度映射到适应于第三观看条件的第一映射亮度；
-使用被调节用于第二观看条件的所述色调映射运算器，将所述第一亮度映射到适应于第二观看条件的第二映射亮度；
-从定义的所述第一亮度、第一映射亮度和第二映射亮度获得插值函数，以使得插值函数将所述第一亮度和第二映射亮度插值到所述第一映射亮度；
-将所述插值函数应用到所述第一色彩分级版本和所述第二色彩分级版本，以获得第三色彩分级版本。
16.如权利要求13所述的设备，还包括使用全域映射运算器作为色彩映射运算器。
17.如权利要求13、15或16中任一项所述的设备，其中，对画面的第一和第二色彩分级版本进行插值以获得画面的第三色彩分级版本包括，对于所述画面的第三色彩分级版本中的像素，确定像素值作为获得的插值函数应用于所述画面的第一和第二色彩分级版本的同位置像素的色彩值的结果。
18.一种处理器可读介质，具有存储在其中的指令，用于使得处理器至少执行：从适应于第一观看条件的画面的第一色彩分级版本和与第一色彩分级版本不同并且适应于第二观看条件的所述画面的第二色彩分级版本进行插值，以获得适应于第三观看条件的画面的第三色彩分级版本，其中，插值响应于所述第一色彩分级版本、适应于所述第三观看条件的所述第一色彩分级版本的第一映射色彩版本、适应于所述第二观看条件的所述第一色彩分级版本的第二映射色彩版本，以使得所述第一色彩分级版本和第二映射色彩版本被插值到所述第一映射色彩版本。
自适应色彩等级插值方法和设备
技术领域
[0001] 下面，公开自适应色彩等级插值方法和设备。
背景技术
[0002] 本部分意图向读者介绍技术的各方面，其可以与下面描述和/或要求保护的本发明的各方面有关。相信本讨论有助于向读者提供背景信息，以有助于更好地理解本发明的各方面，因此，应该理解，这些陈述要鉴于此地阅读，而不作为对现有技术的承认。
[0003] 在创建和分发画面和视频时，已知产生具有原始观看条件的特定原始显示器的第一原始视频。在下文中，观看条件包括在其上呈现内容的显示器和呈现环境。因此，观看条件可以包括显示器的色域、显示器的最大亮度，也包括落在显示器上的环境光、背景的亮度和色度、人眼采用的白色(adopted white)、观看距离或者那些条件中任何的临时演变。
[0004] 另外已知，视频的创建者产生视频的第二参考版本，视频的第二参考版本良好适应于在具有与原始观看条件不同的参考观看条件的参考显示器上显示。该参考视频可以通过手动色彩分级或者通过诸如全域映射和色调映射之类的色彩处理，或者手动色彩分级以及随后的色彩处理的组合生成。
[0005] 然而，提及的这样的参考视频就这样的意义而言有固定性质，该意义是其包含应该在参考观看条件示出的色彩。如果观看条件与参考观看条件不同，则参考视频不被正确地显出。例如，参考视频和原始视频都不能被显示在具有与原始和参考观看条件二者不同的目标观看条件的目标显示器上。实际上，目标观看条件依赖于具有各种不同特性(例如，不同色域、不同黑电平、不同峰值亮度、不同最大全帧亮度、位深度等)的终端用户显示器，这是由于基于不同技术(LCD、OLED、具有LED背光的LCD、具有量子点层的LCD、…)和/或不同架构(电视机、智能电话)。目标观看条件另外依赖于特定应用，比如，适应于在戏院观看的视频内容的版本在相同版本在其他观看环境下播放的情况下(诸如，在家中利用DVD或者蓝光播放器)可能被完全不同地感知。
[0007] 解决这个问题的解决方案是使用可调节色彩映射运算器，诸如色调映射器和色域映射器，以创建适应于目标观看条件的新版本的视频，如图1所示。这样的色调映射器例如由Erik Reinhard在他的由Morgan Kaufmann在2006年(第6章)公开的名称为“High dynamic range imaging”的书中公开。然而，那些运算器例如关于对局部图像区域的自适应，或者关于对特定光条件的自适应、或者关于暗、中或者高彩，或者关于特定语义对象(诸如人脸之类)性能差。实际上，因为那些运算器的性能不可接受，创建者优选通过将考虑特定参考观看条件的手动色彩分级来生成不同的视频版本。
[0008] 其他解决方案公开在EP2498499A1中，在EP2498499A1中，描绘与第一全域相关联的图像的第一图像数据和描绘与第二色域相关联的图像的第二图像数据被插值到用于在与目标全域相关联的目标显示器上显示的输出图像中，其中，插值参数直接根据目标全域并且根据与第一和第二图像数据相关联的全域中推导出。类似地，EP2667378A1公开了对旨在用于第一类别的显示的具体图像的第一版本的第一图像和旨在用于不同的第二类别的显示的不同的第二版本的第二图像进行插值，以获得旨在用于第三类别显示的第三图像，其中，插值可以改变图像内的群集。然而，对于可调节色彩运算器，这样的解决方案未能处理对观看条件的高范围的自适应以及未能处理图像细节。
[0009] 因此期望根据适应于其他观看条件的现有的彩色视频生成适应于目标观看条件的新彩色视频的方法，其中，该方法能够保持现有的色彩映射运算器不能实现的对观看条件的高范围的适应性。
发明内容
[0010] 本发明的目的是通过提出一种方法来克服现有技术的至少一个缺点，该方法用于从用于其他观看条件的现有的彩色视频插值适应于目标观看条件的新彩色视频，同时保持对观看条件的高范围的自适应。的确，本发明的显著构思是通过插值适应于两个观看条件的两个视频生成新视频，其中，从由设置用于参考观看条件的色彩映射运算器生成的第一映射视频，并且从由设置用于目标观看条件的色彩映射运算器生成的第二映射视频，推导出插值函数。
[0011] 根据第一方面，公开了一种方法，其包括：插值适应于第一观看条件的画面的第一色彩分级版本和与第一色彩分级版本不同并且适应于第二观看条件的画面的第二色彩分级版本，以获得适应于第三观看条件的画面的第三色彩分级版本。插值从所述第一色彩分级版本、适应于所述第三观看条件的所述第一色彩分级版本的第一映射色彩版本、适应于所述第二观看条件的所述第一色彩分级版本的第二映射色彩版本获得，以使得所述第一色彩分级版本和第二映射色彩版本被插值到所述第一映射色彩版本。有利地，该方法自适应于目标(第三)观看条件，例如，目标显示器的特性。有利地，该方法允许仅从两个内容版本(原始和参考图像)生成适应于任何目标观看条件的版本。有利地，该方法保留不同内容版本之间的复杂色彩改变、简单色彩映射运算器不能描述的色彩改变。
[0012] 根据一个特定特性，观看条件包括以下中的至少一个：
[0013] -显示器最大亮度；
[0014] -显示器最小亮度；
[0015] -显示器色域；
[0016] -环境最大亮度；
[0017] -环境平均亮度；
[0018] -环境主要色彩。
[0020] 根据第一实施例，插值包括：
[0021] -使用调节用于第三观看条件的色彩映射运算器将第一色彩分级版本映射到适应于第三观看条件的第一映射色彩版本；
[0022] -使用调节用于第二观看条件的色彩映射运算器将第一色彩分级版本映射到适应于第二观看条件的第二映射色彩版本；
[0023] -从定义的第一色彩分级版本、第一映射色彩版本和第二映射色彩版本获得插值函数，以使得插值函数将第一色彩分级版本和第二映射色彩版本插值到第一映射色彩版本；
[0024] -将插值函数应用到第一色彩分级版本和第二色彩分级版本，以获得第三色彩分级版本。
[0025] 根据第二实施例，使用色调映射算法作为色彩映射算法，并且其中，插值包括：
[0026] -从第一色彩分级版本获得第一亮度；
[0027] -使用调节用于第三观看条件的色调映射算法，将第一亮度映射到适应于第三观看条件的第一映射亮度；
[0028] -使用调节用于第二观看条件的色调映射算法，将第一亮度映射到适应于第二观看条件的第二映射亮度；
[0029] -从定义的第一亮度、第一映射亮度和第二映射亮度获得插值函数，以使得插值函数将第一亮度和第二映射亮度插值到第一映射亮度；
[0030] -将插值函数应用到第一色彩分级版本和第二色彩分级版本，以获得第三色彩分级版本。
[0031] 根据第三实施例，使用全域映射算法作为色彩映射算法。
[0032] 在特定实施例中，从画面的第一和第二色彩分级版本插值以获得画面的第三色彩分级版本包括，对于画面的第三色彩分级版本中的像素，确定色彩值作为获得的插值函数应用于画面的第一和第二色彩分级版本的同位置像素的色彩值的结果。
[0033] 根据第二方面，公开一种设备，该设备包括处理器，处理器配置为插值适应于第一观看条件的画面的第一色彩分级版本和与第一色彩分级版本不同并且适应于第二观看条件的画面的第二色彩分级版本，以获得适应于第三观看条件的画面的第三色彩分级版本。处理器配置为，从所述第一色彩分级版本、适应于第三观看条件的第一色彩分级版本的第一映射色彩版本、适应于第二观看条件的第一色彩分级版本的第二映射色彩版本中获得插值，以使得所述第一色彩分级版本和第二映射色彩版本被插值到所述第一映射色彩版本。
[0034] 在变型中，公开了一种设备，该设备包括用于从适应于第一观看条件的画面的第一色彩分级版本和与第一色彩分级版本不同并且适应于第二观看条件的画面的第二色彩分级版本进行插值的部件，以获得适应于第三观看条件的画面的第三色彩分级版本。设备还包括至少一个色彩映射运算器和用于响应于适应于第三观看条件的第一色彩分级版本的第一映射色彩版本并且响应于适应于第二观看条件的第一色彩分级版本的第二映射色彩版本进行插值的部件。
[0035] 根据特定实施例，该设备属于包括以下的集合:
[0036] -移动设备；
[0037] -通信设备；
[0038] -游戏设备；
[0039] -机顶盒；
[0040] -电视机；
[0041] -蓝光盘播放器；
[0042] -播放器；
[0043] -平板电脑(或者平板计算机)
[0044] -膝上型计算机；
[0045] -显示器；
[0046] -相机；和
[0047] -解码芯片。
[0048] 根据第三方面，公开一种计算机程序产品，其包括程序代码指令，以当该程序在计算机上执行时执行插值方法的步骤。
[0049] 根据第四方面，公开了一种处理器可读介质，具有存储在其中的指令，用于使得处理器至少执行从适应于第一观看条件的画面的第一色彩分级版本和与第一色彩分级版本不同并且适应于第二观看条件的所述画面的第二色彩分级版本进行插值，以获得适应于第三观看条件的画面的第三色彩分级版本，其中，插值从所述第一色彩分级版本、适应于第三观看条件的第一色彩分级版本的第一映射色彩版本、适应于第二观看条件的第一色彩分级版本的第二映射色彩版本获得，以使得所述第一色彩分级版本和第二映射色彩版本被插值到所述第一映射色彩版本。
[0050] 根据第五方面，公开了一种非暂时性程序存储设备，可由计算机读取，并且有形体现了可由计算机执行的指令的程序，以执行一种方法，该方法包括：从适应于第一观看条件的画面的第一色彩分级版本和与第一色彩分级版本不同并且适应于第二观看条件的所述画面的第二色彩分级版本进行插值，以获得适应于第三观看条件的画面的第三色彩分级版本，其中，响应于适应于第三观看条件的第一色彩分级版本的第一映射色彩版本并且响应于适应于第二观看条件的第一色彩分级版本的第二映射色彩版本进行插值。
[0051] 虽然没有明确描述，本实施例可以在任何组合或者子组合中使用。例如，本发明不限于描述的色彩映射运算器并且可以使用任何可调节映射器。
[0053] 通过本发明的非限制性实施例的描述，本发明的其他特性和优点将显现，本发明的非限制性实施例的描述将在附图的帮助下例示。在附图中：
[0054] -图1描绘根据现有技术的可调节色彩映射；
[0055] -图2是根据示例性和非限制性实施例的从相同画面的第一色彩分级版本和第二色彩分级版本的插值获得第三色彩分级版本的设备2的示意图；
[0056] -图3表示根据示例性和非限制性实施例的插值方法的流程图；，
[0057] -图4表示自适应色彩等级插值设备2的第一实施例的示意图；
[0058] -图5图示亮度色彩空间的色彩等级插值的原理；
[0059] -图6表示自适应色彩等级插值设备2的第二实施例的示意图；
[0060] -图7表示根据示例性和非限制性实施例的色彩等级插值设备2的示例性架构；以及
[0061] -图8表示根据示例性和非限制性实施例的播放器300。
具体实施方式
[0062] 色域是色彩的某个完全集合。最常见的使用指代可以在给定环境下(诸如给定色彩空间)或者由某个输出设备精确表示的色彩的集合。
[0063] 色域经常由色彩空间或者其在色彩空间中表示的值的动态范围(即，最小/最大亮度)来定义。色彩空间还可以由原色和参考白色规定。这样的色彩空间的示例是具有D65参考白色并且具有等于0的最小亮度峰值和等于1的最大亮度峰值的RGB BT.2020。在该情况下，亮度是相对值。具有D65参考白色并且具有等于0的最小亮度峰值和等于1的最大亮度峰值的RGB BT.709是这样的色彩空间的另一示例。当利用相对色彩空间(例如BT.709)和具有绝对峰值亮度(例如，100cd/m2)的显示器工作时，BT.709的相对亮度乘以100，以得到范围从0cd/m2到100cd/m2的绝对亮度。观看条件包括附加特性，诸如绝对最大亮度(cd/m2)、显示器的背景和/或环绕的CIE 1931x,y色度，观察者的观看距离和观看角度。
[0064] 图2是根据示例性和非限制性实施例的从相同画面的第一色彩分级版本和第二色彩分级版本的插值获得第三色彩分级版本的设备2的示意图。设备2包括配置为获得至少一个画面的第一色彩分级版本G1和第二色彩分级版本G2的输入端20。第二版本与第一色彩分级版本不同。作为一个示例，两个色彩分级版本已经在生产侧上创建并且适应于两个不同的观看条件，分别是VC1和VC2。如前面讨论的，观看条件可以包括在其上呈现色彩分级版本的显示器以及显示器的环境。环境可以包括显示器的环绕和背景，根据具体特性，观看条件包括以下中的至少一个：
[0065] -显示器最大亮度；
[0066] -显示器最小亮度；
[0067] -显示器色域；
[0068] -环境最大亮度；
[0069] -环境平均亮度；
[0070] -环境主要色彩。
[0071] 在下文中，第一色彩分级版本G1与适应于原始观看条件(显示器和环境)的原始版本对应，而第二色彩分级版本G2与适应于参考观看条件的参考版本对应。输入端20配置为获得第三观看条件VC3(也称为目标观看条件)。第一色彩分级版本G1和第二色彩分级版本G2画面以及相关联的观看条件可以从源获得。根据本发明的不同实施例，源属于一个集合，该集合包括：
[0074] -通信接口，例如，有线接口(例如，总线接口、广域网接口、局域网接口)或者无线接口(诸如IEEE802.11接口或者蓝牙接口)；以及
[0076] 然而，获得两个色彩分级版本的方式不在本公开的范围。获得这样的两个色彩分级版本比如包括从第一比特流解码第一色彩分级版本以及从与第一比特流不同的第二比特流解码第二色彩分级版本，并且将其存储在本地存储器中。作为一个示例，两个比特流与HEVC视频编码标准一致。由此它们由HEVC兼容的解码器解码。
[0077] 在另一个示例中，获得这样两个色彩分级版本比如包括从第一比特流解码第一色彩分级版本并且向第一色彩分级版本应用色彩映射，以获得第二色彩分级版本，其中，可以从色彩再映射SEI消息(被称为CRI)解码这样的色彩映射数据。
[0078] 可以经由终端用户显示器和应用插值方法的设备2之间存在的DVI接口或者HDMI接口获得目标观看条件。观看条件例如存储在终端用户显示器的非易失性存储器(例如，EDID EPROM，其中EDID代表扩展显示标识数据)中。扩展显示标识数据(EDID)是由数字显示器提供以描述其对视频源的能力的数据结构。也可以在标准中定义原始、参考和目标观看条件中的一个或者多个，例如根据BT.2022的峰值亮度500cd/m2。在特定示例中，实现插值方法的设备(用于终端用户显示器的视频源)可以例如使用DDC通信协议(用于恢复与屏幕有关的数据的显示器数据通道协议)经由I2C总线读取观看条件。在变型中，插值设备包括终端用户显示器本身。在后者的情况下，观看条件可以从存储器读取或者由色彩传感器测量。
[0079] 输入端20链接到色彩映射运算器21，色彩映射运算器21配置为将第一色彩分级版本G1从第一观看条件VC1映射到第二观看条件VC2，以得到第二映射色彩版本M2。有利地，色彩映射运算器21可调节用于观看条件，并且配置为根据具体色彩映射算法将至少一个色彩从任何观看条件映射到任何其他观看条件的映射色彩。这样的色彩映射算法的详细操作不在本发明的范围内，然而在下文中参考特定实施例描述示例。比如，由Erik Reinhard在他的名称为“High dynamic range imaging”的书(第6章)中描述的色调映射算法适用本发明。输入端20也链接到色彩映射运算器26，色彩映射运算器26配置为将第一色彩分级版本G1从第一观看条件VC1映射到第三观看条件VC3，以得到第一映射色彩版本M1。两个色彩映射器21、26可以使用相同映射算法或者不同映射算法。在变型中，顺序使用单个色彩映射运算器21，以获得两个映射色彩版本。第一色彩映射21和第二色彩映射26的输出端链接到模块22，模块22配置为获得插值函数，其中，插值函数响应于适应于第三观看条件VC3的第一色彩分级版本的第一映射色彩版本M1并且响应于适应于第二观看条件VC2的第一色彩分级版本的第二映射色彩版本M2，如下文中描述。模块22链接到模块23，模块23配置为从应用于第一色彩分级版本G1和第二色彩分级版本G2的模块22获得的插值函数获得第三色彩分级版本G3。适应于第三观看条件VC3的第三色彩分级版本G3可以存储在存储器中或者可以被发送到显示器3。作为一个示例，第三色彩分级版本G3存储在远程或者本地存储器中，例如视频存储器或者RAM、硬盘。在一个变型中，第三色彩分级版本G3借助贮存接口(例如，具有大容量贮存器、ROM、闪存、光盘或者磁载体的接口)发送到显示器3和/或通过通信接口(例如，接口到点对点链路、通信总线，点对多点链路或者广播网络)传输。
[0080] 图3表示根据示例性和非限制性实施例的插值方法的流程图。
[0081] 在步骤S1，第一色彩分级版本G1从第一观看条件VC1映射到第三观看条件VC3，以获得第一映射色彩版本M1。此外，并行地或者顺序地，第一色彩分级版本G1另外从第一观看条件VC1映射到第二观看映射条件VC2，以获得第二映射色彩版本M2。
[0082] 在步骤S2，插值函数从所述第一色彩分级版本、第一映射色彩版本和第二映射色彩版本获得，插值函数F能够将第一色彩分级版本G1和第二映射色彩版本M2插值到第一映射色彩M1，如图5上呈现。
[0083] 在步骤S3，通过响应于获得的插值函数F插值第一色彩分级版本G1和第二色彩分级版本G2，获得画面的第三色彩分级版本G3。
[0084] 在下文中关于图4和6中图示的2个设备描述方法的步骤，其中，每个设备实现本方法的不同实施例。
[0085] 图4表示适用图3描述的插值方法的自适应色彩等级插值设备2的第一实施例的示意图。根据第一实施例，观看条件包括最大显示器亮度。有利地，第一实施例适应于主要由最大显示器亮度区分的观看条件(目标、原始或者参考)。根据第一实施例的有利特性，色彩映射运算器21是色调映射运算器21。色调映射运算器主要修改强度以及仅稍微修改原始色彩的色相和/或饱和度。公开的设备不限制于色调映射运算器。在其他应用中，色彩映射运算器也可以改变原始色彩的色相和/或饱和度。
[0086] 根据第一实施例，通过作为用以呈现图像的色彩分级版本的显示器的最大亮度的单一亮度来描述色彩的观看条件VC。根据第一实施例的变型，最大亮度是显示器可以在短时间和/或小图像区域实现的峰值亮度。在其他示例中，最大亮度可以是显示器可以对于整个屏幕和无限时间实现的最大亮度。图像的原始色彩分级版本G1适应于在原始最大亮度VC1＝LO,max被下观看。由此，LO,max是用以呈现图像的原始色彩分级版本G1的原始显示器的最大亮度。图像的参考色彩分级版本G2适应于在参考最大亮度VC2＝LR,max被下观看。由此，LR,max是用以呈现图像的参考色彩分级版本G2的参考显示器的最大亮度。
[0087] 根据具体特性，从配置用于亮度计算的模块25中的原始亮度分级版本G1提取原始亮度LO。在变型中，可以使用从ITU-R BT.2020取得的下面的公式实现亮度计算：
[0088] LO＝0.2627R0+0.6780G0+0.0593B0
[0089] 其中，R0、G0、B0分别是原始色彩分级版本G1的红色、绿色和蓝色。
[0090] 如前面描述，然后将原始亮度L0映射两次。首先，色调映射运算器26利用原始最大亮度LO,max和目标最大亮度LT,max配置，然后用以将原始亮度L0映射到第一映射亮度L1。其次，色调映射运算器21利用原始最大亮度LO,max和参考最大亮度LR,max配置，并然后用以将原始亮度L0映射到第二映射亮度L2。
[0091] 根据第一变型，插值函数是线性插值函数(La,Lb)＝αLa+(1-α)Lb。根据以下等式计算函数f(La,Lb)以使得f(L2,L0)＝L1：
[0092]
[0093] 其中，α是常数系数。
[0094] 然而，其他插值函数兼容于第一实施例，诸如非线性、参数函数、样条函数或者预计算出的查找表。关于线性插值函数，计算出这样的函数，以使得f(L2,L0)＝L1。
[0095] 然后，如步骤S3中描述，一旦计算出插值函数，将插值函数应用于原始色彩分级版本G1和参考色彩分级版本G2。
[0096] 由此，从画面的第一和第二色彩分级版本插值以获得画面的第三色彩分级版本被应用在每个像素上，并且对于画面的第三色彩分级版本中的像素，包括确定色彩值，作为获得的插值函数应用于画面的第一和第二色彩分级版本的同位置(co-located)像素的色彩值的结果。
[0097] 根据第一变型，对于每个色彩像素具有色彩坐标RR、GR、BR的参考色彩分级版本G2和对于每个色彩像素具有色彩坐标R0、G0、B0的原始色彩分级版本G1，向每个色彩坐标应用插值函数，以计算插值的色彩分级版本G3：
[0098] RT＝f(RR,R0)
[0099] GT＝f(GR,G0)
[0100] BT＝f(BR,B0)
[0101] 其中，RT、GT、BT是插值色彩分级版本G3中的色彩像素的色彩坐标。由此，从具有参考观看条件的图像的参考色彩分级版本G2和具有原始观看条件的图像的原始色彩分级版本G1，获得具有目标观看条件的图像的插值色彩分级版本G3。
[0102] 在这个第一实施例中，色调映射运算器21、26仅利用亮度值配置，而不是所有三原色坐标。然而，如下文中讨论，第一实施例不限于描述的色调映射器的变型。有利地，由此降低从上面描述的色调映射器推导出插值函数的计算成本。然后插值函数(如所描述)应用于参考和原始色彩的红色、绿色和蓝色坐标，以获得插值色彩的色彩坐标。
[0103] 根据应用插值函数的另一变型，根据从具有色彩坐标RR、GR、BR的参考色彩获得参考色彩分级版本G3的参考亮度LR：
[0104] LR＝0.2627RR+0.6780GR+0.0593BR
[0105] ，并且根据从具有色彩坐标R0,G0,B0的原始色彩获得原始亮度：
[0106] LO＝0.2627R0+0.6780G0+0.0593B0
[0107] 然后插值函数应用于参考亮度LR并且应用于原始亮度LO，以根据以下计算出插值亮度LT：
[0108] LT＝f(LR,L0)
[0109] 然后插值亮度LT可以应用于参考色彩，以例如根据以下等式获得插值色彩：
[0110] RT＝LT/L0×R0
[0111] GT＝LT/L0×G0
[0112] BT＝LT/L0×B0
[0113] 本领域技术人员将理解本原理适用于其他色调映射器。色调映射运算器可以是根据第一实施例自适应于最大显示器亮度的任何已知现有技术。
[0114] 根据变型，假设最大显示器亮度展现在图像中的某一地方，从由Erik Reinhard在他的由Morgan Kaufmann 2006年出版的名称为“High dynamic range imaging”的书中提出的照相色调映射器推导出色调映射器。当将该照相色调映射器应用于参考观看条件时，在原始最大亮度LO,max观看的原始亮度LO，根据以下等式被映射到在参考最大亮度LR,max观看的第二映射亮度L2：
[0115]
[0116] 该等式是诸如Francesco ACM等在“Inverse Tone Mapping”(在Graphite，2006)公开的Erik Reinhard的照相色调映射器的求逆。等效地，当色调映射器对于目标观看条件被参数化时，在原始最大亮度Lo,max观看的原始亮度LO根据以下被映射到在目标最大亮度LT,max观看的第一映射亮度L1：
[0117]
[0118] 根据另一变型，色调映射器在Mantiuk在2008年在ACM SIGGRAPH 2008论文中发表的名称为“Display Adaptive Tone Mapping”的这个论文中提出。使用该色调映射器，观看条件还包括最大显示亮度。
[0119] 根据该色调映射器，在原始最小亮度LO,min和原始最大亮度LO,max观看的原始亮度LO根据以下公式，被映射到在参考最小和最大亮度LR,min和LR,max观看的第二映射亮度L2：
[0120]
[0121] 其中dk是直方图直条(histogram bin)i+1和i的中心的差xi+1-xi，该直方图是输入原始亮度图像的直方图；
[0122] N-1是条的最大数量；
[0123] i-1是原始亮度L0的条；
[0124] β是常数值，如果输入原始图像的动态范围优于显示器动态范围，则该常数值次于1，否则优于1。
[0125] 原始亮度Lo根据以下等式被映射到分别在参考最小亮度LT,min和最大亮度LT,max和观看的第一映射亮度L1：
[0126]
[0127] 然后，根据映射亮度值L1和L2并且根据原始亮度值LO，计算根据其变型中的任一个的插值函数并且将其应用于参考色彩分级版本G2和原始色彩分级版本G1。
[0128] 然而，将理解本原理不严格限于描述的自适应于最小/最大亮度的色调映射器，也不严格限制与描述的线性插值函数。可以使用利用至少一个其他观看条件的其他方法。
[0129] 图5图示根据非限制实施例的亮度空间中的色彩等级插值的原理。原始色彩分级版本的亮度LO适应于在原始观看条件观看。根据第一实施例，原始观看条件特征在于从零到原始最大亮度L0,max的显示亮度范围。第二映射亮度L2通过用于参考最大亮度LR,max的色调映射运算器计算出，而参考亮度LR是G2的参考色彩的亮度。亮度L2和亮度LR二者在参考观看条件观看。参考观看条件特征在于从零到参考最大亮度LR,max的显示亮度范围。
[0130] 由所公开的方法解决的问题是计算目标观看条件的色彩，而原始色彩和参考色彩都不适应于目标观看条件。用以解决该问题的显著构思是使用从色调映射运算器获得的参考基准(ground truth)并且然后将相同结果应用于原始和参考色彩，而这样的参考基准不可用。为此，选取色调运算器，以使得其可以利用确定的观看条件被参数化。映射运算器计算用于参考和用于目标观看条件LR,max和LT,max的两个亮度L2和L1。虽然使用色调映射运算器这样的映射是可能的，但是原始和参考色彩都不能用于目标观看条件。获得的插值函数能够从用于参考观看条件的亮度LR并且从原始观看条件的亮度L0，插值用于目标观看条件的亮度LT。然而，插值函数从参考基准可用的情况获得。计算该情况下的参考基准亮度L1、L2。获得的插值函数也能够从用于参考观看条件的参考基准亮度L2和用于原始观看条件的任何方式的可用亮度L0，插值用于目标观看条件的参考基准亮度L1。因为亮度L2和亮度L1二者由色调映射运算器从L0计算出，所以插值函数F可以容易地从L0、L1、L2获得。获得的插值函数应用于参考亮度LR并且应用于原始亮度L0，以获得对于目标观看条件LT,max有效的色彩分级版本G3的插值亮度LT。目标观看条件特征在于从零到目标最大亮度LT,max的亮度范围。
[0131] 假设色调映射运算器以与在改变观看条件的最大亮度的情况下从原始色彩生成参考色彩的创建过程类似的方式关于观看条件起作用，插值图像良好适应于改变亮度观看条件。然而，色调运算器可能不能描述与在原始和参考图像之间不同的观看条件有联系的其他创建效果。例如，用于从原始色彩生成参考色彩的创建过程可能空间局部自适应于图像中的色彩，而色调映射运算器不是如在上面给出的示例中的情况。另外，色调映射运算器可能不能描述原始和参考色彩之间的色相和饱和度的区别。因此，相比于由色调映射器计算出的映射图像，由配色师创建的两个色彩分级视频之间的插值图像可能从与改变观看条件有联系的其他改变中受益。通过响应于来自色调映射器的结果使用自适应插值，获得的色彩分级版本特别适应于目标显示器的观看条件，同时保留不同内容版本之间的复杂的经常的局部色彩改变、简单映射运算器不能描述的色彩改变。有利地，获得的插值函数适应于任何类型的色调映射运算器或者更加一般适应于用于目标观看条件的色彩映射运算器。
[0132] 优选色调映射运算器有简单复杂度，以降低插值函数运算的计算负担。第二色调映射运算器例如可以是本领域技术人员已知并且在下文中描述的任何全局色调映射运算器。
[0133] 图6表示也适用于图3的方法权利要求的自适应色彩等级插值设备2的第二实施例的示意图。根据第二实施例，观看条件包括显示器的色域。有利地，第二实施例适应于主要由显示器色域区别的观看条件(或者目标、原始或者参考)。虽然如对于第一实施例描述的，在图像色彩坐标R、G、B中直接实施插值，在第二实施例中，插值函数应用在CIELAB空间。为此，图像色彩的R、G、B坐标被变换为X、Y、Z坐标，并且然后变换为CIE L*、a*、b*坐标。因此，插值函数应用于CIELAB空间，如图6上图示。
[0134] 参考色彩分级版本适应于由参考色域特征化的观看条件，参考色域与图像的原始色彩分级版本的观看条件的原始色域有区别。原始色彩CO＝(RO G0 BO)由色域映射运算器映射两次，第一次映射到目标色域并且第二次映射到参考色域，分别得到第一和第二映射色彩C1＝(R1 G1 B1)和C2＝(R2 G2 B2)。根据这些映射色彩，插值函数
[0135]
[0136] 利用以下系数计算出，以及分别对于αG和αB
[0137]
[0138] 其中，αR,αG和αB是分别对于每个色彩坐标R、G、B的常数系数。
[0139] 对于计算插值色彩，使用插值函数来插值参考和原始色彩，以得到插值色彩。
[0140] 全域映射运算器21、26可以是任何已知全域映射算法，例如Morovic和Luo评论一些算法是他们的发表在2001年的期刊Imaging Science and Technology并且名称为“The Fundamentals of Gamut Mapping:A Survey”的论文。
[0141] 可以使用全域边界描述(Gamut Boundary Description)描述色域，其利用由IEC 61966-12-1标准中的IEC标准化的全域ID。
[0142] 然而，将理解，本原理不限于用于获得适应于终端用户显示器的特性的第三色彩分级画面的该特定插值方法。可以使用利用至少一个其他观看条件的其他方法。
[0143] 图7表示根据示例性和非限制性实施例的色彩等级插值设备2的示例性架构。色彩等级插值设备2配置为执行参考图3描述的方法。色彩等级插值设备2包括一个或者多个处理器210，其可以包括例如CPU、GPU和/或DSP(数字信号处理器的英文缩写)，以及内部存储器220(例如，RAM、ROM/或EPROM)。色彩等级插值设备2包括一个或者多个输入/输出接口230，每个适用于显示输出信息和/或允许用户键入命令和/或数据(例如，键盘、鼠标、触摸板、网络摄像头)；以及可以在色彩等级插值设备2外部的电源240。色彩等级插值设备2也可以包括一个或者多个网络接口(未示出)。可以从源获得画面的色彩分级版本。根据不同的实施例，源可以是但不限于：
[0144] -本地存储器，例如，视频存储器、RAM、快闪存储器、硬盘；
[0145] -贮存接口，例如，具有大容量贮存器、ROM、光盘或者磁载体的接口；
[0146] -通信接口，例如，有线接口(例如，总线接口、广域网接口、局域网接口)或者无线接口(诸如IEEE802.11接口或者蓝牙接口)；以及
[0147] -图像捕获电路(例如，传感器，诸如例如CCD(或电荷耦合器件)
[0148] 或CMOS(或互补金属氧化物半导体))。
[0149] 根据不同的实施例，画面的第三色彩分级版本可以被发送到目的地，例如显示设备。作为一个示例，画面的第三色彩分级版本G3存储在远程或者本地存储器中，例如视频存储器或者RAM、硬盘。在一个变型中，画面的第三色彩分级版本被发送到存储接口，例如，具有大容量贮存器、ROM、快闪存储器、光盘或者磁载体的接口，和/或者通过通信接口(例如，接口到点对点链路、通信总线，点对多点链路或者广播网络)传输。
[0150] 根据示例性和非限制性实施例，色彩等级插值设备2还包括存储在存储器220中的计算机程序。计算机程序包括指令，该指令当由色彩等级插值设备2(具体由处理器210)执行时使得色彩等级插值设备2执行参考图3描述的方法。根据一个变型，计算机程序被存储在非瞬时数字数据载体上(例如，外部贮存介质，诸如HDD、CD-ROM、DVD、只读和/或DVD驱动和/或DVD读取/写入驱动，全部在现有技术中已知)的色彩等级插值设备2的外部。由此解码设备2包括用以读取计算机程序的机构。另外，色彩等级插值设备2可以通过对应的USB端口(未示出)存取一个或者多个通用串行总线(USB)型贮存设备(例如，“存储棒”)。
[0151] 根据示例性和非限制性实施例，色彩等级插值设备2可以是但不限于：
[0152] -移动设备；
[0153] -通信设备；
[0154] -游戏设备；
[0155] -机顶盒；
[0156] -电视机；
[0157] -平板电脑(或者平板计算机)；
[0158] -膝上型计算机；
[0159] -视频播放器，即，蓝光盘播放器；
[0160] -显示器；
[0161] -相机；和
[0162] -解码芯片。
[0163] 色彩等级插值设备2有利地是播放器300或者电视机的一部分。
[0164] 图8是根据示例性和非限制性实施例的播放器300。播放器300在输入端接收比特流。输入端连接到解码器302，解码器302进而连接到色彩映射电路304。解码器302配置为解码画面的第一色彩分级版本和色彩映射数据。色彩映射电路304配置为响应于解码的色彩映射数据从解码的第一色彩分级版本确定画面的第二色彩映射分级版本。在图8中没有示出的变型中，画面的第一和第二色彩分级版本直接从比如存储在DVD上的比特流解码。色彩映射电路304的一个输出端和解码器302的一个输出端连接在色彩等级插值设备2的输入端。色彩等级插值设备2配置为执行参考图3描述的方法。色彩等级插值设备2的输出端连接到播放器300的输出端上。在特定实施例中，播放器300包括一个或者多个处理器210，包括例如CPU、GPU和/或DSP(数字信号处理器的英文缩写)，以及内部存储器220(例如，RAM、ROM/或EPROM)。播放器300包括一个或者多个输入/输出接口230，每个适应于显示输出信息和/或允许用户键入命令和/或数据(例如，键盘、鼠标、触摸板、网络摄像头)；以及可以在播放器300外部的电源240。播放器300也可以包括一个或者多个网络接口(未示出)[0165] 本文描述的实现方式可以例如在方法或处理、装置、软件程序、数据流或者信号中实现。即使仅在单一形式的实现方式的上下文中讨论(例如，仅作为方法或者设备讨论)，讨论的特征的实现方式也可以以其他形式(例如，程序)实现。装置可以例如在适当的硬件、软件和固件中实现。方法可以例如在装置中实现，诸如例如指代处理设备的处理器，一般包括例如计算机、微处理器、集成电路或者可编程逻辑器件。处理器也包括通信设备，诸如例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)以及有助于终端用户之间信息的通信的其他设备。
[0166] 本文描述的各种处理和特征的实现方式可以体现在各种不同装备或者应用中，具体地例如装备或者应用。这样的装备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、提供到编码器的输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型计算机、个人计算机、蜂窝电话、PDA和其他通信设备。应该清楚的是，装备可以是手机并且甚至安装在移动车辆中。
[0167] 此外，方法可以通过由处理器执行指令来实现，并且这样的指令(和/或由实现方式产生的数据值)可以存储在处理器可读的介质中，诸如例如集成电路、软件载体或者其他存储设备，诸如例如硬盘、压缩盘(“CD”)、光盘(诸如例如DVD，通常称为数字多功能盘或者数字视频盘)、随机存取存储器(“RAM”)或者只读存储器(“ROM”)。指令可以形成有形地体现在处理器可读介质上的应用程序。指令可以例如在硬件、固件、软件或者组合中。例如可以在操作系统、独立应用或者二者的组合中找到指令。因此处理器可以例如特征化为配置为实施处理的设备和包括具有用于实施处理的指令的处理器可读介质(诸如存储设备)的设备二者。另外，除了指令或者替代指令，处理器可读介质可以存储由实现方式产生的数据值。
[0168] 将对本领域技术人员明显的是，实现方式可以产生格式化为承载例如可以被存储或者传送的信息的各种信号。该信息例如可以包括用于执行方法的指令或者由描述的实现产生的数据。例如，信号可以被格式化为将用于写入或者读取描述的实施例的语法的规则作为数据承载或者将由描述的实施例写入的实际语法值作为数据承载。这样的信号可以例如格式化为电磁波(例如，使用频谱的无线电频率部分)或者格式化为基带信号。格式化例如可以包括编码数据流或者用编码数据流调制载波。信号承载的信息例如可以是模拟或者数字信息。信号可以通过已知的多种不同有线或者无线链路传送。信号可以存储在处理器可读的介质上。
[0169] 已经描述若干实施例。然而，将理解，可以做出各种修改。例如，不同实现方式的元件可以被组合、补充、修改或者去除，以产生其他实现方式。此外，本领域技术人员将理解，其他结构和处理可以取代公开的那些并且作为结果的实现方式将以至少实质相同的(多个)方式，执行至少实质相同的(多个)功能，以实现与公开的实现方式至少实质相同的(多个)结果。因此，可以由本申请想到这些或者其他实现方式。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种视频帧重构方法、装置及终端设备 | 2020-05-08 | 617 |
| 一种图像的处理与识别方法 | 2020-05-08 | 670 |
| 一种视频编码方法、装置及终端设备 | 2020-05-08 | 891 |
| 一种基于FPGA的实时三维重建系统及其方法 | 2020-05-08 | 626 |
| 基于理想边缘外推的遥感影像超分辨率复原方法 | 2020-05-08 | 170 |
| 一种图像处理方法、图像处理装置、电子设备和存储介质 | 2020-05-08 | 98 |
| 一种基于卷积神经网络的重采样图像检测方法 | 2020-05-08 | 25 |
| 基于中智集合的超声乳腺肿瘤快速阈值分割方法及系统 | 2020-05-08 | 864 |
| 一种基于Tetrolet变换的近红外与彩色可见光图像融合算法 | 2020-05-08 | 169 |
| 用于形成虚拟地图的方法及系统 | 2020-05-08 | 387 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈