将图像/视频内容映射到具有可变亮度水平和/或观看条件的
目标显示设备
[0002] 本申请要求2015年3月3日提交的美国
专利申请14/636,682的优先权，该美国专利申请受益于2014年11月5日提交的美国临时申请62/075,510的优先权，其公开内容以引用方式并入本文。
背景技术
[0003] 本公开涉及
电子视频系统中的图像数据的管理，具体地讲，涉及对图像显示的管理，以在各种显示设备上呈现。
[0004] 现代显示设备在其能够呈现的图像的亮度、
色域和动态范围方面不同。
阴极射线管(通常称为“CRT”)显示器通常额定值为100尼特(100坎德拉/平方米)，而面向基于住宅和办公室应用的LCD显示器的额定值可为400尼特。其他显示器，诸如基于LCD的
广告牌显示器的额定值可以达到更高水平。并且一些研究工作正处于开展中，以开发出范围可达10000尼特的新型显示技术。
[0005] 此外，
图像处理应用也在以更高的动态范围生成图像数据。在可能已采用8位或者10位
颜色深度值定义图像数据值的情况下，较新的图像处理应用则正在以12位值或者有可能以16位值生成此类图像数据值。不断提高的动态范围允许相比以前以更加精细的量化水平呈现图像内容。当然，不同的显示设备可以支持不同的动态范围。
[0006] 此外，观看条件有可能有很大差异。在一些应用中，显示设备是在黑暗的房间被观看的，其中该显示器是唯一的照明源。在其他应用中，显示设备可以在明亮的室外环境中被用作电子广告牌。这些因素，即，显示器亮度、显示器支持的数据的动态范围以及围绕显示器的周围观看条件中的每一者都可能在图像数据通过设备显示时影响观看者对图像数据的
感知。
[0007] “强度映射”被作为一种对图像数据进行调适以供在显示设备上呈现的技术提出，其考虑了诸如显示器亮度、观看条件等的因素。在ITU_R文档6C/146-E(2013年4月)、WO 2014/0130343(2014年)和WO 2013/086169(2013年)中提出了各种技术。尽管此类提议解决了根据这些因素调整图像亮度的需要，但是它们还是具有某些
缺陷。首先，它们引入了色移，其可能破坏图像数据的某些部分。其次，它们在计算上成本高昂。
附图说明
[0008] 图1示出根据本公开的一个实施方案的图像分配系统。
[0009] 图2是根据本公开的一个实施方案的图像处理系统的功能
框图。
[0010] 图3示出了根据本公开的一个实施方案的方法。
[0011] 图4是根据本公开的另一个实施方案的图像处理系统的框图。
[0012] 图5-图8示出了根据本公开的各种实施方案的经处理的示例性图像，并将这些图像与其他提议的映射过程进行比较。
[0013] 图9是示出了根据本公开的一个实施方案的剪辑管理器的框图。
具体实施方式
[0014] 本公开的实施方案提供了一种图像处理系统，其按照避免已知提议的色移以及节约处理资源的方式来执行强度映射。根据这些实施方案，图像处理系统将输入图像数据转换为目标颜色空间，在目标颜色空间中，亮度分量与其他颜色分量
正交。在对图像数据执行强度映射时，强度映射操作不会引起在这些其他提议中形成的色移。
[0015] 通过改变在强度映射系统中使用的感知量化过程的操作可以实现资源节约。先前的提议对经处理的图像数据的所有颜色分量(尤其是向IPT颜色空间的转换期间的L分量、M分量和S分量)执行感知量化。本公开的实施方案仅对图像数据的单个颜色分量(例如，Yu’v’颜色空间中的Y分量)执行感知量化。因此，这些实施方案避免了否则将在其他两个颜色分量的感知量化上付出的资源消耗。
[0016] 图1示出了根据本公开的一个实施方案的图像分布系统100。该系统可以包括媒体源110以及一个或多个终端120,130，一个或多个终端被提供为通过通信网络140通信。
[0017] 媒体源110可以向终端120,130提供图像数据，图像数据通常是作为广播数据提供的或者是应终端120,130的
请求提供的。图像数据可以已由内容提供商(未示出)采用预先确定的颜色空间创作。因此，图像数据意在由终端120,130按照参考预先确定的颜色空间准确地显示图像数据的方式加以显示，而不管在终端之间可能存在的差异。
[0018] 终端120,130可为从媒体源110接收图像数据并对其进行处理以供显示的设备。本公开的原理可以结合各种终端取得应用，例如，终端包括智能电话、
平板电脑、膝上型计算机、台式计算机、便携式媒体播放器、电子广告牌、显示器和机顶盒。在一些应用中，本公开的图像处理操作可以在例如机顶盒的设备中执行，机顶盒与显示器相关联但是本身不显示图像数据。
[0019] 图2是根据本公开的一个实施方案的图像处理系统200的功能框图。系统200可以被应用于对源图像数据进行调适，以供在显示设备上呈现。
[0020] 系统200可以包括源转换器210、感知量化转换器220、强度映射单元230、线性转换器240和汇沉颜色转换器250。源转换器210可以将来自源颜色空间的图像数据转换为亮度分量数据与其他颜色分量正交的目标颜色空间。感知量化转换器220可以将亮度数据Y从线性域转换到感知域。强度映射单元230可以根据输入控制参数改变亮度数据，以供在目标显示器上呈现。线性转换器240可以将已改变的亮度数据从感知域转换到线性域。汇沉颜色转换器250可以将来自线性转换单元240的图像数据转换为适合系统200所用于的显示设备的颜色空间。
[0021] 如所论述的，源颜色转换器210可以将来自源颜色空间(例如，RGB)的图像数据转换为亮度分量与其他颜色分量正交的目标颜色空间。在图2的示例中，颜色分量分别被示为Y(亮度)、u’和v’(
色度)，如CIE 1976均匀色度比例图所定义的。
[0022] 在一个实施方案中，感知量化转换220、强度映射230和线性转换240可以根据公开WO 2014/130343中所公开的技术结合一些
修改而执行。感知量化转换可以将经线性量化的亮度值映射到更好地匹配人可视系统中的对比灵敏度
阈值的其他值。如WO 2014/130343(“‘343文档”)(将其公开内容并入本文)以及图1、图2和所附说明中所论述的，对LMS颜色空间中的所有颜色分量执行感知量化。在图2所示的实施方案中，仅对对应于亮度的颜色分量(图2的示例中的Y)执行感知量化就足够了，由此节约了否则将在其他两个颜色分量(U’和V’)的感知量化上耗费的资源。
[0023] 强度映射230也可以如‘343文档、图1-图2及其所附说明中所论述的那样执行。如‘343文档中所论述的，对IPT颜色空间中的I颜色分量执行强度映射；该I分量一般对应于亮度指标，但是其不与IPT颜色空间的其他颜色分量正交。在上面的图2的实施方案中，强度映射230可以作用于与支配性颜色空间的其他颜色分量正交的亮度颜色分量(例如，YU’V’空* * *间中的Y、XYZ空间中的Y或者Lab空间中的L)。
[0024] 控制参数可以从表示将在其上呈现图像数据的显示器的亮度、其动态范围和/或该显示器的观看条件的数据导出。
[0025] 线性转换240可以被作为感知量化转换220过程的逆转来执行。它可以作为Gamut Mapper 3D LUT 185运行，如‘343文档中所述。因此，经过强度映射的亮度数据可以被转换回线性标度。
[0026] 汇沉颜色转换250可以将图像数据从强度映射过程中使用的颜色空间转换为适合汇沉设备(例如，显示器或存储单元)的颜色空间。例如，如果显示器消耗RGB数据，那么图像数据可以被转换为
RGB颜色空间。之后，该图像数据可以被输出到汇沉设备。
[0027] 如所论述的，强度映射可为在亮度颜色分量与空间内的其他颜色分量正交的颜色空间中执行的。Yu’v’、XYZ和L*a*b*为示例。本公开的原理可以应用于其他颜色空间，其中：
[0028] 1.发光度分量与色度平面正交；
[0029] 2.颜色空间具有恒定
辉度特性，例如，在线性光域内生成的亮度；以及[0030] 3.色度分量与主观颜色测量结果(例如，
饱和度和
色调)直接相关。
[0031] 因此，本公开的原理还可以被扩展到其他颜色空间。
[0032] 图3示出了根据本公开的一个实施方案的方法300。方法300可以开始于将来自源颜色空间的图像数据转换为亮度数据与其他颜色分量正交的目标颜色空间(框310)。方法300可以将图像数据的亮度分量从线性域转换到感知域(框320)。方法300可以根据控制参数执行亮度分量的强度映射(框330)。之后，方法300可以将经映射的亮度分量从感知域转换到线性域(框340)，并且将图像数据从目标颜色空间转换为显示设备的颜色空间(框
350)。
[0033] 图4是根据本公开的另一个实施方案的图像处理系统400的框图。在该实施方案中，方法400可以结合利用RGB
颜色数据的图像源410和同样利用RGB颜色数据的图像汇沉465操作。
[0034] 系统400可以包括伽
马转换单元415、RGB到XYZ转换器420、XYZ到Yu’v’转换器425、线性到PQ转换器430、强度映射单元435、PQ到线性转换器440、感知调整单元445、Yu’v’到XYZ变换450、XYZ到RGB转换器455、伽马转换单元460和图像汇沉465。
[0035] 伽马转换单元415可以将源颜色空间中的输入图像数据转换为线性表示。在图4的示例中，RGB图像数据可以被转换为线性RGB表示。RGB到XYZ转换器420可以将图像数据从RGB表示转换为XYZ表示。XYZ到Yu’v’转换器425可以将图像数据从XYZ表示转换为Yu’v’表示。线性到PQ转换器430可以将Y分量数据从线性标度转换为感知标度。强度映射单元435可以根据输入控制参数改变Y分量数据，以供在目标显示器上呈现。PQ到线性转换器440可以将已改变的Y分量数据从感知标度转换为线性标度。感知调整单元445可以基于色貌现象(例如，亨特效应等)对颜色分量执行感知调整。Yu’v’到XYZ变换450可以将来自感知调整单元445的Yu’v’数据转换为XYZ颜色空间。XYZ到RGB转换器455可以将基于XYZ的图像数据转换为RGB颜色空间。伽马转换单元460可以根据适合将在其上显示图像数据的目标显示设备的变换对基于RGB的图像数据执行伽马转换。图像汇沉465可以消耗图像数据。
[0036] 控制参数可以从表示将在其上呈现图像数据的显示器的亮度、其动态范围和/或显示器的观看条件的数据导出。
[0037] 颜色空间转换420,425和455可以被实施为通过输入颜色空间中的颜色数据索引并且将经转换的颜色空间值存储到表格中的查找表(“LUT”)，该表格可以从转换单元420,425,450和455输出。相应地，可以节约否则将会动态地执行转换而耗费的资源。
[0038] 已经针对各种图像显示应用定义了各种RGB颜色空间。在将来自其原生源的RGB图像数据转换为Yu’v’空间之前可以方便地将该图像数据转换为XYZ空间。实际上，为了使单个系统400与各种RGB颜色空间兼容，RGB到XYZ转换器420可以提供有多个用以执行转换的转换矩阵，所支持的每个RGB颜色空间均有一个转换矩阵。
[0039] 在输出端，Yu’v’到XYZ转换器450和XYZ到RGB转换器455可以被单个Yu’v’到RGB转换器(未示出)代替，该单个Yu’v’到RGB转换器可以被实施为单个LUT。此类应用可以适合在图像汇沉465根据单个颜色空间操作的应用中使用。
[0040] 在一个实施方案中，线性到感知量化转换430、强度映射435和PQ到线性转换440可以根据公开WO 2014/130343中所公开的技术结合一些修改而执行。如WO 2014/130343(“‘343文档”)以及图1、图2以和所附的说明中所论述的，对LMS颜色空间的所有颜色分量执行感知量化。在图4所示的实施方案中，仅对亮度颜色分量Y执行感知量化就足够了，由此节约了否则将在其他两个颜色分量(u’和v’)的感知量化上耗费的资源。
[0041] 强度映射435也可以如‘343文档、图1-图2及其所附说明中所论述的那样执行。如‘343文档中所论述的，对IPT颜色空间中的I颜色分量执行强度映射；该I分量一般对应于亮度指标，但是其不与IPT颜色空间的其他颜色分量正交。在上面的图4的实施方案中，强度映射435可以作用于与支配性颜色空间的其他颜色分量u’和v’正交的亮度颜色分量Y。
[0042] PQ到线性转换440可以被作为感知量化转换430过程的逆转来执行。因此，经过强度映射的亮度数据可以被转换回线性标度。
[0043] 图像汇沉465可为显示设备或者是在显示器上呈现之前存储图像数据的存储设备。
[0044] 图5-图8对先前提议的强度映射过程和本文提出的过程进行了性能比较。在这些示例中，在4000尼特高动态范围显示器上掌握的源图像受到映射，从而在标准动态范围显示器上显示。图5(b)、图6(b)、图7(b)和图8(b)中的图像的对象颜色已经根据本公开的各种实施方案进行了处理，其与图5(b)、图6(b)、图7(b)和图8(b)中的图像的那些采用其他提议的过程受到映射的对象颜色相比更加忠实于源图像。在暗图像中，在表格的右手侧保存了更多细节。
[0045] 图9是示出了根据本公开的一个实施方案的剪辑管理器900的框图。
对比度校正器900可以在其输入处接受标准动态范围(“SDR”)RGB图像数据。该SDR RGB数据可以具有超出相关显示器的最大亮度(“Y”)的分量值。对比度校正器900还可以改变图像数据，以考虑显示器中的限制。
[0046] 剪辑管理器900可以包括具有第一阶段的剪辑单元910-920、一组中间加法器925-935以及第二阶段的剪辑单元940-950的处理流水线。可以为每个分量提供第一阶段的剪辑单元、中间加法器和第二阶段的剪辑单元。例如，在图9所示的实施方案中，剪辑单元910,
940和中间加法器925是为红颜色分量提供的，剪辑单元915,945和中间加法器930是为绿颜色分量提供的，剪辑单元920,950以及中间加法器935是为蓝颜色分量提供的。
[0047] 剪辑管理器900可以包括校正因子发生器960，该校正因子发生器可以包括多个减法器962-966和换算器968-972，每个颜色分量一个。校正因子发生器960还可以包括另一使输入耦接至换算器968-972的加法器974以及针对辉度补偿增益值的换算器976。换算器976的输出可以被输入到颜色分量处理流水线中的中间加法器925-935中的每一者。
[0048] 在操作期间，对比度校正器900可以在其RGB输入上接收图像数据。第一阶段的剪辑单元910-920可以对每个分量的图像数据进行剪辑，如有必要，则将其剪辑为与正在处理的对比度状况相关的预先确定的最大值。因此，对于分量中的一者或多者而言，在第一阶段的剪辑单元910-920的输出处呈现的值可能与输入处的值不同。
[0049] 减法器962-966可以确定在第一阶段的剪辑单元910-920中的每一者的输入和输出处呈现的数据值之间的差。例如，如果输入的红色分量值R被剪辑为R’，那么减法器966可以生成输出ΔR＝R-R’。类似地，减法器964和962可以分别按照ΔG＝G-G’和ΔB＝B-B’生成ΔG和ΔB值，其中G和B表示输入的绿色和蓝色分量值，G’和B’表示输出的绿色和蓝色分量值。假设第一阶段的剪辑单元910-920因输入的R、G和/或B值不需要被剪辑而未执行任何剪辑，那么ΔR、ΔG和/或ΔB可以为零。
[0050] 换算器968-970、加法器974和换算器976可以协作生成被输入至中间加法器925-935的辉度校正因子。换算器968-970可以根据相应的换算因子coef_rY、coef_gY和coef_bY对从减法器962-966输出的ΔR、ΔG和ΔB值换算。换算因子可为根据系统要执行的颜色转换而选择的。例如，在采用RGB到YU’V’转换的系统中，换算因子可以如下给定：
[0051] coef_rY＝0.299，
[0052] coef_gY＝0.587，以及
[0053] coef bY＝0.114。
[0054] 加法器974可以对通过换算器968-970获得的值求和，换算器976可以将从该加法器输出的值乘以一个被称为辉度补偿增益的因数。因此，可以通过下式给出来自校正因子发生器960的输出：
[0055] CF＝LCG(coef_rY*ΔR+coef_gY*ΔG+coef_bY*ΔB)，
[0056] 其中LCG表示辉度补偿增益。
[0057] 校正因子CF可以被输入至中间加法器925-935，其中校正因子CF可以被加到从第一阶段的剪辑单元910-920输出的颜色分量值上。所得到的值可以由中间加法器925-935输出至第二阶段的剪辑单元940-950。每一第二阶段的剪辑单元940,945,950可以将输入值剪辑为曾被第一阶段的剪辑单元910-920应用过的相同预先确定的最大值。
[0058] 相应地，当输入值在第一阶段的剪辑单元910-920处引起了对一个或多个颜色分量的剪辑时，校正因子发生器960可以向未受剪辑的分量(也向经剪辑的分量)引入校正因子CF。第二阶段的剪辑单元910-920可以对任何由于校正因子CF而超过了最大分量值的颜色分量应用剪辑。所得到的图像数据预计具有优于单阶段的剪辑的应用的对比度。
[0059] 对比度校正器900可以在各种应用中取得应用。如所论述的，对比度校正器900可以在图2和图4所示的实施方案中取得应用，其中RGB到YUV校正可使得辉度Y值超过图像汇沉允许的最大值。在此种情况下，第一阶段的剪辑单元910-920和第二阶段的剪辑单元940-950可以将分量值剪辑到最大R’、G’和B’值上，最大值将以Y的允许值的极限生成Y。在图像汇沉可以具有非常规的宽色域特性的其他实施方案中，第一阶段的剪辑单元910-920和第二阶段的剪辑单元940-950可以将分量值剪辑为处于显示器极限的最大R’、G’和B’值。
[0060] 前述论述已在电子设备接收和处理图像数据的语境下描述了本公开的实施方案的操作。通常，这些电子设备可由集成
电路诸如
专用集成电路、现场可编程
门阵列和/或数字
信号处理器组成。另选地，可以将它们实施到在处理设备上执行的
计算机程序中，此类计算机程序通常存储在诸如电子存储设备、磁存储设备和/或基于光学的存储设备的非暂态计算机可读存储介质中，其中计算机程序在
操作系统控制下被读取到处理器并且被执行。图像处理系统可以包含在显示设备中，或者可以包含在与显示设备
配对的其他设备内，诸如，游戏系统、DVD播放器、便携式媒体播放器等；并且它们还可以被封装在诸如视频游戏、基于浏览器的媒体播放器等的消费
软件应用中。并且，当然，这些部件可提供作为混合系统，根据需要混合系统在专用
硬件部件和编程通用处理器上分发功能性。
[0061] 本文具体示出和/或描述了本公开的若干实施方案。然而，应当理解，在不脱离本公开的实质和预期范围的情况下，所公开的实施方案的修改和变型由上述教导内容涵盖并且在所附
权利要求的范围内。
