权利要求

双调制器显示器上的快速图像呈现本申请是2005年5月27日提交的国家申请号为200580029193.2、发明名称为"双调制器显示器上的快速图像呈现"的发明专利申请的 分案申请。相关申请的交叉对比本申请要求来自2004年7月27日申请的美国专利申请 No.60/591,829 " RAPID FRAME RENDERING FOR HIGH DYMAMIC RANGE DISPLAYS"的优先4又。对于美国的情形，本申 请根据35U.S.C.§119要求2004年7月27日No.60/591，829 "RAPID FRAME RENDERING FOR HIGH DYMAMIC RANGE DISPLAYS" 下的权益。技术领域本发明是关于用来在有两个调制器类型的显示器上显示图象的 系统和方法。第一个调制器产生光模式，第二个调制器调制由第一个 调制器产生的光模式，以生成图像。背景技术2002年9月6日公布的国际专利申请WO02/069030及2003年9 月18日^>布的国际专利申请WO03/077013,这两者都结合于此以资 参考，公开了具有被调制的光源层和被调制的显示层的显示器。被调 制的光源层被驱动而产生较低分辨率的图像表示。由显示层调制低分 辨率的表示，以提供一个较高分辨率可由观看者观看的图像。光源层 可包括有源调制的光源诸如发光二极管(LED)的一个矩阵。位于光源 层前端并对准的显示层可以是一个液晶显示器(LCD)。如果这两层有不同的空间分辨率（比如，光源层的分辨率可能大约是显示层分辨率的0.1%)，那么软件校正方法和心理响应（例如遮盖亮度）都可以避免观看者看出分辨率不匹配。用来驱动诸如LED或LCD面板的光调制器的电子系统是业内专 业人员熟知的。例如，LCD计算机显示器和电视机有市售。这样的显 示器和电视机包括用于控制由LCD面板上的各象素发送的光的量的 电路。从图像数据信号导出驱动以控制光源层和显示层的任务在计算 上可能耗费高。要获得这样信号可以通过计算机的视频/图形卡的处理 器或者通过某些其它集成到计算机、到显示器自身或到一个辅助装置 的适当的处理器来执行。从图像数据信号导出以控制光源层和显示层的任务在计算上可 能耗费昂贵。获得这样的信号可以通过计算机的视频/图形卡的处理器 或通过集成到计算机、显示器或辅助装置的某些其它合适的处理器来 执行。该处理器的性能限制可能会不希望地限制了可被显示的相继图 像帧的速率。例如，如果处理器的能力不足以按视频数据的帧速率处 理输入的视频数据，那么观察者可能检测到相继视频图像帧之间如电 影那样小的暂停。这可能干扰观测者的注意力并且负面影响观测者的 图像观看体验。需要一种在如上述通用类型的显示器上显示图像的实用的、成本 效益好且有效的显示系统。附图说明附图示出本发明非限制性的实施例。图1的图示描绘了点扩展函数(PSF)分段为窄和宽的高斯基段。图2A，2B和2C的图示描绘了 16位的点扩展函数(PSF)分割成2 个8位（高和低字节）段。图3的图示描绘了 8位高和低字节的点扩展函数值相对于16位 范围的过渡行为。图4的图示描绘了对应于图l所描绘的点扩展函数的高和低字节点扩展函数。图5的图示描绘了一个迭代导出插值函数的应用，即导出一个十 分近似实际有效亮度模式(ELP)的插值有效亮度模式(ELP)。 图6是显示器的原理图。图7是表示用于在具有可控光源层和可控显示层的显示器上显示图像的方法的流程图。图8是表示确定有效亮度模式的方法的流程图。图9是表示确定有效亮度模式或确定一个有效亮度模式分量的方法的流程图。描述在以下全部描述，阐明了具体细节，以提供对本发明更彻底的理 解。然而，本发明的实施可不需要这些特例。在其它实例中，为了避 免对本发明产生不必要的模糊理解，没有详细表示或描述一些众所周 知的元件。因此，本说明书和附图在理解上应被看作是示例性而非限 制性的。本发明可应用到很广的领域，其中图像是通过产生光模式显示 的，该光模式至少部分地由图像数据确定，且调制该光模式以产生图 像。该光模式可以由任意适当的设备产生。某些例子包括：* 由驱动器电路驱动的多个光源，该驱动器电路允许光源的亮度可变化。* 与反射型或传输型调制器结合的固定的或可变光源，该调制 器调制由光源发出的光。以下描述涉及非限制示例的实施例，其中光模式是在一个LCD "面板的一侧由一LED阵列产生，并且LCD面板受到控制以调制光模 式的光产生可视图像。在这个例中，可以考虑LED阵列组成第一个调 制器，并且LCD面板组成第二个调制器。通常，呈现图像帧或帧组以便显示在LED/LCD层显示上，要伴有以下的计算步骤：1. 获取图像数据（可以是满屏或部分屏图像数据）2. 使用业内专业人员熟知的适当技术（例如，可以是基于诸如强 度和色彩这样因素的最邻近插值），对第一个调制器的每一 LED从图 像数据推导适当的驱动值。3. 使用推导的LED驱动值和LED层上的LED点扩展函数以及 LED层与LCD层之间的任何层的特性，确定有效亮度模式，当LED 驱动值应用到LED层时，该模式的结果将在LCD层上。4. 然后，由图像数据定义的图像被有效亮度模式划分，而获得 LCD层的粗调制数据。5. 在某些情况下，粗调制数据被修改而造成在LED或LCD层中 出现的诸如非线性或其它人为因素这类问题。使用业内专业人员熟知 的适当的技术（例如，测量，伽马校正，值替换运算等等），可以处 理这些问题。例如，生成被修改了的调制数据可能涉及改变粗调制数 据，以匹配伽马校正曲线或LCD层的其它具体特性。6. 最后，使用对于LCD的调制数据（可以是粗调制数据或修改 了的调制数据）和LED的驱动数据以驱动LCD和LED层，产生所 期待的图像。在此描述降低产生用于显示图像的最终调制数据的计算成本的 各种方法。这些方法包括：*在较低精确度域中，执行至少某些部分计算（例如，在8位 域，而不是16位域进行计算）；并且* 实现为有效建立此处描述的有效亮度模式的一个或多个选项。虽然这些技术可以是单个实现的，但可使用此处描述的技术的任 意組合。有效亮度模式的确定LED层内的每个LED的点扩展函数是由该LED的几何属性确 定的。确定LED层的总有效亮度模式的简单技术是最初将每个LED 的点扩展函数（具体来说，由LED所发射并通过LED和LCD层之间的所有光结构的光的点扩展函数）乘以所选择的LED驱动值和一个 适当的比例参数，以得到对于该驱动值对LCD层上的每个象素的LED 的有效亮度贡献。照此办法，LED层内的每个LED的亮度贡献可被确定并求和， 以得到LED层上的总的有效亮度模式，该模式是在所选择的驱动值应 用到LED层上时产生的。然而，这些乘法和加法运算计算起来是昂贵 的（即费时），因为为了便于进行上述步骤4的除法运算，必须将有 效亮度模式确定为与LCD层的相同空间分辨率。如果LED的点扩展函数具有非常宽的"支持"，那么计算费用就 特别大。 一个LED点扩展函数的"支持"是由LED以不可忽略的量照 射的LCD象素数。该支持可借助于在LED层象素中测量的半径来规 定，在此，LED点扩展函数变得很小，以至于观察者感觉不出来。该 支持对应于由每个LED以有效量被照射的多个LCD象素。例如，考虑一个六角形LED阵列，其中每个LED的中心与紧邻 LED间隔等于50个LCD层象素的距离。如果每个LED具有含有150 个LCD象素的支持的点扩展函数，那么LCD层中心部分的每个象素 将被来自大约35个LED的光照射。因而就本例来说，为了求出每个 相关LED贡献给每个象素的光量，有效光亮度模式的计算需要对该 LCD层每个象素的35次运算。在LCD层具有高空间分辨率之处，这 种计算就非常昂贵（即费时）。分辨率降低确定在LCD上产生的有效亮度模式所需的时间，可通过以降低 的空间分辨率计算有效亮度模式而降低，该空间分辨率低于出现在 LCD层上的高分辨率图像的分辨率。因为各个光源的点扩展函数通常 是平稳变化的，所以这是可行的。因此，该有效亮度模式以LCD.的 分辨率相对緩慢地变化。从而能够按较低分辨率计算有效亮度模式， 并定标该有效亮度模式直到到所期待的高分辨率，不会引起的显著的 人为因素。可以使用适当的线性的、高斯或其它插值技术进行缩放(scaling)。这样的空间分辨率降低，结果是建立有效亮度模式的计 算耗费近似线性的降低。许多可用的用于按比例增加以低分辨率计算 的有效亮度模式的插值方法，比起以LCD或另外第二个光调制器分 辨率计算有效亮度模式的耗费，在计算上是节省的。用前述的例子，在宽和高两个方向上的IO倍分辨率的降低，产 生计算耗费近似100倍的降低。这是因为降低的分辨率图像上的象素 总数比出现在LCD层上的高分辨率图像上的象素总数要少100倍。 降低了的分辨率图像的每个象素仍从35个LED接收光，必须每象素 35次计算，但与分别对LCD层上出现的实际的高分辨率图像中每象 素分别执行计算的情形相比，这些计算却施加到100倍少的象素上。点扩展函数分解图像呈现的计算耗费也可以通过分解每个光源（例如，每个LED) 的点扩展函数成几个分量（例如，通过执行高斯分解）被降低，照此 办法，将所有分量再组合而产生原来的点扩展函数。然后，可以分别 确定每个分量的有效亮度模式。一旦对每个分量确定了有效亮度模式， 那些有效亮度模式就可被组合而产生总的有效亮度模式。例如，该组 合可以通过力。法进^亍。如上所述，计算由各分量贡献的有效亮度模式可按LCD层的分 辨率或降低了的分辨率进行。由于特别适合执行基于标准的点扩展函数的快速运算（例如，高 斯点扩展函数）的硬件组件市场有售，即使按该LCD层分辨率对每 个分量计算有效亮度模式，也可获得快速的效益。这样的硬件组件对 显示器的LED层内实际的LED的典型非标准点扩展函数，通常并非 市场有售，因而必须诉诸使用通用处理器的相当慢的计算技术。如果使用上述的分辨率降低技术以确定每部分的有效亮度模式，:. 可以达到更大的快速效益。此外，不同的空间分辨率可用于点扩展函 数的不同分量，以产生更大的快速效益。例如，图l(实线)描绘一个示 例性LED点扩展函数，其具有陡的中心部分10及宽的尾部分12。在 这种情况下，实际的点扩展函数可以分解成如所述的一个窄基的高斯分量14A和一个宽基的高斯分量14B。宽基的高斯分量14B(虛线)与窄基的高斯段14B相比，对图像强 度贡献较小。此外，宽基的高斯分量14B比起窄基的高斯分量14A变 化更为緩慢。因此，对于窄基的高斯分量14A的有效亮度模式能按较 高空间分辨率确定，同时对于宽基的高斯分量14B可按相当低的空间 分辨率确定有效亮度模式。这保存了包含在窄基高斯分量14A中的图 像强度信息重要部分，并且由于窄基高斯段的有效支持是小的于是很 少有LCD象素被那种分量覆盖，因而仍然相当快速。反之，由于宽 基高斯分量14B含有相对小的图像强度信息，该分量可以低分辨率相 对快地处理，不会实质上降低组合对每个分量推导出的模式所产生的 总有效亮度模式的分辨率。8位分割图像数据一般是以16位字的形式提供的。高端（即更为昂贵的） 图形处理器典型在16位域进行计算。这样的处理器可具有专用的16 位或浮点算法单元，能够快速执行16位运算。通过在8位域计算有效 亮度模式能减轻对可快速执行16位运算的高端处理器的需要。通过不 很昂贵的处理器能够合理地进行这样的计算。每个LED点扩展函数是强度对相对于LED中心距离的一个二维 函数。这样的点扩展函数可由多个16位数据字刻画。其中，点扩展函 数是通过查找表表示的，需要用许多16位数值来定义该点扩展函数； 例如，对于位于中心在LED上的圆周上或内且半径对应于该点扩展函 数的半径的支持的每一个LCD象素，可以提供一个值。这些16位数据字的每一个具有一个8位高字节分量和一个8位 低字节分量（任意一个16位值J可以分成两个8位值5和C，使得 爿=丑*28+<:，其中5是"高字节"，而C是"低字节"）。只有在所有的 必要的缩放和处理操作已应用到输入的16位数据之后，更适宜抽取该 8位值。图2A描述了一个16位点扩展函数；图2B和2C分别描述图 2A16位点扩展函数的8位高和低字节分量。16位数据字能够表示从2。-1到216-1的整数值（即从0到65535 )。 一个8位字节能表示从2fl-l到28-1的整数值（即从0到255 )。由8 位高字节分量刻画的点扩展函数的"支持"（如前面定义的）比起整个 点扩展函数的支持要小得多（更窄）。这是因为当刻画点扩展函数的16 位数据字作为一个整体达到65535个可能值范围之中的255个值时， 这8位高字节分量达到它的255个可能值的最低值（零）。由该低字 节分量为余下的255个值提供等于零的高字节分量值。从而可以快速 确定对应于窄基8位高字节分量的有效亮度模式，而没有图像强度信 息的实质丢失。分辨率降低和/或其它上述技术进一步加速了 8位高字 节分量的有效亮度模式的确定。由一个8位低字节分量刻画的点扩展函数的支持是相当宽的。具 体来说，尽管8位低字节分量只有255个可能的值，那些值从255降 低到0 (源自作为整体点扩展函数65535个值），并且那些255个值 对应到255个最低强度电平（即按照这个电平，高字节分量的值等于 0)。那些255个电平表示其外围部分中点扩展函数的取值。可以将低字节分量分成两个区域。 一个落在边界内的中心区域， 在边界上由高字节分量刻画的点扩展函数达到零。在该中心区域，如 果原始的16位点扩展函数是相当平滑的，那么低字节分量一般以一种 无规律的锯齿状模式变化（如图3所描述）。这是因为，在中心区域， 由低字节分量刻画的点扩展函数部分增加了由高字节分量刻画的点扩 展函数部分。例如，考虑从16位值10239到16位值9728的过渡。该16位值 10239有39的高字节分量值及255的低字节分量值（即 39*256+255=10239)。因此，这低字节分量对点扩展函数的贡献最初 是255,而高字节分量的贡献最初是39。高字节分量的贡献保持在39， 而低字节分量的贡献平滑地从255降到0——在该点，原始16位点扩 展函数有值9984 (即39*256+0 )。然后，高字节分量的对点扩展函数 的贡献值平滑地从39变到38，但这变化是由低字节分量对点扩展函 数贡献值急骤变化（从255到0)伴随的。在图4可见，在原始点扩展函数半径/?内（并且其中高字节分量 对该点扩展函数的贡献值非零），结果的低字节分量的对点扩展函数 的贡献的锯齿模式是原始点扩展函数的特征。在半径及以外，高字节 分量对点扩展函数的贡献值是零，并且低字节分量对点扩展函数的贡 献值平滑变化。可以在这两个区域内（即半径i?的内部和外部区域）将点扩展函 数低字节分量的贡献进行不同处理，以避免不希望的人为因素。例如， 保持包含在半径及内部区域中的图像强度信息实质部分，最好使用如 前所述用来确定高字节分量对点扩展函数贡献的同一相对高分辨率， 对该区域确定有效亮度模式。反之，可使用没有实质丢失图像强度信 息的低得多的分辨率，确定半径及外区域的有效亮度模式。在三个点扩展函数段（即高字节分量，半径i?内的低字节分量区 域和半径及外的低字节分量区域）经上述处理之后，对结果分别增釆 样以匹配LED层的分辨率，然后与所使用的适当的缩放因子重新组 合。典型组合涉及，在高字节分量的值乘以256之后，对两个低字节 分量区域的值与高字节分量的值求和。敏如果使用分辨率低于LCD层分辨率的分辨率确定有效亮度模式 值，则必须对该值增采样以使得与LCD层的分辨率相匹配。用于对 低分辨率图像增采样为高分辨率图像的插值技术是众所周知的，基于 线性的与高斯的技术是公知的。虽然这种现有技术能够与上述技术结 合使用，但使用对特定显示器配置优化的插值技术可改进准确度或速 度，或它们二者。最优化便于较高分辨率图像压缩，使引入不希望的 插入人为因素最小化，并且降低图像呈现时间。在极端情形下，插值 技术可用来降低有效亮度模式分辨率，使之与LED层的分辨率匹配。现有的插值技术经常限于与特定的预插值数据一同使用，或限于 与具体的插值函数使用。用于使有效亮度模式的分辨率与LCD显示 的分辨率相匹配的该插值技术，不需要满足这样的限制，只要预插值数据与所选定的插值函数的巻积将产生有效亮度模式，该亮度模式相对于实际有效亮度模式具有足够的相似性。所需要的相似度依赖于显示应用。不同的应用需要不同的相似度 "~在某些应用中，相对小的偏差可能无法接受地干扰观察者，而较大 的偏差在其它的应用中倒可能是可容忍的（例如，包括电视或计算机 游戏图像的应用，其中相对大的偏差不过是产生绝大多数观察者可接受质量的图像）。因此，不必直接应用插值技术到实际的LED驱动值， 或应用到实际的LED点扩展函数上。例如，图5描述了通过使用一种迭代导出插值技术降低有效亮度 模式的分辨率以匹配LED层分辨率所得到的结果。在LED层分辨率 上的象素值不是该LED驱动值一它们是插值前该有效亮度模式的亮 度值。可使用标准的迭代方法和随机启动条件确定该插值函数。如图 5中所见，该迭代导出插值函数与有效亮度模式值的巻积产生相当接 近实际有效亮度模式的结果。可以使用许多不同的插值技术。在插值函数和该LED的点扩展 函数、LED驱动值、或任意其它的显示特性之间，不需要任何相关， 只要选定插值函数和为与函数使用选定的输入参数能够产生出相当接 近实际有效亮度模式的结果。示例性实施例图6表示本发明的某些示例性实施例。图6示出一显示器30，包 括一个调制光源层32和显示层34。例如，光源层32可包括：* 诸如LED这样的可控光源阵列；* 一个固定强度光源和一个光调制器，其配置为适于空间调制 来自光源的光强度；* 这些装置的某些组合。在所示的装置中，光源层32包括-LED33的一个阵列。 显示层34包括一个光调制器，该调制器进一步空间调制来自光 源层32入射在显示层34上的强度。例如，显示层34可包括一个LCD 面板或其它传输型光调制器。显示层34 —般具有比光源层32分辨率 高的分辨率。可在光源层32和显示层34之间提供适合将来自光源层32的光传送给显示层34的光结构36。光结构36可包括如空隙，光漫 射体，准直器等元件。在所示的装置中，控制器40包括一个数据处理器42和适当的接 口电子电路，有用于控制光源层32的44A以及用于控制显示层34的 44B，该显示器层接收规定被显示在显示器30上的图像的图像数据46。 控制器40驱动光源层34的光发射器（例如，LED的33)和显示层 34的象素35,以产生供个人或多人观看所期待的图像。可对处理器 42存取的程序存储器46包含软件指令，这些指令当由处理器42执行 时，将引起处理器42执行这里所述的方法。控制器40可以包括一适当的可编程计算机，该计算机具有适当 的软/硬件接口，用来控制光源层32和显示层34，以显示由图像数据 48所规定的图像。图7示出在如图6所示的通用型的显示器上显示图像数据的方法 50。方法50始于在块52处接收图像数据48。在块54中，从图像数 据48推导用于光源层32的第一驱动信号。适当已知方法可用来在块 54获得第一驱动信号。在块56中，方法50计算有效亮度模式。该有效亮度模式可以从 笫一驱动信号和已知的用于光源层32的光源的点扩展函数计算。块 56按低于显示层34分辨率的分辨率计算有效亮度模式。例如，块56 可以按每一维小于显示层34分辨率为4或更小的因子（在某些实施例 中，各维的因子范围在4到16更小）计算有效亮度模式。在块60中，把在块58计算的有效亮度模式增采样达到显示层34 的分辨率。通过使用例如任意适当的插值技术可以实现这一点。在块 62中，从增采样有效亮度模式以及该图像数据确定用于显示层的第二 驱动信号。第二驱动信号也可考虑该显示层巳知特征和任意所期待图 像校正，色彩校正等。在块64处，于块54中得到的第一驱动信号应用到光源层，且块 62中得到的笫二驱动信号应用于显示层，以显示图像供观看。图8表示用来计算有效亮度模式的方法70。方法70可用于方法50中的块56内或应用到其它场合。方法70开始于计算光源层32的 光源的点扩展函数的每个分量的ELP (块72A，72B和72C-共同为块 72)。块72能以任意顺序执行，或彼此平行地执行。图8表示三个 PSF分量73A，73B和73C以及三个对应的块72。该方法可以由两个 或更多的PSF分量73实施。该点扩展函数(PSF)的分量一般是被预定的。将每个分量的表示 存储在处理器42可存取的位置中。对于光源层32的每个光源，块72 的每一个可包括使定义该点扩展函数分量值，乘以表示该光源强度的 值。在块74中，在块72所确定的有效亮度模式被组合，例如通过相 加，产生该有效亮度模式的总的估计，这通过向光源层32施加第一驱 动信号而产生。图9示出可以用于计算有效亮度模式的方法80。方法80可以应用到：* 计算块56中的方法50的有效亮度模式；或*对于方法70的块72中点扩展函数的各分量计算有效亮度模式；或* 应用到其它场合。方法80在块82起始于刻画光源层32的光源的一个点扩展函数 (或一个PSF分量）的数据，以及指示光源在第一驱动信号控制下能 以多大强度操作的数据。方法80将这些值组合到一起（举例来说，将 它们相乘）得到一组值，刻画该光源对各种空间位置的有效亮度模式 的贡献。块84得到结果值的高阶和低阶分量。在某些实施例中，结果值 是16位字，高阶分量是8位字节，且低阶分量是8位字节。对块86和块88中的高阶和低阶分量分别确定对ELP的贡献。 对每个光源，其值包含在86的高阶贡献中的支持区域一般明显小于其 值包含在块88的低阶贡献中的支持区域。块88—般对于位于高阶贡献（块卯）的支持区域内的点，与对 于位于高阶贡献（块92)的支持区域外的点，分别计算低阶贡献。块86，90和92可以按任意顺序或同时执行。在块94中，把来自块86， 90和92的贡献组合到一起产生一个 总的ELP。在高阶和低阶分量是8位字节或更小的情况下，在块86， 90和92中的计算可主要或完全按8位域（即在8位操作数上使用8 位运算）执行。本发明的某些实现包括计算机处理器，该处理器执行引发处理器 执行本发明方法的软件指令。例如，计算机或其它显示控制器中一个 或多个处理器，可通过执行处理器可存取的程序存储器中的软件指令， 实现图7，图8和图9所述的方法。本发明也可以以程序产品的形式 提供。该程序产品可包括任何携带 一组含有指令的计算机可读信号的 介质，这些指令由数据处理器执行时，引起数据处理器执行本分明方 法。根据本发明的程序产品可以在形式上是任意多变的。例如，该程 序产品可包括诸如磁数据存储介质的物理介质，这包括软盘，硬盘驱 动器；光数据存储介质，这包括CD ROM和DVD，电子数据存储介 质，这包括ROM， flashRAM等；或传输型介质，诸如数字或模拟通 信链路。该程序产品上的计算机读信号可以是可选地被压缩或加密。其中的组件（例如， 一个部件，部分，组合件，装置，处理器， 控制器，准直仪，电路等等）除非另有指出，都要参照以上说明，参 照那些组件（包括参照"方法，，）应当解释为包括那些执行所述组件功 能的任何组件等价物（即功能上的等价物），包括的组件并非结构上等价于所透露的执行本发明所示示例性实施例中功能的结构。对于业内专业人员明显的是，按以上的公开，按本发明的实施中，在不违背其精神或范围之下，可能有许多替代和修改，例如：* 光源层可包括许多不同类型的光源，它们可具有彼此不同的 点扩展函数。* 显示器可以包括彩色显示器，以及上述的计算可以对多种色 彩中的每一种分别执行。虽然以上讨论了若干示例方式和实施例，但业内专业人员应看到 一定的改变，排列，添加以及其部分组合。因此这里的意思是，以下所附权利要求和此后的权利要求，被解释为包括在它们实际范围内的 所有这些改变，排列，添加和部分组合。