当与这些申请中以及如下公有美国专利中所进一步揭示的子像素着色 (SPR)系统和方法结合的时候,这些改善将特别明显:(1).美国专利申请 序列号No.10/051,612(“‘612号申请”),标题为“CONVERSION OF RGB PIXEL FORMAT DATA TO PENTILE MATRIX SUB-PIXEL DATA FORMAT”,申请日2002年1月16日;(2).美国专利申请序列号No. 10/150,355(“‘355号申请”),标题为“METHODS AND SYSTEMS FOR SUB-PIXEL RENDERING WITH GAMMA ADJUSTMENT”,申请日2002年5 月17日;(3).美国专利申请序列号No.10/215,843(“‘843号申请”),标题 为“METHODS AND SYSTEMS FOR SUB-PIXEL RENDERING WITH ADAPTIVE FILTERING”,申请日2002年8月8日;在这里引入这些专利作 为参考。
现在对应用和实施例进行详细的参考,在附图中举例说明了其例子。在 可能的地方,对于相同或相似的部分将在全部附图中使用相同的附图标记。
图1显示了能够在表面显示图像的显示屏10。观察者12正处在对于这 一特定显示而言合适的距离上观看显示器上的图像。已知的是,根据显示设 备的技术(液晶显示器LCD、光学发光
二极管OLED、EL等)的不同,显示 图像的
质量作为视角的函数而下降。外视角锥14描述了使用没有对显示图像 数据进行子像素着色(SPR)的典型的RGB条纹系统时,对于观察者来说可 接受的视角的视角锥。
当图像数据本身是按照在引用的申请(例如‘612,‘355和‘843号申 请)中揭示的任何SPR
算法和系统或者以任何已知的SPR系统和方法进行 子像素着色的时候,对于高空间
频率(HSF)边缘可能会出现可接受的视角 的进一步减小(例如内视角锥16)。图2中显示了这样的系统的一个实施例, 其中,源像数据26通过
驱动器20而设置,该驱动器20可能包含SPR子系 统22和时序
控制器(Tcon)24来将显示图像数据和
控制信号提供到显示屏 10。SPR子系统可能存在于多个实施例中。例如,它可以完全在
软件中、在 视频图形适配器或标量适配器上、在Tcon中、或者在实施了低温多晶
硅TFT 的玻璃本身上面。
在观看子像素着色图像时候,可接受的视角的这一减小主要是由可能出 现的色彩伪象引起的,这是因为HSF边缘具有不同的红色、绿色和蓝色子像 素值。对于图5A中使用SPR在白色背景上设计黑色文本的一个例子,绿色 子像素将在100%和0%之间变换,而红色和蓝色子像素将在100%和50%之 间变换。
图3描述了可以运用于在白色背景上的子像素着色的黑色文30的情况。 如图所示,当观察者12大致位于显示屏10的法向轴线上来观看文本的时候, 没有感受到色彩伪象。然而,当观察者“从上或从下观看”屏幕的时候,显 示数据可能在液晶显示器(LCD)上呈现彩色的
色调,这是由于对于不同灰 阶,特别是对于垂直角度(上/下),在有些LCD上视角的各项异性本质引起 的。因此,如同图4中描述,需要对SPR数据进行修正,以增加SPR数据的 可接受的视角40。
为了说明的目的,图5A和图5B描述了这些色彩伪象产生的原因。图5A 显示了一其上可以完成SPR的可能的子像素排列,在上述引用的申请中有进 一步的描述。子像素重复组52包含具有蓝色54、绿色56、红色58子像素的 8子像素图案,其中绿色子像素与红色和蓝色子像素相比具有减少的宽度(例 如,一半或者一些其他比例)。在这一特定例子中,在中间一列绿色子像素的 中央绘制了一根“白色”直线。当在法向轴线上进行测量的时候,以100%的 亮度照亮中间一列绿色子像素;以50%的亮度照亮蓝色和红色子像素。换言 之,绿色子像素使用[255]的滤光器
内核(也就是“单一”滤光器,其中‘255’ 依据计数法计为100%)工作;而蓝色和红色子像素使用[128 128]的滤光器内 核(也就是“箱式”滤光器,其中‘128’依据计数法计为50%)。在零度视 角(也就是垂直于显示器),可以看到一条“白色”的直线,这是因为蓝色和 红色子像素宽度是绿色子像素的两倍。从而对于红色相对绿色或蓝色相对绿 色的尺寸比例是2∶1的情况,在G~100,R~50,B~50的条件下,形成了色 度平衡的白色100-2×(50)-2×(50)。如果尺寸比例不是2,将对乘数作适 当的调整。
图5B显示了两条曲线,即相对于视角的100%和50%亮度曲线,这在诸 如LCD之类的显示器中是公知的。绿色子像素满足100%亮度曲线,而蓝色 和红色子像素按照50%曲线。在法向轴线上(也就是零度视角),SPR工作正 常而没有额外的色彩伪象。随着视角增加到角度θUP,观察者会看到绿色子 像素的亮度下降ΔG,而蓝色或红色子像素的亮度都下降ΔR,B。这样,在角度 θ1,G’~80,R’~20,B’~20,这会导致白色直线的图像显示带绿色的色调, 例如80-2×(20)-2×(20)。对于角度θDOWN,绿色子像素的亮度再次下降ΔG, 而蓝色或红色子像素的亮度实际上会增加ΔR,B。在这种情况下,白色直线会 呈现洋红色色调。
因此,为了校正这种色彩伪象,可能需要在按照一不同的曲线来驱动绿 色子像素—有可能的话还有红色和蓝色子像素,使得绿色子像素相对于红色/ 蓝色子像素下降的Δ值以他们总的曲线的相对百分比而更好的相互匹配。在 一个实施例中,绿色子像素采用一“1×3”滤光器驱动(也就是“帐篷式” 滤光器)。下面将会进一步讨论,这个新的滤光器减小了绿色子像素在高频率 边缘的亮度,从而其与红色和蓝色的数值更接近。
图6A和6B描述了这种校正的一个实施例。在图6A中,用新的子像素 排列来产生“白色”直线。使用了三列绿色子像素,并且对于左、中、右绿 色子像素列分别使用12.5%、75%和12.5%的亮度。红色和蓝色子像素棋盘列 保持在50%。因此,在垂直视角(也就是θ=0),以G~12.5+75+12.5,R~50, B~50,在中间一列绿色子像素的中央产生了一条相似的
色度平衡的“白色” 直线。换言之,绿色子像素以一不同的帐篷式滤光器[32,192,32]工作,而 红色和蓝色子像素以相同的滤光器[128 128]工作,以下将作进一步的说明。
参考图6B来描述偏离法向轴线所观看到的效果。相比100%曲线,75% 和12.5%曲线在形状上与50%曲线更接近。这样,在视角之内,曲线之间的 比例更能够保持常数从而色彩的色调将保持“白色”。
可以意识到,有其他的曲线,按照其来驱动不同色彩的子像素,也能够 满足本发明的目的。其满足不同色彩的Δ下降充分匹配足够接近可接受的观 看性能(也就是说在偏离法向轴线观看时,没有不可接受的色彩伪象)。还可 以意识到,相同的减小色彩误差的技术对于其他子像素重复组同样适用,并 且这里包括的对于图5A中的特定重复子像素分组的讨论也仅仅用于举例说 明的目的。对于任何子像素重复组,适当地选择一组曲线来提供可接受的观 看性能。这样的曲线也会随着不同色彩的子像素各自的尺寸而变化。这样, 由于在图5A中绿色子像素的宽度是红色和蓝色子像素的一半,适当的曲线 选择中会考虑这些尺寸。
自适应滤光和伽
马校正的使用
这里描述的技术也能够与其他处理技术,例如‘843号申请和‘355号申 请中揭示的自适应滤光和伽马校正,一起使用,并且可能通过这些其他处理 技术而增强。例如,如前面提出的,在高空间频率区域,比如在边缘或者其 他锐变区域,由偏离法向轴线的视角所引起的色彩误差更加明显。这样,对 于那些特定区域,选择性使用上述技术检测高空间频率区域可能是重要的。
例如,在一由亮到暗的边缘过渡,绿色子像素的数值(使用单一滤光器 工作)依据上述计数法从255变化到0。红色和蓝色子像素(使用箱式滤光 器)分别设定在128。由于对于扭曲向列TN LCD,255和128的视角有很大 的不同,因而存在色差。另一方面,如果绿色滤光器是[32 191 32],那么绿色 数值从255到224到32到0(四个连续的数值)。224和32的视角特性(相 比255或0)更接近红色和蓝色的数值128,从而存在较小的色差。尽管清晰 度有些损失,但不是十分明显。除此之外,也可以在绿色或红色或蓝色上应 用伽马校正来改善色彩匹配。更为普遍的是,可以由[f,1-2f,f]×255推导 出用于绿色的对称帐篷式滤光器。“f”的数值可以在总亮度的0-20%之间的 任意数值而不会反过来影响高空间频率信息(比如文本)的“清晰度”。对于 只对图像着色的LCD,例如电视,“f”可以大大的提高而具有可以接受的效 果。除此之外,帐篷式
滤波器也可以朝向其他的方向,比如垂直。在这个例 子中,帐篷式滤波器具有数值: 32 192 32
也可以使用对角线滤波器。
其它实施例(与用于操作绿色子像素的对称帐篷式滤光器不同的滤光器) 是不对称箱式滤光器,比如[192 63]或者[63 192]。这些滤光器也改善了清晰 度,而同时保持改善的相对于视角的色彩性能。用于边缘的新的数值(255 到192到63到0)更加接近红色和蓝色的数值128,从而能够改善视角性能。 在这种情况下,对于宽度大于1个像素的黑色笔划,其左右边缘的数据存在 可以观看到的非对称。在这些情况下,可以使用自适应滤光,通过观看数据 集中的4个像素来检测边缘是“高到低”还是“低到高”。当检测到高到低, 滤光器可以是[63 192];对于低到高,它可以是[192 63]。如同‘843号申请进 一步描述的那样,这个例子中的自适应滤光检测对于高到低是“1100”或者 对于低到高是“0011”。
在任一情况下,只需要在色彩误差明显的、从亮到暗的过渡(比如黑色 文本)使用帐篷式滤光器或不对称箱式滤光器。自适应滤光可以用来检测由 亮到暗的过渡并使用新的滤光器。存在几个选项:在所有情况下,可以通过 一个单独的测试设定亮度“步进”的幅度。以下是具有代表性的测试情况:
(1)通过观看所有的三种色彩检测白色到黑色(黑色文本);如果所有 的色彩改变了,那么对绿色使用帐篷式滤光器或不对称箱式滤光器,否则对 绿色使用单一滤光器并且对红色和蓝色使用箱式滤光器。
(2)检测到亮绿到暗绿的过渡,但是没有红色和蓝色的过渡,那么对 于绿色使用单一滤光器,对红色和蓝色使用箱式滤光器。值得注意的是,在 这种情况下可以不需要对视角进行补偿。
(3)检测到黑色到白色的过渡(白色文本),那么对绿色使用帐篷式滤 光器或不对称箱式滤光器,对红色和蓝色使用箱式滤光器。为了正确的亮度, 应该使用伽马校正。
(4)检测到暗绿到亮绿的过渡但是没有红色和蓝色的过渡,那么对于 绿色使用单一滤光器,对红色和蓝色使用箱式滤光器(使用伽马校正)。值得 注意的是,这种情况下可以不需要对视角进行补偿。
(5)对于红色和蓝色暗到亮的过渡,可能需要同时使用标准箱式滤光 器和伽马校正。对于红色和蓝色亮到暗的过渡,为了增强文本笔划的暗度, 可能需要使用标准箱式滤光器而不使用伽马校正。
在以上所有使用伽马校正情况中,可以选择伽马的数值来得到该显示器 的最佳整体性能。它可以不同于该显示器的伽马值。
用于不同观看条件的视见参数的外部调整
SPR技术通常被优化用于每个子像素布局,并且该数值存储在ASIC、 FPGA、或其他合适的
存储器/处理系统中。根据使用者的偏爱可以作某些折 衷。例如,文本的清晰度的程度(或其他高空间频率信息)、最佳视角、相对 于清晰度条件的色彩误差等,是可以由使用图形子系统的应用程序或者使用 者本身来控制的一些视见参数。
清晰度的程度可以通过按照如下方式改变滤光器系数来控制。
没有清晰度 0 1 0 1 4 1 0 1 0
中等清晰度 -1/4 1 -1/4 1 5 1 -1/4 1 -1/4
全清晰度 -1/2 1 -1/2 1 6 1 -1/2 1 -1/2
为了控制清晰度的等级,图形子系统(比如图2中的子系统20所示的实 施例)可以包含一个寄存器,该寄存器包含对应于清晰度的不同等级的数值 (例如,类似上述的三种等级)。使用者可以通过系统上的物理
开关(例如, PC或者任何外部显示器)或者软件开关(例如控制面板设置)选择清晰度, 或者发送图像数据到图形子系统的应用程序可以自动改变观看设置。
可供选择的是,伽马表格的数值可以在使用者的控制下调整。例如,对 于黑色文本,期望低的伽马数值;而对于白色文本,可能期望较高的数值。 伽马的变化也可以是不同的查找表格或者应用到数据的不同函数。根据显示 器的特性,伽马的数值对于正的和负的过渡可以相同或者也可以不同。
另外的调整输入是调整作为视角的函数的峰值反差比。LCD在给定的角 度上具有峰值反差比,该角度由所加的
电压设定。这一电压通常在工厂中设 定而且不能由使用者调整。然而,例如,对于黑色文本或者高空间频率信息, 可能需要能够调整峰值视角。
使用SPR
数据处理,通过改变例如图5A所示的重复分组中的绿色子像 素的滤光器系数,可以有效地改变对应于“100%点亮”的电压。在具有例如 图5中提供的重复子像素分组的显示器中,峰值反差比主要由绿色数据决定, 红色和蓝色数据有贡献但是没有那么多。即使通过系统或使用者进行5-10% 的调整,也将基于视角改善观看条件。图7显示了一系列的三条曲线,该曲 线画出了在100%、90%和80%三种亮度等级下反差比相对于视角的关系。可 以看出,对于不同的亮度等级,将在不同的视角获得峰值反差比。这在扭曲 向列TN LCD显示器的法向轴线上是很特别的。
为了针对特定使用者的视角调整诸如反差比之类的视见特性,图8描述 了用于实施这种调整的多个单独的实施例。膝上型电脑80是允许这样的使用 者调整的一种可能的显示器平台。其他的平台可以是监视器、
蜂巢电话、PDA 和电视。第一实施例是一手动物理开关82,使用者可以调整开关以获得对于 使用者的特定视角来说合适的反差比。第二实施例可以是软件开关(显示为 窗口84),其允许使用者选择一可能的反差比设置。这样的软件开关可以通 过单独应用程序(例如文字处理器,
电子制表软件之类),或者通过
操作系统 本身激活,该应用程序存取并着色显示数据。第三实施例可以是由开关86进 行的自动调整,该开关记录了膝上型电脑的
键盘和显示屏幕本身之间的角度。 这一角度足以推断出使用者相对于屏幕的视角。基于这一推断出的视角,系 统可以相应的自动调整反差比。第四实施例可以是眼球追踪设备88,其记录 使用者头部和/或眼球的
位置,并且从数据中计算使用者相对于屏幕的视角。
时序子像素着色
目前,红色和蓝色图像数据通过SPR处理进行平均,以在显示器的红色 和蓝色子像素上产生合适的数值。对于某些液晶显示器,这一平均会引起视 角问题,这是因为视角特性是设置在像素上的电压的函数。为了平滑视觉效 果,这里揭示的几个实施例描述了一时序方法来产生该平均数值,从而视角 不受子像素着色的影响。如同下面参考图16所作的进一步讨论,一个实施例 从两个相邻的源像素获取图像数据并且一个帧接一个帧地连续使用这些数 据。由于从像素到像素的数据不会有戏剧性的改变,因此不会观察到闪烁。 对于剧烈的过渡,自适应滤光接管并且这一时序平均可以被关闭。
作为例子,图9显示了如何在具有子像素重复组的显示屏上着色一条“白 色”直线,该子像素重复组例如为分组50,其包括红色子像素52、绿色子像 素54和蓝色子像素56。这个子像素重复组的选择仅仅用于说明的目的,其 他子像素重复组也会满足本发明的目的。这样的其他子像素重复组在上述作 为参考引用的专利申请中有进一步的描述。
图9-12描述了时序子像素着色一条单独的垂直白色直线来减小偏离法向 轴线色彩误差的量的不同实施例。在图9中的帧1中,前三列彩色的子像素 被完全照亮(如粗阴影线所示);而在图9的帧2中,只有绿色子像素的中间 一列被完全照亮,而其余的熄灭。如果两个帧切换的足够迅速,那么视觉效 果保持为“白色”直线,但是,如同下面将会解释的那样,减小了偏离法向 轴线色彩误差的量。
图10显示了帧1,具有顶部行(前三个子像素),只有底部中间列绿色 子像素被完全照亮。帧2具有底部行(前三个子像素),顶部中间列绿色子像 素被完全照亮。
图11显示了帧1,具有上部左侧和下部右侧红色子像素以及两个中间绿 色子像素被完全照亮。帧2具有下部左侧和上部右侧蓝色子像素以及两个绿 色子像素被完全照亮。
图12显示了帧1,其前两列被完全照亮;而帧2显示了第二和第三列被 完全照亮。所有四个图9-12一起描述了及时进行子像素着色,其为人类观察 者在法向轴线观看上产生适当的色彩;同时减少在偏离法向轴线观看上的色 彩误差,特别是针对LCD显示器。这些照亮和熄灭的像素的集合可以在规定 的时间顺序内改变,来将闪烁最小化;例如,图9到12的顺序可以在8个帧 的数据上进行重复。
为了说明的目的,图13描述了这些色彩伪象产生的原因。当如同在图9 的帧1中那样绘制一单独“白色”直线,并随时间保持(这对于不随时间变 化的SPR来说是有代表性的),该直线位于中间一排绿色子像素的中央。当 测量法向轴线时,中间一列绿色子像素以100%的亮度等级被完全照亮;红色 和蓝色子像素以50%的亮度被照亮。换言之,绿色子像素以[255]的滤光器内 核(也就是具有依据计数法计为100%的[255]的单一滤光器)工作,而蓝色 和红色子像素具有滤光器内核[128](也就是具有依据计数法计为50%的 ‘128’的“箱式”滤光器)。在零度视角(也就是垂直于显示器),可以看到 一条“白色”的直线,这是因为蓝色和红色子像素是绿色子像素宽度的两倍。 从而,以G~100、R~50、B~50,色度平衡的白色因100-2×(50)-2×(50)而 产生。由于红色和蓝色子像素是绿色子像素宽度的两倍这样的事实,使得用 于红色和蓝色的乘法因子为2。
随着视角增加到角度θUP,观察者会看到绿色子像素的亮度下降ΔG,而 蓝色或红色子像素的亮度都下降ΔR,B。这样,在角度θUP,存在G’~80,R’~20, B’~20,这会导致白色直线的图像呈现带绿色的色调,例如80-2×(20)-2× (20)。对于角度θDOWN,绿色子像素的亮度将再次下降ΔG,而蓝色或红色子 像素的亮度实际上会增加ΔR,B。在这种情况下,白色直线会呈现洋红色色调。
因此,为了校正这种色彩伪象,需要按照一不同的曲线来有效地驱动红 色和蓝色子像素,使得绿色相对于红色/蓝色子像素的下降值Δ如他们总的曲 线的相对百分比那样更好地相互匹配。图13显示了一条中间曲线,其是100% 和0%之间的平均曲线。这一中间曲线描述了红色和蓝色子像素在帧1中以 100%的亮度驱动而在帧2中以0%的亮度驱动的时候,所产生的时间平均曲 线。可以看到,在图13中处于相同的偏离法向轴线角度时,绿色和红色/蓝 色子像素之间降低的差值有更好的匹配。
上述子像素时序着色的其他实施例和改进是可能的。图14A、B和C是 一个系列的三个曲线图。图14A显示了显示器随时间的典型的亮度响应曲线。 图14B给出了一系列的脉冲序列,每个脉冲的宽度等于一个帧并且代表了施 加在红色和蓝色子像素上的电压(例如,对于上述白色直线的例子)。因此, 对于奇数帧,以100%的亮度驱动红色和蓝色子像素,对于偶数帧,以0%的 亮度驱动红色和蓝色子像素。
可以看到,液晶的响应时间(如图14A所示)比该帧时间长,如图14B 所示。因此,图14C给出了所得到的显示器上红色和蓝色子像素的亮度响应。 如同我们上述的例子,绿色子像素以100%的亮度驱动。图14C中红色和蓝 色子像素的平均响应大约为20%,其并非色调平衡的白色,而是更多的带绿 色色调。
为了纠正这一色彩
不平衡,图14D描述了驱动电压的一个实施例,该驱 动电
压实现红色和蓝色子像素的大约50%的平均亮度。图14E中给出了使用 这样的脉冲序列(也就是,具有两个横跨在该子像素的子像素50%亮度点上 的电压)来驱动红色和蓝色子像素的效果。可以意识到,任何能够大致给出 图14E中所示亮度曲线的适合电压对都可以满足要求,从而本发明不局限于 图14D所描述的两个电压。
因为液晶在两个极端的亮度值上具有最佳视角,因此,其实现了50%的 平均亮度但是经历了接近100%和0%峰值亮度的可供选择的实施例,可以提 高整体视角性能。如果LC没有完全切换,那么红色和蓝色子像素的亮度将 是错误的,从而会看到色彩边缘现象。在这种情况下,可以提供像素数值的 增益或者偏移来达到所需的亮度。例如,如果像素在一帧时间(~15ms)中 不能完全切换,那么LCD的平均亮度(透过率)将会小于这两个像素的平均 值。如果需要由黑到白的边缘,那么这两个数值是100%和0%以达到平均值 50%。如果,例如,LC只切换到50%然后又回到0%,那么需要把这两个像 素数值乘以0.5,然后加上0.25。然后两个状态会在100*.5+.25=75%和 0*.5+.25=25%之间切换以达到所需的平均值50%。这些增益和偏移值可以按 经验调整或者可以计算。一旦确定,它们对于所有的显示屏都是相同的,除 非LC材料或者单元间隙改变了。色彩
稳定性不会比采用响应更快的LC材料 的好,但是对于非时序滤光是一个改善。也可以仅仅调整低值,而高值保持 常数。这会改善视角。
具有任意数量帧的时序图案
现在描述一可供选择的实施例,其使用多个帧来实现所需的时序平均。 图15A和15B描述了为某种液晶性能而优化的脉冲序列,例如图14A中所描 述的那样(例如,与下降时间相比较慢的上升时间)。图15C和15D描述了 为具有上升时间和下降时间更加相等的性能曲线的液晶所优化的脉冲序列。
图15A给出了一脉冲序列,其中施加在红色和蓝色子像素上的电压对于 两个帧是100%,对于一个帧是0%。图15B是所得到的亮度。图15C给出了 一脉冲序列,其中施加在红色和蓝色子像素上的电压对于三个帧是100%,对 于三个帧是0%。图15D是所得到的亮度。可以在图15B和图15D中看到, 液晶在大部分时间处于100%或0%,平均值为50%。
然而,在图15B或图15D中,在红色和蓝色子像素中都存在潜在的闪烁。 通过在时间或者空间上改变脉冲序列,可以减少这个潜在的闪烁。例如,在 显示屏上相互靠近的红色和蓝色子像素可以使用相同的脉冲序列驱动但是相 互之间的
相位不同。这样,红色和蓝色子像素被有效的相互交织以减少时序 闪烁效果。相同相位的脉冲序列可以运用到相邻的红色子像素本身或者蓝色 子像素本身以实现相同的结果。除此之外,可以用其他的方式设计脉冲序列 来将可见的闪烁最小化:(1)通过将闪烁频率保持为尽量高;和/或(2)通 过将图案设计成在较低频率闪烁部分具有较少
能量,而在较高频率部分具有 较多能量。
可以设计其他适合用来获得大致相同结果的脉冲序列的实施例,来匹配 任何给定的液晶性能曲线。例如,如果液晶具有快的上升时间和慢的下降时 间,那么合适的脉冲序列可以是,对于帧1是0%,对于帧2和3是100%, 然后重复。
通常,通过在一照亮/熄灭图案周期中使用任意数量的帧,可以设计一照 亮和熄灭的脉冲序列或图案,而最终给出正确的平均像素亮度。如同所讨论 的,单独的图案可以应用到每种色彩上。这一技术可以具有较低的时序分辨 率,但是更明智的是应用于静态图像,可以实现从一特定像素发出正确数量 的光线。在滚动文本的情况下,也可以运用这一技术。由于操作者通常不会 在文本运动的时候试图阅读文本,任何由于所加的图案引起的时序失真不会 负面的影响使用者的感受。该图案可以设计来对滚动文本提供色彩校正。
这一实施例避免了引入偏离图14D中所使用的零值的电压的必要,以实 现任意数值的子像素亮度,进而避免了由非零数值引起的视角以及色彩误差 问题。通过只使用完全照亮和完全熄灭的数值,性能将和RGB条纹显示屏性 能相似。
另一合适的脉冲序列的例子如下:考虑一四帧图案1,1,1,0(或其他 任意图案),其应用于红色和蓝色子像素以使各自的闪烁相互抵消,也就是红 色和蓝色子像素在亮度相位之外。在此例中,绿色保持未经调制。理论上, 红色和蓝色子像素的输出亮度最大为75%。然而,在亮度和熄灭响应时间的 不对称时,响应将小于75%,根据特定的LC响应时间而接近50%。假设刷 新率为60Hz的话,闪烁频率是15Hz,但是通过对红色和蓝色定相以相互抵 消,可以使变动最小化。由于接近100%的绿色子像素,残留的闪烁将是总的 光线的一部分,从而将减弱闪烁效果。
实现时序SPR的反转方案
对于LCD,其为极性反转以得到横跨显示屏的0V的直流电压,在使用 时序滤光的同时有一额外的要求。通常极性为每个帧时间反转一次,或者逐 行(行反转),或者逐列(列反转),或者逐像素(点反转)。在点反转的情况 下,反转的极性每行(1∶1)或者每两行(1∶2)变化一次。选择每个帧进 行极性反转一次在某种程度上是为了便于
电路设计;极性可以每两个帧反转 一次而不降低LC材料的性能。当采用时序抖动的时候,期望每两个帧反转 一次,从而不会使得额外的电压沿着边缘加到显示屏上。这会在每个帧反转 一次的情况下发生,因为一些像素会以1010……切换;如果极性每个帧反转 一次,那么状态“1”将总是相同的极性。
不同应用的实施例
图16中显示了用于执行时序SPR系统的一个进一步的实施例。这一实 施例假设一显示屏具有图9中所示的子像素重复组;然而,可以意识到,可 以对本实施例进行适当的改变而允许其他的子像素重复组。图16仅仅显示了 红色数据;蓝色数据将做相似的处理。由于图9的重复分组中的绿色数据从 源像数据中映射为1∶1,因此不再需要时序处理绿色数据。当然,使用其他 的子像素重复组的时候,绿色数据可能也需要进行时序处理。
图16显示了如何从源像数据平面1602将红色数据映射到帧1604和1606 上的显示屏数据平面,其中显示屏具有上述布局。例如,RS11映射成帧1 (1604)中的RP11,而RS12映射成帧2(1606)中的RP11。这种映射有效 地平均了RS11和RS12的数值(产生了空间“箱式”滤光器的等同)并将结 果输出到RP11。类似地,RS22将输出到帧1中的RP21,RS23将输出到帧2 中的RP21。
可以看到,红色源像数据可以存储在系统中或者输入到系统中。红色和 蓝色数据的这一时序平均将得到与RGB条纹系统相比相同的视觉效果;视角 和响应时间效果将是相同的。它也可以简化帧应用程序的数据处理,比如照 相机或TV应用程序。这一用于重新映射的实施例对于着色文本可以很有效, 但可能会导致一些灰阶误差从而影响图像质量。这样,还有如图17所示的用 于重新映射图像的实施例,其首先平均源像素,然后输出到显示屏。例如, 通过函数1708平均RS11和RS12然后输出到帧1(1704)中的RP11。通过 函数1708平均RS12和RS13然后输出到帧2(1706)中的RP11。可以理解 的是,函数1708可以除了仅仅平均两个像素之外,还可以包括对2个或更多 输入像素进行更加复杂的子像素着色处理。同样可以理解的是,图16和17 中描述的这些技术可以等效为所有的显示技术,例如LCD、OLED、等离子 体、EL和其他像素化彩色显示器。特别是对OLED和
等离子体,与LCD相 比,视角和响应时间都不是问题。从而,对于这些技术使用时序SPR的主要 目的是简化SPR处理,例如,不再需要伽马校正。
自适应滤光的使用
可以使用自适应滤光来决定什么时候直接使用这些数值或者对它们进行 平均。对于边缘,逐个帧地平均R和B的数值,以保持视角。对于非边缘, 首先平均相邻的数值然后输出到输出子像素。不必要期望对边缘进行相邻图 像数据平均,这是因为平均将导致边缘模糊化,从而使转化的清晰降低。因 此,可能期望检测图像中边缘出现的地方和时间。
平均会使得图像稍微更加精确一点。可以注意到,在奇数帧平均到左侧 像素,而在偶数帧平均到右侧像素。一典型算法如下(为红色而给出):
奇数范围:
IF ABS(RSn-RSn-1)>max THEN RPn=RSn-1 ELSE RPn=(RSn+RSn-1)/2,
其中RS为源像素(例如红色)而RP是显示屏像素,选择合适的“max”从 而图像中这个点上有很大的可能性出现一边缘。
偶数范围:
IF ABS(RSn-RSn-1)>max THEN RPn=RSn-1ELSE RPn=(RSn+RSn-1)/2,
其中RS为源像素(例如红色)而RP是显示屏像素,选择合适的“max”从 而图像中这个点上以合适的概率出现一边缘。
运动图像数据的自适应滤光
如上所述,一些显示屏技术,特别是液晶显示器(LCD),当观察者在偏 离法向轴线视角上观看的时候,在子像素着色文本或高空间频率(“HSF”) 的其他区域会表现出色彩误差。然而,在一些LCD上,由在不是法向轴线视 角上观看引起的色彩误差对于观察者来说是明显的,甚至处于法向轴线上来 观看显示屏对于观察者来说色彩误差也是明显的。例如运动的子像素着色文 本(或其他高空间频率区域)在运动中可能产生色彩误差。这一效果的一个 例子是文字处理器应用程序窗口中滚动的文本。根据显示屏技术(例如,扭 曲向列TN-LCD),在滚动文本的时候,色彩误差可能相当显著并且有可能分 散使用者的注意
力。当然,一旦滚动或运动停止,随着TN-LCD的响应时间 有时间来“追上”当前静态的文本,色彩误差通常也停止了。
图18A和18B描述了上述一个例子中的情况。显示了一显示屏1800,其 具有一文字处理应用程序将图像数据发送到窗口1801中的显示屏。在文字处 理窗口中,有一些文本1802,为高空间频率数据的范例。文本的一个点1804 (例如字母“T”的边缘点)位于图18A中显示屏上的坐标点(X,Y)。随 着文本向下滚动,该边缘点运动到图18B中显示屏上的新坐标点(X’,Y’)。 在边缘点由点1804过渡到1806这段时间中,“T”在屏幕上可见而且逐个帧 的向下朝它的新坐标点“运动”。如果显示屏的着色技术(例如液晶)的响应 时间不够快,那么,如果“T”在这个时候正在被子像素着色,就可能出现明 显的色彩误差。
图19显示了从100%或50%亮度下降到0%亮度的响应曲线(即相应的 曲线1902和1904)以及从50%或0%亮度上升到100%亮度的液晶响应曲线 (即分别为曲线1906和1908),并给出了作为问题实质的更好解释。例如, 当黑色文本在具有重复子像素分组(例如分组50)的显示器上着色的时候, 绿色子像素在100%和0%之间切换而红色和蓝色子像素在100%到50%之间 切换。在黑色文本的运动中,绿色子像素因此在100%到0%到100%之间切 换,而红色和蓝色子像素在100%到50%到50%之间切换。如同所显示的那 样,100%到0%的响应时间比100%到50%的响应时间快很多。
那么在黑色文本的运动中,将会出现红色、绿色和蓝色像素亮度不平衡 的情况而导致色彩误差。实际上,趋向于出现过多的红色和蓝色亮度而在文 本上产生洋红色色调。0%到100%的转化基本上与50%到100%的转化相同, 因而在本例中本质上不会增加色彩误差。然而,在其他LCD模式,这一转换 可能也具有很大的差异而在运动中引起色彩误差。
减小运动子像素着色文本和其他高空间频率图像数据上的色彩误差量的 一个实施例是采用自适应滤光技术。可以使用自适应滤光器测试来检测图像 中高空间频率边缘的运动。当检测到运动的边缘,文本的子像素着色可以改 变为一新的状态。在运动边缘静止之后,SPR返回到常规模式。可以使用如 ‘843号申请所揭示的那些技术来检测边缘以及检测数据中的高频率转化。 一简单的计数器可以与SPR算法一起使用,计算图像中检测到边缘的次数。 统计而言,大量的边缘表示检测到文本。如果检测到低数量的边缘,那么图 像可能是图形。由于这一问题主要出现在文本的边缘,一个实施例中可能仅 对文本引入滤光器的改变。
图20描述了用于运动自适应滤光的系统实施例2000。系统2000包括具 有SPR子系统2004的图形子系统2002,该SPR子系统2004包括输入到该 图形子系统中的子像素着色源像数据2012的系统和方法(例如‘612号申请、 ‘355号申请和‘843号申请中所揭示的那些)。源像数据通常由操作系统2014 或应用程序2016产生,并发送到图形子系统用于显示器上着色。
SPR子系统2004可以使用存储器2006来保留源像数据中高空间频率点 的数量和/或位置的信息。可供选择的提供一时序控制器(TCON)2008来发 出时序指令到显示屏2010,该显示屏可以是LCD或其他相对灰阶而言具有 适当不同的响应时间以产生上述色彩误差的技术。可以意识到,系统2000仅 仅是用来实施这里所揭示的技术的一种可能的实施例。例如,SPR子系统可 以是应用系统集成电路(ASIC)、场可编程栅阵列(FPGA),在通用处理器 控制下完全用软件实现,或者甚至实施在显示屏本身的玻璃上(特别是对低 温
多晶硅(LTPS)显示屏)。除此之外,存储器2006可以实施在任何规格的 RAM或者任何其它已知或未来的存储器中。一个实施例包括一图形子系统, 该图形子系统进一步包括:一子像素着色子系统;一耦合到所述子像素着色 子系统的存储器,用于在多个图像帧中存储输入图像数据,以及一处理子系 统,用以测试运动文本或高空间频率的其他点,如果测试指示了运动文本或 其他高空间频率的所述区域,则将信号发送到所述子像素着色子系统,以在 图像数据的连续帧中改变子像素着色。可以意识到,该处理子系统可以作为 子像素着色子系统本身的一部分或者整体来实施。
图21显示了实施用于校正这种色彩误差的技术的一个实施例。大体上, 该实施例包括一显示系统,该显示系统包括具有子像素着色系统的图形子系 统。该系统,记录了图像数据的第一帧中的高空间频率点;将高空间频率点 与图像数据的第二帧中的对应点进行比较;如果在第二帧中,点的数量从高 空间频率变成低空间频率而达到了某一
阈值,那么改变输入图像数据上的子 像素着色。
该技术从步骤2102开始,其中,坐标为(X,Y)的图像数据点输入到 SPR子系统中。在步骤2104测试该数据点来检查该点是否处于帧的结束。如 果是,那么该技术在步骤2106开始处理。如果不是,那么在步骤2108中测 试(通过自适应滤光器或者其他任何当前已知或未来的装置)该点是否处于 高空间频率区域(例如文本)的边缘。如果不是,那么在步骤2110,图像数 据在下一坐标点加1,并回到步骤2102。当然,其他SPR功能可以在本技术 的任何步骤应用到该点上,因此本实施例可以结合记录运动文本或者HSF区 域,与其他SPR功能一起合作。
如果检测到该点是文本或HSF区域的边缘,那么在步骤2112增加一“当 前”边缘计数器,来将一帧中边缘点的数量加1(这样,需要在每个帧开始 的时候把计数器重新设置为0)。在步骤2114,存储每个当前第n个边缘点的 位置,可能在存储器2006中,其中选择“n”以统计地给出良好性能来记录 运动文本或HSF区域。数字“n”在从1到屏幕上可以寻址的点的总数之间 所有可能的范围内取值。然而,如果系统设计者需要关于HSF文本和图像所 有边缘的位置接近完整的信息的话,n=1(即存储了在屏幕上每个可能的可以 寻址的点)可以是一个有用的衡量标准,但是较少数量的点将足以给出良好 的指示,说明在屏幕上有处于运动中的HSF区域。当n=屏幕上可以寻址的点 的总数(即每个屏幕保存一个信息点)的时候,将不会是一个有用的衡量标 准,因为不会有足够的数据来指示这里有相当数量的运动HSF文本和图像以 保证采取处理。因此,“n”的数值最好处于这两个极值之间。
可以意识到,其他的实施例可以有用于选择并存储点的位置的其他衡量 标准,包括随机选择。没有必要以模算法的形式存储数据。其满足存在足够 数量的点来记录运动的文本和HSF区域。在步骤2116,图像数据加1成为下 一位置并在步骤2102开始处理,直到检测到帧条件的结束。
图22在步骤2106/2202继续该处理,将“当前”边缘点与“前一”帧的 存储数值中相同的点进行比较。如果该比较显示为“当前”边缘点与前一帧 的边缘点“相同”,那么该测试显示为检测到没有或几乎没有运动,从而接着 处理下一帧的数据并且在必要情况下在步骤2204中打开SPR(例如,假设 SPR之前通过这一处理被关闭了)。另一方面,如果比较显示为当前边缘点与 前一帧的边缘点很“不同”,那么检测到了运动,其足够使得系统可以在步骤 2206采取校正处理,例如对于下一帧(以及需要的话,其他连续的帧,直到 运动停止)关闭SPR。
可以意识到,“相同”和“不同”包含很多可能的衡量标准。“相同”可 以表示从一个帧到另一个帧没有一个边缘点发生了改变(或者增加或删除 了)。可选择的,“相同”可以表示系统容许一定数量或一定百分比的边缘改 变而不需要采取校正处理。同样,系统甚至可以将屏幕的某个子集区域中的 百分比变化考虑为“相同”或“不同”。一个实施例可能考虑到:在屏幕较小 的子集区域中的百分比变化表示了,很可能存在打开的窗口(例如,文字处 理器)而且HSF信息在运动,其中,该窗口没有占据整个屏幕。在这样的情 况下,系统可以对屏幕的那一部分关闭SPR而对屏幕其他的区域保持先前的 处理。当然,“相同”或“不同”的等级可以按照试探法分析或者经验化数据 分析,预先设置在系统中。这些等级可以考虑成阈值等级或数值,并且可以 由
人工智能机
制动态地控制,或者由使用者自己设置。
同样可以意识到,“当前”帧和“前一”帧可以不必是连续的帧。其可 以满足,“当前”帧和“前一”帧具有相应的关系(即,每隔一个帧等,或者 在MPEG格式中两个相关的帧),该对应的关系可以作为记录检测到运动的
基础。除此之外,如果有MPEG编码存在(或者其他合适的编码),可以能 够检测运动向量的变化,来代替逐个帧地比较单独的点。
在步骤2208,当前帧边缘数据过渡为前一帧数据,接着在步骤2210系 统被有效地重新设置(例如,可以重新设置边缘计数器和用于存储边缘数据 的当前存储器位置)并且准备好在步骤2212处理另一帧的应得的图像数据。
可以意识到,对上述实施例和概念有很多可能的实施例和变化。可以满 足本发明的目的的系统是,能够检测到HSF图像数据处于运动状态而且,如 果这种所检测到的运动的程度将在系统的估计中转移使用者的注意力(即引 起太多的色彩误差),那么系统可以采取校正处理,比如对于整个屏幕或屏幕 的一部分关闭子像素着色,或者用某种方法有效的改变SPR以校正观察者对 于图像的感受。代替关闭SPR,SPR也可以改变为另外一种对LCD的运动伪 像没有那么敏感的滤光器。实际上,在上面的记录中以及这里所引用的其他 专利申请中描述了部分可供选择的校正处理。
另一个描述该技术的可供选择的方式如下:
-在帧开始的地方,设置计数器为0。
-每次检测到边缘的时候将计数器加1。
-在临时存储器中存储每第“n”个
边缘检测的位置。
-将检测到的边缘数量与预先设定的数值比较。
-如果边缘的数量超过预先设定的数值,那么设置一个标记指示“存在文 本”。
-下一帧,重复步骤并且检查边缘是否处于静态,即对于边缘的统计抽样 位置是相同的。
-如果设置了标记而且位置不相同,那么检测到运动。在这种情况下,关 闭在边缘上的所有SPR(当自适应滤光返回值为“真”值的时候)。将观察到 色彩误差,但是由于文本在运动,而不容易看到。图像的其他部分将不做改 变;例如,文本只在屏幕的一小
块区域中运动。
-如果没有设定标记而且位置不同,那么SPR正常打开。
-如果设定了标记而且位置相同,那么SPR正常打开。
-如果没有设定标记而且位置相同,那么SPR正常打开。
-重复。
上述流程的简化(如图23和24所示)是,仅仅逐个帧的比较可以存储 计数数值的存储器Mem1和Mem2中的边缘的数量;如果数量之间的差值为 预先设定的数值,那么文本在运动(只要边缘的数量超过该最小值)。即使在 文本处于“关闭”的情况下,几乎没有图像质量上干扰,这是因为会在下一 帧中(1/60th秒后)会检测到这一情况并且标记会设置为关闭。临时存储器的 尺寸(“n”的数值)将取决于这一处理所需要的
精度。这可以由经验决定。
参考图23,在步骤2302重新设置用于计数边缘数据点的计数器。在步 骤2304输入一数据点。在步骤2306测试该数据点,从而确定数据点是否处 于帧的结束。如果数据点处于帧的结束,则继续到图24中的步骤2308。如 果数据处于帧的结束,则在步骤2310测试该数据点,从而确定其是否为边缘 数据点。如果不是,处理从步骤2310返回到步骤2304。如果是,在步骤2312 将计数器加1。
在图24中,在从图23的步骤2308的延续步骤2314,总数量的边缘(即 计数器的计数值)存储在存储器(Mem2)中。这一计数值可以为输入数据的 当前帧提供边缘的总数量。另一存储器(Mem1)可以为输入数据的前一帧中 存储边缘的总数量。在步骤2316,进行一测试来确定Mem2中的边缘的总数 量是否与Mem1中边缘的总数量相同。在步骤2320,如果总的数量没有不同 (即,如果Mem2-Mem1=0),那么没有检测到运动,并且边缘的数量在Mem1 中。在步骤2318,如果总的数量不同,那么检测到运动,从而可以对边缘数 据点使用不同的SPR,并将新的数值存储在Mem1中。
作为对所有实施例的改进,SPR可以仅仅在文本上或者运动的HSF的边 缘上改变,对于没有运动的边缘则不改变。用于实现这一任务的实施例是, 当检测到运动的边缘时,图形子系统可以发回一查询到操作系统,来查询具 有运动的HSF边缘的可能打开的激活窗口(例如,文字处理器,图像复写器 等)。如果有具有这样打开的窗口的应用程序,图形子系统可以
请求操作系统 和/或应用程序,对用于窗口内的它的图像数据图像数据暂缓任何子像素着色 模式,或者请求操作系统和/或应用程序给出这样的窗口的尺寸,然后图形子 系统会改变或者关闭用于屏幕上那些尺寸的SPR。
不需要与操作系统通话的另一可供选择的实施例可以是,图形子系统对 在那些检测为运动的边缘的某一相邻区域内的所有的边缘,关闭(或者改变) SPR。用这种方式,大部分运动边缘将具有它们的改变的SPR来大致校正运 动引起的色彩误差。在这种情况下,需要存储足够多数量的边缘来进行比较, 从而所需要的屏幕的子集(即滚动窗口)将会被关闭或者恰当地改变。
目前已经揭示了本发明的技术、系统和方法的几个实施例。可以意识到, 对这些实施例可能有很多的变化,从而本发明的范围不局限于此处所揭示的 实施例;还包括其很多的可能的变化。