[0002] 本申请要求2018年9月4日提交的名称为“DECIMATED BURN-IN COMPENSATION WITH PIXEL SHIFTING”的美国临时申请序列号62/726,876；和2019年5月3日提交的名称为“DECIMATED BURN-IN COMPENSATION WITH PIXEL SHIFTING”的美国
专利申请序列号16/403,366的权益；其公开内容全文以引用方式并入本文。
技术领域
[0003] 本公开的各方面整体涉及显示器。各方面包括一种方法和设备，用于通过在平板显示器或
增强现实显示器中的抽取式查找表与像素移位来防止
显示面板残像(burn-in)。
背景技术
[0004] 显示器是用于使人们能够看到内容，诸如静止图像、移动图像、文本或其他视觉材料的
电子查看技术。
[0005] 一种平板显示器包括显示面板，该显示面板包括以矩阵格式布置的多个像素。显示面板包括在行方向(y轴)上形成的多个扫描线和在列方向(x轴)上形成的多个数据线。多个扫描线和多个数据线被布置成彼此交叉。每个像素由从其对应的扫描线和数据线供应的扫描
信号和数据信号驱动。
[0006] 平板显示器可被分类为无源矩阵型发光显示设备或
有源矩阵型发光显示设备。有源矩阵面板选择性地照亮每个单位像素。由于有源矩阵面板的
分辨率、
对比度和操作速度特性，因此使用了它们。
[0007] 一种类型的有源矩阵显示器是有源矩阵
有机发光二极管(AMOLED)显示器。有源矩阵有机发光显示器通过使
电流流向有机
发光二极管来产生光而产生图像。
有机发光二极管是像素中的发光元件。每个像素的驱动
薄膜晶体管(TFT)使电流根据图像数据的层次而流动。
[0008] 平板显示器用于许多便携式设备，诸如膝上型电脑和
移动电话。
[0009] 屏幕残像、图像残像或重像是由于像素的累积不均匀使用而引起的显示器上的区域变色。
[0010] 在有机发光二极管(OLED)显示器中，
亮度衰减的广泛变化将导致随时间推移的明显
颜色漂移，其中红-绿-蓝(RGB)颜色中的一者由于发光像素的亮度衰减而变得更加显著。
[0011] 就
液晶显示器(LCD)而言，残像的机理是不同的。对于LCD，在一些情况下，由于像素在持续的静态使用配置文件之后永久地失去恢复到其松弛状态的能
力，因此会出现残像。在大多数典型的使用配置文件中，LCD中的这种图像持久性仅是暂时性的。
[0012] 在台式计算机应用程序中，“屏幕保护程序”
软件积极尝试避免屏幕残像。通过确保在很长时间段内显示静态图像而未留下任何像素或像素组，保持了
荧光体亮度。现代屏幕保护程序可以在不使用屏幕时将其关闭。
发明内容
[0013] 实施方案包括一种电子显示器，其被设计用于通过在平板显示器或增强现实显示器中的抽取式查找表与像素移位来防止显示面板残像。
[0014] 在一个实施方案中，电子显示器包括显示面板和抽取式残像补偿器。抽取式残像补偿器被配置为接收图像
帧并且将经补偿的输出帧输出至显示面板。抽取式残像补偿器还包括像素移位器、下
采样器、N×N分箱(bin)补偿查找表、插值器和乘法器。像素移位器被配置为接收图像帧并且将该图像帧移位预定数量的像素，从而得到经移位的图像帧。
下采样器被配置为接收图像帧并且将该图像帧下采样为经下采样的图像帧。N×N分箱补偿查找表被配置为接收经下采样的图像帧并且将该经下采样的图像帧补偿为经补偿的图像帧。插值器被配置为接收经补偿的图像帧并将该经补偿的图像帧插值为经插值的图像帧。乘法器被配置为将经移位的图像帧与经插值的图像帧组合，从而得到经补偿的输出帧。显示面板被进一步配置为显示经补偿的输出帧。
[0015] 在增强现实实施方案中，图像数据来自两个来源：由数字相机捕获的真实世界图像分量，以及由
图形处理单元(GPU)生成的虚拟图像分量。增强现实显示器包括显示面板、图形处理单元、相机、混合单元和抽取式残像补偿器。图形处理单元被配置为生成虚拟图像帧。相机被配置为捕获真实世界图像帧。混合单元被配置为接收来自图形处理单元的虚拟图像帧，接收来自相机的真实世界图像帧，并且将虚拟图像帧与真实世界图像帧组合以产生组合的图像帧。抽取式残像补偿器被配置为接收组合的图像帧并且将经补偿的输出帧输出至显示面板。抽取式残像补偿器还包括像素移位器、下采样器、N×N分箱补偿查找表、插值器和乘法器。像素移位器被配置为接收组合的图像帧并且将该图像帧移位预定数量的像素，从而得到经移位的图像帧。下采样器被配置为接收图像帧并且将该图像帧下采样为经下采样的图像帧。N×N分箱补偿查找表被配置为接收经下采样的图像帧并且将该经下采样的图像帧补偿为经补偿的图像帧。N为大于一的整数。插值器被配置为接收经补偿的图像帧并将该经补偿的图像帧插值为经插值的图像帧。乘法器被配置为将经移位的图像帧与经插值的图像帧组合，从而得到经补偿的输出帧。显示面板被进一步配置为显示经补偿的输出帧。
[0016] 在另选的实施方案中，增强现实显示器包括显示面板、图形处理单元、第一抽取式残像补偿器、相机，第二抽取式残像补偿器和混合单元。图形处理单元被配置为生成虚拟图像帧。第一抽取式残像补偿器被配置为接收虚拟图像帧并且将经补偿的虚拟输出帧输出。第一抽取式残像补偿器还包括第一像素移位器、第一下采样器、第一N×N分箱补偿查找表、第一插值器和第一乘法器。第一像素移位器被配置为接收虚拟图像帧并且将虚拟图像帧移位第一预定数量的像素，从而得到第一经移位的图像帧。第一下采样器被配置为接收虚拟图像帧并且将该图像帧下采样为第一经下采样的图像帧。第一N×N分箱补偿查找表被配置为接收第一经下采样的图像帧并且将该第一经下采样的图像帧补偿为第一经补偿的图像帧，其中N为大于一的整数。第一插值器被配置为接收第一经补偿的图像帧并将该第一经补偿的图像帧插值为第一经插值的图像帧。第一乘法器被配置为将第一经移位的图像帧与第一经插值的图像帧组合，从而得到经补偿的虚拟输出帧。相机被配置为捕获真实世界图像帧。第二抽取式残像补偿器被配置为接收真实世界图像帧并且将经补偿的真实世界输出帧输出。第二抽取式残像补偿器还包括第二像素移位器、第二下采样器、M×M分箱补偿查找表、第二插值器和第二乘法器。第二像素移位器被配置为接收真实世界图像帧并且将该真实世界图像帧移位第二预定数量的像素，从而得到第二经移位的图像帧。第二下采样器被配置为接收真实世界图像帧并且将该图像帧下采样为第二经下采样的图像帧。M×M补偿查找表被配置为接收第二经下采样的图像帧并且将该第二经下采样的图像帧补偿为第二经补偿的图像帧，其中M为大于一的整数。第二插值器被配置为接收第二经补偿的图像帧并将该第二经补偿的图像帧插值为第二经插值的图像帧。第二乘法器被配置为将第二经移位的图像帧与第二经插值的图像帧组合，从而得到经补偿的真实世界图像帧。混合单元被配置为接收来自第一抽取式残像补偿器的经补偿的虚拟图像帧，被配置为接收来自第二抽取式残像补偿器的经补偿的真实世界图像帧，并且被配置为将经补偿的虚拟图像帧与经补偿的真实世界图像帧组合以产生组合的图像帧。所述显示面板被进一步配置为显示组合的图像帧。
附图说明
[0017] 为更好地理解本公开的性质和优点，应参考以下描述及附图。然而，应当理解，图中的每个仅被提供用于例示的目的，并且图中的每个并非旨在作为对本公开的范围的限制的定义。而且，作为一般性规则，且除非明显与描述相反，若在不同图中的元件使用相同附图标号，则元件在功能或目的上一般是相同或至少类似的。
[0018] 图1为抽取式残像补偿器的
框图，该抽取式残像补偿器被设计用于通过在平板显示器中的抽取式查找表与像素移位来防止显示面板残像。
[0019] 图2示出了具有被设计用于补偿组合的增强现实图像以防止显示面板处的残像的单个抽取式残像补偿器的平板显示器。
[0020] 图3示出了用于增强现实实施方案的平板显示器，其中两个抽取式残像补偿器被设计用于补偿真实世界图像分量和虚拟图像分量以防止显示面板处的残像。
具体实施方式
[0021] 本公开的一个方面是认识到多种残像补偿技术是次优的。虽然可以通过逐个像素
跟踪和补偿来解决平板显示器残像问题，但使用逐个像素跟踪会产生大的存储和读取查找表(LUT)。所需的大量动态只读
存储器(DRAM)或静态
只读存储器(SRAM)增加半导
体模片面积和制造成本。此外，大量DRAM的使用导致过量的功率消耗。继而，较高的功率消耗导致便携式设备诸如
平板电脑、移动电话、
虚拟现实耳机或
增强现实眼镜和增强现实显示智能电话、数字“智能”
手表和其他数字设备中的
电池寿命降低。
[0022] 本公开的一个方面包括观察到使用N×N像素
块来代替逐个像素跟踪减少了补偿内存带宽和功率要求，并且节省了查找表占有面积。此解决方案降低了内存和芯片尺寸要求，从而降低了制造成本。
[0023] 为了更好地理解本公开的特征和方面，在以下部分中，通过平板显示器的具体实施来提供本公开的更多上下文，该具体实施根据本公开的实施方案通过在平板显示器中的抽取式查找表与像素移位避免了显示面板残像。另选的实施方案示出了如何实现这种平板显示器以在增强现实显示器中使用。这些实施方案仅用于解释目的，可在其他显示设备中采用其他实施方案。例如，本公开的实施方案可与任何显示设备一起使用，所述任何显示设备通过在平板显示器中的抽取式查找表与像素移位来补偿和防止显示面板残像。
[0024] 图1为根据本公开的实施方案的具有抽取式残像补偿器1000的平板显示器100实施方案的框图，该残像补偿器被设计用于通过显示面板200中的抽取式补偿查找表与像素移位来防止显示面板残像。平板显示器100可为独立显示器，或以下项中的一部分：计算机显示器、电视机、
笔记本电脑，平板电脑、移动电话、智能电话、增强现实显示器、数字“智能”手表或其他数字设备。抽取式残像补偿器1000被配置为接收图像帧并输出防止显示面板残像的补偿帧。本质上，平板显示器100从由乘法器组合的两个数据流接收输入：来自帧
缓冲器的像素移位图像，以及通过N×N补偿查找表的图像。
[0025] 在该实施方案中，平板显示器100具有抽取式残像补偿器1000和显示面板200。
[0026] 显示面板200可为有机发光二极管(OLED)显示器，诸如无源矩阵(PMOLED)或有源矩阵(AMOLED)。在其他实施方案中，显示面板200可为液晶显示器(LCD)或微型发光二极管(微型LED)显示器。显示面板200显示从抽取式残像补偿器1000中接收的图像。
[0027] 抽取式残像补偿器1000使用像素移位和补偿N×N像素块的组合，其中N为由大于一的整数所表示的抽取因子。例如，在一些实施方案中，N为2。因此，抽取式残像补偿器1000包括像素移位器1200和N×N分箱补偿查找表1600。抽取式残像补偿器1000的实施方案还可包括帧缓冲器1100、像素历史积累1400、下采样器1500、插值器1700和乘法器1300。
[0028] 帧缓冲器1100是包含
位图图像帧数据用以驱动显示面板200的
随机存取存储器(RAM)的一部分。就本实施方案而言，帧缓冲器1100存储数据的至少一个图像帧。帧缓冲器1100可从外部图形卡或
驱动器(未示出)接收数据的图像帧，并且将该图像帧转发至像素移位器1200。
[0029] 像素移位器1200从帧缓冲器1100接收图像帧并周期性地(竖直地和/或
水平地)将图像移位预定数量的像素。在一些实施方案中，图像帧以限定的节奏和像素间隔在一个圆中移位。像素移位器1200可将图像帧潜移默化地移位到显示面板200的查看器上。
[0030] 当N×N像素块内的像素具有显著不同的内容历史时，存在对于较少残像的像素进行过补偿并且对于其他像素进行欠补偿的
风险。通过周期性地对内容进行移位，像素移位器1200消除了N×N像素块内的
应力水平差。
[0031] 图像可最多移位1个像素、2个像素、4个像素、8个像素、12个像素或16个像素。图像移位可发生在每步1x1或2x2像素移位的情况下。在其他实施方案中，图像可移位1-16个像素。移位的像素数可与N×N像素块抽取式补偿相关。例如，在一个实施方案中，1个像素移位可与8x8像素块一起使用。实际上，像素移位分配了残像内容应力，并且等同于在残像应力(BIS)之前向内容施加低通滤波。较大的合并导致低通
滤波器的较平滑梯度，以及在锐利图像边缘处的较小误差。较长的图像移位范围实现良好的平滑效果。
[0032] 像素历史积累1400是存储先前显示的图像帧的历史的计算机存储器。像素历史积累1400可为随机存取存储器(RAM)、闪存存储器等。在一些实施方案中，像素历史积累1400包括来自帧缓冲器1100的图像。
[0033] 下采样器1500接收来自像素历史积累1400的先前显示的图像帧，并对图像进行抽取以减小其尺寸。抽取过程将图像缩减成N×N像素分箱，其中N是由大于或等于二(2)的整数表示的抽取因子。尺寸上减小N2显著地节省了由抽取式残像补偿器1000所使用的查找表的大小，并且也减小了所使用的内存量。
[0034] N×N分箱补偿查找表1600允许抽取式残像补偿器1000将特征曲线施加到从下采样器1500接收的图像帧。在该应用中，N×N分箱补偿查找表1600将输出值分配给每个可能的N×N输入值，这允许校正色彩空间计算以快速执行，从而防止残像。在N×N分箱补偿查找表1600中，N为由大于一的整数所表示的抽取因子。本领域的技术人员应当理解，N×N分箱补偿查找表1600将有利于
图像对比度、亮度变化、灰度值扩展、各个梯度表或增强图像伽玛。一旦图像帧由N×N补偿查找表1600补偿，就产生补偿图像并发送至插值器1700。
[0035] 插值器1700将从N×N补偿查找表1600接收的补偿图像尺寸重新调整为与显示面板200的原始分辨率匹配的放大图像。放大图像被转发至乘法器1300，该乘法器用作合成框以将放大图像与来自像素移位器1200的移位图像进行组合。所得图像由抽取式残像补偿器1000输出至显示面板200。
[0036] 现转向图2至图3，其各自示出了用于增强现实应用的平板显示器的另选实施方案。每个另选实施方案包括被设计成防止显示面板残像的抽取式残像补偿器1000。在增强现实实施方案中，图像数据来自两个来源：由数字相机捕获的真实世界图像分量，以及由图形处理单元(GPU)生成的虚拟图像分量。这两个来源由混合单元组合，并且最终投影在显示面板上。根据特定实施方案的具体实施，抽取式残像补偿器可用于补偿两个图像数据源中的每一个或组合图像数据。
[0037] 本领域的技术人员应当理解，图2至图3所示的实施方案可包括未示出的一个或多个图像帧缓冲器。
[0038] 图2示出了根据本公开的实施方案的具有被设计用于补偿组合的增强现实图像以防止显示面板200处的残像的单个抽取式残像补偿器1000的平板显示器2000。
[0039] 虚拟图像分量由图形处理单元2100生成的多个虚拟图像帧构成。图形处理单元2100可为专用集成
电路(ASIC)，其被设计用于快速操纵和改变存储器以
加速帧缓冲器中的图像的创建。在其他实施方案中，图形处理单元2100可嵌入在平板显示器2000的中央处理单元(CPU)芯片或母板上。一旦由图形处理单元2100生成，虚拟图像帧就被转发至混合单元
2400以与真实世界图像帧组合。
[0040] 真实世界图像分量由相机2200捕获的多个真实世界图像帧构成。相机2200可为具有数字图像
传感器诸如电荷
耦合器件(CCD)或互补金属
氧化物
半导体(CMOS)的任何光学捕获系统。一旦被相机2200捕获，真实世界图像帧就被转发至图像
信号处理器(ISP)2300。
[0041] 图像信号处理器2300是专用于来自相机2200的
图像处理数据的
数字信号处理器(DSP)集成电路。具体地，图像信号处理器2300可执行拜耳变换或去
马赛克以实现颜色准确度、降噪、图像锐化或插值以调整从相机2200所接收的捕获图像的尺寸。图像信号处理器2300可实现单指令、多数据(SIMD)或多指令、多数据(MIMD)技术以允许图像数据的并行处理。将所得成像处理后的真实世界图像帧转发至混合单元2400以与虚拟图像帧进行组合。
[0042] 混合单元2400是用于将虚拟图像帧与真实世界图像帧组合的专用图像处理单元。混合单元2400可将虚拟图像帧和真实世界图像帧视为待混合在一起的两个层。在此类实施方案中，虚拟图像帧被视为
叠加在真实世界“底层”图像的顶部上的“顶层”或“有源层”图像。所得混合图像是转发到镜头畸变校正器2500的增强现实图像。
[0043] 镜头畸变校正器2500是用于校正由相机2200中的镜头引起的径向(光学)畸变的图像处理器。在一些实施方案中，镜头畸变校正器2500被实现为可使用布朗康拉迪畸变模型来校正径向畸变和切向图像畸变的软件或
固件校正。一旦畸变被校正，经校正图像就被发送至抽取式残像补偿器1000。抽取式残像补偿器1000通过抽取式补偿查找表与像素移位防止显示面板残像，如图1中所述。将所得图像转发到像素管线2600。
[0044] 在本领域中，像素管线2600有时也被称为计算机图形管线、
渲染管线或图形管线。像素管线2600将三维场景渲染到二维显示屏上。本领域的技术人员应当理解，此操作的渲染取决于所用的软件和
硬件以及显示面板200的特性。通常，像素管线2600执行在硬件中实现的实时渲染。然后可在显示面板200处显示所得图像。
[0045] 在另选的具体实施中，图3示出了用于增强现实实施方案的平板显示器3000，其中两个抽取式残像补偿器1000a-b被设计用于在图像被组合并且显示在显示面板200之前单独地补偿真实世界图像分量和虚拟图像分量。
[0046] 虚拟图像分量由图形处理单元3100生成的多个虚拟图像帧构成。图形处理单元3100可为
专用集成电路，其被设计用于快速操纵和改变存储器以加速帧缓冲器中的图像的创建。在其他实施方案中，图形处理单元3100可嵌入在平板显示器200的中央处理单元芯片或母板上。一旦由图形处理单元3100生成，虚拟图像帧就被转发至第一抽取式残像补偿器
1000a。第一抽取式残像补偿器1000a通过抽取式补偿查找表与像素移位防止显示面板残像，如图1中所述。所得图像被转发到混合单元3400以与真实世界图像帧组合。
[0047] 真实世界图像分量由相机3200捕获的多个真实世界图像帧构成。相机3200可为具有数字图像传感器诸如电荷耦合器件或
互补金属氧化物半导体的任何光学捕获系统。一旦被相机3200捕获，真实世界图像帧就被转发至图像信号处理器3300。
[0048] 图像信号处理器3300是专用于来自相机3200的图像处理数据的
数字信号处理器集成电路。具体地，图像信号处理器3300可执行去马赛克或拜耳变换以实现颜色准确度、降噪、图像锐化或插值以调整从相机3200所接收的捕获图像的尺寸。图像信号处理器3300可通过单指令、多数据(SIMD)或多指令、多数据(MIMD)技术来实现图像数据的并行处理。所得成像处理的真实世界图像帧被转发至镜头畸变校正器3500。
[0049] 镜头畸变校正器3500是用于校正由相机3200中的镜头引起的径向(光学)畸变的图像处理器。在一些实施方案中，镜头畸变校正器2500被实现为可使用布朗康拉迪畸变模型来校正径向畸变和切向图像畸变的软件或固件校正。一旦畸变被校正，经校正图像就被发送至第二抽取式残像补偿器1000b。
[0050] 第二抽取式残像补偿器1000b通过抽取式补偿查找表与像素移位防止显示面板残像，如图1中所述。本领域的技术人员应当理解，第二抽取式残像补偿器1000b不必将图像移位与第一抽取式残像补偿器1000a相同数量的像素，并且可使用不同的N×N分箱(
指定为“M×M”，其中M大于一)进行图像补偿。在其他实施方案中，第一抽取式残像补偿器1000a和第二抽取式残像补偿器1000b可将图像移位相同数量的像素，并且可使用相同的N×N分箱补偿查找表1600。所得图像被转发到混合单元3400以与虚拟图像帧组合。
[0051] 专用图像处理器、混合单元3400将虚拟图像帧与真实世界图像帧组合。混合单元3400可将虚拟图像帧和真实世界图像帧视为待混合在一起的两个层。在此类实施方案中，虚拟图像帧被视为叠加在真实世界“底层”图像的顶部上的“顶层”或“有源层”图像。所得混合图像是转发到像素管线3600的增强现实图像。
[0052] 在本领域中，像素管线3600有时也被称为计算机图形管线、渲染管线或图形管线。像素管线3600将三维场景渲染到二维显示屏上。本领域的技术人员应当理解，此操作的渲染取决于所用的软件和硬件以及显示面板200的特性。通常，像素管线3600执行在硬件中实现的实时渲染。然后可在显示面板200处显示所得图像。
[0053] 本领域的技术人员应当理解，本文所述的系统可在多种硬件或固件解决方案中实现。
[0054] 提供实施方案的此前描述以使本领域的任何技术人员能够实践本公开。对于本领域的技术人员而言，对这些实施方案的各种
修改将是显而易见的，并且可以无需使用创造性才能就将本文所定义的一般原理应用于其他实施方案。因此，本公开并非旨在限于本文所示出的实施方案，而是将被赋予与本文所公开的原理和新颖特征一致的最宽范围。
