[0002] 本申请要求2010年6月11递交的标题为“Adaptation ofDigital Images”的美国临时
专利申请号61/397,537的优先权，通过参考的方式将其并入本文。
技术领域
[0003] 本
发明总体涉及用于视力受损人员的
用户界面的领域并且具体地涉及验光和数字
图像处理。
背景技术
[0004] 数百万人有时必须佩戴眼镜来校正任何视力损伤。具体而言，老花眼(又被称为远视眼或老视)在全世界影响超过12亿人。老花眼通常随着人的年龄发展并且与适应性调节的自然逐渐损失相关联。老花眼通常失去在距离变化的物体上快速且容易地再聚焦的能力。还可能失去在近距离物体上聚焦的能力。尽管个体寿命内的条件在发展，但是老花眼的影响通常在45岁之后变得明显。到65岁，晶状体通常已经几乎失去全部弹性并且仅具有有限的形状改变能力。由于
移动电话、
平板电脑、车辆
导航系统(GPS)和许多其他设备中的个人数字显示设备的使用的快速增长，该视力损伤是永久的沮丧源。当患有老花眼的移动电话用户接收呼叫但没有时间找到他的眼镜来读取显示器以识别主叫方时或者在驾车时试图读取
汽车中的GPS时，这是不方便的。
[0005] 用于处理老花眼的已知方法和设备提供与正视眼的视力接近的视力。在正视眼中，由于眼睛的适应性调节特性，可以清楚地看到远距离物体和近距离物体。为了解决与老花眼相关联的视力问题，个体通常已使用阅读眼镜来增加对眼睛的正屈光力，因此允许眼镜聚焦在近距离物体是并且维持清晰图像。该方法类似于处理远视眼或老花眼。还利用双焦点眼镜来处理老花眼，其中，该眼镜的镜片的一部分被校正用于远距离视力，并且该眼镜的镜片的另一部分被校正用于近距离视力。该原理的更高级的实施导致渐进眼镜的概念。还使用隐形镜片和眼内镜片(IOL)来处理老花眼。其他方法包括利用双焦点或多焦点镜片的双面校正。在双焦点镜片的情况中，该晶片被制造为可以聚焦远距离点和近距离点。在多焦点情况中，在近目标与远目标之间存在多个焦点。
[0006] 在光学上，老花眼是视力图像聚焦在
视网膜后面而不是直接聚焦在视网膜上而导致图像模糊的结果。眼镜或隐形镜片的使用改变了光线的方向以使得视力图像聚焦在视网膜上而不是视网膜后面，从而产生清晰的图像。图1示意性地显示了具有不足的折射力的眼睛。这是观看靠近物体的老花人员的典型情形。由点源发射的光聚焦在视网膜后面而不是聚焦在视网膜上。这导致人看到斑而不是点。该斑的第一近似是圆盘。但是诸如衍射、单色像差(如像散)和色差之类的影响可能导致该斑具有更复杂的形状。该斑被称为全局光学系统的点扩散函数(PSF)。当观看由位于距眼睛相同距离的多个点源构成的完整图像时，每个点在视网膜的不同
位置上产生类似的斑。如图2所示，这些斑重叠导致模糊的
印象。利用相同的原理可以描述除了老花眼或远视眼之外的其他视力损伤。
[0007] 与由重叠斑来替换成像中的全部点相对应的数学运算被称为卷积。校正的镜片如阅读眼镜对眼镜添加失去的折射力，从而每个点的图像聚焦在视网膜上或者靠近视网膜，产生小范围的PSF。对于观看
电子设备的屏幕的视力受损人员，除了光学校正之外不存在校正该问题的其他有效方式。除了直接对眼睛
水平进行视力校正(如眼镜)之外，不存在直接对源校正视力的有效技术方案。
发明内容
[0008] 一些实施方式的一个目标在于使用数字图像处理来补偿老花眼。
[0009] 在一个实施方式中，提供了一种用于在电子设备的显示器上渲染(rendering)原始图像的预校正图像以补偿该设备的用户的视力损伤的方法，从而与所述用户观察所述原始图像的显示相比，所述用户将以更好的光学聚焦观察当在所述显示器上显示时的所述预校正图像。所实现的方法的步骤包括接收该显示器的
硬件特性，接收描述该用户的该视力损伤的至少一个参数，接收描述该显示器被该用户观看的条件的至少一个参数，计算瞳孔函数，计算点扩散函数(PSF)或该眼睛的光学系统的成像能力的任意其他数学等效表示如光传递函数(OTF)，计算与该原始图像的至少一部分相对应的预校正图像以补偿该用户的视力损伤，并且在该显示器上渲染该预校正图像。
[0010] 在另一个实施方式中，接收该显示器的硬件特性的步骤包括从本地
数据库接收该硬件特性的步骤。
[0011] 在另一个实施方式中，接收描述该用户的该视力损伤的参数的步骤包括从远程数据库、本地数据库、实时输入或实时估计接收视力损伤参数的步骤中的至少一个。
[0012] 在另一个实施方式中，接收描述该显示器被该用户观看的条件的参数的步骤包括从实时估计、实时输入或本地数据库接收显示器条件参数的步骤中的至少一个。
[0013] 在另一个实施方式中，该电子设备是由下述各项构成的组中之一：移动电话、膝上电脑、台式电脑、平板电脑、电视机、导航系统、车辆电子仪表板、
手表、
照相机、电子书、媒体播放器、视频游戏控制台、
自动售货机和
头戴式显示器。
[0014] 在另一个实施方式中，该视力损伤是由下述各项构成的组中的至少一个：近视、散光、老花、远视。
[0015] 在另一个实施方式中，接收该显示器的硬件特性的步骤包括接收来自下述各项构成的组中的至少一个的步骤：
像素尺度和间隔、显示宽度和高度、显示反射率、发射谱以及像素值与
亮度之间的关系。
[0016] 在另一个实施方式中，接收描述该用户的该视力损伤的参数的步骤包括接收来自下述各项构成的组中的至少一个的步骤：眼镜配置的球形参数、眼镜配置的柱形和轴参数以及适应性调节的测量的组群中。
[0017] 在另一个实施方式中，接收描述该用户的该视力损伤的参数的步骤包括测量该眼睛的波前像差图的步骤或者测量该眼镜的适应性调节的步骤。
[0018] 在另一个实施方式中，接收描述该显示器被该用户观看的条件的参数的步骤包括接收该用户的该眼镜和该屏幕之间的距离的测量、环境亮度以及该用户的瞳孔尺寸的测量中的一个或多个的步骤。
[0019] 在另一个实施方式中，该渲染步骤包括渲染字体字形的步骤。
[0020] 在另一个实施方式中，接收描述视力损伤的参数的步骤包括在配置阶段从该用户接收输入、从另一个设备接收输入、或者通过使用该设备来测量该视力损伤的参数的步骤中的一个或多个步骤。
[0021] 在另一个实施方式中，通过接收来自嵌入在该设备中的扬声器和麦克
风、嵌入在该设备中的照相机、红外发射器/接收器或无线光束发射器/接收器中的至少一个的测量来执行通过用户输入来接收该用户的眼睛与该屏幕之间的该距离或者实时估计该距离的步骤。
[0022] 在另一个实施方式中，通过从嵌入式环境光
传感器或嵌入式照相机接收测量来执行实时估计瞳孔尺寸的步骤。
[0023] 在另一个实施方式中，计算PSF的步骤包括计算该显示器的每一子像素类的PSF的步骤，并且在该显示器上渲染该预校正图像的步骤包括渲染针对每个子像素类的该预校正图像的步骤。
[0024] 在另一个实施方式中，使用应用梯度下降的约束优化问题或者使用Van-Cittert
算法来执行用于计算预校正图像的步骤。
[0025] 在另一个实施方式中，基于说明眼睛接受体的由于亮度所致的的敏感度的变化的度量来表示该约束优化问题。
[0026] 在另一个实施方式中，基于用于表示由该用户观察的总体图像
质量的目标函数来表示该约束优化问题。
[0027] 在另一个实施方式中，该度量包括视网膜图像与参考
图形对象的图像之间的差异的测量，其中通过使用亮度或像素值中的一个的增加函数来削弱该参考图形对象的
对比度。
[0028] 在另一个实施方式中，该目标函数基于视网膜图像与参考图形对象的图像之间的差异的测量和基于该对比度削弱的量值，其中通过使用亮度或像素值的增加函数来削弱该参考图形对象的对比度。
[0029] 在另一个实施方式中，使用Wiener反卷积来计算该预校正图像。
[0030] 在另一个实施方式中，所计算预校正图像包括使用亮度值或像素值之一的增加函数来调整的像素值。
[0031] 在另一个实施方式中，通过执行二分法测试的步骤，确定描述该用户的该视力损伤的该参数和描述该显示器被观看的条件的参数，其中，该二分法测试包括使用不同的假设来向该用户渲染预校正的图像以便用户
指定的图像被该用户最佳地观看的步骤。
[0032] 在另一个实施方式中，该渲染步骤还包括指定将要渲染的该图像部分的偏好的步骤。
[0033] 在另一个实施方式中，指定偏好的步骤包括指定文本在该显示器上的渲染、该显示器的具体部分的渲染、图像在该显示器上的渲染以及禁止渲染。
[0034] 在另一个实施方式中，通过击打硬键、改变选项、振动设备或者使用嵌入式照相机检测眼镜正用户佩戴来启用或禁用渲染。
[0035] 在另一个实施方式中，提供了一种用于在电子设备的显示器上渲染原始图像的预校正图像以补偿该设备的用户的视力损伤的系统，使得与所述用户观察所述原始图像的显示相比，所述用户将以更好的光学聚焦观察当在所述显示器上显示时的所述预校正图像。该系统包括计算机处理器和与该计算机处理器连接的
存储器，其中，该存储器被配置为利用指令使得所述处理器执行下述步骤：(1)从本地数据库接收该显示器屏幕的硬件特性，(2)从远程数据库、本地数据库、实时输入或实时估计中的至少一个接收用于描述该用户的该视力损伤的参数，(3)从实时估计、实时输入或本地数据库中的至少一个接收用于描述该显示器被该用户观看的条件的参数，(4)计算瞳孔函数，(5)计算点扩散函数(PSF)，(6)计算与该原始图像的至少一部分相对应的预校正图像以补偿该用户的该视力损伤，并且(7)在该显示器上渲染该预校正图像。
[0036] 在另一个实施方式中，提供了一种存储被配置为被处理器执行的程序的非暂态计算机可读存储介质，当该程序被执行时被适配为使得该处理器执行下述步骤：从数据库接收显示器的硬件特性；从远程数据库、本地数据库、实时输入或实时估计中的至少一个接收用于描述用户的视力损伤的参数；从实时估计、实时输入或本地数据库中的至少一个接收用于描述该显示器被该用户观看的条件的参数；计算瞳孔函数；计算点扩散函数(PSF)；计算与该原始图像的至少一部分相对应的预校正图像以补偿该用户的该视力损伤；并且在该电子设备的显示器上渲染该预校正图像，从而与所述用户观察所述原始图像的显示相比，所述用户将以更好的光学聚焦观察所述预校正图像的显示。。
附图说明
[0037] 附图被包括在本发明中以提供对本发明的进一步理解并且被合并到
说明书中并且构成说明书的一部分，附图示出了本发明的实施方式并且与说明书一起阐释本发明的原理。在附图中：
[0038] 图1显示了观看一个点源在老花眼的视网膜上的斑的形成；
[0039] 图2显示了当老花人员观看两个点源时在他或她的视网膜上的两个重叠的斑的形成；
[0040] 图3(a)和(b)示意性地显示了分别被非视力受损人员和老花人员观看的智能电话的显示；
[0041] 图4(a)和(b)示意性地显示了根据本发明的分别由非视力受损人员和老花人员所见的智能电话的校正显示；
[0042] 图5是用于说明本发明的示例性系统架构的方
框图；
[0043] 图6是用于显示本发明的视力补偿方法中涉及的连续步骤的
流程图；
[0044] 图7是用于显示单色PSF的计算中涉及的连续步骤的流程图；
[0045] 图8是用于示意性说明PSF计算之后的几何图形的图；
[0046] 图9是用于说明多色PSF的计算的流程图；
[0047] 图10是用于详述如何接收参考图像的流程图；
[0048] 图11是用于说明在窗口管理器级别的集成预校正的流程图；以及
[0049] 图12是用于说明字体渲染库级别的集成预校正的流程图。
具体实施方式
[0050] 现在详细参考实施方式，在附图中说明了实施方式的示例。在下文的详细描述中，阐述大量非限制性的具体细节以便辅助理解本文给出的主题。但是对于本领域的普通技术人员而言在不脱离本发明的范围的前提下各种替换将是显而易见的，并且没有这些具体细节也可以实施本文的主题。例如对于本领域的普通技术人员而言，本文给出的主题可以被实现在包括数字显示器的多种类型的个人电子设备上将是显而易见的。
[0051] 根据本发明的技术方案是基于
软件的。通过知道眼睛引起的
变形(即视力损伤条件)，该软件通过引入将补偿该损伤并且导致用户更清晰地
感知图像的经组织的模糊，以与用户特定的视力损伤相关的方式预校正图像。
[0052] 在被称为图像复原的数字图像处理分支中，使用(通常被称为反卷积的)技术来校正
散焦或其他光学扰动，并且使其能够从模糊图像估计原始对象。在本发明的环境中的数字图像处理的使用源自图像复原技术但是总体上操作次序相反：在图像被眼镜模糊之前应用反卷积。为了本发明的目的，该处理被称为“预校正”。观看预校正图像的散焦眼镜将消除预校正的影响并且看到清晰的图像。在实践中，预校正
修改向用户显示的图像，因而由单独的像素生成的重叠的斑彼此抵消，并且产生清晰的视网膜图像。图3(a)是原始或参考图像的实例。图3(b)是老花人员观看的对应的仿真。图4(a)是仿真预校正图像。图4(b)是当观看图4(a)时相同的人员看到的仿真。虽然可能降低对比度，但是如图4(b)中所表示的，与图3(b)相比，显示器的全局可读性得到极大改善。
[0053] 图5是用于说明根据本发明的示例性系统100的方框图。示例性系统100包括用于在被预校正模
块117处理之后在监视器111上显示内容(例如文本和/或图像)的电子设备110，因而即使用户视力受损(例如老花或远视眼用户)，用户的眼睛101也可以清晰地看到内容。对于未校正的眼睛101，图像将不被聚焦在视网膜102上，但是仍然被观察为清晰图像。
[0054] 图6是用于说明根据非限制性实施方式的处理方法的步骤的流程图。步骤201a收集依赖于环境的数据。依赖于环境的数据表示该设备被用户观看的条件。将其存储在存储器118中。其典型地包括瞳孔尺寸、设备110与眼睛101之间的观看距离以及环境光的等级。参数的确切的列表依赖于在步骤S202期间用于PSF计算的模型。在一些实例中，可以将这些参数中的一个或多个视为恒定的并且无需更新。例如，在正常使用条件下，被包括在汽车仪表板中的屏幕与驾驶员的眼睛之间的距离可以被视为是相对恒定的。当该设备被使用的条件改变时，可以由模块121更新其他参数。根据本发明的一个实施方式，模块121检测改变并且使用从嵌入式传感器113获得的数据估计参数的新值。
[0055] 作为一个实例，可以从嵌入的前置照相机接收图像，并且可以使用常规技术识别并且测量用户的脑袋，以便估计用户的眼睛与显示器屏幕之间的距离。还可以从其嵌入的前置照相机接收图像以便使用常规技术识别并且测量用户的瞳孔的尺寸。并且，可以从嵌入式光传感器接收环境光测量。
[0056] 该传感器通常被移动设备使用以便调整屏幕
背光的亮度。如果设备不能进行瞳孔尺寸的直接测量，则考虑到瞳孔尺寸依赖于由眼睛接收的光的强度，所以可以使用基于环境光的等级和由设备屏幕发射的光强度的测量的模型来估计瞳孔尺寸。可以使用无线光束(红外、WiFi、3GPP等等)来估计用户与显示器屏幕之间的距离。在诸如游戏控制台的设备中已经使用了被称为“头部追踪系统”的该技术。与无线光束类似，可以由设备中的扬声器发射音频
信号，并且由麦克风检测它的回声，以便估计用户与显示器屏幕之间的距离。用于智能电话的应用是已知的，其使用嵌入式扬声器和麦克风来估计周围物体的距离。并且可以从运动传感器(例如
加速计、
陀螺仪等等)接收
运动检测，以便检测位置改变并且估计用户相对于设备的新位置。
[0057] 步骤201b收集依赖于用户的数据。依赖于用户的数据的特征在于用户的视力损伤。如在依赖于环境的数据的情况中，依赖于用户的数据可以被存储在存储器120中。可以将其表示为针对给定的观察距离和给定
波长的用户的每个眼睛的波像差函数的离散估计。其还可以包括被表示为例如适应性调节(accommodation)的近点的用户适应性调节。该参数的确切类型和属性依赖于在步骤202期间用于PSF计算的模型。模型122从不同的可能的输入计算或获取依赖于用户的数据。例如，用户可以输入眼镜配置的参数即每个眼睛的球形(S)、柱形(C)和轴(A)参数。用户还可以输入附加折射力(ADD或NV)或他或她的适应性调节的近点的自估计。当用户输入新参数时，模块122确定依赖于用户的数据并且更新存储器
120。用于从该参数计算波像差函数的数学模型是验光领域的熟练技术人员公知的，并且可能著名涉及基于Zernike多项式的分解。
[0058] 可选择地，可以运行自动诊断程序。该程序在显示器例如用户的手持显示器上向用户不同图案，并且询问用户输入他或她是否绝对地或者相对于其他显示器相对地看到该图案的细节。可选择地，该程序可以与光学元件相关联，以便使用已知的反Shack-Hartmann技术更精确地测量折射误差。可替换地，该自动诊断程序向用户渲染假设各种典型的PSF的预校正图表，其中可以通过二分法一步一步地更新其参数，直到用户不再看到改善为止。模块122得出依赖于用户的数据的估计并且每当运行自动诊断程序时更新存储器120。
[0059] 作为另一个备选，如果用户的设备可以连接到英特网，则可以通过英特网从远程数据库获取依赖于用户的数据。该数据可能以前在被上述备选之一收集之后已经被存储在远程数据库中。该数据也可能在使
用例如Shack-Hartmann的波前传感器的验光检测之后已经被存储在远程数据库中。
[0060] 在另一个备选中，可以使用短距离传输装置(例如NFC、蓝牙等等)或通过
智能卡连接，将依赖于用户的数据从一个个人设备(例如智能电话、平板电脑、智能卡等等)中传递到另一个个人设备。该数据可能以前在被之前提及的备选的其中之一收集之后已经被存储在个人设备中。该数据也可能在使用如上所述的例如Shack-Hartmann的波前传感器的验光检测之后已经被存储在个人设备中。
[0061] 步骤201c收集依赖于设备的数据。依赖于设备的数据是显示器屏幕的在步骤202期间影响PSF的计算的特性。该参数的确切的列表和属性依赖于用于PSF计算的模型。它们典型地包括像素(子像素)尺寸，每个像素或子像素类(例如红色子像素、绿色子像素和蓝色子像素)的发射谱，作为像素值的函数(有时候称为伽
马函数)的像素或子像素的发光度以及屏幕反射率。将这些参数存储在存储器119中，并且在一些情况中这些参数被视为是恒定的。但是当发光度或其他校准值改变时可以更新存储器119。
[0062] 步骤202根据在步骤201a、201b和201c期间接收的数据计算PSF(或者眼睛的光学系统的成像能力的任意其他数学等效表示如光传递函数(OTF))。在本发明的优选实施方式的环境中，将PSF定义为用户在给定距离观察的并且包括大量子像素的像素的视网膜彩色图像，每个子像素发射主导
颜色但是仍然具有不必要纯单色的发射谱。如这里所解释的，在步骤202期间可以使用各种方法。
[0063] 图7说明了当假设像素以单个
频率发光时，用于示例性实施方式的步骤202的子步骤301-305。在步骤301，计算广义的瞳孔函数，并且描述眼睛的光学系统如何对于瞳孔中的不同位置修改光波。可以根据方程式(1)将瞳孔函数表示为：
[0064] P(ρ，θ)＝α(ρ，θ)exp(ikW(ρ，θ))(1)
[0065] 其中，α是瞳孔的振幅透射率，W是波像差函数， λ是波长，以及ρ和θ是瞳孔中的极坐标。
[0066] W是依赖于用户的数据(例如视力损伤和适应性调节)、依赖于环境的数据(例如观看距离)和/或依赖于设备的数据(例如波长λ)的函数。
[0067] 在如下所表示的一个模型中，α在瞳孔的圆孔内具有值1并且在瞳孔外部具有值0。根据方程式(2)可以将该模型表示为：
[0068]
[0069] 其中，D是来自依赖于环境的数据的瞳孔尺寸。
[0070] 在一些实施方式中，可以考虑Stiles-Crawford效应以更好地近似眼睛的真实PSF，其中在Stiles-Crawford效应中存在依赖于光线方向的锥体的不同的敏感度。在该情况中，代替在该孔中的α具有为1的恒定值，可以使用以下的方程式(3)：
[0071]
[0072] 其中，β是表示全体中的Stiles-Crawford效应的平均振幅的常数并且可以具有值0.116mm-2。
[0073] 在步骤302，计算进入瞳孔的光场。通过假设像素是在光轴(例如参见图8)上距瞳孔z0处不具有尺度的点源，可以将进入瞳孔的场表示为方程式(4)：
[0074]
[0075] 其中，A0是点源的振幅。在步骤303，离开瞳孔的场由方程式(5)计算：
[0076] U(ρ，θ)＝S(ρ，θ)P(ρ，θ)(5)
[0077] 在步骤304，计算在视网膜平面I的场。在一些实施方式中，可以使用第一类的瑞利-索末菲衍射积分公式，并且该积分公式被表示为：
[0078]
[0079] 其中，R是视网膜的点，Q是瞳孔的点，dS是包括Q的小表面元，和 到瞳孔平面的法线值(normal value)。
[0080] 在被称为夫琅和费近似的一些假设下，衍射积分公式I(R)变成U(Q)的傅里叶逆变换。一些实施方式可以使用快速傅里叶逆变换以代替瑞利-索末菲衍射公式的直接计算。
[0081] 在步骤305，从I(R)计算PSF作为平方模量并且在方程式(7)中将其表示为：
[0082] PSF＝|I(R)|2(7)
[0083] 所得PSF可以被称为单色PSF，因为这是在像素以单个波长λ发光的假设下计算的。
[0084] 图9说明了用于计算用于给
定子像素类的多色PSF的示例性实施方式的步骤202的子步骤。每个子像素类可以计算一个多色PSF(例如可以对于每个红色子像素类、绿色子像素类和蓝色子像素类计算一个多色PSF)。每个子像素类的特征可能在于可以被预存储在存储器110中作为依赖于设备的数据的一部分的发射谱。所存储的发射谱可以由表示子像素类在跨标称频率的许多频率处的发射功率的一组值构成，其中该标称频率的特征在于子像素类的颜色。对于每个子像素类，可以通过计算对于作为发射谱的一部分的每个频率λi计算的单色PSF的加权平均值，并且随后乘以来自发射谱的功率wi，来计算多色PSF。
[0085] 在一些实施方式中，可以通过在每个频率上的明视(photopic)
光谱敏感度进一步对上述加权平均值的项进行加权。可以在学术文献中发现人类视网膜的平均明视光谱敏感度。
[0086] 光学系统例如眼睛的折射力依赖于波长。在一些点上，仅可以对于单个波长完美地聚焦眼睛。该现象导致所谓的色差。在一些实施方式中，在步骤301处可能存在散焦子步骤，在依赖于波长的波像差函数中，说明该色差。可以在学术文献中发现要完成的散焦的数量。
[0087] 在步骤203，接收将要被预校正算法处理的图像。该图像被称为参考图像。如何接收参考图像可以基于用户偏好和来自运行的应用的标准。图10示出了在步骤203处接收的图像的示例性实施方式。在步骤601，读取包含用户偏好的存储器。用户可能已经将他的偏好设置为例如“渲染文本”、“渲染全部”、“基于应用地”渲染或“什么都不渲染”。如果偏好被设置为“渲染文本”，则执行步骤602；如果偏好被设置为“渲染全部”，则执行步骤603；如果偏好被设置为“基于应用”，则执行步骤604；并且如果偏好被设置为“什么都不渲染”则不执行步骤204和205。
[0088] 在一些实施方式中，如果用户敲击设备上的专用硬键，则可以执行在“什么都不渲染”与之前存储在存储器中的偏好之间的转换；嵌入式加速计触发预校正的开/关；检测用户何时以指定方式振动设备；或者通过照相机检测用户正在(未)佩戴他的眼镜并且向例如用于执行步骤601-604中的任意一个步骤的模块发送指令。该指令可以是切换预校正过程的开/关。如果用户已经指定他没有在先佩戴校正/隐形镜片，则可以执行前述技术。
[0089] 在一些实施方式中，当用户设置偏好菜单中的选项时，可以使用大尺寸字体示出向用户显示的全部文本，直到与预校正过程被打开。
[0090] 在步骤602，当应用包括文本时，可以使用(例如
操作系统(OS)或在OS上执行的软件的)字体渲染库，由一个或多个模块从一个或多个应用接收文本。字体渲染库可用于输出和/或渲染可以变成步骤204的参考图像的小的、离屏图像上的合适文本。
[0091] 在步骤603，操作系统显示模块(例如包括窗口管理器)可以询问应用描绘它的显示的一些部分(例如借助方法或功能调用)或者可以从应用接收更新以用于它的显示的一些部分。在一些实施方式中，包括更新的/改变的部分的应用屏幕
缓冲器的矩形或其他部分可以变成步骤204中的参考图像。
[0092] 在步骤604，可以从字体渲染库或者从操作系统显示模块接收参考图像。如果调用它的服务的应用是可以被包括在该应用的预存储列表中的基于文本的应用(例如SMS、电子邮件、联系人列表、主叫方ID)，则可以从字体渲染库接收文本。在一些实施方式中，如果应用是可以被包括在与存储列表中的基于图像的应用(例如图像管理器、导航应用)，则可以从操作系统显示模块接收包括应用显示的更新部分的图像。
[0093] 在步骤204，预校正在步骤203中接收的参考图像。该参考图像可以由有限数量的、与每个子像素类相对应的I分量图像组成。在一些实施方式中，我们可以假设例如xref是这样一种图像，其中使用亮度值表示该图像并且himp是视力受损用户的眼睛的PSF的对应分量。假设使用合适的
坐标系统和
采样距离，可以在方程式(8)中将当显示图像时在眼睛的视网膜上形成的图像的离散估计fref表示为：
[0094] fref＝xref*himp (8)
[0095] 其中*表示离散卷积运算符。在一些实施方式中，预校正在于计算图像xcor，因而当显示该图像来代替xref时其在视网膜上产生图像fcor，在方程式(9)中可以将像fcor表示为：
[0096] fcor＝xcor*himp (9)
[0097] 图像fcor可以比fref具有“更好的质量”。“更好的质量”在这里意味着用户可能能够相对于他的设备使用以更好的性能执行精确的任务(例如以更少的错误阅读显示的文本)。
[0098] 在方程式(10)中可以将xcor表示为
[0099]
[0100] 其中，fobj是理想视网膜图像并且d是用于量化fcor与fobj之间的观察差异的度量。可以在包括实际可以由设备显示的图像x的域D上执行最小化。D是像素值不低于黑色的亮度并且不高于最大亮度的图像的集合。
[0101] fobj、d的值和用于求解方程式(10)的数值方法的选择可能导致各种实施方式。
[0102] 在一些实施方式中，可以xatt是xref的对比度削弱版本。可以使用增加函数R，将每个亮度值xref(i)重新调整为xatt(i)＝R(xref(i))。屏幕的最小和最大亮度值vmin和vmax分别映射到vo＝R(vmin)和v1＝R(vmax)，其中v0和v1满足方程式(11)中表示的不等式：
[0103] vmin≤v0＜v1≤vmax (11)
[0104] R可以是亮度的线性函数，在方程式(12)中被表示为
[0105]
[0106] 备选地，R可以是像素值的线性函数，在方程式(13)中被表示为
[0107]
[0108] 其中，L是将像素值转换成亮度值的显示函数，并且 和 是对比度削弱图像的最小和最大像素值，并且 和 是屏幕的最小和最大像素值。
[0109] fobj可以被设置为xatt，由完美聚焦的眼睛产生的视网膜图像，当显示时xatt，具有被限制于单个点的PSF。
[0110] 备选地，可以将fobj设置为fobj＝xatt*href，其中href是由上述方法估计的非受损眼睛的真实PSF，href可以是聚焦在屏幕上的与用户的瞳孔具有相同的瞳孔尺寸的衍射受限的眼睛的PSF。在一些实施方式中，href还可以是用于说明正常色差的多色PSF。
[0111] 可以从各种各样的度量中选择度量d，其中该各种各样的度量中的一些是已知的。特定度量的选择不改变本发明的精神和范围。
[0112] 在一些实施方式中，d可以是欧几里德度量。
[0113] 备选地，d可以是用于说明眼睛的接受体由于亮度所致的改变的敏感度的度量，其可以在方程式(14)中被表示为：
[0114]
[0115] 其中p是用于将与主观亮度值与亮度值相关联的非线性函数。在一些实施方式中，-1p可以是例如将像素值转换为亮度值的显示函数L的倒数L 。在一些实施方式中，x(i)和y(i)可以是像素i分别在图像x和y中的亮度值。
[0116] 可以使用各种已知的技术求解方程式10。具体技术的选择不改变本发明的精神和范围。
[0117] 当d是欧几里德度量时，可以使用可以在方程式(15)中表示的Wiener反卷积来估计方程式(10)的求解：
[0118]
[0119] 其中Xcor、Himp和Fobj分别是xcor、himp和fobj的离散傅里叶变换，并且H*imp表示Himp的复共轭。在图像复原问题中与噪声的功率
密度谱相关的K在这里可以作为正则化参数，该正则化参数限制Xcor中的高频，并且因此限制Xcor可能展现小于vmin或大于vmax的值的几率。如果该值仍然出现在Xcor中，则钳住它们，以便获得属于域D的图像Xcor，该域D包括可以被屏幕显示的图像且可以在方程式(16)中表示为：
[0120]
[0121] 在一些实施方式中，可以使用约束
优化算法求解方程式(10)。如果d是欧几里德度量，则可以使用用于求解二次方程问题的已知算法。如果由方程式(14)定义d，其中p是解析可微函数，则可以使用梯度下降方法执行该优化。
[0122] 在一些实施方式中，作为梯度下降方法的备选，可以使用具有应用Jaanson技术进行约束的Van Cittert算法执行该优化。
[0123] 在一些实施方式中，作为Wiener反卷积和
迭代算法如梯度下降方法或Van Cittert算法的备选，可以在利用Wiener反卷积的结果初始化它们的值之后使用梯度下降技术或Van Cittert算法。
[0124] 在一些实施方式中，可以确定预校正图像而不对于每个色彩分量求解方程式(10)。可选择地，可以同时地并且与函数R一起确定用于每个子像素类xcor1、xcor2等等的预校正图像，以便使用产生具有“最佳质量”的观察图像的对比度削弱。如果函数R的特征在于根据方程式(12)或(13)的参数v0和v1，则可以在方程式(17)中将预校正图像表示为：
[0125]
[0126] 其中，J是子像素类的数量，vopt0和vopt1是表征最佳函数R的参数，并且Q是依赖于d(xcorj，fobjj)且依赖于对比度削弱的量值的函数。用于函数Q的选择不改变本发明的精神和范围。
[0127] 在一些实施方式中，度量d说明眼睛的非线性亮度敏感度Q，其可以在方程式(18)中被表示为：
[0128]
[0129] 其中，n是子像素的数量并且μ是用于量化观察图像质量中的对比度削弱的相对贡献的恒定参数。
[0130] 在一些实施方式中，可以从仅作为物理量的近似的数据计算PSF。可以例如利用显著的置信区间测量或估计用户的瞳孔尺寸，并且描述用户的视力损伤的参数不能完美地表征眼睛的光学系统的特性。在一些实施方式中，为了说明在PSF上导致的不确定性，可以最小化fobj与从多个PSF计算的fcor的集合之间的差异，以代替最小化fobj与从单个PSF计算的fcor之间的观察差异。其他实施方式可以依赖于不确定参数的概率分布来定义概率函数以代替度量d或函数Q，并且最小化从该概率函数计算的指数，例如期望。
[0131] 对于一些用户，每个眼睛可能受显著不同的损伤的影响，因此产生不同的PSF并且因此不同的预校正。在一些实施方式中，为了恰当地解决该情况，可以通过组合两个眼睛的PSF或者通过从两个眼睛的组合的依赖于用户的数据计算单个PSF，计算单个PSF。该组合可以例如是PSF样本或依赖于用户的数据如S.C.A视力参数的算术平均。备选地，可以使用另一个数学组合。
[0132] 为了进一步解决用户的每个眼睛可能受到不同的损伤的影响的情况，在一些实施方式中，可能存在能够向每个眼睛显示不同图像的嵌入式自动立体监视器。在该情况中，可以存储每个眼睛的PSF，并且可以对于每个图形/图像元件计算两个对应的预校正。
[0133] 为了进一步解决每个眼睛可能受到不同的损伤的影响的情况，在一些实施方式中，可以向用户提供多个选项作为优选。该选项可以包括例如仅使用右眼的PSF的预校正、仅使用左眼的PSF的预校正、使用左眼和右眼的PSF的组合所导致的PSF的预校正、或者当左眼和右眼的PSF被应用于自动立体监视器的两个元件时使用左眼和右眼的PSF的预校正。
[0134] 在一些实施方式中，为了每当新内容对于用户可用于显示时或者每当应该更新/改变当前显示的内容的一部分时限制执行的处理的数量，可以将步骤204分割成两个子步骤。首先，可以针对每个子像素类，计算用于特殊图像的预校正图像，其中，在该特殊图像中全部像素值被设置为0并且一个中央像素的值被设置为它的最大亮度。可以将所得预校正图像成为“反PSF”并且存储在存储器中。可以通过将参考图像与反PSF卷积来执行实际图像的预校正。在一些实施方式中，可以通过下述方式在频域中执行卷积，下述方式即：(a)对可存储在存储器中的反PSF应用傅里叶变换和向参考图像应用快速傅里叶变换(FFT)，(b)执行与反PSF的傅里叶变换的逐点乘法，并且(c)将逆FFT应用于所述乘法的结果。
[0135] 图6说明用于预校正参考图像的示例性步骤201-205。不需要对于每个新参考图像重复步骤201-205。在一些实施方式中，可以使用缓存技术来限制处理的数量。缓存技术可以包括例如其中(a)将PSF存储在存储器114中并且当存在接收数据改变时可以执行步骤202期间它的计算，(b)如果确定在例如步骤203期间将很可能再次接收相同的参考图像，则可以将步骤204所得的预校正图像存储在存储器114中。在一些实施方式中，当预校正文本时，可以对于每个字母执行预校正并且可以存储预校正字母。当存储预校正字母时，下一次的文本包括相同尺寸的相同的字母，可以限制用于字母的步骤204的执行以从存储器114获取存储的字母。在一些实施方式中，如果步骤204使用如上所述反PSF，则可以将反PSF与PSF一起存储在存储器114中，因而在未来将步骤204限制为获取反PSF并且执行卷积。
[0136] 在一些实施方式中，步骤205输出/显示预校正图像。
[0137] 图11说明预校正过程的示例性实施方式。如图11中所示，可以由复合窗口管理器702调用预校正模块，复合窗口管理器702然后通过修改屏幕缓冲器704来显示预校正图像。
复合窗口管理器是操作系统的经典组件，其在将整个图形界面驱动到屏幕缓冲器704之前聚合每个应用的离屏缓冲器703。在该实施方式中，可以在将应用的显示复合到屏幕缓冲器中期间执行预校正，并且可以将预校正应用于屏幕缓冲器或者屏幕缓冲器的包括步骤203中接收的参考图像的一部分。该实现可在用户的偏好被设置为“渲染全部”(如上所述)时适用。
[0138] 图12说明预校正过程的示例性实施方式。如图12中所示，由操作系统的字体渲染模块802调用预校正模块，字体渲染模块802然后描绘所得预校正文本。该实施方式可在用户的偏好被设置为“渲染文本”时使用。当应用801需要显示文本时，可以由字体渲染模块802执行预校正，字体渲染模块802可以实现预校正，因为其将实现如反走样的渲染效果。
