首页 / 专利库 / 图形技术 / 色度 / 用于光学异常的电子校正的系统和方法

用于光学异常的电子校正的系统和方法

阅读:634发布:2023-01-09

专利汇可以提供用于光学异常的电子校正的系统和方法专利检索,专利查询,专利分析的服务。并且一种用于校正光学异常,即失真、色彩不汇聚(不包括轴向色差)以及 亮度 (或 色度 )不均匀性的 电子 校正系统和方法。各效果被作为立体( 位置 )空间或色空间中的变换而建模。将这些效果表示为数字象素数据,可允许在共同的 框架 即图象“扭曲”的框架内解决不同的异常。然后通过电子式应用倒置变换来消除已被表示为象素变换的异常。该过程等同于在位置和/或色空间内数字式操纵或扭曲图象,因此这可通过商业上已知的扭曲 电路 来实现。另外,变换也可含有元件来另外进行任何专用的图象扭曲(例如缩放和几何变换)。最后,通过储存变换顺序,可以实现适应性的异常校正和动态效果。,下面是用于光学异常的电子校正的系统和方法专利的具体信息内容。

1.一种电子校正方法,用于校正多种光学异常,所述光学异常与具有特 定几何形状的光学俘获和显示元件所处理的光学图象的俘获和显示相关,通过 补偿与所述光学图象相关的数字图象象素数据来进行,所述方法包括:
(a)识别和表示与俘获和显示光学部件的物理和几何特征相关的光学异 常,并将其作为光学异常网格数据集;
(b)识别和表示俘获和显示光学部件的理想性能,并将其作为理想网格数 据集;
(c)比较光学异常网格数据集和理想网格数据集,并确定异常校正变换数 据集,通过进行从理想网格数据集到异常变换的倒置空间变换,使得 带有光学异常网格数据集的异常校正变换的函数组合减少至理想网格 数据集;
(d)将异常校正变换数据集应用到所述图象象素数据上,以生成看上去没 有光学异常的校正图象象素数据。
2.根据权利要求1所述的方法,其特征在于,所述光学异常从组:失真、 色彩不均匀性、亮度不均匀性和色度不均匀性中选出。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括计算出可 表示从包括球形、圆柱形和梯形变换的组中选出的图象缩放和几何变换的专用 网格数据集,并将光学异常网格数据集与专用网格数据集级连起来,其中(d) 包括将光学异常网格数据集与专用网格数据集的级连应用到象素图象数据中。
4.根据权利要求1所述的方法,其特征在于,所述异常校正变换数据集 被转换成装置专用的函数表达式。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括储存变换 顺序以实现动态的异常校正。
6.根据权利要求1所述的方法,其特征在于,所述异常校正变换数据集 被限定在至少位置空间和色空间的其中之一中。
7.根据权利要求1所述的方法,其特征在于,所述异常校正变换数据集 定义了一组校正几何变换和一组校正彩色变换。
8.根据权利要求8所述的方法,其特征在于,步骤(d)包括:
(i)应用校正几何变换组;
(ii)应用过滤操作组;和
(iii)应用校正彩色变换组。
9.根据权利要求1所述的方法,其特征在于,所述象素图象数据与至少 一个俘获和显示装置相关联。
10.一种电子校正系统,用于校正多种光学异常,所述光学异常与具有特 定几何形状的光学俘获和显示元件所处理的光学图象的俘获和显示相关,通过 补偿与所述光学图象相关的数字图象象素数据来进行,所述系统包括图象处理 器,用于:
(e)识别和表示与俘获和显示光学部件的物理和几何特征相关的光学异 常,并将其作为光学异常网格数据集;
(f)识别和表示俘获和显示光学部件的理想性能,并将其作为理想网格数 据集;
(g)比较光学异常网格数据集和理想网格数据集,并确定异常校正变换数 据集,通过进行从理想网格数据集到异常变换的倒置空间变换,使得 带有光学异常网格数据集的异常校正变换的函数组合减少至理想网格 数据集;
(h)将异常校正变换数据集应用到图象象素数据上,以生成看上去没有光 学异常的校正图象象素数据。
11.根据权利要求10所述的系统,其特征在于,所述光学异常从组:失 真、色彩不均匀性、亮度不均匀性和色度不均匀性中选出。
12.根据权利要求10所述的系统,其特征在于,所述系统还包括应用模 ,所述运用模块提供可表示从包括球形、圆柱形和梯形变换的组中选出的图 象缩放和几何变换的专用网格数据集,所述图象处理器适于将光学异常网格数 据集与专用网格数据集级连起来,所述图象处理器还适于将光学异常网格数据 集与专用网格数据集的级连应用到象素图象数据中。
13.根据权利要求10所述的系统,其特征在于,所述图象处理器适于将 所述异常校正变换数据集转换成装置专用的函数表达式。
14.根据权利要求10所述的系统,其特征在于,所述图象处理器适于储 存变换顺序以实现动态的异常校正。
15.根据权利要求10所述的系统,其特征在于,所述光学异常网格数据 集被限定在至少位置空间和色空间的其中之一中。
16.根据权利要求10所述的系统,其特征在于,所述异常校正变换数据 集定义了一组校正几何变换和一组校正彩色变换。
17.根据权利要求16所述的系统,其特征在于,所述图象处理器适于:
(iv)应用校正几何变换组;
(v)应用过滤操作组;和
(vi)应用校正彩色变换组。
18.根据权利要求10所述的系统,其特征在于,所述系统还包括与所述 图象处理器耦合,以显示所述图象象素数据的图象显示装置。
19.根据权利要求10所述的系统,其特征在于,所述系统还包括与所述 图象处理器耦合,以俘获所述图象象素数据的图象俘获装置。
20.一种具有计算机可读编码的计算机可读媒体,用于校正多种光学异常, 所述光学异常与具有特定几何形状的光学俘获和显示设备所处理的光学图象 的俘获和显示相关,,通过以如下步骤来补偿与所述光学图象相关的数字图象 象素数据:
(j)识别和表示与俘获和显示光学部件的物理和几何特征相关的光学异 常,并将其作为光学异常网格数据集;
(k)识别和表示图象数据处理链的理想性能,并将其作为理想网格数据集;
(l)比较光学异常网格数据集和理想网格数据集,并确定异常校正变换数 据集,通过进行从理想网格数据集到异常变换的倒置空间变换,使得 带有光学异常网格数据集的异常校正变换的函数组合减少至理想网格 数据集;
(m)将异常校正变换网格数据集应用到图象象素数据上,以生成看上去 没有光学异常的校正图象象素数据。
21.根据权利要求20所述的计算机可读媒体,其特征在于,所述光学异 常从组:失真、色彩不均匀性、亮度不均匀性和色度不均匀性中选出。
22.根据权利要求20所述的计算机可读媒体,其特征在于,所述计算机 可读媒体还包括步骤:计算出可表示从包括球形、圆柱形和梯形变换的组中选 出的图象缩放和几何变换的专用网格数据集,并将光学异常网格数据集与专用 网格数据集级连起来,其中(m)包括将光学异常网格数据集与专用网格数据 集的级连应用到象素图象数据中。
23.根据权利要求20所述的计算机可读媒体,其特征在于,所述异常校 正变换数据集被转换成装置专用的函数表达式。
24.根据权利要求20所述的计算机可读媒体,其特征在于,所述计算机 可读媒体还包括储存变换顺序以实现动态的异常变换。
25.根据权利要求20所述的计算机可读媒体,其特征在于,所述异常校 正变化数据集被限定在至少位置空间和色空间的其中之一中。
26.根据权利要求20所述的计算机可读媒体,其特征在于,所述异常校 正变化数据集定义了一组校正几何变换和一组校正彩色变换。
27.根据权利要求26所述的计算机可读媒体,其特征在于,(m的)包括:
(vii)应用校正几何变换组;
(viii)应用过滤操作组;和
(ix)应用校正彩色变换组。

说明书全文

技术领域

发明涉及一种光学异常的电子校正,更具体而言涉及失真、横向色差、 亮度不均匀性、色度不均匀性的电子校正,这种电子校正可与一般的图象变换 (例如缩放变换和几何变换)结合在一起。

背景技术

传统的图象俘获或显示装置容易产生各种形式的光学异常。这些异常对 于各种光学元件的非理想性能而言以及对于装配的精确度和容差而言是固有 的。各种光学或其它的元件(传感器、显示器、透镜、棱镜、反射镜和光源) 以及其定向可引入其自身特有的光学异常,例如失真、倾斜、横向色差、亮度 或色度不均匀性。用语“光学象差”通常用于指称任何会导致非理想图象形成的 效果。
光学象差包括衍射效应(由于光的波特性),色差(由光色散或光的不同 波长产生的不同折射所引起),和单色差(其中球面象差、慧形象差以及象散 与点目标形成点像的失效有关,场弯曲和失真与有限目标垂直于主轴以形成良 好聚焦的平面图象的失效有关)。也可大致将光学象差分为两类,一类影响图 象质量,一类影响图象形状。前一类会降低图象的清晰度,即图象模糊,和/ 或聚焦不良,和/或具有彩色边纹。这种类型的象差包括球面象差、象散、慧 形象差、场弯曲和轴向色差。后一类象差影响图象形状,它可部分地由前一种 象差引起或由前一种象差的校正和优化引起。在这种情况下,目标平面中的点 与象平面中的理想成像相比而被移位或扭曲。在理想的成像中,像平面中的目 标将显现为与目标平面中的一样,并可具有一致的比例变化。例如,图象会在 靠近边缘处出现弯曲或出现旋转。该第二类中的象差包括失真(例如枕形失真 /桶形失真效果)和横向色差。
除了色差以外,所有其它光学象差都存在于单色(一种颜色)光中。当 处理多色光(多种颜色)时出现色差。简而言之,折射率取决于波长,这意味 着红色、绿色和蓝色分量在光学界面处不同程度地弯曲。这导致轴向(纵向) 和/或横向色差效果。在轴向色差中,三个分量聚焦在图象空间中的不同平面 上,这导致色彩模糊效果。换句话说,轴向色差是由于焦距随波长(颜色)变 化引起的。在横向色差中,彩色分量从单点聚焦在同一图象空间上的不同点处。 这具有将三种颜色不同程度地放大的效果并可目视为“彩色边纹”。因此横向色 差可被视为放大率随波长变化而引起的效果。这三种颜色也可因非光学效果而 失配。在三色显示系统中,如果显示器未正确地对准,则可看到彩色缺陷。用 语“色彩未汇聚用于指色彩失配效果,无论是否是光学的(如色差)。在传统的 光学教材中可找到对光学象差的进一步讨论,例如Robert Guenther所著的《现 代光学》,John Wiley&Sons于1990年出版,该教材通过引用而结合于本文中。
在传统的图象俘获或显示设备中的另一重要的光学失真是亮度不均匀 性。亮度不均匀性导致在整个图象上的亮度变化。通常的原因包括可变(亮度) 光源、在象平面上的可变光路、不一致的传感器响应和面板(例如LCD、LCOS 等)的不规则。大规模和小规模的不均匀性都是存在的。在三色系统中,不同 色彩的亮度变化是不同的,从而导致色度不均匀性。
大量的现有技术试图校正影响图象形状的象差同时又不会引入图象模 糊,即校正失真、横向色差和亮度或色度(亮度)不均匀性。一般而言,这种 现有技术的尝试朝着一种特定类型的偏差来调整。
例如,通常采用专的光学元件来校正(降低)横向色差,这些光学元 件通常包括棱镜/透镜的组合和/或特殊材料涂层,这些涂层例如公开于授予 Cross的美国专利4943155,授予Usui的美国专利5086338,授予Chen等人的 美国专利5499139,授予Kreitzer的美国专利6023375,授予Brown的美国专 利6111701,授予Bryars等人的美国专利6144498和授予Hashizume等人的美国 专利6172815中。然而,公开于这些引用文献中的解决方案的物理工具是昂贵 且笨重的。另外,这些设计的专属特性使它们不得不限于专门类型的应用。一 般而言,这些方法旨在用于显示/投影系统或顶部/顶部安装的显示系统。
已经提出了大量的电子解决方案,例如公开于授予shiota等人的美国专利 5838396,授予Munib等人的美国专利5870505,授予shiota等人的美国专利 6288756,授予Tsujihara等人的美国专利5200815,授予Haseltine等人的美国 专利5369450,授予Chen等人的美国专利5889625和授予Enomoto等人的美 国专利6323934中。所有的这些方法依靠一些类型的图象“扭曲”。对图象扭曲 的讨论可在IEEE计算机学会出版社于1988年出版的George Wolberg所著的 “数字图象扭曲”中找到,该文献通过引用而结合于本文中。
扭曲数据(即描述图象如何被变换的数据)可用于调整数字图象(例如在 Haseltine等人的美国专利5369450和Chen等人的美国专利5889625中所述), 或调整用于显示/投射图象的电子器件的操作(例如美国专利5200815中所述)。 这些电子解决方案集中于特定的失真如亮度校正(例如shiota等人的美国专利 5838396,Woeber等人的美国专利5870505,shiota等人的美国专利6288756 中所述),失真和色差(例如Tsujihara等人的美国专利5200815,Haseltine等 人的美国专利5369450,Chen等人的美国专利5889625和Enomoto等人的美 国专利6323934中所述)或特定类型的系统,如顶部安装的显示器。这些确实 校正了所有三种偏差的解决方案(例如Enomoto等人的美国专利6323934中 所述)本质上不是实时的。现有技术的电子解决方案的其它限制是不能进行专 用的“校正”(即与光学异常校正不符的校正),和/或不能提供动态的异常校正。 例如,在某些视频应用中,将异常校正(亮度不均匀性和枕形失真)与梯形畸 变校正(由离轴投影引起)以及用于平面/曲面的曲率校正结合起来是比较理 想的。

发明内容

本发明一方面提供了用于校正与具有特定几何形状的光学俘获和显示设 备所处理的光学图象的俘获和显示相关的多种光学异常的电子校正方法,这是 通过补偿与光学图象相关的数字图象象素数据来进行的,所述方法包括:
(a)识别和表示与俘获和显示光学部件的物理和几何特征相关的光学异 常,并将其作为光学异常网格数据集;
(b)识别和表示俘获和显示光学部件的理想性能,并将其作为理想网格数 据集;
(c)比较光学偏差网格数据集和理想网格数据集,并确定异常校正变换网 格数据集,这是通过进行从理想网格数据集到异常变换的倒置空间变 换使得带有光学异常网格数据集的异常校正变换的函数组合减少至理 想网格数据集来进行的;
(d)将异常校正变换网格数据集应用到图象象素数据上以产生看上去没有 光学异常的校正图象象素数据。
本发明另一方面提供了用于校正与具有特定几何形状的光学俘获和显示 设备所处理的光学图象的俘获和显示相关的多种光学异常的电子校正系统,这 是通过补偿与光学图象相关的数字图象象素数据来进行的,所述系统包括图象 处理器,其用于:
(e)识别和表示与俘获和显示光学部件的物理和几何特征相关的光学异 常,作为光学异常网格数据集;
(f)识别和表示图象数据处理链的理想性能,作为理想网格数据集;
(g)比较光学异常网格数据集和理想网格数据集,并确定异常校正变换网 格数据集,进行从理想网格数据集到异常变换的倒置空间变换,使得 带有光学异常网格数据集的异常校正变换的函数组合减少至理想网格 数据集;
(h)将异常校正变换网格数据集应用到图象象素数据上,以生成看上去没 有光学异常的校正图象象素数据。
本发明另一方面提供了具有体现于本文中的计算机可读编码的计算机可 读媒体,用于校正与具有特定几何形状的光学俘获和显示设备所处理的光学图 象的俘获和显示相关的多种光学异常,通过以如下步骤来补偿与光学图象相关 的数字图象象素数据:
(j)识别和表示与俘获和显示光学部件的物理和几何特征相关的光学异 常,作为光学异常网格数据集;
(k)识别和表示图象数据处理链的理想性能,作为理想网格数据集;
(l)比较光学异常网格数据集和理想网格数据集,并确定异常校正变换网 格数据集,进行从理想网格数据集到异常变换的倒置空间变换,使得 带有光学异常网格数据集的异常校正变换的函数组合减少至理想网格 数据集;
(m)将异常校正变换网格数据集应用到图象象素数据上,以生成看上去 没有光学异常的校正图象象素数据。
附图说明
从以下介绍并结合附图,可以了解本发明的其它方面和优点。在附图中:
图1是显示了传统的现有技术的集成式俘获和显示光学装置及其相应的 图象处理链的示意图;
图2是显示了详细的处理链和代表图1所示现有技术的集成式俘获和显 示光学装置中的光学缺陷的各种变换的示意图;
图3是显示了存在任何光学缺陷时的理想处理链的示意图;
图4是本发明的电子校正系统的示例的示意图;
图5是图4所示电子校正系统的校正模的示意图,其中校正模块适于 校正失真和色度不均匀性;
图6是本发明的可执行几何变换的电子校正系统的另一示例的示意图;
图7是图6所示电子校正系统的校正模块的示意图,其中校正模块适于 实施特定的几何变换应用;
图8是本发明的可校正光学异常、执行几何变换和实现动态校正的电子 校正系统的另一示例的示意图;
图9是显示了本发明的电子校正方法的主要步骤的流程图

具体实施方式

图1显示了传统的俘获和显示光学装置10的主要部件和存在于相应的表 示为图象(即象素平)变换的图象处理链中的光学异常。如图所示,通过图 象处理链使处于目标平面中的目标O被映射在象平面中的目标O’上。俘获/ 显示装置10包含各种部件,包括光学部件(如透镜、棱镜、反射镜等)和非 光学部件(如电子传感器和显示面板)12和14,该非光学部件的全部或部分 可如图所示地将光学异常引入图象处理链中。俘获/显示装置10还包括如图所 示的存储器(内存)16和18。
各光学异常作用于立体空间(影响成象物体的形状)中和/或颜色空间(影 响成象物体的亮度/颜色)中。这些影响可被表示为(a)象素位置和(b)象 素颜色的变换或映射,并被施加在存储面(空间)16和18以及相应的目标平 面/象平面之间的某位置。因此,这些变换规定了光学异常。应当理解,当前 的表示并不将不同的焦距异常视为不能通过电子校正的不同焦距问题。
图1显示了处理链,其中映射表示俘获侧(由下标c表示)上fc和显示 侧(由下标d表示)上fd所表示的所有异常的集合效应。俘获/显示装置10内 存在的光学异常由这些映射来表示。与存储面的储存有关的映射I表示恒等映 射,它表示没有任何图象变化,如存储面16和18不会引入任何异常。应当注 意的是,用语“光学异常”指的是任何会导致非理想成象的效果,特别是包括象 差和亮度不均匀性。
图2显示了映射fc如何可被进一步分成fc s和fc c,其中fc s表示空间异常(上 标s),fc c表示色彩偏差(上标c)。由于各彩色分量可进行不同的变换,因此 fc s和fc c应被fcr s、fcg s、fcb s代替,其中fcr c、fcg c、fcb c用于红色、绿色和兰色分 量(第二下标r,g,b)。当所有三个分量一起起作用时,将使用符号fc s和fc c。 同样,表示显示侧上的异常的空间/色彩映射由fd s和fd c表示,其带有其彩色分 量fdr s、fdg s、fdb s、fdr c、fdg c和fdb c。应当注意的是,存储面的特征(尺寸、类型 等)是取决于系统的,并且所示存储面表示用于各种映射的概念范围而非存储 的实际硬件实现。特别是,显示侧上的存储面显示为虚线轮廓,以表示它不必 存在于具体装置中,相反所俘获的图象可直接显示而无须存储。如果在俘获/ 显示装置10的显示部分中进行另外的处理(例如速率变换),则要求一些物 理存储的形式。另外,俘获侧上的存储面不必是全帧的。
目标平面中的目标O由其2D位置矢量 (从一点)和其RGB彩色值(Or, Og,Ob)所定义。在其数字形式中,点目标近似为一个象素。由于色差,该目 标的彩色分量将被映射到象平面中的不同点处。一般而言,单点将被映射成三 点,这是因为三种色彩将被聚焦成不同的点(同一平面上)。因此,象平面上 的目标图象将由三个位置矢量 和相应的彩色值(Or’,Og’,Ob’)来 描述。还可将符号 引入目标平面中的三色的空间坐标,我们的理 解是对于给定点而言, x = x r = x g = x b .
总之,在存在光学异常的情况下通过俘获/显示装置10来处理点目标O(或 象素)可通过作为矢量函数的以下映射(所有的空间映射都表示为矢量函数, 虽然为了使标注简单化而省略了矢量箭头)来表达:
( x , O r , O g , O b ) ( x r ' , x g ' , x b ' , O r ' , O g ' , O b ' ) - - - ( 1 )
x r ' = f dr s ( f cr s ( x ) ) - - - ( 2 )
x g ' = f dg s ( f cg s ( x ) ) - - - ( 3 )
x r ' = f db s ( f cb s ( x ) ) - - - ( 4 )
Or’=fdr c(fcr c(Or))                          (5)
Og’=fdg c(fcg c(Og))                          (6)
Ob’=fdb c(fcb c(Ob))                          (7)
在图2中显示了相应的图象处理链。对于映射q和变量z,符号q(z)表示 q仅用于修改z,将其改变到同一类型的新的值(即新的位置值或新的色彩值)。 映射q也可取决于其他变量,然而为了简化符号,这些修改都未示出。例如, z’=q(z,w)被写成z’=q(z)。一般而言,所有的空间映射仅取决于空间变量,而 色彩映射可取决于空间和色彩变量,这将进一步介绍。
图3显示了俘获/显示装置10的理想状态。为了校正不同的光学异常,我 们还需要介绍没有任何偏差的“理想”俘获/显示装置。校正映射将图恢复该 理想状态。在没有任何侧向色差时,我们将具有以下关系:
x r ' = x g ' = x b ' = x ' - - - ( 8 )
其中 表示所有三种色彩的共同矢量。另外,在没有任何失真的情况下, 希望得到以下关系:
x ' = k x - - - ( 9 )
其中俘获/显示装置10仅在目标平面上线性地按比例缩放目标。“k”值 表示空间缩放比例常量。因此,缩放操作不被视为失真(当这种操作对每种色 彩是相同的时候)。最后,对于均匀的亮度/色度而言,希望得到以下关系:
             Or’=sOr+m                            (10)
             Og’=sOg+m                            (11)
             Ob’=sOb+m                            (12)
其中各彩色分量的相同变化在整个图象中产生(与 无关)。“s”和“m”值分别 表示均匀的亮度/色度增益和所加的补偿值。在没有任何光学异常的情况下通 过俘获/显示装置10对点目标O(象素)的处理可通过以下映射(用h表示理 想映射)表示:
( x , O r , O g , O b ) ( x ' , O r ' , O g ' , O b ' ) - - - ( 13 )
x ' = h d s ( h c s ( x ) ) - - - ( 14 )
         Or’=hd c(hc c(Or))                 (15)
         Og’=hd c(hc c(Og))                (16)
         Ob’=hd c(hc c(Ob))                (17)
其中hd s、hd c、hd s和hd c受方程(9)-(12)约束,并且是fci s、fci c、 fdi s和fdi c的限制形式,i=r,g,b。在消除异常的限制中,具有:
fci s→hc s,fci c→hc c,fdi s→hd s,fdi c→hc c,i=r,g,b(18)
应当理解,也可规定其它形式的理想状态,上述方程即(9)-(12)只是 一个代表性示例。
图4显示了根据本发明制造的电子校正系统50的主要部件。电子校正系 统50采用图象处理器51来消除图象俘获/处理装置共有的光学异常,这是通 过在上述处理链中引入另外的“倒置”变换来进行的。如以上一样,电子校正系 统50包括光学元件(如透镜、棱镜、反射镜等)和非光学元件(如电子传感 器和仪表板)52和54,非光学元件的部分或全部可将光学异常引入所示图象 处理链中;还包括存储面56和58,其被假定为不会引入任何光学异常。尽管 同时显示了俘获和显示装置,然而应当理解,本发明可容易地单独适用于俘获 或显示装置。
如以上图2所述,方程(2)至(7)描述了在空间域或色域中的变换时 的光学异常。图象处理器51将任意的几何(空间)和彩色变换应用到数字图 象上。空间变换是众所周知的,应当理解类似的变换可被用于实现彩色变换。 可通过图象处理器51并采用各种可买到的图象扭曲电路(例如美国加利福尼 亚州San Jose的Silicon Optix公司生产的sxW1集成电路)来实施这些空间变 换,其中一定的电路在所述空间域中工作,其它电路也可用于彩色变换。
图象处理器51独立地处理来自图象的各种色彩,允许三个通道的变换是 不同的。图象处理器51设置在所示俘获-显示界面处的处理链中。图象处理器 51所进行的变换将由fwr s、fwg s和fwb s(第一下标w)来表示三个空间映射, fwr c、fwg c和fwb c表示三个彩色映射。图4所示处理链现在修改成:
( x , O r , O g , O b ) ( x r ' , x g ' , x b ' , O r ' , O g ' , O b ' ) - - - ( 19 )
x r ' = f dr s ( f wr s ( f cr s ( x ) ) ) - - - ( 20 )
x g ' = f dg s ( f wg s ( f cg s ( x ) ) ) - - - ( 21 )
x b ' = f db s ( f wb s ( f cb s ( x ) ) ) - - - ( 22 )
Or’=fdr c(fwr c(fcr c(Or)))                    (23)
Og’=fdg c(fwg c(fcg c(Og)))                    (24)
Ob’=fdb c(fwb c(fcb c(Ob)))                    (25)
为了消除光学偏差,图象处理器51中所用的变换选择成使得方程(19) 至(25)减少至(13)至(17)。比较方程(19)至(25)与(13)至(17), 得出(应当理解下式中的相乘意味着函数组合):
f wr s = f dr s - 1 h d s h c s f cr s - 1 - - - ( 26 )
f wg s = f dg s - 1 h d s h c s f cg s - 1 - - - ( 27 )
f wb s = f db s - 1 h d s h c s f cb s - 1 - - - ( 28 )
f wr c = f dr c - 1 h d c h c c f cr c - 1 - - - ( 29 )
f wg c = f dg c - 1 h d c h c c f cg c - 1 - - - ( 30 )
f wb c = f db c - 1 h d c h c c f cb s - 1 - - - ( 31 )
通过使适当的等式(19)至(25)以及(13)至(17)来得到上述方程。 例如,为了推导出(26),设定 f dr s ( f wr s ( f cr s ( x ) ) ) = h d s ( h c s ( x ) ) , 这在函数水平上意 味着fdr sfwr sfcr s=hd shc s。然后同时在左边乘以fdr s-1,在右边乘以fcr s-1,消去逆 元,得出(26)式。可类似地推导出其它方程。
当图象处理器51应用了方程(26)至(31)中的变换时,可以消除失真、 色彩不汇聚(包括轴向色差)和亮度(色度)不均匀性的光学异常。
变换(26)至(31)中隐含的是伴随有任何图象扭曲的过滤。在应用了 几何变换fwr s、fwg s和fwb s之后,需要(所有三个通道的)重新取样以产生新 的图象或象素数据。在图象处理器51中,这些过滤操作通常产生于彩色变换 fwr c、fwg c和fwb c之前。然后对新的过滤后象素数据应用彩色映射,这意味着 异常校正变换(29)至(31)需要基于新的图象数据。
图5显示了图象处理器51中所产生的特定处理顺序,其中空间滤波器47 进行F所表示的过滤操作。用于各输出象素的所接收的几何数据被空间滤波器 47用于得到大量的输入象素,以便用于通过FIR滤波器而变换到输出象素值。 另外,增益和偏移级49用于保证上述一致的亮度/色度结果。作为特例,变换 (29)将校正亮度不均匀性,如果映射分量fcr c-1选择成符合以下关系的话:
f cr c - 1 ( F ( f cr c ( O r ) ) ) = O r , - - - ( 32 )
或者等同式:
h c c ( f cr c - 1 ( F ( f cr c ( O r ) ) ) ) = h c c ( O r ) , - - - ( 33 )
等等用于其它情况。这里空间滤波器47用于将F同fcr c-1组合起来以消除 俘获侧的亮度异常。过滤F内含在包括有图象扭曲电路的所有处理链或方程 中,也隐含着通过滤波,彩色变换直接连接到空间变换上这意味着在空间变换 中的变化将使过滤后的象素数据变化,这反过来可能要求不同的彩色变换。空 间映射也可直接地与彩色映射相互作用。可以预期,图象处理器51可设置成 允许根据所产生的空间数据(例如位置/推导的信息)来进行彩色映射的动态 调制。图5中虚线箭头所示的该选项运行在空间映射元件与彩色映射元件之 间。空间映射的产生可通过相连的或脱机(即未处于图象处理器51内)的程 序块来进行操作,并按图5中以几何变换网格数据集57和彩色变换网格数据 集59来描述的方式进行存储。
图6显示了另一示例性电子校正系统100,其采用图象处理器101来执行 变换(26)至(31)的进一步推广,以包括专用“校正”或扭曲分量(即独立于 校正光学缺陷用分量的分量)。如上一样,电子校正系统100包括光学元件(如 透镜、棱镜、反射镜等)和非光学元件(如电子传感器和显示板)102和104, 非光学元件的部分或全部可将光学偏差引入所示图象处理链中;还包括存储面 106和108,其被假定为不会引入任何光学异常。
专用映射用fa s和fa c(下标a)标明,方程(26)至(31)变成:
f wr s = f dr s - 1 h d s f a s h c s f cr s - 1 - - - ( 34 )
f wg s = f dg s - 1 h d s f a s h c s f cg s - 1 - - - ( 35 )
f wb s = f db s - 1 h d s f a s h c s f cb s - 1 - - - ( 36 )
f wr c = f dr c - 1 h d c f a c h c c f cr c - 1 - - - ( 37 )
f wg c = f dg c - 1 h d c f a c h c c f cg c - 1 - - - ( 38 )
f wb c = f db c - 1 h d c f a c h c c f cb s - 1 - - - ( 39 )
通过专用分量,方程(33)变成:
f a c ( h c c ( f cr c - 1 ( F ( f cr c ( O r ) ) ) ) ) = f a c ( F ( h c c ( O r ) ) ) , - - - ( 40 )
其中“有效过滤” F,表示在没有任何光学异常时的伴随有fa s的过滤。现在 F在消除异常和应用由fa s所引起的专用过滤方面起了一定作用。过滤F(和/ 或 F)通过正确地选择fwi s和fwi c来确定,i=r,g,b。
一般而言,映射fa s和fa c对于三种色彩而言是不同的,为了最实用目的, 这些映射对所有色彩而言都是相同的。应当理解,使fa s在三种色彩上不同等 同于“人为地”引入横向色差。应当注意,fa s和fa c并不用于校正光学异常,它 们的输入/输出被假定为是没有异常的。因此,消除了偏差的有效处理链显示 于图6中。一旦图象处理器101已经消除了光学异常,则图象处理器101可有 效地用作专用图象扭曲电路。图7显示了位于图象处理器101内的有效处理链。
电子校正系统100(即俘获/显示装置)的一个示例应用了变换(34)至 (39)并摄取(俘获)了画面并将其投射(显示)在弯曲的屏幕上。在这种情 况下,fa s和fa c将校正当投射到弯曲屏幕上时产生的失真(位置的和/或色彩的)。 其它映射分量将校正由于俘获/显示用光学/电子元件所引起的光学异常。该其 它映射分量是取决于装置的映射,使得如果屏幕形状改变的话,则只有fa s和 fa c变化,而取决于装置的映射不会变化。也就是说,映射fci s-1、fdi s-1、fci c-1、 fdi c-1、hc s、hd s、hc c和hd c对于给定的装置配置而言只需要计算一次。可能要求 用于各色彩的不同fa c映射的一个应用是色彩匹配。在其中两个重叠图象投射 到屏幕上的情况下,所得到的图象要求在重叠区域(即要求将大的画面分成由 若干投影仪投射)连续的情况下,需要单个地调整重叠区域中的三种色彩(在 各图象中)以呈现平滑过渡。
如上所述,用于表示和计算各种映射的方法是取决于应用/装置的。映射 的更常用描述是网格数据集。网格数据集给出了象素的输入/输出位置和色彩 值的代表集。可采用各种方法来产生网格数据集。对于光学元件而言,可利用 光线跟踪程序来确定输入和输出象素的位置。试验图象也可用于通过系统来确 定色彩漂移。输入和输出亮度水平的数据可确定描述了亮度校正映射的网格数 据集(在色空间中)。
对于专用的变换(梯形、圆柱形、球形等)而言,可根据分析利用数学 模型来产生网格数据集。因此,用于变换(34)至(39)中的反函数的网格数 据集可通过使来自变换(2)至(7)中的“向前”映射中的网格数据集倒置过来 计算。
一旦单个网格数据集(与(34)至(39)右边的五个分量函数相对应) 确定了后,可将这些网格数据集级连起来以给出各变换(34)至(39)所用的 网格数据集。级连可以用几种方式进行,一种途径是首先通过2D表面如样条 函数等配入或插入单个网格数据集,然后这些表面可函数式地组合起来并以正 确顺序来求值,以得到最终的网格数据集。对于各变换(34)至(39)来重复 该过程。组合/求值操作仅仅采用一个表面的界限来按照顺序地作为下一个表 面的域。一旦我们具有了最终的六个网格数据集,然后将它们转换成基于可代 表任何变换的函数格式的统一2D表面,具有将该统一函数格式应用于(基于 象素的)网格数据集格式的实质性益处。最终的结果是(34)至(39)可表达 为:
f wi s ( x , y ) = Σ m , n α i mn x m y n - - - ( 41 )
fwi c(Oi,x,y)=αi(x,y)Oi+βi(x,y)             (42)
α i ( x , y ) = Σ m , n A i mn x m y n - - - ( 43 )
β i ( x , y ) = Σ m , n B i mn x m y n - - - ( 44 )
与空间变化即(41)有关的传统理解可被用于确定((42)至((44)。彩 色映射(42)的系数被配入(43)至(44)中,以代替图象位置(如(41)所 示)。彩色影射(42)的系数适合于(43)至(44),以与(41)完全相同的方式 来确定表面((43)至(44));只有界限的意义是不同的。在((42)中,彩色 映射被视为线性的;尽管并不清楚高阶表面的物理重要性,但仍可采用高阶函 数。图象处理器51(图5)和101使((42)在Oi中被视为线性的,并且使((43) 和((44)在x和y中被视为线性的。
图8显示了另一示例性电子校正系统150,其采用图象处理器151来实现 动态光学校正和图象扭曲。如图所示,可采用映象发生器162来计算出规定了 动态序列的不同变换并将其储存在外部存储器160中。如同以前一样,电子校 正系统150包括光学元件(如透镜、棱镜、反射镜等)和非光学元件(如电子 传感器和仪表板)152和154,非光学元件的部分或全部可将光学异常引入所 示图象处理链中;还包括存储器(储存面)156和158,其被假定为不会引入 任何光学异常。
电子校正系统150采用图象处理器151来储存不同的映射(即一组以上 的函数(41)至((44))。通过该方法,光学异常(和/或专用扭曲)随时间变 化(在合理的比率下)的的位置可以被访问。这符合适应性异常校正,其中映 射适应变化的异常。可根据动态变化来预先计算函数并之后根据需要装载。也 可包括动态专用效果,例如随时间变化的梯形校正。虽然已经假定映射是离线 计算的,然而也可不必这样。如果赋予足够的计算功率,映射也可在线(即在 集成电路内)计算,这将取消储存各种映射的存储块。
以上(41)至((44)所讨论的函数可储存在图象处理器51、101和151 中,并依次应用到数字图象数据中。整体效果是可恢复理想的特性并只保存专 用扭曲。这提供了有效的电子解决方案来校正光学异常,随着益处的增加,也 可包括任何专用的图象扭曲。专用扭曲的任何变化不会影响异常校正映射。
上述光学异常校正的电子解决方案大大降低了系统成本。特别是,可以 取消昂贵的光学元件或采用较便宜的元件来替代。电流电路可校正失真、横向 色差和亮度/色度不均匀性,以及应用任何专用的图象扭曲。电子校正系统150 的主要市场是用于高清电视、PC显示器、投影电视等等中的高分辨率象素显 示系统领域。
图9是显示了与本发明的电子校正方法200相关的、根据本发明来进行 的主要处理步骤的流程图。如上详细所述,电子校正方法200消除了图象俘获 /显示装置共有的光学异常。
在步骤(202)中,离线电路或可能是图象处理器51、101和151识别各 种光学异常并集中将它们表示为象素数据的变换。变换可以是立体的(位置的) 空间或色彩的空间,如上所述,确定变换的最通用方式是通过网格数据集,其 给出了象素的输入/输出位置和色彩值的代表集。在步骤(204)中,处理链的 理想特性也被识别并表示为网格数据集。
在步骤(206)中,计算出异常校正变换(即以网格数据集的形式)。这 可通过从以前的步骤中倒置网格数据集来进行计算。在步骤(208)中,计算 出任何专用变换(网格数据集)。在步骤(210)中,异常校正和专用变换,或 网格数据集被级连在一个网格数据集中。这为每个独立的象素变量给出了一个 网格数据集,其规定了将被电子式应用的完整的“扭曲”映射。有六个独立的象 素变量,即RGB位置值和RGB色彩值。
在步骤(212)中,采用各种可买到的图象扭曲电路(例如美国加利福尼 亚州San Jose的Silicon Optix公司生产的sxW1集成电路)来将级连的网格数 据集转换成装置专用的函数格式。该函数描述能够以适合于实时、子象素精确、 图象处理的方式来描述非常常见的变换,最后,在步骤(214)中,根据预先 计算的函数描述,通过sxW1集成电路,象素数据被数字化变换。结果,已经 通过了俘获/扭曲/显示处理链的最终图象没有任何异常,并仅显示了专用的图 象扭曲。
电子校正系统50、100和150以及电子校正方法200提供了有效的并且 成本高效的对象差的实时电子校正,其不会影响图象锐度即失真和色彩不汇聚 (不包括轴向色差)以及亮度(色度)不均匀性。各个这些效果被作为立体(位 置)空间或色空间中的变换而建模。也就是说,一旦象差被表达为象素变换(影 响象素位置或象素的彩色含量),它就可通过应用相反的变换来消除。该同样 的方法也提供了专用的图象处理以及动态的异常校正。电子校正方法200不限 于显示/投影装置或俘获装置,而是可连同任何含有显示和/或俘获元件的图象 处理链一起使用。所有的这些校正被表示为作用在立体空间或色空间中的网格 数据集或函数,其允许在函数组合中级连各种不同的校正。
本领域的技术人员可以理解,在不偏离本发明的前提下,可以进行上述结 构的各种修改和适应,本发明的范围由所附权利要求限定。
相关专利内容
标题 发布/更新时间 阅读量
窖泥色度的测定方法 2020-05-13 920
色度机测量方法及色度机 2020-05-12 182
低色度光漂白剂 2020-05-11 198
色度处理系统 2020-05-11 826
色度计 2020-05-11 445
自动更换滤光片色度仪 2020-05-13 521
色度计 2020-05-11 230
一种高色度废水除色度装置 2020-05-12 888
色度计 2020-05-11 141
色度计的校准 2020-05-12 866
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈