图像校正系统、图像校正方法和程序记录介质

申请号 CN201480005538.X 申请日 2014-01-17 公开(公告)号 CN104937916B 公开(公告)日 2017-11-28
申请人 日本电气株式会社; 发明人 门田启;
摘要 此图像校正系统对来自连接到至少两个不同输入路径的 像素 的图像数据进行校正并且被提供有:像素值关系提取装置,其从作为校正的对象的图像数据提取相邻像素之间的像素值关系;像素值关系表达式估计装置,其从相邻像素之间的像素值关系估计表示每个像素中的特性差的关系表达式;以及像素值校正装置,其通过使用关系表达式校正作为校正的对象的图像数据的像素值来形成校正的图像。
权利要求

1.一种图像校正系统,用于校正来自连接到至少两个不同输入路径的像素的图像数据,所述图像校正系统包括:
输入单元,所述输入单元输入校正目标的图像数据;
像素值关系提取单元,所述像素值关系提取单元从所述校正目标的所述图像数据提取相邻像素之间的像素值的关系;
像素值关系直方图生成单元,所述像素值关系直方图生成单元生成由所述像素值关系提取单元提取的所述像素值的所述关系的直方图;
代表性像素值关系提取单元,所述代表性像素值关系提取单元使用由所述像素值关系直方图生成单元生成的所述直方图在由所述像素值关系提取单元提取的所述像素值的所述关系之中提取代表性像素值的关系;
像素值关系表达式估计单元,所述像素值关系表达式估计单元基于由所述代表性像素值关系提取单元提取的所述代表性像素值来从所述相邻像素之间的所述像素值的所述关系估计表示每个像素处的特性差的关系表达式;
像素值校正单元,所述像素值校正单元通过使用所述关系表达式校正所述校正目标的所述图像数据的像素值来生成校正图像;以及
输出单元,所述输出单元输出所述校正图像。
2.根据权利要求1所述的图像校正系统,其中所述图像数据由被布置成阵列的多个像素形成,
位于奇数编号的行中的奇数像素与位于偶数编号的行中的偶数像素具有不同的特性,并且
所述像素值关系提取单元关于相邻的所述奇数像素和所述偶数像素提取所述相邻像素之间的所述像素值的所述关系。
3.根据权利要求2所述的图像校正系统,其中所述像素值校正单元
通过所述关系表达式来转换属于所述奇数像素或所述偶数像素的所有像素值,并且通过将所述奇数像素和所述偶数像素之中未被转换的像素值与通过所述关系表达式被转换的像素值组合来校正所述图像数据。
4.根据权利要求2所述的图像校正系统,其中所述像素值关系表达式估计单元获得使由以下表达式表达的能量最小化的系数aj,并且
其中
E:能量
i:奇数像素和偶数像素的集合编号
vei:在集合编号为i的偶数像素和奇数像素的集合中偶数像素的像素值voi:在集合编号为i的偶数像素和奇数像素的集合中奇数像素的像素值aj:系数
j:次数
将通过将所述系数aj代入以下表达式而获得的表达式估计为所述关系表达式其中
ve:偶数像素的像素值
vo:奇数像素的像素值
aj:系数
j:次数。
5.根据权利要求2所述的图像校正系统,其中所述代表性像素值关系提取单元在所述奇数像素或所述偶数像素所属于的行或列中以预定间隔设定所述代表性像素值,以及针对所述代表性像素值中的每一个代表性像素值设定所述代表性像素值的所述关系。
6.根据权利要求2所述的图像校正系统,其中所述像素值关系直方图生成单元在其坐标轴为所述奇数像素的所述像素值和所述偶数像素的所述像素值的坐标平面中,通过对由所述像素值关系提取单元提取的所述相邻像素之间的所述像素值的所述关系投票来生成所述直方图。
7.一种校正来自连接到至少两个不同输入路径的像素的图像数据的图像校正方法,所述方法包括:
输入校正目标的图像数据;
从所述校正目标的所述图像数据提取相邻像素之间的像素值的关系;
生成所述像素值的所述关系的直方图;
使用所述直方图从所述像素值的所述关系之中提取代表性像素值的关系;
基于所述代表性像素值来从所述相邻像素之间的所述像素值的所述关系估计表示每个像素处的特性差的关系表达式;
通过使用所述关系表达式校正所述校正目标的所述图像数据的所述像素值来生成校正图像;以及
输出所述校正图像。
8.一种计算机可读存储介质,用于记录用于校正来自连接到至少两个不同输入路径的像素的图像数据的图像校正程序,所述图像校正程序使得计算机执行:
用于输入校正目标的图像数据的处理;
用于从所述校正目标的所述图像数据提取相邻像素之间的像素值的关系的处理;
用于生成所述像素值的所述关系的直方图的处理;
用于使用所述直方图从所述像素值的所述关系之中提取代表性像素值的关系的处理;
用于基于所述代表性像素值来从所述相邻像素之间的所述像素值的所述关系估计表示每个像素处的特性差的关系表达式的处理;
用于通过使用所述关系表达式校正所述校正目标的所述图像数据的所述像素值来生成校正图像的处理;以及
用于输出所述校正图像的处理。

说明书全文

图像校正系统、图像校正方法和程序记录介质

技术领域

[0001] 本发明涉及图像校正系统、图像校正方法和图像校正程序,其执行校正使得在具有拥有不同特性的多个像素的图像中,通过校正每个像素的特性,所有的像素将具有相同特性。

背景技术

[0002] 已经广泛地实践了的是,响应于对图像输入设备的较高分辨率的需求而将输入设备配置成具有多个电路,该图像输入设备诸如是数字相机、复印机中的图像扫描仪以及从卫星和航空器进行捕获的相机中的图像传感器
[0003] 例如,可以通过布置两行CCD(CCD:电荷耦合器件)传感器、其中一行偏移半个像素来使得分辨率加倍。另外,在通过使用一行传感器进行扫描获得二维图像的线传感器中,通过针对偶数像素和奇数像素使用分离的读取电路可以使读取所需的时间减半。结果,由于可以使在扫描方向上读取一个像素所需的时间减半,所以可以在扫描方向上使分辨率加倍。
[0004] 因而,通过将输入设备配置成具有多个电路可以提高分辨率。然而,当将输入设备配置成具有多个电路时,这些电路之间的特性差异成为问题。
[0005] 即使对于每个电路而言,电路的输入/输出特性典型地是不同的,但是对于每个电路,输出像素值也是不同的,即使当捕获了相同亮度的点时也是如此。因此,例如,在通过针对偶数像素和奇数像素利用不同电路来捕获而获得的图像的情况中,指示偶数像素和奇数像素的亮度的辉度值结果是不同的。结果,图像质量劣化,这是因为由于偶数像素与奇数像素之间的辉度值的差异而在图像中包含竖直条带。
[0006] 为了防止这样的图像质量劣化,需要在考虑到每个电路的输入-输出特性的情况下进行校正。总的来说,当每个电路的输入-输出特性已知且固定时,执行通过事先确定的校正表达式来校正每个像素的值。
[0007] 然而,在实践中,存在如下情况:由于在进行捕获时电路的温度等的效果使得对于每次捕获电路特性都改变。当对于每次捕获电路特性改变时,由于不能够事先获得校正表达式,所以需要与输入图像对应的校正。
[0008] 在PTL1中,公开了一种图像读取设备,其对应于对于每次捕获电路特性都改变的情况。首先,在读取图像信息之前,读取浓度线性改变的灰度标,并且在实际读取浓度时的偶数比特和奇数比特的输出浓度值以及灰度标的浓度分别针对偶数比特和奇数比特被存储。随后,通过针对相应偶数比特和奇数比特的适当浓度值来校正由CCD读取的图像信息。经校正的偶数比特和奇数比特的信号被合成以便输出。在PTL1的图像读取设备中,可以消除偶数比特和奇数比特的线性的特性差。对于捕获位置固定的应用,诸如图像扫描仪,由于使用在读取区域中提供的灰度标来执行浓度校正,所以PTL1中所描述的图像读取设备是适当的。
[0009] 在PTL2中,公开了一种图像读取设备,在该图像读取设备中,不要求PTL1中的灰度标的校正等等。在PTL2中的图像读取设备中,当辉度值(像素数据)小于预定值且与相邻像素的差大于预定值时,使用通过与相邻像素求平均所获得的值,否则原始辉度值按原样使用。由此消除了在小辉度值情况下偶数像素与奇数像素之间的差。[引用列表][0010] [专利文献]
[0011] [PTL1]日本特开专利公开号H06-169377
[0012] [PTL2]日本特开专利公开号2000-307859

发明内容

[0013] [技术问题]
[0014] 在PTL1的图像读取设备中,存在难以在任何位置捕获任何捕获目标的问题。原因是,尽管在诸如PTL1的图像读取设备这样的情况中当捕获位置固定时可以提供灰度标等,但是当在任何位置捕获任何捕获目标时难以布置灰度标等。
[0015] 在PTL2的图像读取设备中,存在这样的问题:由于不能够恢复原始像素值所以由于图像中所产生的模糊等而使图像质量劣化。原因是,通过使用相邻像素之间的平均值进行校正,例如在图像包括两个像素周期的信号这样的情况中,通过与相邻像素求平均,信号消失。
[0016] 此外,在PTL2的图像读取设备中,存在这样的问题:由于未校正具有大辉度值的区域的图像,所以在输出图像中存在条带。原因是将校正目标局限于辉度值小的区域。
[0017] 本发明的目的是提供解决上面描述的问题的图像校正系统、图像校正方法和图像校正程序。
[0018] [解决方案]
[0019] 本发明的一种用于校正来自连接到至少两个不同输入路径的像素的图像数据的图像校正系统包括:输入装置,用于输入校正目标的图像数据;像素值关系提取装置,用于从所述校正目标的图像数据提取相邻像素之间的像素值的关系;像素值关系表达式估计装置,用于从所述相邻像素之间的像素值的关系估计表示每个像素处的特性差的关系表达式;像素值校正装置,用于通过使用所述关系表达式校正所述校正目标的图像数据的像素值来生成校正图像;以及输出装置,用于输出所述校正图像。
[0020] 本发明的图像校正方法是用于对来自连接到至少两个不同输入路径的像素的图像数据进行校正的图像校正方法,其中输入校正目标的数据;从校正目标的图像数据提取相邻像素之间的像素值的关系;从相邻像素之间的像素值的关系估计表示每个像素处的特性差的关系表达式;通过使用所述关系表达式校正所述校正目标的图像数据的像素值来生成校正图像;以及输出校正图像。
[0021] 本发明的图像校正程序是用于对来自连接到至少两个不同输入路径的像素的图像数据进行校正的图像校正程序,其中图像校正程序使得计算机执行:用于输入校正目标的图像数据的过程;用于从所述校正目标的图像数据提取相邻像素之间的像素值的关系的过程;用于从所述相邻像素之间的像素值的关系估计表示每个像素处的特性差的关系表达式的过程;用于通过使用所述关系表达式校正所述校正目标的图像数据的像素值来生成校正图像的过程;以及用于输出所述校正图像的过程。
[0022] [本发明的有益效果]
[0023] 根据本发明,通过借助于校正具有拥有不同特性的多个像素的任何图像的每个像素的特性来消除所有像素的特性差,可以获得均匀的输出图像。附图说明
[0024] 图1是图示根据本发明第一示例性实施例的图像校正系统的配置的框图
[0025] 图2是图示根据本发明第一示例性实施例的图像校正系统的操作的流程图
[0026] 图3是图示根据本发明第二示例性实施例的图像校正系统的配置的框图。
[0027] 图4是图示根据本发明第二示例性实施例的图像校正系统的操作的流程图。
[0028] 图5是图示根据本发明第三示例性实施例的图像校正系统的配置的框图。
[0029] 图6是图示根据本发明第三示例性实施例的图像校正系统的操作的流程图。
[0030] 图7是图示根据本发明的示例的CCD传感器的布置的示例的示图。
[0031] 图8是图示根据本发明的示例的CCD传感器的像素值的构成的示例的示图。
[0032] 图9是图示根据本发明的示例的电路的输入-输出特性的示例的示图。
[0033] 图10是图示根据本发明的示例的CCD传感器的像素编号的示例的示图。
[0034] 图11是图示根据本发明的示例的由CCD传感器获得的图像的像素值分布的示例的示图。
[0035] 图12是图示根据本发明的示例的由CCD传感器获得的图像的像素值分布的示例的示图。
[0036] 图13是图示根据本发明的示例的读取CCD传感器的方法的示例的示图。
[0037] 图14是图示根据本发明的示例的读取CCD传感器的方法的示例的示图。
[0038] 图15是图示根据本发明的示例的像素值关系直方图(histogram)的示例的示图。
[0039] 图16是图示根据本发明的示例的像素值关系直方图的截面图的示例的示图。
[0040] 图17是图示根据本发明的示例的像素值关系直方图的示例的示图。
[0041] 图18是图示根据本发明的示例的像素值关系直方图的示例的示图。
[0042] 图19是图示根据本发明的示例的像素值关系直方图中最优值的搜索示例的示图。
[0043] 图20是图示根据本发明的示例的像素值关系直方图中最优值的搜索示例的示图。

具体实施方式

[0044] 在下文中,将参照附图解释用于实施本发明的示例性实施例。然而,在下面描述的示例性实施例和示例中,技术上优选的限制被设定用于实现本发明,但是本发明的范围并不局限于以下内容。
[0045] (第一示例性实施例)首先,将参照图1来解释第一示例性实施例的配置。
[0046] {配置}
[0047] 参照图1,根据本发明第一示例性实施例的图像校正系统1包括输入装置11、像素值关系提取装置12、像素值关系表达式估计装置13、像素值校正装置14和输出装置15。
[0048] (输入装置)
[0049] 输入装置11输入校正目标的图像数据。
[0050] 由输入装置11输入的图像数据例如是使用CCD或CMOS等(CCD:电荷耦合器件,CMOS:互补金属化物半导体)从固态成像元件获得的数据。
[0051] 在图1中,图示了其中CCD 21和CCD 22为起源的配置,以作为用于将来自连接到不同输入路径的像素的信号输入到输入装置11的配置。注意,在图1中,图示使得源自CCD 21和CCD 22的信号被输入,但是如果一个配置使得具有不同输入路径的至少两个信号被输入到输入装置11中,便是足够的。此外,当从由多个电路构成的输入设备输入信号时,受每个电路的输入-输出特性影响的信号被输入到输入装置11。另外,来自连接到不同输入路径的像素的信号可以具有三个或更多个特性。
[0052] 注意,用于获得图像数据的固态成像元件并不局限于CCD或CMOS,并且可以是用于通过将诸如辐射热测量器之类的传感器布置成阵列来获得关于图像的数据的配置。它还可以被配置成不仅获得新获取的图像数据,而且还获得存储在诸如存储器或计算机的硬盘之类的记录介质中的图像数据。例如,可以使用用于输入如下图像信息的输入装置,该图像信息的数据经由无线通信被接收到能够执行本示例性实施例的图像校正系统的过程的计算机。此外,例如,可以使用用于直接从图像传感器进行输入、经由诸如存储器卡和CD等(CD:紧凑盘)之类的物理介质进行输入的输入装置中的任何输入装置。
[0053] 由固态成像元件获得的图像信息通过被放大器放大、被从模拟信号转换成数字信号、以及被执行由阴影校正电路进行的阴影校正,可以例如被转换为图像数据。注意,由输入装置1获得的图像数据不需要通过上面描述的方式来获得,并且可以是这样的配置:其中被布置成阵列的图像信息按照其处理的次序被捕获。
[0054] 在本发明的示例性实施例中,假定存在具有不同特性的两个或更多个类型的像素。例如,当存在具有不同特性的两种类型的像素时,由布置成阵列的像素形成的行可以被布置成使得该行与相邻于该行的行被偏移二分之一像素。当存在具有不同特性的三种类型的像素时,由布置成阵列的像素形成的行可以被布置成使得与该行相邻的行被偏移三分之一像素。
[0055] 尽管假定在本示例性实施例中,两个CCD被布置成偏移二分之一像素,在一个CCD中具有两个读取电路的传感器(一个用于奇数,且一个用于偶数)也变成针对偶数像素和奇数像素具有不同输入-输出特性的传感器。
[0056] (像素值关系提取装置)
[0057] 像素值关系提取装置12从由输入装置11输入的校正目标的图像数据提取相邻像素之间的像素值的关系。注意,当从所提取的相邻像素之间的像素值的关系确定其输入路径不同的至少两个信号的特性相同时,可以在没有改变的情况下将输入信号传送到输出装置15。
[0058] 在相同行中属于相邻的奇数列和偶数列的像素可以被选为相邻像素。此外,可以选择在相同列中属于相邻的奇数行和偶数行的像素。另外,尽管在本示例性实施例中假定在偶数列和奇数列中特性不同,但是不必要的是,具有不同特性的像素被交替地布置并且可以仅使用具有不同特性的像素与之相邻的部分来执行像素值关系表达式的估计。
[0059] 当奇数像素(2n-l,k)的像素值为vo0,而偶数像素(2n,k)的像素值为ve0时,像素值关系提取装置12例如提取[vo0,ve0]作为像素值。从所有像素提取像素值关系,针对所有偶数像素的数目的像素值关系[voi,vei]被提取。注意,奇数像素的像素值可以从偶数像素的像素值来获得。
[0060] 例如,在彩色像素的情况中,通过分别采用八个比特表示包括三原色R(红)、G(绿)和B(蓝)的RGB元素可以将像素值设定为由24个比特配置的值。另外,可以将关于RGB元素中的每一个的比特信息单独设定为像素值。此外,在单色图像的情况中,可以将采用八个比特表示辉度信息的值设定为像素值。而且,可以将通过使温度信息、电磁波的强度等分级(gradate)获得的比特信息设定为像素值。注意,根据本发明的示例性实施例的像素值并不局限于本文所描述的那些,并且可以将与图像相关联的任何DN值(DN:数字数)设定为像素值。
[0061] (像素值关系表达式估计装置)
[0062] 像素值关系表达式估计装置13从通过像素值关系提取装置12提取的相邻像素之间的像素值的关系,估计相邻像素之间的像素值关系表达式。
[0063] 例如,已经设定了其次元已知而系数未知的多项式,像素值关系表达式估计装置13可以通过用由像素值关系提取装置12提取的像素值关系替代上面描述的多项式来标识系数,以估计像素值关系表达式。注意,像素值关系表达式未必是数学表达式,只要它表达了能够将从其获得了像素值关系的像素转换成后面描述的校正图像的关系即可。
[0064] (像素值校正装置)
[0065] 像素值校正装置14使用由像素值关系表达式估计装置13估计的像素值关系表达式对校正目标的图像的像素值进行校正,以生成校正图像。
[0066] 像素值校正装置14例如通过利用上面描述的像素值关系表达式转换所有奇数像素的像素值,以及通过将奇数像素的经转换像素值与偶数像素的未转换像素值进行组合,来执行图像数据的校正。另外,可以利用像素值关系表达式来转换偶数像素而不是奇数像素,以及可以对奇数像素和偶数像素两者都转换。
[0067] (输出装置)
[0068] 输出装置15输出其像素值由像素值校正装置14校正的校正图像。
[0069] 输出装置15可以将校正图像存储在图像校正系统1中所包括的存储装置中,或者可以将它传送到网络上的存储设备。另外,当将它传送到网络上的存储设备时,可以在通过将校正图像临时存储在图像校正系统1中所包括的存储装置中而聚集了一定量的校正图像数据之后,传送校正图像,或者可以直接将转换的校正图像传送到网络。
[0070] 注意,输出装置15可以对由像素值校正装置14校正的校正图像执行图像处理,诸如伽处理、颜色校正、以及缩放。图像处理可以由像素值校正装置14执行,或者它可以是包括其它图像处理设备的配置。
[0071] {操作}
[0072] 接下来,将参照图2的流程图解释根据本发明第一示例性实施例的图像校正系统1的操作。
[0073] 在图2中,首先,输入装置11输入校正目标的图像(步骤11)。
[0074] 像素值关系提取装置12对由输入装置11输入的校正目标的图像中的相邻像素的像素值进行比较,以提取相邻像素之间的像素值的关系(步骤12)。
[0075] 像素值关系表达式估计装置13使用通过像素值关系提取装置12提取的相邻像素之间的像素值的关系,估计与相邻像素之间的像素值最佳匹配的表达式作为像素值关系表达式(步骤13)。
[0076] 像素值校正装置14使用由像素值关系表达式估计装置估计的像素值关系表达式对校正目标图像的每个像素的像素值进行校正,以生成校正图像(步骤14)。
[0077] 输出装置15输出其像素值被像素值校正装置14校正的校正图像(步骤15)。
[0078] 上面是根据本发明第一示例性实施例的图像校正系统的描述。假定通过对上面所描述的配置和操作执行各种修改和添加所获得的图像校正系统也被包括在本发明的范围中。
[0079] 如上所述,根据依据本发明第一示例性实施例的图像校正系统,从相邻像素之间的像素值的关系估计偶数电路和奇数电路中的每一个电路的特性差,并且基于估计结果来执行校正。因此,可以针对任何捕获目标校正任何像素值处的任何特性差。结果,通过校正具有拥有不同特性的多个像素的任何图像的每个像素的特性可以消除所有像素的特性差以便获得均匀的输出图像。
[0080] 尽管在本发明的第一示例性实施例中,已经图示了从具有从奇数像素和偶数像素导出的两个特性的路径输入的信号,但是可以处理从具有三个或更多个特性的路径输入的信号。例如,关于相邻像素区域中多个不同像素的像素值,使用上面所描述的方法分别提取不同像素值之间的像素值关系。基于所提取的像素值关系估计不同像素之间的像素值关系表达式,可以使用像素值关系表达式生成校正像素。
[0081] 再次比较PTL2的图像读取设备和根据本发明的第一示例性实施例的图像校正系统,将说明的是通过根据本发明的第一示例性实施例的图像校正系统可以解决PTL2的图像读取设备的问题。
[0082] 在PTL2的图像读取设备中,校正目标局限于具有小的辉度值的像素,假定偶-奇差的明显条带处于暗区域中。由于该原因,当在偶数像素和奇数像素之间存在预定值的差(偶-奇差是加性的)时,在具有大辉度值的区域中偶-奇差的影响变得相对小,并且区域变得越暗,偶-奇差越明显。然而,当存在通过将预定值与偶数像素和奇数像素之间的像素值相乘而获得的差(偶-奇差是乘性的)时,区域的辉度越大,偶-奇差就越大。出于此原因,当偶数像素和奇数像素的特性差不是加性的时,还有必要校正具有大辉度值的像素。
[0083] 相比之下,由于根据本发明的第一示例性实施例的图像校正系统不仅可以通过辉度值而且也可以通过任何像素值来校正偶-奇差,所以可以解决诸如PTL2的图像读取设备中的那些问题之类的问题。
[0084] (第二示例性实施例)
[0085] 接下来,本发明第二示例性实施例将参照附图来解释。
[0086] 第二示例性实施例不同于第一示例性实施例之处在于提供了代表性像素值关系提取装置以及在于像素值关系表达式估计装置的操作。代表性像素值关系提取装置通过选择代表性像素来估计像素值关系表达式,而不是从所有像素估计像素值关系表达式。
[0087] {配置}
[0088] 如图3中所图示的,除了第一示例性实施例的图像校正系统1之外根据第二示例性实施例的图像校正系统2包括代表性像素值关系提取装置16。在像素值关系提取装置12与像素值关系表达式估计装置13之间提供了图3中所图示的代表性像素值关系提取装置16。注意,尽管在图3中未图示CCD,但是假定类似于图1中所图示的第一示例性实施例的那些信号的信号被输入到输入装置11。
[0089] 由于输入装置11和像素值关系提取装置12类似于第一示例性实施例的图像校正系统1中的那些,所以省略了对它们的解释。
[0090] (代表性像素值关系提取装置)
[0091] 代表性像素值关系提取装置16从由像素值关系提取装置12提取的像素值关系确定代表性像素值关系。例如,获得预定间隔处的奇数像素的代表性像素值roi以及针对奇数像素的每个代表性像素值roi获得代表性像素值关系[roi,f(roi)]。注意,例如可以将预定间隔设定为在奇数像素或偶数像素中的每五个像素、每十个像素等等。例如在roi之前和之后奇数像素的像素数总共为10个像素(vo=roi-4至roi+5)的情况下使用像素值关系[vo,ve],可以将相邻的偶数像素的像素值ve的平均值或中间值用于f(roi)。注意,通过代表性像素值关系提取装置16进行的代表性像素值关系的提取方法并不局限于本文所列出的那些,并且如果它可以从由像素值关系提取装置12提取的像素值关系提取代表性像素值关系则它是足够的。
[0092] 像素值关系表达式估计装置13使用由代表性像素值关系提取装置16提取的代表性像素值关系,类似于第一示例性实施例地估计像素值关系表达式。
[0093] 由于像素值校正装置14和输出装置15类似于第一示例性实施例的图像校正系统1中的那些,所以将省略对它们的解释。
[0094] {操作}
[0095] 接下来,根据第二示例性实施例的图像校正系统2的操作将参照图4的流程图来解释。
[0096] 在图4中,首先,输入装置11输入校正目标的图像(步骤21)。
[0097] 像素值关系提取装置12比较由输入装置11输入的校正目标的图像中的相邻像素的像素值,以提取相邻像素的像素值的关系(步骤22)。
[0098] 代表性像素值关系提取装置16从由像素值关系提取装置12提取的像素值关系获得代表性像素值关系(步骤23)。
[0099] 像素值关系表达式估计装置13使用通过像素值关系提取装置12提取的代表性像素之间的像素值的关系,估计与代表性像素之间的像素值最佳匹配的表达式作为像素值关系表达式(步骤24)。
[0100] 像素值校正装置14使用由像素值关系表达式估计装置估计的像素值关系表达式对校正目标图像的每个像素的像素值进行校正以生成校正图像(步骤25)。
[0101] 输出装置15输出其像素值被像素值校正装置14校正的校正图像(步骤26)。
[0102] 如上所述,根据依据本发明第二示例性实施例的图像校正系统,从相邻像素的像素值关系提取代表性像素值关系,估计偶数电路和奇数电路中的每一个的特性差,以及基于估计结果执行校正。因此,可以类似于根据第一示例性实施例的图像校正系统来针对任何捕获目标校正任何像素值处的任何特性差。结果,通过校正包括具有不同特性的多个像素的任何图像的每个像素的特性可以消除所有像素的特性差以便获得均匀的输出图像。
[0103] 这里,将解释第二示例性实施例的效果特性。
[0104] 在第一示例性实施例中,当估计像素值关系表达式时使用所有的像素值关系。与之相反,由于第二示例性实施例被配置成仅使用代表性像素值关系,所以可以减少估计像素值关系表达式的处理量。
[0105] 此外,在第一示例性实施例中,由于当估计像素值关系表达式时使用了所有的像素值关系,所以使用图像的边缘部分等中不接近于相邻像素的像素值的像素用于计算。由于该原因,当相邻像素的像素值非常不同时,估计结果会受到影响并且估计结果的准确度可能降低。与之相反,由于第二示例性实施例被配置成仅使用代表性像素值关系,所以其相邻像素的像素值非常不同的那些像素对代表性像素值关系的提取的影响变小。由于该原因,可以降低由其相邻像素的像素值非常不同的那些像素对估计结果的影响。特别地,当相邻像素的像素值的中间值用作f(ro)时,其相邻像素的像素值非常不同的那些像素变成局外者,并且因此由于对中间值的影响特别地变小,所以存在对估计结果的影响可以进一步被降低的效果。
[0106] (第三示例性实施例)
[0107] 接下来,将参照附图解释本发明的第三示例性实施例。
[0108] 第三示例性实施例不同于第二示例性实施例之处在于,除了第二发明的配置之外提供了像素值关系直方图生成装置,以及在于代表性像素值关系提取装置的操作。像素值关系直方图生成装置通过生成像素值关系的直方图(频率分布)来提取代表性像素值关系。注意,本发明的示例性实施例中要解释的直方图意味着二维直方图,除非另外说明。
[0109] {配置}
[0110] 如图5中所图示的,除了第二示例性实施例的图像校正系统2之外根据第三示例性实施例的图像校正系统3还包括像素值关系直方图生成装置17。在像素值关系提取装置12与代表性像素值关系提取装置16之间提供了图5中所图示的像素值关系直方图生成装置17。注意,尽管在图5中未图示CCD,但是假定类似于图1中所图示的第一示例性实施例的那些信号的信号被输入到输入装置11。
[0111] 由于输入装置11和像素值关系提取装置12类似于第一和第二示例性实施例的图像校正系统1和2中的那些,所以将省略对它们的解释。
[0112] (像素值关系直方图生成装置)
[0113] 像素值关系直方图生成装置17生成由像素值关系提取装置12提取的像素值关系的直方图。例如,每次提取奇数像素和偶数像素之间的像素值关系[vo0,ve0]时,像素值关系直方图生成装置17在其平轴是奇数像素的像素值而竖直轴是偶数像素的像素值的平面中为像素值关系[vo0,ve0]投票(vote)一次。注意,在本示例性实施例中,一个过程被称为投票,其在每次提取像素关系时在由奇数像素的像素值和偶数像素的像素值构成的坐标空间中使指示所提取的像素值关系的坐标的频率递增。像素值关系直方图生成装置17通过重复针对所有像素值关系投票,获得指示奇数像素和偶数像素之间的像素值的哪些关系常被看到的像素值关系直方图。
[0114] 将采用具有最高频率的像素值作为代表性像素值关系的偶数像素的像素值的示例图示为根据本示例性实施例的像素值关系直方图生成装置17的直方图生成方法。作为确定代表性像素值关系的偶数像素的像素值的另一方法,可以应用仅将其频率大于预定值的那些像素值求平均并且采用平均值的方法。在此情况中,仅当相邻像素的像素值的关联大时可以预期到求平均的效果以及可以预期到估计结果变得稳定的效果。注意,即使在除了这些之外的其它方法中,使用统计方法来分析由像素值关系提取装置提取的像素值关系并且将分析结果设定为代表性像素值关系也被包括在本发明的范围内。
[0115] 代表性像素值关系提取装置16使用由像素值关系直方图生成装置生成的像素值关系直方图提取代表性像素值关系。例如,针对奇数像素的像素值,获得针对每个奇数像素的像素值roi的代表性像素值关系[roi,f(roi)]。这时,从由像素值关系直方图生成装置17生成的像素值关系直方图生成其中仅奇数像素的值为roi的情况被提取的直方图,以及获得频率在其上变得最高的值ve0。可以通过设定f(roi)=ve0来提取代表性像素值关系。
[0116] 在上面解释中,使用指示奇数像素和位于其右侧的偶数像素之间的关系的像素值关系直方图获得代表性像素值关系。另外,存在这样的方法,在该方法中获得了指示奇数像素和位于其右侧的偶数像素之间的关系的像素值关系直方图以及指示偶数像素和位于其右侧的奇数像素之间的关系的像素值关系直方图二者。在此情况中,可以使用这两个直方图来获得代表性像素值关系。
[0117] 由于像素值校正装置14和输出装置15类似于第一和第二示例性实施例的图像校正系统1中的那些,所以将省略对它们的解释。
[0118] {操作}
[0119] 接下来,将参照图6的流程图解释根据第三示例性实施例的图像校正系统3的操作。
[0120] 在图6中,首先,输入装置11输入校正目标的图像(步骤31)。
[0121] 像素值关系提取装置12比较由输入装置11输入的校正目标的图像中的相邻像素的像素值,以提取相邻像素之间的像素值的关系(步骤32)。
[0122] 像素值关系直方图生成装置17生成由像素值关系提取装置12提取的像素值关系的直方图(步骤33)。
[0123] 代表性像素值关系提取装置16使用由像素值关系直方图生成装置17生成的像素值关系直方图提取代表性像素值关系(步骤34)。
[0124] 使用由像素值关系提取装置12提取的代表性像素之间的像素值的关系,像素值关系表达式估计装置13将最佳匹配代表性像素之间的像素值的表达式估计为像素值关系表达式。
[0125] 像素值校正装置14使用由像素值关系表达式估计装置估计的像素值关系表达式对校正目标图像的每个像素的像素值进行校正,以生成校正图像(步骤36)。
[0126] 输出装置15输出其像素值被像素值校正装置14校正的校正图像(步骤37)。
[0127] 如上所述,根据依据本发明第三示例性实施例的图像校正系统,从相邻像素之间的像素值关系提取代表性像素值关系,对偶数电路和奇数电路中的每一个的特性差进行估计,以及基于估计结果执行校正。因此,可以类似于根据第一和第二示例性实施例的图像校正系统来针对任何捕获目标校正任何像素值处的任何特性差。结果,通过校正包括具有不同特性的多个像素的任何图像的每个像素的特性可以消除所有像素的特性差以便获得均匀的输出图像。
[0128] 这里,将解释根据第三示例性实施例的图像校正系统的特有的效果。
[0129] 当图像的边缘部分等处的相邻像素的像素值之间的关联低时,所述部分的像素值关系形成多种关系。由于该原因,如在第三示例性实施例中绘制直方图,相邻像素的像素值之间的关联低的部分中频率变小。将频率变大的部分局限于相邻像素之间的关联高的那些。由于该原因,通过使用频率大的部分可以消除边缘部分等的影响。因而,根据第三示例性实施例,与第一和第二示例性实施例相比,可以进一步提高所估计的像素值关系表达式的准确性。
[0130] 上面是根据本发明示例性实施例的图像校正系统的解释。应当理解,通过对上面配置和操作执行各种修改或增加所获得的图像校正系统也被包括在本发明的范围中。此外,应当理解,根据本发明的示例性实施例的图像校正方法和用于促使计算机执行该图像校正方法的图像校正程序也被包括在本发明的范围内。另外,存储图像校正程序的程序存储介质也被包括在本发明的范围内。
[0131] 接下来,将使用特定示例来说明本发明。
[0132] (示例1)
[0133] 首先,将说明对应于本发明第一示例性实施例的示例1。注意示例1具有图1中所图示的配置。
[0134] 在示例1中,如图7中所图示的,将说明被布置成彼此偏移二分之一像素的两行CCD传感器的示例。例如,本示例可以被应用于对通过安装在航空器或卫星上的图像传感器获得的图像进行校正的图像校正系统。
[0135] 如图8中所图示的,通过交替地布置被布置成两行的两个CCD(CCD1和CCD2)的像素值来生成合成图像。换言之,生成这样的图像:在该图像中CCD1的像素值被赋给奇数像素而CCD2的像素值被赋给偶数像素,这可以使图像的分辨率是CCD1和CCD2的分辨率的两倍。
[0136] CCD意在通过将输入光的强度转换成电荷量来获得像素值,但是输入光的强度和输出像素值的幅度不是线性关系,并且其特性一般随着电路不同。
[0137] 在图9中,图示了这样的CCD的输入-输出特性。换言之,即使输入了具有相同强度的光,由于CCD1和CCD2的电路的输入-输出特性不同,所以对于CCD1和CCD2而言,输出像素值不同。结果,合成图像变成具有由偶数像素和奇数像素中的不同像素值形成的条带的图像。
[0138] 每个电路的输入-输出关系依赖于各种因素,诸如温度和捕获速率(捕获一个像素的图像所需的时间间隔),并且事先常常不能准确地知道。在本示例中,尽管已知每个电路的输入-输出特性是具有已知次元的多项式,但是假定由于每个电路的输入-输出特性由于各种因素而随捕获改变,所以不能事先确定多项式的系数。
[0139] 首先,假定输入装置11经由通过与航空器或卫星无线通信下载由航空器或卫星的图像传感器捕获的图像的接收器,输入图像信息。例如,通过未图示的接收器从航空器或卫星接收校正目标的图像数据,并且将校正目标的图像输入到未图示的处理计算机。假定校正目标的输入图像被存储在处理计算机的图像缓冲器中。
[0140] 在下文中,为了说明起见,假定为图像缓冲器中的图像数据分配像素编号,如图10中所图示的。由CCD1捕获的像素由奇数像素(2n-l,k)表示,而由CCD2捕获的像素由偶数像素表示(2n,k)。
[0141] 图1的像素值关系提取装置12提取奇数像素和偶数像素的像素值的关系。
[0142] 假定,例如当奇数像素(2n-l,k)的像素值是vo0,在其右侧的偶数像素(2n,k)的像素值时ve0时,提取[vo0,ve0]作为关于奇数像素(2n-l)和偶数像素(2n,k)的集合的像素值关系。将通过从所有像素提取像素值关系为[vo0,ve0],[vo1,ve1],…,[voi,vei],…,来提取总偶数像素数目的像素值关系。注意,i是被赋给一定奇数和偶数像素的集合的编号,并且是等于或大于0的整数。换言之,具有设定编号i的奇数像素和偶数像素的集合的像素值关系为[voi,vei]。
[0143] 图1的像素值关系表达式估计装置13从由像素值关系提取装置12提取的像素值关系,估计表示奇数像素和偶数像素的像素值关系的像素值关系表达式。假定,像素值关系表达式由多项式来表达,多项式的次元已知但是其系数未知(表达式1)。注意,在表达式1中,j表示多项式的次元。
[0144]
[0145] 通常,在图像中除了诸如边缘之类的一些区域之外的大多数区域是光滑的,并且相邻像素的值是接近的值。例如,当捕获诸如建筑物屋顶汽车之类的人造对象时,可以获得如图11中所图示的像素值分布,并且虽然对象和背景之间的边界部分不连续,但是除了该部分之外的部分中的相邻像素具有近似相同的值。另外,在目标对象是自然对象的情况中,边缘不如人工对象的边缘一样清晰,但是分布是光滑的,如图12中所图示的,并且它常常是相邻像素也采用相似的像素值的情况。
[0146] 确定像素值关系表达式的系数,使得奇数像素的像素值voi与偶数像素的像素值vei最佳匹配。特别地,获得使下面所描述的表达式2中的能量E最小化的aj。
[0147]
[0148] 图1的像素值校正装置14用使用像素值关系表达式转换的像素值替代存储在图像缓冲器中的校正目标图像的所有奇数像素。此外,将校正目标图像转换为校正图像,其中所有偶数像素具有原始像素值。
[0149] 图1的输出装置15在网络上的用于图像产品存储的硬盘中存储校正图像。
[0150] 在本示例中,假定这样的情况,其中布置了如图7中所图示的偏移了半个像素的两个CCD。例如,甚至在用于偶数和奇数的每一个的两个读取电路连接到一个CCD的传感器中,如图13中所图示的,其对于偶数像素和奇数像素而言成为输入-输出特性不同的传感器,其变为与本示例中所说明的情况相同的情形。另外,在本示例中,假定在偶数像素和奇数像素中特性不同。在如图14中所图示的读取电路连接到CCD的情况中,以及在诸如可以仅使用与具有不同特性的像素相邻的部分来执行像素值关系表达式估计的情况中,即使当具有不同特性的像素不呈交替关系时也是如此。
[0151] 此外,尽管假定存在具有不同特性的两种类型的像素说明了本示例,但是它不必局限于两种类型,并且例如它可以是包括三个CCD(每个偏移三分之一像素)的配置。即使在存在具有三种类型的不同特性的像素的情况中,在相邻像素的各个像素之间通过交替地估计三种类型的像素值关系表达式,它会是可适用的。
[0152] 在本示例中,尽管本发明应用于用于校正由航空器或卫星捕获的图像的图像校正系统,但是它可以被应用到任何成像传感器。
[0153] 另外,已经在经由无线通信接收数据以输入到处理计算机的示例中说明了输入装置11。此外,可以使用任何输入方法,诸如直接从图像传感器输入图像信息以及经由诸如存储卡和CD之类的物理介质进行输入。
[0154] 尽管已经在输出到网络上的用于存储的硬盘的示例中说明了输出装置15,但是也可以使用任何输出方法,诸如直接输出到诸如存储卡和CD之类的物理介质以及输出到诸如显示器之类的显示设备。
[0155] 在本示例中,假定当在奇数像素(2n-l,k)的像素值为vo0,在其右侧的偶数像素(2n,k)的像素值为ve0的情况中时,将[vo0,ve0]提取为像素值关系。此外,还可以假定当在奇数像素(2n+l,k)的像素值为vo1,在其左侧的偶数像素(2n,k)的像素值为ve1的情况中时,将[vo1,ve1]提取为像素值关系。另外,当该像素值两者都被使用时,存在提高准确度的效果,这是由于偶数像素和奇数像素的右至左关系和左至右关系这二者被相等地录入。
[0156] 在本示例中,在像素值关系表达式估计装置13中,将像素值关系表达式估计为其次元是已知的多项式。然而,次元是已知的并不是必要的。还可以配置成使得,假定次元未知可以执行估计,包括利用AIC或MDL的最优次元作为参考(AIC:信息准则或赤池(Akaike)信息准则,MDL:最小描述长度)。另外,可以使用并不仅局限于多项式的任何表达式。
[0157] 被像素值关系表达式估计装置13估计中的最优系数可以通过求解如下联立方程式来分析确定,该联立方程式是在假定通过每个系数对表达式2进行偏微分所获得的那些为0而获得的。此外,可以通过诸如数值计算之类的任何优化方法来确定最优系数。
[0158] (示例2)
[0159] 接下来,将说明对应于本发明第二示例性实施例的第二示例。注意示例2具有图3中所图示的配置。
[0160] 示例2不同于示例1之处在于提供了代表性像素值关系提取装置以及在于像素值关系表达式估计装置的操作。注意,将省略与示例1的操作类似的操作的解释。
[0161] 在示例1中,通过使用所有的像素值关系使表达式2最小化来获得系数。在示例2中,在不使用所有的像素值关系的情况下,由代表性像素值关系提取装置16提取代表性像素值关系,并且由像素值关系表达式估计装置13仅使用代表性像素值关系来获得像素值关系表达式。
[0162] 图3的代表性像素值关系提取装置16相对于奇数像素的像素值以预定间隔、诸如例如每十个像素,确定奇数像素的代表性像素值roi,以及针对奇数像素的每个代表性像素值roi获得代表性像素值关系[roi,f(roi)]。
[0163] 例如,使用其像素值为roi的奇数像素之前和之后的总共十个像素(vo=roi-4至roi+5)的像素值关系[vo,ve],可以使用相邻偶数像素的像素值ve的平均值或中间值作为f(roi)。
[0164] 图3的像素值关系表达式估计装置13使用由代表性像素值关系提取装置16获得的代表性像素值关系[roi,f(roi)]来估计像素值关系表达式。可以使用与示例1的方法类似的方法用于估计方法。
[0165] 注意,像素值关系表达式不必一定是表达式。例如,假定与奇数像素值vo最接近的代表性像素值是roi且像素值关系表达式是下面所描述的表达式3,则它也可以通过直接使用代表性像素值关系来确定。
[0166] ve=f(roi)+(vo-roi)  (3)
[0167] 根据示例2,在估计像素值关系表达式中的处理量可以降低,这是因为其被配置成仅使用代表性像素值关系。
[0168] 在示例2中,由于其被配置成仅使用代表性像素值关系,所以相邻像素的像素值非常不同的那些像素对代表性像素值关系的提取具有小的影响。因此,可以降低相邻像素的像素值非常不同的那些像素对估计结果的影响。
[0169] (示例3)
[0170] 接下来,将解释对应于本发明第三示例性实施例的示例3。注意示例3具有图5中所图示的配置。
[0171] 示例3不同于第二示例性实施例之处在于,除了示例2的配置之外还提供了像素值关系直方图生成装置,以及在于代表性像素值关系提取装置的操作。注意,将省略与示例1或2的操作类似的操作的解释。
[0172] 在图5的像素值关系直方图生成装置17中,生成由像素值关系提取装置12提取的像素值关系的直方图。
[0173] 例如,当提取奇数像素和偶数像素之间的像素值关系[vo0,ve0]时,在水平轴是奇数像素的像素值而竖直轴是偶数像素的像素值的坐标平面中执行一次投票。通过针对所有的像素值关系重复这样的投票,可以通过获得表示奇数像素和偶数像素之间的哪种像素值关系常常被看到的像素值关系直方图来获得如图15中所图示的二维直方图。注意,在图15的直方图中被图示为所指示的粗线区域中,粗线中心附近与频率大的部分对应的部分被图示为深,并且粗线的与频率小的部分对应的外围部分被图示为浅。在实际直方图中,在频率大的部分中标绘的密度(点数)大,而在频率小的部分中标绘的密度(点数)小。
[0174] 图5的代表性像素值关系提取装置16使用由像素值关系直方图生成装置17生成的像素值关系直方图来提取代表性像素值关系。
[0175] 在示例3中,相对于奇数像素的像素值,仅对于奇数像素的值为roi的情况,从图15中所图示的像素值关系直方图提取与每个奇数像素的像素值roi对应的代表性像素值关系[roi,f(roi)],来生成直方图(图16)。从图16获得其上频率最大的值veo,将其定义为f(roi)=ve0。
[0176] 根据示例3,使用表示奇数像素和位于其右侧的偶数像素之间的关系的像素值关系直方图获得代表性像素值关系。此外,存在这样的方法,在该方法中获得了表示奇数像素和位于其右侧的偶数像素之间的关系的像素值关系直方图以及表示偶数像素和位于其右侧的奇数像素之间的关系的像素值关系直方图这二者。在此情况中,可以使用两个直方图来获得代表性像素值关系。
[0177] 奇数像素与偶数像素之间的像素值关系和偶数像素与奇数像素之间的像素值关系是对称的。因此,当奇数像素和在其右侧的偶数像素的像素值关系直方图变为图17中所图示的那个时,偶数像素和在其右侧的奇数像素的像素值关系直方图变为图18中所图示的那个,并且它们应当相对于由虚线指示的直线是对称的。注意,图17和图18中所图示的虚线是比例常数1的正比例直线。在图17和图18中所图示的直方图中,暗色部分表示频率高的部分。
[0178] 使用图19和图20说明针对奇数像素的像素值roi获得代表性像素值关系[roi,f(roi)]的方法。注意,在图19和图20中,将各区域图示成均匀的,而与频率的大小无关。
[0179] 首先,考虑以(roi,roi)为中心的预定大小的方形区域,如图19和图20中所图示的。该方形区域在位于奇数像素右侧的偶数像素的像素值关系直方图(图19)中向左偏移距离d,而在位于偶数像素右侧的奇数像素的像素值关系直方图(图20)中向下偏移距离d。然后考虑在方形区域内的直方图之间的差。直方图之间的差由表达式4中所表达的能量E(roi,d)来表达。
[0180] E(roi,d)=D(roi,d)/N(roi,d)  (4)
[0181] 注意,在以像素值roi为中心的区域偏移了d的情况中,D(roi,d)是区域中的直方图的差。换言之,D(roi,d)是在向左偏移了距离d的方形区域中的奇数像素的直方图(图19)与向下偏移了距离d的方形区域中的偶数像素的直方图(图20)之间的总差。
[0182] N(roi,d)是该方形中的元素数。换言之,N(roi,d)是在向左偏移了距离d的方形区域中的奇数像素的直方图(图19)与向下偏移了距离d的方形区域中的偶数像素的直方图(图20)之间的总和。
[0183] 例如,当将D(roi,d)的最小值和最大值假定为参数时,将能量E变为最小的距离d设定为最优值dopt,距离d在预定范围内变化,诸如在从最小值至最大值的范围内变化。于是,可以通过表达式5确定代表性像素值关系。
[0184] f(roi)=roi-dopt  (5)
[0185] 当以像素为单位获得直方图的相似度时,相邻奇数像素和偶数像素之间的关系会受图像的图案的影响,这是由于在图像中长边存在于与像素线完全相同的方向上等理由引起的。然而,这样的问题可以通过以区域为单位获得直方图相似度来降低。
[0186] 注意,优选的是示例3的直方图测量在其中偶数像素与奇数像素之间的关系相同的范围中执行。因此,优选的是如果它在整个可见光波长范围上是光敏的,则针对每个CCD和针对每个端口执行直方图测量,以及如果它是多带的则针对每个CCD和针对每个带执行直方图测量。
[0187] 在上面示例3中,通过基于直方图获得代表性像素值关系可以使图像的边缘等的影响比示例2中的那些降低得多。
[0188] 因而已经参考示例性实施例和示例说明了本发明,本发明并不局限于上面示例性实施例和示例。在本发明的范围内,可以对本发明的细节和配置进行本领域技术人员可以理解的各种修改。
[0189] 该申请要求基于2013年1月22日提交的申请号为2013-008902的日本专利申请的优先权,其整个公开内容合并于此。
[0190] [附图标记列表]
[0191] 1、2、3 图像校正系统
[0192] 11 输入装置
[0193] 12 像素值关系提取装置
[0194] 13 像素值关系表达式估计装置
[0195] 14 像素值校正装置
[0196] 15 输出装置
[0197] 16 代表性像素值关系提取装置
[0198] 17 像素值关系直方图生成装置
[0199] 21、22 CCD
QQ群二维码
意见反馈