用于输出图像的方法和设备
阅读：577发布：2020-05-11
专利汇可以提供用于输出图像的方法和设备专利检索，专利查询，专利分析的服务。并且提供一种用于输出图像的方法和设备。所述方法包括：通过CFA 传感器 接收4通道组合图像 信号 ；以及基于包括 颜色 系数和权重系数的信号分离系数，将4通道组合图像信号分离为可见图像信号和 近红外 图像信号，其中，颜色系数被确定为将4通道 颜色数据 转换为3通道颜色数据，权重系数基于由近红外图像信号构成的4通道信号来确定。所述方法还包括输出可见图像信号和近红外图像信号。，下面是用于输出图像的方法和设备专利的具体信息内容。
1.一种使用滤色器阵列传感器来输出图像的方法，所述方法包括：
通过滤色器阵列传感器接收4通道组合图像信号；
基于包括颜色系数和权重系数的信号分离系数，将4通道组合图像信号分离为可见图像信号和近红外图像信号，其中，颜色系数被确定为将4通道颜色数据转换为3通道颜色数据，权重系数基于由近红外图像信号构成的4通道信号被确定；以及
输出可见图像信号和近红外图像信号，
其中，颜色系数是基于用于将4通道颜色数据转换为3通道颜色数据的参数估计算法而被确定的。
2.根据权利要求1所述的方法，其中，4通道组合图像信号包括4通道可见图像信号和1通道近红外图像信号的组合。
3.根据权利要求1所述的方法，其中，参数估计算法基于至少一次最小二乘估计被确定。
4.根据权利要求1所述的方法，其中，权重系数是基于根据从由近红外图像信号构成的
4通道信号选择的第一通道信号对通道各自的比例的计算而被确定的。
5.根据权利要求1所述的方法，还包括：将4通道组合图像信号插值为包括独立的颜色信号的四色分离的组合图像信号。
6.根据权利要求1所述的方法，还包括：同时进行从可见图像信号输出可见图像和从近红外图像信号输出近红外图像。
7.根据权利要求1所述的方法，还包括：对可见图像信号执行白平衡处理。
8.根据权利要求1所述的方法，还包括：
计算包括可见图像信号的亮度信息的亮度图像信号；
计算所计算出的亮度图像信号的亮度平均值；
基于对亮度平均值和参考亮度平均值的比较，校正可见图像信号的亮度；以及从亮度被校正的可见图像信号输出可见图像。
9.根据权利要求1所述的方法，还包括：对近红外图像信号和可见图像信号进行融合来校正可见图像信号。
10.一种使用滤色器阵列传感器来输出图像的设备，所述设备包括：
信号接收器，被配置为通过滤色器阵列传感器接收4通道组合图像信号；以及信号分离器，被配置为基于包括颜色系数和权重系数的信号分离系数，将4通道组合图像信号分离为可见图像信号和近红外图像信号，其中，颜色系数被确定为将4通道颜色数据转换为3通道颜色数据，权重系数基于由近红外图像信号构成的4通道信号被确定；以及图像输出器，被配置为输出可见图像信号和近红外图像信号，
其中，颜色系数是基于用于将4通道颜色数据转换为3通道颜色数据的参数估计算法而被确定的。
11.根据权利要求10所述的设备，其中，4通道组合图像信号包括4通道可见图像信号和
1通道近红外图像信号的组合。
12.根据权利要求10所述的设备，其中，权重系数是基于根据从由近红外图像信号构成的4通道信号选择的第一通道信号对通道各自的比例的计算而被确定的。
13.根据权利要求10所述的设备，还包括：图像插值器，被配置为将4通道组合图像信号插值为包括独立的颜色信号的四色分离的组合图像信号。
14.根据权利要求10所述的设备，其中，图像输出器还被配置为同时进行从可见图像信号输出可见图像和从近红外图像信号输出近红外图像。
15.根据权利要求10所述的设备，还包括：白平衡处理器，被配置为对可见图像信号执行白平衡处理。
16.根据权利要求10所述的设备，还包括亮度校正器，该亮度校正器被配置为：
计算包括可见图像信号的亮度信息的亮度图像信号；
计算所计算出的亮度图像信号的亮度平均值；
基于对亮度平均值和参考亮度平均值的比较来校正可见图像信号的亮度，并从亮度被校正的可见图像信号输出可见图像。
17.根据权利要求10所述的设备，还包括：图像校正器，被配置为对近红外图像信号和可见图像信号进行融合来校正可见图像信号。
18.一种非暂时性计算机可读存储介质，存储包括使计算机执行权利要求1所述的方法的指令的程序。
用于输出图像的方法和设备
技术领域
背景技术
[0003] 可见图像和近红外图像均包括不同波长范围中的信号。因为可见图像和近红外图像根据其用途而被不同地使用，所以已经有很多努力以在每个波长范围内获得清晰的图像。例如，为了获得清晰的可见图像，图像输出设备可以在透镜和图像传感器之间包括红外线遮蔽滤光器，以遮蔽近红外图像信号。
[0004] 此外，根据相关领域，使用两个独立的传感器和棱镜来同时获得可见图像和近红外图像。因此，更多的用户想使用当前的设备来获取清晰的可见图像和近红外图像。发明内容
[0005] 示例性实施例至少可解决上述问题和/或缺点以及上面没有描述的其它缺点。此外，示例性实施例不需要克服上述缺点，并且，可以不克服任何上述问题。
[0006] 示例性实施例提供一种从可见图像信号和近红外图像信号被组合的图像信号分离可见图像信号和近红外图像信号的图像输出设备和方法。
[0007] 根据示例性实施例的一个方面，提供一种使用滤色器阵列(CFA)传感器来输出图像的方法，所述方法包括：通过CFA传感器接收4通道组合图像信号；以及基于包括被确定为将4通道颜色数据转换为3通道颜色数据的颜色系数和基于由近红外图像信号构成的4通道信号确定的权重系数的信号分离系数，将4通道组合图像信号分离为可见图像信号和近红外图像信号。所述方法还包括输出可见图像信号和近红外图像信号。
[0008] 4通道组合图像信号可包括4通道可见图像信号和1通道近红外图像信号的组合。
[0010] 参数估计算法可以基于至少一次最小二乘估计被确定。
[0011] 权重系数可以基于根据从由近红外图像信号构成的4通道信号选择的第一通道信号对通道的各自的比率的计算而被确定。
[0012] 所述方法还可以包括将4通道组合图像信号插值为包括独立的颜色信号的四色分离的组合图像信号中。
[0013] 所述方法还可以包括同时从可见图像信号输出可见图像和从近红外图像信号输出近红外图像。
[0014] 所述方法还可以包括对可见图像信号执行白平衡处理。
[0015] 所述方法还可包括：计算包括可见图像信号的亮度信息的亮度图像信号；计算计算出的亮度图像信号的亮度平均值；基于比较亮度平均值和参考亮度平均值，校正可见图像信号的亮度；以及从亮度被校正的可见图像信号输出可见图像。
[0016] 所述方法还可以包括对近红外图像信号和可见图像信号进行融合来校正可见图像信号。
[0017] 一种非暂态计算机可读存储介质可以存储包括使计算机执行所述方法的指令的程序。
[0018] 根据示例性实施例的一个方面，提供一种使用滤色器阵列(CFA)传感器来输出图像的设备，所述设备包括：信号接收器，被配置为通过CFA传感器接收4通道组合图像信号；以及信号分离器，被配置为基于包括被确定为将4通道颜色数据转换为3通道颜色数据的颜色系数和基于由近红外图像信号构成的4通道信号确定的权重系数的信号分离系数，将4通道组合图像信号分离为可见图像信号和近红外图像信号。所述设备还包括：图像输出器，被配置为输出可见图像信号和近红外图像信号。
[0019] 4通道组合图像信号可包括4通道可见图像信号和1通道近红外图像信号的组合。
[0020] 颜色系数可以基于用于将4通道颜色数据转换为3通道颜色数据的参数估计算法而被确定。
[0021] 权重系数可以基于根据从由近红外图像信号构成的4通道信号选择的第一通道信号对通道的各自的比例的计算而被确定。
[0022] 所述设备还可以包括：图像插值器(image interpolator)，被配置为将4通道组合图像信号插值到包括独立的颜色信号的四色分离的组合图像信号中。
[0023] 图像输出器还可以被配置为同时从可见图像信号输出可见图像和从近红外图像信号输出近红外图像。
[0024] 所述设备还可以包括：白平衡处理器，被配置为对可见图像信号执行白平衡处理。
[0025] 该设备还可以包括：亮度计算器，被配置为计算包括可见图像信号的亮度信号的亮度图像信号；亮度平均值计算器，被配置为计算计算出的亮度图像信号的亮度平均值；以及亮度校正器，被配置为基于亮度平均值和参考亮度平均值的比较来校正可见图像信号的亮度，并从亮度被校正的可见图像信号输出可见图像。
[0027] 通过参照附图描述示例性实施例，上述和/或其它的方面将变得更加清楚，在附图中：
[0028] 图1是根据示例性实施例的从4通道组合图像信号输出可见图像和近红外图像的图像输出设备的示意图；
[0029] 图2是根据示例性实施例的由图像输出设备执行的输出可见图像和近红外图像的方法的流程图；
[0030] 图3是根据示例性实施例的同时接收可见图像信号和近红外图像信号的滤色器阵列(CFA)的示图；
[0031] 图4是根据示例性实施例的由图像输出设备接收的4通道组合图像信号的示图；
[0032] 图5是用于描述根据示例性实施例的通过使用信号插值器将4通道组合图像转换为包括独立的颜色信号的4通道组合图像信号的过程的示图；
[0033] 图6是用于描述根据示例性实施例的通过对4通道组合图像信号进行插值生成颜色分离的组合图像信号的过程的示图；
[0034] 图7是用于描述根据示例性实施例的对可见图像信号执行白平衡处理的示图；
[0035] 图8和图9是用于描述根据示例性实施例的对可见图像信号执行亮度调整的过程的示图；
[0036] 图10是用于描述根据示例性实施例的对可见图像信号执行颜色校正的过程的示图；
[0037] 图11是用于描述根据示例性实施例的通过融合可见图像信号和近红外图像信号来输出可见图像的过程的示图；以及
[0038] 图12是根据示例性实施例的图像输出设备的框图。
具体实施方式
[0039] 下面参照附图更加详细地描述示例性实施例。
[0040] 在下面的描述中，甚至在不同的图中，对于相同的元件也使用相同的附图标记。为了帮助全面地理解示例性实施例，提供本描述中限定的内容，例如，详细的结构和元件。但是，显而易见的是，可以在无需这些具体限定的内容的情况下实践示例性实施例。此外，公知的功能或结构可能没有被详细地描述，因为它们将以不必要的细节使示例性实施例模糊。
[0042] 图1是根据示例性实施例的从4通道组合图像信号输出可见图像和近红外图像的图像输出设备100的示意图。
[0043] 如图1所示，图像输出设备100可以接收4通道组合图像信号。
[0044] 根据示例性实施例，图像输出设备100是用于通过使用滤色器阵列(CFA)传感器来输出图像的设备的示例。图像输出设备100的示例可以包括，但不限于，计算机，个人数字助理(PDA)，便携式多媒体播放器(PMP)，智能电话，平板计算机，电视，智能电视，照相机，视频摄像机和移动装置。
[0046] 根据示例性实施例，CFA传感器可以包括透射可见谱中的光成分的滤色器和透射非可见谱的近红外谱中的光成分的近红外滤波器。CFA传感器可以包括具有四个通道的颜色通道。
[0047] CFA传感器可以表示将光学图像转换为电信号的半导体装置。CFA传感器可以被包括在但不限于互补金属氧化物半导体(CMOS)传感器或电荷耦合器件(CCD)传感器中。根据示例性实施例，CFA传感器可以是指通常在图像输出设备100中使用的传感器。
[0048] CMOS传感器可以是指利用CMOS技术的开关型传感器，其中，控制电路和信号处理电路用作外围电路。开关型传感器可以使用CMOS技术创建与像素数目一样多的MOS晶体管，并且通过使用MOS晶体管来顺序地检测输出。
[0049] CCD可以是其中MOS电容器彼此相邻并且电荷载流子被存储在MOS电容器且由其传输的装置。
[0050] 根据示例性实施例，CFA传感器可以包括4通道CFA。根据示例性实施例，4通道CFA可以表示补色过滤。例如，4通道CFA可以包括CMYG滤色器。CMYG可以是指四种颜色，包括青色、品红色、黄色和绿色。青色、品红色和黄色可以包括三原色，即，青色可以包括绿色和蓝色，品红色可以包括红色和蓝色，并且，黄色可以包括红色和绿色。但是，四通道中的颜色并不限于上述颜色。
[0051] 图像输出设备100可以接收4通道组合图像信号，4通道组合图像信号包括其中4通道可见图像信号和1通道近红外图像信号被组合的4通道组合图像信号。此外，接收到的4通道组合图像信号可以包括由图像输出设备100通过颜色通道滤波器接收到的信号。4通道组合图像信号可包括包含4通道颜色信号和近红外图像信号的信号。
[0052] 可见图像信号是人眼可识别的波长范围中的光。物理光是人眼可识别为颜色的波长范围中的光谱，并且，可以表示具有在约380nm至780nm的范围中的波长的电磁波。也就是说，可见图像信号可以表示人眼可识别的波长范围。
[0053] 当由太阳或其他热源发出的光被分散成光谱时，红外线位于红色光谱的边缘之外。具有0.75μm至3μm的波长的红外线被称为就红外线。红外线可以用于工业或医学用途，因为红外线具有比可见光线或紫外线强的热效应。此外，近红外线包括电子谱，并且，除了热效应以外还具有摄影效应、光电效应和荧光效应。因此，摄影标志、光电单元、光电管和热电偶可用于近红外线检测。
[0054] 根据示例性实施例的图像输出设备100可以不包括红外(IR)滤波器。IR滤波器可以是用于遮蔽红外信号的滤波器。人眼只能识别电磁波范围内(即，380nm至770nm的范围中)的可见光线。此外，由于对蓝色、绿色和红色敏感的光接收细胞，人眼可以区分各种颜色。但是，CCD传感器可以识别比人眼宽的范围中的波长为光。因此，由图像输出设备100光感测的图像包括具有被检测为光但人眼不可见的770nm或更大的波长的红外区域，该图像可以显示与通过人眼显示的场景不同的场景。因此，为了使图像输出设备100输出与人类识别的图像一样的图像，图像输出设备100可以包括用于遮蔽红外信号的IR滤波器。但是，由于根据示例性实施例的图像输出设备100控制通过CFA传感器接收到的组合图像信号，所以IR滤波器可以不被包括。
[0055] 图像输出设备100可以使用没有IR滤波器的一个CFA传感器来接收4通道组合图像信号。图像输出设备100可以输出可见图像和近红外图像。图像输出设备100可以通过执行图像分离处理来获得具有不同波长的两个独立图像。
[0056] 图2是根据示例性实施例的由图像输出设备100执行的输出可见图像和近红外图像的方法的流程图。
[0057] 参照图2，图像输出设备100可以接收4通道组合图像信号并将4通道组合图像信号分离为可见图像信号和近红外图像信号。
[0058] 在操作S210中，图像输出设备100可以通过CFA传感器接收4通道组合图像信号。
[0059] 根据示例性实施例，CFA传感器可以包括CMYG互补滤色器。
[0060] 4通道组合图像信号可以是指包括可见光线颜色信号和红外信号的图像信号。四种可见光线颜色信号可包括CMYG颜色信号，但不限于此。
[0061] 根据示例性实施例，图像输出设备100可以不包括用于遮蔽红外信号的IR滤波器。此外，图像输出设备100可以不包括用于物理上分离红外信号的分束器棱镜。因此，可以减小图像输出设备100的尺寸和制造成本。
[0062] 在操作S220中，根据示例性实施例的图像输出设备100可以基于信号分离系数分离可见图像信号和近红外图像信号。信号分离系数可以包括被确定为将4通道颜色数据变为3通道颜色数据的颜色系数和基于由近红外图像信号构成的4通道信号确定的权重系数。
[0063] 根据示例性实施例，信号分离系数可以表示包括12个颜色系数和4个权重系数的信号分离矩阵。方程1是示出通过使用信号分离系数分离可见图像信号和近红外图像信号的示例性实施例。
[0064] [方程1]
[0065]
[0066] 根据示例性实施例，C'(i,j)、M'(i,j)、Y'(i,j)和G'(i,j)可以表示像素(i,j)的颜色分离的组合图像信号。例如，C'(i,j)可以表示通过插值近红外图像信号和青色信号而获得的数据。
[0067] 在这种情况下，图像输出设备100可以通过接收4通道组合图像信号并通过执行图像信号插值操作将该图像信号分离为四种颜色来获得颜色分离的组合图像信号。颜色分离的组合图像信号可以表示其中组合了近红外图像信号和颜色信号(G,M,Y和C)的信号。下面将参照图6描述该处理。
[0068] 根据示例性实施例，α11至α43可以表示颜色系数。此外，ω1至ω4可以表示权重系数。根据示例性实施例的信号分离系数可以是4×4矩阵。
[0069] 根据示例性实施例，R(i,j)、G(i,j)和B(i,j)可以是由图像输出设备100从4通道组合图像信号分离的第(i,j)个可见图像信号。
[0070] 根据示例性实施例，NIR(i,j)可以是由图像输出设备100从4通道组合图像信号分离的近红外图像信号(i,j)。
[0071] 方程2是用于从4通道组合图像信号分离可见图像信号和近红外图像信号的方程。
[0072] [方程2]
[0073]
[0074] 如方程2所示，可见图像信号和近红外图像信号可以基于信号分离系数的逆矩阵和颜色分离的组合图像信号的乘积来被分离。换句话说，图像输出设备100可以使用方程2从其中可见图像信号和近红外图像信号被组合的颜色分离的组合图像信号分离可见图像信号和近红外图像信号。
[0075] 基于根据示例性实施例使用方程2的计算，不包括近红外图像信号的可见图像信号可以从包括近红外图像信号的4通道组合图像信号被分离。此外，只包括近红外图像信号的近红外图像信号可以被分离。
[0076] 方程3用于获得信号分离系数的矩阵中的颜色系数B。方程4用于从样本可见光线数据矩阵计算颜色系数。
[0077] [方程3]
[0078]
[0079] [方程4]
[0080] A＝BC
[0081] B＝AC-+
[0082] C-+：CT(CCT)-1
[0083] 颜色系数B用于将样本4通道数据转换为样本3通道数据。使用颜色系数B从4通道组合图像信号分离可见图像信号。
[0084] 这里，颜色系数B可以通过应用参数估计算法来确定，以将4通道颜色数据A转换为3通道颜色数据C。
[0085] 参数估计算法可以通过执行实验和多次实验数据计算来确定以获得颜色系数。参数估计算法可以是用于从多个4通道颜色数据实验值获得3通道颜色数据的参数的算法。
[0086] 参数估计算法可以包括通过应用最小二乘估计至少一次而确定的值，但不限于此。最小二乘估计是确定使观察值和拟合值之间的差的和最小化的参数的方法。可以使用最小二乘估计来组织过去的数据并预测将来何时执行各种动作。执行最小二乘估计，使得从数据和方程得到的数值的残差平方的和被最小化。
[0087] 基于方程3，通过将颜色系数B的矩阵和样本3通道可见光线数据C的矩阵相乘来获得样本4通道可见图像信号数据A。
[0088] 基于方程4，可以通过改变样本3通道可见光线数据C的逆矩阵的行和列并将样本3通道可见光线数据C的逆矩阵的共轭复数和样本4通道可见图像信号数据A相乘来获得颜色系数B。
[0089] 例如，改变逆矩阵的行和列可以表示逆矩阵的(1,3)处的值被重新定位到逆矩阵的(3,1)，并且，逆矩阵的(3,1)处的值被重新定位到逆矩阵的(1,3)。
[0090] 根据示例性实施例，样本4通道可见图像信号数据A可以表示预估计的样本4通道数据。此外，样本3通道可见光线数据C可以表示预估计的样本3通道数据。使用颜色系数B将预估计的样本4通道数据转换为预估计的样本3通道数据。
[0091] 根据示例性实施例，提供将CMYG色空间转换为RGB色空间作为一个示例。但是，示例性实施例并不限于此。根据示例性实施例，4通道颜色通道和3通道颜色通道的类型不受限制。例如，XYZ空间和YCbCr空间也可以相同的方式被转换。
[0092] 方程5和6用于计算权重系数。
[0093] [方程5]
[0094]
[0095]
[0096]
[0097] [方程6]
[0098] ω1＝μCG×ω4,
[0099] ω2＝μMG×ω4,
[0100] ω3＝μYG×ω4,
[0101] ω4＝β
[0102] 根据示例性实施例，通过使用CMYG CFA来接收用来计算近红外权重系数的4通道信号。但是，示例性实施例并不限于此。
[0103] 方程5和6中的C、M、Y和G信号值可以是只在近红外光谱中包括的信号值。C、M、Y和G信号值可以是只包括近红外图像信号而没有可见图像信号的4通道图像信号。例如，C、M、Y和G信号值可以通过只将850nm近红外LED光源投射到CFA来获得。例如，C、M、Y和G信号值可以被增强，并且，每一个都可以包括增强的近红外(NIR)信号。
[0104] 根据方程5，可以基于一个通道值来计算每一个通道的比率。例如，可以获得C、M和Y通道相对于G信号值的比率。根据示例性实施例，μCG可以通过计算G信号值相对于C信号值的平均值来获得。此外，μMG可以通过计算G信号值相对于M信号值的平均值来获得，并且，μYG可以通过计算G信号值相对于Y信号值的平均值来获得。
[0105] 根据示例性实施例，权重系数ω1至ω4是基于方程6。根据示例性实施例，权重系数中的每一个可以基于除其自身以外的权重系数来计算。可以使用近红外权重系数来确定近红外图像的亮度。
[0106] 根据示例性实施例，权重系数ω1至ω4中的任何一个可以被设置为参考权重值，并且，其他的权重系数可以基于该参考权重值来被确定。
[0107] 根据示例性实施例，图像输出设备100可以将ω4设置为参考权重值。例如，ω4可以被设置为但不限于1。
[0108] 在操作S230中，图像输出设备100可以输出分离的可见图像信号和分离的近红外图像信号。此外，可以从可见图像信号输出可见图像，并且，可以从近红外图像信号输出近红外图像。
[0109] 图像输出设备100可以从近红外图像信号输出近红外图像，由此确定确定食物分解或区分植物的一部分。因为图像输出设备100可以通过计算方程而无需用于分离近红外图像的物理装置来分离近红外图像，所以图像输出设备100可以以低成本地输出近红外图像。
[0110] 图像输出设备100可以同时输出可见图像和近红外图像。因为图像输出设备100可以同时从4通道组合图像信号输出可见图像和近红外图像，所以可能不需要对前述图像之间的捕获角差和时间差进行校正。
[0111] 图3是根据示例性实施例的同时接收可见图像信号和近红外图像信号的CFA的示图。
[0112] 根据示例性实施例，图像输出设备100可以不包括包含遮蔽红外信号的IR滤波器的独立的传感器、半反射镜和IR带通滤波器。
[0113] 根据示例性实施例，图像输出设备100可以通过CFA接收包括近红外图像信号和可见图像信号的组合图像信号。
[0114] 根据示例性实施例，图像输出设备100中使用的CFA可以被包括在但不限于CMOS传感器或CCD传感器中。
[0115] 根据示例性实施例，图像输出设备100中使用的CFA可以具有平面形状。
[0116] 根据示例性实施例，因为图像输出设备100包括广泛使用的CMOS传感器或CCD传感器，所以可以减小图像输出设备100的尺寸和制造成本。
[0117] 例如，图像输出设备100可以包括但不限于CMOS传感器或CCD传感器和CMYG互补滤色器。
[0118] 图4是根据示例性实施例的由图像输出设备100接收的4通道组合图像信号的示图。
[0119] 根据示例性实施例，图像输出设备100可以接收包括近红外图像信号和可见图像信号二者的4通道组合图像信号。例如，图像输出设备100可以通过包括4通道CFA的CMOS传感器或CCD传感器接收包括近红外图像信号和可见图像信号的4通道组合图像信号。
[0120] 根据示例性实施例，图像输出设备100可以通过使用CMYG互补滤色器来接收4通道组合图像信号。因为图像输出设备100不包括红外线遮蔽滤波器，所以4通道组合图像信号可以包括近红外图像信号和可见图像信号。
[0121] 如图4所示，4通道组合图像信号可以通过包括四个2x2颜色通道的CFA来接收。
[0122] 根据示例性实施例，4通道组合图像信号可以是其中C、M、Y和G通道与将近红外信号NIR组合的信号。图像输出设备100可以接收其中可见图像信号和近红外图像信号被组合的4通道组合图像信号并从4通道组合图像信号分离可见图像信号和近红外图像信号。
[0123] 图5是用于描述根据示例性实施例的通过使用信号插值器将4通道组合图像信号转换为包括独立的颜色信号的4通道组合图像信号的过程的示图。
[0124] 图6是用于描述根据示例性实施例的通过对4通道组合图像信号进行插值来生成颜色分离的组合图像信号的过程的示图。
[0125] 以下，将参照图5和图6描述对4通道组合图像信号进行插值的处理。但是，插值处理并不限于下面的描述。
[0126] 图像输出设备100的信号插值器120可以接收4通道组合图像信号，并通过执行插值处理来输出包括四个独立的组合图像的颜色分离的组合图像信号。
[0127] 根据示例性实施例，图像输出设备100可以包括包含CMYG互补滤色器的CFA。这里，因为图像输出设备100可能无法检测不是由像素表示而是由CFA表示的光的颜色，所以图像输出设备100可以对通过CFA的4通道组合图像信号进行插值。信号插值器120的插值处理可以在信号分离之前(即，在4通道组合图像被输入到信号分离器130之前)被执行。
[0128] 根据示例性实施例，图6的(1)示出通过CFA的4通道组合图像信号，图6的(2)示出用于对4通道组合图像信号进行插值的中间操作，图6的(3)示出被插值的颜色分离的组合图像信号。
[0129] 图6的(1)中的4通道组合图像信号可以包括G+NIR、M+NIR、Y+NIR和C+NIR通道。
[0130] 通过执行插值，如图6的(2)所示，图像输出设备100将G+NIR、M+NIR、Y+NIR和C+NIR分离为独立信号。例如，在G+NIR信号中，只有包括NIR信号的G颜色信号可以从4通道组合图像信号独立地分离。
[0131] 图像输出设备100可以通过使用分离的独立信号来生成颜色分离的组合图像信号。根据示例性实施例，图像输出设备100可以对G+NIR、M+NIR、Y+NIR和C+NIR信号执行插值。例如，图像输出设备100可以通过确定表示G颜色的像素和另一个像素的平均光量来填充不表示独立分离的G+NIR信号中的G颜色的像素。CMOS传感器可以包括一组中的四个像素。第一组中的像素可以分别负责G+NIR、M+NIR、Y+NIR和C+NIR信号。因此，包括红外信号的G、M、Y和C颜色像素被包括在第一组中。也就是说，在24百万像素传感器中，6百万像素可以只表示G颜色，另6百万像素可以只表示M颜色，另6百万像素可以只表示Y颜色，剩余的6百万像素可以只表示C颜色。图像信号可以通过随机地添加省略的颜色来进行插值。
[0132] 在这种插值之后，可以获得包括独立的颜色信号的颜色分离的组合图像信号，如图6的(3)所示。
[0133] 由图像输出设备100执行的插值可以包括，例如，双线性插值。双线性插值是使用表示颜色的像素和该像素周围的光量之间的关系的颜色插值方法。可替代地，图像输出设备100可以执行不会如相关领域的双线性插值方法中一样降低分辨率的改进的双线性插值方法。
[0134] 根据示例性实施例，图像输出设备100可以执行可计算G、M、Y和C颜色像素的各自光量的任何类型的插值方法。
[0135] 图像输出设备100可以通过计算包括被插值的颜色分离的组合图像信号的权重系数和颜色系数的信号分离系数来分离可见图像信号和近红外图像信号。
[0136] 图7是用于描述根据示例性实施例的对可见图像信号执行白平衡处理的过程的示图。
[0137] 如图7所示，4通道组合图像信号被信号分离器130分离为可见图像信号和近红外图像信号。信号分离器130可以从4通道组合图像信号输出3通道可见图像信号和1通道近红外图像信号。
[0138] 由于可见图像信号是从与近红外图像信号组合的信号分离的，所以可见图像可能会稍红。因为图像输出设备100不包括用于遮蔽近红外线的IR滤波器或热反射镜，所以可见图像可能会受近红外图像信号的影响并由此以红色输出。
[0139] 白平衡处理器141可以对可见图像信号执行白平衡处理并以较不红的颜色输出可见图像。可以使用当前已知的白平衡处理方法，但是，示例性实施例并不限于此。
[0140] 例如，白平衡处理器141可以通过使用如方程7所示的灰度世界算法来执行白平衡处理，但不限于此。
[0141] [方程7]
[0142]
[0143]
[0144] 在方程7中，R(i,j)、G(i,j)和B(i,j)可以是由信号分离器130分离且被输入到白平衡处理器141的可见图像信号。也就是说，R(i,j)、G(i,j)和B(i,j)可以是未经白平衡处理的可见图像信号。
[0145] RAWB(i，j),GAWB(i，j)，和BAWB(i，j)可以是经过白平衡处理的可见图像信号R(i,j)、G(i,j)和B(i,j)。
[0146] 白平衡处理器141可以调整颜色平衡，使得在随机光源下捕获的白色物体的颜色以与在太阳光下捕获的白色物体一样的颜色被观察到。
[0147] 图8和图9是用于描述根据示例性实施例的对可见图像信号执行亮度调整的过程的示图。
[0148] 如图7所示，4通道组合图像信号可以通过信号分离器130并被分离为可见图像信号和近红外图像信号。信号分离器130可以从4通道组合图像信号输出3通道可见图像信号和1通道近红外图像信号。
[0149] 图像输出设备100可以从3通道可见图像信号输出可见图像并从1通道近红外图像信号输出近红外图像。在这种情况下，可见图像可以比预设的参考低的亮度被输出。
[0150] 亮度调整处理器142可以接收可见图像并将可见图像的亮度改变为预设的亮度。图像输出设备100可以计算可见图像信号的亮度，计算平均亮度，将平均亮度与预设的亮度进行比较，校正该亮度，由此输出相对更自然的图像。
[0151] 根据示例性实施例，被输入到亮度调整处理器142的图像信号可以包括经过白平衡处理的可见图像信号。
[0152] 根据示例性实施例，亮度调整处理器142可以包括亮度计算器143、亮度平均值计算器144和亮度校正器145。
[0153] 亮度计算器143可以从可见图像信号计算包括图像亮度信息的亮度图像。亮度图像可以通过使用但不限于YCbCr计算方法来计算。
[0154] 亮度是指具有一范围的光源的光的强度除以光源的面积，并且可以表示光源的亮度。亮度可以随着波长而变，并且，可以与人眼的敏感度有关。
[0155] 亮度平均值计算器144可以计算由亮度计算器143计算出的亮度图像的平均值。
[0156] 亮度校正器145可以比较亮度图像的计算出的平均值和亮度图像的预设的平均值，校正可见图像的亮度并输出可见图像。亮度校正器145可以基于亮度图像的预设的平均值与由亮度平均值计算器144计算出的亮度图像的平均值之比来改变可见图像的亮度。
[0157] 根据示例性实施例，图像输出设备100可以改善由亮度调整处理器142输出的可见图像的暗部分的颜色。
[0158] 图像输出设备100可以减少噪声并增强亮度被调整的可见图像的像素的颜色信息，其中，所述像素的亮度难以被改善的像素的。
[0159] 根据示例性实施例，图像输出设备100可以计算亮度被调整的可见图像中的R(i,j)、G(i,j)和B(i,j)信号中的每一个的第i和第j像素的块的平均值。
[0160] 当所述块的计算出的平均值大于所述块的预设的平均值时，图像输出设备100可以确定所述块的计算出的平均值作为像素值来提高图像质量。当所述块的计算出的平均值小于所述块的预设的平均值时，图像输出设备100可以确定所有块中的具有相对较高的像素值的k个块。图像输出设备100可以确定k个块的平均值作为像素值，由此提高图像质量。
[0161] 图10是用于描述根据示例性实施例的对可见图像信号执行颜色校正的过程的示图。
[0162] 如图10所示，4通道组合图像信号可以由信号分离器130分离为可见图像信号和近红外图像信号。信号分离器130可以从4通道组合图像信号输出3通道可见图像信号和1通道近红外图像信号。
[0163] 根据示例性实施例，被输入到颜色校正器146的图像信号可以包括经过白平衡处理的可见图像信号。根据示例性实施例，被输入到颜色校正器146的图像信号可以包括经过亮度调整的可见图像信号。
[0164] 颜色校正器146可以在初始阶段比较可见图像信号和4通道组合图像信号，并由此校正可见图像的颜色和亮度。
[0166] 这里，颜色差计算和亮度计算可以基于计算YCbCr样本的方法来执行，但不限于此。
[0167] 此外，颜色校正器146可以比较4通道组合图像信号的亮度和可见图像信号的亮度，并由此校正可见图像信号的亮度。
[0168] 此外，颜色校正器146可以比较4通道组合图像信号的色度图像的平均值和可见图像信号的色度图像的平均值。因此，图像输出设备100可以输出具有改善的色度和亮度的可见图像。
[0169] 图11是用于描述根据示例性实施例的通过融合可见图像信号和近红外图像信号来输出可见图像的过程的示图。
[0170] 图像输出设备100可以融合近红外图像信号和可见图像信号来从在照度低时输入的4通道组合图像信号输出清晰的可见图像。
[0171] 根据示例性实施例，图像输出设备100可以通过将近红外图像信号NIR与从4通道组合图像信号分离的可见图像信号R、G和B相加来执行图像融合。根据示例性实施例，图像输出设备100可以通过组合相同的近红外信号与R、G和B像素来执行图像融合。图像融合方法并不限于前述的示例性实施例。
[0172] 当可见图像信号R、G和B与近红外图像信号NIR融合时，可以减少可见图像信号R、G和B之间的像素差，由此可以减少可见图像的色度。
[0173] 因此，针对R、G和B像素中的每一个的尺寸比例，可见图像信号可以由近红外像素输出。
[0174] 根据示例性实施例，RGB图像和近红外图像可以如方程8一样被融合。
[0175] [方程8]
[0176]
[0177] 方程8中的k如下：
[0178]
[0179] 根据示例性实施例，当RGB图像和近红外图像如方程8一样被融合时，图像的I'(光强度)如下面的方程9所示。
[0180] [方程9]
[0181] I'＝(R'+G'+B')/3＝I+N
[0182] 在方程9中，“I”可以表示RGB图像的亮度并满足I＝(R+G+B)/3，“N”可以表示近红外图像的亮度。
[0183] 根据示例性实施例，通过根据方程8对RGB图像和近红外图像进行融合而获得的图像可以具有与根据相关领域融合的图像一样的亮度，并且，可以保持原始图像的色度。
[0184] 根据示例性实施例，当RGB图像和近红外图像被融合时，可以根据图像属性或图像应用领域来调整亮度和颜色的灵敏度。
[0185] 根据示例性实施例，RGB图像和近红外图像可以基于方程10被融合。
[0186] [方程10]
[0187] R'＝N*(1-α)*R/(R+G+B)+N*α
[0188] G'＝N*(1-α)*G/(R+G+B)+N*α
[0189] B'＝N*(1-α)*B/(R+G+B)+N*α
[0190] 方程10中的α值满足0≤α≤1。
[0191] 根据示例性实施例，基于方程10，在白天模式中，可以通过降低α值和增加R、G和B像素的值来输出图像，并且，在夜间模式中，可以通过增加α值和使用近红外像素信息来输出黑白图像使得可见图像的灵敏度被提高。
[0192] 另外，可以分析4通道组合图像信号的局部属性或全局属性来调整α值，使得颜色的灵敏度或亮度被调整。
[0193] α值可以基于可见图像中的区域的亮度统计结果或常数值来确定。可替代地，用户可以根据可见图像的个人期望的条件来确定α值。例如，用户可以在要获取大量的近红外图像信息时增加α值，并在要获取大量的RGB图像信息时降低α值。
[0194] 根据α值，图像输出设备100可以如方程10一样对RGB图像和近红外图像进行融合并输出最终可见图像。方程10示出根据图像属性调整对可见图像信号(RGB图像信号)和近红外图像信号(NIR图像信号)进行融合的比例的示例。可以用各种方式修改示例性实施例。
[0195] 图12是根据示例性实施例的图像输出设备100的框图。
[0196] 参照图12，图像输出设备100可以包括信号接收器110、信号插值器120、信号分离器130、图像校正器140、图像输出器150和存储器160。
[0197] 信号接收器110可以接收其中可见图像信号和近红外图像信号被组合的4通道组合图像信号。信号接收器110可以包括CMOS传感器或CCD传感器。信号接收器110可以包括用于接收4通道颜色信号的传感器。例如，信号接收器110可以包括但不限于CMOS传感器或CCD传感器和CMYG互补滤色器，以接收4通道颜色信号。
[0198] 信号接收器110可以不包括用于遮蔽红外信号的IR滤波器。此外，信号接收器110可以不包括用于物理上分离红外信号的分束器棱镜。因此，可以减小图像输出设备100的尺寸和制造成本。
[0199] 信号插值器120可以将不透光的像素插值到由信号接收器110中接收到的信号中。插值也可称为去马赛克(demosaicing)。插值可以包括在输入4通道组合图像信号时将每一种颜色通道的信息分离为独立的图像信号，以及填充剩余的空白像素空间。例如，双线性插值可以用作插值方法，但是，示例性实施例并不限于此。
[0200] 通过执行插值，信号插值器120可以将4通道组合图像信号转换为颜色分离的4通道组合图像信号。
[0201] 信号分离器130可以从信号插值器120接收颜色分离的4通道组合图像信号。信号分离器130可以将颜色分离的4通道组合图像信号分离为4通道可见图像信号和1通道近红外图像信号。
[0202] 信号分离器130可以基于信号分离系数将颜色分离的4通道组合图像信号分离为可见图像信号和近红外图像信号。信号分离系数可以包括用于将通道颜色数据转换为3通道颜色数据的颜色系数和基于由近红外图像信号构成的4通道信号而确定的权重系数。
[0203] 根据示例性实施例，信号分离系数可以表示包括12个颜色系数和4个权重系数的信号分离矩阵。
[0204] 信号分离器130可以通过使用信号分离系数的逆矩阵和颜色分离的组合图像信号的乘积来分离可见图像信号和近红外图像信号。
[0205] 图像校正器140可以校正可见图像信号的图像和近红外图像信号的图像。图像校正器140可以通过对可见图像信号执行白平衡处理、校正亮度、校正色度、计算亮度以及对可见图像信号和近红外图像信号进行融合来改善可见图像。
[0206] 图像校正器140可以通过使用相关领域的图像校正方法来校正图像。图像校正器140可以使用各种图像校正方法，但不限于一种方法。
[0207] 图像校正器140可以包括白平衡处理器141、亮度调整处理器142和颜色校正器146。
[0208] 此外，图像校正器140可以对近红外图像信号和可见图像信号进行融合来校正在低照度状态下输入且分离的可见图像信号。图像校正器140可以通过将近红外图像信号NIR与从4通道组合图像信号分离的可见图像信号R、G和B中的每一个相加来执行图像融合。根据示例性实施例，图像校正器140可以通过对相同的近红外信号与R、G和B像素进行组合来执行图像融合。图像融合方法并不限于前述的示例性实施例。
[0209] 图像输出器150可以分离和输出可见图像和近红外图像。图像输出器150可以同时输出可见图像和近红外图像。
[0210] 存储器160可以存储输入的4通道组合图像信号以及分离的可见图像和近红外图像。存储器160可以包括根据示例性实施例被装备在图像输出设备100中的存储卡(例如，微SD卡、USB存储装置)。此外，存储器160可以包括非易失性存储装置、易失性存储装置、硬盘驱动器(HDD)或固态驱动器(SSD)。
[0211] 根据示例性实施例，通过单个传感器输入的组合图像信号可以通过使用软件来分离，由此，可以减小硬件的尺寸和制造成本。
[0212] 根据示例性实施例，可以校正分离的可见图像信号的亮度和颜色来输出更生动的可见图像信号。
[0213] 根据示例性实施例，通过即便在由于烟或雾导致的低照度情况下也对分离的可见图像信号和分离的近红外图像信号进行融合，由于近红外图像信号而可以获得清晰的可见图像信号。
[0214] 根据示例性实施例，因为通过使用当前提供的装置可以容易地获得近红外图像，所以可以在诸如检测食品腐败和危险物品的各种领域中使用近红外图像。
[0215] 另外，示例性实施例也可以通过介质(例如，计算机可读介质)上的计算机可读代码和/或指令来实现，以控制至少一个处理元件，从而实现上述的任何示例性实施例。介质可以对应于可用作存储装置和/或执行计算机可读代码的传输的任意介质或媒介。
[0216] 计算机可读代码可以用各种方式被记录和/或传送到介质上，其中，介质的例子包括：记录介质，例如，磁存储介质(例如，ROM、软盘、硬盘等)和光学记录介质(例如，压缩盘只读存储器(CD-ROM)或数字多功能盘(DVD))；以及传输介质，例如，互联网传输介质。因此，根据一个或更多个示例性实施例，介质可以具有适合于存储或承载信号或信息的结构，例如，承载比特流的装置。介质也可以是分布式网络，从而计算机可读代码以分布的方式被存储和/或传送在介质上并被执行。此外，处理元件可以包括处理器或计算机处理器，并且，处理元件可以被分布和/或包括在单个装置中。
[0217] 前述示例性实施例是示例，并不被解释为限制性的。本教导可以被容易地应用于其他类型的设备。此外，示例性实施例的描述应当是说明性的，不应当限制权利要求的范围，并且，许多的替换、修改和改变对于本领域的技术人员来说将是显而易见的。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种图像处理方法及装置 | 2020-05-08 | 627 |
| 一种基于麦克风阵列的电子交警系统 | 2020-05-08 | 866 |
| 一种基于人脸特征进行年龄估计、和/或性别识别的系统及方法 | 2020-05-11 | 491 |
| 液晶显示面板的白平衡方法及装置 | 2020-05-11 | 10 |
| 基于白平衡的单个闪光灯补偿方法、装置、设备和介质 | 2020-05-11 | 597 |
| 用于以隔行曝光捕捉图像帧的方法及装置 | 2020-05-08 | 963 |
| 具有稳定曝光或白平衡的图像捕获装置 | 2020-05-08 | 699 |
| 一种汽车全景环视系统 | 2020-05-08 | 529 |
| 定位装置 | 2020-05-11 | 297 |
| 内窥镜系统 | 2020-05-11 | 925 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈