进行白平衡控制的图像处理装置及其控制方法和摄像设备
阅读：93发布：2024-02-13
专利汇可以提供进行白平衡控制的图像处理装置及其控制方法和摄像设备专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种用于进行 白平衡 控制的 图像处理 装置及其控制方法和摄像设备。该图像处理装置能够稳定地进行白平衡控制。根据从第一图像所获得的红外光量来计算第一WB校正值。根据从第一图像所获得的白色 像素 来计算与第一WB校正值不同的第二WB校正值。基于第一WB校正值和第二WB校正值来计算第三WB校正值。使用被存储作为基准WB校正值的第三WB校正值来对第一图像进行白平衡处理。在从第二图像获得不小于预定量的红外光量并且所获得的白色像素的数量小于预定数量的情况下，使用所存储的基准WB校正值来对第二图像进行白平衡处理。，下面是进行白平衡控制的图像处理装置及其控制方法和摄像设备专利的具体信息内容。
1.一种图像处理装置，用于进行白平衡处理，所述图像处理装置包括：
第一计算单元，用于根据从第一图像所获得的红外光量来计算用于进行白平衡处理的第一白平衡校正值；
第二计算单元，用于根据从所述第一图像所获得的白色像素来计算与所述第一白平衡校正值不同的第二白平衡校正值；
第三计算单元，用于基于所述第一白平衡校正值和所述第二白平衡校正值来计算第三白平衡校正值；
白平衡控制单元，用于使用所述第三白平衡校正值来对所述第一图像进行白平衡处理；以及
存储单元，用于将所述第三白平衡校正值存储作为基准白平衡校正值，其中，在对通过在拍摄所述第一图像之后进行的拍摄而获得的第二图像进行白平衡处理时，在从所述第二图像获得不小于预定量的红外光量、并且所述第二图像中的所获得的白色像素的数量小于预定数量的情况下，所述白平衡控制单元使用所述存储单元中所存储的基准白平衡校正值来对所述第二图像进行白平衡处理。
2.根据权利要求1所述的图像处理装置，其中，在从所述第二图像获得不小于所述预定量的红外光量、并且所述第二图像中的白色像素的数量不小于所述预定数量的情况下，所述白平衡控制单元利用使用所述第二图像所计算出的第三白平衡校正值来更新所述存储单元中所存储的基准白平衡校正值。
3.根据权利要求1所述的图像处理装置，其中，在从所述第二图像没有检测到不小于所述预定量的红外光量的情况下，所述白平衡控制单元对所述存储单元中所存储的基准白平衡校正值进行初始化。
4.根据权利要求1所述的图像处理装置，其中，在所述第二图像中的白色像素多于所述存储单元中所存储的基准白平衡校正值的计算所使用的图像中的白色像素的情况下，所述白平衡控制单元利用使用所述第二图像所计算出的第三白平衡校正值来进行白平衡处理，并且利用使用所述第二图像所计算出的第三白平衡校正值来更新所述存储单元中所存储的基准白平衡校正值。
5.根据权利要求1所述的图像处理装置，其中，在所述第二图像中的白色像素少于所述存储单元中所存储的基准白平衡校正值的计算所使用的图像中的白色像素的情况下，所述白平衡控制单元使用所述存储单元中所存储的基准白平衡校正值来进行白平衡处理。
6.根据权利要求1所述的图像处理装置，其中，在使用所述第二图像所计算出的第三白平衡校正值和所述存储单元中所存储的基准白平衡校正值之间的差不小于预定的差阈值的情况下，所述白平衡控制单元使用通过使所述存储单元中所存储的基准白平衡校正值向使用所述第二图像所计算出的第三白平衡校正值偏移预定的偏移阈值而获得的偏移白平衡校正值来进行白平衡处理，并且利用所述偏移白平衡校正值来更新所述存储单元中所存储的基准白平衡校正值。
7.根据权利要求1所述的图像处理装置，其中，在使用所述第二图像所计算出的第三白平衡校正值和所述存储单元中所存储的基准白平衡校正值之间的差小于预定的差阈值的情况下，所述白平衡控制单元利用使用所述第二图像所计算出的第三白平衡校正值来进行白平衡处理，并且利用使用所述第二图像所计算出的第三白平衡校正值来更新所述存储单元中所存储的基准白平衡校正值。
8.根据权利要求1所述的图像处理装置，其中，在获得所述第一图像的时刻之后经过了预定时间段的情况下，所述白平衡控制单元对所述存储单元中所存储的基准白平衡校正值进行初始化。
9.根据权利要求1所述的图像处理装置，其中，在所述第二图像中的来自光源的光的色温和计算所述存储单元中所存储的基准白平衡校正值所使用的图像中的来自光源的光的色温之间的差不小于预定温度的情况下，所述白平衡控制单元利用使用所述第二图像所计算出的第三白平衡校正值来进行白平衡处理，并且利用使用所述第二图像所计算出的第三白平衡校正值来更新所述存储单元中所存储的基准白平衡校正值。
10.一种摄像设备，包括：
摄像装置；
红外光传感器，用于检测红外光；
获取单元，用于从通过使用所述摄像装置进行的拍摄而获得的第一图像获取颜色评价值；
计算单元，用于使用在拍摄所述第一图像时的红外光量的检测结果和从所述第一图像所获取到的颜色评价值来计算白平衡校正值；
图像处理单元，用于使用所述白平衡校正值来对所述第一图像进行白平衡校正处理；
以及
存储单元，用于存储所述白平衡校正处理所使用的所述白平衡校正值，其中，在对通过在拍摄所述第一图像之后进行的拍摄而获得的第二图像进行白平衡处理的情况下，所述图像处理单元使用在拍摄所述第二图像时的红外光量的检测结果来判断是否继承所述存储单元中所存储的基准白平衡校正值，然后对所述第二图像进行白平衡处理。
11.根据权利要求10所述的摄像设备，其中，所述获取单元从通过将所述第一图像分割成多个区域而获得的各区域获取颜色评价值，以及
所述计算单元基于从各区域所检测到的红外光量来判断该区域的颜色是否是被摄体的颜色，并且根据颜色被判断为是所述被摄体的颜色的区域的颜色评价值来计算所述白平衡校正值。
12.一种图像处理装置的控制方法，所述图像处理装置用于进行白平衡处理并且包括存储单元，所述控制方法包括以下步骤：
根据从第一图像所获得的红外光量来计算用于进行白平衡处理的第一白平衡校正值；
根据从所述第一图像所获得的白色像素来计算与所述第一白平衡校正值不同的第二白平衡校正值；
基于所述第一白平衡校正值和所述第二白平衡校正值来计算第三白平衡校正值；
使用所述第三白平衡校正值来对所述第一图像进行白平衡处理；
将所述第三白平衡校正值作为基准白平衡校正值存储在所述存储单元中；以及在对通过在拍摄所述第一图像之后进行的拍摄而获得的第二图像进行白平衡处理时，在从所述第二图像获得不小于预定量的红外光量、并且所述第二图像中的所获得的白色像素的数量小于预定数量的情况下，使用所述存储单元中所存储的基准白平衡校正值来对所述第二图像进行白平衡处理。
进行白平衡控制的图像处理装置及其控制方法和摄像设备
技术领域
[0001] 本发明涉及用于进行白平衡控制的图像处理装置、控制该图像处理装置的方法和摄像设备，尤其涉及图像处理装置所进行的白平衡处理。
背景技术
[0002] 近年来，在诸如摄像设备等的图像处理装置所进行的自动白平衡处理中，广泛使用所谓的TTL(通过镜头)方法。在使用TTL方法的自动白平衡处理中，根据通过拍摄所获得的图像来估计来自光源的光的颜色。此外，为了计算白平衡校正值(以下称为WB校正值)，需要在图像上精确地区分来自光源的光的颜色和被摄体的颜色。
[0003] 例如，提出了如下摄像设备，其中该摄像设备将图像分割成多个区域(块区域)，并且将根据各分割区域所获得的颜色信息应用于各自表示与光源类型相对应的颜色分布的范围的检测框(参见日本特开2003-163944)。在该摄像设备中，根据可应用区域的数量、被摄体的亮度水平和红外光量而以检测框为单位来判断光源，并且基于该判断结果来进行白平衡控制。
[0004] 此外，提出了如下摄像设备，其中该摄像设备被配置为针对白色提取范围中所包括的受到将绿色转换成非彩色的作用的绿色被摄体(例如，在诸如阴影中的场所等的暗处拍摄绿色的树或草等的情况下)进行适当的白平衡(参见日本特开2006-174281)。在该摄像设备中，通过基于具有照度、绿色的量和R增益作为坐标轴的三维坐标系上的数据的分布，判断是在室内使用室内荧光灯作为光源还是在室外在太阳/阴影下拍摄了图像，来控制白平衡。
[0005] 然而，在日本特开2003-163944和日本特开2006-174281所述的摄像设备中，即使在来自同一光源的光下，如果图像中的被摄体的颜色改变，则也难以使用同一WB校正值来进行白平衡控制。
[0006] 例如，日本特开2003-163944所述的摄像设备考虑通过根据各光源的评价值改变增益值来使用与各个光源相关联的WB校正值的中间值。然而，在日本特开2003-163944中，由于基于颜色分布来检测光源，因此如果图像中的被摄体的颜色改变，则难以稳定地继续应用WB校正值。
[0007] 此外，日本特开2006-174281所述的摄像设备考虑根据从三维坐标面上的光源标识边界起的距离来逐级地改变白平衡控制。然而，同样在日本特开2006-174281中，与日本特开2003-163944所述的摄像设备相同，如果被摄体的颜色改变，则难以稳定地继续应用WB校正值。
发明内容
[0008] 本发明提供能够以不易受到被摄体的颜色的变化所影响的方式稳定地进行白平衡控制的图像处理装置、控制该图像处理装置的方法和摄像设备。
[0009] 在本发明的第一方面中，提供一种图像处理装置，用于进行白平衡处理，所述图像处理装置包括：第一计算单元，用于根据从第一图像所获得的红外光量来计算用于进行白平衡处理的第一白平衡校正值；第二计算单元，用于根据从所述第一图像所获得的白色像素来计算与所述第一白平衡校正值不同的第二白平衡校正值；第三计算单元，用于基于所述第一白平衡校正值和所述第二白平衡校正值来计算第三白平衡校正值；白平衡控制单元，用于使用所述第三白平衡校正值来对所述第一图像进行白平衡处理；以及存储单元，用于将所述第三白平衡校正值存储作为基准白平衡校正值，其中，在对通过在拍摄所述第一图像之后进行的拍摄而获得的第二图像进行白平衡处理时，在从所述第二图像获得不小于预定量的红外光量、并且所述第二图像中的所获得的白色像素的数量小于预定数量的情况下，所述白平衡控制单元使用所述存储单元中所存储的基准白平衡校正值来对所述第二图像进行白平衡处理。
[0010] 在本发明的第二方面中，提供一种摄像设备，包括：摄像装置；红外光传感器，用于检测红外光；获取单元，用于从通过使用所述摄像装置进行的拍摄而获得的第一图像获取颜色评价值；计算单元，用于使用在拍摄所述第一图像时的红外光量的检测结果和从所述第一图像所获取到的颜色评价值来计算白平衡校正值；图像处理单元，用于使用所述白平衡校正值来对所述第一图像进行白平衡校正处理；以及存储单元，用于存储所述白平衡校正处理所使用的所述白平衡校正值，其中，在对通过在拍摄所述第一图像之后进行的拍摄而获得的第二图像进行白平衡处理的情况下，所述图像处理单元使用在拍摄所述第二图像时的红外光量的检测结果来判断是否继承所述存储单元中所存储的基准白平衡校正值，然后对所述第二图像进行白平衡处理。
[0011] 在本发明的第三方面中，提供一种图像处理装置的控制方法，所述图像处理装置用于进行白平衡处理并且包括存储单元，所述控制方法包括以下步骤：根据从第一图像所获得的红外光量来计算用于进行白平衡处理的第一白平衡校正值；根据从所述第一图像所获得的白色像素来计算与所述第一白平衡校正值不同的第二白平衡校正值；基于所述第一白平衡校正值和所述第二白平衡校正值来计算第三白平衡校正值；使用所述第三白平衡校正值来对所述第一图像进行白平衡处理；将所述第三白平衡校正值作为基准白平衡校正值存储在所述存储单元中；以及在对通过在拍摄所述第一图像之后进行的拍摄而获得的第二图像进行白平衡处理时，在从所述第二图像获得不小于预定量的红外光量、并且所述第二图像中的所获得的白色像素的数量小于预定数量的情况下，使用所述存储单元中所存储的基准白平衡校正值来对所述第二图像进行白平衡处理。
[0012] 根据本发明，可以使图像处理装置稳定地进行不易受被摄体的颜色的变化所影响的白平衡控制。
附图说明
[0015] 图2是图1所示的图像处理装置中所包括的白平衡控制器的框图。
[0016] 图3是图1所示的数字照相机所进行的拍摄处理的流程图。
[0017] 图4是在图3的拍摄处理的步骤中所进行的WB校正值计算处理的流程图。
[0018] 图5是用于说明图2所示的白色判断部所进行的判断处理的图。
[0019] 图6是在图4的WB校正值计算处理的步骤中所进行的基于白色的WB校正值可靠性计算处理的流程图。
[0020] 图7A～7H是用于说明图2所示的白平衡控制器所进行的可靠性的计算所使用的表的图，其中：图7A示出在计算基于比例的可靠性时所使用的表，图7B示出在计算基于距离的可靠性时所使用的表，图7C示出在计算颜色可靠性时所使用的表，图7D示出在计算基于亮度的可靠性时所使用的表，图7E示出在计算基于红外光的可靠性时所使用的表的示例，图7F示出在计算基于红外光的可靠性时所使用的表的另一示例，图7G示出在计算绿色可靠性时所使用的表，并且图7H示出在计算夜景颜色可靠性时所使用的表。
[0021] 图8A和8B是用于说明在图4的WB校正值计算处理的步骤中所进行的基于红外光判断的绿色检测的图，其中：图8A示出RAW数据所表示的图像的示例，并且图8B示出将图8A所示的图像分割成预定数量的块的状态。
[0022] 图9是在图4的WB校正值计算处理的步骤中所进行的基于红外光判断的绿色检测处理的流程图。
[0023] 图10A～10D是用于说明图2所示的白平衡控制器所进行的WB校正值的计算的图，其中：图10A是用于说明基于红外光判断的绿色检测的图，图10B是用于说明基于绿色检测的色温估计的图，图10C是用于说明基于色温估计的WB校正值计算的图，并且图10D是用于说明根据基于白色的WB校正值和基于红外光的WB校正值的最终WB校正值的计算的图。
[0024] 图11是在图4的WB校正值计算处理的步骤中所进行的基于绿色检测的色温估计处理的流程图。
[0025] 图12是在图4的WB校正值计算处理的步骤中所进行的用于将基于白色的WB校正值和基于红外光的WB校正值进行相加的处理的流程图。
[0026] 图13是在图4的WB校正值计算处理的步骤中所进行的继承处理的流程图。
[0027] 图14A是包括根据本发明的第二实施例的图像处理装置的数字照相机所进行的继承处理的流程图。
[0028] 图14B是图14A的继续。
[0029] 图15是用于说明在图14A和14B的继承处理中根据混合WB校正值和基准WB校正值之间的差与差阈值的判断结果所进行的处理的图。
具体实施方式
[0030] 以下将参考示出本发明的实施例的附图来详细说明本发明。
[0031] 图1是包括根据本发明的第一实施例的图像处理装置的摄像设备的框图。
[0033] 图1中的附图标记100所示的照相机具有包括镜头、快门和光圈的光学系统101。经由光学系统101使被摄体图像(光学图像)在摄像装置102上成像。此时，将诸如焦距、快门速度和光圈值等的光学系统信息从光学系统101发送至中央处理单元(CPU)103。
[0034] 摄像装置102例如是多个像素呈二维矩阵排列的CCD图像传感器或CMOS图像传感器。此外，用于将入射光分离成R(红色)、G(绿色)和B(蓝色)的这些颜色的颜色成分的颜色滤波器按拜尔阵列排列在这些像素上。摄像装置102将光学图像转换成表示各像素的亮度信息的模拟信号。
[0035] 作为来自摄像装置102的输出的模拟信号由模数转换器(未示出)转换成数字图像信号。该数字图像信号是进行显影处理之前的RAW数据，并且由CPU 103存储在一次存储装置104中。注意，利用CPU 103来设置摄像装置102的电气增益(以下称为ISO感光度)。
[0036] 测光传感器105具有多个测光区域(例如，总共为由12(水平方向)×8(垂直方向)个区域形成的96个区域)，并且根据经由光学系统101所入射的光量来检测各测光区域的被摄体亮度。然后，所检测到的被摄体亮度值由模数转换器(未示出)转换成数字亮度信号并且被发送至CPU 103。
[0037] 注意，测光传感器105的测光区域的数量仅需为正数，并且不限于上述示例。
[0038] 红外光传感器106被分割成与测光传感器105的测光区域相同数量的区域，并且根据经由光学系统101所入射的光量来从各区域检测红外光量。然后，所检测到的红外光量由模数转换器(未示出)转换成数字红外光信号并且被发送至CPU 103。
[0039] CPU 103控制照相机100的整体操作，并且根据预先存储的程序来控制照相机100。在以下说明中，可以利用诸如ASIC(专用集成电路)等的专用硬件来实现通过CPU 103执行关联程序所实现的功能中的至少一部分功能。
[0040] 一次存储装置104是诸如RAM等的易失性存储装置，并且用作CPU 103的工作区域。此外，一次存储装置104中所存储的数据和信息由利用附图标记107表示的图像处理装置所使用，并且还被记录在记录介质驱动装置108内所设置的记录介质108M中。
[0041] 二次存储装置109是诸如EEPROM等的非易失性存储装置。二次存储装置109存储CPU 103所使用的、用于控制照相机100的程序(固件)以及与各种设置有关的信息。
[0042] 记录介质驱动装置108中可移除地设置的记录介质108M记录一次存储装置104中所存储的图像数据等。记录介质108M例如是半导体存储卡。此外，可以利用诸如个人计算机等的其它装置读出记录介质108M中所记录的图像数据等。
[0043] 显示部110显示拍摄之前的取景器图像，并且显示通过拍摄所获得的所拍摄图像。此外，显示部110显示交互操作所用的GUI图像。
[0044] 操作部111是用于接收通过用户的操作所输入的信息并将所输入的信息发送至CPU 103的输入装置组。操作部111设置有按钮、杆和触摸面板等。此外，操作部111可以是使用语音和视线的输入装置。此外，操作部111设置有用于开始拍摄的释放按钮。
[0045] 图1所示的照相机100具有图像处理装置107所进行的图像处理的多个模式，并且可以在操作部111上选择并设置图像处理的这些模式其中之一作为拍摄模式。
[0046] 图像处理装置107对通过拍摄所获得的图像数据进行预定图像处理。例如，图像处理装置107进行被称为显影处理的图像处理，诸如白平衡处理、用于将RGB拜尔信号转换成红色、绿色和蓝色这三层信号的颜色插值处理、伽玛校正处理、色度校正处理和色相校正处理等。
[0048] 图2是图1所示的图像处理装置107中所包括的白平衡控制器200(以下称为WB控制器200)的框图。
[0049] WB控制器200进行白平衡处理。WB控制器200根据基于被估计为白色的像素所计算出的WB校正值(以下称为基于白色的WB校正值)和基于红外光量所计算出的WB校正值(以下称为基于红外光的WB校正值)来计算混合WB校正值。
[0050] 如图2所示，WB控制器200包括块分割部201、白色判断部202、基于白色的WB校正值计算部203、基于白色的WB校正值可靠性计算部204、颜色判断部205、亮度判断部206、红外光量判断部207、RGB值相加部208、光源颜色估计部209、基于红外光的WB校正值计算部210、基于红外光的WB校正值可靠性计算部211、WB校正值相加比率计算部212和混合WB校正值计算部213。此外，WB控制器200还包括WB校正值判断部214、WB校正值设置部215和基准WB校正值存储部216。以下将说明各块所执行的处理。
[0051] 图3是图1所示的照相机100所进行的拍摄处理的流程图。
[0052] 注意，分两步对上述的释放按钮进行操作。在以下说明中，操作部111的SW1表示在半按下释放按钮的情况下接通的开关，并且操作部111的SW2表示在全按下释放按钮的情况下接通的开关。此外，在CPU 103的控制下进行图3的拍摄处理。
[0053] 在开始拍摄处理的情况下，CPU 103从操作部111接收用户的输入(步骤S301：操作部控制)。然后，CPU 103根据用户的输入来调节光学系统101的焦距、快门速度和光圈值等的设置(步骤S302：光学系统控制)。
[0054] 然后，CPU 103根据用户的输入来调节测光传感器105的测光区域(步骤S303：测光传感器控制)。此外，CPU 103根据用户的输入来调节红外光传感器106的测光区域(步骤S304：红外光传感器控制)。然后，CPU 103根据用户的输入来调节摄像装置102的ISO感光度等的设置(步骤S305：摄像装置控制)。
[0055] 然后，CPU 103将在步骤S302～S305中发生改变的设置的变化有关的信息显示在显示部109上(步骤S306：显示部控制)。注意，步骤S302～S305的处理顺序不限于该例示示例，而且可以改变。
[0056] 接着，CPU 103判断操作部111的SW1是接通还是断开(步骤S307)。如果SW1断开(步骤S307中为OFF(断开))，则CPU 103返回至步骤S301。另一方面，如果SW1接通(步骤S307中为ON(接通))，则CPU 103使用测光传感器105来测量被摄体的亮度(步骤S308)。此外，在处于自动曝光(AE)模式的情况下，CPU103基于快门速度、光圈值和ISO感光度来调节曝光。
[0057] 然后，CPU 103使用红外光传感器106来检测来自与测光传感器105的区域相同的各个区域的红外光量(步骤S309)。然后，如果设置了自动调焦(AF)模式，则CPU 103使用测距传感器(未示出)来调节焦点(步骤S310)。注意，步骤S308～S310的处理顺序不限于该例示示例，而且可以改变。
[0058] 接着，CPU 103判断在操作部111中SW2是接通还是断开(步骤S311)。如果SW2断开(步骤S311中为OFF)，则CPU 103返回至步骤S301。另一方面，如果SW2接通(步骤S311中为ON)，则CPU 103控制快门以对摄像装置102进行曝光，并且将RAW数据存储在一次存储装置104中(步骤S312)。
[0059] 然后，CPU 103控制图像处理装置107，以如以下所述地计算针对一次存储装置104中所存储的RAW数据的WB校正值(步骤S313)。然后，CPU 103使用WB校正值(混合WB校正值)来对一次存储装置104中所存储的RAW数据进行校正(即，显影)，以由此获得图像数据(步骤S314)。
[0060] 之后，CPU 103将与显影后的图像数据相对应的图像显示在显示部110上(步骤S315)。CPU 103将显影后的图像数据记录在记录介质108M中(步骤S316)，之后终止拍摄处理。注意，步骤S315和S316的处理顺序不限于该例示示例，而且可以改变。
[0061] 图4是在图3的拍摄处理的步骤S313中所进行的WB校正值计算处理的流程图。
[0062] 参考图2和4，块分割部201接收一次存储装置104中所存储的RAW数据(即，第一图像)，并且将该RAW数据所表示的图像分割成预定数量的块区域(以下简称为块)(例如，总共为由12(水平方向)×8(垂直方向)个块区域形成的96个块区域)。然后，块分割部201计算各块的R、G和B信号值的积分值。
[0063] 注意，分割块的数量不限于上述示例，而仅需是整数。此外，在该示例中，分割块的数量和分割块区域与测光传感器105和红外光传感器106各自的分割区域的数量和分割区域相对应。
[0064] 然后，块分割部201基于各块的R、G和B信号值的各个积分值来计算比R/G和比B/G。然后，如以下所述，白色判断部202确定在由表示比R/G的横轴和表示比B/G的纵轴定义的R/G-B/G坐标面上设置的白色区域中所包括的块，并且对各个块的各个R、G和B信号值进行积分以由此获得积分值Rinteg、Ginteg和Binteg(步骤S401：白色检测)。
[0065] 图5是用于说明图2所示的白色判断部202所进行的判断处理的图。
[0066] 参考图5，横轴表示比R/G，并且纵轴表示比B/G。在图5中，利用附图标记501表示黑体辐射轨迹。对白色区域502进行设置，以使得在该区域中存在使用诸如太阳光(向阳场所和背阴场所的各个情况)、钨光、水银灯光、荧光灯光和闪光灯光等的各种光分别所拍摄的非彩色被摄体的所有颜色各自的(R/G,B/G)坐标(即，一对R/G值和B/G值)。
[0067] 尽管在图5中通过使用R/G-B/G坐标面从被摄体中提取看似非彩色像素并且估计来自光源的光的颜色来计算WB校正值，但可以通过使用任何其它合适的方法从被摄体中提取看似非彩色像素来计算WB校正值。
[0068] 再次参考图2和4，基于白色的WB校正值计算部203通过以下的等式(1A)～(1C)，根据针对白色区域502内的块所计算出的R、G和B积分值Rinteg、Ginteg和Binteg来计算WB校正值(基于白色的WB校正值)(步骤S402)。
[0069] 基于白色的WB校正值的R增益W_WB_Rgain＝Ginteg/Rinteg ...(1A)[0070] 基于白色的WB校正值的G增益W_WB_Ggain＝Ginteg/Ginteg ...(1B)[0071] 基于白色的WB校正值的B增益W_WB_Bgain＝Ginteg/Binteg ...(1C)[0072] 然后，如以下所述，基于白色的WB校正值可靠性计算部204计算基于白色的WB校正值的可靠性(步骤S403)。
[0073] 图6是图4的WB校正值计算处理的步骤S403中所进行的基于白色的WB校正值可靠性计算处理的流程图。
[0074] 基于白色的WB校正值可靠性计算部204根据图4的步骤S401中所提取的白色块的数量相对于所有块的数量(即，整个图像的块的数量)的比例(白色检测范围中所包括的各自具有颜色评价值的区域相对于整个图像的比例)来计算基于比例的可靠性Tratio(步骤S601)。
[0075] 图7A～7H是用于说明图2所示的WB控制器200所进行的可靠性计算所使用的表的图，其中：图7A示出在计算基于比例的可靠性时所使用的表，图7B示出在计算基于距离的可靠性时所使用的表，图7C示出在计算颜色可靠性时所使用的表，图7D示出在计算基于亮度的可靠性时所使用的表，图7E示出在计算基于红外光的可靠性时所使用的表的示例，并且图7F示出在计算基于红外光的可靠性时所使用的表的另一示例。另外，图7G示出在计算绿色可靠性时所使用的表，并且图7H示出在计算夜景颜色可靠性时所使用的表。
[0076] 在计算基于比例的可靠性Tratio时，基于白色的WB校正值可靠性计算部204参考图7A所示的表(基于比例的可靠性表)以由此计算基于比例的可靠性Tratio(％)。
[0077] 在图7A中，横轴表示白色块的数量，并且纵轴表示基于比例的可靠性Tratio(％)。注意，在该例示示例中，块的总数为仅以示例方式给出的96个块，但是块的总数不限于该例示示例。也就是说，基于比例的可靠性表仅需被配置成：白色块的比例越大，基于比例的可靠性Tratio(％)变得越高。
[0078] 然后，基于白色的WB校正值可靠性计算部204通过以下的等式(2A)和(2B)，根据步骤S402中所计算出的基于白色的WB校正值的R增益W_WB_Rgain和B增益W_WB_Bgain来确定图5所示的R/G-B/G坐标面中的坐标503的点。
[0079] 与基于白色的WB校正值相对应的R/G＝1/W_WB_Rgain ...(2A)[0080] 与基于白色的WB校正值相对应的B/G＝1/W_WB_Bgain ...(2B)[0081] 然后，基于白色的WB校正值可靠性计算部204根据与基于白色的WB校正值相对应的(R/G,B/G)坐标503的点和黑体辐射轨迹501之间的最短距离504，基于图7B所示的表(基于距离的可靠性表)来计算基于距离的可靠性Tdist(％)(步骤S602)。
[0082] 在图7B中，横轴表示与基于白色的WB校正值相对应的(R/G,B/G)坐标503的点和黑体辐射轨迹501之间的最短距离504，并且纵轴表示依赖于从黑体辐射轨迹501起的距离的基于距离的可靠性Tdist。基于距离的可靠性表仅需被配置成：与基于白色的WB校正值相对应的(R/G,B/G)坐标503的点和黑体辐射轨迹501之间的最短距离越小，基于距离的可靠性Tdist变得越高。按照期望来设置图7B中的最小距离Dmin和最大距离Dmax。(R/G,B/G)坐标503的点越接近黑体辐射轨迹501，这表示检测到不是处于来自水银灯的光下而是处于自然光下的非彩色的可能性越高。
[0083] 接着，基于白色的WB校正值可靠性计算部204通过以下的等式(3)，通过将基于比例的可靠性Tratio乘以基于距离的可靠性Tdist来计算基于白色的WB校正值可靠性Twhite(步骤S603)。
[0084] Twhite＝Tratio×Tdist/100 ...(3)
[0085] 然后，基于白色的WB校正值可靠性计算部204终止基于白色的WB校正值可靠性计算处理，并且CPU 103返回至图4的WB校正值计算处理。
[0086] 接着，CPU 103进行基于白色的WB校正值可靠性Twhite的判断(步骤S404)。在该步骤中，如果基于白色的WB校正值可靠性Twhite不低于预定阈值，则CPU 103判断为在自然光下检测到非彩色并且可靠性Twhite高。另一方面，如果基于白色的WB校正值可靠性Twhite低于预定阈值，则CPU 103判断为可靠性Twhite低。
[0087] 如果可靠性Twhite高(步骤S404中为高可靠性)，则CPU 103终止WB校正值计算处理并且进入图3的步骤S314。然后，CPU 103控制图像处理装置107以根据基于白色的WB校正值对一次存储装置104中所存储的RAW数据进行转换。
[0088] 另一方面，如果可靠性Twhite低(步骤S404中为低可靠性)，则CPU 103控制颜色判断部205、亮度判断部206、红外光量判断部207、RGB值相加部208和基于红外光的WB校正值可靠性计算部211以进行以下所述的处理。
[0089] 在这些处理中，首先，在CPU 103的控制下基于红外光判断来进行绿色检测(步骤S405)。更具体地，以与块分割部201所进行的分割相同的方式将一次存储装置104中所存储的RAW数据所表示的图像分割成预定数量的块。接着，基于利用红外光传感器106从同一区域(即，块)所检测到的红外光量，来判断被判断为绿色的块的颜色是受到诸如水银灯等的光源所影响的颜色还是被摄体的颜色。然后，仅将被判断为是被摄体的颜色的绿色设置到要进行以下所述的绿色检测积分值RintegA、GintegA和BintegA的计算的被摄体。
[0090] 图8A和8B是用于说明在图4的WB校正值计算处理的步骤S405中所进行的基于红外光判断的绿色检测的图。图8A示出RAW数据所表示的图像的示例，并且图8B示出将图8A所示的图像分割成预定数量的块的状态。
[0091] 参考图8B，附图标记801表示绿色草的块，并且附图标记802表示蓝色天空的块。此外，附图标记803表示白色广告牌的块。现在，假定图8A所示的图像是通过在自然光下进行拍摄所获得的，由于太阳光包括红外光，因此由于该红外光是从绿色草的块801反射来的而将该块判断为示出被摄体的颜色，由此将块801设置到要进行绿色检测积分值RintegA、GintegA和BintegA的计算的被摄体。蓝色天空块802和白色广告牌块803并非绿色，因而没有将这些块设置到要进行绿色检测积分值RintegA、GintegA和BintegA的计算的被摄体。
[0092] 另一方面，假定图8A所示的图像是通过夜间在水银灯下进行拍摄所获得的，白色广告牌块803受到来自水银灯的光的颜色所影响，并且有时被判断为绿色。此外，绿色草块801也受到来自水银灯的光的颜色所影响，因而该块801变为与原本的绿色不同的颜色。在这种情况下，由于来自水银灯的光不包括红外光，因此判断为绿色草块801和白色广告牌块803的各颜色受到来自水银灯的光所影响。结果，尽管这些块为绿色，但没有将这些块设置到要进行绿色检测积分值RintegA、GintegA和BintegA的计算的被摄体。
[0093] 图9是在图4的WB校正值计算处理的步骤S405中所进行的基于红外光判断的绿色检测处理的流程图。
[0094] 颜色判断部205提取预先设置的绿色检测区域(颜色检测框)中所包括的颜色，并且通过参考图7C所示的表(颜色可靠性表)来计算颜色可靠性Tcolor(步骤S901)。
[0095] 在图7C中，横轴表示与各块的颜色相对应的(R/G,B/G)坐标，并且纵轴表示颜色可靠性Tcolor。在图7C中，如以下所述，在附图标记1001所表示的绿色检测区域(参见图10A)内设置颜色可靠性为100％的区域1002(同样参见图10A)，并且在绿色检测区域1001中不包括块的情况下，将该块的颜色可靠性设置为0％。此外，在绿色检测区域1001中包括块并且该块还包括在颜色可靠性为100％的区域1002中的情况下，将该块的颜色可靠性设置为100％。此外，在绿色检测区域1001中包括块但该块不包括在颜色可靠性为100％的区域1002中的情况下，通过线性插值来计算颜色可靠性Tcolor，以使得该颜色可靠性Tcolor根据红外光量而逐渐改变。
[0096] 注意，例如在绿色检测区域1001内设置颜色可靠性为100％的区域1002，但这并非限制性的。也就是说，块离绿色检测区域1001的中心部越近，颜色可靠性Tcolor可被设置得越高。通过如此考虑到颜色可靠性Tcolor，可以减小颜色的变化所引起的WB校正值的极大差。
[0097] 接着，亮度判断部206通过参考图7D所示的表(基于亮度的可靠性表)而基于测光传感器105所检测到的被摄体亮度来计算基于亮度的可靠性Tlumi，从而判断被摄体的颜色是否足够明亮以计算颜色可靠性Tcolor(步骤S902)。
[0098] 在图7D中，横轴表示与各块的被摄体亮度相对应的(R/G,B/G)坐标，并且纵轴表示基于亮度的可靠性Tlumi。图7D中的基于亮度的可靠性表被配置成：被摄体亮度越高，基于亮度的可靠性Tlumi越高。通过如此考虑到基于亮度的可靠性Tlumi，可以积极地防止将非常暗的夜景等的图像判断为是在自然光下所拍摄到的这一误判断。
[0099] 然后，红外光量判断部207通过参考图7E所示的表(基于红外光的可靠性表)，基于红外光传感器106所检测到的红外光量来计算基于红外光的可靠性Tir(步骤S903)。基于红外光的可靠性Tir例如是表示非彩色被摄体是在来自诸如水银灯等的光源的绿色光下所拍摄到的可能性和绿色植物是在自然光下所拍摄到的可能性中的哪个可能性更高的可靠性。
[0100] 注意，可以通过利用测光传感器105所检测到的被摄体亮度对红外光量进行归一化并由此使用红外光量相对于被摄体亮度的比率，来抑制亮度的变化所引起的红外光量的变化。
[0101] 参考图7E，如果红外光量小于最小值Imin，则块的颜色被视为受到来自光源的光所影响，而如果红外光量大于最大值Imax，则块的颜色被视为被摄体的颜色。此外，在红外光量在最小值Imin和最大值Imax之间的情况下，通过线性插值来设置基于红外光的可靠性Tir，以使得该基于红外光的可靠性Tir根据红外光量而逐渐改变。
[0102] 接着，RGB值相加部208通过以下的等式(4A)～(4C)，根据颜色可靠性Tcolor、基于亮度的可靠性Tlumi和基于红外光的可靠性Tir来针对作为处理对象的块的R、G和B信号值各自进行加权积分(步骤S904)。
[0103] RintegA＝RintegA+Rij(Tcolor/100×Tlumi/100×Tir/100) ...(4A)[0104] GintegA＝GintegA+Gij×(Tcolor/100×Tlumi/100×Tir/100) ...(4B)[0105] BintegA＝BintegA+Bij×(Tcolor/100×Tlumi/100×Tir/100) ...(4C)[0106] 其中，Rij表示第i/j个块内的R信号值的积分值，Gij表示第i/j个块内的G信号值的积分值，并且Bij表示第i/j个块内的B信号值的积分值。注意，i表示水平方向上的各块的块编号(0～11中的任意)，并且j表示垂直方向上的各块的块编号(0～7中的任意)。
[0107] 通过加权积分如此计算出的积分值(即，相加值)分别是上述的绿色检测积分值RintegA、GintegA和BintegA。注意，在对最初块进行处理之前仅进行一次将绿色检测积分值RintegA、GintegA和BintegA初始化为0。
[0108] 图10A～10D是用于说明图2所示的WB控制器200所进行的WB校正值的计算的图，其中：图10A是用于说明基于红外光判断的绿色检测的图，图10B是用于说明基于绿色检测的色温估计的图，图10C是用于说明基于色温估计的WB校正值计算的图，并且图10D是用于说明根据基于白色的WB校正值和基于红外光的WB校正值的最终WB校正值的计算的图。
[0109] 参考图10A，示出横轴表示比R/G且纵轴表示比B/G的(R/G,B/G)坐标面，并且例示出黑体辐射轨迹501以使得容易掌握各颜色之间在该坐标面上的位置关系。利用附图标记1003来表示所有可靠性均高的颜色在(R/G,B/G)坐标面中的位置的示例。利用附图标记1004示出如下颜色在(R/G,B/G)坐标面中的位置的示例，其中该颜色包括在绿色检测区域
1001中但并未包括在颜色可靠性为100％的区域1002中、即该颜色的颜色可靠性Tcolor较低。此外，利用附图标记1005来表示基于亮度的可靠性Tlumi或基于红外光的可靠性Tir较低的颜色在(R/G,B/G)坐标面中的位置的示例，并且利用附图标记1006来表示没有包括在绿色检测区域1001中的颜色在(R/G,B/G)坐标面中的位置的示例。此外，利用附图标记1007来表示与绿色检测积分值RintegA、GintegA和BintegA相对应的(R/G,B/G)坐标的位置、即(RintegA/GintegA,BintegA/GintegA)坐标的位置。
1001中但并未包括在颜色可靠性为100％的区域1002中、即该颜色的颜色可靠性Tcolor较低。此外，利用附图标记1005来表示基于亮度的可靠性Tlumi或基于红外光的可靠性Tir较低的颜色在(R/G,B/G)坐标面中的位置的示例，并且利用附图标记1006来表示没有包括在绿色检测区域1001中的颜色在(R/G,B/G)坐标面中的位置的示例。此外，利用附图标记1007来表示与绿色检测积分值RintegA、GintegA和BintegA相对应的(R/G,B/G)坐标的位置、即(RintegA/GintegA,BintegA/GintegA)坐标的位置。
[0110] 首先，位置1003处的所有可靠性均高的颜色满足所有的所需条件，因而原样对该颜色的值进行相加。另一方面，位置1004处的颜色的颜色可靠性Tcolor较低，因而对通过将该颜色的值乘以例如0.5的相加比率所获得的值进行相加。注意，根据在绿色检测区域1001内但在颜色可靠性为100％的区域1002外的区域中的颜色在(R/G,B/G)坐标面上的位置来确定颜色的相加比率。
[0111] 接着，关于与位置1005相对应的基于亮度的可靠性Tlumi或基于红外光的可靠性Tir的较低的颜色，如果基于亮度的可靠性Tlumi和基于红外光的可靠性Tir这两者都不低于预定阈值，则对通过将该颜色的值乘以预定相加比率所获得的值进行相加，而如果这些可靠性中的至少一个低于预定阈值，则即使在颜色1005包括在绿色检测区域1001中的情况下也不对颜色的值进行相加。最后，关于与位置1006相对应的没有包括在绿色检测区域1001中的颜色，即使基于亮度的可靠性Tlumi和基于红外光的可靠性Tir这两者都高，也不对颜色的值进行相加、即不进行积分。
[0112] 再次返回图9，CPU 103判断是否更新了绿色检测积分值RintegA、GintegA和BintegA中的至少一个(步骤S905)。如果更新了绿色检测积分值RintegA、GintegA和BintegA中的至少一个(步骤S905中为“是”)，则CPU 103判断为块的颜色是被摄体的颜色。然后，为了计算检测到被摄体的颜色的块中的平均红外光量，基于红外光的WB校正值可靠性计算部211通过以下的等式(5)来将利用该块的亮度进行归一化之后的红外光量IRij与累计红外光量IRtotal进行相加(步骤S906)。
[0113] IRtotal＝IRtotal+IRij ...(5)
[0114] 其中，IRij表示第i个和第j个的块内的利用该块的所检测到的亮度值进行归一化之后的红外光量。注意，如上所述，i表示水平方向上的各块的块编号(0～11中的任意)，并且j表示垂直方向上的各块的块编号(0～7中的任意)。
[0115] 注意，该步骤中所进行的归一化处理是用于利用测光传感器105在块中所检测到的亮度值对该块的红外光量进行分割的处理。此外，在对最初的块进行处理之前仅进行一次将累计红外光量IRtotal初始化为0。
[0116] 接着，为了计算检测到被摄体的颜色的块的数量相对于图像整体的块的数量的比例Nratio(以下进行说明)，基于红外光的WB校正值可靠性计算部211通过以下的等式(6)来对累计绿色块数量Ntotal进行计数(步骤S907)。
[0117] Ntotal＝Ntotal+1 ...(6)
[0118] 注意，在对最初的块进行处理之前仅进行一次将累计绿色块数量Ntotal初始化为0。
[0119] 然后，CPU 103判断是否确认了所有的分割块(步骤S908)。注意，除非更新了绿色检测积分值RintegA、GintegA和BintegA中的至少一个(步骤S905中为“否”)，否则CPU 103判断为没有检测到被摄体的颜色，并且进入步骤S908。
[0120] 如果没有确认所有的块(步骤S908中为“否”)，则CPU 103使处理进入下一块(步骤S909)，并且返回至步骤S901。另一方面，如果确认了所有的块(步骤S908中为“是”)，则基于红外光的WB校正值可靠性计算部211通过以下的等式(7)，根据累计红外光量IRtotal和累计绿色块数量Ntotal来计算检测到被摄体的颜色的块的平均红外光量IRave(步骤S910)。然后，CPU 103返回至图4的WB校正值计算处理。
[0121] IRave＝IRtotal/Ntotal ...(7)
[0122] 如以下将参考图12所述，使用通过上述处理所计算出的被判断为具有被摄体的颜色的块的R、G和B积分值RintegA、GintegA和BintegA、通过以下的等式(8)所计算出的被判断为具有被摄体的颜色的块数相对于图像整体的块数的比例Nratio、以及被判断为具有被摄体的颜色的块的平均红外光量IRave，来进行用于将基于白色的WB校正值和基于红外光的WB校正值进行相加的处理。
[0123] Nratio＝Ntotal/总块数×100 ...(8)
[0124] 其中，在该例示示例中，总块数等于12×8＝96。
[0125] 再次参考图4，光源颜色估计部209基于与绿色检测积分值RintegA、GintegA和BintegA相对应的图10B中的位置1007的坐标来估计来自拍摄时所使用的光源的光，即自然光的色温(步骤S406)。
[0126] 图11是在图4的WB校正值计算处理的步骤S406中所进行的基于绿色检测的色温估计处理的流程图。
[0127] 参考图10B和11，在图10B中，与图10A相同，示出横轴表示比R/G且纵轴表示比B/G的(R/G,B/G)坐标面，并且例示出黑体辐射轨迹501以使得容易掌握这些颜色之间在该坐标面上的位置关系。假定在绿色检测区域1001的角的由附图标记1008～1011所表示的点各自保持来自光源的光的倒色温。此外，点1008和1010在低色温区域中，并且点1009和1011在高色温区域中。
[0128] 在开始色温估计处理的情况下，光源颜色估计部209通过使用来自与低色温区域中的点1008相对应的光源的光的倒色温和来自与高色温区域中的点1009相对应的光源的光的倒色温进行线性插值，来计算来自与绿色检测积分值RintegA、GintegA和BintegA的R/G成分相对应的点1012处的光源的光的倒色温(步骤S1101)。
[0129] 然后，光源颜色估计部209通过使用来自与低色温区域中的点1010相对应的光源的光的倒色温和来自与高色温区域中的点1011相对应的光源的光的倒色温进行线性插值，来计算来自与绿色检测积分值RintegA、GintegA和BintegA的R/G成分相对应的点1013处的光源的光的倒色温(步骤S1102)。
[0130] 光源颜色估计部209通过使用来自与点1012相对应的光源的光的倒色温和来自与点1013相对应的光源的光的倒色温进行线性插值，来计算来自与绿色检测积分值RintegA、GintegA和BintegA的B/G成分相对应的光源的光的倒色温(步骤S1103)。
[0131] 然后，光源颜色估计部209将步骤S1103中所计算出的来自光源的光的倒色温转换成色温(步骤S1104)。然后，光源颜色估计部209终止色温估计处理，并且CPU 103返回至图4的WB校正值计算处理。
[0132] 使用通过上述的色温估计处理所获得的来自与绿色检测积分值RintegA、GintegA和BintegA相对应的坐标的点1007处的光源的光的色温来进行以下所述的处理。
[0133] 参考图4和10C，基于红外光的WB校正值计算部210计算与步骤S406中所估计出的来自光源的光的色温相对应的WB校正值(基于红外光的WB校正值)(步骤S407)。
[0134] 在图10C中，与图10A和10B相同，示出横轴表示比R/G且纵轴表示比B/G的(R/G,B/G)坐标面，并且例示出黑体辐射轨迹501以使得容易掌握这些颜色之间在该坐标面上的位置关系。这里，假定检测到包括红外光的绿色被摄体并且由此可以将该被摄体判断为是在自然光下所拍摄到的，基于红外光的WB校正值计算部210计算与黑体辐射轨迹501上的色温相对应的点的(RGg,BGg)坐标。然后，基于红外光的WB校正值计算部210通过以下的等式(9A)～(9C)来计算与所计算出的坐标相对应的基于红外光的WB校正值1014。
[0135] 基于红外光的WB校正值R增益IR_WB_Rgain＝1/RGg ...(9A)
[0136] 基于红外光的WB校正值G增益IR_WB_Ggain＝1 ...(9B)
[0137] 基于红外光的WB校正值B增益IR_WB_Bgain＝1/BGg ...(9C)
[0138] 使用如上所述所计算出的基于红外光的WB校正值1014和基于白色的WB校正值，进行以下的用于将基于白色的WB校正值和基于红外光的WB校正值进行相加的处理。这里，WB校正值相加比率计算部212和混合WB校正值计算部213将基于白色的WB校正值和基于红外光的WB校正值按预定比例进行相加，以由此计算最终WB校正值(混合WB校正值)(步骤S408)。
[0139] 图12是在图4的WB校正值计算处理的步骤S408中所进行的用于将基于白色的WB校正值和基于红外光的WB校正值进行相加的处理的流程图。
[0140] 参考图10D和12，在图10D中，与图10A～10C相同，示出横轴表示比R/G且纵轴表示比B/G的(R/G,B/G)坐标面，并且例示出黑体辐射轨迹501以使得容易掌握这些颜色之间在该坐标面上的位置关系。在开始相加处理的情况下，WB校正值相加比率计算部212基于在步骤S405中判断为具有被摄体的颜色(绿色)的块的平均红外光量IRave来计算基于红外光的可靠性Tir2(步骤S1201)。
[0141] 注意，基于红外光的可靠性Tir2是通过参考图7F所示的表(基于红外光的可靠性表)所计算出的。然而，由于该表与图7E所示的表相同，因此省略了针对该表的说明。
[0142] 然后，WB校正值相加比率计算部212基于在步骤S405中判断为具有被摄体的颜色(绿色)的块的数量相对于所有块的数量的比例Nratio来计算绿色可靠性Tgreen(步骤S1202)。
[0143] 注意，绿色可靠性Tgreen是通过参考图7G所示的表(绿色可靠性表)所计算出的。然而，由于该表与图7A所示的表相同，因此省略了针对该表的说明。此外，在图7G所示的表中，举例示出横轴上的值，但绿色块的数量不限于此。也就是说，绿色可靠性表仅需被配置成：被判断为具有被摄体的颜色(绿色)的块的数量的比例越大，绿色可靠性Tgreen变得越高。
[0144] 接着，根据基于红外光的可靠性Tir2和绿色可靠性Tgreen，WB校正值相加比率计算部212通过以下的等式(10)来计算基于白色的WB校正值和基于红外光的WB校正值之间的相加比率Ratio_W_IR(步骤S1203)。
[0145] Ratio_W_IR＝Tir2×Tgreen/100 ...(10)
[0146] 注意，在步骤S1203中，可以通过考虑到上述的步骤S403中所计算出的基于白色的WB校正值的可靠性来计算相加比率Ratio_W_IR。此外，相加比率Ratio_W_IR可被设置成根据可靠性来使用基于白色的WB校正值和基于红外光的WB校正值其中之一。
[0147] 接着，混合WB校正值计算部213使用相加比率Ratio_W_IR，通过以下的等式(11)，通过将基于白色的WB校正值和基于红外光的WB校正值相加到一起来计算WB校正值(混合WB校正值)WB_Rmix(步骤S1204)。
[0148] WB_Rmix＝(WB_Rw×(100-Ratio_W_IR)+WB_Rir×Ratio_W_IR)/100...(11)[0149] 其中，WB_Rw表示基于白色的WB校正值的R增益，WB_Rir表示基于红外光的WB校正值的R增益，并且WB_Rmix表示混合WB校正值的R增益。
[0150] 注意，混合WB校正值的G增益和B增益也是通过与用于计算R增益的等式相同的等式所计算出的。然后，CPU 103返回至图4的WB校正值计算处理。
[0151] 在图10D中，利用附图标记1014来表示与基于红外光的WB校正值相对应的(R/G,B/G)坐标的点，并且利用附图标记1015来表示与基于白色的WB校正值相对应的(R/G,B/G)坐标的点。此外，利用附图标记1016来表示与混合WB校正值相对应的(R/G,B/G)坐标的点。
[0152] 将通过根据相加比率Ratio_W_IR对使点1014和点1015相连接的直线进行分割所获得的点的坐标设置到与混合WB校正值相对应的点1016的(R/G,B/G)坐标。利用该处理，可以使值在基于白色的WB校正值和基于红外光的WB校正值之间平滑地转变。
[0153] 再次参考图4，CPU 103通过控制WB校正值判断部214、WB校正值设置部215和基准WB校正值存储部216来进行用于继承WB校正值的继承处理(步骤S409)。在步骤S409中，CPU 103根据通过先前拍摄(前次拍摄)所获得的WB校正值(以下称为基准白平衡校正值(基准WB校正值))以及在计算混合WB校正值时所使用的白色块的数量和红外光量，来确定要用于通过当前拍摄(本次拍摄)所获得的图像数据(即，通过在拍摄第一图像之后进行的拍摄所获得的第二图像)的WB校正值。
[0154] 图13是在图4的WB校正值计算处理的步骤S409中所进行的继承处理的流程图。
[0155] 在开始用于继承WB校正值的继承处理的情况下，WB校正值判断部214判断在迄今为止参考图9所述的基于红外光判断的绿色检测处理的步骤S910中所计算出的平均红外光量是否不小于预定的红外光阈值(步骤S1301)。注意，该红外光阈值是用于判断是否检测到大到足以在计算混合WB校正值时使用基于红外光的WB校正值的红外光量的阈值。
[0156] 如果平均红外光量小于红外光阈值(步骤S1301中为“否”)，则WB校正值设置部215将步骤S403中所计算出的基于白色的WB校正值设置为要应用于图像数据的WB校正值(步骤S1302)。注意，可以使用步骤S408中所计算出的混合WB校正值，但在这种情况下，基于红外光的WB校正值的相加比率减小。
[0157] 在平均红外光量小于红外光阈值的情况下，始终执行步骤S1302。此外，在前次拍摄中平均红外光量不小于红外光阈值、但本次已变得小于红外光阈值的情况下，也执行步骤S1302。如果平均红外光量改变，则这表示被摄体条件改变，因而禁止继承基准WB校正值。如以下所述，使用基准WB校正值以减小在基于红外光的WB校正值的相加比率发生极大改变的情况下所产生的WB校正值的变化。因此，除非平均红外光量不小于红外光阈值，否则不登记基准WB校正值。
[0158] 然后，基准WB校正值存储部216清除(初始化)基准WB校正值并且将白色像素检测标志设置为假(步骤S1303)。这里，在下次平均红外光量变得不小于红外光阈值的情况下，禁止继承先前的基准WB校正值。然后，CPU 103进入图3的步骤S314。
[0159] 如果平均红外光量不小于红外光阈值(步骤S1301中为“是”)，则WB校正值判断部214确认是否没有登记基准WB校正值(步骤S1304)。如果没有登记基准WB校正值(步骤S1304中为“是”)、即如果平均红外光量第一次变得不小于红外光阈值，则WB校正值判断部214判断步骤S601中所计算出的基于比例的可靠性Tratio是否不低于预定的白色可靠性阈值(步骤S1305)。
[0160] 如果基于比例的可靠性Tratio低于预定的白色可靠性阈值(步骤S1305中为“否”)，则WB校正值设置部215将步骤S408中所计算出的混合WB校正值设置为要应用于图像数据的WB校正值(步骤S1306)。然后，基准WB校正值存储部216将混合WB校正值登记作为基准WB校正值并且将白色像素检测标志设置为假(步骤S1307)。然后，CPU 103进入图3的步骤S314。
[0161] 如果基于比例的可靠性Tratio不低于预定的白色可靠性阈值(步骤S1305中为“是”)，则WB校正值设置部215将步骤S408中所计算出的混合WB校正值设置为要应用于图像数据的WB校正值(步骤S1308)。然后，基准WB校正值存储部216将混合WB校正值登记作为基准WB校正值并且将白色像素检测标志设置为真(步骤S1309)。然后，CPU 103进入图3的步骤S314。
[0162] 上述的白色像素检测标志用于在混合WB校正值的可靠性高并且获得一定或较大程度的白色像素的情况下继承WB校正值。
[0163] 如果登记了基准WB校正值(步骤S1304中为“否”)，则WB校正值判断部214判断步骤S601中所计算出的基于比例的可靠性Tratio是否不低于预定的白色可靠性阈值(步骤S1310)。
[0164] 如果基于比例的可靠性Tratio低于白色可靠性阈值(步骤S1310中为“否”)，则WB校正值设置部215将基准WB校正值设置为要应用于图像数据的WB校正值(步骤S1311)。然后，CPU 103进入图3的步骤S314。
[0165] 如果基于比例的可靠性Tratio不低于白色可靠性阈值(步骤S1310中为“是”)，则WB校正值判断部214判断在计算出作为基准WB校正值所登记的WB校正值的情况下是否获得白色像素。也就是说，在该步骤中，WB校正值判断部214判断白色像素检测标志是否为真(步骤S1312)。
[0166] 如果白色像素检测标志为真(步骤S1312中为“是”)，则WB校正值设置部215执行步骤S1311。另一方面，如果白色像素检测标志为假(步骤S1312中为“否”)，则WB校正值设置部215将步骤S408中所计算出的混合WB校正值设置为要应用于图像数据的WB校正值(步骤S1313)。
[0167] 然后，基准WB校正值存储部216将混合WB校正值登记作为基准WB校正值并且将白色像素检测标志设置为真(步骤S1314)。然后，CPU 103进入图3的步骤S314。
[0168] 如上所述，如果在计算出基准WB校正值的情况下没有获得白色像素，则在后续拍摄中获得白色像素的情况下更新基准WB校正值。通过如此改变基准WB校正值，最终可以继承可靠性高的WB校正值。
[0169] 在步骤S1312中，WB校正值判断部214可以判断与步骤S408中所计算出的混合WB校正值相比、基准WB校正值的相关的基于比例的可靠性Tratio是否更高。此外，WB校正值判断部214可以通过参考步骤S1203中所计算出的基于白色的WB校正值和基于红外光的WB校正值之间的相加比率Ratio_W_IR来判断基于红外光的WB校正值的影响度是否高。
[0170] 此外，在步骤S1303中，可以使用拍摄时刻作为用于初始化基准WB校正值的条件。例如，在拍摄到与基准WB校正值相关联的图像的时刻之后经过了预定时间(即，所经过的时间足够长以使得太阳的倾斜度发生大的变化)的情况下，对基准WB校正值进行初始化。
这样禁止了在可以积极地预测来自光源的光的色温的变化的情况下继承基准WB校正值。
这样禁止了在可以积极地预测来自光源的光的色温的变化的情况下继承基准WB校正值。
[0171] 同样，在步骤S1313和S1314中，可以使用拍摄时刻作为用于更新基准WB校正值的条件。在这种情况下，如果与基于此时进行拍摄的时刻所预测的WB校正值相关联的色温和与基准WB校正值相关联的色温之间的差不低于预定温度，则使用混合WB校正值来进行WB校正。这样禁止了在拍摄条件已明显改变的情况下继承WB校正值。
[0172] 如上所述，在本发明的第一实施例中，在可以识别出光源的情况下，即使在识别出光源之后所拍摄到的图像中的被摄体的颜色发生改变时，也使用在识别出光源的情况下所获得的WB校正值来进行白平衡控制。这样使得可以以不易受被摄体的颜色的变化所影响的方式稳定地进行白平衡控制。
[0173] 接着，将说明包括根据本发明的第二实施例的图像处理装置的照相机。
[0174] 包括根据第二实施例的图像处理装置的照相机具有与图1所示的照相机的结构相同的结构，并且图像处理装置中所包括的白平衡控制器具有与图2所示相同的结构。此外，除WB校正值计算处理外，包括根据第二实施例的图像处理装置的照相机所进行的拍摄处理与图3的拍摄处理相同。第二实施例与第一实施例的不同之处在于图4的WB校正值计算处理中的WB校正值继承处理。
[0175] 图14A和14B是包括根据第二实施例的图像处理装置的照相机所进行的继承处理的流程图。在图14A和14B的继承处理中，利用相同的步骤编号来表示与图13的继承处理的步骤相同的步骤，并且省略了针对这些步骤的说明。
[0176] 如果在步骤S1310中判断为基于比例的可靠性Tratio低于白色可靠性阈值(步骤S1310中为“否”)，则WB校正值判断部214判断在计算出作为基准WB校正值所登记的WB校正值的情况下是否获得白色像素(即，白色块或白色帧)。也就是说，WB校正值判断部214判断白色像素检测标志是否为真(步骤S1411)。
[0177] 如果白色像素检测标志为真(步骤S1411中为“是”)，则CPU 103进入步骤S1311，其中在该步骤S1311中，WB校正值设置部215将基准WB校正值设置为要应用于图像数据的WB校正值。然后，CPU 103进入图3的步骤S314。
[0178] 如果白色像素检测标志为假(步骤S1411中为“否”)，则CPU 103进入图14B的步骤S1413，其中在该步骤S1413中，WB校正值判断部214计算混合WB校正值和基准WB校正值之间的差并且判断所计算出的差是否小于预定的差阈值。
[0179] 如果所计算出的差不小于差阈值(步骤S1413中为“否”)，则WB校正值设置部215将从基准WB校正值向混合WB校正值偏移了预定偏移阈值的新的基准WB校正值设置为要应用于图像数据的WB校正值(步骤S1414)。然后，基准WB校正值存储部216将该新的基准WB校正值登记作为基准WB校正值并且将白色像素检测标志设置为假(步骤S1415)。然后，CPU 103进入图3的步骤S314。
[0180] 如果所计算出的差小于差阈值(步骤S1413中为“是”)，则WB校正值设置部215将混合WB校正值设置为要应用于图像数据的WB校正值(步骤S1416)。然后，基准WB校正值存储部216将混合WB校正值登记作为基准WB校正值并且将白色像素检测标志设置为假(步骤S1417)。然后，CPU 103进入图3的步骤S314。
[0181] 如果在步骤S1312中判断为白色像素检测标志为真(步骤S1312中为“是”)，则WB校正值判断部214计算混合WB校正值和基准WB校正值之间的差并且判断所计算出的差是否小于差阈值(步骤S1419)。
[0182] 如果所计算出的差不小于差阈值(步骤S1419中为“否”)，则WB校正值设置部215将从基准WB校正值向混合WB校正值偏移了预定偏移阈值的新的基准WB校正值(偏移白平衡校正值)设置为要应用于图像数据的WB校正值(步骤S1420)。然后，基准WB校正值存储部216将该新的基准WB校正值登记作为基准WB校正值并且将白色像素检测标志设置为真(步骤S1421)。然后，CPU103进入图3的步骤S314。
[0183] 如果所计算出的差小于差阈值(步骤S1419中为“是”)，则与图13的继承处理相同，CPU 103进入步骤S1313。
[0184] 图15是用于说明在图14A和14B的继承处理中根据混合WB校正值和基准WB校正值之间的差与差阈值的判断结果所进行的处理的图。
[0185] 参考图15，横轴表示比R/G，并且纵轴表示比B/G。此外，利用附图标记1501来表示基准WB校正值，并且利用附图标记1502来表示具有基准WB校正值1501作为中心的差阈值的范围。此外，在该示例中，将第一混合WB校正值1503和第二混合WB校正值1504表示为混合WB校正值，并且利用附图标记1505来表示从基准WB校正值1501向第二混合WB校正值1504偏移了预定偏移阈值的基准WB校正值。
[0186] 现在假定获得了图15所示的第一混合WB校正值1503，该第一混合WB校正值1503包括在具有基准WB校正值1501作为中心的差阈值范围1502内。因此，在该示例中，将第一混合WB校正值1503设置为要应用于图像数据的WB校正值。
[0187] 另一方面，假定获得了第二混合WB校正值1504，该第二混合WB校正值1504没有包括在具有基准WB校正值1501作为中心的差阈值范围1502内。因此，在这种情况下，将与使基准WB校正值1501和第二混合WB校正值1504相连接的直线同差阈值范围1502的边界相交的点相对应的基准WB校正值1505设置为要应用于图像数据的WB校正值。
[0188] 注意，例如将具有基准WB校正值1501作为中心的差阈值范围1502设置为WB校正值的变化不明显的范围。
[0189] 如上所述，在本发明的第二实施例中，不是简单地继承基准WB校正值，而是通过考虑到根据拍摄所获得的图像数据所计算出的WB校正值来继承基准WB校正值。这样使得可以获得通过使用根据拍摄所获得的图像数据所计算出的WB校正值的白平衡控制要实现的气氛。此外，通过将基准WB校正值与白色像素检测标志相组合来控制该基准WB校正值的影响度，由此可以适当地进行白平衡校正。
[0190] 如通过以上说明显而易见，在图1和2所示的示例中，CPU 103、块分割部201、颜色判断部205、亮度判断部206、红外光量判断部207、RGB值相加部208、光源颜色估计部209和基于红外光的WB校正值计算部210用作第一计算单元。此外，CPU 103、块分割部201、白色判断部202和基于白色的WB校正值计算部203用作第二计算单元。
[0191] 此外，CPU 103、基于白色的WB校正值可靠性计算部204、基于红外光的WB校正值可靠性计算部211、WB校正值相加比率计算部212和混合WB校正值计算部213用作第三计算单元。此外，一次存储装置104用作存储单元，并且CPU 103和WB校正值判断部214用作控制单元。
[0193] 其它实施例
[0194] 本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 电池管理系统 | 2020-05-08 | 897 |
| 一种衣服搭配评分系统 | 2020-05-08 | 249 |
| 一种基于NB-IOT的教室光照自供能控制系统及方法 | 2020-05-08 | 768 |
| 一种辨别指南针精度的控制系统及其方法与终端 | 2020-05-08 | 698 |
| 模具间隙均匀度检测系统 | 2020-05-08 | 583 |
| 一种基于比色法构建光电致变色可视化传感器检测化学需氧量的方法 | 2020-05-08 | 239 |
| 具有设计为触摸屏的操作装置的改善的可操作性的家用器具 | 2020-05-11 | 849 |
| 环境光对家禽识别红色物体影响的检测系统及方法 | 2020-05-08 | 236 |
| 虚实融合系统及其方法 | 2020-05-08 | 204 |
| 一种基于计算机视觉和神经网络的大便智能分析方法 | 2020-05-08 | 676 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈