图像拾取设备、图像拾取方法和图像处理设备
阅读：362发布：2020-05-11
专利汇可以提供图像拾取设备、图像拾取方法和图像处理设备专利检索，专利查询，专利分析的服务。并且本公开涉及一种使得能够根据使用焦平面读出方式的图像拾取器件拍摄的红外图像和可见图像，生成彩色图像的图像拾取设备、图像拾取方法、程序和 图像处理 设备。按照本公开的图像拾取设备包括：图像拾取器件，所述图像拾取器件在一个 帧 时段中，生成数目对应于3个或更多个子帧时段的子帧图像；红外光照射单元，所述红外光照射单元在所述一个帧时段中，以与子帧时段相同的时间长度单位，开启/关闭相对于图像拾取范围的红外光的照射；和彩色图像生成单元，所述彩色图像生成单元根据红外图像和可见图像，按预定帧率生成彩色图像，所述红外图像以其中照射红外光的时段包含在曝光时间中的子帧图像为 基础 ，而所述可见图像以其中照射红外光的时段不包含在曝光时间中的子帧图像为基础。本公开适用于例如监控摄像头。，下面是图像拾取设备、图像拾取方法和图像处理设备专利的具体信息内容。
1.一种图像拾取设备，包括：
图像拾取器件，所述图像拾取器件把对应于预定帧率的一个帧时段分成3个或更多个子帧时段，并利用焦平面读出方式，针对各个子帧时段扫描整个画面的像素值，以在所述一个帧时段中生成数目对应于子帧时段的数目的子帧图像；
红外光照射单元，所述红外光照射单元在所述一个帧时段中，以与子帧时段相同的时间长度单位，对于图像拾取范围开启/关闭红外光的照射；以及
彩色图像生成单元，所述彩色图像生成单元基于红外图像和可见图像按预定帧率生成彩色图像，所述红外图像以其中照射红外光的时段被包含在曝光时间中的子帧图像为基础，而所述可见图像以其中照射红外光的时段不被包含在曝光时间中的子帧图像为基础。
2.按照权利要求1所述的图像拾取设备，其中
彩色图像生成单元包括
红外图像生成单元，所述红外图像生成单元根据其中照射红外光的时段被包含在曝光时间中的多个子帧图像，生成红外图像。
3.按照权利要求2所述的图像拾取设备，其中
所述红外图像生成单元根据其中照射红外光的时段被包含在曝光时间中的、其辉度等级为互补关系的多个子帧图像，生成红外图像。
4.按照权利要求2所述的图像拾取设备，其中
彩色图像生成单元还包括
可见图像生成单元，所述可见图像生成单元根据其中照射红外光的时段不被包含在曝光时间中的多个子帧图像，生成可见图像。
5.按照权利要求2所述的图像拾取设备，其中
彩色图像生成单元还包括
从红外图像中提取辉度信息的红外图像变换单元，
从可见图像中提取色差信息的可见图像变换单元，以及
把红外图像的辉度信息和可见图像的色差信息变换成彩色图像的颜色信息的彩色图像变换单元。
6.按照权利要求5所述的图像拾取设备，其中
可见图像变换单元还从可见图像中提取辉度信息，以及
彩色图像变换单元把红外图像的辉度信息和可见图像的色差信息变换成彩色图像的颜色信息，所述辉度信息和色差信息已利用可见图像的辉度信息被校正。
7.按照权利要求2所述的图像拾取设备，其中
彩色图像生成单元还包括
对红外图像进行包含时间方向处理的三维降噪处理的第一三维降噪单元，和对可见图像进行包含时间方向处理的三维降噪处理的第二三维降噪单元，以及第一三维降噪单元中的时间方向处理的反馈比和第二三维降噪单元中的时间方向处理的反馈比不同。
8.按照权利要求7所述的图像拾取设备，其中
第二三维降噪单元利用从第一三维降噪单元供给的移动被摄对象检测结果，对可见图像进行三维降噪处理。
9.按照权利要求8所述的图像拾取设备，其中
彩色图像生成单元还包括
利用从第一三维降噪单元供给的边缘检测结果对可见图像进行二维降噪处理的二维降噪单元。
10.按照权利要求2所述的图像拾取设备，其中
图像拾取器件的受光面被Bayer阵列的彩色滤光器、RGB-IR滤光器或RGB-W滤光器覆盖。
11.按照权利要求2所述的图像拾取设备，其中
所述图像拾取器件包括电子快门功能，并且要成为红外图像的基础的子帧图像的图像拾取期间的曝光时间在时间长度方面不同于要成为可见图像的基础的子帧图像的图像拾取期间的曝光时间。
12.按照权利要求2所述的图像拾取设备，其中
图像拾取器件包括放大像素信号的放大单元和电子快门功能，并且在要成为红外图像的基础的子帧图像的图像拾取时间与要成为可见图像的基础的子帧图像的图像拾取时间之间，放大单元的增益不同。
13.一种包括图像拾取器件、红外光照射单元以及彩色图像生成单元的图像拾取设备的图像拾取方法，所述方法包括以下步骤：
用所述图像拾取器件，把对应于预定帧率的一个帧时段分成3个或更多个子帧时段，并利用焦平面读出方式，针对各个子帧时段扫描整个画面的像素值，以在所述一个帧时段中生成数目对应于子帧时段的数目的子帧图像；
用所述红外光照射单元，在所述一个帧时段中以与子帧时段相同的时间长度单位，对于图像拾取范围开启/关闭红外光的照射；以及
用所述彩色图像生成单元，根据红外图像和可见图像按预定帧率生成彩色图像，所述红外图像以其中照射红外光的时段被包含在曝光时间中的子帧图像为基础，而所述可见图像以其中照射红外光的时段不被包含在曝光时间中的子帧图像为基础。
14.一种存储介质，存储有用于控制包括图像拾取器件和红外光照射单元的图像拾取设备的计算机以执行包括以下步骤的处理的程序：
用所述图像拾取器件，把对应于预定帧率的一个帧时段分成3个或更多个子帧时段，并利用焦平面读出方式，针对各个子帧时段扫描整个画面的像素值，以在所述一个帧时段中生成数目对应于子帧时段的数目的子帧图像；
用所述红外光照射单元，在所述一个帧时段中以与子帧时段相同的时间长度单位对于图像拾取范围开启/关闭红外光的照射；以及
基于红外图像和可见图像按预定帧率生成彩色图像，所述红外图像以其中照射红外光的时段被包含在曝光时间中的子帧图像为基础，而所述可见图像以其中照射红外光的时段不被包含在曝光时间中的子帧图像为基础。
15.一种从图像拾取设备接收由所述图像拾取设备拍摄的子帧图像的输入的图像处理设备，所述图像拾取设备包括图像拾取器件和红外光照射单元，所述图像拾取器件把对应于预定帧率的一个帧时段分成3个或更多个子帧时段，并利用焦平面读出方式，针对各个子帧时段扫描整个画面的像素值，以在所述一个帧时段中生成数目对应于子帧时段的数目的子帧图像，所述红外光照射单元在所述一个帧时段中以与子帧时段相同的时间长度单位，对于图像拾取范围开启/关闭红外光的照射，所述图像处理设备包括
彩色图像生成单元，所述彩色图像生成单元基于红外图像和可见图像按预定帧率生成彩色图像，所述红外图像以其中照射红外光的时段被包含在曝光时间中的子帧图像为基础，而所述可见图像以其中照射红外光的时段不被包含在曝光时间中的子帧图像为基础。
图像拾取设备、图像拾取方法和图像处理设备
技术领域
[0001] 本公开涉及图像拾取设备、图像拾取方法、程序和图像处理设备，更具体地，涉及使得能够根据通过照射红外光而拍摄的红外图像，生成彩色图像的图像拾取设备、图像拾取方法、程序和图像处理设备。
背景技术
[0002] 过去，存在包括在自然目光下或者在诸如白光之类的可见光的照明下拍摄图像的日间模式，和通过照射红外光拍摄图像的夜间模式的监控摄像头。
[0003] 在日间模式下，能够拍摄彩色图像。另一方面，在夜间模式下，接收被摄对象反射的照射红外光的反射光，从而不能获得R、B、G等颜色信息，只能获得反射光(红外光)的受光强度。于是，获得的图像成为包括灰、绿等的单色图像。
[0004] 顺便提及，当考虑监控摄像头的用途时，理想的是即使在夜间模式下，也获得彩色图像。
[0005] 在这方面，过去提出了根据通过拍摄红外光被照射到图像拾取范围 (被摄对象)上的状态而获得的图像(下面称为红外图像)，生成彩色图像的各种方法。
[0006] 例如，专利文献1公开一种根据通过照射具有不同波长的3种红外光而获得的红外图像，生成彩色图像的方法。这种方法利用在具有 780nm、870nm和940nm波长的红外光被照射到树脂上的情况下的反射率，与在照射R、G和B可见光的情况下的反射率具有正相关性的事实。利用这种方法，只要被摄对象是树脂，就能够获得颜色可再现性高的彩色图像。
[0007] 然而，在被摄对象不同于树脂的情况下，尽管要生成的彩色图像的R分量的可再现性较高，但是G分量和B分量不能以它们的本色再现，从而这种方法不适用于除树脂外的任意被摄对象。
[0008] 此外，例如，专利文献2公开一种通过在低照度的照明等等之下被摄对象几乎不可见的状态下，照射红外光，拍摄图像的方法。在这种方法中，拍摄其中混合可见光和红外光的图像，由于应用于该图像的白平衡处理的参数变更自应用于只利用白光的通常图像的值，颜色信息被再现。
[0009] 然而，在这种方法中，存在不能相互区分红外光和可见光的本质问题，从而归因于红外光的影响，再现的颜色信息的精度劣化。
[0010] 此外，例如，专利文献3和非专利文献1公开连续拍摄在照射红外光的状态下的红外图像，和在不照射红外光的低照度下的可见图像，并利用这些图像生成彩色图像的技术。
[0011] 引文列表
[0012] 专利文献
[0013] 专利文献1：日本专利申请公开No.2011-50049
[0014] 专利文献2：日本专利申请公开No.2005-130317
[0015] 专利文献3：日本专利申请公开No.2011-233983
[0016] 非专利文献
[0017] 非专利文献1：“Color image generation in low-illuminance scene using infrared flash and one camera”，Meeting on Image Recognition and Understanding(MIRU2011)P1034。发明内容
[0018] 顺便提及，作为安装在包括监控摄像头等的图像拾取设备上的图像拾取器件，通常使用CCD或CMOS图像传感器。就其结构来说，CCD 包括同时使所有像素曝光的全局快门功能。相反，存在就其结构来说，不包括全局快门功能(但是也存在包括全局快门功能的CMOS图像传感器)，而是采用其中以行为单位更换像素曝光时间的卷帘快门方式的 CMOS图像传感器。应注意，卷帘快门方式也被称为焦平面读出方式。
[0019] 在利用使用焦平面读出方式的CMOS图像传感器，如记载在专利文献3的技术中那样，连续拍摄红外图像和可见图像的情况下，归因于以行为单位的像素曝光时间的偏差，并不总是能够获得其中在整个画面(所有像素)内，红外光照射时间都相同的红外图像，从而当利用这样的红外图像时，不能生成颜色可再现性高的彩色图像。
[0020] 换句话说，为了利用使用焦平面读出方式的CMOS图像传感器，拍摄其中在整个画面内红外光照射时间都相同的红外图像，和完全不受红外光影响的可见图像，关于红外光照射定时和曝光定时，需要某种巧思。
[0021] 鉴于上述情况，产生了本公开，本公开目的在于使得能够根据利用使用焦平面读出方式的图像拾取器件拍摄的红外图像和可见图像，生成彩色图像。
[0022] 按照本公开的第一方面的图像拾取设备包括：图像拾取器件，所述图像拾取器件把对应于预定帧率的一个帧时段分成3个或更多个子帧时段，并利用焦平面读出方式，持续各个子帧时段扫描整个画面的像素值，以在所述一个帧时段中，生成数目对应于子帧时段的数目的子帧图像；红外光照射单元，所述红外光照射单元在所述一个帧时段中，以与子帧时段相同的时间长度单位，开启/关闭相对于图像拾取范围的红外光的照射；和彩色图像生成单元，所述彩色图像生成单元根据红外图像和可见图像，按预定帧率生成彩色图像，所述红外图像以其中照射红外光的时段包含在曝光时间中的子帧图像为基础，而所述可见图像以其中照射红外光的时段不包含在曝光时间中的子帧图像为基础。
[0023] 彩色图像生成单元可包括红外图像生成单元，所述红外图像生成单元从其中照射红外光的时段包含在曝光时间中的多个子帧图像，生成红外图像。
[0024] 所述红外图像生成单元可从其中照射红外光的时段包含在曝光时间中的、其辉度等级为互补关系的多个子帧图像，生成红外图像。
[0025] 彩色图像生成单元还可包括可见图像生成单元，所述可见图像生成单元从其中照射红外光的时段不包含在曝光时间中的多个子帧图像，生成可见图像。
[0026] 彩色图像生成单元还可包括从红外图像中提取辉度信息的红外图像变换单元，从可见图像中提取色差信息的可见图像变换单元，及把红外图像的辉度信息和可见图像的色差信息变换成彩色图像的颜色信息的彩色图像变换单元。
[0027] 可见图像变换单元还可从可见图像中提取辉度信息，彩色图像变换单元可把已利用可见图像的辉度信息校正的红外图像的辉度信息和可见图像的色差信息，变换成彩色图像的颜色信息。
[0028] 彩色图像生成单元还可包括对红外图像进行包含时间方向处理的 3DNR处理的第一3DNR单元，和对可见图像进行包含时间方向处理的 3DNR处理的第二3DNR单元，第一3DNR单元中的时间方向处理的反馈比和第二3DNR单元中的时间方向处理的反馈比可不同。
[0029] 第二3DNR单元可利用从第一3DNR单元供给的移动被摄对象检测结果，对可见图像进行3DNR处理。
[0030] 彩色图像生成单元还可包括利用从第一3DNR单元供给的边缘检测结果，对可见图像进行2DNR处理的2DNR单元。
[0031] 图像拾取器件的受光面可被Bayer阵列的彩色滤光器、RGB-IR滤光器或RGB-W滤光器覆盖。
[0032] 图像拾取器件可包括电子快门功能，成为红外图像的基础的子帧图像的图像拾取期间的曝光时间在时间长度方面可不同于成为可见图像的基础的子帧图像的图像拾取期间的曝光时间。
[0034] 按照本公开的第一方面的图像拾取方法是图像拾取设备的图像拾取方法，所述图像拾取设备包括图像拾取器件、红外光照射单元和彩色图像生成单元，所述方法包括以下步骤：利用所述图像拾取器件，把对应于预定帧率的一个帧时段分成3个或更多个子帧时段，并利用焦平面读出方式，持续各个子帧时段扫描整个画面的像素值，以在所述一个帧时段中，生成数目对应于子帧时段的数目的子帧图像；利用所述红外光照射单元，在所述一个帧时段中，以与子帧时段相同的时间长度单位，开启/关闭相对于图像拾取范围的红外光的照射；和利用所述彩色图像生成单元，根据红外图像和可见图像，按预定帧率生成彩色图像，所述红外图像以其中照射红外光的时段包含在曝光时间中的子帧图像为基础，而所述可见图像以其中照射红外光的时段不包含在曝光时间中的子帧图像为基础。
[0035] 按照本公开的第一方面的程序是一种控制包括图像拾取器件和红外光照射单元的图像拾取设备的计算机以执行包括以下步骤的处理的程序：利用所述图像拾取器件，把对应于预定帧率的一个帧时段分成3个或更多个子帧时段，并利用焦平面读出方式，持续各个子帧时段扫描整个画面的像素值，以在所述一个帧时段中，生成数目对应于子帧时段的数目的子帧图像；利用所述红外光照射单元，在所述一个帧时段中，以与子帧时段相同的时间长度单位，开启/关闭相对于图像拾取范围的红外光的照射；和根据红外图像和可见图像，按预定帧率生成彩色图像，所述红外图像以其中照射红外光的时段包含在曝光时间中的子帧图像为基础，而所述可见图像以其中照射红外光的时段不包含在曝光时间中的子帧图像为基础。
[0036] 在本公开的第一方面中，图像拾取器件把对应于预定帧率的一个帧时段分成3个或更多个子帧时段，并利用焦平面读出方式，持续各个子帧时段扫描整个画面的像素值，以在所述一个帧时段中，生成数目对应于子帧时段的数目的子帧图像，红外光照射单元在所述一个帧时段中，以与子帧时段相同的时间长度单位，开启/关闭相对于图像拾取范围的红外光的照射，彩色图像生成单元根据红外图像和可见图像，按预定帧率生成彩色图像，所述红外图像以其中照射红外光的时段包含在曝光时间中的子帧图像为基础，而所述可见图像以其中照射红外光的时段不包含在曝光时间中的子帧图像为基础。
[0037] 按照本公开的第二方面的图像处理设备是一种从图像拾取设备接收由所述图像拾取设备拍摄的子帧图像的输入的图像处理设备，所述图像拾取设备包括图像拾取器件，所述图像拾取器件把对应于预定帧率的一个帧时段分成3个或更多个子帧时段，并利用焦平面读出方式，持续各个子帧时段扫描整个画面的像素值，以在所述一个帧时段中，生成数目对应于子帧时段的数目的子帧图像，和红外光照射单元，所述红外光照射单元在所述一个帧时段中，以与子帧时段相同的时间长度单位，开启/ 关闭相对于图像拾取范围的红外光的照射，所述图像处理设备包括彩色图像生成单元，所述彩色图像生成单元根据红外图像和可见图像，按预定帧率生成彩色图像，所述红外图像以其中照射红外光的时段包含在曝光时间中的子帧图像为基础，而所述可见图像以其中照射红外光的时段不包含在曝光时间中的子帧图像为基础。
[0038] 在本公开的第二方面中，根据红外图像和可见图像，按预定帧率生成彩色图像，所述红外图像以其中照射红外光的时段包含在曝光时间中的子帧图像为基础，而所述可见图像以其中照射红外光的时段不包含在曝光时间中的子帧图像为基础。
[0040] 图1是表示本公开适用于的图像拾取设备的构成例子的方框图。
[0041] 图2是表示IR带通滤光器的透射特性的示图。
[0042] 图3是表示CMOS图像传感器的构成例子的方框图。
[0043] 图4是表示摄像头DSP单元的第一构成例子的方框图。
[0044] 图5是表示图像拾取定时的第一例子的示图。
[0045] 图6是表示摄像头DSP单元的构成例子的方框图。
[0046] 图7是表示移动合成单元的构成例子的方框图。
[0047] 图8均是表示在增益变换单元中使用的函数的示图。
[0048] 图9是说明彩色图像生成处理的流程图。
[0050] 图11是表示图像拾取定时的第二例子的示图。
[0051] 图12是表示摄像头DSP单元的第一构成例子的方框图。
[0052] 图13是表示图像拾取定时的第三例子的示图。
[0053] 图14是表示图像拾取定时的第四例子的示图。
[0054] 图15是表示图像拾取定时的第五例子的示图。
[0055] 图16是表示计算机的构成例子的方框图。
具体实施方式
[0056] 下面参考附图，具体说明实现本公开的最佳方式(下面称为实施例)。
[0057] <按照本公开的实施例的图像拾取设备的构成例子>
[0058] 图1表示按照本公开的一个实施例的图像拾取设备的构成例子。
[0059] 图像拾取设备10用在例如监控摄像头等中，根据通过照射红外光而获得的红外图像，和在不照射红外光的低照度下获得的可见图像，生成彩色图像。
[0060] 图像拾取设备10由构成与普通摄像头相似的图像拾取系统、进行图像处理的图像处理系统以及向图像拾取范围照射红外光的投射系统构成。
[0061] 图像拾取设备10的图像拾取系统由镜头11、IR带通滤光器12和利用焦平面读出方式(卷帘快门方式)的CMOS图像传感器(下面简写成 CMOS)13构成。在图像拾取系统中，镜头11把被摄对象的光学图像收集在CMOS 13中，布置在镜头11和CMOS 13之间的IR带通滤光器
12从被摄对象的光学图像中提取可见光分量和红外光分量，CMOS 13 根据入射光，生成图像信号，并把所述信号输出给图像处理系统。
12从被摄对象的光学图像中提取可见光分量和红外光分量，CMOS 13 根据入射光，生成图像信号，并把所述信号输出给图像处理系统。
[0062] 图2表示IR带通滤光器12的透射特性。IR带通滤光器12对于波长400nm-650nm的可见光，和峰值在850nm波长的红外光(利用投射系统照射的红外光)，具有高透射率。
[0063] 图3表示CMOS 13的构成例子。CMOS 13包括传感器阵列21、信号线22、模拟增益放大器23、ADC 24和数据缓冲器25。传感器阵列21 由纵横排列的为每个像素分别设置的光电变换器件构成，其受光面侧被Bayer阵列等的彩色滤光器21a覆盖。
[0064] 图4表示CMOS 13的传感器阵列21中的各个像素时间的曝光，和通过曝光获得的电荷信号的读出定时。如图中所示，在CMOS 13中，使曝光时段沿扫描方向，以行为单位从第一扫描行(第一行)移动到最后的扫描行(最后一行)，并在曝光时段结束的定时，对于每一行一起读出在曝光时段内获得的电荷信号。
[0065] 读出的电荷信号经信号线22被输出给模拟增益放大器23，从而被放大，由ADC 24变换成数字像素信号，并被保存在数据缓冲器25中。应注意模拟增益放大器23的增益是可按照照明，适应性地设定的。随后，构成传感器阵列21的所有像素的像素信号作为图像信号，被输出给随后的图像处理系统。应注意此阶段的图像信号是其中各个像素包括R、G 和B任意之一的颜色信息的RAW数据。
[0066] 返回参见图1，图像拾取设备10的图像处理系统由摄像头DSP单元 14及存储器15和16构成。在图像处理系统中，摄像头DSP单元14根据来自图像拾取系统的图像信号，生成其像素包括R、G和B的颜色信息的彩色图像。存储器15和16临时保存待用于NR(降噪)处理的图像信号。另外，摄像头DSP单元14生成并输出用于控制图像拾取系统的 CMOS 13的驱动(曝光和读出)的V同步信号。摄像头DSP单元14还生成和输出用于控制投射系统的驱动器信号(开/关信号和强度调整信号)。
[0067] 图像拾取设备10的投射系统由IR驱动单元17和IR照射单元18构成。在投射系统中，IR驱动单元17在摄像头DSP单元14的控制下，使 IR照射单元18照射红外光。IR照射单元18向图像拾取范围，照射峰值在波长850nm的红外光。应注意IR照射单元18可被设置在图像拾取设备10的外壳之内，或者可被设置在图像拾取设备10的外壳之外。
[0068] <利用CMOS 13的图像拾取定时的第一例子>
[0069] 下面，图5表示利用CMOS 13的图像拾取定时的第一例子。
[0070] 在CMOS 13中，最终输出的彩色图像的帧率(例如，30fps)的一个帧时段(在30fps的情况下，1/30秒)被分成4份，以致在子帧时段(在30fps 的情况下，1/120秒)是CMOS 13的1画面扫描时段的情况下，在一个帧时段内，从CMOS 13输出4个子帧图像。
[0071] 当在一个帧时段内，拍摄4个子帧图像之时，在连续的2个子帧时段内，红外光的照射被开启，在另外的两个子帧时段内，红外光的照射被关闭。应注意尽管在图5的情况下，在一个帧时段的第一和第二子帧时段(t0-t2)中，红外光的照射被开启，不过，例如，红外光的照射可在第二和第三子帧时段(t1-t3)中，或者第三和第四子帧时段(t2-t4)中被开启。
[0072] 下面，在第一子帧时段结束之时获得的子帧图像将被称为子帧图像 SF1。类似地，在第二、第三和第四子帧时段结束之时获得的子帧图像将分别被称为子帧图像SF2、SF3和SF4。
[0073] 在图5中所示的第一例子中的子帧图像SF1中，在扫描的先头(第一行)附近的各行变暗，因为在曝光时段内红外光的照射被开启的时间较短，随后随着扫描的进行，逐渐变得更明亮，因为红外光的照射被开启的时间变长。
[0074] 由于在子帧图像SF2中，在所有行的整个曝光时段内，红外光的照射都被开启，因此子帧图像SF2成为在整个画面内都同样明亮的图像。另外，由于曝光时间较短，因此获得其中运动被摄对象的运动模糊受到抑制的图像。此外，尽管在利用焦平面读出方式的CMOS传感器中，存在高速移动的运动被摄对象的纵向偏差(归因于每一行的曝光时段的偏差) 的问题，不过，也具有在子帧图像SF2(红外图像)中，未导致纵向偏差的优点，因为对于所有行来说，红外光照射时段相同。
[0075] 在子帧图像SF3中，明-暗变化变成与子帧图像SF1的相反，获得由于红外光的照射被开启的时间变短因此随着扫描的进行逐渐变暗的图像。子帧图像SF4成为仅仅基于可见光，结果整个画面变暗的图像，因为在所有行的整个曝光时段内，红外光的照射被关闭。下面，子帧图像 SF2也被称为红外图像，而子帧图像SF4也被称为可见图像。
[0076] 在每个帧时段被输入4个子帧图像SF1-SF4的摄像头DSP单元14 中，利用所述4个子帧图像之中的无明暗梯度的子帧图像SF2(红外图像) 和子帧图像SF4(可见图像)，生成彩色图像。
[0077] <摄像头DSP单元14的第一构成例子>
[0078] 下面，图6表示与图5中所示的图像拾取定时的第一例子对应的摄像头DSP单元14的第一构成例子。摄像头DSP单元14包括定时控制单元31和AE控制单元32，并由红外图像处理系统、可见图像处理系统和彩色图像生成系统构成。
[0079] 定时控制单元31生成用于控制CMOS 13的驱动的V同步信号，和用于控制IR驱动单元17的开/关信号。AE控制单元32生成用于控制 CMOS 13中的模拟增益放大器23的增益调整信号，和用于控制IR驱动单元17的强度信号。
[0080] 在每个帧时段从CMOS 13输入的4个子帧图像之中，摄像头DSP 单元14的红外图像处理系统把红外图像(子帧图像SF2)作为处理对象，所述红外图像处理系统由3DNR单元33、去马赛克单元34和2DNR单元35构成。
[0081] 3DNR单元33进行通过结合2DNR处理和时间方向处理而获得的 3DNR处理，所述2DNR处理是通过对从CMOS 13输入的红外图像(子帧图像SF2)的像素和周边像素进行滤波处理，二维地消除噪声的处理，所述时间方向处理是对从CMOS 13输入的红外图像和已经过
3DNR处理，并保存在帧存储器16中的过去(一个帧时段以前)的红外图像进行加权平均的处理。应注意时间方向处理中的对于当前红外图像的加权值被称为反馈比，这里的反馈比被设定成比后面说明的3DNR单元36的反馈比大。例如，3DNR单元36的反馈比被设定为1/8，
3DNR单元33的反馈比被设定为1/2等。
3DNR处理，并保存在帧存储器16中的过去(一个帧时段以前)的红外图像进行加权平均的处理。应注意时间方向处理中的对于当前红外图像的加权值被称为反馈比，这里的反馈比被设定成比后面说明的3DNR单元36的反馈比大。例如，3DNR单元36的反馈比被设定为1/8，
3DNR单元33的反馈比被设定为1/2等。
[0082] 此外，在3DNR处理中的时间方向处理中，随着当前图像的反馈比变小，降噪效果变高，但是由于过去的图像的分量易于残留，因此在运动被摄对象的边缘处导致残像。在这点上，为了避免这种状况，3DNR 单元33采取借助子帧间差分检测运动被摄对象，并对于图像的运动被摄对象部分升高当前图像的反馈比以抑制残像的生成的措施。这里，检测到的运动被摄对象检测结果被通知给3DNR单元36，边缘检测结果被通知给2DNR单元39。
[0083] 经历3DNR单元33的3DNR处理的红外图像被输出给去马赛克单元 34，并重写地记录在帧存储器16中。
[0084] 去马赛克单元34从经历3DNR处理的红外图像(RAW数据)中，提取像素的辉度信息Yir，并将其输出给2DNR单元35和辉度合成单元41。具体地，RAW数据的像素值原样成为辉度信息Yir，或者通过相加附近的R、G和B像素的像素值而获得的值成为辉度信息Yir。
[0085] 2DNR单元35通过对红外图像的辉度信息Yir进行2D降噪处理，提取低频分量，并把通过所述处理获得的辉度信息Yir_NR输出给辉度合成单元41。
[0086] 在每个帧时段从CMOS 13输入的4个子帧图像之中，摄像头DSP 单元14的可见图像处理系统把可见图像(子帧图像SF4)作为处理对象，所述可见图像处理系统由3DNR单元36、去马赛克单元37、白平衡(WB) 单元38、2DNR单元39和YCC变换单元40构成。
[0087] 3DNR单元36进行通过结合2DNR处理和时间方向处理而获得的 3DNR处理，所述2DNR处理是通过对从CMOS 13输入的可见图像(子帧图像SF4)的像素和周边像素进行滤波处理，二维地消除噪声的处理，所述时间方向处理是对从CMOS 13输入的可见图像和已经过
3DNR处理并保存在帧存储器15中的过去(一个帧时段以前)的可见图像进行加权平均的处理。应注意输入给3DNR单元36的可见图像是具有许多噪声的低辉度图像。于是，即使当从用于时间方向处理的可见图像中检测到运动被摄对象时，也不能相互区分运动和噪声，从而不能适当地检测运动被摄对象。在这点上，3DNR单元36利用从3DNR单元33供给的从红外图像检测的运动被摄对象检测结果，进行时间方向处理。此外，3DNR 单元36的反馈比被设定成比3DNR单元33的反馈比(例如，1/2)小的1/8 等。因而，能够在3DNR单元36中抑制运动被摄对象的残像的同时，充分降低噪声。
3DNR处理并保存在帧存储器15中的过去(一个帧时段以前)的可见图像进行加权平均的处理。应注意输入给3DNR单元36的可见图像是具有许多噪声的低辉度图像。于是，即使当从用于时间方向处理的可见图像中检测到运动被摄对象时，也不能相互区分运动和噪声，从而不能适当地检测运动被摄对象。在这点上，3DNR单元36利用从3DNR单元33供给的从红外图像检测的运动被摄对象检测结果，进行时间方向处理。此外，3DNR 单元36的反馈比被设定成比3DNR单元33的反馈比(例如，1/2)小的1/8 等。因而，能够在3DNR单元36中抑制运动被摄对象的残像的同时，充分降低噪声。
[0088] 去马赛克单元37把经过3DNR处理的图像信号(RAW数据)变换成其中各个像素分别包括R、G、B颜色信息的RGB数据，并把所述数据输出给WB单元38。WB单元38对图像信号(RAW数据)进行白平衡处理，然后把它们输出给2DNR单元39。
[0089] 例如，2DNR单元39利用诸如ε滤波器之类的宽带滤波器，进行2D 降噪处理(2DNR处理)，然后把结果输出给YCC变换单元40。应注意，在进行2DNR处理之时，通过检测被摄对象的边缘，并且只对边缘的内侧应用宽带滤波器，能够避免引入在边缘的外侧的不同颜色信息。然而，由于提供给2DNR单元39的可见图像是具有许多噪声的低辉度图像，因此不能适当地检测边缘。在这点上，2DNR单元39利用从3DNR单元33 供给的从红外图像检测的边缘检测结果，进行2DNR处理。因而，在2DNR 单元39中，能够利用宽带滤波器进行2D降噪处理，而不混合边缘附近的颜色。
[0090] YCC变换单元40将经过2DNR处理的可见图像(RGB数据)变换成其中各个像素包括辉度信息Y和色差信息Cb和Cr(YCC数据)的可见图像，并把辉度信息Y(下面称为Yc)输出给辉度合成单元41，把色差信息 Cb和Cr输出给RGB变换单元43。
[0091] 摄像头DSP单元14的彩色图像生成系统把红外图像处理系统和可见图像处理系统的输出作为处理对象，所述彩色图像生成系统由辉度合成单元41、γ校正单元42和RGB变换单元43构成。
[0092] 辉度合成单元41根据从红外图像处理系统输入的红外图像的辉度信息Yir和辉度信息Yir_NR，和从可见图像处理系统输入的可见图像的辉度信息Yc，合成将在后一级中生成的彩色图像的辉度信号。
[0093] 应注意在红外图像的辉度信息Yir未经过辉度合成单元41，从而原样用作彩色图像的辉度信号的情况下，归因于辉度信息的差异，其红外光的反射率和可见光的反射率相差较大的被摄对象的颜色可再现性被恶化。例如，就具有高红外反射率(低可见光反射率)的黑衣服来说，如果 Yir被原样用作辉度信息，那么在输出图像中，黑衣服变成白衣服。通过设置辉度合成单元41，能够避免出现这种问题。
[0094] 图7表示辉度合成单元41的具体构成例子。辉度合成单元41由除法单元51、增益变换单元52和乘法单元53构成。除法单元51计算可见图像的低频范围中的辉度信息Yc与红外图像的低频范围中的辉度信息 Yir_NR的比率Yratio＝Yc/Yir_NR，并把获得的比率Yratio输出给增益变换单元52。增益变换单元52按照预定函数(或者保存的变换表)，把比率Yratio变换成Ygain，并将其输出给乘法单元53。
[0095] 这里，将说明在增益变换单元52中使用的函数。在辉度合成单元41 中，利用Yc信号调制Yir的处理基本上是通过把原始红外图像的辉度信息Yir乘以所述比率Yratio进行的。不过，利用简单的乘法，整个画面往往会变暗，并且利用Yc的调制度不能被调整。在这点上，在增益变换单元52中，利用非线性函数曲线，把比率Yratio变换成Ygain。
[0096] 图8中的A表示类似于γ曲线的指数函数，作为在增益变换单元52 中使用的非线性函数的例子。这种情况下，通过选择指数值α，可以调整调制度。例如，通过增大α的值，Ygain总体上逼近于1，调制度变低。相反，通过降低α的值，Ygain进一步远离1，调制度变高。
[0097] 应注意在如图8中的A中所示的指数函数曲线中，在Yratio的值较小的区域中，倾斜变得陡峭，Ygain会因Yratio的微小差异而极大变动，从而导致噪声放大。在这点上，为了避免这种问题，如图8中的B中所示，在Yratio较小的区域中，Ygain被修剪(设定最小值)。应注意增益变换单元52可保存预先创建的变换表，而不是使用这样的函数。
[0098] 返回参见图7，乘法单元53把红外图像的辉度信息Yir乘以Ygain，以计算辉度信息Ysym，并将其输出给随后的γ校正单元42。
[0099] 返回参见图6，γ校正单元42对从辉度合成单元41输入的辉度信息 Ysym进行γ校正处理，然后把经过γ校正处理的辉度信息Ysym输出给 RGB变换单元43。
[0100] RGB变换单元43根据来自YCC变换单元40的色差信息Cb和Cr，以及从γ校正单元42输入的经过γ校正处理的辉度信息Ysym，生成每一个帧时段的其中各个像素分别包括R、G、B颜色信息的一个彩色图像，并将其输出给下一级。
[0101] <关于摄像头DSP单元14的彩色图像生成处理>
[0102] 下面，图9是说明由摄像头DSP单元14进行的彩色图像生成处理的流程图。
[0103] 彩色图像生成处理是每个帧时段进行的，并且预先假定在一个帧时段内，4个子帧图像SF1-SF4从CMOS 13被输入摄像头DSP单元14。
[0104] 在步骤S1，在一个帧时段内，从CMOS 13输入的4个子帧图像被分配给红外图像处理系统、可见图像处理系统或其他(丢弃)。具体地，子帧图像SF2被分配给红外图像处理系统，以致进行步骤S2-S4的处理。此外，子帧图像SF4被分配给可见图像处理系统，以致进行步骤S5-S9 的处理。子帧图像SF1和SF3被丢弃。
[0105] 在步骤S2，在红外图像处理系统中，3DNR单元33对从CMOS 13 输入的红外图像(子帧图像SF2)进行3DNR处理，然后把经过3DNR处理的红外图像输出给去马赛克单元34，并重写地记录在帧存储器16中。
[0106] 在步骤S3，去马赛克单元34从经过3DNR处理的红外图像(RAW 数据)中，提取各个像素的辉度信息Yir，并将其输出给2DNR单元35和辉度合成单元41。在步骤S4，2DNR单元35对红外图像的辉度信息Yir 进行2D降噪处理，以提取其低频分量，然后把通过所述处理获得的辉度信息Yir_NR输出给辉度合成单元41。
[0107] 在步骤S5，在可见图像处理系统中，3DNR单元36对从CMOS 13 输入的可见图像(子帧图像SF4)，进行3DNR处理，然后把经过3DNR 处理的可见图像输出给去马赛克单元37，并重写地记录在帧存储器15 中。
[0108] 在步骤S6，去马赛克单元37把经过3DNR处理的图像信号(RAW 数据)变换成RGB数据，然后将其输出给WB单元38。在步骤S7，WB 单元38对图像信号(RAW数据)进行白平衡处理，然后把它们输出给 2DNR单元39。
[0109] 在步骤S8，2DNR单元39对经过白平衡处理的可见图像(RGB数据)，进行2DNR处理，然后把结果输出给YCC变换单元40。在步骤S9，YCC 变换单元40把经过2DNR处理的可见图像(RGB数据)变换成可见图像 (YCC数据)，把辉度信息Yc输出给辉度合成单元41，并把色差信息Cb 和Cr输出给RGB变换单元43。
[0110] 在步骤S10，在已从红外图像处理系统和可见图像处理系统获得处理结果的彩色图像生成系统中，辉度合成单元41根据从红外图像处理系统输入的红外图像的辉度信息Yir和辉度信息Yir_NR，以及从可见图像处理系统输入的可见图像的辉度信息Yc，计算将在下一级中生成的彩色图像的辉度信息Ysym，并将其输出给γ校正单元42。在步骤S11，γ校正单元42对从辉度合成单元41输入的辉度信息Ysym进行γ校正处理，然后把经过γ校正处理的辉度信息Ysym输出给RGB变换单元43。
[0111] 在步骤S12，RGB变换单元43根据来自YCC变换单元40的色差信息Cb和Cr，以及从γ校正单元42输入的经过γ校正处理的辉度信息 Ysym，生成每一个帧时段的其中各个像素分别包括R、G、B颜色信息的一个彩色图像，并将其输出给下一级。至此，说明了彩色图像生成处理。
[0112] 借助至此说明的彩色图像生成处理，能够根据从利用焦平面读出方式的CMOS 13输出的红外图像和可见图像，生成颜色可再现性的精度高的彩色图像。
[0113] <变形例>
[0114] 下面，说明图像拾取设备10的变形例。图10均表示覆盖CMOS 13 的受光面的彩色滤光器21a的变形例。在上面的说明中，彩色滤光器21a 由Bayer阵列的R、G和B的各色滤光器构成，不过代替彩色滤光器21a，也可采用图10中的A中所示的由R、G和B的各色滤光器，以及透射红外光的IR滤光器构成的RGB-IR滤光器61。当采用RGB-IR滤光器 61时，只需要使用从IR像素获得的值作为红外图像的像素值，使用通过IR信号减法处理(从R、G和B像素的像素值中，减去IR像素的像素值的处理)获得的值作为可见图像的像素值。
[0115] 或者，可以采用图10中的B中所示的由R、G和B的各色滤光器，以及其中不设置滤光器以便透射全可见光波段的部分构成的RGB-W滤光器62。在采用RGB-W滤光器62的情况下，利用计算处理从R、G、 B和W像素计算的值可以用作红外图像和可见图像的像素值。
[0116] 此外，通过采用RGB-IR滤光器61或RGB-W滤光器62，能够相互分离不是照射自IR照射单元18而是存在于环境中的红外光和可见光，这种分离利用Bayer阵列的彩色滤光器是不可能的。
[0117] <利用CMOS 13的图像拾取定时的第二例子>
[0118] 下面，图11表示利用CMOS 13的图像拾取定时的第二例子。
[0119] 类似于图5中所示的第一例子，图像拾取定时的第二例子使得在一个帧时段内，能够从CMOS 13输出4个子帧图像。应注意，红外光照射定时与第一例子不同。
[0120] 具体地，在第二例子中，在一个帧时段中的4个子帧时段之中，在各个帧时段内，在一个公共子帧时段中，红外光的照射被开启，而在其他3个子帧时段中，红外光的照射被关闭。应注意尽管在图11的情况下，在一个帧时段中的第一子帧时段(t0-t1)中，开启红外光的照射，不过，可在其他子帧时段中，开启红外光的照射。
[0121] 在图11中所示的第二例子中的子帧图像SF1中，在扫描的先头(第一行)附近的各行变暗，因为在曝光时段内红外光的照射被开启的时间较短，随后随着扫描的进行，逐渐变得更明亮，因为红外光的照射被开启的时间变长。在子帧图像SF2中，明-暗变化变得与子帧图像SF1的相反，并获得由于红外光的照射被开启的时间变短，因此随着扫描的进行，逐渐变暗的图像。子帧图像SF3和SF4成为仅仅基于可见光并且整个画面变暗的图像，因为在所有行的整个曝光时段内，红外光的照射被关闭。
[0122] 应注意当考察子帧图像SF1和子帧图像SF2的曝光时间中的红外光的照射被开启的时间时，可以说子帧图像SF1和子帧图像SF2的辉度等级为互补关系。于是，当两者被相加时，在所有各行内，能够获得与在曝光时段的整个时段(一个子帧时段)内照射红外光的状态对应的图像。因而，通过相加(或平均)子帧图像SF1和子帧图像SF2的对应像素，生成红外图像。
[0123] 类似地，当考察子帧图像SF3和子帧图像SF4中的相对于红外光的照射被关闭的状态的曝光时间时，在通过相加这两者而获得的两个子帧时段的曝光时段中，能够获得与只利用可见光拍摄图像的状态对应的图像。因而，通过相加(或平均)子帧图像SF3和子帧图像SF4的对应像素，生成可见图像。
[0124] <摄像头DSP单元14的第二构成例子>
[0125] 下面，图12表示与图11中所示的图像拾取定时的第二例子对应的摄像头DSP单元14的第二构成例子。
[0126] 通过在图6中所示的第一构成例子的红外图像处理系统之前，增加加法单元71和帧存储器72，并在可见图像处理系统之前，增加加法单元 73和帧存储器74，获得所述第二构成例子。
[0127] 红外图像处理系统的加法单元71通过将首先输入并保存在帧存储器 72中的子帧图像SF1与子帧图像SF2相加(或平均)，生成红外图像，并将其输出给3DNR单元33。可见图像处理系统的加法单元73通过将首先输入并保存在帧存储器74中的子帧图像SF3与子帧图像SF4相加(或平均)，生成可见图像，并将其输出给3DNR单元36。
[0128] 应注意由于3DNR单元33和3DNR单元36的后续阶段的构成和操作与图6中所示的第一构成例子的相似，因此其说明将被省略。
[0129] 按照摄像头DSP单元14的第二构成例子，能够根据从利用焦平面读出方式的CMOS 13输出的子帧图像SF1-SF4，生成红外图像和可见图像，并根据这些图像，生成颜色可再现性的精度高的彩色图像。
[0130] 这里，当关于输入可见图像处理系统的可见图像，比较第一例子和第二例子时，尽管在第一例子中，曝光时间是一个子帧时段，不过在第二例子中，曝光时间是两个子帧时段。由于在本实施例中，预先假定可见图像是在低照度下拍摄的，因此即使当曝光时间变长时，也不会使像素值饱和，随着曝光时间变得更长，被摄对象的颜色信息变得更精确。于是，在第二构成例子中，能够获得其中与第一构成例子中相比，更精确地再现颜色信息的彩色图像。
[0131] 应注意，在第二构成例子中，子帧图像SF3或SF4可作为可见图像，被输出给3DNR单元36，而不使用可见图像处理系统的加法单元73和帧存储器74。这种情况下，由于可见图像的曝光时间为一个子帧时段，因此能够最终获得其中以与第一构成例子相同水平的精度，再现颜色信息的彩色图像。
[0132] <利用CMOS 13的图像拾取定时的第三例子>
[0133] 下面，图13表示利用CMOS 13的图像拾取定时的第三例子。
[0134] 在第三例子中，在CMOS 13中，最终输出的彩色图像的帧率(例如， 30fps)的一个帧时段(在30fps的情况下，1/30秒)被分成3份，以致在子帧时段(在30fps的情况下，1/90秒)是CMOS 13的1画面扫描时段的情况下，在所述一个帧时段内，从CMOS 13输出3个子帧图像。
[0135] 当在一个帧时段内，拍摄3个子帧之时，在一个帧时段中的3个子帧时段之中的各个帧时段内的一个公共子帧时段期间，红外光的照射被开启，在另外的两个子帧时段期间，红外光的照射被关闭。应注意尽管在图13的情况下，在一个帧时段中的第一子帧时段(t0-t1)中，红外光的照射被开启，不过，例如，红外光的照射可在第二或第三子帧时段中被开启。
[0136] 在图13中所示的第三例子中的子帧图像SF1中，在扫描的先头(第一行)附近的各行变暗，因为曝光时段内，红外光的照射被开启的时间较短，随后随着扫描的进行，逐渐变得更明亮，因为红外光的照射被开启的时间变长。在子帧图像SF2中，明-暗变化变成与子帧图像SF1的相反，并获得由于红外光的照射被开启的时间变短，因此随着扫描的进行逐渐变暗的图像。子帧图像SF3成为仅仅基于可见光并且整个画面变暗的图像，因为在所有行的整个曝光时段内，红外光的照射被关闭。
[0137] 在考察子帧图像SF1和子帧图像SF2的曝光时间中的红外光的照射被开启的时间时，当两者被相加时，在所有各行上，能够获得与在曝光时段的整个时段(一个子帧时段)内照射红外光的状态对应的图像。因而，通过相加(或平均)子帧图像SF1和子帧图像SF2的对应像素，生成红外图像。剩余的子帧图像SF3被原样用作可见图像。
[0138] 关于与图像拾取定时的第三例子对应的摄像头DSP单元14的构成例子，可以应用上面说明的第二构成例子。应注意，在可见图像处理系统之前设置的加法单元73和帧存储器74可被省略。
[0139] 另外在这种情况下，摄像头DSP单元14可根据从利用焦平面读出方式的CMOS 13输出的子帧图像SF1-SF3，生成颜色可再现性的精度高的彩色图像。
[0140] 这里，当关于输入可见图像处理系统的可见图像，比较第一例子和第三例子时，尽管在第一例子中，作为曝光时间的一个子帧时段是1/4 帧时段，不过在第三例子中，曝光时间是1/3帧时段。这里，如果在第一例子和第三例子中，帧率是相同的，那么第三例子中的可见图像的曝光时间变为大于第一例子的可见图像的曝光时间。由于在本实施例中，预先假定可见图像是在低照度下拍摄的，因此即使当曝光时间变长时，也不会使像素值饱和，随着曝光时间变得更长，被摄对象的颜色信息变得更精确。于是，在这种情况下，能够获得其中与第一例子中相比，更精确地再现颜色信息的彩色图像。
[0141] 此外，如果在第一例子和第三例子中，子帧时段的时间是相同的，那么与在第一例子中相比，在第三例子中，能够以更高的帧率输出彩色图像。例如，在公共子帧时段为1/120秒的情况下，在第一例子中，彩色图像的帧率变成30fps，而在第三例子中，所述帧率变成40fps。
[0142] <利用CMOS 13的图像拾取定时的第四例子>
[0143] 在上面说明的图像拾取定时的第一到第三例子中，使CMOS 13的电子快门保持打开(曝光时段和1画面扫描时段匹配)，不过，电子快门可被打开/关闭。
[0144] 图14表示自适应打开/关闭CMOS 13的电子快门的图像拾取定时的第四例子。例如，在低照度下拍摄可见图像的情况下，可使电子快门保持打开，以增加灵敏度，而在拍摄红外图像的情况下，可按照画面的明亮度，利用电子快门把曝光时间调整成小于1画面操作时段。
[0145] 类似于图像拾取定时的第二例子，在图像拾取定时的第四例子中，根据每个帧时段获得的4个子帧图像SF1-SF4，可利用摄像头DSP单元 14的第二构成例子，生成彩色图像。
[0146] <利用CMOS 13的图像拾取定时的第五例子>
[0147] 在上面说明的图像拾取定时的第一到第四例子中，红外光的照射的开/关定时与子帧时段的断点匹配，不过它们并不总是需要匹配。
[0148] 图15表示在红外光的照射的开/关定时不与子帧时段的断点匹配的情况下的图像拾取定时的第五例子。
[0149] 在第五例子中，在由一个帧时段中的4个子帧时段构成的一个帧时段内的任意定时处，红外光的照射被开启仅对应于一个子帧时段的时间，并且红外光的照射被关闭对应于其他3个子帧时段的时间。应注意在图15的情况下，持续与从一个帧时段中的第一子帧时段(t0-t1)的中间到第二子帧时段(t1-t2)的中间的一个子帧时段对应的时间，开启红外光的照射，不过，也可持续与在其他定时处的一个子帧时段对应的时间，开启红外光的照射。
[0150] 在图15中所示的第五例子中，子帧图像SF1成为逐渐变得明亮的图像，因为从扫描的先头(第一行)到中间附近的一行，红外光的照射被关闭，从所述中间附近的一行开始，红外光的照射被开启的时间变长。
[0151] 由于从扫描的先头(第一行)到中间附近的一行，红外光的照射被开启的时间变长，从所述中间附近的一行到最后的扫描行(最后一行)，红外光的照射被开启的时间变短，因此子帧图像SF2成为从扫描的先头到中间附近的一行，逐渐变得明亮，在中间附近变得最明亮，随后随着扫描的进行，从中间附近开始逐渐变暗的图像。
[0152] 由于在所有各行的整个曝光时段内，红外光的照射都被关闭，因此子帧图像SF4成为仅仅基于可见光的图像，结果整个画面变暗。
[0153] 在摄像头DSP单元14中，通过相加(或平均)子帧图像SF1的下半部、整个子帧图像SF2以及子帧图像SF3的下半部，合成供红外图像处理系统中的处理之用的红外图像。
[0154] 此外，在摄像头DSP单元14中，通过相加(或平均)子帧图像SF3、子帧图像SF4以及子帧图像SF5(下一个帧时段的子帧图像SF1)，合成供可见图像处理系统中的处理之用的可见图像。
[0155] 应注意类似于红外图像的合成，通过相加(或平均)子帧图像SF3的下半部、子帧图像SF4以及子帧图像SF5的上半部，可进行可见图像的合成。然而，由于子帧图像SF3和子帧图像SF5中，包含红外光分量，因此这些图像不能原样用于可见图像的合成。作为对策，只需要在CMOS 13中采用图10中所示的RGB-IR滤光器61或RGB-W滤光器62。这种情况下，通过进行IR信号减法处理(从RGB信号中减去IR信号的处理)，可提取可见光分量。于是，利用IR信号减法处理，从子帧图像SF3和子帧图像SF5提取可见光分量，从而用于可见图像的合成。
[0156] 由于在第五例子的情况下，可见图像由3个子帧图像构成，因此其曝光时间实质上为3个子帧时段，从而变成约为第二或第三例子中的可见图像的曝光时间的1.5倍。由于在本实施例中，预先假定可见图像是在低照度下拍摄的，因此即使当曝光时间变长时，也不会使像素值饱和，随着曝光时间变得更长，被摄对象的颜色信息变得更精确。于是，在第五例子中，能够获得其中与第二或第三例子中相比，更精确地再现颜色信息的彩色图像。
[0157] 通常，如果相对于图像中的可见光分量，红外光分量较大，那么在IR信号减法处理中，减法精度被降低，从而在可见光分量中导致许多噪声。然而，由于如第五例子中一样，子帧图像SF3的上部和子帧图像SF5 的下部中的红外光分量对应于接近红外光的照射的打开或关闭的定时，因此红外光分量比子帧图像SF2的红外光分量弱。因而，即使利用上面说明的IR信号减法处理，也能够精确地提取可见光分量。
[0158] 此外，在子帧图像SF3的上部和子帧图像SF5的下部中，与在图像的上端和下端相比，在图像的中央部分处的红外光分量的强度变弱。于是，能够增强在图像中最重要的中央部分处的可见光分量的质量。
[0159] <结论>
[0160] 在至此说明的实施例中，只从可见图像中，提取用于生成彩色图像的颜色信息。不过，也可从红外图像中，提取颜色分量，并利用所述颜色分量生成彩色图像。具体地，可在CMOS 13中，采用图10中的A中所示的RGB-IR滤光器61，以致通过对红外图像进行IR信号减法处理，能够只提取可见光的颜色信息。通过利用从红外光提取的所述颜色信息和从可见图像提取的颜色信息的组合来生成彩色图像，能够获得颜色可再现性高的彩色图像。
[0161] 此外，尽管在上面的实施例中，一个帧时段被分成3个或4个子帧时段，不过，也可把一个帧时段分成5个或更多个子帧时段，从获得的子帧图像合成红外图像和可见图像，并根据这些图像，生成彩色图像。
[0162] 顺便提及，上述一系列处理可用软件或硬件执行。在用软件执行所述一系列处理的情况下，构成所述软件的程序被安装到计算机中。这里，所述计算机包括结合在专用硬件中的计算机、通过安装各种程序，能够执行各种功能的计算机，比如通用个人计算机，等等。
[0163] 图16是表示利用程序，执行上述一系列处理的计算机的硬件构成例子的方框图。
[0166] 输入单元206由键盘、鼠标、麦克风等构成。输出单元207由显示器、扬声器等构成。存储单元208由硬盘、非易失性存储器等构成。通信单元209由网络接口等构成。驱动器210驱动可拆卸介质211，比如磁盘、光盘、磁光盘和半导体存储器。
[0167] 在如上所述构成的计算机200中，CPU 201经输入/输出接口205和总线204，把保存在存储单元208中的程序载入RAM 203中，并执行所述程序，以进行例如上述一系列处理。
[0168] 计算机200(CPU 201)执行的程序可以是通过记录在例如作为套装介质的可拆卸介质211上提供的。所述程序也可以是通过有线或无线传输介质(比如局域网、因特网和数字卫星广播)提供的。
[0170] 本公开的实施例不限于上述实施例，可被不同地更改，而不脱离本公开的要旨。
[0171] 另外，本公开也可采用以下构成。
[0172] (1)一种图像拾取设备，包括：
[0173] 图像拾取器件，所述图像拾取器件把对应于预定帧率的一个帧时段分成3个或更多个子帧时段，并利用焦平面读出方式，持续各个子帧时段扫描整个画面的像素值，以在所述一个帧时段中，生成数目对应于子帧时段的数目的子帧图像；
[0174] 红外光照射单元，所述红外光照射单元在所述一个帧时段中，以与子帧时段相同的时间长度单位，开启/关闭相对于图像拾取范围的红外光的照射；和
[0175] 彩色图像生成单元，所述彩色图像生成单元根据红外图像和可见图像，按预定帧率生成彩色图像，所述红外图像以其中照射红外光的时段包含在曝光时间中的子帧图像为基础，而所述可见图像以其中照射红外光的时段不包含在曝光时间中的子帧图像为基础。
[0176] (2)按照(1)所述的图像拾取设备，其中
[0177] 彩色图像生成单元包括
[0178] 红外图像生成单元，所述红外图像生成单元从其中照射红外光的时段包含在曝光时间中的多个子帧图像，生成红外图像。
[0179] (3)按照(2)所述的图像拾取设备，其中
[0180] 所述红外图像生成单元从其中照射红外光的时段包含在曝光时间中的、其辉度等级为互补关系的多个子帧图像，生成红外图像。
[0181] (4)按照(1)-(3)任意之一所述的图像拾取设备，其中
[0182] 彩色图像生成单元还包括
[0183] 可见图像生成单元，所述可见图像生成单元从其中照射红外光的时段不包含在曝光时间中的多个子帧图像，生成可见图像。
[0184] (5)按照(1)-(4)任意之一所述的图像拾取设备，其中
[0185] 彩色图像生成单元还包括
[0186] 从红外图像中提取辉度信息的红外图像变换单元，
[0187] 从可见图像中提取色差信息的可见图像变换单元，和
[0188] 把红外图像的辉度信息和可见图像的色差信息变换成彩色图像的颜色信息的彩色图像变换单元。
[0189] (6)按照(5)所述的图像拾取设备，其中
[0190] 可见图像变换单元还从可见图像中提取辉度信息，
[0191] 彩色图像变换单元把已利用可见图像的辉度信息校正的红外图像的辉度信息和可见图像的色差信息，变换成彩色图像的颜色信息。
[0192] (7)按照(1)-(6)任意之一所述的图像拾取设备，其中
[0193] 彩色图像生成单元还包括
[0194] 对红外图像进行包含时间方向处理的3DNR处理的第一3DNR 单元，和[0195] 对可见图像进行包含时间方向处理的3DNR处理的第二3DNR 单元，以及[0196] 第一3DNR单元中的时间方向处理的反馈比和第二3DNR单元中的时间方向处理的反馈比不同。
[0197] (8)按照(7)所述的图像拾取设备，其中
[0198] 第二3DNR单元利用从第一3DNR单元供给的移动被摄对象检测结果，对可见图像进行3DNR处理。
[0199] (9)按照(7)或(8)所述的图像拾取设备，其中
[0200] 彩色图像生成单元还包括
[0201] 利用从第一3DNR单元供给的边缘检测结果，对可见图像进行 2DNR处理的2DNR单元。
[0202] (10)按照(1)-(9)任意之一所述的图像拾取设备，其中
[0203] 图像拾取器件的受光面被Bayer阵列的彩色滤光器、RGB-IR滤光器或RGB-W滤光器覆盖。
[0204] (11)按照(1)-(10)任意之一所述的图像拾取设备，其中
[0205] 图像拾取器件包括电子快门功能，成为红外图像的基础的子帧图像的图像拾取期间的曝光时间在时间长度方面不同于成为可见图像的基础的子帧图像的图像拾取期间的曝光时间。
[0206] (12)按照(1)-(11)任意之一所述的图像拾取设备，其中
[0207] 图像拾取器件包括放大像素信号的放大单元，和电子快门功能，在成为红外图像的基础的子帧图像的图像拾取时间和成为可见图像的基础的子帧图像的图像拾取时间之间，放大单元的增益不同。
[0208] (13)一种包括图像拾取器件、红外光照射单元和彩色图像生成单元的图像拾取设备的图像拾取方法，所述方法包括以下步骤：
[0209] 利用所述图像拾取器件，把对应于预定帧率的一个帧时段分成3个或更多个子帧时段，并利用焦平面读出方式，持续各个子帧时段扫描整个画面的像素值，以在所述一个帧时段中，生成数目对应于子帧时段的数目的子帧图像；
[0210] 利用所述红外光照射单元，在所述一个帧时段中，以与子帧时段相同的时间长度单位，开启/关闭相对于图像拾取范围的红外光的照射；和
[0211] 利用所述彩色图像生成单元，根据红外图像和可见图像，按预定帧率生成彩色图像，所述红外图像以其中照射红外光的时段包含在曝光时间中的子帧图像为基础，而所述可见图像以其中照射红外光的时段不包含在曝光时间中的子帧图像为基础。
[0212] (14)一种控制包括图像拾取器件和红外光照射单元的图像拾取设备的计算机以执行包括以下步骤的处理的程序：
[0213] 利用所述图像拾取器件，把对应于预定帧率的一个帧时段分成3个或更多个子帧时段，并利用焦平面读出方式，持续各个子帧时段扫描整个画面的像素值，以在所述一个帧时段中，生成数目对应于子帧时段的数目的子帧图像；
[0214] 利用所述红外光照射单元，在所述一个帧时段中，以与子帧时段相同的时间长度单位，开启/关闭相对于图像拾取范围的红外光的照射；和
[0215] 根据红外图像和可见图像，按预定帧率生成彩色图像，所述红外图像以其中照射红外光的时段包含在曝光时间中的子帧图像为基础，而所述可见图像以其中照射红外光的时段不包含在曝光时间中的子帧图像为基础。
[0216] (15)一种从图像拾取设备接收由所述图像拾取设备拍摄的子帧图像的输入的图像处理设备，所述图像拾取设备包括图像拾取器件，所述图像拾取器件把对应于预定帧率的一个帧时段分成3个或更多个子帧时段，并利用焦平面读出方式，持续各个子帧时段扫描整个画面的像素值，以在所述一个帧时段中，生成数目对应于子帧时段的数目的子帧图像，和红外光照射单元，所述红外光照射单元在所述一个帧时段中，以与子帧时段相同的时间长度单位，开启/关闭相对于图像拾取范围的红外光的照射，所述图像处理设备包括[0217] 彩色图像生成单元，所述彩色图像生成单元根据红外图像和可见图像，按预定帧率生成彩色图像，所述红外图像以其中照射红外光的时段包含在曝光时间中的子帧图像为基础，而所述可见图像以其中照射红外光的时段不包含在曝光时间中的子帧图像为基础。
[0218] 附图标记列表
[0219] 10 图像拾取设备
[0220] 14 摄像头DSP单元
[0221] 18 IR照射单元
[0222] 21a 彩色滤光器
[0223] 33 3DNR单元
[0224] 34 去马赛克单元
[0225] 35 2DNR单元
[0226] 36 3DNR单元
[0227] 37 去马赛克单元
[0228] 38 WB单元
[0229] 39 2DNR单元
[0230] 40 YCC变换单元
[0231] 41 辉度合成单元
[0232] 42 γ校正单元
[0233] 43 RGB变换单元
[0234] 61 RGB-IR滤光器
[0235] 62 RGB-W滤光器
[0236] 71 加法单元
[0237] 72 帧存储器
[0238] 73 加法单元
[0239] 74 帧存储器
[0240] 200 计算机
[0241] 201 CPU
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 阵列基板及显示面板 | 2020-05-11 | 636 |
| 显示装置 | 2020-05-12 | 835 |
| 液晶显示面板及液晶显示装置 | 2020-05-12 | 129 |
| 校正不均匀暗电流的图像传感器 | 2020-05-12 | 201 |
| 一种阵列基板制备方法、阵列基板及液晶显示面板 | 2020-05-08 | 989 |
| 一种彩膜基板和显示面板 | 2020-05-12 | 619 |
| 一种彩色显示模块的结构 | 2020-05-08 | 208 |
| 一种彩色电子墨水显示屏的上层结构 | 2020-05-08 | 783 |
| 受光元件以及测距模块 | 2020-05-11 | 130 |
| 一种高解析彩色电子墨水显示屏结构 | 2020-05-12 | 914 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈