成像装置、闪烁校正方法和程序
阅读：816发布：2020-05-12
专利汇可以提供成像装置、闪烁校正方法和程序专利检索，专利查询，专利分析的服务。并且控制部45分别通过成像部21设定用于获得成像图片的成像 像素 和用于检测照射光强度的光强度检测像素的曝光定时和曝光时间。校正增益计算部32基于由成像像素生成的像素 信号 和由光强度检测像素生成的像素信号计算各成像像素的闪烁校正增益。闪烁校正部33使用由校正增益计算部32计算的各成像像素的闪烁校正增益来执行成像像素的闪烁校正。因此，不论照明设备和成像对象之间 位置 关系怎样，都可以获得发射光的强度 波动 对其影响降低的成像图片。，下面是成像装置、闪烁校正方法和程序专利的具体信息内容。
1.一种成像装置，其包含：
校正增益计算部，其配置为基于用于获取成像图片的成像像素的像素信号和用于检测照射光的强度的光强度检测像素的像素信号来计算闪烁校正增益；和
控制部，其配置为分别针对所述成像像素和所述光强度检测像素设定曝光定时和曝光时间。
2.根据权利要求1所述的成像装置，其中
所述控制部将针对所述成像像素的所述曝光时间设定为根据快门速度的周期并且将针对所述光强度检测像素的所述曝光时间设定为所述照射光的强度变化的循环周期，以及将针对所述成像像素和所述光强度检测像素的所述曝光定时设定为与曝光开始、曝光结束和所述曝光时间的中点中的任一个相同的定时。
3.根据权利要求1所述的成像装置，其中
所述控制部基于所述成像图片的帧周期和所述照射光的强度变化的周期设置所述光强度检测像素的一个或多个像素组，以针对所述成像图片的每一帧通过所述光强度检测像素的所述像素组的任一个获得在所述曝光时间期间的像素信号，所述曝光时间是所述照射光的所述强度变化的循环周期。
4.根据权利要求3所述的成像装置，其中
所述控制部随着所述照射光的所述强度变化的周期中包括的所述成像图片的帧周期的数目增加而设置所述光强度检测像素的增加数目的像素组，并且
所述校正增益计算部基于像素群的所述光强度检测像素的所述像素信号计算闪烁校正增益，所述曝光时间期间的所述像素信号从该像素群获得，所述曝光时间是所述照射光的所述强度变化的循环周期。
5.根据权利要求1所述的成像装置，进一步包含：
闪烁检测部，其配置为针对闪烁检测第一像素和闪烁检测第二像素的每一帧基于所述像素信号的信号电平变化来检测所述照商业射光的强度变化的周期，所述闪烁检测第一像素的曝光时间是第一商业电源频率的周期，所述闪烁检测第二像素的曝光时间是第二商业电源频率的周期。
6.根据权利要求5所述的成像装置，其中
所述控制部在计算所述闪烁校正增益之前将所述光强度检测像素或者所述光强度检测像素和所述成像像素设定为所述闪烁检测第一像素和所述闪烁检测第二像素，并且控制所述闪烁检测部执行闪烁检测，然后在所述闪烁检测之后将由所述闪烁检测部检测的周期设定为针对所述光强度检测像素的曝光时间。
7.根据权利要求1所述的成像装置，其中
所述控制部将由多个彩色分量像素构成的像素块确定为所述成像像素和所述光强度检测像素的像素单位，以及
所述校正增益计算部基于由构成所述成像像素和所述光强度检测像素的所述像素块的所述彩色分量像素的像素信号计算的亮度值来计算所述闪烁校正增益。
8.根据权利要求1所述的成像装置，其中
所述校正增益计算部利用所述光强度检测像素的所述像素信号执行内插处理，以生成各自具有与所述成像像素相同的空间相位的光强度检测像素的像素信号，并且基于所述成像像素的像素信号和各自具有与所述成像像素相同的所述空间相位的所述光强度检测像素的像素信号来计算针对所述成像像素的每一个的闪烁校正增益。
9.根据权利要求8所述的成像装置，其中
所述校正增益计算部根据闪烁校正对象的成像像素基于在水平方向和垂直方向上的多个成像像素和光强度检测像素的像素信号来计算所述闪烁校正对象的成像像素的闪烁校正增益。
10.根据权利要求1所述的成像装置，其中
所述成像像素和所述光强度检测像素彼此相邻设置。
11.根据权利要求10所述的成像装置，其中
所述成像像素和所述光强度检测像素在垂直方向上彼此相邻设置。
12.根据权利要求1所述的成像装置，其中
所述光强度检测像素稀疏地布置，并且
所述校正增益计算部利用所述光强度检测像素的所述像素信号执行内插处理来计算各自具有与所述成像像素相同的空间相位的光强度检测像素的像素信号。
13.根据权利要求1所述的成像装置，进一步包含：
闪烁校正部，其配置为利用由所述校正增益计算部计算的所述闪烁校正增益执行所述成像像素的闪烁校正。
14.一种闪烁校正方法，其包含以下步骤：
分别针对用于获取成像图片的成像像素和用于检测照射光的强度的光强度检测像素设定曝光定时和曝光时间；
基于由所述成像像素生成的像素信号和由所述光强度检测像素生成的像素信号计算闪烁校正增益；和
利用所计算的闪烁校正增益执行所述成像像素的闪烁校正。
15.一种程序，其使计算机执行成像图片的闪烁校正，所述程序用于使该计算机执行：
分别针对用于获取所述成像图片的成像像素和用于检测照射光的强度的光强度检测像素设定曝光定时和曝光时间的过程；
基于由所述成像像素生成的成像像素信号和由所述光强度检测像素生成的照射光像素信号计算闪烁校正增益的过程；和
利用所计算的闪烁校正增益执行所述成像像素的闪烁校正的过程。
成像装置、闪烁校正方法和程序
技术领域
[0001] 本技术涉及成像装置、闪烁校正方法和程序，并且可以获得成像图片，即使使用照射光强度周期性地波动的照明设备，不论照明器械和成像对象的位置关系是怎样的，照射光强度的波动对于该成像图片的影响都被降低。
背景技术
[0002] 传统地，当利用照射光的强度周期性波动的照明设备执行成像时，执行照射光强度的波动影响的降低。例如，在PTL1中，设置用于对成像对象成像的第一光电二极管和用于检测照射光强度的波动的第二光电二极管，并且基于利用第二光电二极管检测到的照射光强度变化型式来校正利用第一光电二极管获得的成像信号。
[0003] 引用目录
[0005] [PTL1]日本专利特开号2011-097204发明内容
[0006] 技术问题
[0007] 顺便说一下，基于利用第二光电二极管检测的照射光的强度变化型式进行的成像信号的校正是根据照射光的强度的时间变化进行的校正。因此，例如，由照明设备和成像对象的位置关系的差异引起的各成像对象的闪烁度的差异不能被校正。
[0008] 所以，本技术的目的是提供成像装置、闪烁校正方法和程序，通过它们，即使在照射光强度周期性波动的情况下，可以获得无论照明设备和成像对象之间的位置关系是怎样都降低了照射光强度的波动对其影响的成像图片。
[0009] 问题的方案
[0010] 本技术的第一方面在于提供一种成像装置，其包括：
[0012] 控制部，其配置为分别地针对所述成像像素和所述光强度检测像素设定曝光定时和曝光时间。
[0013] 在本技术中，用于获得成像图片的成像像素和用于检测照射光的强度的光强度检测像素例如在垂直方向上彼此相邻设置。控制部分别地针对所述成像像素和所述光强度检测像素设定曝光定时和曝光时间。例如，所述控制部将针对所述成像像素的所述曝光时间设定为根据快门速度的周期并且将针对所述光强度检测像素的所述曝光时间设定为所述照射光的强度变化的循环周期，以及进一步将针对所述成像像素和所述光强度检测像素的所述曝光定时设定为与曝光开始、曝光结束和所述曝光时间的中点中的任一个相同的定时。进一步地，所述控制部基于所述成像图片的帧周期和所述照射光的强度变化的周期设置所述光强度检测像素的一个或多个像素组，以针对所述成像图片的每一帧通过所述光强度检测像素的所述像素组的任一个获得在所述曝光时间期间的像素信号，所述曝光时间是所述照射光的所述强度变化的循环周期。所述校正增益计算部基于成像像素的像素信号和光强度检测像素的像素信号计算针对闪烁校正对象的成像像素的闪烁校正增益。所述校正增益计算部基于闪烁校正对象的成像像素在水平方向和垂直方向上多个像素范围内利用所述光强度检测像素的所述像素信号执行内插处理，以生成各自具有与成像像素相同的空间相位的光强度检测像素的像素信号，从而基于成像像素的像素信号和各自具有与该成像像素相同的空间相位的光强度检测像素的像素信号针对各成像像素计算闪烁校正增益。闪烁校正部利用由所述校正增益计算部计算的所述闪烁校正增益执行所述闪烁校正对象的成像像素的闪烁校正。
[0014] 更进一步地，设置闪烁检测部来针对闪烁检测第一像素和闪烁检测第二像素的每一帧基于所述像素信号的信号电平变化来检测照射光的强度变化的周期，所述闪烁检测第一像素的曝光时间是第一商业电源频率的周期，所述闪烁检测第二像素的曝光时间是第二商业电源频率的周期。在设置闪烁检测部的情况下，在计算所述闪烁校正增益之前，所述控制部将所述光强度检测像素或者所述光强度检测像素和所述成像像素设定为所述闪烁检测第一像素和所述闪烁检测第二像素，并且控制所述闪烁检测部执行闪烁检测，然后在所述闪烁检测之后将由所述闪烁检测部检测的周期设定为针对所述光强度检测像素的曝光时间。
[0015] 进一步地，所述控制部将由多个彩色分量像素构成的像素块确定为成像像素和光强度检测像素的像素单位，并且所述校正增益计算部基于从配置成像像素和光强度检测像素的像素块的彩色分量像素的像素信号计算的亮度值计算闪烁校正增益。
[0016] 进一步地，所述光强度检测像素稀疏地布置，并且所述校正增益计算部利用所述光强度检测像素的所述像素信号执行内插处理，以计算各自具有与所述成像像素相同的空间相位的光强度检测像素的像素信号，并且基于所述成像像素的像素信号和各自具有与所述成像像素相同的空间相位的所述光强度检测像素的像素信号来计算闪烁校正对象的成像像素的闪烁校正增益。
[0017] 本技术的第二方面在于提供一种闪烁校正方法，其包括：
[0018] 分别针对用于获取成像图片的成像像素和用于检测照射光的强度的光强度检测像素设定曝光定时和曝光时间；
[0019] 基于由所述成像像素生成的像素信号和由所述光强度检测像素生成的像素信号计算闪烁校正增益；和
[0020] 利用所计算的闪烁校正增益执行所述成像像素的闪烁校正。
[0021] 本技术的第三方面在于提供一种程序，其使计算机执行成像图片的闪烁校正，所述程序用于使该计算机执行：
[0022] 分别针对用于获取所述成像图片的成像像素和用于检测照射光的强度的光强度检测像素设定曝光定时和曝光时间的过程；
[0023] 基于由所述成像像素生成的成像像素信号和由所述光强度检测像素生成的照射光像素信号计算闪烁校正增益的过程；和
[0024] 利用所计算的闪烁校正增益执行所述成像像素的闪烁校正的过程。
[0025] 应当注意，本技术的程序是能够由存储介质或通讯信介质提供的程序，该存储介质或通信介质以例如计算机可读形式将程序提供给通用计算机，该通用计算机可以通过例如存储介质如光盘、磁盘或半导体存储器或通信介质如网络来执行各种程序代码。通过以计算机可读形式提供如上所述的程序，在计算机上实现根据该程序的处理。
[0026] 本发明的有利效果
[0027] 根据本技术，分别设定用于获得成像图片的成像像素和用于检测照射光强度的光强度检测像素的曝光定时和曝光时间。进一步地，基于由成像像素生成的像素信号和由光强度检测像素生成的像素信号针对每个成像像素计算闪烁校正增益。因此，可以获取无论照明设备和成像对象之间的位置关系怎样照射光的强度波动对其影响都降低的成像图片。应当注意，本说明书中描述的效果是示例性的而不是限制性的，并且附加效果可能是适用的。
附图说明
附图说明
[0028] [图1]图1示出第一实施方式中的成像装置的配置的视图。
[0029] [图2]图2是示出第一操作的视图。
[0030] [图3]图3是示出根据闪烁校正对象的成像像素的预定像素范围的视图。
[0031] [图4]图4是描述第一操作的流程图。
[0032] [图5]图5是示出成像对象、照明设备和成像装置的布置的视图。
[0033] [图6]图6是示出闪烁校正操作的视图。
[0034] [图7]图7是示出第二操作的视图。
[0035] [图8]图8是示出根据闪烁校正对象的成像像素的预定像素范围的视图。
[0036] [图9]图9是示出第三操作的视图。
[0037] [图10]图10是示出根据闪烁校正对象的成像像素的预定像素范围的视图。
[0038] [图11]图11是示出第四操作的视图。
[0039] [图12]图12是描述第五操作的流程图。
[0040] [图13]图13是示出像素布置的视图。
[0041] [图14]图14示出第二实施方式中的成像装置的配置的视图。
[0042] [图15]图15是示出在成像图片的帧频低于闪烁频率的情况下成像像素和光强度检测像素的布置的视图。
[0043] [图16]图16是示出在成像图片的帧频高于闪烁频率但是低于闪烁频率两倍的情况下成像像素和光强度检测像素的布置的视图。
[0044] [图17]图17是示出在成像图片的帧频高于闪烁频率但是低于闪烁频率两倍的情况下成像像素和光强度检测像素的不同布置的视图。
[0045] [图18]图18是示出第二实施方式的闪烁校正增益的计算操作的视图。
[0046] [图19]图19是示出第二实施方式的闪烁校正增益的不同计算操作的视图。
[0047] [图20]图20示出第二实施方式中的成像装置的示例性操作的流程图。
[0048] [图21]图21是示出在自动检测闪烁频率的情况下成像装置的配置的视图。
[0049] [图22]图22是示出闪烁检测第一像素和闪烁检测第二像素的视图。
[0050] [图23]图23示出第三实施方式中的操作的流程图。
[0051] [图24]图24是示出第四实施方式的操作的示例的视图。
[0052] [图25]图25是示出根据闪烁校正对象的成像像素的预定像素范围的视图。
[0053] [图26]图26是作为第四实施方式的操作的另一示例的彩色成像图片的情况的视图。
[0054] [图27]图27是作为第四实施方式的操作的再一示例的彩色成像图片的情况的视图。
[0055] [图28]图28是示出在四种光强度检测像素稀疏布置的情况下闪烁校正增益的计算操作的视图。
[0056] [图29]图29是描述车辆控制系统的示意性配置的示例的方框图。
[0057] [图30]图30是帮助解释车外信息检测部和成像部的安装位置的示例的示图。
具体实施方式
[0058] 以下，将描述本技术的实施方式。应当注意，按照以下顺序进行描述。
[0059] 1.第一实施方式
[0060] 1-1.成像装置的配置
[0061] 1-2.成像装置的第一操作
[0062] 1-3.成像装置的第二操作
[0063] 1-4.成像装置的第三操作
[0064] 1-5.成像装置的第四操作
[0065] 1-6.成像装置的第五操作
[0066] 2.第二实施方式
[0067] 2-1.成像装置的配置
[0068] 2-2.成像装置的操作
[0069] 3.第三实施方式
[0070] 4.第四实施方式
[0071] 5.应用示例
[0072] 6.对移动体的应用示例
[0073] <1.第一实施方式>
[0074] <1-1.成像装置的配置>
[0075] 图1示出根据本技术的第一实施方式的成像装置的配置。成像装置10包括成像部21、图像信号处理部30、用户界面(I/F)部41和控制部45。成像装置10可能包括记录部51、信号输出部52、显示部53等等作为外围部50。
[0076] 成像部21包括其成像平面内的成像像素和光强度检测像素。成像像素是用于获得成像图片的像素并且根据曝光时间内曝光光量生成像素信号，其中曝光时间是根据快门速度的周期。光强度检测像素是用于检测照射光强度的像素，并且根据曝光时间内曝光光量生成像素信号，其中曝光时间是闪烁循环周期。成像部21将由成像像素和光强度像素生成的像素信号输出至图像信号处理部30。应当注意，在水平方向或垂直方向上交替地设置成像像素和光强度检测像素，以下将描述其具体内容。
[0077] 图像信号处理部30包括校正增益计算部32和闪烁校正部33。校正增益计算部32基于由成像部21的成像像素和光强度检测像素生成的像素信号计算闪烁校正增益。特别地，校正增益计算部32根据闪烁校正对象的成像像素使用预定像素范围内的成像像素的像素信号和光强度检测像素的像素信号来生成具有与成像像素相同的空间相位的光强度检测像素的像素信号。进一步地，校正增益计算部32基于成像像素的像素信号和具有与成像像素相同的空间相位的光强度检测像素的像素信号计算闪烁校正增益。校正增益计算部32将计算的闪烁校正增益输出至闪烁校正部33。
[0078] 闪烁校正部33利用由校正增益计算部计算出的闪烁校正增益对闪烁校正对象的成像像素的像素信号执行增益调节，以生成已经执行了闪烁校正的图像信号。闪烁校正部33将闪烁校正之后的图像信号输出至记录部51、信号输出部52、显示部53等等。
[0079] 用户界面部41利用操作开关、操作按钮等等来配置。用户界面部41根据用户操作生成操作信号并输出至控制部45。进一步地，商业电源频率是50或60Hz，并且照射光强度跟随电压波动而变化的荧光灯照明的闪烁率通常是电源频率的双倍速率。具体地，当商业电源频率是50Hz时的闪烁频率为100Hz，并且商业电源频率是60Hz时的闪烁频率是120Hz。用户界面部41允许闪烁频率(或照明设备使用的商业电源的电源频率)或闪烁周期的用户指定操作。
[0080] 控制部45利用其中内设有例如存储控制程序的ROM、暂时储存数据的闪速存储器等等的存储部的微型计算机来配置。控制部45执行控制程序以基于来自用户界面部41的操作信号来控制元件的操作，使得由用户要求的操作通过成像装置10来执行。进一步地，控制部45控制成像部21和图像信号处理部30以及外围部50的操作，使得可以生成图像信号，对于该图像信号已经运行了与由用户操作指定的闪烁频率相对应的闪烁校正。进一步地，控制部45将成像部21的像素设定为成像像素或光强度检测像素。此外，控制部45针对成像像素和光强度检测像素分别地设定曝光定时和曝光时间。
[0081] 记录部51将由图像信号处理部30生成的闪烁校正之后的图像信号记录在记录介质上。进一步地，记录部51读取记录在记录介质上的图像信号并将图像信号输出至显示部53。进一步地，记录部51可以在闪烁校正之后执行图像信号的编码处理以生成编码信号并将编码信号记录在记录介质上，并且可以将通过对从记录介质读取的编码信号进行译码处理而获得的图像信号输出至显示部53。
[0082] 信号输出部52将由图像信号处理部30生成的闪烁校正之后的图像信号作为预定格式的图像输出至外部装置。进一步地，信号输出部52可以对闪烁校正之后的图像信号执行编码处理并将编码信号输出至外部装置。
[0084] <1-2.成像装置的第一操作>
[0085] 现在，描述成像装置的第一操作。图2是示出第一操作的视图。在第一操作中，成像部21允许以像素的单位设定曝光时间周期。在成像部21的成像平面内，如图2(a)中所描述的水平方向上，以一个像素的单位交替地设置成像像素和光强度检测像素。
[0086] 图2(b)描述了照射光的强度变化。图2(c)描述了行Lm上成像像素的曝光时间，图2(d)描述了行Lm上光强度检测像素的曝光时间。同时，图2(e)描述了行Lm+1上成像像素的曝光时间，图2(f)描述了行Lm+1上光强度检测像素的曝光时间。应当注意，在成像部21使用XY地址法用于读取指定每个像素地址的单个像素信号的情况下，对于每行依次移位曝光定时。
[0087] 如图2(a)所示，控制部45将成像部21的像素设定为成像像素和光强度检测像素。进一步地，控制部45控制成像部21操作将成像像素的曝光时间设定为根据快门速度的周期以及将光强度检测像素的曝光时间设定为由用户指定的闪烁频率的一个循环周期。在图2所示的情况下，快门速度＝1/120秒，闪烁频率＝100Hz(1/100秒)。进一步地，将成像图片的帧频设定为低于闪烁频率，例如设定为66.7Hz，将成像像素和光强度检测像素设定为使得例如它们的曝光开始定时在每个帧中彼此一致。
[0088] 图像信号处理部30利用由通过成像部21执行的、图2中示出的成像操作生成的像素信号来执行闪烁校正。图3示出了根据闪烁校正对象的成像像素的预定像素范围。像素范围可以预先设定为固定范围或可以配置为使得可变为任意范围。应当注意，在图3中，行Lm上第n个像素P(m,n)的成像像素是闪烁校正对象，将像素P(m,n-3)到P(m,n+3)设定为预定像素范围AWT。进一步地，作为成像像素的像素P(m,n-2)、P(m,n)和P(m,n+2)的像素值分别是r(m,n-2)、r(m,n)和r(m,n+2)。进一步地，作为光强度检测像素的像素P(m,n-3)、P(m,n-1)、P(m,n+1)和P(m,n+3)的像素值分别是a(m,n-3)、a(m,n-1)、a(m,n+1)和a(m,n+3)。
[0089] 图像信号处理部30的校正增益计算部32按照表达式(1)计算闪烁校正增益HG。
[0090] HG＝(光强度检测像素组的像素值WTa/成像像素组的像素值WTr)...(1)[0091] 对于成像像素组的像素值WTr，例如，使用如表达式(2)所示的预定像素范围内的成像像素的平均像素值。
[0092] WTr＝(r(m,n-2)+r(m,n)+r(m,n+2))/3...(2)
[0093] 对于光强度检测像素组的像素值WTa，利用光强度检测像素组的像素值来执行线性内插，并且计算具有与预定像素范围内的成像像素组相同的空间相位的光强度检测像素组的像素值，并使用计算的像素值的平均值作为像素值WTa。校正增益计算部32按照表达式(3)到(5)计算具有与成像像素组相同的空间相位的光强度检测像素的像素值，即，像素P(m,n-2)、P(m,n)和P(m,n+2)的像素值a(m,n-2)、a(m,n)和a(m,n+2)。进一步地，校正增益计算部32执行由表达式(6)表示的算术运算，以计算具有与成像像素组相同的空间相位的光强度检测像素组的像素值WTa。
[0094] a(m,n-2)＝0.5×a(m,n-3)+0.5×a(m,n-1)...(3)
[0095] a(m,n)＝0.5×a(m,n-1)+0.5×a(m,n+1)...(4)
[0096] a(m,n+2)＝0.5×a(m,n+1)+0.5×a(m,n+3)...(5)
[0097] WTa＝(a(m,n-2)+a(m,n)+a(m,n+2))/3...(6)
[0098] 校正增益计算部32将计算的闪烁校正增益(即由表达式(7)表示的闪烁校正增益HG(m,n))输出至闪烁校正部33。
[0099] HG(m,n)＝(WTa/WTr)
[0100] ＝(0.5×a(m,n-3)+a(m,n-1)+a(m,n+1)+0.5×a(m,n+3))/(r(m,n-2)+r(m,n)+r(m,n+2))...(7)
[0101] 闪烁校正部33利用由校正增益计算部32计算的闪烁校正增益HG(m,n)对作为闪烁校正对象的像素P(m,n)的成像像素的像素信号执行增益调节。特别地，闪烁校正部33执行表达式(8)的算术运算以计算闪烁校正对象的成像像素的校正之后的像素值rc(m,n)。
[0102] rc(m,n)＝HG(m,n)×r(m,n)...(8)
[0103] 图像信号处理部30通过对每个成像像素执行如上所述的处理来生成闪烁对其影响降低的图像信号。
[0104] 图4是描述成像装置的第一操作的流程图。在步骤ST1，成像装置设定曝光时间和帧频。成像装置10的控制部45将成像像素的曝光时间设定为与设定快门速度对应的周期。进一步地，控制部45将光强度检测像素的曝光时间设定为闪烁循环周期。此外，控制部45响应于由用户等等设定的帧速来设定成像图片的帧频FV，然后处理前进到步骤ST2。
[0105] 在步骤ST2，成像装置布置成像像素和光强度检测像素。成像装置10的控制部45在成像部21的成像平面内如上所述设置这种成像像素和光强度检测像素，并执行将成像像素和光强度检测像素的曝光时间设定为步骤ST1中设定的曝光时间的驱动控制，然后处理前进到步骤ST3。
[0106] 在步骤ST3，成像装置计算闪烁校正对象的成像像素的闪烁校正增益。成像装置10的校正增益计算部32根据闪烁校正对象的成像像素利用成像像素的像素信号和预定像素范围内光强度检测像素的像素信号以如上所述的这种方式计算闪烁校正增益，并且处理前进到步骤ST4。
[0107] 在步骤ST4，成像装置执行闪烁校正对象的成像像素的闪烁校正。成像装置10的闪烁校正部33利用步骤ST3中计算的闪烁校正增益来执行闪烁校正对象的成像像素的增益调节，以生成对其进行闪烁影响得到校正的像素信号，然后处理前进到步骤ST5。
[0108] 在步骤ST5中，成像装置确定屏幕图像中成像像素的闪烁校正是否完成。在成像装置10的图像信号处理部30没有完成屏幕图像中成像像素的闪烁校正的情况下，处理前进到步骤ST6，但是在完成了屏幕图像中成像像素的闪烁校正的情况下，处理前进到步骤ST7。
[0109] 在步骤ST6，成像装置更新闪烁校正对象的成像像素。成像装置10的图像信号处理部30设定对其未执行成像像素的闪烁校正的成像像素作为新闪烁校正对象的成像像素，然后处理回到步骤ST3。
[0110] 在步骤ST7中，成像装置确定成像图片是否结束。在成像装置10的控制部45确定要执行闪烁校正的成像图片未结束的情况下，处理前进到步骤ST8，但是在要执行闪烁校正的成像图片结束的情况下，例如，在执行了成像的结束操作的情况下，闪烁校正操作结束。
[0111] 在步骤ST8中，成像装置将闪烁校正对象的成像像素设定为新成像图片。成像装置10的图像信号处理部30将闪烁校正对象的成像像素设定为新帧的成像图片，并且处理回到步骤ST3。
[0112] 用这样的方式，成像装置的控制部设置成像屏幕图像中的成像像素和光强度检测像素，并将根据快门速度的周期设定为成像像素的曝光时间，并且将闪烁循环周期设定为光强度检测像素的曝光时间。进一步地，校正增益计算部根据闪烁校正对象的成像像素和具有与闪烁校正对象的成像像素相同的曝光开始定时的光强度检测像素利用在预定像素范围内的成像像素来计算闪烁校正增益。进一步地，闪烁校正部用所计算的闪烁校正增益执行闪烁校正对象的成像像素的增益调节。因此，无论照明设备和成像对象之前的位置关系如何，都可以获得照射光强度的波动对其影响降低的成像图片。
[0113] 图5示出了成像对象、照明设备和成像装置的布置，并且例如利用未显示照射光强度变化的照明设备LTs和显示照射光强度变化的另一照明设备LTf来照射成像对象OBa和OBb。成像装置10对由照明设备LTs和LTf照射的成像对象OBa和OBb进行成像。
[0114] 图6是示出闪烁校正操作的视图。图6(a)示出照明设备LTs的照射光强度ILTs、照明设备LTf的照射光强度ILTf、成像对象OBa的照度ILoba和成像对象OBb的照度ILobb。图6(b)表示曝光时间TF1期间的成像图片GF1，图6(c)表示曝光时间TF2期间的成像图片GF2。曝光时间TF1和曝光时间TF2在周期长度上彼此相等，但是彼此相对于照明设备LTf的照射光强度ILTf2的变化的相位不同。这里，在图6(c)中描述的情况下，在曝光时间TF2期间，照明设备LTf的照射光强度ILTf变得低于曝光时间TF1期间的强度。所以，图6(c)中描述的成像图片GF2中的成像对象OBa和OBb的图像比图6(b)中描述的成像图片GF1中的成像对象OBa和OBb的图像更暗。
[0115] 这里，如果执行如现有技术那样根据利用光电二极管检测到的照明设备的照射光强度变化型式进行的图像信号校正，然后用例如闪烁校正增益HGpa执行闪烁校正，那么可以将闪烁校正之后成像图片GFpa中成像对象OBa的亮度校正为如图6(d)中描述的成像图片GF1中的成像对象OBa的亮度。然而，由于成像对象OBb的亮度变化小于成像对象OBa的亮度变化，如果用闪烁校正增益HGpa执行闪烁校正，那么成像图片GFpa中成像对象OBb变得比成像图片GF1中成像对象OBb更亮。
[0116] 进一步地，例如，如果用闪烁校正增益HGpb执行闪烁校正，那么可以将闪烁校正后的成像图片GFpb中成像对象OBb的亮度校正为如图6(e)中描述的成像图片GF1中成像对象OBb的亮度。然而，由于成像对象OBb的亮度变化小于成像对象OBa的亮度变化，如果用闪烁校正增益HGpb执行闪烁校正，那么将使成像图片GFpb中成像对象OBa置于其比成像图片GF1中成像对象OBa更暗的状态下。
[0117] 在本申请的技术的成像装置中，针对闪烁校正对象的各成像像素计算闪烁校正增益，并且如上所述闪烁校正部用计算的闪烁校正增益执行闪烁校正对象的成像像素的增益调节。因此，在曝光时间是照明设备LTf的照射光强度ILTf2的变化中的任一定时，可以将闪烁校正之后的成像图片GFq中的成像对象OBa和OBb的图像亮度变为如图6(f)中所示不受照射光强度波动影响的亮度。换言之，无论照明设备和成像对象之间位置关系如何，都可以获得照射光强度波动对其影响降低的成像图片。
[0118] <1-3.成像装置的第二操作>
[0119] 顺便提及，在如上所述的第一操作中，如果成像图片的帧频是高于闪烁频率的频率，那么在光强度检测像素的闪烁循环周期期间的曝光完成之前开始下一帧成像图像的曝光。所以，由于不能针对成像图片的每一帧生成光强度检测像素的像素信号，所以不可以计算各成像图片的闪烁校正增益。如此，在成像装置的第二操作的描述中，描述了即使在成像图片的帧频高于闪烁频率的情况也可以通过其执行闪烁校正的操作。
[0120] 图7是第二操作的视图。在第二操作中，在成像部21中，可以以像素单位设定曝光时间。进一步地，在成像部21的成像平面内，如图7(a)中所示在水平方向上交替地设置成像像素和两种光强度检测像素。应当注意，该两种光强度检测像素是第一光强度检测像素和第二光强度检测像素。
[0121] 图7(b)描述了照射光的强度变化。进一步地，图7(c)显示了行Lm上成像像素的曝光时间；图7(d)显示了行Lm上第一光强度检测像素的曝光时间；图7(e)显示了行Lm上第二光强度检测像素的曝光时间。进一步地，图7(f)显示了行Lm+1上成像像素的曝光时间；图7(g)显示了行Lm+1上光强度检测像素的曝光时间；图7(h)显示了行Lm+1上第二光强度检测像素的曝光时间。
[0122] 如图7(a)所示，控制部45将成像部21的像素设定为成像像素和光强度检测像素。进一步地，控制部45控制成像部21操作将成像像素的曝光时间设定为根据快门速度的周期以及将光强度检测像素的曝光时间设定为由用户指定的闪烁频率的一个循环周期。进一步地，控制部45将成像像素的曝光时间的曝光开始定时与第一光强度检测像素的曝光时间的开始定时互相同步。进一步地，控制部45将下一帧成像像素的曝光时间曝光开始定时和第二光强度检测像素的曝光时间的开始定时互相同步。此外，控制部45将下一帧成像像素的曝光时间曝光开始定时和第一光强度检测像素的曝光时间的开始定时互相同步。其后，控制部45针对成像图片的每一帧同样地将第一光强度检测像素的曝光时间和第二光强度检测像素的曝光时间进行转换。
[0123] 图7描述了快门速度＝1/400秒并且闪烁频率＝100Hz(1/100秒)的情况。进一步地，将成像图片的帧频设定为高于闪烁频率的频率，例如设定为133Hz。
[0124] 图像信号处理部30利用由成像部21执行的、通过图7中描述的成像操作生成的像素信号来执行闪烁校正。图8是示出根据闪烁校正对象的成像像素的预定像素范围的视图。应当注意，在图8中，行Lm上的第n个像素P(m,n)的成像像素作为闪烁校正对象，将像素P(m,n-5)到P(m,n+5)确定为预定像素范围AWT。进一步地，作为成像像素的像素P(m,n-3)、P(m,n)和P(m,n+3)的像素值分别为r(m,n-3)、r(m,n)和r(m,n+3)。同时，作为第一光强度检测像素的像素P(m,n-5)、P(m,n-2)、P(m,n+1)和P(m,n+4)的像素值分别是a(m,n-5)、a(m,n-2)、a(m,n+1)和a(m,n+4)。进一步地，作为第二光强度检测像素的像素P(m,n-4)、P(m,n-1)、P(m,n+2)和P(m,n+5)的像素值分别是a(m,n-4)、a(m,n-1)、a(m,n+2)和a(m,n+5)。
[0125] 图像信号处理部30的校正增益计算部32根据表达式(9)计算闪烁校正增益。
[0126] 闪烁校正增益＝(第一或第二光强度检测像素组的像素值WTa/成像像素组的像素值WTr)...(9)
[0127] 作为成像像素组的像素值WTr，使用如表达式(10)所示的预定像素范围内的成像像素的平均像素值。
[0128] WTr＝(r(m,n-3)+r(m,n)+r(m,n+3))/3...(10)
[0129] 对于光强度检测像素组的像素值WTa，利用光强度检测像素组的像素值来执行线性内插，并且计算具有与预定像素范围内的成像像素组相同的空间相位的光强度检测像素组的像素值，并使用计算的像素值的平均值作为像素值WTa。这里，在成像像素曝光时间的开始定时与第一光强度检测像素的曝光开始定时相同的情况下，校正增益计算部32利用第一光强度检测像素的像素值计算像素值WTa。另一方面，在成像像素的曝光时间的开始定时与第二光强度检测像素的曝光开始定时相同的情况下，校正增益计算部32利用第二光强度检测像素的像素值计算像素值WTa。应当注意，图8描述了在利用第一光强度检测像素的像素值计算像素值WTa的情况下的预定像素范围。
[0130] 校正增益计算部32根据表达式(11)到(13)分别计算像素P(m,n-3)、P(m,n)和P(m,n+3)的像素值a(m,n-3)、a(m,n)和a(m,n+3)。进一步地，校正增益计算部32执行由表达式(14)表示的算术运算，以计算具有与成像像素组相同的空间相位的光强度检测像素组的像素值WTa。
[0131] a(m,n-3)＝0.333×a(m,n-5)+0.667×a(m,n-2)...(11)
[0132] a(m,n)＝0.333×a(m,n-2)+0.667×a(m,n+1)...(12)
[0133] a(m,n+3)＝0.333×a(m,n+1)+0.667×a(m,n+4)...(13)
[0134] WTa＝(a(m,n-3)+a(m,n)+a(m,n+3))/3...(14)
[0135] 校正增益计算部32将计算的闪烁校正增益(即由表达式(15)表示的闪烁校正增益HG(m,n))输出至闪烁校正部33。
[0136] HG(m,n)＝(WTa/WTr)
[0137] ＝(0.333×a(m,n-5)+a(m,n-2)+a(m,n+1)+0.667×a(m,n+4))/(r(m,n-3)+r(m,n)+r(m,n+3))...(15)
[0138] 闪烁校正部33利用由校正增益计算部32计算的闪烁校正增益HG(m,n)对作为闪烁校正对象的像素P(m,n)的成像像素执行增益调节。特别地，闪烁校正部33执行上文给出的表达式(8)的算术运算以计算闪烁校正对象的成像像素的校正之后的像素值rc(m,n)。
[0139] 图像信号处理部30通过对每个成像像素执行如上所述的处理来生成闪烁对其影响降低的图像信号。需要注意，如成像装置的第二操作，执行与图4中描述的流程图类似的处理，并且在步骤ST1中，如上所述，成像装置设定成像像素和光强度检测像素的曝光时间。进一步地，在第二操作中，以图7中描述的方式设定第一光强度检测像素和第二光强度检测像素的曝光开始定时，并且处理前进到步骤ST2。进一步地，在步骤ST3，如果利用在与闪烁校正对象的成像像素的曝光开始定时相同的的定时开始进行曝光的第一光强度检测像素或第二光强度检测像素的像素信号计算闪烁校正增益的话，是足够的。
[0140] 用这样的方式，成像装置的控制部在成像屏幕图像内设置成像像素和多种光强度检测像素，并将成像像素的曝光时间设定为根据快门速度的周期，然后将多个光强度检测像素的曝光时间设定为闪烁循环周期。此外，校正增益计算部根据闪烁校正对象的成像像素和具有与闪烁校正对象的成像像素相同的曝光开始定时的光强度检测像素利用在预定像素范围内的成像像素来计算闪烁校正增益。进一步地，闪烁校正部用所计算的闪烁校正增益执行闪烁校正对象的成像像素的增益调节。因此，即使在成像图片的帧频是高于闪烁频率的频率的情况下，无论照明设备和成像对象之间的位置关系如何，都获得了照射光强度波动对其影响降低的成像图片。
[0141] <1-4.成像装置的第三操作>
[0142] 在下文中，描述第三操作有利于成像部的配置与操作的情况。由于在如上所述的第一操作和第二操作中，成像像素和光强度检测像素在水平方向上排列，所以要求可以以像素单位控制曝光时间的配置，并且成像部21的配置是复杂的。所以，如下所述的第三操作旨在说明以下情况：成像像素和光强度检测像素在垂直方向上设置使得可以以行单位执行曝光时间的控制，从而使成像部的配置与操作控制比第一操作和第二操作的更容易。应当注意，如下所述的第三操作涉及其中成像图片的帧频对应比闪烁频率更高的频率的操作。
[0143] 图9是示出第三操作的视图。在第三操作中，成像部21可以以行单位设定曝光时间。在成像部21成像部的成像平面内，如图9(a)所示，成像像素的行和两种光强度检测像素的行在垂直方向上交替地设置。应当注意，一行光强度检测像素称为第一光强度检测像素，另一行光强度检测像素称为第二光强度检测像素。
[0144] 图9(b)示出了照射光的强度变化。同时，图9(c)描述了行Lm-3上成像像素的曝光时间；图9(d)描述了行Lm-2上第一光强度检测像素的曝光时间；图9(e)描述了行Lm-1上第二光强度检测像素的曝光时间。进一步地，图9(f)描述了行Lm上成像像素的曝光时间；图9(g)描述了行Lm+1上第一光强度检测像素的曝光时间；图9(h)描述了行Lm+2上第二光强度检测像素的曝光时间。
[0145] 控制部45以行单位将成像部21的像素设定为成像像素和光强度检测像素，如图9(a)所示。控制部45控制成像部21操作将成像像素的曝光时间设定为根据快门速度的周期以及将光强度检测像素的曝光时间设定为由用户指定的闪烁频率的一个循环周期。进一步地，控制部45将成像像素的曝光时间的曝光开始定时与一行第一光强度检测像素的曝光时间的开始定时互相同步。进一步地，控制部45将下一帧成像像素的曝光时间曝光开始定时和一行第二光强度检测像素的曝光时间的开始定时互相同步。此外，控制部45将下一帧成像像素的曝光时间曝光开始定时和该行第一光强度检测像素的曝光时间的开始定时互相同步。其后，控制部45针对成像图片的每一帧同样地将一行第一光强度检测像素的曝光时间和一行第二光强度检测像素的曝光时间进行转换。
[0146] 图9描述了快门速度＝1/400秒并且闪烁频率＝100Hz(1/100秒)的情况。进一步地，将成像图片的帧频设定为高于闪烁频率的频率，例如设定为133Hz。
[0147] 图像信号处理部30利用由成像部21执行的、通过图9中描述的成像操作生成的像素信号来执行闪烁校正。图10是示出根据闪烁校正对象的成像像素的预定像素范围的视图。应当注意，在图10中，行Lm上的第n个像素P(m,n)的成像像素是闪烁校正对象，由点划线表示的以像素P(m,n)为中心的垂直方向上五行和水平方向上的三个像素的范围被作为预定像素范围AWT。进一步地，使闪烁校正对象的像素P(m,n)的像素值为r(m,n)，并且使像素P(m,n)的相对侧的成像像素的像素值为r(m,n-1)和r(m,n+1)。进一步地，分别使作为第一光强度检测像素的行Lm-2的像素的像素值为a(m-2,n-1)、a(m-2,n)和a(m-2,n+1)，并且使作为第二光强度检测像素的行Lm-1上的像素值为a(m-1,n-1)、a(m-1,n)和a(m-1,n+1)。此外，分别使作为第一光强度检测像素的行Lm+1上的像素的像素值为a(m+1,n-1)、a(m+1,n)和a(m+1,n+1)，使作为第二光强度检测像素的行Lm+2上的像素的像素值为a(m+2,n-1)、a(m+2,n)和a(m+2,n+1)。
[0148] 图像信号处理部30的校正增益计算部32基于表达式(16)计算闪烁校正增益。
[0149] 闪烁校正增益＝(第一或第二光强度检测像素组的像素值WTa/成像像素组的像素值WTr)...(16)
[0150] 对于成像像素组的像素值WTr，例如，使用如表达式(17)所示的预定像素范围内的成像像素的平均像素值。
[0151] WTr＝(r(m,n-1)+r(m,n)+r(m,n+1))/3...(17)
[0152] 对于光强度检测像素组的像素值WTa，利用光强度检测像素组的像素值和具有与预定像素范围内的成像像素组相同的空间相位的光强度检测像素组的像素值来执行线性内插，并使用计算的像素值的平均值作为像素值WTa。这里，在成像像素曝光时间的开始定时与第一光强度检测像素的曝光开始定时相同的情况下，校正增益计算部32利用第一光强度检测像素的像素值计算像素值WTa。进一步地，在成像像素的曝光时间的开始定时与第二光强度检测像素的曝光开始定时相同的情况下，校正增益计算部32利用第二光强度检测像素的像素值计算像素值WTa。应当注意，图10描述了在利用第一光强度检测像素的像素值计算像素值WTa的情况下的预定像素范围。
[0153] 校正增益计算部32根据表达式(18)到(20)计算具有与成像像素相同的空间相位的光强度检测像素的像素值a(m,n-1)、a(m,n)和a(m,n+1)。进一步地，校正增益计算部32执行由表达式(21)表示的算术运算，以计算具有与成像像素组相同的空间相位的光强度检测像素组的像素值WTa。
[0154] a(m,n-1)＝0.333×a(m-2,n-1)+0.667×a(m+1,n-1)...(18)
[0155] a(m,n)＝0.333×a(m-2,n)+0.667×a(m+1,n)...(19)
[0156] a(m,n+1)＝0.333×a(m-2,n+1)+0.667×a(m+1,n+1)...(20)
[0157] WTa＝(a(m,n-1)+a(m,n)+a(m,n+1))/3...(21)
[0158] 校正增益计算部32将计算的闪烁校正增益(即由表达式(22)表示的闪烁校正增益HG(m,n))输出至闪烁校正部33。
[0159] HG(m,n)＝(WTa/WTr)
[0160] ＝(0.333×(a(m-2,n-1)+a(m-2,n)+a(m-2,n+1))+0.667×(a(m+1,n-1)+a(m+1,n)+a(m+1,n+1)))/(r(m,n-3)+r(m,n)+r(m,n+3))...(22)
[0161] 应当注意，图10描述了在利用在水平方向上具有三个像素和在垂直方向上五个像素的预定像素范围内的成像像素组和光强度检测像素组的像素信号来计算闪烁校正对象的成像像素的闪烁校正增益的情况下的预定像素范围。然而，该预定像素范围不限于图10中所描述的范围。例如，可以从水平方向上一个像素、五个像素等的范围来计算闪烁校正增益。应当注意，如果预定像素范围在水平方向上具有一个像素，那么在噪音等等叠加在闪烁校正对象的成像像素的像素信号上的情况下，会有闪烁校正增益不变为近似增益值的情况。所以，通过利用水平方向上排列起来的多个成像像素的像素信号，变得可以降低噪音等等的影响和坚定地计算闪烁校正增益。
[0162] 闪烁校正部33利用由校正增益计算部32计算的闪烁校正增益HG(m,n)对作为闪烁校正对象的像素P(m,n)的成像像素执行增益调节。特别地，闪烁校正部33执行上文给出的表达式(8)的算术运算以计算闪烁校正对象的成像像素的校正之后的像素值rc(m,n)。
[0163] 图像信号处理部30通过对每个成像像素执行如上所述的处理来生成闪烁对其影响降低的图像信号。需要注意，在成像装置的第三操作中，执行与图4中描述的流程图类似的处理，并且在步骤ST1中，成像装置如上所述以行单位设定成像像素和光强度检测像素的曝光时间。进一步地，在第三操作中，以图9中描述的方式设定第一光强度检测像素和第二光强度检测像素的曝光开始定时，并且处理前进到步骤ST2。进一步地，在步骤ST3，如果成像装置利用在与闪烁校正对象的成像像素的曝光开始定时相同的的定时开始进行曝光的一行第一光强度检测像素或一行第二光强度检测像素的像素信号计算闪烁校正增益的话，是足够的。
[0164] 用这样的方式，成像装置的控制部在成像屏幕图像中以行单位设置成像像素和多种光强度检测像素，并将成像像素的曝光时间设定为根据快门速度的周期，将多种光强度检测像素的曝光时间设定为闪烁循环周期。进一步地，校正增益计算部根据闪烁校正对象的成像像素和具有与闪烁校正对象的成像像素相同的曝光开始定时的光强度检测像素利用在预定像素范围内的成像像素来计算闪烁校正增益。进一步地，闪烁校正部用所计算的闪烁校正增益执行闪烁校正对象的成像像素的增益调节。因此，即使在成像图片的帧频是高于闪烁频率的频率的情况下，无论照明设备和成像对象之间的位置关系如何，通过简单的配置得到照射光强度波动对其影响降低的成像图片。
[0165] <1-5.成像装置的第四操作>
[0166] 顺便提及，第一操作到第三操作说明了使成像像素和光强度检测像素的曝光开始定时互相一致的情况。这里，如果成像像素和光强度检测像素的曝光时间分别为根据快门速度的曝光时间和闪烁循环周期的曝光时间，并且曝光时间不限于曝光开始定时互相一致的情况的话，是足够的。例如，可以使曝光时间的曝光结束或中点互相一致。如下所述的第四操作旨在说明使根据快门速度的曝光时间的中点和闪烁循环周期的曝光时间的中点的定时互相一致的情况。应当注意，假定成像部的像素布置与图9中描述的第三操作中的情况相同来进行描述。
[0167] 图11是示出第四操作的视图。图11(a)示出了照射光的强度变化。同时，图11(b)描述了行Lm-3上成像像素的曝光时间；图11(c)描述了行Lm-2上第一光强度检测像素的曝光时间；图11(d)描述了行Lm-1上第二光强度检测像素的曝光时间。进一步地，图11(e)描述了行Lm上成像像素的曝光时间；图11(f)描述了行Lm+1上第一光强度检测像素的曝光时间；图11(g)描述了行Lm+2上第二光强度检测像素的曝光时间。应当注意，在成像部21使用XY地址法用于读取指定每一个像素的地址的单个像素信号的情况下，对于每行依次移位曝光定时。
[0168] 控制部45控制成像部21操作将成像像素的曝光时间设定为根据快门速度的周期以及将光强度检测像素的曝光时间设定为由用户指定的闪烁频率的一个循环周期。进一步地，控制部45将成像像素的曝光时间的中点和第一光强度检测像素的曝光时间的中点控制为相同的定时。进一步地，控制部45将下一帧将成像像素的曝光时间的中点和第二光强度检测像素的曝光时间的中点控制为相同的定时。此外，控制部45将下一帧将成像像素的曝光时间的中点和第一光强度检测像素的曝光时间的中点控制为相同的定时。其后，控制部45针对成像图片的每一帧同样地将第一光强度检测像素的曝光时间和第二光强度检测像素的曝光时间进行转换。
[0169] 图11描述了快门速度＝1/400秒并且闪烁频率＝100Hz(1/100秒)的情况。进一步地，将成像图片的帧频设定为高于闪烁频率的频率，例如设定为133Hz。
[0170] 通过用这样的方式使根据快门速度的曝光时间的中点和闪烁循环周期的曝光时间的中点的定时互相一致，可以减小成像像素和光强度检测像素的曝光时间之间的移位(displacement)。进一步地，根据第四操作，可以实现通过第三操作实现的类似的工作效果。
[0171] <1-6.成像装置的第五操作>
[0172] 现在，在成像装置的第五操作中，说明响应于成像图片的帧频而转换成像部的操作和闪烁校正增益的计算操作的操作。在第五操作中，基于成像图片的帧周期和闪烁周期设置光强度检测像素的多个像素组，使得针对每一帧成像图片从光强度检测像素的任一像素组获得闪烁循环周期的曝光时间期间的像素信号。应当注意，为了便于描述，假定成像图片的帧频FV不超过闪烁频率FL的四倍。进一步地，可以在水平方向和垂直方向的任一方向上设置光强度检测像素。
[0173] 图12是描述第五操作的流程图。在步骤ST11，成像装置设定曝光时间和帧频。成像装置10的控制部45将成像像素的曝光时间设定为与快门速度对应的曝光时间。进一步地，控制部45将光强度检测像素的曝光时间设定为由用户等等设定的闪烁频率的一个循环周期。此外，控制部45将成像图片的帧频FV设定为与由用户等等设定的帧速对应的频率，并且处理前进到步骤ST12。
[0174] 在步骤ST12中，成像装置确定成像图片的帧频FV是否超过闪烁频率FL。控制部45将帧频FV和闪烁频率FL互相比较，并在成像图片的帧频FV不超过闪烁频率FL的情况下使处理前进至步骤ST13。另一方面，在成像图片的帧频FV超过闪烁频率FL的情况下，控制部45使处理前进到步骤ST14。
[0175] 在步骤ST13中，成像装置以第一校正模式执行闪烁校正。在成像图片的帧频FV不超过闪烁频率FL的情况下，与在上文描述的第一操作类似地执行闪烁校正。特别地，成像装置在图4的步骤ST2到步骤ST8执行处理，并且在步骤ST2，控制部45设置关于第一操作在上文描述的一种光强度检测像素并且控制成像部21运行，使得成像像素生成根据快门速度的曝光时间期间的像素信号并且光强度检测像素生成在闪烁循环周期的曝光时间期间的像素信号。进一步地，在第一校正模式中，图像信号处理部30利用光强度检测像素组的像素信号执行线性内插以在预定像素范围内生成具有与成像像素组相同的空间相位的光强度检测像素组的像素信号，并且基于成像像素组的像素信号和具有与成像像素组相同的空间相位的光强度检测像素组的像素信号计算闪烁校正增益。此外，图像信号处理部30利用所计算的闪烁校正增益校正闪烁校正对象的成像像素的像素信号。应当注意，图13例示了像素布置，并且在第一校正模式中，如图13(a)所示，可以在垂直方向上设置成像像素的行和光强度检测像素的行，使得基于闪烁校正对象的成像像素利用包括垂直方向上预定行和水平方向上预定像素数的预定像素范围内的像素信号来计算闪烁校正增益。
[0176] 当处理从步骤ST12前进到步骤ST14时，成像装置在步骤ST14确定成像图片的帧频FV是否超过闪烁频率FL的两倍。在成像图片的帧频FV不超过闪烁频率FL的两倍的情况下，控制部45使处理前进到步骤ST15，但是在成像图片的帧频FV超过闪烁频率FL的两倍的情况下，控制部45使处理前进到步骤ST16。
[0177] 在步骤ST15中，成像装置以第二校正模式执行闪烁校正。在成像图片的帧频FV超过闪烁频率FL但是不超过闪烁频率FL的两倍的情况下，成像装置与如上所述的第二操作类似地执行闪烁校正。特别地，成像装置在图4的步骤ST2到步骤ST8执行处理，并且在步骤ST2，控制部45设置关于第二操作在上文描述的两种光强度检测像素并且控制成像部21运行，使得成像像素生成根据快门速度的曝光时间期间的像素信号并且光强度检测像素生成在闪烁循环周期的曝光时间期间的像素信号。在第二校正模式中，图像信号处理部30利用光强度检测像素组的像素信号执行线性内插(据此可以获得闪烁循环周期的曝光时间期间的像素信号)以在预定像素范围内生成具有与成像像素组相同的空间相位的光强度检测像素组的像素信号，并且基于成像像素组的像素信号和具有与成像像素组相同的空间相位的光强度检测像素组的像素信号计算闪烁校正增益。此外，图像信号处理部30利用所计算的闪烁校正增益校正闪烁校正对象的成像像素的像素信号。应当注意，在第二校正模式的校正操作中，如图13(b)所示，可以在垂直方向上设置成像像素的行和两种光强度检测像素的行，使得基于闪烁校正对象的成像像素利用包括垂直方向上的预定行和水平方向上预定像素数的预定像素范围内的像素信号来计算闪烁校正增益。
[0178] 在步骤ST16中，成像装置以第三校正模式执行闪烁校正。在成像图片的帧频FV超过闪烁频率FL的两倍的情况下，设置四种光强度检测像素执行闪烁校正。特别地，执行图4的步骤ST2到步骤ST8的处理，并且在步骤ST2，控制部45设置四种光强度检测像素并且控制成像部21使得成像像素生成根据快门速度的曝光时间期间的像素信号并且光强度检测像素生成在闪烁循环周期的曝光时间期间的像素信号。在第三校正模式中，图像信号处理部30利从光强度检测像素组的像素信号执行线性内插(据此可以获得闪烁循环周期的曝光时间期间的像素信号)以在预定像素范围内生成具有与成像像素组相同的空间相位的光强度检测像素组的像素信号，并且基于成像像素组的像素信号和具有与成像像素组相同的空间相位的光强度检测像素组的像素信号计算闪烁校正增益。此外，图像信号处理部30利用所计算的闪烁校正增益校正闪烁校正对象的成像像素的像素信号。应当注意，在第三校正模式的校正操作中，如图13(c)所示，可以在垂直方向上以行单位设置成像像素的行和四种光强度检测像素，使得基于闪烁校正对象的成像像素利用包括垂直方向上的预定行和水平方向上预定像素数的预定像素范围内的像素信号来计算闪烁校正增益。
[0179] 进一步地，虽然流程图中未示出，在成像图片的帧频FV超过闪烁频率FL的四倍但是不超过闪烁频率FL的八倍的情况下，设置八种光强度检测像素是足够的。另一方面，在成像图片的帧频FV超过闪烁频率FL的八倍但是不超过闪烁频率FL的16倍的情况下，设置16种光强度检测像素是足够的。特别地，响应于成像图片的帧频和闪烁频率之间的关系设置光强度检测像素，使得获得曝光时间是一帧成像图片的闪烁循环周期的像素信号。
[0180] 用这样的方式，如果成像装置的控制部响应于成像图片的帧频和闪烁频率而转换成像部的操作和闪烁校正增益的计算操作，那么可以根据各种帧频自动地执行闪烁校正。
[0181] <2.第二实施方式>
[0182] 现在，在第二实施方式的描述中，描述了彩色成像图片的闪烁校正。
[0183] <2-1.成像装置的配置>
[0184] 图14例示了根据本技术的第二实施方式的成像装置的配置。应当注意，通过相似的参考符号表示与图1中描述的第一实施方式相对应的元件。
[0185] 成像装置10a包括成像部21a、图像信号处理部30a、用户界面(I/F)部41和控制部45。成像装置10a可以进一步地包括记录部51、信号输出部52、显示部53等等作为外围部50。
[0186] 成像部21a利用彩色分量像素来配置，使得可以获得彩色成像图片。例如，如下所述，成像部21a包括以拜耳阵列设置的红、蓝和绿的彩色分量像素，并且使用彩色分量像素的像素块作为成像像素或光强度检测像素的像素单位。成像像素是用于获得成像图片的像素并且根据曝光时间内曝光光量生成像素信号，其中曝光时间是根据快门速度的周期。光强度检测像素是用于检测照射光强度的像素，并且根据曝光时间内曝光光量生成像素信号，其中曝光时间是闪烁循环周期。成像部21a将由成像像素和光强度像素生成的像素信号输出至图像信号处理部30a。
[0187] 图像信号处理部30a包括亮度计算部31、校正增益计算部32和闪烁校正部33。图像信号处理部30a可以进一步地包括彩色图像信号生成部34。
[0188] 亮度计算部31根据成像部21a生成的像素信号计算成像像素和光强度检测像素的亮度值。亮度计算部利用亮度值作为成像像素或光强度检测像素的像素值确定用来计算作为成像像素或光强度检测像素的像素对应块的亮度值的彩色分量像素的像素块。特别地，亮度计算部31利用像素对应块的彩色分量像素计算成像像素或光强度检测像素的亮度值。
[0189] 校正增益计算部32使用通过亮度计算部31计算的亮度值来计算用于计算成像像素的亮度值的彩色分量像素的闪烁校正增益。特别地，校正增益计算部32基于闪烁校正对象的成像像素使用预定像素范围内的成像像素的像素信号和光强度检测像素的像素信号来生成具有与成像像素相同的空间相位的光强度检测像素的像素信号。进一步地，校正增益计算部32确定具有与成像像素相同的空间相位的光强度检测像素的像素信号和成像像素的像素信号之间的信号电平比作为闪烁校正增益。校正增益计算部32将计算的闪烁校正增益输出至闪烁校正部33。
[0190] 闪烁校正部33利用由校正增益计算部计算出的闪烁校正增益对闪烁校正对象的成像像素对应的像素块中的彩色分量像素执行增益调节，以生成已经执行了闪烁校正的图像信号。闪烁校正部33将已经执行了闪烁校正的像素信号输出至彩色图像信号生成部34、记录部51和信号输出部52。
[0192] 用户界面部41利用操作开关、操作按钮等等来配置。用户界面部41根据用户操作生成操作信号并将操作信号输出至控制部45。用户界面部41允许用户闪烁频率(或用于照明的商业电源频率)的指定操作。
[0193] 控制部45利用其中内设有例如存储控制程序的ROM、暂时储存数据的闪速存储器等等的存储部的微型计算机来配置。控制部45执行控制程序以基于来自用户界面部41的操作信号来控制元件的操作，使得由用户要求的操作通过成像装置10a来执行。进一步地，控制部45控制成像部21a和图像信号处理部30a以及外围部50的操作，使得可以生成图像信号，对于该图像信号已经执行了与由用户操作指定的闪烁频率相对应的闪烁校正。进一步地，控制部45将成像部21a的每一个像素设定为成像像素或光强度检测像素。此外，控制部45针对成像像素和光强度检测像素分别地设定曝光定时和曝光时间。
[0194] 记录部51将闪烁校正之后的像素信号或由图像信号处理部30a生成的彩色成像图片的图像信号记录在记录介质上。进一步地，记录部51读取记录在记录介质上的图像信号并将图像信号输出至显示部53。此外，记录部51可以在闪烁校正之后执行图像信号的编码处理以生成编码信号并将编码信号记录在记录介质上，并且可以将通过对记录介质读取的编码信号进行译码处理而获得的图像信号输出至显示部53。
[0195] 信号输出部52将闪烁校正后的像素信号或通过图像信号处理部30a生成等等彩色成像图片的图像信号作为预定格式的信号输出至外部装置。进一步地，信号输出部52可以对彩色成像图片的图像信号执行编码处理并将编码信号输出至外部装置。
[0196] 显示器部53基于通过图像信号处理部30a生成的彩色成像图片的图像信号或从记录部51读取的图像信号来显示彩色成像图片。进一步地，显示部53基于来自控制部45的控制信号执行菜单屏幕图像等的显示。
[0197] <2-2.成像装置的操作>
[0198] 现在，描述成像装置的操作。图15例示了在成像图片的帧频低于闪烁频率的情况下成像像素和光强度检测像素的布置。在成像部21a的成像平面内，以拜耳阵列设置彩色分量像素。特别地，一个或两个像素块由2×2个像素形成，一个块中的像素配置为红色分量像素R、蓝色分量像素B和两个绿色分量像素Gr和Gb，使得红色分量像素R和蓝色分量像素B在倾斜方向上布置。进一步地，控制部45确定包括彩色分量像素的2×2像素的像素块作为成像像素或光强度检测像素的像素单位。进一步地，控制部45可以通过使用1个像素×2个像素(或2个像素×1个像素)的两个像素块来使用包括彩色分量像素的四个像素的像素块作为成像像素光强度检测像素的像素单位。
[0199] 在成像图片的帧频低于闪烁频率的情况下，控制部45例如与第一实施方式的第一操作类似地在水平方向上交替地设置成像像素和光强度检测像素。在这种情况下，成像部21a允许以像素单位设置曝光时间。
[0200] 控制部45在成像部21a上设置成像像素和光强度检测像素使得像素单位由包括彩色分量像素的像素块组成。图15(a)例示了其中控制部45在水平方向上交替地设置成像像素和光强度检测像素作为像素块的情况，在该像素块中2×2个像素对应于成像像素或光强度检测像素。图15(b)例示了另一情况：作为其中1个像素(水平方向)×2个像素(垂直方向)对应于成像像素或光强度检测像素的像素块，在水平方向上针对每3个像素设置成像像素并且在水平方向上邻近各成像像素设置光强度检测像素以在水平方向上交替地设置成像像素和光强度检测像素。
[0201] 图16例示了在成像图片的帧频高于闪烁频率但是低于闪烁频率的两倍的情况下成像像素和光强度检测像素的布置。在成像部21a的成像平面内，以拜耳阵列设置彩色分量像素。特别地，一个或两个像素块由2×2个像素形成，一个像素块中的像素配置为红色分量像素R、蓝色分量像素B和两个绿色分量像素Gr和Gb，使得红色分量像素R和蓝色分量像素B在倾斜方向上布置。
[0202] 在成像图片的帧频高于闪烁频率但是低于闪烁频率的两倍的情况下，控制部45与例如第一实施方式的第二操作类似地在水平方向上交替地设置成像像素和两个光强度检测像素。
[0203] 控制部45在成像部21a中设置由像素块形成像素单位的成像像素和光强度检测像素，该像素块包括彩色分量像素。图16(a)例示了以下情况：2×2个像素形成与成像像素或光强度检测像素对应的像素块，并且在水平方向上交替地设置成像像素和两个光强度检测像素。图16(b)例示了另一情况：1个像素(水平方向)×2个像素(垂直方向)形成对应于成像像素或光强度检测像素的像素块，并且在水平方向上针对每三个像素设置成像像素且在相邻的成像像素之间设置两个基准校正像素，使得在水平方向上交替地设置成像像素和两个光强度检测像素。
[0204] 图17例示了在成像图片的帧频高于闪烁频率但是低于闪烁频率的两倍的情况下成像像素和光强度检测像素的不同的布置。在成像部21a的成像平面内，以拜耳阵列设置彩色分量像素。特别地，一个或两个像素块由2×2个像素形成，一个块中的像素由红色分量像素R、蓝色分量像素B和两个绿色分量像素Gr和Gb配置，使得红色分量像素R和蓝色分量像素B在倾斜方向上布置。
[0205] 在成像图片的帧频高于闪烁频率但是低于闪烁频率的两倍的情况下，控制部45与例如第一实施方式的第三操作类似地在垂直方向上交替地设置成像像素和两个光强度检测像素。
[0206] 控制部45在成像部21a上设置由像素块形成像素单位的成像像素和光强度检测像素，该像素块包括彩色分量像素。图17(a)例示了以下情况：2×2个像素是成像像素或光强度检测像素，并且在垂直方向上交替地设置成像像素和两个光强度检测像素。图17(b)例示了另一情况：2个像素(水平方向)×1个像素(垂直方向)由成像像素或光强度检测像素形成，并且在垂直方向上针对每三个像素设置成像像素，同时在成像像素之间设置两个基准校正像素，使得在垂直方向上交替地设置成像像素和两个光强度检测像素。
[0207] 现在，作为第二实施方式的闪烁校正增益的计算操作，参考图18描述在例如2×2个像素的块形成为成像像素或光强度检测像素的像素单位的情况下的闪烁校正增益的计算操作。
[0208] 图18是示出第二实施方式的闪烁校正增益的计算操作的视图。如图18(a)所示，亮度计算部31由行Lj-2上的2×2个像素(第一光强度检测像素)的像素块的像素值计算亮度值Ya(j-2,x)。类似地，亮度计算部31由行Lj-1上的2×2个像素(第二光强度检测像素)的像素块的像素值计算亮度值Ya(j-1,x)。进一步地，亮度计算部31由行Lj上的2×2个像素(成像像素)的像素块的像素值计算亮度值Yr(j,x)。类似地，亮度计算部31由2×2个像素的不同像素块的像素值计算亮度值。
[0209] 校正增益计算部32利用通过亮度计算部31针对每个2×2个像素的像素块计算的亮度值来计算校正对象的块的闪烁校正增益。图18(b)描述了通过亮度计算部31计算的亮度值。亮度计算部31以2×2个像素的像素块的单位计算亮度值。例如，对于与校正对象的成像像素对应的像素块的亮度值Yr(j,k)，计算如图18(b)所示的在水平方向上的3个像素和在垂直方向上的5个像素的亮度值，它们表示与下文中关于第三操作描述的图10的像素值类似的布置。因此，校正增益计算部32与第三操作类似地利用亮度值计算闪烁校正增益。
[0210] 闪烁校正部33利用由校正增益计算部计算的闪烁校正增益来校正校正对象的成像像素的像素块的彩色分量像素的像素信号。例如，在校正对象的成像像素的像素块中红色像素具有像素值R，绿色像素具有像素值Gr和Gb而蓝色像素具有像素值B并且闪烁校正增益为HG的情况下，执行表达式(23)到(26)的算术运算以计算闪烁校正之后的像素值Rc、Gcr、Gcb和Bc。
[0211] Rc＝R×HG...(23)
[0212] Gcr＝Gr×HG...(24)
[0213] Gcb＝Gb×HG...(25)
[0214] Bc＝B×HG...(26)
[0215] 现在，关于第二实施方式的闪烁校正增益的不同计算操作，参考图19描述在例如2×1个像素形成像素块并且两个块形成成像像素或光强度检测像素的像素单位的情况下闪烁校正增益的计算操作。
[0216] 图19是示出第二实施方式的闪烁校正增益的不同计算操作的视图。如图19(a)所示，亮度计算部31由行Lj-2r和Lj-2b上的2×1个像素(第一光强度检测像素)的两个像素块的像素信号计算亮度值Ya(j-2,x)。类似地，亮度计算部31由行Lj--1b和Lj-1r上的2×1个像素(第二光强度检测像素)的两个像素块的像素信号计算亮度值Ya(j-1,x)。进二步地，亮度计算部31由行Ljr和Ljb上的2×1个像素(成像像素)的两个像素块的像素信号计算亮度值Yr(j,x)。进一步地，亮度计算部31由2×1个像素的两个不同像素块的像素信号计算亮度值。
[0217] 校正增益计算部32利用由亮度计算部31利用2×1个像素的两个像素块计算的亮度值来计算校正对象的块的闪烁校正增益。图19(b)表示了通过亮度计算部31计算的亮度值。亮度计算部31利用2×1个像素的两个像素块计算亮度值。例如，对于与校正对象的成像像素对应的像素块的亮度值Yr(j,k)，计算如图19所示的在水平方向上的3个像素和在垂直方向上的5个像素的亮度值，它们表示与下文中关于第三操作描述的图10的像素值类似的布置。因此，校正增益计算部32与第三操作类似地利用亮度值计算闪烁校正增益。
[0218] 闪烁校正部33利用由校正增益计算部计算的闪烁校正增益来校正校正对象的成像像素的像素块的彩色分量像素的像素信号。例如，在校正对象的成像像素的像素块中红色像素具有像素值R，绿色像素具有像素值Gr和Gb而蓝色像素具有像素值B的情况下，闪烁校正部33执行表达式(23)到(26)的算术运算以计算闪烁校正之后的像素值Rc、Gcr、Gcb和Bc。
[0219] 图20是例示第二实施方式的成像装置的操作的流程图。在步骤ST21，成像装置设定曝光时间和帧频。成像装置10a的控制部45将成像像素的曝光时间设定为与设定的快门速度对应的周期。进一步地，控制部45将光强度检测像素的曝光时间设定为闪烁循环周期。此外，控制部45响应于由用户等等设定的帧速率设定成像图片的帧频FV，并且处理前进到步骤ST22。
[0220] 在步骤ST22，成像装置布置成像像素和光强度检测像素。成像装置10a的控制部45在成像部21a的成像平面中按照如上所述的方式设定成像像素和光强度检测像素并且执行将成像像素和光强度检测像素的曝光时间设定为步骤ST21中设定的曝光时间的驱动控制，然后使处理前进到步骤ST23。
[0221] 在步骤ST23处，成像装置计算亮度值。成像装置10a的亮度计算部31由与成像像素对应的彩色分量像素的像素块的像素信号计算亮度值。进一步地，亮度计算部31由与光强度检测像素对应的彩色分量像素的像素块的像素信号计算亮度值，然后使处理前进到步骤ST24。
[0222] 在步骤ST24，成像装置计算闪烁校正对象的成像像素的闪烁校正增益。成像装置10a的校正增益计算部32以如上所述的方式利用步骤ST23中计算的亮度值(利用根据闪烁校正对象的成像像素在预定像素范围中的成像像素的亮度值和光强度检测像素的亮度值)计算闪烁校正增益，并且使处理前进到步骤ST25。
[0223] 在步骤ST25，成像装置执行闪烁校正对象的成像像素的闪烁校正。成像装置10a的闪烁校正部33使用步骤ST24中计算的闪烁校正增益以执行与闪烁校正对象的成像像素对应的像素块的彩色分量像素的增益调节，从而生成校正了闪烁的影响的像素信号，并且处理前进到步骤ST26。
[0224] 在步骤ST26中，成像装置确定屏幕图像中的成像像素的闪烁校正是否完成。在成像装置10a的图像信号处理部30a未完成屏幕图像中成像像素的闪烁校正的情况下，处理前进到步骤ST27。在屏幕图像中的成像像素的闪烁校正完成的情况下，处理前进到步骤ST28。
[0225] 在步骤ST27，成像装置更新闪烁校正对象的成像像素。成像装置10a的图像信号处理部30a将未执行成像像素的闪烁校正的成像像素设定为新的闪烁校正对象的成像像素，然后处理回到步骤ST24。
[0226] 在步骤ST28中，成像装置确定成像图片是否结束。在成像装置10a的控制部45未结束将执行闪烁校正的成像图片的情况下，处理前进到步骤ST29，但是在要执行闪烁校正的成像图片结束的情况下，例如，在执行了成像的结束操作的情况下，闪烁校正操作结束。
[0227] 在步骤ST29中，成像装置设定新的成像图片中闪烁校正对象的成像像素。成像装置10a的图像信号处理部30a在新帧的成像图片中设定闪烁校正对象的成像像素，然后处理前进到步骤ST24。
[0228] 用这样的方式，成像装置在成像屏幕图像中设定彩色分量像素，并且控制部在包括彩色分量像素、成像像素和光强度检测像素的像素块之间执行关联。进一步地，控制部45将成像像素的曝光时间设定为根据快门速度的周期，并且将光强度检测像素的曝光时间设定为闪烁循环周期。进一步地，校正增益计算部根据闪烁校正对象的成像像素利用预定像素范围内的成像像素和光强度检测像素计算闪烁校正增益。闪烁校正部用计算的闪烁校正增益对与闪烁校正对象的成像像素对应的像素块的彩色分量像素执行增益调节。因此，无论照明设备和成像对象之前的位置关系如何，都可以获得射光强度的波动对其影响降低的彩色成像图片。
[0229] <3.第三实施方案>
[0230] 顺便提及，虽然如上所述的第一和第二实施方式旨在说明预先由用户等等设定闪烁频率(或闪烁周期)的情况，但是可以基于由成像部21(21a)生成的像素信号自动地确定闪烁频率。
[0231] 图21例示了自动检测闪烁频率的情况下的成像装置的配置。成像装置10b包括成像部21(21a)、图像信号处理部30(30a)、用户界面部41、闪烁检测部43、控制部45和外围部50。应当注意，在图21中，用相似的参考符号表示与第一和第二实施方式的成像装置的那些对应的元件。
[0232] 成像部21(21a)包括成像像素和光强度检测像素并将由成像像素和光强度检测像素生成的像素信号输出至闪烁检测部43。
[0233] 闪烁检测部43基于来自控制部45的控制信号设定闪烁检测第一像素和闪烁检测第二像素。图22例示了闪烁检测第一像素和闪烁检测第二像素。图22(a)描述了与在上文描述的第一实施方式的第一操作中类似地在水平方向上以一个像素的单位交替地设置成像像素和光强度检测像素的情况。在这种情况下，成像像素是闪烁检测第一像素，光强度检测像素是闪烁检测第二像素。图22(b)描述了与在上文描述的第一实施方式的第二操作类似地在水平方向上交替地设置成像像素和两个光强度检测像素的情况。在这种情况下，第一光强度检测像素是闪烁检测第一像素，第二光强度检测像素是闪烁检测第二像素。图22(c)描述了与在上文描述的第一实施方式中的第三操作类似地在垂直方向上交替地设置一行成像像素和两行光强度检测像素的情况。在这种情况下，第一光强度检测像素是闪烁检测第一像素，第二光强度检测像素是闪烁检测第二像素。应当注意，同样在如在上文描述闪烁检测第二像素第二实施方式中利用彩色分量像素配置成像部的情况下，将成像像素和光强度检测像素类似地设定为闪烁检测第一像素和闪烁检测第二像素。
[0234] 在校正增益计算部32计算各成像像素的闪烁校正增益以及闪烁校正部33利用各成像像素的闪烁校正增益执行成像像素的闪烁校正之前，控制部45执行闪烁检测。进一步地，控制部45可以在未获得表示闪烁的存在与否、闪烁频率等等的闪烁信息的情况下执行闪烁检测。
[0235] 在将执行闪烁检测的情况下，例如，控制部45将闪烁检测第一像素的曝光时间设定为(1/100)秒(当商业电源频率为50Hz时的闪烁周期)，并且将闪烁检测第二像素的曝光时间设定为(1/120)秒(当商业电源频率为60Hz时的闪烁周期)。进一步地，控制部45将由闪烁检测部43检测到的照射光的强度变化的周期设定为光强度检测像素的曝光时间。
[0236] 闪烁检测部43基于闪烁检测第一像素的帧单位的信号电平变化和闪烁检测第二像素的帧单位的信号电平变化执行闪烁检测。
[0237] 在照明设备照射光强度未显示根据商业电源频率的变化的情况下，闪烁检测第一像素和闪烁检测第二像素的任一个都不显示帧单位的信号电平变化。进一步地，在闪烁检测第一像素和闪烁检测第二像素彼此相邻定位的情况下，闪烁检测第一像素和闪烁检测第二像素之间的信号电平比变得等于曝光时间的比。进一步地，即使在照明设备的照射光的强度显示根据商业电源频率的变化的情况下，在曝光开始定时或曝光结束定时与各帧中照射光的强度变化同步的情况下，闪烁检测第一像素和闪烁检测第二像素的任一个都不显示帧单位的信号电平变化。
[0238] 所以，在闪烁检测第一像素未显示帧单位的信号电平变化但是闪烁检测第二像素显示帧单位的信号电平变化的情况下，闪烁检测部43向控制部45输出表示发生具有100Hz的闪烁频率的闪烁的闪烁检测结果。
[0239] 另一方面，在闪烁检测第一像素显示帧单位的信号电平变化但是闪烁检测第二像素未显示帧单位的信号电平变化的情况下，闪烁检测部43向控制部45输出表示发生具有120Hz的闪烁频率的闪烁的闪烁检测结果。
[0240] 进一步地，在闪烁检测第一像素和闪烁检测第二像素的任一个都未显示帧单位的信号电平变化并且闪烁检测第一像素和闪烁检测第二像素之间的信号电平比实质上等于曝光时间的比的情况下，闪烁检测部43向控制部45输出表示未发生闪烁的闪烁检测结果。
[0241] 应当注意，控制部45可以控制闪烁检测第一像素与闪烁检测第二像素的曝光开始定时和曝光结束定时彼此不同。在这种情况下，闪烁检测部43执行预定周期的曝光来替换例如闪烁检测第一像素间的每一行的曝光开始定时，并且同样对于闪烁检测第二像素在对应于闪烁检测第一像素的那些定时的不同定时执行预定周期的曝光。这里，在闪烁检测第一像素和闪烁检测第二像素的相同行位置处的信号电平的差值显示根据行位置的差异而变化的情况下，闪烁检测部43向控制部45输出表示发生闪烁的闪烁检测结果。另一方面，在闪烁检测第一像素和闪烁检测第二像素的相同行位置处的信号电平的差值未显示根据行位置的差异而变化的情况下，闪烁检测部43向控制部45输出表示未发生闪烁的闪烁检测结果。因此，由于闪烁检测第一像素和闪烁检测第二像素的两者的曝光开始定时或曝光结束定时与各帧中的照射光强度变化同步，所以可以防止闪烁检测第一像素和闪烁检测第二像素的任一个都不发生帧单位中信号电平变化的这种情况。
[0242] 图23是例示第三实施方式的操作的流程图。应当注意，图23中的步骤ST35到步骤ST40的操作分别对应于图12中所示第五操作的流程图中的步骤ST11到步骤ST16的处理。
[0243] 在步骤ST31，成像装置确定是否已经获得了闪烁信息。在已经由成像装置10b的控制部45获得了表示闪烁存在与否、闪烁频率等等的闪烁信息的情况下，例如在由用户等等设定闪烁频率等等的情况下，处理前进到步骤ST33。另一方面，在未由控制部45获得闪烁信息的情况下，处理前进到步骤ST32。
[0244] 在步骤ST32中，成像装置执行闪烁检测处理。成像装置10的控制部45设定闪烁检测第一像素和闪烁检测第二像素。进一步地，控制部45设定闪烁检测第一像素和闪烁检测第二像素的曝光时间。闪烁检测部43基于帧单位中闪烁检测第一像素的信号电平变化和帧单位中闪烁检测第二像素的信号电平变化来检测是否存在闪烁和闪烁频率，并且处理前进到步骤ST33。
[0245] 在步骤ST33中，成像装置确定是否存在闪烁。在闪烁信息表示存在闪烁的情况下或在步骤ST32中的闪烁检测处理检测到闪烁的情况下，成像装置10b的控制部45使处理前进到步骤ST35。另一方面，在闪烁信息表示不存在闪烁并且步骤ST32的闪烁检测处理未检测到闪烁的情况下，控制部45使处理前进到步骤ST34。
[0246] 在步骤ST34，成像装置执行普通的操作。由于未检测到闪烁，所以成像装置10b执行成像图片的记录、输出等等，而不执行闪烁校正。
[0247] 在步骤ST35，成像装置设定曝光时间和帧频。成像装置10b的控制部45将成像像素的曝光时间设定为与快门速度对应的曝光时间。进一步地，控制部45将光强度检测像素的曝光时间设定为由闪烁信息指示的闪烁频率的循环周期或者在步骤ST32中检测到的闪烁的循环周期。此外，控制部45将成像图片的帧频FV设定为与用户等等设定的帧速率对应的频率，然后使处理前进到步骤ST36。
[0248] 在步骤ST36，成像装置确定成像图片的帧频FV是否超过闪烁频率FL。控制部45将用户等等设定的成像图片的帧频FV与闪烁信息表示的或由闪烁检测检测到的闪烁频率FL互相比较。在成像图片的帧频FV未超过闪烁频率FL的情况下，控制部45使处理前进到步骤ST37。另一方面，在成像图片的帧频FV超过闪烁频率FL的情况下，控制部45使处理前进到步骤ST38。
[0249] 在步骤ST37中，成像装置以第一校正模式执行闪烁校正。在成像图片的帧频FV不超过闪烁频率FL的情况下，与在上文描述的第一操作类似地执行闪烁校正。特别地，如第一操作中所述，控制部45设置一种光强度检测像素并控制成像部运行，使得成像像素生成根据快门速度的曝光时间期间的像素信号并且光强度检测像素生成闪烁循环周期的曝光时间期间的像素信号。在第一校正模式中，图像信号处理部使用光强度检测像素组的像素值执行线性内插以计算具有与预定像素范围内的成像像素组相同的空间相位的光强度检测像素组的像素值。进一步地，图像信号处理部基于所计算的像素值和预定像素范围内的成像像素组的像素值计算闪烁校正增益。此外，图像信号处理部使用计算的闪烁校正增益校正闪烁校正对象的成像像素的像素信号。
[0250] 当处理从步骤ST36前进到步骤ST38时，成像装置在步骤ST38确定成像图片的帧频FV是否超过闪烁频率FL的两倍。控制部45将由用户等等设定的成像图片帧频FV与闪烁频率FL互相比较。在成像图片的帧频FV不超过闪烁频率FL的两倍的情况下，控制部45使处理前进到步骤ST39。另一方面，在成像图片的帧频FV超过闪烁频率FL的两倍的情况下，处理前进到步骤ST40。
[0251] 在步骤ST39中，成像装置执行第二校正模式的闪烁校正。在成像图片的帧频FV超过闪烁频率FL但不超过该频率的两倍的情况下，成像装置如在上文描述的第二操作类似地执行闪烁校正。特别地，如第二操作中所述，控制部45设置两种光强度检测像素并控制成像部运行，使得成像像素生成根据快门速度的曝光时间的像素信号并且光强度检测像素生成闪烁循环周期的曝光时间的像素信号。在第二校正模式中，图像信号处理部使用从中已经获得了闪烁循环周期的曝光时间的像素信号的光强度检测像素组的像素值来执行线性内插，并计算具有与预定像素范围中的成像像素组相同的空间相位的光强度检测像素组的像素值，然后基于计算的像素值和预定像素范围中的成像像素组的像素值来计算闪烁校正增益。进一步地，图像信号处理部使用计算的闪烁校正增益校正闪烁校正对象的成像像素的像素信号。
[0252] 在步骤ST40中，成像装置执行第三校正模式的闪烁校正。在步骤ST40中成像图片的帧频FV超过闪烁频率FL的两倍但是不超过该频率的四倍的情况下，成像装置设置四种光强度检测像素执行闪烁校正。特别地，控制部45设置四种光强度检测像素并控制成像部运行，使得成像像素生成根据快门速度的曝光时间期间的像素信号，而光强度检测像素生成闪烁循环周期的曝光时间期间的像素信号。在第三校正模式中，图像信号处理部使用从中已经获得了闪烁循环周期的曝光时间期间的像素信号的光强度检测像素组的像素值来执行线性内插，并计算具有与预定像素范围中的成像像素组的像素位置相同的空间运动的像素值。进一步地，图像信号处理部基于所计算的像素值和预定像素范围中的成像像素组的像素值计算闪烁校正增益。此外，图像信号处理部使用计算的闪烁校正增益校正闪烁校正对象的成像像素的像素信号。
[0253] 用这样的方式，在第三实施方式中，甚至在用户不使用用户界面部41根据照明环境执行闪烁频率的指定操作等等的情况下，由于闪烁检测部自动地检测闪烁是否存在和闪烁频率，所以可以恰当地执行闪烁校正。
[0254] 进一步地，虽然如上所述的第三实施方式旨在说明在未获得闪烁信息的情况下执行闪烁检测的操作，但是无论是否获得闪烁信息都可以另外执行闪烁检测。在这种情况下，当已经通过闪烁信息获得的闪烁频率和由闪烁检测部43检测的闪烁频率彼此不同时，执行通知用户等等频率不同的处理，或例如优先地使用所检测到的闪烁频率。这样使得可以用不同于照射光的强度变化的闪烁频率执行闪烁校正。
[0255] <4.第四实施方式>
[0256] 顺便提及，在如上所述的第一和第二实施方式中，在成像部的成像平面上不仅设置成像像素还设置光强度检测像素。进一步地，如上所述，随着成像图片的帧频变高，需要设置越来越多种的光强度检测像素。所以，存在随着成像图片的帧频变高成像图片的空间分辨率可能降低的可能性。所以，如下所述的第四实施方式旨在说明抑制成像图片的空间分辨率的降低的情况。
[0257] 图24描述了第四实施方式的操作的示例。在要设置成像像素和光强度检测像素的情况下，控制部45将光强度检测像素布置为变得稀疏。图24(a)描述了在没有变稀疏的状态下布置四种光强度检测像素的情况下的操作，图24(b)描述了四种光强度检测像素变得稀疏地布置的另一情况的操作。在没有变得稀疏的状态下布置四种光强度检测像素的情况下，在成像像素的行之间设置四种光强度检测像素的行。另一方面，在将四种光强度检测像素稀疏布置的情况下，在成像像素的行之间设置两种光强度检测像素的行，使得成像像素的行的上侧和下侧的光强度检测像素的种类彼此不同。如果用这样的方式稀疏地布置光强度检测像素，即使成像图片的帧频变高，也可以抑制成像像素的减少，因此可以抑制成像图片的空间分辨率的降低。
[0258] 图25例示了根据闪烁校正对象的的成像像素的预定像素范围。校正增益计算部32针对由一对同种类光强度检测像素的行夹住的两行中的成像像素来计算闪烁校正增益。请注意，假定在图25中对于闪烁校正对象的成像像素的曝光时间的闪烁循环周期是第一光强度检测像素的曝光时间。进一步地，假定行Lm和行Lm+3上的第n个像素P(m,n)和P(m+3,n)(其是由作为第一光强度检测像素的行的行LM-2和行Lm+4夹住的成像像素)被确定为闪烁校正对象的成像像素的行位置。进一步地，假定闪烁校正对象的像素P(m,n)的像素值为r(m,n)，并且像素P(m,n)的相对侧的成像像素的像素值为r(m,n-1)和r(m,n+1)。进一步地，闪烁校正对象的像素P(m+3,n)的像素值为r(m+3,n)，并且像素P(m+3,n)的相对侧的成像像素的像素值为r(m+3,n-1)和r(m+3,n+1)。进一步地，行Lx上的像素(光强度检测像素)的像素值是a(x,n-1)、a(x,n)和a(x,n+1)。
[0259] 图像信号处理部的校正增益计算部32基于表达式(27)计算闪烁校正增益。
[0260] 闪烁校正增益＝(首先光强度检测像素组的像素值WTam/成像像素组的像素值WTrm)...(27)
[0261] 对于成像像素组的像素值WTrm，例如，使用如表达式(28)所示的成像像素的平均像素值。
[0262] WTrm＝(r(m,n-1)+r(m,n)+r(m,n+1))/3...(28)
[0263] 对于第一光强度检测像素组的像素值WTa，利用光强度检测像素组的像素值和具有与闪烁校正对象的成像像素组相同的空间相位的光强度检测像素组的像素值来执行线性内插，并使用计算的像素值的平均值作为像素值WTa。
[0264] 校正增益计算部32分别根据表达式(29)到(31)计算与成像像素的行Lm相同的空间相位的像素值a(m,n-1)、a(m,n)和a(m,n+1)。进一步地，校正增益计算部32执行由表达式(32)表示的算术运算，以计算光强度检测像素组的像素值WTa。
[0265] a(m,n-1)＝0.667×a(m-2,n-1)+0.333×a(m+4,n-1)...(29)
[0266] a(m,n)＝0.667×a(m-2,n)+0.333×a(m+4,n)...(30)
[0267] a(m,n+1)＝0.667×a(m-2,n+1)+0.333×a(m+4,n+1)...(31)
[0268] WTam＝(a(m,n-1)+a(m,n)+a(m,n+1))/3...(32)
[0269] 校正增益计算部32将计算的闪烁校正增益(即由表达式(33)表示的闪烁校正增益HG(m,n))输出至闪烁校正部33。
[0270] HG(m,n)＝(WTam/WTrm)
[0271] ＝(0.667×(a(m-2,n-1)+a(m-2,n)+a(m-2,n+1))+0.333×(a(m+4,n-1)+a(m+4,n)+a(m+4,n+1)))/(r(m,n-3)+r(m,n)+r(m,n+3))...(33)
[0272] 同时，对于成像像素组的像素值WTrma，例如如表达式(34)所示使用成像像素的平均像素值。
[0273] WTrma＝(r(m+3,n-1)+r(m+3,n)+r(m+3,n+1))/3...(34)
[0274] 对于第一光强度检测像素组的像素值WTama，利用光强度检测像素组的像素值和具有与闪烁校正对象的成像像素组相同的空间相位的光强度检测像素组的像素值来执行线性内插，并使用计算的像素值的平均值作为像素值WTama。
[0275] 校正增益计算部32分别根据表达式(35)到(37)计算与成像像素的行Lm上的位置对应的像素值a(m,n-1)、a(m,n)和a(m,n+1)。进一步地，校正增益计算部32执行由表达式(38)表示的算术运算，以计算光强度检测像素组的像素值WTa。
[0276] a(m+3,n-1)＝0.167×a(m-2,n-1)+0.833×a(m+4,n-1)...(35)
[0277] a(m+3,n)＝0.167×a(m-2,n)+0.833×a(m+4,n)...(36)
[0278] a(m+3,n+1)＝0.167×a(m-2,n+1)+0.833×a(m+4,n+1)...(37)
[0279] WTama＝(a(m+3,n-1)+a(m+3,n)+a(m+3,n+1))/3...(38)
[0280] 校正增益计算部32将计算的闪烁校正增益(即由表达式(39)表示的闪烁校正增益HG(m+3,n))输出至闪烁校正部33。
[0281] HG(m+3,n)＝(WTama/WTrma)
[0282] ＝(0.167×(a(m-2,n-1)+a(m-2,n)+a(m-2,n+1)+0.833×(a(m+4,n-1)+a(m+4,n)+a(m+4,n+1)))/(r(m,n-3)+r(m,n)+r(m,n+3))...(39)
[0283] 闪烁校正部33使用由校正增益计算部32计算的闪烁校正增益HG(m,n)执行成像像素(即，闪烁校正对象的像素P(m,n))的增益调节。进一步地，闪烁校正部33使用由校正增益计算部32计算的闪烁校正增益HG(m+3,n)执行闪烁校正对象的成像像素的增益调节。
[0284] 图像信号处理部通过对每个成像像素执行如上所述的处理来生成闪烁对其影响降低的图像信号。
[0285] 图26描述了作为第四实施方式的操作的另一示例的彩色成像图片的情况。在成像部21a中的颜色分量像素的阵列为拜耳阵列的情况下，控制部45与第二实施方式类似地以设定2×2个像素的像素块作为成像像素和光强度检测像素的像素单元的方式稀疏布置光强度检测像素。如果用这样的方式稀疏地布置光强度检测像素，即使成像图片的帧频变高，也可以抑制成像像素的减少，因此可以抑制成像图片的空间分辨率的降低。
[0286] 图27描述了作为第四实施方式的另一操作示例的彩色成像图片的另一情况。在成像部21a中的彩色分量像素的阵列是拜耳阵列的情况下，控制部45如第二实施方式那样设定例如1×2像素的两个像素块作为成像像素和光强度检测像素的像素单元来稀疏布置光强度检测像素。如果用这样的方式稀疏地布置光强度检测像素，即使成像图片的帧频变高，也可以抑制成像像素的减少，因此可以抑制成像图片的空间分辨率的降低。应当注意，图27(a)表示了设置四种光强度检测像素的情况，图27(b)描述了设置六种光强度检测像素的情况。
[0287] 进一步地，在设置四种光强度检测像素的情况下，需要针对每一组执行第一光强度检测像素的行和第二光强度检测像素的行的替换以及第三光强度检测像素的行和第四光强度检测像素的行的替换。例如，如果不执行第一光强度检测像素的行和第二光强度检测像素的行的替换，那么当在水平方向相同的像素块中第二光强度检测像素的行包括红像素和绿像素时，同样在第二光强度检测像素的下一行中，其包括红像素和绿像素。所以，执行行的替换使得在第二光强度检测像素的下一行中，获得绿像素和蓝像素的像素信号。特别地，依次使用第二光强度检测像素的行使得可以获得拜耳阵列的2×2个像素的像素块的彩色分量像素的像素信号。其也类似地应用于其他光强度检测像素的行。应当注意，在设置六种光强度检测像素的情况下，没有执行光强度检测像素的行的替换的必要性。
[0288] 图28是说明在稀疏布置四种光强度检测像素的情况下闪烁校正增益的计算操作的视图。例如，如果使用第一光强度检测像素的行Lj-2r和另一行Lj+2b上的1×2个像素的两个图像块，那么由于获得针对拜耳阵列的2×2个像素的彩色分量像素的每一个的像素信号，所以校正增益计算部32使用行Lj-2r和行Lj+2b上的1×2个像素的两个图像块的像素信号来计算亮度值Ya1。类似地，校正增益计算部32使用第一光强度检测像素的行Lj+2r和另一行Lj+3b上的1×2个像素的两个图像块的像素信号来计算亮度值Ya2。
[0289] 进一步地，由于如果使用成像像素的行Ljr和另一行Ljb上的1×2个像素的两个图像块则可以获得针对拜耳阵列的2×2个像素的各彩色分量像素的像素信号，所以校正增益计算部32使用行Ljr和行Ljb上的1×2个像素的两个图像块的像素信号来计算亮度值Yrj1。
[0290] 类似地，由于如果使用成像像素的行Ljb和另一行L'jr上的1×2个像素的两个图像块则可以获得拜耳阵列的2×2个像素的像素信号，所以校正增益计算部32使用行Ljb和行L'jr上的1×2个像素的两个图像块的像素信号来计算亮度值Yaj2。进一步地，校正增益计算部32针对水平方向上的各个块位置计算图像信号，并且例如计算如图28(b)所述的块位置k-1,k和k+1处的亮度值。
[0291] 此外，校正增益计算部32针对成像像素的亮度值Yrj1和Yrj2的每一个根据光强度检测像素的亮度值Yar1和另一亮度值Yar2来计算相应空间相位的亮度值，并且根据成像像素的亮度值和具有与成像像素相同空间相位的光强度检测像素的亮度值之间的比率计算闪烁校正增益。例如，由于亮度值Yrj1和亮度值Yaj1具有彼此相同的空间相位，所以校正增益计算部32将亮度值Yr(j1,k-1)、Yr(j1,k)和Yr(j1,k+1)的平均值和亮度值Ya(j1,k-1)、Ya(j1,k)和Ya(j1,k+1)的平均值之间的比率确定为亮度值Yr(j1,k)的闪烁校正增益。
[0292] 进一步地由于亮度值Yrj2具有与亮度值Yaj1和亮度值Yaj2的平均值相同的空间相位，所以校正增益计算部32将亮度值Yr(j2,k-1)、Yr(j2,k)和Yr(j2,k+1)的平均值和亮度值Ya(j1,k-1)、Ya(j1,k)、Ya(j1,k+1)、Ya(j2,k-1)、Ya(j2,k)和Ya(j2,k+1)的平均值之间的比率确定为亮度值Yr(j2,k)的闪烁校正增益。
[0293] 此外，校正增益计算部32使用针对亮度值计算的闪烁校正增益来针对用于计算成像像素的亮度值的1×2个像素的像素块来设定闪烁校正增益。例如，由于行Ljb被用于计算亮度值Yrj1和亮度值Yrj2，所以校正增益计算部32使用亮度值Yrj1和亮度值Yrj2的闪烁校正增益来计算对应于行Ljb的空间相位的闪烁校正增益。在图28(a)的情况下，由于行Ljb的空间相位是亮度值Yrj1和亮度值Yrj2之间的中点，所以校正增益计算部32将成像像素的块(Ljb,k)的闪烁校正增益设定为Yr(j1,k)的闪烁校正增益和Yr(j2,k)的闪烁校正增益的平均值。
[0294] 用这样的方式，在本年技术的成像装置中，通过稀疏地布置光强度检测像素，可以抑制成像像素的减少。进一步地，即使光强度检测像素变得稀疏，但是由这种如上所述的处理可以针对成像像素的每一个像素或亮度值的每个计算单位计算闪烁校正增益。因此，即使抑制了成像像素的减少，但是仍可以实现与如上所述的实施方式类似的工作效果。
[0295] <5.应用示例>
[0296] 如上所述的实施方式表示的成像装置例如适合于可以执行静止图像和移动图像的成像的成像装置。虽然对于静止图像的成像，要求高像素数目的成像元件使得可以执行高分辨率成像图片的打印等等，但是在移动图像的成像中，如果成像装置具有与显示器设备对应的像素数目是足够的。因此，在使用高像素数目的成像元件执行移动图像的成像的情况下，由于一些像素不用来成像，如果未用作成像的像素被用作光强度检测像素，那么可以同样在移动图片的成像时有效地利用高像素数目的成像元件。
[0297] <6.移动体的应用示例>
[0298] 根据本公开的技术可以被用于各种产品。例如，根据本公开的技术可以实现为并入各种型式的移动体例如汽车、电动汽车、混动电动汽车，摩托车、脚踏车、个人移动体、飞机、靶标、船、机器人等等中的任一种中的设备。
[0299] 图29是描述作为可以应用根据本公开的实施方式的技术的移动体控制系统的示例的车辆控制系统的示意性配置的示例的方框图。
[0300] 车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图29中所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车体系统控制单元
12020、车外信息检测单元12030、车内信息检测单元12040和综合控制单元12050。另外，将微型计算机12051、声音/图像输出部12052和车载网络接口(I/F)12053作为综合控制装置
12050的功能配置进行表示。
12020、车外信息检测单元12030、车内信息检测单元12040和综合控制单元12050。另外，将微型计算机12051、声音/图像输出部12052和车载网络接口(I/F)12053作为综合控制装置
12050的功能配置进行表示。
[0301] 驱动系统控制单元12010根据各种程序控制与车辆的驱动系统有关的装置的操作。例如，驱动系统控制单元12010用作生成车辆的驱动力的驱动力生成装置(例如内燃机、驱动马达等等)、用于将驱动力传送至车轮的驱动力传送机构、用于调节车辆的转向角的转向机构、用于生成车辆的制动力的制动装置等等的控制装置。
[0302] 车体系统控制单元12020根据各种程序控制装配到车身上的各种装置的操作。例如，车体系统控制单元12020用作无钥匙进入系统、智能钥匙系统、自动开闭式车窗装置或各种灯例如头灯、倒车灯、刹车灯、转向灯、汽车雾灯等等的控制装置。在这种情况下，可以将作为钥匙的替代而从移动装置传送的无线电波或各种开关的信号输入到车体系统控制单元12020。车体系统控制单元12020接收这些输入的无线电波或信号，并且控制车辆的门锁装置、自动开闭式车窗装置、灯等等。
[0303] 车外信息检测单元12030检测有关包括车辆控制系统12000的车辆外部的信息。例如，车外信息检测单元12030与成像部12031连接。车外信息检测单元12030使成像部12031对车辆外部的图像进行成像，并接收所成像的图像。基于所接收的图像，车外信息检测单元12030可以执行检测对象例如人、车辆、障碍物、标记、路面的字符等等的处理或检测与其距离的处理。
[0304] 成像部12031是光学传感器，其接收光并且将对应于所接收的光的光量的电信号输出。成像部12031可以将电信号作为图像输出，或可以将电信号作为与测量距离有关的信息输出。另外，由成像部12031接收到的光可以是可见光，或可以是不可见光例如红外线等等。
[0305] 车内信息检测单元12040检测有关车辆内部的信息。车内信息检测单元12040例如与检测驾驶员状态的驾驶员状态检测部12041连接。驾驶员状态检测部12041例如包括对驾驶员成像的照相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可以计算驾驶员的疲劳度或驾驶员的集中度，或可以确定驾驶员是否在打瞌睡。
[0306] 微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获得的有关车内或车外的信息计算用于驱动力生成装置、转向机构或制动装置的控制目标值，并且将控制命令输出至驱动系统控制单元12010。例如，微型计算机12051可以执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括车辆的防撞或缓冲、根据车距的跟随驾驶、车辆速度保持驾驶、车辆碰撞告警、车辆偏离车道告警等等。
[0307] 另外，微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获得的有关车内或车外的信息，通过控制驱动力生成装置、转向机构、制动装置等等执行旨在自动驾驶的协同控制，其使车辆在不依靠驾驶员的操作的情况下自主地行进。
[0308] 另外，微型计算机12051可以基于有关由车外信息检测单元12030获得的车外的信息将控制命令输出至车体系统控制单元12020。例如，微型计算机12051可以例如根据由车外信息检测单元12030检测的前方车辆或迎面车辆的位置而控制头灯以便从远光灯改为近光来执行旨在防止眩目的协同控制。
[0309] 声音/图像输出部12052将声音和图像的至少一个的输出信号传送到能够在视觉上或听觉上向车辆的乘坐者或车辆外部通知信息的输出装置。在图29的示例中，音频扬声器12061、显示器部12062和仪表盘12063表示为输出装置。显示器部12062可以例如包括机载显示器和平视显示器的至少一种。
[0310] 图30是描述成像部12031的安装位置的示例的示意图。
[0311] 在图30中，成像部12031包括成像部12101、12102、12103、12104和12105。
[0312] 成像部12101、12102、12103、12104和12105例如布置在12100的前鼻翼、侧视镜、后保险杆和后门处的位置以及车辆内部挡风玻璃的上部。设置在前鼻翼的成像部12101和设置在车辆内部的挡风玻璃的上部的成像部12105主要获取车辆12100的前面的图像。设置在侧视镜的成像部12102和12103主要获取车辆12100的侧面的图像。设置在后保险杆或后门的成像部12104主要获取车辆12100的后面的图像。设置在车辆的内部挡风玻璃的上部的成像部12105主要用来检测前方车辆、行人、障碍物、信号、交通标志、车道等等。
[0313] 顺便提及，图30描述了成像部12101到12104的摄影范围的示例。成像范围12111表示设置在前鼻翼的成像部12101的成像范围。成像范围12112和各自表示设置在侧视镜的成像部12102和12103的成像范围。成像范围12114表示设置在后保险杆或后门的成像部12104的成像范围。从上方观察的车辆12100的鸟瞰图像通过例如将由成像部12101到12104成像的图像数据进行叠加而获得。
[0314] 成像部12101到12104的至少一个可以具有获得距离信息的功能。例如，成像部12101到12104的至少一个可以是由多个成像元件构成的立体照相机，或可以是具有用于相差检测的像素的成像元件。
[0315] 例如，微型计算机12051可以基于从成像部12101到12104获得的距离信息来确定到成像范围12111到12114内的各三维对象的距离以及距离(对于车辆12100的相对速度)的暂时变化，并且从而提取车辆12100的行进路径上存在并且以预定速度(例如，等于或大于0千米/小时)在与车辆12100实质上相同的方向上行进的具体你的最近的三维对象作为前方车辆。进一步地，微型计算机12051可以预先设定在前方车辆之前要保持的跟随距离，并且执行自动制动控制(包括跟随停止控制)、自动加速度控制(包括跟随起动控制)等等。因此可以执行旨在使车辆不依靠驾驶员等等的操作自主行进的自动驾驶的协同控制。
[0316] 例如，微型计算机12051可以基于从成像部12101到12104获得的距离信息将三维对象的三维对象数据分为双轮车辆、标准尺寸车辆、大型车辆，行人、电线杆、及其他三维对象的三维对象数据，提取分类的三维对象数据，并使用提取的三维对象数据用于障碍物的自动躲避。例如，微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员可以视觉上识别的障碍物和车辆12100的驾驶员在视觉上很难识别的障碍物。然后，微型计算机12051确定表示与各障碍物碰撞的风险的碰撞风险。在碰撞风险等于或高于设定值并且因此存在碰撞的可能性的情况下，微型计算机12051经由音频扬声器12061或显示器部12062向驾驶员输出告警，并且经由驱动系统控制单元12010执行强制减速或避让转向。微型计算机12051可以从而辅助驾驶以避免碰撞。
[0317] 成像部12101到12104的至少一个可以是检测红外线的红外照相机。微型计算机12051可以例如通过确定在成像部12101到12104的成像图像中是否存在行人而识别行人。
这种行人的识别例如通过提取作为红外照相机的成像部12101到12104的成像图像中的特征点的过程和通过对表示对象轮廓的一系列特征点执行图案匹配来确定是否是行人的过程来执行。当微型计算机12051确定成像部12101到12104的成像图像中存在行人并因此识别行人时，声音/图像输出部12052控制显示器部12062使得显示重点的正方形轮廓线以便其叠加在识别的行人上。声音/图像输出部12052还可以控制显示器部12062以便在所要求位置显示表示行人的图标等等。
这种行人的识别例如通过提取作为红外照相机的成像部12101到12104的成像图像中的特征点的过程和通过对表示对象轮廓的一系列特征点执行图案匹配来确定是否是行人的过程来执行。当微型计算机12051确定成像部12101到12104的成像图像中存在行人并因此识别行人时，声音/图像输出部12052控制显示器部12062使得显示重点的正方形轮廓线以便其叠加在识别的行人上。声音/图像输出部12052还可以控制显示器部12062以便在所要求位置显示表示行人的图标等等。
[0318] 已经描述了可以应用本公开的技术的车辆控制系统的示例。根据本公开的技术可以被用于在上文描述配置中的成像部12031、12101、12102、12103、12104、12105等等。例如，通过将根据本公开的技术应用于成像部12031、12101、12102、12103、12104、12105等等，即使将照射光具有周期性波动的强度的照明设备用于道路、停车场等等的照明，也可以获得照射光的强度波动对其影响降低的成像图片，因此可以降低驾驶员疲劳度。进一步地，在成像图片用于自动驾驶等的情况下，由于降低了照射光的强度波动的影响，所以与未使用本技术的替代情况相比有助于驱动控制。
[0319] 本说明书中的一系列处理可以由硬件或软件或它们的组合配置来执行。在执行软件的处理的情况下，将其中记录了处理顺序的程序安装到并入专用的硬件中的计算机中的存储器中并执行。作为选择，可以将程序安装到可以执行各种处理的通用的计算机中，以便由计算机执行。
[0320] 例如，可以将程序预先记录在作为记录介质的硬盘、SSD(固态驱动器)或ROM(只读存储器)中。否则，可以将程序暂时或永久地存储(记录)在可移动记录介质上，例如柔性磁盘、CD-ROM(只读光盘)、MO(磁光)盘、DVD(数字多用途磁盘)、BD(蓝光磁盘(注册商标))、磁盘或半导体存储器卡上。刚才描述的这种可移动记录介质可以设置为所谓的包装软件。
[0321] 进一步地，不但可以将程序从可移动记录介质安装到计算机中还可以通过网络例如LAN(局域网)或因特网通过无线或有线传输从下载点传输至计算机。计算机可以用这样的方式接收传输的程序并将程序安装到记录介质例如嵌入硬盘中。
[0322] 应当注意，本说明书中描述的有利效果自始至终是示例性的，不是限制性的，本文未描述的其他附加优点可以是可得到的。进一步地，本技术不应该限制性地理解为如上所述的技术的实施方式。本技术的实施方式以范例形式公开了本技术，并且显而易见的是本领域技术人员可以在不脱离本公开的主旨的前提下做出实施方式的各种修改和替换。特别地，为了确定本技术的主题，应考虑到权利要求书。
[0323] 进一步地，本技术的成像装置还可以采取如下所述的这种配置。
[0324] (1)一种成像装置，其包含：
[0325] 校正增益计算部，其配置为基于用于获取成像图片的成像像素的像素信号和用于检测照射光的强度的光强度检测像素的像素信号来计算闪烁校正增益；和
[0326] 控制部，其配置为分别针对所述成像像素和所述光强度检测像素设定曝光定时和曝光时间。
[0327] (2)根据(1)所述的成像装置，其中
[0328] 所述控制部根据快门速度将针对所述成像像素的所述曝光时间设定为一个周期并且将针对所述光强度检测像素的所述曝光时间设定为所述照射光的强度变化的循环周期，以及将针对所述成像像素和所述光强度检测像素的所述曝光定时设定为与曝光开始、曝光结束和所述曝光时间的中点中的任一个相同的定时。
[0329] (3)根据(1)或(2)所述的成像装置，其中
[0330] 所述控制部基于所述成像图片的帧周期和所述照射光的强度变化的周期设置所述光强度检测像素的一个或多个像素组，以针对所述成像图片的每一帧通过所述光强度检测像素的所述像素组的任一个获得在所述曝光时间期间的像素信号，所述曝光时间是所述照射光的所述强度变化的循环周期。
[0331] (4)根据(3)所述的成像装置，其中
[0332] 所述控制部随着所述照射光的所述强度变化的周期中包括的所述成像图片的帧周期的数目增加而设置所述光强度检测像素的增加数目的像素组，并且
[0333] 所述校正增益计算部基于像素群的所述光强度检测像素的所述像素信号计算闪烁校正增益，所述曝光时间期间的所述像素信号从该像素群获得，所述曝光时间是所述照射光的所述强度变化的循环周期。
[0334] (5)根据(1)至(4)中任一项所述的成像装置，进一步包含：
[0335] 闪烁检测部，其配置为针对闪烁检测第一像素和闪烁检测第二像素的每一帧基于所述像素信号的信号电平变化来检测所述照商业射光的强度变化的周期，所述闪烁检测第一像素的曝光时间是第一商业电源频率的周期，所述闪烁检测第二像素的曝光时间是第二商业电源频率的周期。
[0336] (6)根据(5)所述的成像装置，其中
[0337] 所述控制部在计算所述闪烁校正增益之前将所述光强度检测像素或者所述光强度检测像素和所述成像像素设定为所述闪烁检测第一像素和所述闪烁检测第二像素，并且控制所述闪烁检测部执行闪烁检测，然后在所述闪烁检测之后将由所述闪烁检测部检测的周期设定为针对所述光强度检测像素的曝光时间。
[0338] (7)根据(1)至(6)中任一项所述的成像装置，其中
[0339] 所述控制部将由多个彩色分量像素构成的像素块确定为所述成像像素和所述光强度检测像素的像素单位，以及
[0340] 所述校正增益计算部基于由构成所述成像像素和所述光强度检测像素的所述像素块的所述彩色分量像素的像素信号计算的亮度值来计算所述闪烁校正增益。
[0341] (8)根据(1)至(7)中任一项所述的成像装置，其中
[0342] 所述校正增益计算部利用所述光强度检测像素的所述像素信号执行内插处理，以生成各自具有与所述成像像素相同的空间相位的光强度检测像素的像素信号，并且基于所述成像像素的像素信号和各自具有与所述成像像素相同的所述空间相位的所述光强度检测像素的像素信号来计算针对所述成像像素的每一个的闪烁校正增益。
[0343] (9)根据(1)至(8)中任一项所述的成像装置，其中
[0344] 所述校正增益计算部根据闪烁校正对象的成像像素基于在水平方向和垂直方向上的多个成像像素和光强度检测像素的像素信号来计算所述闪烁校正对象的成像像素的闪烁校正增益。
[0345] (10)根据(1)至(9)中任一项所述的成像装置，其中
[0346] 所述成像像素和所述光强度检测像素彼此相邻设置。
[0347] (11)根据(10)所述的成像装置，其中
[0348] 所述成像像素和所述光强度检测像素在垂直方向上彼此相邻设置。
[0349] (12)根据(1)至(11)中任一项所述的成像装置，其中
[0350] 所述光强度检测像素稀疏地布置，并且
[0351] 所述校正增益计算部利用所述光强度检测像素的所述像素信号执行内插处理来计算各自具有与所述成像像素相同的空间相位的光强度检测像素的像素信号。
[0352] (13)根据(1)至(12)中任一项所述的成像装置，进一步包含：
[0353] 闪烁校正部，其配置为利用由所述校正增益计算部计算的所述闪烁校正增益执行所述成像像素的闪烁校正。
[0354] 工业实用性
[0355] 根据本技术的成像装置、闪烁校正方法和程序，分别设定用于获取成像图片的成像像素和用于检测照射光强度的光强度检测像素的曝光定时额曝光时间，并且基于由成像像素生成的像素信号和由光强度检测像素生成的像素信号计算各成像像素的闪烁校正增益。所以，由于不论照明设备和成像对象之间的位置关系如何都可以获得对其照明度的波动的影响降低的成像图片，所以本技术适合于其中照明强度响应于商业电源频率变化的照明环境下对移动图像成像的成像装置。
[0356] 参考标记列表
[0357] 10、10a、10b...成像装置
[0358] 21、21a...成像部
[0359] 30、30a...图像信号处理部
[0360] 31...亮度计算部
[0361] 32...校正增益计算部
[0362] 33...闪烁校正部
[0363] 34...彩色图像信号生成部
[0364] 41...用户界面(I/F)部
[0365] 43...闪烁检测部
[0366] 45...控制部
[0367] 50...外围部
[0368] 51...记录部
[0369] 52...信号输出部
[0370] 53...显示器部。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| X射线闪烁体光学成像系统 | 2020-05-12 | 434 |
| 用于核成像的吸湿闪烁晶体的封装 | 2020-05-12 | 673 |
| 用于射线成像装置的闪烁探测器 | 2020-05-11 | 136 |
| 用于射线成像装置的闪烁探测器 | 2020-05-11 | 65 |
| 自适应抑制组织闪烁的超声成像方法和设备 | 2020-05-15 | 483 |
| 闪烁体板、放射线成像装置和闪烁体板的制造方法 | 2020-05-14 | 820 |
| 高效能造影成像探测器闪烁晶体阵列 | 2020-05-13 | 52 |
| 用于核成像装置的闪烁探测器 | 2020-05-14 | 831 |
| 造影成像探测器闪烁晶体阵列及其制造方法 | 2020-05-15 | 836 |
| X射线闪烁体光学成像系统 | 2020-05-17 | 265 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈