[0001] 通过文献的
指定,在此引用2011年12月19日提出的日本
发明专利申请2011-277598号的公开内容。
技术领域
[0002] 本发明涉及电子
照相机,尤其涉及关注在摄像面捕捉到的场景内出现的特定物体来调整摄像条件的电子照相机。
背景技术
[0003] 根据这种照相机的一例,定义在
对比度AF处理中所参照的图像的聚焦框被设定成随着检测出/没有检测出人物面部而不同的方式。也就是说,如果没有检测出面部,则聚焦框被设定在固定
位置,如果检测出面部,则聚焦框被设定在面部的中央。
[0004] 但是,在上述的照相机中,由于面部检测的成功/失败的反复动作会引起聚焦框的配置的变动,由此有可能会降低与摄像条件的调整相关的性能。
发明内容
[0005] 根据本发明的电子照相机包括:摄像单元,其具有对表示场景的光学像进行捕捉的摄像面,并反复输出与所述光学像对应的电子图像;调整单元,其参照从摄像单元输出的电子图像中的、属于被分配给摄像面的调整区域内的部分图像来调整摄像条件;搜索单元,其从由摄像单元输出的电子图像中反复搜索特定物体像;更新单元,其根据由搜索单元探测到的特定物体像的属性,以不同的要领来更新调整区域的配置;设定单元,其在搜索单元持续没有探测到的时间达到了
阈值时,将调整区域的配置设定成既定配置;以及控制单元,其按照与由搜索单元探测到的特定物体像相当的特定物体越靠近场景的中央则越增大的方式,控制阈值的大小。
[0006] 根据本发明,提供一种摄像控制程序,为了控制具备摄像单元的电子照相机而暂时被记录在记录介质中,该摄像单元具有对表示场景的光学像进行捕捉的摄像面、且反复输出与光学像对应的电子图像,摄像控制程序使电子照相机的处理器执行如下步骤:调整步骤,参照从摄像单元输出的电子图像之中的、属于被分配给摄像面的调整区域内的部分图像来调整摄像条件;搜索步骤,从由摄像单元输出的电子图像之中反复搜索特定物体像;更新步骤,根据通过搜索步骤探测到的特定物体像的属性,以不同的要领来更新调整区域的配置;设定步骤,在搜索步骤持续没有探测到的时间达到了阈值时,将调整区域的配置设定成既定配置;以及控制步骤,按照与通过搜索步骤探测到的特定物体像相当的特定物体越靠近场景的中央则越增大的方式,控制阈值的大小。
[0007] 根据本发明的电子照相机,包括:摄像单元,其具有对表示场景的光学像进行捕捉的摄像面,并反复输出与光学像对应的电子图像;调整单元,其参照从摄像单元输出的电子图像之中的、属于被分配给摄像面的调整区域内的部分图像来调整摄像条件;搜索单元,其从由摄像单元输出的电子图像之中反复搜索表示特定物体的物体像;更新单元,其根据通过搜索单元探测到的物体像的属性,以不同的要领来更新调整区域的配置;以及设定单元,其在搜索单元持续没有探测到的时间达到了特定物体越靠近场景的中央则越增大的阈值时,将调整区域的配置设定成既定配置。
[0008] 根据参照
附图所进行的以下
实施例的详细说明,上述的本发明的特征以及优点将会变得更明确。
附图说明
[0009] 图1是表示本发明的一实施例的基本结构的
框图;
[0010] 图2是表示本发明的一实施例的结构的框图;
[0011] 图3是表示摄像面中的评价区域的分配状态的一例的图解图;
[0012] 图4(A)是表示在变焦前捕捉到的场景的一例的图解图;
[0013] 图4(B)是表示在变焦后捕捉到的场景的一例的图解图;
[0014] 图5(A)是表示调整区域的分配状态的一例的图解图;
[0015] 图5(B)是表示调整区域的分配状态的另一例的图解图;
[0016] 图6(A)是表示在变焦前捕捉到的场景的另一例的图解图;
[0017] 图6(B)是表示在变焦后捕捉到的场景的另一例的图解图;
[0018] 图7(A)是表示调整区域的分配状态的又一例的图解图;
[0019] 图7(B)是表示调整区域的分配状态的又一例的图解图;
[0020] 图8是表示摄像面中的中央区域以及周边区域的分布的一例的图解图;
[0021] 图9(A)是表示面部搜索结果的变化的一例的时序图;
[0022] 图9(B)是表示将在中央区域内探测到的面部图像包围的面部框字符的显示/不显示的变化的一例的时序图;
[0023] 图9(C)是表示将在周边区域内探测到的面部图像包围的面部框字符的显示/不显示的变化的一例的时序图;
[0024] 图10是表示应用于图2实施例中的面部检测
电路的结构的一例的框图;
[0025] 图11是表示应用于图2实施例中的CPU动作的一部分的
流程图;
[0026] 图12是表示应用于图2实施例中的CPU动作的另一部分的流程图;
[0027] 图13是表示应用于图2实施例中的CPU动作的又一部分的流程图;
[0028] 图14是表示应用于图2实施例中的CPU动作的又一部分的流程图;
[0029] 图15是表示本发明的其他实施例的结构的框图。
具体实施方式
[0030] 参照图1,本发明的一实施例的电子照相机基本上具有如下构成。摄像单元1具有对表示场景的光学像进行捕捉的摄像面,并反复输出与光学像对应的电子图像。调整单元2参照从摄像单元1输出的电子图像中的、属于分配给摄像面的调整区域内的部分图像,来调整摄像条件。搜索单元3从摄像单元1输出的电子图像之中反复搜索特定物体像。更新单元4根据由搜索单元3探测到的特定物体像的属性,以不同的要领来更新调整区域的配置。设定单元5在搜索单元3持续没有探测到的时间达到了阈值时,将调整区域的配置设定成既定配置。控制单元6控制阈值的大小,以使与由搜索单元3探测到的特定物体像相当的特定物体越靠近场景的中央越增大。
[0031] 为了调整摄像条件所参照的调整区域的配置,是根据探测到的特定物体像的属性以不同的要领被更新的,在特定物体像持续没有探测到的时间达到了阈值时,被设定为既定配置。在此,特定物体越靠近场景的中央,阈值的大小就越增大。由此,既能抑制因存在于场景内的特定物体的暂时性没有探测到所引起的摄像条件的紊乱,又能在特定物体离开场景之后迅速地变更摄像条件。因而,与摄像条件的调整相关的性能得以提高。
[0032] 参照图2,本实施例的
数码相机10包括分别由
驱动器20a~20c驱动的变焦透镜12、聚焦透镜14以及
光圈单元16。经过了这些部件的光学像被照射在成像仪18的摄像面,实施光电变换。由此,生成与光学像对应的电荷。
[0033] 若接通电源,则CPU38在摄像任务下,为了执行运动图像获取处理,命令驱动器20d反复进行曝光动作以及电荷读出动作。驱动器20d响应从未图示的SG(Signal Generator)以每1/30秒产生的垂直同步
信号Vsync,使摄像面曝光,且以光栅扫描方式读出在摄像面上生成的电荷。从成像仪18以30fps的
帧速率输出基于所读出的电荷的原始图像数据。
[0034] 前处理电路22对从成像仪18输出的原始图像数据实施数字箝位、
像素缺陷修正、增益控制等处理。实施了这些处理之后的原始图像数据通过
存储器控制电路24被写入SDRAM26的原始图像区域26a中。
[0035] 后处理电路28通过存储器控制电路24读出在原始图像区域26a内保存的原始图像数据,对所读出的原始图像数据实施
颜色分离处理、
白平衡调整处理以及YUV变换处理。由此生成的YUV形式的图像数据通过存储器控制电路24被写入SDRAM26的YUV图像区域
26b中。
[0036] LCD驱动器30通过存储器控制电路24反复读出在YUV图像区域26b内保存的图像数据,并基于所读出的图像数据,驱动LCD监视器32。其结果,在监视器画面显示表示由摄像面捕捉到的场景的实时运动图像(取景图像)。
[0037] 若操作了设置在键输入装置46中的变焦按钮46zm,则CPU38通过驱动器20a,使变焦透镜12在光轴方向上移动。其结果,取景图像的倍率发生变化。
[0038] 参照图3,向摄像面分配评价区域EVA。评价区域EVA在
水平方向以及垂直方向上分别被分割16
块,由256个分割区域形成评价区域EVA。另外,图2所示的前处理电路22除了执行上述处理之外,还执行将原始图像数据简易地变换为RGB数据的简易RGB变换处理。
[0039] AE/AF评价电路34在每当产生垂直
同步信号Vsync时,对由前处理电路22生成的RGB数据中的属于评价区域EVA的RGB数据进行积分。由此,响应垂直同步信号Vsync,从AE/AF评价电路34输出256个积分值、即256个AE评价值。
[0040] AE/AF评价电路34还在每当产生垂直同步信号Vsync时,对由前处理电路22生成的RGB数据中的属于评价区域EVA的RGB数据的高频分量进行积分。由此,响应垂直同步信号Vsync,从AE/AF评价电路34输出256个积分值、即256个AF评价值。
[0041] CPU38还在与摄像任务并行的摄像支援任务下反复执行面部搜索处理。在进行面部搜索处理时,在每当产生例如10次垂直同步信号Vsync时,向面部检测电路36发布搜索
请求。
[0042] 接受到搜索请求的面部检测电路36经过寄存器36e的初始化之后,使配置在YUV图像区域24b上的图像数据中的对照框从前端位置向末尾位置以光栅扫描方式移动,并将属于对照框的一部分图像数据的特征量与在辞典36d中注册的面部图像的特征量进行对照。如果探测到与在辞典36d中注册的面部图像相符的图像数据,则面部检测电路36将当前时刻的对照框的尺寸以及位置注册到寄存器36e中,并将搜索结束通知返回给CPU38。
[0043] 只要没有探测到与在辞典36d中注册的面部图像相符的图像数据,则对照框在每次到达末尾位置时便缩小,然后再次设定在前端位置。由此,具有互不相同的尺寸的对照框在图像数据上沿着光栅方向进行扫描。在最小尺寸的对照框到达了末尾位置时,也向CPU38返回搜索结束通知。
[0044] CPU38响应从面部检测电路36返回的搜索结束通知,判断是否探测到人物的面部图像。如果在寄存器36e中已经存在注册,则判断为探测到面部图像。与之相对,如果在寄存器36e中不存在注册,则判断为没有探测到面部图像。
[0045] 如果探测到面部图像,则CPU38向字符发生器40发布面部框字符显示命令。在面部框字符显示命令中描述已注册到寄存器36e中的尺寸以及位置。字符发生器40参照面部框字符显示命令的描述来生成面部框FK的字符数据,并将所生成的字符数据提供给LCD驱动器30。LCD驱动器30基于所提供的字符数据来驱动LCD监视器32,其结果,面部框字符FK以OSD方式被显示于LCD监视器32。
[0046] 因此,在以图4(A)、图4(B)或图6(A)所示的要领在LCD监视器32中显示取景图像时,面部框字符FK具有与人物的面部图像相当的尺寸,并被显示在包围人物的面部图像的位置上。
[0047] CPU38还将形成评价区域EVA的256个分割区域中的
覆盖面部框字符FK的一部分分割区域设定为调整区域ADJ。对应于以图4(A)所示的要领显示的面部框字符FK,以图5(A)所示的要领设定调整区域ADJ,对应于以图4(B)所示的要领显示的面部框字符FK,以图5(B)所示的要领设定调整区域ADJ,并且对应于以图6(A)所示的要领显示的面部框字符FK,以图7(A)所示的要领设定调整区域ADJ。
[0048] 在变焦按钮46zm处于非操作状态时,CPU30在每当探测到面部图像时将计时器值“T_long”设定为计时器TM。所设定的计时器TM迅速地被启动。如果没有探测到面部图像,则CPU30等待计时器TM变为超时(time out:经过相当于计时器值的时间),然后命令字符发生器40不显示面部框字符FK,并且初始化调整区域ADJ的设定。
[0049] 其结果,面部框字符FK从监视器画面消失,调整区域ADJ具有既定尺寸并被分配在摄像面的中央。以图6(B)所示的要领在监视器32中显示取景图像时,不显示面部框字符FK,以图7(B)所示的要领设定调整区域ADJ。
[0050] 每当探测到面部图像时被设定为计时器TM的计时器值,在变焦按钮46zm处于操作状态时,根据面部图像的位置而被调整为不同的值。具体而言,在面部图像处于图8所示的中央区域时,计时器值被设定为“T_long”。与之相对,在面部图像的至少一部分脱离中央区域而到了周边区域时,计时器值被设定为“T_short”。
[0051] 因此,在面部搜索处理的结果以图9(A)所示的要领发生变化时,面部框字符FK的显示/不显示相对于属于中央区域的面部图像而以图9(B)所示的要领发生变化,而相对于至少一部分到了周边区域的面部图像以图9(C)所示的要领发生变化。也就是说,对于从没有探测到面部图像开始到面部框字符FK从监视器画面消失为止的延期时间(=直到初始化调整区域ADJ的配置为止的延期时间)而言,刚刚之前探测到的面部图像的位置越靠近摄像面的周边则,则越能缩短该延缓时间。
[0052] 返回到摄像任务,在快
门按钮46sh处于非操作状态时,CPU38从AE/AF评价电路34输出的256个AE评价值之中提取属于以上述要领定义的调整区域ADJ的一部分AE评价值,基于提取出的AE评价值来执行简易AE处理。由驱动器20c以及20d设定对由此计算出的适当EV值进行定义的光圈量以及曝光时间。由此,以属于调整区域ADJ的部分图像为基准,粗略调整取景图像的明
亮度。
[0053] CPU38还基于从AE/AF评价电路34输出的256个AF评价值中的属于评价区域ADJ的一部分AF评价值,执行简易AF处理(=连续AF)。聚焦透镜14为了
跟踪对焦点,利用驱动器20b在光轴方向上移动。其结果,以属于调整区域ADJ的部分图像为基准,粗略调整取景图像的清晰度。
[0054] 若半按快门按钮46sh,则CPU38执行对属于调整区域ADJ的一部分AE评价值进行了参照的严格AE处理,并计算出最佳EV值。对所计算出的最佳EV值进行定义的光圈量以及曝光时间也被驱动器20c以及20d设定,由此取景图像的明亮度被严格调整。
[0055] CPU38还基于属于调整区域ADJ的一部分AF评价值,执行严格AF处理。聚焦透镜14为了搜索对焦点,利用驱动器20b在光轴方向上移动,并被配置于由此发现的对焦点上。
其结果,严格调整取景图像的清晰度。
[0056] 若全按快门按钮46sh,则CPU38自行执行静止图像获取处理,命令存储器I/F42执行记录处理。表示快门按钮46sh被全按时刻的场景的1帧图像数据,通过静止图像获取处理而从YUV图像区域26b退避到静止图像区域26c。被命令记录处理的执行的存储器I/F42,通过存储器控制电路24,读出退避到静止图像区域26c的1帧图像数据,并将所读出的图像数据以文件形式记录在记录介质44中。
[0057] 面部检测电路36的结构如图10所示。
控制器36a向SDRAM26的YUV图像区域26b分配矩形的对照框,通过存储器控制电路24读出属于对照框的一部分图像数据。所读出的图像数据经过SRAM36b而被提供至对照电路36c。
[0058] 在辞典36d中容纳表示人物的面部图像的模板。对照电路36c将从SRAM36b提供的图像数据与在辞典36d中容纳的模板进行对照。如果发现与图像数据相符的模板,则对照电路36c将当前时刻的对照框的位置以及尺寸注册至寄存器36e。
[0059] 对照框从SDRAM24的前端位置(左上位置)向末尾位置(右下位置)以光栅扫描方式按既定量为单位移动。另外,每当对照框到达末尾位置时,对照框的尺寸按照“大尺寸”→“中尺寸”→“小尺寸”的顺序被更新。如果“小尺寸”的对照框到达末尾位置,则从对照电路36c向CPU38返回搜索结束通知。
[0060] CPU38并行地执行包括图11~图12所示的摄像任务以及图13~图14所示的摄像支援任务在内的多个任务。此外,与这些任务对应的控制程序被存储于闪存48中。
[0061] 参照图11,在步骤S1中执行运动图像获取处理。其结果,在LCD监视器32中显示表示在摄像面捕捉到的场景的取景图像。在步骤S3中判断是否半按了快门按钮46sh,如果判断结果为“否”,则在步骤S17以及S19中执行简易AE处理以及简易AF处理。其结果,粗略地调整取景图像的明亮度以及清晰度。
[0062] 在步骤S21中判断是否操作了变焦按钮46zm,如果判断结果为“否”,则直接返回到步骤S3,而如果判断结果为“是”,则在步骤S23中使变焦透镜12在光轴方向上移动,然后返回到步骤S3。步骤S23的处理的结果为取景图像的倍率发生变化。
[0063] 如果步骤S3的判断结果从“否”被更新为“是”,则在步骤S5中执行严格AE处理,在步骤S7中执行严格AF处理。取景图像的明亮度通过严格AE处理而被严格地调整,取景图像的清晰度通过严格AF处理而被严格地调整。
[0064] 在步骤S9中判断是否全按了快门按钮46sh,在步骤S11中判断是否解除了快门按钮46sh的操作。如果步骤S11的判断结果为“是”,则直接返回步骤S3,如果步骤S9的判断结果为“是”,则经过步骤S13~S15的处理之后返回步骤S3。
[0065] 在步骤S13中执行静止图像获取处理。其结果,表示全按快门按钮46sh时刻的场景的1帧图像数据从YUV图像区域26b退避到静止图像区域26c。在步骤S15中,命令存储器I/F42执行记录处理。存储器I/F42通过存储器控制电路24读出被保存在静止图像区域26c中的1帧的图像数据,并将所读出的图像数据以文件形式记录在记录介质44中。
[0066] 参照图13,在步骤S31中初始化调整区域ADJ的设定。调整区域ADJ具有既定尺寸并被分配在摄像面的中央。在步骤S33中判断垂直同步信号Vsync是否产生了N次(N:例如10)。如果判断结果从“否”被更新为“是”,则进入步骤S35,为了进行面部搜索处理而向面部检测电路36发布搜索请求。
[0067] 面部检测电路36经过寄存器36e的初始化之后,使配置在YUV图像区域24b上的图像数据中的对照框从前端位置向末尾位置以光栅扫描方式移动,并将属于对照框的一部分图像数据的特征量与在辞典36d中注册的面部图像的特征量进行对照。如果探测到与在辞典36d中注册的面部图像相符的图像数据,则面部检测电路36将当前时刻的对照框的尺寸以及位置注册到寄存器36e中。如果执行向寄存器36e的注册、或者最小尺寸的对照框到达末尾位置,则面部检测电路36向CPU34返回搜索结束通知。
[0068] 如果从面部检测电路36返回搜索结束通知,则在步骤S37中判断是否探测到面部图像。如果在寄存器36e中已经存在注册,则判断为探测到面部图像,进入步骤S45。与之相对,如果在寄存器36e中不存在注册,则判断为没有探测到面部图像,进入步骤S39。
[0069] 在步骤S45中,向字符发生器40发布面部框字符显示命令。在所发布的面部框字符显示命令中描述了已注册在寄存器36e中的尺寸以及位置。字符发生器40参照面部框字符显示命令的描述而生成面部框字符FK的字符数据,并将所生成的字符数据提供给LCD驱动器30。LCD驱动器30基于所提供的字符数据,驱动LCD监视器32,其结果,在LCD监视器32中以OSD方式显示(或更新)面部框字符FK。
[0070] 在步骤S47中,将对这样显示出的面部框字符FK进行覆盖的一部分分割区域设定为调整区域ADJ。因此,只要探测到面部图像,就以跟踪探测到的面部图像的方式来更新调整区域ADJ的配置。在步骤S49中判断变焦按钮46zm的操作是否处于正在执行中,在步骤S51中判断探测到的面部图像的至少一部分是否偏离中央区域。
[0071] 如果步骤S49的判断结果以及步骤S51的判断结果都为“是”,则在步骤S53中将计时器值“T_short”设定为计时器TM。与之相对,如果步骤S49的判断结果以及步骤S51的判断结果的至少一方为“否”,则在步骤S55中将计时器值“T_long”设定为计时器TM。如果步骤S53或S55的处理结束,则在步骤S57中使计时器TM启动,然后返回步骤S33。
[0072] 在步骤S39中判断计时器TM是否发生了超时,如果判断结果为“否”,则返回步骤S33,而如果判断结果为“是”,则进入步骤S41。在步骤S41中命令字符发生器40不显示面部框字符FK,在步骤S43中初始化调整区域ADJ的设定。步骤S41的处理的结果为面部框字符FK从监视器画面消失。另外,步骤S43的处理的结果为:调整区域ADJ具有既定尺寸并分配在摄像面的中央。如果步骤S43的处理结束,则返回步骤S33。
[0073] 根据以上说明可知,成像仪18具有对表示场景的光学像进行捕捉的摄像面,并反复输出与光学像对应的原始图像数据。CPU38基于从成像仪18输出的原始图像数据中的、属于分配给摄像面的调整区域ADJ内的一部分原始图像数据,调整曝光量以及焦点(S5~S7、S17~S19)。CPU38还从基于成像仪18输出的原始图像数据的YUV形式的图像数据中反复搜索人物的面部图像(S35),根据探测到的面部图像的位置和/或尺寸而以不同的要领来更新调整区域ADJ的配置(S47)。如果面部图像持续没有探测到的时间达到了阈值,则CPU38初始化调整区域ADJ的配置(S57、S39、S43)。在此,关于阈值的大小,CPU38将其控制成与探测到的面部图像相当的面部部分越靠近场景的中央则该阈值越增大(S51~S55)。
[0074] 对于为了调整曝光量以及焦点所参照的调整区域ADJ的配置而言,根据探测到的面部图像的位置和/或尺寸而以不同的要领进行更新,在面部图像持续没有探测到的时间达到了阈值时被初始化。在此,面部部分越靠近场景的中央,则阈值的大小越增大。由此,既能抑制因存在于场景内的面部部分的暂时性没有探测到所引起的曝光量以及焦点的紊乱,又能在面部部分偏离场景之后迅速地变更曝光量以及焦点。因而,与摄像条件的调整相关的性能得以提高。
[0075] 此外,在本实施例中,虽然对人物的面部部分进行了搜索,但是搜索对象也可以是动物的面部部分,进而也可以是除面部部分以外的物体。另外,在本实施例中,虽然作为应调整的摄像条件而假设了曝光量以及焦点,但是也可以在此
基础上追加白平衡。
[0076] 而且,在本实施例中,在变焦按钮46zm处于操作状态时,将计时器值设定为“T_long”或者“T_short”。但是,也可以在考虑了面部图像的位置的基础上,在3个以上的值之间切换计时器值。
[0077] 另外,在本实施例中,虽然假设了静止图像的摄影记录,但是也可取代静止图像而对运动图像进行摄影记录,或者也可与静止图像一起对运动图像进行摄影记录。
[0078] 而且,在本实施例中,在闪存48中预先存储了多任务OS以及与由此执行的多个任务相当的控制程序。但是,也可以如图15所示那样,在数码相机10中设置通信I/F50,将一部分控制程序作为内部控制程序而从最初开始就在闪存48中准备,将另一部分控制程序作为外部控制程序而从外部
服务器中获取。在该情况下,通过内部控制程序以及外部控制程序的协作来实现上述动作。
[0079] 另外,在本实施例中,构成为将由CPU38执行的处理以上述要领而划分成了多个任务。但是,也可将各个任务进一步划分为多个小任务,将被进一步划分的多个小任务的一部分统一为其他任务。此外,在将各个任务划分为多个小任务的情况下,也可从外部服务器中获取其全部或者一部分。
[0080] 虽然本发明已被详细地说明、图示,但是这只是作为单纯的图解以及一例而使用的,可知不应解释为限定性内容,本发明的宗旨以及范围仅由所附的
权利要求书的记载内容加以限定。