近年来，已经提出诸如数码相机和数码摄像机的具有被摄物追踪 功能的成像设备，用于追踪指定被摄物的运动以聚焦在该被摄物上。 例如，在日本未审专利公开No.H06(1994)-22195所公开的成像装置中， 从在屏幕上显示的框内捕捉的被摄物中找到具有最大面积的被摄物， 并且检测该被摄物的面积值和色彩以将该被摄物指定作为具有该面积 值和该色彩的被摄物。然后，检测所指定的被摄物的运动，从而使得 框跟随被检测的被摄物的运动以执行AF处理从而聚焦在框内的指定 被摄物上。
在上述的成像设备中，其中，使用被摄物的面积值和色彩来指定 该被摄物，但是，如果在被指定的被摄物周围还存在另一具有相似面 积值和色彩的被摄物，诸如用户在在运动会上从一些距离拍摄他或她 的孩子的图像的情况，很难以从众多的小孩中检测且追踪他或她的孩 子，并且可能出现错误检测。

考虑到上述情况，本发明致力于提供允许对于期望被摄物的可靠 跟踪的成像设备和成像方法。
本发明的成像设备的一个方面包括：成像装置，用于对被摄物成 像以获得图像数据；显示装置，用于显示所获得的图像数据；被摄物 指定装置，用于在图像数据中指定被摄物；追踪框显示装置，用于在 显示装置上显示围绕由被摄物指定装置所指定的被摄物的追踪框；被 摄物追踪装置，用于追踪由追踪框所围绕的被摄物；成像条件控制装 置，用于控制追踪框内的被摄物的成像条件；以及被摄物识别装置， 用于识别追踪框内的被摄物是否是由被摄物指定装置所指定的被摄 物，其中，在由被摄物追踪装置进行所述追踪期间，所述被摄物识别 装置重复识别。
这里的“指定”的意思是指定用户想要的被摄物。
只要可以指定用户所想的被摄物，由“被摄物指定装置”对被摄 物的指定可以自动或手动地执行。例如，在自动指定被摄物的情况下， 例如，可以预先记录用户的孩子的面部，并且面部识别装置可以基于 记录的面部来执行面部识别以指定所识别的面部为被摄物。可替换地， 可以半自动地指定被摄物，并且在此情况下，例如，可以首先自动检 测被摄物的面部，然后用户可以检查所检测到的面部并且通过对Do按 钮的操控来指定该面部。在手动指定被摄物的情况下，可以在诸如液 晶显示屏的显示装置上显示框，并且用户可以定位在屏幕上显示的期 望被摄物周围的框。然后，例如，用户可以按下Do按钮，以指定被摄 物。如果被摄物是人物，可以与面部一起指定面部周围的另外可识别 对象，诸如衣服或帽子的一部分。通过增加与被摄物一起指定的对象 的数量，错误检测率可以被降低，由此改善了根踪的准确度。本发明 中的“识别”指的是对个体进行鉴别(各个人物、各个对象)。
为了指定被摄物，例如，当用户半按下释放按钮或按下用于指定 的其他按钮时，可以显示被摄物周围的框，从而用户可以识别屏幕上 所指定的被摄物，如果被指定的被摄物是错误的，则用户可以很快地 重新指定被摄物。
在本发明的成像设备中，成像条件可以是自动曝光、自动聚焦、 自动白平衡和电子相机抖动校正中至少一个的设定值，基于由被摄物 识别设备所识别的被摄物的图像数据来控制该成像条件。
成像装置可以基于成像条件对被摄物识别设备所识别的被摄物执 行实际成像，并且该成像设备可以进一步包括：图像处理装置，用于 对通过实际成像所获得的实际图像数据执行图像处理；以及显示控制 装置和记录装置中的至少一个，显示控制装置用于在显示装置上显示 经受由图像处理装置进行的图像处理的实际图像数据，而记录装置用 于在外部记录介质或内部存储器中记录经受由图像处理装置进行的图 像处理的实际图像数据。
图像处理可以包括伽马校正、锐度校正、对比度校正和色彩校正 中的至少一个。
本发明的成像设备可以进一步包括：成像指令装置，其允许包括 半按下和完全按下的对其进行的两步操作；以及固定框显示装置，用 于在显示装置上显示预先在拍摄场中设定的固定框，其中，该被摄物 指定装置在成像指令装置被半按下时指定在由固定框显示装置显示的 固定框内的被摄物。
当取消对成像指令装置的半按下时，被摄物追踪装置可以停止追 踪。
被摄物识别装置可以进一步识别追踪由框所围绕的被摄物周围的 特征点。
本发明的成像设备可以进一步包括被摄物指定模式，用于利用被 摄物指定装置预先指定和记录被摄物，其中，被摄物可以在通过从两 个或更多角度对被摄物成像而获得的图像数据的两个或更多部分中被 指定，以及被摄物识别装置所进行的识别可以基于图像数据的两个或 更多部分而执行。
本发明的成像设备的另一方面包括：成像装置，用于对被摄物成 像以获得图像数据；显示装置，用于显示所获得的图像数据；被摄物 指定装置，用于在图像数据中指定被摄物；追踪框显示装置，用于在 显示装置上显示围绕由被摄物指定装置所指定的被摄物的追踪框；被 摄物追踪装置，用于追踪由追踪框所围绕的被摄物；成像条件控制装 置，用于控制追踪框内的被摄物的成像条件；成像指令装置，允许包 括半按下和完全按下的对其进行的两步操作；以及固定框显示装置， 用于在显示装置上显示预先在拍摄场中设定的固定框，其中，被摄物 指定装置在成像指令装置被半按下时指定在由固定框显示装置所显示 的固定框内的被摄物。
当取消成像指令装置的半按下时，被摄物追踪装置可以停止追踪。
本发明的成像方法的一个方面包括：对被摄物成像以获得图像数 据；在显示装置上显示所获得的图像数据；在图像数据中指定被摄物； 在显示装置上显示围绕所指定的被摄物的追踪框；追踪由追踪框所围 绕的被摄物；控制追踪框内的被摄物的成像条件；以及基于所控制的 成像条件执行成像，其中，在追踪期间，反复识别在追踪框内的被摄 物是否是所指定的被摄物。
本发明的成像方法的另一方面包括：对被摄物成像以获得图像数 据；在显示装置上显示所获得的图像数据；在图像数据中指定被摄物； 在显示装置上显示围绕所指定的被摄物的追踪框；追踪由追踪框所围 绕的被摄物；在追踪期间，反复识别在追踪框内的被摄物是否是所指 定的被摄物；在识别之后，控制追踪框内的被摄物的成像条件；以及 基于所控制的成像条件执行成像。
附图说明
图1是示出数码相机后面的视图，
图2是示出数码相机前面的视图，
图3是数码相机的功能框图，
图4A和4B图示说明了数码相机的监视器上的显示的一个例子，
图5A和5B是图示说明在数码相机中所执行的一系列操作的流程 图，
图6A和6B图示说明了第二实施例的数码相机的监视器上的显示 的一个例子，
图7A和7B是图示说明在第二实施例的数码相机中所执行的一系 列操作的流程图，以及
图8A到8C图示说明了第二实施例的数码相机的监视器上的显示 的一个例子。

下文中，将参考附图详细地描述根据本发明的成像设备的实施例。 下面的对实施例的描述是结合数码相机给出的，数码相机是本发明的 成像设备的例子。但是，本发明的可适用范围不限于数码相机，本发 明还可适用于具有电子成像功能的其他电子设备，诸如配备相机的蜂 窝电话或配备相机的PDA。
图1和2图示说明了分别从前面和后面观看数码相机的外观的一 个例子。如图1所示，数码相机1在其机身10的后面包括：操作模式 开关11、菜单/OK按钮12、电子变焦/上下推杆13、左右按钮14、后 退(返回)按钮15和显示切换按钮16，它们被用作由拍摄者进行操控 的接口，数码相机还包括用于拍摄的取景器17、用于拍摄和回放的监 视器18、以及释放按钮(成像指令装置)19。
操作模式开关11是滑动开关，用来在操作模式即静止图像拍摄模 式、运动图像拍摄模式和回放模式之间切换。菜单/OK按钮12是这样 一种按钮，其被按下来以在监视器18上依次显示各种菜单，诸如用于 设定拍摄模式、闪光模式、被摄物追踪模式和被摄物指定模式、自定 时器的ON/OFF、要记录的像素数、感光度等的菜单，或者，其被按下 来以基于监视器18上所显示的菜单而对选择或设定进行决定。
被摄物追踪模式是用于拍摄运动被摄物并且追踪被摄物以在最优 成像条件下拍摄所追踪的被摄物的模式。当选择该模式时，激活稍后 将描述的框显示单元78，并且在监视器18上显示固定框F1。固定框 F1稍后将进行描述。
电子变焦/上下推杆13可以向上或向下倾斜以在拍摄期间调节远 摄/广角位置，或者在各种设定期间在监视器18上所显示的菜单屏幕内 向上或向下移动光标。
后退(返回)按钮15是用来按下以终止当前设定操作并在监视器 18上显示前一屏幕的按钮。显示切换按钮16是用来按下以在监视器 18上显示的ON和OFF、各种指导显示的ON和OFF、文本显示的ON 和OFF等之间切换的按钮。取景器17由用户用来在拍摄被摄物期间观 看和调节图像组成和/或焦点。通过取景器17观看的被摄物的图像经由 在数码相机1的机身10前面上提供的取景器窗23进行捕捉。
释放按钮19是手动操作按钮，允许用户进行包括半按下和完全按 下的两步操作。当用户按下释放按钮19时，半按下信号或完全按下信 号经由下文将描述的操控系统控制单元74输出到CPU 75。
用户通过上述按钮和/或推杆的操控所做的设定的内容可以通过 监视器18上的显示、取景器17中的灯、滑动推杆的位置等可视地确 认。通过显示即时视图从而在拍摄期间观看被摄物，监视器18用作电 子取景器。监视器18还显示所拍摄的静止图像或运动图像的回放视图， 以及各种设定菜单。当用户半按下释放按钮19时，执行下文中将描述 的AE处理和AF处理。当用户完全按下释放按钮19时，基于AE处理 和AF处理所输出的数据而执行拍摄，并且显示在监视器18上的图像 被记录为拍摄到的图像。
如图2所示，数码相机1进一步在其机身10的前面包括成像镜头 20、镜头盖21、电源开关22、取景器窗23、闪光灯24和自定时器灯 25。进一步地，在机身10的横向侧提供介质槽26。
成像镜头20在预定成像表面(诸如机身10内提供的CCD)上对 被摄物的图像进行聚焦，其例如由聚焦镜头和变焦镜头组成。镜头盖 21在数码相机1关机或处于回放模式时盖住成像镜头20的表面以保护 成像镜头20免于落上灰尘或其他污染物。
电源开关22用于对数码相机进行开机或关机。闪光灯24用于在 按下释放按钮19同时机身10内的快门打开时瞬时地向被摄物发射需 要的光以进行拍摄。自定时器灯25用于在使用自定时器拍摄期间向被 摄物告知快门打开和关闭的时刻即曝光的开始和结束。介质槽26是用 于加载入诸如存储卡的外部记录介质70的端口。当在介质槽26中加 载外部记录介质70时，按需要执行数据的读和写。
图3是图示说明数码相机1的功能配置的框图。如图3所示，提 供了数码相机1的操控系统，包括上面所述的操作模式开关11、菜单 /OK按钮12、变焦/上下推杆13、左右按钮14、后退(返回)按钮15、 显示切换按钮16、快门按钮19和电源开关22，以及用作CPU 75和用 户通过这些开关、按钮和推杆所进行的操控之间的接口的操控系统控 制单元74。
进一步地，提供组成成像镜头20的聚焦镜头20a和变焦镜头20b。 这些镜头可以分别由聚焦镜头驱动单元51和变焦镜头驱动单元52沿 着光轴逐步驱动，上述的聚焦镜头驱动单元51和变焦镜头驱动单元52 每个都由马达和马达驱动器组成。聚焦镜头驱动单元51基于从AF处 理单元62输出的聚焦镜头驱动量数据逐步驱动聚焦镜头20a。变焦镜 头驱动单元52基于表示变焦/上下推杆13的操控量的数据而逐步控制 变焦镜头20b的驱动。
孔径光阑54由孔径光阑驱动单元55驱动，孔径光阑驱动单元55 由马达和马达驱动器组成。孔径光阑驱动单元55基于从AE/AWB(自 动白平衡)处理单元63输出的孔径值数据来调节孔径光阑54的孔径。
快门56是机械快门，并由快门驱动单元57驱动，快门驱动单元 57由马达和马达驱动器组成。快门驱动单元57根据释放按钮19的按 下信号以及从AE/AWB处理单元63输出的快门速度数据来控制快门 56的打开和关闭。
CCD(成像装置)58是图像拾取器件，被置于光学系统的下游。 CCD 58包括光电表面，由布置为矩阵的大量光接收元件组成。通过光 学系统的被摄物的图像在光电表面上聚焦并且经受光电转换。用于在 每个像素处汇聚光的微镜头阵列(未示出)和由规则排列的R、G、B 滤色镜组成的滤色镜阵列(未示出)置于光电表面的上游。CCD 58逐 行地读取累积在各个像素处的电荷，并且，与从CCD控制单元59提 供的垂直传输时钟信号和水平传输时钟信号同步地将这些电荷输出作 为图像信号。用于在像素处累积电荷的时间，即曝光时间，由从CCD 控制单元59所提供的电子快门驱动信号来确定。
从CCD 58输出的图像信号被输入到模拟信号处理单元60。模拟 信号处理单元60包括用于从图像信号中去除噪声的相关双采样电路 (CDS)、用于控制图像信号增益的自动增益控制器(AGC)、以及 用于将图像信号转换为数字信号数据的A/D转换器(ADC)。数字信 号数据是CCD-RAW数据，其包括每一像素的R、G、B密度值。
时序发生器72生成时序信号。时序信号被输入到快门驱动单元 57、CCD控制单元59和模拟信号处理单元60，从而将释放按钮19的 操控与快门56的开/关、CCD 58的电荷的传输以及模拟信号处理单元 60的处理进行同步。闪光控制单元73控制闪光灯24的发射。
图像输入控制器61在帧存储器68中写入从模拟信号处理单元60 输入的CCD-RAW数据。帧存储器68为施加于图像数据的各种数字图 像处理(信号处理)提供工作空间，其将在下文中描述。帧存储器68 例如由SDRAM(同步动态随机存取存储器)组成，该SDRAM与恒定 频率的总线时钟信号同步地传输数据。
显示控制单元(显示控制装置)71使得存储在帧存储器68中的图 像数据作为即时视图显示在监视器18上。显示控制单元71通过将亮 度(Y)信号和色度(C)信号组合在一起而将图像数据转换为合成信 号，并且将合成信号输出到监视器18。在选择拍摄模式的同时，即时 视图以预定时间间隔摄取并显示在监视器18上。显示控制单元71还 使得基于存储在外部记录介质70中且由介质控制单元69读取出来的 图像文件中所包含的图像数据的图像显示在监视器18上。
框显示单元(固定框显示装置、追踪框显示装置)78经由显示控 制单元71在监视器18上显示具有预定尺寸的框。在监视器18上显示 的一个例子如图4A和4B所示。框显示单元78显示基本固定于监视器 18中央处的固定框F1，如图4A所示，并且还显示围绕经由被摄物指 定单元66(下文描述)指定的被摄物的追踪框F2，如图4B所示。追 踪框F2追踪在屏幕上的指定被摄物的运动。当指定的人例如离开时， 框的大小可以缩减到配合指定人的面部的大小，而当指定人移近时， 框的大小可以增大。例如，通过使用距离测量传感器(未示出)可以 检测从相机到人面部的距离，或者可以基于人的左右眼之间的距离来 计算出从相机到人面部的距离，人的左右眼之间的距离根据由特征点 检测单元79所检测到的眼睛的位置而计算。
特征点检测单元79从固定框F1或追踪框F2内的被摄物图像中检 测特征点。如果固定框F1或追踪框F2内的被摄物是人的话，例如眼 睛的位置就可以被检测作为面部的特征点。应该注意，“特征点”对 于不同个体(各个人物、各个对象)来说具有不同的特性。特征点存 储单元67存储由特征点检测单元79所检测到的特征点。
被摄物指定单元(被摄物指定装置)66从在监视器18上显示的被 摄物图像、或通过取景器17在视图内，即在拍摄场内的对象中，指定 用户想要的被摄物。用户通过调节视角使得期望被摄物(本实施例中 是人物的面部)被捕捉在监视器18上显示的固定框F1内，如图4A所 示，并且半按下释放按钮19，从而由用户手动地指定被摄物。
如果特征点检测单元79从固定框F1内的被摄物中检测到的特征 点准确到足以使面部识别单元80(稍后描述)执行匹配的话，则被摄 物指定单元66所进行的被摄物的指定就被认为是成功的。
被摄物追踪单元(被摄物追踪设备)77追踪由框显示单元78所显 示的追踪框F2所围绕的被摄物，即，在本实施例中是追踪框F2内的 人物的面部。追踪框F2内面部的位置总被追踪，对面部的追踪可以使 用已知技术来执行，诸如运动矢量和特征点检测，在Tomasi，Kanade， “Shape and Motion from Image Streams：a Factorization Method Part 3， Detection and Tracking of Point Features”，Technical Report CMU-CS-91-132(1991)中描述了特征点检测的具体例子。
面部识别单元(被摄物识别装置)80通过将特征点检测单元79 所检测到的特征点相对于存储在特征点存储单元67中的特征点进行匹 配而识别面部。面部识别单元80所进行的面部识别例如可以使用日本 未审专利公开No.2005-84979中描述的技术来执行。
AF处理单元62和AE/AWB处理单元63基于初步图像确定成像 条件。初步图像是基于图像数据的图像，在CPU 75检测到半按下释 放按钮19时产生的半按下信号后使得CCD 58执行初步拍摄的时候， 将该初步图像存储在帧存储器68中。
AF处理单元62检测由框显示单元78所显示的固定框F1或追踪 框F2内的被摄物上的焦点位置，并输出聚焦镜头驱动量数据(AF处 理)。在这个实施例中，使用被动方法来检测聚焦的焦点。被动方法 利用被聚焦的图像比未被聚焦的图像具有更高聚焦评估值(对比度值) 的事实。可替换地，也可以使用主动方法，其使用距离测量传感器(未 示出)的距离测量结果。
AE/AWB处理单元63测量由框显示单元78所显示的固定框F1 或追踪框F2内的被摄物的亮度，然后基于测量到的被摄物的亮度而确 定孔径值、快门速度等，输出确定的孔径值数据和快门速度数据(AE 处理)，以及在拍摄期间自动调节白平衡(AWB处理)。
图像处理单元(图像处理装置)64对实际拍摄图像的图像数据施 加图像质量校正处理，诸如伽马校正、锐度校正、对比度校正和色彩 校正，还施加YC处理以将CCD-RAW数据转换成由表示亮度信号的Y 数据、表示蓝色差信号的Cb数据和表示红色差信号的Cr数据所组成 的YC数据。实际拍摄的图像是基于在完全按下释放按钮19时从CCD 58输出的图像信号的图像数据的图像，并且被经由模拟信号处理单元 60和图像输入控制器61而被存储在帧存储器68中。
形成实际拍摄图像的像素数的上限由CCD 58的像素数而确定。 要记录的图像的像素数可以根据诸如优良或一般的用户设置的图像质 量设定而变化。形成即时视图或初步图像的像素数可能小于实际拍摄 图像的像素数，并且可能例如约为形成实际拍摄图像的像素数的1/16。
相机抖动校正单元81自动地校正拍摄到的图像由于拍摄期间的相 机抖动而造成的模糊。该校正通过在垂直于光学轴的平面内沿着固定 框F1或追踪框F2的波动减小的方向平移成像镜头20和CCD 58即拍 摄场而实现。
成像条件控制单元(成像条件控制装置)82控制AF处理单元62 的自动曝光设定、AE/AWB处理单元63的自动聚焦和/或自动白平衡设 定、以及相机抖动校正单元81的电子相机抖动校正中至少一个的设定 值，使得总是为固定框F1或追踪框F2内的被摄物提供最优成像条件。 应该注意，成像条件控制单元82可以被实现为CPU 75功能的一部分。
压缩/解压缩处理单元65根据特定压缩格式诸如JPEG，对已经经 受图像处理单元64的图像质量校正和YC处理的图像数据实施压缩处 理，以产生图像文件。基于各种数据格式的对应一个，对图像文件添 加伴随信息。在回放模式中，压缩/解压缩处理单元65从外部记录介质 70读取压缩图像文件，对该图像文件实施解压缩处理。解压缩后的图 像数据被输出到显示控制单元71，并且显示控制单元71基于图像数据 而在监视器18上显示图像。
介质控制单元(记录设备)69对应于图2所示的介质槽。介质控 制单元69读取存储在外部记录介质70中的图像文件，或者在外部记 录介质70中写入图像文件。CPU 75根据用户对各种按钮、推杆和开关 的操控以及从相应功能模块提供的信号而控制数码相机1的机身的各 个部分。CPU 75还作为用于在内部存储器(未示出)中记录图像文件 的记录装置。
数据总线76连接到图像输入控制器61、各种处理单元62到65 和83、被摄物指定单元66、特征点存储单元67、帧存储器68、各种 控制单元69、71和82、被摄物追踪单元77、框显示单元78、特征点 检测单元79、面部识别单元80和CPU 75，使得经由数据总线76执行 各种信号和数据的传输。
现在，将描述在具有上述配置的数码相机中在拍摄期间所执行的 过程。图5A和5B是在数码相机1中执行的一系列操作的流程图。首 先，如图5A所示，CPU 75根据操作模式开关11的设定而确定操作模 式是被摄物追踪模式还是回放模式(步骤S1)。如果操作模式是回放 模式(步骤S1：回放)，则执行回放操作(步骤S2)。在回放操作中， 介质控制单元69检索存储在外部记录介质70中的图像文件并且基于 图像文件中包含的图像数据而在监视器18上显示图像。如图5B所示， 当回放操作完成时，CPU 75确定数码相机1的电源开关22是否切断(步 骤S26)。如果电源开关22已经关断(步骤S26：是)，则关闭数码 相机，处理结束。如果电源开关22没有被关断(步骤S26：否)，则 处理进行到步骤S1，如图5A中所示。
与之对照，如果在步骤S1确定操作模式是被摄物追踪模式(步骤 S 1：被摄物追踪)，则显示控制单元71施加控制以显示即时视图(步 骤S3)。即时视图的显示通过在监视器18上显示存储在帧存储器68 中的图像数据而实现。然后，框显示单元78在监视器18上显示固定 框F1(步骤S4)，如图4A所示。
当在监视器18上显示固定框F1时(步骤S4)，用户调节视角以 捕捉固定框F1中的期望人物的面部，如图4A所示，并且半按下释放 按钮19以指定想要的被摄物(步骤S5)。通过以这种方式在半按下释 放按钮19时指定被摄物，可以使用相同手动操作按钮来指定被摄物以 及指示进行拍摄(释放按钮19的完全按下操作)。由此，用户可以进 行平稳和快速的操作以在匆忙拍摄的情况下在正确时刻释放快门，从 而指定被摄物并指示进行拍摄。
然后，CPU 75确定释放按钮19是否被半按下(步骤S6)，如果 释放按钮19没有被半按下(步骤S6：否)，这意味着用户没有指定想 要的被摄物，则CPU 75移动处理到步骤S5以重复步骤S5以及后续步 骤的操作，直至用户半按下释放按钮19从而指定想要的被摄物。
与之对照的是，如果在步骤S6确定释放按钮19被半按下(步骤 S6：是)，则CPU 75判断指定了想要的被摄物，即期望人物的面部， 并且特征点检测单元79从固定框F1内的所指定的面部中检测特征点， 诸如眼睛的位置(步骤S7)。
随后，CPU 75确定检测到的特征点是否足够准确以由面部识别单 元80进行匹配(步骤S8)。如果准确度不够，则对被摄物的指定被确 定为是不成功的(步骤S9：否)，通过例如警告声或监视器18上的警 告显示而对用户通知该结果(步骤S10)。然后，CPU 75将处理移动 到步骤S5，等待用户再次指定被摄物。
与之对照的是，如果在步骤S9确定对被摄物的指定是成功的(步 骤S9：是)，则CPU 75将检测到的特征点存储在特征点存储单元67 中(步骤S11)，并且框显示单元78显示围绕所指定的人物的面部的 追踪框F2(步骤S12)。当追踪框F2显示在监视器18上时，显示在 监视器18上的固定框F1被框显示单元78隐藏起来。应该注意，固定 框F1可以被连续地用作追踪框F2。
然后，CPU 75确定释放按钮19的半按下是否被取消(步骤S13)。 如果确定取消了释放按钮19的半按下的话(步骤S13：是)，则判断 用户指定了错误的被摄物，CPU 75将处理移动到步骤S4以在监视器 18上显示固定框F1并且等待用户再次指定被摄物。通过在成功指定被 摄物之后以这样的方式在监视器18上显示围绕被指定被摄物的追踪框 F2，用户可以识别实际指定的被摄物，并且如果用户指定了错误的被 摄物，用户可以在取消对释放按钮19的半按下之后容易地重新指定被 摄物，例如如上所述。
与之相对照的是，如果CPU 75在步骤S13确定没有取消对释放按 钮19的半按下(步骤S13：否)，则被摄物追踪单元77开始追踪被追 踪框F2所围绕的人物的面部(步骤S14)，如图5B和4B所示。在被 摄物追踪单元77对面部进行追踪期间，特征点检测单元79以预定间 隔检测在追踪框F2内的被追踪的人物的面部的特征点诸如眼睛的位置 (步骤S15)，然后面部识别单元80将检测到的特征点相对于存储在 特征点存储单元67中的特征点进行匹配以确定追踪框F2内的人物是 否是步骤S5中指定的人物来识别面部(步骤S16)。
如果面部识别成功且追踪框F2内的人物被识别为被指定的人物 (步骤S17：是)，则成像条件控制单元82控制成像条件以为追踪框 F2内的被摄物提供最优成像条件(步骤S18)。然后，CPU 75确定释 放按钮19的半按下是否被取消(步骤S19)。如果确定取消了对释放 按钮19的半按下(步骤S19：是)，则判断用户对当前追踪状态不满 意，并且被摄物追踪单元77停止对人物的追踪(步骤S20)。然后， CPU 75将处理移动到步骤S4，如图5A所示，并且等待指定下一个被 摄物。通过以这样的方式在取消对释放按钮19的半按下时停止对人物 的追踪，可以使用相同的手动操作按钮来指定被摄物(对释放按钮19 的半按下操作)以及停止追踪，从而使得用户可以平稳和快速地指定 下一个被摄物。
与之相对照的是，如图5B所示，如果CPU 75在步骤S19确定没 有取消对释放按钮19的半按下(步骤S19：否)，则被摄物追踪单元 77继续追踪人物，直到取消对释放按钮的半按下，并且成像条件控制 单元82控制成像条件使之对于追踪框F2内的被摄物最优。在对人物 追踪期间，特征点检测单元以预定间隔检测追踪框F2内的人物面部的 特征点，并且面部识别单元80基于检测到的特征点而执行面部识别， 即，重复步骤S15-S17中的操作。
在CPU 75确定没有取消对释放按钮19的半按下之后(步骤S19： 否)，CPU 75确定释放按钮19是否被完全按下(步骤S21)。如果确 定释放按钮19被完全按下(步骤S21：是)，则判断用户已经许可在 当前追踪状态下进行拍摄。因此，成像条件控制单元82控制成像条件 以使之对于追踪框F2内的被摄物最优(步骤S22)，并且CCD 58执 行实际成像(步骤S23)。
与之相对照的是，如果在步骤S17面部识别被确定为不成功，并 且追踪框F2内的人物被识别为不是所指定的人物(步骤S17：否)， 则被摄物追踪单元77停止对人物的追踪(步骤S27)，并且监视器18 上显示的追踪框F2被框显示单元78隐藏。
然后，框显示单元78大致在监视器18的中央处显示固定框F1(步 骤S28)，并且成像条件控制单元82控制成像条件使之对于固定框F1 内的被摄物为最优(步骤S29)。随后，CPU 75确定释放按钮19的半 按下是否被取消(步骤S30)。如果确定取消了半按下(步骤S30：是)， 则判断用户对于针对固定框F1内的被摄物所确定的拍摄条件下进行拍 摄不满意，CPU 75将处理移动到步骤S5，如图5A所示，以再次指定 被摄物。
如果CPU 75在步骤S30确定没有取消对释放按钮19的半按下的 话(步骤S30：否)，则对于释放按钮19是否被完全按下进行确定(步 骤S3 1)。如果确定释放按钮10没有被完全按下(步骤S31：否)， 则CPU 75将处理移动到步骤S29以重复步骤S29以及以后步骤中的操 作。如果CPU 75在步骤S31确定释放按钮19被完全按下(步骤S31： 是)，则判断用户已经许可在针对固定框F1内被摄物所确定的成像条 件下进行拍摄。由此，成像条件控制单元82控制成像条件使之对于固 定框F1内的被摄物为最优(步骤S22)，并且CCD 58执行实际成像 (步骤S23)。
当在步骤S23中执行了实际成像时，图像处理单元64对通过实际 成像所获得的实际图像实施图像处理(步骤S24)。此时，为了生成图 像文件，经受图像处理的实际图像数据可以进一步由压缩/解压缩处理 单元65进行压缩。
然后，CPU 75在监视器18上显示经受了图像处理的实际图像， 并将实际图像记录在外部记录介质70中(步骤S25)。随后，CPU 75 确定电源开关22是否被关断(步骤S26)。如果电源开关22被关断(步 骤S26：是)，则数码相机1关机并且处理结束。如果电源开关22没 有被关断(步骤S26：否)，则CPU 75将处理移动到步骤S1，如图 5A所示，并且重复步骤S1及其后续步骤中的操作。以这种方式，执 行由数码相机1进行的拍摄。
根据上述的数码相机1和使用数码相机1的成像方法，用户在对 被摄物追踪之前指定要追踪的被摄物，因此，可以防止现有技术中出 现的错误检测。进而，在追踪被摄物的同时，重复关于追踪框F2内的 被摄物是否是所指定的被摄物的识别。该设别有效地防止了对类似于 所指定被摄物的被摄物的错误追踪，并且可以获得对于所指定被摄物 的可靠追踪。通过预定指定期望的被摄物，即使在被摄物运动时，也 能可靠地追踪期望被摄物，并因此可以在最优成像条件下对期望被摄 物进行拍摄。
接下来，将结合附图详细地描述作为根据本发明第二实施例的成 像设备的数码相机1-2。本实施例的数码相机1-2具有与前一实施例的 数码相机1基本上相同的配置，因此，只描述与前一实施例不同的地 方。本实施例的数码相机1-2与前一实施例的数码相机1之间的区别在 于，面部识别单元80还识别由追踪框F2所围绕的人物的面部周围的 特征点。
也就是说，在本实施例的数码相机1-2中，当被摄物指定单元66 指定固定框F1内的人物的面部时，被摄物指定单元66还指定了固定 框F1周围的另一对象。然后，特征点检测单元79检测固定框F1内的 面部的特征点以及固定框F1周围的特征点(诸如形状、与面部或固定 框F1的位置关系)，将这些特征点一起存储在特征点存储单元67中。 类似地，检测追踪框F2内的被摄物图像的特征点以及追踪框F2周围 的特征点，并且面部识别单元80通过将追踪框F2内的面部以及追踪 框F2周围的特征点相对于存储在特征点存储单元67中的固定框F1内 的面部以及固定框F1周围的特征点进行匹配来识别面部。
图6A和6B图示说明了在本实施例的数码相机1-2的监视器18 上的显示的一个例子。如图6A和6B所示，例如，假设情景是小孩的 运动会，每个小孩都佩戴着运动员号码，某个小孩的运动员号码很有 可能包含在该小孩面部以下的图像中。因此，在固定框F1和追踪框F2 的周围设定固定外围框F1’和追踪外围框F2’(图中用虚线示出)，这 些外围框每一个在固定框F1或追踪框F2下面的区域都比在固定框F1 或追踪框F2上面的区域更大，并且，特征点检测单元79例如从固定 外围框F1’或追踪外围框F2’中检测运动员号码作为外围特征点。当面 部识别单元80在追踪小孩时识别出所指定小孩的面部时，面部识别单 元80还识别运动员号码。为了识别号码，可以使用通用的OCR技术。
应该注意，例如，如果运动员号码位于帽子上或者帽子的色彩形 成了特征，则固定外围框F1’和追踪外围框F2’每个可以被成形为在固 定框F1或追踪框F2上面的区域比在固定框F1或追踪框F2下面的区 域更大。固定外围框F1’和追踪外围框F2’的形状可以例如由用户通过 对变焦/上下推杆13的操控而改变。应该注意，固定外围框F1’和/或追 踪外围框F2’可以不在监视器18上显示。
现在，将描述在具有上述配置的数码相机1-2中进行拍摄期间所 执行的处理。图7A和7B是图示说明在数码相机1中执行的一系列操 作的流程图。应该注意，图7A和7B的流程图中与图5A和5B的流程 图中相同的操作都被指定以相同的附图标记并省略对其的解释。
如图7A所示，在本实施例的数码相机1-2中，在特征点检测单元 79检测了固定框F1内的人物面部的特征点之后(步骤S7)，特征点 检测单元79进一步从固定外围框F1’中检测固定框F1周围的特征点， 即图6A中所示的运动员号码(步骤S40)。然后，如果对被摄物的指 定成功(步骤S9：是)，则CPU 75将在步骤S7中检测到的特征点存 储在特征点存储单元67中(步骤S11)，并且将在步骤S40中检测到 的固定框F1周围的特征点存储在特征点存储单元67中(步骤S41)。
在步骤S12中由被摄物追踪单元77追踪所指定的人物的同时，如 图7B所示，特征点检测单元79以预定的间隔检测在追踪框F2内的追 踪的人物面部的特征点(步骤S15)，并且进一步从追踪外围框F2’中 检测追踪框F2周围的特征点，即运动员号码，如图6B所示(步骤S42)。
然后，面部识别单元80将在步骤S15中检测到的面部的特征点相 对于存储在特征点存储单元67中的面部的特征点进行匹配，并且将在 步骤S41中检测到的运动员号码相对于存储在特征点存储单元67中的 运动员号码进行匹配，以识别追踪框F2内的人物是否是在步骤S5中 指定的人物(步骤S44)。
如果步骤S44中的识别成功(步骤S44：是)，则CPU 75将处理 移动到步骤S19。如果步骤S44中的识别不成功(步骤S44：否)，则 被摄物追踪单元77停止对人物的追踪(步骤S27)，并且CPU 75将 处理移动到步骤S28。以这种方式，执行由本实施例的数码相机1-2所 进行的拍摄。
如上所述，根据本实施例的数码相机1-2和使用该数码相机1-2 的成像方法，当用户想要拍摄他或她的小孩作为许多小孩中的指定被 摄物且这些小孩佩戴着不同的运动员号码时，例如，可以通过在追踪 期间识别该小孩的面部以及该小孩所佩戴的运动员号码而可靠地对许 多小孩中的这个小孩进行追踪。通过指定被摄物的面部连同面部周围 的另一可指定的特征，可以可靠地执行被摄物识别以防止错误检测， 由此改善追踪的准确度。
接下来，将结合附图详细地描述作为根据本发明第三实施例的成 像设备的数码相机1-3。本实施例的数码相机1-3与前面的实施例的数 码相机1和数码相机1-2具有基本相同的配置，因此忽略对其的解释。
本实施例的数码相机1-3具有被摄物指定模式，用于预先在前面 的实施例的数码相机1或数码相机1-2中指定和记录人物，以便面部识 别单元80基于三维信息执行面部识别。图8A到8C图示说明了在数码 相机1-3的监视器上的显示的一个例子。当选择了被摄物指定模式时， 框显示单元78在监视器18上显示固定框F1，如图8A到8C所示。
在本实施例的数码相机1-3中，当在运动会赛跑期间用户想要摄 取他或她的小孩的图像时，例如，由于时间和空间的限制很可能难以 从不同的角度拍摄到在起跑线上的该小孩。因此，就在去运动会之前， 例如在房子前，通过在数码相机1-3的被摄物指定模式中如图8A所示 从左侧、如图8B所示从前侧以及如图8C所示从右侧拍摄该小孩，在 固定框F1内捕捉小孩的面部，用户预先指定该小孩作为被摄物。
然后，特征点检测单元79从各个拍摄的图像中检测面部的特征点， 诸如眼睛的位置。如果检测到的特征点准确到足以进行特征点匹配， 即对人物的指定成功，被指定人物的特征点被存储在特征点存储单元 67中作为三维特征点。
在面部识别期间，该三维特征点被用于识别面部。例如，通过使 用日本专利No.3,575,679中所描述的技术，可以执行使用三维数据的 面部识别。通过以这种方式基于三维信息执行面部识别，可以获得更 准确的面部识别。
应该注意，与第二实施例的数码相机1-2相似，可以在本实施例 的数码相机1-3中识别外围特征点。在此情况下，外围特征点也在被摄 物指定模式中被预先存储在特征点存储单元67中。
尽管上述实施例的数码相机1在被追踪的人物上执行面部识别， 但不限制本发明的成像设备，也可以不执行面部识别。在此情况下， 不执行对特征点的检测和存储，即不执行图5A的步骤S7到S11以及 步骤S15到S17中的操作。也就是，当半按下释放按钮19时，固定框 F1内的被摄物被指定为期望被摄物，并且保持对此时指定的被摄物进 行追踪(图5B的步骤S14)。在通过检测运动矢量来执行被摄物追踪 的情况下，例如，可以确定运动矢量是否超出该框，而不是进行图5B 的步骤S16和S17中的面部识别。如果运动矢量超出该框，判断对被 摄物的追踪是不可能的，CPU 75可以将处理移动到步骤S27。如果运 动矢量保持在该框之内，则CPU 75可以将处理移动到步骤S19。
尽管在上述实施例中，追踪人物的面部作为被摄物，但不限制本 发明。例如，要被追踪的被摄物可以是动物或汽车。在此情况下的被 摄物必须具有可以用来标识个体(各个人、各个对象)的特征点。
进而，在本发明中，诸如由AE/AWB处理单元63进行的自动白 平衡调节的图像处理可以在即时视图(运动图像)或完全按下释放按 钮1 9时获得的实际图像(静止图像)上执行，这可以按需要进行变化。
此外，尽管在上述实施例中，被摄物是由用户手动指定的，但不 限制本发明的成像设备。可以由成像设备自动或半自动地指定被摄物。 具体地说，在自动指定被摄物的情况下，例如，预先记录期望被摄物 的情况下，可以基于记录的被摄物来执行被摄物识别从而自动指定识 别出的被摄物。在半自动指定被摄物的情况下，例如，可以使用已知 面部检测技术来自动检测图像数据中包含的被摄物的面部的情况下， 用户可以检查所检测到的面部并且可以通过例如按下Do按钮来指定 该面部为被摄物。
本发明的成像设备不限于上述实施例的数码相机1，并且可以按需 要进行设计改变而不背离本发明的精神和范围。
根据本发明的成像设备和成像方法，用户在对被摄物进行追踪前 指定要追踪的被摄物。因此，可以防止在现有技术中出现的错误检测。 进而，在对被摄物进行追踪期间，反复地识别追踪框内的被摄物是不 是所指定的被摄物，这样的识别防止了对类似于所指定被摄物的另一 被摄物的错误追踪，由此获得了对所指定被摄物的可靠追踪。通过以 这种方式预先指定期望被摄物，即使在被摄物运动时，也可以可靠地 追踪期望的被摄物，并且可以在最优成像条件下对期望被摄物进行拍 摄。