将参考附图通过例子进一步详细描述本发明。
(1)实施例1的配置
图1是图示被实践为本发明的实施例1的成像装置的方框图。该成像装 置1通过用户操作执行在作为正常拍摄时的操作模式的标准操作模式与慢动 作拍摄模式之间的操作模式切换。在慢动作拍摄模式下,该成像装置1通过 使用存储器2转换作为成像结果的场频率,并将慢动作视频记录到视频记录 介质3。
在此,在成像装置1中,图像
传感器是固态成像器件,比如CMOS(互 补金属
氧化物
半导体)型图像器件。成像传感器4对通过光学系统(未示出) 在成像表面形成的光学图像执行光电转换,并输出作为成像结果的成像信号。 应当注意,在此实施例中,成像传感器4具有CDS(Correlated Double Sampling,相关双
采样)块,并对图像信号执行相关双采样处理,以输出由 此处理的成像信号。
成像传感器4在控制块5的控制下切换操作;在标准操作模式中,以NTSC 中规定的场频率60[fps]输出成像结果,以及在慢动作拍摄模式中,以高于该 标准比率的场频率输出成像结果。在此实施例中,该高速场频率是标准操作 模式中的场频率4倍高的场频率240[fps]。应当注意,在对于一条线(line)输 出成像信号时,成像传感器4使用其下述功能:将与成像传感器4
水平相邻 布置的相同
颜色拍摄传感器的
输出信号相加到该成像传感器并输出得到的信 号。在慢动作拍摄模式中,成像传感器4使用该功能,并执行
像素跳跃 (skipping),以输出得到的成像信号,由此防止成像信号的速率增加。应当 注意,如果接下来的处理块具有足够的处理速度,则可以省略该像素跳跃处 理,并且可以控制要相加的像素的数量,以按给定的速率输出成像信号。
AFE(Analog Front End,模拟前端)6对从成像传感器4输出的成像信 号执行AC(自动增益控制)以控制成像信号的增益,然后对成像信号执行模 拟到数字转换处理以输出图像数据D1。
摄像机
信号处理块7对从AFE 6输出的图像数据执行摄像机信号处理, 并输出得到的图像数据。应当注意,在此的摄像机信号处理表示例如
白平衡 调整处理、颜色校正处理、AF(自动对焦)处理和AE(自动曝光)处理。
分辨率转换处理块8在标准操作模式中接受由摄像机信号处理块7处理 的图像数据D1,将该图像数据D1输出到运动图像记录处理块10用于记录。 而且,分辨率转换处理块8将该图像数据D1的分辨率转换为适合于在显示 块12上显示的分辨率,并将转换的图像数据输出到显示处理块9。
在慢动作拍摄模式中,分辨率转换处理块8也跳跃在摄像机信号处理块 7中处理的、具有场频率240[fps]的图像数据D1的场,并以场频率60[fps]将 得到的图像数据输出到显示处理块9以用于在监视器上显示。分辨率转换处 理块8还调整在摄像机信号处理块7中处理的、具有场频率240[fps]的图像数 据D1的尺寸,并将得到的图像数据输出到图像压缩/解压缩块11,用于记录 到存储器2。应当注意,该尺寸调整处理改变图像数据D1的格式以便与存储 器2的规定兼容;因此,如果图像压缩/解压缩块11或者存储器2具有足够 的处理能
力,则可以省略该尺寸调整处理。
而且,在慢动作拍摄模式中,分辨率转换处理块8在控制块5的控制下 在操作间切换,获取从图像压缩/解压缩块11输出的、具有60[fps]场频率的 图像数据,而不是由摄像机信号处理块7处理的、具有240[fps]场频率的图像 数据D1。分辨率转换处理块8将该图像数据输出到运动图像记录处理块10 用于记录。另外,该分辨率转换处理块8将该图像数据的分辨率转换成适合 于在显示块12上显示的分辨率,并将转换的图像数据输出到显示处理块9。
由例如LCD(
液晶显示器)配置显示块12。显示处理块9基于从分辨率 转换处理块8输出的用于监视器的图像数据来驱动显示块12,以将作为成像 结果的监视器图像显示在显示块12上。如果通过在控制块5的控制下在操作 间切换来监视被记录到视频记录介质3的移动图像,则通过从运动图像记录 处理块10输出的图像数据来驱动显示块12,把被记录到视频记录介质3的 移动图像显示在显示块12上。应当注意,代替显示在显示块12上,可以将 图像数据输出到外部。
在记录到视频记录介质3时,运动图像记录处理块10通过诸如例如 MPEG(运动画面专家组)之类的运动图像编码
算法对从分辨率转换处理块8 输出的用于记录的图像数据执行
数据压缩处理,并将压缩的图像数据记录到 视频记录介质3。而且,运动图像记录处理块10在控制块5的控制下在操作 间切换,以再现被记录到视频记录介质3的移动图像,并对再现的移动图像 解压缩,由此将解压缩的图像数据输出到显示处理块9。视频记录介质3是 例如基于硬盘
驱动器、光盘驱动器或存储卡的记录介质。
在慢动作拍摄模式中,图像压缩/解压缩块11通过诸如例如JPEG(联合 图像专家组)之类的静止图像编码算法对从分辨率转换处理块8输出的、用 于记录的图像数据进行数据压缩处理。而且,通过数据压缩获得的编码的数 据被输出到存储器控制块13。另外,在慢动作拍摄模式中,图像压缩/解压缩 块11在控制块5的控制下在操作间切换,并对从存储器控制块13输出的编 码的数据执行数据解压缩处理以解码图像数据,并将解码的图像数据输出到 分辨率转换处理块8。
在慢动作拍摄模式中,存储器控制块13依次循环地将从图像压缩/解压 缩块11输出的具有240[fps]场频率的编码的数据记录到存储器2。应当注意, 通过例如SDRAM配置存储器2。而且,在慢动作拍摄模式中,存储器控制 块13在控制块5的控制下在操作间切换,并从存储器2依次读取编码的数据 以将编码的数据输出到图像压缩/解压缩块11。在从该存储器2读取编码的数 据的过程中,存储器控制块13以场频率60[fps]——其为记录速度的1/4—— 读取编码的数据。
在慢动作拍摄模式中,图像识别处理块14通过应用样式匹配技术对从 AFE 6输出的图像数据执行图像识别处理,以从成像结果中检测由控制块5 指示的特定样式。
现在,参考图2,示出了图示图像识别处理块14的详细配置的方框图。 图像识别处理块14把从AFE 6输出的图像数据输入到前处理块14A来执行 诸如例如噪声消除处理、图像尺寸标准化处理和特征提取处理之类的前处理。 而且,图像识别处理块14将图像数据临时存储到接下来的图像
缓冲器14B中 以在其中保持,并在匹配
电路14C中执行样式匹配处理。
在此,匹配电路14C基于两点之间的像素差,利用boost(进举)方法使 用在存储器14D中存储的字典来执行匹配处理。在此的boost表示通过结合 在性能方面略高于随机的弱
鉴别器来配置有效鉴别器(强鉴别器)的统计图 像识别技术;对于数学构架,ada boost是公知的。在慢动作拍摄模式中,图 像识别处理块14通过该boost方法在每场检测由控制块5指示的图像样式, 并将该图像样式的存在或不存在以及该图像样式的
位置传送到控制块5。
为此,图像识别处理块14将特定图像样式的图像差表格登记到存储器 14D中,如图3所示。应当注意,在此的图像差表格也称作字典。如图3所 示,图像差表格包含在经历检测的特定图像样式上的两个点的像素值和以这 些两点像素值差值为基准而设置的用于判断基准的
阈值的登记。应当注意, 如4(A)和图4(B)分别图示经历检测的图像样式是圆形和矩形。成像装 置1被配置以能够在慢动作拍摄模式中从两个或多个图像模式中选择期望的 拍摄模式,其中为每个拍摄模式设置了特定图像样式。因此,在存储器14D 中对于每个拍摄模式布置图像差表格。应当注意,如果可以确保实际上足够 的精确度,则可以由两个或多个拍摄模式共享一个图像差表格。
匹配电路14C在临时存储在图像缓冲器14B中的图像数据的图像上设置 样式匹配区,并以例如光栅扫描的顺序依次移动该样式匹配区。以通过特征 点检测而检测到的特征点为基准,匹配电路14C对每个扫描位置计算来自样 式匹配区的与像素差表格的记录对应的坐标之间的像素差值。而且,匹配电 路14C通过图像差表格的阈值来判定所计算的像素差值,以设置经历检测的 图像样式是否存在于该样式匹配区中的弱假设(weak hypothesis)。应当注意, 如果经历检测的图像样式的存在是可能的,则匹配电路14C将弱假设设置为 值1;如果经历检测的图像样式的存在是不可能的,则匹配电路14C将弱假 设设置为值-1。
匹配电路14C对每个扫描位置累加该弱假设的检测两次或多次,并且如 果累加的值超过某个阈值,则确定对于每个样式匹配区存在经历检测的图像 样式。
应当注意,在本实施例中,匹配电路14C通过仅使用图像数据D1中的
亮度信号来执行处理序列;也可实践为结合基于颜色信息的颜色检测处理或 结合其他的两个或多个检测处理操作来执行特定图像样式检测。另外,代替 boost技术,可以使用GA(Genetic Algorithm,
遗传算法)。当仅识别移动目 标时,可以使用由运动图像记录处理块10检测的移动矢量。应当注意,如上 所述的基于与其他技术的组合的样式识别处理可以
加速处理速率并提高处理 精确度。
控制块5是用于控制成像装置1整体的操作、执行记录到存储器(未示 出)的程序以控制成像装置1的各个组件块的操作的控制部件。在本实施例 中,该程序提供为被预先安装在成像装置1中;然而,代替预安装或经由诸 如因特网之类的网络下载,也可以实践为将该程序提供为记录到诸如光盘或 存储卡之类的记录介质。还可以实践为使得控制块5执行图像识别处理块14 中的图像识别处理。
即,控制块5控制成像传感器4的操作以便在标准操作模式中获得按 60[fps]场频率的成像结果,并控制AFE 6、摄像机信号处理块7、分辨率转换 处理块8和显示处理块9以便在显示块12上显示该60[fps]的场频率的成像结 果。因此,在此情况下,在成像装置1中,在AFE 6、摄像机信号处理块7、 分辨率转换处理块8和显示处理块9中按此顺序处理60[fps]场频率的成像结 果以将其显示在显示块12上。而且,当用户操作用于记录开始的触发器
开关 时,控制块5指令运动图像记录处理块10开始操作,当在显示块12上显示 监视器图像时,在运动图像记录处理块10中依次压缩从分辨率转换处理块8 输出的按60[fps]场频率的图像数据,将图像数据记录到视频记录介质3。当 在此状态中用户再次操作触发器开关时,控制块5指令运动图像记录处理块 10停止操作,由此停止图像数据的记录。
当用户给出视频记录介质3的再现的指令时,控制块5指令运动图像记 录处理块10再现视频记录介质3以在运动图像记录处理块10中依次解压缩 被记录到视频记录介质3的编码的数据,将解压缩的数据输出到显示处理块 9以在显示块12上显示该图像数据。
另一方面,如果用户给出慢动作拍摄模式的指令,控制块5指令每个组 件以预定定时将操作模式切换到慢动作拍摄模式,由此在成像传感器4中获 得240[fps]场频率的成像结果。如与图1比较的图5所示,当在分辨率转换处 理块8中将该240[fps]场频率的成像结果转换成60[fps]场频率的图像数据并 在显示块12上显示该图像数据时,依次循环地将240[fps]场频率的成像结果 记录到存储器2。
控制块5以预定定时切换每个组件块的操作,如与图5比较的图6所示, 以60[fps]的场频率依次读取存储器2中存储的240[fps]场频率的成像结果。 同时,控制块5通过图像压缩/解压缩块11将读取的数据数据解压缩为原始 图像数据,当在显示块12上显示图像数据时,利用运动图像记录处理块10 将得到的数据记录到视频记录介质3。
在该慢动作拍摄模式中,控制块5参考在图像识别处理块14中获得的图 像样式检测结果来设置结束向存储器2写入图像数据的定时。更具体地,基 于图像识别处理块14中的图像样式检测结果,控制块5检测以预定顺序检测 到预定的特定样式时的定时,并且基于该检测的定时确定用于结束向存储器 2写入图像数据的定时。
在此,在本实施例中,该特定样式是其中图像识别处理块14中的图像识 别对象存在于每个成像结果的特定区域中的图像样式;为慢动作拍摄模式中 的每个拍摄模式提供了两个或多个特定图像样式。
即,如果拍摄模式是高尔夫球摆动模式,则将图像识别处理块14中的图 像识别对象设置为球;如图7所示,在通过水平和垂直地划分一场的屏幕而 形成的两个或多个区域中,将球存在于水平方向上底部的区域A中的样式(图 7(A)和图7(B))设置为这些特定样式的第一样式和第二样式。将球存在 于水平方向上右端的区域B或左端的区域C中的样式设置为这些特定样式的 第三样式。应当注意,图7所示的例子是其中将屏幕的水平方向和垂直方向 上的划分的数量分别设置为5和3的例子。
在图7所示的例子中,当球被放在球座上、准备击球、然后击球时,依 次检测这些第一到第三样式。在此情况下,在从其中检测作为处于已经击球 的状态的第三样式的场追溯到相差预定数量场的场的这些场形成其中拍摄到 高尔夫球摆动的场,这被确定为用户期望的场景。
因此,在高尔夫球摆动模式中,当用户指令慢动作拍摄模式时,控制块 5指令开始将成像结果写到存储器2。同时,控制块5将球设置为识别对象, 并指令图像识别处理块14执行图像识别处理,由此基于图像识别处理结果依 次检测第一到第三样式。当检测到第三样式时,在预定时间T之后的时间时 结束向存储器2的写入,以在那时读取存储器2中存储的成像结果,以将其 存储在视频记录介质3中。应当注意,预定时间T由用户在用户设置序列中 设置。
另一方面,在成像模式是棒球摆动模式时,将图像识别处理块14中的识 别对象设置为球。如图8所示,将球存在于水平方向上右端的区域B中的样 式(图8(A))设置为这些特定样式的第一样式。同时,将其中球存在于中 心区域D中和水平方向上的右端区域B中的样式(图8(B)和8(C))设 置为这些特定样式的第二样式和第三样式。
在图8所示的例子中,当由投球手投掷的球已经进入屏幕时,检测到第 一样式,在击球手击球时,检测到第二样式,并且在由击球手棒击的球离开 屏幕时,检测到第三样式。在此情况下,在从检测到第三样式的场到追溯预 定数量场的场的这些场被确定为用户期望的场景。
因此,同样在棒球摆动模式中,当用户指令慢动作拍摄模式时,控制块 5指令开始向存储器2写入图像结果。此外,控制块5将球设置为识别对象, 并指令图像识别处理块14执行图像识别处理,基于图像识别处理结果依次检 测到第一样式到第三样式。当检测到第三样式时,则控制块5在预定时间T 后的时间时结束向存储器2的写入,并在那时读取存储器2中存储的成像结 果,将成像结果存储到视频记录介质3中。
在其他拍摄模式中,控制块5也在指令慢动作拍摄模式时指令开始成像 结果向存储器2的写入,由此指令图像识别处理块14执行与每个拍摄模式对 应的图像识别处理。基于在图像识别处理块14中获得的成像结果,控制块5 依次检测到第一样式、第二样式和第三样式,并且在检测到第三样式后的预 定时间T后,结束向存储器2的写入,以在那时读取存储器2中存储的成像 结果,由此将成像结果存储到视频记录介质3中。
图9是指示与该慢动作拍摄模式相关的控制块5的处理进程的流程图, 并且图10是指示参考图9的成像装置1的每个组件块的操作的时序图。应当 注意,在图10中,具有与图1所示相同的参考标记的每个组件块的操作与图 1所示的每个组件块的操作相同,并且2W和2R分别指示对存储器2的写操 作和读操作。
在标准操作模式中,控制块5控制成像传感器4的操作,以便获得60[fps] 场频率的成像结果(图10(A)),并且当在显示块12上显示60[fps]场频率的 成像结果时(图10(F)和10(G)),将成像结果记录到视频记录介质3(图 10(E))。应当注意,在图10中,到时间点t1的时段提供了该标准操作模式 的操作时段。
当用户在此状态下指令开始慢动作拍摄模式时,图9所示的处理进程开 始,其中控制块5指令图像识别处理块14根据该拍摄模式执行图像识别处理, 同时,指令每个组件块开始将240[fps]场频率的成像结果记录到存储器2。因 此,在此状态下,在成像装置1中,当从成像传感器4获得240[fps]场频率的 成像结果以依次循环地将其存储在存储器2中时,从显示块12提供通过场跳 跃而获得的60[fps]场频率的图像结果(图10(A)到图10(G))。
如上所述设置每个组件块的操作,控制块5从步骤SP1移动到步骤SP2, 以基于图像识别处理块14的图像识别结果来确定是否已经检测到第一样式。 如果步骤SP2中的确定是否定的,则控制块5重复步骤SP2以等到检测到第 一样式。
当已经检测到第一样式时,控制块5从步骤SP2移动到步骤SP3,以基 于图像识别处理块14的下一个图像识别结果来确定是否已经检测到第二样 式。如果该步骤SP3中的确定是否定的,则控制块重复步骤SP3以等到检测 到第二样式。
当检测到第二样式时,控制块5从步骤SP3移动到步骤SP4,以基于图 像识别处理块14的下一个图像识别结果来确定是否已经检测到第三样式。如 果该步骤SP4中的确定是否定的,则控制块5重复步骤SP4,并等到检测到 第三样式。
当在步骤SP4中检测到第三样式时,控制块5从步骤SP4移动到步骤 SP5,并在等待了由用户设置的时段T之后,结束向存储器2的写入。在步 骤SP6中,那时存储在存储器2中的成像结果被读取以存储在视频记录介质 3中。应当注意,在图10中,从时间点t1到时间点t2的时段提供了其中在 该慢动作拍摄模式中执行向存储器2的写入的时段,并且接下来的从时间点 t2到时间点t3的时段提供了其中执行从存储器2的读取的时段。
当已经完成从存储器2读取成像结果时,控制块5从步骤SP6移动到步 骤SP7以确定用户是否已经指令重复慢动作拍摄,并且如果确定是肯定的, 则指令开始将240[fps]场频率的成像结果记录到存储器2,然后返回到步骤 SP2。另一方面,如果用户没有指令重复慢动作拍摄,则控制块5从步骤SP7 移动到步骤SP8,以结束该处理进程。
应当注意,当成像结果正被写入存储器2时,控制块5接通提示灯(tally lamp)和/或在显示块12上显示预定标记,由此使用户了解成像情况。
(2)实施例1的操作
在上述配置中,当在成像装置1(图1)中设置标准成像模式时,在成像 传感器4中获得60[fpd]场频率的成像结果,并且通过AFE 6、摄像机信号处 理块7、分辨率转换处理块8和显示处理块9按此顺序处理该成像结果,以 在显示块12上显示。同时,从分辨率转换处理块8输出的图像数据由运动图 像记录处理块10压缩,以被记录到记录介质3。
当已经将操作模式切换到慢动作拍摄模式时,在成像传感器4中获得 240[fps]场频率的成像结果,并且经由AFE 6、摄像机信号处理块7、图像压 缩/解压缩块11和存储器控制块13(图5)将成像结果依次循环地存储在存 储器2中。
在成像装置1中,将该240[fps]场频率的成像结果存储到存储器2中以预 定定时结束,并且以低于写入的速度依次读取在该时间点处存储器2中存储 的成像结果。所读取的成像结果由图像压缩/解压缩块11、分辨率转换处理块 8和运动图像记录处理块10依次处理,以被记录到视频记录介质3(图6)。
因此,在成像装置1中,可以将通过将操作模式切换到慢动作拍摄模式 来慢动作拍摄期望的对象而获得的视频记录到视频记录介质3。
然而,以已经操作控制的时间点为基准而结束成像结果向存储器2的写 入例如可能不能总是正确地拍摄期望的场景,这是因为控制的操作太快或者 太慢。如果将声音用于触发,则不希望的声音可能会触发,由此在此情况下 也不能正确地拍摄期望的场景。
因此,在成像装置1中,如果设置了慢动作拍摄模式,则通过图像识别 处理块14中的图像识别处理(图2到图4)来检测与拍摄模式对应的图像样 式,并且在控制块5中分析该图像识别处理结果以判定该图像样式存在于哪 个区域中。基于该判定的结果,对于每个拍摄模式检测按照预定顺序检测出 特定样式的定时。进而,基于检测的定时,结束成像结果向存储器2的写入, 基于此开始该时刻时存储器2中所存储的成像结果的读取。
因此,在成像装置1中,如果基于成像结果的样式识别结果来设置慢动 作拍摄的时段,并以用户的控制的操作为基准来设置慢动作拍摄的时段,则 可以比以声音为基准来设置慢动作拍摄的时段更准确地拍摄用户期望的场 景。
此外,因为以对每个拍摄模式按照预定顺序检测出特定样式的定时为基 准来执行基于该样式识别结果而设置慢动作拍摄的时段的处理,因此可以有 效避免对基准定时的错误决定,由此允许更正确地拍摄期望的场景。
即,在例如高尔夫球摆动模式(图7)中,当继球存在于水平方向上在 中心的底部区域中的第一样式之后,检测到球同样存在于水平方向上在中心 的底部区域中的第二样式、然后检测到球存在于水平方向上的右端区域中的 第三样式时,以检测到第三样式的定时为基准来设置慢动作拍摄的时段。
在此情况下,如果仅以例如第一或第二样式为基准来设置慢动作拍摄的 时段,则不能标识向存储器2写入成像结果的定时,因为第一或第二样式是 把球放在球座上的相对较长时段的样式。如果仅以第三样式为基准来设置慢 动作拍摄的时段,如果例如不同于球的例如蝴蝶出现在屏幕中,则可能错误 地结束向存储器2写入成像结果。
在棒球摆动模式(图8)中,当继球存在于水平方向上右端区域中的第 一样式之后,检测到球同样存在于水平方向上在中心区域中的第二样式、然 后检测到球存在于水平方向上的右端区域中的第三样式时,以检测到第三样 式的定时为基准来设置慢动作拍摄的时段。
在此情况下,如果例如仅以第一到第三样式中的任意一个为基准来设置 慢动作拍摄的时段,如果例如击球手看起来送球(take a look),则慢动作拍摄 视频被记录到视频记录介质3,由此浪费地执行了慢动作拍摄。
然而,如利用本实施例,以按照预定顺序检测到这些第一到第三样式的 定时为基准来结束成像结果向存储器2的写入允许有效避免这些浪费和错误 的操作,由此正确地拍摄用户期望的场景。
而且,由于在此实施例中图像识别处理块的图像识别对象是存在于成像 结果的特
定位置处的图像,因此在例如通过使用公共像素差表格来处理两或 多种球类游戏的情况下,可以简化图像识别处理块中的配置,由此利用简化 的配置正确地拍摄用户期望的场景。
(3)实施例1的效果
根据上述配置,以依次检测特定样式的图像的定时为基准来结束成像结 果向存储器的高速写入并将写入该存储器的成像结果记录到记录介质允许期 望的场景的正确的慢动作拍摄。
因为利用该特定样式,要由图像识别块检测的图像识别对象是存在于一 个屏幕的特定位置处的图像,因此可以利用简单的配置正确地拍摄用户期望 的场景。
(4)实施例2
图11是用于与图7和图8比较来描述在被实践为本发明的实施例2的成 像装置中的慢动作拍摄时定时的设置的示意图。除了定时设置方法以外,此 实施例的成像装置以与实施例1的成像装置1基本相同的方式来配置。因此, 在下文中,将通过适当使用图1所示的配置做出描述。
类似于实施例1的成像装置1,此实施例的成像装置在此以按照预定顺 序检测到特定样式的图像的定时为基准来设置慢动作拍摄的时段。利用此实 施例的成像装置,应用了用于对该特定样式检测拍摄对象的提示(cue)的样 式。
更具体地,在此实施例中,在高尔夫球摆动模式中,将双眼睁开的样式 设置为第一样式(图11(A)),并将右眼闭上的样式设置为第二样式(图11 (B))。将双眼睁开的样式设置为第三样式(图11(C))。控制块5依次检测 这些第一到第三样式,以通过拍摄对象的眨眼来检测提示。当通过眨眼在右 眼闭上以后检测到第三样式时,控制块5从检测到该第三样式的时间点开始 将成像结果写入存储器2。
将指示观看飞动的球的侧脸的样式设置为第四样式(图11(D)),并将 指示正脸的样式设置为第五样式(图11(E))。此外,将左眼闭上的样式设 置为第六样式(图11(F))。控制块5依次检测这些第四到第六样式,以通 过拍摄对象的眨眼来检测提示(cue)。即,在此情况下,当拍摄的人物对象通 过眨眼闭上左眼时,检测到第六样式,并且控制块5从检测到第六样式的时 间点停止慢动作拍摄的向存储器2的写入,开始从存储器2读取。
因此,在此实施例中,图像识别处理块14在像素差表格中记录并保持睁 眼样式和闭眼样式,并在控制块5的控制下检测这些睁眼样式和闭眼样式, 以将这些睁眼样式和闭眼样式传送到控制块5。
根据此实施例,以按照特定顺序检测到特定样式的图像的定时为基准来 设置慢动作拍摄的时段,并且按照该预定顺序检测出的特定样式是用于检测 拍摄对象的提示的样式,通过执行慢动作拍摄以便反映拍摄对象的意图,这 更确实地允许拍摄用户期望的场景。
(5)实施例3
图12是用于与图7和图8相比较地描述在被实践为本发明的实施例3的 成像装置中的慢动作拍摄时的定时设置的示意图。除了定时设置方法以外, 此实施例的成像装置以与上述实施例的成像装置基本相同的方式来配置。因 此,在下文中,将通过适当使用图1所示的配置做出描述。
在此实施例中,类似于实施例1的成像装置1,此实施例的成像装置在 此以按照预定顺序检测到特定样式的图像的定时为基准来设置慢动作拍摄的 时段。利用此实施例的成像装置,将通过操作序列检测到的人物的姿势的样 式采用为此特定样式。因此,此实施例的成像装置以拍摄对象的姿势的改变 为基准来设置慢动作拍摄的时段。
即,利用此实施例,如图12所示,在高尔夫球摆动模式中,将人直立握 着高尔夫球棒的准备击球的姿势设置为第一样式(图12(A)),并且将回摆 (take-back)的姿势设置为第二样式(图12(B))。此外,将人正注视击出 的球的姿势设置为第三样式(图12(C))。因此,在此实施例中,图像识别 处理块14生成字典,使得这些第一到第三样式可检测。
当用户指令慢动作拍摄时,控制块5开始向存储器2的高速写入。而且, 控制块5指令图像识别处理块14开始图像识别处理,并基于图像识别处理结 果依次检测第一到第三样式。当在检测到第三样式后已经经过了预定时段T 时,结束向存储器2的写入,并且开始在那时存储器2中所存储的成像结果 的读取。
根据此实施例,以按照预定顺序检测到特定样式的图像的定时为基准来 设置慢动作拍摄的时段,并且按照预定顺序检测的特定样式是要通过操作序 列检测的姿势,由此允许通过精确确定带有特定姿势——例如高尔夫球摆动 ——的拍摄对象而更精确地拍摄用户期望的场景。
(6)实施例4
此实施例的成像装置以按照特定顺序检测出特定样式的图像的定时为基 准来设置慢动作拍摄的时段,并接受通过用户进行的操作对该特定样式的设 置。除了该特定样式设置以外,此实施例的成像装置以与上述实施例的每个 的成像装置基本相同的方式而配置。因此,在下文中,将通过适当使用实施 例1的成像装置的配置来描述实施例4的成像装置的配置。
即,利用该成像装置,当用户选择慢动作拍摄的登记模式时,控制块5 在显示块12上显示向导消息,和/或合成并输出引导(guide)声音,由此通过这 些显示和/或声音提示用户要在登记模式中执行的操作序列。
基于根据这些引导的用户操作,控制块5在标准操作模式中基于试拍 (trial)来拍摄慢动作拍摄的对象,并将试拍记录到视频记录介质3。控制块 5还再现基于试拍的移动图像,并在显示块12上显示该再现的移动图像。在 该移动图像的再现中,控制块5指令用户执行暂停,并如图13所示让用户选 择慢动作拍摄的对象的一个场景,在显示块12上显示所选的场景。
在此状态下,控制块5接受图像识别处理块14中的图像识别对象的选择。 即,控制块5通过显示预定菜单屏幕而接受包含图像识别的对象的帧W的选 择,并在显示块12上所显示的静止图像上显示该帧W。而且,响应于布置在 显示屏一侧的加、减控制16、17的操作,控制块5放大、缩小该帧W的显 示。控制块5将用于
指定上/下方向和左/右方向上的移动的菜单18U、18D、 18R和18L显示在显示屏上,并响应于通过
触摸板检测的这些菜单18U、18D、 18R和18L的操作将帧W的显示位置向上/下和左/右移动。当用户操作OK 菜单时,控制块5将帧W所包括的图像设置为图像识别处理块14的识别对 象。
即,在此情况下,在将该静止图像的图像数据传递到图像识别处理块14 用于前处理后,控制块5以通过该前处理所检测的特征点为基准,从帧W所 包括的部分中检测要在像素搜索表中登记的两个点的坐标值。而且,控制块 5通过计算这两个点的像素差值来计算阈值,并将所获得的坐标值和这两个 点的阈值登记到存储器14D中。应当注意,在此情况下,如上所述,如果通 过结合例如基于颜色信息的颜色检测处理来检测特定样式,则通过两个或多 个其他检测处理操作的各种组合来执行处理,或者使
用例如遗传算法,控制 块5获得执行每个处理操作所需的信息来在存储器14D中建立字典。
例如,可以通过仅接受帧W的设置不执行试拍处理来接受检测对象的登 记。在此情况下,在接受用户对帧W的设置后,控制块5指令图像识别处理 块14执行将由所设置的帧W所包括的图像设置为识别对象的处理。由控制 块5指令后,图像识别处理块14在开始慢动作拍摄时根据帧W所包括的图 像将搜索对象登记到像素搜索表中,通过使用该像素搜索表依次搜索识别对 象。
在将字典登记到存储器14D中后,控制块5接受第一到第三样式的设置。 在此,如图14所示,控制块5切换显示块12上的显示,并显示用于对每个 样式确定图像识别对象的出现或未出现的区域的边界。在对每个样式的显示 中,控制块5接受用户对区域的选择。应当注意,图14所示的第一到第三样 式是将一个屏幕水平划分为三个区域并且垂直划分中心区域由此设置区域的 例子。控制块5检测用户通过触摸板对每个区域的选择,并且切换由用户选 择的区域的颜色,向用户通知其选择。应当注意,在图14中,通过阴影示出 用户选择的区域。因此,在图13和图14所示的例子中,将球存在于水平方 向上较低的中心区域中的情况分配为第一和第二样式,并将球存在于水平方 向上右侧区域中的情况分配为第三样式。
应当注意,代替通过显示这些第一到第三样式的区域而接受用户对区域 的选择,可以接受用户在显示屏幕上对区域的直接指定。还可以实践为再现 基于试拍而拍摄的视频,并接受针对与每个样式对应的场景的暂停操作,由 此通过处理该暂停的图像而接受每个样式的登记。即,在此情况下,利用暂 停的图像,检测识别对象存在的位置,并基于该检测结果来检测识别对象存 在的区域。此外,可实践为显示预先设置的预定移动样式,并让用户选择该 移动样式,由此接受样式登记。另外,可实践为准备诸如例如高尔夫球模式 和网球模式之类的预设参数作为简单设置模式,并接受执行参数的改变,由 此接受样式登记。
应当注意,如关于实施例3描述的,在通过姿势的样式检测定时的情况 下,可以再现基于试拍而拍摄的视频以接受暂停操作,并且可以分析该暂停 的图像以接受针对每个姿势的样式登记。
当用户已经选择每个样式区域时,控制块5响应于预定控制的操作而结 束登记模式,由此结束特定样式设置的接受。
当再次指定慢动作拍摄时,如实施例1的情况,控制块5以依次检测登 记模式中所登记的第一到第三样式的定时为基准而结束成像结果向存储器2 的写入。
在此实施例中,当检测第一和第二样式时,控制块5还指令图像识别处 理块14仅在水平方向上的较低中心区域中执行图像识别处理,其中在第一和 第二样式中识别对象存在于该在水平方向上的较低中心区域中。在检测到第 二样式后,控制块5指令图像识别处理块14仅在水平方向上的右侧区域中执 行图像识别处理,其中在第三样式识别对象存在于该水平方向上的右侧区域 中。响应于控制块5的指令,图像识别处理块14扫描样式匹配区,以检测作 为识别对象的球存在的图像,由此省略了作为基于样式匹配的图像检测处理 所需的前处理操作之一的检测图像缩放(scaling)处理。而且,通过仅在部分区 域中执行扫描处理,省略了在整个屏幕中的样式匹配扫描以简化处理。应当 注意,图15(A)示出了如参考图13所述的仅在水平方向上的较低中心区域 中检测识别对象的情况,其中由箭头指示样式匹配区域扫描。
图像识别处理块14以紧接在前的图像识别的结果为基准缩小了要进行 样式匹配的区域的大小,并以高速执行图像识别处理。即,在各个区域中的 图像识别处理中,在开头的一个场中,如图15(A)所示,,图像识别处理块 14在被指令用于图像识别处理的整个区域中对样式匹配区AR执行光栅扫描 来检测图像识别对象a。在第二和随后的场中,如图15(B)所示,在紧接在 前的场中所检测的图像识别对象a的位置周围的恒定范围AR1中,对样式匹 配区AR执行光栅扫描来检测图像识别对象a。
应当注意,如关于实施例2所述,在检测眼睛睁开和闭上的情况下,首 先如图16(A)所示通过使用与脸部有关的字典(像素差表格)来标识脸部 的位置,然后从标识的脸部位置中设置假设具有眼睛的范围,并且如图16(B) 所示,通过使用与眼睛关联的字典搜索该设置范围来检测睁开的眼睛或者闭 上的眼睛,这允许以紧接在前的图像识别结果为基准大大缩小要进行样式匹 配的每个区域的大小,由此以高速执行图像识别处理。此外,在此情况下, 可以提高图像识别处理的
精度。
根据此实施例,以按照预定顺序检测出特定样式的图像的定时为基准来 设置慢动作拍摄的时段,并通过用户操作接受该特定样式的登记,以将该特 定样式应用于各种对象的拍摄,由此确实地以慢动作方式拍摄用户期望的场 景。
(7)实施例5
图17是用于与图10比较地描述被实践为本发明的实施例5的成像装置 的操作的时序图。在此实施例的成像装置中,即使在以慢动作拍摄模式记录 以高速记录到存储器的成像结果的时段中,场跳跃图像数据也被记录到记录 介质。除了到记录介质的该记录以外,此实施例的成像装置以与上述实施例 的每个的成像装置基本相同的方式而配置。因此,在下文中,将通过适当使 用图1所示的配置来描述此实施例的成像装置。
即,在此实施例中,在如以上关于实施例1所述的标准操作模式中,分 辨率转换处理块8将由摄像机信号处理块7处理的图像数据D1输出到运动 图像记录处理块10用于记录,并转换分辨率以将转换的图像数据输出到显示 块12。
相反,在慢动作拍摄模式中,在向存储器2的记录过程中,当具有240[fps] 场频率的图像数据D1被跳跃以被输出到显示块12用于监视时,具有240[fps] 场频率的图像数据D1被输出到图像压缩/解压缩块11用于记录到存储器2, 并且具有60[fps]场频率的图像数据D1被输出到运动图像记录处理块10用于 记录。相反,如以上关于实施例1所述,在从存储器2读取时,从图像压缩/ 解压缩块11输出的具有60[fps]场频率的图像数据D被输出到运动图像记录 处理块10,并且转换分辨率以将转换的图像数据输出到显示块12用于监视。
因此,在此实施例中,可以不间断地记录具有60[fps]场频率的成像结果, 并且可以自动记录在慢动作中拍摄的仅具有期望场景的成像结果。
根据此实施例,可以设置以按照预定顺序检测特定样式的图像的定时为 基准来执行慢动作拍摄的时段,以不间断地记录具有60[fps]场频率的成像结 果,由此在慢动作中仅拍摄期望的场景。
(8)实施例6
图18是指示可以用于被实践为本发明的实施例6的成像装置的存储器2 的配置的示意图。除了存储器2以外,此实施例的成像装置以与上述实施例 的每个的成像装置基本相同的方式而配置。因此,在下文中,将通过适当使 用图1所示的配置来描述此实施例的成像装置。
在此,利用此实施例中的存储器2,可记录区被划分为两个或多个区域, 区域1到区域5。利用该成像装置,将这些区域1到区域5依次循环地分配 给连续的慢动作拍摄,以存储成像结果,由此允许重复的慢动作拍摄。应当 注意,在图18中,由箭头表示每个区域中成像结果的循环写入。
图19是与图9比较来指示该成像装置的控制块5的处理进程的流程图。, 图20是与图17比较来指示在图19所示的处理进程中用户未选择即时记录的 情况下成像装置的每个组件块的操作的时序图。
当用户指令开始慢动作拍摄模式时,控制块5开始图19所示的处理进程, 并指令图像识别处理块14执行与拍摄模式对应的图像识别处理,并指令每个 组件块开始将具有240[fps]场频率的成像结果记录到存储器2。然后,处理进 程从步骤SP11前进到步骤SP12,其中控制块5基于图像识别处理块14中所 获得的图像识别结果来确定是否已经检测到第一样式。如果在步骤SP12中获 得了否定结果,则控制块5重复步骤SP12以等到检测到第一样式。
如果已经检测到第一样式,则控制块5从步骤SP12移动到步骤SP13, 以等到检测到第二样式,并且当检测到第二样式时,从步骤SP13移动到步骤 SP14。在步骤SP14中,控制块5等到检测到第三样式,并且如果检测到第 三样式,则从步骤SP14移动到步骤SP15。
在此,在等待用户设置的时段T经过后,控制块5结束向存储器2的写 入。在步骤SP16中,控制块5确定用户是否选择了即时记录,并且如果结果 是肯定的,则从步骤SP16移动到步骤SP17。在此,控制块5读取在该时间 点时存储器2中所存储的成像结果,并将成像结果存储到视频记录介质3。 应当注意,在图20中,从时间点t1到时间点t2的时段是在慢动作拍摄模式 中执行向存储器2的写入的时段,并且从时间点t2到时间点t3的下一时段是 执行从存储器2的读取的时段。
当已经结束从存储器2的读取时,控制块5从步骤SP17移动到步骤SP18, 以确定用户是否已经指令重复慢动作拍摄,并且如果结果是肯定的,则指令 开始向存储器2的记录,然后返回到步骤SP12。相反,如果用户还没有指令 重复慢动作拍摄,则控制块5从步骤SP18移动到步骤SP19,以确定用户是 否已经选择了即时记录,并且如果结果是肯定的,则从步骤SP19移动到步骤 SP20,以结束该处理进程,因为在此情况下目前为止已经完成了存储器2中 所存储的成像结果的记录的处理。
因此,如果用户选择了即时记录,则此实施例的成像装置以与上述实施 例相同的方式执行慢动作拍摄的处理。
相反,如果用户未选择即时记录,则步骤SP16中的结果是否定的,使得 控制块5从步骤SP16移动到步骤SP18,而不执行从存储器2的读取,以确 定用户是否已经指令重复慢动作拍摄,并且如果结果是肯定的,则指令开始 将具有240[fps]场频率的成像结果记录到存储器2,返回到步骤SP12。同时, 控制块5指令存储器控制块13操作切换,以便将成像结果记录到对于成像结 果刚刚已经记录到的存储器2的区域的下一区域。
因此,在此情况下,在此实施例的成像装置中,依次选择区域1到区域 5,直到用户停止重复慢动作拍摄的指令,成像结果以高速存储在存储器2中。 此时,通过省略读取存储器2中存储的成像结果的处理将成像结果存储在下 一区域中。
如果如上所述依次将成像结果存储在存储器2中,并且用户停止重复慢 动作拍摄的指令或者用户还没有指令重复慢动作拍摄,则控制块5从步骤 SP18移动到步骤SP19,以确定用户是否选择了即时记录;在此情况下结果 是否定的。在此情况下,控制块5从步骤SP19移动到步骤SP21,并读取目 前为止存储器2的每个区域中存储的成像结果,以将成像结果记录到视频记 录介质3,移动到步骤SP20以结束该处理进程。
因此,在此例子中,最后统一地读取以高速存储在存储器2中的成像结 果,以将其存储在视频记录介质3中,从图20所示的时间点t4到时间点t5 的时段等于执行该处理的时段。
根据此实施例,存储器被划分为两个或多个区域,并且将这些区域的每 个依次设置为慢动作拍摄的成像结果的记录区,由此允许连续的慢动作拍摄, 以提高用户使用的舒适性。
(9)其他实施例
应当注意,在上述实施例中,已经描述了通过使用三个样式设置结束向 存储器2的写入的定时的情况,但本发明不限于此配置;如果可以正确地设 置结束写入的定时,则可以通过使用两个样式来设置结束向存储器2的写入 的定时,或者可以通过使用四个或更多的样式来设置结束向存储器2的写入 的定时。
在上述实施例6中,如果用户未选择即时记录,则执行操作切换,并且 最后统一地读取以高速存储在存储器2中的成像结果,以将其存储在视频记 录介质3中,但本发明不限于此配置;如设置结束向存储器2的写入的定时 的情况,可以检测操作切换的指令。在此情况下,用户可以在离开成像装置 的位置处切换该成像装置的操作,由此进一步提高用户使用的舒适性。应当 注意,在此情况下,可能需要通过例如提示灯的闪烁的方式来通知用户操作 切换,由此防止错误操作的切换指令。
而且,在上述实施例中,如果将存储器中存储的成像结果存储在视频记 录介质中,则在显示块上显示要被存储到视频记录介质3的成像结果用于监 视,但本发明不限于此配置;可以省略在显示块上显示的处理,以在显示块 上显示图像传感器获得的成像结果的同时,在后台将存储器2中存储的成像 结果记录到视频记录介质。
在上述实施例中,在标准操作模式中,以60[fps]的场频率获得成像结果 以将其记录到视频记录介质,但本发明不限于此配置;即使在标准操作模式 下,也可以以240[fps]的场频率获得成像结果,以在对成像结果执行场跳跃后, 将其记录到视频记录介质。
在上述实施例中,在标准操作模式中,以60[fps]的场频率获得成像结果, 并且在慢动作拍摄模式中,以240[fps]的场频率获得成像结果,但本发明不限 于此配置;在本发明的精神下,可以将这些频率设置为所需的各种其他值, 并且本发明可以广泛应用于通过非
隔行扫描获得用于记录的成像结果的情 况。
在上述实施例中,以标准操作模式中的场频率从存储器中读取以高速存 储在存储器2中的成像结果,以将其记录到视频记录介质,但本发明不限于 此配置;例如,可以以高于标准操作模式中的场频率并低于执行向存储器的 写入的频率的场频率从存储器中读取成像结果,并将因此读取的成像结果记 录到视频记录介质。该配置允许在短时间内将存储器中存储的成像结果存储 的视频记录介质,由此例如增加了用于重复慢动作拍摄的时间余量。
工业适用性
本发明可应用于例如摄像机。