首页 / 专利库 / 广播 / 帧内预测 / 摄像装置和摄像方法

摄像装置和摄像方法

阅读:829发布:2023-12-31

专利汇可以提供摄像装置和摄像方法专利检索,专利查询,专利分析的服务。并且一种摄像装置具有:在传送摄像元件存储的全部 像素 数的电荷时,将上述电荷的数据传送分割在多个场进行的摄像元件;利用上述多个场中传送的任意场数的传送数据进行 图像处理 的图像处理部件。在上述摄像元件中设置多个彩色滤色器。上述摄像元件由在传送上述电荷的各场传送数据中至少包含RGB或YeCyMgG构成的彩色 信号 的交替传送方式构成。,下面是摄像装置和摄像方法专利的具体信息内容。

1.一种交替传送方式的摄像装置,在传送摄像元件存储的全部像素数 的电荷时,将上述电荷的数据传送分割在多个场进行,而且使用设置了多 个彩色滤色器的摄像元件,
其特征是具有:在传送上述电荷的各场的传送数据中至少包含由RGB 或YeCyMgG构成的彩色信号的交替传送方式的摄像元件;在开始图像处理 前从已传送的数据中提取图像特征数据的提取部件;根据提取的上述特征 数据生成进行图像校正的控制值的生成部件;利用根据上述特征数据生成 的控制值进行图像处理的图像处理部件。
2.如权利要求1所述的交替传送方式的摄像装置,其特征在于,
所述摄像装置还包括对处理并记录上述摄像元件存储的全部像素数的 传送数据的第1模式或处理并记录少于全部像素数的像素数的传送数据的 第2模式的其中之一进行选择的选择部件,
在由上述选择部件选择的第2模式,利用从分割在多个场由先前传送 的传送数据提取的上述特征数据生成的控制值,处理并记录以后传送的传 送数据。
3.权利要求1记载的交替传送方式的摄像装置,其特征是:在上述摄 像元件设置的彩色滤色器为GRB原色系列的彩色滤色器。
4.权利要求2记载的交替传送方式的摄像装置,其特征是:在上述摄 像元件设置的彩色滤色器为GRB原色系列的彩色滤色器。
5.权利要求1记载的交替传送方式的摄像装置,其特征是:在上述摄 像元件设置的彩色滤色器为YeCyMgG补色系列的彩色滤色器。
6.权利要求2记载的交替传送方式的摄像装置,其特征是:在上述摄 像元件设置的彩色滤色器为YeCyMgG补色系列的彩色滤色器。
7.权利要求1记载的交替传送方式的摄像装置,其特征是:分割在三 个场内进行上述电荷的数据传送,且分割后的各场包含全部RGB颜色信号 的交替传送方式。
8.权利要求2记载的交替传送方式的摄像装置,其特征是:分割在三 个场内进行上述电荷的数据传送,且分割后的各场包含全部RGB颜色信号 的交替传送方式。
9.权利要求3记载的交替传送方式的摄像装置,其特征是:分割在三 个场内进行上述电荷的数据传送,且分割后的各场包含全部RGB颜色信号 的交替传送方式。
10.权利要求4记载的交替传送方式的摄像装置,其特征是:分割在三 个场内进行上述电荷的数据传送,且分割后的各场包含全部RGB颜色信号 的交替传送方式。
11.权利要求5记载的交替传送方式的摄像装置,其特征是:分割在三 个场内进行上述电荷的数据传送,且分割后的各场包含全部RGB颜色信号 的交替传送方式。
12.权利要求6记载的交替传送方式的摄像装置,其特征是:分割在三 个场内进行上述电荷的数据传送,且分割后的各场包含全部RGB颜色信号 的交替传送方式。
13.权利要求1到12的任一项记载的交替传送方式的摄像装置,其特 征是:上述图像特征数据是白色平衡控制用色分布数据,根据上述特征数 据生成白色平衡用控制值。
14.权利要求1到12的任一项记载的交替传送方式的摄像装置,其特 征是:上述图像特征数据是提取出画面内的边缘成分的数据,根据上述特 征数据生成边缘强调用控制值。
15.权利要求1到12的任一项记载的交替传送方式的摄像装置,其特 征是:上述图像特征数据是提取出画面内的色信息的数据,根据上述特征 数据生成色变换系数的控制值。
16.权利要求1到12的任一项记载的交替传送方式的摄像装置,其特 征是:上述图像特征数据是提取出画面内的亮度分布的数据,根据上述特 征数据生成对比度校正的控制值。
17.权利要求1到12的任一项记载的交替传送方式的摄像装置,其特 征是:对2进制编码图像进行生成处理的上述摄像装置的图像特征数据是 提取出画面内的亮度分布的数据,根据上述特征数据生成2进制编码处理 的阈值作为控制值。
18.一种交替传送方式的摄像方法,在传送摄像元件存储的全部像素 数的电荷时,将上述电荷的数据传送分割在多个场进行,而且使用设置了 多个彩色滤色器的摄像元件,
其特征是:接受传送在各场至少包含由RGB或YeCyMgG构成的彩色信 号的数据的交替传送方式摄像元件的传送数据,从已传送的数据提取出图 像特征数据,根据提取出的上述特征数据生成进行图像校正的控制值,利 用上述控制值进行图像处理。
19.如权利要求18所述的交替传送方式的摄像方法,其特征在于,
在上述第2模式,利用从分割在多个场由先前传送的传送数据提取的 上述特征数据生成的控制值,处理并记录以后传送的传送数据。
20.权利要求18到19记载的交替传送方式的摄像方法,其特征是: 上述交替传送方式中,分割在三个场内进行上述电荷的数据传送,且分割 后的各场包含全部RGB颜色信号。
21.一种摄像装置,在传送摄像元件存储的全部像素数的电荷时,将 上述电荷的数据传送分割在多个场进行,具有在每个所定区域区划的多个 像素、通过该像素中的滤色器检出3原色的各色像素值的像素配置在各个 上述区域内的固体摄像元件,将产生随温度变化的温度白瑕疵的缺陷像素 规定在上述各区域内为1个以下的固体摄像元件全部像素的各像素值分在3 个以上场读出,根据读出的像素值形成1图像,
其特征是备有温度白瑕疵校正装置,该装置具有:在上述每个区域, 求出相互对应于通过相互色配置为同一的滤色器检出的第1场和第2场的 配置位置的各像素间的像素值之差的部件;当对应的两像素间之差超过所 定阈值范围时,根据其差的符号,判定上述两像素中的一个像素是上述缺 陷像素,根据上述两像素中另一个像素的像素值,校正判定为缺陷像素的 上述一个像素的像素值的校正部件。
22.权利要求21记载的摄像装置,其特征是:上述一个像素的像素值, 可用上述另一个像素的像素值替换。
23.权利要求21记载的摄像装置,其特征是具有:根据校正后的第1 和第2场的各像素值预测第3场各像素的像素值,求出该各预测值与从第3 场各像素求出的像素值之差的部件;当由该部件求出的差超过上述所定阈 值范围时,判定第3场的该像素是上述缺陷像素,用上述预测值替换该缺 陷像素的像素值的部件。
24.权利要求21记载的摄像装置,其特征为:当选择指示像素数减少 的摄影模式时,在上述第1场和第2场中,对于全部3原色,选择上述缺 陷像素少的场,根据该场像素的像素值形成1帧图像。
25.权利要求24记载的摄像装置,上述摄影模式是连写模式。
26.权利要求21记载的摄像装置,上述缺陷像素的像素值接受由上述 温度白瑕疵校正装置的校正之前,校正不依存于上述像素温度的常温瑕疵 的常温瑕疵校正装置设置在上述温度白瑕疵校正装置的前级。
27.一种摄像方法,在传送摄像元件存储的全部像素数的电荷时,将 上述电荷的数据传送分割在多个场进行,具有在每个所定区域区划的多个 像素、通过该像素中的滤色器检出3原色的各色像素值的像素配置在各个 上述区域内,准备产生随温度变化的温度白瑕疵的缺陷像素规定在上述各 区域内为1个以下的固体摄像元件,将该固体摄像元件的全部像素的各像 素值分在3个以上场读出,根据读出的像素值形成1帧图像,
其特征是备有温度白瑕疵校正装置,在上述每个区域,求出相互对应 于通过相互色配置为同一的滤色器检出的第1场和第2场的配置位置的各 像素间的像素值之差,当对应的两像素间之差超过所定阈值范围时,根据 其差的符号,判定上述两像素中的一个像素是上述缺陷像素,根据上述两 像素中另一个像素的像素值,校正判定为缺陷像素的上述一个像素的像素 值。
28.一种摄像方法,在传送摄像元件存储的全部像素数的电荷时,将 上述电荷的数据传送分割在多个场进行,其特征是:
在具有色分解用彩色滤色器的摄像元件传送按照由成像部件成像的像 存储的全部像素的电荷时,将上述电荷的数据传送分割在M(≥3)场进行;
利用全部彩色信号和必要的像素数齐全的m(<M)的传送数据,进行至少 包含YUV变换的图像处理。
29.权利要求28记载的摄像方法,其特征是:场数:M是3以上的奇 数,m=1。
30.权利要求28记载的摄像方法,其特征是:场数:M是4以上的偶 数,m=2。
31.权利要求28或29或30记载的摄像方法,其特征是:在m场的传 送数据齐全的时刻,立即进行至少包含YUV变换的图像处理。
32.权利要求28到30的任一项记载的摄像方法,其特征是:利用包 含YUV变换的图像处理,制作摄影确认图像。
33.权利要求28到30的任一项记载的摄像方法,其特征是:利用包 含YUV变换的图像处理,制作样稿图像。
34.权利要求28到30的任一项记载的摄像方法,其特征是:
设定应制作的图像的条件;
利用n(m≤n≤M)场的传送数据进行图像处理,制作上述应制作的图像。
35.权利要求34记载的摄像方法,其特征是:
应制作的图像的条件是图像的解像度;
n是具备设定的解像度的图像制作所必要的像素数齐全的场数。
36.权利要求35记载的摄像方法,其特征是:M=3,对于场数:n=1 制作低解像度的图像,对于场数:n=2制作中解像度的图像,对于场数:n=M 制作高解像度的图像。
37.权利要求35记载的摄像方法,其特征是:M=4,对于场数:n=2 制作低解像度的图像,对于场数:n=M制作中解像度的图像和/或高解像度 的图像。
38.权利要求35记载的摄像方法,其特征是:M=6,对于场数:n=M 制作高解像度的图像,对于场数:n=2制作低解像度的图像,对于场数:n=4 制作中解像度或低解像度的图像。
39.权利要求34记载的摄像方法,其特征是:
应制作的图像的条件是图像的压缩率;
n是具备设定的压缩率的图像制作所必要的像素数齐全的场数。
40.权利要求39记载的摄像方法,其特征是:M=3,对于场数:n=1 按照JPEG格式进行图像压缩处理。
41.权利要求39记载的摄像方法,其特征是:M=4或6,对于场数:n=2 按照JPEG格式进行图像压缩处理。
42.一种摄像装置,在传送摄像元件存储的全部像素数的电荷时,将 上述电荷的数据传送分割在多个场进行,其特征是:
该装置是具有:
具备色分解用彩色滤色器的摄像元件;
在该摄像元件上,使应摄像的像成像的成像部件;
对上述摄像元件存储并传送的电荷进行数字信号化摄像处理的摄像处 理部;
利用通过该摄像处理部传送的传送数据,进行至少包含YUV变换的图 像处理的图像处理部件,
上述摄像元件是在传送存储的全部像素的电荷时,将上述电荷的数据 传送分割在M(≥3)场进行的交替传送方式的摄像元件。
43.权利要求42记载的摄像装置,其特征是:
摄像元件具有的彩色滤色器是红(R)、绿(G)、兰(B)的原色系列滤色器。
44.权利要求42记载的摄像装置,其特征是:
摄像元件具有的彩色滤色器是黄(Y)、青(C)、深红(M)、绿(G)的补色 系列滤色器。
45.权利要求42或43或44记载的摄像装置,其特征是:交替传送方 式的摄像元件的M是3,实施权利要求36或41记载的摄像方法。
46.权利要求42或43或44记载的摄像装置,其特征是:交替传送方 式的摄像元件的M是4或6,实施权利要求37或38或39记载的摄像方法。
47.权利要求42到44的任一项记载的摄像装置,其特征是:实施权 利要求32或33的摄像方法,具有显示摄像确认图像和/或样稿图像的显示 部。
48.权利要求42到44的任一项记载的摄像装置,其特征是:可装卸 存储制作的图像的外部存储部。
49.权利要求42到44的任一项记载的摄像装置,其特征是:具有存 储制作的图像的图像保持区域。
50.一种图像信息处理装置具有至少作为其一部分的权利要求42到44 的摄像装置。

说明书全文

技术领域

发明涉及摄像装置和摄像方法,更详细地说,涉及在传送摄像元件 存储的电荷时,使用在分割为多个场的各场的传送数据中至少包含由RGB 或YeCyMgG构成的彩色信号的交替传送方式摄像元件的摄像装置和摄像方 法。

本发明还涉及由CCD固体摄像元件构成摄像元件的数字静像摄像机。

背景技术

将CCD用作摄像元件的数字静像摄像机中,构成CCD的各像素的单元 产生反映受光量的电荷。该各单元的电荷量作为像素值被读出,读出的像 素值作为1的摄影图像的图像数据,从CCD顺序输出。
已有的数字摄像机使用的摄像装置中,使用分2次进行读出的交替方 式或1次进行读出的步进方式,传送来自摄像元件的电荷。无论哪种方式 都有优点或缺点。例如,特开2001-285688号公报记载的数字摄像机,具 有交替传送送方式、步进传送方式的两种方式。在该记载的交替传送方式 中,按照使用快的单写模式,需要处理时间但提供了质量高的图像;在 步进传送方式中,按照在不使用快门的多个像素列中传送1像素列信号的 连写模式,产生了污点但使高速连写成为可能。
在特开平6-54250号公报记载的电视摄像机及其测光和对焦点检出方 法中,使用交替传送方式分割的场调整曝光量,然后,使用另外的场实行 用于对焦位置调整的预备摄影。
但是,在使用这种构成的交替传送方式的摄像元件的摄像装置中,传 送摄像元件存储的电荷时,原色系列的滤色器情况下分为R,Gr信号和B, Gb信号,或者补色系列的滤色器情况下分为Ye,Cy信号和Mg,G信号,通 过第1,第2场的2场进行传送(参照图7)。这种方式存在的问题是:在直 到第1、第2的2场传送结束都未能得到RGB信号或YeCyMgG信号的图像处 理必要数据,图像处理需要时间,并且,在摄影确认图像的制作、样稿图 像的制作时,由于进行了同样的处理,则也需要时间。
在特开平6-54250号公报记载的电视摄像机及其测光和对焦点检出方 法中,一般来说,如图4所示,摄像装置使用的CCD具有:矩阵状配置的 像素S;沿各像素S的平方向一侧,在每个垂直行设置的垂直传送寄存器 VR;在各垂直传送寄存器VR的终端侧设置的水平传送寄存器HR。该CCD, 在各像素S,分别配置R(红)、G(绿)、B(兰)三原色滤色器的其中之一。配 置了R滤色器的像素S,变换R光并输出R信号;配置了G滤色器的像素S, 变换G光并输出G信号;配置了B滤色器的像素S,变换B光并输出B信号。 上述三原色滤色器,输出各信号的区域在水平方向按R、G、R、G......或G、 B、G、B......的顺序配置,R、G、R、G......色的滤色器配置的水平行(以下 称为RG行)和G、B、G、B......色的滤色器配置的水平行(以下称为GB行) 交替设置。图中,为了区别来自RG行的G信号和来自GB行的G信号,将 RG行的G信号记载为Gr信号,将GB行的G信号记载为Gb信号。
已有的交替式传送方式中,在传送上述构成的CCD存储的电荷时,分 为由GB行构成的场(参照图4(a))和由RG行构成的场(参照图4(b)),在2 场进行传送。
但是,已有的传送方式中,由GB行构成的场仅包含Gb信号和B信号, 由RG行构成的场仅包含R信号和Gr信号。也就是,2场的传送结束时,由 于传送全部种类RGB的信号,则直到全部场的传送结束,都不可能得到RGB 图像处理的必要数据。
因此,直到传送结束,未能形成整个图像的图像特征数据,则不可能 开始此后的图像处理。存在的问题是:到图像处理完成须要花费时间,从 摄影到可进行下一次摄影花费了过多的时间。
将CCD用作摄像元件的数字静像摄像机中,构成CCD的各像素的单元 产生反映受光量的电荷。该各单元的电荷量作为像素值读出,读出的像素 值作为1帧的摄影图像的图像数据,从CCD顺序输出。
该数字静像摄像机,在摄像机小型化的同时,由于像素数的增加也实 现了高解像度化。因此,随着像素数的增加,在构成像素的各单元的一部 分产生的像素缺陷的问题很明显。
这种像素缺陷是黑瑕疵、明亮白瑕疵、温度白瑕疵缺陷。黑瑕疵起因 于附着在像素光入射面的灰尘等,明亮白瑕疵起因于配置在像素光入射面 的滤色器或微透镜的缺损等。
黑瑕疵和明亮白瑕疵都是与CCD的动作温度环境无关的静缺陷,随着 在CCD制造工艺中采用的半导体制造技术的进步,得到了改善。
与此相反,温度白瑕疵称为暗电流瑕疵,是受到暗电流的增减和存储 电荷的条件也就是CCD的温度变化和曝光时间长短的影响的动缺陷。
为了校正该温度白瑕疵的动缺陷,特开2000-101925号公报或特开 2000-224487号公报提出了一种方案,即:将产生CCD的温度白瑕疵的像素 地址预先存储在存储器中,当用数字静像摄像机摄影时,根据存储器存储 的地址,校正缺陷像素的像素值。
然而,由于温度白瑕疵随温度和曝光时间而变化,因此为了得到产生 该温度白瑕疵的像素的地址,必须分别以温度和曝光时间为参数,调查在 各个参数的条件下出现问题的温度白瑕疵产生在哪个像素,准备该地址表 格。由于这种调查对各参数的每个组合都要进行,因此缺陷像素地址表格 的制作非常麻烦,是不现实的。此外,即使根据一部分地址数据,采用线 形扦补法,制成了关于温度白瑕疵的全部地址数据,由于必须要有测定作 为参数的动作温度的温度传感器以及用于存储记载缺陷像素地址的地址表 格的存储器,则存在使摄像机价格提高的问题。
在具有色分解用彩色滤色器的摄像元件,按照由成像部件成像的像传 送存储的全部像素的电荷,进行所定图像处理形成图像的摄像装置,已知 用作电子静物摄像机,并且,作为便携电话等的便携信息终端和计算机装 置的一部分而能组合。
摄像元件按照像素数增加和小型化的要求,“在传送存储的全部像素的 电荷时,将电荷的数据传送分割在多个场进行的交替传送方式的摄像元件” 日益一般化。
例如,采用这种交替传送方式的摄像元件的彩色电子静物摄像机中, 在色分解用彩色滤色器是红(R)、绿(G)、兰(B0的原色系列的情况下,1场 包含的信息是红(R)、绿(G)信息或者兰(B)、绿(G)信息,形成彩色图像的 必要信息,不会在1场中得到。
已往,这种电子静物摄像机,直到全部场的传送结束,换言之,直到 摄像元件存储的全部电荷的传送结束,还未进行全部的图像处理,存在例 如“表示摄影确认图像所需要的时间”变长的问题。
上述电子静物摄像机,由于全部电荷信息作为图像处理的对象,则图 像处理时间,不管设定的解像度和压缩率如何都必须有一定的时间,如“低 解像度用和高压缩率用图像”,用较少的图像信息即可进行足够的摄影时, 直到可实现下次摄影也要花费时间,存在使用不方便的问题。

发明内容

本发明为了解决上述已有技术的问题,其目的是:采用交替传送方式 的摄像元件,通过图像处理的模式设定,利用按照记录像素数的场数的传 送数据进行图像处理,从而提供一种缩短了摄影后到下次摄影的图像处理 时间的交替传送方式的摄像装置和摄像方法。
本发明为了解决上述已有技术的问题,其目的是:采用交替传送方式 的摄像元件,从而提供一种摄影后到下次摄影的图像处理时间短的交替传 送方式的摄像装置和摄像方法。
本发明针对上述问题,其目的是提供一种谋求摄影后到下次可以摄影 的时间缩短的摄像装置、交替式传送方式和摄像方法。
本发明的目的是提供一种不需要检出温度白瑕疵的温度传感器和用于 温度白瑕疵的地址表格,即可以校正温度白瑕疵的数字静物摄像机。
本发明根据上述情况,其目的是实现一种摄像方法,即:在低解像度 图像和高压缩率图像摄影时,可以缩短图像制作的必要图像处理的时间, 在对低解像度和高压缩率图像进行摄影时,可使到下次可以摄影的时间缩 短。
本发明的另一目的是提供用于实施上述摄像方法的摄像装置、将该摄 像装置至少作为一部分而具有的图像信息处理装置。
为了达到上述目的,本发明提供了一种摄像装置,具有:在传送摄像 元件存储的全部像素数的电荷时,将上述电荷的数据传送分割在多个场进 行的摄像元件;利用上述多个场中传送的任意场数的传送数据进行图像处 理的图像处理部件。
在上述摄像元件设置多个彩色滤色器。
上述摄像元件由在传送上述电荷的各场的传送数据中至少包含RGB或 YeCyMgG形成的彩色信号的交替传送方式构成。
本发明一个实施例的交替传送方式摄像装置,是在传送摄像元件存储 的全部像素数的电荷时将电荷的数据传送分割在多个场进行,并且使用了 设置多个彩色滤色器的摄像元件的摄像装置,具有:在传送电荷的各场的 传送数据中至少包含RGB或YeCyMgG形成的彩色信号的交替传送方式的摄 像元件;利用多个场中传送的任意场数的传送数据进行图像处理的图像处 理部件,利用任意场的传送数据,通过与图像质量适合的最佳处理,可以 实现高速图像处理。
该摄像装置中,通过将设置在上述摄像元件的彩色滤色器作为RGB原 色系列的彩色滤色器或YeCyMgG补色系列的彩色滤色器的构成,可以取得 原色系列、补色系列的彩色信号数据。
上述摄像装置中,通过分割在上述多个场中进行3次电荷传送,并在 垂直方向去掉各场的1/3的交替传送方式的构成,可在各场的传送数据中 取得至少包含RGB或YeCyMgG形成的彩色信号的彩色图像信号成分。
由上述图像处理部件制作的图像,其特征是作为在摄影后显示的摄影 确认图像,以及作为摄影履历多个显示的样稿图像。
由上述图像处理部件制作的图像,利用对应于从操作部由用户预先设 定的模式的任意场数的传送数据,进行图像处理。
由上述操作部设定的模式是制作的图像的解像度,利用根据上述解像 度的任意场数的传送数据,进行图像处理。
在制作的图像有压缩率时,通过利用根据上述压缩率的任意场数的传 送数据进行图像处理的构成,通过按照设定的解像度、压缩率的处理,可 以实现高速图像处理。
一种图像处理方法,在传送摄像元件存储的全部像素数的电荷时将电 荷的数据传送分割在多个场进行,并且采用了利用设置多个彩色滤色器的 摄像元件的摄像装置,其特征是:从传送在各场包含至少由RGB或YeCyMgG 形成的彩色信号的数据的交替传送方式的摄像元件接收传送数据,通过图 像处理部件,利用任意场数的传送数据,进行图像处理。
上述交替传送方式,其特征是:分割在三个场内进行上述电荷的数据 传送,且分割后的各场包含全部RGB颜色信号;利用对应于从操作部由用 户预先设定的模式的任意场数的传送数据,对由上述图像处理部件制作的 图像进行图像处理。在对来自摄像元件的电荷进行数据传送时,通过使用 在1个场中包含至少由RGB或YeCyMgG形成的彩色信号的交替传送方式的 摄像元件,由于1个场的数据传送结束即可进行图像处理,则缩短了图像 处理的时间。
本发明的另一个实施例的交替传送方式摄像装置,是在传送摄像元件 存储的全部像素数的电荷时将电荷的数据传送分割在多个场进行,并且使 用了设置多个彩色滤色器的摄像元件的摄像装置,具有:在传送电荷的各 场的传送数据中包含至少由RGB或YeCyMgG形成的彩色信号的交替传送方 式的摄像元件;在开始图像处理前从已传送的数据提取图像特征数据的提 取部件;根据提取的特征数据,生成进行图像校正的控制值的生成部件; 利用由特征数据生成的控制值进行图像处理的图像处理部件。按照这种构 成,利用最初场的传送数据即可取得至少由RGB或YeCyMgG形成的彩色信 号成分,根据传送数据取得关联整个画面的图像特征数据,然后,开始用 于图像处理的控制值的计算,在各场的传送数据取出完成的范围,在取出 完成前即可开始图像处理,可以使处理高速化。
一种摄像装置,在传送摄像元件存储的全部像素数的电荷时将电荷的 数据传送分割在多个场进行,并且使用设置了多个彩色滤色器的摄像元件, 该装置具有:在传送电荷的各场的数据中包含至少由RGB或YeCyMgG形成 的彩色信号的交替传送方式的摄像元件;在开始图像处理前从已传送的数 据提取图像特征数据的提取部件;根据提取的特征数据,生成进行图像校 正的控制值的生成部件;利用由特征数据生成的控制值进行图像处理的图 像处理部件;选择处理并记录摄像元件存储的全部像素数的传送数据的第1 模式或处理并记录少于全部像素数的像素数的传送数据的第2模式两者之 一的选择部件。
在由选择部件选择的第2模式,根据从分割在多个场在先传送的传送 数据中提取的特征数据生成的控制值,通过处理并记录后来传送的传送数 据的构成,在不需要全部像素的尺寸图像制作时,将根据在任意场提取的 特征数据生成的控制值,用于此后的1场或多个场的图像处理,可使图像 处理高速化。
上述摄像装置中,将在上述摄像元件设置的彩色滤色器作为RGB原色 系列的彩色滤色器,或作为YeCyMgG补色系列的彩色滤色器,则可取得原 色系列、补色系列的彩色信号数据。
按照分割在三个场内进行上述电荷的数据传送,且分割后的各场包含 全部RGB颜色信号的交替传送方式的构成,利用在传送电荷的各场的传送 数据中包含至少由RGB或YeCyMgG形成的彩色信号的最初场的传送数据, 可以取得图像的彩色信号成分。
上述摄像装置,其特征是:上述图像特征数据是白色平衡控制用的色 分布数据,生成基于特征数据的白色平衡用控制值;上述图像特征数据是 提取出画面内的边缘成分的数据,生成基于特征数据的边缘强调用控制值; 上述图像特征数据是提取出画面内的色信息的数据,生成基于特征数据的 色变换系数的控制值;上述图像特征数据是提取出画面内的亮度分布的数 据,生成基于特征数据的对比度校正的控制值。
上述交替传送方式的摄像装置,对2进制编码图像进行生成处理的摄 像装置的图像特征数据是提取出画面内的亮度分布的数据,由于将基于特 征数据的2进制编码处理的阈值作为控制值进行生成的构成,则可使2进 制编码图像的处理高速化。
本发明的摄像方法是在传送摄像元件存储的全部像素数的电荷时将电 荷的数据传送分割在多个场进行,而且用于使用了设置多个彩色滤色器的 摄像元件的摄像装置,其特征是:从传送各场包含至少由RGB或YeCyMgG 形成的彩色信号的数据的交替传送方式的摄像元件接收传送数据,从已传 送的数据提取图像的特征数据,根据提取的特征数据生成进行图像校正的 控制值,进行利用控制值的图像处理。
该方法的特征是:在传送摄像元件存储的全部像素数的电荷时将电荷 的数据传送分割在多个场进行,而且用于使用了设置多个彩色滤色器的摄 像元件的摄像装置,从传送各场包含至少由RGB或YeCyMgG形成的彩色信 号的数据的交替传送方式的摄像元件接收传送数据,从已传送的数据提取 图像的特征数据,根据提取的特征数据生成进行图像校正的控制值,进行 利用控制值的图像处理,在第2模式,根据从分割在多个场在先传送的传 送数据中提取的特征数据生成的控制值,处理并记录后来传送的传送数据。
摄像方法的交替传送方式,将分割在三个场内进行上述电荷的数据传 送,且分割后的各场包含全部RGB颜色信号作为特征,将存储的电荷传送 分割为3次,使用在各场都包含彩色信号的交替传送方式的摄像元件,利 用最初场的传送数据即可取得至少由RGB或YeCyMgG形成的彩色信号成分, 根据该传送数据取得图像的特征数据,开始用于图像处理的控制值的计算, 在各场的数据传送完成的范围,在剩余场的传送数据取出完成前即可开始 处理,可以实现图像处理的高速化。
本发明的另一个实施例中提供一种摄像装置,该装置分别配置多种滤 色器的任何一种,具有将对应于上述滤色器颜色的光变换为色信号的多个 像素,在传送全部像素变换的色信号时,上述全部像素分开在多个场,使 用交替传送。该摄像装置的特征是:当上述多个主场结束该全部主场的交 替传送并开始全部种类的色信号可以分开传送时,上述摄像元件再将上述 多个主场的其中1个以上分为多个分割场进行交替传送。
这里提供一种交替式传送方式,分别配置多种滤色器的任何一种,具 有将对应于上述滤色器颜色的光变换为色信号的多个像素,在传送全部像 素变换的色信号时,将上述全部像素分开在多个场,使用交替传送的摄像 元件。该方法的特征是:当上述多个主场结束该全部主场的交替传送并开 始全部种类的色信号可以分开传送时,将上述多个主场的其中1个以上分 为多个分割场进行交替传送。
这里,当多个主场结束其所有主场的交替传送并开始全部种类的色信 号可以分开传送时,再将多个主场的其中1个以上分为多个分割场进行交 替传送。
现在,说明使用RGB三原色滤色器作为色滤色器,相对于像素配置成 层板型的情况。这时,首先将全部像素分为由RG行构成的RG主场和由GB 行构成的GB主场。再将RG主场分为第1RG分割场和第2RG分割场,将GB 主场分为第1GB分割场和第2GB分割场。
然后,例如按第1RG→第1GB→第2RG→第2GB分割场的顺序传送,在 分为4个分割场传送时,仅在最初2场的传送,即可传送RGB全部种类的 色信号。
因此,不必等待全部场的传送,在一部场已传送时,求出用于图像处 理的控制值,利用该求出的控制值,即可开始图像处理。
另一个实施例的摄像装置,其特征是:上述摄像元件,将上述全部多 个主场分为多个分割场,并将上述多个分割场分在包含上述全部种类色信 号并能够进行图像处理的每一组,按一组接一组的顺序,进行分割场的传 送。
一种交替式传送方式,其特征是:将上述全部多个主场分为多个分割 场,并将上述多个分割场分在包含上述全部种类色信号并能够进行图像处 理的每一组,按一组接一组的顺序,进行分割场的传送。
全部多个主场分为多个分割场。多个分割场分在包含全部种类色信号 并能够进行图像处理的每一组。然后,按一组接一组的顺序,进行分割场 的传送。因此,当每一组的分割场传送结束时,可以进行包含全部种类色 信号的一组的分割场的传送。
因此,当每一组的分割场传送结束时,即可开始图像处理。
另一个实施例的摄像装置具有:根据能够进行包含全部种类色信号的 图像处理的一组的场传送,检出由该一组的场构成的图像中的特征数据的 特征检出部件;根据上述检出的特征,算出用于图像处理的控制值的算出 部件。
另一个实施例中,提供了利用交替式传送方式的摄像装置中使用的摄 像方法,其特征是:该方法根据包含全部种类色信号并能够进行图像处理 的一组的场传送,检出由该一组的场构成的图像中的特征数据,根据上述 检出的特征,算出用于图像处理的控制值。
根据该方法,进行全部场的传送前,在进行完包含全部种类色信号并 能图像处理的一组的场的传送时刻,算出用于图像处理的控制值。因此, 不必等待全部场的传送,在包含全部种类色信号的一组的场传送完的时刻, 即可求出用于图像处理的控制值。
该摄像装置还具有:利用上述算出的控制值,进行由上述一组场构成 的图像或由全部场构成的图像的图像处理的图像处理部件。
利用上述算出的控制值,进行由上述一组场构成的图像或由全部场构 成的图像的图像处理。
按照本发明,进行全部场的传送前,在进行完包含全部种类色信号的 场的传送时刻,算出用于图像处理的控制值,再进行由一组场构成的图像 或由全部场构成的图像的图像处理。因此,不必等待全部场的传送,在传 送了包含全部种类色信号的一组场的时刻,求出用于图像处理的控制值, 即可利用求出的控制值开始图像处理。
另一个实施例的摄像装置还具有:转换上述全部像素可记录的第1记 录模式和少于上述全部像素的像素可记录的第2记录模式的转换部件;当 转换到上述第2记录模式时,利用上述控制值,对在形成为该控制值算出 基础的一组场之后传送的由一组场构成的图像进行图像处理的图像处理部 件;对由已经进行上述图像处理的上述一组场构成的图像进行记录的记录 部件。
本发明的摄像方法的一个实施例,其特征是:上述全部像素可记录的 第1记录模式和少于上述全部像素的像素可记录的第2记录模式中,当转 换到上述第2记录模式时,利用上述控制值,对在形成为该控制值算出基 础的一组场之后传送的由一组场构成的图像进行图像处理,记录由已经进 行上述图像处理的上述一组场构成的图像。
按照该方法,在记录不需要全部场的像素的尺寸图像时,利用根据在 记录的一组场之前传送的一组场算出的控制值,可进行由记录的一组场构 成的图像的图像处理。因此,不必等待全部场的传送,在一组场的传送完 时刻,求出用于图像处理的控制值,即可利用求出的控制值开始图像处理。
上述摄像装置,其特征是:上述特征数据是图像的色分布数据,上述 控制值是用于白色平衡控制处理的白色平衡增益。
按照本发明,不必等待全部分割场的传送,在一部分分割场传送完的 时刻,求出用于白色平衡控制处理的白色平衡增益,即可利用求出的白色 平衡增益开始白色平衡控制处理。
另一个实施例的摄像装置,其特征是:上述特征数据是亮度分布数据, 上述控制值是用于对比度校正处理的校正值。
按照本发明,不必等待全部分割场的传送,在一部分分割场传送完的 时刻,求出用于对比度校正处理的校正值,即可利用求出的校正值开始对 比度的校正处理。
上述摄像装置的一个例子,其特征是:上述特征数据是提取出由上述 一组分割场构成的图像中的边缘成分的数据,上述控制值是用于边缘强调 处理的边缘强调系数。
这种情况下,不必等待全部分割场的传送,在一部分分割场传送完的 时刻,求出用于边缘强调处理的边缘强调系数,即可利用求出的边缘强调 系数开始边缘强调处理。
上述摄像装置的另一个特征是:上述特征数据是色分布数据,上述控 制值是色变换处理用色变换系数。
这种情况下,即使不必等待全部分割场的传送,也可在一部分分割场 传送完的时刻,求出用于色变换处理的色变换系数,利用求出的色变换系 数开始色变换处理。
上述摄像装置的又一个特征是:上述特征数据是亮度分布数据,上述 控制值是二进制编码处理的阈值。
这种情况下,即使不必等待全部分割场的传送,也可在一部分分割场 传送完的时刻,求出二进制编码处理的阈值。
上述摄像装置的还一个特征是:上述滤色器由R(红)、G(绿)、B(兰) 的原色系列滤色器或Ye(黄)、Cy(青)、Mg(深红)、G(绿)的补色系列滤色器 构成。
这种情况下,滤色器是原色系列或补色系列的滤色器。因此,即使不 必等待全部分割场的传送,也可在一部分分割场传送完的时刻求出用于图 像处理的控制值,利用求出的控制值开始图像处理。
CCD固体摄像元件着眼于以下构成,即一般将通过在每个所定区域区划 的多个像素的滤色器检出3原色的各色像素值的像素配置在各个区域内, 并且产生温度白瑕疵的缺陷像素满足在上述各区域内是1个以下的条件, 还将固体摄像元件的全部像素分在3个以上场读出,并且对于其2个场, 将通过相互色配置为同一的滤色器检出各个像素值作为基本构成要件。
本发明的一个实施例是数字静物摄像机,采用在每个所定区域具有区 划的多个像素,并且将通过该像素的滤色器检出3原色的各色像素值的像 素配置在各个上述区域内的固体摄像元件,将产生随温度变化的温度白瑕 疵的缺陷像素在上述各区域内规定为1个以下的固体摄像元件全部像素的 各像素值分在3个以上场读出,根据读出的像素值形成1帧的图像,其特 征是:具有温度白瑕疵校正装置,该装置具有:对于通过相互色配置为同 一滤色器检出的第1场和第2场相互对应的配置位置的各像素间的像素值, 在上述每个区域求出其差分的部件;当对应的某两像素间的差分超过所定 阈值范围时,根据该差分的符号,判定上述两像素的其中一个像素为上述 缺陷像素,根据上述两像素中另一个像素的像素值,对判定为缺陷像素的 上述一个像素的像素值进行校正的部件。
在该数字静物摄像机的一种形式中,一个像素的像素值,可以用另一 个像素的像素值替换。
该数字静物摄像机具有:根据校正后的第1和第2场的各像素值预测 第3场的各像素的像素值,并求出该各预测值与根据第3场的各像素求出 的像素值的差分的部件;当由该部件求出的差分超过上述所定阈值范围时, 判定第3场的该像素是上述缺陷像素,并以上述预测值替换该缺陷像素的 像素值的部件。
该数字静物摄像机中,当选择指示像素数减少的摄影模式时,在上述 第1场和第2场中,选择对于全部3原色来说上述缺陷像素少的场,根据 该场的像素的像素值形成1帧的图像。
该数字静物摄像机,其特征是:上述摄影模式是连写模式。
该数字静物摄像机,其特征是:在上述缺陷像素的像素值接受上述温 度白瑕疵校正装置的校正之前,校正不依存于上述像素温度的常温瑕疵的 常温瑕疵修正装置设在上述温度白瑕疵校正装置的前级。
若根据本发明的数字静物摄像机,对于第1场和第2场相互对应的配 置位置的各像素间的像素值,在上述每个区域求出其差分,再求出对应的 某两像素间的差分,当该差分超过所定阈值范围时,可判定上述两像素的 其中一个像素是上述缺陷像素。温度白瑕疵因暗电流增大而产生,使像素 值增加。当两像素值的差分用像素A的像素值-像素B的像素值表示时, 若该差分是正,可判定像素A是温度白瑕疵。
若差分是负,则可判定像素B是温度白瑕疵。被判定为温度白瑕疵的 像素A或像素B的像素值,可根据其另一个像素B或像素A的像素值予以 校正。
因此,不需要用于温度白瑕疵的地址存储器,而且与利用不需要用于 CCD的温度传感器的地址存储器的已往的校正相比,可以高速校正温度白瑕 疵,能够实现具有温度白瑕疵校正功能的数字静物摄像机低价格化。
若根据本发明的数字静物摄像机,通过用另一像素的像素值替换判定 为缺陷像素的像素的像素值,可以不使用复杂构成的内扦电路,即可校正 温度白瑕疵。
若根据本发明的数字静物摄像机,求出根据校正后的第1和第2场的 各像素值预测的第3场各像素的预测像素值与根据第3场的各像素求出的 像素值的差分,当该差分超过上述所定阈值范围时,判定第3场的像素为 上述缺陷像素。可用上述预测值替换缺陷像素的像素值,这样,能够使第3 场的缺陷像素的像素值迅速校正。
若根据该数字静物摄像机,当选择指示像素数减少的摄影模式时,由 于根据第1和第2场的其中之一的缺陷像素少的场的各像素值形成1帧的 图像,则可根据2场的像素读出,得到校正了温度白瑕疵的图像,这样, 与读出全部场的像素得到校正了温度白瑕疵的图像的情况比较,可实现高 速处理。
若根据数字静物摄像机,由于在连写模式中采用高速处理,则可向数 字静物摄像机提供必须高速处理的体育模式的新附加价值。
若根据本发明的数字静物摄像机,由于在不依存像素温度的常温瑕疵 接受校正后,依存温度的温度白瑕疵接受校正,则对于动缺陷像素和静缺 陷像素的两种缺陷像素,都可以校正。
在动缺陷像素校正后可进行静缺陷像素校正,但由于在温度白瑕疵难 于发生的阶段进行静缺陷像素的校正,在不依存于温度的常温瑕疵接受校 正后,依在于温度的温度白瑕疵接受校正,则与动缺陷像素和静缺陷像素 的两种缺陷像素相比,可实现更适当的校正。
本发明的摄像方法具有如下特征。
第1,在具有色分解用彩色滤色器的摄像元件,按照由成像部件成像的 像传送存储的全部像素的电荷时,将电荷的数据传送分割在M(≥3)场进行。
第2,利用具备全部彩色信号和必要的像素数的m(<M)场的传送数据, 进行至少包含YUV变换的图像处理。
这里,“YUV变换”是将传送的电荷数据变换为YUV信号(亮度色差信号) 的图像处理。
上述摄像方法中,场数:可以使M为3以上的奇数,m=1(权利要求2); 场数:可以使M为4以上的偶数,m=2(权利要求3)。M的上限,取决于摄 像元件的制造条件,可以是10,实用上可以是M=3,4,5,6。
上述摄像方法中,在“m场的传送数据齐备的时刻(全部彩色信号和必 要像素数齐备的时刻)”,可立即进行至少包含YUV变换的图像处理。
例如,将本发明的摄像方法用于电子静物摄像机时,电子静物摄像机 进行“连写”,这时,将连写产生的信息数据作为互不关连的数据予以存储 后,即可利用全部彩色信号和必要像素数(少于全部像素数),进行“至少 包含YUV变换的图像处理”。
上述摄像方法中,通过包含YUV变换的图像处理即可制作“摄影确认 图像”。并且,在摄像方法中通过包含YUV变换的图像处理也可制作“样稿 图像”。
也就是,使用上述摄像方法,可以与摄影确认图像一起制作样稿图像, 也可以仅制作样稿图像。
上述摄像方法中,可以设定“应制作的图像的条件”,利用n(m≤n≤M) 场的传送数据进行图像处理,制作应制作的图像。
该摄像方法中,可设定“应制作的图像的条件”为“图像的解像度”, 将n设为“在设定的解像度的图像制作时必要的像素数齐备的场数”。
这时,设M=3,场数:n=1可制作低解像度的图像,场数:n=2可制作 中解像度的图像,场数:n=M可制作高解像度的图像;设M=4,场数:n=2 可制作低解像度的图像,场数:n=M可制作中解像度和/或高解像度的图像; 设M=6,场数:n=M可制作高解像度的图像,场数:n=2可制作低解像度的 图像,场数:n=4可制作中解像度或低解像度的图像。
上述摄像方法中,可设定“应制作的图像的条件”为“图像压缩率” 时,将n作为“在设定的压缩率的图像制作时必要的像素数齐备的场数”。
这时,设M=3,场数:n=1可按JPEG格式进行图像压缩处理;设M=4 或6,场数:n=2也可按JPEG格式进行图像压缩处理。
本发明的摄像装置具有:摄像元件,成像部件,摄像处理部,图像处 理部件。
摄像元件具有色分解用彩色滤色器。
成像部件是在摄像元件上使应摄像的像成像的部件。该成像部件一般 具有:成像光学系统(透镜系统和成像反射镜系统,或透镜系统和反射镜系 统的复合系统等);相对于摄像元件使成像光束通过·遮断的快门、驱动该 快门开闭的驱动部。
摄像处理部将摄像元件存储并传送的电荷进行数字信号化的摄像处 理。
图像处理部件利用通过摄像处理部传送的传送数据,进行至少包含YUV 变换的图像处理。
上述摄像元件为“交替传送方式的摄像元件”,当传送存储的全部像素 的电荷时,将电荷的数据传送分割在M(≥3)场进行。
摄像元件具有彩色滤色器,可以为红(R)、绿(G)、兰(B)的原色系列(权 利要求16),也可以为黄(Y)、青(C)、深红(Mg)、绿(G)的补色系列。
上述摄像装置中,可以实施设定交替传送方式摄像元件的M为3的摄 像方法,也可以实施设定交替传送方式摄像元件的M为4或6的摄像方法。
实施上述摄像方法时,可以具有显示摄像确认图像和/或样稿图像的显 示部。显示部不设在摄像装置中,可以利用外部的适合显示部件(计算机的 显示器等)。
上述摄像装置还可使“存储制成的图像的外部存储部”可以装卸,也 可以具有“存储制成的图像的图像保持区域”作为摄像装置的一部分。图 像保持区域也可以设在“可装卸外部存储部的摄像装置”。
本发明的图像信息处理装置具有作为“至少一部分”的上述摄像装置。 也就是,图像信息处理装置是上述摄像装置本身,也可以将其作为一部分 的一般装置。作为摄像元件本身的图像信息处理装置,可以列举“电子静 物摄像机”。
将摄像装置组装为装置一部分的图像信息处理装置,例如可以是组装 了摄像装置的“便携计算机、便携电话等便携信息机器、监视用摄像机等”。 由摄像元件进行图像处理制作的图像,可以将其作为图像信息传送。
附图说明
图1是表示具有本发明实施例的摄像装置的数字摄像机的概略构成的 方框图
图2是分割在传送本发明实施例的CCD存储的电荷的3场,在各场全 部包含RGB信号的3:1交替传送方式摄像元件(CCD)的数据传送的概要图。
图3(a)是表示具有本实施例的摄像装置的数字摄像机外观的正面图, (b)是侧面图,(c)是上面图。
图4a是原色系列R、Gr信号,B、Gb信号,图4b补色系列Ye、Cy信 号,Mg、G信号的彩色滤色器图。
图5是表示本发明实施例动作的流程图
图6是表示本发明实施例的数字摄像机的记录设定画面的显示例的图。
图7是已有交替传送方式摄像元件的数据传送概略图。
图8是表示具有本发明实施例的摄像装置的数字摄像机的概略构成方 框图。
图9是分割在传送本发明一实施例的CCD存储的电荷的3场,在各场 全部包含RGB信号的3:1交替传送方式摄像元件(CCD)的数据传送的概要 图。
图10(a)是表示具有本发明一实施例的摄像装置的数字摄像机外观的 正面图,(b)是侧面图,(c)是上面图。
图11是原色系列R、Gr信号,B、Gb信号和补色系列Ye、Cy信号,Mg、 G信号的彩色滤色器图。
图12是表示本发明一实施例的动作的流程图。
图13是表示具有本发明另一实施例的摄像装置的数字摄像机概略构成 的方框图。
图14是已有交替传送方式摄像元件(CCD)的数据传送概要图。
图15是概略表示本发明的数字静物摄像机构成的方框图。
图16(a)、(b)、(c)是表示图15所示3场读出型CCD全部像素的各场 的读出例的说明图。
图17(a)是表示2场读出型CCD的电荷传送方式的说明图,(b)是表示 图15和图16所示数字静物摄像机的3场读出型CCD的电荷传送方式的说 明图。
图18(a)是表示在图15所示CCD图像的1区域的滤色器配置例的说明 图,(b)到(d)是表示该1区域的各场色配置例的说明图。
图19是表示在图15所示数字静物摄像机的动作中各存储器的存储数 据变移的说明图,(a)是第1场的读出例,(b)是第2场的读出例,(c)是第 3场的预测值算出例,(d)是第3场的读出例。
图20是表示在第1场的兰色有温度瑕疵的一区域的像素数据算术处理 例的说明图。
图21是关于在第1场的绿色有温度瑕疵的一区域的与图20所示的同 样的说明图。
图22是关于在第1场的红色有温度瑕疵的一区域的与图20所示的同 样的说明图。
图23是关于在第2场的兰色有温度瑕疵的一区域的与图20所示的同 样的说明图。
图24是关于在第2场的绿色有温度瑕疵的一区域的与图20所示的同 样的说明图。
图25是关于在第2场的红色有温度瑕疵的一区域的与图20所示的同 样的说明图。
图26是关于在第3场的兰色有温度瑕疵的一区域的与图20所示的同 样的说明图。
图27是关于在第3场的绿色有温度瑕疵的一区域的与图20所示的同 样的说明图。
图28是关于在第3场的红色有温度瑕疵的一区域的与图20所示的同 样的说明图。
图29是表示图1所示数字静物摄像机的3场读出动作的定时图表。
图30是表示图1所示数字静物摄像机的2场读出动作的定时图表。
图31是摄像装置或图像信息处理装置实施例1的电子静物摄像机系统 构成的图。
图32是表示图31所示电子静物摄像机的一种形态的图。
图33是具有摄像元件的色分解用彩色滤色器的说明图,(a)表示原色 系列的滤色器,(b)表示补色系列的滤色器。
图34是M=3时的交替传送方式的说明图。
图35是摄影条件设定的1个例图。
图36是说明使用图34的交替方式摄像元件的摄像方法实施例1的流 程图。
图37是M=4时的交替传送方式的说明图。
图38是说明使用图37的交替方式摄像元件的摄像方法实施例1的流 程图。

具体实施方式

图1是表示具有本发明实施例的摄像装置的数字摄像机概略构成的方 框图。本实施例是在传送摄像元件存储的电荷时,使用分割为3场在各场 包含全部RGB信号的3:1交替传送方式的摄像元件的摄像装置。
图1中,101是设置了原色系列RGB彩色滤色器、分割为3次进行电荷 传送的摄像元件(以下称为CCD);102是通过摄像透镜群、快门入射并将在 CCD面成像的图像作为模拟图像信号取出并变换为数字图像信号的摄像处 理部(具有CSD(相关双重取样电路),AGC(自动增益控制电路),A/D(模拟/ 数字变换电路),TG(定时发生电路)等);103是通过CCD-I/F 103a、存储 控制器103b进行将数字图像信号存储在存储部(SDRAM)104的处理的信号处 理部;105是进行各部控制的控制部(CPU);106是显示摄影确认图像、样 稿图像的显示部;107是输入数字摄像机的各种设定的操作部。
图2表示在传送本实施例的CCD存储的电荷时,分割为3场并在各场 设置了全部包含RGB信号的3:1交替传送方式原色系列彩色滤色器的CCD 的数据传送概要。
如图2所示,将垂直方向的3行作为1组进行传送的帧中,首先,将 写有数字“1”的行作为第1场进行数据传送。该第1场包含RGB信号的所 有成分。这样,通过包含所有RGB信号的传送数据,在第1场传送结束时 可以取得图像数据。
在第1场的传送结束后,分别传送第2、第3场。并且,可将图2所示 的原色系列的R、Gr信号,B、Gb信号替换为补色系列的Ye、Cy信号,Mg、 G信号(参照图4)。
以下,参照图1并根据图5的流程图说明本实施例的动作。首先,作 为按照摄影对象的图像在CCD存储的电荷的数据,进行分割为3场的第1 场的数据传送,通过摄像处理部102,经信号处理部103的CCD-I/F 103a、 存储控制器103b,传送数据存储在存储部4(S1)。确认该第1场的数据传 送结束(S2),在已结束的时刻(S2的Yes),确认有无显示摄影确认图像的 设定(S3)。来自该第1场的传送数据,由于包含了像素的RGB信号的全部 数据,则在传送结束的时刻即可进行图像处理。
在处理S3,当显示摄影确认图像的设定时(S3的Yes),根据第1场的 传送数据进行制作摄影确认图像的图像处理(S4)。在处理S3,当没有显示 摄影确认图像的设定时(S3的NO),或者在处理S4结束后,进行制作样稿 图像的图像处理(S5)。再确认制作的图像的解像度是否设定在“低”(S6), 当“低”解像度设定时(S6的Yes),利用第1场的传送数据进行图像处理 (S7)。
当不是“低”解像度设定时(S6的NO),确认第2场的数据传送结束(S8), 再确认制作的图像的解像度是否设定在“中”(S9)。当“中”解像度设定 时(S9的Yes),利用第1、第2场的传送数据进行图像处理(S10)。
在处理S9,当不是“中”解像度设定时(S9的NO),确认第3场的数据 传送结束(S11),进行利用第1、第2、第3场的传送数据的高析橡度图像 处理(S12)。
如上所述,各种解像度的图像处理,来自CCD的传送数据按第1、第2、 第3场的顺序通过摄像处理部102、经信号处理部103的CCDI/F 103a、存 储控制器103b,存储在存储部4(RAW-RGB区域)。
用上述的图5已说明了各场的传送数据,按照摄影确认图像的解像度 “低”、“中”、“高”的用户的设定并根据各场的传送结束的检出,通过存 储控制器103b存储在存储部4(RAW RGB区域)的RGB信号的数据,由YUV(亮 度色差信号)变换部103c变换为YUV信号的数据,再存储在存储部4(YUV 区域)。
例如,由第1场的传送数据制作的摄影确认图像、样稿图像,通过显 示部I/F 103e显示在显示部106。当解像度“低”的设定时,YUV信号的 数据再次从存储部4读出,由压缩处理部103d按JPEG格式进行压缩处理, 存储在存储部104(JPEG区域)。在存储部104(JPEG区域)存储时,在JPEG 压缩的数据上附加标题数据等作为JPEG图像数据,通过控制部105保存在 外部存储部104′。
当解像度“中”的设定时,根据第2场的数据传送的结束检出,利用 第1、第2场的传送数据进行图像处理;当解像度“高”的设定时,根据第 3场的数据传送的结束检出,利用第1、第2、第3场的传送数据进行图像 处理。
具体地说,当使用水平2048像素、垂直1536像素的300万像素的CCD 时,在进行3次分割传送的交替传送方式中,通过1次传送即可传送水平 2048像素、垂直512像素的数据。因此,在记录水平640像素、垂直480 像素(VGA)大小时,由第1场的传送像素数即可生成图像。利用第1、第2 场(2次)的传送像素数,即可形成水平2048像素、垂直1024像素的数据, 生成水平1024像素、垂直768像素(XGA)大小和水平1280像素、垂直1024 像素大小的图像。
利用第1场和第1、第2场的传送数据时,在水平像素和垂直像素的宽 高比不同的水平方向形成较长的图像,在YUV变换部进行变换处理时,通 过进行存储部减少读出等的处理,进行宽高比的调整。
这里,当目的是与摄影确认图像和样稿图像同样的VGA图像记录时, 由于摄影图像处理利用第1场的传送数据就足够了,则可中止第2、第3场 的数据传送处理,迅速转移到下次摄影。也就是,利用在按照解像度设定 的图像处理中必要场的传送数据,而不进行不需要场的数据传送,即可开 始下次摄影,实现处理高速化。
当选择从CCD传送的第1、第2、第3场的传送数据时,可对应于压缩 率的设定进行上述的选择。例如,希望快记录、快发送时,大多选择高压 缩率的方式。这里,当设定高压缩率时,利用第1场的传送数据进行图像 处理;中压缩率时,选用第1、第2场的传送数据;低压缩率时,选用第1、 第2、第3场的传送数据。
图6是表示在作为数字摄像机显示部的液晶监视器上进行解像度设定 的选择画面显示例的图。如图6所示,在记录设定画面中的摄影确认图像 项目设定显示“断开”或显示时间“1秒”、“3秒”,在记录图像解像度项 目从操作部输入设定“高”、“中”、“低”。对于图像压缩率也进行同样的显 示,按照用户的选择进行设定。
如上所述,已说明了分割为3个场的数据传送,然而随着摄像元件像 素数的不断增加,全部像素数的传送时间将增加,若从分割的1场传送的 像素数可得到VGA大小的图像,则可考虑增加分割的场数,以便分割为5 个场进行数据传送等。
通过选择按照用户预先设定的图像输出设定的最适当处理,可实现高 速图像处理。
如上所述,若根据本发明的上述实施例,在传送摄像元件存储的电荷 时,使用1场包含全部彩色信号的交替传送方式的摄像元件,1场的数据传 送结束,即能制成图像数据,具有缩短摄影图像确认和到开始下次摄影的 处理时间,以及使用户更便于使用的效果。
以下,参照附图说明本发明的其他实施例。
图8是表示具有本发明的摄像装置的数字摄像机概略构成的方框图。 作为一个实施例,该图表示一种在传送摄像元件存储的电荷时,使用分割 为3场并在各场包含全部RGB信号的3:1交替传送方式的摄像元件的摄像 装置。
图8中,201是设有原色系列RGB彩色滤色器并分割为3次进行电荷传 送的摄像元件(以下称为CCD);202是通过摄像透镜群、快门入射并将在CCD 面成像的图像作为模拟图像信号取出变换为数字图像信号的摄像处理部 (具有CSD(相关双重取样电路),AGC(自动增益控制电路),A/D(模拟/数字 变换电路),TG(定时发生电路)等);203是通过CCD-I/F 203a将数字图像 信号存储在存储部(SDRAM)204,并进行提取图像特征数据的处理的信号处 理部;205是根据提取出的特征数据生成用于图像校正的控制值,并进行各 部控制的控制部(CPU)。
图9是在传送CCD存储的电荷时,分割为3场并在各场设有都包含RGB 信号的3:1交替传送方式的原色系列彩色滤色器的CCD数据传送的概要图, 图10(a)是表示具有本实施例的摄像装置的数字摄像机外观的正面图,图 10(b)是侧面图,图10(c)是上面图。
如图9所示,在将垂直方向的3行作为1组考虑并进行传送的帧,首 先,将写有数字“1”的行作为第1场进行数据传送。在该第1场包含RGB 信号的全部成分。这样,利用包含全部RGB信号的传送数据制作的图像特 征数据,在第1场的传送结束时即可以取得。
在第1场的传送结束后,分别传送第2、第3场。并且,可以将图9 所示原色系列的R、Gr信号,B、Gb信号替换为补色系列的Ye、Cy信号, Mg、G信号(参照图11)。
以下,根据图12的流程图说明本实施例的动作。首先,根据摄影对象 的图像作为CCD 201存储的电荷的数据,进行分割为3场的第1场的数据 传送(S1)。
通过摄像处理部202,由信号处理部203的CCD-I/F 203a提取出图像 特征数据,再将传送数据存储在存储部204(S2)。
在该第1场的数据传送结束的时刻,由于传送了像素RGB信号的全部 数据,则在第1场的数据传送的结束时刻,即可取得图像的特征数据。因 此,在第2场的数据传送开始后,即可根据特征数据进行控制值的演算(S3)。 也就是,即使在第2、第3场的数据传送中,也可以开始用于下次图像处理 的控制值的算出。
在第2场的数据传送后,进行第3场的数据传送(S4),在第1~第3 场的全部数据最终传送结束后(S5),通过存储控制器203b,在存储部 204(RAW-RGB区域)存储的RGB信号的数据,由YUV(亮度色差信号)变换部 203c变换为YUV信号的数据,再存储在存储部204(YUV区域)。在该变换中, 使用根据先前提取出的特征数据由控制部205生成的控制值(S6)。
YUV信号的数据再次从存储部204读出,并由压缩处理部203d例如按 JPEG格式进行压缩处理,存储在存储部204。当存储在存储部204(JPEG区 域)时,在JPEG压缩数据上附加标题数据等,形成JPEG图像数据,再通过 控制部205保存在外部存储部204′(S7)。
上述例子中,说明了在3场的全部像素的数据传送结束后,开始YUV 变换处理,然而,例如即使在第3场的数据传送中,由于在传送结束的部 分包含全部RGB信号的数据,则可开始图像处理,按照这个方法,可以更 快地完成YUV变换。
作为生成在具体进行图像处理的YUV变换时使用的控制值的特征数据, 采用:计算白色平衡的增益的控制用色分布数据;将使亮度分布均等的对 比度设定用画面分割在多个区域的各个亮度数据;从算出对应于图像的边 缘强调输出信号大小的图像边缘强调整系数的图像数据的高通滤波器的输 出数据;将画面分割在多个区域的各个区域的色信息等。例如,从色分布 认识实现人物摄影时,算出再现更好肤色的色变换系数,进行利用该色变 换系数的YUV变换的图像处理。
图13是表示具有本发明上述实施例的摄像装置的数字摄像机概略构成 的方框图。与图8中已说明的实施例的构件相对应,具有同等功能的构件 附与同样符号。
本实施例也与前面的实施例一样,是在传送摄像元件存储的电荷时, 采用分割为3场并在各场包含全部RGB信号的3:1交替传送方式的摄像元 件的摄像装置。
如图13所示,CCD1是将包含原色系列RGB信号的传送分割为3次进行 的交替传送方式的CCD。该实施例中,将相对于图像的上述白色平衡增益调 整、对比度设定值、边缘强调系数、色变换系数等都设定在CCD-I/F 203a。 也就是,在图像处理部203的初级,在设定控制值的构成中,将根据取得 的特征数据制作成的控制值用于图像处理,对于取得了特征数据的图像, 解决了不可能进行反映制作成的控制值的处理的课题,可以实现该处理。
这里,对下述摄像装置予以说明,即:不用1帧的全部像素,根据1 场的数据传输进行图像生成,例如,仅用第3场进行图像形成时,利用第1 场的数据传送提取出图像特征数据,在第2场的数据传送中根据特征数据 进行控制值的演算和设定。
此刻,当使用水平2048像素、垂直1536像素的300万像素的CCD时, 对于进行3次分割传送的交替传送方式,通过1次传送,应传送水平2048 像素、垂直512像素的数据。当记录水平640像素、垂直480像素(VGA)大 小图像时,由1次(1场)的传送像素数即可生成图像。
通过图13所示摄像透镜群入射,在CCD1面成像的像产生的电荷,由 CCD201作为模拟图像信号取出。该模拟图像信号由摄像处理部202(CDS, AGC,A/D)变换为数字信号,通过信号处理部203的CCD-I/F 203a存储在 存储部204,在第1场的数据传送结束的时刻,对第1场的传送数据进行 YUV变换,控制部205读出在该变换时生成的图像特征数据。
这些处理都在第2场的传送中进行,在控制部205从读出的图像特征 数据算出控制值,并设定在CCD-I/F 203a。在第3场的数据传送时,该控 制值对传送数据的全部像素有效,在摄影画面可以反映使用了摄影场面的 图像特征数据的控制值。
与前面的实施例一样,第3场的RGB信号的数据,由存储部(SDRAM)4 读出,在YUV变换部203c进行YUV变换,再由压缩处理部203d进行JPEG 压缩,作为JPEG图像文件保存在外部存储部(存储卡片)204′。
在上述处理中,与前面的实施例一样,水平和垂直的宽高比不合适, 例如,为了YUV变换在向YUV变换部203c传送时,从存储部(SDRAM)204进 行减少读出,即可调整宽高比。
图13的构成中,在YUV变换部203c提取特征数据,但也可以与实施 例一样,在CCD-I/F 203a提取特征数据,在第1场取得特征数据,当第2 场的数据传送时制作控制值并设定在CCD-I/F 203a,也可在第3场的数据 传送时反映控制值。
同样,可处理2进制编码图像的摄像装置中,当进行2进制编码处理 时,预先决定用于判别明亮部分和暗淡部分的阈值,根据1场传送数据的 图像特征数据进行判别。
也就是,对于在不限于通常用同一照度照射数字摄像机的整个被摄面 的摄像条件下的多用装置,将画面分割为小区域,检出其各个亮度分布, 决定各区域的阈值。
为了检出亮度分布,对于原色摄像系列元件,由于所有RGB信号的数 据必须关联到全体画面,根据由第1场的数据传送写入存储部(SDRAM)204 的RGB信号的数据,可以在第2、第3帧的数据传送结束前算出各区域的阈 值,在数据传送结束时,即可利用算出的阈值开始2进制编码处理。并且, 可以利用作为第1场的图像特征数据的亮度分布进行阈值的算出。
如上所述,根据最初场的传送数据取得图像的特征数据,在剩余场的 传送数据取回结束之前,即可开始用于图像处理的控制值的计算,使图像 处理高速化。
按照以上说明的本发明,利用将存储的电荷传送分割为3场,并在各 场都包含彩色信号的3:1交替传送方式的摄像元件,用最初场的传送数据 即可取得全部彩色信号成分,根据该传送数据取得整个画面的图像特征数 据,开始用于其后图像处理的控制值的计算,在各场的传送数据取回结束 的范围,在剩余场的传送数据取回结束之前即可开始处理,能够实现图像 处理的高速化。
例如,当制作不需要全部场的所有像素的图像时,即可将根据在任意 场提取出的特征数据生成的控制值,用于此后的1场或多个场的图像处理, 可使处理高速化。
如图15所示,本发明的数字静物摄像机具有:将通过摄像透镜401得 到的被摄体光学像变换为模拟电信号的CCD 402;具有模拟/数字变换器, 将从CCD 402输出的模拟图像信号依次进行取样保持、模拟数字变换的 CDS(&RUUHODWHG′RXEOH 6DPSOLQUJ_相关双重取样)·A/D电路403;具有 用于对由该CDS·A/D电路403变换的数字图像信号校正CCD像素缺陷之一 的温度白瑕疵的温度白瑕疵校正装置404,以及对由温度白瑕疵校正装置 404校正的数字图像信号进行所定图像处理的信号处理电路405a的数字信 号处理电路(DSP)405;暂时存储图像数据的SDRAM 419。
在固体摄像元件CCD 402,内装后述的滤色器。在摄像透镜401和CCD 402之间,在交替型CCD 402中扦入可进行静止画面摄影的机械快门406。
各部分402~406接受由微型计算机(MPU)构成的控制部409的控制。 定时发生器TG通过设在数字静物摄像机操作部的复位器408的操作,进行 动作模式的变更。
图16(a)~图16(c)所示例子中,在构成CCD 402的各像素的各受光单 元411的读出方式,采用了利用在该受光单元411的垂直列间配置的垂直 传送寄存器412的行间传送方式。因此,在曝光工序中存储在各受光单元 411的存储电荷,经过由CCD构成的垂直传送寄存器412和由CCD构成的水 平传送寄存器413,由设在该水平传送寄存器413的输出放大器24放大, 作为模拟图像信号输出到CDS·A/D电路403。
为了CCD的存储电荷的读出,一般的交替型CCD,如图17(a)所示,CCD 的全部受光单元也就是全部像素(图中表示其中一部分),被分为2个场。 一个场由与垂直方向相邻交替配置的2个像素构成的各组的其中一个像素 群构成,另一个场由各组的另一个像素群构成。受光单元的存储电荷,利 用4相的垂直传送选通信号V1~V4,在每场从垂直传送寄存器读出,随着 由该垂直传送寄存器构成的电位阱的移动,向水平传送寄存器传送。
与此相反,本发明的CCD 402中,如图17(b)所示,全部像素也就是全 部受光单元411(图中表示其中一部分)被分为由在垂直方向周期配置的3组 像素群构成的3个场,基本上由该3场构成1帧图像。每场的受光单元402 的存储电荷,利用6相的垂直传送选通信号V1~V6,在垂直传送寄存器412 读出,随着垂直传送寄存器412的电位阱的移动,向水平传送寄存器413 传送。
该3场读出型CCD 12,其受光单元411的尺寸小于图17(a)所示2场 读出式CCD的各受光单元尺寸,但可以与2场读出式同样的电荷量读出。
再参照图16,图16(a)部分表示作为第1场的A场像素411的读出例, 图16(b)部分表示作为第2场的B场像素411的读出例,图16(c)部分表示 作为第3场的C场像素411的读出例。图16的各读出例子中,由于各场都 包含原色系列R、G、B,则可利用任何1个场的像素411的像素值进行色处 理。
为了得到这样的色配置,作为在CCD 402设置的上述滤色器,可以采 用具有已知的图18所示方格花纹的色配置的RGB原色系列滤色器。图18(a) 所示RGB原色系列滤色器的色配置,表示对应于在所定区域区划CCD 402 全部像素21时得到的9×9个像素411的滤色器。
附加了滤色器R的区域是阻止除红色光以外透过的红滤色器区域,附 加了B的区域是阻止除兰色光以外透过的兰滤色器区域。Gr和Gb表示阻止 除绿色光以外透过的绿滤色器区域,前者是在红色滤色器区域配置的行配 置的绿滤色器区域,后者是在兰色滤色器区域配置的行配置的绿滤色器区 域。
内装这种滤色器的CCD 402是接受质量管理而制造的,产生起因于规 定值以上暗电流的温度白瑕疵的缺陷像素满足在所定区域例如9×9像素的 各区域为1以下的规定,满足该规定的产品将作为一般商品上市。因此, 这种CCD 402,在上述各所定区域内,仅允许存在1个温度白瑕疵。
图18(b)至图18(d)表示各场的像素的色配置并提取,图18(b)表示的 A场和图18(c)表示的B场的色配置相互一致。
在通过复位器408操作的本曝光工序中,机械快门406保持开放状态, 经过曝光,与通过摄像透镜401得到的被摄体光学像相对应的存储电荷, 存储在由CCD 402的各受光单元411构成的各像素。
当存储的电荷达到所定量时,关闭机械快门406。该存储电荷,在机械 快门406处于闭状态的帧读出工序中,在作为V驱动器410的输出的V1~ V6内,按照伴随图29所示读出脉冲的V1、V3A、B、V5A、B的输出组合, 在垂直传送路412(参照图16)读出,在各场输出对应于图18(b)至图18(d) 的像素信号。输出的像素信号在CDS·A/D电路402进行取样保持·A/D变 换,作为数字像素值送到DSP 405内的温度白瑕疵校正装置404。
本发明的温度白瑕疵校正装置404具备:具有用于存储由CCD 402全 部像素411的3分之1像素411构成的各场的数字像素值的必要存储容量 的第1和第2帧存储器415、416;减法电路417;色内扦电路418;控制部 419。
帧存储器415、416,减法电路417和色内扦电路418,分别由控制部 419控制。利用A场各像素的像素值读出,在从CCD 402输出的A场各像素 的像素值作为取样保持电路403的数字值输出时,控制部409如图19(a) 所示,将对该RGB像素值未加校正的该像素值存储在外部SDRAM 419,同时 存储在第1帧存储器415。
接着,利用B场各像素的像素值读出,同样,当从取样保持电路403 输出B场各像素的数字值时,如图19(b)所示,控制部409将对该RGB像素 值未加校正的该像素值存储在外部SDRAM 419。并且,减法电路417,按照 控制部419的控制,从第1帧存储器415内存储的A场的各像素值(A)中顺 序减去B场的各像素的像素值(B)。该相减结果(A-B),通过控制部409顺 序写入第2帧存储器416。
由减法电路417完成的A场各像素值与B场各像素值的相减,在图18(a) 所示的每个所定区域进行。在上述各区域内,如图18(b)和图18(c)所示, 由于两场A和B以相互一致的色排列配置,则减法在与配置顺序对应的同 色像素值间进行。
也就是,从图18(a)所示1行1列的R值(A场)减去3行1列的R值(B 场),其结果写入第2帧存储器416,以下,从1行2列的Gr值(A场)减去 3行2列的Gr值(B场)......从7行9列的R值(A场)减去9行9列的R值(B 场)之差,顺序写入第2帧存储器416。
控制部409将各相减结果与所定阈值范围比较,当在该阈值范围内时, 判断在提供该相减结果的一组像素中不产生温度白瑕疵。另一方面,当相 减结果超出所定阈值范围时,则判断提供该相减结果的任一组像素中产生 温度白瑕疵。这种判断在上述每个区域进行。
该温度白瑕疵的判断,通过适当设定上述阈值范围,可在上述每个区 域进行。其理由是:减法在相互邻近且同色的像素间进行,在被摄体的摄 影状况下,即使邻近的同色两像素值产生比较大的差别,在这样邻近的同 色间的像素值越产生了温度白瑕疵,也不会产生大的差别,因为按照CCD 402 的一般制造规定,如上所述,在各上述区域内仅允许存在一个温度白瑕疵。
当控制部409判断提供相减结果的任一组像素产生温度白瑕疵时,控 制部409再判定该相减结果是正还是负。正符号意味着在作为被减数的A 场像素产生温度白瑕疵。负符号意味着在作为减数的B场像素产生温度白 瑕疵。其原因是:温度白瑕疵给出的像素值,表示大大超过正常像素的像 素值之值。因此,若被减数含有温度白瑕疵的影响,则表示被减数是比减 数足够大的值,反之,若减数含有温度白瑕疵的影响,则表示减数是比被 减数足够大的值。
控制部409在通过两场的某一组像素间的减法判定其一场的像素有温 度白瑕疵时,将以另一场存在的最邻近的同色像素值相等的值替换该场的 缺陷像素的像素值。例如,当从图18(b)所示A场1行1列的R值减去图 18(b)所示B场3行1列的R值的结果是正号并且是超过阈值范围的值时, A场1行1列的像素R值由与其对应的B场3行1列R值替换。该替换中, 根据缺陷像素和与其对应的像素的存储器地址,替换存储在外部SDRAM 419 内的A场的对应缺陷像素的像素值。
即使在直接写入外部SDRAM 419内的A场和B场的各像素值中包含温 度白瑕疵的像素的像素值,其缺陷像素的像素值将被校正,在外部SDRAM 419 内存储不包含温度白瑕疵的A场和B场的各像素值。该校正结束后,控制 部19消去两帧存储器415、416内的数据,由此对于A场和B场的温度白 瑕疵校正工序结束。
温度白瑕疵校正工序结束时,如图19(c)所示,色内扦内路418利用外 部SDRAM 419内不包含温度白瑕疵的A场和B场的各像素值,算出作为第3 场的C场的各像素值的预测值D,并将该各预测像素值(D)顺序写入第1帧 存储器415。作为该色内扦电路418的内扦值,如以往所知,可以采用与位 于应内扦即应预测的像素周边的该像素同色像素的像素值的加法平均值。
当将C场的各像素的预测像素值(D)写入帧存储器415时,如图19(d) 所示,控制部409将从取样保持电路403输出的C场各读出像素值(C)顺序 存储到SDRAM 419。与此同时,控制部409将C场的各读出像素值(D)顺序 供给减法电路417。
减法电路417在接受C场的各读出像素值(C)的供给时,从帧存储器415 内的预测值D减去该读出像素值(C)。该减法处理与上述A场和B场间的减 法处理一样,在预测值D的各像素和与该像素对应的各读出像素值(C)之间, 顺序进行。该相减结果(D-C),顺序写入第2帧存储器416。
由于预测值D是校正后的值,则认为是不包含温度白瑕疵的值。若控 制部409认为在相减结果(D-C)中包含温度白瑕疵,则这是C场中包含的情 况,此时相减结果表示负,其绝对值超过所定阈值。另一方面,若C场中 不包含温度自瑕疵,则相减结果(D-C)的绝对值,不会大于C场中包含温度 白瑕疵时的值。
因此,控制部409,在每个读出像素的像素值(C),上述演算结果(D-C) 的绝对值超过所定阈值时,则判定该像素的像素值(C)包含温度白瑕疵,认 为其为缺陷像素。根据该缺陷像素(C)和与其对应的像素(D)的各存储器地 址,在外部SDRAM 419内存储的C场对应的缺陷像素的像素值,通过控制 部409用对应的像素的预测像素值(D)替换。
通过该C场的校正结束,则在外部SDRAM 419内已校正了温度白瑕疵 的全部3场(A、B、C)的像素值数据已齐全。
该像素值数据,利用信号处理电路405,根据需要,接受提高图像解像 度的色内扦处理、强调图像轮廓的孔隙强调处理、色空间变换的RGB-YUV 处理。此后,图像值数据再次传送到外部SDRAM 419,由JPEG压缩电路405b 适当进行JPEG压缩处理后,存储在所希望的记录媒体419′。
外部SDRAM 419存储的像素值数据,利用全部3场(A、B、C)的像素值 数据形成1帧图像。此外,如后所述,必要时可以根据其中1场的像素值 数据形成图像。
图20到图28表示在第1~第3各场(A、B、C)中,在R、G、B各色存 在1个温度白瑕疵状况下的校正处理例。
为了方便,作为没有温度白瑕疵的像素的像素值具体例子,按照关于R 用“5”值表示、G(Gr、Gb)用“5”值表示、B用“10”值表示的图形例子 以说明。
图20表示在作为第1场的A场的兰色上有温度白瑕疵的情况。图20 中,表示按照图18(a)所示1区域的色配置的像素值数据420的例子。像素 值数据420中,在4行6列可见到像素值“30”。该像素值,根据图18(a) 的像素配置判定是兰。
图20中,对应于图20(b)到图20(d),表示在各场从像素值数据420 提取出的各像素值的配置表30a、30b、30c。图20的数据表421表示通过 第1场(A)和第2场(B)的减法电路417提取出作为减法处理对象的像素。 数据表421a记录由减法电路417求出的各像素的演算结果(A-B)。数据表 421a的各值是在配置表420a和配置表420b相互对应的配置位置间的像素 值之差。数据表421a中,除去表示“20”值的1个相减结果,都用“0” 表示。这些“0”的演算结果意味着在提供了该演算和被减数的减数的各组 像素中未产生温度白瑕疵。
另一方面,值“20”的演算结果意味着:按照图19(b)的说明,在提供 被减数的像素,也就是位于像素值数据420、数据表421的4行6列的A场 B(兰)像素,存在温度白瑕疵缺陷。
为此,该缺陷像素的像素值“30”,如数据表422所示,由对应于缺陷 像素的像素,也就是位于提供了上述演算处理的减数的6行6列的B像素 的像素值“10”替换。
并且,根据数据表422的A场和B场的各像素值,作为C场的预测值D 的预测数据422a,利用色内扦电路418的色内扦法求出。
按照图19(d)的说明,减法电路417将作为C场测定值的配置表420c 的各值作为减数,将预测数据422a的各值作为被减数,进行减法演算,得 到数据表422b表示的相减结果。本例中,由于数据表422b的全部值为“0”, 意味着在C场不存在温度白瑕疵。由于已判明在A场的1个B像素存在温 度白瑕疵,则CCD 402的温度白瑕疵并不违背在每个所定区域是1个以下 的条件。
在图20的数据表422的C场区域,当C场读出时写入配置表420a的 各像素值,但由于在该C场各值中不包含温度白瑕疵,则该C场的各像素 值不接受校正。
最后,不包含温度白瑕疵的数据表422的各像素值,应存入外部SDRAM 419。
图21表示A场的绿色上有温度白瑕疵的情况。在像素值数据130中, 在4行5列的Gb像素可见到像素值“35”。因此,在表示配置表130a、130b 的相减结果(A-B)的数据表131a上,显示存在1个温度白瑕疵的像素值 “20”。由于该像素值“20”为正,则判定在作为被减数的4行5列的A场 Gb像素有温度白瑕疵,用位于提供上述演算处理减数的6行5列的B场Gb 像素的像素值“15”替换,在外部SDRAM 419内得到与上述同样的校正后 的数据表132。
图22表示A场的红色上有温度白瑕疵的情况。在像素值数据230的例 子中,在7行5列的R像素可见到像素值“25”。该7行5列R像素的像素 值,按照与上述同样的处理,校正为“5”后,在外部SDRAM 419内得到该 校正后的数据表232。
图23到图25表示分别在B场的兰、绿、红色有温度白瑕疵时的处理 情况。图23的像素值数据330的例子中,在6行4列的B像素可见到像素 值“30”。这时,在表示配置表330a、330b的相减结果(A-B)的数据表331a 上,显示存在1个温度白瑕疵的像素值“-20”。由于该像素值“-20”为负, 则判定在作为减数的B场6行4列的像素有温度白瑕疵,用位于提供该演 算处理的被减数的4行4列的A场B像素的像素值“10”替换,在外部SDRAM 419内得到与上述同样的校正后的数据表332。
图24的像素值数据430的例子中,在6行3列的Gb像素可见到像素 值“30”。在表示配置表430a、430b的相减结果(A-B)的数据表431a中, 显示存在1个温度白瑕疵的像素值“-20”。
因而,该缺陷像素的像素值,用提供减法处理的被减数的4行3列A 场的Gb像素的像素值“15”替换,得到校正后的数据表432。
图25的像素值数据的例子530是在3行5列R像素见“25”的例子, 通过与图23、图24已说明的同样的处理,该缺陷像素的像素值用提供减法 处理中的被减数的1行5列A场R像素的像素值“5”替换,得到校正后的 数据表532。
图26到图28表示在作为第3场的C场的像素存在温度白瑕疵。图26 的像素值数据630的例子中,在8行4列的B像素可见到像素值“30”。这 时,表示配置表630a、630b的相减结果(A-B)的数据表631a的各值为“0”, 表示A场和B场不存在温度白瑕疵。
提取出A场和B场形成的数据表631的各值写入数据表632。并且,根 据A场和B场的各值,利用色内扦电路418求出作为C场预测值D的预测 数据632a。
当求出预测数据632a时,减法电路417进行从该预测数据632a各值 减去C场的配置表630c对应的各值的演算处理(D-C)。该相减结果,得到 数据表632b。数据表632b中,除去表示“-20”值的1个演算结果,得到 “0”。演算结果“0”,如前所述,意味着未产生温度白瑕疵。
另一方面,在得到演算结果“-20”的演算中,判明提供减数的像素, 也就是图26所示的例子中,位于数据表630的8行4列的C场B像素存在 温度白瑕疵缺陷。
该缺陷像素的像素值“-20”,由提供上述演算的被减数的预测值D,也 就是在对应于数据表632b的“-20”配置位置的预测数据632a的配置位置 的值“10”替换。其结果,得到温度白瑕疵得到校正的数据表632。
图27的像素值数据730的例子中,在5行4列的Gr像素可见到“35”。 这时,由显示演算处理(D-C)结果的数据表732b的值“-20”表示的像素值, 用在数据表732a的对应位置的值“15”替换,得到温度白瑕疵已经校正的 数据表732。
图28的像素值数据830的例子中,在5行5列R像素可见到像素值“25”。 这时,由显示演算处理(D-C)结果的数据表832b的值“-20”表示的像素值, 用在数据表732a的对应位置的值“5”替换,得到温度白瑕疵已经校正的 数据表832。
为了简化说明,图20到图28中,表示了不产生温度白瑕疵时之差为 “0”的图形。实际上,该差为“0”的图形存在的概率较低,没有温度白 瑕疵的同色像素间的像素值是散乱的。如前所述,该差与温度白瑕疵的情 况比较,不过是极小的值,通过适当设定上述阈值范围,可进行与按照图 20到图28已说明的同样的判定。
图29表示本发明的数字静物摄像机的定时图。若根据该数字静物摄像 机,如图29所示,由温度白瑕疵校正装置14对曝光后得到的A场、B场和 C场的各像素值进行演算处理,不需要用于检出CCD 402的温度白瑕疵的温 度传感器和温度白瑕疵的地址数据,即可适当且迅速地校正温度白瑕疵。 因此,根据外部SDRAM 419内的已校正的3个场的像素值,可以形成不受 温度白瑕疵影响的良好的1帧图像。
如图15所示,在取样信号处理电路403和温度白瑕疵校正装置404之 间,可以扦入用于校正不依存于CCD 402的温度的黑瑕疵或明亮白瑕疵的 常温瑕疵校正装置407(虚线表示)。
这时,由于不依存于CCD 402的温度的常温瑕疵用常温瑕疵校正装置 407进行了校正,温度白瑕疵接受了温度白瑕疵校正装置14的校正,则可 校正有关温度的动的和静的两种图像缺陷,因此,能得到更高质量的图像。
可将该常温瑕疵校正装置407扦入在温度白瑕疵校正装置404的后级, 然而由于温度白瑕疵校正装置404的校正可以排除常温瑕疵的影响,则希 望将常温瑕疵校正装置407扦入在温度白瑕疵校正装置404的前级。
图30表示使用CCD 402全部像素的像素值的一部分形成图像时的定时 图。图30是连写模式的数字静物摄像机动作的例子,表示用CCD 402全部 像素9分之1像素数的记录模式。该连写模式中,A场和B场的各像素值, 如图19(a)和图19(b)已经说明的一样,接受减法处理(A-B),两场的像素 值接受温度白瑕疵校正。利用该温度白瑕疵已校正的两场中任一场的像素 值,形成连写模式的图像。
这时,两场间的上述减法处理(A-B)在各区域进行,可对任一场校正显 示两场温度白瑕疵的像素。因此,可实现更迅速的图像处理,由于利用全 部区域的减法处理结果、温度白瑕疵数更少的一个场(A或B)的像素值,则 校正该场的温度白瑕疵,不必对另一场进行校正,最好将已进行校正的上 述一场的像素值用于图像记录。
图示的例子表示将1帧分为3场,必要时也可以分为4场以上。
上述摄像装置具有摄像元件、成像部件、摄像处理部、图像处理部件。
“摄像元件”具有色分解用彩色滤色器。
“成像部件”是在摄像元件上使应摄像的像成像的部件。成像部件一 般具有:成像光学系统(透境系统和成像反射镜系统,或者透镜系统和反射 镜系统的复合系统);相对于摄像元件使成像光束通过·遮断的快门;驱动 该快门开闭的驱动部。
“摄像处理部”进行使摄像元件存储并传送的电荷数字信号化的摄像 处理。
“图像处理部件”利用通过摄像处理部传送的传送数据,进行至少包 含YUV变换的图像处理。
上述摄像元件是“交替传送方式的摄像元件”,在传送存储的全部像素 的电荷时,将电荷的数据传送分割在M(≥3)场进行。
具有摄像装置的摄像元件的彩色滤色器,可以认为是红(R)·绿(G)·兰 (B)的原色系列滤色器,也可以认为是黄(Y)·青(C)·深红(M)·绿(G)的补 色系列滤色器。
图26的像素值数据630的例子中,在8行4列的B像素可见到像素值 “30”。这时,表示配置表630a、630b的相减结果(A-B)的数据表631a的 各值是“0”,表示在A场和B场不存在温度白瑕疵。
图31是表示作为本发明的摄像装置另一实施例的“电子静物摄像机(通 常称为数字摄橡机)”的系统的方框图。
符号1表示的“摄像元件”具有色分解用彩色滤色器。具体地说,是 使用色分解用彩色滤色器的CCD等。
符号501表示的摄像透镜群和快门502以及驱动部503,构成在摄像元 件1上使“应摄像的像”成像的“成像部件”。驱动部503除去进行快门502 的开闭驱动外,根据自动聚焦(AF)控制和手控校正控制,由对摄像透镜群 的透镜态位进行变位驱动的控制部5控制。
符号2表示的“摄像处理部”进行使摄像元件1存储并传送的电荷数 字信号化的摄像处理。摄像处理部2具有:CDS(相关双重取样电路)2a和 AGC(自动增益控制电路)2b;A/D(模拟/数字变换电路)2c;TG(定时发生电 路)等。
符号3表示的“图像处理部”具有:CCD-I/F(CCD接口电路)3a;存储 控制器3b;YUV变换部3c;压缩处理部3d;显示部I/F(显示部接口电路)3e。
符号4表示的“存储部”存储进行图像处理的必要“原始数据”和进 行图像处理的数据,具有:存储原始数据的RAW-RGB区域4a;YUV区域4b; JPEG区域4c。存储部4的存储是“易失性”的。
本实施例中,在摄像元件主体上可从外部装卸外部存储部4′(具体地说 是存储卡片)。外部存储部4′存储“经图像处理制作的各种图像”。代替可 装卸外部存储部4′,或者与可装卸外部存储部4′一起,在摄像装置内部设 置图像保持区域4″,在该部分也可以存储上述各种图像。外部存储部和图 像保持区域的存储是“非易失性”的。
符号5表示的“控制部(CPU)”,除去通过图像处理部3的存储控制器 3b控制图像处理部3的各部分和与存储部4的数据交流以外,还控制整个 摄像装置。符号6表示的“显示部”是显示样稿图像和摄影确认图像等的 部分。符号7表示的“操作部”进行摄影条件和制作图像的条件等的设定。
利用通过摄像处理部2传送(数字信号化)的传送数据,进行至少包含 “YUV变换”的图像处理的图像处理部件,由图像处理部3、存储部4、控 制部5构成。
图31中表示系统的“电子静物摄像机”,具有图32所示的形态。图32 中,(a)是正面图,(b)是侧面图,(c)是上面图。符号20表示“摄像机主 机”,符号21表示相对于摄像机主机20通过合叶22自由开闭地安装的“上 盖”,图36表示打开上盖21的状态。正面图中符号501表示图31中已说 明的“摄像透镜群”,符号23表示“闪光放电管”,符号24表示“取景器”。
图32(c)中,符号31A表示“液晶监视器”,符号Sw表示“上盖开闭检 知开关”。也就是,上盖开闭检知开关Sw是用于检知上盖21开或闭的开关。 符号BO表示“阻挡栅开放旋钮”。
符号SD表示的“日期开关”进行电子静物摄像机的日期和时间的设定。 符号SF表示“像差送进开关”,是进行在液晶监视器21A上显示的样稿图 像的像差送进等的开关。符号SM1表示的“记录模式转换开关”是转换彩 色摄影模式和黑白摄影模式,或者单写模式、连写模式等“记录模式”的 开关。
符号SM2表示的“图像模式开关”是进行摄影图像尺寸设定等的开关。 符号SP表示指定液晶监视器21A的显示有无的“显示器开关”,符号SE表 示实行开关(输入开关)。符号SM表示“菜单开关”。
符号RL表示进行摄影快门操作的“复位开关”。上述各种开关构成图1 的操作部7。
图31中,摄像元件1是“在传送存储的全部像素的电荷时,将电荷的 数据传送分割在M(≥3)场进行的交替传送方式的摄像元件”。摄像元件1具 有上述的“色分解用彩色滤色器”。彩色滤色器可以使用上述原色系列滤色 器,也可以使用补色系列滤色器。
图33(a)表示原色系列彩色滤色器的一部分,(b)表示补色系列彩色滤 色器的一部分。原色系列滤色器中,R表示“红色滤色器”、G表示“绿色 滤色器”、B表示“兰色滤色器”,该3种滤色器R、G、B按图示的2维配置。 当横方向的滤色器并列时,则在某列滤色器R和滤色器G交替并列,在另 一列滤色器B和滤色器G交替并列。因此,在全部彩色滤色器中,滤色器G 占全部滤色器数的1/2,滤色器R和滤色器B各占1/4。
补色系列滤色器中,Y表示“黄色滤色器”、C表示“青色滤色器”、M 表示“深红色滤色器”、G表示“绿色滤色器”,该4种滤色器Y、C、M、G 按图示的2维配置。当横方向的滤色器并列时,则在某列滤色器M和滤色 器G交替并列,在另一列滤色器Y和滤色器C交替并列。因此,各滤色器 分别占全部滤色器数的1/4。
如上所述,可以使用原色系列滤色器也可以使用补色系列滤色器作为 彩色滤色器,以下予以具体说明,首先说明使用图33(a)所示“原色系列彩 色滤色器”的情况。
如前所述,摄像元件1是“在传送存储的全部像素的电荷时,将电荷 的数据传送分割在M(≥3)场进行的交替传送方式的摄像元件”。以下首先说 明M=3的情况。
图34(a)、(b)、(c)表示M=3的交替传送方式摄像元件在垂直方向(图 的上下方向)“2列像素(受光元件)”的配置。R、Gr、Gb、B表示与各像素 对应配置的滤色器。在图的左右方向的水平方向,在某列滤色器R的像素 和滤色器Gr的像素交替配置,在另一列滤色器B的像素和滤色器Gb的像 素交替配置。滤色器Gr是“在滤色器R的配置行上的绿色滤色器”,滤色 器Gb是“在滤色器B的配置行上的绿色滤色器”。
例如,图34(a)中,图的上下方向(垂直方向)的像素配置分为每3个一 组。也就是,在垂直方向的像素配置的左侧,重复记1、2、3数字,1个数 字表示水平方向的1列像素配置。在水平方向的1列像素配置是“场”。用 记在像素左侧的数字表示这些场,称为第1场、第2场、第3场。
如图34(a)所示,摄像元件的垂直方向的像素配置为第1场、第2场、 第3场的重复。汇总构成场重复的1周期的第1、第2和第3场,称为“场 群”。
图34中,在摄像元件全部像素中存储的电荷的传送,按以下方式进行。 当传送开始时,首先,属于各场群的第1场的像素电荷被传送。图34(a) 以说明图表示该状态。为方便起见,将该传送称为“1次传送(传送各场群 的第1场的像素电荷)”。
1次传送结束时,接着传送属于各场群的第2场的像素电荷。图34(b) 表示该状态,称该传送为“2次传送”。当2次传送结束时,传送属于各场 群的第3场的像素电荷,实行“3次传送”(图34(c))。
在3次传送结束的时刻,“全部电荷的传送”结束。在上述1次、2次、 3次传送时,将在“相同次数传送”的传送数据称为“同次传送数据”。
以下,参照图36的流程图,说明摄像元件1是“在传送存储的全部像 素的电荷时,将电荷的数据传送分割在3个场(第1~第3场)进行的交替传 送方式的摄像元件”时的图像处理和图像制作。
本实施例中,可将作为摄影条件的摄影图像解像度设定为“低·中·高” 3等级,必须制作样稿图像,摄影确认图像制作的有无,可选择设定。
首先,进行“摄影条件的设定”,该设定利用图1的操作部7的操作来 进行。如图32所示,打开电子静物摄像机主机21的上盖21A,使用显示器 开关SP,使液晶监视器21A为显示状态。
利用菜单开关SM,在液晶监视器21A上显示图35所示设定画面,进行 记录设定。图35的例子中,设定“AF(自动聚焦)”作为聚焦控制,在摄影 确认图像的液晶监视器21A的显示是“关断”或显示时间“1秒”、“3秒” 中,设定图示的“1秒”,在记录图像的解像度是“高”、“中”、“低”中, 表示设定“中”的状态。这样设定后,利用实行开关SE确定设定内容。代 替设定解像度,对图像压缩率也进行同样的显示,根据用户的选择,进行 设定。
在这种状态下进行摄影。在图36的流程图的开始状态,“通过摄影在 摄像元件的全部像素上存储电荷”。
传送开始时,按照摄影对象的图像,在摄像元件1上存储的电荷数据 分割在3个场,顺序进行1次传送~3次传送。传送的数据,在摄像处理部 2由CDS 2a进行“相关双重取样”,在由AGC 2b进行自动增益控制后,由 A/D 2c变换为数字信号(数字数据),将信号处理部3的CCD-I/F 3a、存储 控制器3b、存储在存储部4(S1)。
这时,当控制部5确认“第1场的数据传送结束”时(S2),在该时刻 (S2的“Yes”),确认“摄影确认图像显示的设定”有无(S3)。若摄影条件 的设定如图5,则摄影确认图像为1秒显示。
这里,当1次传送结束时,由于在场群的第1场中包含作为彩色信息 的R信息(红色成分信息)、G信息(绿色成分信息)、B信息(兰色成分信息), 则在1次传送结束时,通过1次传送在“同次传送的数据中”全部包含制 作彩色图像的必要信息,也包含了制作低解像度彩色图像的必要像素数。
因此,在该阶段可进行图像处理。
在处理S3,当确认“显示摄影确认图像的设定”时(S3的“Yes”), 根据同次传送的第1场的传送数据,进行制作“摄影确认图像”的图像处 理(S4)。这样制作的摄影确认图像,通过显示部I/F 3e,显示在显示部6。
接着,进行制作样稿图像的图像处理(S5)。当在处理S3确认“没有显 示摄影确认图像的设定”时(S3的“No”),省略“摄影确认图像的制作”, 进行制作样稿图像的图像处理。
然后,确认制作的图像的解像度是否设定为“低”(S6),当设定“低 解像度”时(S6的“Yes”),利用第1场的传送数据(由1次传送的同次传 送数据)进行图像处理(S7),制作“低解像度的图像”。
当设定的解像度不是“低”时(S6的“No”),确认第2场的数据传送 (2次传送)结束(S8),再确认制作的图像的解像度是否设定为“中”(S9)。
当设定“中解像度”时(图5符合这种情况)(S9的“Yes”),利用第1、 第2场的传送数据(1次传送和2次传送的数据),进行制作“中解像度图像” 的图像处理(S10)。
在处理S9,当设定的解像度不是“中”时(S9的“No”),确认第3场 的数据传送(3次传送)结束(S11),利用第1、第2、第3场的传送数据(全 部像素的数据),进行制作“高解像度图像”的图像处理。
参照图31,来自摄像元件1的传送数据,按照第1、第2、第3场的顺 序,通过摄像处理部2,再经信号处理部3的CCD-I/F 3a、存储控制器3b, 作为原始数据存储在存储部4的RAW-RGB区域4a。
在存储部4的RAW-RGB区域4a存储的R·G·B信息的数据如上述说明 的那样,根据摄影确认图像显示的有无、解像度“低”、“中”、“高”等的 “用户的设定”,在各场的传送结束检出后,通过存储控制器3b传送到YUV 变换部3c,通过YUV变换,变换为YUV信号的数据,存储在存储部4的YUV 区域4b。
如上所述,利用第1场的传送数据(1次传送的同次传送数据)制作的摄 影确认图像、样稿图像,通过显示部I/F 3e显示在显示部6。当设定的解 像度是“低”时,通过存储控制器3b,YUV信号的数据再次从存储部4的 YUV区域4b读出送到压缩处理部3d,由压缩处理部3d进行JPEG格式的压 缩处理,被压缩的数据存储到存储部4的JPEG区域4c。
向存储部4的JPEG区域4c存储时,在JPEG压缩的数据上附加标题数 据等,作为“JPEG图像数据”,由控制部5控制,保存在外部存储部4′。 当有图像保存区域4″时,也可以保存在图像保存区域4″。
设定的解像度是“中”时,检出第2场的数据传送(2次传送)结束,利 用第1、第2场的传送数据进行图像处理,同样,设定的解像度是“高”时, 检出第3场的数据传送结束,利用第1~第3场的传送数据(全部像素的数 据)进行图像处理。
具体地说,使用水平:2048像素、垂直:1536像素的300万像素的摄 像元件时,按照进行3次分割传送(1次~3次传送)的交替传送方式,通过 1次传送,将传送水平:2048像素、垂直:512像素的数据(同次的传送数 据)。
因而,当记录水平:640像素、垂直:480像素(VGA)的大小时,第1 场的传送像素数对于制作图像是足够的。第1、第2场的传送像素数(1次 传送的同次传送数据与2次传送的同次传送数据之和)为水平:2048像素、 垂直:1024像素,可生成水平:1024像素、垂直:768像素(XGA)大小和水 平:1280像素、垂直:1024像素大小的图像。
在利用第1场或“第1及第2场”的传送数据时,形成水平像素和垂 直像素的宽高比不同的“水平方向较长的图像”,但在YUV变换部3c进行 变换处理时,也可以通过从存储部4的RAW-RGB区域4a“在水平方向减少 读出”等处理进行宽高比的调整。
当以实现与摄影确认图像和样稿图像同样的“VGA的图像记录”为目的 时,摄影的图像处理利用第1场的传送数据(1次传送的同次传送数据)是足 够的,所以通过中止第2、第3场的数据传送处理并转移到下次摄影,能够 加速处理。
也就是,在按照设定的解像度(低·中·高)的图像处理中利用必要场 数的传送数据,而不进行不需要场的数据传送,即可开始下次摄影,实现 处理高速化。
对于选择由摄像元件1传送的第1~第3场的传送数据进行的图像处 理,可以对应于压缩率的设定进行上述选择。
例如,在“希望快记录、快发送”时,大多选择高压缩率。这里,当 设定高压缩率时,利用第1场的传送数据进行图像处理;中压缩率时,利 用第1、第2场的传送数据;低压缩率时,利用第1~第3场的传送数据。
如上所述,已经说明了摄影元件的场的分割数(构成1个场群的场数): M是3的情况,今后,将要考虑因摄像元件的像素数增加而使全部像素数的 传送时间增加的情况。在根据分割的1场的传送像素数(1次传送的同次传 送数据)得到VGA图像时,如分割为5个场进行数据传送的情况(M=5)一样, 在M是大于3的奇数时,也可以进行与上述同样的图像处理。
以下参照图37,说明交替传送方式的摄像元件1的场分割数:M是4 的情况。
图37(a)、(b)、(c)是仿照图34表示在M=4的交替传送方式摄像元件 的垂直方向(图的上下方向)的“2列像素(受光元件)”的配置。为了避免麻 烦,不会出现混淆,附与如图4一样的符号。附与如图34一样符号的部分, 与图34已经说明的一样。
在图左右方向的水平方向,在某列“滤色器R的像素和滤色器Gr的像 素”交替配置,在另一列“滤色器B的像素和滤色器Gb的像素”交替配置。
例如,图37(a)中,在图的上下方向(垂直方向)的像素配置分为4个一 组。也就是,在垂直方向像素配置的左侧,重复记1、2、3、4数字,这些 数字的每一个表示场。也就是,在图37中,第1场、第2场、第3场、第 4场构成1个“场群”。
图37中,摄像元件全部像素存储的电荷的传送按如下方式进行。传送 开始时,首先进行各场群的第1场的像素的电荷传送(1次传送)(图37(a)), 1次传送结束时,进行各场群的第2场的像素的电荷传送(2次传送)(图 37(b))。当2次传送结束时,进行各场群的第3场的像素的电荷传送(3次 传送)(图37(c)),最后进行各场群的第4场的像素的电荷传送(4次传 送)(图37(d))。
因此,在4次传送结束的时刻,“全部电荷的传送”结束。
以下,参照图38的流程图,说明使用这种摄像元件的图像处理和图像 的制作。
在实施例中,可将作为摄影条件的摄影图像的解像度设定为 “低·中·高”3级,必须制作样稿图像,摄影确认图像制作的有无,可以 选择设定。
首先,进行摄影条件的设定,该设定与前面说明的M=3的情况一样, 设定状态如图35所示。
在该状态下进行摄影。在图38流程图的“开始”状态,通过摄影摄像 元件的全部像素中存储电荷。
传送开始时,按照摄影对象的图像,摄像元件1存储的电荷数据分割 在4个场,顺序进行1次传送~4次传送。传送的数据,在图31的摄像处 理部2由CDS2a进行“相关双重取样”,由AGC2b进行自动增益控制,再由 A/D2c变换为数字信号(数字数据),经过信号处理部3的CCD I/F3a、存储 控制器3b,存储在存储部4(S21)。
这时,当控制部5确认“第1、第2场的数据传送结束”(S22),在该 时刻(S22的“Yes”),确认“摄影确认图像显示的设定有无”(S23)。若摄 影条件的设定如图5所示,则摄影确认图像显示1秒。
当1次传送结束时,第1场仅包含作为彩色信息的R信息(红色成分信 息)、G信息(绿色成分信息),不包含B信息(兰色成分信息)。因此,在1 次传送结束的状态,“同次传送的数据”中未全部包含用于制作彩色图像的 必要信息。
然而,当2次传送结束时,在1次传送中同次传送的数据和2次传送 中同次传送的数据,包含了作为彩色信息的全部R信息(红色成分信息)、G 信息(绿色成分信息)、B信息(兰色成分信息),因此,在2次传送结束时, 在传送的数据中包含“为了制作彩色图像的必要信息”,也包含为了制作低 解像度彩色图像的必要像素数。
因此,在该阶段可以进行图像处理。
在处理S23,当确认“显示摄影确认图像的设定”时(S23的“Yes”), 根据第1场和第2场的传送数据,进行制作“摄影确认图像”的图像处理 (S24)。这样制作的摄影确认图像,通过显示部I/F3e在显示部6显示。
接着,进行制作样稿图像的图像处理(S25)。当在处理S23确认“没有 显示摄影确认图像的设定”时(S23的“No”),省略“摄影确认图像的制作”, 进行制作样稿图像的图像处理。
然后,确认制成的图像的解像度是否设定为“低”(S26),当设定“低 解像度”时(S26的“No”),利用第1、第2场的传送数据(由1次、2次传 送的同次传送数据之和)进行图像处理(S27),制作“低解像度的图像”。
当设定的解像度不是“低”时(S26的“Yes”),确认第3、第4场的 数据传送(3次、4次传送)结束(S28),再确认结束时(S28的“Yes”),利 用第3、第4场的传送数据(3次传送和4次传送的数据)进行图像处理。
当设定的解像度是“中”或“高”时,利用4次传送后的传送数据进 行图像处理。当制作高解像度图像时,利用4次传送后的全部像素数据(全 部数据)进行图像处理,当制作中解像度图像时,从全部数据中进行数据挑 选,取得必要像素数的数据,进行图像处理(S29)。
参照图31,来自摄像元件1的传送数据,按照第1、第2、第3、第4 场的顺序,通过摄像处理部2,经由信号处理部3的CCD-I/F 3a、存储控 制器3b,作为“原始数据”存储在存储部4的RAW-RGB区域4a。
在存储部4的RAW-RGB区域4a存储的R·G·B信息的数据,如上所述, 根据摄影确认图像显示的有无、解像度“低”、“中”、“高”的“用户的设 定”,各场的传送结束检出后,通过存储控制器3b送到YUV变换部3c,由 YUV变换变换为YUV信号的数据后,存储在存储部4的YUV区域4b。
如上所述,利用第1、第2场的传送数据(1次传送和2次传送的各同 次传送数据)制作的摄影确认图像、样稿图像,通过显示部I/F3e,在显示 部6显示。当设定的解像度是“低”时,通过存储控制器3b、YUV信号的 数据再次从存储部4的YUV区域4b读出,送到压缩处理部3d,由压缩处理 部3d进行JPEG格式的压缩处理,被压缩的数据存储在存储部4的JPEG区 域4c。
当向存储部4的JPEG区域4c进行存储时,在JPEG压缩数据上附加标 题数据等,作为“JPEG图像数据”,通过控制部5的控制保存在外部存储部 4′。在有图像保存区域4″时,也可以保存在图像保存区域4″。
当设定的解像度是“中”、“高”时,检出第4场的数据传送(3次、4 次传送)结束,利用第1~第4场的传送数据进行图像处理。
具体的例子是:使用水平:2048像素、垂直:1536像素的300万像素 的摄像元件(CCD)时,按照进行4次分割传送(1次~4次传送)的交替传送 方式,利用1次传送将传送水平:2048像素、垂直:384像素的数据(同次 传送数据)。
因此,若记录水平:640像素、垂直:480像素(VGA)大小时,则第1 和第2场的传送像素数(水平:2048像素、垂直:768像素)“对于制作图 像是足够的”,可以生成水平:1024像素、垂直768像素(XGA)大小的图像。
在使用“第1和第2场”的传送数据时,形成水平像素和垂直像素的 宽高比不同的“水平方向较长的图像”,但在YUV变换部3c进行变换处理 时,从存储部4的RAW-RGB区域4a利用“减少在水平方向的读出”等处理, 可以进行宽高比的调整。
当以与摄影确认图像和样稿图像同样的“VGA图像记录”为目的时,摄 影的图像处理使用第1和第2场的传送数据是足够的,因此可中止第3、第 4场的数据传送处理,转移到下次摄影,能够加快处理。
也就是,在按照设定的解像度(低·中·高)的图像处理中,使用必要 场数的传送数据,不再进行不需要场的数据传送,开始下次摄影,可实现 处理的高速化。
对于选择由摄像元件传送的第1~第4场的传送数据进行的图像处理, 可以对应于压缩率的设定进行上述选择。
例如“希望快记录、快发送”时,大多选择高压缩率。当设定高压缩 率时,使用第1和第2场的传送数据进行图像处理,当选择中压缩率或低 压缩率时,可进行使用第1~第4场传送数据的选择。
以上已经说明了摄像元件的场分割数(构成1个场群的场数):M是4 的情况,今后,预想会出现摄像元件的像素数增加、全部像素数的传送时 间增加的情况。
这时,M为比4大的偶数,例如M=6,分割为6个场进行数据传送,在 制作摄影确认图像和样稿图像、低解像度和高压缩率的记录图像时,利用 由第1和第2场传送得到的传送数据进行图像制作,在制作中解像度和中 压缩率的记录图像时,利用由第1~第4场传送得到的传送数据制作图像, 在制作高解像度或低压缩率的记录图像时,利用由第1~第6场传送得到的 传送数据制作图像。
如上述图31~图37已说明的实施例中,在具有色分解用彩色滤色器的 摄像元件1,传送按照由成像部件成像的像存储的全部像素的电荷时,将电 荷的数据传送分割为M(≥3)场进行,利用使全部彩色信号和必要像素数齐 全的m(<M)场传送数据,实施进行至少包含YUV变换的图像处理的摄像方法。
在图34、图36说明的实施例中,实施场数:M是3以上的奇数、m=1 的摄像方法,在图37、图38说明的实施例中,实施场数:M是4以上的偶 数、m=2的摄像方法。
上述各实施例中,在m场的传送数据已齐全的时刻,立即进行至少包 含YUV变换的图像处理,通过包含YUV变换的图像处理,制作摄影确认图 像,制作样稿图像。
上述各实施例中,设定应制作的图像的条件,利用n(m≤n≤M)场的传 送数据进行图像处理,制作应制作的图像,应制作图像的条件是“图像的 解像度”时,n即是制作设定解像度的图像所必要像素数齐全的场数。
图34、图35、图36的已说明实施例中,于M=3,对于场数:n=1制作 低解像度图像,对于场数:n=2制作中解像度图像,对于场数:n=M制作高 解像度图像。
图35、图37、图38的已说明实施例中,M=4,对于场数:n=2制作低 解像度图像,对于场数:n=M制作中解像度图像和/或高解像度图像;如上 所述,M=6,对于场数:n=M制作高解像度图像,对于场数:n=2制作低解 像度图像,或者,对于场数:n=4制作中解像度或低解像度图像。
如上所述,各实施例中,使用“图像的压缩率”作为应制作图像的条 件时,可设n为“制作设定压缩率的图像所必要像素数齐全的场数”,在图 34、图35、图36已说明的实施例中,M=3,对于场数:n=1进行JPEG格式 的图像压缩处理,在图35、图37、图38已说明的实施例中,M=4或6,对 于场数:n=2进行JPEG格式的图像压缩处理。
图31表示实施例的摄像装置,具有:设有色分解用彩色滤色器的摄像 元件1;在该摄像元件1上使应摄像的像成像的成像部件501、502、503; 对摄像元件1上存储并传送的电荷进行数字信号化摄像处理的摄像处理部 2;利用通过该摄像处理部传送的传送数据,进行至少包含YUV变换的图像 处理的图像处理部件3、4、5,摄像元件1是在传送存储的全部像素的电荷 时,将电荷的数据传送分割在M(≥3)场进行交替传送方式的元件。
摄像元件具有的彩色滤色器是红(R)·绿(G)·兰(B)的原色系列滤色器, 如上所述,也可以替换为黄(Y)·青(C)·深红(M)·绿(G)的补色系列滤色 器。
图31和图34、图35、图36已说明实施例的摄像装置,是以交替传送 方式摄像元件1的M为3进行实施的,也可是以交替传送方式摄像元件1 的M为4或6进行实施的。
上述已说明实施例的摄像装置,具有显示摄像确认图像和/或样稿图像 的显示部6,可装卸存储制作的图像的外部存储部4′。还能具有存储制作 的图像的图像保持区域4″。
上述已说明实施例的电子静物摄像机是至少将摄像装置作为一部分的 图像信息处理装置的1个例子。
例如,显示摄影确认图像时,传送摄像元件全部像素的数据后进行图 像处理,到显示摄影确认图像,以往300万像素必须0.3秒,但在M=3、m=1 时,只须其1/3的0.1秒,在M=4、m=2时,只须其1/2的0.15秒即可显 示摄影确认图像,使用方便性提高了。
如上所述,采用本发明的摄像方法,在传送摄像元件存储的电荷时, 不必等待全部像素数据的传送即可制作图像数据,能够缩短摄影图像的确 认和到下次摄影开始的处理时间。因此,实施本发明摄像方法的摄像装置 和图像信息处理装置,用户更便于使用。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈