图像信号处理装置及图像信号处理方法
阅读：554发布：2024-02-15
专利汇可以提供图像信号处理装置及图像信号处理方法专利检索，专利查询，专利分析的服务。并且本 发明 提供了一种图像 信号 处理装置及图像 信号处理 方法。其通过有效地使用固体摄像元件本来具有的输出范围来扩大动态范围，同时获得 色调 旋转少的图像。利用在高感光度模式下通过较低地设置曝光量，所以直至饱和电荷量为止的富余变大这一点，从而获得包括高 亮度 侧的被拍摄对象的信号成分的动态范围宽的RGB信号。首先，通过进行接近γ幂的γ校正，色空间转换为亮度信号和色差信号，并对亮度信号进行非线形压缩处理，以便匹配规定的灰度，对色差信号进行基于伽 马 幂的降低 颜色 旋转和色差矩阵 限幅 。，下面是图像信号处理装置及图像信号处理方法专利的具体信息内容。
1.一种图像信号处理装置，用于基于被拍摄对象的摄像图像输出规定的输出位长的亮度信号及色差信号，所述图像信号处理装置包括： 图像信号输入单元，用于输入已拍摄的被拍摄对象的图像信号； 放大单元，用于对输入的图像信号的动态范围进行扩张； 计算单元，基于对所述动态范围进行扩张后的图像信号来计算RGB信号； RGBγ校正单元，对所述RGB信号进行RGBγ校正，并作为位扩张大于所述输出位长的信号进行输出； 转换单元，基于通过所述RGBγ校正单元进行位扩张后的RGB信号，计算亮度信号及色差信号；以及 非线性校正单元，进行非线性校正，以便所述计算出的亮度信号的输出电平匹配所述输出位长。
2. 根据权利要求1所述的图像信号处理装置，其特征在于，所述图像输入单元还包括：感光度设置单元，输入通过 固体摄像元件拍摄的图像信号，并设置所述输入的图像信号的 感光度，其中，扩张了动态范围的图l象信号包括由所述感光度设 置单元设置高感光度时的增益增大而产生的高亮度侧的输出 范围。
3. 根据权利要求1所述的图像信号处理装置，其特征在于，所述RGB讨交正单元，在由所述感光度设置单元设置低感光度时，使用进行匹 配于所述车叙出位长的输出的4氐感光度用RGBy曲线，在由所述感光度设置单元设置高感光度时，使用高感光 度用RGBY曲线，输出位扩张大于所述输出位长的信号，其中， 所述高感光度用RGBy曲线在从低亮度到中亮度基于所述低 感光度用RGBy曲线，同时在高亮度区域具有基于Y幂的曲线。
4. 根据权利要求3所述的图像信号处理装置，其特征在于，所述非线性4交正单元，相对于RGBy曲线，4吏用非线性才交 正曲线进行亮度信号的灰度转换，其中，所述非线性校正曲线， 在由从低亮度到中亮度的形成画面Y曲线构成的区域中，是将 向所述非线性才交正单元的输入直接作为所述非线性校正单元 的输出的直线状，在从形成画面y曲线到幂y曲线的切换点以后 的高亮度区域中，是为了匹配255灰度的压缩曲线。
5. 根据权利要求3所述的图像信号处理装置，其特征在于还包 括..直方图检波单元，对亮度信号进行直方图检波，并确定 直方图集中的亮度区域；以及非线性才交正曲线生成单元，适当;l也生成非线性才交正曲线， 以便緩和直方图集中的亮度区域上的灰度压缩的程度，其中，所述非线性4交正单元4艮据乂人所述非线性校正曲线 生成单元供给的非线性校正曲线进行亮度信号的灰度转换。
6. 根据权利要求3所述的图像信号处理装置，其特征在于，所述非线性校正单元，相对于RGBy曲线，使用非线性校 正曲线进行亮度信号的灰度转换，其中，所述非线性校正曲线， 在由从低亮度到中亮度的形成画面Y曲线构成的区域中，是将 向所述非线性校正单元的输入直接作为所述非线性4交正单元 的输出的直线状，在,人形成画面y曲线到Y幂曲线的切换点以后 的高亮度区域中，是为了匹配255灰度的近似直线。
7. 根据权利要求4所述的图像信号处理装置，其特征在于还包 括：高通滤波器，从基于所述RGB讨交正单元的RGBy校正前 的G信号和讨交正前的RGB信号而计算出的亮^f复信号、或者 基于y转换输出信号而计算出的亮度信号中的任一个或者两个 中获得高频信号；亮度信号电平4全测单元，输入非线性一交正之后或者之前 的亮度4言号，;险测超过所述非线性4交正曲线乂人直线切:换为^皮灰 度压缩的曲线的变化点的部分，并在变化点以下的部分将增益 值设置为0，在超过变化点的部分对应于亮度信号电平输出增 益值0〜1;以及高亮度分辨率特性补偿单元，将所述高通滤波器的输出 和来自所述电平一企测单元的增益^f直相乘并生成高频补偿^言号， 并将所述高频补偿信号与亮度信号相加。
8. 根据权利要求1所述的图像信号处理装置，其特征在于还包 括：选择输出单元，用于安装于具有静态图像拍摄模式和图 像确认用的监视模式的摄像装置，所述选择输出单元，在所述静态图像拍摄模式下，输出 通过所述非线性校正单元进行灰度转换后的亮度信号，以便匹 配输出位长，并在所述监视模式下，直接输出通过所述转换单 元生成的亮度信号。
9. 一种图像信号处理方法，用于基于被拍摄对象的摄像图像来输 出规定的输出位长的亮度信号及色差信号，所述图像信号处理方法包纟舌以下步-骤：信号输入步骤，用于输入已拍摄的被拍摄对象的图像；;故大步骤，用于对输入的图像信号的动态范围进行扩张；计算步骤，基于对所述动态范围进行扩张后的图像信号 来计算RGB信号；RGBy校正步骤，对所述RGB信号进行RGBy校正，并作 为位扩张大于所述输出位长的信号进行输出；转换步骤，基于通过在所述RGBY校正步骤中进行位扩张 后的RGB信号来计算亮度信号及色差信号；以及非线性4交正步骤，进行非线性4交正，以Y更所述计算出的亮度信号的输出电平匹配所述输出位长。
图像信号处理装置及图像信号处理方法
技术领域
本发明涉及一种基于从固体摄像元件等获得的图像信号，在适
当的动态范围内输出亮度信号和色差信号（Y/Cr/Cb等）的图像信 号处理装置及图像信号处理方法。尤其涉及通过有效地使用固体摄 像元件本来具有的输出范围来扩大动态范围，同时获得色调旋转少 的图像的图像信号处理装置及图像信号处理方法。
当的动态范围内输出亮度信号和色差信号（Y/Cr/Cb等）的图像信 号处理装置及图像信号处理方法。尤其涉及通过有效地使用固体摄 像元件本来具有的输出范围来扩大动态范围，同时获得色调旋转少 的图像的图像信号处理装置及图像信号处理方法。
背景技术
照相机作为记录视觉信息的装置具有悠久的历史。最近，作为 取代使用胶巻和感光板进行拍才聂的卣化4艮照相机，对通过CCD (Charge Coupled Device,电荷耦合器件）或CMOS( Complementary Mental-Oxide Semiconductor,互补金属氧化物半导体）等的固体才聂 像元件所捕抓的图像进行数码化的数码照相机被广泛普及。数码照 相机，存在以下优点：将被数字编码后的图像存储在存储器中，并 可通过计算机来进行图像处理和图像管理，从而不会出现胶巻寿命 这才羊的问题。
CCD传感器通过被排列为2维的各像素（光电二极管）利用光 电效应，将光转换为电荷的结构而构成。在各像素的表面上设置有 例如红（R)、 G(绿）、B (蓝）三色中任一种的滤色器，并将与通 过各滤色器的射入光量相对应的信号电荷存储在各像素中。而且， 从各像素读出与各色的射入光量相对应的信号电荷，并可从3色的 各信号电荷量中再现各像素位置的射入光的颜色。但是，存在以下制约：各像素可存储的信号电荷量具有上限，且无法存储超过构成 像素的光电二极管的饱和电荷量的信号电荷。即，从传感器元件具 有的噪声电平到传感器元件可以存储的电荷的饱和量为止的范围 为动态范围。动态范围以外部分的图像，作为曝光过度、或者曝光 不足的现象在摄像图像上被观察到。
人的—见觉可以对应光量的位4丈而感觉亮度，该范围即、动态范
围被称为8位。底片的动态范围至少为4位。另一方面，CCD的动 态范围例如为2.4位左右，略孩i不足。近年来，随着纟敬细化技术的 不断推进，固体才聂像元件的l象素数飞越似地增加，分辨率接近卣化 4艮照片，j旦是另一方面，随4象素的尺寸々包和电荷量变小，/人而更加 加深了动态范围不足的问题。
照相才几具有对光圈和快门速度的光量进行4交正的功能，例如， 若光圏关闭一次，则光量变为一半。若射入照相机的光量为均等的 一半，则相对于对数标度，可以仅平行移动0.5该光量。但是，基 于照相才几的光量才交正仅为在动态范围中使被拍才聂对象的光量分布 平行移动而已，对宽于动态范围的光量分布则没有意义。
而且，/>知一种改变快门速度，多重^己录并合成，乂人而扩大动 态范围的方法。即，在CCD传感器上通过电子快门控制，获得在 高速快门处理中回避饱和的图像、和在低速快门处理中获得充分电 子数的低亮度部分图像并加以合成，从而可以确保良好的动态范 围。但是，由于为了获得一张图像，需要进行高速快门处理和低速 快门处理两次拍4聂，所以无法获得移动物体的适当的静态图像。或 者，由于需要双重摄像系统，所以装置结构变得复杂。
而且，虽然也考虑在传感器部中交替地配置感光度感光度高的 传感器和感光度感光度低的传感器，并合成两个传感器的信息，从而确保动态范围的方法，但是存在传感器构造和传感器输出的信号 处理复杂的问题。
例如，7>开了一种信号处理方法（例如，参照专利文献l):对 摄像图像的亮度分布进行检波，并将处于逆光、白色丢失（white color loss )、曝光不足状态的亮度分布一交正为最佳亮度分布并进行输 出。才艮据该信号处理方法，当输出图像的亮度分布大时，通过B样 条4翁^直方〉去（B-spline interpolation method )等进4亍才交正，以i更亮度 分布相一至丈，/人而可以-控制讨交正的l命入l命出，并可以获《寻最佳的 图像。
而且，公开了一种自动曝光控制方法（例如，参照专利文献2): 若对输入的图像信号所包括的高亮度被拍摄对象信号进行检测，则 对应该高亮度被拍摄对象信号，对用于拍摄动作的曝光量进行控 制，同时，根据曝光量对图像信号的y校正量进行提高低亮度区域 上的亮度电平这样的控制，从而例如在逆光状态下，也可从高亮度 被拍摄对象和低亮度被拍摄对象共存的影像中获得良好的图像。
而且，也考虑了一种使用y校正来确保图像信号的动态范围的 方法。Y校正是指将拍摄图像输出到监视器等时，将图像等的颜色 数据、和实际输出数据时的信号的相对关系进行调整，并为了正确 (更为接近自然的显示）再现灰度（亮度）而进行灰度转换的处理。 监一见器中的灰度（亮度）特性相对于来自CCD的输入信号的电平 不是线性，当将输入信号定为x,将监视器的亮度电平定为y时， 为y-xY的关系。因此，进行相当于该逆函数的处理为y校正。y校正 曲线是本来幂的函数，通过改变y系数从而可以确保动态范围。但 是，由于y系数的改变，在从理想的y曲线偏离的部分的摄像图像上， 存在产生彩色平衡被破坏、对比度劣化这样的不良影响的问题。而且，在基于固体摄像元件的拍摄图像中，当过度曝光时，存 在在高亮度部分，产生通过与本来不同的颜色进行表现的色调旋转
(color hue rotation )这才羊的问题。例如，当在射入光中，与红色的 射入光量相对应的信号电荷量超过光电二极管的饱和电荷量时，根 据未达到饱和电荷量的绿色及蓝色的各信号电荷量和红色的信号 电荷量（饱和电荷量）而再现的颜色变为红色程度不足的颜色。尤 其由于人眼对肤色较为敏感，所以当通过过度曝光对肤色进行拍摄 时，导致肤色变黄较为引人注目。
作为避免该色调旋转的方法，考虑一种例如，在图像颜色旋转 (color rotation )开始的高亮度^^,水卩制色差〗言号电平本身的方法。 这一般被称为"消色差，，技术，当亮度信号电平在某阈值以上时， 阶段性地进行消色并进行发白处理。但是，会产生由于颜色丢失而 导至丈产生图^f象发白（be blown out to white )的问题。
而且，作为避免色调旋转的其他方法，也考虑例如，进行限幅， 以便在对RGB信号进行色空间转换为亮度信号和色差信号
(Y/Cr/Cb )、或者进一步色空间转换为sRGB ( standard RGB )之后， 色差信号不会旋转为超过颜色区域的信号。虽然该方法是被称为
"3D查找表处理的"的常^见方法， <旦是会显著地增大电3各规才莫。
在这些i见有的色调S走转回避方法中，存在以下问题：产生基于 在高亮度部上的灰度不足的发白的问题、以及无法抑制通过色空间 转换为亮度信号和色差信号（Y/Cr/Cb)之前的Y校正而产生RGB 信号限幅的结果的颜色^走转（color rotation )。
色调旋转的问题与动态范围不足一样，与像素的饱和电荷量不 足相对应。数码照相机的分辨率由于像素数的飞越似的增加而接近 囟化银照片，但是在颜色再现性方面不及卤化银照片。因此，在数码照相机中，大多设置有用于切换相当于卣化银照 相才几中的ISO感光度的感光度条件的功能。即，为了拍摄即使通过 曝光^&正也无法获得充分感光度的低光照度被拍摄对象的影像，使
用增益增大这样的提高感光度的技水。通过增益增大，由于对CCD 等的输出信号进行增幅，并相对地提高亮度范围，所以提高感光度， 从而可以拍摄发暗的地方和低光照度被拍摄对象。以ISO100为标 准感光度，并准备将后面的ISO200、 ISO400等作为高感光度模式。
在此，存在以下问题：大多对每次设置数码照相机的ISO感光 度时的传感器输出没有适当设置信号处理范围，也没有有效地活用 本来可以使用的固体摄像元件的输出信号范围。下面，对这点进行考虑。
将ISOIOO、即使用标准增益的通常拍摄中所使用信号振幅的 上限i殳置为s，当此时的增益为a时，将IS0200、即增益增大时的 使用信号振幅的上限为s/2，且增益为2a。在增益增大后的高感光 度模式下，由于将曝光量设置得低于标准曝光，所以直至饱和电荷 量为止的富余变大，从而扩大可摄像的被拍摄对象的高亮度侧的摄 像范围，并在该CCD等的输出信号中应该可包括在通常拍摄模式 下无法获得高亮度侧的被拍摄对象的信号成分。
在从平均的一皮拍摄对象的曝光量直至CCD ^L和电平没有富余 的状态下，一4殳将CCD的饱和电平作为标准增益、即ISO100的使 用信号4展幅的上限。例如，当对饱和信号量（最大输出）500mV的 CCD传感器输出使用10位进行AD转换时，当为ISO100时，将全 部500mV作为1023灰度进行使用（参照图17)。而且，若为JPEG (Joint Picture Experts Group,耳关合图 <象专家纟且），则通过y冲交正，^l寻 该1023灰度的RGB图像信号分配为255灰度。另一方面，当为 ISO200时，将该一半的传感器输出250mV作为1023灰度（参照图18)，并当增益增大输出时，在1023灰度对信号进行限幅，从而只 能使用CCD最大输出、即饱和电荷量的一半。
但是，由于将从250mV直至500mV为止的区域作为CCD传 感器输出是有效的，所以应该作为高亮度侧的摄像范围加以活用。 因此，即使在高感光度模式中，与标准模式相同地通过y校正电路 进行灰度转换时，以标准模式中的摄像范围界限（在如图17所示 的例子中为1023灰度）为基准，对可以灰度转换的被拍摄对象的 高亮度侧的摄像范围进行限制，从而无法将在高感光度模式下被扩 大的高亮度侧的摄像范围的扩大效果反映在图像上。
与此相对，公开了一种关于摄像装置的技术（例如，参照专利 文献3):通过组合增益增大和灰度转换特性的变更，即通过进行当 高增益时，较高地设置灰度转换特性的有效最大输入值这样的灰度 转换特性的转换，乂人而可以将通过增益增大而生成的4聂像元件的高 亮度侧的摄像范围的扩大效果反映在图像上，并可扩大被拍摄对象 的高亮度侧的再现区域。
才艮据该才聂像装置，当为ISO200时，将全部500mV作为2047 灰度进行使用，并可以才艮据"宽的D范围（wide D range )时y特性"， 通过讨交正将2048位的RGB图Y象信号分配为255灰度。该"宽的D 范围时y特性" 一皮i殳置为：在直至々包和电荷量的75%为止的〗氐亮度 测的区域上与标准y特性为同 一特性，且在这以上的高亮度侧的区 域上灰度的压缩程度变高。
但是，在专利文献3等的方法中，不可否认地牺牲了高灰度压 缩程度的高亮度区域的再现性。尤其在将RGB信号通过色空间转 换为亮度信号和色差信号（Y/Cr/Cb)之前，当通过y校正进行灰度 转换以便匹配规定的灰度时，无法抑制作为RGB信号限幅产生的 结果的颜色旋转和发白。在专利文献3中，虽然还公开了一种关于动态范围的改善的方法，^旦是没有^是及有关在色差信号的々包和电平 附近上的色调旋转的问题。
专利文献1:日本特开2003-179809号7>才艮 专禾j文献2:日本净争开2004-23605号乂>才艮 专利文献3:日本净争开2002-33956号^>净艮（图2, 0036 #爻） 发明内容
本发明鉴于上述问题，目的在于提供一种卓越的图像信号处理 装置及图像信号处理方法，其基于从固体摄像元件等获得的图像信 号，可以在动态范围内输出亮度信号和色差信号（Y/Cr/Cb等）。
本发明的另 一个目的在于提供一种卓越的图像信号处理装置 及图像信号处理方法，其在每次设置lt码照相才几的感光度时i殳置适 当的信号处理范围，并通过有效地使用固体摄像元件本来具有的输 出范围来扩大动态范围，同时，可以获得色调旋转少的图像。
根据本发明的一个方面，提供了一种图像信号处理装置，用于 基于被拍摄对象的摄像图像来输出规定的输出位长的亮度信号及 色差信号，上述图像信号处理装置包括：图像信号输入单元，用于 输入已拍摄的一皮拍摄对象的图像信号；；改大单元，用于对输入的图 像信号的动态范围进行扩张；计算单元，基于对上述动态范围进行 扩张后的图像信号来计算RGB信号；RGBy校正卓元，对上述RGB 信号进行RGBy校正，作为位扩张大于上述输出位长的信号进行输 出；转换单元，基于通过上述RGB讨交正单元进^亍位扩张后的RGB 信号来计算亮度信号及色差信号；以及非线性校正单元，进行非线 性校正，以便上述计算出的亮度信号的输出电平匹配上述输出位 长。本发明关于一种图像信号处理装置，其在使用CCD等的固体 摄像元件对数字图像进行拍摄的摄像装置中，基于从固体摄像元件 获得的图像信号，在适当的动态范围上输出亮度信号和色差信号
(Y/Cr/Cb等）。
被称为数码照相机的这种摄像装置可以进行基于计算机的图 ^象处理和图Y象管理，并进一步具有可以/人月交片的寿命这样的问题中 解放出来的便利性。最近，随着微细化技术的不断推进，固体摄像 元件的像素数飞越似地增加，分辨率迫近囟化银照片，但是由于饱 和电荷量的制约，存在动态范围不足、和高亮度区域的色调旋转这 样严重的问题，并且，在颜色再现性方面也不及卣化银照片。
与此相对，本发明涉及的图l象信号处理装置构成为：着眼于以 下这点，当将数码照相机以比最低ISO感光度高的方式来设置ISO 感光度时，由于将曝光量设置得比标准曝光低，所以直至饱和电荷 量的富余变大，即使在将ISO感光度设置切换为高感光度且增益增 大的情况下，不改变^f吏用信号:^展幅的上限地输入包括由增益增大而 产生的固体摄像元件的高亮度侧的输出范围的动态范围宽的的 RGB信号，从而有效使用直至饱和电荷量的区域。
具体而言，在最低感光度的ISO100中，将CCD传感器的饱和 电荷量500mV分配为AD转换输出的分辨率、即10位（1023灰度） 的情况下，即使设置ISO200且增益增大时，将饱和电荷量500mV 还是作为设置AD转换输出的分辨率、即10位（1023灰度），对超 过250mV的信号进行RGBY校正电平（位长）扩张的基础上，发送 纟会后面的处理。
根据本发明涉及的图像信号处理装置，对RGBy校正处理的输 出电平（位长）进行扩张之后制作亮度信号和色差信号。通过扩张 RGBY校正的位长，可以进4于具有冲妄近理想的y曲线特性的RGBy冲交正。具体而言，通过具有9位的RGBy校正输出，使用接近//22和 sRGBy的特性来制作色差信号。
在这种情况下，虽然在对位扩张的RGBY^t出进^亍色差转换的 过程中，对色差信号进行限幅，但是通过从基于Y幂（Y1/22)的9位 RGB讨交正输出中制作8位的色差信号，从而由于基于y幂（power y ) 的高阶位（high-order bit)扩张而难以进行色差矩阵限幅，所以可 以在高亮度区域大幅度地改善色差限幅和色调旋转。
而且，关于亮度信号，为了匹配应该输出8位长、即255灰度， 通过非线形4交正单元进行与前面的RGB讨交正相对的A讨交正位置对 应的非线形处理，乂人而可以确〗呆动态范围宽的亮度〗言号。
上述RGB讨交正单元由于在i殳置4氐感光度时，以与现有4支术相 同的位长来输出RGBy校正，且未使用乂人增益增大中扩张的高阶位，
线。另一方面，当设置高感光度时，从低亮度到中亮度根据上述低 感光度用RGBY曲线，使设置低感光度时的拍摄图像与对比度匹酉己。 而且，通过在高亮度区域，使用具有基于y幂的曲线的高感光度用 RGBY曲线，输出位扩张大于上述输出位长的信号，,人而如上所述， 可以实现对高亮度区域上的大幅度颜色旋转进^亍抑制和动态范围 的扩大。
而且，上述Ay校正单元例如，在由RGBY曲线中从低亮度到中 亮度的形成画面Y曲线所构成的区域中，使用设置将Ay校正输入直 接作为AY校正输出的直线状。另一方面，以从形成画面y曲线切换 为幂,"曲线的切换点为基准，在这以后的高亮度区域中，使用由 压缩曲线构成的AY曲线以便匹配255灰度，并进行亮度信号的灰度 转换，从而可以保持高亮度部的灰度不变地确保动态范围。在这种情况下，虽然可以在低亮度〜中亮度区域设置低感光度 时，匹配对比度，但是由于仅在高亮度区域上进行灰度压缩，所以 在该区域上，灰度不足且亮度再现性劣化。例如，在包括很多高亮 度部分的摄像图像中，恐怕会出现该影响。
因此，上述A讨交正部通过任意画出Ay曲线（非线形4交正曲线），
也可以实现与亮度信号的动态范围压缩的同时改善亮度信号灰度。
具体而言，上述图i象信号处理装置还包括：直方图冲企波单元，对亮 度信号进行直方图检波，并确定直方图集中的亮度区域；以及Ay曲 线生成单元，适当地生成Ay曲线，以便緩和直方图集中的亮度区域 上的灰度压缩的程度，上述Ay校正单元根据从上述Ay曲线生成单元 供给的AY曲线来进行亮度信号的灰度转换。在这种情况下，在高亮 度部分直方图集中这样的图像中，通过在高亮度侧修正为具有灰度 特性的AY曲线，,人而可以改善高亮度的灰度4争性。
另一方面，当进行高感光度用的灰度转换时，在通常的RGBy 表的基础上，还必须装配用于AY校正的AY表，从而导致电路规模增 大。因此，也可以为：上述A讨交正单元相对于RGBy曲线，^吏用Ay 曲线进行亮度信号的灰度转换，其中，上述Ay曲线，在由从低亮度 到中亮度的形成画面Y曲线构成的区域中，是将Ay校正输入作为Ay 校正直接输出的直线状，在从形成画面y曲线到y"22曲线的切换点为 基准以后的高亮度区域中，是为了匹配255灰度的近似直线。在这 种情况下，由于可以不参照Ay表，通过简单的函凄t计算来进4于亮度 信号的灰度转换，所以可以降低电路规模。
而且，当如本本发明 一样地将较宽的动态范围信号灰度转换为 输出格式的8位时，存在高亮度侧的灰度感不足的问题。与此相对， 例如，通过例如孔阑补偿，从而可以补偿高亮度的分辩特性。具体而言，在本发明涉及的图像信号处理装置中，还包括：高 通滤波器，从基于上述RGBy校正羊元的RGBy校正前的G信号和y 校正前的RGB信号而计算出的亮度信号、或者基于y转换输出信号 而计算出的亮度信号中的任一个或者两个中获得高频信号；亮度信 号电平检测单元，输入Ay校正之后或者之前的亮度信号，检测例 如超过上述Ay曲线从直线切换为被灰度压缩的曲线的变化点的部 分，并在变化点以下的部分将增益值i殳置为0,在超过变化点的部 分对应于亮度信号电平输出增益值0〜1。而且，将上述高通滤波器 的输出和来自上述电平^r测单元的增益值相乘并生成高频补充信 号，并与亮度信号相加。由此，可以将高亮度区域上的边缘部分重 叠于亮度信号，补偿高亮度的分辨率特性。
通过将本发明涉及的图像信号处理装置安装于数码照相才几，从 而可当每次设置感光度时设置适当的固体摄像元件的输出信号电 平，并可通过有效地^吏用固体才l像元件本来具有的输出范围来扩大 动态范围，同时，可降低饱和电荷量附近的色调旋转。
但是，对RGBY校正输出进行位扩张并对亮度信号进一步进行 Ay校正这样的高感光度用灰度转换，与通常的灰度转换相比系统控 制负荷变高。因此，当将图像信号处理装置安装于摄像装置时，也 可以还包括选择输出单元，其在上述静态图像摄影模式下，输出通 过上述AY校正单元进行灰度转换后的亮度信号，以便匹配输出位 长，并在上述监浮见才莫式下，直接输出通过上述颜色转换单元制作的 亮度信号。
在这种情况下，数码照相机在监视模式下，不使用Ay校正，输 出的亮度信号被限幅在255灰度并除去了高亮度部分的信息，但是 由于未保存图像，所以即使优先降低系统控制负荷也没有问题。
16根据本发明，可以提供一种卓越的图像信号处理装置及图像信 号处理方法，其可以在合适的动态范围内将从固体摄像元件等获得
的图像信号转换为由动态范围亮度信号和色差信号（Y/Cr/Cb等） 形成的图像信号。
本发明的另 一个目的在于提供一种卓越的图像信号处理装置 及图像信号处理方法，其在每次设置数码照相才几的感光度时设置适
当的固体摄像元件的llr出信号电平，并通过有效地使用固体摄像元
件本来具有的输出范围来扩大动态范围，同时可以获得色调旋转少 的图像。
根据本发明，由于可以在对RGBY校正处理的输出电平（位长） 进行扩张后制作亮度信号和色差信号，所以对于色差信号而言，由 于不存在基于现有技术中的RGBy校正的限幅，所以可以改善动态 范围和颜色^走4争。对于颜色力走转及颜色动态范围而言，虽然在对进 行位扩张的RGBY输出进行色差转换的过程中，对色差信号进行限 幅，4旦是通过具有充分的RGBy输出电平，^人而可以实现大幅度;也 抑制颜色旋转和动态范围的扩大。而且，关于亮度信号，进一步进 行亮度专用的非线形处理从而使输出匹配于255灰度，因此可以获 得动态范围宽的亮度信号。
而且，由于亮度信号的高感光度用灰度转换与通常的灰度转换 相比，系统控制负荷变高，所以在安装有本发明涉及的图像信号处 理的摄影装置中，仅当拍摄静态图像时使用高感光度用灰度转换， 而当仅进行取景器输出的监4见才莫式时不4吏用该高感光度用灰度转 换，从而可以降低系统控制负荷。
本发明的其他目的、特征及优点将通过后面本发明的实施例和 附图进行的详细说明来加以明示。附图说明
图1是本发明的一实施例涉及的图像信号处理装置的构成的示
意图；
图2是通过Y校正将该1023灰度的RGB图像信号分配为255 灰度，以便适合于作为输出格式的JPEG的状态的示意图；
图3是当设置为ISO200且增益增大时，将饱和电荷量500mV 直接作为AD转换输出的分辨率、即10位（1023灰度），并使用超 过250mV的信号的状态的示意图；
图4是本发明涉及的图像信号处理装置用于进行当设置为 ISO200、 ISO400等时的动作的功能的构成的示意图；
图5是AGC4的增益增大的输入输出例的示意图；
图6是Y""曲线和形成画面y曲线的示意图；
图7是将10位的增益增大输出作为输入，并输出9位的RGBy 曲线的构成例的示意图；
图8是当设置为ISO200时，用于调整亮度信号的输出位长的 A丫校正曲线的构成例的示意图；
图9是以任意画出Ay曲线的方式而构成的图^f象信号处理装置的 构成例的示意图；
图10是通过跨越整个亮度区域来进行灰度压缩，从而实现高 亮度区域上的灰度改善的Ay曲线的构成例的示意图；
图11是近似直线的Ay曲线的构成例的示意图；图12是构成为通过孔阑补偿来补偿高亮度的分辨特性的图像
信号处理装置的构成例的示意图；
图13是电平才企测部16的输出特性的示意图；
图14是对亮度信号进行基于孔阑补偿的高频补偿时的高亮度 的分辨特性的it明图；
图15是由RGBy冲交正部9输出最终255灰度压缩的特性的示意
图；
图16是仅在拍摄静态图像时，使用高感光度用灰度转换的图 像信号处理装置的构成例的示意图；
图17是当对饱和信号量（最大输出）500mV的CCD传感器输 出在IO位进行AD转换时，当为ISOIOO，将全部500mV作为1023
灰度使用直至信号振幅的上限的状态的示意图；
图18是当为ISO200时，将饱和电荷量的一半设置为信号振幅 的上限，并爿务传感器4餘出250mV作为1023灰度并i"吏用输入4言号的 状态的示意图；
图19A是IS0 100、 ISO 200、和ISO 400的感光度分别输出Y
亮度信号的总和y特性的示意图；
图19b是在低频区域使用iso100y的曲线、同时在与//22曲线
交叉以后的高频区域上4吏用y1/22曲线、形成画面用的
ISO200400RGBy曲纟乂的示意图；以及
图20是当设置为iso400时，用于调整亮度信号的输出位长的 Ay校正曲线的构成例的示意图。附图才示i己
1 CCD传感器
2 CDS ( Correlated Double Sampling )电^各
3 AD转换器
4 AGC ( Automatic Gain Control)
5 AWB ( Auto White Balance )
8 去马赛克处理部
9 RGB讨i正部
10 Y矩阵计算部
11 C矩阵计算部
12 Ay一交正部
13 直方图枱，波部
14 Ay表生成部
15 高通滤波器
16 电平检测部 具体实施方式
下面，参照附图对本发明的实施例进4亍详细i兌明。在图1中示出了本发明的一实施例涉及的图像信号处理装置的 构成。该图像信号处理装置基于对从固体摄像元件等获得的图像进
行信号处理而获得的RGB图像信号，输出亮度信号和色差信号 (Y/Cr/Cb等）。在图1所示的例子中，示出了用于当设置为ISOIOO、 即最低ISO感光度时的动作的功能构成。
CCD传感器1使用CCD等的固体摄像元件。其将具有光电转 换效果的各像素二维排列，例如，在受光侧配置有G方格RB彩色 编石马+反（G checkered RB color coding single plate )。在各4象素中存4诸 与通过各滤色器的射入光量相对应的信号电荷，可根据从各像素读 出的3色的各信号电荷量来再现该像素位置上的射入光的颜色。
来自CCD传感器1的^f象素信号，在CDS (Correlated Double Sampling,相关复式取样）电路2中，从CCD传感器1接收的信号 的低噪声被高精度地抑制，然后，通过AD转换器3转换成数字信 号。并且，在通过AGC ( Automatic Gain Control:自动增益控制电 ^各）4进行适当的增益控制后，通过AWB ( Auto White Balance:自 动白平4軒）5进^f亍白平4軒增益来再现适当的颜色状态，并通过去马 赛克（demosaic )处理部8生成RGB图^象^f言号。
在RGBy校正部9中，为了在由监视器等输出摄影图像时对灰 度进行正确i也再现而对RGB信号进行灰度转换。当对CCD传感器 1的输出在10位进行AD转换时，通过y校正对10位（即1023灰 度）的RGB图像信号再分配为8位（即255灰度）。
然后，分别在Y矩阵计算部10及C矩阵计算部11中，将RGB 图像信号色空间转换为亮度信号和色差信号（Y/Cr/Cb),并在编码 器（未图示）中进行JPEG压缩后，在记录介质（未图示）中保存数据。在当前从被拍才聂对象的平均曝光量直至CCD的饱和电平为止 没有富余存在的状态下，当为最低ISO感光度时，将CCD的饱和 电平作为标准增益，即作为ISO100中的4吏用信号振幅的上限。例 如，当为ISO100时，将全部500mV作为1023灰度进行使用（参 照图17)。而且，通过y校正将该1023灰度的RGB图像信号分配为 255灰度，以便适合作为输出格式的JPEG。在这种情况下，对于饱 和电荷量500mV的CCD传感器，当为ISO100时，不能4吏用超过 设置为饱和电荷量的1023灰度的数据（参照图2)。
另一方面，在高于最低ISO感光度的ISO感光度设置中，通过 将在CCD输出中所使用的信号量仅减少（缩小）增益部分，从而 实现高感光度，并可对在曝光校正中无法获得充分感光度的低光照 度被拍摄对象进行拍摄。由于将曝光量设置得低于标准曝光，所以 直至饱和电荷量为止的富余变大，另一方面，在现有技术中，由于 仅使用信号振幅的上限降低增益部分，所以从该上限到饱和电荷量 为止变为未^吏用的区i或。例如，当为ISO200时，将该传感器的一 半输出即250mV设置为1023灰度（参照图18),并仅使用CCD最 大输出即々包和电荷量的一半。当为ISO200时，不管超过使用信号 振幅的上限250mV的信号作为CCD传感器的输出是有效的， 一般 都是在1023灰度限幅并不4吏用1023灰度以上的灰度。
与此相对，在本实施例中，即使当改变ISO感光度设置并进行 增益增大时，通过不改变〗吏用信号振幅的上限，有效4吏用直至々包和 电^"量为止的区i或，乂人而才广大^力态范围（dynamic range )。具体而 言，如图3所示，即使当设置为ISO200并进行增益增大时，将饱 和电荷量500mV直接设置为AD转换输出的分辨率、即10位（1023 灰度），对超过250mV的信号进行RGBy校正电平（位长）扩张并 加以输送，并适当地设置非线性处理及这以后的处理，从而可以改 善动态范围，同时，可以实现降低颜色4^转，并可获得更为良好的 图像。在图4中示出了本发明涉及的图像信号处理装置用于进行当被
设置为ISO200时的动作的功能的构成。在G方格RB的彩色编码 板照相机中，对CCD传感器1的输出信号进行CDS处理后进行 AD转换而获得的4fet字信号的部分与如图1所示的结构相同。
在图5中示出了 AGC4的增益增大的输入输出例。当i殳置为 ISO100时，将来自AD转换器3的1023灰度的输入x 1 (即，通过 (through))并在1023灰度输出。另一方面，当设置为ISO200时， 将相当于ISO感光度部分的6dB施加于1023灰度的输入（参照图 5(A))，然后无需如原来那样在1023灰度限幅，而在+6dB的2047 灰度这样的较宽范围上输出（参照图5 (B))，并直至后面的RGBy 校正为止输出动态范围的较宽信号。
冲艮据如图4所述的构成，可以在乂于RGBy氺交正处理的丰lr出电平 (位长）进行扩张后生成亮度信号和色差信号。在这种情况下，对 于色差信号而言，由于不存在基于原来的RGBy校正的限幅，所以 可以改善动态范围和颜色旋转。而且，对于亮度信号而言，通过为 了匹配作为输出才各式的255灰度而进行非线性处理（在本i兌明书中， 被称为"Ay校正"），从而可以获得动态范围较宽的亮度信号。将在 后面^tAy才交正进^S羊细"i兌明。
设置为ISO200时与设置为ISO100时的信号处理的主要不同在 与以下几点。
(1) 对增益控制提升以后的信号电平进行扩张，并将动态范 围较宽的信号输送给后续的信号处理。
(2) 与RGBy曲线不同，y校正输出信号的位长更长。 (3 )对亮度信号进行Ay校正，与信号处理位长不同。对于颜色旋转及颜色动态范围而言，虽然在对被进行位扩张的
RGBY输出进行色差转换的过程中，对色差信号进行限幅，但是由 于具有充分的RGBy输出电平，从而可以实现大幅度地抑制颜色旋 转和动态范围的扩大。
在图5中，举例如下：当为最低ISO感光度100时，将动态范 围设置为150%,而作为高感光度模式的ISO200时，将动态范围扩 张为300%的2047灰度。但是，理论上，当为ISO400时，扩张为 600%的4095灰度，后面同样地当为ISO800时，扩张为8191灰度， 当为ISO1600时，扩张为16383灰度这样的情况下，也可以以高感 光度来改善动态范围。此外，此处所说的动态范围100%是指输入 683而l命出255的情况。
在RGBy冲乏正部9中，当为ISO200时，对来自自动增益控制电 路4的11位（=2047)的RGB图像信号输入进行灰度转换。通常 的RGB讨t正曲线的输出为8位，并通过下面的公式来计算亮度信 号和色差信号。
公式1
Y-0.3R + 0.59G + 0.UB ... ( 1 )
R-Y = 0.7R-0.59G-0.11B …（2)
B-Y = -0.3R-0.59G + 0.89B ...(3)
理想的RGBY曲线为/22 ( y幂）和sRGB y。但是，当将输出电 平匹配8 4立长时，为了形成实际的画面而y吏用的y曲线（下面，称 为"形成画面y，，）大多情况都偏离该rgby曲线。因此，其结果是， 实际形成画面y曲线的特性偏离理想的y曲线，从而产生亮度灰度表现不足、色差信号发白（blown out to white )、以及色调旋转等副作用。
在图6中示出了在电视机中，理想的f"曲线和形成画面Y曲线 的例子。其中，用虚线表示？/2'2曲线，用实线表示形成画面Y曲线。 当如图6所示地进行i殳置时，若相对于信号输入"1023"(即，将 动态范围设置为150% )画出？/22,则输出并不取到8位的255灰度， 而是使用至305灰度。与此相对，考虑中亮度区域中的对比度间和 高亮度区域中的灰度，设计与"255"输出相配合的形成画面Y曲线。 其结果是，虽然高亮度灰度可以想办法仅确保输入信号电平，但是 由于偏离/22，可以观察色差信号发白及色调旋转。为了抑制该副 作用，虽然可以考虑一种观察亮度信号电平而消除颜色的系统， <旦 是产生如下问题：由于丢失了颜色所以导致呈现图像发白。 一般若 由于y幂曲线偏离，则发生色调旋转。
因此，在本实施例中，通过将RGBY校正输出以比最终（本图 像信号处理装置的输出时）的输出位长更长地扩张的方式进行位扩 张，从而进4于具有接近理想y曲线的特性的RGB y才交正，以实现去除 颜色转换处理前的色调旋转的主要因素。具体而言，在RGBy校正 部9中，例如，当为ISO200时，通过具有9位的输出，从而对于 色差信号，可以通过接近/"和sRGB丫的特性来制作色差信号。而 且，关于亮度信号Y，通过后面的AY校正部12来进行适当的灰度 压缩，从而获得8位的输出信号。 ^妻下来，对RGB y才交正部9所4吏用的RGB y曲线的构成方法进
行说明。
在图7中示出了将11位的增益增大输出作为输入并输出9位 的RGB讨交正曲线的构成例。当为最低ISO感光度100时，设置150%的动态范围（1023灰度），以便当为ISO200时，可以构成为 确保300%的动态范围（2047灰度）。
当将感光度才莫式i殳置为ISO100时，由于信号输入只到1023, 所以相对于1023灰度的y输入，RGBY校正部9与现有技术同样地在 255灰度进行Y输出（参照图7中的点划线）。在这种情况下，由于 未使用从自动增益控制电路4被扩张后的高阶位（即，限幅在1023 ), 所以不需要对亮度信号进行勿校正（参照图1)。
与此相对，当将感光度模式设置为ISO200时，如图5所示， 由于在前面的AGC3上通过增益增大来进行位扩张，所以具有 ISO100时（假设为150%动态范围）的2倍、即300%动态范围的 4言号变为向RGB y校正部9的y4叙入。RGB y校正部9通过^吏專t出乂人 8位进4亍1位扩张后变为9位这样的RGB y曲线对该l命入信号进4亍 灰度转换。在图7中如实线所示，在高亮度区域，通过例如使用//22 作为RGBy曲线，从而降低了色调旋转，同时确保了动态范围。而 且，乂人4氐亮度直至高亮度，与ISO100同样地4吏用形成画面y曲线， 匹配对比度。
如图7所示的^f立扩张后的ISO200用的RGB讨交正曲线在llr入 信号为100%左右、即形成画面Y曲线和Y""曲线交叉点，从形成画 面y曲线转换为Y""曲线。而且，在该高感光度才莫式的RGB y校正中， 将具有由2047灰度构成的300。/。的动态范围的Y输入转换为419灰 度的yl叙出。具有如图7所示的特性的RGB "y表净皮存储在例如R()M (Read Only Memory,只读存^f渚器）中力口以^f呆存。
由RGB y校正部9的9位输出被输送给后面的Y矩阵计算部 lO及C矩阵计算部ll,进ff颜色寿t4奂处理。亮度信号Y作为上面 公式（1 )的运算结果变为9位输出。在后续的Ay校正部12中，将该9位的亮度信号压缩为输出格式的8位。由此，可以最大限度地
产生RGB Y校正输出，并可以确保亮度灰度。
在图8中示出了A讨交正曲线的构成例。当为ISO100时，如上 所述，不进行动态范围的扩张。因此，如图8中的虚线所示，直接 将8位的A讨交正输入作为Ay4吏正输出。即，这种情况下的Ay才交正曲 线为直线。
另一方面，当为ISO200时，如图7所示，由于RGB讨吏正输 出为419灰度，所以需要对其进行Ay校正并压缩为输出格式的8位。 如图8所示的Ay曲线，对于RGB Y曲线中从低亮度到中亮度的形成 画面Y曲线所构成的区i或，将A]4交正llr入直^秦^r出成为直线状，但 是在高亮度区域被画为压缩的曲线，以便收缩在255灰度。由此， 可以保持高亮度部的灰度不变地确保动态范围。此处所说的高亮度 区域是指在RGB Y曲线上，以乂人形成画面Y曲线向/22曲线切换点 (参照图7)为基准，此基准以后的亮度区域。具有如图8所示的 特性的Ay表被存储在例如ROM中加以保存。
在此，作为RGB y校正部9的输出从8位进行1位扩张到9位 时的效果的一例，列举黄色信号处理（黄色为R: G : B=l: 1: 0)， 实际的灰度电平的计算结果总结为下表。RGB y输入150电平 (level)在现有例（8位）和本实施例（9位）中均为相同的电平 输出。但是，随着输入电平增大为900、 1500、 2000，在现有例中， y输出粘贴（sticks)为（R-Y) =28、 （B-Y) =-227，对于色差没有 变化。与此相对，在本实施例中，虽然输入信号为900,且（B-Y) 粘贴为255,但是无需粘贴（R-Y)输出地呈线性增加，其结果可 以抑制色调旋转。表1
table see original document page 28使用如图8所示的勿曲线来进行亮度信号的灰度转换时，在低 亮度〜中亮度区i或中，当i殳置为ISOIOO时，可以匹配对比度，同 时由于仅进行高亮度区域的灰度压缩，所以在该区域上，高亮度灰 度不足。例如，在包括高亮度部分多的摄像图像中，恐怕会出现该影响。
CCD传感器通过被排列为2维的各像素（光电二极管）利用光 电效应，将光转换为电荷的结构而构成。在各像素的表面上设置有 例如红（R)、 G(绿）、B (蓝）三色中任一种的滤色器，并将与通 过各滤色器的射入光量相对应的信号电荷存储在各像素中。而且， 从各像素读出与各色的射入光量相对应的信号电荷，并可从3色的 各信号电荷量中再现各像素位置的射入光的颜色。但是，存在以下制约：各像素可存储的信号电荷量具有上限，且无法存储超过构成 像素的光电二极管的饱和电荷量的信号电荷。即，从传感器元件具 有的噪声电平到传感器元件可以存储的电荷的饱和量为止的范围 为动态范围。动态范围以外部分的图像，作为曝光过度、或者曝光 不足的现象在摄像图像上被观察到。
人的—见觉可以对应光量的位4丈而感觉亮度，该范围即、动态范
围被称为8位。底片的动态范围至少为4位。另一方面，CCD的动 态范围例如为2.4位左右，略孩i不足。近年来，随着纟敬细化技术的 不断推进，固体才聂像元件的l象素数飞越似地增加，分辨率接近卣化 4艮照片，j旦是另一方面，随4象素的尺寸々包和电荷量变小，/人而更加 加深了动态范围不足的问题。
照相才几具有对光圈和快门速度的光量进行4交正的功能，例如， 若光圏关闭一次，则光量变为一半。若射入照相机的光量为均等的 一半，则相对于对数标度，可以仅平行移动0.5该光量。但是，基 于照相才几的光量才交正仅为在动态范围中使被拍才聂对象的光量分布 平行移动而已，对宽于动态范围的光量分布则没有意义。
而且，/>知一种改变快门速度，多重^己录并合成，乂人而扩大动 态范围的方法。即，在CCD传感器上通过电子快门控制，获得在 高速快门处理中回避饱和的图像、和在低速快门处理中获得充分电 子数的低亮度部分图像并加以合成，从而可以确保良好的动态范 围。但是，由于为了获得一张图像，需要进行高速快门处理和低速 快门处理两次拍4聂，所以无法获得移动物体的适当的静态图像。或 者，由于需要双重摄像系统，所以装置结构变得复杂。
而且，虽然也考虑在传感器部中交替地配置感光度感光度高的 传感器和感光度感光度低的传感器，并合成两个传感器的信息，从而确保动态范围的方法，但是存在传感器构造和传感器输出的信号 处理复杂的问题。
例如，7>开了一种信号处理方法（例如，参照专利文献l):对 摄像图像的亮度分布进行检波，并将处于逆光、白色丢失（white color loss )、曝光不足状态的亮度分布一交正为最佳亮度分布并进行输 出。才艮据该信号处理方法，当输出图像的亮度分布大时，通过B样 条4翁^直方〉去（B-spline interpolation method )等进4亍才交正，以i更亮度 分布相一至丈，/人而可以-控制讨交正的l命入l命出，并可以获《寻最佳的 图像。
而且，公开了一种自动曝光控制方法（例如，参照专利文献2): 若对输入的图像信号所包括的高亮度被拍摄对象信号进行检测，则 对应该高亮度被拍摄对象信号，对用于拍摄动作的曝光量进行控 制，同时，根据曝光量对图像信号的y校正量进行提高低亮度区域 上的亮度电平这样的控制，从而例如在逆光状态下，也可从高亮度 被拍摄对象和低亮度被拍摄对象共存的影像中获得良好的图像。
而且，也考虑了一种使用y校正来确保图像信号的动态范围的 方法。Y校正是指将拍摄图像输出到监视器等时，将图像等的颜色 数据、和实际输出数据时的信号的相对关系进行调整，并为了正确 (更为接近自然的显示）再现灰度（亮度）而进行灰度转换的处理。 监一见器中的灰度（亮度）特性相对于来自CCD的输入信号的电平 不是线性，当将输入信号定为x,将监视器的亮度电平定为y时， 为y-xY的关系。因此，进行相当于该逆函数的处理为y校正。y校正 曲线是本来幂的函数，通过改变y系数从而可以确保动态范围。但 是，由于y系数的改变，在从理想的y曲线偏离的部分的摄像图像上， 存在产生彩色平衡被破坏、对比度劣化这样的不良影响的问题。而且，在基于固体摄像元件的拍摄图像中，当过度曝光时，存 在在高亮度部分，产生通过与本来不同的颜色进行表现的色调旋转
(color hue rotation )这才羊的问题。例如，当在射入光中，与红色的 射入光量相对应的信号电荷量超过光电二极管的饱和电荷量时，根 据未达到饱和电荷量的绿色及蓝色的各信号电荷量和红色的信号 电荷量（饱和电荷量）而再现的颜色变为红色程度不足的颜色。尤 其由于人眼对肤色较为敏感，所以当通过过度曝光对肤色进行拍摄 时，导致肤色变黄较为引人注目。
作为避免该色调旋转的方法，考虑一种例如，在图像颜色旋转 (color rotation )开始的高亮度^^,水卩制色差〗言号电平本身的方法。 这一般被称为"消色差，，技术，当亮度信号电平在某阈值以上时， 阶段性地进行消色并进行发白处理。但是，会产生由于颜色丢失而 导至丈产生图^f象发白（be blown out to white )的问题。
而且，作为避免色调旋转的其他方法，也考虑例如，进行限幅， 以便在对RGB信号进行色空间转换为亮度信号和色差信号
(Y/Cr/Cb )、或者进一步色空间转换为sRGB ( standard RGB )之后， 色差信号不会旋转为超过颜色区域的信号。虽然该方法是被称为
"3D查找表处理的"的常^见方法， <旦是会显著地增大电3各规才莫。
在这些i见有的色调S走转回避方法中，存在以下问题：产生基于 在高亮度部上的灰度不足的发白的问题、以及无法抑制通过色空间 转换为亮度信号和色差信号（Y/Cr/Cb)之前的Y校正而产生RGB 信号限幅的结果的颜色^走转（color rotation )。
色调旋转的问题与动态范围不足一样，与像素的饱和电荷量不 足相对应。数码照相机的分辨率由于像素数的飞越似的增加而接近 囟化银照片，但是在颜色再现性方面不及卤化银照片。因此，在数码照相机中，大多设置有用于切换相当于卣化银照 相才几中的ISO感光度的感光度条件的功能。即，为了拍摄即使通过 曝光^&正也无法获得充分感光度的低光照度被拍摄对象的影像，使
用增益增大这样的提高感光度的技水。通过增益增大，由于对CCD 等的输出信号进行增幅，并相对地提高亮度范围，所以提高感光度， 从而可以拍摄发暗的地方和低光照度被拍摄对象。以ISO100为标 准感光度，并准备将后面的ISO200、 ISO400等作为高感光度模式。
在此，存在以下问题：大多对每次设置数码照相机的ISO感光 度时的传感器输出没有适当设置信号处理范围，也没有有效地活用 本来可以使用的固体摄像元件的输出信号范围。下面，对这点进行考虑。
将ISOIOO、即使用标准增益的通常拍摄中所使用信号振幅的 上限i殳置为s，当此时的增益为a时，将IS0200、即增益增大时的 使用信号振幅的上限为s/2，且增益为2a。在增益增大后的高感光 度模式下，由于将曝光量设置得低于标准曝光，所以直至饱和电荷 量为止的富余变大，从而扩大可摄像的被拍摄对象的高亮度侧的摄 像范围，并在该CCD等的输出信号中应该可包括在通常拍摄模式 下无法获得高亮度侧的被拍摄对象的信号成分。
在从平均的一皮拍摄对象的曝光量直至CCD ^L和电平没有富余 的状态下，一4殳将CCD的饱和电平作为标准增益、即ISO100的使 用信号4展幅的上限。例如，当对饱和信号量（最大输出）500mV的 CCD传感器输出使用10位进行AD转换时，当为ISO100时，将全 部500mV作为1023灰度进行使用（参照图17)。而且，若为JPEG (Joint Picture Experts Group,耳关合图 <象专家纟且），则通过y冲交正，^l寻 该1023灰度的RGB图像信号分配为255灰度。另一方面，当为 ISO200时，将该一半的传感器输出250mV作为1023灰度（参照图18)，并当增益增大输出时，在1023灰度对信号进行限幅，从而只 能使用CCD最大输出、即饱和电荷量的一半。
但是，由于将从250mV直至500mV为止的区域作为CCD传 感器输出是有效的，所以应该作为高亮度侧的摄像范围加以活用。 因此，即使在高感光度模式中，与标准模式相同地通过y校正电路 进行灰度转换时，以标准模式中的摄像范围界限（在如图17所示 的例子中为1023灰度）为基准，对可以灰度转换的被拍摄对象的 高亮度侧的摄像范围进行限制，从而无法将在高感光度模式下被扩 大的高亮度侧的摄像范围的扩大效果反映在图像上。
与此相对，公开了一种关于摄像装置的技术（例如，参照专利 文献3):通过组合增益增大和灰度转换特性的变更，即通过进行当 高增益时，较高地设置灰度转换特性的有效最大输入值这样的灰度 转换特性的转换，乂人而可以将通过增益增大而生成的4聂像元件的高 亮度侧的摄像范围的扩大效果反映在图像上，并可扩大被拍摄对象 的高亮度侧的再现区域。
才艮据该才聂像装置，当为ISO200时，将全部500mV作为2047 灰度进行使用，并可以才艮据"宽的D范围（wide D range )时y特性"， 通过讨交正将2048位的RGB图Y象信号分配为255灰度。该"宽的D 范围时y特性" 一皮i殳置为：在直至々包和电荷量的75%为止的〗氐亮度 测的区域上与标准y特性为同 一特性，且在这以上的高亮度侧的区 域上灰度的压缩程度变高。
但是，在专利文献3等的方法中，不可否认地牺牲了高灰度压 缩程度的高亮度区域的再现性。尤其在将RGB信号通过色空间转 换为亮度信号和色差信号（Y/Cr/Cb)之前，当通过y校正进行灰度 转换以便匹配规定的灰度时，无法抑制作为RGB信号限幅产生的 结果的颜色旋转和发白。在专利文献3中，虽然还公开了一种关于动态范围的改善的方法，^旦是没有^是及有关在色差信号的々包和电平 附近上的色调旋转的问题。
专利文献1:日本特开2003-179809号7>才艮 专禾j文献2:日本净争开2004-23605号乂>才艮 专利文献3:日本净争开2002-33956号^>净艮（图2, 0036 #爻） 发明内容
本发明鉴于上述问题，目的在于提供一种卓越的图像信号处理 装置及图像信号处理方法，其基于从固体摄像元件等获得的图像信 号，可以在动态范围内输出亮度信号和色差信号（Y/Cr/Cb等）。
本发明的另 一个目的在于提供一种卓越的图像信号处理装置 及图像信号处理方法，其在每次设置lt码照相才几的感光度时i殳置适 当的信号处理范围，并通过有效地使用固体摄像元件本来具有的输 出范围来扩大动态范围，同时，可以获得色调旋转少的图像。
根据本发明的一个方面，提供了一种图像信号处理装置，用于 基于被拍摄对象的摄像图像来输出规定的输出位长的亮度信号及 色差信号，上述图像信号处理装置包括：图像信号输入单元，用于 输入已拍摄的一皮拍摄对象的图像信号；；改大单元，用于对输入的图 像信号的动态范围进行扩张；计算单元，基于对上述动态范围进行 扩张后的图像信号来计算RGB信号；RGBy校正卓元，对上述RGB 信号进行RGBy校正，作为位扩张大于上述输出位长的信号进行输 出；转换单元，基于通过上述RGB讨交正单元进^亍位扩张后的RGB 信号来计算亮度信号及色差信号；以及非线性校正单元，进行非线 性校正，以便上述计算出的亮度信号的输出电平匹配上述输出位 长。本发明关于一种图像信号处理装置，其在使用CCD等的固体 摄像元件对数字图像进行拍摄的摄像装置中，基于从固体摄像元件 获得的图像信号，在适当的动态范围上输出亮度信号和色差信号
(Y/Cr/Cb等）。
被称为数码照相机的这种摄像装置可以进行基于计算机的图 ^象处理和图Y象管理，并进一步具有可以/人月交片的寿命这样的问题中 解放出来的便利性。最近，随着微细化技术的不断推进，固体摄像 元件的像素数飞越似地增加，分辨率迫近囟化银照片，但是由于饱 和电荷量的制约，存在动态范围不足、和高亮度区域的色调旋转这 样严重的问题，并且，在颜色再现性方面也不及卣化银照片。
与此相对，本发明涉及的图l象信号处理装置构成为：着眼于以 下这点，当将数码照相机以比最低ISO感光度高的方式来设置ISO 感光度时，由于将曝光量设置得比标准曝光低，所以直至饱和电荷 量的富余变大，即使在将ISO感光度设置切换为高感光度且增益增 大的情况下，不改变^f吏用信号:^展幅的上限地输入包括由增益增大而 产生的固体摄像元件的高亮度侧的输出范围的动态范围宽的的 RGB信号，从而有效使用直至饱和电荷量的区域。
具体而言，在最低感光度的ISO100中，将CCD传感器的饱和 电荷量500mV分配为AD转换输出的分辨率、即10位（1023灰度） 的情况下，即使设置ISO200且增益增大时，将饱和电荷量500mV 还是作为设置AD转换输出的分辨率、即10位（1023灰度），对超 过250mV的信号进行RGBY校正电平（位长）扩张的基础上，发送 纟会后面的处理。
根据本发明涉及的图像信号处理装置，对RGBy校正处理的输 出电平（位长）进行扩张之后制作亮度信号和色差信号。通过扩张 RGBY校正的位长，可以进4于具有冲妄近理想的y曲线特性的RGBy冲交正。具体而言，通过具有9位的RGBy校正输出，使用接近//22和 sRGBy的特性来制作色差信号。
在这种情况下，虽然在对位扩张的RGBY^t出进^亍色差转换的 过程中，对色差信号进行限幅，但是通过从基于Y幂（Y1/22)的9位 RGB讨交正输出中制作8位的色差信号，从而由于基于y幂（power y ) 的高阶位（high-order bit)扩张而难以进行色差矩阵限幅，所以可 以在高亮度区域大幅度地改善色差限幅和色调旋转。
而且，关于亮度信号，为了匹配应该输出8位长、即255灰度， 通过非线形4交正单元进行与前面的RGB讨交正相对的A讨交正位置对 应的非线形处理，乂人而可以确〗呆动态范围宽的亮度〗言号。
上述RGB讨交正单元由于在i殳置4氐感光度时，以与现有4支术相 同的位长来输出RGBy校正，且未使用乂人增益增大中扩张的高阶位，
线。另一方面，当设置高感光度时，从低亮度到中亮度根据上述低 感光度用RGBY曲线，使设置低感光度时的拍摄图像与对比度匹酉己。 而且，通过在高亮度区域，使用具有基于y幂的曲线的高感光度用 RGBY曲线，输出位扩张大于上述输出位长的信号，,人而如上所述， 可以实现对高亮度区域上的大幅度颜色旋转进^亍抑制和动态范围 的扩大。
而且，上述Ay校正单元例如，在由RGBY曲线中从低亮度到中 亮度的形成画面Y曲线所构成的区域中，使用设置将Ay校正输入直 接作为AY校正输出的直线状。另一方面，以从形成画面y曲线切换 为幂,"曲线的切换点为基准，在这以后的高亮度区域中，使用由 压缩曲线构成的AY曲线以便匹配255灰度，并进行亮度信号的灰度 转换，从而可以保持高亮度部的灰度不变地确保动态范围。在这种情况下，虽然可以在低亮度〜中亮度区域设置低感光度 时，匹配对比度，但是由于仅在高亮度区域上进行灰度压缩，所以 在该区域上，灰度不足且亮度再现性劣化。例如，在包括很多高亮 度部分的摄像图像中，恐怕会出现该影响。
因此，上述A讨交正部通过任意画出Ay曲线（非线形4交正曲线），
也可以实现与亮度信号的动态范围压缩的同时改善亮度信号灰度。
具体而言，上述图i象信号处理装置还包括：直方图冲企波单元，对亮 度信号进行直方图检波，并确定直方图集中的亮度区域；以及Ay曲 线生成单元，适当地生成Ay曲线，以便緩和直方图集中的亮度区域 上的灰度压缩的程度，上述Ay校正单元根据从上述Ay曲线生成单元 供给的AY曲线来进行亮度信号的灰度转换。在这种情况下，在高亮 度部分直方图集中这样的图像中，通过在高亮度侧修正为具有灰度 特性的AY曲线，,人而可以改善高亮度的灰度4争性。
另一方面，当进行高感光度用的灰度转换时，在通常的RGBy 表的基础上，还必须装配用于AY校正的AY表，从而导致电路规模增 大。因此，也可以为：上述A讨交正单元相对于RGBy曲线，^吏用Ay 曲线进行亮度信号的灰度转换，其中，上述Ay曲线，在由从低亮度 到中亮度的形成画面Y曲线构成的区域中，是将Ay校正输入作为Ay 校正直接输出的直线状，在从形成画面y曲线到y"22曲线的切换点为 基准以后的高亮度区域中，是为了匹配255灰度的近似直线。在这 种情况下，由于可以不参照Ay表，通过简单的函凄t计算来进4于亮度 信号的灰度转换，所以可以降低电路规模。
而且，当如本本发明 一样地将较宽的动态范围信号灰度转换为 输出格式的8位时，存在高亮度侧的灰度感不足的问题。与此相对， 例如，通过例如孔阑补偿，从而可以补偿高亮度的分辩特性。具体而言，在本发明涉及的图像信号处理装置中，还包括：高 通滤波器，从基于上述RGBy校正羊元的RGBy校正前的G信号和y 校正前的RGB信号而计算出的亮度信号、或者基于y转换输出信号 而计算出的亮度信号中的任一个或者两个中获得高频信号；亮度信 号电平检测单元，输入Ay校正之后或者之前的亮度信号，检测例 如超过上述Ay曲线从直线切换为被灰度压缩的曲线的变化点的部 分，并在变化点以下的部分将增益值i殳置为0,在超过变化点的部 分对应于亮度信号电平输出增益值0〜1。而且，将上述高通滤波器 的输出和来自上述电平^r测单元的增益值相乘并生成高频补充信 号，并与亮度信号相加。由此，可以将高亮度区域上的边缘部分重 叠于亮度信号，补偿高亮度的分辨率特性。
通过将本发明涉及的图像信号处理装置安装于数码照相才几，从 而可当每次设置感光度时设置适当的固体摄像元件的输出信号电 平，并可通过有效地^吏用固体才l像元件本来具有的输出范围来扩大 动态范围，同时，可降低饱和电荷量附近的色调旋转。
但是，对RGBY校正输出进行位扩张并对亮度信号进一步进行 Ay校正这样的高感光度用灰度转换，与通常的灰度转换相比系统控 制负荷变高。因此，当将图像信号处理装置安装于摄像装置时，也 可以还包括选择输出单元，其在上述静态图像摄影模式下，输出通 过上述AY校正单元进行灰度转换后的亮度信号，以便匹配输出位 长，并在上述监浮见才莫式下，直接输出通过上述颜色转换单元制作的 亮度信号。
在这种情况下，数码照相机在监视模式下，不使用Ay校正，输 出的亮度信号被限幅在255灰度并除去了高亮度部分的信息，但是 由于未保存图像，所以即使优先降低系统控制负荷也没有问题。
16根据本发明，可以提供一种卓越的图像信号处理装置及图像信 号处理方法，其可以在合适的动态范围内将从固体摄像元件等获得
的图像信号转换为由动态范围亮度信号和色差信号（Y/Cr/Cb等） 形成的图像信号。
本发明的另 一个目的在于提供一种卓越的图像信号处理装置 及图像信号处理方法，其在每次设置数码照相才几的感光度时设置适
当的固体摄像元件的llr出信号电平，并通过有效地使用固体摄像元
件本来具有的输出范围来扩大动态范围，同时可以获得色调旋转少 的图像。
根据本发明，由于可以在对RGBY校正处理的输出电平（位长） 进行扩张后制作亮度信号和色差信号，所以对于色差信号而言，由 于不存在基于现有技术中的RGBy校正的限幅，所以可以改善动态 范围和颜色^走4争。对于颜色力走转及颜色动态范围而言，虽然在对进 行位扩张的RGBY输出进行色差转换的过程中，对色差信号进行限 幅，4旦是通过具有充分的RGBy输出电平，^人而可以实现大幅度;也 抑制颜色旋转和动态范围的扩大。而且，关于亮度信号，进一步进 行亮度专用的非线形处理从而使输出匹配于255灰度，因此可以获 得动态范围宽的亮度信号。
而且，由于亮度信号的高感光度用灰度转换与通常的灰度转换 相比，系统控制负荷变高，所以在安装有本发明涉及的图像信号处 理的摄影装置中，仅当拍摄静态图像时使用高感光度用灰度转换， 而当仅进行取景器输出的监4见才莫式时不4吏用该高感光度用灰度转 换，从而可以降低系统控制负荷。
本发明的其他目的、特征及优点将通过后面本发明的实施例和 附图进行的详细说明来加以明示。附图说明
图1是本发明的一实施例涉及的图像信号处理装置的构成的示
意图；
图2是通过Y校正将该1023灰度的RGB图像信号分配为255 灰度，以便适合于作为输出格式的JPEG的状态的示意图；
图3是当设置为ISO200且增益增大时，将饱和电荷量500mV 直接作为AD转换输出的分辨率、即10位（1023灰度），并使用超 过250mV的信号的状态的示意图；
图4是本发明涉及的图像信号处理装置用于进行当设置为 ISO200、 ISO400等时的动作的功能的构成的示意图；
图5是AGC4的增益增大的输入输出例的示意图；
图6是Y""曲线和形成画面y曲线的示意图；
图7是将10位的增益增大输出作为输入，并输出9位的RGBy 曲线的构成例的示意图；
图8是当设置为ISO200时，用于调整亮度信号的输出位长的 A丫校正曲线的构成例的示意图；
图9是以任意画出Ay曲线的方式而构成的图^f象信号处理装置的 构成例的示意图；
图10是通过跨越整个亮度区域来进行灰度压缩，从而实现高 亮度区域上的灰度改善的Ay曲线的构成例的示意图；
图11是近似直线的Ay曲线的构成例的示意图；图12是构成为通过孔阑补偿来补偿高亮度的分辨特性的图像
信号处理装置的构成例的示意图；
图13是电平才企测部16的输出特性的示意图；
图14是对亮度信号进行基于孔阑补偿的高频补偿时的高亮度 的分辨特性的it明图；
图15是由RGBy冲交正部9输出最终255灰度压缩的特性的示意
图；
图16是仅在拍摄静态图像时，使用高感光度用灰度转换的图 像信号处理装置的构成例的示意图；
图17是当对饱和信号量（最大输出）500mV的CCD传感器输 出在IO位进行AD转换时，当为ISOIOO，将全部500mV作为1023
灰度使用直至信号振幅的上限的状态的示意图；
图18是当为ISO200时，将饱和电荷量的一半设置为信号振幅 的上限，并爿务传感器4餘出250mV作为1023灰度并i"吏用输入4言号的 状态的示意图；
图19A是IS0 100、 ISO 200、和ISO 400的感光度分别输出Y
亮度信号的总和y特性的示意图；
图19b是在低频区域使用iso100y的曲线、同时在与//22曲线
交叉以后的高频区域上4吏用y1/22曲线、形成画面用的
ISO200400RGBy曲纟乂的示意图；以及
图20是当设置为iso400时，用于调整亮度信号的输出位长的 Ay校正曲线的构成例的示意图。附图才示i己
1 CCD传感器
2 CDS ( Correlated Double Sampling )电^各
3 AD转换器
4 AGC ( Automatic Gain Control)
5 AWB ( Auto White Balance )
8 去马赛克处理部
9 RGB讨i正部
10 Y矩阵计算部
11 C矩阵计算部
12 Ay一交正部
13 直方图枱，波部
14 Ay表生成部
15 高通滤波器
16 电平检测部 具体实施方式
下面，参照附图对本发明的实施例进4亍详细i兌明。在图1中示出了本发明的一实施例涉及的图像信号处理装置的 构成。该图像信号处理装置基于对从固体摄像元件等获得的图像进
行信号处理而获得的RGB图像信号，输出亮度信号和色差信号 (Y/Cr/Cb等）。在图1所示的例子中，示出了用于当设置为ISOIOO、 即最低ISO感光度时的动作的功能构成。
CCD传感器1使用CCD等的固体摄像元件。其将具有光电转 换效果的各像素二维排列，例如，在受光侧配置有G方格RB彩色 编石马+反（G checkered RB color coding single plate )。在各4象素中存4诸 与通过各滤色器的射入光量相对应的信号电荷，可根据从各像素读 出的3色的各信号电荷量来再现该像素位置上的射入光的颜色。
来自CCD传感器1的^f象素信号，在CDS (Correlated Double Sampling,相关复式取样）电路2中，从CCD传感器1接收的信号 的低噪声被高精度地抑制，然后，通过AD转换器3转换成数字信 号。并且，在通过AGC ( Automatic Gain Control:自动增益控制电 ^各）4进行适当的增益控制后，通过AWB ( Auto White Balance:自 动白平4軒）5进^f亍白平4軒增益来再现适当的颜色状态，并通过去马 赛克（demosaic )处理部8生成RGB图^象^f言号。
在RGBy校正部9中，为了在由监视器等输出摄影图像时对灰 度进行正确i也再现而对RGB信号进行灰度转换。当对CCD传感器 1的输出在10位进行AD转换时，通过y校正对10位（即1023灰 度）的RGB图像信号再分配为8位（即255灰度）。
然后，分别在Y矩阵计算部10及C矩阵计算部11中，将RGB 图像信号色空间转换为亮度信号和色差信号（Y/Cr/Cb),并在编码 器（未图示）中进行JPEG压缩后，在记录介质（未图示）中保存数据。在当前从被拍才聂对象的平均曝光量直至CCD的饱和电平为止 没有富余存在的状态下，当为最低ISO感光度时，将CCD的饱和 电平作为标准增益，即作为ISO100中的4吏用信号振幅的上限。例 如，当为ISO100时，将全部500mV作为1023灰度进行使用（参 照图17)。而且，通过y校正将该1023灰度的RGB图像信号分配为 255灰度，以便适合作为输出格式的JPEG。在这种情况下，对于饱 和电荷量500mV的CCD传感器，当为ISO100时，不能4吏用超过 设置为饱和电荷量的1023灰度的数据（参照图2)。
另一方面，在高于最低ISO感光度的ISO感光度设置中，通过 将在CCD输出中所使用的信号量仅减少（缩小）增益部分，从而 实现高感光度，并可对在曝光校正中无法获得充分感光度的低光照 度被拍摄对象进行拍摄。由于将曝光量设置得低于标准曝光，所以 直至饱和电荷量为止的富余变大，另一方面，在现有技术中，由于 仅使用信号振幅的上限降低增益部分，所以从该上限到饱和电荷量 为止变为未^吏用的区i或。例如，当为ISO200时，将该传感器的一 半输出即250mV设置为1023灰度（参照图18),并仅使用CCD最 大输出即々包和电荷量的一半。当为ISO200时，不管超过使用信号 振幅的上限250mV的信号作为CCD传感器的输出是有效的， 一般 都是在1023灰度限幅并不4吏用1023灰度以上的灰度。
与此相对，在本实施例中，即使当改变ISO感光度设置并进行 增益增大时，通过不改变〗吏用信号振幅的上限，有效4吏用直至々包和 电^"量为止的区i或，乂人而才广大^力态范围（dynamic range )。具体而 言，如图3所示，即使当设置为ISO200并进行增益增大时，将饱 和电荷量500mV直接设置为AD转换输出的分辨率、即10位（1023 灰度），对超过250mV的信号进行RGBy校正电平（位长）扩张并 加以输送，并适当地设置非线性处理及这以后的处理，从而可以改 善动态范围，同时，可以实现降低颜色4^转，并可获得更为良好的 图像。在图4中示出了本发明涉及的图像信号处理装置用于进行当被
设置为ISO200时的动作的功能的构成。在G方格RB的彩色编码 板照相机中，对CCD传感器1的输出信号进行CDS处理后进行 AD转换而获得的4fet字信号的部分与如图1所示的结构相同。
在图5中示出了 AGC4的增益增大的输入输出例。当i殳置为 ISO100时，将来自AD转换器3的1023灰度的输入x 1 (即，通过 (through))并在1023灰度输出。另一方面，当设置为ISO200时， 将相当于ISO感光度部分的6dB施加于1023灰度的输入（参照图 5(A))，然后无需如原来那样在1023灰度限幅，而在+6dB的2047 灰度这样的较宽范围上输出（参照图5 (B))，并直至后面的RGBy 校正为止输出动态范围的较宽信号。
冲艮据如图4所述的构成，可以在乂于RGBy氺交正处理的丰lr出电平 (位长）进行扩张后生成亮度信号和色差信号。在这种情况下，对 于色差信号而言，由于不存在基于原来的RGBy校正的限幅，所以 可以改善动态范围和颜色旋转。而且，对于亮度信号而言，通过为 了匹配作为输出才各式的255灰度而进行非线性处理（在本i兌明书中， 被称为"Ay校正"），从而可以获得动态范围较宽的亮度信号。将在 后面^tAy才交正进^S羊细"i兌明。
设置为ISO200时与设置为ISO100时的信号处理的主要不同在 与以下几点。
(1) 对增益控制提升以后的信号电平进行扩张，并将动态范 围较宽的信号输送给后续的信号处理。
(2) 与RGBy曲线不同，y校正输出信号的位长更长。 (3 )对亮度信号进行Ay校正，与信号处理位长不同。对于颜色旋转及颜色动态范围而言，虽然在对被进行位扩张的
RGBY输出进行色差转换的过程中，对色差信号进行限幅，但是由 于具有充分的RGBy输出电平，从而可以实现大幅度地抑制颜色旋 转和动态范围的扩大。
在图5中，举例如下：当为最低ISO感光度100时，将动态范 围设置为150%,而作为高感光度模式的ISO200时，将动态范围扩 张为300%的2047灰度。但是，理论上，当为ISO400时，扩张为 600%的4095灰度，后面同样地当为ISO800时，扩张为8191灰度， 当为ISO1600时，扩张为16383灰度这样的情况下，也可以以高感 光度来改善动态范围。此外，此处所说的动态范围100%是指输入 683而l命出255的情况。
在RGBy冲乏正部9中，当为ISO200时，对来自自动增益控制电 路4的11位（=2047)的RGB图像信号输入进行灰度转换。通常 的RGB讨t正曲线的输出为8位，并通过下面的公式来计算亮度信 号和色差信号。
公式1
Y-0.3R + 0.59G + 0.UB ... ( 1 )
R-Y = 0.7R-0.59G-0.11B …（2)
B-Y = -0.3R-0.59G + 0.89B ...(3)
理想的RGBY曲线为/22 ( y幂）和sRGB y。但是，当将输出电 平匹配8 4立长时，为了形成实际的画面而y吏用的y曲线（下面，称 为"形成画面y，，）大多情况都偏离该rgby曲线。因此，其结果是， 实际形成画面y曲线的特性偏离理想的y曲线，从而产生亮度灰度表现不足、色差信号发白（blown out to white )、以及色调旋转等副作用。
在图6中示出了在电视机中，理想的f"曲线和形成画面Y曲线 的例子。其中，用虚线表示？/2'2曲线，用实线表示形成画面Y曲线。 当如图6所示地进行i殳置时，若相对于信号输入"1023"(即，将 动态范围设置为150% )画出？/22,则输出并不取到8位的255灰度， 而是使用至305灰度。与此相对，考虑中亮度区域中的对比度间和 高亮度区域中的灰度，设计与"255"输出相配合的形成画面Y曲线。 其结果是，虽然高亮度灰度可以想办法仅确保输入信号电平，但是 由于偏离/22，可以观察色差信号发白及色调旋转。为了抑制该副 作用，虽然可以考虑一种观察亮度信号电平而消除颜色的系统， <旦 是产生如下问题：由于丢失了颜色所以导致呈现图像发白。 一般若 由于y幂曲线偏离，则发生色调旋转。
因此，在本实施例中，通过将RGBY校正输出以比最终（本图 像信号处理装置的输出时）的输出位长更长地扩张的方式进行位扩 张，从而进4于具有接近理想y曲线的特性的RGB y才交正，以实现去除 颜色转换处理前的色调旋转的主要因素。具体而言，在RGBy校正 部9中，例如，当为ISO200时，通过具有9位的输出，从而对于 色差信号，可以通过接近/"和sRGB丫的特性来制作色差信号。而 且，关于亮度信号Y，通过后面的AY校正部12来进行适当的灰度 压缩，从而获得8位的输出信号。 ^妻下来，对RGB y才交正部9所4吏用的RGB y曲线的构成方法进
行说明。
在图7中示出了将11位的增益增大输出作为输入并输出9位 的RGB讨交正曲线的构成例。当为最低ISO感光度100时，设置150%的动态范围（1023灰度），以便当为ISO200时，可以构成为 确保300%的动态范围（2047灰度）。
当将感光度才莫式i殳置为ISO100时，由于信号输入只到1023, 所以相对于1023灰度的y输入，RGBY校正部9与现有技术同样地在 255灰度进行Y输出（参照图7中的点划线）。在这种情况下，由于 未使用从自动增益控制电路4被扩张后的高阶位（即，限幅在1023 ), 所以不需要对亮度信号进行勿校正（参照图1)。
与此相对，当将感光度模式设置为ISO200时，如图5所示， 由于在前面的AGC3上通过增益增大来进行位扩张，所以具有 ISO100时（假设为150%动态范围）的2倍、即300%动态范围的 4言号变为向RGB y校正部9的y4叙入。RGB y校正部9通过^吏專t出乂人 8位进4亍1位扩张后变为9位这样的RGB y曲线对该l命入信号进4亍 灰度转换。在图7中如实线所示，在高亮度区域，通过例如使用//22 作为RGBy曲线，从而降低了色调旋转，同时确保了动态范围。而 且，乂人4氐亮度直至高亮度，与ISO100同样地4吏用形成画面y曲线， 匹配对比度。
如图7所示的^f立扩张后的ISO200用的RGB讨交正曲线在llr入 信号为100%左右、即形成画面Y曲线和Y""曲线交叉点，从形成画 面y曲线转换为Y""曲线。而且，在该高感光度才莫式的RGB y校正中， 将具有由2047灰度构成的300。/。的动态范围的Y输入转换为419灰 度的yl叙出。具有如图7所示的特性的RGB "y表净皮存储在例如R()M (Read Only Memory,只读存^f渚器）中力口以^f呆存。
由RGB y校正部9的9位输出被输送给后面的Y矩阵计算部 lO及C矩阵计算部ll,进ff颜色寿t4奂处理。亮度信号Y作为上面 公式（1 )的运算结果变为9位输出。在后续的Ay校正部12中，将该9位的亮度信号压缩为输出格式的8位。由此，可以最大限度地
产生RGB Y校正输出，并可以确保亮度灰度。
在图8中示出了A讨交正曲线的构成例。当为ISO100时，如上 所述，不进行动态范围的扩张。因此，如图8中的虚线所示，直接 将8位的A讨交正输入作为Ay4吏正输出。即，这种情况下的Ay才交正曲 线为直线。
另一方面，当为ISO200时，如图7所示，由于RGB讨吏正输 出为419灰度，所以需要对其进行Ay校正并压缩为输出格式的8位。 如图8所示的Ay曲线，对于RGB Y曲线中从低亮度到中亮度的形成 画面Y曲线所构成的区i或，将A]4交正llr入直^秦^r出成为直线状，但 是在高亮度区域被画为压缩的曲线，以便收缩在255灰度。由此， 可以保持高亮度部的灰度不变地确保动态范围。此处所说的高亮度 区域是指在RGB Y曲线上，以乂人形成画面Y曲线向/22曲线切换点 (参照图7)为基准，此基准以后的亮度区域。具有如图8所示的 特性的Ay表被存储在例如ROM中加以保存。
在此，作为RGB y校正部9的输出从8位进行1位扩张到9位 时的效果的一例，列举黄色信号处理（黄色为R: G : B=l: 1: 0)， 实际的灰度电平的计算结果总结为下表。RGB y输入150电平 (level)在现有例（8位）和本实施例（9位）中均为相同的电平 输出。但是，随着输入电平增大为900、 1500、 2000，在现有例中， y输出粘贴（sticks)为（R-Y) =28、 （B-Y) =-227，对于色差没有 变化。与此相对，在本实施例中，虽然输入信号为900,且（B-Y) 粘贴为255,但是无需粘贴（R-Y)输出地呈线性增加，其结果可 以抑制色调旋转。表1
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 多次迭代运动矢量细化 | 2020-05-08 | 617 |
| 一种便于定位与导航的列车广播系统 | 2020-05-08 | 57 |
| 摄像模组夜景摄像处理方法、装置、电子设备及存储介质 | 2020-05-08 | 965 |
| 基于低秩张量和层次化字典学习的高分辨率图像重构方法 | 2020-05-08 | 406 |
| 摄像模式的切换方法及装置、计算机装置及可读存储介质 | 2020-05-11 | 780 |
| 信号采集装置、虚拟现实设备及其控制方法 | 2020-05-08 | 342 |
| 可调整聚焦深度的高能超音波探头及其调整方法 | 2020-05-08 | 482 |
| 一种基于多特征融合的运动阴影去除方法 | 2020-05-08 | 525 |
| 一种无需外接控制器的WIFI音乐灯带 | 2020-05-08 | 711 |
| 一种可折叠台灯 | 2020-05-08 | 417 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
亮度模式热门专利
QQ群二维码
意见反馈
意见反馈