[0132] 如上文描述的,焦点对准确定部件44被允许通过对接近强边缘的相位差像素的相位差进行检测来确定对焦像素的参考区域是否是焦点失调区域。
[0133] 图4中条件确定部件32的平坦度确定部件41、边缘确定部件42、高频信号确定部件43和焦点对准确定部件44各个将确定结果供应至混合比确定部件33。
[0134] 混合比确定部件33基于从条件确定部件32所供应的确定结果确定作为通过增益倍数内插方法的内插值与通过外围像素内插方法的内插值的合成比的混合比α。
[0135] 具体地,当从平坦度确定部件41供应指示对焦像素的参考区域是平坦部分的确定结果时,混合比确定部件33确定混合比α为1(α=1)。
[0136] 当从边缘确定部件42供应指示对焦像素的参考区域是具有浅角度边缘方向的区域的确定结果时,混合比确定部件33确定混合比α为0(α=0)。
[0137] 当从高频信号确定部件43供应指示对焦像素的参考区域是高频信号区域的确定结果时,混合比确定部件33确定混合比α为1(α=1)。
[0138] 当从焦点对准确定部件44供应指示对焦像素的参考区域是焦点失调区域的确定结果时,混合比确定部件33确定混合比α为1(α=1)。
[0139] 另一方面,当对焦像素的参考区域未被确定为平坦部分、具有浅角度边缘方向的区域、高频信号区域和焦点失调区域中的任意一种时,混合比确定部件33使用由高频信号确定部件43所计算的对焦像素的参考区域的梯度grad以便以下述方式来确定混合比α。
[0140] 梯度grad的幅度被认为与方向确定结果的可靠性相对应。因此,较小的梯度grad指示在该方向上较小可能存在边缘,并且在该方向上的外围像素的像素值在像素内插期间可能更为可靠。
[0141] 因此,例如,如图9中所图示的,混合比确定部件33可以在其内部存储混合比确定表,所述混合比确定表将梯度grad与混合比α相关联,使得随着梯度grad增加,混合比α在0<α<1的范围内逐渐减小。混合比确定部件33可以使用混合比确定表,以便选择与由高频信号确定部件43所计算的对焦像素的参考区域的梯度grad相对应的混合比α,并且将所选择的混合比α确定为对焦像素的混合比α。
[0142] 除了如图9中图示的混合比确定表之外,例如,梯度grad的幅度可以被分类为多个级别,使得以混合比确定表的形式存储与每个级别相对应的混合比α。
[0143] 混合比确定部件33将所确定的混合比α供应至像素校正值确定部件34。
[0144] 像素校正值确定部件34使用从混合比确定部件33所供应的混合比α以便计算作为对焦像素的相位差像素的内插值,并且将内插值供应至输出图像生成部件55。
[0145] 像素校正值确定部件34由增益倍数内插值计算部件51、外围像素内插值计算部件52和合成内插值计算部件53构成。
[0146] 增益倍数内插值计算部件51基于校正图计算通过增益倍数内插方法的内插值gained_pix,所述增益倍数内插方法通过相位差像素的像素值的增益倍数来获得内插值。所述校正图是使用与自然光条件相同的条件下的均匀白
光源的摄影图像根据相位差像素的像素值和其外围像素的像素值之间的关系预先创建的,并且存储所述校正图。
[0147] 外围像素内插值计算部件52使用作为高频信号确定部件43的确定结果的、对焦像素的参考区域的边缘方向direction,根据对焦像素外围中的同色像素的像素值计算内插值dir_pix。更具体地,外围像素内插值计算部件52计算在边缘方向direction上的与对焦像素相邻的多个同色像素的平均值,作为通过外围像素内插的内插值dir_pix。与作为高频信号确定部件43的确定结果的、对焦像素的参考区域的边缘方向direction一起使用在梯度(像素差)下降的方向上的外围像素的像素值,由此允许改进内插准确性。
[0148] 合成内插值计算部件53根据下式(4)计算作为相位差像素的对焦像素的内插值corr_pix,并且将内插值corr_pix供应至输出图像生成部件35。
[0149] corr_pix=α×dir_pix+(1-α)×gained_pix········(4)
[0150] 输出图像生成部件35使用存储器部件31中存储的像素值和从合成内插值计算部件53中供应的内插值,以向后续级输出用于图像输出的像素信号和用于检测焦点的像素信号。
[0151] 更具体地,输出图像生成部件35输出存储器部件31中存储的相位差像素的像素信号,作为用于检测焦点的像素信号。
[0152] 此外,输出图像生成部件35输出由在存储器部件31中存储的正常像素的像素值,以及通过利用从合成内插值计算部件53供应的内插值来对相位差像素的像素值进行内插而获得的像素值构成的每个像素的像素信号,作为用于图像输出的像素信号。
[0153] 根据上述配置,第一实施例的信号处理电路14进行对相位差像素的像素值进行内插的处理。
[0154] 【像素内插过程的流程图】
[0155] 现在参考图10的流程图来描述通过信号处理电路14计算用于相位差像素的像素值的内插的内插值的像素内插过程。
[0156] 首先,在步骤S1中,信号处理电路14将在存储器部件31中存储的预定义像素设置为对焦像素。例如,当以光栅扫描顺序读取与其像素值存储在存储器部件31中的一
帧相对应的像素时,信号处理电路14可以将像素的首位像素设置为对焦像素。
[0157] 在步骤S2中,信号处理电路14确定所设置的对焦像素是否是相位差像素。当信号处理电路14确定所设置的对焦像素不是相位差像素时,信号处理电路14将过程前进至步骤S17。
[0158] 另一方面,当在步骤S2中对焦像素被确定为相位差像素时,过程前进至平步骤S3,并且平坦度确定部件41计算在对焦像素的参考区域内(在第一参考区域内)的多个同色像素的平均值ave_area和标准偏差std_area。要注意的是,因为仅将标准偏差std_area用于下文中描述的平坦度确定,因此可以省略平均值ave_area的计算。
[0159] 在步骤S4中,平坦度确定部件41计算对焦像素的参考区域的梯度(值)grad。更具体地,平坦度确定部件41计算在水平方向、竖直方向、斜右上方向和斜左上方向中的每一个上的多个同色像素的相位差平均值,并且定义相位差平均值的最小值作为对焦像素的参考区域的梯度grad。
[0160] 在步骤S5中,平坦度确定部件41使用参考区域的所计算的标准偏差std_area和梯度grad,以便确定对焦像素的参考区域是否是平坦部分。
[0161] 在步骤S5中,当参考区域的所计算的标准偏差std_area和梯度grad各个具有比预定参考值低的值时,换言之,当参考区域的所计算的标准偏差std_area等于或小于预定阈值LO_STD_TH时,并且当所计算的梯度grad等于或小于预定阈值LO_GRD_TH时,对焦像素的参考区域被确定为平坦部分。
[0162] 当在步骤S5中对焦像素的参考区域被确定为平坦部分时,过程前进至步骤S6,并且平坦度确定部件41将确定结果供应至混合比确定部件33。混合比确定部件33基于确定结果将混合比α确定为1(α=1)。所确定的混合比α被供应至像素校正值确定部件34,并且过程前进至步骤S14。
[0163] 另一方面,当在步骤S5中对焦像素的参考区域被确定为不是平坦部分时,过程前进至步骤S7,并且平坦度确定部件41将确定结果供应至边缘确定部件42。在步骤S7中,边缘确定部件42使用参考区域的所计算的标准偏差std_area和梯度grad,以确定对焦像素的参考区域是否是具有浅角度边缘方向的区域。
[0164] 具体地,当参考区域的所计算的标准偏差std_area和梯度grad各个具有比预定参考值高的值时,换言之,当参考区域的所计算的标准偏差std_area大于阈值HI_STD_TH时,并且当参考区域的所计算的梯度grad大于阈值HI_GRD_TH时,边缘确定部件42确定对焦像素的参考区域是具有浅角度边缘方向的区域。
[0165] 当在步骤S7中对焦像素的参考区域被确定是具有浅角度边缘方向的区域时,过程前进至步骤S8,并且边缘确定部件42将确定结果供应至混合比确定部件33。混合比确定部件33基于确定结果将混合比α确定为0(α=0)。所确定的混合比α被供应至像素校正值确定部件34,并且步骤前进至步骤S14。
[0166] 另一方面,当在步骤S7中对焦像素的参考区域被确定为不是具有浅角度边缘方向的区域时,过程前进至步骤S9,并且边缘确定部件42将确定结果供应至高频信号确定部件43。在步骤S9中,高频信号确定部件43使用对焦像素的参考区域的标准偏差std_area和梯度grad以及参考区域的边缘方向direction的确定结果,以确定对焦像素的参考区域是否是高频信号区域。
[0167] 具体地,高频信号确定部件43根据参考区域的所计算的标准偏差std_area和梯度grad以及参考区域的边缘方向direction是否满足式(1)的上述确定条件来确定对焦像素的参考区域是否是高频信号区域。
[0168] 如上描述的,作为步骤S9的处理,高频信号确定部件43也可以使用对特定方向上的频率进行检测的滤波器来确定对焦像素的参考区域是否是高频信号区域。
[0169] 当在步骤S9中对焦像素的参考区域被确定为高频信号区域时,过程前进至步骤S6。
[0170] 另一方面,当在步骤S9中对焦像素的参考区域被确定为不是高频信号区域时,过程前进至步骤S10,并且高频信号确定部件43将确定结果供应至焦点对准确定部件44。在步骤S10中,焦点对准确定部件44计算在参考区域内(在第二参考区域内)具有与对焦像素的颜色相同的颜色的像素的像素值的动态范围drange。
[0171] 在步骤S11中,焦点对准确定部件44计算梯度phase_grad,作为在参考区域内每个相邻像素的相位差绝对值。
[0172] 在步骤S12中,焦点对准确定部件44基于所计算的动态范围drange和每个梯度phase_grad,确定对焦像素的参考区域是否是焦点失调区域。
[0173] 具体地,当所计算的动态范围drange满足式(2)时,并且当所有计算的梯度phase_grad满足式(3)时,焦点对准确定部件44确定作为对焦像素的相位差像素具有相位偏移的信号,并且对焦像素的参考区域是焦点失调区域。
[0174] 当在步骤S12中参考区域被确定为焦点失调区域时,过程前进至步骤S6。
[0175] 另一方面,当在步骤S12中参考区域被确定为不是焦点失调区域时,过程前进至步骤S13,并且焦点对准确定部件44将确定结果供应至混合比确定部件33。在步骤S13中,混合比确定部件33基于来自条件确定部件32的确定结果来确定混合比α。具体地,混合比确定部件33使用如图9中图示的混合比确定表,以便将与由高频信号确定部件43所计算的对焦像素的参考区域的梯度grad相对应的混合比α确定为对焦像素的混合比α。所确定的混合比α被供应至像素校正值确定部件34。
[0176] 在步骤S13之后,过程前进至步骤S14,并且增益倍数内插值计算部件51基于校正图计算通过增益倍数内插方法的内插值gained_pix,所述增益倍数内插方法通过相位差像素的像素值的增益倍数来获得内插值。
[0177] 在步骤S15中,外围像素内插值计算部件52使用对焦像素的参考区域的边缘方向direction计算通过在对焦像素的外围中的同色像素的像素内插的内插值dir_pix。
[0178] 在步骤S16中,合成内插值计算部件53根据式(4)计算作为相位差像素的对焦像素的内插值corr_pix,并且将内插值corr_pix供应至输出图像生成部件35。
[0179] 在步骤S17中,信号处理电路确定是否存储器部件31中存储的所有像素作为对焦像素被处理。
[0180] 当在S17中并非所有像素被确定为作为对焦像素被处理时,过程前进至步骤S18,并且信号处理电路14将还未作为对焦像素被处理的后续像素设置为对焦像素,并且将过程返回至步骤S2。然后,对新设置的对焦像素执行上面描述的从步骤S2至步骤S17的处理步骤。
[0181] 另一方面,当在步骤S17中所有像素被确定为作为对焦像素被处理时,图10的像素内插过程结束。
[0182] 如上所描述的,根据第一实施例的信号处理电路14,对于相位差像素的参考区域,检测在特定方向上高频(沿着相位差像素的屏蔽方向的高频)的出现。当参考区域被确定为不是在特定方向上具有高频信号的区域时,使用参考区域的像素差来确定混合比α。
[0183] 因此,允许以合适的比率来合成通过增益倍数内插方法的内插值和基于外围像素值的外围像素内插值,并且允许计算相位差像素的用于图像输出的像素值,所述像素值使得图像质量较少地降低。
[0184] 【信号处理电路的第二实施例】
[0185] 现在描述信号处理电路14的第二实施例。
[0186] 基于由第二合成比确定方法所确定的合成比,第二实施例的信号处理电路14合成通过增益倍数内插方法的内插值和通过外围像素内插方法的内插值,并且计算相位差像素的内插值。
[0187] 第一实施例中的外围像素内插方法中,使用沿着边缘方向的外围像素的像素值来计算内插值。
[0188] 另一方面,第二实施例中的外围像素内插方法中,使用在对焦像素周围的平面区域内的像素值来计算内插值。第二合成比确定方法采用适于使用这样的平面区域内的像素值来计算内插值的合成比确定方法,作为外围像素内插方法。
[0189] 【在平面区域内进行内插的示例性外围像素内插方法】
[0190] 现在参考图11简要地描述使用平面区域内的像素值来进行内插的示例性外围像素内插方法。
[0191] 图11中,位于像素区域中心的具有格网图案的相位差像素指示待内插的对焦像素。在对焦像素周围的外围区域被设置为参考区域P。在图11的示例性情况下,由虚线图示的在对焦像素周围的5×5像素区域被设置为参考区域P。
[0192] 具有与对焦像素的颜色相同的颜色的、位于对焦像素外围内的像素被设置为对焦对应像素。对焦对应像素各个是待经受与对焦像素相对应的加权计算的像素。在图11的示例性情况下,在对焦像素周围的5×5同色像素(除去对焦像素)各个被设置为对焦对应像素。
[0193] 对于多个对焦对应像素中的每一个,与参考区域P具有相同位置关系和尺寸的区域被设置为搜索区域Q。图11中,通过点划线来各个图示用于两个对焦对应像素的搜索区域Q。
[0194] 根据上文,作为要被用于对对焦像素的内插值进行计算的像素区域的搜索区R被设置为比参考区域P大的区。图11中,搜索区R被示为通过粗实线指示的13×13像素区域。
[0195] 在对焦像素的内插值的计算中,首先,基于在对焦像素v(i)的参考区域P与对焦对应像素v(j)的搜索区域Q之间的相似度,来确定多个对焦对应像素v(j)中的每一个的加权系数w(i,j)。在此,加权系数w(i,j)具有满足0≤w(i,j)≤1和Σj w(i,j)=1的值。
[0196] 计算多个对焦对应像素v(j)的像素值与其各自加权系数w(i,j)相乘的乘积的总和Σj w(i,j)v(j)作为对焦像素的内插值。例如,在A.Buades、B.Coll和J.M.Morel的“A non local algorithm for image denoising”IEEE Computer Vision and Pattern Recognition2005,Vol2,pp:60-65,2005中公开了这样的像素内插方法。
[0197] 当仅通过在对焦像素周围的平面区域内的内插方法来内插相位差像素时,并且当诸如具有浅角度边缘之类的相似平面区域(片)不存在于参考区域内并且由此相似度总和降低时,发生伪影,使得图像质量降低。
[0198] 因此,也以预定合成比理想地合成通过使用在对焦像素周围的平面区域内的像素值的内插方法的内插值、和通过经由相位差像素的像素值的增益倍数来获得内插值的方法的内插值,以获得最终的内插值。
[0199] 因此,第二实施例的信号处理电路14使用适用于使用平面区域内的像素值计算内插值的这样的方法的合成比确定方法来确定混合比α,并且计算内插值。
[0200] 第二实施例中使用的第二合成比确定方法被允许广泛地应用于使用平面区域内的像素值的任何内插值计算方法,而不局限于参考图11所描述的外围像素内插方法。
[0201] 【信号处理电路的功能配置框图】
[0202] 图12是图示信号处理电路14的第二实施例的示例性功能配置的框图。
[0203] 图12中,通过相同的标号来表示与第一实施例中的组件相对应的组件,并且适当地省略对其的描述。
[0204] 图12中图示的信号处理电路14由存储器部件31、输出图像生成部件35、相似度确定部件81、混合比确定部件82和像素校正值确定部件83构成。
[0205] 具体地,第二实施例的配置与第一实施例相同之处在于存储器部件31和输出图像生成部件35,而与第一实施例的不同之处在于相似度确定部件81、混合比确定部件82和像素校正值确定部件83。
[0206] 相似度确定部件81由相似度计算部件91、相似度总和计算部件92和置信参考值计算部件93构成。
[0207] 相似度计算部件91根据式(5)计算在对焦像素周围的参考区域P和为对焦像素所设置的搜索区R内的多个搜索区域Q中的每一个之间的相似度match_w(P,Q)。
[0208]
[0209] 图13是解释通过相似度计算部件91计算相似度match_w(P,Q)的方法的图。
[0210] 相似度计算部件91计算在参考区域P和搜索区域Q内相对应像素的各个像素值v(p)和v(q)之间的差绝对值总和作为相似度match_w(P,Q),并且计算作为差绝对值总和除以区域内经受差计算的像素数目N的商的值。要注意的是,相似度计算部件91不对参考区域P和搜索区域Q内的相位差像素进行差计算。图13中具有格网图案的对焦像素和在对焦像素右侧的相邻像素各个是相位差像素,并且因此不经受差计算。
[0211] 随后,相似度总和计算部件92根据式(6)计算相似度总和match_wsum(P),作为搜索区R内的相似度计算结果的总和。
[0212]
[0213] 图14是解释通过相似度总和计算部件92来计算相似度总和match_wsum(P)的方法的图。
[0214] 相似度总和计算部件92对搜索区R内计算的相似度match_w(P,Q)的总和进行计算,并且将计算结果定义为相似度总和match_wsum(P)。
[0215] 相似度总和match_wsum(P)被用作用于计算混合比α的评估值,和用于使用外围像素的像素值来计算内插值dir_pix的标准化系数。
[0216] 置信参考值计算部件93计算相似度置信参考值match_ref_val,作为当混合比确定部件82确定混合比α时用于对相似性总和match_wsum(P)的可靠性进行确定的系数。
[0217] 例如,置信参考值计算部件93可以对于参考区域P内的像素的像素值v(p)计算相似度总和match_wsum(P)的可能最大值(最差值),作为相似度置信参考值match_ref_val。
[0218] 换言之,置信参考值计算部件93假定与参考区域P的图像最不相似的虚拟图像的搜索区域Qmax,并且使用虚拟图像的搜索区域Qmax以计算相似度总和match_wsum(P)作为相似度置信参考值match_ref_val。
[0219] 可替换地,被假定为相似度总和match_wsum(P)的最大值的预定值可以在不考虑参考区域P的实际图像的情况下预先确定,并且可以用作相似度置信参考值match_ref_val。
[0220] 混合比确定部件82基于相似度总和match_wsum(P)与相似度置信参考值match_ref_val的比来确定混合比α。
[0221] 具体地,根据下式(7)来确定混合比α。
[0222]
[0223] 其中,0≤α且A,B≥0。
[0224] 在式(7)中,A和B各个是合成比调节系数,用于调节根据外围像素的像素值计算的内插值的贡献率。
[0225] 返回至图12,像素校正值确定部件83由增益倍数内插值计算部件101、外围像素内插值计算部件102和合成内插值计算部件103构成。
[0226] 如第一实施例中的增益倍数内插值计算部件51,增益倍数内插值计算部件101基于校正图计算通过增益倍数内插方法的内插值gained_pix,所述增益倍数内插方法通过相位差像素的像素值的增益倍数来获得内插值。
[0227] 外围像素内插值计算部件102计算通过外围像素内插方法的内插值neighbor_pix,所述外围像素内插方法使用具有和对焦像素的颜色相同的颜色的外围像素,所述外围像素被假定为在搜索区R内的对焦对应像素。
[0228] 图15是解释通过外围像素内插值计算部件102计算内插值neighbor_pix的方法的图。
[0229] 首先,外围像素内插值计算部件102根据下式(8)计算在搜索区R内每个对焦对应像素的加权系数w(P,Q)。
[0230]
[0231] 如式(8)所示,在搜索区R内每个对焦对应像素的加权系数w(P,Q)被计算为在对焦对应像素周围的搜索区域Q与参考区域P之间的相似度match_w(P,Q)和相似度总和match_wsum(P)的标准化值。
[0232] 随后,外围像素内插值计算部件102根据下式(9)计算内插值neighbor_pix。
[0233]
[0234] 如式(9)所示,内插值neighbor_pix被计算为在搜索区R内各个对焦对应像素的像素值V(q)与加权系数w(P,Q)的乘积的总和。
[0235] 合成内插值计算部件103根据下式(10)计算作为相位差像素的对焦像素的内插值corr_pix,并且将内插值corr_pix供应至输出图像生成部件35。
[0236] corr_pix=α×neighbor_pix+(1-α)×gained_pix········(10)
[0237] 根据上文描述的配置,第二实施例的信号处理电路14对相位差像素的像素值进行内插的处理。
[0238] 【像素内插过程的流程图】
[0239] 现在参考图16的流程图来描述通过第二实施例的信号处理电路14进行的像素内插过程。
[0240] 首先,在步骤S41中,信号处理电路14将存储器部件31中存储的预定义像素设置为对焦像素。例如,当以光栅扫描顺序读取与其像素值存储在存储器部件31中的一帧相对应的像素时,信号处理电路14可以将像素的首位像素设置为对焦像素。
[0241] 在步骤S42中,信号处理电路14确定所设置的对焦像素是否是相位差像素。当信号处理电路14确定所设置的对焦像素不是相位差像素时,信号处理电路14将过程前进至步骤S50。
[0242] 另一方面,当在步骤S42中对焦像素被确定为相位差像素时,过程前进至步骤S43。在步骤S43中,相似度计算部件91根据式(5)计算在对焦像素的参考区域P和在为对焦像素设置的搜索区R内的多个搜索区域Q中的每一个之间相似度match_w(P,Q)。所计算的相似度match_w(P,Q)被供应至混合比确定部件82和像素校正值确定部件83。
[0243] 在步骤S44中,相似度总和计算部件92根据式(6)、基于在在搜索区R内的每个搜索区域Q和参考区域P之间的相似度match_w(P,Q)来计算相似度总和match_wsum(P)。所计算的相似度总和match_wsum(P)被供应至混合比确定部件82。
[0244] 在步骤S45中,例如,置信参考值计算部件93可以计算相似度总和match_wsum(P)的可能最大值,以便计算相似度置信参考值match_ref_val。
[0245] 在步骤S46中,混合比确定部件82根据式(7)、使用相似度置信参考值match_ref_val和相似度总和match_wsum(P)来确定混合比α。
[0246] 在步骤S47中,增益倍数内插值计算部件101基于校正图计算通过增益倍数内插方法的内插值gain_pix。
[0247] 在步骤S48中,外围像素内插值计算部件102使用在对焦像素外围的同色像素来计算通过外围像素内插的内插值neighbor_pix,所述同色像素被定义为在搜索区R内的对焦对应像素。
[0248] 在步骤S49中,合成内插值计算部件103根据式(10)计算作为相位差像素的对焦像素的内插值corr_pix,并且将内插值corr_pix供应至输出图像生成部件35。
[0249] 在步骤S50中,信号处理电路14确定是否在存储器部件31存储的所有像素作为对焦像素被处理。
[0250] 当在步骤S50中并非所有像素被确定为作为对焦像素被处理,过程前进至步骤S51,并且信号处理电路14将还未作为对焦像素被处理的后续像素设置为对焦像素,并且将过程返回至步骤S42。然后,对新设置的对焦像素进行从步骤S42至步骤S50的上文中描述的处理步骤。
[0251] 另一方面,当在步骤S50中所有像素被确定为作为对焦像素被处理时,结束图16的像素内插过程。
[0252] 如上文中描述的,根据第二实施例的信号处理电路14,与相似度总和match_wsum(P)相对应地确定混合比α,所述相似度总和是在相位差像素的参考区域P和在搜索区R内的各个搜索区域Q之间的相似度match_w(P,Q)的总和。更具体地,基于相似度总和match_wsum(P)与相似度置信参考值match_ref_val的比,来确定混合比α。
[0253] 因此,在使用利用平面区域内的像素值来对对焦像素进行内插的外围像素内插方法的情况下,允许合适地设置通过增益倍数内插方法的内插值和基于外围像素值的外围像素内插值的合成比,并且由此允许计算相位差像素的用于图像输出的像素值,所述像素值使得图像质量较少地降低。
[0254] 根据如上文描述的信号处理电路14的像素内插过程,仅使用相位差像素的像素信息的增益倍数内插方法与使用相位差像素的外围像素的像素信息的外围像素内插方法相结合;因此,允许获得对两种方法的缺点进行补偿的内插性能。
[0255] 此外,当确定通过增益倍数内插方法的内插值和通过外围像素内插方法的内插值的混合比(合成比)α时,通过每一种方法不能很好内插的纹理被检测并且反映在混合比α上;因此,允许计算相位差像素的用于图像输出的像素值,所述像素值使得图像质量较少地降低。
[0256] 要注意的是,信号处理电路14可以具有第一和第二实施例的两种配置,并且例如可以根据例如从采集图像提取的特征量、图像拾取模式或从操作部件指示的用户设置操作等来选择性地进行第一和第二实施例的像素内插过程之一。
[0257] 还可以理解,信号处理电路14仅具有第一和第二实施例的配置之一。与第二实施例的信号处理电路相比,允许通过少量的计算并且以较少的
硬件配置来有利地实现第一实施例的信号处理电路14。另一方面,第二实施例的信号处理电路14可以有利地不进行高频确定,并且由此与第一实施例的信号处理电路14相比较在计算混合比α上是容易的。
[0258] 【其他实施例】
[0259] 现在描述进行相位差像素的像素内插过程的上述信号处理电路的其他实施例。
[0260] 【其中独立提供信号处理电路的模式】
[0261] 图17图示其中进行相位差像素的像素内插过程的上述信号处理电路作为信号处理单元独立地提供的模式的示例性配置。
[0262] 具体地,在上述示例性情况下,如参考图1描述的,进行像素内插过程的信号处理电路14作为固态图像拾取单元1内的一部分被合并。
[0263] 然而,在图17的示例性情况下,与图1中的图像拾取部件17相对应的固态图像拾取单元221分开地提供与图1中的信号处理电路14相对应的信号处理单元222。
[0264] 基于从固态图像拾取单元221输出的像素信号,信号处理单元222进行上述像素内插过程,并且输出用于图像输出的像素信号。此外,信号处理电路222输出相位差像素的像素信号,作为用于检测焦点的像素信号。
[0265] 【指向电子装置的应用示例】
[0266] 各个应用本技术的示例实施例的固态图像拾取单元和信号处理单元,可以应用于各种电子装置,例如,诸如数字静态相机和视频摄像机之类的图像拾取单元、具有图像拾取功能的
移动电话和具有图像拾取功能的音频播放器。固态图像拾取单元和信号处理单元可以形成为一个芯片,或者可以形成为具有图像拾取功能的模块,其中图像拾取部件和信号处理电路被一起封装。
[0267] 图18是图示作为应用本技术的示例实施例的电子装置的图像拾取单元的示例性配置的框图。
[0268] 图18的图像拾取单元300包括由透镜组等构成的光学部件301、具有固态图像拾取单元221的配置的固态图像拾取单元(图像拾取设备)302、和具有信号处理电路14的功能的
数字信号处理器(DSP)303。图像拾取单元300还包括
帧存储器304、显示部件305、记录部件306、操作部件307和电源部件308。DSP电路303、帧存储器304、显示部件305、记录部件306、操作部件307和电源部件308通过总线309彼此连接。
[0269] 光学部件301采集来自对象的入射光(图像光),并且在固态图像拾取单元302的图像拾取表面上形成光的图像。固态图像拾取单元302将其图像通过光学部件301形成在图像拾取表面上的入射光的光量转换为像素单元中的
电信号,并且将电信号作为像素信号输出。
[0270] 例如,显示部件305由诸如
液晶面板或有机电致发光(EL)面板之类的面板类型显示单元构成,并且显示由固态图像拾取单元302所采集的移动的或静止的图像。记录部件306将由固态图像拾取单元302采集的移动的或静止的图像存储至诸如
硬盘或半导体存储器之类的存储介质中。
[0271] 操作部件307在用户操作下给出关于图像拾取单元300的各种功能的操作指令。电源部件308合适地向包括DSP电路303、帧存储器304、显示部件305、记录部件306和操作部件307的组件供应作为用于组件的操作电源的各种电源。
[0272] 本技术不仅可以应用于检测可见光的入射光量的分布和采集这样的光分布作为图像的固态图像拾取单元,还可以应用于对红外线、
X射线或粒子等的入射量的分布进行采集的固态图像拾取单元,或者在广义上,应用于例如指纹检测传感器的通用固态图像拾取单元(物理量分布检测单元),其各个采集诸如压
力或电容之类的另一类型的物理量的分布。
[0273] 本技术的实施例并不局限于上面描述的实施例,可以在本发明的范围内对其做各种
修改或变动,而不背离本发明的精神。
[0274] 从本公开的上述示例性实施例中至少可以实现如下配置。
[0275] (1)一种信号处理单元,其包括:
[0276] 高频信号确定部件,其被配置为基于从其中布置有相位差像素的图像拾取部件输出的像素信号来确定作为相位差像素的外围区域的参考区域是否是在特定方向上的高频信号区域;以及
[0277] 合成比确定部件,其被配置为当所述参考区域被确定为不是在特定方向上的高频信号区域时,使用所述参考区域的像素差来确定通过增益倍数内插方法的相位差像素的内插值与通过外围像素内插方法的相位差像素的内插值的合成比。
[0278] (2)根据(1)所述的信号处理单元,其中,所述合成比确定部件基于在其中所述参考区域的像素差减小的方向上的像素差值来确定所述合成比。
[0279] (3)根据(2)所述的信号处理单元,其中,当所述参考区域的像素值的标准偏差小于预定阈值,并且当在所述方向上的像素差值小于预定阈值,以及当所述方向与所述相位差像素的屏蔽方向相同时,所述高频信号确定部件确定所述参考区域是在所述特定方向上的高频信号区域。
[0280] (4)根据(1)或(2)所述的信号处理单元,其中,所述高频信号确定部件使用检测在所述特定方向上的频率的滤波器,以确定所述参考区域是否是在所述特定方向上的高频信号区域。
[0281] (5)根据(1)至(4)中任一项所述的信号处理单元,其中,所述合成比确定部件使用将在其中所述参考区域的像素差减小的方向上的像素差值与所述合成比相关联的表,以将与在所述方向上的像素差值相对应的合成比确定为所述合成比。
[0282] (6)根据(1)至(5)中任一项所述的信号处理单元,其中,所述特定方向与所述相位差像素的屏蔽方向相对应。
[0283] (7)根据(1)至(6)中任一项所述的信号处理单元,其还包括:
[0284] 平坦度确定部件,其被配置为确定所述参考区域是否是平坦部分,[0285] 其中,当所述参考区域被确定为不是平坦部分时,所述高频信号确定部件确定所述参考区域是否是在所述特定方向上的高频信号区域。
[0286] (8)根据(7)所述的信号处理单元,其中,所述平坦度确定部件基于所述参考区域的像素值的标准偏差和在其中所述参考区域的像素差减小的方向上的像素差值,来确定所述参考区域是否是平坦部分。
[0287] (9)根据(1)至(8)中任一项所述的信号处理单元,其还包括:
[0288] 边缘确定部件,其被配置为确定所述参考区域是否是具有浅角度边缘方向的区域,
[0289] 其中,当所述参考区域被确定为不是具有浅角度边缘方向的区域时,所述高频信号确定部件确定所述参考区域是否是在所述特定方向上的高频信号区域。
[0290] (10)根据(9)所述的信号处理单元,其中,所述边缘确定部件基于所述参考区域的像素值的标准偏差和在其中所述参考区域的像素差减小的方向上的像素差值,来确定所述参考区域是否是具有浅角度边缘方向的区域。
[0291] (11)根据(1)至(10)中任一项所述的信号处理单元,其还包括:
[0292] 焦点对准确定部件,其被配置为确定所述参考区域是否是焦点失调区域,[0293] 其中,当所述参考区域被确定为不是在特定方向上的高频信号区域并且不是焦点失调区域时,所述合成比确定部件确定所述合成比。
[0294] (12)根据(11)所述的信号处理单元,其中,所述焦点对准确定部件基于在参考区域内的动态范围和像素差绝对值来确定所述参考区域是否是焦点失调区域,所述参考区域是沿着相位差像素的屏蔽方向的外围区域。
[0295] (13)根据(1)至(12)中任一项所述的信号处理单元,其还包括:
[0296] 增益倍数内插值计算部件,其被配置为计算通过所述增益倍数内插方法的所述相位差像素的内插值;以及
[0297] 外围像素内插值计算部件,其被配置为计算通过所述外围像素内插方法的所述相位差像素的内插值,
[0298] 其中,当所述参考区域被确定为是在所述特定方向上的高频信号区域时,对于所述相位差像素,所述外围像素内插值计算部件根据位于其中所述参考区域的像素差减小的方向上的外围同色像素的像素值计算相位差像素的内插值。
[0299] (14)一种信号处理方法,其中,
[0300] 被配置为对从其中布置有相位差像素的图像拾取部件中输出的像素信号进行处理的信号处理单元
[0301] 确定作为所述相位差像素的外围区域的参考区域是否是在特定方向上的高频信号区域,以及
[0302] 当所述参考区域被确定为不是在所述特定方向上的高频信号区域时,使用所述参考区域的像素差来确定通过增益倍数内插方法的所述相位差像素的内插值与通过外围像素内插方法的所述相位差像素的内插值的合成比。
[0303] (15)一种信号处理单元,其包括:
[0304] 相似度总和计算部件,其被配置为基于从其中布置有相位差像素的图像拾取部件中输出的像素信号来计算在作为相位差像素的外围区域的参考区域和设置在比参考区域大的搜索区内的多个搜索区域中的每一个之间的相似度,并且计算作为所述计算结果的总和的相似度总和,其中每个搜索区域具有与所述参考区域的尺寸相同的尺寸;以及[0305] 合成比确定部件,其被配置为根据所计算的相似度总和确定通过增益倍数内插方法的相位差像素的内插值与通过外围像素内插方法的相位差像素的内插值的合成比。
[0306] (16)根据(15)所述的信号处理单元,其还包括:
[0307] 相似度计算部件,其被配置为计算在所述参考区域和所述搜索区内多个搜索区域中的每一个之间的相似度,
[0308] 其中,所述相似度总和计算部件使用通过所述相似度计算部件所计算的相似度来计算所述相似度总和。
[0309] (17)根据(15)或(16)所述的信号处理单元,其还包括:
[0310] 置信参考值计算部件,其被配置为计算用于确定所计算的相似度总和的可靠性的参考值,
[0311] 其中,所述合成比确定部件基于所述相似度总和与所述参考值的比来确定所述合成比。
[0312] (18)根据(15)至(17)中任一项所述的信号处理单元,其还包括:
[0313] 增益倍数内插值计算部件,其被配置为计算通过所述增益倍数内插方法的所述相位差像素的内插值;以及
[0314] 外围像素内插值计算部件,其被配置为计算通过所述外围像素内插方法的所述相位差像素的内插值。
[0315] (19)根据(18)所述的信号处理单元,其中,所述外围像素内插值计算部件通过将作为搜索区域内与所述相位差像素相对应的像素的对应像素的像素值与对应像素的加权系数相乘、并且获得对于所有搜索区域的这样的乘法结果的总和来计算所述相位差像素的内插值,所述加权系数通过用相似度总和对在所述参考区域和所述搜索区域之间的相似度进行标准化来获得。
[0316] (20)一种信号处理方法,其中,
[0317] 被配置为对从其中布置有相位差像素的图像拾取部件中输出的像素信号进行处理的信号处理单元
[0318] 计算在作为相位差像素的外围区域的参考区域与设置在比所述参考区域大的搜索区内的多个搜索区域中的每一个之间的相似度,并且计算作为所述计算结果的总和的相似度总和,其中每个搜索区域具有与所述参考区域的尺寸相同的尺寸,以及[0319] 根据所计算的相似度总和,确定通过增益倍数内插方法的所述相位差像素的内插值和通过外围像素内插方法的所述相位差像素的内插值的合成比。
[0320] 本领域技术人员应当理解的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和变动,只要它们在
权利要求或其等价物的范围内。