图像处理装置、方法，立体图像获取装置，便携式电子设备，打印机和立体图像播放器装置
阅读：182发布：2024-02-13
专利汇可以提供图像处理装置、方法，立体图像获取装置，便携式电子设备，打印机和立体图像播放器装置专利检索，专利查询，专利分析的服务。并且根据本 发明 的一个方面的 图像处理 方法包括：采集具有 相位 差的第一图像和第二图像；计算指示第二图像的每个相应的 像素 相对于第一图像的每个像素的偏移量的 视差 ；对于经受图像处理的第一图像和第二图像的每个像素，基于所述视差确定图像处理系数，以执行边缘加强或边缘校正；和使用所述图像处理系数对第一图像和第二图像执行图像处理。，下面是图像处理装置、方法，立体图像获取装置，便携式电子设备，打印机和立体图像播放器装置专利的具体信息内容。
1.一种图像处理装置，包括：
图像采集装置，所述图像采集装置构造为采集作为立体图像拍摄的具有视差的第一图像和第二图像；
视差计算装置，所述视差计算装置构造为计算指示由所述图像采集装置采集的所述第二图像的相应的像素相对于所述第一图像的每个像素的偏移量的视差；
图像处理系数确定装置，所述图像处理系数确定装置构造为对于由所述图像采集装置采集的所述第一图像和所述第二图像的每个图像处理目标像素确定图像处理系数以执行边缘加强或边缘校正，并且基于由所述视差计算装置计算的视差来确定用于所述目标像素的图像处理系数，其中，所述图像处理系数确定装置确定所述图像处理系数，使得用于所述边缘加强或所述边缘校正的所述图像处理系数的中心从计算目标像素的中心偏移；以及图像处理装置，所述图像处理装置构造为使用由所述图像处理系数确定装置确定的所述图像处理系数来对于由所述图像采集装置采集的所述第一图像和所述第二图像执行图像处理。
2.根据权利要求1所述的图像处理装置，
其中，所述图像处理系数确定装置根据所述视差的偏移方向将所述图像处理系数的中心从所述计算目标像素的中心偏移。
3.根据权利要求1至2中任一项所述的图像处理装置，其中：
所述图像处理系数确定装置确定作为所述图像处理系数的滤波器系数，并且所述图像处理装置通过使用所述滤波器系数的滤波器来执行滤波处理。
4.根据权利要求3所述的图像处理装置，
其中，所述滤波器是一维滤波器或二维滤波器。
5.根据权利要求3所述的图像处理装置，
其中，所述图像处理系数确定装置确定滤波器系数，其中所述边缘加强或所述边缘校正的程度与频带中的至少一个根据所述视差变化。
6.根据权利要求5所述的图像处理装置，
其中，所述图像处理系数确定装置确定随着所述视差增加而降低所述边缘加强或所述边缘校正的程度的滤波器系数和随着所述视差增加而加宽所述频带的滤波器系数中的至少一个。
7.根据权利要求1至2中任一项所述的图像处理装置，
其中，当由所述视差计算装置计算出的视差被输入用于所述目标像素时，所述图像处理系数确定装置根据用于视差校正的预定函数来计算视差偏移量，或从用于视差校正的预定的查询表中读出相应的视差偏移量，并且
所述图像处理系数确定装置根据计算出的或读出的视差偏移量将所述图像处理系数的中心从所述计算目标像素的中心偏移。
8.根据权利要求7所述的图像处理装置，进一步包括：
选择装置，所述选择装置包括用于视差校正的多个预定函数或查询表，所述选择装置构造为通过用户设定从所述多个函数或所述查询表选择任意函数或查询表。
9.根据权利要求1至2中任一项所述的图像处理装置，
其中，所述视差计算装置通过基于所述第一图像的所述目标像素的预定块尺寸的图像与所述第二图像之间的块匹配检测在第二图像上的与所述第一图像的目标像素对应的像素，并且
所述视差计算装置计算所述第一图像的目标像素与所述第二图像上的检测到的像素之间的视差。
10.根据权利要求9所述的图像处理装置，
其中，所述视差计算装置保持所述第一图像和所述第二图像内的在视差检测中使用的所述预定块尺寸的图像；
所述图像处理装置具有与所述预定块尺寸相同尺寸的计算目标像素范围；并且所述图像处理装置使用由所述视差计算装置保持的所述第一图像和所述第二图像的预定块尺寸的图像和所述计算目标像素范围的图像处理系数来执行图像处理。
11.根据权利要求1至2中任一项所述的图像处理装置，其中：
所述第一图像和所述第二图像是三基色的彩色图像，并且
所述图像处理装置对于指示所述三基色的彩色图像的彩色信号中的每一个使用相同的图像处理系数来执行图像处理。
12.根据权利要求1至2中任一项所述的图像处理装置，其中：
所述第一图像和所述第二图像是三基色的彩色图像，并且
所述图像处理装置对于从所述三基色的彩色图像生成的亮度信号和色差信号使用相同的图像处理系数来执行图像处理。
13.一种图像处理方法，包括：
图形采集步骤，采集作为立体图像拍摄的具有视差的第一图像和第二图像；
视差计算步骤，计算指示在所述图像采集步骤中采集的所述第二图像的相应的像素相对于所述第一图像的每个像素的偏移量的视差；
图像处理系数确定步骤，对于在所述图像采集步骤中采集的所述第一图像和所述第二图像的每个图像处理目标像素确定图像处理系数以执行边缘加强或边缘校正，且基于在所述视差计算步骤中计算的视差确定用于所述目标像素的图像处理系数，其中，所述图像处理系数确定装置确定所述图像处理系数，使得用于所述边缘加强或所述边缘校正的所述图像处理系数的中心从计算目标像素的中心偏移；以及
图像处理步骤，使用在所述图像处理系数确定步骤中确定的图像处理系数对于在所述图像采集步骤中采集的所述第一图像和所述第二图像执行图像处理。
14.一种立体图像获取装置，包括：
根据权利要求1至12中任一项所述的图像处理装置，
其中，所述图像采集装置包括：
单个成像光学系统；和
成像元件，在所述成像元件中，通过所述成像光学系统的不同区域的目标图像受到光瞳划分且被形成，所述成像元件构造为通过在通过所述不同区域的所述目标图像上执行光电转换来采集具有不同视差的第一图像和第二图像。
15.根据权利要求14所述的立体图像获取装置，
其中，所述成像元件包括用于光电转换的第一组像素和第二组像素，所述第一组像素和所述第二组像素以矩阵方式布置在所述成像元件的曝光区域的整个表面上，所述第一组像素被限制在光通量的光接收方向上以仅接收通过所述成像光学系统的第一区域的目标图像，并且所述第二组像素被限制在光通量的光接收方向上以仅接收通过所述成像光学系统的第二区域的目标图像，并且
所述成像元件能够从所述第一组像素和所述第二组像素读出图像。
16.一种便携式电子设备，包括：
根据权利要求14或15所述的立体图像获取装置。
17.一种打印机，包括：
根据权利要求1至12中任一项所述的图像处理装置；和
打印装置，所述打印装置构造为基于通过所述图像处理装置处理的所述第一图像和所述第二图像而形成用于立体视图的影印。
18.一种立体图像播放器装置，包括：
根据权利要求1至12中任一项所述的图像处理装置；和
图像显示装置，所述图像显示装置构造为基于通过所述图像处理装置处理的所述第一图像和所述第二图像显示用于立体视图的图像。
图像处理装置、方法，立体图像获取装置，便携式电子设备，
打印机和立体图像播放器装置
技术领域
[0001] 本发明涉及一种图像处理装置、一种图像处理方法、一种图像处理程序和一种记录介质、一种立体图像获取装置、一种便携式电子设备、一种打印机和一种立体图像播放器装置。特别地，本发明涉及一种用于校正立体视图的多个图像的立体效果的技术。
背景技术
[0002] 通常，将通过立体图像的突起（pop-up）和下降（pop-down）所表示的深度量的范围称为动态范围。提出了立体图像校正装置，所述装置校正了动态范围的突起量和下降量中的至少一个（PTL1）。
[0004] 在PTL2中描述的图像信号处理电路中，为了解决导致在高分辨率图像中的立体效果或透视感降低的问题，根据模糊量估计深度信息以改变边缘加强度和平滑度。以此方式，能够实现图像的高分辨率和立体效果或透视感。
[0005] 在PTL3中描述的图像处理装置中，将所拍摄的一个屏幕的图像数据的预定区域划分为多个区域，且将物体在这些区域内的前后关系分为组。此外，通过根据这些组应用具有不同频率特性的滤波器，物体的在指定范围内的距离中的图像采用高通滤波器（HPF）以使该图像在每个区域的单元内加强，或采用低通滤波器（LPF）以使图像模糊。以此方式，能够生成具有立体效果的图像。
[0007] PTL2：日本专利申请特开2009-251839
[0008] PTL3：日本专利申请特开2006-067521
发明内容
[0009] 技术问题
[0010] 在PTL1中描述的发明通过校正双眼视差图像的像素偏移量而校正了立体图像的突起量或下降量。在PTL1中描述的发明中，存在的问题是，如果在双眼视差图像的像素偏移量的视差测量中存在错误，则视差校正之后的立体图像失效。
[0011] 在PTL2中描述的发明根据模糊量等估计了深度信息，且改变了边缘加强等级。然而，在PTL2中描述的发明中，视差不通过使用右图像和左图像的视差而被直接改变，并且立体效果的校正受到限制。
[0012] 在PTL3中描述的发明将给出立体效果的处理应用于平面图像，且不校正视差。
[0013] 根据此情况完成了本发明，并且本发明的目的是提供一种图像处理装置、一种图像处理方法、一种图像处理程序和一种记录介质、一种立体图像获取装置、一种便携式电子设备、一种打印机和一种立体图像播放器装置，该立体图像播放器装置能够在用于立体图的多个图像上执行自然视差校正，且即使在不能够精确地执行视差校正的情形中，该立体图像播放器装置也能够以较少的失效来执行视差校正。
[0014] 问题的解决方案
[0015] 为实现该目的，根据本发明的一个方面的图像处理装置包括：图像采集装置，所述图像采集装置构造为采集作为立体图像拍摄的具有视差的第一图像和第二图像；视差计算装置，所述视差计算装置构造为计算如下视差，该视差指示第二图像的相应的像素相对于通过图像采集装置采集的第一图像的每个像素的偏移量；图像处理系数确定装置，所述图像处理系数确定装置构造为对于通过图像采集装置采集的第一图像和第二图像的每个图像处理目标像素确定图像处理系数，以执行边缘加强或边缘校正，且基于通过视差计算装置计算的视差来确定目标像素的图像处理系数；以及图像处理装置，所述图像处理装置构造为使用图像处理系数确定装置确定的图像处理系数对于通过图像采集装置采集的第一图像和第二图像执行图像处理。
[0016] 根据本发明的一个方面，在作为立体图像拍摄的第一图像和第二图像上通过应用用于边缘加强或边缘校正的图像处理系数而执行图像处理，所述图像处理能够根据每个图像处理目标像素的原始视差来执行视差校正。以此方式，能够同时执行自然视差校正和边缘加强或边缘校正。此外，不能精确地检测视差的部分在许多情况中是平坦部分，并且在平坦部分内不存在受到边缘加强或边缘校正的轮廓部分。因此，即使边缘加强或边缘校正的相位偏移，这也不太可能引起失效。而且，在以上所述的方面中，边缘加强或边缘校正还意味着边缘部分的形成处理。
[0017] 在根据本发明的另一个方面的图像处理装置中，图像处理系数确定装置确定图像处理系数，使得用于边缘加强或边缘校正的图像处理系数的中心从计算目标像素的中心偏移。通过在目标像素上以此图像处理系数执行图像处理，能够使视差（相位）偏移且执行边缘加强或边缘校正。
[0018] 在根据本发明的另一个方面的图像处理装置中，图像处理系数确定装置根据视差的偏移方向将图像处理系数的中心从计算目标像素的中心偏移。
[0019] 在根据本发明的另一个方面的图像处理装置中，图像处理系数确定装置确定滤波器系数作为图像处理系数，并且图像处理装置通过使用滤波器系数的滤波器来执行滤波处理。
[0020] 作为滤波器，可使用一维滤波器或二维滤波器。在一维滤波器的情况中，优选地，通过在与视差方向正交的方向上执行边缘加强或边缘校正的另一个一维滤波器另外地执行边缘加强或边缘校正。另一方面，在二维滤波器的情况中不需要如此。
[0021] 在根据本发明的另一个方面的图像处理装置中，优选地，图像处理系数确定装置确定滤波器系数，其中，边缘加强或边缘校正的程度和频带中的至少一个根据视差而变化。
[0022] 在根据本发明的另一个方面的图像处理装置中，优选地，图像处理系数确定装置确定随着视差增加而降低边缘加强或边缘校正的程度的滤波器系数和随着视差增加而扩宽频带的滤波器系数中的至少一个。如果在具有大视差的模糊部分上执行过度的边缘加强或边缘校正，则这可能导致噪声的增加。因此，优选地，根据视差校正量（视差水平）改变边缘加强或边缘校正的程度或频带。
[0023] 在根据本发明的另一个方面的图像处理装置中，当对于目标像素输入由视差计算装置计算的视差时，图像处理系数确定装置根据对于视差校正的预定函数计算视差偏移量或从用于视差校正的预定查询表读取出相应的视差偏移量，且根据所计算的或所读取的视差偏移量将图像处理系数的中心从计算目标像素的中心偏移。
[0024] 优选地，根据本发明的另一个方面的图像处理装置进一步包括选择装置，所述选择装置包括用于视差校正的多个预定函数或查询表，该选择装置构造为通过用户设定来从所述多个函数或查询表选择任意函数或查询表。以此方式，能够通过用户偏好来执行视差加强或视差降低。
[0025] 在根据本发明的另一个方面的图像处理装置中，视差计算装置通过基于第一图像的目标像素的预定块尺寸的图像与第二图像之间的块匹配检测在第二图像上的与第一图像的目标像素对应的像素，且该视差计算装置计算第一图像的目标像素与第二图像上的检测到的像素之间的视差。
[0026] 在根据本发明的另一个方面的图像处理装置中，优选地：视差计算装置保持在视差检测下使用的第一图像和第二图像中的块尺寸的图像；图像处理装置具有与预定块尺寸相同尺寸的计算目标像素范围；并且图像处理装置通过使用由视差计算装置保持的第一图像和第二图像的预定块尺寸的图像和计算目标像素范围的图像处理系数来执行图像处理。
[0028] 在根据本发明的另一个方面的图像处理装置中，优选地，第一图像和第二图像是三基色的彩色图像，且图像处理装置通过对于指示三基色的彩色图像的彩色信号中的每一个使用相同的图像处理系数来执行图像处理。以此方式，能够使图像在视差校正之后不发生色移。
[0029] 在根据本发明的另一个方面的图像处理装置中，优选地，第一图像和第二图像是三基色的彩色图像，且图像处理装置通过对于从三基色的彩色图像产生的亮度信号和色差信号使用相同的图像处理系数来执行图像处理。虽然常规的边缘加强或边缘校正仅在亮度信号上执行，但在本发明中以边缘加强或边缘校正导致相移。因此，即使在色差信号上，也通过使用相同的图像处理系数来执行图像处理，从而不导致色移。
[0030] 根据本发明的另一个方面的图像处理方法，包括：图像采集步骤，采集作为立体图像拍摄的具有视差的第一图像和第二图像；视差计算步骤，计算指示在图像采集步骤中采集的第二图像的相应的像素相对于第一图像的每个像素的偏移量的视差；图像处理系数确定步骤，对于在图像采集步骤中采集的第一图像和第二图像的每个图像处理目标像素确定图像处理系数以执行边缘加强或边缘校正，且基于在视差计算步骤中计算的视差对于目标像素确定图像处理系数；和图像处理步骤，通过使用在图像处理系数确定步骤中确定的图像处理系数而对于在图像采集步骤中采集的第一图像和第二图像执行图像处理。
[0031] 根据本发明的另一个方面的图像处理程序使得计算机执行：图像采集功能，该图像采集功能采集作为立体图像拍摄的具有视差的第一图像和第二图像；视差计算功能，该视差计算功能计算指示通过图像采集步骤采集的第二图像的相应的像素相对于第一图像的每个像素的偏移量的视差；图像处理系数确定功能，该图像处理系数确定功能对于通过图像采集步骤采集的第一图像和第二图像的每个图像处理目标像素确定图像处理系数以执行边缘加强或边缘校正，且基于通过视差计算功能计算的视差而对于目标像素确定图像处理系数；和图像处理功能，该图像处理功能通过使用由图像处理系数确定功能中确定的图像处理系数而对于通过图像采集步骤采集的第一图像和第二图像执行图像处理。
[0032] 根据本发明的另一个方面的立体图像获取装置包括：单个成像光学系统；和成像元件，在该成像元件中，通过成像光学系统的不同的区域的目标图像受到光瞳划分（pupil division）且被形成，所述成像元件构造为通过在通过不同区域的目标图像上执行光电转换来采集具有不同视差的第一图像和第二图像；和以上所述的图像处理装置中的任意图像处理装置。
[0033] 因为在包括单个成像光学系统和能够采集相位差图像的成像元件的立体图像获取装置中基线长度（base length）短，所以虽然在许多情况中提供了具有小立体效果(视差)的图像，但通过本发明能够加强立体效果。
[0034] 在根据本发明的另一个方面的立体图像获取装置中，成像元件包括用于光电转换的第一组像素和第二组像素，所述第一组像素和第二组像素以矩阵方式布置在成像元件的曝光区域的大致整个表面中，第一组像素被限制在光通量的光接收方向上以仅接收通过成像光学系统的第一区域的目标图像，且第二组像素被限制在光通量的光接收方向上以仅接收通过成像光学系统的第二区域的目标图像，并且成像元件能够从第一组像素和第二组像素读出第一图像和第二图像。以此方式，能够通过一个成像元件同时采集具有不同视差的多个图像，且装置不被增大。
[0036] 根据本发明的另一个方面的打印机包括：以上所述的图像处理装置中的任意装置；和打印装置，所述打印装置构造为基于通过图像处理装置处理的第一图像和第二图像来形成用于立体视图的影印。
[0037] 根据本发明的另一个方面的立体图像播放器装置包括：以上所述的图像处理装置中的任意装置；和图像显示装置，所述图像显示装置构造为基于通过图像处理装置处理的第一图像和第二图像来显示用于立体视图的图像。
[0038] 本发明的有益效果
[0039] 根据本发明，在作为立体图像拍摄的第一图像和第二图像上通过应用图像处理系数来执行图像处理以执行边缘加强或边缘校正，所述边缘加强或边缘校正能够根据每个图像处理目标像素的原始视差来执行视差校正。因此，能够同时执行自然视差校正和边缘加强或边缘校正。在此，其中不能精确地检测视差的部分在许多情况中是平坦部分，且在平坦部分中不存在受到边缘加强或边缘校正的轮廓部分。因此，即使边缘加强或边缘校正的相位偏移，这也不太可能导致失效，且能够以较低的失效执行视差校正。附图说明
[0040] 图1是图示了应用根据本发明的图像处理装置的立体图像获取装置的实施例的前透视图。
[0041] 图2是以上所述的立体图像获取装置的后透视图。
[0042] 图3A是图示了立体图像获取装置的成像元件的构造实例的俯视图。
[0043] 图3B是图示了立体图像获取装置的成像元件（主像素）的构造实例的俯视图。
[0044] 图3C是图示了立体图像获取装置的成像元件（子像素）的构造实例的俯视图。
[0045] 图4A是以上所述的成像元件的放大的主要部分视图。
[0046] 图4B是以上所述的成像元件的放大的主要部分视图。
[0047] 图5是图示了以上所述的立体图像获取装置的内部构造的实施例的方框图。
[0048] 图6A是图示了应用于左眼图像的滤波器的视图。
[0049] 图6B是图示了应用于右眼图像的滤波器的视图。
[0050] 图6C是图示了在滤波处理之前和之后的像素值变化的曲线图。
[0051] 图6D是图示了视差校正的流程的视图。
[0052] 图7是图示了原始图像的视差和相移量之间的关系的曲线图。
[0053] 图8A是典型地图示了滤波器系数和边缘加强或边缘校正程度的曲线图。
[0054] 图8B是典型地图示了滤波器系数和边缘加强或边缘校正的程度的曲线图。
[0055] 图9是图示了根据本发明的图像处理方法的实施例的流程图。
[0056] 图10A是图示了在执行视差检测时执行滤波处理的状态的视图。
[0057] 图10B是图示了在执行视差检测时执行滤波处理的状态的视图。
[0058] 图11A是图示了（用于左眼的）二维滤波器的实例的视图。
[0059] 图11B是图示了（用于右眼的）二维滤波器的实例的视图。
[0060] 图12是图示了原始图像的视差和相移量之间的关系的曲线图。
[0061] 图13是图示了原始图像的视差和相移量之间的关系的曲线图。
[0062] 图14是图示了原始图像的视差和相移量之间的关系的曲线图。
[0063] 图15是图示了成像元件的另一个组成实例的俯视图。
[0064] 图16是描述由以上所述的成像元件拍摄立体图像的机构的视图。
具体实施方式
[0065] 在下文中，根据附图描述根据本发明的图像处理装置、图像处理方法、图像处理程序和记录介质、立体图像获取装置、便携式电子设备、打印机、立体图像播放器装置的实施例。
[0066] 图1是图示了应用根据本发明的图像处理装置的立体图像获取装置的实施例的前透视图。图2是以上所述的立体图像获取装置的后透视图。该立体图像获取装置10是数字照相机，所述数字照相机通过成像元件接收通过透镜的光，将光转换为数字信号，且将该数字信号记录在记录介质例如存储卡中。
[0067] 如在图1中图示，成像透镜12和闪光发射单元1等布置在立体图像获取装置10的前侧上。在立体图像获取装置10的上表面上布置有快门按键2、电源/模式开关3和模式拨盘4等。同时，如在图2中所图示，用于3D显示的3D液晶监视器30、变焦按键5、十字按键6、菜单/确认按键7、回放按键8和后退按键9等布置在立体图像获取装置10的背部中。
[0068] 成像透镜12以可伸缩变焦透镜形成。当照相机的模式通过电源/模式开关3设定为成像模式时，成像透镜12从立体图像获取装置10的主体（照相机本体）被拉出。闪光发射单元1将闪光朝向物体照射。
[0069] 快门按键2以所谓的“半按下”和“全按下”的两级行程式开关形成。如果在立体图像获取装置10以成像模式操作时此快门按键2被“半按下”，则自动曝光调整（AE）/自动聚焦调整（AF）操作。此外，如果在立体图像获取装置10以成像模式操作时此快门按键2被“全按下”，则执行成像。
[0070] 电源/模式开关3具有电源开关的功能以开启/关闭立体图像获取装置10的电源，且具有作为模式开关的功能以设定立体图像获取装置10的模式。电源/模式开关3以可滑动的方式布置在“关闭位置”、“回放位置”和“成像位置”之间。立体图像获取装置10通过将电源/模式开关3滑动且调整到“回放位置”或“成像位置”而被开启，且通过将电源/模式开关3调整到“关闭位置”而被关闭。另外，通过将电源/模式开关3滑动且调整到“回放位置”而设定为“回放模式”，且通过将电源/模式开关3调整到“成像位置”而设定为“成像模式”。
[0071] 模式拨盘4起如下成像模式设定装置的作用，该成像模式设定装置设定立体图像获取装置10的成像模式。通过此模式拨盘4的设定位置，立体图像获取装置10的成像模式被设定到不同的模式。例如，存在拍摄平面图像的“平面图像成像模式”、拍摄立体图像（3D图像）的“立体图像成像模式”和所拍摄移动图像的“移动图像成像模式”等。
[0072] 3D液晶监视器30是用于能够显示立体图像（左眼图像和右眼图像）的立体显示装置，作为具有通过视差屏障的各个预定指向性的指向性图像。在立体图像被输入在3D液晶监视器30中的情况中，在3D液晶监视器30的视差屏障显示层上导致了如下视差屏障，所述视差屏障形成为透光单元和遮光单元以预定间距交替地布置的模式。指示了右图像和左图像的苇片形图像片段交替地布置在视差屏障显示层的下层的图像显示表面上。在视差屏障显示层用作平面图像或用户接口显示板的情况中，在所述视差屏障显示层上不显示任何内容，且一个图像按原样被显示在下层的图像显示表面上。此外，3D液晶监视器30的模式不限制于此，且仅需将左眼图像和右眼图像以可识别的方式显示为立体图像。例如，3D液晶监视器30的模式可以是使用双凸透镜的模式，或是能够通过使用特种玻璃例如极化玻璃和液晶快门玻璃而单独地看见左眼图像和右眼图像的模式。
[0073] 变焦按键5起构造为指示变焦的变焦指示装置的作用。变焦按键5包括指示变焦到长焦侧的伸缩按键5T和指示变焦到宽角度侧的宽度按键5W。当立体图像获取装置10处于成像模式中时，如果操作此伸缩按键5T和宽度按键5W，则成像透镜12的焦距变化。此外，如果此伸缩按键5T和宽度按键5W在回放模式下操作，则扩大或缩小所播放的图像。
[0074] 十字按键6表示操作单元上下左右四个方向的输入指令，且起按键（光标移动操作装置）的作用，十字按键6从菜单屏幕选择项目，或指示从每个菜单的多个设定项目的选择。左/右键在回放模式下起进帧（前进方向/相反方向前进）按键的作用。
[0075] 菜单/确认按键7表示如下操作键，所述操作键具有菜单按键的作用以给出在3D液晶监视器30的屏幕上显示菜单的指令，且起确认按键的作用以指示选择内容等的固定和执行。
[0076] 回放按键8表示切换到回放模式的按键，以在3D液晶监视器30上显示拍摄或记录的立体图像（3D图像）或平面图像（2D图像）的静止图像或移动图像。
[0077] 后退按键9起指示取消输入操作或返回到先前的操作状态的按键的作用。
[0078] [成像光学系统和成像元件的构造实例]
[0079] 成像透镜12表示形成为具有许多透镜的成像光学系统，包括聚焦透镜和变焦透镜。光圈14形成为例如具有五个光圈叶片，并且例如光圈值（F值）以连续的或分阶段的方式从F2至F8受控制。在成像模式下，指示了物体的图像光经由成像透镜12和光圈14而被形成在成像元件16的光接收表面上。
[0080] 图3A至图3C是图示了成像元件16的构造实例的俯视图。
[0081] 成像元件16指示了用于检测具有视差的图像（相位差）的CCD（电荷耦合器件）图像传感器。成像元件16具有以矩阵方式布置的奇数行的像素（也称为“A侧像素”的主像素）和偶数行的像素（也称为“B侧像素”的子像素）。在此主像素和子像素中接受光电转换的两个区域的图像信号可被独立地读取。
[0082] 在图3B中所图示，在奇数行（1、3、5…）的成像元件16中，GRGR…的像素阵列的行和BGBG…的像素阵列的行在具有R（红）、G（绿）和B（蓝）的滤色器的像素之中交替地设置。另一方面，在偶数行（2、4、6…）的像素中，类似于奇数行，GRGR…的像素阵列的行和BGBG…的像素阵列的行交替地设置。主像素（奇数行的像素）布置为在行方向上相对于子像素（偶数行的像素）偏移1/2间距。
[0083] 图4A和图4B是起相位差图像传感器的作用的成像元件16的放大的主要部分视图。
[0084] 如在图4A中图示，遮光构件16A布置在成像元件16的主像素的光电二极管PD的前表面侧（微透镜L侧）上。另一方面，如在图4B中图示，遮光构件16B布置在子像素的光电二极管PD的前表面侧上。微透镜L和遮光构件16A和16B起光瞳划分装置的作用。如在图4A中图示，遮光构件16A遮挡了图中的主像素（光电二极管PD）的光接收表面的左半部分内的光。因此，主像素仅接收通过成像透镜12的出口光瞳的光通量的光轴的左侧上的光。此外，如在图4B中图示，遮光构件16B遮挡了图中的子像素（光电二极管PD）的光接收表面的右半部分内的光。因此，子像素仅接收通过成像透镜12的出口光瞳的光通量的光轴的右侧上的光。因此，通过出口光瞳的光通量被作为光瞳划分装置的微透镜L和遮光构件16A和16B水平地划分，且分别进入到主像素和子像素中。
[0085] 此外，对于与在通过成像透镜12的出口光瞳的光通量内的左半光通量对应的目标图像和与该光通量内的右半光通量对应的目标图像，虽然被聚焦的部分形成在成像元件16的相同位置上，但前方被聚焦或后方吧聚焦的部分分别进入到成像元件16上的不同的位置中（相移）。通过此方式，对应于左半光通量的目标图像和对应于右半光通量的目标图像可作为具有不同视差的视差图像（左眼图像和右眼图像）而被获得。在此，虽然此实施例的成像元件16是CCD图像传感器，但本发明不限制于此。例如，CMOS（互补金属氧化物半导体）式的图像传感器也是可以的。
[0086] [立体图像获取装置的内部构造]
[0087] 图5是图示了前述立体图像获取装置10的内部构造的实施例的方框图。此立体图像获取装置10在存储卡54内记录了拍摄的图像，且整个装置操作被CPU（中央处理单元）40整体地控制。
[0088] 操作单元38安装在立体图像获取装置10内，其中操作单元38包括快门按键2、电源/模式开关3、模式拨盘4、变焦按键5、十字按键6、菜单/确认按键7、回放按键8和后退按键9。来自此操作单元38的信号输入到CPU40内，并且CPU40基于输入的信号控制立体图像获取装置10的每个电路。例如，CPU40执行透镜驱动控制、光圈驱动控制、成像操作控制、图像处理控制、图像数据的记录/回放控制和3D液晶监视器30的显示控制等。用于用户设定视差校正的视差量设定单元38A安装在操作单元38内。
[0089] 当立体图像获取装置10的电源通过电源/模式开关3而被开启时，电力从未图示的电源单元供给到每个块，并且立体图像获取装置10的驱动被开始。
[0090] 通过成像透镜12和光圈14等的光通量在成像元件（CCD）16上形成，并且在成像元件16中积聚信号电荷。在成像元件16中积聚的信号电荷基于从定时产生器（未图示）添加的读出信号而被作为对应于信号电荷的电压信号读出。从成像元件16读出的电压信号被添加到模拟信号处理单元18。
[0091] 模拟信号处理单元18在来自成像元件16的电压信号输出上执行相关双采样处理（该处理降低包括在成像元件的输出信号内的噪声（特别是热噪声），即，该处理通过计算馈通部件水平（feed through component level）和包括在成像元件的每个像素的输出信号内的像素信号部件水平之间的差来采集精确的像素数据），使得每个像素的R、G和B信号被采样保持、放大且然后添加到A/D转换器20。A/D转换器20将依次输入的R、G和B信号转换为数字R、G和B信号，且将该数字R、G和B信号输出到图像输入控制器22。
[0092] 数字信号处理单元24在通过图像输入控制器22输入的数字图像信号上执行预定的信号处理，例如偏离处理、包括白平衡校正和敏感性校正的增益控制处理、伽马校正处理、同步处理、YC处理和边缘加强或边缘校正处理（边缘部分形成处理）。
[0093] 在此，从奇数行成像元件16的主像素读出的主图像数据作为左眼图像数据被处理，并且从偶数行的子像素读出的次图像数据作为右眼图像数据被处理。
[0094] 在数字信号处理单元24内被处理的左眼图像数据和右眼图像数据（3D图像数据）被输入VRAM（视频随机访问存储器）50内。记录指示了一帧的3D图像的3D图像数据的区域A和区域B包括在VRAM50中。在VRAM50中，指示了一个一帧的3D图像的3D图像数据交替地再写入到区域A和区域B中。从VRAM50的区域A和B当中，从与再写入3D图像数据的区域不同的区域读出写入的3D图像数据。
[0095] 从VRAM50读出的3D数据在视频编码器28中被编码，且输出到设置在照相机背部上的3D液晶监视器（LCD）30，并且因此，3D目标图像在3D液晶监视器30的显示屏上连续地显示。
[0096] 当执行操作单元38的快门按键2的第一级压下（半压下）时，CPU40开始AF操作和AE操作，通过透镜驱动单元36将聚焦透镜在光轴方向上移动且控制聚焦透镜，以使聚焦透镜调整到聚焦位置。
[0097] AF处理单元42指示了执行对比AF处理或相位差AF处理的部分。在执行对比AF处理的情况中，通过将左眼图像和右眼图像中的至少一种图像的预定聚焦区域内的图像的高频分量提取且将此高频分量整合，计算了指示聚焦状态的AF评估值。CPU40将成像透镜12中的聚焦透镜移动到AF评估值变成最大值的位置中。以此，执行了AF控制。此外，在执行相位差AF处理的情况中，检测与左眼图像和右眼图像的预定聚焦区域内的主像素和子像素对应的图像之间的相位差，并且基于指示此相位差的信息来计算离焦量。AF控制通过控制成像透镜12内的聚焦透镜来执行，使得该失焦量变成零。
[0098] CPU40使变焦透镜根据来自变焦按键5的变焦指令通过透镜驱动单元36执行在光轴方向上的前后操作，且改变焦距。
[0099] 此外，从A/D转换器20在快门按键2半压下时的图像数据输出合并在AE检测单元44内。
[0100] 在AE检测单元44中，在整个屏幕中的G信号被积分或者在屏幕的中央部分和周边部分之间被不同地加权的G信号被积分，并且将该积分值输出到CPU40。CPU40根据来自AE检测单元44输入的积分值计算物体的亮度（成像EV值），且基于此成像EV值来根据预定程序图确定光圈14的F值和成像元件16的电子快门的快门速度。
[0101] 在此，在图5中，“46”示出了已知的面部检测电路，该面部检测电路以视图的成像角度检测人员的面部且设定包括面部的区域为AF区域和AE区域（例如，日本专利申请公开No.09-101579）。
[0102] 此外，“47”示出了ROM（EEPROM（电子可擦写和可编程只读存储器）），所述ROM除了存储照相机控制程序、成像元件16的缺陷信息和用于图像处理等的各种参数和表格之外，还存储了根据本发明校正左眼图像和右眼图像的立体效果的图像处理程序、用于滤波器系数计算的计算公式或查询表、根据视差或视差加强程度的计算公式的参数或确定查询表的信息。根据本发明的图像处理程序等在后文中详细描述。
[0103] 通过将快门按键2半按下，结束了AE操作和AF操作，并且当执行快门按键的第二级按下（全按下）时，将响应于此压下与从A/D转换器20输出的主像素和子像素对应的左视点图像（主图像）和右视点图像（次图像）的两个图像的图像数据从图像输入控制器22输入到未图示的存储器（SDRAM（同步动态随机访问存储器））内，且该图像数据其临时存储。
[0104] 临时存储在存储器内的两种图像的图像数据被数字信号处理单元24任意地读出。数字信号处理单元24执行预定信号处理，该预定信号处理包括同步处理（由于主滤色器的阵列而插入色彩信号的空间间隙且将色彩信号以同步方式转换的处理），根据本发明的视差校正和边缘加强或边缘校正的图像处理和YC处理（将R、G和B信号转换为亮度和色差信号且生成亮度数据和色差数据的处理）。受到YC处理的图像数据（YC）再次存储在存储器内。
[0105] 存储在存储器内的两种图像的YC数据被输出到压缩/解压处理单元26，且在执行预定压缩处理例如JPEG（联合图像专家小组）之后，再次被存储在存储器内。从存储在存储器内的两种图像的YC数据（压缩数据）生成多图片文件（MP文件或多图像文件：以多个图像被联接的格式的文件）。MP文件通过媒体控制器52被记录在存储卡54内。
[0106] 在此，立体图像获取装置10不仅能够采集立体图像（3D图像），而且能够采集平面图像（2D图像）。
[0107] [视差校正和边缘加强或边缘校正]
[0108] 然后，描述根据本发明的实施例的视差校正和边缘加强或边缘校正的图像处理方法的原理。
[0109] 图6A至图6D图示了如下实例，该实例检测左眼图像和右眼图像的相应的点且通过执行相位根据该相应的点的相位差（视差）而被偏移的滤波来加强视差。
[0110] 大致流程如下：[1]检测图像的相应的点且测量视差。[2]在每个局部部分设定应用于左眼图像和右眼图像的相移图像处理（滤波）。[3]执行滤波以使相位偏移。
[0111] [1]检测图像的相应的点且测量视差。
[0112] 作为检测右侧图像和左侧图像的相应的点的方法，已知存在相关方法等。例如，可通过扫描在x方向上的15个像素和在y方向上的1个像素的核心和发现像素值的差的平方根为最小的部分来执行所述方法。视差测量结果可通过随着变得较远而变得较亮且随着变得较近而变得较暗的黑白图像（距离图像）来表示，如在图6D中图示。可以在子像素的单元中进行视差测量，且详细方法在Arai等人的“相关函数和副像素估计方法的块匹配（日本研究报告的信息处理学报，2004年卷，40号(CVIM-144)，33至40页）”中描述。
[0113] 在此，通常在视差测量中存在如下的问题。
[0114] *在视差大的情况中可能发生误检测。
[0115] *对于平坦部分（在平坦部分中，差的平方根变小）之间的相应的点，难以检测相应的点。
[0116] 然而，在包括用于相位差检测的单个成像透镜12和成像元件16的单目立体图像获取装置10中，原始相位差非常小。因此，先前的错误检测通常较小。此外，即使在随后的错误检测中，因为初始是平坦部分，所以可认为即使相应的点检测失效且相位偏移，对于图像质量的最终影响也是低的。
[0117] [2]在每个局部部分设定应用于左眼图像和右眼图像的相移图像处理（滤波）。
[0118] 例如，在左眼图像的某一部分内，如果希望将相位仅偏移一个像素，则仅需应用具有滤波的中心被有意偏移1个像素的滤波器系数（图像处理系数）的滤波器F（FL、FR），如在图6A和图6B中所图示。在此作为硬件的滤波器F的数目可以是1，且对于各个图像的滤波器系数在左眼图像的滤波处理时设定或在右眼图像的滤波处理时设定。以此，通过滤波器FL或FR的滤波处理被相继地执行。
[0119] 因为此滤波器F是包括高通滤波器的直流分量滤波器，所以能够同时执行边缘加强或边缘校正和相移。在此，在图6A和图6B中图示的滤波器FL和FR具有1×7像素的核心尺寸（计算目标像素范围）。对于滤波器FL和FR中的每一个的滤波器系数，滤波器系数的中心从核心中心在相反的方向上互相偏移。在图6A和图6B中图示的实例中，滤波器FL的滤波器系数的中心在向左的方向上偏移一个像素，且滤波器FR的滤波器系数的中心在向右的方向上偏移一个像素。
[0120] 通过滤波器FL和FR的相移量μ可通过在图7中图示的输入/输出函数确定。所存在的视差[像素]的符号被提供，且在预定像素数范围（±P1）内的视差γ被应用斜率κ（>0）加强。对于超过预定像素数范围（±P1）的视差γ，使相移量μ为常数，使得建立斜率κ（=0）。在对于在视差测量结果中存在错误的情况的准备中，对于超过预定值±P1[像素]的视差γ，将斜率κ调整为0且使相移量为常数。
[0121] 在此，在图7中的实线曲线图图示了相对于左眼图像的相移量，其中比被聚焦的物体（视差为0）远的物体的视差量的符号为正，而比被聚焦的物体近的物体的视差量的符号为负。此外，在向右的方向上的相移量被假定是正，而在向左的方向上的相移量被假定是负。此外，如通过图7中的虚线所图示，相对于右眼图像的相移量的符号与相对于左眼图像的相移量的符号相反。
[0122] [3]执行滤波以使相位偏移。
[0123] 相移（包括边缘加强或边缘校正）通过由滤波器FL和FR进行的滤波处理执行。即，相对于在左眼图像中的相应的点检测所为执行的目标像素（标记像素）的1×7像素的像素组和滤波器FL受到卷积操作（滤波处理）。因此，如在图6C中图示，标记像素受到边缘加强或边缘校正，且相位在向左的方向上偏移一个像素。类似地，当相对于右眼图像的标记像素的1×7像素的像素组对应于左眼图像的标记像素和滤波器FR受到卷积操作时，标记像素受到边缘加强或边缘校正，且相位在向右的方向上偏移一个像素。
[0124] 以此，左眼图像的标记像素和右眼图像的与左眼图像的标记像素对应的标记像素受到边缘加强或边缘校正，像素位置被放大两个像素且视差被加强。
[0125] 通过如上所述在左眼图像和右眼图像上以相移滤波器FL和FR执行滤波处理，能够以较低失效地执行视差加强且同时执行边缘加强或边缘校正。
[0126] [边缘加强或边缘校正和相移滤波器]
[0127] 根据本发明的实施例的滤波器同时执行了视差加强和边缘加强或边缘校正。通常，通过单目3D图像获取装置拍摄的左眼图像和右眼图像的特征是具有较大视差的部分变得较模糊。在模糊的部分中，存在过度的边缘加强或边缘校正导致噪声增加的可能性。
[0128] 因此，如果边缘加强或边缘校正的程度根据视差水平被弱化，则能够降低在模糊的部分内的噪声且使清晰的部分更清晰。
[0129] 例如，为根据视差水平校正边缘加强或边缘校正的程度，例如可使用以下方法。
[0130] 首先，考虑频率特性能够通过如下[等式1]表示的滤波。
[0131] [等式1]
[0132] （滤波器系数的频率特性）
[0133] =（直流分量）+α×（HPF分量）
[0134] =（直流分量）+α×（（直流分量）-（LPF分量））
[0135] 当待偏移的相移量被假定为μ时，LPF分量被假定为标准偏差σ的高斯分布并且上述[等式1]受傅里叶变换支配，滤波器系数是如下等式。
[0136] [等式2]
[0137]
[0138] （此处，δ是德尔塔函数）
[0139] 当滤波器系数典型地通过曲线表示时，这在图8A中图示。可将边缘加强或边缘校正的程度控制到α，且将频率带控制到σ。通过将α应用于原始图像的视差[像素]函数（例如，见图8B），可根据视差控制HPF的水平。
[0140] 如上所述，通过根据视差水平改变边缘加强或边缘校正的程度，能够降低模糊的部分内的噪声且使得清晰的部分更清晰。
[0141] [图像处理方法的实施例]
[0142] 图9是图示了根据本发明的图像处理方法的实施例的流程图。
[0143] 在图9中，首先，采集在视差校正之前的左眼图像和右眼图像（步骤S10）。然后，设定左眼图像的所有像素的处理目标像素（标记像素（i,j））（步骤S12）。例如，在左眼图像的图像尺寸为m×n像素的情况中，目标像素从像素（1,1）顺序地改变到像素（m,n）且然后该重复步骤。
[0144] 在步骤S14中，提取基于在步骤S12中设定的标记像素（i,j）的预定块尺寸[Cx×Cy][像素]的像素组A1。
[0145] 在步骤S16中，基于提取的像素组，从右眼图像搜寻具有与像素组A1匹配的特征像素的像素组A2。
[0146] 即，如在图10A中图示，评估从左眼图像提取的像素组（块）A1和右眼图像的块之间的匹配度。当块之间的匹配度为最大值时在右眼图像中的基准像素块A2被认为是右眼图像的与左眼图像的标记像素对应的相应点的像素。
[0147] 作为评估块匹配方法（SSD块匹配方法）中的块之间的块之间的匹配度的函数，例如存在使用每个块（SSD）中的像素的亮度差的平方根的函数。
[0148] 在此SSD块匹配方法中，对于两个图像的块内的像素f（i,j）和g（i,j）中的每一个，执行如下等式的计算。
[0149] [等式3]
[0150]
[0151] 以上所述的[等式3]的计算在右眼图像上在预定搜寻区域内移动块位置时而被执行，并且当SSD值变成最小值时在搜寻区域内的位置中的像素被假定为搜寻目标像素。
[0152] 此外，检测如下视差γ，该视差γ指示在左眼图像上的标记像素的位置和在右眼图像上的被搜寻的相应的像素之间的像素偏移量。
[0153] 随后，计算与视差γ对应的相移滤波器FL或FR（步骤18）。即，如在图7中图示，计算对应于视差γ的相移量μ，并且通过以上所述的[等式2]基于此相移量μ、事先设定的标准偏差σ和边缘加强或边缘校正的强度函数α（见图8B）计算滤波器FL或FR的滤波器系数。在此，虽然在此实施例中，滤波器FL或FR的滤波器系数通过在[等式2]中的计算来计算，但本发明不限制于此。例如，可事先准备存储了对应于视差γ（或相移量μ）的滤波器系数的组的查询表（LUT）等，基于视差γ等读出相应的滤波器系数的组且确定滤波器FL或FR。
[0154] 随后，通过在从左眼图像提取的像素组（块）上基于标记像素（i,j）和其核心尺寸与此块尺寸相同的滤波器FL执行卷积操作来计算标记像素（i,j）的像素值。类似地，通过在滤波器FR和像素组（块）上基于右眼图像的对应于被块匹配检测到的标记像素（i,j）的相应的点执行卷积操作来计算右眼图像的相应的点的像素值（步骤S20，图10B）。此外，在滤波处理之后左眼图像的标记像素的像素值和在滤波处理之后右眼图像的相应的点的像素的像素值被布置（映射）在仅从原始位置偏移相移量γ的位置上。
[0155] 在此，例如在块尺寸Cx×Cy被假定是7×7像素的情况中，滤波器FL或FR的核心尺寸被设定为7×7像素，如在图11A和图11B中图示。
[0156] 此外，左眼图像的图像组（块）和检测到相应的点且通过块匹配方法检测到视差γ的右眼图像的像素组（块）不被释放，且滤波处理通过滤波器FL或FR照样执行。以此方式，能够降低存储器利用且加速处理。
[0157] 然后，确定左眼图像的所有像素的滤波处理是否完成（步骤S22）。在未完成该处理的情况中（在“否”的情况中），前进到步骤S12，标记像素移动且在步骤S12至S22中的处理重复。在完成该处理的情况中（在“是”的情况中），本图像处理完成。
[0158] [通过滤波的相移的另一个实施例]
[0159] 图12至图14是图示了每个原始图像视差和相移量（输入/输出函数）之间的关系的其他实施例的曲线图。
[0160] 在图7中图示的实施例中，视差加强的程度是恒定的，而与视差的符号无关（输入/输出曲线是点对称的）。然而，视差加强的程度可在距交点（视差0）的近侧和相对于交点的远侧之间变化，以更有效地加强立体效果。
[0161] 通常，因为与远侧相比，视差可提供在距交点的近侧上，所以考虑为有效的是在提供有视差的侧上的视差被更大地加强。更具体地，仅需在比交点短的距离（负相移）上优先考虑输入/输出函数。
[0162] 例如，在左眼图像中加强了在比交点短的距离上的视差的情况中，因为相移量的符号为负，所以可提供为在负侧上的加强程度大于在正侧上的强度程度的函数，如图12中的实线所图示。类似于右眼图像，在短距离中的视差加强程度被加强，如在图12中的虚线图示的曲线。
[0163] 同时，因为在单目3D图像中，视差较不可能提供在与近侧相比距交点的远侧上，所以在视差较不可能提供的远侧上的视差可被加强。在此情况中，仅需提供输入/输出函数，如在图13的曲线图中图示。
[0164] 在以上所述的实施例中，虽然已描述了加强了原始图像的视差的相移实例，但是例如考虑了在微距摄影时在比交点近的距离中视差变得过强的情况。
[0165] 在此情况中，提供了执行了相移的输入/输出函数，以降低原始图像的视差，如在图14的曲线图中图示。即，虽然在左眼图像中比交点近的距离中视差为负，但在降低此视差的情况中相移在正侧上被执行。
[0166] 在此，根据视差的水平校正原始图像的视差的相移量不限制于以上实施例，且多种输入/输出函数是可以的，如在非线性校正的情况中。
[0167] 此外，优选地，准备多个函数或LUT以用于视差校正，且在操作单元38的视差量设定单元38A中选择函数或LUT中的任一个。据此，视差强度的校正程度可通过用户设定来执行。
[0168] [执行视差校正的图像]
[0169] 执行前述视差校正的图像例如是RGB的同步色彩图像中的每一个。执行视差校正的图像处理通过使用相同的滤波器FL和FR而在RGB的色彩图像中的每一个上执行了视差校正。
[0170] 即，虽然RBG的三中色彩图像作为左眼图像和右眼图像在数字信号处理单元24中例如被同步处理所采集，但如在图9中图示的视差校正基于G图像执行。另外，即使对于R图像和B图像，通过使用在相同的像素位置中的G图像上的执行了视差校正的滤波器FL和FR来执行滤波处理。
[0171] 以此，即使通过滤波处理执行了相移，但RGB的每个像素移动了相同的相移量。因此，不生成色移。
[0172] 此外，执行视差校正的图像处理可在亮度数据Y和在数字信号处理单元24内受到YC处理的色差数据Cr和Cb上而被执行。即使在此情况中，例如基于亮度数据Y执行如在图9中图示的视差校正，并且滤波处理甚至在色差数据Cr和Cb上通过使用在相同的像素位置中的亮度数据Y上执行了视差校正的滤波器FL和FR而被执行。
[0173] [成像元件的另一个构造实例]
[0174] 图15是图示了成像元件16’的另一个构造实例的视图。
[0175] 在成像元件16’中，四个光电二极管A、B、C和D二维地布置，布置为覆盖四个光电二极管的一个微透镜ML’被假定是一个单元（一个微透镜中的四个像素）且此单元二维地布置。单元内的每个光电二极管可独立地被读取。
[0176] 如在图15中图示，在成像元件16’的奇数行（1、3、5…）中，GRGR…的像素阵列的行在具有滤色器R（红）、G（绿）和B（蓝）的像素之中提供，而在偶数行（2、4、6…）的像素中，提供了BGBG…的像素阵列的行。
[0177] 图16是描述了通过成像元件16’拍摄立体图像的机构的视图。
[0178] 在成像元件16’在水平方向上成像（通常的侧向成像）的情况中，每个单元的光电二极管A和C的合成是仅通过出口光瞳的光通量的光轴的左侧被接收的主像素，且光电二极管A和C的合成图像是左眼图像。此外，每个单元的光电二极管B和D的合成是仅通过出口光瞳的光通量的光轴的右侧被接收的子像素，且光电二极管B和D的合成图像是右眼图像。
[0179] 在成像元件16’在竖直方向上成像（将立体图像获取装置10旋转90度且拍摄图像的所谓的纵向成像）的情况中，每个单元的光电二极管A和B的合成是仅通过出口光瞳的光通量的光轴的左侧被接收的主像素，且光电二极管A和B的合成图像是左眼图像。此外，每个单元的光电二极管C和D的合成是仅通过出口光瞳的光通量的光轴的右侧被接收的子像素，且光电二极管C和D的合成图像是右眼图像。
[0180] [其它情况]
[0181] 在本实施例中，虽然边缘位置的相通过使用滤波器系数的滤波处理而被偏移以执行边缘加强或边缘校正，但可通过从图像提取边缘且根据视差使边缘信号的附接位置偏移来校正视差。
[0182] 此外，在本实施例中，虽然已描述了单目立体图像获取装置10，但本发明甚至也可应用于双目立体图像获取装置。
[0183] 此外，立体图像获取装置可记录不执行图像处理的3D原始数据，且当3D原始数据受到通过外部图像处理装置的原始扩展时，根据执行本发明的视差校正。类似地，视差校正可通过使用安装了根据本发明的图像处理程序的个人计算机来执行。
[0184] 此外，本发明包括具有以上所述的立体图像获取装置的照相手机、个人数字助理（PDA）和便携式电子装置例如便携式游戏装置。
[0185] 此外，本发明也可应用于包括以上所述的图像处理装置的打印机，且此打印机基于多个通过以上所述的图像处理装置受到视差校正的图像生成用于立体视图的打印数据，且基于打印数据通过打印引擎在柱状透镜片上打印了用于立体图示的影印。
[0186] 此外，本发明甚至也可应用于包括以上所述的图像处理装置的立体图像播放器装置，且此立体图像播放器装置在3D显示器上基于由图像处理装置处理的第一图像和第二图像来显示用于立体图示的图像。
[0187] 此外，本发明可作为使计算机执行根据前述实施例的处理的程序而提供，且可作为存储程序的（非瞬时性）存储介质提供。
[0188] 此外，本发明不限制于以上所述的实施例，且不言而喻，在不脱离本发明的精神的情况下，可进行各种变化。
[0189] 附图标号列表:
[0190] 10 立体图像获取装置
[0191] 12 成像透镜
[0192] 14 光圈
[0193] 16、16’ 成像元件
[0194] 16A、16B 遮光构件
[0195] 24 数字信号处理单元
[0196] 38 操作单元
[0197] 38A 视差量设定单元
[0198] 40 中央处理单元（CPU）
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种耕地现场边云协同的三维重建方法 | 2020-05-08 | 452 |
| 一种列车触摸屏控制器 | 2020-05-11 | 642 |
| 机器人系统、机器人的校准治具、机器人的校准方法 | 2020-05-08 | 795 |
| 用于修改立体声信号的立体声像的音频信号处理装置和方法 | 2020-05-11 | 12 |
| 一种基于人工智能的服务器巡检方法及系统 | 2020-05-08 | 862 |
| 一种带手势控制视觉检测功能的油烟机及降噪方法 | 2020-05-11 | 808 |
| 相机标定系统以及方法 | 2020-05-08 | 186 |
| 一种自动调节空调制冷量、制热量的方法及空调 | 2020-05-08 | 633 |
| 一种放射治疗系统 | 2020-05-08 | 713 |
| 成像光学膜及装饰膜 | 2020-05-08 | 1019 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
立体像对热门专利
QQ群二维码
意见反馈
意见反馈