用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法专利检索-实施例专利权专利检索查询-专利查询网

用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法

阅读：650发布：2023-01-25

专利汇可以提供用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法专利检索，专利查询，专利分析的服务。并且公开了用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法。根据本发明的实施例的系统可以在使用阵列照相机捕捉的图像中执行视差检测和校正。由于照相机的视点不同，视差导致对象在场景的所捕捉的图像内的位置变化。根据本发明的实施例的方法提供由于阵列中的不同照相机之间的视差而导致的精确量的像素视差，以使得当执行超分辨率处理时适当的场景相关的几何移位可以应用于所捕捉的图像的像素。在几个实施例中，检测视差涉及使用竞争图像子集估计参考视点的图像中的像素位置的深度。在若干个实施例中，产生深度估计考虑多个光谱通道中的像素的相似性。在某些实施例中，产生深度估计涉及产生指示深度估计的可靠性的置信图。，下面是用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法专利的具体信息内容。

权利要求

1.一种使用由图像处理应用程序配置的处理器根据光场估计到场景内的对象的距离的方法，所述光场包括从不同视点并且在多个颜色通道内捕捉的图像集合，所述方法包括：
相对于从不同视点并且在多个颜色通道内捕捉的图像集合的视点选择参考视点；
规范化所述图像集合以提高来自所述图像集合的、在所述多个颜色通道的特定颜色通道中相应的像素的相似性；
使用所述图像集合的至少一个子集来确定对于参考视点的图像中的像素位置的深度估计，其中对于参考视点的图像中的给定像素位置的深度估计通过以下步骤确定：
基于多个深度处的预期视差，识别所述图像集合的所述至少一个子集中的与参考视点的图像中的所述给定像素位置相应的像素；
在从所述多个颜色通道中选择的多个颜色通道的每一个颜色通道中，比较在所述多个深度中的每个深度处在所选择的颜色通道中被识别为相应的像素的相似性，以及从所述多个深度中选择所述多个颜色通道中的每个颜色通道中所识别的相应像素具有最高相似度的深度作为对于参考视点的图像中的给定像素位置的深度估计。
2.根据权利要求1所述的方法，其中，成本函数被用于确定在所述多个颜色通道中被识别为相应的像素的相似性。
3.根据权利要求2所述的方法，其中，确定相应像素的相似性还包括对所计算的成本进行空间滤波。
4.根据权利要求3所述的方法，其中，所计算的成本的空间滤波使用滤波器，所述滤波器选自由以下组成的组：
固定系数滤波器；和
边缘保持滤波器。
5.根据权利要求4所述的方法，其中，从所述多个深度中选择所述多个颜色通道中的每个颜色通道中所识别的相应像素具有最高相似度的深度作为对于参考视点的图像中的给定像素位置的深度估计还包括：从所述多个深度中选择所述多个颜色通道中的每个颜色通道中所识别的相应像素的空间滤波成本函数指示最高相似水平的深度。
6.根据权利要求2所述的方法，其中，所述成本函数包含来自所述多个颜色通道的像素的L1范数。
7.根据权利要求2所述的方法，其中，所述成本函数包含来自所述多个颜色通道的像素的L2范数。
8.一种图像处理系统，包括
处理器；
存储器，其包含从不同视点并且在多个颜色通道内捕捉的图像集合以及图像处理应用程序；
其中所述图像处理应用程序将所述处理器配置为：相对于从不同视点并且在多个颜色通道内捕捉的图像集合的视点选择参考视点；
规范化所述图像集合以提高所述图像集合的、在所述多个颜色通道的特定颜色通道中相应的相应像素的相似性；
使用所述图像集合的至少一个子集来确定对于参考视点的图像中的像素位置的深度估计，其中对于参考视点的图像中的给定像素位置的深度估计通过以下步骤确定：
基于多个深度处的预期视差，识别所述图像集合的所述至少一个子集中的与参考视点的图像中的所述给定像素位置相应的像素；
在从所述多个颜色通道中选择的多个颜色通道的每一个颜色通道中，比较在所述多个深度中的每个深度处在所选择的颜色通道中被识别为相应的像素的相似性，以及从所述多个深度中选择所述多个颜色通道中的每个颜色通道中所识别的相应像素具有最高相似度的深度作为对于参考视点的图像中的给定像素位置的深度估计。
9.根据权利要求8所述的图像处理系统，其中，所述图像处理应用程序还将所述处理器配置为：
通过以下步骤来确定参考视点的图像集合中的像素的可见性：
使用最终深度估计来识别所述图像集合中的相应像素；以及
当给定图像中的像素未能满足基于所述像素所属的颜色通道内的相应像素的比较确定的光度相似性标准时，确定所述像素在所述参考视点中不可见；以及
使用所述深度估计来融合所述图像集合的像素以通过下述步骤创建分辨率大于所述图像集合中的图像的分辨率的融合图像：
使用可见性信息识别所述图像集合的在参考视点的图像中可见的像素；
将场景相关的几何移位应用于所述图像集合的在参考视点的图像中可见的所述像素以将所述像素移位到参考视点中，其中，所述场景相关的几何移位使用最终深度估计而被确定；以及
融合所述图像集合的移位后的像素以创建参考视点的分辨率大于所述图像集合中的图像的分辨率的融合图像。
10.根据权利要求8所述的图像处理系统，其中，所述图像处理系统是阵列相机的一部分，所述阵列相机还包括具有不同场景视点的多个相机，并且所述图像处理应用程序将所述处理器配置为使用所述多个相机捕捉所述多个图像。

说明书全文

用于使用阵列照相机捕捉的图像中的视差检测和校正的系统

和方法

[0001] 本申请是申请日为2013年08月21日、申请号为201380048735.5、发明名称为“用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法”的中国发明专利申请的分案申请。

技术领域

[0002] 本发明总地涉及数字照相机，更具体地讲，涉及使用阵列照相机捕捉的图像中的视差的检测和校正。

背景技术

[0003] 由于每个眼睛的视场不同，所以场景的双目观看创建该场景的两个略有不同的图像。称之为“双目视差(或视差)”的这些差别提供可以用于计算视觉场景中的深度的信息，从而提供深度知觉的主要手段。与立体深度知觉相关联的深度印象还可以在其他条件下获得，诸如当观察者在移动时仅用一个眼睛观看场景时。观察到的视差可以用于获得关于场景中的对象的深度信息。机器视觉中的类似原理可以用于收集深度信息。

[0004] 分隔一段距离的两个或更多个照相机可以拍摄同一场景的图片，并且可以通过移动两个或更多个图像的像素以找到这些图像的匹配的部分来比较所捕捉的图像。对象在不同照相机视图之间的移位量被称为视差，其与到对象的距离成反比。检测到对象在多个图像中移位的视差研究可以用于基于照相机与所涉及的照相机的焦距之间的基线距离计算到对象的距离。使用两个或更多个照相机产生立体三维图像的方法常被称为多视图立体。

[0005] 多视图立体通常可以就下列组件进行描述：匹配标准、合计方法和胜者选择。匹配标准用作测量不同图像上的像素或区域的相似性的手段。典型的误差度量是图像之间的RGB或强度差值(可以对这些差值求平方值，或者可以使用鲁棒的度量)。一些方法通过计算局部误差表面的分析最小值或者使用基于梯度的技术来计算亚像素视差。一种方法涉及获取一个图像中的像素与另一个图像中的插值强度函数之间的最小差值。合计方法是指计算或累积搜索空间上的误差函数的方式。最直接的方式是在对于多个照相机规定的视差空间上应用固定大小的搜索窗口。其他方式使用自适应窗口、可移位窗口或多个掩膜。另一组方法在3D空间中累积投票，例如，空间扫描方法和体素着色及其变型。一旦计算了初始或合计匹配成本，就决定了对于每个像素正确的视差分配。局部方法在每个像素处独立地这样做，通常是通过拾取具有最小合计值的视差。协作/竞争算法可以用于迭代地决定最佳分配。动态程序设计可以用于计算与边缘特征相关联的深度或整体强度相似性匹配。这些方法可以利用沿着核线的一维排序约束来处理深度间断之处和不匹配区域。又一类方法将立体匹配公式化为可以通过诸如模拟退火和图割之类的全局方法求解的全局优化问题。

[0006] 最近，研究使用跨越更宽的合成孔径的多个照相机捕捉光场图像(例如，斯坦福多照相机阵列)。通常被定义为表征在场景中的所有点处来自所有方向的光的4D函数的光场可以被解释为场景的二维(2D)图像的2D集合。由于实际的约束，通常难以同时捕捉场景的形成光场的2D图像的集合。然而，每个照相机捕捉图像数据的时间越接近，光强度(例如，荧光灯的否则察觉不到的闪烁)或对象运动的变化将越不可能导致所捕捉的图像之间的时间相关的变化。涉及捕捉光场并且重新对该光场进行采样的处理可以用于模拟孔径大的照相机。例如，指向场景的M×N个照相机的阵列可以模拟如该阵列那么大的透镜的聚焦效果。以这种方式使用照相机阵列可以被称为合成孔径摄影。

[0007] 虽然立体匹配最初被公式化为从一对图像恢复3D形状，但是使用照相机阵列捕捉的光场还可以用于使用与立体匹配中所使用的那些算法类似的算法重构3D形状。随着更多图像被添加，挑战是部分被遮挡区域(像素在一些区域中可见，但不是在所有图像中都可见)的普遍性也提高。

发明内容

[0008] 根据本发明的实施例的系统和方法可以在使用阵列照相机捕捉的图像中执行视差检测和校正。本发明的用于使用用图像处理应用程序配置的处理器根据包括从不同视点捕捉的图像集合的光场估计到场景内的对象的距离的方法的实施例包括：相对于从不同视点捕捉的图像集合的视点选择参考视点；规范化所述图像集合以提高所述图像集合内的相应像素的相似性；并且使用所述图像集合的至少一个子集来确定对于参考视点的图像中的像素位置的初始深度估计，其中，对于参考视点的图像中的给定像素位置的初始深度估计通过下述步骤确定：基于多个深度处的预期视差，识别所述图像集合的所述至少一个子集中的与参考视点的图像中的所述给定像素位置相应的像素；比较在所述多个深度中的每个深度处识别的相应像素的相似性；并且从所述多个深度选择其中所识别的相应像素具有最高相似性程度的深度作为对于参考视点的图像中的所述给定像素位置的初始深度估计。另外，所述方法包括：使用初始深度估计来识别所述图像集合中的相应像素；比较图像集合中的相应像素的相似性以检测不匹配像素。当初始深度估计没有导致检测到图像集合中的相应像素之间的不匹配时，选择初始深度估计作为对于参考视点的图像中的像素位置的当前深度估计。当初始深度估计导致检测到图像集合中的相应像素之间的不匹配时，通过下述步骤选择对于参考视点的图像中的像素位置的当前深度估计：使用图像集合的多个不同子集确定候选深度估计集合；基于候选深度估计来识别图像集合的所述多个子集中的每个子集中的相应像素；并且选择具有最相似的相应像素的子集的候选深度作为对于参考视点的图像中的像素位置的当前深度估计。

[0009] 在进一步的实施例中，相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括从由下列视点构成的集合选择视点：所述图像中一个图像的视点；以及虚拟视点。

[0010] 在另一实施例中，通过将场景相关的移位应用于参考视点的图像中的像素位置来确定所述图像集合中的给定图像中的与参考视点的图像中的像素位置相对应的像素，所述场景相关的移位基于下列方面而确定：参考视点的图像中的像素位置的深度估计；以及给定图像的视点与参考视点之间的基线。

[0011] 在更进一步的实施例中，所述图像集合的用于确定候选深度估计集合的子集基于所述图像集合中的图像的视点而选择，以利用有可能导致至少一个子集的自然场景的可见性特性的模式，在所述至少一个子集中，参考视点的图像中的给定像素位置在所述子集中的每个图像中是可见的。

[0012] 在又一实施例中，所述图像集合是在多个颜色通道内捕捉的；相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括：选择图像之一作为参考图像，并且选择参考图像的视点作为参考视点；并且所述图像集合的用于确定候选深度估计集合的子集被选择为使得包含参考图像的颜色通道中的相同数量的图像出现在每个子集中。

[0013] 在更进一步的实施例中，所述图像集合的用于确定候选深度估计集合的子集还被选择为使得在每个子集中存在在不包含参考图像的颜色通道中的至少两个图像。

[0014] 又一实施例还包括通过下述步骤确定所述图像集合中的像素从参考视点来看的可见性：使用当前深度估计识别所述图像集合中的相应像素；并且当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时，确定所述像素在参考视点的图像中是不可见的。

[0015] 再次在进一步的实施例中，相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括：选择所述图像集合中的图像之一作为参考图像，并且选择参考图像的视点作为参考视点；并且当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时确定所述像素在参考视点的图像中不可见的步骤还包括将所述给定图像中的所述像素与参考图像中的相应像素进行比较。

[0016] 再次在另一实施例中，光度相似性标准包括至少基于所述给定图像中的所述像素和参考图像中的像素中的至少一个的强度而改动的相似性阈值。

[0017] 在进一步的另外的实施例中，光度相似性标准包括根据参考图像的相应像素和与参考图像的该像素最相似的相应像素之间的光度距离而改动的相似性阈值。

[0018] 在另一另外的实施例中，光度相似性标准包括基于参考图像中的像素的信噪比而改动的相似性阈值。

[0019] 在更进一步的实施例中，通过下述步骤来近似基于信噪比改动相似性阈值：缩放参考图像的相应像素和与参考图像的该像素最相似的相应像素的光度距离，并且应用偏移来获得适当的阈值。

[0020] 在又一实施例中，所述图像集合包括在多个颜色通道中捕捉的图像，并且参考图像是在第一颜色通道中捕捉的图像，所述给定图像在第二颜色通道中；当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时确定所述像素在参考视点中不可见的步骤还包括：选择第二颜色通道中的在其中参考视点的图像中的相应像素可见的图像作为第二颜色通道的参考图像；并且将所述给定图像中的所述像素与第二颜色通道的参考图像中的相应像素进行比较。

[0021] 再次在更进一步的实施例中，相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括：选择虚拟视点作为参考视点；并且当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时确定所述像素在参考视点的图像中不可见的步骤还包括：选择与所述虚拟视点相邻的图像作为参考图像；并且将所述给定图像中的所述像素与参考图像中的相应像素进行比较。

[0022] 再次在又一实施例中，基于所选图像中的与所述给定图像的在参考视点的图像中可见的像素相对应的像素来选择与虚拟视点相邻的图像。

[0023] 更进一步的实施例还包括通过下述步骤基于所述图像集合中的像素从参考视点来看的可见性更新对于参考视点的图像中的给定像素位置的深度估计：使用在其中参考视点的图像中的给定像素位置基于对于所述给定像素的当前深度估计而被确定为可见的图像，产生所述图像集合的更新子集；基于多个深度处的预期视差，识别所述图像集合的更新子集中的与参考视点的图像中的所述给定像素位置相对应的像素；比较图像的更新子集中的在所述多个深度中的每个深度处识别的相应像素的相似性；并且从多个深度选择其中所述图像集合的更新子集中的所识别的相应像素具有最高相似性程度的深度，作为对于参考视点的图像中的所述给定像素位置的更新的深度估计。

[0024] 再次在又一实施例中，所述图像集合的子集是图像对；并且所述图像集合的更新子集包括至少三个图像。

[0025] 在更进一步的另外的实施例中，规范化所述图像集合以提高所述图像集合内的相应像素的相似性的步骤还包括：利用校准信息来校正所述图像集合中的图像中的光度变化和场景无关的几何失真；以及所述图像集合中的图像的修正。

[0026] 在又一另外的实施例中，规范化所述图像集合以提高所述图像集合内的相应像素的相似性的步骤还包括：重新对所述图像进行采样以提高所述图像集合中的相应像素的相似性；并且应用于所述图像的场景无关的几何校正是以亚像素分辨率确定的。

[0027] 在更进一步的另外的实施例中，利用校准信息校正光度变化的步骤还包括执行选自由下列构成的组的规范化处理中的任何一个：黑电平计算和调整；晕影校正；横向颜色校正；以及温度规范化。

[0028] 在又一另外的实施例中，场景无关的几何校正还包括考虑到捕捉所述图像集合的照相机阵列中的透镜的失真和旋转的修正。

[0029] 再次在进一步的另外的实施例中，成本函数用于确定相应像素的相似性。

[0030] 再次在另一另外的实施例中，确定相应像素的相似性的步骤还包括对所计算的成本进行空间滤波。

[0031] 在另一进一步的实施例中，从所述多个深度选择其中所识别的相应像素具有最高相似性程度的深度作为对于参考视点的图像中的给定像素位置的初始深度估计的步骤还包括从所述多个深度选择其中关于所识别的相应像素的滤波后的成本函数指示最高相似性水平的深度。

[0032] 在又一进一步的实施例中，成本函数利用选自由下列构成的组的至少一个相似性度量：一对相应像素的L1范数；一对相应像素的L2范数；以及一组相应像素的方差。

[0033] 在又一进一步的实施例中，所述图像集合是在多个颜色通道内捕捉的，并且成本函数确定多个颜色通道中的每个颜色通道中的像素的相似性。

[0034] 再次另一进一步的实施例还包括产生关于对于参考视点的图像中的像素位置的当前深度估计的置信度量。

[0035] 在另一进一步的另外的实施例中，置信度量对多个置信因子进行编码。

[0036] 又一进一步的实施例还包括基于置信图对深度图进行滤波。

[0037] 又一进一步的实施例再次还包括：通过沿着与参考视点和所述图像集合中的图像的视点之间的基线平行的线搜索以找出遮挡像素，基于初始深度估计，检测所述图像集合内的图像中的与参考视点的图像中的特定像素位置相对应的像素的遮挡；当初始深度估计导致检测到至少一个图像中的相应像素被遮挡时，通过下述步骤选择对于参考视点的图像中的所述像素位置的当前深度估计：使用所述图像集合的多个不同子集确定候选深度估计集合，所述多个不同子集不包括在其中所述给定像素被遮挡的至少一个图像；基于候选深度估计来识别所述图像集合的多个子集中的每个子集中的相应像素；并且选择具有最相似的相应像素的子集的候选深度作为对于参考视点的图像中的像素位置的当前深度估计。

[0038] 在又一进一步的另外的实施例中，沿着与参考视点和所述图像集合中的图像的视点之间的基线平行的线搜索以找出遮挡像素的步骤还包括：当下列情况时确定与参考视点的图像中的像素位置(x1,y1)相应的像素在替代视图图像中被参考视点的图像中的像素位置(x2,y2)遮挡：

[0039] 阈值

[0040] 其中，s1和s2是场景相关的几何移位，其应用于像素位置(x1,y1)和像素(x2,y2)以使这些像素沿着与参考视点与替代视图图像的视点之间的基线平行的线移位，以基于对于每个像素的初始深度估计将这些像素移位到替代视图图像的视点中。

[0041] 再次在又一进一步的实施例中，将像素指定为被遮挡的决策考虑像素的相似性以及像素(x1,y1)和(x2,y2)的估计深度的置信度中的至少一个。

[0042] 在特定实施例中，成本函数用于确定相应像素的相似性。

[0043] 在另一特定实施例中，确定相应像素的相似性的步骤还包括对所计算的成本进行空间滤波。

[0044] 在进一步的特定实施例中，所计算的成本的空间滤波利用选自由下列滤波器构成的组的滤波器：固定系数滤波器；以及边缘保持滤波器。

[0045] 在更进一步的特定实施例中，从所述多个深度选择其中所识别的相应像素具有最高相似性程度的深度作为对于参考视点的图像中的所述给定像素位置的初始深度估计的步骤还包括：从所述多个深度选择其中关于所识别的相应像素的滤波后的成本函数指示最高相似性水平的深度。

[0046] 在又一特定实施例中，所述图像集合是在单个颜色通道内捕捉的，并且成本函数是相应像素的方差的函数。

[0047] 在更进一步的特定实施例中，成本函数是所述图像集合中的每个图像i上的包括下列项的合计成本函数CV(x,y,d)：

[0048]

[0049] 其中，Costi,Ref(x,y,d)是相似性度量(即，成本函数)，

[0050] d是像素(x,y)的深度，以及

[0051] Vi,Ref(x,y)是像素(x,y)的可见性，一开始，对于所有照相机，Vi,Ref(x,y)＝1。

[0052] 再次在进一步的特定实施例中，如下基于对于照相机i,Ref、对于每个像素(x,y)的每个视差假设d计算各个成本Costi,Ref(x,y,d)：

[0053] Costi，Ref(x，y，d)＝S{li(x，y，d)，lRef(x，y，d)}

[0054] 其中，S是相似性度量(例如)，以及

[0055] li是几何校准之后的校准图像i。

[0056] 在又一特定实施例中，合计成本如下考虑候选深度处的移位后的图像的相似性：

[0057]

[0058] 其中，K是在与参考照相机相同的光谱通道中的一组照相机，

[0059] L是一组照相机对，其中，每对中的两个照相机在相同的光谱通道(该光谱通道可以是与参考照相机不同的光谱通道，在这种情况下，光场包括多个光谱通道中的图像数据)中，

[0060] 以及

[0061] 再次在进一步的特定实施例中，使用滤波器对合计成本函数进行空间滤波以使得加权的合计成本函数如下：

[0062]

[0063] 其中，N(x,y)是像素(x,y)的最近邻域，其可以是方形、圆形、矩形、或适合于特定应用的要求的任何其他形状，

[0064] Norm是规范化项；

[0065] IRef(x,y)是来自参考照相机的图像数据，

[0066] wd是基于像素距离的加权函数，以及

[0067] wr是基于强度差值的加权函数。

[0068] 在进一步的实施例中，滤波器是箱式滤波器，wd和wr是常数系数。

[0069] 在另一实施例中，滤波器是双边滤波器，wd和wr都是高斯加权函数。

[0070] 在更进一步的实施例中，如下通过选择最小化深度图中的每个像素位置处的滤波后的成本的深度来确定对于参考视点的图像中的像素位置(x，y)的深度估计：

[0071] D(x，y)＝argmind{FilteredCV(x，y，d)}

[0072] 在又一实施例中，所述图像集合是在多个颜色通道内捕捉的，并且成本函数合并多个颜色通道的图像数据的L1范数。

[0073] 在更进一步的实施例中，所述图像集合是在多个颜色通道内捕捉的，并且成本函数合并多个颜色通道的图像数据的L2范数。

[0074] 在又一实施例中，所述图像集合是在至少包括红色、绿色和蓝色颜色通道的多个颜色通道内捕捉的；相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括：选择绿色颜色通道中的图像之一作为绿色参考图像，并且选择绿色参考图像的视点作为参考视点；并且参考视点的图像中的深度d处的像素位置(x，y)的成本函数Cost(x，y，d)是：

[0075] Cost(x，y，d)＝γG(x，y).CostG(x，y，d)+γR(x，y).CostR(x，y，d)+γB(x，y).CostB(x，y，d)

[0076] 其中，CostG(x，y，d)是参考视点的图像中的像素位置(x，y)与绿色图像集合内的基于深度d的位置上的相应像素的相似性的度量，

[0077] CostR(x，y，d)是红色图像集合内的基于深度d确定的位置和参考视点的图像中的像素位置(x，y)上的相应像素的相似性的度量，

[0078] CostB(x，y，d)是蓝色图像集合内的基于深度d确定的位置和参考视点的图像中的像素位置(x，y)上的相应像素的相似性的度量，以及

[0079] γG、γR和γB分别是绿色、红色和蓝色成本函数的加权因子。

[0080] 再次在进一步的实施例中，CostG(x，y，d)使用选自由下列相似性度量构成的组的相似性度量：L1范数、L2范数、以及所述图像集合中的在绿色颜色通道内的图像中的像素上的方差。

[0081] 再次在另一实施例中，通过计算所述颜色通道内的图像中的单独一对相应像素之间的合计差值来确定对于红色颜色通道的成本度量(CostR(x，y，d))和对于蓝色颜色通道的成本度量(CostB(x，y，d))。

[0082] 在进一步的另外的实施例中，计算颜色通道内的图像中的单独一对相应像素之间的合计差值的步骤包括确定对于所述颜色通道内的图像中的单独一对相应像素的组合成本度量。

[0083] 在另一另外的实施例中，可以如下确定包括四个图像(CA、CB、CC和CD)的红色颜色通道的组合成本度量(CostC(x，y，d))：

[0084] CostC(x，y，d)

[0085] ＝|CA(xA，yA)-CB(xB，yB)|+|CA(xA，yA)-CC(xC，yC)|

[0086] +|CA(xA，yA)-CD(xD，yD)|+|CB(xB，yB)-CC(xC，yC)|

[0087] +|CB(xB，yB)-CD(xD，yD)|+|CC(xC，yC)-CD(xD，yD)|

[0088] 其中，(xA，yA)、(xB，yB)、(xC，yC)和(xD，yD)是基于图像CA、CB、CC和CD图像中的每个图像中分别在深度d处的视差确定的相应的像素位置。

[0089] 在更进一步的实施例中，利用选自由下列度量构成的组的至少一个确定组合成本度量：像素亮度值的L1范数；像素亮度值的L2范数；以及像素亮度值的方差。

[0090] 在又一实施例中，加权因子是γG、γR和γB固定的。

[0091] 再次在更进一步的实施例中，加权因子γG、γR和γB随参考视点的图像中的像素位置(x，y)空间变化。

[0092] 再次在又一实施例中，加权因子γG、γR和γB基于参考视点的图像中的像素位置(x，y)处的估计的SNR变化；并且参考视点的图像中的像素位置(x，y)处的强SNR用于减小应用于红色颜色通道和蓝色颜色通道的加权。

[0093] 在进一步的实施例中，置信度量对多个置信因子进行编码。

[0094] 在另一实施例中，对于参考视点的图像中的给定像素位置的深度估计的置信度量包括选自由下列置信因子构成的组的至少一个置信因子：给定像素在图像内的无纹理区域内的指示；包围给定像素的区域中的信噪比(SNR)的度量；用于产生深度估计的相应像素的数量；被搜索以产生深度估计的深度的数量的指示；给定像素与高对比度边缘相邻的指示；以及给定像素与高对比度边界相邻的指示。

[0095] 在更进一步的实施例中，对于参考视点的图像中的给定像素位置的深度估计的置信度量包括选自由下列置信因子构成的组的至少一个置信因子：所述给定像素位于梯度边缘上的指示；相应像素与所述给定像素不匹配的指示；与所述给定像素相应的像素被遮挡的指示；使用不同参考照相机产生的深度估计超过用于所述给定像素的阈值的指示；使用不同的照相机子集产生的深度估计超过用于所述给定像素的阈值的指示；关于给定阈值的深度是否超过阈值的指示；所述给定像素有缺陷的指示；以及与所述给定像素相应的像素有缺陷的指示。

[0096] 在又一实施例中，对于参考视点的图像中的给定像素位置的深度估计的置信度量至少包括：包围给定像素的区域中的SNR的度量；以及用于产生深度度量的相应像素的数量。

[0097] 在更进一步的实施例中，置信度量对至少一个二进制置信因子进行编码。

[0098] 在又一实施例中，置信度量对表示为置信度范围的至少一个置信因子进行编码。

[0099] 再次在进一步的实施例中，置信度量对至少一个置信因子进行编码，所述置信因子是通过比较图像集合中的用于产生对于参考视点的图像中的给定像素位置的最终深度估计的像素的相似性而确定的。

[0100] 再次在另一实施例中，成本函数用于产生指示相应像素的相似性的成本度量；并且比较图像集合中的用于产生对于参考视点的图像中的给定像素位置的深度估计的像素的相似性的步骤还包括：将阈值应用于所述图像集合的用于产生对于参考视点的图像中的给定像素位置的最终深度估计的像素的成本度量；并且当成本度量超过阈值时，分配置信度量，所述置信度量指示对于参考视点的图像中的给定像素位置的最终深度估计是使用所述图像集合中的至少一个作为问题像素的像素而产生的。

[0101] 在进一步的另外的实施例中，基于下列方面中的至少一个修改阈值：参考视点的图像中的包围所述给定像素位置的区域的平均强度；以及关于用于捕捉所述图像集合的至少一个传感器的噪声统计数据。

[0102] 在更进一步的实施例中，使用以所述给定像素为中心的空间箱式N×N平均滤波器计算参考视点的图像中的包围所述给定像素位置的区域的平均强度。

[0103] 在又一实施例中，所述图像集合是在至少包括红色、绿色和蓝色颜色通道的多个颜色通道内捕捉的；相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括：选择绿色颜色通道中的图像之一作为绿色参考图像，并且选择绿色参考图像的视点作为参考视点；并且平均强度用于使用将特定曝光和增益处的特定均值与期望阈值相关的表格来确定关于绿色通道的噪声统计数据。

[0104] 再次在更进一步的实施例中，相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括：选择所述图像之一作为参考图像，并且选择参考图像的视点作为参考视点；并且成本函数用于产生指示相应像素的相似性的成本度量；使用下列公式获得基于大体不匹配的置信度量：

[0105] Confidence(x,y)＝F(Costmin(x,y),Costd(x,y),I(x,y)cam,Sensor)

[0106] 其中，Costmin(x,y)是期望深度范围上的视差搜索的最小成本，

[0107] Costd(x,y)表示来自任何一个深度或多个深度(除了最小深度之外)的成本数据，[0108] 任何照相机捕捉的I(x,y)cam图像数据可以用于增大置信度；

[0109] Sensor是传感器先验值，其可以包括传感器的已知性质，诸如(但不限于)噪声统计数据或特征、有缺陷像素、传感器的影响任何捕捉图像的性质(诸如增益或曝光)，[0110] Camera intrinsics是照相机内在要素，其指定照相机和照相机阵列内在的可以影响置信度的要素，包括(但不限于)该阵列中的照相机之间的基线分离(影响深度测量的精度)、以及滤色器的布置(在某些情况下影响遮挡区域中的性能)。

[0111] 再次在又一实施例中，相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括：选择所述图像之一作为参考图像，并且选择参考图像的视点作为参考视点；并且成本函数用于产生指示相应像素的相似性的成本度量；并且使用下列公式获得基于大体不匹配的置信度量：

[0112]

[0113] 其中，Avg(x,y)是参考图像在包围(x,y)的空间邻域中的平均强度、或者该领域中的平均强度的估计，其用于基于参考图像在(x,y)的区域中的强度调整置信度，

[0114] a和offset是用于用关于传感器的增益和噪声统计数据的先验信息调整置信度的、凭经验选择的缩放和偏移因子，

[0115] a和offset是用于用关于用于捕捉所述图像集合中的图像的至少一个传感器的增益和噪声统计数据的先验信息来调整置信度的、凭经验选择的缩放和偏移因子。

[0116] 再次在更进一步的实施例中，产生对于参考视点的图像中的像素位置的深度估计的置信度量的步骤包括：确定用于捕捉所述图像集合的至少一个的至少一个传感器增益；并且基于传感器增益调整置信度量。

[0117] 再次在又一实施例中，产生对于参考视点的图像中的像素位置的深度估计的置信度量的步骤包括：确定用于捕捉所述图像集合的至少一个的至少一个曝光时间；并且基于传感器增益来调整置信度量。

[0118] 更进一步的另外的实施例还包括：输出包含对于参考视点的图像中的像素位置的最终深度估计的深度图；并且输出包含对于深度图内所包含的最终深度估计的置信度量的置信图。

[0119] 又一另外的实施例还包括基于置信图对深度图进行滤波。

[0120] 又一进一步的另外的实施例包括使用用图像处理应用程序配置的处理器通过下述步骤根据包括从不同视点捕捉的图像集合的光场来估计到场景内的对象的距离：相对于从不同视点捕捉的图像集合的视点选择参考视点；规范化所述图像集合以提高所述图像集合内的相应像素的相似性；使用所述图像集合的至少一个子集确定对于参考视点的图像中的像素位置的初始深度估计，其中，对于参考视点的图像中的给定像素位置的初始深度估计通过下述步骤确定：基于多个深度处的预期视差，识别所述图像集合的所述至少一个子集中的与参考视点的图像中的给定像素位置相应的像素；比较在所述多个深度中的每个深度处识别的相应像素的相似性；并且从所述多个深度选择其中所识别的相应像素具有最高相似性程度的深度作为对于参考视点的图像中的所述给定像素位置的初始深度估计。另外，估计距离的处理还包括：使用初始深度估计来识别所述图像集合中的相应像素；比较所述图像集合中的相应像素的相似性以检测不匹配像素；当初始深度估计没有导致检测到所述图像集合中的相应像素之间的不匹配时，选择初始深度估计作为对于参考视点的图像中的像素位置的当前深度估计；并且当初始深度估计导致检测到所述图像集合中的相应像素之间的不匹配时，通过下述步骤选择对于参考视点的图像中的像素位置的当前深度估计：使用所述图像集合的多个不同子集确定候选深度估计集合；基于候选深度估计来识别所述图像集合的所述多个子集中的每个子集中的相应像素；并且选择具有最相似的相应像素的子集的候选深度作为对于参考视点的图像中的像素位置的当前深度估计。所述处理还包括通过下述步骤确定所述图像集合中的像素从参考视点来看的可见性：使用当前深度估计来识别所述图像集合中的相应像素；并且当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时，确定所述像素在参考视点中不可见；并且使用用图像处理应用程序配置的处理器基于深度估计融合所述图像集合的像素以通过下述步骤创建分辨率大于所述图像集合中的图像的分辨率的融合图像：使用可见性信息来识别所述图像集合的在参考视点的图像中可见的像素；并且将场景相关的几何移位应用于所述图像集合的在参考视点的图像中可见的所述像素以将所述像素移位到参考视点中，其中，场景相关的几何移位被使用当前深度估计而确定；并且融合所述图像集合的移位后的像素以创建参考视点的分辨率大于所述图像集合中的图像的分辨率的融合图像。

[0121] 另一进一步的实施例还包括：使用用图像处理应用程序配置的处理器合成参考视点的图像以基于参考视点的融合图像、从不同视点捕捉的图像集合、当前深度估计和可见性信息来执行超分辨率处理。

[0122] 本发明的进一步的实施例包括处理器和存储器，所述存储器包含从不同视点捕捉的图像集合和图像处理应用程序。另外，所述图像处理应用程序将处理器配置为：相对于从不同视点捕捉的图像集合的视点选择参考视点；规范化所述图像集合以提高所述图像集合内的相应像素的相似性；使用所述图像集合的至少一个子集确定对于参考视点的图像中的像素位置的初始深度估计，其中，对于参考视点的图像中的给定像素位置的初始深度估计通过下述步骤确定：基于多个深度处的预期视差，识别所述图像集合的所述至少一个子集中的与参考视点的图像中的给定像素位置相应的像素；比较在所述多个深度中的每个深度处识别的相应像素的相似性；并且从所述多个深度选择其中所识别的相应像素具有最高相似性程度的深度作为对于参考视点的图像中的给定像素位置的初始深度估计。所述应用程序还将处理器配置为：使用当前深度估计识别所述图像集合中的相应像素；比较所述图像集合中的相应像素的相似性以检测不匹配像素。当初始深度估计没有导致检测到所述图像集合中的相应像素之间不匹配时，所述应用程序将处理器配置为选择初始深度估计作为对于参考视点的图像中的像素位置的当前深度估计。当初始深度估计导致检测到所述图像集合中的相应像素之间的不匹配时，所述应用程序将处理器配置为通过下述步骤选择对于参考视点的图像中的像素位置的当前深度估计：使用所述图像集合的多个不同子集确定候选深度估计集合；基于候选深度估计识别所述图像集合的所述多个子集中的每个子集中的相应像素；并且选择具有最相似的相应像素的子集的候选深度作为对于参考视点的图像中的像素位置的当前深度估计。

[0123] 在另一实施例中，所述图像处理应用程序还将处理器配置为：通过下述步骤确定所述图像集合中的像素从参考视点来看的可见性：使用当前深度估计来识别所述图像集合中的相应像素；并且当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时，确定所述像素在参考视点中不可见；并且使用深度估计融合所述图像集合的像素以通过下述步骤创建分辨率大于所述图像集合中的图像的分辨率的融合图像：使用可见性信息识别所述图像集合的在参考视点的图像中可见的像素；并且将场景相关的几何移位应用于所述图像集合的在参考视点的图像中可见的像素以将像素移位到参考视点中，其中，场景相关的几何移位是使用当前深度估计而确定的；并且融合所述图像集合的移位后的像素以创建参考视点的其分辨率大于所述图像集合中的图像的分辨率的融合图像。附图说明

[0124] 图1概念性地例示根据本发明的实施例的阵列照相机。

[0125] 图1A概念性地例示根据本发明的实施例的阵列照相机模块。

[0126] 图1C概念性地例示根据本发明的实施例的用于4×4阵列照相机模块的滤色器模式。

[0127] 图2概念性地例示使用参考照相机和替代视图照相机捕捉图像数据。

[0128] 图3A和3B概念性地例示参考照相机和替代视图照相机所捕捉的场景的图像中的视差效果。

[0129] 图4是例示根据本发明的实施例的从所捕捉的包括从不同视点捕捉的多个图像的光场产生深度图的处理的流程图。

[0130] 图5是根据本发明的实施例的用于规范化所捕捉的图像数据的处理的流程图。

[0131] 图6是根据本发明的实施例的用于基于可见性信息迭代地精炼深度图的处理的流程图。

[0132] 图7概念性地例示根据本发明的实施例的阵列照相机内的可以用于产生到场景内的对象的距离的估计的照相机子集。

[0133] 图8是例示根据本发明的实施例的用于使用可见性信息执行视差搜索的处理的流程图。

[0134] 图8A是例示根据本发明的实施例的使用照相机阵列中的照相机子集所捕捉的图像来估计深度的处理的流程图。

[0135] 图8B-8I概念性地例示根据本发明的实施例的5×5阵列照相机中的可以用于获得深度估计的照相机子集。

[0136] 图8J-8M概念性地例示根据本发明的实施例的4×4阵列照相机的可以用于获得深度估计的照相机子集。

[0137] 图9概念性地例示根据本发明的实施例的用于在核线中搜索遮挡给定像素的像素的处理。

[0138] 图10概念性地例示根据本发明的实施例的可以用于构造深度图的5×5阵列照相机。

[0139] 图11是例示根据本发明的实施例的用于基于相应像素的光度相似性确定可见性的处理的流程图。

[0140] 图12概念性地例示根据本发明的实施例的可以相对于4×4阵列照相机定义的许多虚拟视点之一。

[0141] 图13是例示根据本发明的实施例的用于产生稀疏深度图的处理的流程图。

[0142] 图14概念性地例示根据本发明的实施例的当产生稀疏深度图时可以用作指示器像素的一组像素。

[0143] 图15是例示根据本发明的实施例的使用一个像素周围的SNR检测无纹理区域的处理的流程图。

[0144] 图16是根据本发明的实施例的用于产生深度图和可见性信息的系统。

[0145] 图17是例示根据本发明的实施例的用于使用超分辨率处理从从不同视点捕捉的多个低分辨率图像合成高分辨率图像的处理的流程图。

[0146] 图18A和18B概念性地例示深度估计中的噪声源。

[0147] 图18C-18H概念性地例示根据本发明的实施例的从所捕捉的图像数据产生深度图和置信图以及使用置信图对深度图进行滤波。

[0148] 图18I-18N类似地概念性地例示根据本发明的实施例的从所捕捉的图像数据产生深度图和置信图以及使用置信图来使用特写图像对深度图进行滤波。

具体实施方式

[0149] 现在翻到附图，例示了用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法。阵列照相机(诸如Venkataraman等人的标题为“Capturing and Processing of Images using Monolithic Camera Array with Heterogeneous Imagers”的美国专利申请No.12/935,504中所描述的那些阵列照相机)可以用于捕捉光场图像。在若干个实施例中，超分辨率处理(诸如Lelescu等人的标题为“Systems and Methods for Synthesizing High Resolution Images Using Super-Resolution Processes”的美国专利申请No.12/967,807中所描述的那些超分辨率处理)用于从由阵列照相机捕捉的光场中的较低分辨率图像合成较高分辨率2D图像或较高分辨率2D图像的立体对。术语高或较高分辨率和低或较低分辨率在这里是从相对意义上来使用的，而非指示阵列照相机所捕捉的图像的特定分辨率。美国专利申请12/935,504和美国专利申请号12/967,807的全部公开内容特此通过引用而全部并入。

[0150] 所捕捉的光场中的每个二维(2D)图像来自于阵列照相机的照相机之一的视点。由于每个照相机的视点不同，视差导致对象在场景的不同图像内的位置变化。根据本发明的实施例的系统和方法提供由于阵列中的不同照相机之间的视差而造成的精确量的像素视差，以使得当执行超分辨率处理时适当的场景相关的几何移位可以应用于所捕捉的图像的像素。

[0151] 使用超分辨率处理合成的高分辨率图像是从可以被称为参考视点的特定视点合成的。参考视点可以来自于照相机阵列中的照相机之一的视点。可替代地，参考视点可以是任意的不存在物理照相机的虚拟视点。从照相机之一的视点(与虚拟视点完全不同)合成高分辨率图像的益处是，光场中的像素的视差可以相对于从参考视点捕捉的光场中的图像确定。当利用虚拟视点时，所捕捉的图像数据没有一个来自于参考视点，所以所述处理而是仅依赖于远离参考位置的照相机来确定最佳匹配。

[0152] 根据本发明的许多实施例的阵列照相机使用光场内的图像中的像素之间的视差来产生参考视点的深度图。深度图指示从参考视点来看的场景对象的距离，并且可以用于确定场景相关的几何校正，这些场景相关的几何校正应用于所捕捉的光场内的每个图像的像素以校正当执行超分辨率处理时的视差。在几个实施例中，产生参考视点的初始深度图，并且作为该处理的一部分，或者作为后续处理，检测被遮挡像素和/或其他类型的不匹配像素。检测被遮挡的像素的处理还可以被认为是确定从参考视点捕捉的图像中的像素在非参考视点的图像中是否是可见的。当从参考视点捕捉的图像中的像素在第二图像中不可见时，在确定参考图像中的像素的深度时利用第二图像的图像数据对于深度确定引入了误差。因此，通过检测参考图像中的在光场中的一个或多个图像中被遮挡的像素，可以改进深度图的精度。在几个实施例中，通过使用从照相机捕捉的在其中像素可见(即，未被遮挡)的图像数据确定被遮挡像素的深度来更新初始深度图。在若干个实施例中，在产生初始深度估计的处理期间可以检测不匹配像素的遮挡和/或其他源的可能存在，并且图像集合的与场景内的不同可见性模式相应的子集可以用于确定候选深度估计集合。具有最相似的相应像素的图像子集的候选深度可以用作新的深度估计，该新的深度估计用于确定其余的图像集合的一些或全部中的相应像素的可见性。

[0153] 参考视点的深度图可以用于确定在从其他视点捕捉的图像中有可能出现的场景相关的几何移位。这些场景相关的几何移位可以用于超分辨率处理中。另外，场景相关的几何移位可以用于精炼光场内的像素从参考视点来看的可见性的确定。在若干个实施例中，场景相关的几何移位用于比较像素的相似性。假定参考视点的像素的深度被正确地确定，那么像素的相似性指示该像素是否可见。相似的像素有可能是从参考视点观察到的由于视差而移位的像素。如果像素不相似，则从参考视点观察到的像素有可能在第二图像中被遮挡。在许多实施例中，可见性信息用于进一步更新深度图。在几个实施例中，产生可见性信息，并且将可见性信息与深度图一起提供以供用于超分辨率处理。

[0154] 在若干个实施例中，通过产生稀疏深度图来降低产生深度图的计算复杂性，所述稀疏深度图包括附加的在其中附加深度信息是期望的区域中的深度估计，所述区域诸如(但不限于)涉及深度转变的区域和/或包含在光场内的一个或多个图像中被遮挡的像素的区域。

[0155] 许多阵列照相机使用不同的照相机捕捉颜色信息(参见例如美国专利申请号12/935,504中所公开的阵列照相机)。在许多实施例中，绿色照相机的视点用作参考视点。初始深度图可以使用阵列照相机中的其他绿色照相机所捕捉的图像而产生，该深度图用于确定光场内的红色、绿色和蓝色像素的可见性。在其他实施例中，多个颜色通道中的图像数据可以用于执行深度估计。在几个实施例中，当估计深度时，考虑每个颜色通道中的相应像素的相似性。在若干个实施例中，当估计深度时，还考虑不同颜色通道中的相应像素集合的相似性。下面进一步讨论根据本发明的实施例的使用各种成本函数的深度估计，所述各种成本函数考虑单个光谱通道中的、多个光谱通道中的、和/或跨光谱通道的、特定深度处的相应像素的相似性。

[0156] 在几个实施例中，阵列照相机可以包括捕捉多个颜色通道中的图像数据的一个或多个照相机。例如，除了单色照相机之外，或者作为单色照相机的替代，阵列照相机可以包括具有Bayer滤色器模式的一个或多个照相机。当为了产生深度图的目的使用捕捉多个颜色通道的照相机的视点作为参考视点时，可以对于从参考视点捕捉的每个颜色通道确定深度图和可见性信息。当参考图像包含关于多个颜色通道的信息时，与使一个通道中的像素相对于另一个颜色通道中的像素的深度和可见性重合相比，可以基于光场中的像素相对于参考图像的视差更可靠地创建深度和可见性信息。利用捕捉多个颜色通道中的图像数据的照相机的视点作为参考视点的缺点是，对于在单个通道中使用相同数量的像素捕捉图像数据的照相机而言，所捕捉的每个颜色通道中的深度信息的分辨率降低。因此，阵列照相机的构造和用作参考视点的视点的选择通常取决于特定应用的要求。

[0157] 一旦对于光场中的像素产生了深度图和可见性信息，就可以将深度图和可见性信息提供给根据本发明的实施例的超分辨率处理流水线以合成场景的较高分辨率2D图像。深度图可以用于校正不同的低分辨率图像之间的视差，可见性信息可以在融合期间用于防止被遮挡像素(即，替代视图图像中的从参考视点看不见的像素)融合。在几个实施例中，产生深度图的处理还包括产生置信图，该置信图包括对于深度图中的深度估计的置信度量。在几个实施例中，深度度量对指示相应的深度估计的可靠性的至少一个置信因子进行编码。在若干个实施例中，置信度量至少包括基于深度估计与其相关联的像素位置的区域中的信噪比(SNR)的置信因子、以及基于图像集合中的与用于产生深度估计的深度图与其相关联的像素位置相对应的和/或被遮挡的像素的数量的置信因子。下面描述根据本发明的实施例的用于检测并且校正阵列照相机所捕捉的图像中的视差的系统和方法。然而，在讨论视差的检测和校正之前，讨论根据本发明的实施例的各种阵列照相机。

[0158] 阵列照相机架构

[0159] 根据本发明的实施例的阵列照相机可以包括照相机模块和处理器，所述照相机模块包括照相机阵列，所述处理器被配置为从照相机模块读出图像数据并且对该图像数据进行处理以合成图像。图1中例示了根据本发明的实施例的阵列照相机。阵列照相机100包括具有个体照相机104的阵列的照相机模块102，其中，个体照相机的阵列是指成特定布置的多个照相机，诸如(但不限于)所例示的实施例中所用的方形布置。照相机模块102连接到处理器108。处理器还被配置为与一个或多个不同类型的存储器110进行通信，存储器110可以用于存储图像数据和/或包含用于将处理器配置为执行包括(但不限于)下述各种处理的处理的机器可读指令。在许多实施例中，存储器包含图像处理应用程序，其被配置为对包括多个图像的光场进行处理以使用下面详细概述的任一处理产生一个(多个)深度图、一个(多个)可见性图、一个(多个)置信图、和/或一个(多个)较高分辨率图像。如下面进一步讨论的，深度图通常提供对于参考视点的图像(例如，从参考视点合成的较高分辨率图像)中的像素的深度估计。可以产生适合于特定应用的要求的各种可见性图，包括(但不限于)指示参考图像中的像素位置在光场内的特定图像中是否可见的可见性图、指示光场内的图像中的特定像素从参考视点来看是否可见的可见性图、以及指示在一个替代视图图像中可见的像素在另一个替代视图图像中是否可见的可见性图。在其他实施例中，各种应用程序中的任何一种应用程序可以存储在存储器中，并且用于使用本文中所描述的处理对图像数据进行处理。在几个实施例中，根据本发明的实施例的处理可以使用专用集成电路和/或现场可编程门阵列来用硬件实现，或者部分用硬件和软件实现。

[0160] 根据本发明的许多实施例的处理器108使用适合的软件被配置为获取光场内的图像数据并且合成一个或多个高分辨率图像。在几个实施例中，高分辨率图像是从参考视点(通常是传感器102内的参考焦平面104的视点)合成的。在许多实施例中，处理器能够合成与传感器102中的任一焦平面104的视点不相对应的虚拟视点的图像。由于用于捕捉光场中的图像的焦平面的视场不同，这些图像将包括场景相关的视差。下面进一步讨论用于检测并且校正视差的处理。尽管图1中例示了特定的阵列照相机架构，但是根据本发明的实施例，还可以利用替代架构。

[0161] 阵列照相机模块

[0162] 根据本发明的实施例的阵列照相机模块可以由包括焦平面阵列的成像器阵列或传感器、以及包括用于成像器阵列中的每个焦平面的透镜叠层的光学阵列构成。Pain等人的、标题为“Architectures for System on Chip Array Cameras”的美国专利申请No.13/106,797中讨论了包括多个焦平面的传感器，该申请的全部公开内容通过引用并入本文。在由光学阵列中的透镜叠层形成的每个光学通道内可以使用滤光器来使得阵列照相机模块内的不同照相机能够捕捉关于电磁波谱的不同部分的(即，不同光谱通道内的)图像数据。

[0163] 图1A中例示了根据本发明的实施例的阵列照相机模块。阵列照相机模块150包括成像器阵列152连同相应的光学阵列156，成像器阵列152包括焦平面154的阵列，光学阵列156包括透镜叠层158的阵列。在透镜叠层阵列内，每个透镜叠层158在相应的焦平面154内的光敏感像素阵列上创建形成场景的图像的光学通道。透镜叠层158和焦平面154的每个配对形成照相机模块内的单个照相机104。照相机104的焦平面154内的每个像素产生可以从照相机104发送到处理器108的图像数据。在许多实施例中，每个光学通道内的透镜叠层被构造为使得每个焦平面158的像素对场景内的同一对象空间或区域进行采样。在几个实施例中，透镜叠层被构造为对同一对象空间进行采样的像素以亚像素偏移进行采样以提供可以用于通过使用超分辨率处理恢复提高的分辨率的采样多样性。术语采样多样性是指不同视点的图像对场景中的同一对象进行采样，但是是以微小的亚像素偏移进行采样。通过以亚像素精度对图像进行处理，当与仅用单个图像对对象空间进行采样相比时，可以恢复由于亚像素偏移而编码的附加信息。

[0164] 在所例示的实施例中，焦平面按5×5阵列构造。传感器上的每个焦平面154能够捕捉场景的图像。通常，每个焦平面包括多行像素，这些像素也形成多列像素，并且每个焦平面包含在成像器的不包含来自另一个焦平面的像素的区域内。在许多实施例中，每个焦平面的图像数据捕捉和读出可以独立地控制。这样，可以独立地确定图像捕捉设置(包括(但不限于)焦平面内的像素的曝光时间和模拟增益)，以使得能够基于包括(但不限于)特定颜色通道和/或场景动态范围的特定部分的因素定制图像捕捉设置。焦平面中所用的传感器元件可以是单个的光感测元件，诸如，但不限于，传统的CIS(CMOS图像传感器)像素、CCD(电荷耦合器件)像素、高动态范围传感器元件、多光谱传感器元件、和/或被构造为产生指示入射在其上的光的电信号的任何其他结构。在许多实施例中，每个焦平面的传感器元件具有类似的物理性质，并且经由同一光学通道和滤色器(在存在的情况下)接收光。在其他实施例中，传感器元件具有不同的特性，并且在许多情况下，传感器元件的特性与应用于每个传感器元件的滤色器相关。

[0165] 在几个实施例中，如2012年5月1日提交的、标题为“Camera Modules Patterned with pi Filter Groups”的美国临时专利申请No.61/641,165中进一步讨论的，单个的照相机中的滤色器可以用于使用π滤波器组将照相机模块构图，该申请的全部公开内容通过引用并入本文。这些照相机可以用于捕捉关于不同颜色或者光谱的特定部分的数据。与将滤色器应用于照相机的像素相对照，本发明的许多实施例中的滤色器被包括在透镜叠层中。可以利用各种滤色器构造中的任何一种，包括图1C中的包括八个绿色照相机、四个蓝色照相机和四个红色照相机的构造，其中，照相机更均匀地分布在照相机的中心周围。例如，绿色照相机可以包括具有使得绿色光可以通过光学通道的绿色滤光器的透镜叠层。在许多实施例中，每个焦平面中的像素是相同的，并且像素所捕捉的光信息由用于每个滤光器平面的相应透镜叠层中的滤色器区分。尽管上面描述了具有包括透镜叠层中的滤色器的光学阵列的照相机模块的特定构造，但是可以以各种方式实现包括π滤波器组的照相机模块，包括(但不限于)以与滤色器应用于常规的彩色照相机的像素的方式类似的方式将滤色器应用于照相机模块的焦平面的像素。在几个实施例中，照相机模块中的照相机中的至少一个可以包括应用于其焦平面中的像素的统一滤色器。在许多实施例中，Bayer滤波器模式应用于照相机模块中的照相机之一的像素。在若干个实施例中，构造在其中在透镜叠层中以及在成像器阵列的像素上都利用滤色器的照相机模块。

[0166] 尽管上面讨论了特定的阵列照相机和成像器阵列，但是根据本发明的实施例，可以利用许多不同的阵列照相机来捕捉图像数据并且合成图像。下面讨论根据本发明的实施例的用于在阵列照相机捕捉的图像数据中检测并且校正视差的系统和方法。

[0167] 确定视差/视差

[0168] 在若干个实施例中，用于捕捉光场的阵列照相机中的单个的照相机具有类似的视场、固定孔径和焦距。结果，照相机趋向于具有非常类似的视野深度。图2中例示了两照相机系统中的视差。两个照相机200、202包括透镜叠层204和焦平面206。每个照相机具有后焦距f，并且这两个照相机分隔2h的基线距离。两个照相机的视场包含包括前景对象208和背景对象210的场景。图3A中例示了第一照相机200的视点的场景。在第一照相机捕捉的图像300中，前景对象208所出现的位置略微偏向背景对象210的右边。图3B中例示了第二照相机202的视点的场景。在第二照相机捕捉的图像302中，前景对象208表现为移位到背景对象201的左手边。由两个照相机200、202的不同视场引入的视差等于前景对象208在第一照相机捕捉的图像中的位置(该位置在第二照相机捕捉的图像中用虚线304指示)与其在第二照相机捕捉的图像中的位置之间的差距。如下面进一步讨论的，可以通过确定前景对象在两个捕捉图像中的视差来获得从两个照相机到前景对象的距离。

[0169] 再次参照图2，前景对象上的点(xo,yo,zo)将出现在每个照相机的焦平面上、离照相机的光轴一定偏移处。第一照相机200的焦平面上的点相对于其光轴212的偏移被示为-uL。第二照相机202的焦平面上的点相对于其光轴214的偏移被示为uR。通过使用类似的三角形，可以如下观察到两个照相机捕捉的图像之间的偏移：

[0170]

[0171]

[0172] 组合这两个方程得到如下的两个照相机之间的视差(或视差)：

[0173]

[0174] 从以上方程，可以看出，照相机捕捉的图像之间的视差是沿着两个照相机的基线的方向上的矢量的，所述基线可以被称为两个照相机之间的核线。此外，视差的幅值与两个照相机的基线间隔和这些照相机的后焦距成正比，并且与从照相机到出现在场景中的对象的距离成反比。

[0175] 阵列照相机中的遮挡

[0176] 当场景的多个图像是从不同角度捕捉并且该场景包括前景对象时，前景对象在每个图像中的位置的视差导致该场景的在前景对象后面的部分在一些图像中可见，但是并非在所有图像中都是可见的。捕捉关于场景的一部分的图像数据的像素可以被称为被遮挡像素，所述部分在场景的从其他视点捕捉的图像中不可见。再次参照图3A和3B，当第二照相机的视点被选为参考视点时，图像302中的虚线304内所包含的像素可以被认为是被遮挡像素(即，这些像素从场景的一部分捕捉图像数据，该部分在第二照相机302捕捉的图像302中可见，但是在第一照相机200捕捉的图像300中不可见)。第一图像中的虚线306中所包含的像素可以被认为是被揭露像素(即，在参考视点中不可见、但是通过移位到替代视点而被揭露出来的像素)。在第二图像中，前景对象208的像素可以被称为遮挡像素，因为它们捕捉场景的遮挡图像302中的虚线304内所包含的像素的部分。由于第二图像302中的虚线304内所包含的像素的遮挡，不能从这两个图像确定从照相机到场景的在虚线304内的可见的部分的距离，因为在图3A中所示的图像300中不存在相应的像素。

[0177] 如下面进一步讨论的，在参考视点周围的补充遮挡区域中增加从不同视点捕捉场景的图像的照相机的数量提高了场景的从参考视点来看可见的每一个部分从其他照相机中的至少一个的视点来看也是可见的可能性。当阵列照相机使用不同照相机来捕捉不同波长的光(例如，RGB)时，在围绕参考视点的四分之一圆中分布捕捉每个波长的光的至少一个照相机可以显著地降低场景的从参考视点来看可见的一部分在特定颜色通道内所捕捉的每隔一个图像中将被遮挡的可能性。在Nisenzon等人于2012年5月1日提交的、标题为“Camera Modules Patterned withπFilter Groups”的美国临时专利申请No.61/641,164中进一步讨论了根据本发明的实施例的阵列照相机中的滤色器的降低遮挡可能性的分布，该申请的全部公开内容通过引用并入本文。

[0178] 使用视差产生阵列照相机中的深度图

[0179] 根据本发明的许多实施例的阵列照相机使用在阵列照相机所捕捉的图像中观察到的视差来产生深度图。深度图通常被认为是关于图像的元数据层，其描述从照相机到该图像内的特定像素或像素组的距离(这依深度图的相对于原始输入图像的分辨率的分辨率而定)。根据本发明的若干个实施例的阵列照相机出于各种目的使用深度图，所述各种目的包括(但不限于)在合成高分辨率图像期间产生场景相关的几何移位和/或执行合成图像的动态再聚焦。

[0180] 基于上面对于视差的讨论，基于像素视差确定场景的一部分的深度的处理在理论上是简单的。当阵列照相机中的特定照相机的视点被选为参考视点时，可以使用照相机阵列所捕捉的一些或全部图像中的相应像素之间的视差来确定到场景的从参考视点来看可见的一部分的距离。在没有遮挡时，与从参考视点捕捉的图像中的像素相应的像素将在每个非参考或替代视图图像中沿着核线(即，与两个照相机之间的基线矢量平行的线)定位。沿着视差的核线的距离对应于照相机与场景的由像素所捕捉的部分之间的距离。因此，通过比较所捕捉的图像中的预期在特定深度处对应的像素，可以搜索得到具有最高相似性程度的像素的深度。所捕捉的图像中的相应像素在其具有最高相似性程度的深度可以被选为照相机与场景的由像素所捕捉的部分之间的最可能的距离。如下面所讨论的，根据本发明的实施例，可以根据特定应用的要求，视情况对于单个光谱通道内的、多个光谱通道内的、和/或跨光谱通道的相应像素确定相似性。

[0181] 然而，在使用以上所概述的方法确定精确的深度图时，存在许多挑战。在几个实施例中，阵列照相机中的照相机是类似的，但是不相同。因此，图像特性可能在图像之间有所变化，降低了不同图像中的相应像素的相似性，所述图像特性包括(但不限于)光学特性、不同传感器特性(诸如由于偏移而导致的传感器响应的变化、不同传输或增益响应、像素响应的非线性特性)、所捕捉的图像中的噪声、和/或与和组装工艺相关的制造公差相关的翘曲或畸变。另外，超分辨率处理依赖于成像器阵列所捕捉的图像中的采样多样性，以便合成更高分辨率图像。然而，提高采样多样性还可以涉及降低光场中的所捕捉的图像中的相应像素之间的相似性。考虑到以上概述的用于确定深度的处理依赖于像素的相似性，所捕捉的图像之间的光度差异和采样多样性的存在可以降低可以确定深度图的精度。

[0182] 深度图的产生由于遮挡而进一步复杂化。如以上所讨论的，当从参考视点来看可见的像素在所捕捉的图像中的一个或多个中不可见时，遮挡发生。遮挡的影响是，在正确的深度处，否则将被相应像素占据的像素位置被对场景的另一部分(通常是更靠近照相机的对象)采样的像素占据。遮挡像素通常与被遮挡像素迥然不同。因此，正确深度处的像素的相似性的比较不太可能导致远高于其他深度处的相似性程度。有效地，遮挡像素充当强离群值，其掩蔽事实上在正确深度处相对应的那些像素的相似性。因此，遮挡的存在可以对于深度图引入强误差源。

[0183] 根据本发明的许多实施例的用于产生深度图的处理试图最小化可以由包括(但不限于)以上概述的那些来源的来源引入到深度图中的误差的来源。图4中例示了根据本发明的实施例的用于产生深度图的一般处理。处理400涉及使用阵列照相机捕捉(402)光场。在若干个实施例中，选择(404)参考视点。在许多实施例中，参考视点是预定的。在几个实施例中，可以基于所捕捉的光场或者阵列照相机的用户所请求的特定操作(例如，产生立体3D图像对)来确定参考视点。在确定深度图之前，规范化(406)原始图像数据以提高所捕捉的图像中的相应像素的相似性。在许多实施例中，规范化涉及利用校准信息来校正照相机所捕捉的图像中的变化，包括(但不限于)每个照相机的透镜叠层所引入的光度变化和场景相关的几何畸变。在几个实施例中，原始图像数据的规范化还涉及降低混叠和噪声对于图像中的相应像素的相似性的影响的预先滤波、和/或简化视差搜索的几何形状的图像数据修正。滤波器可以是高斯滤波器或边缘保持滤波器、固定系数滤波器(箱式)和/或任何其他适当的滤波器。在若干个实施例中，规范化还包括重新对所捕捉的图像进行采样以通过校正例如几何透镜畸变来提高所捕捉的图像中的相应像素的相似性。下面进一步讨论根据本发明的实施例的在原始图像数据或规范化期间执行的处理。

[0184] 对于从参考视点捕捉的图像的像素确定(408)初始深度图。初始深度图用于确定(410)可能的遮挡区域，并且通过使用在其中相对应像素可见的图像来确定遮挡区域中的像素的深度来更新(412)遮挡区域中的像素的深度。如下面进一步讨论的，可以使用与在真实世界场景中遇到的不同可见性模式相对应的竞争图像子集来更新深度估计。尽管图4中示出了特定序列，但是在许多实施例中，与产生初始深度图同时地检测遮挡区域。

[0185] 涉及重新对原始图像数据进行采样以减小场景相关的几何差异的规范化处理可以通过校正线性和/或非线性透镜畸变来减小误差，所述线性和/或非线性透镜畸变否则可能使匹配所捕捉的每个图像中的相应像素的能力受损。另外，用不包括被遮挡像素的深度测量更新遮挡区域中的深度图进一步减少了所得的深度图中的误差的来源。尽管图4中例示了用于产生深度图的一般处理，但是根据本发明的实施例，可以利用所例示的用于产生深度图的处理的变型和替代方案。下面进一步讨论根据本发明的实施例的用于校准原始图像数据、确定初始深度图以及更新深度图以考虑遮挡的处理。

[0186] 提高所捕捉的图像数据中的相应像素的相似性

[0187] 阵列照相机中的每个照相机所捕捉的图像之间的相似性越大，不同假设深度处的图像中的相应像素的测量将导致在正确深度处检测到最高相似性的可能性越高。如美国专利申请No.12/935,504(以上通过引用并入)中所公开的，阵列照相机中的照相机所捕捉的图像通常在若干个方面不同，包括(但不限于)照相机之间光学器件中的变化可以引入光度差异、混叠、噪声和场景无关的几何畸变。光度差异和场景无关的几何畸变可以通过滤波和校准来校正。用于执行光度规范化的光度校准数据和补偿场景无关的几何畸变的场景无关的几何校正可以使用离线校准处理和/或后续再校准处理而产生。光度校准数据可以被提供给可以对于阵列照相机捕捉的图像执行各种光度调整中的任何一种的光度规范化模块或处理，所述各种光度调整包括(但不限于)减小混叠和噪声的影响的预滤波、黑电平计算和调整、晕影校正以及横向颜色校正。在几个实施例中，光度规范化模块还执行温度规范化。使用校准处理确定的场景无关的几何校正还可以应用于所捕捉的图像以提高这些图像之间的对应性。当所捕捉的图像用于使用超分辨率处理合成更高分辨率图像时，应用于这些图像的场景无关的几何校正通常是在亚像素分辨率上确定的。因此，通常以高于在常规的立体3D成像中重合对齐期间所用的校正的精度来确定场景无关的几何校正。在许多实施例中，场景无关的几何校正还涉及考虑到阵列照相机的透镜相对于焦平面的畸变和旋转的修正，以使得非参考图像的核线易于与从参考视点捕捉的图像的核线对齐。通过这样几何规范化，确定相应像素的深度所执行的搜索可以被简化为在各个照相机中沿着直线搜索，并且深度测量的精度可以得到改进。

[0188] 在Mullis,Jr.于2013年3月13日提交的、标题为“Systems and Methods for Calibration of an Array Camera”的美国专利申请No.61/780,748中描述了根据本发明的实施例的用于校准阵列照相机以产生可以应用于由阵列照相机捕捉的图像的一组场景无关的几何校正和光度校正的系统和方法，该申请的全部公开内容通过引用并入。

[0189] 在若干个实施例中，通过重新对所捕捉的图像进行采样以检测对象在阵列照相机中的照相机的视场中的亚像素精度移位来提高所捕捉的图像中的像素的对应性。

[0190] 图5中例示了根据本发明的实施例的用于将校正应用于阵列照相机所捕捉的图像以提高所捕捉的图像之间的对应性的处理。处理500包括光度地规范化所捕捉的图像(502)，将场景无关的几何校正(504)应用于规范化的图像。在一些实施例中，需要另外的修正处理来确保所有照相机都是共面的并且视差搜索可以减少到只有核线。图5中所示的处理提高了所得图像之间的对应性。因此，对于图像之间的像素对应性的搜索最有可能导致精确的深度测量。

[0191] 尽管以上关于图5讨论了根据本发明的实施例的用于提高一个(多个)阵列照相机捕捉的图像之间的对应性的特定处理，但是根据本发明的实施例，在产生深度图之前，可以利用提高所捕捉的图像之间的对应性的各种处理中的任何一种处理。下面进一步讨论根据本发明的实施例的用于产生深度图的处理。

[0192] 产生深度图

[0193] 产生深度图的处理涉及利用图像之间的视差来估计场景内的对象的深度。如以上所指出的，遮挡可以影响以以上概述的方式使用成本函数获得的深度测量的可靠性。通常，这样的遮挡将根据用于比较相应像素的相似性度量表现为显著的不匹配(可能掩蔽可见像素的相似性)。然而，本发明的许多实施例产生初始深度图，然后解决由于遮挡而可能引入到初始深度图的创建中的任何误差。在几个实施例中，初始深度图用于识别从参考视点捕捉的图像中的、在阵列照相机从其他视点捕捉的图像中可能被遮挡的像素。当检测到遮挡时，可以通过根据相似性比较从在其中像素被遮挡的图像排除像素来更新关于从参考视点捕捉的图像中的像素的深度信息。在几个实施例中，可以使用与在真实世界场景中遇到的不同可见性模式相应的竞争图像子集来更新由于遮挡而受到影响的深度估计。在某些实施例中，更新的深度估计可以用于识别被遮挡的相应像素，并且使用可见性信息迭代重复深度估计处理，以使得遮挡对于深度图的精度的影响可以降低。在几个实施例中，使用图像子集产生更新的深度估计的处理的鲁棒性足以使得可以减少或者消除针对迭代地精炼深度图和可见性估计的需要。

[0194] 图6中例示了根据本发明的实施例的确定从参考视点捕捉的图像中的像素的深度的处理。处理600包括使用阵列照相机捕捉的一些或全部图像确定(602)初始深度图。然后确定(604)从参考视点捕捉的图像中的每个像素在所捕捉的每个图像中的可见性。在相应像素位置被遮挡的情况下，可以重新计算(606)从参考视点捕捉的图像中的像素的深度，从成本函数排除在其中相应像素位置被遮挡的图像。决定(608)是否继续迭代。随着遮挡区域中的深度测量细化，获得关于遮挡区域内的像素在所捕捉的每个图像中的可见性的附加信息。因此，重复作为可见性信息的、遮挡区域中的像素的深度的重新计算可以迭代地改进深度图的精度。适合于特定应用的各种终止条件中的任何一种可以用于确定何时终止迭代循环，包括(但不限于)预定次数的迭代完成和/或在特定的一遍迭代循环中对于其确定更新的深度信息的像素的数量降至预定数量以下。在几个实施例中，由于利用所述图像集合的与真实世界可见性模式相应的子集更新使用不匹配像素产生的深度估计，仅执行单次迭代。

[0195] 一旦获得了最终深度图，就确定了(610)所捕捉的图像中的每个像素的可见性，并且深度图和/或可见性信息可以用于各种目的，包括，但不限于，使用超分辨率处理合成高分辨率图像。

[0196] 与图7中所示的处理类似的处理的计算复杂度取决于当执行深度确定时所比较的图像的数量。照相机离参考视点越远，将观察到的视差越大。另外，阵列中的最远照相机包含它们的包络内的所有其他照相机。通常，较大的幅值移位使得能够以更高的精度确定深度。因此，使用从参考视点捕捉图像的照相机和离该照相机最远的照相机确定深度信息可以改进所检测的深度的精度。另外，由于降低匹配的周期性的可能性提高，所以使用来源于具有各种基线和方向的照相机的合计成本可以显著地改进深度估计的可靠性。在5×5阵列(参见图7)的情况下，中央绿色照相机(700)可以用于从参考视点捕捉图像，并且可以将中央照相机捕捉的图像数据与位于阵列的四个角上的绿色照相机(702)捕捉的图像数据进行比较以确定深度。在其他阵列中，照相机的各种组合中的任何一种组合捕捉的图像可以用于根据本发明的实施例确定深度。如下面进一步讨论的，特定照相机子集的选择可以降低参考图像中的像素在由该子集中的其他照相机捕捉的图像数据中被遮挡的可能性。

[0197] 尽管图6中例示了根据本发明的实施例的用于产生深度图和/或可见性信息的特定处理，但是可以利用涉及确定初始深度图、然后通过检测被遮挡像素并且更新深度测量以排除被遮挡像素来细化深度图的各种处理中的任何一种。下面进一步讨论根据本发明的实施例的用于确定像素的深度和可见性的特定处理。

[0198] 确定初始深度图

[0199] 用于确定从阵列照相机到场景中的对象的距离的处理涉及找出其中由阵列照相机所捕捉的图像中的相应像素具有最高相似性程度的深度。如以上所讨论的，在特定深度处，从参考视点捕捉的图像中的像素将沿着参考视点与照相机阵列中的每个照相机之间的核线移位已知距离。从参考视点捕捉的图像中的像素和其他图像中的“移位的”像素(即，这些图像中的位于基于特定距离的预期移位而确定的位置上的像素)是相应像素。当假定深度不正确时，相应像素可能表现出非常低的相似性(但是在一些场景中，由于诸如周期性纹理的特征，不正确的深度具有高相似性程度)。当假设深度正确时，相应像素将理想地表现出任一假设深度的最高相似性程度。当在所捕捉的光场的超分辨率处理中使用深度图时，可以以足以使得能够检测到亚像素移位的精度确定深度图。在超分辨率处理中，它是所用的场景相关的移位，而不直接是深度。因此，检测与亚像素移位精度相应的深度的能力可以显著地改进超分辨率处理的性能。下面进一步讨论所捕捉的图像的像素的重新采样可以用于以亚像素移位精度确定深度的方式。

[0200] 在许多实施例中，一定物理距离范围(例如，20cm或无限远)内的若干个深度的视差搜索用于通知当执行深度估计时所搜索的视差。搜索范围可以划分为若干个深度索引，以使得连续深度索引之间的视差移位在特定图像的像素中是恒定的，并且基于对于阵列中的照相机所捕捉的、与相对于参考视点而言的最大基线相应的图像测量的最小亚像素精度而设置(参见例如图7)。这提高了深度估计的精度足以用作超分辨率处理的输入的可能性。在其他实施例中，连续深度索引无需对应于恒定的像素移位，并且深度搜索可以基于场景的特性而改动。

[0201] 在几个实施例中，成本函数用于确定相应像素的相似性。通常使用的特定成本函数取决于阵列照相机的构造、阵列照相机所捕捉的图像的数量、以及阵列照相机所用的颜色通道的数量。在若干个实施例中，阵列照相机包括单个颜色通道，和/或使用单个颜色通道内的照相机产生深度图。在来自单个颜色通道内的图像数据用于产生深度图的情况下，可以利用测量相应像素的方差的成本函数。在几个实施例中，可以使用L1范数、L2范数或一些其他度量的和。例如，相对于目标(通常是参考目标，但是还可以使用非参考目标)的相似性的合计。方差越小，像素之间的相似性越大。

[0202] 来自多个光谱通道的图像数据还可以用于产生深度图。在几个实施例中，通过查看每个光谱通道内的图像的相应像素的相似性来估计给定像素位置处的深度。在若干个实施例中，确定给定像素位置处的深度的处理还涉及使用关于不同光谱通道上的图像的相应像素的相似性的信息。当使用利用多个颜色通道捕捉的图像数据产生深度图时可以利用的成本函数包括(但不限于)来自不同颜色通道的图像数据的组合的和/或多个单个的颜色通道内的相应像素的方差/标准差的L1范数、L2范数、或者L1范数和L2范数的组合。在其他实施例中，可以利用L1范数和L2范数的截断版本、和/或基于等级、普查、相关性的任何基于块的相似性度量、和/或任何其他适合的度量(诸如多视图立体视差检测技术中所实行的那些度量)。

[0203] 如下面进一步讨论的，本发明的许多实施例在确定参考视点的图像中的像素位置的深度时，利用包括基于自然场景的特性分组的来自多个颜色通道的照相机的照相机子集来降低给定像素位置在该照相机子集中的其他照相机捕捉的替代视图图像中被遮挡的可能性。在阵列照相机在从参考视点捕捉图像的照相机中利用Bayer滤波器的情况下，各种成本函数可以用于确定像素相似性，包括(但不限于)测量红色方差、绿色方差和蓝色方差的组合的成本函数。另外，不同成本函数可以应用于图像的不同区域中的像素。在几个实施例中，使用该技术从中央绿色照相机和照相机阵列的四个角中的每个角上的一组红色、蓝色和绿色照相机捕捉的图像数据产生深度图(参见例如图7)。

[0204] 图8中例示了根据本发明的实施例的用于使用阵列照相机捕捉的图像确定像素的深度的处理。处理800包括对于从参考视点捕捉的图像的所选像素选择(802)初始假设深度或距离d。基于参考图像内的像素的位置和关于参考视点与用于执行深度测量的其他照相机的视点之间的基线的信息，确定(804)在假设深度d处所捕捉的每个图像中的相应的像素位置。在许多实施例中，不对视差检测处理的输入图像进行几何校正，而是通过在搜索期间将矢量偏移添加于视差移位以识别给定深度d处的相应像素来飞速地应用几何校正。在其他实施例中，在规范化处理期间在搜索开始之前将几何校正应用于图像，并且当计算像素对应性时在搜索期间不必添加几何校正矢量(即，预先计算几何校正)。在后一种情况下，几何畸变的预先校正可以使得所述算法在诸如SIMD和GPU等的并行处理器上的效率显著提高。

[0205] 如以上所指出的，遮挡可以对于深度估计引入误差。当遮挡/可见性信息可获得时，作为深度测量的一部分，可以忽视(806)被遮挡像素。当关于像素的可见性的信息不可获得时(例如，在产生初始深度图期间和/或在使用图像子集产生深度估计期间)，使用所有的在相应像素位置上的像素的相似性确定深度。如下面参照图8A-8I所讨论的，可以对于从阵列照相机捕捉的图像的子集捕捉的图像数据执行初始深度搜索以识别在其中参考图像中的给定像素可见的特定照相机子集。

[0206] 当识别了相应像素时，可以测量相应像素的相似性(808)。在许多实施例中，使用成本函数确定像素的相似性。所用的特定成本函数取决于被比较的像素信息。如以上所指出的，在一个实施例中，当来自单个颜色通道的像素被比较时，成本函数可以考虑相应像素的L1范数、L2范数和/或方差。当来自多个颜色通道的像素被比较时，可以利用更复杂的成本函数，包括(但不限于)合并来自多个颜色通道的图像数据的L1范数和/或L2范数和/或多个单个的颜色通道内的相应像素的方差/标准差的成本函数。在其他实施例中，可以利用L1范数和L2范数的截断版本、和/或基于等级、普查、相关性的任何基于块的相似性度量、和/或任何其他适合的度量(诸如多视图立体视差检测技术中所实行的那些度量)。在几个实施例中，利用成本函数确定相似性的处理涉及使用滤波器对所计算的成本进行空间滤波，所述滤波器诸如(但不限于)固定系数滤波器(诸如高斯滤波器)，或者在替代实施例中，边缘保持滤波器。在替代实施例中，这样用边缘保持滤波器进行滤波是利用来自光度相似的相邻像素的信息改进深度估计的一种自适应支持的形式。在不进行滤波的情况下，深度测量是逐个像素的，并且噪声大于它们被滤波时。使用自适应支持来平滑成本函数可以防止产生不正确深度。在若干个实施例中，使用双边滤波器对所计算的成本进行空间滤波，在这种情况下，双边滤波器权重是从参考图像确定的，但是与正常的双边滤波器相对比，所得的滤波器权重应用于所计算的成本，而不是参考图像。这样，参考图像数据可以用作改进成本估计的去噪的向导。在若干个实施例中，可以利用箱式滤波器和/或适合于特定应用的要求的任何其他滤波器。

[0207] 在假设深度范围上扫描(812)时重复关于不同深度处的相应像素的成本函数的计算，直到深度搜索完成(810)为止。然后可以将最可能的深度确定(814)为其中(滤波后的)成本函数指示相应像素具有最高相似性程度的假设深度。在几个实施例中，对于给定深度，如果单个照相机显示出非常高的不匹配，则计算早期终止可以发生。在这种状况下，所述处理可以跳到下一个假设深度上，因为当前深度处的匹配将是不可接受的。在许多实施例中，执行深度采样(即，基于特定深度处的视差比较替代视图图像中的像素)的处理涉及在视差空间中均匀地对深度进行采样。换句话说，可以沿着核线以均匀的像素移位获取深度采样。在若干个实施例中，搜索不涉及视差空间中的均匀采样。在几个实施例中，搜索利用图像特性来提高搜索效率。在几个实施例中，搜索使用关于对象在场景中的什么位置的先验信息来确定或限制在试图形成更高分辨率深度图时对哪些深度进行采样，所述先验信息诸如来自较粗略的或较低的空间分辨率的深度图或者降低的视差搜索分辨率(例如，来自图像预览)。例如，预览深度图可以用于确定特定距离以外不存在对象，在这种情况下，对于深度搜索，超出该距离将不分配深度采样。

[0208] 许多图像表现出类似颜色的区域，因此，可以通过下述步骤智能地执行对于最可能的假设深度的搜索，即，选择在可能的假设深度的范围上最粗略地分布的第一组假设深度，然后在这些假设深度之中找出表现出最高相似性程度的深度。然后执行第二搜索以在第一组深度中在表现出最高相似性程度的深度周围的更精细的深度范围内细化。在更精细的搜索失败并且没有从表现出类似颜色的区域找到最佳像素的情况下，可以在整个深度范围上按比最初的第一粗略搜索中的间隔更精确的间隔执行全搜索。然而，如果在第二搜索中找到令人满意的匹配，则在第二搜索内表现出最高相似性水平的深度可以用作最可能的假设深度。

[0209] 在许多实施例中，利用对于相邻像素确定的深度信息来执行对于像素的最可能的深度的搜索。在几个实施例中，通过下述方式执行搜索，即，围绕一个或多个相邻像素的深度进行搜索、围绕基于相邻像素的深度(例如，基于相邻像素的平均深度或者基于多对相邻像素的线性插值)而确定的深度进行搜索、和/或通过围绕先前识别的深度(例如，相对于预览图像和/或视频序列中的前一帧确定的深度)进行搜索。这样的搜索还可以简化确定深度时空间滤波器的应用(参见下面讨论)。在其他实施例中，各种技术中的任何一种技术可以用于降低找出图像中的像素的最可能的深度的计算复杂度。

[0210] 尽管以上关于图8讨论了用于确定从参考视点捕捉的图像中的像素的深度的特定处理，但是各种处理中的任何一种处理可以用于确定像素的深度，包括基于阵列照相机捕捉的多个图像确定从虚拟视点来看的像素的深度的处理。与图8中所示的处理类似的处理可以用于产生初始深度图、然后通过忽略在其中与参考视点的图像中的像素位置相应的像素被遮挡的图像来细化深度图。下面进一步讨论根据本发明的实施例的用于使用自适应支持确定像素对应性的处理。

[0211] 在存在遮挡时确定像素对应性

[0212] 在参考视点中无论在哪里存在深度转变或间断，与深度转变相邻的像素都有可能在阵列照相机捕捉的图像中的至少一个中被遮挡。具体地讲，离照相机的距离较远的与转变相邻的像素有可能被与更靠近该照相机的照相机相邻的像素遮挡。理想情况是，如下使用关于阵列中的不包括被遮挡像素的每个可见照相机i的合计成本函数CV(x,y,d)来确定深度图：

[0213]

[0214] 其中，Costi,Ref(x,y,d)是相似性度量(即，成本函数)，

[0215] d是像素(x,y)的深度，以及

[0216] Vi,Ref(x,y)是像素(x,y)的可见性，一开始，对于所有照相机，Vi,Ref(x,y)＝1。

[0217] 在若干个实施例中，如下基于对于照相机i,Ref、对于每个像素(x,y)的每个视差假设计算单个的成本Costi,Ref(x,y,d)：

[0218] Costi，Ref(x，y，d)＝S{li(x，y，d)，lRef(x，y，d)}

[0219] 其中，S是相似性度量(例如)，以及

[0220] li是几何校准之后的校准图像i。

[0221] 在几个实施例中，产生合计成本的处理可以涉及使用这样的图像，与特定假设的或候选的深度相对应的场景相关的几何移位被应用于该图像中的所有像素。这样，可以对于所搜索的每个候选深度产生移位的图像。通过使用移位的图像，可以以以上概述的方式利用移位的图像与参考图像之间的相似性来产生关于参考视点的图像中的特定像素位置(x,y)的在每个深度处的合计成本。另外，合计成本可以如下考虑候选深度处的移位的图像的相似性：

[0222]

[0223] 其中，K是在与参考照相机相同的光谱通道中的一组照相机，

[0224] L是一组多对照相机，其中，每对中的两个照相机都在相同的光谱通道(该光谱通道可以是与参考照相机不同的光谱通道，在这种情况下，光场包括多个光谱通道中的图像数据)中，

[0225] 以及

[0226] 在若干个实施例中，集合K和L不必包含所有照相机或者满足K和L中的要求的照相机对。此外，还可以使用成本项来构造累积成本函数，在所述成本项中，L的集合包括对于其确定相应像素的成本的任意大的照相机组。在许多实施例中，相似性度量S是L1范数。在几个实施例中，相似性度量可以是若干个公知的相似性度量中的任何一个，包括(但不限于)相应像素的L2范数、方差或标准差(特别是在L包括更大照相机组的情况下)、合并相关性、等级、普查的基于窗口的相似性度量、和/或适合于特定应用的要求的任何其他度量。尽管以上在移位的图像的背景下讨论了比较，但是可以容易地意识到，可以通过将移位应用于单个的像素位置并且比较假设深度处的相应像素(与将移位应用于图像中的所有像素、然后比较移位的图像完全不同)来执行比较。

[0227] 在若干个实施例中，成本函数还考虑不同光谱通道上的相应像素之间的相似性。在几个实施例中，可以使用各种度量中的任何一种度量来估计来自不同光谱通道的像素中的像素邻域的相似性，所述各种度量包括(但不限于)这些邻域中的像素的互相关性、这些领域中的像素之间的规范化的互相关性、和/或用于测量两个像素集合的相对值的相似性的任何其他度量(诸如(但不限于)包括测量交互信息的熵度量)。

[0228] 在几个实施例中，不同的加权可以应用于包含参考图像的光谱通道内的相应像素的相似性、同一光谱通道中的替代视图图像内的相应像素的相似性、和/或不同光谱通道中的图像内的相应像素的相似性。

[0229] 如以上所讨论的，可以如下对合计成本函数进行空间滤波：

[0230] FilteredCV(x，y，d)＝Filterxn，yn∈N(x，y){Cost(xn，yn，d)}

[0231] 其中，Filter(滤波器)应用于包围像素位置(x,y)的邻域N(x,y)。

[0232] 滤波器可以是简单的3×3或N×N箱式滤波器、或者一些其他滤波器，包括(但不限于)使用参考图像作为指导的联合双边滤波器、固定系数滤波器(诸如高斯滤波器或箱式滤波器)、或任何适合的边缘保持滤波器。在几个实施例中，加权的合计成本函数如下：

[0233]

[0234] 其中，N(x,y)是像素(x,y)的最近邻域，其可以是方形、圆形、矩形、或适合于特定应用的要求的任何其他形状，

[0235] Norm是规范化项，

[0236] IRef(x,y)是来自参考照相机的图像数据，

[0237] wd是基于像素距离的加权函数，以及

[0238] wr是基于强度差异的加权函数。

[0239] 在许多实施例中，滤波器是双边滤波器，wd和wr都是高斯加权函数。

[0240] 基于滤波后的合计成本函数，可以如下通过选择深度图中的最小化每个像素位置处的滤波后的成本的深度来计算深度图：

[0241] D(x，y)＝argmind{FilteredCV(x，y，d)}

[0242] 当以以上概述的方式使用边缘保持滤波器对合计成本函数进行滤波时，噪声将导致不正确地检测被遮挡像素的可能性降低。不是对于单个的像素计算深度，而是围绕每个像素使用自适应支持窗口来以保留深度转变的方式对噪声进行滤波。利用诸如(但不限于)双边滤波器的滤波器提供基于内容而改动的自适应支持窗口。在许多实施例中，使用双边滤波器，在所述双边滤波器中，使用参考图像来定义对于双边滤波器的空间和范围支持(即，定义对于关于特定像素的合计成本函数有贡献的像素窗口的大小的参数)。结果，可以使用作为同一表面的一部分的像素的所计算的成本函数来实现像素的成本函数的平滑。在其他实施例中，诸如(但不限于)箱式滤波器的滤波器的计算复杂度较低，并且针对特定应用的要求提供足够的滤波。

[0243] 对于像素在多个光谱通道中的像素对应性

[0244] 根据本发明的许多实施例的阵列照相机包括多个光谱通道中的照相机，诸如，但不限于，红色、绿色和蓝色照相机。以上在单个光谱通道和多个光谱通道的背景下描述了成本度量CV(x,y,d)。在包括红色、绿色和蓝色照相机的阵列照相机的情况下，成本函数可以考虑特定深度处的、绿色照相机中的像素的相似性、红色照相机中的像素的相似性、以及蓝色照相机中的像素的相似性。在特定颜色通道中的照相机被选为参考照相机(例如，绿色照相机)的情况下，其他通道(例如，红色照相机和蓝色照相机)中的像素难以直接与参考图像中的像素进行比较。然而，可以确定特定深度处的视差，并且可以比较其他颜色通道中的相应像素的强度值。将这些另外的比较合并到深度估计中可以通过利用所有颜色通道上的信息来改进深度估计。下面进一步讨论可以用于在包括红色、绿色和蓝色照相机的阵列照相机中执行深度估计的各种成本函数。然而，可以容易意识到，根据本发明的实施例，可以对于任何光谱通道集合利用相同的成本函数。

[0245] 在几个实施例中，使用包括红色、绿色和蓝色照相机的阵列照相机捕捉图像数据，并且绿色照相机被选为参考照相机。可以利用当确定深度估计时考虑一组绿色照相机中的像素之间、一组红色照相机中的像素之间、以及一组蓝色照相机中的像素之间的像素对应性的成本函数。在几个实施例中，可以利用下列成本函数：

[0246] Cost(x，y，d)

[0247] ＝γG(x，y).CastG(x,y,d)+γR(x，y).CostR(x,y,d)

[0248] +γB(x,y).CostB(x,y,d)

[0249] 其中，CostG(x,y,d)是一组绿色照相机内的基于深度d确定的位置和参考绿色照相机中的像素(x,y)的位置上的像素的相似性的度量，

[0250] CostR(x,y,d)是一组红色照相机内的基于深度d确定的位置和参考绿色照相机中的像素(x,y)的位置上的相应像素的相似性的度量，

[0251] CostB(x,y,d)是一组蓝色照相机内的基于深度d确定的位置和参考绿色照相机中的像素(x,y)的位置上的相应像素的相似性的度量，以及

[0252] γG、γR和γB分别是绿色、红色和蓝色成本函数的加权因子，这些加权因子可以对于整个参考视点是常数，或者可以空间变化。

[0253] 空间加权可以取决于所捕捉的图像数据(例如，使用边缘梯度)，可以校正或使用传感器的已知性质(例如，使用给定传感器的先验噪声模型来计算SNR)、以及成本函数的性质(这是空间加权取决于图像数据的另一种情况)。另外，在确定加权时还考虑在捕捉图像数据期间所用的成像参数，诸如(但不限于)在其捕捉到图像的增益或检测到的光水平可以用于调制加权因子。

[0254] 成本函数CostG(x,y,d)可以是上述度量之一。在许多实施例中，CostG(x,y,d)使用基于下列项的相似性度量：将替代视图图像中的像素与参考图像中的像素进行比较的L1范数、将替代视图图像中的像素与参考图像中的像素进行比较的L2范数、和/或绿色照相机所捕捉的图像集合中的像素之间的方差。在其他实施例中，可以利用L1范数和L2范数的截断版本、和/或基于等级、普查、相关性的任何基于块的相似性度量、和/或任何其他适合的度量(诸如多视图立体视差检测技术中所实行的度量)。

[0255] 在若干个实施例中，关于其他颜色通道的成本函数(CostR(x,y,d)和CostB(x,y,d))不利用包括参考图像的像素的比较作为确定像素对应性的基础。在几个实施例中，通过计算颜色通道内的一组照相机中的每个单独一对相应像素之间的合计差异来执行相应像素的相似性。在使用四个红色照相机RA、RB、RC和RD确定深度的阵列照相机的例子中，可以如下确定成本：

[0256] CostR(x，y，d)

[0257] ＝|RA(xA，yA)-RB(xB，yB)|+|RA(xA，yA)-RC(xC，yC)|

[0258] +|RA(xA，yA)-RD(xD，yD)|+|RB(xB，yB)-RC(xC，yC)|

[0259] +|RB(xB，yB)-RD(xD，yD)|+|RC(xC，yC)-RD(xD，yD)|

[0260] 其中，(xA，yA)、(xB，yB)、(xC，yC)和(xD，yD)是基于照相机RA、RB、RC和RD中的每个照相机中分别在深度d处的视差确定的像素位置。

[0261] 以上度量可以被称为组合成本度量，并且可以应用于不包含参考照相机的任何颜色通道内。在几个实施例中，可以利用不包括颜色通道内的一组照相机中的单独一对相应像素的所有组合的组合度量。在几个实施例中，可以利用阵列照相机所捕捉的图像的子集的单独一对相应像素。当对于虚拟视点确定深度时，没有一个光谱通道包含“参考照相机”，并且组合成本度量可以应用于每个光谱通道中。尽管组合成本度量在上面被示为利用L1范数来确定像素强度值之间的相似性，但是在其他实施例中，可以利用L2范数、像素方差、L1范数和L2范数的截断版本、和/或基于等级、普查、相关性的任何基于块的相似性度量、和/或任何其他适合的度量(诸如多视图立体视差检测技术中所实行的那些度量)。

[0262] 加权因子(例如，γG、γR和γB)可以用于确定每个光谱通道对于深度估计的贡献。加权可以是固定的，或者在参考图像中的像素之间变化。在许多实施例中，可以使用SNR估计器对于参考图像产生信噪比(SNR)图。在几个实施例中，SNR估计器可以基于信号噪声的先验表征来确定SNR。SNR响应高的区域可以指示存在纹理或高信号。SNR估计低的区域可以指示几乎整个由噪声构成的无纹理区域。在某些情况下，来自图像的数据可能在某些光谱通道中有噪声，但是在其他光谱通道中没有噪声。例如，一个区域可以在绿色图像中表现为无纹理，但是在红色照相机捕捉的图像中具有信号内容。因此，绿色照相机将对于成本函数贡献很少的有用信息，并且实际上可能对于深度估计处理引入噪声，导致深度估计的可靠性低于成本函数中仅包括红色或蓝色照相机时。因此，SNR图可以用于确定应用于每个颜色通道的加权。在几个实施例中，如果参考图像中对于像素(x,y)的SNR估计低，意味着围绕像素(x,y)的邻近区域有可能是无纹理的，并且不包含重要信号，则应在像素(x,y)处减小用于包含参考图像的颜色通道的加权。

[0263] 在许多实施例中，还可以使用更严格的条件，和/或使用更严格的条件作为替代条件，在所述更严格的条件中，应在像素(x,y)处减小用于包含参考图像的光谱通道的加权，当参考图像中的像素(x,y)处的、以及对于所有照相机的参考图像中的最大视差的半径(沿着核线)的SNR估计表现出低SNR时，应在像素(x,y)处减小用于包含参考图像的光谱通道的加权。最大视差的半径可以仅相对于沿着核线定位的像素确定，所述核线是相对于光谱通道内的照相机阵列中的其他照相机确定的。更严格的标准承认，尽管SNR可能在参考图像中的像素位置(x,y)处很低，但是在包含参考照相机的颜色通道内的另一个照相机中可能存在离像素(x,y)一定距离(小于最大视差移位)的内容，该内容可以取消候选深度有可能匹配的资格。因此，尽管像素位置(x,y)可能具有低SNR，但是附近的内容仍然可以尽可能地对于取消资格的某些深度提供有用信息。

[0264] 在若干个实施例中，参考图像中的强SNR可以用于减小应用于其他颜色通道的加权以节省计算(即，更少的照相机必须被搜索)。另外，可以对于其他颜色通道之一中的照相机估计SNR以确定成本函数中应用于该颜色通道的加权。在许多实施例中，确定SNR的处理涉及沿着将替代视图照相机中的像素位置(x,y)连接到参考照相机的核线估计SNR。然后，可以在高SNR的区域中搜索一条核线或多条核线。如果在替代视图照相机中沿着核线找到高SNR贡献，则替代视图照相机所属的颜色通道的加权可以被设置为使得该颜色通道对于关于参考图像中的像素位置(x,y)的成本度量有贡献。相反，如果沿着从像素位置(x,y)开始的核线，替代视图图像仅显示出SNR，则包含替代视图图像的颜色通道的贡献可以相应地减小。在许多实施例中，当确定在确定深度估计时应用于颜色通道的加权时，考虑每个颜色通道中的多个照相机。尽管以上描述了用于使用不包括参考照相机的颜色通道内所包含的信息来估计深度的特定处理，但是根据本发明的实施例，根据特定应用的要求，可以利用各种处理中的任何一种处理来基于多个颜色通道中所包含的信息确定深度估计。

[0265] 基于初始深度图，可以基于所计算的深度图D(x,y)或者基于滤波后的深度图F(D(x,y))来更新可见性Vi,Ref(x,y)，所述滤波后的深度图F(D(x,y))是使用固定系数滤波器(诸如高斯或箱式滤波器)或者自适应或边缘保持滤波器(诸如(但不限于)使用参考图像作为指导的联合双边滤波器)进行滤波的。各种技术可以用于确定从参考视点捕捉的图像中的像素在另一个图像中是否被遮挡。在若干个实施例中，初始深度图用于识别可能被遮挡的像素。关于前景对象的信息可以用于识别在其中遮挡有可能发生的区域。另外，初始深度图的各种另外的特性中的任何一种特性可以用于检测遮挡，包括(但不限于)深度图内的不寻常的深度转变和/或与局部像素深度值不一致的像素深度值。

[0266] 尽管以上关于图8的大部分讨论与使用单个光谱通道中的或者红色、绿色和蓝色颜色通道中的图像数据产生深度估计相关，但是上述技术对于各种光谱通道中的任何一个同样适合(术语颜色通道和光谱通道在本文中可互换使用)。可以利用与上述合计成本函数类似的合计成本函数，包括使用上述任一技术对于每个光谱通道确定的成本项。另外，成本函数可以包括使用与上述那些技术类似的技术对光谱通道上的像素的相似性进行加权的成本项。所得的深度估计的精度可以取决于深度估计利用在其中参考图像中的像素位置(x,y)被遮挡的图像的像素的程度。下面进一步讨论用于当参考视点的图像中的像素位置(x,y)在所述图像集合中的一个或多个图像内被遮挡时改进深度估计的精度的技术。

[0267] 使用图像子集产生考虑遮挡的深度图

[0268] 可见性模式存在于自然场景中。因此，模式Vi,Ref(x,y)通常不是任意的。关于在其中参考图像中的像素可见的照相机的强先验存在。在许多实施例中，可以以还提供对于Vi,Ref(x,y)的估计的方式确定深度图，在所述估计中，在其中像素(x,y)被遮挡的照相机被不i,Ref i,Ref正确识别的可能性低。基于对于V (x,y)的估计，可以在不需要迭代以细化V (x,y)的可见性的情况下确定深度估计。可替代地，可以执行额外的迭代以基于使用可靠的深度估计获得的可见性信息通过包括额外的照相机来细化深度图。然而，通过获得更好的初始深度图，迭代处理有可能更迅速地收敛。

[0269] 在许多实施例中，产生深度图的处理涉及：使用多个照相机集群或子集确定深度，每个照相机集群或子集对应于场景内的不同可见性模式；并且选择深度估计作为使用所述照相机集群捕捉的图像的子集确定的深度，在所述子集中，相应像素具有最高相似性。图8A中例示了根据本发明的实施例的使用表示照相机阵列的子集的照相机组所捕捉的图像确定像素(x,y)的深度的处理。处理850包括：选择(852)与场景内的特定可见性模式相对应的初始照相机组，并且使用该照相机组所捕捉的图像数据的子集确定(854)候选深度估计，所述候选深度估计基于该照相机组内的相应像素在其具有最高相似性的深度而产生。在几个实施例中，所述处理类似于以上关于图8概述的处理，除了成本是对于每个图像子集确定的并且使用这些子集产生的最低成本深度估计被选为对于相关像素位置的候选深度估计。如下面进一步讨论的，然后将候选深度估计处的图像子集内的相应像素的相似性与其他候选深度估计处的其他图像子集内的相应像素的相似性进行比较以确定在给定应用的背景内最可靠的候选深度估计。在许多实施例中，被选为对于像素位置的深度估计的候选深度估计是基于该候选深度估计处的具有最相似的相应像素的图像子集确定的。

[0270] 在许多实施例中，照相机组可以包括来自多个颜色通道的照相机，并且每个颜色通道中的成本度量加权相似性用于使用照相机组估计参考图像中的像素(x,y)的深度。所述处理然后遍历多个不同照相机组迭代(856、858、854)，直到对于每个照相机组确定深度估计为止，所述多个不同照相机组中的每个照相机组对应于场景内的不同可见性模式。可以通过从在其中所估计的深度处的相应像素具有最高相似性的照相机组选择深度估计来获得对于参考视点的图像中的像素位置(x,y)的深度估计。如以上所指出的，可以使用对多个光谱通道中的和/或跨光谱通道的像素的相似性进行加权的成本函数来确定像素的相似性。在其中所估计的深度处的相应像素具有最高相似性的图像子集对应于特定可见性模式，并且提供Vi,Ref(x,y)的初始估计，该初始估计具有错误地识别参考视点的图像中的像素位置(x,y)在它在其中被遮挡的照相机中可见的低可能性。

[0271] 尽管以上提供的讨论是在对于每个照相机组、对于参考图像中的像素位置(x,y)执行搜索的背景下呈现的，但是可以使用与特定可见性模式相对应的每个照相机组来对于参考图像中的像素分别估计深度图。这样，可以对使用特定照相机组对于像素位置(x,y)确定的成本度量进行滤波以消除成本函数中的噪声。因此，可以使用对于具有最小的滤波后的成本度量的照相机组的深度估计来选择对于像素位置(x,y)的深度估计。应用于使用特定照相机组确定的成本度量的滤波器可以是固定的，或者可以是空间自适应的。根据本发明的实施例，可以基于特定应用的要求来确定所用的特定滤波器。在选择了对于参考图像中的像素的深度估计之后，可以执行额外的滤波来进一步平滑初始深度图中的噪声。

[0272] 用于检测场景内的特定可见性模式的照相机集群或分组可以取决于阵列照相机中的照相机的数量、被选为参考照相机的照相机、和/或来自不同颜色通道的照相机在阵列内的分布。图8B-8I中示出了成5×5阵列的八个照相机组，这八个照相机组对应于有可能在场景内相对于位于阵列的中心处的参考照相机中的像素存在的不同可见性模式。这八个组通过旋转并且翻转同一包括12个照相机的组模板而产生。根据组模板的方位，这包括七个绿色照相机、以及三个红色照相机和2个蓝色照相机、或者3个蓝色照相机和2个红色照相机。如以上所指出的，组模板可以用于当对于位于5×5阵列的中心处的参考绿色照相机中的像素(x,y)估计深度时选择照相机组。可以通过从在其中所估计的深度处的、三个颜色通道中的相应像素具有最高相似性的照相机组选择深度估计来估计像素位置(x,y)的深度。

[0273] 尽管特定组在图8B-8I中被示为用于选择照相机组，但是可以利用与场景内的常见可见性模式相对应的各种模板中的任何一种。例如，可以如下面参照图10描述的那样选择沿着单条核线的照相机组。在许多实施例中，这些组被选择为使得包含参考照相机的颜色通道中的相同数量的照相机出现在每个照相机组中。另外，这些组可以被确定为在每个照相机组中存在在其他颜色通道中的至少两个照相机。如果这些组包括奇数个照相机，则相对于不同大小的组的成本度量可能有偏差，可以通过规范化来考虑该偏差。在许多实施例中，照相机组被选择为提供基线多样性(与图10中所示的基于共享公共基线而选择的组形成对比)。对其执行深度搜索的不同径向核线的数量越多，照相机组所捕捉的图像之一将越有可能包含可以帮助识别错误深度的信息。在几个实施例中，照相机组被选择为使得每组的核线所限定的扇区的中心角度相同。

[0274] 在较小的阵列照相机(诸如(但不限于)4×4阵列照相机)中，根据该阵列内所用的滤色器的模式，可能不能选择在每个颜色通道中包含相同数量的照相机的照相机组。在几个实施例中，使用滤色器模式，以使得与常见可见性模式相对应的照相机组在单个颜色通道中包含相同数量的照相机。这样，颜色通道内所捕捉的图像数据可以用于通过比较使用不同子组获得的深度估计的滤波后的成本来对于被遮挡的或者以其他方式不匹配的像素估计深度。图8J-8M中示出了成4×4阵列的四个照相机组，这四个照相机组对应于有可能在场景内相对于位于阵列的中心处的参考照相机中的像素存在的不同可见性模式。这四个组通过旋转并且翻转同一包括4个照相机的组模板而产生。在所示的实施例中，存在三个颜色通道：红色、绿色和蓝色。每个照相机组包括三个绿色照相机和一个蓝色或红色照相机。由于存在单个红色或蓝色照相机，所以在几个实施例中，使用在绿色颜色通道中捕捉的图像数据来确定深度估计。对于给定像素位置(x,y)，得到最可靠的深度估计(即，最低成本)的组的红色或蓝色照相机中的图像数据被假定为在参考视点的图像中是可见的。因此，为了计算相应像素在红色或蓝色颜色通道内的其他图像中的可见性的目的，可以使用红色或蓝色图像中的与参考视点的图像中的像素位置(x,y)相对应的像素位置上的像素值作为参考像素。对于图8J-8M中所示的每个组，从该组排除光谱通道之一。然而，为了确定像素在被排除的颜色通道中的可见性的目的，可以利用π滤波器组的使用来识别被排除的颜色通道中的图像中的哪个应被用作参考图像。当π照相机组的中央照相机的视点用作参考视点时，被排除的颜色通道中的两个图像将已经从参考视点的相对侧的视点捕捉。在典型的自然场景中，参考视点的图像内的像素位置有可能在被排除的颜色通道中的相邻照相机所捕捉的图像中的至少一个中是可见的。为了确定图像中的哪个(如果有的话)最有可能获得与参考视点的图像中的可见的像素位置相对应的像素，两个子组内的相应像素的相似性包含这两个图像。假定子组中的至少一个中的相应像素实现阈值水平的相似性，那么在其中相应像素具有最高相似性水平的子组中的图像可以被选为被排除的颜色通道的参考图像。这样，被排除的颜色通道内的任何图像中的相应像素的可见性可以基于其与被排除的颜色通道的参考图像的相应像素的相似性而确定。在从与参考视点相邻的视点捕捉的图像均不可靠地包含与参考视点的图像内的像素位置相应的可见像素的情况下，可以利用替代技术来识别被排除的颜色通道内的包含可见的相应像素的图像和/或确定来自被排除的颜色通道的个体图像内的像素的可见性。在几个实施例中，可以通过以本文中所描述的方式执行核线搜索来确定可见性。在若干个实施例中，互通道相似性度量可以用于确定被排除的颜色通道中的图像内的可以用作参考像素的相应像素。在几个实施例中，为了确定被排除的颜色通道中的图像中的其他相应像素的可见性的目的，可以利用在其中围绕相应像素的邻域表现出与参考图像的最高互相关性(或任何其他适合的互通道相似性度量)的图像作为参考像素。在阵列照相机包括不同大小的照相机阵列的情况下，可以采取类似的方法。

[0275] 在许多实施例中，用于对于参考照相机中的像素估计深度的照相机组对应于阵列内的照相机对。通过使用阈值，可以识别在其中像素(x,y)有可能可见的照相机，并且构造初始可见性图Vi,Ref(x,y)。阈值可以是硬阈值、和/或基于参考图像中的SNR的阈值。同样也适用于更大的照相机组，诸如图8B-8I中所示的那些照相机组。阈值可以用于检测相应像素集内的一个或多个离群值像素的存在。然后可以组合被发现不包含离群值的照相机组，并且重新用该新的组合集计算深度，以改进深度估计的精度。以类似的方式，可以通过一开始假定所有照相机在可见性图Vi,Ref(x,y)中都是可见的来构造初始深度图。各种技术中的任何一种可以用于确定像素(x,y)在照相机阵列中的照相机中的至少一个中是否可见，包括(但不限于)以以上概述的方式使用阈值、和/或沿着核线执行遮挡搜索。然后可以再次使用与以上关于图8A概述的处理类似的处理来估计有可能在阵列中的照相机中的至少一个中被遮挡的像素的深度。这样，可以迅速地识别在其中像素被遮挡的照相机。

[0276] 尽管以上参照图8A-8I描述了用于当对于参考图像内的像素估计深度时确定深度图和可见性图的各种处理，但是根据本发明的实施例，可以利用各种处理中的任何一种处理来根据特定应用的要求确定初始深度图和/或可见性图。下面进一步讨论用于识别被遮挡像素的处理，包括涉及沿着核线执行对于被遮挡像素的搜索的处理。

[0277] 识别被遮挡像素

[0278] 与从初始深度图识别被遮挡像素相关联的挑战是，使用被遮挡像素确定的深度图内的深度可能是错误的。最可靠的深度估计是场景中的最靠近照相机的对象的那些深度估计。这些是还引起最大视差并且可能导致最大数量的像素遮挡(这依场景内的对象的分布而定)的对象。因此，可以通过沿着基线矢量在参考图像中搜索遮挡像素来确定在参考图像中可见的像素在第二图像中是否被遮挡。遮挡像素是这样的像素，该像素足够靠近照相机以至于从第二图像的角度观察到的视差将大得足以遮挡在参考图像中可见的像素。可以参照图9来理解对于遮挡像素的搜索。图9中示出了从参考视点900捕捉的图像。为了确定阵列照相机所捕捉的第二图像中的具有深度d1的像素(x1,y1)的可见性，沿着与捕捉参考图像的照相机与捕捉第二图像的照相机之间的基线平行的线902进行搜索。当像素(x2,y2)更靠近照相机(即，位于深度d2

[0279] 阈值

[0280] 在几个实施例中，以上表达式中的阈值可以被确定为在随后的超分辨率处理期间使用的超分辨率因子的倒数(例如，当超分辨率处理试图实现3倍的分辨率提高时，像素的1/3的阈值是适合的)。当没有找到满足以上表达式的像素时，像素(x1,y1)可以被推断为在第二图像中是可见的。在对于某一像素(x2,y2)满足以上表达式的情况下，像素(x1,y1)可以被认为被遮挡。因此，可以重复图8中所示的处理来在忽视第二图像(以及在其中像素(x,y)被遮挡的任何其他图像)的情况下创建对于像素(x,y)的更新的深度估计。可以容易地意识到，初始深度估计中的错误深度可以导致可见像素在用于确定深度图的处理的未来的迭代中被忽视。使用自适应支持来提供光度一致的深度降低了噪声将导致检测到错误像素遮挡(这从后续处理迭代消除有用信息)的可能性。在许多实施例中，将像素指定为被遮挡的决策考虑像素的相似性以及像素(x1,y1)和(x2,y2)的估计深度的置信度。如下面进一步讨论的，可以相对于参考图像的深度图产生置信图，置信图指示特定深度图的可靠性。因此，使用以上提供的表达式识别的可能的遮挡可以被忽视，在以上提供的表达式中，每个像素的场景相关的几何移位(分别是s2和s1)基于不可靠的深度估计。类似地，涉及下述像素的可能的遮挡可以被忽视，在所述像素中，这些像素的强度的差异低于预定阈值。在像素值足够相似的情况下，即使像素被遮挡，在像素上产生的深度估计也将几乎不受影响。在其他实施例中，当根据特定应用的要求视情况决定是否在可见性图中将像素指示为被遮挡时，可以考虑各种其他考虑因素。

[0281] 以上关于图9所讨论的搜索可以沿着与用于执行深度估计的每一个照相机相对应的核线进行。当所捕捉的图像被正确地修正时，可以通过相对于从参考视点捕捉的像素的行和列对齐照相机的基线来简化搜索(参见以上对于修正的讨论)。对于遮挡像素的搜索无需对于参考图像中的每一个像素执行。相反，可以对于有可能在阵列照相机所捕捉的一个或多个图像中被遮挡的像素(包括(但不限于)与深度转变邻近的像素)进行初始搜索。然后可以对于被认为有可能被遮挡的像素执行对于遮挡像素的搜索。另外，可以通过预先基于距离计算像素的投影(这些投影指示其中沿着基线的相邻像素将被遮挡的深度)来更高效率地执行对于遮挡像素的搜索。另外，一旦像素被确定为被遮挡，就可以通过利用遮挡像素的投影来简化用于检测相邻像素的遮挡的处理。在其他实施例中，可以利用各种技术中的任何一种技术来更高效率地找出遮挡像素和被遮挡像素，包括(但不限于)根据本发明的实施例基于深度渲染图像。

[0282] 如以上所指出的，将被遮挡像素包括在初始深度图的确定中可以在所得的像素深度中引入误差。当使用与以上概述的任一处理类似的处理检测到遮挡并且深度图被更新时，深度图中的误差被去除。当深度图中的误差被去除时，可以更精确地预测被遮挡的像素。因此，可以迭代地执行检测遮挡的处理，直到达到停止标准为止。在若干个实施例中，停止标准可以是(但不限于)在特定迭代中检测到的被遮挡像素(以前未被检测到)的数量降至低于预定数量和/或预定次数的迭代的完成。

[0283] 回头参照图6，例示了根据本发明的实施例的用于产生并且细化深度图的处理。在许多情况下，用于确定(602)初始深度图的处理将具有高估被遮挡像素的视差的趋势。这具有将被遮挡像素推送到前景中的效果。因此，在若干个实施例中，为了更新(606)深度图的目的，也可以将遮挡另一个像素的像素如被遮挡像素那样进行处理。这样，可以检测并且更新具有错误初始深度测量的背景像素的深度。如下面进一步讨论的，一旦深度图敲定，就可以分别地确定(610)被忽略的像素的可见性。在若干个实施例中，诸如图6中所示的处理600的处理还涉及将双边滤波器应用于深度图以帮助随着该处理迭代使深度图稳定。

[0284] 深度估计的精度通常随着产生深度估计时所用的阵列照相机所捕捉的光场中的图像的数量提高。然而，考虑到较少数量的图像可以降低获得深度估计的计算复杂度。当深度转变发生时，遮挡通常将在参考视点的一侧捕捉的图像中发生。因此，与上述搜索类似的对于遮挡像素的搜索可以用于确定像素在参考照相机的一侧所捕捉的一组图像中是否被遮挡。如果搜索指示没有发生遮挡，则可以使用该组图像来确定像素的深度，并且更新深度图。

[0285] 图10中例示了可以用于使用阵列中的绿色照相机构造深度图的5×5阵列照相机。阵列照相机1010包括中央参考绿色照相机(1012)。为了确定在绿色照相机所捕捉的图像中的至少一个中被遮挡的像素的深度的目的，利用阵列中的其余绿色照相机来形成八个径向的三个绿色照相机的组。尽管图10中例示了径向组，但是还可以利用围绕参考视点的四个象限中的每个象限中的照相机组。一个组可以如一个照相机对那么小，所述照相机对之一是从参考视点捕捉图像的照相机。在许多实施例中，还可以利用诸如以上参照图8A-8I所讨论的那些组的组。

[0286] 尽管以上关于图6、8A-8I、9和10讨论了用于检测像素遮挡的特定处理，但是根据本发明的实施例，可以利用各种处理中的任何一种处理来产生深度图，包括(但不限于)降低检测遮挡的计算复杂度的处理。在几个实施例中，确定每个像素的深度的处理可以涉及基于假设深度和假设可见性的搜索，并且得到最高像素对应性的深度和可见性组合被选为最有可能的深度和遮挡集合。这样确定的可见性可以通过使用上述用于检测遮挡像素的方法来确认。

[0287] 在许多实施例中，在包括(但不限于)超分辨率处理的处理中利用关于从参考视点捕捉的图像中的像素的可见性的信息。下面进一步讨论根据本发明的实施例的用于使用深度图确定阵列照相机从参考视点捕捉的图像中的像素的可见性的处理。

[0288] 确定像素的可见性

[0289] 像素可见性可以用于确定深度图和各种其他应用中，所述各种其他应用包括(但不限于)超分辨率处理。在几个实施例中，使用与以上概述的处理类似的处理产生的、关于从参考视点捕捉的图像的深度图被用于产生关于阵列照相机所捕捉的其他图像(即，从替代视点捕捉的图像)的可见性图。在几个实施例中，可以关于替代视图图像中的像素从参考视点来看是否可见以及第一替代视图图像中的像素在其他任一替代视图图像中是否可见来确定可见性图。在若干个实施例中，用于确定关于在单个颜色通道内捕捉的图像的可见性图的处理涉及比较与从参考视点捕捉的图像中的像素相对应的像素的光度相似性。被认为具有预定相似性水平的像素可以被认为是可见的，低于阈值相似性水平的像素可以被认为被遮挡。用于确定相应像素的光度相似性的阈值可以基于这些相应像素的相似性而改动。在几个实施例中，阈值被确定为参考图像的像素和与参考图像的该像素最相似的相应像素之间的光度距离的函数。当阵列捕捉多个颜色通道中的图像数据时，单个颜色通道中的像素的可见性可以用于确定其他通道中的像素的可见性。

[0290] 图11中例示了根据本发明的实施例的用于确定与参考图像内的像素相应的像素的可见性的处理。处理1100包括从从参考视点捕捉的图像选择(1102)像素。使用与上述处理类似的处理产生的深度图可以用于确定所选像素的深度。基于所选像素的深度，可以确定(1104)阵列照相机所捕捉的每个图像中的相应像素的位置。这些相应像素与参考图像的所选像素的相似性可以用于确定这些相应像素的可见性。在若干个实施例中，像素的光度距离用作相似性度量以及用于确定有可能可见的像素和有可能被遮挡的像素的阈值。在许多实施例中，阈值根据被比较的像素的特性而变化。在某些实施例中，通过使用参考像素的强度作为被发现在给定颜色通道中可见的相应像素的像素强度值的子集的平均值来确定用于确定相应像素的相似性的阈值。在几个实施例中，被求平均值的特定相应像素强度可以取决于相应照相机基线、这些像素的置信度值(如果可获得的话)、以及这些像素的相关联的匹配成本。在几个实施例中，阈值被确定(1106)为参考图像的所选像素与光度上最靠近该所选像素的相应像素之间的光度距离的函数。在若干个实施例中，阈值基于参考图像中的相应像素的像素强度和/或替代视图图像中的像素的强度。在某些实施例中，使用关于所捕捉的图像的SNR模型确定阈值。在若干个实施例中，缩放所选像素和最靠近的相应像素的光度距离和/或添加偏移以获得适当的阈值。在其他实施例中，各种技术中的任何一种技术可以用于确定相应像素的可见性的阈值，包括(但不限于)使用固定阈值。

[0291] 比较(1108)参考图像的所选像素和相应像素，并且使用阈值来确定(1110)像素的相似性。当参考图像的所选像素和相应像素之一的光度距离小于阈值时，确定(1112)该相应像素是可见的。当参考图像的所选像素和相应像素之一的光度距离超过阈值时，确定(1114)该相应像素被遮挡。

[0292] 可以对于参考图像中的像素子集或全部像素重复图11中所示的处理(1100)以产生关于阵列照相机所捕捉的其他图像中的相应像素的可见性图。在从参考视点捕捉图像的照相机中的所有像素都在单个颜色通道中的实施例中，与图11中所示的处理类似的处理有效地产生在单个颜色通道内捕捉的图像的可见性。当阵列照相机还包括在其他颜色通道中捕捉的图像时，可以通过对光谱通道内的图像的已知或者有可能在参考视点中可见的相应像素执行与上述比较类似的比较，来确定与参考图像不在相同的颜色通道中的图像中的像素的可见性。在其他实施例中，捕捉参考图像的照相机采用使得能够从参考视点捕捉多个颜色通道中的图像数据的Bayer滤波器(或另一适当的滤波器模式)。在这种情况下，与图11中所示的处理类似的处理可以用于产生关于多个颜色通道中的图像的可见性信息，其中，该处理涉及对Bayer滤波器模式进行去马赛克以获得参考视图中的每个位置处的红色和蓝色像素值。

[0293] 尽管以上在图11的背景下讨论了特定处理，但是各种处理中的任何一种处理可以用于根据本发明的实施例确定阵列照相机所捕捉的图像中的像素的可见性，包括(但不限于)作为产生深度图的处理的一部分的、迭代地细化可见性信息的处理。在许多实施例中，产生深度图和可见性图的处理还包括产生置信度图，该置信度图可以在该置信度图中提供关于所估计的深度的可靠性的信息。下面进一步讨论根据本发明的实施例的用于确定置信度图的处理。

[0294] 置信度图

[0295] 用于产生深度图的处理(包括上述那些处理)可以导致深度图内的在其中深度估计不可靠的区域。图18A中例示了使用阵列照相机捕捉的图像数据合成的图像的无纹理区域，图18B中例示了根据本发明的实施例的使用与上述处理类似的处理产生的关于该图像的深度图。在无纹理区域1800中，用于以上述方式确定深度的成本度量是有噪声的，不过可以找到最小成本(即，在照相机显示出最大对应性的深度处)，结果很大程度上取决于传感器和光子噪声，而非任何重要的底层信号。这样的区域中的像素对应性(用成本度量测量)实际上在所示的深度处最大，但是所示的所得深度不是物体的正确深度。相反，在边缘区域1802中，成本函数显示出成本在其非常肯定地最小的深度。在那里，边缘信号比噪声大得多，所以可以以更高的置信度检测到与物体的实际深度相对应的视差。

[0296] 然而，深度误差不限于无纹理区域。另一类深度误差发生在遮挡区域中，在遮挡区域中，某些背景区域在一些照相机中是可见的，而在其他照相机中是不可见的。可以沿着轮胎的轮缘看到这种误差，在轮胎的轮缘中，前景区域与背景区域交叉。在深度图中，出现了包含前景或背景之间的界面处的错误深度估计的区域1804。

[0297] 当产生深度图时，可以产生置信度图，该置信度图通过某一度量用数字方式描述深度图内的不同深度估计的可靠性。置信度图可以被后续处理阶段或第三方应用用于确定深度图的哪些区域可能最依赖于进一步的处理。例如，深度测量效用可以使得用户点击使用超分辨率处理合成的图像的区域以获得特定像素的深度。如果用户点击图像的像素，则可以在返回结果之前检查置信度图。如果所请求的位置处的深度的置信度低，则用户接口可以回避报告该位置处的深度。如果置信度图高，则用户接口可以安全地报告所选位置处的深度。也就是说，置信度图可以用于使结果适宜于特定应用，而不是返回其中已知深度图包含误差的不精确值。

[0298] 置信度图可以以各种方式进行编码，并且可以存在在单个置信度图内编码的多类或多轴置信度。下面讨论根据本发明的实施例的可以用于对置信度图中的置信度度量进行编码的各种置信度度量。

[0299] 在几个实施例中，基于像素的深度估计是否在图像内的无纹理区域内使用置信度度量对置信度图进行编码。如以上所指出的，可以基于包围给定像素的区域中的SNR来检测无纹理区域。如果SNR高于已知的可调阈值，则可以以二进制方式将该区域标记为无纹理。可替代地，可以重新对SNR本身(不被阈值化)进行线性或非线性映射，并且使用该SNR来用作连续的置信度指示符。

[0300] 在许多实施例中，可以计算梯度边缘图(例如，Prewitt或Canny)，并且使用该梯度边缘图作为置信度图内的置信度度量。因为边缘和纹理通常具有高置信度，所以梯度图和SNR图通常提供对于深度图的良好的粗略的置信度测量。

[0301] 在若干个实施例中，可以基于特定区域是否由于照相机之间的遮挡和/或不匹配和冲突测量(即，在通过SNR图检测到的区域中可能存在纹理，但是因为在该区域中，视差检测处理检测到遮挡和/或不能分辨遮挡或者要不由于任何其他原因自信地估计深度，所以可能仍然出现深度误差)而为低置信度来对置信度图进行编码。

[0302] 在若干个实施例中，置信度度量被确定为在深度估计处理期间实现的“最佳成本”、或者该量的线性、非线性或量化的重测图。如果在深度估计期间实现的最小成本高于所选阈值，则可以基于所估计的深度处的多个视图之间没有对应性将所述区域标记为低置信度。

[0303] 在若干个实施例中，可以通过比较不同子组或者在不同照相机组之间产生的深度图之间的最佳成本来检测遮挡，并且如果最佳成本之间的差值大于阈值，则对于在图像子集中找到的成本在其不同的像素位置标记低置信度。

[0304] 在若干个实施例中，可以基于特定区域是否由于深度估计处理本身中的自适应处理步骤而为低置信度来对置信度图进行编码。例如，如果在特定区域中搜索到较少的深度，则可以在置信度图中用数字将该信息编码为突出显示该深度不太可靠。在许多实施例中，深度图的某些区域实际上是通过对应性搜索来搜索的，而深度图的其他区域，则是基于对于稀疏点集的深度搜索的结果对深度进行插值。在这样的情况下，具有插值深度的像素被给予的置信度值低于在其实际上搜索到对应性的像素。

[0305] 在几个实施例中，还可以在置信度图中将预期精度的深度测量编码为数字量。在许多情况下，离照相机较远的深度的测量误差较大，所以不应太受信任。在这样的情况下，置信度图可以将这样的区域标记为涉及较低置信度深度估计。置信度可以与该深度处的相邻搜索位置之间的预期深度误差成比例。在某些实施例中，可以确定与视差搜索所支持的最小距离相对应的视差(即，这将是在任何两个照相机之间对于所有支持深度观察到的最大视差)。一旦找到最大视差，搜索就将搜索直到最大视差的若干个视差。在许多实施例中，最大视差是D个低分辨率像素，所搜索的深度的数量为N。沿着核线的相邻搜索位置之间的视差的像素的数量为DI(N-1)。所搜索的N个视差中的任何一个(索引n坐标系中发生的测量应用(诸如，但不限于，3D建模)将更有用。

[0306] 在若干个实施例中，置信度图可以由于已知的或检测到的使得深度图不可靠的透镜或传感器缺陷而将区域标记为低置信度。可以在图像处理期间或者在预处理校准步骤中离线地检测有缺陷像素(包括传感器上的有缺陷像素以及受透镜缺陷影响的像素这两者的术语)。在一个实施例中，如果任何参考照相机中的特定像素(x,y)的半径内的像素缺陷总数超过预设阈值，则由于像素缺陷，在深度图中将像素(x,y)标记为低置信度。在另一实施例中，可以定义类似的置信度值，其中，置信度根据包围参考像素(x,y)(或者已知受透镜缺陷影响的像素)的半径和/或区域内的任何照相机中的像素缺陷数量(而不是根据硬阈值)成比例地增大。在另一实施例中，置信度可以是预先对于已知创建不同严重程度的误差的有缺陷像素的特定构造计算的值。在几个实施例中，缺陷的置信度值考虑计算置信度值时的局部图像内容。

[0307] 在几个实施例中，置信度图可以将在其中参考图像表现为无纹理、但是在其他颜色通道中存在有纹理的内容的地方标记为低置信度区域。在一个实施例中，在局部半径和/或区域内搜索参考照相机中的像素(x,y)。如果在该局部半径和/或区域内，内容被认为在绿色中是无纹理的，但是如果红色和/蓝色照相机的另一(可能更大的)局部半径/区域内的相同搜索在红色和/或蓝色颜色通道内的图像中发现足够的纹理，则由于绿色颜色通道对于该检测情况不太有用并且深度结果将不太可靠(尽管通常是正确的)的事实，可以将该区域标记为低置信度。

[0308] 在若干个实施例中，置信度图将由于透镜光晕或场景中的特征导致存在光度不匹配的情况数字地编码为低置信度情况。在许多实施例中，可以计算围绕像素位置(x,y)的感兴趣区域的局部统计数据(均值和方差)，并且将该局部统计数据与另一照相机中的类似区域的局部统计数据进行比较。这样，可以比较多个图像的同一个普通区域中的两个邻域之间的局部图像统计数据以检测其存在降低置信度的可能的透镜光晕。在其他实施例中，各种技术中的任何一种技术可以用于比较多个图像中的邻域以检测透镜光晕。所得的置信度度量可以是多个照相机所捕捉的图像上的区域的均值和方差之间的差值的缩放或非线性映射函数。照相机所捕捉的图像之间的均值和方差越大，深度越不可能可靠，并且置信度将越低。

[0309] 在若干个实施例中，置信度图适应照明状况以降低当图像非常暗并且有噪声时的置信度。在某些实施例中，图像被拍摄时的传感器增益将导致所有深度的置信度的绝对降低。在另一实施例中，当计算SNR比或者用于不同噪声水平时的边缘梯度的阈值时，考虑传感器的模拟增益和曝光时间。在许多实施例中，用于不同焦平面的模拟增益和曝光时间可以用于照相机阵列中的用于捕捉图像集合的不同照相机。

[0310] 为了检测由于遮挡而导致置信度低的区域，可以在视差搜索期间存储最佳实现的成本度量。对于显示出显著遮挡的区域，最佳实现的成本度量通常大大地超过如果不存在遮挡并且所有照相机都看见相同内容、那么将发生的最小值。因此，阈值可以应用于最佳实现的成本。如果最佳实现的成本超过阈值，则将所述区域标记为有可能已经被遮挡或者具有一些其他问题(诸如光度不均匀性)。

[0311] 对于某些相似性度量，可以针对区域的平均强度以及传感器的噪声统计数据来校正用于遮挡的低置信度阈值。在许多实施例中，使用以感兴趣像素为中心的空间箱式N×N平均滤波器来计算参考图像中的区域的均值。在其他实施例中，一旦知道了均值，就可以通过将特定曝光和增益时的特定均值与期望阈值相关的查找表来计算对于包含参考照相机的颜色通道的噪声统计数据。如果最佳匹配值大大地超过预期噪声，则由于可能的遮挡，可以将像素标记为不可靠。

[0312] 可以使用下列公式获得由于大体不匹配而导致的非二进制置信度度量：

[0313] Confidence(x，y)＝F(Costmin(x，y)，Costd(x，y)，l(x，y)cam，Sensor，Camera intrinsics)

[0314] 其中，Costmin(x,y)是期望深度范围上的视差搜索的最小成本，

[0315] Costd(x,y)表示任何一个深度或多个深度(除了最小深度之外)的成本数据，[0316] 任何照相机捕捉的I(x,y)cam图像数据可以用于增大置信度；

[0317] Sensor是传感器先验性质，其可以包括传感器的已知性质，诸如(但不限于)噪声统计数据或特征、有缺陷像素、传感器的影响任何捕捉图像的性质(诸如增益或曝光)，[0318] Camera intrinsics是照相机内在要素，其指定照相机和照相机阵列内在的可以影响置信度的要素，包括(但不限于)该阵列中的照相机之间的基线间隔(影响深度测量的精度)、以及滤色器的布置(在某些情况下影响遮挡区域中的性能)。

[0319] 在几个实施例中，Confidence(x,y)可以对于所有参量使用相邻像素位置(x,y)(即，空间邻域)的值。

[0320] 在许多实施例中，可以基于包括(但不限于)以上因素中的一个或多个的因素对置信度图进行编码。可以以二进制方式对每个因素进行编码，或者可以将每个因素表示为(量化)置信度的范围，或者每个因素可以是非量化范围或者其导数。例如，沿着特定轴的置信度可以不表示为单个比特，而是表示为表示区域无纹理的置信度水平的多个比特。在某些实施例中，沿着特定轴的置信度可以表示为连续的或近似连续的(即，浮点)量。根据本发明的实施例，可以根据特定应用的要求视情况使用各种置信度范围中的任何一个来确定当确定置信度时所考虑的其他因素。在几个实施例中，在置信度图中针对在其可以指定这些状况中的任何一个或全部的特定像素包括任意数量的置信度代码或值。下面进一步讨论特定置信度度量。

[0321] 在仅考虑最小成本并且传感器的噪声统计数据遵循线性模式的特定实施例中，可以使用简化形式：

[0322]

[0323] 其中，Avg(x,y)是参考图像的包围(x,y)的空间邻域中的平均强度、或者该邻域中的平均强度的估计，其用于基于参考图像的(x,y)的区域中的强度调整置信度，

[0324] a和offset是用于用关于传感器的增益和噪声统计数据的先验信息调整置信度的、凭经验选择的缩放和偏移因子。

[0325] 在这种情况下，更高的值将指示更低的置信度，并且将由图像处理流水线确定如何对结果进行阈值化。

[0326] 通常，置信度图提供描述深度图内所包含的深度估计的元数据，该元数据数字地量化图像中的所检测的深度的精度。在许多实施例中，可以连同深度图一起以外部递送格式提供置信度图以供与深度图一起用于包括(但不限于)下列应用的应用中：机器视觉、手势识别、后期捕捉图像再聚焦、实时应用、图像特殊效果、超分辨率或其他应用。图18C-18H中例示了根据本发明的实施例的在深度估计处理中利用置信度图对深度图进行滤波的方式的例子。首先翻到图18C，是包含不同深度处的物体的场景的图像，该图像是使用超分辨率处理从在不同颜色通道(具体地讲，红色、绿色和蓝色颜色通道)中捕捉的多个图像合成的。图18D中例示了使用与以上概述的处理类似的处理从参考视点产生的深度图。可以容易地意识到，深度图有噪声。可以作为产生深度图的处理的一部分、产生使用以上概述的各种度量中的任何一个产生的置信度图。图18E中例示了根据本发明的实施例的通过对SNR进行阈值化而产生的二进制置信度图。图18F中例示了根据本发明的实施例的基于SNR而产生的8比特置信度图。图18G中例示了根据本发明的实施例的二进制置信度图，该二进制置信度图通过组合通过对SNR进行阈值化而产生的置信度因子和通过对被遮挡的相应像素的数量进行阈值化而产生的置信度因子而产生。在几个实施例中，置信度图可以用于对深度图进行滤波。图18H中例示了根据本发明的实施例的基于通过对SNR进行阈值化而产生的二进制置信度图进行滤波的深度图。比较图18D和18E中所示的深度图揭示了在解释使用任何深度估计处理产生的深度信息时置信度图的使用的值。尽管以上参照图18C-18H描述了特定的置信度度量和滤波处理，但是根据本发明的实施例，在深度估计和/或深度图的滤波和/或额外的处理中可以利用各种置信度度量中的任何一个。在图18I-18L中所示的特写图像中进一步例示了根据本发明的实施例的置信度图的产生以及置信度图用于对深度图进行滤波的使用。具体关于图18I，示出了使用超分辨率处理从在红色、绿色和蓝色颜色通道中捕捉的图像(每个图像包含单个颜色通道中的图像数据)的光场合成的物体的特写图像。图
18J中例示了使用以上概述的技术产生的深度图。图18K中例示了根据本发明的实施例产生的通过对SNR进行阈值化而产生的二进制置信度图。图18L中例示了使用SNR根据本发明的实施例产生的多比特分辨率置信度图。图18M中例示了根据本发明的实施例的二进制置信度图，该二进制置信度图通过下述方式而产生，即，对包围每个像素的区域的SNR进行阈值化，以及对光场内的图像中的与参考视点的图像中的一个像素位置相对应的被遮挡的像素的数量进行阈值化。图18N中例示了使用图18M中所示的二进制置信度图滤波的深度图。

[0327] 在几个实施例中，使用上述度量中的一个或多个而产生的置信度图可以作为额外的信息通道插入到JPEG-DZ文件格式或其他文件格式中。在几个实施例中，使用与Venkataraman等人于2012年9月28日提交的、标题为“Systems and Methods for Encoding Light Field Image Files”的美国专利申请No.13/631,731中所概述的那些处理类似的处理对置信度图进行编码和解码。美国专利申请No.13/631,731的全部公开内容通过引用并入本文。尽管以上描述了用于确定置信度的特定度量，但是根据本发明的实施例，可以利用适合于特定应用的要求的用于确定置信度的各种度量中的任何一个。

[0328] 降低计算复杂度

[0329] 各种策略可以用于降低以上概述的用于确定深度图以及用于确定照相机阵列捕捉的图像的可见性的处理的计算复杂度。在几个实施例中，仅通过在缩小的(即，稀疏的)像素位置子集处搜索深度来构造深度图。深度搜索在较少的点(即，图像中的系数的点集)处针对深度未被计算的点进行，深度是通过其他手段分配的。到最后，该稀疏深度搜索提供参考图像中的每一个像素位置的深度，其中，一些像素被搜索，其他像素则通过插值来填充。如前所述，并不是最终深度图中的每一个像素都具有通过比较该像素与所捕捉的图像中的相应像素的相似性而获得的深度。相反，在不进行对应搜索的区域中，使用包括(但不限于)下列处理的处理来确定所述像素中的许多像素的深度：对周围像素(其中，已经运行了对应搜索)的深度求平均值、或者对已经计算的相邻像素的深度进行插值。通过减少对其执行深度测量的像素的数量，可以减少用于产生深度图的计算量。在几个实施例中，还可以通过下述方式来减少当检测深度图时所使用的计算量，即，检测图像的无纹理区域，并且使用包括(但不限于)下列处理的处理来确定图像的无纹理区域中的像素的深度：从其中深度已经被计算的最近指示器像素起分配单个深度值，对周围像素的深度求平均值、或者对相邻像素的深度进行插值。在其他实施例中，根据本发明的实施例，可以根据特定应用的要求视情况利用用于降低产生深度图的计算复杂度的各种处理中的任何一种，包括基于包括(但不限于)包含边缘的区域的场景的特性和/或基于物距来改变深度图内的深度估计的精度。下面进一步讨论根据本发明的实施例的用于从稀疏深度搜索产生深度图以及用于检测图像中的无纹理区域的处理。

[0330] 从稀疏深度搜索产生深度图

[0331] 根据本发明的实施例的用于通过稀疏搜索产生深度图的处理通常涉及确定在整个参考图像中隔开的或分布的稀疏像素集合的深度。基于由稀疏点构成的这个初始深度图，可以检测到深度转变，并且可以使用以上概述的处理来直接测量包围这些深度转变的像素的深度。可以基于深度图中的稀疏像素的深度来确定其余像素的深度。在许多实施例中，使用参考图像中的像素的子集以它们在其被捕捉的分辨率来执行深度测量。

[0332] 图13中例示了根据本发明的实施例的用于通过稀疏搜索确定深度图的处理。处理1300包括：将参考图像划分(1302)为空间块(或者关联像素组)，并且对于这些空间块内的指示器像素的稀疏子集产生(1304)深度测量。这里，空间块可以被看作互换地指代矩形像素块、或者无需符合任何特定形状的关联像素子集。

[0333] 指示器像素是空间块(或者关联像素组)内的像素的子集，通常被选为提供关于空间块上的深度变化的信息。图14中例示了根据本发明的实施例的包括多个指示器像素1402的空间块1400。指示器像素1402是在边缘处以及在空间块的中心处选择的。尽管图14中例示了特定指示器像素，但是可以改变指示器在空间块或关联像素组内的布置，和/或可以根据特定应用的要求视情况选择空间块内的各个像素中的任何一个作为指示器像素。在若干个实施例中，利用不同形状的空间块，并且可以改变空间块的形状。在几个实施例中，可以改变指示器像素在空间块内的布置。在许多实施例中，基于场景内容选择指示器像素。在某些实施例中，基于空间块内的哪些点在参考图像中具有最高SNR来选择指示器像素，以提高使用最有可能给予置信度深度结果的点的可能性。在另一实施例中，对于所有块，对于一些指示器像素选择固定空间位置(如图14中所指示)，并且将指示器像素的某个子集分配给空间块中的具有最高SNR的点(即，混合构造)。在另一实施例中，可以使用分割处理来基于场景内容创建相关的空间区域。尽管示出了矩形空间块，但是其他技术可以用于将图像划分为包含如上所述的一些指示器像素的空间集群。此外，空间块在图像的某些部分中可以比在其他部分中更大。

[0334] 回头参照图13，可以基于指示器像素的深度将深度分配(1306)给每个块中的像素。在几个实施例中，通过相邻指示器像素的插值获得所分配的深度。在几个实施例中，可以将非指示器像素的深度计算为到固定邻域内的最近指示器像素的距离的规范化(归一化)加权平均值。可替代地，可以利用最近近邻插值(1308)来基于指示器像素的深度测量将深度分配给空间块中的像素。在另一实施例中，用于插值的权重可以合并强度相似性以及到最近指示器像素的空间距离。在另一实施例中，诸如(但不限于)核回归的非线性回归可以用于填充在指示器像素位置处采样的深度之间的缺失位置。在另一实施例中，通过最小化块内的指示器像素的总计成本来对整个块分配单个深度。在其他实施例中，各种技术中的任何一种可以用于产生关于空间块内的像素的深度信息。

[0335] 在许多实施例中，确定(1310)每个空间块在深度图中的可靠性。在空间块内，将对于指示器像素(其中搜索已经发生)和非指示器像素(其中已经基于指示器像素结果对深度进行了插值)两者估计深度。对于指示器像素和非指示器像素，确定块内的所估计的深度的成本。对块中的每个像素的成本进行总计以创建可靠性指示符。如果块内的所有像素的总成本大于阈值，则由于对于一些像素所估计的深度表现为具有不良对应性的事实，将空间块标记为不可靠。在已经确定空间块具有可靠性低的不良空间对应性的情况下，该块有可能包含深度转变或遮挡。如果情况如此，则可以在空间块内运行全对应性搜索和遮挡处理。

[0336] 如果按照以上标准确定空间块具有深度转变，则可以“划分”空间块，并且在两个子空间块中的每个中选择新的指示器像素集合，并且迭代进行所述处理。在一个实施例中，可以将块划分成两半。在另一实施例中，可以根据空间块内的指示器像素所求解的深度将块划分成不等区域。

[0337] 在空间块内和/或之间检测到深度转变的情况下，可以通过在包含深度转变的空间块内执行额外的深度测量来细化(1312)深度图。这样，通过减少在产生精确的深度图时所执行的深度测量的次数来降低产生深度图的计算复杂度。

[0338] 尽管图13中例示了根据本发明的实施例的用于从稀疏搜索产生深度图的特定处理，但是根据本发明的实施例，可以利用通过在类似的或缓慢转变的深度的区域中执行较少的深度测量来产生深度图的各种处理中的任何一种。

[0339] 减少图像的无纹理区域中的计算

[0340] 在许多实施例中，产生深度图的处理涉及减少图像的无纹理区域所需的计算量。无纹理区域可以是与视差模糊不清，因为许多假设深度处的相应像素可能是相似的。因此，无纹理区域内的深度测量可以产生不可靠的且有噪声的结果。在许多实施例中，当确定像素的深度以识别该像素是否在无纹理区域中时，使用包围该像素的区域中的SNR。可以基于先前已经对于其确定了深度的至少一个相邻像素的深度来确定对于给定像素的初始深度估计或初始深度估计集合。当给定像素的相应像素的方差(或者任何其他相似性度量)低于包围该像素的区域中的SNR阈值时，可以假定该像素是无纹理区域的一部分，并且可以使用下述方法(之一)来选择像素的深度。或者，可以使用与上述处理类似的处理来执行深度测量。

[0341] 在许多实施例中，可以使用SNR上的固定阈值来检测无纹理区域。可以通过减少所搜索的深度的数量来减少用于这样的区域中的搜索的计算。在许多实施例中，将搜索整个深度集合，直到识别出最小成本深度为止，所述最小成本深度低于考虑传感器的噪声特性的噪声相关阈值。当发现最小成本低于阈值时，接受该深度为无纹理区域的深度，并且不再搜索更多的深度(即，一找到具有“足够接近的”对应性的深度，就终止搜索)。在许多实施例中，无纹理区域中的搜索可以通过搜索整个视差范围、但是增量大于对于具有纹理的区域的正常搜索中所进行的搜索(即，减少所搜索的深度的数量)来节省计算——最佳成本将被选为无纹理区域中的像素的深度。

[0342] 图15中例示了根据本发明的实施例的用于使用包围像素的SNR检测无纹理区域的处理。处理1500包括：从参考图像选择(1502)像素，并且检测(1504)所选像素周围的区域中的SNR。可以对于该像素确定(1506)初始假设深度。在许多实施例中，基于包围所选像素的区域中的一个或多个像素的深度来确定初始假设深度d。然后确定(1508)假设深度处的相应像素的方差或成本是否低于阈值，所述阈值可以(但不限于)是预定的或者是包围所选像素的区域中的SNR的函数。在其他实施例中，各种相似性度量中的任何一种可以用于确定包围所述像素的区域是否是无纹理的。在相应像素的方差或成本低于噪声或预定阈值的情况下，基于所述像素位于无纹理区域内的假设，选择假设深度作为最有可能的深度。当相应像素的方差或成本超过噪声或预定阈值时，根据与上述处理类似的处理确定像素的深度。

[0343] 尽管以上关于图15描述了用于检测参考图像内的无纹理区域的特定处理，但是根据本发明的实施例，可以利用各种用于检测图像中的无纹理区域的处理中的任何一种处理。此外，根据本发明的实施例，各种处理中的任何一种技术可以用于检测图像的可以依赖于用以减少在产生可靠的深度图时所进行的深度测量的次数的其他特性。

[0344] 从虚拟视点产生深度图

[0345] 虽然以上提供的大部分讨论描述了产生关于参考照相机所捕捉的图像的深度图，但是根据本发明的实施例的系统和方法可以合成虚拟视点的图像。虚拟视点是不对应于照相机阵列内的任何照相机的视点的参考视点。因此，不论照相机阵列内的颜色通道的数量如何，没有一个颜色通道包括在其中从参考视点捕捉图像数据的照相机。图12中例示了根据本发明的实施例的可以定义的虚拟视点的例子。阵列照相机模块1200包括4×4照相机阵列，其包括8个绿色照相机、4个红色照相机和4个蓝色照相机。用阵列照相机模块的中心处的虚拟视点定义虚拟照相机1202。尽管图12中例示了特定虚拟视点，但是可以对于照相机阵列内的照相机任意地定义任何虚拟视点。

[0346] 当确定虚拟视点深度图时，不存在明确的可以被搜索并且用于成本度量比较的参考照相机。在许多实施例中，通过对于阵列中的所有其他照相机从虚拟成像器计算有效基线来确定从虚拟视点合成的、图像中的给定像素(x,y)的深度。相对于虚拟视点的位置(i,j)处的照相机的基线将是(i,j)-(iv,jv)，其中，(iv,jv)是虚拟视点1202的位置。一旦相对于虚拟视点确定了单个的照相机之间的基线，估计深度的处理就通过搜索相应像素在其具有最高相似性的深度继续进行。对于虚拟参考照相机(即，虚拟视点的图像)中的每个像素(x,y)，搜索可以几乎如典型的视差情况中那样继续进行，其中，对于每个深度d，在该深度处确定相对于每个替代视图照相机的视差，然后使用适当的成本度量来确定颜色通道中的一个或多个中的相应像素的相似性。在许多实施例中，可以利用上述用于确定不包含参考照相机的颜色通道中的像素的相似性的组合成本度量。在许多实施例中，为了确定所选参考照相机中的像素与特定颜色通道中的其他照相机所捕捉的图像数据中的相应像素的相似性的目的，该颜色通道中的与虚拟视点相邻的照相机可以用作参考照相机。在许多实施例中，为了确定相应绿色像素的相似性的目的，绿色照相机选作参考照相机，并且组合成本度量用于其他颜色通道中的相应像素。在许多实施例中，确定关于虚拟视点的初始深度图的处理可以涉及以与以上关于图8A-8I所描述的方式类似的方式形成与场景内的可见性模式相对应的照相机组。

[0347] 对于虚拟视点产生的深度图可以用于使用根据本发明的实施例的超分辨率处理从虚拟视点合成高分辨率图像。从虚拟视点合成高分辨率图像的主要不同之处是，高分辨率网格是来自虚拟视点的，并且使用所计算的与相对于虚拟视图位置、而不是物理参考照相机的基线的对应性来将像素融合到高分辨率网格。在这种情况下，不存在具有有规律地映射在高分辨率网格上的像素的物理参考照相机。可以容易地意识到，可以使用类似的适应性调节来确定用于确定关于相对于虚拟视点的深度图的置信度图的处理，所述适应性调节与分析合成的参考图像或者选择接近虚拟视点的图像作为用于执行SNR和/或其他相关测量的代理相关。尽管以上描述了用于产生相对于虚拟视点的深度图的特定处理，但是合并以上概述的成本度量和技术的各种处理中的任何一种处理可以用于根据本发明的实施例产生对于虚拟视点的深度估计。下面进一步讨论根据本发明的实施例的用于执行视差检测和校正以及用于产生深度图的系统。

[0348] 用于执行视差检测的系统

[0349] 图16中例示了用于使用与上述处理类似的处理产生深度图和可见性信息的系统。该系统包括视差检测模块1600，其将形成光场的捕捉图像和关于阵列照相机的校准信息取作输入，并且输出深度图以及捕捉图像的像素的所估计的可见性。在许多实施例中，视差检测模块1600还输出指示对于参考图像内的特定像素的深度测量的可靠性的置信度图。如下面进一步讨论的，深度图、所估计的可见性信息、和/或置信度图可以提供给阵列照相机内的超分辨率处理模块以从捕捉图像产生更高分辨率的图像，并且可以提供给可以利用深度、置信度和/或可见性信息的各种应用中的任何一种应用。在许多实施例中，视差检测模块和超分辨率模块用阵列照相机内的微处理器上的软件和/或固件实现。在几个实施例中，与视差检测模块和超分辨率模块相关联的软件存储在阵列照相机内的存储器内。在其他实施例中，视差检测模块和/或超分辨率模块可以使用任何适当地配置的硬件和/或软件来实现。下面进一步讨论根据本发明的实施例的使用所产生的深度图从阵列照相机所捕捉的光场产生高分辨率图像。

[0350] 使用深度图的超分辨率处理

[0351] 如美国专利申请NO.12/967,807(以上通过引用并入)中所指出的，当执行超分辨率处理时，图像之间的视差可以引入显著的伪像。因此，美国专利申请NO.12/967,807中所公开的超分辨率处理可以涉及在使用阵列照相机所捕捉的图像合成更高分辨率图像之前将场景相关的几何校正应用于这些图像中的每个像素的位置。阵列照相机中的照相机的基线和后焦距可以容易确定，因此，估计在捕捉图像中观察到的场景相关的几何移位中的未知量是阵列照相机与场景的不同部分之间的距离。当根据以上概述的处理产生深度图和可见性信息时，可以确定由每个像素的深度造成的场景相关的几何移位，并且当执行超分辨率处理时，可以忽略被遮挡像素。在许多实施例中，作为产生深度图的处理的一部分，产生置信度图，并且将置信度图作为输入提供给超分辨率处理以当执行输入图像的像素的融合时帮助超分辨率处理评估深度图内所包含的深度估计的可靠性。

[0352] 图17中例示了根据本发明的实施例的用于使用阵列照相机所捕捉的光场产生高分辨率图像的处理，该处理涉及产生深度图。处理1700涉及：使用阵列照相机捕捉(1702)光场，并且选择(1704)可以用于合成高分辨率图像的参考视点。在许多实施例中，参考视点基于阵列照相机的构造预定。在若干个实施例中，校准信息用于提高(1706)捕捉图像之间的对应性。在许多实施例中，捕捉图像之间的对应性涉及重新对这些图像进行采样。确定(1708)初始深度图，并且确定遮挡，并且使用这些遮挡来更新(1710)深度图。在几个实施例中，检测遮挡并且更新深度图的处理是迭代的。

[0353] 在若干个实施例中，深度图用于产生(1712)关于从参考视点捕捉的光场内的像素的可见性的信息。在几个实施例中，对于深度图内所包含的深度估计(可选地)产生(1713)置信度图，并且深度图、可见性信息和/或置信度图被提供(1714)给超分辨率处理流水线。在几个实施例中，超分辨率处理流水线类似于美国专利申请No.12/967,807中所公开的超分辨率处理流水线中的任何一个。超分辨率处理流水线利用包括光场、深度图、可见性信息和置信度图的信息来从参考视点合成(1718)高分辨率图像，该高分辨率图像被阵列照相机输出(1718)。在几个实施例中，合成更高分辨率图像的处理涉及将来自光场的图像数据试验性地融合到更高分辨率网格上。试验性融合的结果然后可以用作使用超分辨率处理合成更高分辨率图像的起始点。

[0354] 如美国专利申请No.12/967,807中所描述的，可以执行图17中所示的处理来从所捕捉的光场合成立体3D图像对。尽管图17中例示了用于从所捕捉的光场合成高分辨率图像的特定处理，但是根据本发明的实施例，可以利用用于从所捕捉的光场合成高分辨率图像的、涉及测量光场内的像素的深度的各种处理中的任何一种处理。

[0355] 虽然以上描述包含本发明的许多特定实施例，但是这些不应被解释为对于本发明的范围的限制，而是相反应被解释为其一个实施例的例子。因此，本发明的范围不应由所例示的实施例确定，而是应由所附权利要求书及其等同形式确定。

标题	发布/更新时间	阅读量
电压模式和电流模式设备枚举	2020-05-12	633
用于动态实施防火墙例外的系统	2020-05-11	1073
利用经过调节的气流处理例如待孵化蛋的产品的方法以及用于实施该方法的气候室	2020-05-12	130
基于姿势的搜索方法及系统	2020-05-13	299
键盘-视频-鼠标系统以及提供和使用此系统的方法	2020-05-13	753
外汇交易的系统（实施例）	2020-05-11	293
药剂。多个实施例可以用于多种药剂的递送，这用于治疗剂的两阶段经皮离子电渗递送的些药剂由于不想要的被动扩散而引起多种副作系统及方法用。	2020-05-12	339
在试验设备上以图形方式输出对纺织物例如纱线，粗纱和纱条测试结果的方法与实施该方法的设备	2020-05-12	482
用于挤出塑化粉末状材料的方法(多种变形例)及实施该方法的装置(多种变形例)	2020-05-11	415
利用经过调节的气流处理例如待孵化蛋的产品的方法以及用于实施该方法的气候室	2020-05-12	299