技术领域
[0001] 本
发明涉及
图像处理领域。更具体地，本发明涉及场景中物体距离的确定。
背景技术
[0002]
深度图(Depth Map，DM)是示出从相机
传感器到针对每单个
像素的在场景中的对应点的距离的图。传统的DM生成方法包括测距传感器(range sensor)和立体系统，测距传感器使用
声波或者投射激光图案或者利用一些其他手段来扫描场景以测量离相机的距离，立体系统使用两个以上相机/镜头来获取场景的多个图像并且然后对它们进行匹配以便对场景中的点进行三
角测量。在这两种情况中，单镜头相机需要额外
硬件以生成DM。
发明内容
[0003] 两图片匹配曲线信息能被用来确定场景中的精确物体距离或相对物体距离。除了曲线信息之外还获取具有不同模糊信息的两个图像使得设备能够确定场景中的物体的距离信息。距离信息能被用在包括生成深度图在内的图像处理中，深度图然后能被用在许多成像应用中。
[0004] 在一个方面，一种在设备上实现的方法包括：获取场景的第一图像；获取场景的第二图像；以及利用曲线信息来确定场景中的物体的设备到物体距离(device-to-object distance)。曲线信息被预先计算出。利用曲线信息包括：确定用来将第一图像和第二图像之一模糊为第一图像和第二图像中的另一者的模糊度的卷积的数目；利用卷积的数目来基于曲线信息确定物体到焦点
位置距离(object-to-focus position distance)；计算设备到焦点位置距离(device-to-focus position distance)；以及将物体到焦点位置距离和设备到焦点位置距离相加来确定设备到物体距离。曲线信息包括多条曲线。该方法还包括生成曲线信息。生成曲线信息包括以不同的模糊量获取多个图像。第一图像和第二图像具有不同的模糊量。不同的模糊量是通过在获取第一图像和第二图像之间改变焦点位置而实现的。该方法还包括生成深度图。该方法还包括存储深度图。该方法还包括利用深度图执行应用。应用是从包括如下应用的组中选出的：自动聚焦、自动曝光、变焦设置、
光圈设置、
闪光灯设置、
快门速度、
白平衡、降噪、伽
马校正、
运动估计、图像/视频压缩、生成模糊、
质量改善、生成3-D图像、阴影去除以及物体分割。设备是从包括如下项的组中选出的：个人计算机、膝上型计算机、计算机工作站、
服务器、大型计算机、手持计算机、
个人数字助理、蜂窝/
移动电话、智能设备、游戏
控制器、
数码相机、数字摄录像机、相机电话、 视频播放器、DVD刻录机/播放器、电视机和家庭娱乐系统。
[0005] 在另一
实施例中，一种在设备上实现的被配置为确定图像中物体的距离的系统包括：图像获取模
块，被配置为获取第一图像和第二图像；曲线生成模块，可操作地被耦合到图像获取模块，曲线生成模块被配置为生成曲线信息；以及距离计算模块，可操作地被耦合到曲线生成模块，距离计算模块被配置为计算图像内的物体的设备到物体距离。距离计算模块通过如下操作来利用曲线信息：确定用来将第一图像和第二图像之一模糊为第一图像和第二图像中的另一者的模糊度的卷积的数目；利用卷积的数目来基于曲线信息确定物体到焦点位置距离；计算设备到焦点位置距离；以及将物体到焦点位置距离和设备到焦点位置距离相加来确定设备到物体距离。曲线信息是通过以不同模糊量获取多个图像的目标数据而被确定的。曲线信息包括多条曲线。第一图像和第二图像具有不同的模糊量。不同的模糊量是通过在获取第一图像和第二图像之间改变焦点位置而实现的。该系统还包括可操作地耦合到距离计算模块的深度图生成模块，深度图生成模块被配置为生成深度图。深度图被存储。深度图被利用来执行应用。应用是从包括如下应用的组中选出的：自动聚焦、自动曝光、变焦设置、光圈设置、闪光灯设置、快门速度、白平衡、降噪、伽马校正、运动估计、图像/视频压缩、生成模糊、质量改善、生成3-D图像、阴影去除以及物体分割。设备是从包括如下项的组中选出的：个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能设备、游戏控制器、数码相机、数字摄录像机、相机电话、 视频播放器、DVD刻录机/播放器、电视机和家庭娱乐系统。
[0006] 在另一方面，一种设备包括：用于存储应用的
存储器和耦合到存储器的处理组件，处理组件被配置为处理应用，应用被配置为：获取场景的第一图像；获取场景的第二图像；以及利用曲线信息来确定场景中的一个或多个物体的距离。利用曲线信息包括：确定用来将第一图像和第二图像之一模糊为第一图像和第二图像中的另一者的模糊度的卷积的数目；利用卷积的数目来基于曲线信息确定物体到焦点位置距离；计算设备到焦点位置距离；以及将物体到焦点位置距离和设备到焦点位置距离相加来确定设备到物体距离。曲线信息被预先确定。曲线信息包括多条曲线。应用还被配置为生成曲线信息。生成曲线信息包括以不同的模糊量获取多个图像。第一图像和第二图像具有不同的模糊量。不同的模糊量是通过在获取第一图像和第二图像之间改变焦点位置而实现的。应用还被配置为生成深度图。深度图被存储。应用还被配置为利用深度图执行成像应用。成像应用是从包括如下应用的组中选出的：自动聚焦、自动曝光、变焦设置、光圈设置、闪光灯设置、快门速度、白平衡、降噪、伽马校正、运动估计、图像/视频压缩、生成模糊、质量改善、生成3-D图像、阴影去除以及物体分割。设备是从包括如下项的组中选出的：个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能设备、游戏控制器、数码相机、数字摄录像机、相机电话、 视频播放器、DVD刻录机/播放器、电视机和家庭娱乐系统。
[0007] 在另一方面，一种在设备上生成曲线信息的方法包括：获取场景中的测试物体的第一图像和第二图像，其中针对第二图像改变焦点位置；计算第一图像和第二图像之间的模糊的改变；以及针对多个不同焦点位置重复a和b，以生成曲线信息。该方法还包括：标识场景中的测试物体。测试物体的图像以固定变焦(zoom)和光圈被获取。生成曲线信息是在校准设备时发生的。曲线信息被存储在设备上。设备是从包括如下项的组中选出的：个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能设备、游戏控制器、数码相机、数字摄录像机、相机电话、 视频播放器、DVD刻录机/播放器、电视机和家庭娱乐系统。
附图说明
[0008] 图1图示出了根据一些实施例的曲线的图表。
[0009] 图2A-2B图示出了根据一些实施例的相机获取图片的示图。
[0010] 图3A-3B图示出了根据一些实施例的利用卷积来影响图片的聚焦的示图。
[0011] 图4图示出了根据一些实施例的卷积和距离的示图。
[0012] 图5图示出了根据一些实施例的曲线。
[0013] 图6图示出了根据一些实施例的示例性图像以及使图像模糊的一组卷积。
[0014] 图7图示出了根据一些实施例的用于确定图像中的距离的示图。
[0015] 图8图示出了根据一些实施例的一系列曲线的示图。
[0016] 图9图示出了根据一些实施例的利用设备确定物体距离的方法的
流程图。
[0017] 图10图示出了根据一些实施例的被配置为确定物体距离的示例性计算设备的
框图。
具体实施方式
[0018] 早先已描述了基于简单透镜模型利用数学公式来计算场景中的物体距离。该数学公式的输入是诸如焦距、光圈大小和其它信息之类的固有相机参数以及两图片匹配曲线信息。
[0019] 取代利用先前描述的数学公式，两图片匹配曲线信息能被用来确定场景中的精确物体距离或相对物体距离。
[0020] 两图片匹配曲线是从由采用电荷
耦合器件(CCD)或互补金属
氧化物
半导体(COMS)传感器的任意成像设备捕获的数据计算出的物理量。两图片匹配曲线上的特定点是以如下方式生成的。对于固定的相机变焦和光圈，测试目标或物体的图片针对特定相机焦点位置被捕获。接下来，相机焦点位置被改变某个小的量并且第二张图片被捕获。然后计算测试目标或物体的模糊改变。然后针对不同的相机焦点位置重复该处理，从而生成两图片匹配曲线。如果相邻相机焦点位置被重复改变与M倍景深(其中M是非零有理数量)相对应的某个固定量，则当应用高斯卷积核(kernel)时，计算出的两图片匹配曲线理论上是线性的。否则，曲线是单调递增/递减的。由于相机镜头中的瑕疵，即使相对于其先前相机焦点位置针对每个新的相机焦点位置将相机焦点位置改变固定的M倍景深，线性也仅针对固定范围而存在。
[0021] 所捕获的两图片匹配曲线的示例在图1中被示出。
水平轴被定义为图片编号，而垂直轴被定义为
迭代数目(＝卷积)。图片编号参照(与不同相机焦点位置相关联的)所捕获图片。
[0022] 在自然场景中，迭代被计算并被与场景中的非重叠区域相关联。编号然后可被用来确定场景中物体的相对顺序(例如，哪些物体离相机更近以及哪些物体更远)或者用来近似场景中物体的实际距离。包含迭代信息的矩阵被定义为迭代图(iteration map)。
[0023] 确定相对物体距离：
[0024] 例如，所关注的场景具有如下的基本的3 x 3迭代图。
[0025] -5 3 1
[0026] 2 8 6
[0027] 4 -7 3
[0028] 如果该矩阵的左上角被定义为项(entry)(1，1)，并且该矩阵的右下角被定义为项(3，3)，则位于项(2，2)处的物体对应于迭代图编号8。该物体与相机最接近。类似地，与迭代图编号-7相对应的位于项(3，2)处的物体离相机最远。类似地，与迭代图编号1相对应的位于项(1，3)处的物体与相机的当前焦点位置最接近。
[0029] 迭代图的维度是n x m。另外，迭代图通常包含非重叠区域，非重叠区域包含与边界区域相对应的两个不同深度(例如，前景物体和背景物体)。在这些位置，迭代图信息是不准确的。一般地，基本的滤波或聚类方案能够用来改进非边界位置处的迭代图估计。迭代图中的信息然后能够用来确定相对的和精确的物体距离。然而，在假设所关注物体包括数个非重叠区域/迭代图中的多个相邻项的情况下，通过采用简单
聚类算法，相对物体距离可被确定。
[0030] 确定精确物体距离：
[0031] 如果每个邻近相机位置对应于M倍景深的移动，则迭代数目能够用来计算物体距离。这在图1中被例示出。
[0032] 在图1中，在当前焦点位置处，针对所关注物体的迭代次数为K。通过图示说明的方式，与当前焦点位置相关联的两图片匹配曲线在图1中示出。利用该曲线，K与离当前相机焦点位置[(N+8)-N]＝8个单位远的图片编号相对应。物体的距离然后可被确定为8*M倍景深。
[0033] 每个连续图片编号位置是从数学公式计算出的。一种可能是从某个参考图片编号1[或Nmax]或者1与Nmax之间的某个其它图片编号起来计算每个连续图片编号位置作为向前[或向后]景深位置。下面示出的代码(其中，sign(depth_of_fields)＝＝1)能够应用来利用当前相机焦点位置计算物体位置。通过代入新计算出的向前景深位置来计算每个新的相机焦点位置。在下面给出的示例中，相机焦距、光圈F值(fnumber)和起始焦点距离(对应于图片编号N＝1)分别为63mm、5.2和1cm。该处理被迭代8次以便确定物体距离。
[0034]
[0035]
[0036] 类似地，向后景深位置可被计算出并被使用。在此情况中，distance_focus＝H/2[对应于N＝Nmax]和sign(depth_of_fields)选项被选为等于-1。
[0037] 类似地，可基于“教科书”景深定义来在向前方向上计算新的图片编号位置。这里，distance_focus＝1，并且Dno1和Dfo1两者利用以上公式来计算。为了计算与下一图片编号位置相对应的下一焦点位置，下面的等式然后被求解。
[0038] Dno2＝Dfo1；
[0039] distance_focus2＝(Dno2*H)/(H-Dno2)；
[0040] 该处理被重复以生成所有后续距离焦点位置。
[0041] Dfo2＝(H*distance_focus2)/(H-distance_focus2)；
[0042] Dno3＝Dfo2；
[0043] 类似地，基于“教科书”景深定义来在逆方向上计算新的图片编号位置。这里，distance_focus＝H/2，并且Dno1和Dfo1两者利用以上公式来计算。为了计算与下一图片编号位置相对应的下一焦点位置，下面的等式然后被求解。
[0044] Dfo2＝Dno1；
[0045] distance_focus2＝(Dfo2*H)/(H+Dfo2)
[0046] 该处理被重复以生成所有后续距离焦点位置。
[0047] Dno2＝(H*distance_focus2)/(H+distance_focus2)；
[0048] Dfo3＝Dno2
[0049] 定义和公式的其它变体也可被使用。
[0050] 利用预定数学公式来计算图片编号位置。通过迭代数学公式，与特定迭代数目相关联的物体深度然后可被确定。
[0051] 图2A图示出了根据一些实施例的相机捕获图片的示图。对场景取景的相机具有
指定设置，例如，变焦(z1)和光圈大小(a1)。该相机还具有焦点位置(f1)。从该信息可以计算出距离(D1)。在图2A中，示出了聚焦在人上而太阳被模糊的图像。从相机到相机聚焦的位置(在人那儿)的距离为D1。
[0052] 图2B图示出了根据一些实施例的相机捕获图片时的示图。变焦和光圈大小保持相同，但焦点位置(f2)改变。然后，从此信息能够计算出距离(D2)。一般地，距离＝函数(zL，aL，fL)。在图2B中，与图2A相比，图像被聚焦为更接近太阳，而人被模糊。从相机到相机聚焦的位置(在人之外)的距离为D2。因此，当将在图2A和图2B中捕获的图像相比较时，一个图像聚焦着人并使太阳模糊，另一图像使人模糊并使太阳不太模糊。这些图像能够用来确定图像中诸如人之类的所有物体的距离。
[0053] 图3A图示出了根据一些实施例的利用卷积来影响图片的聚焦的示图。两个图片被拍摄，例如，第一图片最初聚焦在人上并使太阳模糊，第二图片被聚焦为更接近太阳而使人模糊。为了使第一图片中的人与第二图片中的人同样模糊，数学卷积运算可被应用。卷积被迭代并且在每次迭代之后检查第一图片与第二图片的接近度。因此，每次迭代会使人更模糊。最终，模糊将匹配，并且超过其的模糊将导致第一图片比第二图片更模糊。卷积的数目可被记录为例如M次卷积。
[0054] 图3B图示出了根据一些实施例的利用卷积来影响图片的聚焦的示图。与图3A中使人模糊的卷积类似，能够在N次卷积中使太阳模糊以获得匹配的模糊。
[0055] 图4图示出了根据一些实施例的卷积和距离的示图。当在聚焦点(例如，测试目标的焦点位置)以外拍摄图片对时，卷积运算符的符号为正，并且当图片对在聚焦点之前时，符号为负。换言之，当图片对在聚焦点以外时，第二图片比第一图片更模糊；因此，卷积运算符将为正。然而，当图片对在聚焦点之前时，第一图片比第二图片更模糊；因此，卷积运算符为负。符号指示方向。这使得能够获取取决于图片对被拍摄的位置的数字序列。如在图1中所述的，曲线能够被生成。然后，利用这些图片对、与图片对相关的卷积以及所生成的曲线，距离能够被确定，如图5所示。
[0056] 图6图示出了根据一些实施例的示例性图像以及使图像模糊的一组卷积。图7图示出了根据一些实施例的用于确定图像中的距离的示图。将图6中较清晰的车模糊为不太清晰的车的卷积数目为L次卷积。然后，利用曲线，L次卷积得到车的距离d_car。焦点位置是已知的；因此，从焦点位置到车的距离能够被确定。从车到相机的距离为d_car+d_camera。
[0057] 曲线是针对每个相机生成的。在一些实施例中，当相机被校准时，曲线被生成并被存储在相机中。在一些实施例中，多条曲线被生成以提高性能。取决于诸如相机被聚焦的位置之类的多种因素，曲线的斜率可能略微不同，因此可能使用某一条曲线比另一曲线更适当。在一些实施例中，曲线是基于相机被聚焦的位置而从曲线集中选择的。在一些实施例中，曲线是基于另外的因素被选择的。
[0058] 获取图片对涉及捕获具有某个小数倍的景深间隔的两个图片。在一些实施例中，景深间隔是有理数。例如，间隔为1倍景深、2倍景深、1.5倍景深或其它。一条或多条曲线被存储在诸如相机之类的设备中。图8图示出了根据一些实施例的一系列曲线的示图。然后，两个图片的焦点位置被用来确定哪条曲线是适当的，以及基于该曲线来确定距离。如果相机参数被改变，则曲线能够被
修改。利用上述曲线和信息，图片中物体的距离和深度图可被确定。深度图可通过如下操作来确定：为场景中的许多物体建立距离，其随后被绘制出来，从而生成深度图。曲线可以以诸如查找表之类的任意数据结构被存储。
[0059] 图9图示出了根据一些实施例的利用设备确定物体距离的方法的流程图。在步骤900，第一图像被获取。在步骤902，第二图像被获取。第一图像和第二图像具有不同的模糊量。在步骤904，所确定的曲线被利用来确定所获取图像中的一个或多个物体的距离。该距离是通过如下操作来计算的：确定用来将较清晰图像(例如，第一图像)模糊为不太清晰图像(例如，第二图像)的卷积数目，然后利用卷积数目来基于曲线(参见图5)确定从物体到焦点位置的距离(例如，物体到焦点位置距离)。由于焦点位置是已知的，因此从相机到焦点位置的距离(例如，设备到焦点位置距离)能够被计算出。然后，将从相机到焦点位置的距离与从焦点位置到物体的距离相加就是物体离相机的总距离。除了计算物体到相机的距离之外，还可以计算相对物体距离。例如，如果针对两个分离的物体计算焦点位置到物体距离，则这些距离可被用来确定相对物体距离。如上所述，通过获取目标的具有不同模糊量的图像来确定曲线。在一些实施例中，在步骤906，基于所确定的距离生成深度图。在一些实施例中，所确定曲线在第一图像被获取之前被确定并被存储。在步骤908，深度图被存储。在一些实施例中，深度图不被存储并且步骤908可被跳过。在步骤910，深度图被利用来执行如下面描述的那些应用之类的应用。
[0060] 图10图示出了根据一些实施例的被配置为确定图像中物体的距离的示例性计算设备的框图。计算设备1000可用来获取、存储、计算、传输和/或显示诸如图像和视频之类的信息。例如，计算设备1000可获取并存储图片并且利用来自所获取图片的信息执行计算。一般地，适于实现计算设备1000的硬件结构包括网络
接口1002、存储器1004、处理器1006、(一个或多个)I/O设备1008、总线1010和存储设备1012。处理器的选择不是严格的，只要选择具有足够速度的合适处理器即可。存储器1004可以是本领域已知的任何传统计算机存储器。存储设备1012可包括
硬盘驱动器、CDROM、CDRW、DVD、DVDRW、闪存卡或任何其它存储设备。计算设备1000可包括一个或多个网络接口1002。网络接口的示例包括连接到以太网或其它类型的LAN的网络卡。(一个或多个)I/O设备1008可包括以下中的一者或多者：
键盘、
鼠标、监视器、显示器、
打印机、
调制解调器、
触摸屏、按钮接口和其它设备。
用来执行距离方法的(一个或多个)距离应用1030有可能被存储在存储设备1012和存储器1004中并且像应用通常被处理的那样被处理。图10所示的更多或更少的组件可被包括在计算设备1000中。在一些实施例中，距离处理硬件1020被包括。虽然图10中的计算设备1000包括应用1030和用于距离应用的硬件1020，但是距离应用还能够以硬件、
固件、
软件或它们的任意组合在计算设备上实现。
[0061] 在一些实施例中，(一个或多个)距离应用1030包括数个应用和/或模块。在一些实施例中，(一个或多个)距离应用1030包括：被配置为获取多个图像/图片/视频(例如，第一图像/图片/视频和第二图像/图片/视频)的图像/图片/视频获取模块1032、被配置为生成曲线的曲线生成模块1034、被配置为确定/计算图像/图片/视频内物体的距离的距离计算模块1036以及被配置为生成深度图的深度图生成模块1038。
[0062] 合适计算设备的示例包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能设备、游戏控制器、数码相机、数字摄录像机、相机电话、 视频播放器、DVD刻录机/播放器、电视机、家庭娱乐系统或者任何其它合适计算设备。
[0063] 为了利用所确定的距离和深度图，应用的一些方面可应用于成像处理的不同阶段。在图像/视频被获取之前，利用距离和/或深度图的应用能够设置如下参数，包括但不限于自动聚焦、自动曝光、变焦设置、光圈设置、闪光灯设置和快门速度。这些应用能够自动地被实现或者由用户手动实现。然后，用户能够如他获取任何图像/视频一样(例如，对准目标并按下按钮)来获取图像/视频。当图像/视频被获取时，另外的应用能够影响图像，包括但不限于白平衡、降噪、伽马校正、运动估计和图像/视频压缩。在图像/视频被存储之后，可进行后处理。例如，图像被存储在相机/摄录像机或者诸如计算机之类的另外的设备上。利用输入机构，用户能够对图像/视频执行后处理操作。在一些实施例中，后护理自动发生而无需用户输入。图像后处理的示例包括但不限于生成模糊、质量改善、生成3-D图像、阴影去除以及物体分割。所有这些步骤可受益于距离信息和深度图。
[0064] 在操作中，在利用曲线信息和两个以上图像确定距离信息和/或深度图时，可以以多种方式来改进图像/视频处理。利用所获取的图像信息来生成曲线。然后，通过获取具有不同模糊度的两个以上图像，将较清晰图像模糊为更模糊图像的卷积的数目可被记录并且然后与曲线一起被用来确定距离(例如物体到焦点位置距离)。从焦点位置到相机的距离可被计算。这两个距离一起是从物体到相机或其它设备的距离。可以通过在图像/视频被获取之前适当地配置相机设置来改进图像获取。对所获取图像的图像处理可被改进。还可以利用距离信息来改进对图像的后处理。改进包括更高效的处理、更好质量的图像/视频、另外的特征以及其它改进。
[0065] 已根据包含有细节的具体实施例描述了本发明，以辅助理解本发明的操作和构成的原理。这里对具体实施例及其细节的提及不旨在限制所附
权利要求的范围。本领域技术人员将容易清楚，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对被选择用于图示说明的实施例作出其他各种修改。
