用于焦距调节和深度图确定的装置和方法
阅读：278发布：2020-05-12
专利汇可以提供用于焦距调节和深度图确定的装置和方法专利检索，专利查询，专利分析的服务。并且提供用于焦距调节和 深度图 确定的装置及其实现与使用方法。焦距调节装置包括距离组件，该距离组件被配置用于确定感兴趣的物体与用于对该感兴趣的物体进行成像的成像机构之间的距离。所述焦距调节装置还可以包括焦距组件，该焦距组件被配置用于根据所确定的距离 自动调节 所述成像机构的焦距。与使用激光相机的解决方案相比，所述焦距调节装置有利地用较低成本实现了自动焦距调节。，下面是用于焦距调节和深度图确定的装置和方法专利的具体信息内容。
1.一种用于焦距调节的方法，包括：
确定感兴趣的物体与成像机构之间的距离；以及
根据所述确定距离，自动调节所述成像机构的焦距；
其中，所述确定包括确定场景中的感兴趣的物体与所述成像机构之间的距离；
其中，所述确定包括用包含在所述成像机构中的第一成像设备和第二成像设备来对所述场景进行成像；
其中，所述确定还包括：获得所述场景的深度图；
其中，所述获得包括计算来自所述第一成像设备和第二成像设备的场景图像的视差；
其中，所述计算视差包括优化全局能量函数；
所述方法还包括：
聚合多个方向上的数据项以获得所述方向中的每一个的方向能量函数；以及累加所述方向上的方向能量函数以获得所述全局能量函数。
2.根据权利要求1所述的方法，其中所述确定还包括：
选择所述场景中的感兴趣的物体；以及
根据所述场景的深度图计算所述感兴趣的物体的距离。
3.根据权利要求2所述的方法，其中所述优化全局能量函数包括求取视差能量函数与缩放平滑项的和，所述缩放平滑项表示对平滑项进行加权调节。
4.根据权利要求3所述的方法，其中所述视差能量函数由Birchfield-Tomasi项表示。
5.根据权利要求4所述的方法，其中通过累加由所述第一成像设备捕捉到的所述场景的第一图像与由所述第二成像设备捕捉到的所述场景的第二图像中像素坐标的最小视差来定义所述Birchfield-Tomasi项。
6.根据权利要求3-5中任一项所述的方法，还包括：针对像素的所有邻居，累加两个相邻像素之间的视差的缩放触发函数以获得所述平滑项，所述缩放触发函数表示对触发函数进行加权调节。
7.根据权利要求6所述的方法，其中所述累加包括：针对像素的所有邻居，累加来自四领域的两个相邻像素之间的视差的缩放触发函数。
8.根据权利要求6所述的方法，其中通过累加每一像素的所有邻居的视差的缩放触发函数来获得所述平滑项。
9.根据权利要求2所述的方法，其中所述聚合包括获得预定数目的方向上的方向能量函数。
10.根据权利要求2或权利要求9所述的方法，其中所述聚合包括获得四个方向或八个方向上的方向能量函数。
11.根据权利要求2或9所述的方法，其中所述聚合数据项包括：通过求取对应平滑项与一方向上的动态规划的和来获得该方向上的方向能量函数。
12.根据权利要求11所述的方法，其中所述求取对应平滑项与所述方向上的所述动态规划的和包括：用基于其邻居在该方向上的所述方向能量函数的递归来表示该方向上的所述动态规划。
13.根据权利要求12所述的方法，其中所述方向包括水平方向。
14.根据权利要求13所述的方法，其中所述聚合水平方向上的数据项包括：通过基于其邻居在该水平方向上的所述方向能量函数的递归来计算能量。
15.根据权利要求2或9所述的方法，还包括获得最佳深度。
16.根据权利要求15所述的方法，其中所述获得最佳深度包括寻求使多个方向上能量的总和最小的视差值。
17.根据权利要求15所述的方法，其中所述获得最佳深度包括基于一个方向上的方向能量函数来寻求所述视差值。
18.根据权利要求2-5中任一项所述的方法，还包括通过执行以下各项中的至少一项来降低噪声：在置所述视差为-1时，匹配来自所述第一成像设备和第二成像设备的场景图像，以及识别所述场景图像各自的独特性。
19.根据权利要求1-5中任一项所述的方法，还包括基于至少选自包括以下各项的组的因素来补偿误差：所述两个成像设备的中线之间的距离、两个相邻像素的实际距离、所述两个成像设备的焦距以及所述感兴趣的物体与所述第一成像设备和第二成像设备之间的深度。
20.根据权利要求2-5中任一项所述的方法，还包括通过使用非局部优化方程来优化所述深度图。
21.根据权利要求20所述的方法，还包括通过使用递归滤波来获得所述非局部优化方程的Jacobi迭代。
22.根据权利要求2-5中之一所述的方法，其中所述选择所述场景中的感兴趣的物体包括接收外部指令以选择所述感兴趣的物体。
23.根据权利要求22所述的方法，其中所述接收指令包括识别在来自所述第一成像设备或第二成像设备的场景图像中的任一个上选定的感兴趣的物体。
24.根据权利要求23所述的方法，其中所述识别选定的感兴趣的物体包括：在所述场景图像的任一个上感测框出了该感兴趣的物体的方框或者在所述场景图像中的任一个上感测对该感兴趣的物体的点击。
25.根据权利要求24所述的方法，其中所述接收外部指令包括接收声音指令以确定所述感兴趣的物体，所述声音指令为所述感兴趣的物体的预设名称。
26.根据权利要求2-5中任一项所述的方法，其中所述选择所述场景中的感兴趣的物体包括：在至少一个预设规则下进行判断并且基于所述判断来自动确定所述感兴趣的物体。
27.根据权利要求26所述的方法，其中所述在至少一个预设规则下进行判断包括判断所述物体是否正在接近所述成像机构或者是否在该成像机构的一定距离内。
28.根据权利要求1-5中任一项所述的方法，其中所述自动调节焦距包括基于所述感兴趣的物体的灰度水平信息，用跟踪学习检测来实时地自动调节所述成像机构的焦距。
29.一种焦距调节装置，包括：
距离组件，其用于确定场景中的感兴趣的物体与用于对该场景进行成像的成像机构之间的距离；以及
焦距组件，其用于根据所述确定的距离来自动调节所述成像机构的焦距：
其中，所述成像机构包括第一成像设备和第二成像设备，该第一成像设备和第二成像设备对所述场景进行成像以获得第一场景图像和第二场景图像，用于确定所述距离；
其中，所述距离组件包括：
深度估计机构，其用于获得所述场景的深度图；
其中，基于所述第一场景图像与第二场景图像的视差来获得所述深度图；
其中，所述深度估计机构优化全局能量函数；
其中，所述全局能量函数通过以下方式得以优化：
聚合多个方向上的数据项以获得所述方向中的每一个的方向能量函数；以及累加所述方向上的方向能量函数以获得所述全局能量函数。
30.根据权利要求29所述的装置，其中所述第一成像设备和第二成像设备中的任一个是相机或传感器。
31.根据权利要求29或权利要求30所述的装置，其中所述第一成像设备和第二成像设备选自包括以下各项的组：激光相机、红外相机、超声相机和渡越时间相机。
32.根据权利要求29-30中任一项所述的装置，其中所述第一成像设备和第二成像设备是红-绿-蓝相机。
33.根据权利要求29所述的装置，其中所述距离组件包括：
物体确定机构，其用于确定所述场景中的感兴趣的物体；以及
计算机构，其用于根据所述场景的深度图来计算所述感兴趣的物体的距离。
34.根据权利要求33所述的装置，其中所述全局能量函数被定义为视差能量函数与缩放平滑项的和，所述缩放平滑项表示对平滑项进行加权调节。
35.根据权利要求34所述的装置，其中所述视差能量函数包括Birchfield-Tomasi数据项。
36.根据权利要求35所述的装置，其中基于由所述第一成像设备捕捉到的所述场景的第一图像与由所述第二成像设备捕捉到的所述场景的第二图像中像素坐标的最小视差来定义所述Birchfield-Tomasi数据项。
37.根据权利要求34-36中任一项所述的装置，其中所述平滑项采用视差的差别的能量函数。
38.根据权利要求34-36中任一项所述的装置，其中针对具有坐标(x，y)的像素的所有邻居，所述平滑项是两个相邻像素之间的视差的缩放触发函数的总和，所述缩放触发函数表示对触发函数进行加权调节。
39.根据权利要求38所述的装置，其中所述邻居是来自四领域的像素。
40.根据权利要求38所述的装置，其中基于每一像素的所有邻居的视差的缩放触发函数来定义所述平滑项。
41.根据权利要求33所述的装置，其中所述方向包括预定数目的方向。
42.根据权利要求41所述的装置，其中所述预定数目的方向包括四个方向或八个方向。
43.根据权利要求33所述的装置，其中一个方向上的所述方向能量函数基于该方向上的动态规划。
44.根据权利要求43所述的装置，其中一个方向上的所述方向能量函数通过求取对应平滑项与该方向上的动态规划的和来获得。
45.根据权利要求43所述的装置，其中所述方向上的动态规划是基于其邻居在该方向上的方向能量函数的递归。
46.根据权利要求45所述的装置，其中所述方向包括水平方向。
47.根据权利要求46所述的装置，其中水平方向上的所述方向能量函数是通过基于其邻居在该水平方向上的所述方向能量函数的递归来获得。
48.根据权利要求33所述的装置，其中通过寻求使多个方向上能量的总和最小的视差值来获得最佳深度。
49.根据权利要求48所述的装置，其中基于一个方向上的方向能量函数来获得所述最佳深度。
50.根据权利要求33-36中任一项所述的装置，其中通过在置所述视差为-1时，匹配所述第一场景图像和第二场景图像以及/或者识别所述第一场景图像和第二场景图像各自的独特性来降低噪声。
51.根据权利要求33-36中任一项所述的装置，其中基于至少选自包括以下各项的组的因素来补偿误差：所述两个成像设备的中线之间的距离、两个相邻像素的实际距离、所述两个成像设备的焦距以及所述感兴趣的物体与所述第一成像设备和第二成像设备之间的深度。
52.根据权利要求33-36中任一项所述的装置，其中通过使用非局部优化方程来优化所述深度图。
53.根据权利要求52所述的装置，包括通过递归滤波来获得所述非局部优化方程的Jacobi迭代。
54.根据权利要求33所述的装置，其中所述物体确定机构接收外部指令以确定所述感兴趣的物体。
55.根据权利要求54所述的装置，其中所述物体确定机构使得能够识别在所述第一场景图像和所述第二场景图像中的任一个上选定的感兴趣的物体。
56.根据权利要求55所述的装置，其中所述物体确定机构使得能够通过以下方式中的至少一个来识别所述感兴趣的物体：在所述第一场景图像和所述第二场景图像中的任一个上感测用以框出该感兴趣的物体的方框，以及在所述第一场景图像和所述第二场景图像中的任一个上感测对该感兴趣的物体的点击。
57.根据权利要求55所述的装置，其中所述物体确定机构接收外部声音指令以确定所述感兴趣的物体，所述外部声音指令为所述感兴趣的物体的预设名称。
58.根据权利要求33所述的装置，其中所述物体确定机构基于在至少一个预设规则下的判断来自动确定所述感兴趣的物体。
59.根据权利要求58所述的装置，其中所述预设规则包括：所述感兴趣的物体是否正在接近所述第一成像设备和所述第二成像设备或者是否在一定距离内。
60.根据权利要求29所述的装置，其中所述焦距组件基于所述感兴趣的物体的灰度水平信息，用跟踪学习检测来实时地自动调节所述成像机构的焦距。
61.一种移动平台，其包括根据权利要求29-60中任一项所述的装置。
62.根据权利要求61所述的移动平台，其中所述移动平台是无人飞行器。
63.根据权利要求61或权利要求62所述的移动平台，其中所述移动平台是自稳定平台。
用于焦距调节和深度图确定的装置和方法
技术领域
[0001] 本文公开的实施方式通常涉及数字成像，并且更具体地涉及但不限于用于自动调节焦距和/或确定图像的深度图的装置和方法。
背景技术
[0002] 立体成像在许多领域中变得越来越普遍，凭借该技术，使用多个成像设备通过立体视觉来形成三维图像。立体成像在机器人学中特别有用，在机器人学中通常期望收集与机器的操作环境有关的三维信息。立体成像模拟人眼的双目视觉并且应用立体视觉的原理以实现深度知觉。这种技术可以通过使用多个成像设备从稍有不同的有利位置观察给定的感兴趣的物体，由人造成像设备来重现。感兴趣的物体的不同视图之间的差异传达了与该物体的位置有关的深度信息，从而支持了该物体的三维成像。
[0003] 在视频或电视剧的拍摄期间，跟焦是一个困难而且需要专业技术的工作。主流的跟焦设备需要有经验的跟焦师实时根据监视屏和拍摄场景来调节相机的焦距。
[0005] 根据本文公开的第一方面，阐述了一种用于自动焦距调节的方法，包括：
[0006] 确定感兴趣的物体与成像机构之间的距离；以及
[0007] 根据所述确定距离，自动调节所述成像机构的焦距。
[0008] 在所公开方法的示例性实施方式中，所述确定包括确定场景中的感兴趣的物体与所述成像机构之间的距离。
[0009] 在所公开方法的示例性实施方式中，所述确定包括用包含在所述成像机构中的第一成像设备和第二成像设备来对所述场景进行成像。
[0010] 在所公开方法的示例性实施方式中，所述确定还包括：
[0011] 获得所述场景的深度图；
[0012] 选择所述场景中的感兴趣的物体；以及
[0013] 根据所述场景的所述深度图，计算所述感兴趣的物体的距离。
[0014] 在所公开方法的示例性实施方式中，所述获得包括计算来自所述第一成像设备与第二成像设备的场景图像的视差。
[0015] 在所公开方法的示例性实施方式中，所述计算视差包括优化全局能量函数。
[0016] 在所公开方法的示例性实施方式中，所述优化全局能量函数包括求取视差能量函数与缩放平滑项的和。
[0017] 在所公开方法的示例性实施方式中，所述视差能量函数由Birchfield-Tomasi项表示。
[0018] 在所公开方法的示例性实施方式中，通过累加由所述第一成像设备捕捉到的所述场景的第一图像与由所述第二成像设备捕捉到的所述场景的第二图像中像素坐标的最小视差来定义所述Birchfield-Tomasi项。
[0019] 所公开方法的示例性实施方式还包括：针对像素的所有邻居，累加两个相邻像素之间的视差的缩放触发函数以获得所述平滑项。
[0020] 在所公开方法的示例性实施方式中，所述累加包括：针对像素的所有邻居，累加来自四领域的两个相邻像素之间的视差的缩放触发函数。
[0021] 在所公开方法的示例性实施方式中，通过累加每一像素的所有邻居的视差的缩放触发函数来获得所述平滑项。
[0022] 所公开方法的示例性实施方式还包括：
[0023] 聚合多个方向上的数据项以获得所述方向中的每一个的能量函数；以及[0024] 累加所述方向上的能量函数以获得所述能量函数。
[0025] 在所公开方法的示例性实施方式中，所述聚合包括获得预定数目的方向上的能量函数。
[0026] 在所公开方法的示例性实施方式中，所述聚合包括获得四个方向或八个方向上的能量函数。
[0027] 在所公开方法的示例性实施方式中，所述聚合数据项包括：通过求取对应平滑项与一方向上的动态规划的和来获得该方向上的能量函数。
[0028] 在所公开方法的示例性实施方式中，所述求取对应平滑项与所述方向上的所述动态规划的和包括：基于其邻居在所述方向上的所述能量函数的递归来表示该方向上的所述动态规划。
[0029] 在所公开方法的示例性实施方式中，所述方向包括水平方向。
[0030] 在所公开方法的示例性实施方式中，所述聚合水平方向上的数据项包括：通过基于其邻居在该水平方向上的所述能量函数的递归来计算所述能量。
[0031] 所公开方法的示例性实施方式还包括获得最佳深度。
[0032] 在所公开方法的示例性实施方式中，所述获得最佳深度包括寻求使多个方向上能量的总和最小的视差值。
[0033] 在所公开方法的示例性实施方式中，所述获得最佳深度包括基于一个方向上的能量函数来寻求所述视差值。
[0034] 所公开方法的示例性实施方式还包括通过执行以下各项中的至少一项来降低噪声：在置所述视差为-1时，匹配来自所述第一成像设备和第二成像设备的场景图像，以及识别所述场景图像各自的独特性。
[0035] 所公开方法的示例性实施方式还包括基于至少选自包括以下各项的组的因素来补偿误差：所述两个成像设备的中线之间的距离、两个相邻像素的实际距离、所述两个成像设备的焦距以及所述感兴趣的物体与所述第一成像设备和第二成像设备之间的深度。
[0036] 所公开方法的示例性实施方式还包括通过使用非局部优化方程来优化所述深度图。
[0037] 所公开方法的示例性实施方式还包括通过使用递归滤波来获得所述非局部优化方程的Jacobi迭代。
[0038] 在所公开方法的示例性实施方式中，所述选择所述场景中的感兴趣的物体包括接收外部指令以选择所述感兴趣的物体。
[0040] 在所公开方法的示例性实施方式中，所述识别选定的感兴趣的物体包括：在所述场景图像中的任一个上感测框出了该感兴趣的物体的方框或者在所述场景图像中的任一个上感测对该感兴趣的物体的点击。
[0041] 在所公开方法的示例性实施方式中，所述接收外部指令包括接收声音指令(可选地为所述感兴趣的物体的预设名称)以确定所述感兴趣的物体。
[0042] 在所公开方法的示例性实施方式中，所述选择所述场景中的感兴趣的物体包括：在至少一个预设规则下进行判断并且基于所述判断来自动确定所述感兴趣的物体。
[0043] 在所公开方法的示例性实施方式中，所述在至少一个预设规则下进行判断包括判断所述物体是否正在接近所述成像机构或者是否在该成像机构的一定距离内。
[0044] 在所公开方法的示例性实施方式中，所述自动调节焦点包括基于所述感兴趣的物体的灰度水平信息，用跟踪学习检测来实时地自动调节所述成像机构的焦距。
[0045] 根据本文公开的另一方面，阐述了一种立体成像系统，其被配置用于根据上述方法中的任一方法来执行自动焦距调节。
[0046] 根据本文公开的另一方面，阐述了一种焦距调节装置，包括：
[0047] 距离组件，其用于确定场景中的感兴趣的物体与用于对该场景进行成像的成像机构之间的距离；以及
[0048] 焦距组件，其用于根据所述确定的距离来自动调节所述成像机构的焦距。
[0049] 在所公开装置的示例性实施方式中，所述距离组件被配置用于确定场景中的感兴趣的物体与所述成像机构之间的距离。
[0050] 在所公开装置的示例性实施方式中，所述成像机构包括第一成像设备和第二成像设备，该第一成像设备和第二成像设备对所述场景进行成像以获得第一场景图像和第二场景图像。
[0052] 在所公开装置的示例性实施方式中，所述第一成像设备和第二成像设备选自包括以下各项的组：激光相机、红外相机、超声相机和渡越时间相机。
[0053] 在所公开装置的示例性实施方式中，所述第一成像设备和第二成像设备是红-绿-蓝(RGB)相机。
[0054] 在所公开装置的示例性实施方式中，所述距离组件包括：
[0055] 深度估计机构，其用于获得所述场景的深度图；
[0056] 物体确定机构，其用于确定所述场景中的感兴趣的物体；以及
[0057] 计算机构，其用于根据所述场景的深度图来计算所述感兴趣的物体的距离。
[0058] 在所公开装置的示例性实施方式中，基于所述第一场景图像与所述第二场景图像的视差来获得所述深度图。
[0059] 在所公开装置的示例性实施方式中，所述深度估计机构优化全局能量函数。
[0060] 在所公开装置的示例性实施方式中，所述全局能量函数被定义为视差能量函数与缩放平滑项的和。
[0061] 在所公开装置的示例性实施方式中，所述视差能量函数包括Birchfield-Tomasi数据项。
[0062] 在所公开装置的示例性实施方式中，基于由所述第一成像设备捕捉到的所述场景的第一图像与由所述第二成像设备捕捉到的所述场景的第二图像中像素坐标的最小视差来定义所述Birchfield-Tomasi数据项。
[0063] 在所公开装置的示例性实施方式中，所述平滑项采用视差的差别的能量函数。
[0064] 在所公开装置的示例性实施方式中，针对具有坐标(x,y)的像素的所有邻居，所述平滑项是两个相邻像素之间的视差的缩放触发函数的总和。
[0065] 在所公开装置的示例性实施方式中，所述邻居是来自四领域的像素。
[0066] 在所公开装置的示例性实施方式中，基于每一像素的所有邻居的视差的缩放触发函数来定义所述平滑项。
[0067] 在所公开装置的示例性实施方式中，所述全局能量函数通过以下方式得以优化：
[0068] 聚合多个方向上的数据项以获得所述方向中的每一个的方向能量函数；以及[0069] 累加所述方向上的方向能量函数以获得所述能量函数。
[0070] 在所公开装置的示例性实施方式中，所述方向包括预定数目的方向。
[0071] 在所公开装置的示例性实施方式中，所述预定数目的方向包括四个方向或八个方向。
[0072] 在所公开装置的示例性实施方式中，一个方向上的能量函数基于该方向上的动态规划。
[0073] 在所公开装置的示例性实施方式中，一个方向上的所述能量函数通过求取对应平滑项与该方向上的动态规划的和来获得。
[0074] 在所公开装置的示例性实施方式中，所述方向上的动态规划是基于其邻居在该方向上的能量函数的递归。
[0075] 在所公开装置的示例性实施方式中，所述方向包括水平方向。
[0076] 在所公开装置的示例性实施方式中，水平方向上的能量函数通过基于其邻居在该水平方向上的所述能量函数的递归来获得。
[0077] 在所公开装置的示例性实施方式中，通过寻求使多个方向上能量的总和最小的视差值来获得最佳深度。
[0078] 在所公开装置的示例性实施方式中，基于一个方向上的能量函数来获得所述最佳深度。
[0079] 在所公开装置的示例性实施方式中，通过在置所述视差为-1时匹配所述第一场景图像与第二场景图像以及/或者识别所述第一场景图像和第二场景图像各自的独特性来降低噪声。
[0080] 在所公开装置的示例性实施方式中，基于至少选自包括以下各项的组的因素来补偿误差：所述两个成像设备的中线之间的距离、两个相邻像素的实际距离、所述两个成像设备的焦距以及所述感兴趣的物体与所述第一成像设备和第二成像设备之间的深度。
[0081] 在所公开装置的示例性实施方式中，通过使用非布局优化方程来优化所述深度图。
[0082] 所公开装置的示例性实施方式包括通过递归滤波来获得所述非局部优化方程的Jacobi迭代。
[0083] 在所公开装置的示例性实施方式中，所述物体确定机构接收外部指令以确定所述感兴趣的物体。
[0084] 在所公开装置的示例性实施方式中，所述物体确定机构使得能够识别在所述第一场景图像和所述第二场景图像中的任一个上选定的感兴趣的物体。
[0085] 在所公开装置的示例性实施方式中，所述物体确定机构使得能够通过以下方式中的至少一个来识别所述感兴趣的物体：在所述第一场景图像和所述第二场景图像中的任一个上感测用以框出该感兴趣的物体的方框，以及在所述第一场景图像和所述第二场景图像中的任一个上感测对该感兴趣的物体的点击。
[0086] 在所公开装置的示例性实施方式中，所述物体确定机构接收外部声音指令(可选地为所述感兴趣的物体的预设名称)以确定所述感兴趣的物体。
[0087] 在所公开装置的示例性实施方式中，所述物体确定机构基于在至少一个预设规则下的判断来自动确定所述感兴趣的物体。
[0088] 在所公开装置的示例性实施方式中，所述预设规则包括：所述感兴趣的物体是否正在接近所述第一成像设备和所述第二成像设备或者是否在一定距离内。
[0089] 在所公开装置的示例性实施方式中，所述焦距组件基于所述感兴趣的物体的灰度水平信息，用跟踪学习检测来实时地自动调节所述成像机构的焦距。
[0090] 根据本文公开的另一方面，阐述了一种移动平台，其执行根据上述方法中的任一个。
[0091] 根据本文公开的另一方面，阐述了一种移动平台，其包括上述装置中的任一个。
[0093] 根据本文公开的另一方面，上述移动平台是自稳定平台。
[0094] 根据本文公开的另一方面，阐述了一种用于获得场景的深度图的方法，包括：
[0095] 捕捉所述场景的多个场景图像；以及
[0096] 计算所述多个场景图像的视差。
[0097] 在所公开方法的示例性实施方式中，所述捕捉多个场景图像包括经由第一成像设备和第二成像设备捕捉所述多个场景图像。
[0098] 在所公开方法的示例性实施方式中，所述计算视差包括优化全局能量函数。
[0099] 在所公开方法的示例性实施方式中，所述优化全局能量函数包括求取视差能量函数与缩放平滑项的和。
[0100] 在所公开方法的示例性实施方式中，所述视差能量函数由Birchfield-Tomasi项表示。
[0101] 在所公开方法的示例性实施方式中，其中通过累加由所述第一成像设备捕捉到的所述场景的第一图像与由所述第二成像设备捕捉到的所述场景的第二图像中像素坐标的最小视差来定义所述Birchfield-Tomasi项。
[0102] 所公开方法的示例性实施方式还包括：针对选定像素的所有邻居，累加两个相邻像素到所述选定像素之间的视差的缩放触发函数以获得所述平滑项。
[0103] 在所公开方法的示例性实施方式中，所述累加包括：针对所述选定像素的所有邻居，累加来自四领域的两个相邻像素之间的视差的缩放触发函数。
[0104] 在所公开方法的示例性实施方式中，通过累加每一像素的所有邻居的视差的缩放触发函数来获得所述平滑项。
[0105] 所公开方法的示例性实施方式还包括：
[0106] 聚合多个方向上的数据项以获得所述方向中的每一个的方向能量函数；以及[0107] 累加所述方向上的方向能量函数以获得所述能量函数。
[0108] 在所公开方法的示例性实施方式中，所述聚合包括获得预定数目的方向上的能量函数。
[0109] 在所公开方法的示例性实施方式中，所述聚合包括获得四个方向或八个方向上的能量函数。
[0110] 在所公开方法的示例性实施方式中，所述聚合数据项包括：通过求取对应平滑项与一选定方向上的动态规划的和来获得该选定方向上的能量函数。
[0111] 在所公开方法的示例性实施方式中，所述求取对应平滑项与所述方向上的动态规划的和包括：用基于其邻居在所述方向上的所述能量函数的递归来表示该方向上的动态规划。
[0112] 在所公开方法的示例性实施方式中，所述方向包括水平方向。
[0113] 在所公开方法的示例性实施方式中，所述聚合水平方向上的数据项包括：通过基于其邻居在该水平方向上的所述能量函数的递归来计算所述能量。
[0114] 所公开方法的示例性实施方式还包括获得最佳深度。
[0115] 在所公开方法的示例性实施方式中，所述获得最佳深度包括寻求使多个方向上能量的总和最小的视差值。
[0116] 在所公开方法的示例性实施方式中，所述获得最佳深度包括基于一个方向上的能量函数来寻求所述视差值。
[0117] 所公开方法的示例性实施方式还包括通过执行以下各项中的至少一项来降低噪声：在置所述视差为-1时，匹配来自所述第一成像设备和第二成像设备的场景图像，以及识别所述场景图像各自的独特性。
[0118] 所公开方法的示例性实施方式还包括基于至少选自包括以下各项的组的因素来补偿误差：所述两个成像设备的中线之间的距离、两个相邻像素的实际距离、所述两个成像设备的焦距以及所述感兴趣的物体与所述第一成像设备和第二成像设备之间的深度。
[0119] 所公开方法的示例性实施方式还包括通过使用非局部优化方程来优化所述深度图。
[0120] 所公开方法的示例性实施方式还包括通过使用递归滤波来获得所述非局部优化方程的Jacobi迭代。
[0121] 根据本文公开的另一方面，阐述了一种用于获得场景的深度图的装置，包括：
[0122] 成像系统，其用于捕捉多个场景图像；以及
[0123] 深度组件，其用于计算所述多个场景图像的视差。
[0124] 在所公开装置的示例性实施方式中，所述成像系统包括第一成像设备和第二成像设备。
[0125] 在所公开装置的示例性实施方式中，所述深度组件被配置用于优化全局能量函数。
[0126] 在所公开装置的示例性实施方式中，所述全局能量函数被定义为视差能量函数与缩放平滑项的和。
[0127] 在所公开装置的示例性实施方式中，所述视差能量函数包括Birchfield-Tomasi数据项。
[0128] 在所公开装置的示例性实施方式中，基于由所述第一成像设备捕捉到的所述场景的第一图像与由所述第二成像设备捕捉到的所述场景的第二图像中像素坐标的最小视差来定义所述Birchfield-Tomasi数据项。
[0129] 在所公开装置的示例性实施方式中，所述平滑项采用视差的差别的能量函数。
[0130] 在所公开装置的示例性实施方式中，针对具有坐标(x,y)的选定像素的所有邻居，所述平滑项是两个相邻像素之间的视差的缩放触发函数的总和。
[0131] 在所公开装置的示例性实施方式中，所述邻居是来自四领域的像素。
[0132] 在所公开装置的示例性实施方式中，基于每一像素的所有邻居的视差的缩放触发函数来定义所述平滑项。
[0133] 在所公开装置的示例性实施方式中，所述全局能量函数通过以下方式得以优化：
[0134] 聚合多个方向上的数据项以获得所述方向中的每一个的能量函数；以及[0135] 累加所述方向上的能量函数以获得所述能量函数。
[0136] 在所公开装置的示例性实施方式中，所述方向包括预定数目的方向。
[0137] 在所公开装置的示例性实施方式中，所述预定数目的方向包括四个方向或八个方向。
[0138] 在所公开装置的示例性实施方式中，一个方向上的能量函数基于该方向上的动态规划。
[0139] 在所公开装置的示例性实施方式中，一个方向上的所述能量函数通过求取对应平滑项与该方向上的动态规划的和来获得。
[0140] 在所公开装置的示例性实施方式中，所述方向上的动态规划是基于其邻居在该方向上的能量函数的递归。
[0141] 在所公开装置的示例性实施方式中，所述方向包括水平方向。
[0142] 在所公开装置的示例性实施方式中，水平方向上的能量函数是通过基于其邻居在该水平方向上的所述能量函数的递归来获得。
[0143] 在所公开装置的示例性实施方式中，所述深度组件被配置用于通过寻求使多个方向上能量的总和最小的视差值来获得最佳深度。
[0144] 在所公开装置的示例性实施方式中，基于一个方向上的能量函数来获得所述最佳深度。
[0145] 在所公开装置的示例性实施方式中，所述深度组件被配置用于通过在置所述视差为-1时匹配所述多个图像以及/或者识别所述多个图像各自的独特性来降低噪声。
[0146] 在所公开装置的示例性实施方式中，所述深度组件被配置用于基于至少选自包括以下各项的组的因素来补偿误差：所述两个成像设备的中线之间的距离、两个相邻像素的实际距离、所述两个成像设备的焦距以及所述感兴趣的物体与所述第一成像设备和第二成像设备之间的深度。
[0147] 在所公开装置的示例性实施方式中，通过使用非布局优化方程来优化所述深度图。
[0149] 图1是图示了焦距调节装置以及具有第一成像设备和第二成像设备的成像机构的实施方式的示例性顶层框图。
[0150] 图2和图3示出了由图1中的第一成像设备和第二成像设备获得的场景的两个图像的示例。
[0151] 图4是示出了第一成像设备和第二成像设备的实施方式的示例性框图。
[0152] 图5是示出了图1中的第一成像设备和第二成像设备的备选实施方式的零件图，其中所述第一成像设备和所述第二成像设备安装在无人飞行器(UAV)上。
[0153] 图6示意性图示了经由三角测量法来计算感兴趣的物体与图1中的第一成像设备和第二成像设备之间的距离的过程。
[0154] 图7是图示了用于调节焦距的系统的实施方式的示例性顶层框图，其中所述系统包括距离组件。
[0155] 图8是由图1中的焦距调节装置获得的示例性深度图。
[0156] 图9是图示了用于焦距调节的方法的实施方式的示例性顶层流程图。
[0157] 图10是图示了确定成像机构与感兴趣的物体之间的距离的过程的示例性流程图。
[0158] 图11-图13是用于示出图1中的焦距调节装置的误差以及对该误差的补偿效果的示例性示意图。
[0159] 应当注意，附图不是按比例绘制的，并且在全部附图中出于说明性目的，具有类似结构或功能的元件通常由相似的参考数字表示。还应当注意，附图仅旨在帮助描述优选实施方式。附图未图示所描述的实施方式的每个方面，并且不限制本公开内容的范围。
具体实施方式
[0160] 因为目前可用的焦距调节系统不能够提供用于成像系统的自动焦距调节，所以本文提供了焦距调节装置和方法，用于自动调节焦距并且充当广泛应用的基础，所述广泛应用诸如为在无人飞行器(UAV)和其他移动平台上的应用。根据本文公开的一个实施方式，这种结果可以通过如图1中所图示的焦距调节装置110来实现。
[0161] 图1描绘了焦距调节装置110的说明性实施方式。如图1中所示，焦距调节装置110可以与成像机构130相耦合。成像机构130可以生成场景100的一个或多个图像，感兴趣的物体120定位于该场景100中。
[0162] 图2和图3中示出了通过成像机构130获得的场景100的图像199的示例。场景100的所生成的图像可以由焦距调节装置110处理以生成用于调节成像机构130的焦距的信号。成像机构130的焦距可以按任何合适的方式调节，优选地实时调节。
[0163] 虽然参考图1所示出与描述，成像机构130仅出于说明性目的地包括两个成像设备131、132，但该成像机构130可以包括任何数目的成像设备133。例如，成像设备130可以具有
2、3、4、5、6个或甚至更多数目的成像设备。对于具有不止两个成像设备的成像机构130，在此图示的自动焦距调节可以适用于任何成像设备对。
2、3、4、5、6个或甚至更多数目的成像设备。对于具有不止两个成像设备的成像机构130，在此图示的自动焦距调节可以适用于任何成像设备对。
[0164] 图1中的成像设备131、132可以按任何期望的方式布置在成像机构130中。成像设备131、132的具体布置可以取决于相关的成像应用。在一些实施方式中，例如，成像设备131、132可以并排定位，以使得成像设备131、132具有平行的光轴。在其他实施方式中，可以定位成像设备131、132以使得该成像设备131、132的光轴不平行。
[0165] 成像设备131、132中的每一个可以感测光并且将感测到的光转换成电子信号，该电子信号最终可以呈现为图像。适合与焦距调节装置110一起使用的示例性成像设备131、132包括但不限于可商购的相机(彩色相机和/或单色相机)和便携式摄像机。合适的成像设备131、132可以包括模拟成像设备(例如，摄像管)和/或数字成像设备(例如，电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)、N型金属氧化物半导体(NMOS)成像设备，以及它们的混合/变体)。例如，数字成像设备可以包括光敏元件的二维阵列(未示出)，每一光敏元件可以捕捉一个像素的图像信息。成像设备131、132中的任一个可以例如是光电传感器、热传感器/红外传感器、彩色传感器或单色传感器、多光谱成像传感器、分光光度计、分光仪、温度计以及/或者照度计。此外，成像设备131、132中的任一个可以例如是红-绿-蓝(RGB)相机、超声波相机、激光相机、红外相机、超声相机或渡越时间相机。然而，成像设备131、132可替代地具有相同类型。类似地，在不限制本公开内容的范围的情况下，成像设备131、132的焦距可以是相同的和/或不同的。
[0166] 图4中示出了示例性第一成像设备131和第二成像设备132。第一成像设备131与第二成像设备132之间的距离D可以是可根据成像设备131、132与感兴趣的物体120之间的物体距离Z(在图6中示出)而调节的。在实施方式中，第一成像设备131和第二成像设备132可以安装在便携式云台(“cradle head”)150上。一旦确定所述感兴趣的物体120，则第一成像设备131和第二成像设备132的焦距可以基于物体距离Z进行自动调节。通过调节成像设备131、132的焦距，感兴趣的物体120可以变得清晰可见。
[0167] 在一些实施方式中，焦距调节装置110(在图1中示出)可以在物理上位于与成像机构130(在图1中示出)相邻之处，在这种情况下，焦距调节装置110与成像机构130之间的数据可以在本地通信。本地通信的优点是可以减少传输延迟以促进实时的焦距调节、图像处理和参数校准。在其他实施方式中，焦距调节装置110可以位于远离成像机构130之处。由于例如重量限制或者其他与焦距调节装置110的操作环境有关的原因，远程处理可以是优选的。作为非限制性示例，如果成像机构130安装在诸如无人飞行器(UAV)(在图5中示出)等移动平台上，则可能期望将成像数据传送至远程终端(未示出)用于集中式处理，所述远程终端诸如为地面终端或基站。例如在多个无人飞行器正在以协同方式对给定的感兴趣的物体120进行成像的情况下可能期望集中式处理。图4图示了焦距调节装置110的示例性实施方式，成像设备131、132安装在无人飞行器400上。
[0168] 虽然如图5中所示出和描述，移动平台仅出于示例性目的地为无人飞行器400，但移动平台可以是任何种类的这样的平台，包括但不限于任何自稳定移动平台。
[0169] 可以使用各种通信方法用于成像机构130与焦距调节装置110之间的远程通信。合适的通信方法例如包括无线电、无线保真(Wi-Fi)、蜂窝、卫星和广播。示例性无线通信技术包括但不限于全球移动通信系统(GSM)、通用分组无线业务(GPRS)、码分多址(CDMA)、宽带CDMA(W-CDMA)、CDMA2000、IMT单载波、增强型数据速率GSM演进(EDGE)、长期演进(LTE)、高级LTE、时分LTE(TD-LTE)、高性能无线局域网(HiperLAN)、高性能无线广域网(HiperWAN)、高性能无线城域网(HiperMAN)、本地多点分配业务(LMDS)、全球微波互联接入(WiMAX)、ZigBee、蓝牙、快速正交频分复用(Flash-OFDM)、高容量空分多址(HC-SDMA)、iBurst、通用移动电信系统(UMTS)、UMTS时分双工(UMTS-TDD)、增强型高速分组接入(HSPA+)、时分同步码分多址(TD-SCDMA)、演进数据最优化(EV-DO)、数字增强无绳通信(DECT)等。
[0170] 备选地和/或附加地，成像机构130可以至少部分地并入到焦距调节装置110中。因此，成像机构130可以有利地充当焦距调节装置110的组件。
[0171] 如图1中所示，成像机构130可以与焦距调节装置110相接合。例如，成像机构130的成像设备131、132可以分别获取场景100的图像199(在图2和图3中示出)并且可以在本地和/或经由数据通信系统(未示出)远程地将所获取的图像中继至焦距调节装置110。例如，焦距调节装置110可被配置用于使用所述两个图像经由立体视觉来重建感兴趣的物体120的三维描绘。因此，焦距调节装置110可以基于成像机构130与感兴趣的物体120之间的物体距离Z来确定焦距调节是否将会是有利的以及/或者是否向成像机构130传送校准信号用于焦距调节。附加地和/或备选地，焦距调节装置110可有利地被配置用于自动校准一个或多个外部参数以用于立体成像。
[0172] 现参考图6，由成像设备131、132获取的图像199可以包括图像199A和199B。可以对比图像199A(左，在以下方程中表示为l)和图199B(右，在以下方程中表示为r)以确定成像设备131、132与感兴趣的物体120之间的物体距离Z。可以使用三角测量的方法，用所述两个图像199A与199B之间的双目视差d来确定物体距离Z。具体而言，可以按以下方程给出图像199A(左)中像素i的坐标(Xi,Yi,Zi)：
[0173]
[0174]
[0175]
[0176] 其中cx和cy分别表示成像设备131、132的中心坐标，xi和yi表示图像199A(左)和199B(右)中之一或者全部二者中的感兴趣的物体120的坐标，T是基线(换言之，是成像设备
131、132的中心坐标之间的距离)，而f是成像设备131、132的校正后的焦距，i是可以用于确定物体距离Z的多个感兴趣的物体120和/或一个感兴趣的物体120的多个选定点的索引，以及d是图像199A(l)与199B(r)之间的双目视差，这里表示为：
131、132的中心坐标之间的距离)，而f是成像设备131、132的校正后的焦距，i是可以用于确定物体距离Z的多个感兴趣的物体120和/或一个感兴趣的物体120的多个选定点的索引，以及d是图像199A(l)与199B(r)之间的双目视差，这里表示为：
[0177]
[0178] 焦距调节装置110可以包括执行图像采集、焦距调节、校准以及本文描述的任何其他功能和操作所需的任何处理硬件和/或软件。在没有限制的情况下，焦距调节装置110可以包括一个或多个通用微处理器(例如，单核处理器或多核处理器)、专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。在某些实施方式中，焦距调节装置110可以包括图像处理引擎或媒体处理单元，所述图像处理引擎或媒体处理单元可以包括用于提高图像捕捉、滤波和处理操作的速度和效率的专业硬件。这样的操作例如包括拜耳(Bayer)变换、去马赛克操作、降噪操作和/或图像锐化/柔化操作。
[0179] 在某些实施方式中，焦距调节装置110可以包括用于执行焦距调节和参数校准的专业硬件和/或软件。例如，可以提供专业硬件和/或软件用于包括但不限于以下各项的功能：使用二维图像经由立体视觉来重建感兴趣的物体120的三维描绘，基于成像机构130与感兴趣的物体120之间的距离来确定是否需要焦距调节，确定最优焦距，向焦距调节装置110的任何组件传送控制信号用于焦距调节。
[0180] 在一些实施方式中，焦距调节装置110可以根据需要包括一个或多个附加硬件组件(未示出)。示例性附加硬件组件包括但不限于存储器(例如，随机存取存储器(RAM)、静态RAM、动态RAM、只读存储器(ROM)、可编程ROM、可擦可编程ROM、电可擦可编程ROM、闪速存储器、安全数字(SD)卡等)以及/或者一个或多个输入/输出接口(例如，通用串行总线(USB)、数字视频接口(DVI)、显示端口、串行ATA(SATA)、IEEE 1394接口(亦称为火线)、串口、视频图形阵列(VGA)、高级视频图形阵列(SVAG)、小型计算机系统接口(SCSI)、高清晰度多媒体接口(HDMI)、音频端口和/或专有的输入/输出接口)。在没有限制的情况下，一个或多个输入/输出设备(例如，按钮、键盘、小键盘、追踪球、显示器和监控器)也可以根据需要包括在焦距调节装置110中。
[0181] 在一些实施方式中，图像采集、焦距调节、校准以及本文描述的用于焦距调节装置110的任何其他功能和操作可以通过运行在常规处理器或通用计算机(诸如个人计算机)上的软件来实现。所述软件可以根据需要与上文讨论的合适硬件一起操作。例如，所述软件可以采用任何形式的源代码、目标代码、可执行代码和机器可读码。源代码能够以任何形式的高级编程语言来编写，所述高级编程语言包括但不限于C++、Java、Pascal、Visual B等。
[0182] 现转到图7，示出了图示图1中的焦距调节装置110的备选实施方式的示例性框图。图7中的焦距调节装置110包括距离组件701，该距离组件701用于确定物体距离Z，即场景
100中的感兴趣的物体120与成像机构130之间的距离。焦距调节装置110还包括焦距组件
702，该焦距组件702被配置用于根据由距离组件701确定的距离来自动调节成像机构130的焦距。
100中的感兴趣的物体120与成像机构130之间的距离。焦距调节装置110还包括焦距组件
702，该焦距组件702被配置用于根据由距离组件701确定的距离来自动调节成像机构130的焦距。
[0183] 如从图7所见，距离组件701被示出为包括：深度估计机构7011，其用于获得场景100的深度图；物体确定机构7012，其用于确定场景100中的感兴趣的物体120；以及计算机构7013，其用于根据来自深度估计机构7011的场景100的深度图来计算感兴趣的物体120的距离。
[0184] 在本公开内容的实施方式中，深度估计机构7011从第一成像设备131接收场景100的第一图像199A(在图2中示出)而从第二成像设备132接收场景100的第二图像199B(在图3中示出)。基于如图2和图3中所示的场景100的第一图像199A和第二图像199B，深度估计机构7011获得它们的视差，基于该视差获取深度图800(在图8中示出)。下文将会参考图8详细描述用于获得深度图的深度估计机构7011的具体操作。
[0185] 图8中描绘了示例性深度图800。深度图800中的每一像素(未示出)与一个值相关联，所述值表示与场景100(在图1中示出)中的像素对应的点与成像机构130(在图1中示出)之间的距离。例如，在某些实施方式中，利用亮度值来表示场景中的点(在感兴趣的物体120上或不在感兴趣的物体120上)与对该场景进行成像的成像设备之间的距离。备选地和/或附加地，可以向像素分配不同的色值(color value)以表示距离。在亮度值示例中，如从图8所见，较亮的区域810指示场景100中距离成像机构130(在图1中示出)较近的点，较暗的区域820指示场景100中距离成像机构130较远的点，而灰色区域830指示场景100中处于近距离与远距离之间的点。如果感兴趣的物体120在场景100中移动，则该感兴趣的物体120的像素亮度可以基于该感兴趣的物体120与成像机构130之间的距离而变化。如图8中所示，当感兴趣的物体120与成像机构130之间的距离减小时，该感兴趣的物体120的选定像素可以变得更亮，而当所述距离增大时，所述选定像素可以变得更暗。
[0186] 返回至图7，物体确定机构7012可以接收外部指令，以通过识别在场景100的第一图像和第二图像中的任一个中选定的感兴趣的物体120来确定该感兴趣的物体120(在图1中示出)。外部指令可以例如由焦距调节装置110的操作者给定。选择感兴趣的物体120可以通过在场景100的第一图像和第二图像中的任一个中框出该感兴趣的物体120来完成。场景100的第一图像和第二图像可以在显示屏(未示出)上和/或在显示屏(未示出)上向焦距调节装置110的操作者显示以供选择。备选地或附加地，选择感兴趣的物体120可以通过在一个或多个显示屏上点击显示在该一个或多个显示屏上的场景100的第一图像和第二图像中的任一个中的感兴趣的物体120来执行。物体确定机构7012可以感测框出操作和/或点击操作以识别感兴趣的物体120正在被选定。
[0187] 在另一实施方式中，物体确定机构7012能够从例如焦距调节装置110的操作者接收外部口头指令。可选地，口头指令可以是感兴趣的物体120的预设名称。
[0188] 备选地和/或附加地，可以使物体确定机构7012能够基于在至少一个预设规则下作出的判断来自动确定感兴趣的物体120。可以根据需要设定任何用于判断的规则。例如，预先设定的规则可以包括：如果感兴趣的物体120正在接近第一成像设备131和第二成像设备132以及/或者如果感兴趣的物体120在距第一成像设备和第二成像设备131、132的一定距离以内，则确定该感兴趣的物体120。
[0189] 基于来自深度估计机构7011的深度图和来自物体确定机构7012的关于感兴趣的物体120的信息，使得计算机构7013能够计算成像机构130与感兴趣的物体120之间的距离。计算机构7013优选地实时计算所述距离。
[0190] 基于所计算的距离，使得焦距组件702能够基于充当初始值的感兴趣的物体120的灰度信息，用跟踪学习检测方法来自动调节(优选地实时自动调节)成像机构130的焦距。
[0191] 如果用户想要使成像机构130聚焦于特定物体上，例如，物体确定机构7012则可以使得用户能够在示出场景100的图像的显示器上画方框以框出要跟踪的感兴趣的物体120。所述方框可以是任何合适的尺寸、大小或形状，包括但不限于矩形、正方形或圆形或者甚至不规则形状。可选地，使得用户能够点击一个或多个显示屏以确认选择。通过使用由深度估计机构7011获得的深度图(在图8中示出)，使得计算机构7013能够计算正在被用户选定的物体的距离，并且焦距组件702能够根据物体距离Z(在图6中示出)来自动调节焦距调节装置110的焦距，所述距离优选地实时获取。
[0192] 现参考图9，图示了用于焦距调节的方法900的一个实施方式。在901中，确定成像机构130(在图1中示出)与感兴趣的物体120(在图1中示出)之间的物体距离。物体距离Z(在图6中示出)可以根据需要通过使用若干种不同方法中的任何方法来确定。在一些实施方式中，物体距离Z可以通过使用成像机构130中的多个成像设备133(在图1中示出)经由立体视觉来确定。例如，成像机构130的两个成像设备131、132(在图1中示出)可以分别获取感兴趣的物体120的图像(在图2和图3中示出)，并且可以分析所获取的图像的重叠部分以评估感兴趣的物体120的深度。备选地和/或附加地，物体距离可以使用一个或多个非立体视觉的方法(诸如通过使用激光和/或使用超声)来获取。在902中，根据步骤901中确定的物体距离Z来自动调节成像机构130的焦距。
[0193] 在图10中图示了确定成像机构130与感兴趣的物体120之间的距离的详细过程901。在9011中，获得场景100的深度图。任何获得深度图的过程均可在这里适用而没有限制。下文详细图示了示例性过程。
[0194] 在实施方式中，通过计算来自第一成像设备131与第二成像设备132的场景图像的视差来获得深度图。在获得深度图的领域中，通常在整个图像的子集上计算能量函数。在一个实施方式中，优化全局能量函数以获得视差全局能量。具体而言，可以通过求取视差能量函数与缩放平滑项的和来计算所述视差全局能量。
[0195] 示例性优化可以通过以下方程来说明：
[0196] E(d)＝Ed(d)+pEs(s) (方程5)
[0197] 其中d指示场景的第一图像与第二图像之间的视差，Ed(d)是指示视差能量函数的数据项而Es(d)指示平滑项。
[0198] 数据项Ed(d)包括可以根据下列方程获得的Birchfield-Tomasi数据项：
[0199]
[0200] 其中，
[0201]
[0202]
[0203]
[0204]
[0205] 其中，IL表示由第一成像设备131捕捉到的场景100的第一图像，而IR表示由第二成像设备132捕捉到的场景100的第二图像；IL(x)中的x表示第一图像中的像素的水平坐标而IL(x’)中的x’表示第二图像中的像素的水平坐标；(x,y)表示场景100中的像素的坐标。
[0206] Birchfield-Tomasi数据项是图像采样/匹配中常用的数据项，将其引入，通过利用子像素的匹配精度解决了错误图像匹配的问题，所述子像素的匹配精度是对图像采样不敏感的像素相异度度量。解释Birchfield-Tomasi数据项的IEEE Transactions on Pattern Analysis and Machine Intelligence(1998)的内容通过引用而并入这里。当计算视差全局能量时，可以采用其他数据项作为方程5中的数据项。
[0207] 平滑项Es(d)可以由视差的差别的能量函数表示，针对具有坐标(x,y)的像素的所有邻居，所述视差的差别的能量函数可以通过求取两个相邻像素之间的视差的缩放触发函数的和来获得。具体而言，平滑项Es(d)可以根据如下方程来获得：
[0208]
[0209] 其中，(x,y)表示第一图像的像素坐标而(x’,y’)表示第二图像的像素坐标；p2和p1是两个可调节的权重，并且通常p2≥p1，以及累加符号是针对(x,y)的所有邻居，其中通常使用四领域，T是触发函数，当括号中的条件为真时触发。
[0210] 为了优化平滑项Es(d)，通过以下方式利用最快的动态规划：聚合多个方向上的数据项以获得所述方向中的每一个的方向能量函数并且累加所述方向上的方向能量函数以获得能量函数。在实施方式中，选择四个方向或八个方向以聚合数据项。在没有限制的情况下可以选择其他数目的方向，诸如三个、五个或十个方向。
[0211] 在实施方式中，一个方向上的能量函数可以通过求取其对应的平滑项与该方向上的动态规划的和来获得。一个方向上的动态规划可以通过基于其邻居在该方向上的能量函数的递归来表示。例如，一个像素的邻居在水平方向上的能量函数表示为L(x-1,y,d)、L(x-1,y,d+1)、L(x-1,y,d-1)和L(x-1,y,d’)。具体而言，根据下列方程获得水平方向上的能量函数：
[0212]
[0213] 其中，在坐标(x,y,d)处接收到的能量定义为L(x,y,d)，其可以表示为基于邻居的能量L(x-1,y,d)、L(x-1,y,d+1)、L(x-1,y,d-1)和L(x-1,y,d’)的递归。
[0214] 此外，通过寻求使多个方向上能量的总和最小的视差值来获得最佳深度。在实施方式中，根据下列方程获得最佳深度：
[0215] d*＝argmind∑L(x，y，d) (方程13)
[0216] 其中，d*指示最佳深度，L(x,y,d)指示一个方向上的能量函数。
[0217] 作为一个实施方式，通过在置视差为-1时匹配第一场景图像和第二场景图像以及/或者识别第一场景图像和第二场景图像各自的独特性来降低噪声。
[0218] 本公开内容还优化了通过深度估计机构7011获得的深度图。如上文所述，通过补偿深度估计机构7011的误差来优化全局能量函数。具体而言，所述误差可以通过以下方程来补偿：
[0219]
[0220]
[0221] 通过结合方程14和方程15，我们得到：
[0222]
[0223] 另一方面，我们有：
[0224]
[0225]
[0226] 通过结合方程17和方程18，我们得到：
[0227]
[0228] 其中
[0229] f＝焦距(mm)
[0230] D＝深度(物体与成像平面之间的深度，mm)
[0231] a＝基线(两个成像设备的中线之间的距离，mm)
[0232] b＝两个相邻像素的实际距离(mm)
[0233] d＝视差(按像素计量)
[0234] 因此，深度估计误差在[-x,x]的范围内，而估计的深度在[D-x,D+x]的范围中。上述误差分析和补偿基于以下假设。例如，误差估计基于假设相机校准参数完全正确并且视差图的平均误差为1个像素的理论值。实际校准可能引入误差，并且深度估计误差可能超过1个像素。因此，上述误差数据仅反映趋势。作为参考：通过使用立体匹配过程排名第一的算法——Middelbury，四个测试图中的深度估计的平均误差为1.29+0.14+6.47+5.70/4＝3.4(像素)。即使在无噪声、无光束变换且校准参数正确的情况下，而当前最佳过程针对所有点所呈现的平均误差为3.4个像素。
[0235] 图11-图13中描绘了示出焦距调节装置110的误差和对该误差的补偿效果的几张示意图。
[0236] 图11图示了当仅有测量深度D变化时，焦距调节装置110的估计误差与场景100的测量深度D之间的示例性关系。换言之，当测量深度D改变时，基线a，两个相邻像素的距离b以及方程16、方程17中的焦距f保持恒定。如图11中所示，横轴表示以mm为单位的测量深度D，而纵轴表示焦距调节装置110的估计误差。如图11所示，当测量深度D变化时，焦距调节装置110的估计误差也关于测量深度D以非线性的关系改变。例如，当测量深度D为3000mm时，根据图11，估计误差约为5mm，但当测量深度D增加至6000mm时，对应的估计误差增大至20mm以上。
[0237] 虽然如图11中所示出和描述，估计误差与测量深度D的关系仅出于示例性目的地为非线性关系，但所述关系可以是任何线性关系和/或非线性关系。
[0238] 图12图示了当仅有基线a变化时，焦距调节装置110的估计误差与基线之间的示例性关系。在这里当基线a改变时，测量深度D，两个相邻像素的距离b以及方程16、方程17中的焦距f保持恒定。在图12中，横轴表示以mm为单位的基线a，而纵轴表示以mm为单位的估计误差。如图12所示，当基线a增大时，估计误差可以根据该估计误差与基线a之间的非线性关系而减小。例如，当基线a为500mm时，根据图12，估计误差可以高达35mm，但当基线a增加至2000mm时，估计误差减小至约8mm。
[0239] 虽然如图12中所示出和描述，估计误差与基线的关系仅出于示例性目的地为非线性关系，但所述关系可以是任何线性关系和/或非线性关系。
[0240] 图13是用于示出图像表示符号与包含在方程14-方程19中的变量之间的典型对应关系的说明性示例。换言之，方程14-方程19可以从图13中图示的表示关系中推导得到。在这里，用两个相机Cam 1和Cam 2表示成像设备131、132(在图1中示出)，所述两个相机具有基线“a”和焦距“f”。
[0241] 如图13中所示，因为AB平行于CD，所以三角形ABO2与三角形CDO2相似。因此，我们可以得到方程14：
[0242]
[0243] 另外，因为CD平行于O1O2，所以三角形CDE与三角形O1O2E相似。因此，我们可以得到方程15：
[0244]
[0245] 通过结合方程14和方程15，我们可以得出方程16：
[0246]
[0247] 出于相同的原因，方程19可以从三角形AHO2的相似关系和FGO2与O1O2C的相似关系的组合中推导得到。如图13中所示，在方程16和方程19中，D是场景100与成像平面之间的实际深度，a是两个成像设备131、132之间的基线，b是两个相邻像素的距离，而f是成像设备131、132的焦距。
[0248] 虽然如图13中所示出和描述，估计误差-x和+x仅出于示例性目的地为相同绝对值，但是作为方程16和方程19的结果，所述估计误差-x和+x可以是不同的绝对值，在这种情况下，b在每一方程中可以具有不同的值。
[0249] 基于图11和图12中示出的估计误差的特性，深度图还可以通过应用非局部优化方程而优化，所述非局部优化方程的Jacobi迭代可以通过递归滤波获得。具体而言，根据以下方程来定义所述非局部优化方程：
[0250] E(d)＝∑|d(x，y)-d*(x，y)|2+∑exp(|IL(x，y)-IL(x′，y′)|+|x′-x|[0251] +|y′-y|)d(x，y)-d(x′y′)|
[0252] (方程20)
[0253] 其中，d*(x,y)指示最优深度图而d(x,y)是估计的深度图；I(x,y)表示图像强度；x,y是像素在图像坐标中的坐标；x′，y′是相同图像中x,y的相邻像素的坐标。
[0254] 类似于由物体确定机构7012和计算机构7013执行的操作，在图10的步骤9012中，确定感兴趣的物体120，并且在图10的步骤9013中计算该感兴趣的物体120与成像机构130之间的距离，该距离转而充当用于自动调节成像机构130的焦距的基础。
[0255] 根据本公开内容的任何实施方式，可以获得一种立体成像系统，其被配置用于实行前述操作以执行自动焦距调节。
[0256] 此外，根据本公开内容的实施方式，可以获得一种计算机程序产品，其包括用于根据前述操作来自动调节具有至少两个成像设备的立体成像系统的焦距的指令。优选地，根据本公开内容用于自动调节焦距的方法可以通过普通计算设备(诸如个人计算机和/或微型计算机)来实现。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种人声分离方法及系统 | 2020-05-11 | 354 |
| 一种家用汽车 | 2020-05-12 | 38 |
| 低信噪比见长的麦克风阵列语音去噪增强方法 | 2020-05-14 | 996 |
| 拓扑感知下的机载建筑屋顶点云建模方法 | 2020-05-12 | 173 |
| 基于混合极化核的极化码的编译码方法 | 2020-05-13 | 958 |
| 一种基于虚拟训练的机器人智能抓取方法 | 2020-05-08 | 196 |
| 一种远场噪声抑制方法、装置和系统 | 2020-05-13 | 784 |
| 一种新型无先导卡尔曼滤波方法 | 2020-05-12 | 942 |
| 一种基于Kinect的单视点手势姿势识别方法 | 2020-05-12 | 475 |
| 一种基于三维拟递归神经网络的高光谱图像降噪方法 | 2020-05-08 | 696 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈