一种基于深度差恢复相机高度的图像深度改进方法
阅读：885发布：2024-01-12
专利汇可以提供一种基于深度差恢复相机高度的图像深度改进方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于深度差恢复相机高度的图像深度改进方法，包括三个部分：(1)构建单幅图像地面区域深度计算模型；(2)深度计算模型误差分析；(3)基于深度差的相机高度反演。本发明适用于包含有地面的室内外近景图像，针对图像中的地面区域，依照构图几何条件，推导得到场景中地面各点绝对深度计算模型。重点是提出深度计算模型中相机高度(H)这一参数的确定方法，从而改进深度计算模型，提高计算的 精度 和可靠性。，下面是一种基于深度差恢复相机高度的图像深度改进方法专利的具体信息内容。
1.一种基于深度差恢复相机高度的图像深度改进方法，其特征在于，包括三个部分：
(1)构建单幅图像地面区域深度计算模型；
(2)深度计算模型误差分析；
(3)基于深度差的相机高度反演；
构建单幅图像地面区域深度计算模型包括：通过对相机成像模型的几何解析建立深度计算模型，计算图像中地面区域的深度信息，并将地面上待定点深度的计算方法分三种情况：
情况1：地面点近于中心点的深度计算；
情况2：地面点远于中心点的深度计算；
情况3：当地面有起伏变化时深度计算。
2.根据权利要求1所述的一种基于深度差恢复相机高度的图像深度改进方法，其特征在于，情况1中深度D的计算公式为：
其中，H为实测相机的高度，f为相机的焦距，s为相机感光CCD器件的实际尺寸与图像像素坐标之间的比例，vc、vg、vp分别为c、g、p点在图像坐标系中的纵坐标，c为像平面中心点，g为地面点G所成的像点，p为地平线与像平面的交点。
3.根据权利要求2所述的一种基于深度差恢复相机高度的图像深度改进方法，其特征在于，情况2中深度D的计算公式为：
4.根据权利要求3所述的一种基于深度差恢复相机高度的图像深度改进方法，其特征在于，情况3中，A点所在位置高于地面点G所在地面hA，B点所在位置低于地面点G所在地面hB，则深度的计算公式为：
其中，DA表示A点的深度，DB表示B点的深度。
5.根据权利要求4所述的一种基于深度差恢复相机高度的图像深度改进方法，其特征在于，深度计算模型误差分析中，情况1中令：
地面深度计算公式简化为：
D＝H*k；
深度计算结果与相机高度强相关。
6.根据权利要求5所述的一种基于深度差恢复相机高度的图像深度改进方法，其特征在于，根据以下公式计算相机高度H，并代入情况1～情况3中的深度计算公式，进一步改进图像深度计算：
其中，ΔD为地面上已知的两点G1、G2的深度差值， 和 分别为地面点G1，G2所对应图上像点g1，g2点在图像坐标系中的纵坐标。
一种基于深度差恢复相机高度的图像深度改进方法
技术领域
背景技术
[0002] 深度信息是图像空间信息不可或缺的组成部分，深度估计旨在通过对图像数据的运算从而求出深度信息，进而确定图像中不同物体对象间的空间位置关系。根据深度估计的结果不同，分为相对深度估计和绝对深度估计。相对深度估计是估计出图像中不同对象的相对位置关系，如人在房屋的前面，树木在房屋的后面等等，只需要用深度值区分出目标的前后位置即可，但该深度值不一定是该目标到相机的绝对深度。绝对深度估计是通过计算确定出图像中的目标相对于拍摄相机的垂直距离，甚至是每个像素所对应物体的绝对深度信息。
[0003] 现有的单幅图像深度估计方法众多，主要包括1)基于阴影、纹理、遮挡线索等隐含信息的方法；2)基于机器学习法；3)基于成像模型等方法。
[0004] 阴影法是利用现存的阴影，将场景图像与光源组成反射模型，利用阴影的变化实现深度估计。阴影也是一个基于单目图像的深度线索，常用的方法为SFS(Shape from Shading)。由于物体表面一般具有形状的变化，所以当光源照射到物体上时会造成明暗变化，也就是图像上的阴影。一般来说，物体上凸起的地方会比凹陷的地方亮，因此直观上来看，如果图像阴影和光源方向已知，是有理由能够恢复物体表面的三维模型的，有时也称为由明暗恢复深度。Durou等人对阴影恢复深度的相关算法进行了详细的讲解。纹理可以作为一种图像深度恢复的线索。对于有一定纹理的物体，当目标距离相机越远时，分辨率就越低，因此纹理就越模糊，反之，当目标距离相机越近，分辨率越高，纹理就越清晰。根据纹理的模糊程度不同可以估计出物体的远近关系。由纹理信息恢复深度的方法通常称为“Depth from Texture”。Loh等人提出了一种具有代表性的方法。基于纹理的方法也需要有关纹理的先验知识。蓝建梁等人提出了一种基于多尺度纹理能量测度的单幅图像深度估计方法。
[0005] 根据物体的前后遮挡关系可以判断物体之间的相对深度，被遮挡的物体应该处于更深的位置。遮挡关系是人类用于判断远近的重要深度线索，也是单只眼睛可以判断物体远近的主要原因之一。人眼可以根据物体的种类、大小、颜色及形状等先验知识，较容易的判断出物体间的遮挡关系。而对计算机而言，则需要研究自动判断遮挡关系的算法。Wu等提出了一种在单目视频中进行遮挡检测(Occlusion Detection)的方法。该方法假定目标物体被遮挡都是从上下左右的某个边开始，遮挡发生时边界区域的像素值变化会比物体内部的像素变化大得多。Thoma等和Izquierdo分别提出了基于光度和几何的遮挡检测方法。Palou等利用遮挡线索进行了深度估计。
[0006] 利用机器学习法恢复深度，也逐渐成为一种行之有效的深度估计方法。其基本原理是通过学习真实世界中不同物体特征与深度远近的关系，从而建立深度估计模型，推测出未知图像中目标的深度。例如，真实世界的任何一个物体的尺寸大小在像片中所成像尺寸的大小与物体距离摄像机的远近有直接关系，物体离摄像机越近，在图像中成像就越大。如果用机器学习的方法学习了某个物体的深度位置和图像中大小的对应关系，就可以根据该目标的成像大小推出该目标当前的深度。
[0007] Saxena采用了机器学习方法进行了图像深度估计。之后很多学者采用马尔科夫随机场改进算法完善了深度估计结果。除马尔科夫随机场模型，也有一些其他的训练方法被用于深度估计。Lin等采用支持向量机(SVM)训练器进行深度估计；Battiato等采用场景分类方法生成了深度图；Nedovic等采用对场景进行几何分类的方法和SVM及AdaBoost算法进行了图像深度估计。
[0008] 基于成像模型的深度估计是利用相机成像几何模型以及像片内的结构化信息构造方程，建立深度与图像坐标之间的关系进而推算出目标的绝对深度的一种深度估计方法。通常先将图像分割出不同的区域，可以用图像分割或图像分块算法。Hoiem等采用Adboost分类方法将图像分为地面、天空和直立景物三部分，对地面区域建立三维模型，再根据其他对象与地面的关系重构出整体三维场景。Salih等构造了深度与相机高度、拍摄视场角等参数的三角几何关系，当已知相机高度、相机俯仰角和相机成像视野范围时即可计算出二维图像中点的三维坐标，从而实现深度估计。李乐等采用图像分块对街景图像中的目标进行了划分，再根据针孔成像模型推导出了图像坐标与深度之间的函数关系，并针对街景图像进行了深度恢复实验。Zhang等采用Adaboost进行区域标记并通过相机成像模型恢复图像深度。Torralba等用场景的整体结构估算场景的成像比例进而求出场景的平均绝对深度。Liu等先使用语义分割将图像分成不同目标，再通过马尔科夫随机场实现深度估计。Yang等通过局部深度假说实现了单幅图像深度的半自动估计。张大志研究了基于单目视觉的机载前视被动传感器获取的序列图像，并结合惯导信息，恢复前视场景的深度。
[0009] 综上所述，关于深度估计的方法有很多，每一种方法都有各自的限制条件和适用情形，由于深度估计在整个图像信息提取中占有重要地位，因此相关研究的数量和水平在不断提升，但整体研究仍处于方兴未艾的状态，仍然有很多问题亟待解决。
[0010] 1)现有的深度估计方法常常关注特定目标的深度，通过对场景目标进行识别与提取，绘制出反映目标深度变化的深度图，如深度图上用不同的灰度值表示运动的前景目标和背景目标以反映出深度变化关系，但缺乏对整体场景深度的连续描述，影响了对空间场景的整体认知与表达。
[0011] 2)现有的研究大多是恢复场景的相对深度，即物体的前后遮挡关系和相对位置，常常是对深度的一种假设或分配，深度往往是不连续的，且大多数都没有恢复场景中目标的绝对深度。
[0012] 3)现有的很多研究方法较为复杂，限制条件较为严格，往往需要在不同的情形下拍摄大量的图像，并通过复杂的学习或公式进行深度估计，而这样的条件常常无法满足。
发明内容
[0013] 发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于深度差恢复相机高度的图像深度改进方法。本方法降低对数据源的限制条件，充分利用只有单幅图像的数据资源，并通过基于几何的深度估计方法，恢复目标的绝对深度，并提高深度估计的可靠性。
[0014] 为了解决上述技术问题，本发明公开了一种基于深度差恢复相机高度的图像深度改进方法，包括三个部分：
[0015] (1)构建单幅图像地面区域深度计算模型；
[0016] (2)深度计算模型误差分析；
[0017] (3)基于深度差的相机高度恢复。
[0018] 本发明中，构建单幅图像地面区域深度计算模型包括：通过对相机成像模型的几何解析建立深度计算模型，计算图像中地面区域的深度信息，并将地面上待定点深度的计算方法分三种情况：
[0019] 情况1：地面点近于中心点的深度计算；
[0020] 情况2：地面点远于中心点的深度计算；
[0021] 情况3：当地面有起伏变化时深度计算。
[0022] 本发明中，情况1中深度D的计算公式为：
[0023]
[0024] 其中，H为实测相机的高度，f为相机的焦距，s为相机感光CCD器件的实际尺寸与图像像素坐标之间的比例，vc、vg、vp分别为c、g、p点在图像坐标系中的纵坐标，c为像平面中心点，g为地面点G所成的像点，p为地平线与像平面的交点。
[0025] 本发明中，情况2中深度D的计算公式为：
[0026]
[0027] 本发明中，情况3中，A点所在位置高于地面点G所在地面hA，B点所在位置低于地面点G所在地面hB，则深度的计算公式为：
[0028]
[0029]
[0030] 其中，DA表示A点的深度，DB表示B点的深度。
[0031] 本发明中，基于深度差的相机高度反演包括，根据实测的相机高度，推导出地面深度。
[0032] 本发明中，深度计算模型误差分析中，情况1中令：
[0033]
[0034] 地面深度计算公式简化为：
[0035] D＝H*k；
[0036] 即深度计算结果与相机高度成正比。
[0037] 本发明中，根据以下公式计算相机高度H，并代入情况1～情况3中的深度计算公式，进一步改进图像深度计算：
[0038]
[0039] 其中，ΔD为地面上已知的两点G1、G2的深度差值， 和 分别为地面点G1，G2所对应图上像点g1，g2点在图像坐标系中的纵坐标。
[0040] 本发明适用于包含有地面的室内外近景图像，针对图像中的地面区域，依照构图几何条件，推导得到场景中地面各点绝对深度计算模型。重点是提出深度计算模型中相机高度(H)这一参数的确定方法，从而改进深度计算模型，提高计算的精度和可靠性。
[0041] 具体而言，本法优势为：(1)优化了现有基于几何关系的单幅图像地面区域深度计算模型。考虑了地面点远近的差异，补充了地面有高低起伏的影响；(2)分析了深度计算模型的误差影响因素，发现相机高度误差是深度计算精度的主要影响因素之一；(3)提出了基于深度差的相机高度参数恢复方法，可显著提高深度估计结果可靠性。附图说明
[0042] 下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
[0043] 图1为地面点近于中心点的深度计算原理图。
[0044] 图2为地面点远于中心点的深度计算原理图。
[0045] 图3为深度计算误差分析实验图。
[0046] 图4为基于深度差的相机高度恢复原理图。
具体实施方式
[0047] 本发明是一种基于成像模型恢复图像深度的方法。主要包含三部分内容：1)单幅图像地面区域深度计算模型；2)深度计算误差分析；3)基于深度差的相机高度反演。第一部分主要是实现深度计算的方法；第二部分主要是分析相机高度误差对结果的影响，结合实例给出其具体影响数值。3)基于深度差的相机高度恢复，是对公式中的参数H的求解方法，从而替代以往只是用假设确定H的方法，从而改善深度计算模型，提高计算的可靠性。
[0048] 1)地面区域深度计算
[0049] 通过对相机成像模型的几何解析建立深度计算模型，计算图像中地面区域的深度信息。并将地面上待定点深度的计算方法分三种情况：
[0050] (1)地面点近于中心点的深度计算。
[0051] 对于大多数的自然场景图像，真实景物的深度(即物距)是远大于成像的像距，根据相机的针孔成像原理，可近似认为景物所成的像都位于相机焦平面上[75]。基于上面的假设，可推导出地面上某点在真实世界中的深度和它在像片中所成像点的图像坐标之间的对应关系，以此计算地面点所在位置的深度。首先在不考虑相机旋转的条件下，推导景物深度和所成像之间的对应关系，参见图1所示。
[0052] 图1中，光轴是垂直于像平面过透镜中心点的轴线，光轴和透镜的交点称为光心。根据针孔成像模型，所有的光线均经过相机镜头的光心o点，主光轴Cc与地面夹角为∠GCo，c为像平面中心点，g为地面点G所成的像点，p为地平线与像平面的交点，f为相机的焦距，γ为相机中心o和地面点G的连线与地面的夹角，H为相机的高度，β为相机俯仰角，D为地面点G的深度。如上图情况，当待求深度的地面点G距离相机的距离比C点更近时，可得到如下的关系式：
[0053] γ＝α+β (1)
[0054] 上式中γ为相机中心o和地面点G的连线与地面的夹角，α为∠goc，β为∠cop。
[0055] tanγ＝tan(α+β)＝tan(∠goc+∠cop) (2)
[0056] 根据三角形的和差变换公式，如公式(3)所示，可以将上式进行变换，再根据直角三角形中角度与边长的关系，如公式(4)(5)(6)所示，最终将公式化为公式(7)所示的形式，其中vc、vg、vp分别为c、g、p点在图像坐标系中的纵坐标。
[0057]
[0058]
[0059]
[0060]
[0061]
[0062] 将上式化简后导出深度的计算公式(8)。
[0063]
[0064] 该公式反映了景物深度和所成像之间的对应关系，s为相机感光CCD器件的实际尺寸与图像像素坐标之间的比例关系，f和s可以根据场景图像文件属性中记录的相机拍摄参数获得，相机高度H可以估算得到，或者根据本文后面提到的推算方法计算。将计算得到的各参数数据和对应的像点坐标代入(8)式即可得到该点对应的绝对深度。(2)地面点远于中心点的深度计算。
[0065] 当待确定深度的地面点G比相机光轴与地面的交点C更远时，如图2所示，地面点G位于C的左侧，距离相机更远的地方，此时由于角度关系发生变化，深度计算公式也随之发生变化，推导如下：
[0066] γ＝β-α (9)
[0067]
[0068] 将公式(4)(5)(6)带入上式，得到：
[0069]
[0070] 经过变换后得到深度计算公式，此公式适用于比相机中心更远的地面点深度计算：
[0071]
[0072] (3)当地面有起伏变化时深度计算。
[0073] 一幅图像中的地面不一定在同一个平面内，有时会出现台阶等地物将地面分割成高度不同的两个区域，即发生高度突变，图2中A点所在位置高于G点所在地面hA，B点所在位置低于G点所在地面hB。γA为相机中心o和地面点A的连线与地面的夹角。此时，角度的计算公式将发生变化，如下式：
[0074]
[0075] 相应地，深度DA计算公式将变为：
[0076]
[0077] 对于B点而言，γB为相机中心o和地面点B的连线与地面的夹角，有公式：
[0078]
[0079] 相应地，深度DB计算公式将变为：
[0080]
[0081] 2)地面深度计算误差分析
[0082] 在公式(8)中，令：
[0083]
[0084] 误差分析是为了说明相机高度对计算结果的影响，分析时仅选择了地面平坦的场景进行试验，所以未用到情况2和3。
[0085] 则地面深度计算公式可简化为：
[0086] D＝H*k (18)
[0087] 现结合实例分析相机高度H对深度计算误差的影响，如图3(为表现本发明内容必须使用灰度的照片)中地面铺贴瓷砖尺寸为60cm*60cm，可选择瓷砖分隔线计算深度值，以此为基础分析深度计算的误差，拍摄时实测相机高度为69cm。首先利用公式(17)计算系数k，再由公式(18)计算出深度，结果见表1。
[0088] 表1相机高度误差的影响
[0089]
[0090] 从表中可以看出，深度计算的系数k实际上就是1个单位长度相机高度的误差引起的深度计算误差。参照公式(18)，当相机高度与真值偏差1cm时，将对A、B、C、D四个点深度值的计算结果分别带来1.69，2.57，3.47和4.39cm的误差影响。可见，相机高度即使有很小的偏差也会对深度计算结果造成很大影响。一般情况下相机的高度是未知的，文献中按经验值大致估计相机高度或者假设与人体身高大致相当的方法，存在极大不确定性，将有可能对深度估计结果造成极大影响。
[0091] 3)基于深度差的相机高度恢复方法
[0092] 根据上一部分的分析，相机高度的误差是深度计算精度的主要影响因素之一，因而确定相机拍摄的高度至关重要。本部分提出了一种基于目标深度差恢复相机高度的方法，如图4中所示，G1、G2为地面上的两点，二者的绝对深度分别为D1、D2，两点深度的差值即深度差为ΔD，ΔD＝D1-D2，由公式(8)可推导得到以下各式。
[0093]
[0094]
[0095]
[0096] 上式中若已知深度差，则可以推导出相机高度的计算公式，如公式(22)所示。而深度差这一线索在很多场景中是可以满足的，如已知尺寸的物体或通过单像量测的方法测量得到，从而可以作为深度差线索。例如地砖的标准化尺寸可以作为深度差，道路交通标志的标准尺寸，井盖的标准尺寸等，从而实现拍摄时相机高度的反演。
[0097]
[0098] 将上式计算得到的相机高度参数H代入深度计算公式，可以显著提升深度计算的可靠性，提高计算结果的精度。
[0099] 实施例
[0100] 下面附具体的实验数据。
[0101] 如图3所示，拍摄时实测相机高度为69cm，地砖的尺寸为60cm*60cm，A点所在位置的绝对深度为120cm。
[0102] (1)选用正确参数计算深度
[0103] 采用正确的参数对五个点的深度进行了计算，其中的深度差分别是指ED、DC、CB和BA线段两点之间的深度差值，也就是求出的地砖两条边缘线的深度之差，将其与地砖的标准尺寸比较后可以计算出线段的相对误差，结果列于表2中。
[0104] 表2深度计算结果及误差(单位：cm)
[0105]
[0106] 从表中可以看出，计算得到的深度值获得了厘米级的精度，证明了该算法的有效性，取得了较好的结果。
[0107] (2)相机高度的影响及修正
[0108] 首先将相机高度假定为60cm，再次对各点的深度进行计算，计算结果列入表3中。从表中可以看出，由于存在9cm的相机高度误差，深度计算误差明显增大，严重影响了结果的质量。
[0109] 表3相机高度对深度计算结果的影响(单位：cm)
[0110]
[0111]
[0112] 按照前述的方法，利用两点之间的深度差值，即可反演相机的高度。值得一提的是，该方法只需要知道一段深度差值即可计算，当然，若有多个已知深度差共同参与计算，获得的结果将更为可靠。本文选用了三段深度差值分别计算相机高度，取其平均值作为最后的结果，经计算相机高度的结果为66.7cm；
[0113] 利用66.7cm的相机高度重新计算A-E的绝对深度，列于表4中，与表3对比可以看出深度估计的结果显著改善。
[0114] 表4绝对深度估计的修正(单位：cm)
[0115]
[0116] 本发明提供了一种基于深度差恢复相机高度的图像深度改进方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种视频处理方法、电子设备及存储介质 | 2020-05-08 | 168 |
| 一种消防用巡检记录仪探测系统 | 2020-05-08 | 887 |
| 一种电子产品检测回收方法 | 2020-05-11 | 90 |
| 基于数据分割的图像处理方法、装置及系统 | 2020-05-08 | 873 |
| 用于主动深度感测的方法和装置及其校准方法 | 2020-05-08 | 113 |
| 存储视频数据的方法和装置 | 2020-05-08 | 374 |
| 投影校正方法、装置、投影仪及可读存储介质 | 2020-05-08 | 503 |
| 目标识别的训练方法、装置、计算机设备和存储介质 | 2020-05-11 | 606 |
| 用于形成虚拟地图的方法及系统 | 2020-05-08 | 252 |
| 一种基于YOLOv3的机器人自主分类抓取方法 | 2020-05-08 | 942 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈