一种曲面拟合的视差计算方法及系统
阅读：512发布：2020-05-08
专利汇可以提供一种曲面拟合的视差计算方法及系统专利检索，专利查询，专利分析的服务。并且一种曲面拟合的 视差 计算方法及系统，本 发明 获取该 像素 点在所述图像的一个区域，根据所述区域内所有像素点进行视差的平面拟合，并基于该拟合出的平面计算该像素点的视差和法向量；在得到初步的视差估计后，对于图像中每一个像素点，至少基于视差相似性和/或法向量相似性，寻找该像素点的一个区域，并根据该区域内所有像素点进行视差的曲面拟合，相比 现有技术 ，找到了一个范围更大的曲面，鲁棒性好，并基于该拟合出的曲面计算该像素点的视差，从而得到更为精准的视差估计。，下面是一种曲面拟合的视差计算方法及系统专利的具体信息内容。
1.一种曲面拟合的视差计算方法,其特征在于，包括：
对于图像中每一个像素点，获取该像素点在所述图像的一个区域，根据所述区域内所有像素点进行视差的平面拟合，并基于该拟合出的平面计算该像素点的视差和法向量；其中所述图像为左图像或右图像；
对于图像中每一个像素点，至少基于视差相似性和/或法向量相似性，寻找该像素点的一个区域，并根据该区域内所有像素点进行视差的曲面拟合，并基于该拟合出的曲面计算该像素点的视差。
2.如权利要求1所述的视差计算方法，其特征在于，所述对于图像中每一个像素点，获取该像素点在所述图像的一个区域，包括获取该像素点的一个具有相似梯度的区域。
3.如权利要求2所述的视差计算方法，其特征在于，所述获取该像素点的一个具有相似梯度的区域，包括：
计算图像中各像素点的梯度；
基于梯度相似性，寻找该像素点的一个具有相似梯度的区域；
当基于梯度相似性寻找不到该像素点的一个具有相似梯度的区域时，则使用该像素点的邻域的像素点来对该像素点进行滤波，得到该像素点滤波后的像素值，并重新计算该像素点的梯度，基于梯度相似性，寻找该像素点的一个具有相似梯度的区域。
4.如权利要求3所述的视差计算方法，其特征在于，所述基于梯度相似性，寻找该像素点的一个具有相似梯度的区域，包括：基于梯度相似性，通过区域切割算法分割出该像素点的一个具有相似梯度的区域。
5.如权利要求1所述的视差计算方法，其特征在于，所述基于该拟合出的平面计算该像素点的视差和法向量，包括：根据拟合出的平面以及该像素点的坐标，计算该像素点的视差；计算拟合出的平面的法向量，作为该像素点的法向量。
6.如权利要求1所述的视差计算方法，其特征在于，所述至少基于视差相似性和/或法向量相似性，寻找该像素点的一个区域，包括：至少基于 视差相似性和/或法向量相似性，通过区域切割算法分割出该像素点的一个区域。
7.如权利要求1所述的视差计算方法，其特征在于，所述基于该拟合出的曲面计算该像素点的视差，包括：根据拟合出的曲面以及该像素点的坐标，计算该像素点的视差。
8.如权利要求1所述的视差计算方法，其特征在于，所述曲面为二次曲面。
9.一种曲面拟合的视差计算系统，其特征在于，包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现如权利要求1至8中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1至8中任一项所述的方法。
一种曲面拟合的视差计算方法及系统
技术领域
[0001] 本发明涉及双目立体匹配领域，具体涉及一种曲面拟合的视差计算方法及系统。
背景技术
[0002] 在进行双目视觉立体匹配时，通常会假定在某一个小的区域(称为patch,小片区)其视差值为常数。在MST和Local Expansion等文献中，已经假定在patch内的视差可以近似用一个平面来表示，即用一个小平面来拟合这里的视差，通常这样的小平面范围一般很小，所以在进行代价匹配中还不够鲁棒。
发明内容
[0003] 考虑到上述问题，本申请提供一种曲面拟合的视差计算方法及系统。
[0004] 根据第一方面，一种实施例中提供一种曲面拟合的视差计算方法,包括：
[0006] 对于图像中每一个像素点，至少基于视差相似性和/或法向量相似性，寻找该像素点的一个区域，并根据该区域内所有像素点进行视差的曲面拟合，并基于该拟合出的曲面计算该像素点的视差。
[0007] 在一实施例中，所述对于图像中每一个像素点，获取该像素点在所述图像的一个区域，包括获取该像素点的一个具有相似梯度的区域。
[0008] 在一实施例中，所述获取该像素点的一个具有相似梯度的区域，包括：
[0009] 计算图像中各像素点的梯度；
[0010] 基于梯度相似性，寻找该像素点的一个具有相似梯度的区域；
[0011] 当基于梯度相似性寻找不到该像素点的一个具有相似梯度的区域时，则使用该像素点的邻域的像素点来对该像素点进行滤波，得到该像素点滤波后的像素值，并重新计算该像素点的梯度，基于梯度相似性，寻找该像素点的一个具有相似梯度的区域。
[0013] 在一实施例中，所述基于该拟合出的平面计算该像素点的视差和法向量，包括：根据拟合出的平面以及该像素点的坐标，计算该像素点的视差；计算拟合出的平面的法向量，作为该像素点的法向量。
[0014] 在一实施例中，所述至少基于视差相似性和/或法向量相似性，寻找该像素点的一个区域，包括：至少视差相似性和/或法向量相似性，通过区域切割算法分割出该像素点的一个区域。
[0015] 在一实施例中，所述基于该拟合出的曲面计算该像素点的视差，包括：根据拟合出的曲面以及该像素点的坐标，计算该像素点的视差。
[0016] 在一实施例中，所述曲面为二次曲面。
[0017] 根据第二方面，一种实施例中提供一种曲面拟合的视差计算系统，包括：
[0018] 存储器，用于存储程序；
[0019] 处理器，用于通过执行所述存储器存储的程序以实现上述任一实施例所述的方法。
[0020] 根据第三方面，一种实施例中提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述任一实施例所述的方法。
[0021] 依据上述实施例的曲面拟合的视差计算方法、系统及计算机可读存储介质，对于图像中每一个像素点，获取该像素点在所述图像的一个区域，根据所述区域内所有像素点进行视差的平面拟合，并基于该拟合出的平面计算该像素点的视差和法向量；在得到初步的视差估计后，对于图像中每一个像素点，至少基于视差相似性和/或法向量相似性，寻找该像素点的一个区域，并根据该区域内所有像素点进行视差的曲面拟合，并基于该拟合出的曲面计算该像素点的视差，从而得到更为精准的视差估计，鲁棒性好。附图说明
[0022] 图1为一种实施例的曲面拟合的视差计算方法的流程图；
[0023] 图2为一种实施例的获取像素点的一个具有相似梯度的区域的流程图；
[0024] 图3为一种实施例的曲面拟合的视差计算系统的结构示意图。
具体实施方式
[0025] 下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
[0026] 另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
[0027] 本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
[0028] 如上所述，现有技术中假定在patch内的视差可以近似用一个平面来表示，即用一个小平面来拟合这里的视差，通常这样的小平面范围一般很小，所以在进行代价匹配中还不够鲁棒。发明人在研究该问题时，提出利用视差曲面中的每一切面的法线的连续性，来寻找一个范围更大的曲面，以实现更为鲁棒的立体匹配算法，下面具体说明。
[0029] 请参照图1，本发明一实施例中公开了一种曲面拟合的视差计算方法，包括步骤S10～S30，下面具体说明。
[0030] 步骤S10：对于图像中每一个像素点，获取该像素点在该图像的一个区域，根据该区域内所有像素点进行视差的平面拟合，并基于该拟合出的平面计算该像素点的视差和法向量；其中上述图像为左图像或右图像。
[0031] 在一实施例中，上述获取该像素点在该图像的一个区域，包括获取该像素点的一个具有相似梯度的区域。在一实施例中，请参照图2，上述获取该像素点的一个具有相似梯度的区域，包括步骤S12～S14。
[0032] 步骤S12：计算图像中各像素点的梯度。有时图像受噪声干扰非常大，导致噪声对梯度的计算影响非常大，因此可以考虑在计算梯度前先对图像进行滤波，例如使用现有的双边滤波算法先对图像进行滤波，然后再计算滤波后的图像中各像素点的梯度。
[0033] 步骤S13：基于梯度相似性，寻找该像素点的一个具有相似梯度的区域。在一实施例中，基于梯度相似性，通过区域切割算法分割出该像素点的一个具有相似梯度的区域。
[0034] 步骤S14：当基于梯度相似性寻找不到该像素点的一个具有相似梯度的区域时，则使用该像素点的邻域的像素点来对该像素点进行滤波(例如进行中值滤波)，得到该像素点滤波后的像素值，并重新计算该像素点的梯度，基于梯度相似性，寻找该像素点的一个具有相似梯度的区域。
[0035] 当然，步骤S10中对于图像中每一个像素点，获取该像素点在该图像的一个区域，也可是先获取一个小片区(patch)，然后在小片区(patch)的基础上根据梯度相似性使用区域分割算法(例如GC算法)进行再次区域划分，得到所述区域。
[0036] 在一实施例中，上述基于该拟合出的平面计算该像素点的视差和法向量，包括：根据拟合出的平面以及该像素点的坐标，计算该像素点的视差；计算拟合出的平面的法向量，作为该像素点的法向量。
[0037] 步骤S30：对于图像中每一个像素点，至少基于视差相似性和/或法向量相似性，寻找该像素点的一个区域，并根据该区域内所有像素点进行视差的曲面拟合，并基于该拟合出的曲面计算该像素点的视差。在一实施例中，上述至少基于视差相似性和/或法向量相似性，寻找该像素点的一个区域，包括：至少视差相似性和/或法向量相似性，通过区域切割算法(Graph-Cut，GC)分割出该像素点的一个区域。在一实施例中，上述基于该拟合出的曲面计算该像素点的视差，包括：根据拟合出的曲面以及该像素点的坐标，计算该像素点的视差。
[0038] 下面不妨以图像中任意一个像素点(x0,y0)为例，具体说明上述的各步骤。
[0039] 图像(不妨以左图像为例)中任意一个像素点，例如像素点(x0,y0)，先获取该像素点(x0,y0)在该左图像的一个区域P，例如一个具有相似梯度的区域P。获取的方法有许多种，例如先计算左图像中各像素点的梯度，然后基于梯度相似性，寻找该像素点(x0,y0)的一个具有相似梯度的区域P。计算两个像素点的梯度相似性，或者说，计算两个向量的相似度有许多种方法，例如对于任意两个像素点(x1,y1)、(x2,y2)之间的梯度相似性可以通过下式进行计算：
[0040]
[0041] gradI(x1,y1)表示像素点(x1,y1)的梯度，gradI(x2,y2)表示像素点(x2,y2)的梯度；计算得到的cosθ值越大，说明夹角θ越大，也就是相似度越小。定义了梯度相似性后，就可以基于梯度相似性来寻找像素点(x0,y0)的一个具有相似梯度的区域。当基于梯度相似性寻找不到像素点(x0,y0)的一个具有梯度的区域，那么说明像素点(x0,y0)是由噪声引起的离群值，因此可以通过像素点(x0,y0)的邻域(例如8邻域)对像素点(x0,y0)进行中值滤波，得到像素点(x0,y0)滤波后的像素值，然后基于像素点(x0,y0)滤波后的像素值，重新计算像素点(x0,y0)的梯度gradI(x0,y0)，然后再基于梯度相似性，寻找像素点(x0,y0)的一个具有相似梯度的区域。通过这样的方式，对于任意一个像素点，最终都可以寻找到该像素点的一个具有相似梯度的区域。
[0042] 当然，也可以通过现有的方法先获取像素点(x0,y0)在左图像中的一个小区域(patch)，然后对该小区域基于梯度相似性进行区域切割，得到像素点(x0,y0)在该左图像一个具有相似梯度的区域P。
[0043] 接着，根据区域P内所有像素点进行视差的平面拟合。平面拟合的方法有许多种，例如，可令视差平面d(x,y)＝a1x+b1y+c1，通过下式(1)进行平面拟合：
[0044]
[0045] 其中l(y,x)表示左图像中坐标(y,x)的像素点的像素值，r(y,x-(a1x+b1y+c1))表示右图像中坐标(y,x-(a1x+b1y+c1))的像素点的像素值。像素值可以是灰度值，也可是颜色值，当像素值是颜色值时，可以指的是各颜色分量之和。对于式(1)，求取一个集合O＝{a1,b1,c1}，使得下式的值最小：
[0046]
[0047] 不妨假设求取得到的集合O＝{a1*,b1*,c1*}，因此区域P内所有像素点进行视差的平面拟合，得到的视差平面为d(x,y)＝a1*x+b1*y+c1*。基于该拟合出的平面d(x,y)＝a1*x+b1*y+c1*可以计算该像素点(x0,y0)的视差和法向量，例如根据拟合出的平面d(x,y)＝a1*x+b1*y+c1*以及该像素点(x0,y0)的坐标，计算得到像素点(x0,y0)的视差d(x0,y0)＝a1*x0+b1*y0+c1*，计算拟合出的平面d(x,y)＝a1*x+b1*y+c1*的法向量，例如得到[a2,b2,-1]，作为该像素点的法向量，记为nor(x0,y0)＝[a2,b2,-1]。
[0048] 因此通过上面的方法，就可以计算得到左图像中每一个像素点的视差和法向量。
[0049] 接着，对于图像中每一个像素点，例如像素点(x0,y0)，至少基于视差相似性和/或法向量相似性，寻找该像素点(x0,y0)的一个区域。不妨以基于视差相似性、法向量相似性和几何相似性为例，可定义任意两个像素点(x1,y1)和(x2,y2)之间的相似性如下：
[0050] W(x1,y1,x2,y2)＝w1·|d(x1,y1)-d(x2,y2)|+w2·|nor(x1,y1)-nor(x2,y2)|+w3·|(x1,y1)-(x2,y2)|；其中w1、w2、w3表示权重系数，可根据需求设置，例如可以将它们分别设置为1/3；|d(x1,y1)-d(x2,y2)|、|nor(x1,y1)-nor(x2,y2)|、|(x1,y1)-(x2,y2)|分别表示两个像素点(x1,y1)和(x2,y2)之间的视差相似性、法向量相似性、几何相似性，其中|(x1,y1)-(x2,y2)|可以通过|x1-x2|+|y1-y2|或 等来计算。
[0051] 至少基于视差相似性和/或法向量相似性，寻找该像素点(x0,y0)的一个区域，可以通过区域切割算法(Graph-Cut，GC)分割出该像素点的一个区域，不妨记为区域Q。
[0052] 接着，根据区域Q内所有像素点进行视差的曲面拟合。曲面拟合的方法有许多种，不妨以二次曲面拟合为例，可令视差的曲面d(x,y)＝a2x2+b2y2+c2xy+e2x+f2y+g2，通过下式(2)进行曲面拟合：
[0053]
[0054] 求取一个集合O＝{a2*,b2*,c2*,e2*,f2*,g2*}，使得公式(2)中的最小。
[0055] 从而根据区域Q内所有像素点拟合得到的视差的曲面如下：
[0056] d(x,y)＝a2*x2+b2*y2+c2*xy+e2*x+f2*y+g2*。
[0057] 基于该拟合出的曲面d(x,y)＝a2*x2+b2*y2+c2*xy+e2*x+f2*y+g2*计算该像素点(x0,y0)的视差，例如根据拟合出的曲面d(x,y)以及该像素点(x0,y0)的坐标，计算该像素点(x0,y0)的视差d(x0,y0)，可以得到d(x0,y0)＝a2*x02+b2*y02+c2*x0y0+e2*x0+f2*y0+g2*。
[0058] 以上就是本发明公开的曲面拟合的视差计算方法，相应地，请参照图3，本发明一实施例中还公开了一种曲面拟合的视差计算系统，其包括存储器10和处理器30，存储器10用于存储程序，处理器30用于通过执行所述存储器10存储的程序以实现本发明任一实施例所述的曲面拟合的视差计算方法。
[0059] 本发明对于图像中每一个像素点，获取该像素点在所述图像的一个区域，根据所述区域内所有像素点进行视差的平面拟合，并基于该拟合出的平面计算该像素点的视差和法向量；在得到初步的视差估计后，对于图像中每一个像素点，至少基于视差相似性和/或法向量相似性，寻找该像素点的一个区域，并根据该区域内所有像素点进行视差的曲面拟合，相比现有技术，找到了一个范围更大的曲面，鲁棒性好，并基于该拟合出的曲面计算该像素点的视差，从而得到更为精准的视差估计。
[0060] 本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
[0061] 以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种巡检机器人及其防坠落方法和装置 | 2020-05-08 | 204 |
| 一种基于残差分块的自适应多视点视频错误隐藏方法 | 2020-05-08 | 74 |
| 一种双目内窥镜软组织图像的在线三维重建方法 | 2020-05-08 | 227 |
| 基于双目视觉和激光雷达融合的深度估计方法 | 2020-05-08 | 390 |
| 显示系统和显示方法 | 2020-05-11 | 647 |
| 清洁机器人的控制方法及清洁机器人 | 2020-05-11 | 578 |
| 用于视差估计的电子装置和方法 | 2020-05-08 | 855 |
| 语义地图的生成方法、装置、系统、存储介质及电子设备 | 2020-05-08 | 632 |
| 用于优化流水线执行的方法、系统和装置 | 2020-05-11 | 887 |
| 一种基于多流卷积神经网络的光场深度估计方法及其实现系统 | 2020-05-08 | 760 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈