首页 / 专利库 / 视听技术与设备 / 块匹配运动估计 / 一种图像深度计算方法

一种图像深度计算方法

阅读:1033发布:2020-07-14

专利汇可以提供一种图像深度计算方法专利检索,专利查询,专利分析的服务。并且本 发明 提供的图像深度计算方法,基于结构光的主动视觉模式,采用 块 匹配 运动估计 方法提高了匹配 精度 ,通过激光三 角 法或者查找表的方式获得目标物体的高分辨深度信息,避免了复杂的深度计算公式,实现了深度信息的快速准确获取,简化了 硬件 结构,易于实现,有利于大规模推广。,下面是一种图像深度计算方法专利的具体信息内容。

1.一种图像深度计算方法,其特征在于,包括以下步骤:
1)采集具有已知深度信息的标准散斑图,作为基准;
2)由图像传感器采集目标物体的输入散斑图序列;
3)将所述输入散斑图序列中的各输入散斑图与标准散斑图进行匹配运动估计,生成输入散斑图中图像块的运动向量;
4)根据步骤3)中各输入散斑图与标准散斑图进行块匹配运动估计所获得的输入散斑图中图像块的运动向量,以及上述标准散斑图的已知深度信息,结合激光三测距方法,得到该图像块对应的深度信息;
5)对所述输入散斑图中的所有图像块的深度信息进行组合,得到所述目标物体的深度图
2.如权利要求1所述的方法,其中,所述输入散斑图和所述标准散斑图是通过将固定图案的激光束分别投射至目标物体和深度信息已知的物体表面而获得。
3.如权利要求1所述的方法,对于所述步骤4),其特征在于:根据每一图像块的运动向量,在已知图像传感器焦距和传感器像素点点距参数的情况下,利用该运动向量结合激光三角测距方法求取深度的相对变化值,该相对变化值加上标准散斑图的已知深度信息即可得到该图像块对应的深度信息,其中:当该相对变化值为正值时,该图像块对应的深度信息大于标准散斑图的已知深度信息;当该相对变化值为负值时,该图像块对应的深度信息小于标准散斑图的已知深度信息;当该相对变化值为零时,该图像块对应的深度信息等于标准散斑图的已知深度信息。
4.如权利要求1所述的方法,其特征在于:步骤3)和步骤4)之间还有一个建立运动向量与深度信息之间对应关系的查找表的步骤,所述图像块的深度信息通过查找表法求取。
5.如权利要求4所述的方法,其特征在于:所述查找表根据标准散斑图的不同位移量及其对应的深度信息建立。
6.如权利要求4~5任一项所述的方法,其特征在于:所述查找表由以下方法建立:将多个具有不同深度信息的标准散斑图两两进行块匹配运动估计,得到不同深度信息所对应的标准散斑图之间的位移量;经曲线拟合,计算平位移量Δx或垂直位移量Δy与其对应的深度信息d的曲线方程;依据该曲线方程建立任意水平位移量Δx或任意垂直位移量Δy与深度信息d对应的查找表。
7.如权利要求1~5任一项所述的方法,其中,所述块匹配运动估计包括如下步骤:在输入散斑图中提取大小为m×n的图像块blockm×n;在标准散斑图中,以图像块blockm×n所对应位置为中心、大小为M×N的搜索窗search_blockM×N内,按搜索策略和相似度测量指标来寻找该图像块对应的最优匹配块,其中,M、N、n、m都是整数,且M>m、N>n,从而获得该图像块与其匹配块之间的位移量(Δx,Δy),即该图像块的运动向量。
8.如权利要求7所述的方法,其中所述搜索策略为:先按水平方向移动块、再在垂直方向增加行数,逐个匹配块进行搜索。
9.如权利要求7所述的方法,其特征在于:从输入散斑图中提取的图像块的步长小于其对应的匹配块的大小。

说明书全文

一种图像深度计算方法

技术领域

[0001] 本发明属于图像处理、激光三测距、自然交互技术领域,具体涉及一种图像深度计算方法。

背景技术

[0002] 自然和谐的人机交互方式是人类对操控机器的理想目标,使机器能读懂人在自然状态所传递的命令。利用图像处理技术获取深度信息进行三维图像的实时识别及动作捕
捉,使人能以表情、手势、体感动作等自然方式与终端进行交互成为可能。通过高精度的图
像深度信息获取也是机器视觉系统发展的技术难点之一。图像深度信息获取技术已逐步
游戏机外设拓展到其它智能终端,包括智能电视、智能手机、PC、平板电脑等,为用户带来
“科幻”般的操控方式和全新的人机交互体验,在游戏娱乐、消费电子、医疗、教育等领域都
有广泛的应用前景。
[0003] 基于结构光的主动视觉模式可以较为准确地获取图像的深度信息,该模式相比双目立体摄像头,具有获取的深度图信息更稳定可靠、不受环境光影响、立体匹配过程简单、
算法计算量小等优势。如微软的体感交互设备Kinect就是采用红外结构光的主动视觉模
式,即通过红外激光投射固定模式的图像到物体表面,经物体表面的漫反射形成散斑点,由
图像传感器采集获得散斑图像,再通过图像深度传感器芯片计算获得物体的深度信息。
[0004] 上述方法虽然能准确地获得深度信息,然而其算法的实现依赖于昂贵的硬件设备,给实际应用带来困难。

发明内容

[0005] 本发明提供一种图像深度计算方法,避免了复杂的深度计算公式,需要的硬件结构简单,可实现高分辨深度信息的实时快速获取。
[0006] 为解决上述技术问题,本发明采用的技术方案是:提供一种图像深度计算方法,其特征在于,包括以下步骤:
[0007] 1)采集具有已知深度信息的标准散斑图,作为基准;
[0008] 2)由图像传感器采集目标物体的输入散斑图序列;
[0009] 3)将所述输入散斑图序列中的各输入散斑图与标准散斑图进行匹配,生成输入散斑图中各图像的运动向量;
[0010] 4)获得输入散斑图中每一图像块的运动向量所对应的深度信息;
[0011] 5)对所述输入散斑图中的所有图像块的深度信息进行组合,得到所述目标物体的深度图。
[0012] 本发明提供的图像深度计算方法,基于结构光的主动视觉模式,采用块匹配运动估计方法提高了匹配精度,通过激光三角测距法或者查找表的方式获得目标物体的高分
辨深度信息,避免了复杂的深度计算公式,实现了深度信息的快速准确获取,简化了硬件结
构,易于实现,有利于大规模推广。
附图说明
[0013] 图1是本发明一个实施例的激光三角测距原理示意图;
[0014] 图2是本发明另一个实施例的深度计算查找表方式示意图;
[0015] 图3是本发明另一个实施例的位移量与深度距离的曲线拟合方法示意图;
[0016] 图4是本发明另一个实施例的块匹配运动估计示意图。

具体实施方式

[0017] 下面结合具体实施例对本发明进行进一步的详细说明。
[0018] 在一个实施例中,提供一种图像深度计算方法,包括以下步骤:
[0019] 1)采集具有已知深度信息的标准散斑图,作为基准;
[0020] 2)由图像传感器采集目标物体的输入散斑图序列;
[0021] 3)将所述输入散斑图序列中的各输入散斑图与标准散斑图进行块匹配运动估计,生成输入散斑图中图像块的运动向量;
[0022] 4)获得输入散斑图中每一图像块的运动向量所对应的深度信息;
[0023] 5)对所述输入散斑图中的所有图像块的深度信息进行组合,得到所述目标物体的深度图。
[0024] 其中标准散斑图的获取可以通过如下方式实现:将固定图案的激光束(红外、可见光、紫外线、不可见光)投射到与散斑投射器的中心轴(Z轴)相垂直的、且已知深度信息为 的标准平面,由图像传感器采集平面上所形成的散斑图即为标准散斑图。输入散斑图也
可以采用上述方法获取,输入散斑图中含有要测量深度信息的目标物体,其深度信息未知。
[0025] 上述标准平面及目标物体需在散斑照射的有效距离范围内,并尽可能涵盖固定图案形成的整幅散斑图像。
[0026] 本发明中,如未特别说明,图像块的深度d均是指该图像块所在的、与散斑投射器中心轴(Z轴)垂直的平面到散斑投射器前端的垂直距离。
[0027] 优选的,在另一个实施例中,所述输入散斑图和所述标准散斑图是通过将固定图案的激光束分别投射至目标物体和深度信息已知的物体表面而获得。就该实施例而言,其
仅仅用于限定一种散斑图的获得方式。
[0028] 优选的,在另一个实施例中,对于所述步骤4),其特征在于:根据每一图像块的运动向量,在已知图像传感器焦距和传感器像素点点距参数的情况下,利用该运动向量结合
激光三角测距方法求取深度的相对变化值,该相对变化值可正可负,该相对变化值加上标
准散斑图的已知深度信息即可得到该图像块对应的深度信息。
[0029] 图1是该实施例的激光三角测距原理示意图。根据每一图像块的位移量( ,),在已知图像传感器焦距 和传感器像素点点距参数的情况下,利用该位移量结合激光三
角测距方法求取深度的相对变化值 ,该变化值 可正可负, 加上标准散斑
图的已知深度信息 即可得到该图像块对应的深度信息 ,其中:当该相对变化值为
正值时,该图像块对应的深度信息大于标准散斑图的已知深度信息;当该相对变化值为负
值时,该图像块对应的深度信息小于标准散斑图的已知深度信息;当该相对变化值为零时,
该图像块对应的深度信息等于标准散斑图的已知深度信息。
[0030] 为进一步简化深度信息的获取方式,在另一个实施例中,在上述步骤3)及步骤4)之间增加一个建立运动向量与深度信息的对应关系的查找表的步骤,利用查找表法求取输
入散斑图中图像块的深度,该查找表根据标准散斑图不同位移量及其对应的深度值建立。
[0031] 具体地,查找表中平位移量 或垂直位移量与深度 的对应关系可由以下方法获得:由多个不同深度距离 (如 )的标准散斑图两两进行块匹配运动
估计,得到不同标准散斑图之间的位移量,如水平位移量 或垂直位移量
;经曲线拟合方法可得到水平位移量 或垂直位移量 与物体深度
距离 的关系;依据该曲线方程即可生成任意水平位移量 或任意垂直位移量 与深度
距离 对应的查找表。根据该查找表可获得任意水平位移量 或垂直位移量 所对应的
该图像块的深度信息 。图2是本实施例深度计算查找表方式的示意图。
[0032] 经对输入散斑图所有图像块的深度进行查找并组合,即可得到该输入散斑图所对应的深度图。
[0033] 优选地,深度图用灰度图来表示,比如灰度值越大表示越近,即 值约小;灰度值越小表示越远、即 值越大。也可采用相反方式用灰度图来表示深度图。
[0034] 也就是说,本发明实现了查找表方式求取深度 ,例如:在具体实施中,将水平位移量 或垂直位移量 作为查找表的输入值,得到输出值深度 ,从而避免了复杂
的深度计算公式,实现了硬件结构的简化和硬件资源的节省。
[0035] 进一步地,在另一个实施例中,提供一种位移量与深度信息之间关系的曲线拟合方法(参见图3),以水平位移量 为例,在散斑投射器的有效范围内,将经散斑投射器投
射散斑图案到与散斑投射器中心轴(Z轴)相垂直、且一定的深度距离 的平面上,通过选
取一组相互平行且间距相等的平面,经图像传感器采集获得对应的一组不同深度距离的标
准散斑图,然后对相邻的标准散斑图两两之间进行块匹配运动估计,获取一组水平位移量
,由公式 变换,从而得到一组深度距离跟水
平位移量的数据对 … …,用一类与数据对相适应的解析表达式
来反映水平位移量 与深度距离 的依赖关系。本实例中 与 是非线性
关系,式中待定参数 用一定的衡量拟合优度的标准(如最小二乘法)计算得
到。表达式 确定后,就可得到任意水平位移量 下对应的深度距离 ,由此可
生成查找表。
[0036] 在本发明所提出的计算方法中,输入散斑图的运动向量(用水平位移量 和垂直位移量 表示)的精度直接关系到深度距离 的精度。
[0037] 最佳地,在如下实施例中,提供一个可获取高分辨获取输入散斑图运动向量的块匹配运动估计方法。
[0038] 具体包括以下步骤:在输入散斑图中提取大小为( )的图像块;在标准散斑图中,以图像块 所对应位置为中心、大小为( )的搜索窗
内,按搜索策略和相似度测量指标来寻找该图像块的最优的匹配块,其
中,M、N、n、m都是整数,且 M>m、N>n,从而获得该图像块的位移量( , ),即运动向量。
[0039] 优选地,搜索窗内匹配块的搜索策略是先按水平方向移动块、再在垂直方向增加行数,逐个匹配块进行搜索,其匹配插值精度可达到子像素级。
[0040] 在本实施例中,输入散斑图序列中的散斑图案可认为是由标准散斑图的散斑图案经缩放、平移等操作得到,求取对应散斑图像块的运动向量(即位移量),结合查找表即可获
得该散斑图像块的深度信息。
[0041] 该块匹配运动估计方法不同于传统的块匹配算法。在匹配过程中,传统的运动估计匹配算法其匹配块的步长 等于匹配块的大小,从输入散斑图中提取的图像块的步长 也
可小于匹配块的大小,经块匹配求取的运动向量只代表了运动块中心区域、步长 范围内像
素点(图2中的阴影区域)的运动向量,以此方法可取得运动向量的准确率和细小物体运动
向量误匹配现象的折衷。
[0042] 虽然上述的实施例在特定的装置系统中完成,然其并非限定本发明,本领域技术人员很容易想到,将上述类似的方法应用到相似的图案投射或其他图像深度计算系统中。
因而在不脱离本发明的精神和范围内的修改和完善,均应包含在上述的权利要求范围内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈