首页 / 专利库 / 计算机网络 / 环境网络 / 一种基于双目视觉的障碍物检测与识别方法

一种基于双目视觉的障碍物检测与识别方法

阅读:853发布:2024-01-16

专利汇可以提供一种基于双目视觉的障碍物检测与识别方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于 双目视觉 的障碍物检测与识别方法,包括步骤:1)对双目摄像头进行标定2)生成左摄像头 深度图 像 ;3)将获得到的双目摄像头的左摄像头的图像尺寸裁剪为416*416,再将裁减后的图像输入YOLOv3网络模型,从而得到障碍物在图像中的窗口坐标信息和类别信息;4)取步骤3)获得的深度图像中障碍物窗口的中心 位置 的深度值作为障碍物的距离,从而获得障碍物的距离信息。本发明基于双目视觉的障碍物检测与识别方法,其既能获得障碍物的距离信息,也能够获得障碍物的类别信息,从而能为自主 机器人 和无人 汽车 提供更好的环境 感知 能 力 ,有利于其制定更正确的决策。,下面是一种基于双目视觉的障碍物检测与识别方法专利的具体信息内容。

1.一种基于双目视觉的障碍物检测与识别方法,其特征在于:包括以下步骤:
1)对双目摄像头进行标定:
首先对左、右摄像头分别进行标定,得到两个摄像头各自的内参矩阵和畸变系数矩阵,然后采用OpenCV中的立体校正算法得到本征矩阵、基础矩阵、旋转矩阵和平移矩阵;
2)生成左摄像头深度图像:
先获得经标定后的双目摄像头的左摄像头图像和右摄像头图像;再通过SGBM立体匹配算法得到左摄像头的视差图,检测出视差图中的空洞区域;再用空洞区域附近可靠视差值的均值对孔洞区域进行填充,从而得到完整的视差图;再根据平行双目视觉的几何关系,得到如下视差与深度的转换公式:
depth=(f*Tx)/disp
上式中,depth表示深度图;f表示归一化的焦距;Tx是左摄像头光心和右摄像头光心之间的距离,称作基线距离;disp是视差值;最后通过视差与深度的转换公式计算出左摄像头的深度图像;
3)将获得到的双目摄像头的左摄摄像头的图像尺寸裁剪为416*416,再将裁减后的图像输入YOLOv3网络模型,从而得到障碍物在图像中的窗口坐标信息和类别信息;本步骤得到的障碍物在图像中的窗口坐标信息也就是步骤2)深度图像中障碍物的窗口坐标信息;
4)取步骤3)获得的深度图像中障碍物窗口的中心位置的深度值作为障碍物的距离,从而获得障碍物的距离信息。

说明书全文

一种基于双目视觉的障碍物检测与识别方法

技术领域

[0001] 本发明涉及视觉识别技术领域,特别涉及一种基于双目视觉的障碍物检测与识别方法。

背景技术

[0002] 障碍物的检测与识别是机器人自主运动、以及无人汽车自动驾驶的关键技术。目前障碍物检测的方法有:1、基于声波的检测方法;2、基于雷达的检测方法;3、基于结构光的检测方法;4、基于视觉的检测方法。但目前这些方法只是获取到了障碍物的距离信息,并不能确定障碍物的类别信息,而障碍物的类别也是自主机器人和无人汽车的制定决策的重要参考因素。

发明内容

[0003] 有鉴于此,本发明的目的一种基于双目视觉的障碍物检测与识别方法,实现既能获得障碍物的距离信息,也能够获得障碍物的类别信息,以便为自主机器人和无人汽车的决策制定提供更好的环境感知
[0004] 本发明基于双目视觉的障碍物检测与识别方法,包括以下步骤:
[0005] 1)对双目摄像头进行标定:
[0006] 首先对左、右摄像头分别进行标定,得到两个摄像头各自的内参矩阵和畸变系数矩阵,然后采用OpenCV中的立体校正算法得到本征矩阵、基础矩阵、旋转矩阵和平移矩阵;
[0007] 2)生成左摄像头深度图像:
[0008] 先获得经标定后的双目摄像头的左摄像头图像和右摄像头图像;再通过SGBM立体匹配算法得到左摄像头的视差图,检测出视差图中的空洞区域;再用空洞区域附近可靠视差值的均值对孔洞区域进行填充,从而得到完整的视差图;再根据平行双目视觉的几何关系,得到如下视差与深度的转换公式:
[0009] depth=(f*Tx)/disp
[0010] 上式中,depth表示深度图;f表示归一化的焦距;Tx是左摄像头光心和右摄像头光心之间的距离,称作基线距离;disp是视差值;最后通过视差与深度的转换公式计算出左摄像头的深度图像;
[0011] 3)将获得到的双目摄像头的左摄像头的图像尺寸裁剪为416*416,再将裁减后的图像输入YOLOv3网络模型,从而得到障碍物在图像中的窗口坐标信息和类别信息;本步骤得到的障碍物在图像中的窗口坐标信息也就是步骤2)深度图像中障碍物的窗口坐标信息;
[0012] 4)取步骤3)获得的深度图像中障碍物窗口的中心位置的深度值作为障碍物的距离,从而获得障碍物的距离信息。
[0013] 本发明的有益效果:
[0014] 本发明基于双目视觉的障碍物检测与识别方法,其既能获得障碍物的距离信息,也能够获得障碍物的类别信息,从而能为自主机器人和无人汽车提供更好的环境感知能力,有利于其制定更正确的决策。附图说明
[0015] 图1是本发明基于双目视觉的障碍物检测与识别方法的流程图

具体实施方式

[0016] 下面结合附图和实施例对本发明作进一步描述。
[0017] 本实施例基于双目视觉的障碍物检测与识别方法,包括以下步骤:
[0018] 1)对双目摄像头进行标定:
[0019] 首先对左、右摄像头分别进行标定,得到两个摄像头各自的内参矩阵和畸变系数矩阵,然后采用OpenCV中的立体校正算法得到本征矩阵、基础矩阵、旋转矩阵和平移矩阵。
[0020] 2)生成左摄像头深度图像:
[0021] 先获得经标定后的双目摄像头的左摄像头图像和右摄像头图像;再通过SGBM立体匹配算法得到左摄像头的视差图,检测出视差图中的空洞区域;再用空洞区域附近可靠视差值的均值对孔洞区域进行填充,从而得到完整的视差图;再根据平行双目视觉的几何关系,得到如下视差与深度的转换公式:
[0022] depth=(f*Tx)/disp
[0023] 上式中,depth表示深度图;f表示归一化的焦距;Tx是左摄像头光心和右摄像头光心之间的距离,称作基线距离;disp是视差值;最后通过视差与深度的转换公式计算出左摄像头的深度图像。
[0024] 3)将获得到的双目摄像头的左摄像头的图像尺寸裁剪为416*416,再将裁减后的图像输入YOLOv3网络模型,从而得到障碍物在图像中的窗口坐标信息和类别信息;本步骤得到的障碍物在图像中的窗口坐标信息也就是步骤2)深度图像中障碍物的窗口坐标信息。
[0025] YOLO的全称为:You Only Look Once:Unified,Real-Time Object Detection,其是Joseph Redmon和Ali Farhadi等人于2015年提出的基于单个神经网络的目标检测系统,YOLOv3是其第三代产品。YOLOv3网络模型使用的卷积神经网络模型为Darknet-53,它包含53个卷积层,卷积核的大小为3*3和1*1两种,基于COCO数据集对网络模型进行训练,当迭代次数大于指定迭代次数时训练结束。
[0026] 4)取步骤3)获得的深度图像中障碍物窗口的中心位置的深度值作为障碍物的距离,从而获得障碍物的距离信息。
[0027] 本实施例中基于双目视觉的障碍物检测与识别方法,其既能获得障碍物的距离信息,也能够获得障碍物的类别信息,从而能为自主机器人和无人汽车提供更好的环境感知能力,有利于其制定更正确的决策,例如当识别出对障碍物是无生命的石头时,自主机器人和无人汽车可做出绕行的决策;当识别出障碍物是人或其他动物时,自主机器人和无人汽车可做出等待人或动物离开后再前行的决策时。
[0028] 最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈