专利汇可以提供一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法专利检索,专利查询,专利分析的服务。并且本 发明 提供一种自动驾驶中基于可变网格的图像特征检测的车辆纵向 定位 方法,根据高 精度 导航系统 输出的数据中获取到的前方目标及高精度导航中道路计算的目标距离,通过应用基于可变网格区域(携带尺度信息)的ORB特征提取 算法 ,可以在车载 双目视觉 系统中检索到特定的前方目标,并输出视觉系统到前方目标的距离。根据这一距离以及双目系统在车辆中的安装 位置 ,即可与高精度导航中的车辆轨迹进行校正,提高自动驾驶中的车辆纵向定位精度。,下面是一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法专利的具体信息内容。
1.一种基于可变网格的图像特征检测在自动驾驶中的车辆纵向定位系统,其特征在于:该系统按照功能模块划分包括高精度导航系统、双目摄像机、图像预处理器、目标检测器、目标跟踪器和目标距离计算器;
高精度导航系统,用于实时进行地图检索并根据车体当前位置向目标检测器发送车体行进前方的出现或将要出现的目标物的名称ID,并根据特定目标距离对高精度导航进行纵向距离矫正;
双目摄像机,包括左目摄像机和右目摄像机,用于实时采集车辆行进前方视频图像,并输出给图像处理器进行预处理;
图像预处理器,用于根据双目摄像机标定的内外参数进行双目摄像机采集图像的畸变矫正、极线约束校正、图像的灰度化,以及图像的分发工作;
目标检测器,用于接收到高精度导航系统发送来的特定目标物名称ID,对图像预处理器分发的灰度图像中左目图像进行基于可变网格的图像特征匹配工作,并离线生成的目标物可变网格特征文件;
目标跟踪器,用于根据图像预处理器输入的图像以及目标检测器检测到的特定目标物的检测矩形框,完成基于图像区域的跟踪操作,将特定目标区域图像及其邻域部分图像作为卷积模板,在随后的图像帧中判断整幅输入的新场景图像中卷积响应最高的区域,再用最高响应区域更新当前卷积模板;并持续输出每一帧最高响应区域作为目标的跟踪位置;
目标距离计算器,用于通过极线几何约束计算双目摄像机距离目标物的垂直方向上的距离,进而得到车体当前帧采集时与特定目标物的距离。
2.一种基于可变网格的图像特征检测在自动驾驶中的车辆纵向定位方法,其特征在于:包括以下步骤:
S1,在部署过高精度地图与GNSS+IMU系统的自动驾驶车辆上,安装前向双目摄像机,并对双目摄像机进行内外参数的标定;
S2,根据高精度地图数据库中的场景中特定目标物,结合在实际道路中运行时摄像机采集的视频帧,提取包含特定目标区域的多帧图像,构成目标物提取图像帧序列,进行目标物特征提取,制作基于可变网格的特征描述文件;
S3,在自动驾驶车辆启动准备阶段,依次完成高精度导航系统、双目摄像机、图像预处理器、目标检测器、目标跟踪器、目标距离计算器各个模块的初始化工作;
S4,在自动驾驶线上运行阶段,整套系统需要高精度导航进行检测过程的触发,需要输入系统的数据源是高精度地图中目标物的名称ID、导航中计算出的大概距离,以及双目摄像机经过预处理操作输入的图像帧序列,按照“检测”-“跟踪”-“距离输出”的流程进行场景中特定目标物的距离输出;
S5,通过摄像机端计算输出的距离,输入至高精度导航模块,辅助执行纵向校正过程。
3.根据权利要求2所述的一种基于可变网格的图像特征检测在自动驾驶中的车辆纵向定位方法,其特征在于:所述步骤S1中,所述的内外参数包括:左目摄像机相对于车身坐标系的安装位置信息,左目摄像机内参M1、D1,右目摄像机内参M2、D2,和左右目摄像机的外参R、T,其中M1与M2分别表示两个摄像机的焦距fx、fy和主点位置cx、cy,形式为3*3矩阵形式:
D1、D2分别表示左右目摄像机的成像畸变系数;外部参数R、T用于描述右
目摄像机的位置相对于左目摄像机的旋转角度和平移距离。
4.根据权利要求3所述的一种基于可变网格的图像特征检测在自动驾驶中的车辆纵向定位方法,其特征在于:步骤S2,进行目标物特征提取的图像,源自于左目摄像机采集的视频帧,对于特定目标物进行特征提取的视频帧按照距离车体的近、中、远采集3帧图像构成目标物提取图像帧序列。
5.根据权利要求4所述的一种基于可变网格的图像特征检测在自动驾驶中的车辆纵向定位方法,其特征在于:所述步骤S2,包括根据特定目标检测算法和/或手动标记的方法,在图像帧序列中检测和/或框选出场景中的特定目标物,在特征描述文件中记录框选的网格尺寸。
6.根据权利要求5所述的一种基于可变网格的图像特征检测在自动驾驶中的车辆纵向定位方法,其特征在于:步骤S2中,所述特征描述文件的存储内容包括以下定义:
a)高精度地图数据库中,可检索的目标物的名称ID;
b)根据图像采集时距离目标物的远近程度,为采集到的图像帧序列分配的序列号;
c)在对应不同序列号的图像帧中,特定目标物网格中的关键特征点序列,所述的关键特征点序列指的是多帧之间可以被匹配的特征点子集,即在图像帧序列中表示同一点的特征点所组成的序列;
d)与特征点序列相对应的特征点的ORB特征描述;
e)特定目标物的检索网格相关信息,包括该网格的左上角图像坐标与网格在图像中的宽与高;对于人工标记的方法,网格即对应该帧图像中目标物的最大外包矩形;对于特定的目标检测算法而言,网格对应了当前帧运行目标检测算法时获取的目标物检测定位输出的矩形窗口;
f)根据当前传统的GNSS+IMU导航系统所得到的采集时与目标物之间的距离信息。
7.根据权利要求6所述的一种基于可变网格的图像特征检测在自动驾驶中的车辆纵向定位方法,其特征在于:步骤S4具体包括以下子步骤:
S41,利用高精度导航系统发送进入地图检索范围的目标物名称ID,将在步骤S3中初始化好的目标物对应的特征描述文件预读取至目标检测器;
S42,利用高精度导航系统触发时估计的目标物距离值,与步骤S41中预读取的目标物特征描述文件内容,判断出此时可变网格使用的网格尺寸信息,并采用基于二分查找的划分方法,使用该网格尺寸对图像预处理器输出的左目摄像机采集的图像进行划分,得到当前可变网格;计算过程如下:
(1/2)(n+1)*LenGlobal<=LenBlock<=(1/2)n*LenGlobal
式中,n是需要根据迭代九三出的二分查找次数,即均分次数;LenGlobal为经过预处理的摄像机图像的长或宽;LenBlock为当前的可变网格使用的尺度信息中,网格尺寸的长或宽;通过从n=1开始迭代运算直到计算出满足上式的n值;分别在左目摄像机经预处理后的输入图像上,平均划分长为ny份、划分宽为nx份,所划分的图像网格即为当前可变网格;
S43,依次遍历上一步骤得到的基于可变网格划分后的图像区域,对每一区域进行ORB特征提取,并完成与目标物特征描述文件中的关键特征点序列及特征点的ORB特征描述的检测与匹配;若匹配成功,则对图像预处理器输出的右目摄像机采集的图像进行相同的检测与匹配并跳转至步骤S44;否则图像预处理器读入下一帧的左目图像,重新执行该步骤;
S44,分别将成功完成目标物检测的左、右目图像帧与左右目图像检测矩形框作为参数,完成对左目图像、右目图像的特定区域的跟踪器,跟踪器初始化过程需要传入的参数是上一步骤成功获取到的左、右目检测矩形框以及对应的左右目图像,一但跟踪器初始化成功,后续过程中持续的将图像预处理器输出的左右目图像帧分别输入至对应的目标跟踪器,目标跟踪器将特定目标区域图像及其邻域部分图像作为卷积模板,在随后的图像帧中判断整幅输入的新场景图像中卷积响应最高的区域,再用最高响应区域更新当前卷积模板;所述特定目标区域图像即为特定目标物的检测矩形框区域;
目标跟踪器持续输出每一帧最高响应区域作为目标的跟踪位置;
S45,判断跟踪位置与摄像机采集的图像中边缘的接近程度,即渐进度,并设置渐进度阈值,若左、右目所跟踪到的目标外包矩形的图像边缘渐进度都不大于渐进度阈值,则进入目标距离计算器,通过极线几何约束来计算双目摄像机距离目标物的垂直方向上的距离,进而得到车体当前帧采集时与特定目标物的距离;否则,认为此时左、右目摄像机已经无法完整的采集到特定跟踪目标物。
8.根据权利要求7所述的一种基于可变网格的图像特征检测在自动驾驶中的车辆纵向定位方法,其特征在于:步骤S45中所述渐进度的计算方法为:
分别计算当先的特定目标跟踪位置的外包矩形4顶点分别到图像外部4个边缘的距离最小值dbMinDis,根据场景图像的高Hscn与宽Wscn,计算渐进度矩形与场景图像矩形面积的比值,计算公式如下:
((Hscn-2*dbMinDis)*(Wscn-2*dbMinDis))/(Hscn*Wscn)
当比值越趋近于1则跟踪位置越接近于图像边缘。
9.根据权利要求8所述的一种基于可变网格的图像特征检测在自动驾驶中的车辆纵向定位方法,其特征在于:所述步骤S43中检测与匹配过程包括如下子步骤:
S431,通过ORB特征点描述的差异距离来判断是否两个ORB特征点为相似,对每一区域的特征点与步骤S41载入的模板特征点之间首先完成一次特征点匹配,得到一个从“检测区域”到“模板区域”的特征点匹配对的序列,再反向的从“模板区域”到“检测区域”完成同样的操作得到交叉验证的特征点匹配对的序列;所述检测区域指左目相机采集到的特定目标物所在区域,所述模板区域指从高精度地图数据库中的特征目标物所在区域;
S432,从两组匹配对序列中得到“检测区域”与“模板区域”之间存在的特征点的映射关系,并将正向映射与反向映射之间存在的可逆变换,定义为重映射关系;
S433,检测当前匹配过程中,是否特征点对的数量达到可求取映射矩阵的阈值,一旦超过4个特征点对那么即可计算映射矩阵,再进行重映射关系检测,如果满足,则本次匹配过程成功,否则失败。
10.根据权利要求9所述的一种基于可变网格的图像特征检测在自动驾驶中的车辆纵向定位方法,其特征在于:所述步骤S43还包括,若检测到步骤S43一直匹配失败,直到高精度导航组件从地图数据中检索到当前车辆已离开特定目标物的可视区域,则宣告当前一次检测任务失败,本次计算流程不再继续进行下去。
位系统及方法
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
按键显示操作方法、装置及手机控制系统 | 2020-05-08 | 80 |
车载双视导航方法 | 2020-05-08 | 225 |
一种车载单元 | 2020-05-08 | 400 |
终端设备控制方法、装置、计算机设备及存储介质 | 2020-05-08 | 260 |
用于休眠的存储器映射 | 2020-05-08 | 122 |
一种解剖数据处理方法、装置及系统 | 2020-05-11 | 689 |
一种变电站巡检导航系统和导航方法 | 2020-05-11 | 559 |
一种导航系统可观测性数值分析方法 | 2020-05-11 | 415 |
一种农机导航用显示屏 | 2020-05-11 | 541 |
一种可自动感光调节的车载导航仪 | 2020-05-08 | 362 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。