一种基于鱼眼镜头的单目测距方法专利检索-框图企业组织专利检索查询-专利查询网

一种基于鱼眼镜头的单目测距方法

阅读：740发布：2020-05-13

专利汇可以提供一种基于鱼眼镜头的单目测距方法专利检索，专利查询，专利分析的服务。并且本发明涉及一种基于单目鱼眼相机的目标物体测距方法，包括以下步骤：1)使用鱼眼镜头拍摄照片，得到畸变图像；2)将畸变图像送入训练好的神经网络，得到目标物体的外接框坐标，并根据得到的框图坐标，在图像中将目标物体框出；3)对框出的图像区域进行图像处理，得到目标物体的轮廓图；4)对轮廓图使用特征点检测算法，得到目标特征点；5)根据畸变图像校正公式，得到校正后的特征点坐标；6)根据已知的与图像中特征点对应的现实中物体特征点间的距离，使用坐标转换公式在图像与世界坐标系间建立数学等式，求解得到鱼眼相机距离目标物体距离。与传统方法相比，本方法具有成本低、识别范围大、检测速度快、准确度高的优点。，下面是一种基于鱼眼镜头的单目测距方法专利的具体信息内容。

权利要求

1.一种基于鱼眼镜头的单目测距方法，其特征在于，包括下述步骤：
步骤一、使用鱼眼镜头拍摄照片，得到畸变图像；
步骤二、将畸变图像送入训练好的神经网络，得到目标物体的外界框坐标，并根据得到的框图坐标，在图像中将目标物体框出；
步骤三、对框出的图像区域进行图像处理，得到目标物体的轮廓图；
步骤四、对轮廓图使用特征点检测算法，得到目标特征点；
步骤五、根据畸变图像校正公式，得到校正后的特征点坐标；
步骤六、根据已知的与图像中特征点对应的现实中物体特征点间的距离，使用坐标转换公式在图像与世界坐标系间建立数学等式，求解得到鱼眼相机距离目标物体距离。
2.如权利要求1所述的一种基于鱼眼镜头的单目测距方法，其特征在于，在所述步骤一中，鱼眼镜头视角为180度，目标物体中心与鱼眼镜头光心在同一水平面。
3.如权利要求1所述的一种基于鱼眼镜头的单目测距方法，其特征在于，在所述步骤二中，对畸变图像使用的算法是基于深度学习的目标检测算法，该算法包括以下部分：
采用MobileNet V2中的分通道卷积方法，提取训练数据集中畸变图像的高级特征；
对不同卷积层筛选出的特征使用FPN进行特征融合，将融合后的特征送入分类子网络和定位子网络，得到分类和定位误差；
采用损失优化函数进行深度神经网络学习训练，得到训练后的优化模型，其损失函数为：
其中，x为输入图像，θ为模型参数，m为预设框数量，α和β是平衡定位与分类损失的权重，是当预设框为正预设框时值为1，否则为0，li和pi分别为位置偏移和标签；Lreg表示位置损失函数，Lcls表示分类损失函数。
4.如权利要求1所述的一种基于鱼眼镜头的单目测距方法，其特征在于，在所述步骤三中，对图像进行轮廓识别包含以下步骤：
读取待检测图像，对图像进行灰度处理，即
设置阈值对灰度图进行二值化处理；
使用Canny算子对灰度图检测轮廓，得到轮廓点后存入数组，对轮廓采用轮廓跟踪，得到连续的轮廓点集P(i)；
使用OpenCV将轮廓绘制于原图大小的黑白图中。
5.如权利要求1所述的一种基于鱼眼镜头的单目测距方法，其特征在于，在所述步骤四中，基于轮廓的特征点检测方法是通过间接法来求解特征点，其步骤如下：
首先，将目标物体轮廓点集P(i)分解到X、Y坐标轴，得到两条一维离散曲线X(i)和Y(i)，然后通过插值法求解曲线X(i)和Y(i)各点曲率：
其中上为插值步长；得到曲率后在小尺度下利用多尺度提高检测精度和算法对噪声的鲁棒性，同时使用自适应阈值得到目标物体特征点。
6.如权利要求1所述的一种基于鱼眼镜头的单目测距方法，其特征在于，在所述步骤五中，畸变图像的校正采用由张正友标定法得到的畸变系数矩阵K＝[K1，K2，...，K5]；
张正友标定法：使用一张打印好的棋盘格(黑白间距已知)，并贴在一个平板上，然后针对棋盘格拍摄10-20张图片，之后利用Harris特征在图片中检测特征点，最后通过解析解估算方法计算出鱼眼镜头的内部参数以及畸变系数。
7.如权利要求1所述的一种基于鱼眼镜头的单目测距方法，其特征在于，在所述步骤六中，像素坐标系与世界坐标系间的转换表达式为：
其中，(μ，v)为像素坐标系的坐标，dx、dy分别为图像单位像素在水平和垂直方向的大小，(cx，cy)为图像中心点，f为鱼眼镜头焦距，R为旋转矩阵，t为转移向量，为世界坐标系的坐标。
8.如权利要求2所述的一种基于鱼眼镜头的单目测距方法，其特征在于，所述的目标物体为立方体。

说明书全文

一种基于鱼眼镜头的单目测距方法

技术领域

[0001] 本发明涉及一种基于鱼眼镜头的单目测距方法，属于光学与计算机视觉领域。

背景技术

[0002] 近年来，视觉传感器吸引了广泛的关注，基于视觉传感器的测距方法也已成为研究热点，因为它们能收集广泛的环境信息，并且价格便宜且易于使用。根据所使用的视觉传感器的数量，视觉测距方法主要可分为单目测距，双目测距和多目测距三种。

[0003] 目前，从目标获取高精度深度信息通常需要用到激光雷达，但是由于其价格昂贵，它还主要处于技术研究和测试阶段，距大型市场化应用仍有一定距离。另外，随着近年来人工智能的快速发展，视觉已经逐渐成为研究的焦点，但是也发现了一些缺点，如使用双目测距技术受限于基准线，这导致设备的大小与交通平台负载能力之间的协调不足；基于RGB-D的深度估计范围短，很难应用于实际，并且受环境空间变化的影响很大，在室外的性能并不理想；基于普通针孔相机的测距方法，因为相机可视范围小，故不能获得尽可能多的视觉信息，识别效率较低。

[0004] 鱼眼相机不仅具有价格低，体积小的优点，而且其拥有能达到甚至超过180度的超大视角，仅需一个就能达到2-3个大小的普通相机拍摄范围，所拍照片信息量丰富，因此可以有效克服上述传感器的诸多缺点。因此，使用单眼鱼眼相机获取深度信息已经逐渐成为计算机视觉领域的研究重点之一。

发明内容

[0005] 本发明要解决的技术问题是提供一种基于鱼眼镜头的单目测距方法。

[0006] 为了解决上述技术问题，本发明的技术方案是提供了一种基于鱼眼镜头的单目测距方法，所述方法包括下述步骤：

[0007] 1)使用鱼眼镜头拍摄照片，得到畸变图像；

[0008] 2)将畸变图像送入训练好的神经网络，得到目标物体的外接框坐标，并根据得到的框图坐标，在图像中将目标物体框出；

[0009] 3)对框出的图像区域进行图像处理，得到目标物体的轮廓图；

[0010] 4)对轮廓图使用特征点检测算法，得到目标特征点；

[0011] 5)根据畸变图像校正公式，得到校正后的特征点坐标；

[0012] 6)根据已知的与图像中特征点对应的现实中物体特征点间的距离，使用坐标转换公式在图像与世界坐标系间建立数学等式，求解得到鱼眼相机距离目标物体距离。

[0013] 在所述步骤1)中，鱼眼镜头视角为180度，目标物体中心与鱼眼镜头光心在同一水平面。

[0014] 在所述步骤2)中，对畸变图像使用的算法是基于深度学习的目标检测算法，该算法包括以下部分：

[0015] a)采用MobileNet V2中的分通道卷积方法，提取训练数据集中畸变图像的高级特征；

[0016] b)对不同卷积层筛选出的特征使用FPN进行特征融合，将融合后的特征送入分类子网络和定位子网络，得到分类和定位误差；

[0017] c)采用损失函数进行深度神经网络学习训练，得到训练后的优化模型，损失函数为：

[0018]

[0019] 其中，x为输入图像，θ为模型参数，m为预设框数量，α和β是平衡定位与分类损失的权重，是当预设框为正预设框时值为1，否则为0，li和pi分别为位置偏移和标签；Lreg表示位置损失函数，Lcls表示分类损失函数。

[0020] 在所述步骤3)中，对图像进行轮廓识别包含以下步骤：

[0021] a)读取待检测图像，对图像进行灰度处理，即

[0022] b)设置阈值对灰度图进行二值化处理；

[0023] c)使用Canny算子对灰度图检测轮廓，得到轮廓点后存入数组，对轮廓采用轮廓跟踪，得到连续的轮廓点集P(i)；

[0024] d)使用OpenCV将轮廓绘制于原图大小的黑白图中。

[0025] 在所述步骤4)中，基于轮廓的特征点检测方法主要是通过间接法来求解特征点。首先，将目标物体轮廓点集P(i)分解到X、Y坐标轴，得到两条一维离散曲线X(i)和Y(i)，然后通过插值法求解曲线X(i)和Y(i)各点凹率：

[0026]

[0027] 其中L为插值步长；得到凹率后在小尺度下利用多尺度提高检测精度和算法对噪声的鲁棒性，同时使用自适应阈值即可得到目标物体特征点。

[0028] 在所述步骤5)中，畸变图像的校正需要采用由张正友标定法得到的畸变系数矩阵K＝[K1，K2，...，K5]；

[0029] 张正友标定法需要用到一张打印好的棋盘格(黑白间距已知)，并贴在一个平板上，然后针对棋盘格拍摄若干张图片(10-20张)，之后利用Harris特征在图片中检测特征点，最后通过解析解估算方法可计算出鱼眼镜头的内部参数以及畸变系数。

[0030] 在所述步骤6)中，像素坐标系与世界坐标系间的转换表达式为：

[0031]

[0032] 其中，(μ，v)为像素坐标系的坐标，dx、dy分别为图像单位像素在水平和垂直方向的大小，(cx，cy)为图像中心点，f为鱼眼镜头焦距，R为旋转矩阵，t为转移向量，为世界坐标系的坐标。

[0033] 本发明相较于传统技术，本发明具有以下优点：

[0034] 一、成本低：本发明最低仅需使用一个单目相机以及一个嵌入式设备即可完成测距全部流程；

[0035] 二、识别范围大：本发明采用大广角鱼眼镜头，与传统算法相比，在镜头相同数目下，检测范围更广，效率更高；

[0036] 三、检测速度快、准确度高：本发明使用轻量型深度神经网络，与传统目标检测算法相比，不仅更加快速，而且更加准确；本发明使用间接法求解目标物体特征点，在保证准确率的情况下能够更加快速地识别特征点。附图说明

[0037] 图1为本发明基于鱼眼镜头的单目测距方法流程图；

[0038] 图2为本发明的目标检测网络结构图；

[0039] 图3为本发明的鱼眼镜头成像原理图；

[0040] 图4为本发明中在坐标系间建立数学等式的测距示意图。

具体实施方式

[0041] 为了更清晰的说明本发明的优势以及方案实施过程，下面结合具体实施例和附图，对本发明进行进一步的阐述。应当理解，以下所讲解的实施例并不用于限制本发明实施条件，而仅仅用于解释说明本发明。

[0042] 本发明提供了一种基于单目鱼眼镜头的目标检测与测距方法，其通过单个鱼眼镜头作为检测的传感器采集图像，具体实施流程如图1所示，该方法包括以下步骤：

[0043] 步骤一、使用鱼眼镜头拍摄照片，得到畸变图像：

[0044] 鱼眼镜头视角为180度，目标物体中心与鱼眼镜头光心在同一水平面。根据不同用处，需要在以下三处使用鱼眼镜头拍摄照片：

[0045] 1)使用鱼眼镜头拍摄10-20张间距为20mm的黑白棋盘照片，以便利用张正友标定法进行标定，得到鱼眼镜头畸变系数K＝[k1，k2，k3，k4，k5]及内参[dx，dy，cx，cy]；

[0046] 2)令鱼眼镜头光心与目标物体中心处于同一高度，然后从不同角度不同距离不同场景拍摄1000张左右照片，用于对图像检测深度网络模型进行训练。该深度网络模型结构图如图2所示：

[0047] 深度卷积部分采用MobileNet V2中的分通道卷积方法，用于提取训练数据集中畸变图像的高级特征，即特征图。与传统卷积相比，该方法将图像的区域和通道分离，降低参数量，计算速度更快；

[0048] 对不同卷积层筛选出的特征图使用FPN进行特征融合，将融合后的特征送入分类子网络和定位子网络，得到分类和定位误差；

[0049] 采用损失函数进行深度神经网络学习训练，损失函数为：

[0050]

[0051] 其中，x为输入图像，θ为模型参数，m为预设框数量，α和β是平衡定位与分类损失的权重，是当预设框为正预设框时值为1，否则为0，li和pi分别为位置偏移和标签；Lreg表示位置损失函数，Lcls表示分类损失函数。

[0052] 3)直接对目标拍摄一张图片，使用本方法对目标测距。

[0053] 步骤二、将畸变图像送入训练好的神经网络，得到目标物体的外接框坐标，并根据得到的框图坐标：

[0054] 框图坐标是以(x，y，w，h)形式表现，其中(x，y)为外接框左上角顶点坐标，(w，h)为外接框宽和高，据此，便可以在图像中将目标物体框出。

[0055] 步骤三、对框出的图像区域进行图像处理，得到目标物体的轮廓图：

[0056] 1)读取待检测图像，对图像进行灰度处理，即

[0057] 2)设置阈值对灰度图进行二值化处理；

[0058] 3)根据步骤二得到的框图坐标，将框图外区域像素值置0，然后使用Canny算子对灰度图检测轮廓，得到轮廓点后存入数组，对轮廓采用轮廓跟踪，得到连续的轮廓点集P(i)；

[0059] 4)使用OpenCV将轮廓绘制于原图大小的黑白图中。

[0060] 步骤四、对轮廓图使用特征点检测算法，得到目标特征点：

[0061] 基于轮廓的特征点检测方法主要是通过间接法来求解特征点。首先，将目标物体轮廓点集P(i)分解到X、Y坐标轴，得到两条一维离散曲线X(i)和Y(i)，然后通过插值法求解曲线X(i)和Y(i)各点凹率：

[0062]

[0063] 其中L为插值步长；得到凹率后在小尺度下利用多尺度提高检测精度和算法对噪声的鲁棒性，同时使用自适应阈值即可得到目标物体特征点。

[0064] 步骤五、根据畸变图像校正公式，得到校正后的特征点坐标：

[0065] 鱼眼镜头成像原理如图3所示。现实中目标P经过鱼眼镜头光心成像于图像平面p′点，设O′p′长度为r′，结合畸变系数K，由：

[0066] r′(θ)＝k1θ+k2θ3+…+k5θ9

[0067] 可得入射角θ，因此Op长度r＝ftanθ。又已知p′点坐标(x′，y′)，所以能得到大小，进而求得针孔模型下正常点p坐标：

[0068]

[0069] 步骤六、根据已知的与图像中特征点对应的现实中物体特征点间的距离，使用坐标转换公式在图像与世界坐标系间建立数学等式，求解得到鱼眼相机距离目标物体距离：

[0070] 已知像素坐标系与世界坐标系间的转换表达式为：

[0071]

[0072] 假设世界坐标系位于如图4所示位置，则R＝I，T＝[0 0 d]T，则上式可以化为：

[0073]

[0074] 综合已知特征点坐标及之间长度可以求得d。

[0075] 选取两特征点中点作为目标质心，则在世界坐标系中质心到原点距离则摄像机光心到目标质心的距离

标题	发布/更新时间	阅读量
灌浆压力波动程控方法	2020-05-12	435
一种变频器故障诊断方法	2020-05-13	336
永磁同步电机的控制方法	2020-05-14	703
一种批量切割放置图形生成方法及装置	2020-05-08	534
双液压缸流量补偿同步起竖装置及其控制方法	2020-05-11	8
基于深度卷积神经网络的干扰识别模型及智能识别算法	2020-05-08	904
一种加入低通滤波器的逆变器系统及其改进的控制方法	2020-05-08	365
一种基于鱼眼镜头的单目测距方法	2020-05-13	740
数据处理方法、装置、设备及存储介质	2020-05-12	526
基于系统理论危害分析的列车自动防护系统安全分析方法	2020-05-13	484

一种基于鱼眼镜头的单目测距方法

一种基于鱼眼镜头的单目测距方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：