一种基于视频与毫米波雷达数据融合的目标物识别方法及其应用专利检索-采样信号处理专利检索查询-专利查询网

一种基于视频与毫米波雷达数据融合的目标物识别方法及其应用

阅读：853发布：2024-01-22

专利汇可以提供一种基于视频与毫米波雷达数据融合的目标物识别方法及其应用专利检索，专利查询，专利分析的服务。并且本发明提出了一种基于视频与毫米波雷达数据融合的目标物识别方法及其应用，包括如下步骤：S1，通过卫星定位系统与控制终端进行数据互联，控制终端接收图像采集设备数据信号；S2，卫星定位系统实时获取采集的若干目标物的动态位置，将定位数据实时传输到控制终端；S3，图像采集设备通过调整图像采集角度，准确捕捉目标物的行动状态，将图像行动状态传输到控制终端；S4，雷达设备通过获取目标物于东轨迹，捕捉目标物的行动状态，将雷达行动状态传输到控制终端；S5，控制终端将卫星定位系统采集的目标物动态位置、图像采集设备获取的目标物图像行动状态以及雷达设备采集的目标物行动状态进行数据融合，将融合后的数据通过显示终端进行显示操作。，下面是一种基于视频与毫米波雷达数据融合的目标物识别方法及其应用专利的具体信息内容。

权利要求

1.一种基于视频与毫米波雷达数据融合的目标物识别方法，其特征在于，包括如下步骤：
S1，通过卫星定位系统与控制终端进行数据互联，控制终端接收图像采集设备和雷达设备的数据信号；
S2，卫星定位系统实时获取采集的若干目标物的动态位置，将定位数据实时传输到控制终端；
S3，图像采集设备通过调整图像采集角度，准确捕捉目标物的行动状态，将图像行动状态传输到控制终端；
所述S3包括：
S3-1，通过设置两个以上图像采集设备对目标物进行前视场角设定，确定一个图像采集设备采集图像的采样频率以及该图像采集设备的俯仰角度和水平角度，根据卫星定位系统获取的目标物当前时刻的运动速度；调整图像采集设备的追踪视角，并实时调整焦距，根据目标物当前时刻的运动速度和空间坐标，计算目标物按照该运动速度超出清晰获取图像信息的时间临界值；
S3-2，当未达到预设的时间临界值，启动其它图像采集设备，对目标物的不同方位进行图像收集，当超出预设的时间临界值，其它图像采集设备关闭，对下一目标物进行采集；
S3-3，对采集的目标物空间坐标与时间节点进行数据融合后传送到控制终端，判断目标物与目标物周围相应的参考物之间所存在的差异，对于目标物和参考物将从采集图像的一侧向另一侧依次遍历，根据控制终端预存的目标物的分类以及参考物的分类，从而定位目标物所处的位置以及该目标物的周围状态，当目标物处于正确的位置则通过显示终端进行显示；
S4，雷达设备通过获取目标物移动轨迹，捕捉目标物的行动状态，将雷达行动状态传输到控制终端；
S5，控制终端将卫星定位系统采集的目标物动态位置、图像采集设备获取的目标物图像行动状态以及雷达设备采集的目标物行动状态进行数据融合，将融合后的数据通过显示终端进行显示操作。
2.根据权利要求1所述的基于视频与毫米波雷达数据融合的目标物识别方法，其特征在于，所述S1包括：
S1-1，卫星定位系统发送工作信号至控制终端，控制终端与卫星定位系统经过认证之后进行数据互联；
S1-2，图像采集设备根据目标物的相对距离，实时调整焦距对焦，并根据控制终端指令使用不同精度的图像采集设备对目标物进行图像收集；
S1-3，雷达设备对目标物进行二次定位，与卫星定位系统协同配合，对目标物的种类进行准确识别。
3.根据权利要求1所述的基于视频与毫米波雷达数据融合的目标物识别方法，其特征在于，所述S2包括：
S2-1，卫星定位系统确定拍摄的目标物，将拍摄的目标物发送到控制终端，控制终端对目标物进行降噪处理，将目标物根据识别的种类进行分类，并与数据库中的参考目标物进行匹配，确定目标物的种类。
4.根据权利要求3所述的基于视频与毫米波雷达数据融合的目标物识别方法，其特征在于，所述S2包括：
S2-2，将分类后的目标物其所处的经度、纬度、以及海拔高度数据发送到控制终端，卫星定位系统根据目标物相对于其他目标物的位移速度，确定目标物的运行方向，根据目标物的运行方向预测目标物即将到达的位置。
5.根据权利要求4所述的基于视频与毫米波雷达数据融合的目标物识别方法，其特征在于，所述S2包括：
S2-3，根据控制终端的请求响应，设置获取目标物的实时采集数据频率，将卫星定位系统每次采集目标物的时刻数据、年份数据以及频率数据发送到控制终端进行存储，以备图像采集设备和雷达设备进行融合使用，确定目标物的精确方位和目标物的种类。
6.根据权利要求1所述的基于视频与毫米波雷达数据融合的目标物识别方法，其特征在于，所述S4包括：
S4-1，通过雷达设备对目标物进行识别，根据控制终端预存的雷达设备目标物识别数据与实时采集的目标物进行归类判断；
S4-2，精确检测运动状态目标物的运动方向、距离、速度、角度，检测到的目标物按距离或者RCS值输出，根据雷达设备测算的距离由近及远输出。
7.根据权利要求6所述的基于视频与毫米波雷达数据融合的目标物识别方法，其特征在于，所述S4包括：
S4-3，雷达设备根据由近及远获取的目标物，形成不同的发射频率对不同距离的目标物进行测算，分别分为长距离模式、短距离模式，在长距离模式下通过雷达设备调整速度精度和速度分辨率；
S4-4，当速度精度大于速度精度第一阈值时调整为长距离模式，当速度精度大于速度精度第二阈值时调整为短距离模式。
8.根据权利要求7所述的基于视频与毫米波雷达数据融合的目标物识别方法，其特征在于，所述S4包括：
S4-5，当速度分辨率大于速度分辨率第一阈值时调整为长距离模式，当速度分辨率大于速度分辨率第二阈值时调整为短距离模式，当速度分辨率为速度分辨率第三阈值时调整为静止模式。
9.根据权利要求1所述的基于视频与毫米波雷达数据融合的目标物识别方法，其特征在于，所述S5包括：
S5-1，卫星定位系统获取的目标物动态位置与图像采集设备获取的目标物图像行动状态进行数据融合，直接在图像采集设备的输出层的边框回归bounding box的位置和边框回归bounding box所属的类别，将位置数据和类别数据发送到控制终端，与卫星定位系统的目标物动态位置数据进行合并展示，提炼图像采集设备的位置数据和类别数据和卫星定位系统的目标物动态位置数据，使其成为目标物识别的基础数据。
10.根据权利要求9所述的基于视频与毫米波雷达数据融合的目标物识别方法，其特征在于，所述S5包括：
S5-2，使用图像采集设备所采集的目标物图像作为Context信息，滤除背景图像，通过神经网络学习提炼出目标物和参考物的数据，将雷达设备获取的目标物移动轨迹数据进行坐标定位，通过控制终端进行雷达设备目标物移动轨迹数据的检测与分类，从而分辨雷达设备中的目标物和参考物。
11.根据权利要求10所述的基于视频与毫米波雷达数据融合的目标物识别方法，其特征在于，所述S5包括：
S5-3，通过神经网络提炼的图像采集设备所采集的目标物图像和雷达设备获取的目标物移动轨迹数据进行分层处理，由卷积层和池化层构成，池化层对图像采集设备中目标物进行图像采样操作，减少卷积特征层的参数，加快目标提取运算速度，浅层的目标物图像卷积特征感受包含的背景噪声小，提高池化层的语义信息，提高小目标检测周期。
12.根据权利要求10所述的基于视频与毫米波雷达数据融合的目标物识别方法，其特征在于，所述S5还包括：
S5-4，根据图像采集设备获取的目标物图像和参考物图像与雷达设备获取的目标物移动轨迹数据融合后的目标物数据和参考物数据，修改神经网络卷积层和池化层构架，调整神经网络超参数，并修改对应的anchor box尺寸大小，从而提高融合后的目标物数据和参考物数据精度。
13.根据权利要求12所述的基于视频与毫米波雷达数据融合的目标物识别方法，其特征在于，所述S5还包括：
S5-5，通过残差网络，以提高对群簇小目标的检测能力；采用骑行人+骑行车辆的同时检测，并进行匹配，实现骑车目标的检测融合，解决摩托车、自行车、三轮车会出现车辆与人两个目标框。
14.根据权利要求13所述的基于视频与毫米波雷达数据融合的目标物识别方法，其特征在于，所述S5还包括：
S5-6，研究车辆的局部特征对目标检测的影响，考虑融合车辆整体特征和局部特征的目标检测模型，提高在近距离情况下的目标检测鲁棒性。
15.根据权利要求9所述的基于视频与毫米波雷达数据融合的目标物识别方法，其特征在于，所述S5还包括：
S5-A，雷达设备获取的目标物移动轨迹数据和图像采集设备获取的目标物行动状态数据的空间融合，将三维世界坐标系即真实环境的信息转换到图像显示的坐标系下，将卫星定位系统坐标系和图像采集设备坐标系及雷达设备坐标系相统一整合的过程；将卫星定位系统坐标数据和雷达设备坐标数据传递至图像采集设备的图像上，产生目标区域，从而实现空间融合；
S5-B，为实现时间上的融合，将卫星定位系统获取目标物的动态位置数据与雷达设备获取的目标物移动轨迹数据和图像采集设备获取的目标物行动状态数据在时间上进行同步，使目标显示在时间上进行统一；同时采用多线程实时同步时间状态。
16.一种基于视频与毫米波雷达数据融合的目标物识别方法的应用，其特征在于，使用权利要求1-15所述的方法进行公路运行物体的识别。

说明书全文

一种基于视频与毫米波雷达数据融合的目标物识别方法及其

应用

技术领域

[0001] 本发明涉及图像和雷达融合识别领域，尤其涉及一种基于视频与毫米波雷达数据融合的目标物识别方法。

背景技术

[0002] 随着汽车市场的不断发展，人们对于购买汽车的热情不断升高，汽车保有量迅速提升，随之而来的是频发的交通事故，因此汽车安全技术的研发也在行业内不断兴起。其中，汽车的智能化是其中非常重要的一点。智能汽车的发展需要解决的问题很多，包括车辆对周围环境，目标物的感知和判断，进而产生相应的决策，并进行控制等。车辆目标信息的有效提供，能够帮助驾驶人或者自动驾驶汽车了解车辆周围的环境，为自动驾驶的研究提供基础。

[0003] 利用机器视觉进行对于车辆目标的检测是一种主流的趋势，机器视觉在软硬件上都有很大发展，具有探测范围广，目标信息完整的优点。目前主要流行的方法是基于深度学习的目标检测方法，比如Faster-RCNN、YOLOv3、SSD等。通过对摄像头传回的视频数据进行提取，使用预训练模型对目标物进行检测，标出目标物在图像中的位置信息等。基于深度学习的目标检测算法对硬件要求较高，计算量较大。对于目标物距离速度等计算，基于机器视觉的方法存在精度不高的现象。

[0004] 毫米波雷达主要是波长为30到300GHZ的毫米波，它的穿透能力强，受到不良天气和光照条件的影响比较小。在测试的过程中，能够获得车辆目标与其本身的相对距离和速度，进而推导出相对加速度等。虽然会有能量损失，存在噪声等，但是其检测效果也是能够满足要求的。再加上毫米波雷达的体积比较小，易于安装，所以得到了广泛的应用。

[0005] 摄像头可识别不同的物体，包括车辆(乘用车、商用车、卡车、公交车、摩托车等)、行人、车道线、标识牌等，在物体高度与宽度测量精度、车道线识别、行人识别准确度方面有优势，但是测距精度不如毫米波雷达。毫米波雷达受光照、天气影响较小，测距、测速精度高，但难以识别车道线、交通标志等元素。

[0006] 为此，本发明提出基于视频数据和毫米波雷达数据融合的方案来对车辆周围的目标物进行精确的识别及定位。

发明内容

[0007] 本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于视频与毫米波雷达数据融合的目标物识别方法。

[0008] 为了实现本发明的上述目的，本发明提供了一种基于视频与毫米波雷达数据融合的目标物识别方法，包括如下步骤：

[0009] S1，通过卫星定位系统与控制终端进行数据互联，控制终端接收图像采集设备和雷达设备的数据信号；

[0010] S2，卫星定位系统实时获取采集的若干目标物的动态位置，将定位数据实时传输到控制终端；

[0011] S3，图像采集设备通过调整图像采集角度，准确捕捉目标物的行动状态，将图像行动状态传输到控制终端；

[0012] S4，雷达设备通过获取目标物移动轨迹，捕捉目标物的行动状态，将雷达行动状态传输到控制终端；

[0013] S5，控制终端将卫星定位系统采集的目标物动态位置、图像采集设备获取的目标物图像行动状态以及雷达设备采集的目标物行动状态进行数据融合，将融合后的数据通过显示终端进行显示操作。

[0014] 优选的，所述S1包括：

[0015] S1-1，卫星定位系统发送工作信号至控制终端，控制终端与卫星定位系统经过认证之后进行数据互联；

[0016] S1-2，图像采集设备根据目标物的相对距离，实时调整焦距对焦，并根据控制终端指令使用不同精度的图像采集设备对目标物进行图像收集；

[0017] S1-3，雷达设备对目标物进行二次定位，与卫星定位系统协同配合，对目标物的种类进行准确识别。

[0018] 优选的，所述S2包括：

[0019] S2-1，卫星定位系统确定拍摄的目标物，将拍摄的目标物发送到控制终端，控制终端对目标物进行降噪处理，将目标物根据识别的种类进行分类，并与数据库中的参考目标物进行匹配，确定目标物的种类；

[0020] S2-2，将分类后的目标物其所处的经度、纬度、以及海拔高度数据发送到控制终端，卫星定位系统根据目标物相对于其他目标物的位移速度，确定目标物的运行方向，根据目标物的运行方向预测目标物即将到达的位置；

[0021] S2-3，根据控制终端的请求响应，设置获取目标物的实时采集数据频率，将卫星定位系统每次采集目标物的时刻数据、年份数据以及频率数据发送到控制终端进行存储，以备图像采集设备和雷达设备进行融合使用，确定目标物的精确方位和目标物的种类。

[0022] 优选的，所述S3包括：

[0023] S3-1，通过设置两个以上图像采集设备对目标物进行前视场角设定，确定一个图像采集设备采集图像的采样频率以及该图像采集设备的俯仰角度和水平角度，根据卫星定位系统获取的目标物当前时刻的运动速度；调整图像采集设备的追踪视角，并实时调整焦距，根据目标物当前时刻的运动速度和空间坐标，计算目标物按照该运动速度超出清晰获取图像信息的时间临界值；

[0024] S3-2，当未达到预设的时间临界值，启动其它图像采集设备，对目标物的不同方位进行图像收集，当超出预设的时间临界值，其它图像采集设备关闭，对下一目标物进行采集；

[0025] S3-3，对采集的目标物空间坐标与时间节点进行数据融合后传送到控制终端，判断目标物与目标物周围相应的参考物之间所存在的差异，对于目标物和参考物将从采集图像的一侧向另一侧依次遍历，根据控制终端预存的目标物的分类以及参考物的分类，从而定位目标物所处的位置以及该目标物的周围状态，当目标物处于正确的位置则通过显示终端进行显示。

[0026] 优选的，所述S4包括：

[0027] S4-1，通过雷达设备对目标物进行识别，根据控制终端预存的雷达设备目标物识别数据与实时采集的目标物进行归类判断；

[0028] S4-2，精确检测运动状态目标物的运动方向、距离、速度、角度，检测到的目标物按距离或者RCS值输出，根据雷达设备测算的距离由近及远输出；

[0029] S4-3，雷达设备根据由近及远获取的目标物，形成不同的发射频率对不同距离的目标物进行测算，分别分为长距离模式、短距离模式，在长距离模式下通过雷达设备调整速度精度和速度分辨率；

[0030] S4-4，当速度精度大于速度精度第一阈值时调整为长距离模式，当速度精度大于速度精度第二阈值时调整为短距离模式；

[0031] S4-5，当速度分辨率大于速度分辨率第一阈值时调整为长距离模式，当速度分辨率大于速度分辨率第二阈值时调整为短距离模式，当速度分辨率为速度分辨率第三阈值时调整为静止模式。

[0032] 优选的，所述S5包括：

[0033] 所述S5-1，卫星定位系统获取的目标物动态位置与图像采集设备获取的目标物图像行动状态进行数据融合，直接在图像采集设备的输出层的边框回归bounding box的位置和边框回归bounding box所属的类别，将位置数据和类别数据发送到控制终端，与卫星定位系统的目标物动态位置数据进行合并展示，提炼图像采集设备的位置数据和类别数据和卫星定位系统的目标物动态位置数据，使其成为目标物识别的基础数据；

[0034] S5-2，使用图像采集设备所采集的目标物图像作为Context信息，滤除背景图像，通过神经网络学习提炼出目标物和参考物的数据，将雷达设备获取的目标物移动轨迹数据进行坐标定位，通过控制终端进行雷达设备目标物移动轨迹数据的检测与分类，从而分辨雷达设备中的目标物和参考物；

[0035] S5-3，通过神经网络提炼的图像采集设备所采集的目标物图像和雷达设备获取的目标物移动轨迹数据进行分层处理，由卷积层和池化层构成，池化层对图像采集设备中目标物进行图像采样操作，减少卷积特征层的参数，加快目标提取运算速度，浅层的目标物图像卷积特征感受包含的背景噪声小，提高池化层的语义信息，提高小目标检测周期。

[0036] 优选的，所述S5还包括：

[0037] S5-4，根据图像采集设备获取的目标物图像和参考物图像与雷达设备获取的目标物移动轨迹数据融合后的目标物数据和参考物数据，修改神经网络卷积层和池化层构架，调整神经网络超参数，并修改对应的anchor box尺寸大小，从而提高融合后的目标物数据和参考物数据精度；

[0038] S5-5，通过残差网络，以提高对群簇小目标的检测能力；采用骑行人+骑行车辆的同时检测，并进行匹配，实现骑车目标的检测融合，解决摩托车、自行车、三轮车等会出现车辆与人两个目标框；

[0039] S5-6，研究车辆的局部特征对目标检测的影响，考虑融合车辆整体特征和局部特征的目标检测模型，提高在近距离情况下的目标检测鲁棒性。

[0040] 优选的，所述S5还包括：

[0041] S5-A，雷达设备获取的目标物移动轨迹数据和图像采集设备获取的目标物行动状态数据的空间融合，将三维世界坐标系即真实环境的信息转换到图像显示的坐标系下，将卫星定位系统坐标系和图像采集设备坐标系及雷达设备坐标系相统一整合的过程；将卫星定位系统坐标数据和雷达设备坐标数据传递至图像采集设备的图像上，产生目标区域，从而实现空间融合；

[0042] S5-B，为实现时间上的融合，将卫星定位系统获取目标物的动态位置数据与雷达设备获取的目标物移动轨迹数据和图像采集设备获取的目标物行动状态数据在时间上进行同步，使目标显示在时间上进行统一；同时采用多线程实时同步时间状态。

[0043] 本发明还公开一种基于视频与毫米波雷达数据融合的目标物识别方法的应用，使用上述的方法进行公路运行物体的识别。

[0044] 综上所述，由于采用了上述技术方案，本发明的有益效果是：

[0045] 通过卫星定位系统、雷达设备和图像采集设备协同配合，并将采集的数据进行融合处理后得到提炼出的目标物以及参考物，从而有效的区分目标物和参考物，为车辆自动驾驶或者辅助驾驶过程中提供了有效的辅助操作，并根据神经网络学习以及坐标融合方式准确识别目标物，提高了在近距离情况下的目标检测鲁棒性。

[0046] 本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。附图说明

[0047] 本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

[0048] 图1是本发明示意图；

[0049] 图2是本发明工作流程图。

具体实施方式

[0050] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

[0051] 如图1所示，本发明所要克服的单纯的基于摄像头的目标检测方案和基于毫米波雷达的目标检测方案，提供基于视频数据与毫米波雷达数据融合的目标物识别算法。

[0052] 卫星定位系统优选为，GPS系统、北斗系统或者伽利略系统等。

[0053] 雷达设备优选为毫米波雷达，图像采集设备优选为高清摄像头。

[0054] 其中目标物的种类包括：汽车、摩托车、行人、自行车、或者信号灯、盲道线、公交车道、快车道、隔离带、绿化带、栅栏等。

[0055] 我们对前方车辆周围目标的检测，一是为了获得车辆的具体位置和车辆相对自车的大小等，二是获得与自车的相对距离、相对速度、相对加速度等数据信息等，对于距离、速度我们可以使用毫米波雷达进行探测，然后基于深度学习模型确定周围车辆目标的类型及在视频中的位置，在视频上显示出来，达到融合目标检测的目的。为满足该目的，需集成如图1的高精度数据采集方案：

[0056] 系统组成：系统一：6个普通摄像头，负责记录、存储道路视频。开发自动标记算法，自动标记车道线、目标物、交通标志牌。与其他传感器相比，机器视觉具有获取信息量大、信息完整、符合人的认知习惯、可遥测和探测范围广等优点；系统二：6个毫米波雷达，车辆目标检测系统中最关键的传感器是用来测距的毫米波雷达传感器，毫米波雷达传感器应能够持续的测量车辆目标的相对距离及相对速度等信息，获取位于同车道纵向距离最近的有效目标等，负责输出目标物的距离、车速、角度等目标级信息。因为本文采用的车辆目标检测技术主要是基于毫米波雷达和摄像头，GPS为之后的路径规划等做准备。

[0057] 视觉雷达融合系统由视觉模块及77GHZ毫米波雷达组成，实现了目标级融合，其中视觉模块主要用于周围目标的检测与分类，毫米波雷达主要用于精准测距、测速，视觉雷达融合方案弥补了相机在测距和测量相对速度方面有明显不足和易受天气和光照条件的影响的缺陷，融合方案与单视觉或单雷达方案相比，系统可靠性、鲁棒性、分辨率、数据可信度等方面更具优势。

[0058] 目标检测算法。本研究的视觉模块，使用成熟的目标检测算法YOLOv3进行对车辆周围的目标物进行识别分类，并对模型进行改进优化。从R-CNN到Fast R-CNN一直采用的思路是proposal+分类(proposal提供位置信息，分类提供类别信息)精度已经很高，但是速度还不行。YOLO提供了另一种更为直接的思路：直接在输出层回归bounding box的位置和bounding box所属的类别(整张图作为网络的输入，把Object Detection的问题转化成一个Regression问题)。该算法的主要特点是，速度快，能够达到实时的要求；使用全图作为Context信息，背景错误(把背景错认为物体)比较少；泛化能力强。而YOLOv3是该算法的升级版，YOLOv3网络主要由卷积层和池化层构成，池化层是一种图像下采样操作，虽然会减少卷积特征层的参数，加快模型运算速度，但是会对上一层的卷积特征图造成语义信息的损失。浅层的卷积特征感受野包含的背景噪声小，对小目标具有更好的表征能力。因此，考虑强化YOLOv3浅层的卷积特征，提高了上下层的语义信息，提高小目标的检测性能。本研究将分析YOLOv3模型网络，研究其卷积层与池化层的作用和对特征的敏感度。针对交通目标物与交通标志包括大小不一、易重叠、种类多、交通标志小等特点，修改网络的卷积层和池化层构架，调整网络超参数，并修改对应的anchorbox尺寸大小，设计出适合交通目标物与交通标志的目标检测模型。重点进行以下几点研究：①为模型引入残差网络(ResNet)，以提高对群簇小目标(密集行人、车辆、交通标志)的检测能力。②采用骑行人+骑行车辆的同时检测，并进行匹配，实现骑车目标的检测融合，解决如摩托车、自行车、三轮车等会出现车辆与人两个目标框的问题，从而提高检测的鲁棒性和后续测距的精度。③研究车辆的局部特征(车牌、车轮、车灯等)对目标检测的影响，考虑融合车辆整体特征和局部特征的目标检测模型，提高在近距离情况下的目标检测鲁棒性。

[0059] 车辆目标的跟踪。我们完成了对车辆目标的检测，只能检测背景环境静止的车辆目标。如果需要检测驾驶车辆时，自车摄像头拍摄的动态背景的视频，那么就需要对目标进行动态的跟踪，因为我们并不能判断车辆目标下一时刻的运动状态，所以需要计算机来预测识别并跟踪。本发明中利用卡尔曼滤波的方法来动态地跟踪车辆目标。

[0060] 利用毫米波雷达对车辆目标进行检测时，雷达接收的信号数据可能是有效目标的运动状态信息，也可能是错误的信息。这是因为，在车辆行驶的过程中，不同的环境会影响毫米波雷达的工作，出现干扰导致雷达信号中出现噪声，因此，我们需要对毫米波雷达接收到的信息进行处理并更新来获取我们需要的有效的目标运动信息。

[0061] 基于毫米波雷达与视频数据融合模型，首先要对卫星定位系统、六个摄像头之间的数据、六个毫米波雷达之间的数据进行融合，其次对毫米波雷达的数据和摄像头的数据进行融合，主要包括：空间融合和时间融合。为了实现毫米波雷达信息和摄像头信息的空间融合，我们需要将三维世界坐标系即真实环境的信息转换到图像显示的坐标系下，这个过程也是将毫米波雷达坐标系、图像坐标系、和三维世界坐标系和摄像头坐标系及图像像素坐标系相统一的过程。需要将毫米波雷达的数据信息传递至摄像头的视频图像上，产生目标区域。而这个过程却与摄像头标定的过程相反，因为摄像头是通过二维的图像得到的三维世界的空间信息，我们这里要实现空间上的融合，就需要建立一个相反的测距模型，利用摄像头的标定来修正。时间上的融合指的是将毫米波雷达传感器的数据和摄像头的数据在时间上进行同步，使目标显示能够准确。同时采用多线程分别处理毫米波雷达数据、摄像头图像数据和融合两者数据的过程，达到时间上的同步。

[0062] 摄像头与毫米波雷达融合的结果如表1所示，需要在视频上将目标物进行标注并显示距离。

[0063] 表1 相机与雷达融合结果

[0064]

[0065] 系统总体要求：

[0066] 表2 系统总体要求

[0067]

[0068] 相机模块：

[0069] 表3 相机模块参数

[0070]

[0071]

[0072] 毫米波雷达设备：

[0073] 表4 毫米波雷达技术参数

[0074]

[0075] 卫星定位系统GPS采集数据：

[0076] 表5 GPS数据

[0077]

[0078] 尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

标题	发布/更新时间	阅读量
基于综合配电箱和高压传感器的配网线路故障检测方法	2020-10-31	1
语音处理方法、装置、电子设备及存储介质	2020-10-04	1
一种比浊法异常反应曲线的识别、修正及报警方法	2020-08-05	1
一种综合能源系统概率能流的计算方法	2023-11-07	1
一种基于3D深监督机制的颞骨关键解剖结构小目标分割方法	2023-07-08	1
一种基于宽度学习的视觉诱发电位识别情绪方法	2020-09-05	2
用于确定能量系统操作场景的方法和设备	2023-04-20	0
一种基于惯性分布指数的电力系统惯性水平评估方法	2022-10-02	0
一种计算机集成系统及故障自动切换方法	2021-02-25	1
一种电流采样比较器电路	2020-10-20	0