自动驾驶车辆的道路信息融合系统及方法
阅读：663发布：2023-05-28
专利汇可以提供自动驾驶车辆的道路信息融合系统及方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及智能交通领域，提供一种自动驾驶车辆的道路信息融合系统及方法。其中，所述道路信息融合系统包括：信息获取单元，用于获取本车的各种类型的道路 感知 传感器 所采集的多种道路信息；信息初始融合单元，用于对所述多种道路信息进行初始融合，其中所述初始融合包括信息预处理和信息有效性验证；以及信息深度融合单元，用于对经初始融合后的所述多种道路信息进行深度融合以输出本车的道路模型，其中所述深度融合包括信息坐标转换、道路特征点提取、车道线拟合、车道线计算以及信息综合管理。本发明对相似的道路信息进行了初始融合和二次融合，减少了重复的 数据处理 过程，且提高了输出的道路模型的精准性。，下面是自动驾驶车辆的道路信息融合系统及方法专利的具体信息内容。
1.一种自动驾驶车辆的道路信息融合系统，其特征在于，所述自动驾驶车辆的道路信息融合系统包括：
信息获取单元，用于获取本车的各种类型的道路感知传感器所采集的多种道路信息；
信息初始融合单元，用于对所述多种道路信息进行初始融合，其中所述初始融合包括信息预处理和信息有效性验证；以及
信息深度融合单元，用于对经初始融合后的所述多种道路信息进行深度融合以输出本车的道路模型，其中所述深度融合包括信息坐标转换、道路特征点提取、车道线拟合、车道线计算以及信息综合管理。
2.根据权利要求1所述的自动驾驶车辆的道路信息融合系统，其特征在于，所述多种道路信息包括通过本车的地图系统采集的地图信息、通过本车的车载摄像头采集的关于道路图像的摄像头信息、通过本车的定位系统采集的定位信息以及通过本车的导航系统输出的导航信息。
3.根据权利要求1或2所述的自动驾驶车辆的道路信息融合系统，其特征在于，所述信息初始融合单元包括：
信息预处理模块，用于分别处理所述地图信息和所述摄像头信息以提取出两者对应的车道线信息；以及
信息有效性验证模块，用于对所提取的所述地图信息和所述摄像头信息分别对应的车道线信息进行比对以确定两者的有效性，并输出两者中有效的车道线信息。
4.根据权利要求1或2所述的自动驾驶车辆的道路信息融合系统，其特征在于，所述信息深度融合单元包括：
信息坐标转换模块，用于构建行车坐标系，并将所述道路信息转换为通过所述行车坐标系表示，其中所述行车坐标系以本车所在道路的一侧道路边界线为基准线，以道路引导线方向为XF轴，以与所述道路引导线方向遵循左手定则的方向为YF轴；
道路特征点提取模块，用于从所述道路信息中提取出表征道路场景的道路特征点；
车道线拟合模块，用于从所述道路信息中提取出车道线信息来进行车道线线点的曲线拟合以得到对应的车道线方程；
车道线计算模块，用于根据所述车道线方程和所述行车坐标系，计算所述行车坐标系下的车道线坐标；以及
信息综合管理模块，用于对经所述信息坐标转换、所述道路特征点提取、所述车道线拟合和/或所述车道线计算得到的信息进行汇总以获取道路信息中的指定信息并进行管理。
5.根据权利要求4所述的自动驾驶车辆的道路信息融合系统，其特征在于，其中所述指定信息包括全局相关信息、道路目标相关信息、限速信息和/或边界信息，且所述信息综合管理模块优选包括：
道路布局模块，用于从所述道路信息中提取出全局相关信息，并输出给车辆的决策系统；
道路目标管理模块，用于对所述道路信息中与道路目标相关信息进行汇总输出；
限速管理模块，用于输出所述道路信息中的限速信息；以及
边界管理模块，用于输出所述道路信息中的边界信息。
6.一种自动驾驶车辆的道路信息融合方法，其特征在于，所述自动驾驶车辆的道路信息融合方法包括：
获取本车的各种类型的道路感知传感器所采集的多种道路信息；
对所述多种道路信息进行初始融合，其中所述初始融合包括信息预处理和信息有效性验证；以及
对经初始融合后的所述多种道路信息进行深度融合以输出本车的道路模型，其中所述深度融合包括信息坐标转换、道路特征点提取、车道线拟合、车道线计算以及信息综合管理。
7.根据权利要求6所述的自动驾驶车辆的道路信息融合方法，其特征在于，所述多种道路信息包括通过本车的地图系统采集的地图信息、通过本车的车载摄像头采集的关于道路图像的摄像头信息、通过本车的定位系统采集的定位信息以及通过本车的导航系统输出的导航信息。
8.根据权利要求6或7所述的自动驾驶车辆的道路信息融合方法，其特征在于，所述信息预处理包括：分别处理所述地图信息和所述摄像头信息以提取出两者对应的车道线信息；以及
所述信息有效性验证包括：对所提取的所述地图信息和所述摄像头信息分别对应的车道线信息进行比对以确定两者的有效性，并输出两者中有效的车道线信息。
9.根据权利要求6或7所述的自动驾驶车辆的道路信息融合方法，其特征在于，所述信息坐标转换包括：构建行车坐标系，并将所述道路信息转换为通过所述行车坐标系表示，其中所述行车坐标系以本车所在道路的一侧道路边界线为基准线，以道路引导线方向为XF轴，以与所述道路引导线方向遵循左手定则的方向为YF轴；
所述道路特征点提取包括：从所述道路信息中提取出表征道路场景的道路特征点；
所述车道线拟合包括：从所述道路信息中提取出车道线信息来进行车道线线点的曲线拟合以得到对应的车道线方程；
所述车道线计算包括：根据所述车道线方程和所述行车坐标系，计算所述行车坐标系下的车道线坐标；以及
所述信息综合管理包括：对经所述信息坐标转换、所述道路特征点提取、所述车道线拟合和/或所述车道线计算得到的信息进行汇总以获取指定信息并进行管理，其中所述指定信息包括全局相关信息、道路目标相关信息、限速信息和/或边界信息。
10.一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行权利要求6至9中任意一项所述的自动驾驶车辆的道路信息融合方法。
自动驾驶车辆的道路信息融合系统及方法
技术领域
[0001] 本发明涉及智能交通领域，特别涉及一种自动驾驶车辆的道路信息融合系统及方法。
背景技术
[0002] 目前，具有自动驾驶系统(Autonomous Driving System，简称ADS)的车辆已开始逐步推向市场，极大地促进了智能交通的发展。ADS是利用安装于车辆上的环境感知系统，实时感知周围环境，通过传感器返回的数据确定车辆的可行驶区域。其中，环境感知的内容可以分为两大部分，分别为道路信息和目标信息，其中目标信息可以为ADS的决策系统提供本车周围各个区域的目标，让决策系统做出正确的反应(超车、减速、跟随等行为)，实现自动控制，而道路信息为ADS进行车辆横向控制提供了可行驶道路以进行路径规划，将车辆带到指定区域位置。因此，对目标信息和道路信息的数据融合影响整个ADS的安全和稳定，在自动驾驶中能起到很关键的作用。
[0003] 但是，现有技术中主要是通过的单个道路感知传感器(如车载摄像头)来检测道路信息，检测方式较为单一，存在误检、漏检的问题，且单个道路感知传感器输出的道路信息的属性不全面、不均衡。另外，在部分利用不同道路感知传感器检测道路信息的方案，又缺少对不同传感器获取的道路信息的数据处理及数据融合机制，不利于保证获取的输出的道路模型的精准性。
发明内容
[0004] 有鉴于此，本发明旨在提出一种自动驾驶车辆的道路信息融合系统，以至少部分地解决上述技术问题。
[0005] 为达到上述目的，本发明的技术方案是这样实现的：
[0006] 一种自动驾驶车辆的道路信息融合系统，包括：信息获取单元，用于获取本车的各种类型的道路感知传感器所采集的多种道路信息；信息初始融合单元，用于对所述多种道路信息进行初始融合，其中所述初始融合包括信息预处理和信息有效性验证；以及信息深度融合单元，用于对经初始融合后的所述多种道路信息进行深度融合以输出本车的道路模型，其中所述深度融合包括信息坐标转换、道路特征点提取、车道线拟合、车道线计算以及信息综合管理。
[0007] 进一步的，所述多种道路信息包括通过本车的地图系统采集的地图信息、通过本车的车载摄像头采集的关于道路图像的摄像头信息、通过本车的定位系统采集的定位信息以及通过本车的导航系统输出的导航信息。
[0008] 进一步的，所述信息初始融合单元包括：信息预处理模块，用于分别处理所述地图信息和所述摄像头信息以提取出两者对应的车道线信息；以及信息有效性验证模块，用于对所提取的所述地图信息和所述摄像头信息分别对应的车道线信息进行比对以确定两者的有效性，并输出两者中有效的车道线信息。
[0009] 进一步的，所述信息深度融合单元包括：信息坐标转换模块，用于构建行车坐标系，并将所述道路信息转换为通过所述行车坐标系表示，其中所述行车坐标系以本车所在道路的一侧道路边界线为基准线，以道路引导线方向为XF轴，以与所述道路引导线方向遵循左手定则的方向为YF轴；道路特征点提取模块，用于从所述道路信息中提取出表征道路场景的道路特征点；车道线拟合模块，用于从所述道路信息中提取出车道线信息来进行车道线线点的曲线拟合以得到对应的车道线方程；车道线计算模块，用于根据所述车道线方程和所述行车坐标系，计算所述行车坐标系下的车道线坐标；以及信息综合管理模块，用于对经所述信息坐标转换、所述道路特征点提取、所述车道线拟合和/或所述车道线计算得到的信息进行汇总以获取道路信息中的指定信息并进行管理。
[0010] 进一步的，其中所述指定信息包括全局相关信息、道路目标相关信息、限速信息和/或边界信息，且所述信息综合管理模块包括：道路布局模块，用于从所述道路信息中提取出全局相关信息，并输出给车辆的决策系统；道路目标管理模块，用于对所述道路信息中与道路目标相关信息进行汇总输出；限速管理模块，用于输出所述道路信息中的限速信息；以及边界管理模块，用于输出所述道路信息中的边界信息。
[0011] 相对于现有技术，本发明所述的自动驾驶车辆的道路信息融合系统具有以下优势：
[0012] (1)能够获取多种类型的道路感知传感器采集的多种道路信息，解决了单个道路感知传感器在检测道路信息方面存在的检测方式单一、易发生误检和漏检、检测的道路信息属性不全面不均衡等问题。
[0013] (2)本发明实施例的道路信息融合系统对相似的道路信息进行了初始融合和二次融合，减少了重复的数据处理过程，且提高了输出的道路模型的精准性，便于车辆的决策系统做出更为准确的车辆行驶策略。
[0014] 本发明的另一目的在于提出一种自动驾驶车辆的道路信息融合方法，以至少部分地解决上述技术问题。
[0015] 为达到上述目的，本发明的技术方案是这样实现的：
[0016] 一种自动驾驶车辆的道路信息融合方法，包括：获取本车的各种类型的道路感知传感器所采集的多种道路信息；对所述多种道路信息进行初始融合，其中所述初始融合包括信息预处理和信息有效性验证；以及对经初始融合后的所述多种道路信息进行深度融合以输出本车的道路模型，其中所述深度融合包括信息坐标转换、道路特征点提取、车道线拟合、车道线计算以及信息综合管理。
[0017] 进一步的，所述多种道路信息包括通过本车的地图系统采集的地图信息、通过本车的车载摄像头采集的关于道路图像的摄像头信息、通过本车的定位系统采集的定位信息以及通过本车的导航系统输出的导航信息。
[0018] 进一步的，所述信息预处理包括：分别处理所述地图信息和所述摄像头信息以提取出两者对应的车道线信息；以及所述信息有效性验证包括：对所提取的所述地图信息和所述摄像头信息分别对应的车道线信息进行比对以确定两者的有效性，并输出两者中有效的车道线信息。
[0019] 进一步的，所述信息坐标转换包括：构建行车坐标系，并将所述道路信息转换为通过所述行车坐标系表示，其中所述行车坐标系以本车所在道路的一侧道路边界线为基准线，以道路引导线方向为XF轴，以与所述道路引导线方向遵循左手定则的方向为YF轴；所述道路特征点提取包括：从所述道路信息中提取出表征道路场景的道路特征点；所述车道线拟合包括：从所述道路信息中提取出车道线信息来进行车道线线点的曲线拟合以得到对应的车道线方程；所述车道线计算包括：根据所述车道线方程和所述行车坐标系，计算所述行车坐标系下的车道线坐标；以及所述信息综合管理包括：对经所述信息坐标转换、所述道路特征点提取、所述车道线拟合和/或所述车道线计算得到的信息进行汇总以获取指定信息并进行管理，其中所述指定信息包括全局相关信息、道路目标相关信息、限速信息和/或边界信息。
[0020] 本发明的另一目的在于提出一种机器可读存储介质，以至少部分地解决上述技术问题。
[0021] 为达到上述目的，本发明的技术方案是这样实现的：
[0022] 一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的自动驾驶车辆的道路信息融合方法。
[0023] 所述自动驾驶车辆的道路信息融合方法及机器可读存储介质与上述自动驾驶车辆的道路信息融合方法相对于现有技术所具有的优势相同，在此不再赘述。
[0025] 构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0026] 图1是本发明实施例的自动驾驶车辆的道路信息融合系统的结构示意图；
[0027] 图2是本发明实施例的行车坐标系XFOFYF及全局坐标系XGOGYG和车辆坐标系XHOHYH的示意图；
[0028] 图3是本发明实施例中计算行车坐标系下的车道线坐标的示意图；以及[0029] 图4是本发明实施例的自动驾驶车辆的道路信息融合方法的流程示意图。
[0030] 附图标记说明：
[0031] 100、信息获取单元；200、信息初始融合单元；210、信息预处理模块；220、信息有效性验证模块；300、信息深度融合单元；310、信息坐标转换模块；320、道路特征点提取模块；330、车道线拟合模块；340、车道线计算模块；350、信息综合管理模块。
具体实施方式
[0032] 需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。
[0033] 下面将参考附图并结合实施方式来详细说明本发明。
[0034] 图1是本发明实施例的自动驾驶车辆的道路信息融合系统的结构示意图。如图1所示，该道路信息融合系统包括：信息获取单元100，用于获取本车的各种类型的道路感知传感器所采集的多种道路信息；信息初始融合单元200，用于对所述多种道路信息进行初始融合，其中所述初始融合包括信息预处理和信息有效性验证；以及信息深度融合单元300，用于对经初始融合后的所述多种道路信息进行深度融合以输出本车的道路模型，其中所述深度融合包括信息坐标转换、道路特征点提取、车道线拟合、车道线计算以及信息综合管理。
[0035] 其中，所述信息获取单元100获取的所述多种道路信息包括通过本车的地图系统采集的地图信息、通过本车的车载摄像头采集的关于道路图像的摄像头信息、通过本车的定位系统采集的定位信息以及通过本车的导航系统输出的导航信息。其中，所述地图信息包括道路类型、车道数量、道路宽度、道路特征点以及本车两侧车道线的线点和车道宽度等，所述摄像头信息包括摄像头拍摄的车辆前方的道路图像信息，具体也包括车道线图像等。因此，可知这其中会有相似的信息，比如地图信息和摄像头信息中都有车道线信息，因此本发明实施例对这些道路信息(特别是相似的道路信息)进行提取融合，以使车辆的决策系统能最终得到最为精准的道路模型。另外，需说明的是，本车的地图系统优选为高精度地图系统，从而对应采集的地图信息为高精度地图信息。
[0036] 在优选的实施例中，所述信息初始融合单元200可以包括：信息预处理模块210，用于分别处理所述地图信息和所述摄像头信息以提取出两者对应的车道线信息；以及信息有效性验证模块220，用于对所提取的所述地图信息和所述摄像头信息分别对应的车道线信息进行比对以确定两者的有效性，并输出两者中有效的车道线信息。
[0037] 举例而言，信息预处理模块210处理所述地图信息和所述摄像头信息以提取出两者对应的车道线信息可以包含两部分：一是将高精度地图信息中的车道线数据转换到车辆坐标系下，并进行差值处理，得到间距更近的高精度地图的车道线线点；二是对摄像头信息中的车道线数据进行离散处理，得到与高精度地图等间距的车辆坐标点。
[0038] 举例而言，信息有效性验证模块220进行有效性验证可以包括：实时计算本车前方10m、30m和50m处两者的距离差值，如果差值在设定的阈值范围内，那么认为地图信息有效，后续数据输入为地图信息，当地图信息失效时，则后续数据输入全部为摄像头信息。更进一步地，设针对车道线的地图信息和摄像头信息分别为Lane1和Lane2，则可以设定车道线识别方程Lane＝K1*Lane1+K2*Lane2，其中，Lane表示待识别的车道线，K1和K2分别为两个比例因子。其中，由地图信息中车道线信息需要地图系统结合定位系统才能得到，从而K1和K2可根据道路属性、定位系统(例如GPS)工作模式、摄像头置信度来进行确定，例如在笔直道路上，GPS工作在RTK(Real-time kinematic，实时动态)模式，但检测车道线的效果不及摄像头，则使K2大于K1，再例如在摄像头置信度低于预设精度时将K2直接置0，在GPS工作在非RTK模式时，将K1直接置0。在此，以GPS和预设精度为0.9的摄像头为例，可参考表1进行两个比例因子的配置。
[0039] 表1
[0040]
[0041]
[0042] 据此，本发明实施例对车道线的地图信息和摄像头信息进行了有效性验证，该有效性验证方案简单且适应性强，其与现有技术中常用的滤波算法(扩展卡尔曼滤波算法、粒子滤波算法等)、预估算法相比，不再需要反复迭代的计算过程，节约了计算时间，从而具有更高的实时性和通用性。另外，本发明实施例结合道路属性信息、定位系统的工作模式及摄像头的置信度来进行车道线的地图信息和摄像头信息的有效性验证，能适用于弯曲道路及笔直道路下的自动驾驶系统尤其是结构化道路下自动驾驶系统。此外，在摄像头信息和地图信息中的一者丢失的情况下，可依赖于另外一者来实现车道保持功能，并给予充足的时间进行人为接管，保证驾驶员低速跛行回家，实现了某一传感器失效系统仍可运行的功能安全需求。
[0043] 在更为优选的实施例中，所述信息深度融合单元300可以包括：信息坐标转换模块310，用于构建行车坐标系，并将所述道路信息转换为通过所述行车坐标系表示，其中所述行车坐标系以本车所在道路的一侧道路边界线为基准线，以道路引导线方向为XF轴，以与所述道路引导线方向遵循左手定则的方向为YF轴；道路特征点提取模块320，用于从所述道路信息中提取出表征道路场景的道路特征点；车道线拟合模块330，用于从所述道路信息中提取出车道线信息来进行车道线线点的曲线拟合以得到对应的车道线方程；车道线计算模块340，用于根据所述车道线方程和所述行车坐标系，计算所述行车坐标系下的车道线坐标；以及信息综合管理模块350，用于对经所述信息坐标转换、所述道路特征点提取、所述车道线拟合和/或所述车道线计算得到的信息进行汇总以获取道路信息中的指定信息并进行管理。
[0044] 其中，对于信息坐标转换模块310，其构建了一种新的适用于各种路况(特别是弯道工况)的反映本车、目标与道路之间的映射关系的行车坐标系。为了描述清楚，在此对车辆自动驾驶中常用的全局坐标系、车辆坐标系及本发明实施例的行车坐标系进行说明。
[0045] 图2是本发明实施例的行车坐标系XFOFYF及全局坐标系XGOGYG和车辆坐标系XHOHYH的示意图。全局坐标系XGOGYG是以大地坐标系为基准，XG指向北，YG指向东，角度方向顺时针为正，角度范围[0，360°]。其中，地图车道线信息等是基于全局坐标系给出的。车辆坐标系XHOHYH是以本车为基准，XH指向车辆纵轴方向，YH指向车辆横轴方向，遵从右手定则，逆时针为正，车辆上的摄像头、激光雷达、毫米波雷达的传感器的输出信息等是基于车辆坐标系给出的。根据全局坐标系及车辆坐标系的定义，本发明实施例的行车坐标系可对应表示为XFOFYF，构建该行车坐标系即是需要确定原点OF以及XF轴和YF轴的方向，具体可包括：确定本车所在道路的一侧道路边界线为建立行车坐标系的基准线；在车辆坐标系下，确定本车位置与所述基准线距离最小的基准线点作为所述行车坐标系的原点OF；基于所述原点OF，确定道路引导线方向为所述行车坐标系的XF轴，并确定与所述道路引导线方向遵循左手定则的方向为所述行车坐标系的YF轴；基于所述原点OF、XF轴和所述YF轴，形成对应的行车坐标系。
[0046] 其中，确定坐标原点是建立行车坐标系的关键，本发明实施例中可确定本车位置与所述基准线距离最小的基准线点作为所述行车坐标系的原点OF，具体步骤可以包括：
[0047] 1)在所述基准线上设置间距相同的若干个基准线点。
[0048] 举例而言，基准线点可通过对基准线在车辆坐标下的方程进行离散化得到，基准线点越密越好，例如间距可以为0.1m。
[0049] 2)计算每一个基准线点与本车位置的欧式距离。
[0050] 3)以所计算出的欧式距离最短的点作为所述行车坐标系的原点OF。
[0051] 具体地，计算基准线上每一个基准线点与本车位置的欧式距离以寻找本车位置与基准线距离最小的基准线点，即 最小时，对应的坐标作为行车坐标系的原点OF。
[0052] 即，构建了行车坐标系XFOFYF，其以道路边界线(最左侧车道线或最右侧车道边线)为基准线，XF指向道路引导线方向，YF与道路引导线方向之间遵循左手定则。
[0053] 如图2所示，行车坐标系XFOFYF是建立在道路边界线上，与车道线走势完全一致的坐标系统。在确定原点OF(XFo，YFo)之后，可计算道路边界线上每一点与行车坐标原点OF(XFo，YFo)之间的弧长距离作为每一点的行车纵坐标XFi，因此该行车坐标系的纵轴XF与道路走势完全一致，所述每一个基准线点的行车坐标横坐标为YFi＝0，据此本车位置、车道线、目标等都可以基于行车坐标系给出，且特别是在弯道工况，以真实弯道弧长距离作为目标距离信息输出，相对于车道坐标系，能够避免目标区域属性和有效距离误差的情况。另外，如果在行车坐标系中用点来描述每条车道线，易知车道线上的每一个点在行车坐标系下的横坐标都是相同的，只有纵坐标不同，例如参考图2，选定的车道线上，纵坐标依次增加，横坐标则都为3.75m，在此，行车坐标系的基准线是可以切换的，切换规则例如是：以预先设置的默认道路边界线为所述基准线；切换为所述导航方向信息示出的导航方向侧的道路边界线；若本车当前所在道路为匝道，则保持当前的所述基准线不变；若本车当前所在道路为主道，切换为所述默认道路边界线。
[0054] 在此，通过该行车坐标系可以很好的实现针对目标的区域划分，同时可得到更准确的距离信息，特别是在弯道工况下，行车坐标系中使用纵向弧长来表示道路目标等的纵向距离，相较于车辆坐标系下的直线距离，能更真实的表达本车与道路目标之间的距离。另外，在构建了行车坐标系XFOFYF之后，后续自动驾驶数据处理过程中，车道线和道路目标等将同时拥有车辆坐标系和行车坐标系的双重属性，可根据需要选择。
[0055] 进一步地，道路特征点提取模块320用于从所述道路信息中提取出表征道路场景的道路特征点可以包括：比较地图信息中的当前道路属性和下段道路属性以判断下段道路的道路类型，其中该比较可通过导航信息来触发；结合所述下段道路的道路类型与所述下段道路对应的地图信息，提取所述下段道路上的表征道路场景的道路特征点，并输出所提取的道路特征点的名称以及所述道路特征点与本车之间的相对距离信息。
[0056] 在示例中，道路属性可包括交换区属性、车道线属性和隧道属性，其中所述交换区属性是指示道路是否发生车道数量变化的信息，所述车道线属性是指示道路的车道线数量的信息，所述隧道属性是指示道路中是否存在隧道的信息。据此，在该示例中，可判断出如下的10种道路类型及提取出对应的10种道路特征点：
[0057] 1)加速车道特征点
[0058] 在当前道路的交换区属性为无，且下段道路的交换区属性为车道出入口的情况下，判断所述下段道路包含加速车道。
[0059] 该场景下，对于加速车道特征点的提取可以没有触发条件(即不通过导航信息提示)，而是通过当前道路属性和下段道路属性综合判断得到加速道路特征点。在判断出所述下段道路包含加速车道时，提取出加速车道特征点，并输出属于所述加速车道特征点的加速车道起点、加速车道终点及所述加速车道起点和所述加速车道终点距离本车的相对位置。具体地，从地图信息中可以提取出下段道路的起点位置及长度，从而可进一步确定终点位置，并计算出本车与下段道路起点和终点的距离。
[0060] 2)减速车道特征点
[0061] 在当前道路的交换区属性为无，且下段道路的交换区属性为下匝道的情况下，判断所述下段道路包含减速车道。
[0062] 在判断出所述下段道路包含减速车道时，提取出减速车道特征点，并输出属于所述减速车道特征点的减速车道起点、减速车道终点及所述减速车道起点和所述减速车道终点距离本车的相对位置。
[0063] 该场景下，可以将导航信息提示下匝道(此时距离匝道出口大约在2km左右)作为提取减速车道特征点的触发条件。在此，将导航信息作为道路特征点触发条件的一个因素，使其与地图信息相配合，更能触发对道路特征点的及时提取，并保证提取的特征点的重要性。
[0064] 其中，在本发明实施例中，输出所提取的道路特征点的名称可以包括：结合所述导航信息确定并输出所提取的道路特征点的名称。在此，例如导航信息会提示“前方进入减速车道”，则本发明实施例可以提取导航信息中的关键字“减速车道”，并将提取出的道路特征点命名为减速车道起点及减速车道终点。
[0065] 3)主道变宽特征点
[0066] 在当前道路的车道数属性比下段道路的车道数属性少，且下段道路的交换区属性为主道车道增加的情况下，判断所述下段道路包含主道变宽车道。
[0067] 在判断出所述下段道路包含主道变宽车道时，提取出主道变宽特征点，并输出属于所述主道变宽特征点的主道变宽起点、主道变宽终点及所述主道变宽起点和所述主道变宽终点距离本车的相对位置。
[0068] 进一步地，可以将导航信息提示道路变宽(此时距离匝道出口大约在2km左右)作为提取主道变宽特征点的触发条件，然后再提取出主道变宽特征点。
[0069] 4)主道变窄特征点
[0070] 在当前道路的车道数属性比下段道路的车道数属性多，且下段道路的交换区属性为主道车道减少的情况下，判断所述下段道路包含主道变窄车道。
[0071] 在判断出所述下段道路包含主道变窄车道时，提取出主道变窄特征点，并输出属于所述主道变窄特征点的主道变窄起点、主道变窄终点及所述主道变窄起点和所述主道变窄终点距离本车的相对位置。
[0072] 可以将导航信息提示道路变窄(此时距离匝道出口大约在2km左右)作为提取主道变窄特征点的触发条件。
[0073] 5)主道分叉特征点(分离式路基)
[0074] 在当前道路的交换区属性为无，且下段道路的交换区属性为主道车道汇入汇出路况的情况下，判断所述下段道路包含主道分叉车道。
[0075] 在判断出所述下段道路包含主道分叉车道时，提取出主道分叉特征点，并输出属于所述主道分叉特征点的主道分叉起点、主道分叉终点及所述主道分叉起点和所述主道分叉终点距离本车的相对位置。
[0076] 进一步地，可以将导航信息提示主道分叉(此时距离匝道出口大约在2km左右)作为提取主道分叉特征点的触发条件。
[0077] 6)匝道分叉特征点
[0078] 在当前道路的交换区属性为无，且下段道路的交换区属性为匝道车道汇入汇出路况的情况下，判断所述下段道路包含匝道分叉车道。
[0079] 在判断出所述下段道路包含匝道分叉车道时，提取出匝道分叉特征点，并输出属于所述匝道分叉特征点的匝道分叉起点、匝道分叉终点及所述匝道分叉起点和匝道主道分叉终点距离本车的相对位置。
[0080] 可以将导航信息提示匝道分叉(此时距离匝道出口大约在2km左右)作为提取匝道分叉特征点的触发条件。
[0081] 7)匝道变宽特征点
[0082] 在当前道路的车道数属性比下段道路的车道数属性少，且下段道路的交换区属性为匝道车道增加的情况下，判断所述下段道路包含匝道变宽车道。
[0083] 在判断出所述下段道路包含匝道变宽车道时，提取出匝道变宽特征点，并输出属于所述匝道变宽特征点的匝道变宽起点、匝道变宽终点及所述匝道变宽起点和所述匝道变宽终点距离本车的相对位置。
[0084] 在此，提取匝道变宽特征点可以没有触发条件。
[0085] 8)匝道变窄特征点
[0086] 在当前道路的车道数属性比下段道路的车道数属性多，且下段道路的交换区属性为匝道车道减少的情况下，判断所述下段道路包含匝道变窄车道。
[0087] 在判断出所述下段道路包含匝道变窄车道时，提取出匝道变窄特征点，并输出属于所述匝道变窄特征点的匝道变窄起点、匝道变窄终点及所述匝道变窄起点和所述匝道变窄终点距离本车的相对位置。
[0088] 在此，提取匝道变窄特征点可以没有触发条件。
[0089] 9)匝道合并特征点和匝道交汇特征点
[0090] 在当前道路的交换区属性为无，且下段道路交换区属性为车道汇入汇出口的情况下，判断所述下段道路包含匝道合并车道或匝道交汇车道。
[0091] 在判断出所述下段道路包含匝道合并的情况时，提取出匝道合并特征点，并输出属于所述匝道合并特征点的匝道合并起点、匝道合并终点及所述匝道合并起点和所述匝道合并终点距离本车的相对位置，或者在判断出所述下段道路包含匝道交汇的情况时，提取出匝道交汇特征点，并输出属于所述匝道交汇特征点的匝道交汇起点、匝道交汇终点及所述匝道交汇起点和所述匝道交汇终点距离本车的相对位置。
[0092] 在此，提取匝道合并特征点和匝道交汇特征点可以没有触发条件。
[0093] 10)隧道特征点
[0094] 在当前道路的隧道属性为无，且下段道路的隧道属性为有的情况下，判断所述下段道路包含道路隧道。
[0095] 在判断出所述下段道路包含道路隧道时，提取出隧道特征点，并输出属于所述隧道特征点的隧道起点、隧道终点及所述隧道起点和所述隧道终点距离本车的相对位置。
[0096] 进一步地，可以将导航信息提示前方隧道(此时距离匝道出口大约在2km左右)作为提取隧道特征点的触发条件。
[0097] 据此，通过上述10种道路类型的特征点提取，可知本发明实施例不需要单独地采集车辆当前位置附近的总体的道路信息，而是通过地图信息确定能精确表征道路场景的道路特征点，并提取出涉及到车辆控制的重要道路特征点的名称及位置信息，减少了进行车辆控制的数据分析量，且针对性更强，能准确提取出进行车辆控制真正需要的信息，从而能够精准地控制车辆实现加速、减速、换道等动作。此外，输出重要道路特征点的名称有利于简化传输的数据格式，而导航信息的应用与地图信息形成冗余及配合，更能保证提取道路特征点的精度。
[0098] 进一步地，对于车道线拟合模块330，其进行车道线拟合的关键是确定车道线偏移基准。在优选的实施例中，可确定本车两侧车道线中与以下至少一者示出的方向相一致的一侧车道线为用于车道线拟合的车道线偏移基准：
[0099] 1)换道方向侧，指示当前道路中本车预期换道的一侧。
[0101] 其中，决策换道信号可由自动驾驶车辆的决策系统给出，该决策系统根据当前车辆数据、道路数据及目标数据等确定是否进行车辆换道，并给出对应的决策换道信号，例如车道保持(不换道)、左换道且换道未完成、右换道且换道未完成、有换道信号且换道完成等。
[0102] 2)行车坐标系基准侧。
[0103] 在已经建立了行车坐标系的基础上，可以得到行车坐标系基准侧(即行车坐标系的基准线)的方向信息(在道路左侧还是在道路右侧建立行车坐标系)，再根据高精度地图输出的本车两侧车道线的位置点，并确定与行车坐标系基准侧的方向相一致的一侧为车道线偏移基准。
[0104] 3)道路宽度不变侧，指示本车的前方道路中不发生道路宽度变化的一侧。
[0105] 其中，导航信息可指示道路宽度不变侧，具体地，其可以实时指示前方道路宽度变化情况(左侧变窄、左侧变宽、右侧变窄、右侧变宽等)，再根据高精度地图输出的本车两侧车道线的位置点，并确定与道路宽度不变侧的方向相一致的一侧为车道线偏移基准。
[0106] 4)车道连续侧，指示当前道路中车道连续性不发生变化的一侧。
[0107] 举例而言，在高速公路存在道路宽度无变化，但车道数量有变化的情况，那肯定会存在一侧车道连续另外一侧不连续的情况，因此可根据车道连续侧来确定所述车道线偏移基准。
[0108] 在确定了车道线偏移基准的基础上，基于所述车道线偏移基准偏移生成本车的多条车道线，再对所生成的多条车道线上的线点的集合进行曲线拟合就可以得到对应的车道线方程。其中，基于所述车道线偏移基准偏移生成本车的多条车道线可以包括：计算所述车道线偏移基准上每一个线点处的航向角；以及基于所述车道线偏移基准上每一个线点对应的坐标、航向角以及预设的车道宽度，向左和/或向右偏移所述预设的车道宽度以生成本车的多条车道线。计算公式说明如下：
[0109] 原始点：(x(1)，x(2)，x(3)，……，x(n)；y(1)，y(2)，y(3)，……，y(n))。
[0110] 计算航向角信息：
[0111] yaw(1)＝atan2((y(1))，x(1)))*180/pi；
[0112] yaw(2)＝atan2((y(2)-y(1))，(x(2)-x(1)))*180/pi；
[0113] yaw(3)＝atan2((y(3)-y(2))，(x(3)-x(2)))*180/pi；.
[0114] yaw(n)＝atan2((y(n)-y(n-1))，(x(n)-x(n-1)))*180/pi；
[0115] 车道线上点的偏移公式(向右偏移)如下：
[0116] X(i)＝x(i)+LaneWidth_m*sin(yaw(i))；
[0117] Y(i)＝y(i)-LaneWidth_m*cos(yaw(i))；
[0118] 其中LaneWidth_m表示车道宽度(一般默认车道宽度为3.75m)。
[0119] 需说明的是，本发明实施例中本车两侧车道线是指相邻于本车的左车道线和右车道线，而不包括左左车道线、右右车道线等，而这里所述的多条车道线包括本车两侧车道线以及两侧车道向左或向右的左左车道线、右右车道线等。
[0120] 据此，本发明实施例能够准确、快速地确定用于车道线拟合的车道线偏移基准，并基于车道线偏移基准输出有效车道线，有利于进行车道保持其他的控制，解决了现在技术中提取的车道线数目众多且相对复杂的问题，能够适应于不同道路场景，且车道线算法处理的效率高。
[0121] 进一步地，图3是本发明实施例中车道线计算模块340计算所述车道线坐标的示意图，其中L1为本车的左侧车道线，R1为本车的右侧车道线，L2为本车的左左侧车道线，R2为本车的右右侧车道线。参考图3，可知计算车道线坐标具体可以包括以下计算过程：
[0122] 1)将待计算的车道线离散化为车辆坐标系下的多个车道线点。
[0123] 如图3所示，以左侧车道线L1为例，在已知L1在车辆坐标系下的方程的情况下，易于将L1离散化为车辆坐标系下的点信息。其中，点的间距优选为越密越好，例如间距是0.1m。
[0124] 2)计算所述待计算的车道线上的每一个车道线点与所述行车坐标系的原点的欧氏距离，以所计算出的最短欧氏距离为该车道线在行车坐标系下的横坐标YF。
[0125] 根据行车坐标系的特点，可其是与车道线走势完全一致的坐标系，而车道线之间相互平行，因此只通过所述车道线在行车坐标系下的横坐标YF这一个参数可以表示车道线坐标。再次参考图3，其中D2就是L1至所述行车坐标系的原点OF的最短距离，即可通过D2表示该车道线L1在行车坐标系下的坐标。其他车道线在行车坐标系下的坐标计算与之类似。
[0126] 在其他实施例中，有另外的计算行车坐标系下的车道线坐标的方法，例如：可设拟合的车道线方程为y＝c0+c1*x+c2x2+c3x3(其中车辆坐标系是以左为正，在本车左侧的车道线C0是正值，在本车右侧的车道线C0为负值)，C0反映了本车中心点至相应车道线的最短距离，所以可以直接借用车道线在车辆坐标系下的C0值来反应本车距离车道线的距离属性；因此，可确定本车中心点在所述行车坐标系下的坐标(0，Y0)，计算横坐标Y0值与所述待计算的车道线所对应的C0值的差值，通过该差值表示相应车道线在所述行车坐标系下的车道线坐标。
[0127] 据此，本发明实施例利用了行车坐标系来计来确定车道线坐标，而行车坐标系相对于常规的车辆坐标系，能更真实地表达本车与车道线之间的关系，且省去了在车辆坐标系下大量复杂计算的过程，有助于很好地进行道路目标的区域划分，例如道路目标的行车横坐标已知，车道线的行车横坐标已知，可直接进行大小判断以确定在道路目标划分至车道线确定的哪个区域中。
[0128] 进一步地，对于信息综合管理模块350，其主要是对经所述信息坐标转换、所述道路特征点提取、所述车道线拟合和/或所述车道线计算得到的信息进行汇总以获取道路信息中的指定信息并进行管理。其中，所述指定信息包括全局相关信息、道路目标相关信息、限速信息和/或边界信息，据此所述信息综合管理模块可以包括：
[0129] 1)道路布局模块，用于从所述道路信息中提取出全局相关信息，并输出给车辆的决策系统。
[0130] 具体地，道路布局模块主要是根据地图信息和导航信息，汇总全局相关信息，并输出给决策系统使用。其中，全局相关信息是指与决策系统制定针对本车的全局控制相关的信息，例如车道数量、本车所在车道、道路类型等。
[0131] 2)道路目标管理模块，用于对所述道路信息中与道路目标相关信息进行汇总输出。
[0132] 具体地，道路目标管理模块是将地图信息和导航信息里的道路箭头标识、道路固有交通信号灯、道路限速标识等道路目标信息进行汇总输出。
[0133] 3)限速管理模块，用于输出所述道路信息中的限速信息。
[0134] 具体地，限速管理模块将导航信息和地图信息里的限速信息进行整合输出。
[0135] 4)边界管理模块，用于输出所述道路信息中的边界信息。
[0136] 具体地，边界管理模块将地图信息中的边界信息和摄像头信息中的地图信息中的边界信息进行整合输出。
[0137] 需说明的是，在本发明实施例中，道路信息融合系统的各个功能模块或功能单元之间可通过电性连接来进行信息交互，其中“电性连接”用于表述两个部件之间的信号连接，例如控制信号和反馈信号，以及两个部件之间的电功率连接。另外，这里涉及的“连接”可以是有线连接，也可以是无线连接，且涉及的“电性连接”可以是两个部件之间的直接电性连接，也可以是通过其他部件的间接电性连接。
[0138] 综上所述，本发明实施例的道路信息融合系统能获取多种类型的道路感知传感器采集的多种道路信息，解决了单个道路感知传感器在检测道路信息方面存在的检测方式单一、易发生误检和漏检、检测的道路信息属性不全面不均衡等问题。另外，本发明实施例的道路信息融合系统对相似的道路信息进行了初始融合和二次融合，减少了重复的数据处理过程，且提高了输出的道路模型的精准性，便于车辆的决策系统做出更为准确的车辆行驶策略。
[0139] 图4是本发明实施例的一种自动驾驶车辆的道路信息融合方法的流程示意图，该道路信息融合方法与上述道路信息融合系统基于相同的发明思路。如图4所示，所述道路信息融合方法可以包括以下步骤：
[0140] 步骤S410，获取本车的各种类型的道路感知传感器所采集的多种道路信息。
[0141] 其中，所述多种道路信息包括通过本车的地图系统采集的地图信息、通过本车的车载摄像头采集的关于道路图像的摄像头信息、通过本车的定位系统采集的定位信息以及通过本车的导航系统输出的导航信息。
[0142] 步骤S420，对所述多种道路信息进行初始融合。
[0143] 其中，所述初始融合包括信息预处理和信息有效性验证。
[0144] 优选地，所述信息预处理可以包括：分别处理所述地图信息和所述摄像头信息以提取出两者对应的车道线信息。
[0145] 优选地，所述信息有效性验证可以包括：对所提取的所述地图信息和所述摄像头信息分别对应的车道线信息进行比对以确定两者的有效性，并输出两者中有效的车道线信息。
[0146] 步骤S430，对经初始融合后的所述多种道路信息进行深度融合以输出本车的道路模型。
[0147] 其中，所述深度融合包括信息坐标转换、道路特征点提取、车道线拟合、车道线计算以及信息综合管理。
[0148] 优选地，所述信息坐标转换包括：构建行车坐标系，并将所述道路信息转换为通过所述行车坐标系表示。
[0149] 优选地，所述道路特征点提取包括：从所述道路信息中提取出表征道路场景的道路特征点。
[0150] 优选地，所述车道线拟合包括：从所述道路信息中提取出车道线信息来进行车道线线点的曲线拟合以得到对应的车道线方程。
[0151] 优选地，所述车道线计算包括：根据所述车道线方程和所述行车坐标系，计算所述行车坐标系下的车道线坐标。
[0152] 优选地，所述信息综合管理包括：对经所述信息坐标转换、所述道路特征点提取、所述车道线拟合和/或所述车道线计算得到的信息进行汇总以获取指定信息并进行管理，其中所述指定信息包括全局相关信息、道路目标相关信息、限速信息和/或边界信息。
[0153] 本发明实施例的自动驾驶车辆的道路信息融合方法的具体实施细节及有益效果可参考上述关于自动驾驶车辆的道路信息融合系统的实施例，在此则不再赘述。
[0154] 本发明另一实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的自动驾驶车辆的道路信息融合方法。其中，所述机器例如是自动驾驶车辆的计算机。
[0155] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，例如适应性改变步骤的执行顺序以及调节功能模块间的连接关系，均应包含在本发明的保护范围之内。
[0156] 本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
[0157] 此外，本发明实施例的各种不同的实施例之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 陶瓷压力接管上的压力传感器 | 2020-05-08 | 119 |
| 用于制造梯度热通量传感器的方法 | 2020-05-11 | 879 |
| 用于机动车的高压插接连接器的高压插接连接部件、高压车载电网以及机动车 | 2020-05-08 | 780 |
| 传感器线 | 2020-05-11 | 51 |
| 在低温下具有高灵敏度的气体传感器装置及其制造方法 | 2020-05-08 | 151 |
| 在陶瓷基底上的压力传感器 | 2020-05-11 | 135 |
| 自动分析装置 | 2020-05-08 | 274 |
| 二氧化碳和/或硫化氢检测系统和方法及其应用 | 2020-05-08 | 952 |
| 适用于断路器的独立型瞬时电流检测用印刷电路板电流互感器器件 | 2020-05-08 | 260 |
| PH传感器和用于pH传感器的校准方法 | 2020-05-08 | 455 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
传感器热门专利
QQ群二维码
意见反馈
意见反馈