技术领域
[0001] 本
发明涉及车辆自动驾驶技术领域，特别是涉及一种基于
深度学习的分层式端到端车辆自动驾驶方法。
背景技术
[0002] 目前，实现车辆自动驾驶的主流方法包括“
感知-决策-控制”方法和端到端方法，但是二者均面临诸多挑战。对于“感知-决策-控制”方法来说，其
传感器信号由于人为进行提取，从而存在信息丢失的问题，其决策过程由于是基于规则的决策，因此难以全面定义行驶工况，而其控制过程多数基于模型控制，但难以对车辆进行精确建模；对于端到端方法来说，存在着传感器原始输入的无效信息过多、难以发现有效信息，输入与输出之间的映射定义易出错，难以进行多目标优化等问题。
[0003] 因此，希望有一种车辆自动驾驶方法能够克服或至少减轻
现有技术的上述
缺陷中的至少一个。
发明内容
[0004] 为克服上述现有技术之不足，本发明着
力于提供一种分层式端到端车辆自动驾驶系统构建方法，其目的在于解决或至少减轻现有技术的上述缺陷中的至少一个。该方法能够获得较为可靠的自动驾驶效果。
[0005] 本发明解决以上技术问题所采用的技术方案如下：一种分层式端到端车辆自动驾驶系统构建方法，所述方法是基于神经网络模型和增强学习模型，将自动驾驶系统搭建为四层管理架构：
[0006] 第一层采用一个神经网络模型，以包括摄像头在内的传感器原始采集的数据为输入，以神经网络的隐层结果为输出，其中输出仅包含交通环境特征；
[0007] 第二层并列采用两个神经网络模型，以所述第一层的输出结果为输入，以本层神经网络的隐层结果为输出，其中两个输出分别仅包含道路特征和道路参与者特征；
[0008] 第三层并列采用两个增强学习模型，分别以所述第二层的两个输出结果为输入，输出分别为仅考虑道路特征的车辆控制命令和仅考虑道路参与者特征的控制命令；
[0009] 第四层采用一个增强学习模型，以所述第三层的两个输出结果为并列输入，输出为包含有道路特征和道路参与者特征的终级车辆控制命令。
[0010] 所述隐层结果是一种不为人类可直观理解的表现形式。
[0011] 所述交通环境特征中包含有道路特征和道路参与者特征。
[0012] 输出的终级车辆控制命令，包括有
方向盘转
角、
油门踏板开度和
刹车踏板开度命令。
[0013] 所述第一层和第二层采用的神经网络模型为深度
卷积神经网络模型。
[0014] 所述第三层采用的两个增强学习模型，其中，用于输出含有道路特征的车辆控制命令的增强学习模型，为深度增强学习模型；用于输出含有道路参与者特征的车辆控制命令的增强学习模型，为结合循环神经网络的深度增强学习模型。
[0015] 所述第四层采用的增强学习模型，为深度增强学习模型。
[0016] 各层中的模型，在仿真系统中经过逐层循环训练，得以确定。
[0017] 本发明提出的一种基于深度学习的分层式端到端的自动驾驶方法，通过结合卷积神经网络、循环神经网络、深度增强学习模型构建分层式
框架实现自动驾驶，相比于传统的“感知-决策-控制”框架，本方法能够保证信息不会损失，并且各种场景之间的过渡更加平滑，对车辆模型
精度的依赖性较低；相对于目前的端到端自动驾驶方法，本方法提供了中间结果输出，更易调试，且对于规则有了一定程度的结合，具有更好的可解释性。
附图说明
[0018] 附图仅用于示出具体
实施例的目的，而并不认为是对本发明的限制。
[0019] 图1为本发明基于深度学习的分层式端到端车辆自动驾驶方法模型架构图。
具体实施方式
[0020] 下面详细介绍本发明的实施。
[0021] 本发明是一种基于深度学习和增强学习相结合的自动驾驶方法，在实施例中，采用深度卷积神经网络、循环神经网络模型和增强学习模型相结合的方法实现端到端自动驾驶。
[0022] 该方法的实施概括为如下步骤：
[0023] 1.前方道路图像数据的采集；
[0024] 2.图像的标定；
[0025] 3.搭建各深度卷积神经网络模型和深度增强学习模型的层级关系；
[0026] 4.编写深度卷积神经网络模型和深度增强学习模型的代码；
[0027] 5.搭建仿真系统；
[0028] 6.逐层训练各层模型；
[0029] 7.仿真调试，并对模型进行在线更新。
[0030] 下面一一叙述各步骤的实现：
[0031] 1.前方道路图像数据的采集
[0032] 为了训练深度卷积神经网络模型，需要大量的训练集，因此需要采集实际前方道路图像。为了配合之后模型训练的需要，采集过程中需要将单目摄像头安装于前挡
风玻璃正中央，并采集其拍摄的前方道路图像。
[0033] 2.图像标定
[0034] 为了训练深度卷积神经网络模型，需要对采集的图像进行标定：为了提取交通环境特征，需要将前方道路图像中的交通环境沿边框标出，交通环境中包括有车辆、行人、
骑车人、交通信号灯、交通指示符、建筑、车道、人行道、树木等道路和道路参与者特征；为了提取道路特征，需要将前方道路图像中的道路沿边框标出；为了提取道路参与者特征，需要将前方道路图像中的道路参与者沿边框标出。
[0035] 3.搭建各深度卷积神经网络模型和深度增强学习模型的层级关系
[0036] 将系统模型按训练程度分层搭建，呈现为上下级关系，本发明采取四层架构模型，如图1所示，将深度卷积神经网络模型I设定为第一层(
基础层)训练模型，直接获取摄像头拍摄的前方道路图像信息，输出具有交通环境特征的不为人类可直观理解形式(图像或物理量)的中间隐层结果，这种结果一般是数字矩阵的表现形式。
[0037] 将深度卷积神经网络模型II、深度卷积神经网络模型III并列设定为第二层训练模型，输入都是由第一层深度卷积神经网络模型I所输出的具有交通环境特征的中间结果，其中，深度卷积神经网络模型II输出的是提取到的具有道路特征的同样是不为人类可直观理解形式的中间隐层结果；深度卷积神经网络模型III输出的是提取到的具有道路参与者特征的不为人类可直观理解形式的中间隐层结果。
[0038] 将深度增强学习模型I、结合循环神经网络的深度增强学习模型II设定为并列的第三层训练模型，其中，深度增强学习模型I的输入为第二层的深度卷积神经网络模型II输出的具有道路特征的中间隐层结果，输出为在此输入基础上形成的控制命令1；结合循环神经网络的深度增强学习模型II的输入为第二层的深度卷积神经网络模型III输出的具有道路参与者特征的中间隐层结果，输出为在此输入基础上形成的控制命令2。
[0039] 将深度增强学习模型III设定为第四层训练模型，输入为控制命令1和控制命令2，输出为控制命令3，用于进行车辆总控制。
[0040] 4.编写深度卷积神经网络和深度增强学习模型的代码
[0041] 在开源
软件库(Tensorflow，一种已知的软件库)的支持下，编写三个深度卷积神经网络模型、三个深度增强学习模型的代码；上述6个模型在图1中分别记为深度卷积神经网络模型I、II、III，深度增强学习模型I、III，结合循环神经网络的深度增强学习模型II。
[0042] 5.搭建仿真系统
[0043] 利用仿真软件PreScan(一款已知的软件)搭建城市道路工况，搭建过程包括如下步骤：
[0044] (1)搭建道路交通环境，包括车辆、行人、骑车人、交通信号灯、交通指示符、建筑、车道，人行道、树木等。
[0045] (2)搭建自车模型的传感器模
块，包括单目摄像头模型，用于采集前方道路图像；
[0046] (3)搭建自车模型的执行器模块，能够根据控制
算法的输出量，响应出具体动作，将相关的力施加到车辆模型上。
[0047] 6.逐层训练各模型
[0048] 训练过程包括如下步骤：
[0049] (1)以安装于前
挡风玻璃正中央的摄像头采集的图像信息为原始输入，利用采集的前方道路图像包括交通环境标记训练深度卷积神经网络模型I，使其能提取交通环境特征，包括路面、车道线、车辆、行人、骑车人、交通信号灯、交通指示符等；
[0050] (2)以上述输出的交通环境特征为输入，采用深度卷积神经网络模型II提取其中的道路特征，训练深度卷积神经网络模型II，使其能提取道路特征，包括路面、车道线、交通信号灯、交通指示符等；
[0051] (3)以上述输出的交通环境特征为输入，采用深度卷积神经网络模型III提取其中的道路参与者特征，训练深度卷积神经网络模型III，使其能提取道路参与者特征，包括车辆、行人、骑车人等；
[0052] (3)设计仅有道路信息输入条件下的环境多目标回报函数，以下形式不唯一：
[0053]
[0054] 其中，x为系统状态，cost_function(x)表示x的目标函数；
[0055] 随后以提取到的道路特征为输入，在仿真环境中训练深度增强学习模型I，输出车辆控制命令1，包括方向盘转角、油门踏板开度和
刹车踏板开度。
[0056] (4)设计仅有道路参与者信息输入条件下的环境多目标回报函数，以下形式不唯一：
[0057]
[0058] 随后以提取到的道路参与者特征为输入，在仿真环境中训练结合循环神经网络的深度增强学习模型II，输出车辆控制命令2，包括方向盘转角、油门踏板开度和刹车踏板开度。
[0059] 由于道路参与者是动态的，因此需要结合循环神经网络以输入时间信息，故在仿真环境中训练结合循环神经网络的深度增强学习模型，输出车辆控制结果。
[0060] (5)以深度增强学习模型I、结合循环神经网络的深度增强学习模型II的输出即控制命令1、控制命令2，以及这两个模型的回报函数值为输入，在仿真环境中训练深度增强学习模型III，其回报函数为增强学习模型I和增强学习模型II的回报函数之和，输出车辆控制命令3，包括方向盘转角、油门踏板开度和刹车踏板开度。
[0061] 7.仿真调试，并对模型进行在线更新
[0062] 搭建更加多样的城市道路工况，利用之前的模型进行仿真试验，并对增强学习模型进行进一步训练。
[0063] 本发明设计四层架构模型，架构第一层用于提取交通环境特征，其主要作用是为剔除与车辆控制无关的输入，避免输出与这些与车辆控制无关的输入产生错误的对应关系，但是这一层的输出形式并非为图像或物理量等直观人类可理解的形式，而是一种隐层结果，是为了避免因人为筛选信息而造成的信息丢失。
[0064] 架构第二层以第一层输出为输入，分别输出道路和道路参与者特征，其主要作用为分离道路和道路参与者，避免在进行车辆控制时控制命令仅侧重于其中一种的影响。这一层的输出形式同样也不是图像和物理量等人类直观理解的形式，其目的也是为了避免因人为筛选信息而造成的信息丢失。
[0065] 架构第三层以第二层输出为输入，分别输出控制命令，由于在第二层中分离了道路特征和道路参与者特征，因此需要在仅考虑道路和仅考虑道路参与者的情况下分别输出控制结果。
[0066] 架构第四层以第三层输出为输入，输出最终的控制命令。由于车辆实际行驶时需要动态考虑道路和道路参与者的影响，因此需要在最后融合第三层的输出，输出最终的控制命令。
