技术领域
[0001] 本
发明属于自动驾驶技术领域，具体涉及一种结构化道路自动驾驶运输车及控制方法。
背景技术
[0002] 交通运输长期以来就是社会发展的
推进器，2016年仅天猫双十一一天就产生了6.57亿物流订单。随着物流快递量的与日俱增，快递员的负担也大大加重。由于每天的快递量较多，快递员即使是在中午的时候很难得到休息，加上快递员在为客户运送物品的时候还要不停地关注着手机订单，运送快递的车辆便容易发生事故，让不少人坐立不安。
[0003] 因此，使用一种能够减轻物流负担的快递货运系统便十分重要，现行的方案主要有以下几种：
[0004] 中国发明
专利201620108720.4提出了一种使用无人机系统运送快递的平台，包括无人机和固定装置，利用底部设有的可竖直升降和分离连接的快递盒实现了快递运送的功能。目前国内很多物流公司如顺丰京东等都在农村做试点对无人机运送快递进行了测试，在一定程度上解放了部分劳动
力。但由于无人
机体型较小，一台无人机往往只能承载一份快递，效率并不高。非军用无人机的
电池续航时间和可遥控距离都比较小，即使是性能较好的无人机实际可遥控范围也都在几千米之内，如果依靠无人机解放劳动力，物流公司可能需要花费更多的资金去建立快递点，城市中的高楼大厦、景观照明、绿化数目等也都可能给无人机的飞行带来隐患。因此，虽然无人机有机会解决“农村最后一千米”的快递配送问题，但实现城市中大量订单的配送在短期内却似乎并不可能，难以解决城市中快递员送货辛苦、事故频发等问题。
[0005] 与无人机送货相比，将自动驾驶技术运用到快递物流行业似乎是更加可行的办法。
[0006] 在自动驾驶技术应用于货运行业的实例中，上海港机重工有限公司提出了一种方法以提升物件运输的效率和运输过程中的安全性，
申请号：200710044004.X。所述方法为在路面上作出车辆行驶轨迹的标识线，并在车辆上安装摄像机系统和运动控制系统，类似于寻迹车，通过计算机对实时拍摄的标识线进行视频
图像分析，计算偏离量数据，实现了车辆的自动驾驶、无人驾驶。但系统中只应用了前后两个摄像机，没有其它相关的摄像头和
传感器，因此在驾驶的过程中只能用来识别已经铺设好的标识线，没有对道路周围的实时情况如标志牌、行人车辆等进行监测的功能，安全性不高。
[0007]
深度学习在过去的一年中获得了极快的发展，并逐渐应用到了自动驾驶领域中，国内的一小部分电商公司如京东、阿里等也正计划将无人驾驶技术应用到快递运输上，2016年9月京东宣布中国首辆无人配送快递车已经进入道路测试阶段，其核心
算法就是深度学习。与国外很多的研究团队采用的方法相似，均使用了深度学习、
图像识别、
大数据应用等诸多先进的技术，实现了无人驾驶的功能，但同时对技术和
硬件成本的要求也很高，且体型比较小，缺少严密的报警系统，很多的无人快递车一次都只能运动一个包裹，即使是比较大的京东快递车也只有6个载货舱，且有货物大小的限制。此外，深度学习算法的一个最主要的特点就是从数据中学习，一个训练好的自动驾驶模型在大多数道路上由机器驾驶一般是没有问题的，但遇到奇怪的路时就很容易识别不了，尤其是在行人多、路面窄的街区和小区中比较蜿蜒的小路上，每次遇到难以识别的道路时就重新训练模型是一项比较费时费力的任务。
发明内容
[0008] 本发明的目的在于克服上述不足，提供一种结构化道路自动驾驶运输车及控制方法，使得在大多数情况下系统可以完全无人监督驾驶，紧急情况下会自动减速并向人反馈信息，同
时针对我国道路的多样化和模型参数训练耗费时间和成本的问题构建了一个与自动驾驶系统相辅助的模型参数共享平台。
[0009] 为了达到上述目的，一种结构化道路自动驾驶运输车，包括监督
驾驶室和货仓，货仓后部设置有第一摄像头，货仓的侧面分别设置有第二摄像头和第三摄像头，监督
驾驶舱前部设置有无畸变高速摄像头、双目摄像头和前部
超声波测距单元，货仓的两侧均设置有若干侧面
超声波测距单元，货仓顶部设置有
激光雷达，货仓内设置有GPS模
块；
[0010] 所述第一摄像头、第二摄像头、第三摄像头、无畸变高速摄像头、双目摄像头、激光雷达、侧面超声波测距单元、前部超声波测距单元和GPS模块均连接中央处理单元；
[0011] 所述第一摄像头、第二摄像头、第三摄像头、无畸变高速摄像头用于实时采集车辆四周路况的RGB图像数据，传递给中央处理单元中不同的神经网络进行特征提取；
[0012] 所述双目摄像头位于监督驾驶室正前方的中央
位置，用于实时关注着车辆正前方的情况，构建
深度图，传递给中央处理单元进行测距；
[0013] 所述激光雷达用于360°测算周围物体的位置、速度等特征量，构建点
云图，
感知周围环境，传递给中央处理单元，形成
精度为厘米级的3D环境地图；
[0014] 所述侧面超声波测距单元和前部超声波测距单元用于障碍物的测距；
[0015] 所述中央处理单元用于接收第一摄像头、第二摄像头、第三摄像头、无畸变高速摄像头、双目摄像头、激光雷达、侧面超声波测距单元、前部超声波测距单元和GPS模块的数据，利用隐含式决策神经网络确定系统的前进、后退、停止及转向决策，并将动作指令传递给车辆控制单元。
[0016] 所述货仓包括小型货仓、中型货仓和大型货仓。
[0017] 所述第一摄像头采用远焦摄像头，第二摄像头采用广
角摄像头，第三摄像头采用鱼眼摄像头。
[0018] 所述中央处理单元包括：
[0019] 视觉处理模块：包括图形处理器GPU和
中央处理器CPU，用于接受摄像头获得的图像数据，同时接受超声波测距单元所获得的距离数据和激光雷达获得的周围物体相关特征量，完成对
转向角度的判断，分割出道路、行人、车辆等，同时读取交通
信号灯和交通信号标志信息，综合分析所得数据传递给决策模块和
人机交互模块，并利用点云图和深度图结合修正反馈；
[0020] 决策模块：用于根据障碍物数据及控制指令数据判断系统的移动模式，即前进、后退、停止或是角度转向，并将其编码为决策指令数据传递给车辆控制单元；
[0021] 人机交互模块：用于根据障碍物数据及控制指令数据判断是否需要进行危险预警向车主或行人返回信息，并将其编码为决策指令数据传递给车辆控制单元；
[0022] 危险预警模块：根据深度图、点云图和测距单元返回的信息，在紧急情况下自动减速，必要时向车主和行人返回信息进行提醒。
[0023] 一种结构化道路自动驾驶运输车的控制方法，包括以下步骤：
[0024] 步骤一，通过第一摄像头、第二摄像头、第三摄像头、无畸变高速摄像头获取周围环境的的RGB图像数据，双目摄像头获取深度图数据，激光雷达获取点云图数据，侧面超声波测距单元、前部超声波测距单元获取周围障碍物的距离，GPS模块进行地图匹配判断位置信息；
[0025] 步骤二，中央处理器根据第一摄像头、第二摄像头、第三摄像头、无畸变高速摄像头的
数据处理四个不同的神经网络处理数据，将激光雷达生成的点云图与双目摄像头生成的深度图相结合，判断危险目标是否在危险区域内，并修正控制并反馈输出，中央处理器分析各个神经网络输出的数据，结合危险预警所得到的信息，判断是否需要向车主和行人返回信息并输出；
[0026] 步骤三，中央处理的综合各个神经网络的输出和危险预警模块返回的信息控制车辆的前进、后退、停止及固定角度转向，特殊情况下通过屏幕或语音输出向车主或行人返回信息。
[0027] 所述步骤二中，四个不同的神经网络包括：
[0029] 第二个全卷积神经网络对图像进行分割和语义理解；
[0030] 第三个神经网络寻找交通信号灯和交通信号标志；
[0031] 第四个多尺度卷积神经网络检测前面的人或其他动物。
[0032] 所述步骤三中，训练端到端深度学习的驾驶决策功能控制流程为：
[0033] 第一步，在训练系统之前，首先假定方向控制命令为 其中r是以米为单位的
转弯半径，同时假定左转弯的 为负，右转弯的 为正，其中假定 为方向控制命令的好处在于避免了出现因直线行驶导致转弯半径r为无穷大的情况；
[0034] 第二步，通过四个摄像头采集彩色RGB图像，对视频进行降
采样同时添加部分偏移和旋转数据；
[0035] 第三步，训练卷积神经网络的权重值：该网络由
输入层、
输出层及隐层构成，其中隐层包括九层，一个归一层，五个卷积层和三个全连接层，在前三层采用2×2的卷积，其卷积核为5×5，后两层采用无步幅卷积，卷积核是3×3，五个卷积层之后是全连接层，最后输出一个数字，即转弯半径的倒数；
[0036] 第四步，判断神经网络输出是否出现错误：若没有出现错误，输出位移和方向控制指令，若出现错误，利用反向传播来调整权重重新进行优化；
[0037] 第五步：根据正确的位移和方向控制指令记录调整口
方向盘的操作，积累数据进行仿真实验和上路测试。
[0038] 所述步骤三中，危险预警机制的控制流程为：
[0039] 第一步，单目摄像头采集RGB图像数据，输入到Multinet网络模型中；
[0040] 第二步，Multinet网络模型完成道路分割，街道分类和车辆检测，Multinet网络模型基于
编码器—
解码器架构，编码器由VGG网络架构的卷积层和
池化层组成，共有13层，生成图像张量，为解码提供丰富的图像特征，解码器由三部分组成，分为分类解码器、语义解码器和检测解码器，分类解码器利用编码器生成的图像特征，先对图像特征矩阵进行1×1的卷积，接着通过全连接层，并使用softmax函数层分类，从而得出所属类别的概率，检测解码器利用编码产生的特征，通过500个1×1的卷积产生隐藏的大小为39×12×500的图像张量，再通过1×1的卷积产生
分辨率为39×12的6个通道，语义分割解码器基于全卷积神经网络架构，输入的编码通过卷积池化层产生分辨率为39×12的分割，接着利用三个反卷积进行上采样，跳层实现从较低的层来获取具有高分辨率的特征，再通过卷积并将其添加到上采样的结果中，三个解码器共享计算
加速处理；
[0041] 第三步，与双目摄像头得到的深度图相匹配，获得左右图像的差异，进而进行深度的转换，完成测距，判断前后车辆的距离，
[0042] 第四步，根据前后车辆距离判断是否安全，如果安全则不作任何响应，如果不安全车辆根据具体情况进行减速或者其他判断，需要情况下向车主或行人返回信息提醒。
[0043] 所述步骤三中，标志牌识别控制流程为：
[0044] 第一步，四个摄像头采集RGB图，并根据采集得到的数据进行图像预处理，将所有的图片拉伸到相同的大小范围；
[0045] 第二步，检测分割出交通标志信号灯或交通信号标志，提取关键的信息特征，首先创建TensorFlow图对象，设置占位符放置图片和标签，然后定义全连接层，使用可以在分类任务上取得小于0的部分函数值为0的ReLu函数作为激活函数，全连接层输出对数矢量，采用交叉熵作为损失函数，利用softmax将标签数据和神经网络的输出结果转化为概率；
[0046] 第三步，进行循环的训练，与信息库中的交通标志信号灯和交通标志信号进行对比得出结果进行驾驶决策的判断。
[0047] 与
现有技术相比，本发明的装置通过摄像头读入图像，传递给具有不同作用的神经网络进行计算。将各个神经网络组队分工，实现了自动驾驶、标志理解、危险预警、人机交互等功能，并受到共享单车的启发，创建了一个模型参数共享平台，有助于解决人们在神经网络难以理解的路上行驶自动驾驶车辆训练参数模型费时费力的问题，提高了资源的利用率。
[0048] 本发明的控制方法基于
计算机视觉和深层神经网络技术，在实现了主要功能的
基础上算法的思路较为简洁，不需要特别冗长的代码，强调从数据中学习，本发明结合自动驾驶系统创建了参数共享平台，有利于节省自动驾驶研究过程中针对难识别的路训练参数模型的时间，很大程度上提高了资源利用率；本发明在控制过程中隐藏了决策过程，车辆自己模仿人的驾驶行为，使自动驾驶技术更加有效地贴近生活，将神经网络进行专职分工，组队实现不同的功能，每个网络只做适合自己的事，提高了系统的整体
稳定性。
附图说明
[0049] 图1为本发明的主视图；
[0050] 图2为本发明的右视图；
[0051] 图3为本发明的后视图；
[0052] 图4为本发明的自动驾驶系统结构图；
[0053] 图5为本发明训练驾驶决策功能的
流程图；
[0054] 图6为本发明危险预警机制控制流程图；
[0055] 图7为本发明标志牌识别控制流程图；
[0056] 图8为本发明参数共享平台使用流程图。
具体实施方式
[0057] 下面结合附图对本发明做进一步说明。
[0058] 参见图1至3，一种结构化道路自动驾驶运输车，包括监督驾驶室12和货仓，货仓后部设置有第一摄像头1，货仓的侧面分别设置有第二摄像头2和第三摄像头3，监督驾驶舱12前部设置有无畸变高速摄像头4、双目摄像头5和前部超声波测距单元8，货仓的两侧均设置有若干侧面超声波测距单元7，货仓顶部设置有激光雷达6，货仓内设置有GPS模块；
[0059] 第一摄像头1、第二摄像头2、第三摄像头3、无畸变高速摄像头4、双目摄像头5、激光雷达6、侧面超声波测距单元7、前部超声波测距单元8和GPS模块均连接中央处理单元；
[0060] 第一摄像头1、第二摄像头2、第三摄像头3、无畸变高速摄像头4用于实时采集车辆四周路况的RGB图像数据，传递给中央处理单元中不同的神经网络进行特征提取；
[0061] 双目摄像头5位于监督驾驶室12正前方的中央位置，用于实时关注着车辆正前方的情况，构建深度图，传递给中央处理单元进行测距；
[0062] 激光雷达6用于360°测算周围物体的位置、速度等特征量，构建点云图，感知周围环境，传递给中央处理单元，形成精度为厘米级的3D环境地图；
[0063] 侧面超声波测距单元7和前部超声波测距单元8用于障碍物的测距；
[0064] 中央处理单元用于接收第一摄像头1、第二摄像头2、第三摄像头3、无畸变高速摄像头4、双目摄像头5、激光雷达6、侧面超声波测距单元7、前部超声波测距单元8和GPS模块的数据，利用隐含式决策神经网络确定系统的前进、后退、停止及转向决策，并将动作指令传递给车辆控制单元。
[0065] 中央处理单元包括：
[0066] 视觉处理模块：包括图形处理器GPU和中央处理器CPU，用于接受摄像头获得的图像数据，同时接受超声波测距单元所获得的距离数据和激光雷达获得的周围物体相关特征量，完成对转向角度的判断，分割出道路、行人、车辆等，同时读取交通信号灯和交通信号标志信息，综合分析所得数据传递给决策模块和人机交互模块，并利用点云图和深度图结合修正反馈；
[0067] 决策模块：用于根据障碍物数据及控制指令数据判断系统的移动模式，即前进、后退、停止或是角度转向，并将其编码为决策指令数据传递给车辆控制单元；
[0068] 人机交互模块：用于根据障碍物数据及控制指令数据判断是否需要进行危险预警向车主或行人返回信息，并将其编码为决策指令数据传递给车辆控制单元；
[0069] 危险预警模块：根据深度图、点云图和测距单元返回的信息，在紧急情况下自动减速，必要时向车主和行人返回信息进行提醒。
[0070] 优选的，货仓包括小型货仓9、中型货仓10和大型货仓11，第一摄像头1采用远焦摄像头，第二摄像头2采用广角摄像头，第三摄像头3采用鱼眼摄像头。
[0071] 参见图4，一种结构化道路自动驾驶运输车的控制方法，包括以下步骤：
[0072] 步骤一，通过第一摄像头1、第二摄像头2、第三摄像头3、无畸变高速摄像头4获取周围环境的的RGB图像数据，双目摄像头5获取深度图数据，激光雷达6获取点云图数据，侧面超声波测距单元7、前部超声波测距单元8获取周围障碍物的距离，GPS模块进行地图匹配判断位置信息；
[0073] 步骤二，中央处理器根据第一摄像头1、第二摄像头2、第三摄像头3、无畸变高速摄像头4的数据处理四个不同的神经网络处理数据，将激光雷达6生成的点云图与双目摄像头5生成的深度图相结合，判断危险目标是否在危险区域内，并修正控制并反馈输出，中央处理器分析各个神经网络输出的数据，结合危险预警所得到的信息，判断是否需要向车主和行人返回信息并输出；
[0074] 步骤三，中央处理的综合各个神经网络的输出和危险预警模块返回的信息控制车辆的前进、后退、停止及固定角度转向，特殊情况下通过屏幕或语音输出向车主或行人返回信息。
[0075] 所述步骤二中，四个不同的神经网络包括：
[0076] 第一个卷积神经网络输出转向角度；
[0077] 第二个全卷积神经网络对图像进行分割和语义理解；
[0078] 第三个神经网络寻找交通信号灯和交通信号标志；
[0079] 第四个多尺度卷积神经网络检测前面的人或其他动物。
[0080] 参见图5，训练端到端深度学习的驾驶决策功能控制流程为：
[0081] 第一步，在训练系统之前，首先假定方向控制命令为 其中r是以米为单位的转弯半径，同时假定左转弯的 为负，右转弯的 为正，其中假定 为方向控制命令的好处在于避免了出现因直线行驶导致转弯半径r为无穷大的情况；
[0082] 第二步，通过四个摄像头采集彩色RGB图像，对视频进行降采样同时添加部分偏移和旋转数据；
[0083] 第三步，训练卷积神经网络的权重值：该网络由输入层、输出层及隐层构成，其中隐层包括九层，一个归一层，五个卷积层和三个全连接层，在前三层采用2×2的卷积，其卷积核为5×5，后两层采用无步幅卷积，卷积核是3×3，五个卷积层之后是全连接层，最后输出一个数字，即转弯半径的倒数；
[0084] 第四步，判断神经网络输出是否出现错误：若没有出现错误，输出位移和方向控制指令，若出现错误，利用反向传播来调整权重重新进行优化；
[0085] 第五步：根据正确的位移和方向控制指令记录调整口方向盘的操作，积累数据进行仿真实验和上路测试。
[0086] 参见图6，危险预警机制的控制流程为：
[0087] 第一步，单目摄像头采集RGB图像数据，输入到Multinet网络模型中；
[0088] 第二步，Multinet网络模型完成道路分割，街道分类和车辆检测，Multinet网络模型基于编码器—解码器架构，编码器由VGG网络架构的卷积层和池化层组成，共有13层，生成图像张量，为解码提供丰富的图像特征，解码器由三部分组成，分为分类解码器、语义解码器和检测解码器，分类解码器利用编码器生成的图像特征，先对图像特征矩阵进行1×1的卷积，接着通过全连接层，并使用softmax函数层分类，从而得出所属类别的概率，检测解码器利用编码产生的特征，通过500个1×1的卷积产生隐藏的大小为39×12×500的图像张量，再通过1×1的卷积产生分辨率为39×12的6个通道，语义分割解码器基于全卷积神经网络架构，输入的编码通过卷积池化层产生分辨率为39×12的分割，接着利用三个反卷积进行上采样，跳层实现从较低的层来获取具有高分辨率的特征，再通过卷积并将其添加到上采样的结果中，三个解码器共享计算加速处理；
[0089] 第三步，与双目摄像头得到的深度图相匹配，获得左右图像的差异，进而进行深度的转换，完成测距，判断前后车辆的距离，
[0090] 第四步，根据前后车辆距离判断是否安全，如果安全则不作任何响应，如果不安全车辆根据具体情况进行减速或者其他判断，需要情况下向车主或行人返回信息提醒。
[0091] 参见图7，标志牌识别控制流程为：
[0092] 第一步，四个摄像头采集RGB图，并根据采集得到的数据进行图像预处理，将所有的图片拉伸到相同的大小范围；
[0093] 第二步，检测分割出交通标志信号灯或交通信号标志，提取关键的信息特征，首先创建TensorFlow图对象，设置占位符放置图片和标签，然后定义全连接层，使用可以在分类任务上取得小于0的部分函数值为0的ReLu函数作为激活函数，全连接层输出对数矢量，采用交叉熵作为损失函数，利用softmax将标签数据和神经网络的输出结果转化为概率；
[0094] 第三步，进行循环的训练，与信息库中的交通标志信号灯和交通标志信号进行对比得出结果进行驾驶决策的判断。
[0095] 参见图8，参数共享平台的使用方法为：
[0096] 在训练自动驾驶系统的过程中遇到难以理解的路时便记录下其它开过此路的车的数据，然后根据数据训练参数模型，将其发布到云端，如果有其他人想在类似的道路上行驶自动驾驶车辆，只需要直接加载参数模型都可以，平台针对自动驾驶系统，所有人都可以上传自己训练的参数模型，也可以从中下载自己需要的参数模型。
[0097] 虽然神经网络可以学习多种道路特征并做出较高准确率的决策，但世界上却有很多并不是那么标准的路，当遇到比较难以理解的路时往往需要根据道路的特征重新训练参数模型。目前我国利用神经网络技术研发自动驾驶
汽车的机构并不在意少数，国内却少有可以参数共享的平台，很多相对成熟的自动驾驶技术可以很容易地识别比较宽阔的公路，却很难在弯曲奇怪的小路上行驶，每次都重新训练费时又费力。因此，本发明在构建自动驾驶系统的同时创建了一个自动驾驶相关的模型参数共享平台，当遇到小区内或街区里比较难以理解的路时，我们会记录下其他开过此路汽车的数据，并以此数据训练模型参数，将参数发布到云端，如果有其他人想在该道路上行驶自动驾驶车辆，无论是快递车、汽车还是大货车，只需加载该参数模型就好。
[0098] 本发明具有较高的可移植性，无论是在汽车或是大货车上都可以采用本发明提出的自动驾驶系统，在这里我们针对上述描述的社会问题提出一种货运快递车的应用场景，具有以下几个特点：
[0099] (1)在大多数情况下车辆可以实现完全自动驾驶，人类只需辅助监控，快递员不必担心回因为疲劳过度或者关注手机订单而发生交通事故；
[0100] (2)外型类似于现阶段经常使用的快递小车，属于中小型车辆，考虑到实现无人驾驶，将最初的货仓分割成了独立的货仓，包括三种大小，可以容纳体积较大的快递；
[0101] (3)贴合应用场景可以采用低速行驶的模式，整体安全性较高，具有危险预警和人机交互功能，内置显示屏，在紧急情况下会自动减速，必要时向车主返回信息和向行人发出警告；
[0102] (4)由于神经网络具有很强的学习功能，驾驶室的座位可以折叠，现实生活中一个快递点的快递车往往只服务于周围一定范围内的区域，在道路较好的情况下，一段时间之后自动驾驶快递车如果经过测试无人干预也能比较顺利地完成货运时，物流高峰期可以将座位折叠起来当作一个独立的大型储物仓进行货运；
[0103] (5)GPS
定位，到达目的地附近会自动停止通知客户取货。
