技术领域
[0001] 本
发明涉及车载AR-HUD车辆辅助驾驶的技术领域，尤其涉及一种基于深度学习的AR-HUD车载辅助驾驶方法及其系统。
背景技术
[0002] 近年来
平视显示器HUD最早是运用在航空器上的飞行辅助驾驶仪器，该仪器可以将
飞行器重要的数据信息显示在飞行显示器上，目的是为了降低飞行员低头查看仪表仪器数据的
频率，即飞行员不需要低头就可以查看到相关的重要数据指标。HUD可以大大提高驾驶的安全性，因此虽然
汽车行业的发展，越来越多汽车厂商开始关注车载HUD。
[0003] AR-HUD是增强抬头显示技术,它可以在驾驶员视线区域内合理
叠加显示一些驾驶信息，例如
车身前方环境信息，车道线，行人车辆的实时
跟踪，并结合于实际交通路况当中。通过AR-HUD技术，驾驶员可以扩展并增强自己对于驾驶环境的
感知，相比于传统的HUD单一的信息显示，AR-HUD可以有更为高级的效果与功能。
发明内容
[0004] 本部分的目的在于概述本发明的
实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本
申请的
说明书摘要和
发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
[0005] 鉴于上述现有存在的问题，提出了本发明。
[0006] 因此，本发明解决的一个技术问题是：提出一种基于深度学习的AR-HUD车载辅助驾驶系统，可以提高环境感知的准确性，提升了AR-HUD的可靠性。
[0007] 为解决上述技术问题，本发明提供如下技术方案：一种基于深度学习的AR-HUD车载辅助驾驶系统，包括图像捕捉模
块，为分布设置于车身周围的摄像机，用于获取驾驶场景下驾驶员视
角的图片；深度学习模块，与所述图像捕捉模块连接接收所述图片进行当前场景的
物体识别检测和车道线的识别检测，并生成识别结果；
硬件模块，与所述深度学习模块连接，接收并投影所述深度学习模块识别提取的信息，投影在车辆前置挡
风玻璃上；控制系统，集成连接各神经网络功能模块，根据AR-HUD设备的输入响应，提供相应的显示模式，并生成准确的显示页面。
[0008] 作为本发明所述的基于深度学习的AR-HUD车载辅助驾驶系统的一种优选方案，其中：所述控制系统还包括主驾驶视角的检测或者分割物体标志的主显示区域以及车身环境信息显示区域，且还包括显示车辆基本状态参数、车速和油量的基本信息。
[0009] 作为本发明所述的基于深度学习的AR-HUD车载辅助驾驶系统的一种优选方案，其中：所述图像捕捉模块摄像头组分为一个主驾驶视角摄像头和若干个环境感知摄像头；所述主驾驶视角摄像头安装于与驾驶员视角相距不大的
位置，所述环境感知摄像头分布设置于车身周围，获取全方位视角。
[0010] 本发明解决的另一个技术问题是：提出一种基于深度学习的AR-HUD车载辅助驾驶方法，应用于上述系统，不仅可以提高环境感知的准确性，还提升了AR-HUD的可靠性。
[0011] 为解决上述技术问题，本发明提供如下技术方案：一种基于深度学习的AR-HUD车载辅助驾驶方法，其特征在于：包括以下步骤，图像捕捉模块捕捉驾驶场景下驾驶员视角内的图片；将图片输入深度学习模块进行识别检测；硬件模块将神经网络功能块检测提取到的相应信息，投影在车辆前置
挡风玻璃上。
[0012] 作为本发明所述的基于深度学习的AR-HUD车载辅助驾驶方法的一种优选方案，其中：还包括AR-HUD的投影位置进行微调，直到玻璃上投影的目标物体与驾驶员视角看到的物体基本重合。
[0013] 作为本发明所述的基于深度学习的AR-HUD车载辅助驾驶方法的一种优选方案，其中：所述深度学习模块包括神经网络检测模块和神经网络语义分割，分别用于车身周围物体的检测和车道线的检测。
[0014] 作为本发明所述的基于深度学习的AR-HUD车载辅助驾驶方法的一种优选方案，其中：所述硬件模块在AR-HUD设备上还包括多个控制
接口，负责选择AR-HUD的显示模式以及调整设备的投影位置。
[0015] 作为本发明所述的基于深度学习的AR-HUD车载辅助驾驶方法的一种优选方案，其中：所述神经网络检测模块包括以下步骤，图像捕捉模块捕捉图片作为模型输入；深度残差网络提出图片特征；在残差网络后添加多个卷积层形成多尺度预测网络；将所述预测网络中的特征图与深度残差网络中相对应的特征图进行融合，形成深度融合的快速检测模型；利用非极大值抑制剔除重复的边界框，得到检测结果。
[0016] 作为本发明所述的基于深度学习的AR-HUD车载辅助驾驶方法的一种优选方案，其中：所述深度残差网络提取特征包括以下步骤，两个残差块之间按照顺序堆叠，相应的公式定义：xt+1＝Ft(xt)+xt，其中，xt和xt+1分别是第t个残差块的输入与输出向量，Ft(xt)表示转换函数，对应于由堆叠层组成的残差分支；第一个卷积层用滤波过滤
分辨率的输入图像；然后，将先前卷积层的输出作为输入，使用卷积核以及两个
像素的步长对它们滤波，实现下
采样操作，同时添加残差块增加网络的深度，此时得到的特征图尺寸，，除了卷积核数与特征图的尺度不同之外，每一个残差块都相似。
[0017] 作为本发明所述的基于深度学习的AR-HUD车载辅助驾驶方法的一种优选方案，其中：所述多尺度网络预测包括以下步骤，直接在多个尺度的特征图上回归预测物体形状和物体类别；每个分支都配备多个卷积层，将上采样特征与深度残差网络提供的相应尺寸的特征图进行级联；执行车辆检测，同时检测分支共享从残差网络提取的特征；在预测阶段，对于输入的图像，预测一个三维张量，包括边界框、对象和类别，并将不同尺度的特征图划分成网格，为每个网格预测多个不同的边界框。
[0018] 本发明的有益效果：AR-HUD可以看作车辆的副驾驶员，大大提高的驾驶安全性和驾驶体验；且基于深度学习的技术可以提高环境感知的准确性，如车辆行人识别追踪，提升了AR-HUD的可靠性。
附图说明
[0019] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0020] 图1为本发明第一种实施例所述基于深度学习的AR-HUD车载辅助驾驶系统的整体原理结构示意图；
[0021] 图2为本发明第一种实施例所述一个实际应用示意图；
[0022] 图3为本发明第一种实施例所述另一个实际应用示意图；
[0023] 图4为本发明第一种实施例所述又一个实际应用示意图；
[0024] 图5为本发明第一种实施例所述基于深度学习的AR-HUD车载辅助驾驶方法的整体流程结构示意图；
[0025] 图6为本发明第一种实施例所述残差块结构示意图。
具体实施方式
[0026] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
[0027] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0028] 其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0029] 本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0030] 同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0031] 本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0032] 实施例1
[0033] 参照图1～4的示意，本实施例中提出一种基于深度学习的AR-HUD车载辅助驾驶系统，基于深度学习的AR-HUD显示技术，就是利用深度学习作为感知工具，为AR-HUD提供更好环境感知，如汽车、行人和道路线的识别。具体的，本实施例中该系统包括图像捕捉模块100、深度学习模块200、硬件模块300和控制系统400。其中图像捕捉模块100，为分布设置于车身周围的摄像机，用于获取驾驶场景下驾驶员视角的图片；深度学习模块200，与图像捕捉模块100连接接收图片进行当前场景的物体识别检测和车道线的识别检测，并生成识别结果；硬件模块300，与深度学习模块200连接，接收并投影深度学习模块200识别提取的信息，投影在车辆前置挡风玻璃上；控制系统400，集成连接各神经网络功能模块，根据AR-HUD设备的输入响应，提供相应的显示模式，并生成准确的显示页面。控制系统400还包括主驾驶视角的检测或者分割物体标志的主显示区域以及车身环境信息显示区域，且还包括显示车辆基本状态参数、车速和油量的基本信息。图像捕捉模块100摄像头组分为一个主驾驶视角摄像头101和若干个环境感知摄像头102；主驾驶视角摄像头101安装于与驾驶员视角相距不大的位置，环境感知摄像头102分布设置于车身周围，获取全方位视角。
[0034] 还需要说明的是，本实施例中图像捕捉模块100为设置于车辆前方得主驾驶视角摄像头和设置于车身周围的多个环境感知摄像头，多个环境感知摄像头，分布在整个车身周围，以便能囊括整个360度全方位视角。深度学习模块200为写入深度学习
算法的芯片设备。硬件模块300包含多个光学元器件组，可以将神经网络功能块提取到的相应信息，投影在车辆前置挡风玻璃上，例如AR投影设备是
增强现实技术，它是基于现实场景实时叠加数字模型，等于在实景上加标注，人眼
所见即所得。控制系统400为车辆自动驾驶，汽车自动驾驶技术包括视频摄像头、雷达
传感器以及激光测距器来了解周围的交通状况，并通过一个详尽的地图(通过有人驾驶汽车采集的地图)对前方的道路进行导航。这一切都通过谷歌的
数据中心来实现，谷歌的数据中心能处理汽车收集的有关周围地形的大量信息。就这点而言，自动驾驶汽车相当于谷歌数据中心的遥控汽车或者智能汽车。
[0035] 场景一：
[0036] 为验证本实施例基于深度学习的技术提高环境感知的准确性，针对车辆行人识别追踪的准确性，将部署本方法的测试车辆和传统的增强抬头显示技术进行对比测试，由于传统HUD并没有3d显示的功能，因此本实施例中提出的3d检测算法没有可以对比的对象，属于一个功能优化的方法，下表1给出本实方法3d检测算法的在公开数据集上的相关
精度。
[0037] 表1：3d检测算法的相关精度。
[0038] 方法 速度 车辆检测准确率 行人检测准确率
自行车检测准确率本
专利 31ms 70.47％ 41.64％ 51.17％
[0039] 本实施例的测试环境是运用python
软件编程实现本方法的仿真测试，根据实验结果得到仿真数据，且测试环境为公开数据集kitti的3d检测数据集，测试对象为车辆、行人和自行车，通过将测试对象放入检测网络中，计算检测准确率并与python仿真软件中直接输出。
[0040] 实施例2
[0041] 参照图5～6的示意，示意为本实施例提出一种基于深度学习的AR-HUD车载辅助驾驶方法的整体流程结构示意图。该方法依托于上述系统实现，大大提高的驾驶安全性和驾驶体验。基于深度学习的技术可以提高环境感知的准确性，如车辆行人识别追踪，提升了AR-HUD的可靠性。AR-HUD为基于增强现实(AR)技术的HUD，平视显示器(Head Up Display)，简称HUD。
[0042] 具体的，包括以下步骤，
[0043] 图像捕捉模块100捕捉驾驶场景下驾驶员视角内的图片；
[0044] 将图片输入深度学习模块200进行识别检测；深度学习模块200包括神经网络检测模块201和神经网络语义分割202，分别用于车身周围物体的检测和车道线的检测；
[0045] 硬件模块300将神经网络功能块检测提取到的相应信息，投影在车辆前置挡风玻璃上；硬件模块300在AR-HUD设备上还包括多个控制接口，负责选择AR-HUD的显示模式以及调整设备的投影位置。
[0046] 本实施例还包括AR-HUD的投影位置进行微调，直到玻璃上投影的目标物体与驾驶员视角看到的物体基本重合。
[0047] 需要说明的是，本实施例中包括神经网络检测模块201的检测步骤、神经网络语义分割202的检测步骤，
[0048] 其中神经网络检测模块201包括以下步骤，
[0049] 图像捕捉模块100捕捉图片作为模型输入；
[0050] 深度残差网络提出图片特征；
[0051] 在残差网络后添加多个卷积层形成多尺度预测网络；
[0052] 将预测网络中的特征图与深度残差网络中相对应的特征图进行融合，形成深度融合的快速检测模型；
[0053] 利用非极大值抑制剔除重复的边界框，得到检测结果。
[0054] 接着深度残差网络提取特征包括以下步骤，
[0055] 两个残差块之间按照顺序堆叠，相应的公式定义：xt+1＝Ft(xt)+xt，其中，xt和xt+1分别是第t个残差块的输入与输出向量，Ft(xt)表示转换函数，对应于由堆叠层组成的残差分支；
[0056] 第一个卷积层用滤波过滤分辨率的输入图像；
[0057] 然后，将先前卷积层的输出作为输入，使用卷积核以及两个像素的步长对它们滤波，实现
下采样操作，同时添加残差块增加网络的深度，此时得到的特征图尺寸，，除了卷积核数与特征图的尺度不同之外，每一个残差块都相似。
[0058] 最后多尺度网络预测包括以下步骤，
[0059] 直接在多个尺度的特征图上回归预测物体形状和物体类别；
[0060] 每个分支都配备多个卷积层，将上采样特征与深度残差网络提供的相应尺寸的特征图进行级联；
[0061] 执行车辆检测，同时检测分支共享从残差网络提取的特征；
[0062] 在预测阶段，对于输入的图像，预测一个三维张量，包括边界框、对象和类别，并将不同尺度的特征图划分成网格，为每个网格预测多个不同的边界框。
[0063] 神经网络语义分割202就是机器自动从图像中分割出对象区域，并识别其中的内容，将传统网络后面的全连接层换成了卷积层，这样网络输出不再是类别；同时为了解决因为卷积和
池化对图像尺寸的影响，提出使用上采样的方式恢复。更具体的讲，语义
图像分割的目标在于标记图片中每一个像素，并将每一个像素与其表示的类别对应起来，因为会预测图像中的每一个像素，所以一般将这样的任务称为密集预测。
[0064] 应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行
修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的
权利要求范围当中。
