技术领域
[0001] 本
发明涉及无人驾驶智能车辆的技术领域，更具体的说是涉及一种多视 图融合交通标志检测识别方法及其系统。
背景技术
[0002] 随着无人驾驶智能车的兴起，准确保证无人驾驶时的道路安全成为了一 个亟待解决的问题。道路旁的交通标志能够提供实时的真实、准确的交通信 息，可以根据这些道路交通信息来辅助控制
汽车的行驶速度、前进、转向等 操作。因此，准确检测和识别交通标志、协助控制智能车成为无人驾驶领域 的一项关键技术。
[0003] 目前，利用
深度学习的目标检测
算法是实现交通标志识别和检测的主要 途径。交通标志识别系统主要是通过安装在智能车辆上的摄像头、
传感器等 设备获取自然场景图像，然后通过
图像处理与
模式识别等技术对场景中的标 志进行实时检测和理解，最后将禁令、警告和指示等识别信息及时反馈，对 车辆进行有效控制。
[0004] 然而
现有技术中交通识别的过程中仍是对单一图像进行处理进而得到反 馈，但是单一视图数据在处理的过程中遇到杂物和遮挡而信息不完整的情况， 在无人驾驶车辆中采用单一图像处理的方式显然不能满足安全性。
[0005] 因此，提供一种多视图融合交通标志检测识别方法及其系统是本领域技 术人员亟需解决的问题。
发明内容
[0006] 有鉴于此，本发明提供了一种多视图融合交通标志检测识别方法及其系 统，主要通过采用安装于智能车上的多个摄像头来获取交通标志的多视图数 据，提供更为丰富的交通标志信息，通过多视图数据的融合并结合结构简单 但检测
精度很高的网络模型，解决了智能车在现实有遮挡干扰行车环境下的 交通标志实时识别和检测问题。
[0007] 为了实现上述目的，本发明采用如下技术方案：
[0008] 一种多视图融合交通标志检测识别方法，所识别到的结果发送至辅助驾 驶系统，包括以下步骤：
[0009] S1.实时采集不同视
角的交通标志图像；
[0010] S2.将不同视角的交通标志图像输入至训练好的神经网络模型中，得到不 同视角的特征图；
[0011] S3.建立不同视角的特征图之间的对应关系，进行特征融合，得到多视图 融合结果后进行交通标志检测和信息识别，并将识别结果发送至所述辅助驾 驶系统。
[0012] 优选的，S3中的建立不同视角的特征图之间的对应关系具体内容为：
[0013]
[0014] 其中， 为视角平面u上的任一特征点， 为视角平面v上的任一特征 点，wj,i是要确定的标量；
[0015] 对于一个特定的点i，只有一个wj,i为正，而其余的都为0；且仅当u平面 上的 和v平面上 的对应同一个3D点时，wj,i为正。
[0016] 优选的，神经网络模型的训练包括根据训练样本图像进行特征提取的训 练和多视图融合训练。
[0017] 优选的，神经网络进行多视图融合训练的步骤包括以下内容：
[0018] (1)将不同视角的训练样本图片输入神经网络中，得到不同视角的特征 图，并将特征图进行融合；
[0019] (2)将特征图真值分别与不同视角的特征图和融合后的特征图进行比 较，得到比较结果，根据比较结果对神经网络进行进一步调整。
[0020] 一种多视图融合交通标志检测识别系统，与辅助驾驶系统相连，其特征 在于，包括：
图像采集子系统、特征提取子系统和标志识别子系统；
[0021] 所述图像采集子系统，用于实时采集不同视角的交通标志图像；
[0022] 所述特征提取子系统，用于训练神经网络模型，将不同视角的交通标志 图像输入至训练好的神经网络模型中，得到不同视角的特征图；
[0023] 所述标志识别子系统，用于对所提取到的不同视角的特征图进行特征融 合，得到多视图融合结果后进行交通标志检测和信息识别，并将识别结果发 送至所述辅助驾驶系统。
[0024] 优选的，所述特征提取子系统包括模型训练模
块和特征提取模块；
[0025] 所述模型训练模块，用于获取
训练数据，对神经网络模型进行训练，得 到训练后的神经网络模型；
[0026] 所述特征提取模块，将不同视角的交通标志图像输入至训练好的神经网 络模型中，得到不同视角的特征图。
[0027] 优选的，所述模型训练模块包括图像特征提取训练和多视图融合训练；
[0028] 所述图像特征提取训练，用于对特征提取的过程进行训练；
[0029] 所述多视图融合训练，用于对多视图融合过程进行训练。
[0030] 优选的，所述标志识别子系统包括对应关系建立模块、特征融合模块、 标志检测模块和信息识别模块；
[0031] 所述对应关系建立模块，用于建立不同视角的特征图之间的对应关系；
[0032] 所述特征融合模块，用于对不同视角的特征图进行融合，得到多视图融 合结果；
[0033] 所述标志检测模块，用于根据所述多视图融合结果来进行交通标志的检 测，得到检测结果；
[0034] 所述信息识别模块，用于根据所述检测结果对交通标志所表示的信息进 行识别，并进一步将识别结果发送至辅助驾驶系统。
[0035] 经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种多 视图融合交通标志检测识别方法及其系统，本发明方法将多视图数据经由神 经网络模型处理过后得到的特征图进行融合，使神经网络模型可以处理多个 角度的交通标志数据，以获取更为准确的目标检测和识别结果，所获得的神 经网络模型更加适用于复杂的现实行车环境中，可以避免环境遮挡、杂物干 扰的影响，且经过对视图数据融合使检测精度得到提高。
附图说明
[0036] 为了更清楚地说明本发明
实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不 付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0037] 图1附图为本发明提供的一种多视图融合交通标志检测识别方法的流程 图；
[0038] 图2附图为本发明提供的一种多视图融合交通标志检测识别方法中神经 网络两视图融合训练的
流程图；
[0039] 图3附图为本发明实施例一中P点空间成像结构示意图；
[0040] 图4附图为本发明实施例一中特征点融合示意图。
具体实施方式
[0041] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0042] 实施例一：
[0043] 本发明实施例公开了一种多视图融合交通标志检测识别方法，所识别到 的结果发送至辅助驾驶系统，如图1所示，包括以下步骤：
[0044] S1.实时采集不同视角的交通标志图像；
[0045] S2.将不同视角的交通标志图像输入至训练好的神经网络模型中，得到不 同视角的特征图；
[0046] S3.建立不同视角的特征图之间的对应关系，进行特征融合，得到多视图 融合结果后进行交通标志检测和信息识别，并将识别结果发送至辅助驾驶系 统。
[0047] 优选的，S3中的建立不同视角的特征图之间的对应关系具体内容为：
[0048]
[0049] 其中， 为视角平面u上的任一特征点， 为视角平面v上的任一特征 点，wj,i是要确定的标量；
[0050] 对于一个特定的点i，只有一个wj,i为正，而其余的都为0；且仅当u平面 上的 和v平面上 的对应同一个3D点时，wj,i为正。
[0051] 优选的，神经网络模型的训练包括根据训练样本图像进行特征提取的训 练和多视图融合训练。
[0052] 优选的，如图2所示，神经网络进行多视图融合训练的步骤包括以下内 容：
[0053] (1)将不同视角的训练样本图片输入神经网络中，得到不同视角的特征 图，并将特征图进行融合；
[0054] (2)将特征图真值分别与不同视角的特征图和融合后的特征图进行比 较，得到比较结果，根据比较结果对神经网络进行进一步调整。
[0055] 需要进一步说明的是：
[0056] 如图3所示，设三维空间中内存在三点A、B和P点，其中P点在两个 不同视角平面u和v上的投影分别为 和 其中 和 分别表示
像素位置， A点和B点在视角平面u上的投影与P点相同，而在视角平面v上的投影与 在同一条直线l上。
[0057] 视角平面u和v的热图分别包含特征点 和 不同视图之间 特征融合的核心是要建立视图之间的对应关系：
[0058]
[0059] 其中，wj,i是要确定的标量。理想情况下，对于一个特定的点i，只有一个 wj,i为正，而其余的都为0。且仅当u平面上的 和v平面上的 对应同一个 3D点时，wj,i为正。
[0060] 如果已知 在u平面上的位置，由几何关系只能确定P点位于直线 上，而直线在平面v上的投影直线l则可以确定，同时，P点位于平面v 上的投影点 必
定位于直线l上。在特征图中，真实的 点的位置会有更加大 的响应值，而直线l上的其它点的响应值几乎没有，因此，可以将 和直线l上 的所有的特征进行融合，如图4所示。同时，将特征融合作为一层神经网络， 使网络从训练数据中自动学习权重，从而融合多视图的信息获得更为准确的 目标检测信息。
[0061] 更进一步地，以R-FCN神经网络模型为例对神经网络模型训练的具体内 容包括：
[0062] 获取不同场景的包含交通标志的行车视频数据，并使用图像标注工具 Labelling对数据进行标注，建立基于智能车平台的交通标志数据集。在设备 条件完善后，采集实际道路数据完善交通标志数据集。由于数据集包含连续 的交通标志标注图像，这能很好的消除复杂道路场景下交通标志过小、遮挡、 形状畸变等影响，为基于智能车平台的交通标志检测识别提供了可靠的数据
基础。
[0063] 深度
卷积神经网络拥有强大的特征提取与表达能
力，网络本身需要大量 甚至海量数据来驱动模型训练，否则可能会导致陷入模型训练过拟合。本实 施例制作的交通标志数据集包含6000张图片，并对数据进行扩充，有效的数 据扩充不仅能扩充训练样本数量，增加训练样本的多样性,还可以避免过拟合 以及模型性能的提升。R-FCN
框架使用图像
水平翻转来进行数据集扩充，可 以使原数据集扩充一倍。
[0064] 除了增加训练数据、数据扩充防止网络过拟合的方式，还可以在模型训 练前从训练集数据随机划分出一个子集作为“验证集”，用以在训练阶段评 测模型预测性能。一般在每轮或每个批处理训练后在该训练集和验证集上分 别作网络前向运算，预测训练集和验证集样本标记，绘制学习曲线，以此检 验模型泛化能力。
[0065] 经过数据扩充后用于训练的交通标志样本依旧很少，深度学习目标检测 需要大量带标签数据组成的训练集，如果数据样本过少，即使利用非常好的 网络结构，也达不到很高的检测效果。微调模型的思想就可以很好解决这个 问题，通过对ImageNet上训练出来的模型ResNet进行微调，然后应用到建立 的智能车交通标志数据集上。R-FCN模型训练的过程中，图像输入到基础网 络提取特征前会resize成一定尺寸，这对训练模型交通标志识别结果有很大影 响。
[0066] 本实施例采用GPU
服务器平台训练，在Jetson TX1嵌入平台进行测试， 使用R-FCN结合ResNet-50网络进行模型训练，在构建的智能车交通标志数 据集，选取其中5000张图像进行训练，1000张图像进行测试，
迭代50W次， 四种resize尺寸分别为600*600、1000*600、1000*1000、1111*889(原图尺寸 训练)，其他参数设置均相同，学习率设为0.01，并且每迭代10w次衰减一次， 衰减幅度为十分之一。
[0067] 在原有训练好的神经网络模型的基础上，加入多视图融合特征层，将交 通标志多视图数据输入，将特征融合视为神经网络层使用端到端的权重学习， 允许网络从训练数据中自由学习权重。
[0068] 实施例二：
[0069] 本实施例公开了一种多视图融合交通标志检测识别系统，与辅助驾驶系 统相连，其特征在于，包括：图像采集子系统、特征提取子系统和标志识别 子系统；
[0070] 图像采集子系统，用于实时采集不同视角的交通标志图像；
[0071] 特征提取子系统，用于训练神经网络模型，将不同视角的交通标志图像 输入至训练好的神经网络模型中，得到不同视角的特征图；
[0072] 标志识别子系统，用于对所提取到的不同视角的特征图进行特征融合， 得到多视图融合结果后进行交通标志检测和信息识别，并将识别结果发送至 辅助驾驶系统。
[0073] 优选的，特征提取子系统包括模型训练模块和特征提取模块；
[0074] 模型训练模块，用于获取训练数据，对神经网络模型进行训练，得到训 练后的神经网络模型；
[0075] 特征提取模块，将不同视角的交通标志图像输入至训练好的神经网络模 型中，得到不同视角的特征图。
[0076] 优选的，模型训练模块包括图像特征提取训练和多视图融合训练；
[0077] 图像特征提取训练，用于对特征提取的过程进行训练；
[0078] 多视图融合训练，用于对多视图融合过程进行训练。
[0079] 优选的，标志识别子系统包括对应关系建立模块、特征融合模块、标志 检测模块和信息识别模块；
[0080] 对应关系建立模块，用于建立不同视角的特征图之间的对应关系；
[0081] 特征融合模块，用于对不同视角的特征图进行融合，得到多视图融合结 果；
[0082] 标志检测模块，用于根据多视图融合结果来进行交通标志的检测，得到 检测结果；
[0083] 信息识别模块，用于根据检测结果对交通标志所表示的信息进行识别， 并进一步将识别结果发送至辅助驾驶系统。
[0084] 本
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都 是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。 对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述 的比较简单，相关之处参见方法部分说明即可。
[0085] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用 本发明。对这些实施例的多种
修改对本领域的专业技术人员来说将是显而易 见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下， 在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例， 而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
