技术领域
[0001] 本
发明涉及数字
图像处理技术领域，尤其涉及一种基于路面学习的实现鲁棒的障碍物检测的方法和装置。
背景技术
[0002] 随着
传感器技术和
机器视觉技术的发展，涌现出了越来越多的基于双目
视差算法进行目标检测的技术，对视差图像进行分析得到障碍物信息，并应用到
机器人领域、智能
汽车领域。
[0003] 但
现有技术通过对双目视差进行运算检测，并不能对异形障碍物做到很好的识别，而且识别的结果鲁棒性较差，不稳定，易受到环境干扰而造成检测错误。
[0004] 因此，现有技术中存在对于道路障碍物检测的检测结果鲁棒性较差及
稳定性不够的
发明内容
[0005] 本发明的主要目的在于公开一种基于路面学习的道路障碍物识别方法与装置，用于解决现有技术中存在的对异形障碍物不能做到很好的识别，而且识别的结果鲁棒性较差的问题。
[0006] 为达上述目的，根据本发明的一个方面，公开一种基于路面学习的道路障碍物识别方法，并采用如下技术方案:
[0007] 一种基于路面学习的道路障碍物识别方法包括：基于
双目视觉系统获取的道路图像训练生成无障碍物路面模型；基于所述无障碍物路面模型及所述道路图像的视差图训练生成障碍物检测分类模型；将所述无障碍物路面模型作为标准，与待检测视差图进行比较，按照所述障碍物检测分类模型对所述待检测视差图进行障碍物检测，得到检测结果。
[0008] 进一步地，所述基于双目视觉系统获取的道路图像训练生成无障碍物路面模型包括：获取所述道路图像的左视图与右视图的视差图，并对所述视差图进行近处无障碍物筛选；对被筛选的视差图依次进行基于
像素的路面视差信息计算；根据所述路面视差信息计算出当前一
帧图像所对应的路面视差的统计信息作为标识位信息数据，并记录所有标识位信息数据；对相同的所述标识位信息数据出现的次数进行累计，当相同的所述标识位信息数据出现的次数的累计结果达到预设
阈值时，提取此时记录的所有标识位信息数据，对所记录的全部标识位信息数据进行路面模型的拟合计算，选取满足预设选取标准的数据段作为所述无障碍物路面模型。
[0009] 进一步地，所述基于所述无障碍物路面模型及所述道路图像的视差图训练生成障碍物检测分类模型包括：根据所述无障碍物路面模型对所述视差图进行分割及形态学运算，得到待
检测区域模板；再将所述待检测区域模板与所述视差图像进行融合，则得到疑似障碍物视差图像的待检测区域；对所述待检测区域通过人工筛选构成训练样本，根据区域信息和图像特征对所述训练样本进行
机器学习，生成所述障碍物检测分类模型。
[0010] 进一步地，所述对所述待检测区域通过人工筛选构成训练样本，根据区域信息和图像特征对所述训练样本进行机器学习，生成所述障碍物检测分类模型包括：对视差值较大的待检测区域进行分类，确认为是近处的障碍物；对视差值较小的待检测区域进行分类，确认为是远处的障碍物；对所述近处的障碍物与所述远处的障碍物进行人工的筛选，标定正确的障碍物信息和错误的障碍物信息，构成所述训练样本；对所述训练样本，根据区域信息和图像特征，进行机器学习，得到所述障碍物检测分类模型。
[0011] 进一步地，所述提取误检备选
块的区域特征，通过收集训练学习的大规模样本，利用基于机器学习生成训练模型，对所述检测结果进行误检去除。
[0012] 根据本发明的另外一个方面，提供一种基于路面学习的障碍物识别装置，并采用如下技术方案：
[0013] 一种基于路面学习的道路障碍物识别装置，包括：第一训练生成模块，用于基于双目视觉系统获取的道路图像训练生成无障碍物路面模型；第二训练生成模块，用于基于所述无障碍物路面模型及所述道路图像的视差图训练生成障碍物检测分类模型；比较模块，用于将所述无障碍物路面模型作为标准，与待检测视差图进行比较，按照所述障碍物分类模型对所述待检测视差图进行障碍物检测，得到检测结果。
[0014] 进一步地，所述第一训练生成模块包括：获取模块，用于获取所述道路图像的左视图与右视图的视差图，并对所述视差图进行近处无障碍物筛选；第一计算模块，用于对被筛选的视差图依次进行基于像素的路面视差信息计算；第二计算模块，用于根据所述路面视差信息计算出当前一帧图像所对应的路面视差的统计信息作为标识位信息数据，并记录所有标识位信息数据；累计模块，用于对相同的所述标识位信息数据出现的次数进行累计，当相同的所述标识位信息数据出现的次数的累计结果达到预设阈值时，提取此时记录的所有标识位信息数据，对所记录的全部标识位信息数据进行路面模型的拟合计算，选取满足预设选取标准的数据段作为所述无障碍物路面模型。
[0015] 进一步地，所述第二训练生成模块包括：分割模块，用于根据所述无障碍物路面模型对所述视差图进行分割及形态学运算，得到待检测区域模板；融合模块，用于将所述待检测区域模板与所述视差图像进行融合，则得到疑似障碍物视差图像的待检测区域；运算模块，用于对所述待检测区域通过人工筛选构成训练样本，根据区域信息和图像特征对所述训练样本进行机器学习，生成所述障碍物检测分类模型。
[0016] 进一步地，所述运算模块包括：第一确认模块，用于对视差值较大的待检测区域进行分类，确认为是近处的障碍物；第二确认模块，用于对视差值较小的待检测区域进行分类，确认为是远处的障碍物；筛选模块，用于对于所述近处的障碍物与所述远处的障碍物进行人工的筛选，标定正确的障碍物信息和错误的障碍物信息，构成所述训练样本；机器学习模块，用于对所述训练样本，根据区域信息和图像特征，进行机器学习，得到所述障碍物检测分类模型。
[0017] 进一步地，所述障碍物检测装置，去除模块，用于提取误检备选块的区域特征，通过收集训练学习的大规模样本，利用基于机器学习生成训练模型，对所述检测结果进行误检去除。
[0018] 本发明是在双目视觉视差图的
基础上，提出的基于路面学习的障碍物检测算法，本发明的方案特别考虑到了实际场景中的各种场景，比如实际驾驶场景中，前面有大车等障碍物的情景，以及远处的车在视差图中与路面结合的情况，使得障碍物检测结果更加鲁棒。
附图说明
[0019] 为了更清楚地说明本
申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0020] 图1为本发明实施例所述的一种基于路面学习的障碍物识别方法的
流程图；
[0021] 图2为本发明实施例所述的道路图像左视图；
[0022] 图3为本发明实施例所述的道路图像右视图；
[0023] 图4为本发明实施例所述的视差信息对应的视差图对应的灰度图；
[0024] 图5为本发明实施例所述的路面模型对应的灰度图；
[0025] 图6为本发明实施例所述的待检测区域模板；
[0026] 图7为本发明实施例所述的疑似障碍物视差信息图；
[0027] 图8为本发明实施例所述的道路障碍物识别结果示意图；
[0028] 图9为本发明实施例所述的一种基于路面学习的障碍物识别装置的结构图。
具体实施方式
[0029] 以下结合附图对本发明的实施例进行详细说明，但是本发明可以由
权利要求限定和
覆盖的多种不同方式实施。
[0030] 图1为本发明实施例所述的一种基于路面学习的障碍物识别方法的流程图。
[0031] 参见图1所示，一种基于路面学习的障碍物识别方法包括：
[0032] S101：通过双目视觉系统获取道路图像训练生成无障碍路面模型；
[0033] S103：基于所述无障碍物路面模型及所述道路图像的视差图训练生成障碍物检测分类模型。
[0034] S105：将所述无障碍物路面模型作为标准，与待检测视差图进行比较，按照所述障碍物检测分类模型，对所述待检测视差图进行障碍物检测，得到检测结果。
[0035] 在步骤S101中，通过双目视觉系统获取道路图像训练生成无障碍路面模型。具体的说，可以通过双目相机获取道路图像的左视图和右视图，如图2至图3所示，将所述左视图和右视图的视差信息作为已知输入量，以图像像素矩阵形式给出，用不同
颜色代表不同的视差值，将数字化的视差信息以图像形式
可视化显示，得到视差信息相应的视差图，如图4所示。对视差图进行基于路面信息的
图像分割。路面信息由
深度图通过计算获取得到，如图5所示，截取路面信息中符合使用要求的一段，生成路面模型。在相同
位置上，如果视差图的视差信息与路面视差信息不一致时，认为此处是可能障碍物区域。按此思路，将视差图与路面模型进行逐像素对比，将可能是障碍物的区域置为前景，其他区域置为背景，通过公式1进行二值化运算，此时得到的二值图像即为分割结果。
[0036] 公式1：
[0037]
[0038] 对所述视差图进行近处无障碍物筛选，对被筛选的视差图依次进行基于像素的路面视差信息计算；根据所述路面视差信息计算出当前一帧图像所对应的路面视差的统计信息作为标识位信息数据，并记录所有标识位信息数据；对相同的所述标识位信息数据出现的次数进行累计，当相同的所述标识位信息数据出现的次数的累计结果达到预设阈值时，提取此时记录的所有标识位信息数据，对所记录的全部标识位信息数据进行路面模型的拟合计算，选取满足预设选取标准的数据段作为所述无障碍物路面模型。如图5所示。
[0039] 在步骤S103中，所述基于所述无障碍物路面模型及所述道路图像的视差图训练生成障碍物检测分类模型。
[0040] 更具体的，根据所述无障碍物路面模型对所述视差图进行分割及形态学运算，得到待检测区域模板，对双目视差图分割结果的二值图像通过公式2进行形态学开运算，得到疑似障碍物的待检测区域模板，如图6所示。
[0041] 公式2为：
[0042] 再将所述待检测区域模板与所述视差图像通过公式3进行融合，则得到疑似障碍物视差图像的待检测区域，如图7所示。
[0043] 公式2为：
[0044] 对所述待检测区域通过人工筛选构成训练样本，根据区域信息和图像特征对所述训练样本进行机器学习，生成所述障碍物检测分类模型。
[0045] 在步骤S105中，将所述无障碍物路面模型作为标准，与待检测视差图进行比较，按照所述障碍物检测分类模型，对所述待检测视差图进行障碍物检测，得到检测结果。
[0046] 更具体的，通过统计不同视差信息的统计学关系，得到疑似障碍物区域，用基于机器学习生成的目标检测模型，对疑似障碍物进行目标识别并标记，最终障碍物判定结果，如图8所示。
[0047] 在本实施例的上述技术方案中，在双目视觉视差图基于路面模型进行图像分割的基础上，进行基于机器学习的目标识别和目标分类，进而实现快速、准确得障碍物检测，使得障碍物检测结果更加鲁棒。
[0048] 优先地，所述基于双目视觉系统获取的道路图像训练生成无障碍物路面模型包括：所述获取所述道路图像的左视图与右视图的视差图，并对所述视差图进行近处无障碍物筛选；对被筛选的视差图依次进行基于像素的路面视差信息计算；根据所述路面视差信息计算出当前一帧图像所对应的路面视差的统计信息作为标识位信息数据，并记录所有标识位信息数据；对相同的所述标识位信息数据出现的次数进行累计，当相同的所述标识位信息数据出现的次数的累计结果达到预设阈值时，提取此时记录的所有标识位信息数据，对所记录的全部标识位信息数据进行路面模型的拟合计算，选取满足预设选取标准的数据段作为所述无障碍物路面模型。
[0049] 本实施例给出步骤S103的具体实施方式，根据路面模型对视差图进行分割及形态学运算，得到待检测区域模板；通过对融合后的待检测区域进行人工筛选构成训练样本，对训练样本进行机器学习，生成更为精确的障碍物检测分类模型。
[0050] 优先地，所述基于所述无障碍物路面模型及所述道路图像的视差图训练生成障碍物检测分类模型包括：根据所述无障碍物路面模型对所述视差图进行分割及形态学运算，得到待检测区域模板；再将所述待检测区域模板与所述视差图像进行融合，则得到疑似障碍物视差图像的待检测区域；对所述待检测区域通过人工筛选构成训练样本，根据区域信息和图像特征对所述训练样本进行机器学习，生成所述障碍物检测分类模型。
[0051] 优先地，所述对所述待检测区域通过人工筛选构成训练样本，根据区域信息和图像特征对所述训练样本进行机器学习，生成所述障碍物检测分类模型包括：对视差值较大的待检测区域进行分类，确认为是近处的障碍物；对视差值较小的待检测区域进行分类，确认为是远处的障碍物；对于障碍物与所述远处的障碍物进行人工的筛选，标定正确的障碍物信息和错误的障碍物信息，构成所述训练样本；对所述训练样本，根据区域信息和图像特征，进行机器学习，得到所述障碍物检测分类模型。
[0052] 优先地，所述对所述待检测区域通过人工筛选构成训练样本，根据区域信息和图像特征对所述训练样本进行机器学习，生成所述障碍物检测分类模型包括：对视差值较大的待检测区域进行分类，确认为是近处的障碍物；对视差值较小的待检测区域进行分类，确认为是远处的障碍物；对于所述近处的障碍物与所述远处的障碍物进行人工的筛选，标定正确的障碍物信息和错误的障碍物信息，构成所述训练样本；对所述训练样本，根据区域信息和图像特征，进行机器学习，得到所述障碍物检测分类。
[0053] 本实施例给出步骤S105的具体实施方式，依据机器学习得到的障碍物分类模型，进行障碍物判定，并利用机器学习技术，去除误检，使得判定结果更具有可用性。
[0054] 优先地，将所述无障碍物路面模型作为标准，与待检测视差图进行比较，按照所述障碍物检测分类模型对所述待检测视差图进行障碍物检测，得到检测结果。进一步地，利用误检备选块的区域特征，通过收集训练学习的大规模样本，利用基于机器学习生成训练模型，对所述检测结果进行误检去除。
[0055] 图9为本发明实施例所述的一种道路障碍物识别装置的结构图。
[0056] 参见图9所示，一种基于路面学习的道路障碍物识别装置，包括：第一训练生成模块100，用于基于双目视觉系统获取的道路图像训练生成无障碍物路面模型；第二训练生成模块102，用于基于所述无障碍物路面模型及所述道路图像的视差图训练生成障碍物检测分类模型；比较模块104，用于将所述无障碍物路面模型作为标准，与待检测视差图进行比较，按照所述障碍物分类模型对所述待检测视差图进行障碍物检测，得到检测结果。
[0057] 进一步地，所述第一训练生成模块100包括：获取模块(图中未示)，用于获取所述道路图像的左视图与右视图的视差图，并对所述视差图进行近处无障碍物筛选；第一计算模块(图中未示)，用于对被筛选的视差图依次进行基于像素的路面视差信息计算；第二计算模块(图中未示)，用于根据所述路面视差信息计算出当前一帧图像所对应的路面视差的统计信息作为标识位信息数据，并记录所有标识位信息数据；累计模块(图中未示)，用于对相同的所述标识位信息数据出现的次数进行累计，当相同的所述标识位信息数据出现的次数的累计结果达到预设阈值时，提取此时记录的所有标识位信息数据，对所记录的全部标识位信息数据进行路面模型的拟合计算，选取满足预设选取标准的数据段作为所述无障碍物路面模型。
[0058] 可选地，所述第二训练生成模块102包括：分割模块(图中未示)，用于根据所述无障碍物路面模型对所述视差图进行分割及形态学运算，得到待检测区域模板；融合模块(图中未示)，用于将所述待检测区域模板与所述视差图像进行融合，则得到疑似障碍物视差图像的待检测区域；运算模块(图中未示)，用于对所述待检测区域通过人工筛选构成训练样本，根据区域信息和图像特征对所述训练样本进行机器学习，生成所述障碍物检测分类模型。
[0059] 可选地，所述运算模块包括：第一确认模块(图中未示)，用于对视差值较大的待检测区域进行分类，确认为是近处的障碍物；第二确认模块(图中未示)，用于对视差值较小的待检测区域进行分类，确认为是远处的障碍物；筛选模块(图中未示)，用于对于所述近处的障碍物与所述远处的障碍物进行人工的筛选，标定正确的障碍物信息和错误的障碍物信息，构成所述训练样本；机器学习模块(图中未示)，用于对所述训练样本，根据区域信息和图像特征，进行机器学习，得到所述障碍物检测分类模型。
[0060] 可选地，所述障碍物检测装置还包括：去除模块可选地，用于提取误检备选块的区域特征，通过收集训练学习的大规模样本，利用基于机器学习生成训练模型，对所述检测结果进行误检去除。
[0061] 本发明是在双目视觉视差图的基础上，提出的基于路面学习的障碍物检测算法，本发明的方案特别考虑到了实际场景中的各种场景，比如实际驾驶场景中，前面有大车等障碍物的情景，以及远处的车在视差图中与路面结合的情况，使得障碍物检测结果更加鲁棒。
[0062] 以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。
