一种基于视觉的路面附着系数估计方法专利检索-深度相机视听技术与设备专利检索查询-专利查询网

一种基于视觉的路面附着系数估计方法

阅读：1035发布：2020-07-15

专利汇可以提供一种基于视觉的路面附着系数估计方法专利检索，专利查询，专利分析的服务。并且本发明涉及提供一种基于视觉的路面附着系数估计方法，包括：步骤S100：离线训练，具体包括：步骤S101：对路况进行第一图像采集；步骤S102：对采集到的第一图像进行标注，并形成路面附着系数估计数据集；步骤S103：直接利用路面附着系数估计数据集对分类器进行端到端的训练；步骤S200：在线辨识，具体包括：步骤S201：训练好分类器接收在线采集的第二图像，并进行实施估计，形成路况图；步骤S202：根据路况图中每一个像素点来判断该像素所属的路面类型；步骤S203：根据路面类型估计出对应的路面附着系数。本发明采集到的路面附着系数准确可靠，实时性好，极大地提高了系统安全性。，下面是一种基于视觉的路面附着系数估计方法专利的具体信息内容。

权利要求

1.一种基于视觉的路面附着系数估计方法，其特征在于，包括：
步骤S100：离线训练，具体包括：
步骤S101：对路况进行第一图像采集；
步骤S102：对采集到的第一图像进行标注，并形成路面附着系数估计数据集；
步骤S103：直接利用路面附着系数估计数据集对分类器进行端到端的训练；
步骤S200：在线辨识，具体包括：
步骤S201：训练好分类器接收在线采集的第二图像，并进行实施估计，形成路况图；
步骤S202：根据路况图中每一个像素点来判断该像素所属的路面类型；
步骤S203：根据路面类型估计出对应的路面附着系数。
2.如权利要求1所述的基于视觉的路面附着系数估计方法，其特征在于：所述步骤S200之后还包括步骤S300，所述步骤S300为：逆透视投影变换，具体为，将第二图像进行逆透视投影变换。
3.如权利要求1所述的基于视觉的路面附着系数估计方法，其特征在于：在所述步骤S102中，对第一图像中的所有像素进行分类，并对每一种路面类型对应的类别真值和路面附着系数进行标注。
4.如权利要求3所述的基于视觉的路面附着系数估计方法，其特征在于：在所述步骤S103中，将标注完的第一图像与其类别真值共同输入分类器中进行端到端的训练。
5.如权利要求1或4所述的基于视觉的路面附着系数估计方法，其特征在于：所述分类器的类型为决策树或随机森林或深度卷积神经网络或深度卷积神经网络与递归神经网络及其变体的组合形式或深度卷积神经网络与条件随机场的组合形式。
6.如权利要求1或4所述的基于视觉的路面附着系数估计方法，其特征在于：训练所使用的深度学习框架为Tensorflow或Pytorch或Caffe。
7.如权利要求1或4所述的基于视觉的路面附着系数估计方法，其特征在于：训练方法采用反向传播的随机梯度下降法。
8.如权利要求1所述的基于视觉的路面附着系数估计方法，其特征在于：在所述步骤S101中，采用视觉传感器采集所述第一图像，所述视觉传感器设于动力学机组上；
和/或，在所述步骤S201中，采用视觉传感器采集所述第二图像，所述视觉传感器设于动力学机组上。
9.如权利要求8所述的基于视觉的路面附着系数估计方法，其特征在于：所述视觉传感器为单目相机或双目相机或立体3D相机。
10.如权利要求8所述的基于视觉的路面附着系数估计方法，其特征在于：所述动力学机组为轮式车辆或履带式车辆或双足机器人。

说明书全文

一种基于视觉的路面附着系数估计方法

技术领域

[0001] 本发明涉及一种基于视觉的路面附着系数估计方法。

背景技术

[0002] 在传统动力学系统(包括轮式车辆、履带式车辆、双足机器人等)控制领域，始终存在着一个非常具有挑战性的难题，即较好地估计轮胎、履带等与路面的附着系数。对于车
辆，路面附着系数不但影响车辆的加减速性能，还会对车辆行驶尤其是在极限工况下行驶
的稳定性能产生很大影响。随着工业产品智能化程度的不断提升，路面附着系数的准确估
计也会影响智能车辆和机器人等系统的规划与决策。实时且准确地识别出路面附着系数，
可以极大改善车辆行驶的安全性，提升智能系统的应用范围。

[0003] 目前，路面附着系数的估计方法主要有两种，一种是基于原因的路面附着系数估计方法，另一种是基于结果的路面附着系数估计方法。第一种方法主要是通过试验采集数
据，建立传感器(声、光、温度传感器等)数据与路面附着系数的关系来进行估计；第二种则
是根据系统响应和数学模型估计，这类方法又细分为基于动力学的方法、基于滑移率的方
法等。

[0004] 采用动力学建模的方法进行路面附着系数估计虽然准确可靠，但是由于模型较为复杂，大量参数难以准确获取，实时性难以保证；而且，基于动力学的方法是属于基于结果
的方法，即物体与路面接触才能估计，这样的估计即便准确，也难以对一些极限工况产生及
时干预和控制。基于视觉的方法具有一定的超前、预瞄性，然而仅存的少量研究直接对整个
道路状况进行分类和估计，这样的估计较难用于动力学系统的控制。

[0005] 以上不足，有待改进。

发明内容

[0006] 为了克服现有的技术的不足,本发明提供一种基于视觉的路面附着系数估计方法。

[0007] 本发明技术方案如下所述：

[0008] 一种基于视觉的路面附着系数估计方法，包括：

[0009] 步骤S100：离线训练，具体包括：

[0010] 步骤S101：对路况进行第一图像采集；

[0011] 步骤S102：对采集到的第一图像进行标注，并形成路面附着系数估计数据集；

[0012] 步骤S103：直接利用路面附着系数估计数据集对分类器进行端到端的训练；

[0013] 步骤S200：在线辨识，具体包括：

[0014] 步骤S201：训练好分类器接收在线采集的第二图像，并进行实施估计，形成路况图；

[0015] 步骤S202：根据路况图中每一个像素点来判断该像素所属的路面类型；

[0016] 步骤S203：根据路面类型估计出对应的路面附着系数。

[0017] 进一步地，所述步骤S200之后还包括步骤S300，所述步骤S300为：逆透视投影变换，具体为，将第二图像进行逆透视投影变换。

[0018] 进一步地，在所述步骤S102中，对第一图像中的所有像素进行分类，并对每一种路面类型对应的类别真值和路面附着系数进行标注。

[0019] 进一步地，在所述步骤S103中，将标注完的第一图像与其类别真值共同输入分类器中进行端到端的训练。

[0020] 进一步地，所述分类器的类型为决策树或随机森林或深度卷积神经网络或深度卷积神经网络与递归神经网络及其变体的组合形式或深度卷积神经网络与条件随机场的组
合形式。

[0021] 进一步地，训练所使用的深度学习框架为Tensorflow或Pytorch或Caffe。

[0022] 进一步地，训练方法采用反向传播的随机梯度下降法。

[0023] 进一步地，在所述步骤S101中，采用视觉传感器采集所述第一图像，所述视觉传感器设于动力学机组上；

[0024] 和/或，在所述步骤S201中，采用视觉传感器采集所述第二图像，所述视觉传感器设于动力学机组上。

[0025] 进一步地，所述视觉传感器为单目相机或双目相机或立体3D相机。

[0026] 进一步地，所述动力学机组为轮式车辆或履带式车辆或双足机器人。

[0027] 根据上述方案的本发明，其有益效果在于：

[0028] (1)本发明可以在动力学机组与待估路面接触前获得准确的路面类型，进而估计出大致的路面附着系数，避免了复杂的动力学建模过程，避免由于动力学模型建模复杂而
导致无法实时的问题；

[0029] (2)本发明以整幅第二图像作为输入，输出为图像中每一个像素的道路类型和路面附着系数；

[0030] (3)通过端到端的训练方式，训练输入为第一图像及其标注类别真值，实际应用输入为第二图像，直接获取估计结果，操作更为简便快捷；

[0031] (4)本发明采集到的路面附着系数准确可靠，实时性好，极大地提高了系统安全性。
附图说明

[0032] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些
实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附
图获得其他的附图。

[0033] 图1为本发明的结构示意图一；

[0034] 图2为本发明的结构示意图二。

具体实施方式

[0035] 为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用
以解释本发明，并不用于限定本发明。

[0036] 需要说明的是，当部件被称为“固定于”或“设置于”另一个部件，它可以直接或者间接位于该另一个部件上。当一个部件被称为“连接于”另一个部件，它可以是直接或者间接连接至该另一个部件上。术语“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置为基于附图所示的方位或位置，仅是为了便于描述，不能理解为对本技术方案的限制。术语“第一”、“第二”仅用于便于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明技术特征的数量。“多个”的含义是两个或两个以上，
除非另有明确具体的限定。

[0037] 请参阅图1，一种基于视觉的路面附着系数估计方法，包括：

[0038] 步骤S100：离线训练，具体包括：

[0039] 步骤S101：对路况进行第一图像采集；

[0040] 步骤S102：对采集到的第一图像进行标注，并形成路面附着系数估计数据集；

[0041] 步骤S103：直接利用路面附着系数估计数据集对分类器进行端到端的训练；

[0042] 步骤S200：在线辨识，具体包括：

[0043] 步骤S201：训练好分类器接收在线采集的第二图像，并进行实施估计，形成路况图；

[0044] 步骤S202：根据路况图中每一个像素点来判断该像素所属的路面类型；

[0045] 步骤S203：根据路面类型估计出对应的路面附着系数。

[0046] 本实施例提供的基于视觉的路面附着系数估计方法的工作原理如下：

[0047] 离线训练包括对不同路况的图像采集、图像标注、分类器的训练，训练采用端到端的方式；在线识别，直接使用训练好的分类器对第二图像进行逐像素点的分类，根据分类结
果得到路面附着系数。

[0048] 本实施例提供的基于视觉的路面附着系数估计方法的有益效果为：

[0049] (1)本发明可以在动力学机组与待估路面接触前获得准确的路面类型，进而估计出大致的路面附着系数，避免了复杂的动力学建模过程，避免由于动力学模型建模复杂而
导致无法实时的问题；

[0050] (2)本发明以整幅第二图像作为输入，输出为图像中每一个像素的道路类型和路面附着系数；

[0051] (3)通过端到端的训练方式，训练输入为第一图像及其标注类别真值，实际应用输入为第二图像，直接获取估计结果，操作更为简便快捷；

[0052] (4)本发明采集到的路面附着系数准确可靠，实时性好，极大地提高了系统安全性。

[0053] 优选地，在路况的第一图像采集阶段，主要保证数据包含的道路类型、光照和天气条件、道路结构尽可能地多样，其中道路类型包括但不仅限于干沥青、湿沥青、湿混凝土路
面、鹅卵石路面、泥泞湿滑路面、冰路面、雪路面等；天气条件包括但不仅限于晴朗天气、刚下雨的天气、下大雨的天气、下雪天等；光照条件包括晨曦、上午、正午、黄昏、夜晚等。

[0054] 在一个实施例中，在步骤S101中，采用视觉传感器采集所述第一图像，视觉传感器设于动力学机组上；

[0055] 和/或，在步骤S201中，采用视觉传感器采集第二图像，视觉传感器设于动力学机组上。

[0056] 在一个实施例中，视觉传感器为单目相机或双目相机或立体3D相机。双目相机安装处理灵活、价格便宜，即可处理图片又能获取深度信息。

[0057] 优选地，视觉传感器前向安装在挡风玻璃后方。

[0058] 在一个实施例中，动力学机组为轮式车辆或履带式车辆或双足机器人。

[0059] 在一个实施例中，在步骤S102中，对第一图像中的所有像素进行分类，并对每一种路面类型对应的类别真值和路面附着系数进行标注。

[0060] 在一个实施例中，每一种路面类型对应的类别真值和路面附着系数进行标注如表1所示。其中，1-7为有效路面标注，0为其他非路面区域标注。

[0061]

[0062]

[0063] 表1

[0064] 在一个实施例中，在步骤S103中，将标注完的第一图像与其类别真值共同输入分类器中进行端到端的训练。

[0065] 在一个实施例中，分类器的类型为决策树或随机森林或深度卷积神经网络或深度卷积神经网络与递归神经网络及其变体的组合形式或深度卷积神经网络与条件随机场的
组合形式。

[0066] 在一个实施例中，训练所使用的深度学习框架为Tensorflow或Pytorch或Caffe。

[0067] 在一个实施例中，训练方法采用反向传播的随机梯度下降法。

[0068] 训练好的分类器接受驾驶过程中相机的图像作为输入，输出与图像长宽尺寸相当的八维向量。假定输入图像长宽为[l,w]，则训练的网络预测输出即为[l,w,8]，其中对于输
入图像中任一位置的像素[i,j]，得到输出中的[i,j,k],k∈[1,8]即为像素[i,j]属于8类
路面中每一类的概率。对这个八维向量在高度方向上取最值，并将最值所对应类的索引值
作为该像素所属的道路类型。在确定了输入图像中每一个像素的类别之后，即可根据表1确
定每一个像素点对应的路面附着系数。

[0069] 请参阅图2，在一个实施例中，步骤S200之后还包括步骤S300，步骤S300为：逆透视投影变换，具体为，将第二图像进行逆透视投影变换。第二图像进行逆透视投影变换，从而
将附着系数从图像坐标系转化到车辆坐标系以供后续动力学系统的主动控制和规划决策
使用。

[0070] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

标题	发布/更新时间	阅读量
具有追踪功能的自动驾驶系统	2020-05-11	955
一种基于视觉信息的环境语义感知方法	2020-05-08	818
一种基于图像修复的三维目标检测方法和系统	2020-05-11	407
一种圆柱玻璃表面质量视觉检测系统与方法	2020-05-11	191
健康监测的预警方法及系统	2020-05-08	72
一种自动调节空调制冷量、制热量的方法及空调	2020-05-11	72
一种基于虚拟训练的机器人智能抓取方法	2020-05-11	523
一种基于三维成像分析的情绪状态综合判定方法	2020-05-11	229
基于深度学习的单目视觉里程计方法及系统	2020-05-08	832
彩钢瓦表面缺陷的CNN语义分割自学习检测方法	2020-05-08	580

一种基于视觉的路面附着系数估计方法

一种基于视觉的路面附着系数估计方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：