技术领域
[0001] 本
发明涉及智能驾驶领域，具体而言，本发明涉及一种基于图像识别的智能雨量感知方法及装置。
背景技术
[0002] 在现有的自动雨刮控制技术中，一般采用雨量
传感器来调整雨刷的动作。
雨量传感器属于一种
电子传感器，其采用发光
二极管发送
远红外线和光电二级管接收的玻璃表面反射光线的多少来调整雨刷的动作，具体地，当玻璃表面干燥时，光线几乎是全部被反射回来，这样光电二级管就能接收到大量的反射光线；当玻璃上的雨
水越多，反射回来的光线就越少，其结果是雨刷动作越快。因此，雨量传感器在能
覆盖到的区域有雨水时能根据落在玻璃上雨水量的大小来调整雨刷的动作。
[0003] 但是，雨量传感器远红外线的覆盖区域是有限的，其并不能作用到整个
汽车前档玻璃面。所以，当雨水落至雨量传感器未覆盖区域，就不能及时控制雨刮进行动作，导致雨刮动作
迟滞，在一定程度上会影响行车安全。
发明内容
[0004] 为了寻找更为有效的雨刮控制的实现方案，本发明提供了一种基于图像识别的智能雨量感知方法及装置。
[0005] 方案一：
[0006] 提供一种基于图像识别的智能雨量感知方法，该基于图像识别的智能雨量感知方法包括如下步骤：
[0007] 检测从车载摄像模
块采集的视频信息中提取的单
帧图像得到所述单帧图像的雨量场景类别并识别所述单帧图像中每一个雨滴的雨滴边界框，所述雨量场景类别包括至少两个雨量类别；
[0008] 按照预设时间序列获得N帧单帧图像的雨量类别，统计各个雨量类别的数量得到数量最多的雨量类别，并判断所述数量最多的雨量类别的数目是否大于预设
阈值，若是，则基于所述数量最多的雨量类别生成雨量场景
跟踪信息；其中N为大于0的自然数；
[0009] 判断前后连续M帧单帧图像中雨滴边界框包含的雨滴是否为稳定雨滴，若是，则生成稳定雨滴跟踪信息，其中M为不小于1的自然数；
[0010] 基于所述雨量场景跟踪信息和所述稳定雨滴跟踪信息生成雨刮控制指令，以控制雨刮的动作。
[0011] 优选地，所述雨滴边界框为包含雨滴的最小外接矩形边界框，所述检测单帧图像得到所述单帧图像的雨量场景类别并识别所述单帧图像中每一个雨滴的雨滴边界框包括如下步骤：
[0012] 将所述单帧图像输入预置的
卷积神经网络模型得到所述单帧图像的雨量场景类别，并标注所述单帧图像中每一个雨滴的最小外接矩形边界框。
[0013] 优选地，所述雨量场景类别包括无雨、小雨、中雨、大雨四个雨量类别，所述无雨、小雨、中雨、大雨基于雨量大小自定义。
[0014] 优选地，所述预设阈值为N/2；所述判断所述数量最多的雨量类别的数目是否大于预设阈值，若是，则基于所述数量最多的雨量类别生成雨量场景跟踪信息包括如下步骤：
[0015] 统计无雨、小雨、中雨、大雨四个雨量类别的数目，按照从大到小的排序所述无雨、小雨、中雨、大雨四个雨量类别；
[0016] 确认所述无雨、小雨、中雨、大雨四个雨量类别中数目最多的雨量类别，并判断所述数目最多的雨量类别的数目是否大于N/2，若是，则基于所述数量最多的雨量类别生成雨量场景跟踪信息。
[0017] 优选地，所述判断前后连续M帧单帧图像中雨滴边界框包含的雨滴是否为稳定雨滴包括如下步骤：
[0018] 基于第一帧单帧图像检测到K个雨滴创建包括K个被跟踪雨滴目标的跟踪序列，记录所述K个雨滴的雨滴边界框
位置，并设置所述K个雨滴的生命计数器为1，初始化为非稳定雨滴；其中所述K为自然数；
[0019] 将从当前单帧图像中检测出的雨滴边界框与K个被跟踪雨滴目标逐一进行目标匹配，若存在被跟踪雨滴目标与对应检测目标的交并比大于第一预置阈值，则该被跟踪目标的生命计数器加1，并更新对应的雨滴边界框位置；
[0020] 若所述被跟踪雨滴目标生命计数器数值大于第二预置阈值，则设置所述被跟踪雨滴目标为稳定雨滴，否则设置为非稳定雨滴。
[0021] 优选地，所述将从当前单帧图像中检测出的雨滴边界框与K个被跟踪雨滴目标逐一进行目标匹配之后，还包括如下步骤：
[0022] 若不存在任何被跟踪雨滴目标与对应检测目标匹配，则在跟踪序列中创建一个新的被跟踪雨滴目标。
[0023] 优选地，所述将从当前单帧图像中检测出的雨滴边界框与K个被跟踪雨滴目标逐一进行目标匹配之后，还包括如下步骤：
[0024] 若被跟踪雨滴目标没有检测到对应检测目标，则所述被跟踪雨滴目标的生命计数器减1，并设置该被跟踪雨滴目标为非稳定雨滴；
[0025] 判断更新后的被跟踪雨滴目标的生命计数器是否小于1，若是，则在跟踪序列中删除该被跟踪雨滴目标。
[0026] 优选地，所述生成稳定雨滴跟踪信息包括如下步骤：
[0027] 对跟踪序列中的稳定雨滴的总面积和个数进行统计，基于所述稳定雨滴的总面积和个数生成稳定雨滴跟踪信息。
[0028] 优选地，所述基于所述雨量场景跟踪信息和所述稳定雨滴跟踪信息生成雨刮控制指令，以控制雨刮的动作包括如下步骤：
[0029] 若所述雨量场景跟踪信息为大雨，则开启雨刮并调整雨刮速度至快档；
[0030] 若所述雨量场景跟踪信息为中雨，则开启雨刮并调整雨刮速度至标准档；
[0031] 若所述雨量场景跟踪信息为小雨且稳定雨滴跟踪信息中的稳定雨滴的总面积和个数满足预设条件，则开启雨刮并调整雨刮速度至慢档；
[0032] 若所述雨量场景跟踪信息和所述稳定雨滴跟踪信息非以上三种情形之一，则关闭雨刮并将雨刮速度置零。
[0033] 方案二：
[0034] 提供一种基于图像识别的智能雨量感知装置，其包括车载摄像处理模块，与所述车载摄像处理模块连接的车辆雨刮控制
电机、与所述车辆雨刮控制电机连接的雨刮，其中，所述车载摄像处理模块包括车载摄像模块、一个或多个处理器、
存储器、一个或多个应用程序；
[0035] 所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行方案一所述的基于图像识别的智能雨量感知方法。
[0036] 与
现有技术相比，本发明一种基于图像识别的智能雨量感知方法及装置具有如下有益效果：
[0037] 本发明一种基于图像识别的智能雨量感知方法及装置通过结合雨量场景类别和雨滴跟踪，相对于传统车载雨量电子传感器可在刚开始下雨就能及时启动雨刮并根据识别的雨量自动控制雨刮速度，在一定程度上增强了雨刮自动控制性能。同时，本发明克服了传统车载雨量电子传感器迟滞效应，在一定程度上保证了行车安全。
[0038] 本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0039] 本发明上述的和/或附加的方面和优点从下面结合附图对
实施例的描述中将变得明显和容易理解，其中：
[0040] 图1为本发明实施例一种基于图像识别的智能雨量感知方法的流程示意图；
[0041] 图2为本发明另一实施例一种基于图像识别的智能雨量感知装置的模块结构示意图。
具体实施方式
[0042] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0043] 请参阅图1，图1示出了本发明实施例一种基于图像识别的智能雨量感知方法的流程示意图，如图1所示，本发明实施例一种基于图像识别的智能雨量感知方法，其包括如下步骤：
[0044] 步骤S101：检测从车载摄像模块采集的视频信息中提取的单帧图像得到所述单帧图像的雨量场景类别并识别所述单帧图像中每一个雨滴的雨滴边界框，所述雨量场景类别包括至少两个雨量类别。
[0045] 优选地，雨量场景类别包括无雨、小雨、中雨、大雨四个雨量类别，无雨、小雨、中雨、大雨基于雨量大小自定义。
[0046] 优选地，车载摄像模块优选为上海智驾汽车科技有限公司的IFVS500系列车载前视模块。应当理解的是，车载摄像模块也可为车载后视模块，本发明实施例对此不做限制。
[0047] 在一些实施方式中，雨滴边界框为包含雨滴的最小外接矩形边界框，则检测单帧图像得到单帧图像的雨量场景类别并识别单帧图像中每一个雨滴的雨滴边界框包括如下步骤：
[0048] 将单帧图像输入预置的卷积神经网络模型得到单帧图像的雨量场景类别，并识别单帧图像中每一个雨滴的最小外接矩形边界框。
[0049] 示例地，预置的卷积神经网络模型基于
深度学习检测模型创建，其可以通过如下步骤实现：
[0050] 首先，使用IFVS500系列车载前视模块采集大量雨天图片序列，并人工按照生活常识对图片序列按照雨量大小划分为无雨、小雨、中雨和大雨四类并标注；同时，对图像中出现的雨滴，使用最小外接矩形边界框的方式进行目标标注；
[0051] 其次，使用平移、旋转、缩放、图像
亮度调整等方法，扩充已标注数据集，然后按照对应训练平台Caffe或TensorFlow的要求，制作
训练数据集；
[0052] 再次，设计卷积神经网络模型，在Caffe或TensorFlow上利用制作好的训练数据集，训练卷积神经网络模型的参数，过程中不断调整卷积神经网络模型训练超参，并反复测试和调整训练，直至卷积神经网络模型效果达到预期；
[0053] 最后，将训练好的卷积神经网络模型部署在IFVS500系列产品上。
[0054] 这样，车载前视模块实时采集图像，并将其输入到卷积神经网络模型中经计算，就可以得到雨量场景类别以及识别每一个雨滴的雨滴边界框。
[0055] 值得注意的是，此处预置的卷积神经网络模型仅为示例，本领域技术人员还可以通过其他深度学习架构进行训练得到，本发明实施例对此不做限制。
[0056] 步骤S103：按照预设时间序列获得N帧单帧图像的雨量类别，统计各个雨量类别的数量得到数量最多的雨量类别，并判断所述数量最多的雨量类别的数目是否大于预设阈值，若是，则基于所述数量最多的雨量类别生成雨量场景跟踪信息；其中N为大于0的自然数。
[0057] 优选地，预设阈值为N/2。
[0058] 在一些实施方式中，判断数量最多的雨量类别的数目是否大于预设阈值，若是，则基于数量最多的雨量类别生成雨量场景跟踪信息包括如下步骤：
[0059] 统计无雨、小雨、中雨、大雨四个雨量类别的数目，按照从大到小的排序无雨、小雨、中雨、大雨四个雨量类别；
[0060] 确认无雨、小雨、中雨、大雨四个雨量类别中数目最多的雨量类别，并判断数目最多的雨量类别的数目是否大于N/2，若是，则基于数量最多的雨量类别生成雨量场景跟踪信息。
[0061] 示例地，假设无雨的个数n1、小雨的个数n2、中雨的个数n3及大雨的个数n4，那么，按照从大到小的排序无雨、小雨、中雨、大雨四个雨量类别就是对n1、n2、n3、n4进行排序。
[0062] 在一些实施方式中，为了避免偶然因素的影响以及能耗的浪费，当n1、n2、n3、n4均小于N/2时，则将雨量类别拟制为无雨。
[0063] 步骤S105：判断前后连续M帧单帧图像中雨滴边界框包含的雨滴是否为稳定雨滴，若是，则生成稳定雨滴跟踪信息，其中M为不小于1的自然数。
[0064] 优选地，M的值为2。
[0065] 在一些实施方式中，判断前后连续M帧单帧图像中雨滴边界框包含的雨滴是否为稳定雨滴采用交并比(Intersection over Union，简称IOU)的方式，其中，IoU分数是对象类别分割问题的标准性能度量，给定一组图像，IOU测量给出了在该组图像中存在的对象的预测区域和当前实况区域之间的相似性。具体地，判断前后连续M帧单帧图像中雨滴边界框包含的雨滴是否为稳定雨滴包括如下步骤：
[0066] 基于第一帧单帧图像检测到K个雨滴创建包括K个被跟踪雨滴目标的跟踪序列，记录K个雨滴的雨滴边界框位置，并设置K个雨滴的生命计数器为1，初始化为非稳定雨滴；其中K为自然数；
[0067] 将从当前单帧图像中检测出的雨滴边界框与K个被跟踪雨滴目标逐一进行目标匹配，若存在被跟踪雨滴目标与对应检测目标的交并比大于第一预置阈值，则该被跟踪目标的生命计数器加1，并更新对应的雨滴边界框位置；
[0068] 若被跟踪雨滴目标生命计数器数值大于第二预置阈值，则设置被跟踪雨滴目标为稳定雨滴，否则设置为非稳定雨滴。
[0069] 优选地，第一预置阈值为0.5；第二预置阈值用户可以基于相关
精度要求进行设置。
[0070] 在一些实施方式中，考虑到雨滴多目标跟踪是个连续的过程同时天气是变化的，因此在整个雨滴目标跟踪时需要进行跟踪序列的调整，因此，将从当前单帧图像中检测出的雨滴边界框与K个被跟踪雨滴目标逐一进行目标匹配之后，还包括如下步骤：
[0071] 若不存在任何被跟踪雨滴目标与对应检测目标匹配，则在跟踪序列中创建一个新的被跟踪雨滴目标；
[0072] 若被跟踪雨滴目标没有检测到对应检测目标，则被跟踪雨滴目标的生命计数器减1，并设置该被跟踪雨滴目标为非稳定雨滴；判断更新后的被跟踪雨滴目标的生命计数器是否小于1，若是，则在跟踪序列中删除该被跟踪雨滴目标。
[0073] 在一些实施方式中，生成稳定雨滴跟踪信息包括如下步骤：
[0074] 对跟踪序列中的稳定雨滴的总面积和个数进行统计，基于稳定雨滴的总面积和个数生成稳定雨滴跟踪信息。
[0075] 值得注意的是，步骤S103和步骤S105是两个相互独立的步骤，在具体实施过程中，两者的步骤可以进行调换，本发明实施例对此不作限制。
[0076] 步骤S107：基于所述雨量场景跟踪信息和所述稳定雨滴跟踪信息生成雨刮控制指令，以控制雨刮的动作。
[0077] 详细地，基于雨量场景跟踪信息和稳定雨滴跟踪信息生成雨刮控制指令，以控制雨刮的动作包括如下步骤：
[0078] 若雨量场景跟踪信息为大雨，则开启雨刮并调整雨刮速度至快档；
[0079] 若雨量场景跟踪信息为中雨，则开启雨刮并调整雨刮速度至标准档；
[0080] 若雨量场景跟踪信息为小雨且稳定雨滴跟踪信息中的稳定雨滴的总面积和个数满足预设条件，则开启雨刮并调整雨刮速度至慢档；
[0081] 若雨量场景跟踪信息和稳定雨滴跟踪信息非以上三种情形之一，则关闭雨刮并将雨刮速度置零。
[0082] 需要解释的是，在步骤S101中有雨和无雨的分界线使用的判断标准是地面潮湿，地面整体潮湿即判定为有雨，然后根据雨量情况分为小雨、中雨、大雨三个雨量类别；反之，地面不是整体潮湿即判定为无雨。这种分类图像特征明显，便于卷积神经网络模型学习。但存在两种场景无法解决，易出现误判：
[0083] 1)刚下雨初始阶段，地面尚未潮湿，卷积神经网络模型分类会将其分类为无雨；
[0084] 2)雨已经停了，但是地面潮湿，卷积神经网络模型分类会将其分类为小雨；
[0085] 这两种情况都是错误的。
[0086] 这两种场景在车窗前档玻璃上洁净时，单纯从图像上，人眼都难以区分到底是有没有下雨。前者是正在下小雨还是只是天阴，后者是在下小雨还是雨后，都无法确认。如果将这两种场景强制放入卷积神经网络模型的训练数据中进行卷积神经网络模型训练，会导致雨量场景类别准确率明显下降。
[0087] 考虑到本发明实施例的使用场景是车载摄像模块，目的是控制雨刮动作，而非进行所有场景的雨量监测。当汽车前档玻璃洁净无雨滴时，并没有必要进行雨刮动作。当且仅当，由于下雨可能干扰驾驶员视线时，才需要进行雨刮动作。而此时，上面两种无法分类的场景就可以通过是否有雨滴来进行判断，若有，则刮动雨刮，若无，则不挂动雨刮。从而有效实现了汽车雨刮的控制，保证驾驶员的安全。
[0088] 与现有技术相比，本发明实施例一种基于图像识别的智能雨量感知方法具有如下有益效果：
[0089] 本发明实施例一种基于图像识别的智能雨量感知方法通过结合雨量场景类别和雨滴跟踪，相对于传统车载雨量电子传感器可在刚开始下雨就能及时启动雨刮并根据识别的雨量自动控制雨刮速度，在一定程度上增强了雨刮自动控制性能。同时，本发明实施例克服了传统车载雨量电子传感器迟滞效应，在一定程度上保证了行车安全。
[0090] 请参阅图2，基于同本发明实施例一种基于图像识别的智能雨量感知方法相同的发明构思，本发明另一实施例提供一种基于图像识别的智能雨量感知装置，其包括车载摄像处理模块202，与车载摄像处理模块202连接的车辆雨刮控制电机204、与车辆雨刮控制电机204连接的雨刮206，其中，车载摄像处理模块202包括车载摄像模块、一个或多个处理器、存储器、一个或多个应用程序；
[0091] 一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个应用程序配置用于执行上述一种基于图像识别的智能雨量感知方法。
[0092] 值得注意的是，考虑两个实施例构思相同，因此，此处就不对车载摄像处理模块做过多的说明解释，其具体实现可以参照上述基于图像识别的智能雨量感知方法。
[0093] 与现有技术相比，本发明实施例一种基于图像识别的智能雨量感知装置具有如下有益效果：
[0094] 本发明实施例一种基于图像识别的智能雨量感知装置通过车载摄像处理模块202实现了在刚开始下雨就能及时启动雨刮并根据识别的雨量自动控制雨刮速度，在一定程度上增强了雨刮自动控制性能。同时，本发明实施例克服了传统车载雨量电子传感器迟滞效应，在一定程度上保证了行车安全。
[0095] 以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
