技术领域
[0001] 本
发明涉及
图像处理、模式识和自动化技术领域，尤其涉及防止疲劳驾驶的智能系统及方法。
背景技术
[0002] 疲劳驾驶是导致高交通事故中比较重要的因素，因而如何高效、准确、快速的检测驾驶员是否在疲劳驾驶，并在已知疲劳驾驶的情况下如何防止，就显得尤为重要。
[0003] 目前检测疲劳驾驶的技术手段主要是通过
机器视觉的方式，主要检测眼睛或嘴巴的运动状态(是否闭合、张开等状态)，通过某种状态机判断当前是否是疲劳驾驶状态；由于受
驾驶舱环境光照等复杂多变的因素影响，导致检测眼睛或嘴巴的
位置定位不够准确，结果会导致估计眼睛或嘴巴的运动状态不够精确，导致无检测概率比较大，而且对检测到的疲劳驾驶状态都是通过语音进行报警，这样从本质上没有制止疲劳驾驶带来的交通事故。
发明内容
[0004] 针对上述问题中存在的不足之处，本发明提供一种通过眼球
跟踪技术检测是否疲劳驾驶，并对疲劳驾驶者进行提醒的智能系统及方法。
[0005] 为实现上述目的，本发明的第一目的在于提供一种防止疲劳驾驶的智能系统，包括：供驾驶员佩戴的智能眼镜、车载中控台和安装在驾驶员座椅上的振动反馈装置；
[0006] 所述智能眼镜包括：
[0007] N个左红外
LED灯和N个右红外LED灯，用于投影在左眼球和右眼球上，作为后续检测的特征点；其中，N≥7；
[0008] 带有眼球追踪
传感器的左摄像头和右摄像头，用于追踪左眼球和右眼球并拍摄左图像数据和右图像数据；
[0009] 处理器，用于对左右图像数据进行滤波、ROI区域提取、特征点检测，并判断预设时间A内，左右图像特征点数目少于N/2的时间是否达到报警
阈值；若达到，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒。
[0010] 作为本发明的进一步改进，N个左红外LED灯均布在智能眼镜左镜框的边框上，所述左镜框上对应安装有左摄像头；
[0011] N个右红外LED灯均布在智能眼镜右镜框的边框上，所述右镜框上对应安装有右摄像头。
[0012] 作为本发明的进一步改进，所述处理器包括：
[0013] 第一滤波降噪模
块，用于对左右图像数据进行双边滤波处理；
[0014] ROI区域提取模块，用于对滤波处理后的左右图像数据，提取包含左眼信息的左ROI区域和包含右眼信息的右ROI区域；
[0015] 特征点检测模块，用于采用ORB检测
算法对左右ROI区域进行特征点检测，记录左右ROI区域上检测到的特征点个数；
[0016] 第一判断模块，用于判断在预设时间A内，左右ROI区域上特征点数目少于N/2的时间是否达到报警阈值，若达到，则向车载中控台发送报警指令。
[0017] 作为本发明的进一步改进，所述报警阈值为A1、A2、A3，其中：0＜A1＜A2＜A3＜A；
[0018] 当左右图像特征点数目少于N/2的时间大于A1且小于A2，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；
[0019] 当左右图像特征点数目少于N/2的时间大于A2且小于A3，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；
[0020] 当左右图像特征点数目少于N/2的时间大于A3且小于A，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。
[0021] 作为本发明的进一步改进，所述智能眼镜还包括：IMU；
[0022] 所述IMU包括
加速度传感器、
陀螺仪传感器和地
磁传感器，用于检测智能眼镜
姿态数据；
[0023] 处理器对智能眼镜姿态数据进行滤波，并判断智能眼镜的姿态在预设时间B内是否发生变化；若没有发生变化，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒。
[0024] 作为本发明的进一步改进，所述处理器还包括：
[0025] 第二滤波降噪模块，用于对智能眼镜姿态数据进行卡尔曼滤波处理；
[0026] 第二判断模块，用于对滤波处理的姿态数据进行姿态判断，判断智能眼镜的姿态在预设时间B内是否发生变化，若没有发生变化，则向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动。
[0027] 作为本发明的进一步改进，还包括：设置在
驾驶室内的语音播报装置；
[0028] 所述语音播报装置与所述车载中控台相连，当车载中控台接收到报警指令时，车载中控台控制语音播报装置进行语音提醒。
[0029] 作为本发明的进一步改进，所述车载中控台与处理器、振动反馈装置和语音播报装置的数据传输形式均采用蓝牙传输。
[0030] 本发明第二目的在于提供一种防止疲劳驾驶的智能方法，包括：
[0031] 步骤1、输入摄像头采集的左图像数据、右图像数据及IMU采集的智能眼镜姿态数据；
[0032] 步骤2、对左右图像数据进行双边滤波处理；
[0033] 步骤3、对滤波处理后的左右图像数据，提取包含左眼信息的左ROI区域和包含右眼信息的右ROI区域；
[0034] 步骤4、采用ORB检测算法对左右ROI区域进行特征点检测，记录左右ROI区域上检测到的特征点个数；
[0035] 步骤5、在预设时间A内，判断左右ROI区域上特征点数目少于N/2的时间是否达到报警阈值A1、A2、A3，0＜A1＜A2＜A3＜A；若达到，则向车载中控台发送报警指令；其中：
[0036] a、当左右图像特征点数目少于N/2的时间大于A1且小于A2，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；
[0037] b、当左右图像特征点数目少于N/2的时间大于A2且小于A3，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；
[0038] c、当左右图像特征点数目少于N/2的时间大于A3且小于A，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动；
[0039] 步骤6、对步骤1采集的智能眼镜姿态数据进行卡尔曼滤波处理；
[0040] 步骤7、对滤波处理的姿态数据进行姿态判断，判断智能眼镜的姿态在预设时间B内是否发生变化，若没有发生变化，则向车载中控台发送振动模式1的报警指令；
[0041] 步骤8、车载中控台接收步骤5和步骤7的报警指令，控制振动反馈装置振动和/或语音播报装置语音播放，实现对驾驶员的提醒。
[0042] 作为本发明的进一步改进，所述预设时间A为300s，报警阈值A1为30s，报警阈值A2为150s，报警阈值A3为200s，预设时间B为300s。
[0043] 与
现有技术相比，本发明的有益效果为：
[0044] 本发明提供防止疲劳驾驶的智能系统及方法，通过左右摄像头采集左右图像数据，处理器对左右图像数据进行滤波、ROI区域提取、特征点检测，根据特征点的个数来判断眼睛的闭合/张开状态，并在预设时间内，当眼睛处于闭合状态的时间达到报警阈值时，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒；
[0045] 本发明通过IMU检测智能眼镜姿态数据，从而得到驾驶员的头部的运动姿态；当智能眼镜的姿态在一定时间内没有发生变化，可判断出该驾驶员处于疲劳驾驶，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒；
[0046] 本发明对眼睛运动状态、头部的运动姿态的检测
精度高，通过振动反馈装置实现振动提醒，从而从本质上制止疲劳驾驶带来的交通事故。
附图说明
[0047] 图1为本发明一种
实施例公开的防止疲劳驾驶的智能系统的
框架图；
[0048] 图2为图1中智能眼镜的示意图；
[0049] 图3为图1中处理器的框架图；
[0050] 图4为本发明一种实施例公开的防止疲劳驾驶的智能系统的实现方法
流程图；
[0051] 图5为本发明一种实施例公开的特征点在投射在眼睛上的示意图。
[0052] 图中：
[0053] 10、智能眼镜；11、左红外LED灯；12、右红外LED灯；13、左摄像头；14、右摄像头；15、IMU；16、处理器；20、车载中控台；30、振动反馈装置；40、语音播报装置。
具体实施方式
[0054] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0055] 下面结合附图对本发明做进一步的详细描述：
[0056] 如图1、2所示，本发明提供一种防止疲劳驾驶的智能系统，包括：供驾驶员佩戴的智能眼镜10、车载中控台20和安装在驾驶员座椅上的振动反馈装置30；其中，智能眼镜10、车载中控台20和振动反馈装置30之间通过蓝牙进行信息交互，智能眼镜10的外形与普通眼镜近似，其可以为眼镜框、也可在眼镜框上安装对应的太阳镜片、近视镜片等；车载中控台20为
汽车的总控制中心，其为汽车的固有部分。
[0057] 本发明的智能眼镜10包括：左红外LED灯11、右红外LED灯12、左摄像头13、右摄像头14、IMU15、处理器16和电源；其中：
[0058] 如图3所示，左红外LED灯11、右红外LED灯12设置的数目最少为7个，本发明左红外LED灯11、右红外LED灯12均采用8个，上述数目综合考虑到电源的持久性和红外LED灯的效果。本发明8个左红外LED灯11均布在智能眼镜左镜框的边框上，左红外LED灯11投影在左眼球上(其可通过左红外LED灯的安装
角度及调整镜框的结构来实现)，作为后续左ROI区域检测的特征点。8个右红外LED灯12均布在智能眼镜右镜框的边框上，右红外LED灯12投影在右眼球上(其可通过右红外LED灯的安装角度及调整镜框的结构来实现)，作为后续右ROI区域检测的特征点。
[0059] 本发明在左镜框上对应安装有带有眼球追踪传感器的左摄像头13，左摄像头13用于追踪左眼球并拍摄左图像数据(左图像数据包含左眼信息、左红外LED灯11在左眼球上的投影等)，本发明的左摄像头13选用短焦摄像头。本发明在右镜框上对应安装有带有眼球追踪传感器的右摄像头14，右摄像头14用于追踪右眼球并拍摄右图像数据(右图像数据包含右眼信息、右红外LED灯12在右眼球上的投影等)，本发明的右摄像头14选用短焦摄像头。
[0060] 本发明智能眼镜10上还安装有IMU(惯性测量单元)15，IMU15包括加速度传感器、陀螺仪传感器和地磁传感器；其中，加速度传感器和陀螺仪传感器用于检测智能眼镜的姿态数据，由于驾驶员佩戴有智能眼镜，智能眼镜的姿态数据即为驾驶员的头部姿态数据；该姿态数据可用六
自由度表示，即通过加速度传感器沿检测x、y、z三个直角坐标轴方向的移动自由度和通过陀螺仪传感器检测绕这三个坐标轴的转动自由度，地磁传感器用于实时校正；从而通过IMU(惯性测量单元)来判断驾驶员头部的运动姿态是否发生改变。
[0061] 本发明智能眼镜10上还安装有处理器16，处理器16用于对左右图像数据进行滤波、ROI区域提取、特征点检测，并判断预设时间A内，左右图像特征点数目少于N/2的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令；同时，处理器16还用于对智能眼镜姿态数据进行滤波，并判断智能眼镜的姿态在预设时间B内是否发生变化；若没有发生变化，则向车载中控台发送报警指令。
[0062] 如图3所示，本发明的处理器16包括：第一滤波降噪模块、第二滤波降噪模块、ROI区域提取模块、特征点检测模块、第一判断模块和第二判断模块；其中：
[0063] 第一滤波降噪模块对输入的左右图像数据进行传统的双边滤波计算，进行图像数据降噪处理。
[0064] ROI区域提取模块对第一滤波降噪模块滤波降噪处理后的左右图像数据，进行ROI区域提取(ROI(region of interest)，感兴趣区域。机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域)，提取包含左眼信息的左ROI区域和包含右眼信息的右ROI区域。ROI区域在图像的位置，是由
硬件系统相对人眼的位置的摆放决定的，本发明将ROI区域摆放在左右图像中间的某一区域中。
[0065] 特征点检测模块采用传统的ORB检测算法对左右ROI区域进行特征点检测，记录左右ROI区域上检测到的特征点个数；其中，当眼睛处于闭合状态时，特征点投影在眼皮上，通过设计的检测阈值其无法通过ORB检测算法来检测到特征点；当眼睛处于张开状态时，特征点投影在眼球上，其获取的ROI区域呈现出明显的黑白效果，如图5所示；其可通过ORB检测算法来检测到特征点；基于上述原理，本发明通过检测特征点低于某一阈值则判断眼睛处于闭合状态，根据眼睛处于闭合状态的时间来判断驾驶员处于疲劳驾驶的状态，本发明选择ROI区域上特征点数目少于特征点总数的一半判断成驾驶员眼睛处于闭合状态，根据下述眼睛处于闭合状态的时间来判断驾驶员处于疲劳驾驶的状态；同时，也可选用其它的阈值来判断驾驶员眼睛处于闭合状态和疲劳驾驶的状态。
[0066] 第一判断模块，用于在预设时间A内，判断左右ROI区域上特征点数目少于N/2的时间是否达到报警阈值A1、A2、A3，0＜A1＜A2＜A3＜A；若达到，则向车载中控台20发送报警指令；本发明设计预设时间A为300s，报警阈值A1为30s，报警阈值A2为150s，报警阈值A3为200s；同时，也可根据实际需求设计成其他的阈值。其中：
[0067] a、当左右图像特征点数目少于4的时间大于0且小于30s，则没有达到报警阈值，处理器不发送报警指令；
[0068] b、当左右图像特征点数目少于4的时间大于30s且小于150s，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；
[0069] c、当左右图像特征点数目少于4的时间大于150s且小于200s，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；
[0070] d、当左右图像特征点数目少于4的时间大于200s且小于300s，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。
[0071] 第二滤波降噪模块对智能眼镜姿态数据进行卡尔曼滤波处理，进行
传感器数据降噪处理。
[0072] 第二判断模块对第二滤波降噪模块滤波降噪处理的姿态数据进行姿态判断，设置状态机判断智能眼镜的姿态在预设时间300s内是否发生变化(头部的运动姿态也可人为的设定阈值)，若没有发生变化，则返回结果用语音提醒司机长头长时间没有转动了，可能会引起疲劳驾驶，并向车载中控台20发送振动模式1的报警指令，振动模式1为慢速振动。本发明设计预设时间B为300s，也可根据实际需求设计成其他的阈值。
[0073] 本发明的车载中控台20接收处理器16的报警指令，并向控制振动反馈装置发送指令，控制其工作，实现对驾驶员的振动提醒。其中，振动反馈装置安装在驾驶员座椅上，其可采用多个振动凸点，通过处理器的判断结果，控制不同数量的振动凸点振动，从而实现3种振动模式(也可根据需求设计成多种振动模式)。
[0074] 优选的，该智能系统还包括：设置在驾驶室内的语音播报装置40；
[0075] 语音播报装置40与车载中控台20相连，当车载中控台接收到报警指令时，车载中控台通过蓝牙
信号向语音播报装置40发送指令，控制语音播报装置40进行语音提醒。
[0076] 如图4所示，本发明提供一种防止疲劳驾驶的智能方法，包括：
[0077] S101、输入摄像头采集的左图像数据、右图像数据及IMU采集的智能眼镜姿态数据；
[0078] S102、对左右图像数据进行双边滤波处理；
[0079] S103、对滤波处理后的左右图像数据，提取包含左眼信息的左ROI区域和包含右眼信息的右ROI区域；
[0080] S104、采用ORB检测算法对左右ROI区域进行特征点检测，记录左右ROI区域上检测到的特征点个数；
[0081] S105、在预设时间300s内，判断左右ROI区域上特征点数目少于N/2的时间是否达到报警阈值30s、150s、200s，若达到，则向车载中控台发送报警指令；其中：
[0082] a、当左右图像特征点数目少于4的时间大于0且小于30s，则没有达到报警阈值，处理器不发送报警指令；
[0083] b、当左右图像特征点数目少于4的时间大于30s且小于150s，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；
[0084] c、当左右图像特征点数目少于4的时间大于150s且小于200s，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；
[0085] d、当左右图像特征点数目少于4的时间大于200s且小于300s，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动；
[0086] S106、对S101采集的智能眼镜姿态数据进行卡尔曼滤波处理；
[0087] S107、对滤波处理的姿态数据进行姿态判断，判断智能眼镜的姿态在预设时间300s内是否发生变化，若没有发生变化，则向车载中控台发送振动模式1的报警指令；
[0088] S108、车载中控台接收S105和S107的报警指令，控制振动反馈装置振动和/或语音播报装置语音播放，实现对驾驶员的提醒。
[0089] 本发明提供防止疲劳驾驶的智能系统及方法，通过左右摄像头采集左右图像数据，处理器对左右图像数据进行滤波、ROI区域提取、特征点检测，根据特征点的个数来判断眼睛的闭合/张开状态，并在预设时间内，当眼睛处于闭合状态的时间达到报警阈值时，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒；本发明通过IMU检测智能眼镜姿态数据，从而得到驾驶员的头部的运动姿态；当智能眼镜的姿态在一定时间内没有发生变化(变化的阈值可人为进行设定)，可判断出该驾驶员处于疲劳驾驶，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒；本发明对眼睛运动状态、头部的运动姿态的检测精度高，通过振动反馈装置实现振动提醒，从而从本质上制止疲劳驾驶带来的交通事故。
[0090] 以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何
修改、等同替换、改进等，均应包含在本发明的保护范围之内。
