一种基于改进的级联卷积神经网的人体疲劳检测方法
专利汇可以提供一种基于改进的级联卷积神经网的人体疲劳检测方法专利检索，专利查询，专利分析的服务。并且本 发明 请求 保护一种基于改进的级联卷积神经网的人体疲劳检测方法，该方法包括步骤：对带人脸图像进行肤色检测结合预训练CNN分类器识别人脸区域；对得到的人脸图像设计了一种级联神经网络结构来检测人眼以及人眼特征点，其中一级网络采用灰度积分投影粗 定位 与多任务卷积神经(G-RCNN)网实现人眼的检测与定位，二级网络(PCNN)将人眼图片进行分割后采用并联子卷积系统进行特征点回归预测；利用人眼特征点计算人眼开闭度识别当前人眼状态；S4，根据PERCLOS准则判断人体疲劳状态；本发明可获得较高识别率、能够对光照和随机噪声具有较强的鲁棒性。，下面是一种基于改进的级联卷积神经网的人体疲劳检测方法专利的具体信息内容。
1.一种基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，包括以下步骤：
S1、将人脸面部图像由RGB空间映射到YCrCb空间；R,G,B代表红绿蓝三原色，Y代表亮度信息，Cb，Cr分别表示色彩和饱和度信息；
S2、采用Otsu最大类间方差算法进行自适应近肤色阈值分割，去除与肤色信息差距较大的背景信息，经过腐蚀、膨胀过滤噪点，保留肤色候选区域；
S3、分割肤色候选区域的最小外接矩形区域图像，输入CNN分类器分类获取人脸区域图像；
S4、利用灰度积分投影对人脸图像进行人眼粗定位；
S5、利用G-RCNN灰度-区域卷积神经网检测人眼，对人眼完成精定位；
S6、构建改进的级联卷积神经网PCNN网络，该网络首先将图像进行2×2分割并采用并行卷积来进行加速计算，同时，最后一层前采用3×3的非共享卷积对特征点进行回归预测，检测人眼六个特征点并利用特征点计算人眼开闭度，识别人眼状态；
S7、利用PERCLOS闭眼帧数百分比准则识别人体疲劳状态。
2.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S1由RGB空间映射到YCrCb空间的关系式为：
Y＝0.2990*R+0.5870*G+0.1140*B
Cr＝-0.1687*R-0.3313*G+0.5000*B+128
Cb＝0.5000*R-0.4187*G-0.0813*B+128
其中，R,G,B代表红绿蓝三原色，Y代表亮度信息，Cb，Cr代表色度信息。
3.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S2肤色阈值选取采用Otsu最大类间方差自适应算法，去除与肤色信息差距较大的背景信息，经过腐蚀、膨胀保留肤色候选区域，该算法关系式为:
g＝w0w1(u0-u1)2
g为类间方差，算法步骤为：将利用阈值T将图像分为前景和背景，记属于前景的像素点数占整幅图像的比例记为w0，其平均灰度μ0；背景像素点数占整幅图像的比例为w1，其平均灰度为μ1，图像的总平均灰度记为μ，遍历0～255各灰阶，寻找使类间方差最大的阈值T。
4.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S3分割肤色候选区域的最小外接矩形区域图像的步骤包括：直接计算候选目标的外接矩形；(2)将图像在90。范围内旋转一设定角度，计算最小外接矩形；(3)依次迭代，找出最小面积外界矩形；(4)反旋转至原图角度，获得最小外接矩形。
5.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S4利用灰度积分投影对人脸图像进行人眼粗定位，具体包括：
对于待检测的人脸图像f(x,y)，其水平灰度积分可表示为：
其中x2,x1分别为图像的右边界与左边界，G(x)为人脸灰度积分投影曲线，根据积分曲线得知人脸区域的灰度最大值与次大值点分别对应于人的额头部分与人的鼻中部，选取这两点之间的区域作为人眼候选区域。
6.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S5利用G-RCNN灰度-区域卷积神经网检测人眼，对人眼完成精定位，具体包括：
将人眼候选区域输入G-RCNN网络，提取人眼特征进行分类以及人眼框回归来定位人眼：
通过设计一3层结构的CNN结合RPN区域推荐网络，主要实现人眼分类与人眼框回归预测两种任务，网络利用3×3卷积核提取图像特征，利用2×2的最大池化进行降维，激励函数采用Tanh函数，Tanh函数形式为(ez-e-z)/(ez+e-z)，函数的取值范围在[-1,1]，均值为0，在训练中性能较sigmod函数更优，人眼定位误差函数：
Lerr表示实际人眼框与预测的人眼眶的
定位误差；x，y，w，h分别表示实际人眼框的中心点坐标与长、宽；x'、y'、w'、h'分别表示预测人眼框的中心点坐标与长、宽。
7.根据权利要求6所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，步骤S6中，检测人眼6个特征点并利用特征点计算人眼开闭度，识别人眼状态，具体包括：
通过检测了人眼的6个特征点，分别为上下眼睑的内交点与外交点，内外交点连线三等分点靠近内交点处与上下眼睑的交点，内外交点连线三等分点靠近外交点处与上下眼睑的交点识别人眼状态，特征点具体检测方式为一种包含4个并行子卷积系统的CNN结构，每个子卷积系统包含3个卷积层，两个2×2池化层，激励函数采用Tanh函数，最后一个卷积层采用不共享卷积方式，利用眼睑特征与其他区域特征的差异性，通过计算人眼的开闭度进行人眼状态识别，人眼开闭度计算公式为：
其中d为点A、B之间的直线距离，d1为点C、D之间的距离，d2为点E、F之间的距离，当比值<
0.1时，认为当前人眼状态为闭眼状态。
8.根据权利要求6所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述S7的PERCLOS准则具体包括：
研究表明人平均每分钟眨眼10～20次，即平均每3～6秒一次，人的正常眨眼时间为0.2～0.3s，而若眨眼时间达到0.5～3s则可视为疲劳状态，此时PERCLOS值处于8.3％～100％之间，规定PERCLOS>＝20％时，则可以认为当前人体处于疲劳状态。
一种基于改进的级联卷积神经网的人体疲劳检测方法
技术领域
背景技术
发明内容
附图说明
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 智能墙壁开关 | 2020-05-08 | 211 |
| 直播间虚拟礼物交互方法、电子设备和装置 | 2020-05-08 | 634 |
| 一种校园安防系统 | 2020-05-08 | 767 |
| 一种基于云计算的流行病监控系统 | 2020-05-11 | 564 |
| 一种药房引导系统、方法、装置、计算机设备及存储介质 | 2020-05-11 | 185 |
| 一种智慧城市综合数据看板平台 | 2020-05-11 | 253 |
| 一种听写结果的检测方法及学习设备 | 2020-05-11 | 931 |
| 脸部情感识别方法、智能装置和计算机可读存储介质 | 2020-05-08 | 210 |
| 人脸识别方法、装置及存储介质、终端设备 | 2020-05-08 | 749 |
| 音视频加密传输方法、装置、电子设备及存储介质 | 2020-05-08 | 895 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
