技术领域
[0001] 本
发明涉及
图像处理技术领域，具体涉及一种利用眼动跟踪图像来检测疲劳程度的方法与系统。
背景技术
[0002] 疲劳驾驶是导致交通事故的主要原因之一，对驾驶员的疲劳状态进行检测对降低交通事故发生率有着十分重要的作用。目前疲劳检测主要有主观和客观两种评测方式。主观评测主要通过主观调查表、自我记录表、睡眠习惯调查表和斯坦福睡眠尺度表等来对被试的疲劳程度进行测评，这种方法简单方便，但不能对疲劳程度进行量化，同时评测结果容易受被试和研究者的主观判断的影响。疲劳的客观评测主要从医学
角度出发，利用医学仪器测试被试的脑电、心电、肌电
波形等医学指标，从而评测被试的疲劳程度。利用医学仪器测评疲劳的方法比较准确，但是测试条件苛刻，过程复杂，导致使用不方便。疲劳的客观评测除了应用医学手段外，还可以利用图像处理技术计算出人眼眼睑闭合度(PERCLOS)、面部表情、头部
姿态等特征作为疲劳检测的依据，这些方法可信度高，但是需要高
精度的视频检测设备，同时疲劳检测模型往往比较复杂，导致计算复杂。
[0003] 疲劳是指由于持续进行脑
力或者体力活动而造成的生理和心理的失调，人们在疲劳时头脑不清醒，注意力不集中，反应迟钝，不能准确判断和迅速处理各种异常情况。疲劳程度反应在眼动信息上不仅表现在瞳孔直径、眨眼
频率、眼睑开闭程度等指标上，还会出现视物模糊，观察移动速度较快的物体时，对其
位置的预判误差较大，不能正确跟踪物体等现象。
发明内容
[0004] 针对上述
现有技术的不足，本发明提供一种基于眼动跟踪的疲劳检测方法，解决现有技术中疲劳检测
算法复杂的技术问题，能够简单高效的检测疲劳，不仅操作简单，容易实现，而且避免了复杂的计算。
[0005] 为了解决上述技术问题，本发明采用了如下的技术方案：一种基于眼动跟踪的疲劳检测方法，其特征在于，包括以下步骤：
[0006] 在屏幕上随机产生位置固定、
停留时间可调的光点，光点总数为n个，每个光点的位置固定，每次只产生一个光点，受试者眼睛跟踪光点，同时采集受试者每次跟踪光点的眼动跟踪图像；
[0007] 从每幅眼动跟踪图像中提取相应的瞳孔跟踪位置的坐标，将瞳孔跟踪位置与相应的瞳孔标
定位置进行比较，并根据瞳孔跟踪位置与相应的瞳孔标定位置之间的距离判断每次光点跟踪是否正确；
[0008] 将在相同停留时间下的光点跟踪测试划分为同一跟踪测试组，分别计算各跟踪测试组的跟踪准确率；根据每个跟踪测试组的跟踪准确率，绘制跟踪准确率曲线：以横轴代表停留时间，纵轴代表每个跟踪测试组的跟踪准确率；
[0009] 根据跟踪准确率曲线分析疲劳状态：低于
阈值的跟踪准确率所对应的停留时间越长，表明疲劳程度越严重。
[0010] 进一步的，瞳孔标定位置按如下方式获取：
[0011] 按照预先设定的顺序在屏幕上依次产生停留时间大于等于2秒的n个光点，每次只产生一个光点，在停留时间大于等于2秒的情况下，认为受试者必定能正确跟踪光点，受试者眼睛按照预先设定的顺序跟踪光点，同时采集受试者每次跟踪光点的眼动跟踪图像；从每幅眼动跟踪图像中提取相应的瞳孔坐标作为正确跟踪光点的瞳孔标定位置。
[0012] 进一步的，在根据瞳孔跟踪位置与相应的瞳孔标定位置之间的距离判断是否正确跟踪光点时，所述距离在误差允许值内即认为跟踪正确，距离超过误差允许值则认为跟踪错误。
[0013] 进一步的，误差允许值根据多次重复试验统计获得，单次试验过程如下：在获得n个光点所对应的瞳孔标定位置后，保持光点的停留时间与标定过程的光点的停留时间相同，在屏幕上随机产生所述n个光点中的一个光点，受试者眼睛跟踪光点，同时采集受试者跟踪光点的眼动跟踪图像，从眼动跟踪图像中提取瞳孔跟踪位置的坐标，计算瞳孔跟踪位置与瞳孔标定位置之间的距离；统计每次试验得到的瞳孔跟踪位置与瞳孔标定位置之间的距离总和，并计算距离平均值，以距离平均值作为误差允许值。
[0014] 进一步的，光点的数量为5～9个，即每次在屏幕的5～9个固定位置上随机产生一个光点；
[0015] 将光点的停留时间按由长到短的顺序划分为k个梯度，将在相同停留时间下的光点跟踪测试划分为同一跟踪测试组，总共形成k个跟踪测试组，各个跟踪测试组具有相同的光点产生次数，光点产生总次数为m次；按照停留时间由长到短的顺序依次进行各组光点跟踪测试。
[0016] 一种基于眼动跟踪的疲劳检测系统，用于实现本发明的基于眼动跟踪的疲劳检测方法，包括以下装置：
[0017] 眼动仪，用于采集眼动跟踪图像；
[0018] 计算处理器，用于产生光点并配置有根据眼动跟踪图像来检测疲劳程度的疲劳检测程序；
[0019] 显示屏，用于显示计算处理器产生的光点；
[0020] 眼动仪、显示屏分别与计算处理器的
信号输入端与信号输出端通信连接。
[0021] 进一步的，疲劳检测程序按如下步骤执行：
[0022] Step1：设定误差允许值error_allow；获取屏幕
分辨率，并设定光点总数为n，从1到n为光点进行编号；根据屏幕分辨率计算各个光点的位置坐标，其中，第i个光点的位置坐标记为(x[i]，y[i])，其中，i∈[1,n]；
[0023] Step2：设置光点产生总次数为m，为每次产生的光点赋予一个位置序号，其中，产生第j次光点的位置序号pos[j]表示为：
[0024]
[0025] 通过第j次光点的位置序号pos[j]以获得第j次光点的产生位置坐标如下：
[0026] (x[poss[j]],y[poss[j]])，其中，poss[j]∈[1,n]；
[0027] Step3：根据光点的停留时间梯度k，设置k种停留时间；每m/k次产生光点的停留时间相同，且停留时间逐渐变短；将在相同停留时间下产生的光点划分为同一光点产生组，与在相同停留时间下的跟踪测试组一一对应；
[0028] Step4：获取眼动跟踪图像，并提取瞳孔跟踪位置坐标，从第j幅眼动跟踪图像提取的瞳孔跟踪位置坐标为(para_x[j],para_y[j])，j∈[1,m]；
[0029] Step5：计算跟踪标签con[j]：
[0030]
[0031] 式中，第j次产生的第i个光点对应的瞳孔标定位置坐标为(paraj_x[i],paraj_y[i])；i∈[1,n]；j∈[1,m]；
[0032] Step6：根据跟踪标签判断每次光点跟踪是否正确：当con[j]＝pos[j]时，表明第j次光点跟踪正确，跟踪结果err[j]＝1；当con[j]≠pos[j]时，表明第j次光点跟踪错误，跟踪结果err[j]＝0；
[0033] Step7：根据每个跟踪测试组中每次光点跟踪的跟踪结果计算每个跟踪测试组的跟踪准确率；
[0034] Step8：根据每个跟踪测试组的跟踪准确率，绘制跟踪准确率曲线：以横轴代表停留时间，纵轴代表每个跟踪测试组的跟踪准确率。
[0035] 进一步的，眼动仪采用红外眼动仪，采集的眼动跟踪图像为红外图像；选择记录每个光点消失前的最后一
帧图像作为眼动跟踪图像。
[0036] 进一步的，error_allow为10～15个
像素；设置光点总数n＝5，5个光点分别位于屏幕的左、上、右、下、中，其坐标分别为：(x[1],y[1])＝(r,h/2)、(x[2],y[2])＝(w/2,r)、(x[3],y[3])＝(w-r,h/2)、(x[4],y[4])＝(w/2,h-r)、(x[5],y[5])＝(w/2,h/2)；其中，w表示屏幕宽度，h表示屏幕高度，r表示光点半径；
[0037] 光点产生总次数为m＝200；停留时间梯度k＝20，每10次产生光点的停留时间相同；20种停留时间分别为：2秒、1.8秒、1.5秒、1秒、0.9秒、0.8秒、0.7秒、0.65秒、0.6秒、0.55秒、0.5秒、0.45秒、0.4秒、0.35秒、0.3秒、0.25秒、0.2秒、0.15秒、0.1秒、0.05秒。
[0038] 与现有技术相比，本发明的具有以下有益效果：
[0039] 1、发明依据人眼在不同疲劳程度下追踪物体的准确性不同，设计了基于眼动跟踪的疲劳检测方法，属于一种客观评价方法，与现有技术中的客观评价方法相比，本发明不需要建立复杂的计算模型，依据坐标位置判断是否正确跟踪光点，根据跟踪结果绘制跟踪准确率曲线，根据跟踪准确率曲线来判断疲劳程度，计算简单，速度快，并且评测结果非常直观。
[0040] 2、与现有技术中的疲劳检测系统相比，由于本发明所需要检测的参数仅为瞳孔跟踪位置坐标，不涉及脑电、心电等参数的检测，本发明的疲劳检测系统需要的设备较少，成本较低，操作过程简单方便。
附图说明
[0042] 图2是受试者上午9时的测试结果图；
[0043] 图3是受试者下午5时的测试结果图。
具体实施方式
[0044] 下面结合附图和优选实施方式对本发明作进一步的详细说明。
[0045] 针对现有疲劳检测算法复杂，对设备要求高等特点，发明一种简单高效、可靠性高的疲劳检测方法。设计合理的眼动跟踪实验，用眼动仪采集被试的眼动追踪视频图像，利用红外图像处理技术提取出被试者的眼睛注视的位置，计算并显示跟踪结果，从而判断被试的疲劳程度。
[0046] 本发明的基本思想是：对于显示器上随机出现且显示时间可调的光点，不同疲劳程度的被试者有着不同的反应速度和眼动跟踪结果，根据被试的眼动跟踪准确率，可以判断出其疲劳程度。基于此，本发明提供一种基于眼动跟踪的疲劳检测方法，包括以下步骤：
[0047] 在屏幕上随机产生位置固定、停留时间可调的光点，光点总数为n个，每个光点的位置固定，每次只产生一个光点，受试者眼睛跟踪光点，同时采集受试者每次跟踪光点的眼动跟踪图像；
[0048] 从每幅眼动跟踪图像中提取相应的瞳孔跟踪位置的坐标，将瞳孔跟踪位置与相应的瞳孔标定位置进行比较，并根据瞳孔跟踪位置与相应的瞳孔标定位置之间的距离判断每次光点跟踪是否正确；
[0049] 将在相同停留时间下的光点跟踪测试划分为同一跟踪测试组，分别计算各跟踪测试组的跟踪准确率；根据每个跟踪测试组的跟踪准确率，绘制跟踪准确率曲线：以横轴代表停留时间，纵轴代表每个跟踪测试组的跟踪准确率；
[0050] 根据跟踪准确率曲线分析疲劳状态：低于阈值的跟踪准确率所对应的停留时间越长，表明疲劳程度越严重。
[0051] 瞳孔标定位置按如下方式获取：
[0052] 按照预先设定的顺序在屏幕上依次产生停留时间大于等于2秒的n个光点，每次只产生一个光点，在停留时间大于等于2秒的情况下，认为受试者必定能正确跟踪光点，受试者眼睛按照预先设定的顺序跟踪光点，同时采集受试者每次跟踪光点的眼动跟踪图像；从每幅眼动跟踪图像中提取相应的瞳孔坐标作为正确跟踪光点的瞳孔标定位置。
[0053] 在根据瞳孔跟踪位置与相应的瞳孔标定位置之间的距离判断是否正确跟踪光点时，所述距离在误差允许值内即认为跟踪正确，距离超过误差允许值则认为跟踪错误。
[0054] 本发明提供的一种基于眼动跟踪的疲劳检测系统，包括以下装置：眼动仪，用于采集眼动跟踪图像；计算处理器，用于产生光点并配置有根据眼动跟踪图像来检测疲劳程度的疲劳检测程序；显示屏，用于显示计算处理器产生的光点；眼动仪、显示屏分别与计算处理器的信号输入端与信号输出端通信连接。眼动仪采用无线红外眼动仪并与计算处理器通过wifi、蓝牙等连接，采集的眼动跟踪图像为红外图像；选择记录每个光点消失前的最后一帧图像作为眼动跟踪图像。
[0055] 疲劳检测程序按如下步骤执行：
[0056] Step1：设定误差允许值error_allow；获取屏幕分辨率，并设定光点总数为n，从1到n为光点进行编号；根据屏幕分辨率计算各个光点的位置坐标，其中，第i个光点的位置坐标记为(x[i]，y[i])，其中，i∈[1,n]；
[0057] error_allow为10～15个像素；设置光点总数n＝5，5个光点分别位于屏幕的左、上、右、下、中，其坐标分别为：(x[1],y[1])＝(r,h/2)、(x[2],y[2])＝(w/2,r)、(x[3],y[3])＝(w-r,h/2)、(x[4],y[4])＝(w/2,h-r)、(x[5],y[5])＝(w/2,h/2)；其中，w表示屏幕宽度，h表示屏幕高度，r表示光点半径。
[0058] Step2：设置光点产生总次数为m＝200；停留时间梯度k＝20，每10次产生光点的停留时间相同；20种停留时间分别为：2秒、1.8秒、1.5秒、1秒、0.9秒、0.8秒、0.7秒、0.65秒、0.6秒、0.55秒、0.5秒、0.45秒、0.4秒、0.35秒、0.3秒、0.25秒、0.2秒、0.15秒、0.1秒、0.05秒。
[0059] 为每次产生的光点赋予一个位置序号，其中，产生第j次光点的位置序号pos[j]表示为：
[0060]
[0061] 通过第j次光点的位置序号pos[j]以获得第j次光点的产生位置坐标如下：
[0062] (x[poss[j]],y[poss[j]])，其中，poss[j]∈[1,n]。
[0063] Step3：根据光点的停留时间梯度k，设置k种停留时间；每m/k次产生光点的停留时间相同，且停留时间逐渐变短；将在相同停留时间下产生的光点划分为同一光点产生组，与在相同停留时间下的跟踪测试组一一对应。
[0064] Step4：获取眼动跟踪图像，并提取瞳孔跟踪位置坐标，从第j幅眼动跟踪图像提取的瞳孔跟踪位置坐标为(para_x[j],para_y[j])，j∈[1,m]。
[0065] Step5：计算跟踪标签con[j]：
[0066]
[0067] 式中，第j次产生的第i个光点对应的瞳孔标定位置坐标为(paraj_x[i],paraj_y[i])；i∈[1,n]；j∈[1,m]。
[0068] Step6：根据跟踪标签判断每次光点跟踪是否正确：当con[j]＝pos[j]时，表明第j次光点跟踪正确，跟踪结果err[j]＝1；当con[j]≠pos[j]时，表明第j次光点跟踪错误，跟踪结果err[j]＝0。
[0069] Step7：根据每个跟踪测试组中每次光点跟踪的跟踪结果计算每个跟踪测试组的跟踪准确率；
[0070] Step8：根据每个跟踪测试组的跟踪准确率，绘制跟踪准确率曲线：以横轴代表停留时间，纵轴代表每个跟踪测试组的跟踪准确率。
[0071] 根据系统显示的跟踪准确率曲线分析疲劳状态：低于阈值的跟踪准确率所对应的停留时间越长，表明疲劳程度越严重。
[0072] 值得注意的是：光点的数量并非越多越好，光点数量越多，各光点之间的间隔越小，甚至小于误差允许值，这样不利于准确判断每次跟踪是否正确。因此光点的数量为5～9个为宜，即每次在屏幕的5～9个固定位置上随机产生一个光点；将光点的停留时间按由长到短的顺序划分为k个梯度，将在相同停留时间下的光点跟踪测试划分为同一跟踪测试组，总共形成k个跟踪测试组，各个跟踪测试组具有相同的光点产生次数，光点产生总次数为m次；按照停留时间由长到短的顺序依次进行各组光点跟踪测试。
[0073] 下面以5个光点为例来，并采用本发明提供的一种基于眼动跟踪的疲劳检测系统来实现本发明的基于眼动跟踪的疲劳检测方法，设计如下的光点跟踪测试实验方案对本发明进一步说明，实验流程参考图1所示。
[0074] 在黑色背景的计算机屏幕上显示红色的光点，光点在左、上、右、下、中五个位置随机出现，在每个位置的停留时间可调，并从2秒到0.05秒逐渐变短。受试者戴上红外视频眼动仪，正对显示屏幕，眼睛跟踪观察出现的光点。在光点位置切换前，由眼动仪获取一帧人眼图像传输到计算机，计算机编写
软件，完成瞳孔定位、位置定标、跟踪准确率计算，根据对不同停留时间光点的跟踪准确率判断疲劳程度，具体如下：
[0075] a.在计算机屏幕上产生光点，共200次，每次的位置在左、上、右、下、中五个位置随机选择；
[0076] b.光点的停留时间共有20种，分别为2秒、1.8秒、1.5秒、1秒、0.9秒、0.8秒、0.7秒、0.65秒、0.6秒、0.55秒、0.5秒、0.45秒、0.4秒、0.35秒、0.3秒、0.25秒、0.2秒、0.15秒、0.1秒、0.05秒；
[0077] c.对每种停留时间，随机位置光点出现10次，也就是第1到10个随机光点，停留时间为2秒，第11到20个随机光点，停留时间为1.8秒，第191到200个随机光点停留时间为0.05秒，所以200个光点，每10个停留时间相同，共20种停留时间。
[0078] (2)跟踪位置定标
[0079] 为了准确判断眼动跟踪准确与否，首先需要将受试的注视位置同光点显示的位置关联起来，即标定跟踪过程中的参考坐标。标定过程为：
[0080] a.200个光点中，1到5个光点位置设定为左、上、右、下、中,这五个位置分别编号为1、2、3、4、5。由于这几个光点停留时间都为2秒，可以认为受试者一定会跟踪正确(如果需要，可以将定标光点的停留时间调得更长)；
[0081] b.将与这5个光点对应的人眼图像的瞳孔位置作为左、上、右、下、中的标准位置,作为计算跟踪情况的参考；
[0082] c.对任意光点对应的图像进行处理，得到瞳孔实际位置坐标。计算该位置与定标的参考位置的距离，用以设定误差允许值。
[0083] (3)跟踪能力测试
[0084] 在5个标准位置的瞳孔参考坐标确定后，就对200次随机光点对应的眼动跟踪图像进行处理，获得瞳孔位置，并分析跟踪情况，得到跟踪准确率。具体如下：
[0085] a.光点产生
[0086] 第1到5号光点按照定标方法描述的方式产生。此后，产生一个1到5的随机序号，但给出限制条件，不能连续出现2个相同的序号。记录这个序号为n,由这个序号决定光点产生的位置。剩下的195个光点的停留时间由实验方案的b给出。
[0087] b.图像记录
[0088] 采用红外视频眼动仪采集并记录图像。记录时刻为光点切换前，也就是光点停留时间的最后时刻，保证受试者充分利用光点的停留时间进行跟踪。
[0089] (4)跟踪效果计算
[0090] a.对每一帧图像，采用常规的
图像分析算法提取瞳孔区域，以其几何中心，也就是瞳孔区域所有点的坐标的平均值代表瞳孔位置；
[0091] b.设定误差范围d，计算每一个瞳孔中心与产生对应光点n的定标位置的距离，若小于d，则判定为跟踪正确，否则跟踪错误，得到200个点跟踪结果(正确或错误)，其中前5个点为定标点，检测位置就是定标位置，其距离为0，一定是跟踪正确的。
[0092] c.由于每10个光点采用同一个停留时间，因此统计这10个点的跟踪准确率，若10个点都跟踪正确就是100％，跟踪正确4个就是4/10,即40％，以此类推，从而得到20个跟踪准确率百分比，分别对应了从光点停留2秒到0.05秒的准确率。
[0093] (5)跟踪曲线显示及疲劳状况判断
[0094] a.绘制跟踪准确率曲线，以x轴代表停留时间，从2秒到0.05秒，共20个点，y轴为跟踪准确率，绘制曲线，可以直观看到跟踪准确率变化情况；
[0095] b.绘制各帧的跟踪状况，x为200帧的帧序号，y轴为跟踪状况，1表示跟踪正确，0表示跟踪错误。该图可以直观看到各帧的跟踪结果；
[0096] c.由跟踪准确率得到疲劳状况判定。得到跟踪准确率下降到50％的停留时间，比如第15种停留时间跟踪准确率下降到50％，表明光点停留时间为0.3秒时，跟踪准确率低于50％，若第11种停留时间跟踪准确率下降到50％，表明光点停留时间为0.5秒时，跟踪准确率低于50％。如果这个时间越长，表明疲劳程度严重，反应能力更差。
[0097] 考虑到受试者的个体差异，可以对受试者进行各种身体状况进行多次测试，如身体状况良好、饮酒、熬夜、疲劳等作为参考依据，从而对其身体状况进行评估。
[0098] 除了显示跟踪准确率图以外，还可将err[1]～err[200]在直角
坐标系显示，横坐标为200次眼动跟踪，纵坐标为对应的跟踪结果，1代表跟踪正确，0表示跟踪错误。根据跟踪准确率的下降情况判断疲劳状况，尤其是通过对比可以判断反
应力状况的变化。附图2和3是同一个人分别在上午9时和下午5时的测试结果，可以看到其跟踪准确率的变化。
[0099] 图2中上部分曲线图为受试者上午9时的跟踪准确率曲线图，下部分为200次眼动跟踪结果图，从图1中可看出受试者上午9时在第15种停留时间，即停留时间为0.25秒时，跟踪正确率下降到50％。图3中上部分曲线图为受试者下午5时的跟踪准确率曲线图，下部分为200次眼动跟踪结果图，从图3中可看出受试者下午5时在第13种停留时间，即停留时间为0.4秒时，跟踪正确率下降到50％。因此，可以很直观的看出：受试者下午5时比上午9时更加疲劳，而且跟踪正确的次数明显减少。
[0100] 说明：①本发明中参考坐标标定以及反应测试过程中，光点的停留时间为非固定值，可以调整。②本发明中光点的位置可以为图像输出显示器上的任何合理的位置，为了编程方便，本发明选择上述固定的五个位置。③本发明的反应测试环节中，光点出现的位置随机产生，但任何相邻两次光点不能在同一位置。④由于改变注视位置需要一定时间，为了减小误差，本发明选择记录每个光点消失前的最后一帧图像来计算受试者的注视位置。⑤发明计算跟踪结果所采用的误差允许值为15个像素，该值可根据实际情况作调整。
