用于检测瞬时睡眠的设备、方法和计算机程序
阅读：970发布：2020-05-13
专利汇可以提供用于检测瞬时睡眠的设备、方法和计算机程序专利检索，专利查询，专利分析的服务。并且示出了用于检测瞬时睡眠的设备(5)。该设备包括视频记录设备(10)，用于对人(15)和所述人(15)的眼睛区域进行基于视频的监视，视频记录设备(10)被配置为记录所述人(15)和眼睛区域的图片序列并且将其输出到 阈值 确定设备(20)。阈值确定设备(20)被配置为从图片序列导出单独适配于人(15)的一个或多个阈值(80，85)。此外，设备(5)包括阈值评估器(25)，被配置为基于一个或多个单独适配的阈值(80，85)判定人(15)是否已经瞬时入睡，一个或多个单独适配的阈值(80，85)用于确立在眼睛睁开的实时曲线内是否已经穿过阈值(80，85)，并且因此确立人是否已经瞬时入睡。，下面是用于检测瞬时睡眠的设备、方法和计算机程序专利的具体信息内容。
1.一种用于检测瞬时睡眠的设备(5)，包括：
视频记录设备(10)，用于对人(15)和所述人(15)的眼睛区域进行基于视频的监视，所述视频记录设备(10)被配置为记录所述人(15)和所述眼睛区域的图片序列并且将其输出到阈值确定设备(20)；
阈值确定设备(20)，被配置为从所述图片序列导出单独适配于人(15)的一个或多个阈值(80，85)；以及
阈值评估器(25)，被配置为基于所述一个或多个单独适配的阈值(80，85)判定人(15)是否已经瞬时入睡；
所述一个或多个单独适配的阈值(80，85)用于确立在眼睛睁开的实时曲线内是否已经穿过所述阈值(80，85)，并且因此确立所述人是否已经瞬时入睡。
2.根据权利要求1所述的设备(5)，其中第一单独适配的阈值(80)用于确定眼睛的眼睑闭合，所述眼睑闭合位于描述睁开的眼睛的第一单独确定的参考值(70)和描述闭合的眼睛的第二单独确定的参考值(75)之间，并且所述阈值表征从睁开的眼睛到闭合的眼睛的过渡；
第二单独确定的阈值与所述眼睑闭合的持续时间相关。
3.根据前述权利要求中任一项所述的设备，其中所述阈值确定设备(20)被配置为通过评估发生的霎眼来动态地连续适配所述单独确定的参考值(70，75)和所述一个或多个单独确定的阈值(80，85)。
4.根据权利要求3所述的设备(5)，其中所述阈值确定设备(20)被配置为借助于在所述眼睛睁开的时间曲线中的模式来确定霎眼，所述模式包括：开始于所述第一单独确定的参考值(70)、下降至低于所述第一单独自适应阈值(80)、以及在预定义的时间段内返回到所述第一参考值(70)。
5.根据前述权利要求中任一项所述的设备(5)，其中所述阈值评估器(25)被配置为检测已经穿过第一阈值(80)并且确定所述穿过的持续时间，如果所述持续时间穿过第二阈值(85)，则确立瞬时睡眠。
6.根据前述权利要求中任一项所述的设备(5)，其中所述阈值确定设备(20)被配置为将所述一个或多个单独适配的阈值(80，85)适配于人(15)的解剖结构和生理机能。
7.根据前述权利要求中任一项所述的设备(5)，其中所述阈值确定设备(20)被配置为基于环境条件中的变化将所述一个或多个单独适配的阈值(80，85)适配于所改变的环境条件。
8.根据前述权利要求中任一项所述的设备(5)，其中所述第一单独适配的阈值(80)包括滞后(90a，90b)，被配置为定义在从睁开的眼睛到闭合的眼睛的过渡期间以相对小的眼睛睁开角度的眼睑闭合以及定义在从闭合的眼睛到睁开的眼睛的过渡期间以相对大的眼睛睁开角度的眼睑闭合。
9.根据前述权利要求中任一项所述的设备(5)，其中所述阈值确定设备(20)被配置为分别针对每只眼睛确定所述一个或多个单独适配的阈值(80，85)。
10.根据前述权利要求中任一项所述的设备(5)，其中所述阈值确定设备(20)包括确定头部姿势，所述阈值确定设备(20)被配置为借助于所确定的头部姿势来适配所述一个或多个单独适配的阈值(80，85)。
11.根据权利要求10所述的设备(5)，其中所述阈值评估器(25)被配置为根据所述头部姿势借助于人(15)的一只眼睛或借助于人(15)的两只眼睛来确定所述人是否已经瞬时入睡。
12.根据前述权利要求中任一项所述的设备(5)，其中第二单独适配的阈值(85)指示比眨眼的持续时间长的持续时间。
13.根据前述权利要求中任一项所述的设备(5)，其中第二单独适配的阈值(85)适配于人(15)正在行进的当前速度。
14.根据前述权利要求中任一项所述的设备(5)，所述设备(5)包括GPS接收器(45)和/或加速度传感器(50)，被配置为捕捉设备(5)的行进速度，关于人(15)和/或交通工具的速度的结论是从所述行进速度得出的。
15.根据前述权利要求中任一项所述的设备(5)，所述设备(5)包括发射在人(15)可见的波长范围之上的辐射的照射源(55)，所述视频记录设备(10)被配置为检测所述辐射。
16.根据权利要求15所述的设备(5)，所述设备(5)包括被布置在距所述照射源(55)一定距离处的另外的照射源(60)；
其中所述视频记录设备(10)被配置为确定所拍摄的图片的组合，在所拍摄的图片中，人(15)被所述照射源(55)和所述另外的照射源(60)先后照射所述眼睛区域，以避免在人(15)的所述眼睛区域的部位中的任何反射。
17.根据前述权利要求中任一项所述的设备(5)，所述设备是便携式的。
18.一种用于检测瞬时睡眠的设备(5)，包括：
视频记录设备(10)，用于对人(15)和所述人(15)的眼睛区域进行基于视频的监视，所述视频记录设备(10)被配置为记录所述人(15)和所述眼睛区域的图片序列并且将其输出到阈值确定设备(20)；
阈值确定设备(20)，被配置为从所述图片序列导出单独适配于人(15)的一个或多个阈值(80，85)；以及
阈值评估器(25)，被配置为基于所述一个或多个单独适配的阈值(80，85)判定人(15)是否已经瞬时入睡；
所述一个或多个单独适配的阈值(80，85)用于确立在眼睛睁开的实时曲线内是否已经穿过所述阈值(80，85)，并且因此确立所述人是否已经瞬时入睡；
其中第一单独适配的阈值(80)用于确定眼睛的眼睑闭合，所述眼睑闭合位于描述睁开的眼睛的第一单独确定的参考值(70)与描述闭合的眼睛的第二单独确定的参考值(75)之间，并且所述阈值表征从睁开的眼睛到闭合的眼睛的过渡；
第二单独确定的阈值与所述眼睑闭合的持续时间相关；
其中所述阈值确定设备(20)被配置为通过评估发生的霎眼来动态地连续适配所述单独确定的参考值(70，75)和所述一个或多个单独确定的阈值(80，85)；以及其中所述阈值确定设备(20)被配置为借助于在所述眼睛睁开的时间曲线中的模式来确定霎眼，所述模式包括开始于所述第一单独确定的参考值(70)、下降至低于所述第一单独自适应阈值(80)、以及在预定义的时间段内返回到所述第一参考值(70)。
19.一种检测瞬时睡眠的方法(600)，包括：
通过使用视频记录设备(10)来对人(15)和所述人(15)的眼睛区域进行基于视频的监视，所述视频记录设备(10)被配置为记录人(15)和所述眼睛区域的图片序列并且将其输出到阈值确定设备(20)；
通过使用所述阈值确定设备(20)从所述图片序列导出单独适配于人(15)的一个或多个阈值；
基于所述一个或多个单独适配的阈值(80，85)来判定人(15)是否已经瞬时入睡；以及利用所述一个或多个单独适配的阈值(80，85)以便确立在眼睛睁开的实时曲线内是否已经穿过所述阈值(80，85)，并且因此确立所述人是否已经瞬时入睡。
20.一种计算机程序，用于根据如权利要求19中所述的方法检测瞬时睡眠。
用于检测瞬时睡眠的设备、方法和计算机程序
技术领域
背景技术
[0002] 已经能够在一些批量生产交通工具中找到同时包括瞬时睡眠警报设备的驾驶员辅助系统。它们基于例如CAN总线上可用数据(例如，转向角、加速和制动行为等)的统计评估。换句话说，到目前为止已经在批量生产交通工具中可用的驾驶员辅助系统评估数据，该数据仅能够得出关于驾驶员所处的状态(并且特别是关于瞬时睡眠)的间接和不精确的结论。
[0003] 此外，可以将改装系统直接附接到人。附接的示例性位置是耳朵或手。因此，系统可以对例如头部的倾斜或皮肤的电导作出反应，以便由此识别瞬时睡眠。正如上述驾驶员辅助系统一样，所述系统还具有缺点，即所评估的数据仅能够得出关于驾驶员所处的状态(并且特别是关于瞬时睡眠)的间接和不精确的结论。此外，所述系统使用户不便于处理和不愉快地佩戴，并且很难被潜在用户接受。
[0004] 此外，可以采用具有集成摄像机的眼镜，集成摄像机指向眼睛并且能够经由基于视频的眼睑闭合识别瞬时睡眠。然而，这些系统也使用户不便于处理和不愉快地佩戴并且很难被潜在用户接受。
发明内容
[0006] 因此，本发明的目的是在瞬时睡眠的情况下提供改进的警报概念。
[0008] 实施例示出了一种用于检测瞬时睡眠的设备。该设备包括用于对人和所述人的眼睛区域进行基于视频的监视的视频记录设备，视频记录设备被配置为记录人和眼睛区域的图片序列，并将其输出到阈值确定设备。阈值确定设备被配置为从图片序列中得到单独地适配于此人的一个或多个阈值。此外，该设备包括阈值评估器，被配置为基于一个或多个单独适配的阈值来判定此人是否已经瞬时入睡；一个或多个单独适配的阈值被用于确立在眼睛睁开的实时曲线内是否已经穿过阈值，并且因此确立所述人是否已经瞬时入睡。穿过可能意味着达到以及超过和/或下降至低于阈值。因此，例如有用的是，确定达到或下降至低于第一阈值(眼睑闭合程度)并且达到或超过第二阈值(在其期间下降至低于第一阈值的时段，例如在其期间眼睑被识别为闭合的时段)。可以进一步实时处理图片序列。
[0009] 本发明基于以下发现：特别是关于人，通过直接测量眼睑闭合可能非接触地检测瞬时睡眠，这是对瞬时的睡眠已经发生的事实的良好指示。在该基于视频的过程中，借助于预定义的模型来确定眼睑闭合(或眼睛的睁开)，所述模型单独地适配于此人。为此，可以使用单独适配于要监视的人的头部的基本模型。测量作为瞬时睡眠的直接特征的眼睑闭合优于测量间接特征，这是由于以下的非常事实：不需大规模且因此易于出错的算法需要应用于任何间接特征(例如头部倾斜或皮肤的电导)。此外，在方便性和接受性方面，非接触测量明显优于涉及接触的测量。例如，安装在汽车中的设备不需要进一步的适配(例如，对用户方面进行校准)，使得被监视的人根本不会注意到他/她正在被摄像机记录。例如，这不是特定眼镜的情况。他们必须在开始旅程之前戴上，并将在整个佩戴期间永久给予人不同的感觉。这种心理效果实质上有助于用户的健康。
[0010] 用于从观察到的任何眼睑闭合检测瞬时睡眠(和/或用于单独地将模型适配于此人)的标准和/或阈值可以基于监测该人而确定，并且因此可以单独地适配于此人。本文的优点在于，考虑了人的解剖结构和生理机能，并且因此，可以以比使用应用于标准和/或阈值的一般标准值的方式好多了的方式检测瞬时睡眠。与例如跨越大群人统计学上确定的一般标准值相比，单独地适配于人的解剖学和生理学的标准已经关于个人提高了有效性。这种改进的有效性显著地提高了在瞬时睡眠的情况下单独地警报的可靠性。
[0011] 实施例示出了第一单独适配的阈值，其是一只眼睛的眼睑闭合，所述眼睑闭合位于描述睁开的眼睛的第一单独确定的参考值和描述闭合的眼睛的第二单独确定的参考值之间，并且所述阈值表征从睁开的眼睛到闭合的眼睛的过渡，第二单独确定的阈值与眼睑闭合的持续时间相关。
[0012] 实施例还示出了阈值评估器，被配置为检测正在穿过的第一阈值并确定所述穿过的持续时间；当所述持续时间穿过第二阈值时确定瞬时睡眠。据此，当下降至或达到第一阈值(例如，同时考虑到滞后)时(这意味着已经识别闭合的眼睑)，并且当在其期间眼睑是闭合的时间段达到或超过第二阈值时，识别出瞬时睡眠。
[0013] 在评估单独适配的阈值时，可以确定和考虑与其它参数和/或质量测量相关的其他单独适配的阈值作为所监测的人已经瞬时入睡的事实的标准。利用这样的阈值可以便于例如识别瞬时睡眠，因为确定了诸如特定模式或点的位置、取向或数量之类的参数。特定模式或点可以是例如人的头部、面部、眼睛、虹膜、瞳孔或瞳孔中心。单独适配的阈值的其它示例可以单独地或以任何组合(例如还与上述单独适配的阈值(眼睑闭合的程度和眼睑闭合的持续时间)一起)使用。此外，它们可以代替上述单独适配的阈值(眼睑闭合的程度和眼睑闭合的持续时间)。
[0014] 根据另外的实施例，阈值确定设备被配置为通过评估可能发生的任何霎眼(blink)来动态连续地适配单独确定的参考值和第一或几个单独确定的阈值。这是有利的，因为眼睑闭合的持续时间(例如在眨眼(wink)期间)在监视期间可能改变，例如由于疲劳或黄昏的发生。因此，阈值确定设备可以借助于在眼睛睁开的时间曲线期间发生的模式来确定眨眼和/或有意的或无意的自发霎眼，所述模式包括从第一参考值的方向下降至阈值以下以及在预定义时间段内在第一参考值的方向上的返回。此外，阈值确定设备可以被配置为基于环境亮度的变化将一个或多个单独适配的阈值适配于改变的环境条件。这是有利的，因为因此在确定单独适配的阈值时可以考虑例如由于驾驶进入隧道或突然被阳光眩目而快速改变的眼睑闭合特性。
[0015] 实施例还示出了阈值确定设备，被配置为使一个或多个单独适配的阈值适配于驾驶员的解剖结构和生理机能。因此，例如，在确定瞬时睡眠时可以考虑针对每个人单独确定的阈值。只要设备在接通之后没有确定人的任何单独的参考值或阈值，则还可以使用预定义的更一般的值，使得设备仍然能够在业已存在的该时间期间操作。
[0016] 此外，第一单独适配的阈值可以包括滞后，根据该滞后，在从睁开的眼睛到闭合的眼睛的过渡期间，眼睑闭合被限定在相对小的眼睛睁开角度，并且在从闭合的眼睛到睁开的眼睛的过渡期间，眼睑闭合被定义在相对大的眼睛睁开角度。
[0017] 另外的实施例示出了确定头部姿势的阈值确定设备，并且其中借助于确定的头部姿态来适配单独适配的阈值。这可以有利地用于使连续确定的眼睛睁开曲线对于不同的头部姿势在数量上可比较，因为当头转动时该设备可见的眼睛的表面积将改变，并且因此将看起来更小(例如，当头向前倾斜时)。此外，阈值确定设备可以被配置为分别为每只眼睛确定一个或多个单独适配的阈值，由此例如可以更容易地被该设备检测到的眼睛将用于瞬时睡眠识别。此外，阈值确定设备可以被配置为基于头部姿势、基于所述人的两只眼睛(例如如果两只眼睛对于设备是容易可见的)来确定眼睑闭合，或者基于所述人的一只眼睛(如果例如只有一只眼睛对设备是可见的)来确定眼睑闭合。
[0018] 另外的实施例描述了包括3D建模器的设备，3D建模器基于头部的三维模型计算人的头部姿势的位置。这对于确定眼睛所位于的限定区域是有利的。这减少了检测错误的数量，并因此能够提高检测质量。此外，可以考虑头部姿势以支持检测眼睑闭合。根据头部相对于摄像机的位置，可以校正睁开的和/或闭合的眼睛的参考值。
[0019] 根据另一实施例，3D建模器可以例如基于柱体来计算头部的三维模型的估计，并且可以借助于特征跟踪来跟踪它。所述估计减少了用于检测头部姿势的计算开销，同时为进一步确定眼睛区域提供了非常好的估计。这使得能够“实时地”分析(跟踪)头部姿势。
[0020] 实施例还示出，第二单独适配的阈值指示比眨眼的持续时间长的持续时间。此外，第二单独适配的阈值可以适配于人(例如利用交通工具)正在移动的当前速度。为了确定人正在移动的当前速度，设备可以具有例如GPS接收器和/或被配置为捕捉设备的行进速度的加速度传感器，其可以用于得出关于人的和/或交通工具的速度的结论。阈值确定设备20还被配置为使一个或多个单独适配的阈值80和85适配于行进速度。这使得例如当人坐在交通工具中但是所述交通工具不移动时能够关闭瞬时睡眠识别和/或瞬时睡眠警报。在另一实施例中，设备还可接收行进速度作为输入信号。
[0021] 根据另外的实施例，该设备包括被配置为发射在人可见的波长范围之上的辐射的照射源，视频记录设备被配置为检测辐射。这是有利的，以便均匀地照射人(即使在外部光条件改变的情况下)，而不使人注意到照射并且被其干扰。此外，该设备可以包括布置在距辐射源一定距离处的另外的辐射源，视频记录设备被配置为创建所拍摄的图片的组合，其中，人被照射，因为眼睛区域被该辐射源和另外的辐射源依次照射，以便避免或减少在人的眼睛区域中发生的反射。关于这种布置可能是有利的是，改善图片质量并因此改善瞬时睡眠确定的精确度，因为不避免或减少反射，发生在眼镜上或瞳孔上的反射例如可能使所述人的一只或两只眼睛模糊，并且因此可能使得瞬时睡眠确定更加困难。
[0022] 根据另外的实施例，该设备包括被配置为基于图片序列确定眼睛睁开参数的眼睛睁开检测器。实施例示出了被配置为基于来自眼睛检测的参数确定眼睛睁开(例如，归一化为距视频记录设备或摄像机的该距离的眼睛睁开)的眼睛睁开检测器。例如，参数可以是眼睛的中心或眼睛的边缘区域中的点。由于已经在眼睛的有限区域内确定眼睛的眼睛睁开度，所以该确定更精确并且更不易于出错(与如果在较大的搜索区域或者更大的ROI(感兴趣的区域)内执行该确定相比)。
[0023] 实施例进一步描述了通过例如使眼睛模板或模型适配于梯度图片或其他合适的特征(例如拐角特征或拱形特征)来确定眼睛睁开角度，其可以基于特定星座图中的梯度和/或相对于彼此的距离的组合。眼睛模板可以用于描述睁眼过程的部分。另一实施例示出借助于眼睛模板确定眼睛睁开角度，借助于估计以基于眼睛的中心和面部的宽度的水平投影函数来遍及眼睛模板。除此之外，实施例示出借助于曲线近似确定眼睛睁开过程。曲线近似可以在描述眼睛轮廓的至少四个参数之间内插，并且因此可以将眼睛模板适配于检测到的眼睛。所描述的确定眼睛睁开过程的方法使用来自眼睛检测的参数作为参考点(＝界标)。后者影响模板的尺寸和形状，并因此形成用于确定眼睛睁开和/或眼睑闭合程度的基础。
[0024] 根据实施例，该设备是便携式的。这使得能够移动地利用设备，而不是例如将其固定地安装在汽车中。
[0026] 下面将参照附图更详细地说明本申请的优选实施例，在附图中：
[0027] 图1示出了用于检测瞬时睡眠的设备的示意性框图；
[0028] 图2示出用于检测瞬时睡眠的具有单独确定的参考值以及单独适配的阈值的眼睛睁开曲线的示意性表示；
[0029] 图3示出了用于以偏离图1的表示检测瞬时睡眠并且包括更详细的功能块的设备的示意性框图；
[0030] 图4示出了指向人的视频记录设备的示意性表示；
[0031] 图5示出了具有用于检测瞬时睡眠的设备的示例性布置的交通工具内部的示意性表示；以及
[0032] 图6示出了检测瞬时睡眠的方法的示意性流程图。
具体实施方式
[0033] 在附图的以下描述中，相同或具有相同动作的元件将被提供有相同的附图标记，使得它们的描述在不同的实施例中是可互换的。
[0034] 人(例如交通工具驾驶员)的过度疲劳可能导致注意力降低，并且导致人瞬时入睡。本文的瞬时睡眠将用作发生的短暂时期的睡眠的同义词，并且还包括例如微睡眠。这导致德国高速公路上约25％的致命事故。目前，在瞬时睡眠的情况下提供可靠的警报的系统在市场上并不已知，下面将提出一种用于检测瞬时睡眠的设备，其准确且可靠地检测人体中的眼睑闭合，以便从其中推断出人的瞬时睡眠，其检测人的瞬时睡眠，在瞬时睡眠发生时输出警报，并且使得能够易于使用提供瞬时睡眠警报的系统。
[0035] 整个系统可以从其中描绘了人的面部的摄像机图片中导出用于检测待监视的人的部位上的瞬时睡眠的单独适配的阈值，并且在瞬时睡眠发生时对该人发出警报。出于提高的清楚的原因，在一些实施例中提到了驾驶员。然而，通过类推的本发明的应用的描述和类型还涉及其它应用领域，例如，由空中交通管制员监视航空区域，在这种情况下，该系统可以用于在空中交通管制员方面的瞬时睡眠的情况下发出警报。
[0036] 图1示出了用于检测瞬时睡眠的设备5的示意性框图。用于检测瞬时睡眠的设备5包括视频记录设备10、阈值确定设备20以及阈值评估器25。用于对人15和人15的眼睛区域进行基于视频的监视的视频记录装置10被配置为记录人15和眼睛区域的图片序列，并将其输出到阈值确定设备20。阈值确定设备20被配置为从图片序列中导出单独适配于该人的一个或多个阈值80和85。阈值评估器25还被配置为基于单独适配的阈值来判定所述人是否已经瞬时入睡，所述单独适配的阈值用于确立在眼睛睁开的实时曲线内是否有任何阈值已经被穿过(例如超过和/或下降到其之下)，并且因此确立该人是否已经瞬时入睡。此外，阈值评估器25可以配置用于根据上述描述确立瞬时睡眠。
[0037] 阈值确定设备20因此被配置为从图片序列中导出用于检测瞬时睡眠的时变阈值，其单独地适配于用户或人15以及环境影响。环境影响应理解为尤其意味着例如改变光条件(例如太阳、阴影、阴天、夜晚或对面交通工具的炫目的前照灯)。为了在确定单独适配的阈值时考虑环境影响，阈值确定设备被配置为基于环境亮度的变化使单独适配的阈值适配于改变的环境条件。阈值旨在描述关于瞬时睡眠的“眼睛睁开的时间曲线”特性，其中一个阈值定义哪个眼睛睁开被认为是闭合的眼睛，而另一个阈值定义对于将被确立的瞬时睡眠眼睛必须被识别为闭合多长时间。下面将参照图2更详细地说明阈值。
[0038] 单独适配的阈值80和85可以考虑特定于人15的特征(例如解剖或生理特征)。根据单独适配的阈值80和85，阈值评估器25可以确定眼睑闭合的发生作为瞬时睡眠的开始的指示。这将在下面更详细地进行说明。
[0039] 可选地，设备5可以包括GPS接收器45和/或加速度传感器50。传感器可以感测设备5的行进速度，其可以用作得出关于人和/或交通工具的速度的结论的基础。阈值确定设备
20还被配置为使单独适配的阈值80和85适配于行进速度。例如，在交通工具中使用的情况下，可以识别交通工具的速度和/或驾驶状况(移动/处于静止)，并且可以关闭瞬时睡眠警报，因为驾驶员的瞬时睡眠警报优选在移动的交通工具中或者通常在移动的驾驶员中需要。
20还被配置为使单独适配的阈值80和85适配于行进速度。例如，在交通工具中使用的情况下，可以识别交通工具的速度和/或驾驶状况(移动/处于静止)，并且可以关闭瞬时睡眠警报，因为驾驶员的瞬时睡眠警报优选在移动的交通工具中或者通常在移动的驾驶员中需要。
[0040] 另外的实施例示出了具有照射源55的设备5，照射源55向人15发射在可见的波长范围之上的辐射，视频记录设备10被配置为检测辐射。因此，人15可以独立于外部光条件(例如还在完全黑暗中)而被照射，而不使人15眩目或被干扰。
[0041] 可选地，设备5还可以包括布置在距照射源55一定距离处的另外的照射源60。因此，人15可以由处于不同角度的两个照射源55和60照射。视频记录设备10被配置为确定所拍摄的图片的组合，其中借助于照射源55和另外的照射源60依次照射眼睛区域来照射人15，以便避免或减少在人的眼睛区域的部位中的任何反射。
[0042] 图2示出了用于检测瞬时睡眠的具有单独确定的参考值70和75的以及单独适配的阈值80和85的眼睛睁开65的曲线的适应性表示。眼睛睁开可以是绝对眼睛睁开或例如归一化为眼睛距离视频记录设备10的距离的眼睛睁开。第一单独适配的阈值80用于确定一只眼睛的眼睑闭合，眼睑闭合被定义为位于描述睁开的眼睛的第一单独确定的参考值70与描述闭合的眼睛的第二单独确定的参考值75之间，以及阈值80表征从睁开的眼睛到闭合的眼睛(眼睑闭合)的过渡。换句话说，当降至单独适配于用户的某种程度的眼睛睁开以下时(某种程度的眼睛睁开是由于环境影响造成的，并且将眼睛评估为闭合的)，将确立眼睑闭合。
[0043] 第二单独适配的阈值85涉及眼睑闭合的持续时间。确定单独的眼睑闭合时间，以便如果超过所述眼睑闭合时间则将眼睑闭合评估为瞬时睡眠。当下降至低于(眼睛睁开)或超过(时间阈值)用于评估的眼睛的单独适配的阈值80和85两者时，将确立瞬时睡眠。阈值确定设备20因此被配置为借助于眼睛睁开65的时间曲线内的模式来确定霎眼和/或眨眼；来自第一单独确定的参考值70的方向的模式包括下降至低于第一单独适配的阈值80和在预定时间Δt内在第一参考值70的方向上的返回。根据视频记录设备10对眼睛的可检测性，使用一只眼睛或两只眼睛来确定瞬时睡眠。这将在以下进行更详细地说明。
[0044] 在评估单独适配的阈值时，可以确定和考虑与其它参数和/或质量测量相关的其他单独适配的阈值作为所监测的人已经瞬时入睡的事实的标准。利用这样的阈值可以便于例如识别瞬时睡眠，因为确定了诸如特定模式或点的位置、取向或数量之类的参数。特定模式或点可以是例如人的头部、面部、眼睛、虹膜、瞳孔或瞳孔中心。单独适配的阈值的其它示例可以单独地或以任何组合(例如还与上述单独适配的阈值(眼睑闭合的程度和眼睑闭合的持续时间)一起)使用。此外，它们可以代替上述单独适配的阈值(眼睑闭合的程度和眼睑闭合的持续时间)。
[0045] 为了确定第一单独适配的阈值80，测量眼睛睁开并检测眼睑闭合。这是针对每只眼睛单独执行的。将参考图3描述测量眼睛睁开的方法。结果是以绝对值或归一化值表示的眼睛睁开65(参见图2)的时间曲线。借助于归一化，例如作为归一化为人15的被监视的眼睛与摄像机10的距离的像素，可以消除驾驶员和设备之间的不同距离的影响。
[0046] 第一单独确定的参考值70(还称为上参考值并且描述睁开的眼睛)和第二单独确定的参考值75(还称为下参考值并且描述闭合的眼睛)可以根据包括任何眨眼和/或霎眼的眼睛睁开65的时间曲线进行确定。此外，第一单独适配的阈值80可以在由单独确定的参考值70和75限制的范围内确定。在当前眼睛睁开小于第一单独适配的阈值时，眼睑被认为是闭合的(眼睑闭合)。据此，阈值确定设备被配置为使单独适配的阈值适配于驾驶员的解剖结构和生理机能。此外，在阈值确定设备20的部分上通过评估发生的任何眨眼，动态地连续适配单独确定的参考值70和75以及单独确定的阈值80和85。
[0047] 此外，第一单独适配的阈值80可以包括滞后90a、90b，被配置为在从睁开的眼睛到闭合的眼睛的过渡期间以相对小的眼睛睁开角度90b定义眼睑闭合，并且在从闭合的眼睛到睁开的眼睛的过渡期间以相对大的眼睛睁开角度90a定义眼睑闭合。
[0048] 通过评估例如被监视的人的霎眼(可能是自发的或无意的)来不断地确定分别关于人15和环境条件的睁开的和/或闭合的眼睛的单独确定的参考值70和75。这是有利的，因为以这种方式考虑了人15的个体解剖学和生理学特征。此外，该方法抵抗由环境影响对被监视人15所引起的任何干扰(诸如例如炫目的光)，因为阈值和/或参考值被动态地适配并且因此适配于可能已经改变的任何情况。所述评估可以基于识别自发霎眼或眨眼来进行，其“睁开”和“闭合”状态被认为是单独睁开和/或闭合的眼睛。
[0049] 随后，将通过示例的方式来说明识别眨眼或霎眼的方法。然而，还可以采用其他方法。一旦霎眼过程已经终止，则借助于眼睛睁开65的时间曲线中的信号形状，将其识别为在特定限度内可变的模式。该模式包括眼睛睁开的减少，随后眼睛睁开大约扩大到初始值70，两者都紧密接连发生。所述波形的最大值和最小值(其可以被滤波以便提高其被评估的性能)被用作上参考值和下参考值70和75。
[0050] 根据另一实施例，阈值确定设备可以分别确定关于单独“睁开的”和单独“闭合的”眼睛的单独的参考值。这两个单独的参考值将眼睛描述为单独“睁开的”或“闭合的”。为了执行所述确定，记录这两个参考值的单独的趋势，即，其连续地捕捉所述人15的所述单独“打开的”(与第一单独适配的参考值70相对应)和所述单独“闭合的”(与第二单独确定的参考值75相对应)的精确等同的内容，并且第一单独阈值80被定义为位于两个所述单独参考值(眼睑闭合)之间。换句话说，闭合的眼睑通过所述是单独地“睁开的”或“闭合的”以百分比为单位来定义。
[0051] 可以根据所述单独的阈值确定单独的瞬时睡眠。通过滞后90a、90b补充预先确定的并且其中眼睛睁开的程度被评估为临界的自适应阈值80。阈值是自适应的，因为它涉及关于单独“睁开的”和“闭合的”眼睛的单独的参考值。将参考图3更详细地说明该原理。
[0052] 为了微调第一单独适配的阈值80，还可以考虑眼睑闭合速度。所述眼睑闭合速度可以例如借助于以离开第一单独确定的参考值70开始并且以达到第二单独确定的参考值75结束的持续时间来确定。例如，如果单独适配的阈值80位于上参考值和下参考值70和75之间的中间，则可以利用眼睑闭合速度，因为单独适配的阈值80在向上方向(朝向参考值
70)或在向下方向(朝向参考值75)上进行校正。
70)或在向下方向(朝向参考值75)上进行校正。
[0053] 根据另一实施例，还微调参考值70和75。这是在考虑到头部姿势(即头部的位置和/或空间位置和取向)的情况下实现的，这可以借助于所谓的头部姿势跟踪来确定。据此，阈值确定设备20被配置为借助于确定的头部姿势来适配单独适配的阈值80，并且根据头部姿势借助于人15的一只眼睛或两只眼睛来确定眼睑闭合。具体地，可以以不精确的方式确定第一单独确定的参考值，这是由于改变了的眼睛的图片被拍摄的视角(例如如果由于眼睑的弯曲而眼睛睁开最大的眼睛中心被隐藏在视频记录设备10的视野之外)。借助于所述头部姿势跟踪，可以因此确定人15的外观是否被正面指向视频记录设备10，或者是否必须交替地执行对参考值70和75的校正。据此，头部姿势可以用于支持瞬时睡眠识别，并且因此可以可选地用于改善眼睛评估。
[0054] 基于对所记录的视频数据的评估，3D头部模型可以适配于所监视的头部的形状、位置和取向，并且基于对形状、位置和取向的认识，阈值可以是单独适配的。据此，设备5可以包括3D建模器，其基于对单独适配的阈值的评估来计算人的头部的三维模型。为了进行简化，3D建模器还可以通过使用头部的三维模型的形状、位置和取向的简化表示来执行计算(例如，基于柱体)。将参考图3更详细地描述头部姿势跟踪。
[0055] 确定第二单独适配的阈值85(即眼睑闭合的时间段Δt)并且将其一起用于两只眼睛，只要两只眼睛在焦距内并且可以被评估。基于单独确定的眼睑闭合持续时间的时间最大值而动态地确定阈值85；可以例如通过自发发生的霎眼或眨眼(以眼睑闭合和紧接着的眼睑睁开为特征)的持续时间的倍数或基于文献值来确定眼睑闭合持续时间。文献值可以用作不将值定义为不切实际高的参考点，或者可以用作尚未确定单独眼睑闭合时间的事件的初始化值。可选地，第二单独适配阈值85还可以取决于人(例如在汽车中)的行进速度。例如，相对长的眼睑闭合时间在高速下比在低速下更危险，因为在相同的时间段内闭合的眼睛覆盖更大的距离。GPS接收器45和/或加速度传感器50的数据可以用于此目的。此外，第二单独适配的阈值85的时间最小值可以适配于发生的霎眼和/或眨眼的时间段。
[0056] 第二单独适配的阈值85在范围内被指示为位于上述最大值和最小值之间，并且可以根据针对瞬时睡眠警报所设置的灵敏度来调整。给定高水平的灵敏度(特异性在相同时间较低)，阈值将接近时间最小值，并且给定低灵敏度(特异性在相同时间相对较高)，阈值将接近时间最大值。根据需要，可以在从“高灵敏度”至“低灵敏度”的范围内选择调整。可能需要高水平的灵敏度(例如，在人快速行进的情况下)。
[0057] 通过示例的方式，图2示出了在单独确定的参考值70和75的界限内的眼睛睁开曲线65。自适应阈值80被定义为各个参考值之间的中间并且确定人15的眼睑闭合；简言之，当眼睛睁开曲线下降到阈值80以下时，认为是眼睑闭合。围绕阈值80，滞后范围被限定在界限90a和90b之间，该滞后范围确定眼睑闭合的开始和结束时间，并因此确定眼睑闭合持续时间。如果下降至该界限90b以下，则眼睛将被认为是闭合的，并且如果超过界限90a，则眼睛将被评估为睁开的。如果眼睑闭合持续时间超过定义的阈值85(Δt)，则已经发生瞬时睡眠，否则眼前是眨眼和/或自发发生的眼睑闭合。
[0058] 换句话说，单独适配的阈值80和85定义了与实际眼睛睁开曲线相比较用于检测瞬时睡眠的模式，以便在模式和实际眼睛睁开曲线(其与超过阈值和/或下降至阈值以下相对应)之间存在匹配的情况下检测到瞬时睡眠。关于图2，如果下降至低于第二滞后界限90b，则将启动定时器以用于确定第二适配的阈值85。所述定时器将运行这样的时间，直到再次超过第一滞后界限90a为止。如果(初始)下降至滞后阈值以下和(随后的)超过滞后阈值之间的持续时间短于第二阈值85(Δt)，则眼前是自发发生的眼睑闭合或眨眼，如通过示例性时间周期Δt192和Δt394示出的。如果下降至低于和/或超过的持续时间大于或等于第二单独适配的阈值85，则眼前是瞬时睡眠。这借助于具有持续时间Δt293的示例性眼睑闭合示出。
[0059] 换句话说，如果(简言之)两个眼睑在限定的程度x上闭合了限定的时间段Δt，则将发生瞬时睡眠。根据头部的位置，例如如果仅两只眼睛中的一只被视频记录设备10捕捉，则还可以基于该一只眼睛进行评估。此外，一旦评估开始，应立即获得对瞬时睡眠的检测。为此，可以接受相对较大程度的不确定性和/或较大程度的灵敏度，因为在测量开始时将有很少或没有关于被监视的人可用的单独数据。
[0060] 为了导出所描述的检测阈值80和85以及参考值70和75，将使用个体解剖学和生理特征(例如个体解剖学眼睛睁开)和个体参数(诸如眼睑闭合、头部倾斜等)。
[0061] 此外，3D头部姿势可以用于定义使用两只眼睛中的哪只眼睛或者是否可能使用两只眼睛以用于评估。根据头部相对于摄像机的位置和扭曲，将做出关于两只眼睛中的哪只以及两只眼睛是否可能将被用于检测瞬时睡眠的决定。如果头部姿势跟踪确定头部相对于相机的足够的正面取向，则两只眼睛将用于评估。
[0062] 图3示出了用于以偏离图1的表示检测瞬时睡眠并且包括更详细的功能块的设备的示意性框图。用于检测瞬时睡眠的设备5包括用于对人15和所述人15的眼睛区域进行基于视频的监视的视频记录设备10。此外，用于检测瞬时睡眠的设备5可选地包括照射源55和可选的其它功能块105-140。根据实现，功能块可以与阈值确定设备20、阈值评估器25或单独的计算设备(未示出)相关联。根据实施例，设备5相对于人15是非接触的(参见图4)。非接触意味着当设备5按预期使用时，其部分将不会与人15接触。
[0063] 视频记录设备10被配置为记录人15和眼睛区域的图片序列，并将其输出到功能块，以便判定人15是否已经瞬时入睡。
[0064] 视频记录设备10还被配置为记录人15或人15的至少面部，并将所拍摄的图片序列输出到功能块105-140。基于所述图片序列，功能块将执行图片识别和处理步骤。
[0065] 实施例示出了图片序列中的反射105的距离。例如在眼镜或瞳孔和/或眼睛(特别是在角膜上)可能发生反射。可以在算法上通过检测和分割反射并用内插的或者(如果可能的话)重建的图片内容将其填充来去除反射。此外，可以避免反射，因为用光(例如，来自红外光谱，来自两个不同的位置)交替照射人。因此可以相对于彼此计算两个连续的帧，使得反射被清楚地减少，因为由于照射的变化，出现的反射发生在不同的图片位置。另一实施例描述所述后者算法的修改。再次，两个光源(例如，红外LED(IR-LED))交替地用于照射，并且连续地检测反射，这些反射不需要被校正和/或内插。如果反射位于感兴趣的区域(ROI)(例如在眼睛上方)内，则可以使用其他现有的光源或IR-LED。以这种方式，其可以不断地在光源之间切换，并且可以选择在每种情况下最有利的照射。
[0066] 实施例示出了面部识别115。面部识别115可以例如借助于级联检测器来定位面部或面部的组成部分(例如面部或面部轮廓上的眼睛、鼻子、嘴、耳朵和/或一般点(例如界标))，以便确定面部的二维(2D)位置和尺寸以及眼睛(或其他面部组成部分)的位置。级联检测器(例如根据Viola/Jones[2])可以包括具有不同细节水平和/或训练水平的不同的信号处理算法和/或相同的信号处理算法，以便评估一般特征。例如在Viola Jones[2]中所示的毛发状特征的使用在所描述的实施例中是可选的。以这种方式，可以借助于简单的算法来执行预分类，使得仅需要对减小的数据集采用更具体的算法，并且使得从而减少计算时间。此外，例如，还可以使用诸如神经元网络之类的其他信号处理方法来代替级联检测器。
[0067] 另外的实施例示出了对驾驶员或人15执行的眼睛识别120。在该步骤中可以改进上述面部识别，其中分析的2D位置(例如，眼睛的中心)是用眼睛睁开或闭合来确定的。此外，可以执行关于检测到的眼睛的睁开的估计。同样，可以通过使用级联检测器来执行眼睛识别。
[0068] 另一实施例描述了瞳孔或瞳孔中心125的检测。特别地，在眼睛睁开的情况下，可以确定瞳孔中心，并且然后将从眼睛识别120开始改进位置。瞳孔或瞳孔中心可以借助于基于梯度的方法(例如[1])来确定。暗的瞳孔和也是暗的虹膜从白色眼球中清楚地突出，并因此形成可以例如借助于[1]中描述的方法进行检测的强梯度。
[0069] 附加地或替代地，实施例示出了包括用于确定3D头部姿势110的3D头部建模器的设备5，3D头部建模器计算人的头部的三维模型或3D头部姿势。通过另外考虑3D头部姿态，可以实现头部或头部位置的更鲁棒和更精确的检测。此外，可以借助于3D模型来确定用于确定眼睛睁开程度的眼睛(一个或两个)的ROI中的界标。此外，在眼睑评估中，可以考虑头部的倾斜与头部的转动一样多，以便确定哪只眼睛可以更可靠地进行评估。头部的倾斜可以进一步用于适配单独的参考值70和75以及自适应阈值80。因此，设备5被配置为确定人15的眼睛的位置。
[0070] 为了确定3D头部姿势，可以首先进行初始化。后者包括借助于级联检测器的粗略2D面部检测(参见面部检测115)。另外的面部组成部分还可以经由级联检测器来定位，如已经针面部和眼睛识别所描述的。所述组成部分可以是眼睛的位置、鼻子的尖端或嘴角。基于粗略分类的面部组成部分，可以借助于基于ASM(活动形状模型)[3]或AAM(活动外观模型)[4]的方法将2D网格网络模型放置或置于面部上并且适配于人15。可以从其获得可用于进一步处理的界标。可以借助于投影来计算回界标，以获得归一化的头部和/或可以基于归一化的头部将其计算回3D。这可以例如借助于POSIT(具有ITeration的POS)[5]来实现。
[0071] 在初始化之后，可以在建模的面部内搜索和跟踪(特征跟踪)2D参考点(特征点)。所述参考点可以但不必匹配上述界标。然而，备选地或附加地，还将确定任何偏离的参考点，因为参考点经常与界标不匹配。基于头部的初始位置以及对参考点的跟踪，可以实现头部的位置跟踪。为了简化问题，例如为了减少计算开销，头部的表面可以被分解为3D柱体，该3D柱体利用先前确定的头部的初始位置来初始化。换句话说，3D头部建模器110可以基于柱体计算头部的三维位置和取向(即3D头部姿势)的估计。
[0072] 为了进一步跟踪，2D特征点与柱体上的对应3D位置相关联。这导致散射图的六个自由度(6DOF)中的空间位置和取向。随着时间的推移(即从图片到图片)跟踪2D特征点，并且确定它们的空间位置。如果任何特征点减少，或者如果添加新的特征点(例如由于头部的转动)，则基于3D柱体模型确定它们的空间位置。如果丢失太多的2D特征点，则不能再跟踪3D柱体的位置，并且将需要更新的初始化。将需要更新的初始化的次数取决于2D特征点的鲁棒性以及对特征点的跟踪。特征点误差的鲁棒性或敏感性取决于例如照射的变化、视角失真或被遮蔽的短期情况。为了抵消时间漂移(慢速移动)，可以现在以及然后执行从初始化获得的具有界标和/或3D位置的调格，即其与跟踪并行地不时地经过初始化。此外，从初始化获得的界标可以在头部位置的跟踪中以3D携带，并且可以找到它们的2D确定并且用于所述调整。
[0073] 另外的实施例示出了包括眼睛睁开检测器130的设备5，眼睛睁开检测器130确定以归一化值(例如归一化为距摄像机的距离的像素)表示的眼睛睁开的确定和/或时间曲线。换句话说，眼睛睁开检测器130恒定地确定眼睛睁开的当前宽度。为了分析眼睛，使用眼睛(一个或两个)的ROI内的一个或多个界标。在存在一个单一界标的情况下，可以使用源自初始眼睛识别(参见面部识别115和/或眼睛识别120的功能块)的位置，其例如通过使用级联检测器来确定。如果只有一个单一界标可用，则将有利的是，该界标将成为眼睛中心。更重要的界标表示例如眼角以及上眼睑和下眼睑。然而，所述界标是可选的并且可以用于支持在眼睛睁开检测器的部分上执行的眼睛分析。这具有以下优点：还可以在3D头部姿势跟踪失败并且不能提供界标并且因此仅估计的眼睛位置(例如，眼睛中心)可以从功能块115、120或125的2D跟踪中获得的情况下执行眼睛分析。据此，眼睛睁开检测器130被配置为基于源自功能块110至125的一个或多个界标来确定眼睛睁开。借助于模板进行眼睛睁开的确定。眼睛睁开检测器130可以借助于横跨四个点或界标描述的模板来对眼睛睁开进行建模，并且经由前者适配于检测到的眼睛。借助于数学曲线来内插四个界标之间的边缘区域。因此，眼睛睁开检测器配置成借助于内插在描述眼睛轮廓的至少四个参数之间的曲线近似来确定眼睛睁开角度。此外，假如关于来自功能块110的头部的3D位置和取向的信息项是可用的，则在遍及之前，模板可以在视角方面失真。
[0074] 在下文中，将描述确定眼睑闭合的程度或眼睛睁开的两种方法，其中将模板调整到基础图片内容。所述调节或微调通过梯度图片和其他合适的特征(例如角特征或拱形特征)实现，如上所述。
[0075] 1、将眼睛中心处理为仅有的界标：如果眼睛中心是唯一的界标，则可以例如借助于水平投影函数(例如，下文[6])估计眼睛睁开的上点和下点。先前描述的模板遍及眼睛中心和眼睛睁开的上点和下点，模板的宽度取决于面部的宽度。
[0076] 2、处理在眼睛的ROI中的几个界标：根据界标，模板在眼睛的区域(即，眼睛的ROI)内遍及。这之后是将模板定向和适配到眼睛睁开。模板的取向和适配可以例如基于与梯度图片的相似性来实现。
[0077] 此外，交通工具(例如在汽车领域中)的移动可以通过加速度传感器整体测量。在驾驶期间，由于加速、制动、道路的不同倾斜和在弯道中而产生加速度。车厢在停止期间和/或在静止状态下的振动可以被滤除(例如通过对谐波振荡进行滤波)。另外或作为替代，可以采用GPS(全球定位系统)来检测交通工具的移动。如果仅在交通工具移动时执行瞬时睡眠警报(因此避免了静止交通工具中的误警报)，则这是有利的。此外，交通工具速度可以用于最终调整时间自适应阈值85，以输出瞬时睡眠警报。
[0078] 所描述的设备5涉及基于摄像机和(关于用户)非接触系统，其摄像机和/或视频记录设备10指向人15。图4示出了具有指向人15的视频记录设备10的这种情况。该人可以是例如交通工具的驾驶员。此外，设备5适于确定单独适配的阈值80和85以及单独确定的参考值70和75，以用于检测人在摄像机实况图片中已经瞬时入睡，并且在已经发生瞬时睡眠的情况下给人15发出警报。术语瞬时睡眠警报设备应理解为在本发明中使用的术语而不是作为确切的界限，因为其识别微睡眠、瞬时睡眠以及正在进行的睡眠的发生。
[0079] 所使用的方法和算法的特征在于，借助于直接基于视频的监视和分别适配于人和照明条件的评估来识别在此人中发生的瞬时睡眠。与现有方法(其例如通过转向、制动和加速行为确定关于人的睡眠状态的次级数据(例如存在于交通工具内的CAN总线上的信息))相比，评估主要数据(眼睛睁开)。结果，系统和/或算法能够识别瞬时睡眠，并且在其发生的情况下以明显更精确和可靠的方式输出警报，由此可以避免事故，并且人们的生命可以特别是在安全关键区域(例如，交通工具的驾驶，航空区域(例如，在空中交通管制员一方)的监视，发电厂的操作和监视)中得到保存。
[0080] 关于汽车部门，设备5可以集成到汽车内的后视镜30内，或者可以可替换地安装到新鲜空气格栅或挡风玻璃上(例如作为改装解决方案(例如改装导航设备))。图5示出了所述布置中的两种，正如将设备5借助于固定装置40(例如，吸盘固定装置)(也被示出)安装到挡风玻璃35作为改装解决方案一样，将设备5集成到后视镜30中并因此还被安装到挡风玻璃35。此外，集成到仪表盘、A柱或汽车车顶下是可能的。然而，如已经描述的，该设备不限于汽车部门，而是还可以用于其它领域。此外，设备以稍微倾斜的角度从下面指向面部的位置是有利的，因为在该位置中，设备主要具有眼睛的清晰视野，眼睛例如只是很少被眼窝或眉毛遮蔽。
[0081] 根据一个实施例，设备5可以被实现为自主设备，并且还可以被实现为便携式的或者是上级协助或监控系统的一部分。作为简单的变型，该设备可以用作即插即用解决方案，即，任何人都可以执行安装。然而，在这种情况下，需要注意确保视频记录设备指向驾驶员。除了通过摄像机(即，视频记录设备10)检测待监测的人15(例如，汽车驾驶员、卡车驾驶员或空中交通管制员)之外，还可能实现具有若干摄像机的系统。这可以增加鲁棒性，因为扩展了检测区域(使用一个特定的摄像机，一只眼睛可能被遮蔽，其将然后由位于不同位置的第二摄像机捕捉)或者在评估中还考虑附加的参数(例如，人15的视线)。
[0082] 为了独立于外部照射条件，所使用的照明可以在对人不可见的光谱范围内，并且因此不表示干扰(例如在近红外范围内)。此外，可以例如借助于不同颜色的LED来指示系统的状态，并且可以经由声信号来实现在已经发生瞬时睡眠的情况下的警报。
[0083] 此外，上述设备5包括以下优点：
[0084] -借助于直接的、非接触的、基于视频的测量来确定眼睑闭合，并由此导出单独适配的阈值80和85以及单独确定的参考值70和75，以用于由此检测瞬时睡眠
[0085] -摄像机直接瞄准驾驶员，其结果通过直接视频监视来识别驾驶员的瞬时睡眠[0086] -远程系统：
[0087] ○非接触测量而不影响驾驶员
[0088] ○不需要附接到驾驶员头部或身体的任何其它部位
[0089] -方法优点
[0090] ○基于视频记录从驾驶员的面部导出的主要数据的评估
[0091] ○利用替代所描述的整体功能(识别瞬时睡眠/微睡眠)或单独的部分功能(例如，面部识别、去除反射等)的替代算法
[0092] 例如，应用领域是汽车部门，以及涉及公共汽车、火车、轮船、潜水艇、卡车等的任何其它运输部门或任何其他安全相关部门(例如，在发电厂中，用于空中交通管制员，用于交通监视等)。该设备可以集成到现有的驾驶员辅助系统或监视系统中，只要使得指向用户的摄像机可用。可替代地或附加地，瞬时睡眠警报设备可作为自主系统(自包含硬件)出售。所述系统必须安装在目标位置(通常在一次性操作期间)，使得用户被摄像机捕捉。安装可以由有资格的人员来执行(特别是如果还要建立与其他系统的连接(例如与客车中的CAN总线))。只不过可以由任何人(例如借助于在客车的挡风玻璃的内侧上的吸盘固定装置)执行在用户处安装并且指向用户。
[0093] 实施例示出了在被监视的人中单独识别的眨眼的持续时间可以用于不将所述短的眼睑闭合时间评估为瞬时睡眠。例如，本文中的“自发性霎眼”和/或“自发性眼睑闭合”被理解为是指眨眼。
[0094] 另外的实施例示出了借助于以下步骤来检测瞬时睡眠的方法600：步骤605，通过使用视频记录设备对人和所述人的眼睛区域进行基于视频的监视，所述视频记录设备被配置为记录人和眼睛区域的图片序列并且将其输出到阈值确定设备；步骤610，通过使用阈值确定设备从图片序列导出单独适配于此人的一个或多个阈值；步骤615，基于一个或多个单独适配的阈值判定此人是否已经瞬时入睡；以及步骤620，利用一个或多个单独适配的阈值以便确立在眼睛睁开的实时曲线内是否已经超过或下降至低于阈值，并且因此判定此人是否已经瞬时入睡。图6中示出了该方法的示意性框图。
[0095] 即使已在设备的上下文中描述了一些方面，也应当理解：所述方面还表示了对对应方法的描述，使得设备的块或结构组件还被理解为对应的方法步骤或方法步骤的特征。通过与之类比，已经在方法步骤的上下文中描述或作为方法步骤的方面还表示相应的块或相应设备的细节或特征的描述。一些或全部方法步骤可以由诸如微处理器、可编程计算机或电子电路的硬件设备(或同时使用硬件设备)来执行。在一些实施例中，最重要的方法步骤中的一些或若干可以由这种设备来执行。
[0096] 取决于具体实现要求，本发明的实施例可以用硬件或软件来实现。可以在使用数字存储介质的同时来实现各种实现方式，数字存储介质例如软盘、DVD、蓝光盘、CD、ROM、PROM、EPROM、EEPROM或闪存、硬盘或任何其他磁或光存储器，其将电可读控制信号存储于其上，其可以与可编程计算机系统协作或实际上进行合作，使得执行相应方法。这就是为什么数字存储介质可以是计算机可读的。
[0097] 从而根据本发明的一些实施例包括数据载体，该数据载体包括能够与可编程计算机系统合作使得执行本文描述的任何方法的电可读控制信号。
[0098] 一般而言，本发明的实施例可被实现为具有程序代码的计算机程序产品，该程序代码用于在计算机上运行计算机程序产品时执行任何方法。
[0099] 该程序代码还可以存储在例如机器可读载体上。
[0100] 其他实施例包括用于执行本文描述的任何方法的计算机程序，所述计算机程序存储在机器可读载体上。换言之，本发明方法的实施例从而是具有程序代码的计算机程序，该程序代码用于在计算机上运行计算机程序时执行本文描述的任何方法。
[0101] 本发明方法的另一实施例从而是数据载体(或数字存储介质或计算机可读介质)，其上记录有用于执行本文描述的任何方法的计算机程序。
[0102] 本发明方法的另一实施例从而是表示用于执行本文描述的任何方法的计算机程序的数据流或信号序列。数据流或信号序列可被配置为例如经由数据通信链路(例如，经由互联网)来传输。
[0103] 另一实施例包括例如计算机或可编程逻辑器件之类的处理装置，被配置为或适于执行本文描述的任何方法。
[0104] 另一实施例包括其上安装有用于执行本文描述的任何方法的计算机程序的计算机。
[0105] 根据本发明的另一实施例包括被配置为用于向接收器发送用于执行本文描述的至少一个方法的计算机程序的设备或系统。该发送可以是例如电子的或光学的。接收器可以是例如计算机、移动设备、存储器设备或类似设备。该设备或系统可以包括例如用于向接收器发送计算机程序的文件服务器。
[0106] 在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列FPGA)可以用于执行本文描述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作，以执行本文描述的任何方法。一般而言，在一些实施例中，方法由任何硬件设备来执行。所述硬件设备可以是任何通用硬件，例如计算机处理器(CPU)，或者可以是方法专用的硬件，例如ASIC。
[0107] 上述实施例仅表示对本发明的原理的说明。应当理解，本领域的其他技术人员将理解本文描述的布置和细节的修改和变化。这就是为什么旨在本发明仅由所附权利要求的范围来限制，而不是由本文已经通过实施例的描述和讨论提出的具体细节来限制。
[0108] 来源
[0109] [1]Timm，Barth(2011)：Accurate Eye Centre Localisation by means of Gradients
[0110] [2]Viola and Jones，″Rapid object detection using a boosted cascade of simple features″，Computer Vision and Pattern Recognition，2001
[0111] [3]Tim F.Cootes，Chris J.Taylor：Active Shape Models-″Smart Snakes″.In：David Hogg u.a.(Hrsg.)：BMVC92.Proceedings of the British Machine Vision Conference；22.-24.September 1992，Leeds.Springer-Verlag，Berlin 1992，ISBN 3-
540-19777-X，pp.266-275.
540-19777-X，pp.266-275.
[0112] [4]T.F.Cootes，G.J.Edwards，C.J.Taylor：″Active Appearance Models″，in：IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.23，No.6，June 2001，pp.681-685
[0113] [5]DeMenthon，Daniel F.，and Larry S.Davis.″Model-based object pose in 25 lines of code.″Computer Vision--ECCV′92.Springer Berlin Heidelberg，1992.[0114] [6]Zhi-Hua Zhou，Xin Geng：“Projection functions for eye detection.”Pattern Recognition，Volume 37，Issue 5，May 2004，pp.1049-1056
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 适合用作移动式互联网装置的具有高分辨率显示器的手持式无线显示装置 | 2020-05-15 | 139 |
| 一种睡眠监测反馈及睡眠自动改善装置 | 2020-05-11 | 514 |
| 一种具有综合功能的智能睡眠监测眼罩 | 2020-05-11 | 180 |
| 基于脑电信号的声光睡眠干预系统和方法 | 2020-05-18 | 487 |
| 一种穿戴式冠心病检测装置 | 2020-05-13 | 897 |
| 基于检测睡眠脑电信号对睡眠阶段进行分类的方法 | 2020-05-17 | 165 |
| 基于深度学习的睡眠觉醒分析方法 | 2020-05-12 | 272 |
| 用于睡眠管理的方法和系统 | 2020-05-17 | 408 |
| 睡眠引导系统和相关方法 | 2020-05-15 | 646 |
| 一种便携式的呼吸信号检测装置 | 2020-05-14 | 243 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈