用于确定驾驶员的操作状态的方法 |
|||||||
| 申请号 | CN201280074227.X | 申请日 | 2012-08-14 | 公开(公告)号 | CN104540701B | 公开(公告)日 | 2017-11-07 |
| 申请人 | 沃尔沃拉斯特瓦格纳公司; | 发明人 | 彼得·科隆博格; 弗雷德里克·桑德布卢姆; | ||||
| 摘要 | 本 发明 涉及一种用于使用意识检测装置确定车辆驾驶员的操作状态的方法，所述意识检测装置包括用于产生与驾驶员的行为相关的数据的至少第一源和第二源，所述方法包括从所述第一源和第二源接收与驾驶员的生理学数据、车辆的操作、以及操作车辆的驾驶员模型中的至少一种相关的数据，将来自所述第一源和第二源的数据与驾驶员状态模型进行对比，所述驾驶员状态模型分别为所述第一源和第二源中的各个定义多个预定的驾驶员状态，基于所述对比，为所述第一源和第二源中的各个确定所述多个预定的驾驶员状态中的各个的状态概率，并且将为所述第一源和第二源所确定的驾驶员状态相互加权，以便为驾驶员确定总体的操作状态概率。 | ||||||
| 权利要求 | 1.一种用于使用意识检测装置确定车辆驾驶员的操作状态的方法，所述意识检测装置包括用作不同源的多个不同检测器，用于产生与所述驾驶员的行为相关的数据，所述多个不同检测器至少包括第一源和第二源，所述方法包括： |
||||||
| 说明书全文 | 用于确定驾驶员的操作状态的方法技术领域背景技术[0002] 由于例如由倦睡引起的驾驶员能力下降，经常发生交通事故。为预防由驾驶员能力下降而引发的事故，向驾驶员提供警告消息以重新建立驾驶员对周围交通状况的注意或者在危急情形下建议驾驶员休息或切换给车辆的另一个驾驶员可能是至关重要的。 [0003] 近年来，在研发基于驾驶员行为检测的倦睡检测算法方面已经取得了很大的进步，包括例如使用传感器装置例如用于使用照相机监测驾驶员的眼睛闭合，检测方向盘的操作模式等。通过使用多于一个的传感器装置，假如传感器装置之一未能检测到倦睡的驾驶员能够实现冗余，并且相应地，有可能改进倦睡检测的稳健性。 [0004] US2003/0151516A1中公开了一种示范性的倦睡检测系统，其中，使用智能的软件算法将来自两个不同传感器装置的数据融合。特别地，从第一传感器装置和第二传感器装置提供数据，其中，第一传感器装置包括安装在车辆顶棚和座椅中的传感器阵列，用于检测头部运动，并且第二传感器装置包括放置在方向盘内的心率监测传感器，并且用于监测指示倦睡的驾驶员的驾驶员特性。 [0005] 虽然US2003/0151516A1中公开的倦睡检测系统提供了与倦睡检测的冗余和稳健性相关的一些改进，但它未能提供这样一种方案，该方案适合于更一般地组合来自任意传感器装置的数据，所述传感器装置有可能具有不同的检测驾驶员特性的时间线和/或取样速率，从而允许引入另外的传感器装置，无需不得不重新校准全部的倦睡检测系统。因此，希望提供这样一种方法，该方法允许在传感器数据的融合中更加灵活，进一步改善倦睡检测的稳健性。 发明内容[0006] 根据本发明的一个方面，上述目的至少部分通过一种用于使用意识检测装置确定车辆驾驶员的操作状态的方法得以实现，所述意识检测装置包括用于产生与驾驶员的行为相关的数据的至少第一源和第二源，所述方法包括从所述第一源和第二源接收与驾驶员的生理学数据、车辆的操作、和操作车辆的驾驶员模型中的至少一种相关的数据，将来自所述第一源和第二源的数据与驾驶员状态模型进行对比，所述驾驶员状态模型分别为所述第一源和第二源中的各个定义多个预定的驾驶员状态，基于所述对比为所述第一源和第二源中的各个确定所述多个预定的驾驶员状态中的各个的状态概率，并且将为所述第一源和第二源所确定的驾驶员状态相互加权，以便为驾驶员确定总体的操作状态概率。 [0007] 本发明是基于如下理解：希望融合若干个信息源，以做出与确定驾驶员的操作状态相关的更好的判定，但是用于融合信息的现有技术方法典型地使用优化方案获得多个信息源的汇聚，导致有价值的信息在该过程中丢失。这种优化方案可以例如是基于使用固定规则，以将数据加权到驾驶员倦睡、神经网络或者各种统计方法的单一度量中，以将多个倦睡指示器组合到单一输出中，所述输出用于向驾驶员发出警告或者启动某种对策。后续的平均化或竞争规则随后被用于将它们组合为单一输出。而且，现有的方案通常是基于非模型的并且需要广泛的验证。 [0008] 根据本发明，当在最终的判定中加权不同检测器的影响时，倦睡演变的生理学模型已经被识别为最有用的。因此，有兴趣的是预测(真实地)疲倦驾驶员的存在并且能够在危险情形之前发出警告。典型地通过驾驶员状态监测装置检测的明显倦睡可能是由睡眠的生理学需要以及由长时间作业或者厌倦所致的疲劳引起的。因此，明显倦睡可能在变化的程度上与实际上由于缺乏睡眠而引起的潜在倦睡不同。实际上存在许多掩盖因素，所述因素可能临时地增加或者降低观察到的倦睡级别，诸如外部的刺激、漫长单调的路段或者甚至是食物摄取。当这些临时的掩盖因素被去除时，潜在的倦睡级别将变为占优势的。实际上，由于外部的刺激可能导致人看起来是相当警惕的，但是这些掩盖因素一旦被去除，则很快就屈服于倦睡。警惕/倦睡的数学模型能够将潜在的倦睡模型化，并且当与驾驶员状态的实时监测融合时，能够显著地增加检测的准确度和有效性。优势包括例如改进的预测能力、对于少量定制的需求较少以及为各种实施方式进行调整，导致成本有效的实施方式，以便在检测驾驶员的操作状态时实现高稳健性。 [0009] 本发明的概念采用了多个检测器(例如，第一信息源，基于事实上在任何时间标度上起作用的任何传感器)的输出以及倦睡的预测性模型(例如，第二信息源，并且有可能是更高级模型的基础)，其随后使用已知的贝叶斯方法(Bayesian approach)处理，以产生倦睡的稳健的多源指示器。 [0010] 通过本发明，有可能出于参数化等级的目的来设计，所述等级与将由独立的车内系统触发的特定行为相关联。这就意味着子系统将被设计成在其设计的真正核心处执行这些独立系统的关键功能，代替试图稍后基于倦睡驾驶检测系统(例如，基于驾驶员状态：警惕的，倦睡的)的一般输出定义该行为的映射。其特定示例是如何设计驾驶员状态的敏感阈值，对于驾驶员倦睡的情形，所述阈值将扩展适应性巡航控制系统(ACC)的进展时间间隔。对于ACC系统，一种典型的方式将是使用倦睡驾驶报警系统的输出赋值给专门设计的函数，所述函数应当确定已测量的倦睡对于ACC改变其进展灵敏性是否是明显关键性的。随后将创建所有必要的逻辑，以处理潜在的错误或者该数据的低置信度。 [0011] 应当注意，词语“生理学数据”在下文中应当被解释为所有类型的数据，所述数据可以由基于图像的系统识别，所述系统识别例如操作员的眼睛、脸、身体以及眼睛的凝视方向、眼皮闭合，或者所述数据通过测量驾驶员的心率、大脑活动、应力等级、呼吸等被识别。此外，下面关于本发明的详细描述来讨论驾驶员状态以及确定这样的状态的概念。 [0012] 根据一个实施例，驾驶员的操作数据包括与操作员的眼睛、脸、头、臂和身体运动中的至少一种相关的信息。这种与驾驶员相关的信息可以例如通过设置在车辆车厢内并且俯视车辆驾驶员的图像捕获装置产生。产生关于本发明的概念使用的相关信息的其它类型的传感器可以例如包括被设置成连接到方向盘或驾驶员座椅的心率传感器。此外，用于产生驾驶员运动指示的运动传感器可以被集成在驾驶员座椅内，并且用于产生关于本发明的概念而言是可用的信息。 [0013] 根据另一个实施例，车辆的操作可以包括与越线时间、到所述车辆前方行驶的另一车辆的距离、转向和/或车轮操作模式中的至少一种相关的信息。这种与车辆相关的信息可以通过例如图像捕获装置、雷达设备或者在车辆操作中使用的任何其它类型的传感器产生。 [0014] 在一个实施例中，操作车辆的驾驶员模型包括与一天中的时间和车辆的操作时间(例如，作业时间)中的至少一种相关的第一分量，以及与驾驶员的倦睡级别相关的第二分量。与驾驶员的倦睡级别相关的第二分量是基于睡眠潜伏期、一天中的时间、作业时间、昼夜节律、和睡眠/清醒体内平衡过程中的模型的至少一种。在申请人的WO09126071中提供了驾驶员倦睡的一个示范性模型，其通过引用全部并入本文。 [0015] 优选地，本发明方法的结果，即所确定的驾驶员的状态被提供至配置成实施车辆控制功能性的车辆系统，所述车辆系统基于驾驶员状态调节所述车辆控制功能性。这可以如上讨论的关于适应性巡航控制系统执行，和/或例如关于如下将关于本发明的详细描述而进一步讨论的前方碰撞报警(FCW)系统执行。此外，所确定的驾驶员的状态可以被提供到倦睡驾驶员检测系统，用于对所述驾驶员状态产生警告，指示所述驾驶员是倦睡的。 [0016] 根据本发明的另一个方面，提供了一种用于确定车辆驾驶员的操作状态的控制系统，所述控制系统包括控制单元，所述控制单元被连接到意识检测装置，所述意识检测装置包括用于产生与驾驶员的行为相关的数据的至少第一源和第二源，其中，所述控制单元被配置成从所述第一源和第二源接收与驾驶员的生理学数据、车辆的操作和操作车辆的驾驶员模型中的至少一种相关的数据，将来自所述第一源和第二源的所述数据与驾驶员状态模型进行对比，所述驾驶员状态模型分别为所述第一源和第二源中的各个定义多个预定的驾驶员状态，基于所述对比为所述第一源和第二源中的各个确定所述多个预定的驾驶员状态中的各个的状态概率，并且将为所述第一源和第二源所确定的驾驶员状态相互加权，以便为所述驾驶员确定总体的操作状态概率。本发明的这个方面提供了如上关于本发明的先前方面所讨论的类似优势。 [0017] 所述控制系统可以例如形成车辆系统的部件，还包括上面公开的意识检测装置。优选地，所述第一源和第二源中的至少一种可以被配置成产生驾驶员的操作数据，包括与操作员的眼睛、脸、头、臂和身体运动中的至少一种相关的信息，其中，所述第一源和第二源中的至少一种是图像捕获装置。此外，所述第一源和第二源中的至少一种可以被配置成产生车辆的操作数据，包括与越线时间、到在车辆前方行驶的另一车辆的距离、转向和/或车轮操作模式中的至少一种相关的信息。 [0018] 根据本发明的更另一个方面，提供了一种计算机可读介质，所述计算机可读介质包含用于使用意识检测装置确定车辆驾驶员的操作状态的计算机程序产品，所述意识检测装置包括用于产生与驾驶员的行为相关的数据的至少第一源和第二源，所述计算机程序产品包括代码，所述代码被配置成当被处理器执行时，从所述第一源和第二源接收与驾驶员的生理学数据、车辆的操作以及操作车辆的驾驶员模型中的至少一种相关的数据，将来自所述第一源和第二源的所述数据与驾驶员状态模型进行对比，所述驾驶员状态模型分别为所述第一源和第二源中的各个定义多个预定的驾驶员状态，基于所述对比为所述第一源和第二源中的各个确定所述多个预定的驾驶员状态中的各个的状态概率，并且将为所述第一源和第二源所确定的驾驶员状态相互加权，以便为驾驶员确定总体的操作状态概率。同样，本发明的这个方面提供了如上关于本发明先前方面所讨论的类似的优势。 [0019] 处理器可以优选被设置在车辆控制单元、计算机、服务器或者类似物内，并且计算机可读介质可以是可移除的非易失性随机存取存储器、硬盘驱动器、软盘、CD-ROM、DVD-ROM、USB存储器、SD存储卡或者本领域(现在和将来)公知的类似计算机可读介质中的一个。可以使用软件和硬件元件的组合来执行本发明。 [0020] 当研究所附的权利要求书和下面的说明时，本发明的其它特征和优势将会变得显而易见。熟练的技术人员意识到本发明的不同特征可以被组合，以产生除了下面描述的那些实施例以外的实施例，而不会偏离本发明的范围。附图说明 [0021] 通过下面的详细说明和附图，将很容易理解本发明的各种方面，包括其具体的特征和优势，其中： [0022] 图1是在其前端装有外部传感器和坐标系的车辆的透视图； [0023] 图2是装有内部传感器的车辆内部的透视图； [0024] 图3示出了车辆操作员的脸和头的坐标系； [0025] 图4a和4b示出了与本发明的方法一起使用的驾驶员状态的两个示范性独立指示器的统计学似然计算； [0026] 图5概念性地示出了根据本发明的当前优选实施例的车辆系统，以及 [0027] 图6a-c概念性地示出了对驾驶员的操作状态概率迭代调节的示例。 具体实施方式[0028] 现在参照附图，在下文中将更加充分地描述本发明，其中示出了本发明的当前优选实施例。然而，本发明可以以许多不同的形式实施，并且不应当被解释为对本文中阐述的实施例的限制；而是，为了彻底性和完整性而提供了这些实施例，并且充分地向熟练的技术人员传达了本发明的范围。贯穿全文，相同的附图标记表示相同的元素。 [0029] 下面，参照一种用于改善车辆操作员的视觉输入质量估计的系统描述本发明。所述车辆优选装有用于检索车辆操作员的信息的(一个或多个)内部传感器和用于检索车辆操作以及车辆周围环境的信息的(一个或多个)外部传感器。为了更好的理解本发明，现在将关于图1-3描述内部传感器和外部传感器。 [0030] 图1示出了一个示范性的车辆，这里被图示为小汽车100，在小汽车中可以包含根据本发明的系统。小汽车100设有外部传感器104，所述外部传感器被设置成检测车辆的操作，诸如超车、车速、车辆偏航速率等，以及物体和地区、车辆的周围环境，例如车道标线、路标、道路弯道、周围的车辆等。外部传感器104可以例如是照相机或者雷达传感器。优选地，可以使用照相机和雷达传感器的组合，这是由于当确定物体的高度和宽度时照相机提供高精度，而当确定至物体的距离时雷达传感器提供高精度。因此，能够确定周围物体的尺寸、位置、速度等。参照小汽车100的位置，坐标系102，这里被图示为笛卡儿坐标系，位于小汽车100的前端处。坐标系102被设置成跟随车辆并且轴分别代表纵向(x-轴)、横向(y-轴)和垂直方向(z-轴)。被测物体和小汽车100的坐标系102一起被提供到车辆的系统，从而使该系统能够确定物体相对于小汽车100的尺寸和位置。例如，系统可以被连续地提供来自不同传感器104的物体数据。因此，也有可能确定周围的交通环境的速度和加速度。 [0031] 图2示出了包含车辆操作员202的小汽车100的内部，其中，车辆100装有内部传感器，这里被图示为照相机系统204。照相机系统204被设置成在车辆操作期间测量并检测车辆操作员202的行为，并且可以被配置成产生指示生理学数据的操作员运动输入信号，包括与车辆操作员的眼睛、脸、头部和身体运动中的至少一种相关的信息。 [0032] 此外，照相机系统204可以被设置成聚焦到操作员的脸、头或上体的预定数量的位置上。这些位置可以例如是眼睛、眼皮、眉毛、鼻子、嘴巴、面颊、颈、肩、臂等。可以为正常操作小汽车的特定操作员202预先校正照相机系统204，或者每当操作员202进入小汽车100的驾驶员座椅时校正照相机系统204。当照相机系统204检测到操作员的脸或头的不同位置时，对于照相机系统204而言，对面部行为的估计是可能的。照相机系统204可以因此检测例如头和眼睛的方向和运动及其衍生物、头部姿势、眼睛扫视、组合的头和眼睛扫视、眼睛闭合、眼睛闭合速度等。 [0033] 照相机系统204通过使用与操作员的脸304相关的坐标系302，例如在图3中示出的操作员位于中央的俯仰/偏航坐标系，也可以检测操作员的头或眼睛是否转动到右侧或左侧(偏航)305，是否上或下转动(俯仰)306，或者在头运动的情况下，是否朝向右肩或左肩倾斜(侧摆)307。脸304的坐标系302优选为极坐标系，其原点被定位在操作员的眼睛之间。 [0034] 此外，内部传感器也可以代替照相机系统204，或者除照相机系统204之外包括其它类型的操作员检测装置。这可以例如包括用于检测转向行为的方向盘传感器、在加速踏板和/或刹车踏板中用于检测小汽车100的不一致的加速和/或刹车的传感器、在小汽车100的各种按钮中的传感器，以检测例如操作员202是否正在调节信息娱乐系统的各种功能性中的任何一个功能性等。内部传感器的更多示例可以包括呼吸分析传感器或者瞳孔大小传感器，以监测操作员的意识的状态。 [0035] 为了提供对本发明的进一步理解，下面提供了一种解释，其中概念被分为必要参考值的参数化及计算的最初准备阶段，以及连续的检测、计算并预测倦睡的进一步的使用阶段，包括随后产生对驾驶员的警告或者控制其它的车辆功能。 [0036] 在最初的准备阶段，基于专家的(例如离线)参数化表征驾驶员(倦睡)状态的可能的驾驶员状态。从研究中获知这种参数化能够变得强而稳健。在一个实施例中，参数化可以基于两种状态{警惕的，倦睡的}。在另一个实施例中，参数化可以基于四种状态{非常警惕的，警惕的，倦睡的，抗争睡眠}。 [0037] 更多的状态当然是可能的，并且处于本发明的范围内。作为一个示例，采用一种完全不同的方法，状态能够被定义成对应于打算将信息供给的其它车辆功能的启动触发器。系统可以随后要么使用一般的功能级别，要么使用为特定的车辆系统量身定制的功能状态。因此，在一个实施例中，融合系统被设计为前置级，以影响独立的车辆系统(而不是被设计成一种倦睡驾驶员检测系统)的特定行为，例如被实施为考虑驾驶员状态的前方碰撞报警(FCW)系统。FCW系统可以随后将融合系统的输出直接映射到内部警告判定函数。 [0038] 准备阶段中的下一个步骤涉及为定义的驾驶员状态计算各个指示器(即信息源)的概率质量函数(pmf)。在图4a和4b中使用两种状态参数化{警惕的，倦睡的}示出了两个指示器即越线时间(TLC)和方向盘反转速率(SRR)的pmf。实际上，预先采集的实际倦睡和警惕驾驶的数据可用于为各个指示器创建pmf:s。由于数据始终将是固有二义的(在某种程度上)，期望计算驾驶员状态的pmf，而不是离散的分类。换句话说，描述指示器数值的pmf:s的形状用于计算驾驶员状态pmf。因此，将有若干个描述各个指示器的数据值的分布的pmf:s，以及描述有效的驾驶员状态之间的分布的一个pmf。 [0039] 现在转向图5，其概念性地阐明了根据本发明的当前优选实施例的关于使用阶段而使用的车辆系统500。车辆系统500典型地包括含有多个传感器(例如上面关于图1所讨论的(一个或多个)图像捕获装置、雷达设备等)的检测系统502、指示器计算系统504、预测和数据融合系统506、判定及反馈系统508。此外，车辆系统500典型地包括有可能通过人机界面提供反馈至车辆驾驶员的可能性。 [0040] 图5中的概念性说明仅仅为实施本发明概念的许多方式之一。此外，车辆系统500能够异步运行，即融合估计能够在任何时间被计算，不论新观察是否变为可用的。形式上，如果估计在时间T＝[t1,t2,…,tN]T处被计算，则时间差t2-t1不必等于t3-t2。 [0041] 在时间tk处的倦睡级别被表示为xk，这里被假定为离散变量，并且车辆系统500计算其概率质量函数(或者如果状态被假定为连续的，则计算概率密度函数)。具有离散的状态矢量的好处是双重的；状态能够被设计成对应于不同的干预，并且概率质量函数(pmf)能够被准确地计算，而不是被近似。在计算pmf中使用的最近的指示器值的时戳在注释中被显示为符号p(xk|Ij)；条件pmf。数据Ij(黑体字)表示累积到时间tj的、所有的指示器值:Ij＝[I1,I2,…,Ij]。 [0042] 车辆系统500的操作也可以使用“步进式”伪代码对于指示器融合进行描述： [0043] 对于k＝1：N [0044] 1、储存来自所有连接的指示器(信息源)的输出，在时间间隔tk-tk-1内成为可用的，Ik＝[i1,i2,…,iM]，通过其时戳来排序。 [0045] 2、利用新数据IK更新来自先前迭代p(xk|Ik)的pmf： [0046] 对于j＝1:M [0047] a、在IK中,预测至最初期指示器值ij的时间的倦睡pmf： [0048] 计算p(xj|Ik-1,i1,…ij-1)。 [0049] b、利用新的指示器值ij更新预测的pmf： [0050] 计算p(xj|Ik-1,i1,…ij)。 [0051] 结束 [0052] 3、预测至预期的输出时间的pmf： [0053] 计算p(xk|Ik) [0054] 4、应用概率决策方案以确定系统输出，例如警告驾驶员。 [0055] 结束 [0056] 第三步也可以用于估计“遥远的”未来中的驾驶员状态(例如，1小时)并且相应地虑及旅行计划，而不是仅仅预测下一次的迭代。 [0057] 第四步能够做出稳健的决策，这是由于不仅一些倦睡估计是已知的，而且全部的pmf是已知的。随后，任何用于干预的最优性准则能够被包含在设计中。此外，该方法的使用允许很容易计算各个估计的置信度数值。 [0058] 在一个实施例中，判定及反馈模块508在决定是否发布警告时能够考虑当前估计的倦睡级别和预测的未来倦睡级别(例如，从现在开始的15分钟)。例如，如果预测到驾驶员在下一个15分钟内变为非常倦睡的，则驾驶员可以接收到警告，因此给他一个机会积极地行动。 [0059] 进一步参照图6a-c，其中概念性地示出了车辆驾驶员的操作状态概率的迭代调节的示例，驾驶员的倦睡级别x可以取值为1-3，其中1是“倦睡的”，并且应当产生警告或干预，而3是“警惕的”。假定所提出的系统计算出 [0060] p(x)＝[0.5,0.1,0.4] [0061] 仅给出“最好的猜测”的估计的典型融合系统将输出“1”，而计算平均值的系统将给出“2”。这些估计均不包含必要的置信度信息。在这种情况下，由于状态1和3几乎是相同可能的而且是矛盾的，状态很明显是不明确的——驾驶员不能同时是倦睡的和警惕的。根据本发明的观点，这可以被视为例如如果概率p(x＝1)>0.5，则警告，并且如果p(x＝1)>0.9，则干预。 [0062] 在一种更先进的实施例中，可以有多个与参数化的各个状态相关联的行为，例如，“小警告”、“大警告”、“干预”、“调节自动刹车系统的灵敏性”、“调节气候控制系统的温度和气流”、“重新调度递送”等(参见表1)。为了平衡这些行为，不能简单地使用具有单一输出的融合方案，如在现有技术中经常被提议的那样。 [0063] 当新指示器值可用时或者当需要倦睡估计而不是当数据可用时，可以相应地执行上面的迭代，从而改善系统的功能性。 [0064] 虽然已参照其特定的示例性实施例描述了本发明，但许多不同的改变、修改等对本领域技术人员来说将是显而易见的。通过研究附图、说明书和所附的权利要求书，当熟练的技术人员在实施要求保护的本发明时，能够理解和作出针对所公开实施例的变化。例如，上面参照几个实施例大体上描述了本发明。然而，如熟练的技术人员很容易意识到，除上面公开的实施例之外的其它实施例可能同样处于如所附的专利权利要求书所限定的本发明的保护范围内。例如，本发明亦可应用于卡车、公共汽车、翻斗车、轮式装载机和除上面描述的小汽车之外的其它类型的车辆。 [0065] 在权利要求书中，词语“包括”不排除其它的元素或步骤，并且不定冠词“一个”不排除多个。单个的计算机或其它单元可以实现权利要求中叙述的若干项目的功能。在互不相同的从属权利要求中叙述了某些措施，仅此事实并不表示这些措施的组合不能用于使优点更突出。 |
||||||
QQ群二维码
意见反馈
意见反馈