基于替代数据推断交通信号状态和车辆环境的其他方面 |
|||||||
| 申请号 | CN201380037622.5 | 申请日 | 2013-03-11 | 公开(公告)号 | CN104470781A | 公开(公告)日 | 2015-03-25 |
| 申请人 | 谷歌公司; | 发明人 | P.隆布罗佐; E.特勒; B.坦普尔顿; | ||||
| 摘要 | 被配置为在自主模式中操作的车辆可从观察车辆的环境的一个或多个方面的一个或多个 传感器 获得 传感器数据 。可基于传感器数据来推断车辆的环境的未被一个或多个传感器观察到的至少一个方面。可基于车辆的环境的至少一个所推断的方面来在自主模式中控制车辆。 | ||||||
| 权利要求 | 1.一种方法，包括： |
||||||
| 说明书全文 | 基于替代数据推断交通信号状态和车辆环境的其他方面背景技术[0002] 一些车辆被配置为在自主模式中操作，其中车辆在只有很少或者没有来自驾驶员的输入的情况下导航经过一环境。这种车辆通常包括被配置为感测关于环境的信息的一个或多个传感器。车辆可使用感测到的信息来导航经过该环境。例如，如果传感器感测到车辆正接近障碍物，则车辆可导航绕过该障碍物。发明内容 [0003] 在第一方面中，提供了一种方法。该方法包括从观察车辆的环境的一个或多个方面的一个或多个传感器获得传感器数据。一个或多个传感器与车辆操作性地关联。车辆被配置为在自主模式中操作。该方法还包括利用推断系统基于传感器数据来推断车辆的环境的未被一个或多个传感器观察到的至少一个方面。该方法还包括基于车辆的环境的至少一个所推断方面来在自主模式中控制车辆。 [0004] 在第二方面中，提供了一种车辆。该车辆包括一个或多个传感器、推断系统和控制系统。一个或多个传感器被配置为获取传感器数据。传感器数据涉及由一个或多个传感器观察到的车辆的环境的一个或多个方面。车辆被配置为在自主模式中操作。推断系统被配置为基于传感器数据来推断车辆的环境的未被一个或多个传感器观察到的至少一个方面。控制系统被配置为基于车辆的环境的至少一个所推断方面来在自主模式中控制车辆。 [0005] 在第三方面中，提供了一种存储有指令的非暂态计算机可读介质。指令可被计算机系统执行来使得该计算机系统执行功能。功能包括从观察车辆的环境的一个或多个方面的一个或多个传感器获得传感器数据。一个或多个传感器与车辆操作性地关联。车辆被配置为在自主模式中操作。功能还包括基于传感器数据来推断车辆的环境的未被一个或多个传感器观察到的至少一个方面。功能还包括基于车辆的环境的至少一个所推断方面来在自主模式中控制车辆。 [0006] 在第四方面中，提供了一种方法。该方法包括从观察车辆的环境中的至少一个光源的一个或多个传感器获得传感器数据。一个或多个传感器与车辆操作性地关联，并且利用一个或多个传感器不可直接观察进行控制的交通信号的状态。车辆被配置为在自主模式中操作。该方法还包括利用推断系统基于传感器数据来推断进行控制的交通信号的推断状态。该方法还包括基于进行控制的交通信号的推断状态来在自主模式中控制车辆。 附图说明[0008] 图1是根据示例实施例图示出车辆的功能框图。 [0009] 图2根据示例实施例示出了车辆。 [0010] 图3A是根据示例实施例的自主车辆操作场景的顶视图。 [0011] 图3B是根据示例实施例的图3A的自主车辆操作场景的后视图。 [0012] 图3C是根据示例实施例的自主车辆操作场景的顶视图。 [0013] 图3D是根据示例实施例的自主车辆操作场景的顶视图。 [0014] 图4A根据示例实施例示出了一种方法。 [0015] 图4B根据示例实施例示出了一种方法。 [0016] 图5是根据示例实施例的计算机程序产品的示意图。 具体实施方式[0017] 本文描述了示例方法和系统。本文描述的任何示例实施例或特征不一定要被解释为比其他实施例或特征更优选或有利。本文描述的示例实施例不欲进行限定。容易理解，公开的系统和方法的某些方面可按许多种不同的配置来布置和组合，所有这些在这里都已设想到。 [0018] 另外，附图中示出的特定布置不应当被视为限制性的。应当理解，其他实施例可包括更多或更少的给定附图中示出的每种元素。另外，一些图示的元素可被组合或省略。此外，示例实施例可包括附图中没有图示的元素。 [0019] 1.概述 [0020] 本文公开的示例实施例涉及从观察车辆的环境的一个或多个方面的一个或多个传感器获得传感器数据，利用推断系统基于传感器数据来推断车辆的环境的未被一个或多个传感器观察到的至少一个方面，并且基于车辆的环境的所推断的至少一个方面来控制车辆。 [0021] 在本公开的情境内，车辆可在各种操作模式中操作。在一些实施例中，这种操作模式可包括手动、半自主和自主模式。在自主模式中，车辆可以在只有很少或者没有用户交互的情况下被驾驶。在手动和半自主模式中，车辆分别可以完全和部分地被用户驾驶。 [0022] 本文公开的一些方法可以部分或完全由被配置为在自主模式中操作的车辆在有或没有外部交互(例如，比如来自车辆的用户的外部交互)的情况下执行。在一个这种示例中，车辆可从与车辆操作性关联的一个或多个传感器获得传感器数据。传感器可位于车辆本身上，或者传感器可以在别处。可以完全或部分位于车辆本身上的推断系统可用于基于传感器数据来推断车辆的环境的未被一个或多个传感器观察到的至少一个方面。在示例实施例中，车辆的环境的未被一个或多个传感器观察到的至少一个方面可与交通流量(例如，前方观察不到的事故)和/或交通规则(例如，观察不到的交通灯的状态、车辆在四向停车处继续前进的顺序，等等)有关。车辆的环境的未被一个或多个传感器观察到的其他方面是可能的。推断系统可包括例如计算机系统(例如，处理器和存储器)。可基于车辆的环境的至少一个所推断的方面来控制车辆。 [0023] 本文公开的其他方法可部分或完全由服务器来执行。在示例实施例中，服务器可从观察车辆的环境的一个或多个方面的一个或多个传感器接收传感器数据。在一些实施例中，可利用无线通信系统将传感器数据发送到服务器。服务器可包括推断系统。推断系统可用于基于传感器数据来推断车辆的环境的未被一个或多个传感器观察到的至少一个方面。在示例实施例中，服务器可包括预定场景的数据存储库。如果传感器数据基本上匹配预定场景中的至少一个，则推断系统可推断出车辆的环境的未被一个或多个传感器观察到的至少一个方面。在自主模式中操作的车辆与服务器之间的其他交互在本公开的情境内是可能的。 [0024] 在本公开中还描述了车辆。车辆可包括诸如一个或多个传感器、推断系统和控制系统之类的元件。一个或多个传感器被配置为获取传感器数据。传感器数据涉及一个或多个传感器观察到的车辆的环境的一个或多个方面。 [0025] 一个或多个传感器可包括以下之一或者其组合：相机、RADAR系统、LIDAR系统、声传感器、测距仪或者另外类型的传感器。 [0026] 推断系统可被配置为基于传感器数据来推断车辆的环境的未被一个或多个传感器观察到的至少一个方面。推断系统可被配置为使用一个或多个算法来确定该推断。算法可包括例如贝叶斯网络、隐式马尔可夫模型和决策树中的一个或多个。其他类型的推断系统在本公开的情境内是可能的。 [0027] 控制系统可被配置为基于车辆的环境的至少一个所推断的方面来在自主模式中控制车辆。控制系统可操作来控制车辆加速、减速、调整前进方向、变更路线和采取躲避动作，以及许多其他可能性。 [0028] 在一些实施例中，推断系统和控制系统可由车辆中的计算机系统提供。在其他实施例中，推断系统和/或控制系统可由一个或多个服务器或者车辆外部的其他计算机系统提供。 [0029] 本文还公开了存储有指令的非暂态计算机可读介质。这些指令可由计算设备执行来使得计算设备执行与上述方法中公开的那些类似的功能。 [0030] 有许多不同的具体方法和系统可用于从观察车辆的环境的一个或多个方面的一个或多个传感器获得传感器数据。推断系统可用于基于传感器数据来推断车辆的环境的未被一个或多个传感器观察到的至少一个方面。可基于车辆的环境的至少一个所推断的方面来控制车辆。这些具体方法和系统中的每一个在这里已设想到，并且若干个示例实施例在下文描述。 [0031] 2.示例系统 [0032] 现在将更详细描述本公开的范围内的示例系统。一般地，示例系统可实现在车辆中或者可采取车辆的形式。然而，示例系统也可实现在其他车辆中或采取其他车辆的形式，例如轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、挖土机、船、雪地机动车、飞行器、休旅车、游乐园车辆、农场设备、施工设备、有轨电车、高尔夫球车、火车以及电车。其他车辆也是可能的。 [0033] 图1是根据示例实施例示出车辆100的功能框图。车辆100可被配置为完全或部分地在自主模式中操作。例如，车辆100可以在处于自主模式中的同时控制自身，并且可操作来确定车辆及其环境的当前状态，确定环境中的至少一个其他车辆的预测行为，确定可与至少一个其他车辆执行预测行为的可能性相对应的置信水平，并且基于所确定的信息来控制车辆100。在处于自主模式中时，车辆100可被配置为在没有人类交互的情况下操作。 [0034] 车辆100可包括各种子系统，例如推进系统102、传感器系统104、控制系统106、一个或多个外围设备108以及电源110、计算机系统112和用户接口116。车辆100可包括更多或更少的子系统，并且每个子系统可包括多个元件。另外，车辆100的每个子系统和元件可被互连。从而，车辆100的描述的功能中的一个或多个可被分割成额外的功能组件或物理组件，或者组合成更少的功能组件或物理组件。在一些另外的示例中，可向图1所示的示例添加额外的功能组件和/或物理组件。 [0035] 推进系统102可包括可操作来为车辆100提供动力运动的组件。在示例实施例中，推进系统102可包括引擎/发动机118、能量源119、传动装置120和车轮/轮胎121。引擎/发动机118可以是内燃引擎、电动机、蒸汽机、斯特林引擎或其他类型的引擎和/或发动机的任何组合。在一些实施例中，引擎/发动机118可被配置为将能量源119转换成机械能量。在一些实施例中，推进系统102可包括多种类型的引擎和/或发动机。例如，气电混合动力车可包括汽油引擎和电动机。其他示例是可能的。 [0036] 能量源119可表示可以完全或部分地为引擎/发动机118提供动力的能量源。也就是说，引擎/发动机118可被配置为将能量源119转换成机械能量。能量源119的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。(一个或多个)能量源119可以额外地或替换地包括燃料箱、电池、电容器和/或飞轮的任何组合。能量源119也可以为车辆100的其他系统提供能量。 [0037] 传动装置120可包括可操作来把来自引擎/发动机118的机械动力传送到车轮/轮胎121的元件。为此，传动装置120可包括变速箱、离合器、差速器和驱动轴。传动装置120可包括其他元件。驱动轴可包括可耦合到一个或多个车轮/轮胎121的一个或多个轴。 [0038] 车辆100的车轮/轮胎121可配置为各种形式，包括单轮车、双轮车/摩托车、三轮车或者轿车/卡车四轮形式。其他车轮/轮胎几何结构是可能的，例如包括六个或更多个车轮的那些。车辆100的车轮/轮胎121的任何组合可操作来相对于其他车轮/轮胎121差速地旋转。车轮/轮胎121可表示固定地附着到传动装置120的至少一个车轮和耦合到车轮的边缘的可与驱动面发生接触的至少一个轮胎。车轮/轮胎121可包括金属和橡胶的任何组合，或者另外的材料组合。 [0039] 传感器系统104可包括被配置为感测关于车辆100的环境的信息的若干个传感器。例如，传感器系统104可包括全球定位系统(Global Positioning System，GPS)122、惯性测量单元(inertial measurement unit，IMU)124、RADAR单元126、激光测距仪/LIDAR单元128以及相机130。传感器系统104还可包括被配置为监视车辆100的内部系统的传感器(例如，O2监视器、燃油量表、机油温度)。其他传感器也是可能的。 [0041] GPS 122可以是被配置为估计车辆100的地理位置的任何传感器。为此，GPS 122可包括可操作来提供关于车辆100相对于地球的位置的信息的收发器。 [0043] RADAR单元126可表示利用无线电信号来感测车辆100的本地环境内的物体的系统。在一些实施例中，除了感测物体以外，RADAR单元126还可额外地被配置为感测物体的速度和/或前进方向。 [0044] 类似地，激光测距仪或LIDAR单元128可以是被配置为利用激光来感测车辆100所位于的环境中的物体的任何传感器。在示例实施例中，激光测距仪/LIDAR单元128可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。激光测距仪/LIDAR单元128可被配置为在相干(例如，利用外差检测)或非相干检测模式中操作。 [0045] 相机130可包括被配置为捕捉车辆100的环境的多个图像的一个或多个设备。相机130可以是静态相机或视频相机。 [0046] 控制系统106可被配置为控制车辆100及其组件的操作。因此，控制系统106可包括各种元件，其中包括转向单元132、油门134、制动单元136、传感器融合算法138、计算机视觉系统140、导航/路线控制系统142以及障碍物避免系统144。 [0047] 转向单元132可表示可操作来调整车辆100的前进方向的机构的任何组合。 [0048] 油门134可被配置为控制例如引擎/发动机118的操作速度并进而控制车辆100的速度。 [0049] 制动单元136可包括被配置为将车辆100减速的机构的任何组合。制动单元136可使用摩擦力来减慢车轮/轮胎121。在其他实施例中，制动单元136可将车轮/轮胎121的动能转换为电流。制动单元136也可采取其他形式。 [0050] 传感器融合算法138可以是被配置为接受来自传感器系统104的数据作为输入的算法(或者存储算法的计算机程序产品)。该数据可包括例如表示在传感器系统104的传感器处感测的信息的数据。传感器融合算法138可包括例如卡尔曼滤波器、贝叶斯网络或者其他算法。传感器融合算法138还可基于来自传感器系统104的数据来提供各种评价。在示例实施例中，评价可包括对车辆100的环境中的个体物体和/或特征的评估、对特定情形的评估和/或基于特定情形对可能影响的评估。其他评价也是可能的。 [0051] 计算机视觉系统140可以是可操作来处理和分析由相机130捕捉的图像以便识别车辆100的环境中的物体和/或特征的任何系统，所述物体和/或特征可包括交通信号、道路边界和障碍物。计算机视觉系统140可使用物体识别算法、运动中恢复结构(Structure from Motion，SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中，计算机视觉系统140可以额外地被配置成为环境绘制地图、跟踪物体、估计物体的速度，等等。 [0052] 导航和路线控制系统142可以是被配置为确定车辆100的行驶路线的任何系统。导航和路线控制系统142可以额外地被配置为在车辆100处于操作中的同时动态地更新行驶路线。在一些实施例中，导航和路线控制系统142可被配置为结合来自传感器融合算法 138、GPS 122和一个或多个预定地图的数据以为车辆100确定行驶路线。 [0053] 障碍物避免系统144可表示被配置为识别、评估和避免或者以其他方式越过车辆100的环境中的潜在障碍物的控制系统。 [0054] 控制系统106可以额外地或替换地包括除了所示出和描述的那些以外的组件。 [0055] 外围设备108可被配置为允许车辆100与外部传感器、其他车辆、其他计算机系统和/或用户之间的交互。例如，外围设备108可包括无线通信系统146、触摸屏148、麦克风150和/或扬声器152。 [0056] 在示例实施例中，外围设备108可提供例如供车辆100的用户与用户接口116交互的手段。为此，触摸屏148可向车辆100的用户提供信息。用户接口116还可操作来来经由触摸屏148接受来自用户的输入。触摸屏148可被配置为经由电容感测、电阻感测或者表面声波过程等等来感测用户的手指的位置和移动中的至少一个。触摸屏148可能够感测在与触摸屏表面平行或共面的方向上、在与触摸屏表面垂直的方向上或者在这两个方向上的手指移动，并且还可能够感测施加到触摸屏表面的压力的水平。触摸屏148可由一个或多个半透明或透明绝缘层和一个或多个半透明或透明导电层形成。触摸屏148也可采取其他形式。 [0057] 在其他情况中，外围设备108可提供用于车辆100与其环境内的设备通信的手段。麦克风150可被配置为从车辆100的用户接收音频(例如，语音命令或其他音频输入)。类似地，扬声器152可被配置为向车辆100的用户输出音频。 [0058] 在一个示例中，无线通信系统146可以被配置为直接地或者经由通信网络来与一个或多个设备无线地通信。例如，无线通信系统146可使用3G蜂窝通信，例如CDMA、EVDO、GSM/GPRS，或者4G蜂窝通信，例如WiMAX或LTE。或者，无线通信系统146可例如利用WiFi与无线局域网(wireless local area network，WLAN)通信。在一些实施例中，无线通信系统146可例如利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议，例如各种车辆通信系统，在本公开的情境内是可能的。例如，无线通信系统146可包括一个或多个专用短程通信(dedicated short range communications，DSRC)设备，这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。 [0059] 电源110可向车辆100的各种组件提供电力，并且可表示例如可再充电锂离子或铅酸电池。在一些实施例中，这种电池的一个或多个电池组可被配置为提供电力。其他电源材料和配置是可能的。在一些实施例中，电源110和能量源119可一起实现，如一些全电动车中那样。 [0060] 车辆100的许多或所有功能可受计算机系统112控制。计算机系统112可包括至少一个处理器113(其可包括至少一个微处理器)，处理器113执行存储在例如数据存储装置114这样的非暂态计算机可读介质中的指令115。计算机系统112还可表示用来以分布式方式控制车辆100的个体组件或子系统的多个计算设备。 [0061] 在一些实施例中，数据存储装置114可包含指令115(例如，程序逻辑)，指令115可被处理器113执行来执行车辆100的各种功能，包括以上联系图1描述的那些。数据存储装置114也可包含额外的指令，包括向推进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。 [0062] 除了指令115以外，数据存储装置114还可存储数据，例如道路地图、路线信息，以及其他信息。这种信息可在车辆100在自主、半自主和/或手动模式中操作期间被车辆100和计算机系统112使用。 [0063] 车辆100可包括用户接口116，用于向车辆100的用户提供信息或从其接收信息。用户接口116可控制可在触摸屏148上显示的交互式图像的内容和/或布局或使能对其的控制。另外，用户接口116可包括在外围设备108的集合内的一个或多个输入/输出设备，例如无线通信系统146、触摸屏148、麦克风150和扬声器152。 [0064] 计算机系统112可基于从各种子系统(例如，推进系统102、传感器系统104和控制系统106)以及从用户接口116接收的输入来控制车辆100的功能。例如，计算机系统112可利用来自控制系统106的输入以便控制转向单元132来避免由传感器系统104和障碍物避免系统144检测到的障碍物。在示例实施例中，计算机系统112可操作来对车辆100及其子系统的许多方面提供控制。 [0065] 虽然图1示出了车辆100的各种组件，即无线通信系统146、计算机系统112、数据存储装置114和用户接口116，被集成到车辆100中，但这些组件中的一个或多个可与车辆100分开安装或关联。例如，数据存储装置114可以部分或完全地与车辆100分开存在。从而，可以按位置可分开或在一起的设备元件的形式来提供车辆100。构成车辆100的设备元件可以按有线和/或无线方式来通信地耦合在一起。 [0066] 图2示出了可与参考图1描述的车辆100相似或相同的车辆200。虽然车辆200在图2中被示为轿车，但其他实施例是可能的。例如，车辆200可表示卡车、厢式货车、半挂卡车、摩托车、高尔夫球车、越野车或者农场车辆，以及其他示例。 [0067] 在一些实施例中，车辆200可包括传感器单元202、无线通信系统204、LIDAR单元206、激光测距仪单元208和相机210。车辆200的元件可包括对于图1描述的元件中的一些或全部。 [0068] 传感器单元202可包括被配置为捕捉关于车辆200的环境的信息的一个或多个不同的传感器。例如，传感器单元202可包括相机、RADAR、LIDAR、测距仪和声学传感器的任何组合。其他类型的传感器是可能的。在示例实施例中，传感器单元202可包括可操作来调整传感器单元202中的一个或多个传感器的朝向的一个或多个可移动底座。在一个实施例中，可移动底座可包括旋转平台，该旋转平台可扫描传感器以获得来自车辆200周围的每个方向的信息。在另一实施例中，传感器单元202的可移动底座可在特定的角度和/或方位范围内以扫描方式移动。传感器单元202可例如被安装在轿车的顶盖上，然而其他安装位置也是可能的。此外，传感器单元202的传感器可分布在不同位置中并且不需要共同位于单个位置中。一些可能的传感器类型和安装位置包括LIDAR单元206和激光测距仪单元208。另外，传感器单元202的每个传感器可被配置为独立于传感器单元202的其他传感器被移动或扫描。 [0069] 无线通信系统204可如图2所示位于车辆200的顶盖上。或者，无线通信系统204可以完全或部分地位于别处。无线通信系统204可包括可被配置为与车辆200外部或内部的设备通信的无线发送器和接收器。具体而言，无线通信系统204可包括被配置为与其他车辆和/或例如在车辆通信系统或道路台站中的计算设备通信的收发器。这种车辆通信系统的示例包括专用短程通信(DSRC)、射频识别(radio frequency identification，RFID)和针对智能交通系统的其他提出的通信标准。 [0070] 相机210可以是被配置为捕捉车辆200的环境的多个图像的任何相机(例如，静态相机、视频相机，等等)。为此，相机210可被配置为检测可见光，或者可被配置为检测来自光谱的其他部分的光，例如红外或紫外光。其他类型的相机也是可能的。 [0071] 相机210可以是二维检测器，或者可具有三维空间范围。在一些实施例中，相机210可以例如是测距器，其被配置为生成指示出从相机210到环境中的若干个点的距离的二维图像。为此，相机210可使用一个或多个测距技术。例如，相机210可使用结构化光技术，其中车辆200利用预定的光图案——例如网格或棋盘格图案——来照射环境中的物体，并且使用相机210来检测该预定光图案从该物体的反射。基于反射的光图案中的失真，车辆200可确定到该物体上的点的距离。预定的光图案可包括红外光，或者另一波长的光。作为另一示例，相机210可使用激光扫描技术，其中车辆200发射激光并且扫描环境中的物体上的若干个点。在扫描物体的同时，车辆200使用相机210来对于每个点检测激光从物体的反射。基于激光在每个点处从物体反射所花的时间长度，车辆200可确定到物体上的这些点的距离。作为另一示例，相机210可使用飞行时间技术，其中车辆200发射光脉冲并且使用相机210来检测在物体上的若干个点处光脉冲从物体的反射。具体地，相机210可包括若干个像素，并且每个像素可检测光脉冲从物体上的一点的反射。基于光脉冲在每个点处从物体反射所花的时间长度，车辆200可确定到物体上的这些点的距离。光脉冲可以是激光脉冲。其他测距技术也是可能的，包括立体三角测量、片光三角测量、干涉法以及编码孔径技术，等等。相机210也可采取其他形式。 [0072] 相机210可安装在车辆200的前挡风玻璃内部。具体而言，如图所示，相机210可捕捉来自相对于车辆200的前看视野的图像。相机210的其他安装位置和视角是可能的，它们在车辆200内部或外部。 [0073] 相机210可具有关联的光学器件，这些光学器件可操作来提供可调整的视野。另外，相机210可利用可移动底座来安装到车辆200，该可移动底座可操作来改变相机210的指向角度。 [0074] 在本公开的情境内，车辆100和/或车辆200的组件可被配置为与其各自系统内部或外部的其他组件以互连方式工作。例如，在示例实施例中，相机130可捕捉多个图像，这些图像可表示与在自主模式中操作的车辆100的环境有关的传感器数据。环境可包括另一车辆阻挡位于车辆100前方的已知交通信号位置。基于多个图像，推断系统(其可包括计算机系统112、传感器系统104和控制系统106)可基于来自环境的其他方面的传感器数据(例如指示出该阻挡车辆的刹车灯开启的图像)推断出观察不到的交通信号是红灯。基于该推断，计算机系统112和推进系统102可采取行动来控制车辆100。下面将论述更详细的示例实现方式。 [0075] 3.示例实现方式 [0076] 现在在本文中将描述若干个示例实现方式。要理解，有许多种方式来实现本文公开的设备、系统和方法。因此，以下示例并不打算限制本公开的范围。 [0077] 图3A和图3B分别图示出自主车辆操作场景300的顶视图和后视图。在场景300中，可在自主模式中操作的车辆306在大卡车304后方停止。车辆306可与如参考图1和图2描述的车辆100和车辆200相似或相同。车辆306可包括传感器系统310。大卡车304可能遮蔽着交通信号302，使得传感器系统310可能不能够直接感测到交通信号302的状态。换言之，在场景300中，由于大卡车304的存在，传感器系统310中的传感器可能没有一个能够观察、成像、转换或以其他方式检测交通信号302的状态。 [0078] 在这种情况下，传感器系统310可操作来获得关于车辆306的环境的其他方面的传感器数据，以尝试确定交通信号302的状态或者其环境的任何其他相关的观察不到的方面。在示例实施例中，与传感器系统310相关联的相机可捕捉多个图像。多个图像可包括关于大卡车304的一个或多个刹车灯308的信息。多个图像可以是到推断系统的输入。 [0079] 推断系统可从这些图像判定大卡车304的一个或多个刹车灯308被点亮。推断系统也可包括可确认大卡车304被停止的其他传感器数据。例如，推断系统可从RADAR和/或LIDAR传感器系统获得关于车辆306的环境的信息。 [0080] 推断系统可将传感器数据与一组预定的场景相比较以尝试将当前传感器数据与特定的预定场景相匹配。预定场景可被保存在车辆自身上的数据存储装置中。或者，预定场景可被存储在别处，例如存储在服务器网络中。 [0081] 如果在特定的预定场景与当前传感器数据之间存在实质性匹配，则可以作出关于未看到的交通信号302的可能状态的推断。例如，在场景300中，推断可以是交通信号302的状态为“红灯”(因为大卡车304由于遵守交通信号302而被停止)。 [0082] 在本公开的情境内，可以基于以下各项中的任何一个或者其组合来作出实质性匹配：停止的车辆的相似布置、相似的道路、相似的位置/路口、相似的路线、相似的时段或者车辆306的环境任何其他相似的方面。 [0083] 推断系统可基于其他算法来作出推断。例如，可基于贝叶斯网络、隐式马尔可夫模型和/或决策树来作出推断。可以单独或组合使用其他算法来推断关于环境的一方面。 [0084] 基于车辆306的环境的所推断的方面，车辆306可被控制来执行动作。在场景300中，该动作可以是继续保持停止，直到大卡车304再次开始移动为止。 [0085] 在一些场景中，如果环境中的状况变化，或者如果环境中的状况保持相同，则推断系统可以作出一个或多个后续的推断。例如，在场景300中，如果车辆306保持停止在大卡车304后方的时间长于预期的交通信号延迟时间，则车辆306可作出如下的后续推断：大卡车304是由于发生故障而不是由于遵守交通信号302而被停止的。响应于该后续推断，车辆306可采取动作，例如移动到相邻车道中以便绕过大卡车304。后续推断可以持续地作出、按特定的预定间隔作出、或者在感测到特定的触发事件——例如依场景而定的传感器数据——时作出。其他后续推断在本公开的情境内是可能的。 [0086] 图3C图示了自主车辆操作场景320的顶视图。与场景300类似，大卡车324可能阻挡着车辆322对北行方向的交通信号326的查看，车辆322可能在自主模式中操作。这样，可能阻碍了车辆322的传感器系统323直接观察或以其他方式感测北行方向交通信号326的状态。车辆322可与如参考图1和图2描述的车辆100和车辆200相似或相同。 [0087] 为了推断北行方向交通信号326的状态，车辆322可使用来自环境的可观察方面的传感器数据。例如，传感器系统323可使用其关联传感器(例如，相机、RADAR、LIDAR、声传感器、超声传感器，等等)之一或者这些传感器的组合来观察可用作推断系统的输入的其他交通或非交通指示物。 [0088] 在场景320中，与传感器系统323相关联的一个或多个传感器可观察到轿车328右转到南行方向道路上并且卡车332在西行方向道路上继续行进。与轿车328和卡车332的动作有关的传感器数据可用作推断系统的输入。基于该传感器数据，推断系统可推断出交通信号326的状态对于北行和南行方向交通是“红灯”，并且交通信号334的状态对于东行和西行方向交通是“绿灯”。如上所述，推断系统可将传感器数据和其他数据与一组预定场景相比较。如果在传感器数据/其他数据与特定的预定场景之间存在实质性匹配，则可以基于在该特定的预定场景的情境内最有可能的结果来作出推断。 [0089] 基于该推断，例如北行方向交通信号326是“红灯”，车辆322可被控制为采取保持停止在大卡车324后方这种形式的动作。 [0090] 图3D图示了自主车辆操作场景340的顶视图。在场景340中，车辆342可能被停止在四向停车路口，遵守北行方向停车标志344。车辆342可能正在自主模式中操作。车辆342可与参考图1和图2描述的车辆100和车辆200相似或相同。卡车346也可由于东行方向停车标志348而被停止在该路口处。在这种场景中，车辆342可能想要确定四向停车路口的交通进展的状态。然而，交通进展的这种状态可能是观察不到的。换言之，车辆342可能不确定接下来哪个车辆应当前进通过路口，并且可能没有直接可观察的信号(例如，交通信号)来指示前进顺序。 [0091] 传感器系统343可操作来感测车辆343的环境的其他可观察部分，这些部分可提供关于四向停车路口中的交通进展的状态的信息。例如，传感器系统343可使用一个或多个关联的传感器来观察轿车350向南移动经过路口。传感器数据可被推断系统获得。 [0092] 基于传感器数据，推断系统可推断关于四向停车路口中的交通进展的状态。在此情况下，推断系统可判定向北前进经过路口为时已晚并且推断出接下来卡车346应当向前移动经过路口。 [0093] 基于该推断，车辆342可被控制为在前进经过路口之前等待卡车346空出路口。 [0094] 4.示例方法 [0095] 提供了一种方法400，用于从观察车辆的环境的一个或多个方面的一个或多个传感器获得传感器数据。一个或多个传感器与车辆操作性地关联。该方法还包括使用推断系统来基于传感器数据推断车辆的环境的未被一个或多个传感器观察到的至少一个方面，并且基于车辆的环境的至少一个所推断的方面来控制车辆。该方法可利用图1和2所示和以上描述的任何装置来执行，然而也可使用其他配置。图4A图示了示例方法中的步骤，然而，要理解，在其他实施例中，这些步骤可按不同的顺序出现并且可以添加或减除步骤。 [0096] 步骤402包括从观察车辆的环境的一个或多个方面的一个或多个传感器获得传感器数据。一个或多个传感器与车辆操作性地关联。车辆被配置为在自主模式中操作。此方法中描述的车辆可以是如分别参考图1和2图示和描述的车辆100和/或车辆200。 [0097] 获得传感器数据可包括使用相机、雷达系统、激光雷达系统和声感测系统中的一个或多个。其他传感器和传感器系统在本公开的情境中是可能的。可通过有线和/或无线信号从上述传感器接收传感器数据。在一些实施例中，传感器数据可由服务器网络获得并被传输给车辆。替换地或额外地，传感器数据可由包含在车辆中的计算机系统获得。 [0098] 步骤404包括利用推断系统基于传感器数据来推断车辆的环境的未被一个或多个传感器观察到的至少一个方面。推断系统可由参考图1示出和描述的计算机系统112提供。在其他实施例中，推断系统可以部分或完全地由在车辆外部——例如在服务器网络中——的一个或多个计算机系统提供。 [0099] 推断系统可操作来作出关于车辆的环境的未被与车辆相关联的一个或多个传感器直接观察到的任意数目的方面的推断。例如，推断系统可作出关于看不见的交通信号或四向停车处的状态的推断。在其他实施例中，推断系统可作出关于道路上的交通密度、速度限制、道路状况、另一车辆的行为、道路路线和/或阻碍道路的事故或障碍物的推断。可以推断环境的其他方面。 [0100] 推断系统可基于来自与车辆操作性地关联的传感器中的一者或者任何组合的传感器数据来作出推断。传感器可位于车辆本身上。或者，一些传感器可位于与车辆分离处。 [0101] 推断系统作出的推断可基于传感器可观察的车辆的环境的任何方面。在示例实施例中，可从关于其他车辆的传感器数据作出推断。传感器数据可例如涉及其他车辆的速度、前进方向和/或位置。例如，当接近具有被遮挡的交通信号的路口时，可基于其他车辆的加速度和/或减速度(有或没有刹车灯)来作出推断。其他车辆的减速度可暗示“红灯”交通信号，而加速度可暗示“绿灯”交通信号。关于使用基于其他车辆的传感器数据的其他示例是可能的。 [0102] 也可基于感测到的障碍物的位置、观察到的道路与已知地图相比的变化、道路的状况等等来作出推断。另外，来自多于一个传感器的传感器数据可被推断系统用于作出推断。 [0103] 推断系统可包括人工智能和/或学习算法。在这种情况下，推断系统可基于所获得的传感器数据来推断关于车辆的环境的方面。可将传感器数据与一组代表性传感器输入场景或者预定场景相比较，这些场景能够代表具有一组可能结果的一组类似场景。也就是说，对于给定的一组传感器输入，一组可能的结果可与该给定的一组传感器输入相关联。与给定的一组传感器输入相关联的每个可能结果可与概率相关联。概率可涉及可能的结果实际发生。 [0104] 推断系统作出的推断可涉及对于结果的“最佳猜测”，其可包括可能的结果之一。如果推断得到确认(例如，“最佳猜测”是正确的)，则该组代表性传感器输入场景内的可能结果可通过例如增大该可能结果将会发生的概率来得到加强。如果判定推断不正确，则对于该组代表性传感器输入场景或预定场景之中的该给定可能结果可减小概率。其他类型的学习算法是可能的。 [0105] 每个预定场景或推断可包括基于推断系统对于预测的结果可以有多确信的关联置信水平。置信水平可以与或不与每个预定场景中的最可能结果各自的概率直接相关。置信水平可基于例如随着一个或多个先前推断之后的一个或多个实际结果。在这种示例中，如果先前推断不正确地预测了实际结果，则该预定场景的置信水平随后可被减小。相反，如果先前推断正确地预测了实际结果，则该预定场景的置信水平可被增大。 [0106] 在本公开的情境内，可利用故障-安全方法来作出推断。换言之，推断系统可作出可能是环境的不可观察的方面的正确或非正确表示的推断。在故障-安全方法中，不正确的推断(例如，在交通灯实际为“绿灯”时推断其为“红灯”)可在安全车辆操作的情境内执行以避免不安全的操作。 [0107] 例如，推断系统可以使用或修改各种交通规则以尝试提供故障-安全操作。实际的交通规则可以是：“除非你知道交通信号是绿灯，否则不要前进经过路口”。推断系统可使用该规则的修改后版本，例如：“除非你直接观察到交通信号是绿灯或者除非你的车道中的其他车辆正在前进经过路口，否则不要前进经过该路口”。推断系统还可对各种动作添加额外的限制以便进行更安全的操作。这种额外的限制可包括冗余传感器数据检查(以便车辆不会基于传感器小偏差而移动)、异种传感器检查(例如，雷达和光学传感器输入应当一致)、额外的等待时间等等。可以添加额外的限制来提供车辆在自主模式中时的更可靠且安全的操作。 [0108] 在一些场景中，推断系统可请求车辆驾驶员/乘坐者输入来确认或拒绝推断。例如，当接近交通信号在闪烁红灯的路口时，推断系统可以推断该交通信号未正常工作并且可以请求来自车辆的乘坐者的输入。推断系统可以问：“这个交通灯看起来坏了，能请您确认吗？”车辆乘坐者可响应：“是的，它看起来坏了”，或者“不，我认为它通常就是闪烁红灯的”。来自车辆乘坐者的这种输入可被单独使用或与传感器数据结合使用来作出关于环境的该方面的进一步推断和/或控制车辆。推断系统与车辆乘坐者之间的交互可利用语音、文本或其他形式的通信来执行。 [0109] 在另一示例实施例中，在接近路口的同时，对于车辆传感器系统，交通信号可能被遮挡。车辆可在该路口处停止。在等待交通灯的至少一个循环时间并且未能接收到其他适当的传感器数据来前进经过路口之后，推断系统可以问车辆乘坐者：“前进经过这个路口安全吗？”车辆乘坐者可响应以“前进”或“别前进”。可基于来自车辆乘坐者的响应来控制车辆。在其他实施例中，车辆乘坐者可采取对车辆的手动控制来越过该路口。推断系统与车辆乘坐者之间的其他交互是可能的。 [0110] 在一些实施例中，推断可被发送到被配置为在自主模式中操作的一个或多个其他车辆。例如，关于交通信号的状态的推断可被发送到作出推断的车辆后方的车辆，作为“提早警告”来避免突然刹车或其他紧急状况。 [0111] 推断也可以以查询形式被发送到附近的自主车辆，这些附近的自主车辆可操作来支持或反驳该推断。例如，停止在可能阻挡着交通信号的大卡车后方的车辆可推断该大卡车是由于交通信号的状态为“红灯”而停止的。在一些实施例中，该车辆可广播该推断，以尝试获得关于该交通信号的状态的进一步信息。作为响应，其他车辆可以用其他信息来响应以支持或反驳该推断。 [0112] 基于由推断系统作出的推断，一控制指令或一组控制指令可被推断系统生成并被发送或以其他方式传输到车辆或可操作来控制车辆的部分或全部功能的另一计算机系统。 [0113] 步骤406包括基于车辆的环境的至少一个所推断的方面来在自主模式中控制车辆。控制车辆可表示车辆遵循(一个或多个)控制指令以便执行以下各项中的一个或多个：车辆加速、减速、改变前进方向、改变车道、在车道内偏移位置、提供警告通知(例如，车辆到车辆通信消息、喇叭信号、光信号等等)以及改变到不同的驾驶模式(例如，半自动或手动模式)。涉及控制车辆的其他动作在本公开的情境内是可能的。 [0114] 可至少部分基于推断或预定场景的置信水平来控制车辆。 [0115] 车辆和任何车载计算机系统可在自主模式中控制车辆。或者，例如服务器网络这样的计算机系统可用于控制自主模式中的车辆的一些或全部功能。 [0116] 本文公开的方法和装置可应用到在自主模式中操作的车辆接近高速公路调控灯(metering light)(例如，在公路入口匝道处)的情形。在示例情形中，在车辆被停止在调控灯旁边的同时，相机的视野可能不足以直接观察该调控灯。车辆可接收关于该特定调控灯的信息(例如，来自公路管理员或其他道路信息服务)。接收到的信息可包括在该特定调控灯处调控是否在进行以及当前调控间隔。可经由无线通信接口来接收该信息。这样，在车辆可能不能够直接观察到调控灯的情形中，车辆可以有若干种方式来推断调控灯的恰当间隔时间和/或状态以便从该调控灯前进。 [0117] 例如，车辆可观察其他车并从其他车辆的移动来推断出间隔时间。在这种示例中，车辆可观察到其他车辆按一定速率前进(例如，大致每五秒一辆)。基于对其他车辆的观察，车辆可推断出间隔是大致五秒并且在等待所推断的间隔时间之后从该调控灯前进。 [0118] 如果间隔信息已知(例如，基于先前历史数据或接收到的信息)，则车辆可基于该间隔信息来推断出恰当的调控间隔。例如，公路官方机构可向车辆提供调控间隔信息(例如，当前调控灯处的间隔是七秒)。基于该间隔信息，车辆可推断出间隔是七秒，并且在先前车辆出发后等待七秒之后从该调控灯前进。然而，如果车辆观察到其他车辆等待的时间远长于(或远短于)间隔信息所指示的，则可基于实时观察来推断出新的间隔。 [0119] 在包括两车道调控灯的场景中，车辆可观察到其他车辆以交替方式从该调控灯前进(例如，右车道、左车道、右车道……)。基于出发间隔，车辆可推断在该调控灯处等待的适当时间。另外，基于出发间隔和车辆的当前车道，车辆可推断从该调控灯出发的恰当顺序。 [0120] 在另一示例实施例中，车辆可基于对调控灯的先前观察来作出关于调控灯的状态的推断。例如，随着车辆正在接近调控灯，其可观察调控灯的状态。然而，对该调控灯的查看可能变得被另一车辆所遮挡或者该调控灯可能在相机视野之外。在这种情形中，车辆可基于先前观察到的该调控灯的状态来推断该调控灯的当前状态。具体地，车辆可在朝着调控灯移动的同时观察到调控灯的转变(例如，红灯到绿灯或绿灯到红灯)，调控灯随后可变得观察不到。如果间隔信息是车辆已知的，则车辆可基于该间隔信息和从先前观察到的转变起逝去的时间来作出关于调控灯的当前状态的推断。 [0121] 在调控正在进行时车辆可故意缓慢地接近调控灯以确保在车辆进入观察不到调控灯的位置之前观察到一个完整的调控周期(或者至少一个调控灯转变)。从而，车辆可能够作出关于调控灯的当前状态的更确信的推断。 [0122] 在另一实施例中，车辆可接近一观察不到的调控灯，而没有其他车辆在该调控灯处等待或前进经过该调控灯。如果车辆具有调控正在进行的信息以及关于调控灯的间隔的信息，则车辆可以就在该调控灯处等待该间隔的持续时间。从而，尽管没有直接观察到调控灯，车辆仍可作出关于调控灯的推断并且控制车辆以尝试保持安全并且也符合交通法规的精神。 [0123] 提供了一种方法410，其中，当进行控制的交通信号的状态不可直接观察时，可从观察车辆的环境中的至少一个光源的至少一个传感器获得传感器数据。基于该传感器数据，推断系统可推断出进行控制的交通信号的推断状态。可基于进行控制的交通信号的推断状态来控制车辆。该方法可利用图1和2所示和以上描述的任何装置来执行，然而也可使用其他配置。图4B图示了示例方法中的步骤，然而，要理解，在其他实施例中，这些步骤可按不同的顺序出现并且可以添加或减除步骤。 [0124] 步骤412包括在利用一个或多个传感器不可直接观察进行控制的交通信号的状态时，从观察车辆的环境中的至少一个光源的该一个或多个传感器获得传感器数据。车辆可被配置为在自主模式中操作并且该一个或多个传感器可与车辆操作性地关联。 [0125] 一个或多个传感器可包括如本公开别处所述的任何类型的传感器。一个或多个传感器可附着到车辆或者可位于别处。 [0126] 至少一个光源可包括另一车辆的一个或多个刹车灯。其他光源是可能的。 [0127] 进行控制的交通信号可代表任何交通规制设备，例如交通灯、停车标志或者调控灯。例如，车辆可能正在接近一路口。在这种情况下，进行控制的交通信号可以是规制经过该路口的交通流量的交通灯。其他类型的进行控制的交通信号是可能的。在示例实施例中，进行控制的交通信号可被另一车辆、建筑物、树木或者任何其他类型的障碍所阻挡，使得利用车辆的一个或多个传感器不可直接观察该进行控制的交通信号。在其他实施例中，进行控制的交通信号可在车辆的一个或多个传感器的可观察范围之外。 [0128] 步骤414包括利用推断系统来基于传感器数据推断进行控制的交通信号的推断状态。在示例实施例中，推断系统可以是与车辆相关联的计算机系统，例如参考图1描述的计算机系统112。在其他实施例中，推断系统可以完全或部分地与另一计算机系统(例如，服务器网络)相关联。 [0129] 如本公开中别处所述，推断系统可操作来基于传感器数据作出推断。在一些实施例中，推断系统可作出关于进行控制的交通信号的不可观察的状态的推断。例如，车辆可能正接近具有进行控制的交通信号的路口。在这种情况中，一卡车可阻止与该车辆相关联的一个或多个传感器直接观察该进行控制的交通信号的状态。车辆可获取与车辆的环境中的一个或多个光源——例如其他车辆的刹车灯——有关的传感器数据。如果其他车辆的刹车灯开启，则推断系统可推断进行控制的交通信号的状态是红灯或者“停止”。如果其他车辆的刹车灯未开启，则推断系统可推断进行控制的交通信号的状态是绿灯或者“前进”。其他类型的推断是可能的。 [0130] 步骤416包括基于进行控制的交通信号的推断状态来控制自主模式中的车辆。在示例实施例中，如果进行控制的交通信号的推断状态是绿灯或“前进”，则可以控制车辆“通过路口”或者“小心前进”。如果进行控制的交通信号的推断状态是红灯或“停止”，则可以控制车辆停止。在一些实施例中，可以控制车辆提醒驾驶员和/或进入半自动或手动模式。基于进行控制的交通信号的推断状态来控制自主模式中的车辆的其他方式是可能的。 [0131] 示例方法，例如图4A的方法400和图4B的方法410，可以完全或部分地由车辆及其子系统来执行。因此，示例方法在本文中可作为示例被描述为由车辆实现。然而，应当理解，示例方法可以完全或部分地由其他计算设备来实现。例如，示例方法可以完全或部分地由从诸如与车辆关联的设备之类的设备接收数据的服务器系统来实现。可实现示例方法的计算设备或计算设备的组合的其他示例是可能的。 [0132] 在一些实施例中，公开的方法可实现为以机器可读格式编码在非暂态计算机可读存储介质上或者其他非暂态介质或制品上的计算机程序指令。图5是图示出根据本文给出的至少一些实施例布置的包括用于在计算机系统上执行计算机过程的计算机程序的示例计算机程序产品的概念性部分视图的示意图。 [0133] 在一个实施例中，利用信号承载介质500来提供示例计算机程序产品502。信号承载介质502可包括一个或多个编程指令504，这些编程指令504在被一个或多个处理器执行时可提供以上参考图1-4描述的功能或功能的部分。在一些示例中，信号承载介质502可包含计算机可读介质506，例如——但不限于——硬盘驱动器、致密盘(Compact Disc，CD)、数字视频盘(Digital Video Disk，DVD)、数字磁带、存储器，等等。在一些实现方式中，信号承载介质502可包含计算机可记录介质508，例如——但不限于——存储器、读/写(R/W)CD、R/W DVD，等等。在一些实现方式中，信号承载介质502可包含通信介质510，例如——但不限于——数字和/或模拟通信介质(例如，光缆、波导、有线通信链路、无线通信链路，等等)。从而，例如，信号承载介质502可由无线形式的通信介质510来传达。 [0134] 一个或多个编程指令504可以例如是计算机可执行和/或逻辑实现的指令。在一些示例中，例如图1的计算机系统112那样的计算设备可被配置为响应于由计算机可读介质506、计算机可记录介质508和/或通信介质510中的一个或多个传达到计算机系统112的编程指令504而提供各种操作、功能或动作。 [0135] 非暂态计算机可读介质也可分布在多个数据存储元件之间，这些数据存储元件的位置可以彼此远离。执行存储的指令中的一些或全部的计算设备可以是车辆，例如图2所示的车辆200。或者，执行存储的指令中的一些或全部的计算设备可以是另一计算设备，例如服务器。 [0136] 以上详细描述参考附图对公开的系统、设备和方法的各种特征和功能进行了描述。虽然本文已公开了各种方面和实施例，但其他方面和实施例是可能的。本文公开的各种方面和实施例是为了例示，而并不打算进行限定，真实的范围和精神由所附权利要求指示。 |
||||||
QQ群二维码
意见反馈
意见反馈