盲区检测系统和方法

申请号 CN201710426986.2 申请日 2017-06-08 公开(公告)号 CN107487333A 公开(公告)日 2017-12-19
申请人 福特全球技术公司; 发明人 哈珀丽特辛格·班瓦伊特; 吉内什·J·杰恩;
摘要 本 发明 描述了示例的盲区检测系统和方法。在一种实施方式中,主车辆检测在相邻的交通车道中位于主车辆前面的第二车辆。一种方法确定第二车辆的大小并且基于第二车辆的大小来估计与第二车辆相关的车辆类别。该方法还识别第二车辆上的侧视镜 位置 并且基于车辆类别和侧视镜位置来确定与第二车辆相关的盲区。
权利要求

1.一种方法,所述方法包括:
由主车辆检测在相邻的交通车道中位于所述主车辆前面的第二车辆;
确定所述第二车辆的大小;
基于所述第二车辆的所述大小来估计与所述第二车辆相关的车辆类别;
识别所述第二车辆上的侧视镜位置;以及
基于所述车辆类别和所述侧视镜位置来确定与所述第二车辆相关的盲区;
其中基于从安装于所述主车辆的至少一个传感器接收到的数据来检测所述第二车辆。
2.根据权利要求1所述的方法,进一步包括确定所述第二车辆的方向。
3.根据权利要求2所述的方法,其中进一步基于所述第二车辆的所述方向来估计与所述第二车辆相关的所述车辆类别。
4.根据权利要求1所述的方法,其中所述至少一个传感器为安装于所述主车辆的雷达传感器、LIDAR传感器、超声传感器以及至少一个摄像机的其中之一。
5.根据权利要求1所述的方法,其中与所述第二车辆相关的所述车辆类别包括小型轿车、标准尺寸的轿车、卡车或者客车的其中之一。
6.根据权利要求1所述的方法,进一步包括基于所述车辆类别和所述侧视镜位置来确定所述主车辆是否处于所述第二车辆的所述盲区中。
7.根据权利要求6所述的方法,进一步包括响应于确定所述主车辆处于所述第二车辆的所述盲区中而警告所述主车辆的驾驶员。
8.根据权利要求6所述的方法,进一步包括响应于确定所述主车辆处于所述第二车辆的所述盲区中而自动调整所述主车辆的速度。
9.根据权利要求6所述的方法,进一步包括基于所述车辆类别和所述侧视镜位置来确定所述主车辆是否在接近所述第二车辆的所述盲区。
10.根据权利要求9所述的方法,所述方法进一步包括响应于确定所述主车辆在接近所述第二车辆的所述盲区而警告所述主车辆的驾驶员。
11.根据权利要求9所述的方法,进一步包括响应于确定所述主车辆在接近所述第二车辆的所述盲区而自动调整所述主车辆的速度。
12.一种设备,所述设备包括:
图像处理,所述图像处理模块配置成检测在相邻的交通车道中位于主车辆前面的第二车辆;
车辆分析模块,所述车辆分析模块配置成确定所述第二车辆的大小并且配置成基于所述大小来估计与所述第二车辆相关的车辆类别;
车辆镜子检测器,所述车辆镜子检测器配置成识别所述第二车辆上的侧视镜位置;以及
盲区估计器,所述盲区估计器配置成基于所述车辆类别和所述侧视镜位置来识别与所述第二车辆相关的盲区。
13.根据权利要求12所述的设备,其中所述盲区估计器进一步配置成确定所述主车辆是否处于所述第二车辆的所述盲区中。
14.根据权利要求13所述的设备,进一步包括盲区警告模块,所述盲区警告模块配置成如果所述主车辆处于所述第二车辆的所述盲区中,则警告所述主车辆的驾驶员。
15.根据权利要求14所述的设备,进一步包括驾驶辅助系统,所述驾驶辅助系统配置成如果所述主车辆处于所述第二车辆的所述盲区中,则自动调整所述主车辆的速度。
16.一种方法,所述方法包括:
由主车辆检测在相邻的交通车道中位于所述主车辆前面的第二车辆;
确定所述第二车辆的大小;
基于所述第二车辆的所述大小来估计与所述第二车辆相关的车辆类别;
识别所述第二车辆上的侧视镜位置;以及
基于所述车辆类别和所述侧视镜位置来确定与所述第二车辆相关的盲区。
17.一种方法,所述方法包括:
由主车辆中的盲区检测系统检测在相邻的交通车道中位于所述主车辆前面的第二车辆;
确定所述第二车辆的大小;
由所述盲区检测系统基于所述第二车辆的所述大小来估计与所述第二车辆相关的车辆类别;
识别所述第二车辆上的侧视镜位置;
基于所述车辆类别和所述侧视镜位置来检测与所述第二车辆相关的盲区;以及基于所述车辆类别和所述侧视镜位置来确定所述主车辆是否处于所述第二车辆的所述盲区中。

说明书全文

盲区检测系统和方法

技术领域

[0001] 本发明涉及车辆系统,尤其是,涉及检测附近车辆的盲区的系统和方法。

背景技术

[0002] 机动车和其他车辆为商业、政府以及私人实体提供很重要一部分运输。在车辆交通拥挤或者能见度有限的区域中,了解周围车辆的盲区的位置是重要的。通过检测周围车辆的盲区,主车辆能够调整其驾驶活动以避免另一台车辆的盲区或者将驾驶通过其他车辆的盲区所花费的时间降到最少。现有的系统允许车辆检测其自己的盲区,但是不识别其他车辆的盲区。
[0003] 一般道路上的各种车辆不但具有相对于车辆的侧视镜和窗户的不同驾驶员位置,而且具有不同的大小和形状。此外,不同的车辆具有不同的侧视镜大小和形状。所有这些变化对每一台独特的车辆造成了不同的盲区(或者盲区地带)。

发明内容

[0004] 根据本发明的一方面,提供一种方法,包括:
[0005] 由主车辆检测在相邻的交通车道中位于主车辆前面的第二车辆;
[0006] 确定第二车辆的大小;
[0007] 基于第二车辆的大小来估计与第二车辆相关的车辆类别;
[0008] 识别第二车辆上的侧视镜位置;以及
[0009] 基于车辆类别和侧视镜位置来确定与第二车辆相关的盲区。
[0010] 根据本发明的一个实施例,方法进一步包括确定第二车辆的方向。
[0011] 根据本发明的一个实施例,进一步基于第二车辆的方向来估计与第二车辆相关的车辆类别。
[0012] 根据本发明的一个实施例,基于从安装于主车辆的至少一个传感器接收到的数据来检测第二车辆。
[0013] 根据本发明的一个实施例,安装于主车辆的传感器为雷达传感器、LIDAR传感器或者超声传感器的其中之一。
[0014] 根据本发明的一个实施例,基于从安装于主车辆的至少一个摄像机接收到的数据来检测第二车辆。
[0015] 根据本发明的一个实施例,与第二车辆相关的车辆类别包括小型轿车、标准尺寸的轿车、卡车或者客车的其中之一。
[0016] 根据本发明的一个实施例,方法进一步包括基于车辆类别和侧视镜位置来确定主车辆是否处于第二车辆的盲区中。
[0017] 根据本发明的一个实施例,方法进一步包括响应于确定主车辆处于第二车辆的盲区中而警告主车辆的驾驶员。
[0018] 根据本发明的一个实施例,方法进一步包括响应于确定主车辆处于第二车辆的盲区中而自动调整主车辆的速度。
[0019] 根据本发明的一个实施例,方法进一步包括基于车辆类别和侧视镜位置来确定主车辆是否在接近第二车辆的盲区。
[0020] 根据本发明的一个实施例,方法进一步包括响应于确定主车辆在接近第二车辆的盲区而警告主车辆的驾驶员。
[0021] 根据本发明的一个实施例,方法进一步包括响应于确定主车辆在接近第二车辆的盲区而自动调整主车辆的速度。
[0022] 根据本发明的一方面,提供一种方法,包括:
[0023] 由主车辆中的盲区检测系统检测在相邻的交通车道中位于主车辆前面的第二车辆;
[0024] 确定第二车辆的大小;
[0025] 由盲区检测系统基于第二车辆的大小来估计与第二车辆相关的车辆类别;
[0026] 识别第二车辆上的侧视镜位置;
[0027] 基于车辆类别和侧视镜位置来检测与第二车辆相关的盲区;以及
[0028] 基于车辆类别和侧视镜位置来确定主车辆是否处于第二车辆的盲区中。
[0029] 根据本发明的一个实施例,方法进一步包括响应于确定主车辆处于第二车辆的盲区中而警告主车辆的驾驶员。
[0030] 根据本发明的一个实施例,方法进一步包括响应于确定主车辆处于第二车辆的盲区中而自动调整主车辆的速度。
[0031] 根据本发明的一方面,提供一种设备,包括:
[0032] 图像处理,该图像处理模块配置成检测在相邻的交通车道中位于主车辆前面的第二车辆;
[0033] 车辆分析模块,该车辆分析模块配置成确定第二车辆的大小并且配置成基于大小来估计与第二车辆相关的车辆类别;
[0034] 车辆镜子检测器,该车辆镜子检测器配置成识别第二车辆上的侧视镜位置;以及[0035] 盲区估计器,该盲区估计器配置成基于车辆类别和侧视镜位置来识别与第二车辆相关的盲区。
[0036] 根据本发明的一个实施例,盲区估计器进一步配置成确定主车辆是否处于第二车辆的盲区中。
[0037] 根据本发明的一个实施例,设备进一步包括盲区警告模块,该盲区警告模块配置成如果主车辆处于第二车辆的盲区中,则警告主车辆的驾驶员。
[0038] 根据本发明的一个实施例,设备进一步包括驾驶辅助系统,该驾驶辅助系统配置成如果主车辆处于第二车辆的盲区中,则自动调整主车辆的速度。
[0039] 根据本发明的一方面,提供一种方法,包括:
[0040] 由主车辆中的包含处理装置的计算装置依据连接至计算装置的一个或多个传感器的输出来检测在相邻的交通车道中位于主车辆前面的第二车辆;
[0041] 由计算装置依据一个或多个传感器的输出来确定第二车辆的大小;
[0042] 由计算装置基于第二车辆的大小来估计与第二车辆相关的车辆类别;
[0043] 由计算装置识别第二车辆上的侧视镜位置;以及
[0044] 由计算装置基于车辆类别和侧视镜位置来确定与第二车辆相关的盲区。
[0045] 根据本发明的一个实施例,方法进一步包括依据一个或多个传感器的输出来确定第二车辆的方向。
[0046] 根据本发明的一个实施例,进一步基于第二车辆的方向来估计与第二车辆相关的车辆类别。
[0047] 根据本发明的一个实施例,一个或多个传感器安装于主车辆并且包括雷达传感器、LIDAR传感器以及超声传感器的至少其中之一。
[0048] 根据本发明的一个实施例,一个或多个传感器包括安装于主车辆的至少一个摄像机。
[0049] 根据本发明的一个实施例,与第二车辆相关的车辆类别包括小型轿车、标准尺寸的轿车、卡车或者客车的其中之一。
[0050] 根据本发明的一个实施例,方法进一步包括基于车辆类别和侧视镜位置来确定主车辆是否处于第二车辆的盲区中。
[0051] 根据本发明的一个实施例,方法进一步包括响应于确定主车辆处于第二车辆的盲区中而警告主车辆的驾驶员。
[0052] 根据本发明的一个实施例,方法进一步包括响应于确定主车辆处于第二车辆的盲区中而自动调整主车辆的速度。
[0053] 根据本发明的一个实施例,方法进一步包括基于车辆类别和侧视镜位置来确定主车辆是否在接近第二车辆的盲区。
[0054] 根据本发明的一个实施例,方法进一步包括响应于确定主车辆在接近第二车辆的盲区而警告主车辆的驾驶员。
[0055] 根据本发明的一个实施例,方法进一步包括响应于确定主车辆在接近第二车辆的盲区而自动调整主车辆的速度。
[0056] 根据本发明的一方面,提供一种方法,包括:
[0057] 由主车辆中的盲区检测系统依据连接至盲区检测系统的一个或多个传感器的输出来检测在相邻的交通车道中位于主车辆前面的第二车辆,盲区检测系统包含处理装置;
[0058] 由盲区检测系统依据一个或多个传感器的输出来确定第二车辆的大小;
[0059] 由盲区检测系统基于第二车辆的大小来估计与第二车辆相关的车辆类别;
[0060] 由盲区检测系统识别第二车辆上的侧视镜位置;
[0061] 由盲区检测系统基于车辆类别和侧视镜位置来检测与第二车辆相关的盲区;以及[0062] 由盲区检测系统基于车辆类别和侧视镜位置来确定主车辆是否处于第二车辆的盲区中。
[0063] 根据本发明的一个实施例,方法进一步包括响应于确定主车辆处于第二车辆的盲区中而警告主车辆的驾驶员。
[0064] 根据本发明的一个实施例,方法进一步包括响应于确定主车辆处于第二车辆的盲区中而自动调整主车辆的速度。
[0065] 根据本发明的一方面,提供一种包括一个或多个处理装置的设备,一个或多个处理装置实现以下模块和器件:
[0066] 图像处理模块,该图像处理模块配置成在一个或多个传感器的输出中检测在相邻的交通车道中位于主车辆前面的第二车辆;
[0067] 车辆分析模块,该车辆分析模块配置成依据一个或多个传感器的输出来确定第二车辆的大小并且配置成基于大小来估计与第二车辆相关的车辆类别;
[0068] 车辆镜子检测器,该车辆镜子检测器配置成识别第二车辆上的侧视镜位置;以及[0069] 盲区估计器,该盲区估计器配置成利用以机器学习基础算法基于车辆类别和侧视镜位置来识别与第二车辆相关的盲区。
[0070] 根据本发明的一个实施例,盲区估计器进一步配置成确定主车辆是否处于第二车辆的盲区中。
[0071] 根据本发明的一个实施例,设备进一步包括盲区警告模块,该盲区警告模块配置成如果主车辆处于第二车辆的盲区中,则警告主车辆的驾驶员。
[0072] 根据本发明的一个实施例,设备进一步包括驾驶辅助系统,该驾驶辅助系统配置成如果主车辆处于第二车辆的盲区中,则自动调整主车辆的速度。附图说明
[0073] 参考如下附图来描述本发明的非限制性和非穷举的实施例,其中,除非另有详细说明,否则相似的附图标记在各附图中始终指的是相似的部件。
[0074] 图1为举例说明包括自动化驾驶/辅助系统的车辆控制系统的实施例的框图
[0075] 图2为举例说明盲区检测系统的实施例的框图;
[0076] 图3举例说明具有在相同方向行驶的多台车辆的多车道道路的示例;
[0077] 图4举例说明具有在相同方向行驶的多台车辆的多车道道路的另一个示例;
[0078] 图5举例说明车辆侧视镜中的示例图像,其显示出驾驶员在观察侧视镜;
[0079] 图6举例说明车辆侧视镜中的示例图像,其显示出驾驶员将目光从侧视镜移开;
[0080] 图7为举例说明检测第二车辆的盲区的方法的实施例的流程图
[0081] 图8为举例说明确定第二车辆的驾驶员是否在察看主车辆的方法的实施例的流程图。

具体实施方式

[0082] 在如下公开中,参考构成本发明一部分的附图,并且在附图中通过举例说明的方式示出了可实践本发明的具体实施方式。应该理解的是,可利用其他实施方式,并且在不脱离本发明的范围的情况下可做出结构变化。说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用表明所述的实施例可包括特定特征、结构或者特点,但是每个实施例可不必包括该特定特征、结构或者特点。而且,这种措词未必指的是相同的实施例。进一步地,当与实施例有关地描述特定特征、结构或者特点时,主张的是,不论是否做出明确的描述,影响与其他实施例有关的该特征、结构或者特点是在本领域技术人员的认知内的。
[0083] 本文中所公开的系统、装置以及方法的实施方式可包括或者利用包括计算机硬件的专用或者通用计算机,比如,像本文中所讨论的,该计算机硬件为例如一个或多个处理器或者系统存储器。本发明范围内的实施方式还可包括用于携带或者存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。该计算机可读介质可为能够由通用或者专用计算机系统来存取的任何可用的介质。存储计算机可执行指令的计算机可读介质为计算机存储介质(装置)。携带计算机可执行指令的计算机可读介质为传输介质。因此,通过举例并且不受限制的方式,本发明的实施方式可包括至少两个明显不同类型的计算机可读介质:计算机存储介质(装置)和传输介质。
[0084] 计算机存储介质(装置)包括随机存取存储器(Random-Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、固态驱动器(Solid State Drive,“SSD”)(例如,基于随机存取存储器)、闪速存储器、相变存储器(Phase-Change Memory,“PCM”)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或者其他磁性存储装置,或者能够用来存储计算机可执行指令或者数据结构形式的期望程序代码手段并且能够由通用或者专用计算机来存取的任何其他介质。
[0085] 本文中所公开的装置、系统以及方法的实施方式可在计算机网络上进行通信。“网络”定义为能够实现电子数据在计算机系统和/或模块和/或其他电子装置之间进行传输的一条或多条数据链路。当在网络或者另外的通信连接(硬连线、无线或者硬连线或无线的结合)上向计算机传递或者提供信息时,该计算机将该连接适当地视为传输介质。传输介质可包括网络和/或数据链路,其能够用来携带计算机可执行指令或者数据结构形式的期望程序代码手段并且能够由通用或者专用计算机来存取。以上所述的组合也应该包含在计算机可读介质的范围内。
[0086] 计算机可执行指令包括例如当在处理器执行时使通用计算机、专用计算机或者专用处理装置执行某个功能或者功能组的指令和数据。计算机可执行指令可为例如二进制数、中间格式指令(例如汇编语言)乃至源代码。尽管以特定于结构特征和/或方法动作的语言描述了本发明的主题,但是应该理解的是,所附权利要求中限定的主题未必受限于本文中描述的所述特征或者动作。相反,所述特征和动作被公开为实施权利要求的示例形式。
[0087] 本领域的技术人员将领会的是,可在具有多种计算机系统配置的网络计算环境中实践本发明,该计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器的或者可编程的消费电子产品、网络个人计算机(Personal Computer,PC)、小型计算机、大型计算机、移动电话个人数字助理(Personal Digital Assistant,PDA)、平板电脑、寻呼机、路由器、交换机、各种存储装置等。还可在分布式系统环境中实践本发明,在该分布式系统环境中,经由网络(通过硬连线数据链路、无线数据链路或者通过硬连线数据链路和无线数据链路的结合)连接起来的本地和远程计算机系统都执行任务。在分布式系统环境中,程序模块可位于本地和远程存储装置中。
[0088] 进一步地,在适当的情况下,本文中所述的功能可在硬件、软件固件、数字部件或者模拟部件的一个或多个中执行。例如,一个或多个专用集成电路(application specific integrated circuit,ASIC)可编程为实现本文中所述的一个或多个系统和程序。某些术语在说明书和权利要求书中始终用来指特定的系统部件。如本领域的技术人员将领会的,可用不同的名称指称部件。本文并非意在区分名称不同但功能相同的部件。
[0089] 应该注意的是,本文中所讨论的传感器实施例可包括用来执行其至少一部分功能的计算机硬件、软件、固件或其任意组合。例如,传感器可包括配置成在一个或多个处理器中执行的计算机代码,并且可包括由该计算机代码控制的硬件逻辑/电气电路。本文中提供这些示例装置的目的是为了举例说明,而非意在做出限制。如相关技术领域的技术人员将已知的,本发明的实施例可在更多类型的装置中实现。
[0090] 本发明的至少一些实施例是针对包括存储在任何计算机可用介质上的这种逻辑(例如,以软件的形式)的计算机程序产品。当在一个或多个数据处理装置中执行时,这种软件使装置像本文中描述的那样运行。
[0091] 如本文中所使用的,主车辆指的是包含盲区检测系统的车辆,并且第二车辆指的是接近该主车辆的另一台车辆。如本文中所讨论的,该主车辆检测一台或多台第二车辆的盲区。进一步地,该主车辆可确定第二车辆的驾驶员是否有可能看见该主车辆。
[0092] 盲区为车辆的驾驶员不能看见或者驾驶员难以看见的靠近车辆的区域。在车辆镜子所提供的覆盖范围中的车辆结构(例如,立柱)、头枕、乘客、货物以及缝隙都能够造成盲区。示例的盲区包括驾驶员左肩上面的区域、驾驶员右肩上面的区域以及车辆后面的区域。
[0093] 本发明通常涉及用于自动化或者辅助驾驶的方法、系统以及设备,尤其是,涉及检测一台或多台附近车辆的盲区。依据一个实施例,一种方法使用主车辆中的盲区检测系统来检测在相邻的交通车道中位于主车辆前面的第二车辆。该方法确定第二车辆的位置和第二车辆的大小。盲区检测系统基于第二车辆的大小来估计与第二车辆相关的车辆类别。该方法进一步识别第二车辆上的侧视镜位置并且基于车辆类别和侧视镜位置来检测与第二车辆相关的盲区。该方法然后基于车辆类别和侧视镜位置来确定主车辆是否在第二车辆的盲区中。
[0094] 依据另一个实施例,一种方法使用主车辆中的盲区检测系统来检测在相邻的交通车道中位于主车辆前面的第二车辆。该方法从安装于主车辆的摄像机接收第二车辆的图像并且识别所接收图像中的侧视镜。该方法分析侧视镜中的图像以确定第二车辆的驾驶员的头部位置。该方法进一步基于该第二车辆的驾驶员的头部位置来确定第二车辆的驾驶员是否有可能看见该主车辆。
[0095] 尽管本文中所讨论的特定示例指的是轿车和相似类型的车辆,但是本文中所述的系统和方法可应用到任何类型的车辆。例如,盲区检测系统和方法在轿车、所有尺寸的卡车、厢式货车、客车、摩托车等中是有用的。所述的系统和方法对于其他驾驶员更难看见以及可能完全隐藏在盲区中的较小的轿车和摩托车特别有用。
[0096] 图1为举例说明可用来检测附近车辆中的盲区的车辆控制系统100的实施例的框图。自动化驾驶/辅助系统102可用来自动化或控制车辆的运行或者用来向人类驾驶员提供帮助。例如,自动化驾驶/辅助系统102可控制制动、转向、加速、灯光、警告、驾驶员通知、无线电广播或者车辆的任何其他辅助系统的一个或多个。在另一个示例中,自动化驾驶/辅助系统102可不提供驾驶(例如,转向、加速或者制动)的任何控制,但是可提供通知和警告以在安全驾驶方面对人类驾驶员提供帮助。自动化驾驶/辅助系统102可包括盲区检测系统104,该盲区检测系统104使用车辆传感器数据、车载摄像机数据以及一个或多个处理器来检测附近车辆的盲区以及确定另一台车辆的驾驶员是否可看见其中安装有盲区检测系统
104的车辆。在一个实施例中,自动化驾驶/辅助系统102可确定驾驶操纵或者驾驶路径来减少或者消除在其他车辆的盲区中驾驶所花费的时间。
[0097] 车辆控制系统100还包括用于检测附近目标的存在或者确定母车辆(例如,包括车辆控制系统100的车辆)的位置的一个或多个传感器系统/装置。例如,车辆控制系统100可包括雷达系统106、一个或多个光探测和测距(Light Detection And Ranging,LIDAR)系统108、一个或多个摄像机系统110、全球定位系统(Global Positioning System,GPS)112和/或超声系统114。一个或多个摄像机系统110可包括安装于车辆的正面摄像机。车辆控制系统100可包括用于存储相关的或者有用的导航和安全数据(例如地图数据、驾驶历史或者其他数据)的数据存储器116。车辆控制系统100还可包括用于与移动或无线网络、其他车辆、基础设施或者任何其他通信系统进行无线通信的收发器118。
[0098] 车辆控制系统100可包括用来控制车辆驾驶的各个方面的车辆控制致动器120(例如用来控制制动、加速、转向等的电动达、开关或者其他致动器)。车辆控制系统100还可包括一个或多个显示器122、扬声器124或者其他装置,以便可向人类驾驶员或者乘客提供通知。显示器122可包括车辆的驾驶员或者乘客可看见的抬头显示器、仪表盘显示器或指示器、显示屏或者任何其他视觉指示器。扬声器124可包括车辆音响系统的一个或多个扬声器或者可包括专用于驾驶员通知的扬声器。
[0099] 要领会的是,图1的实施例只是通过示例给出的。在不脱离本发明的范围的情况下,其他实施例可包括较少的或者额外的部件。此外,举例说明的部件可不受限制地结合或者包括在其他部件中。
[0100] 在一个实施例中,自动化驾驶/辅助系统102配置成控制母车辆的驾驶或者导航。例如,自动化驾驶/辅助系统102可控制车辆控制致动器120在道路、停车场、行车道或者其他位置驾驶一段路程。例如,自动化驾驶/辅助系统102可基于由部件106-118中的任何部件所提供的信息或者感知数据来确定路径。传感器系统/装置106-110和114可用来获取实时的传感器数据,以便自动化驾驶/辅助系统102能够实时地帮助驾驶员或者驾驶车辆。
[0101] 在一些实施例中,车辆控制系统100所包含的部件可少于图1中所显示的那些部件。例如,用于摩托车的车辆控制系统100的实施例可包含较少的部件,这是因为在摩托车上可用于这些部件的空间有限。
[0102] 图2为举例说明盲区检测系统104的实施例的框图。如图2中所示,盲区检测系统104包括通信管理器202、处理器204以及存储器206。通信管理器202允许盲区检测系统104与其他系统(例如自动化驾驶/辅助系统102)进行通信。处理器204执行各种指令以实现盲区检测系统104所提供的以及本文中所讨论的功能。存储器206不但存储包含在盲区检测系统104中的处理器204和其他模块所使用的其他数据,而且存储这些指令。
[0103] 此外,盲区检测系统104包括分析从一个或多个摄像机接收到的图像的图像处理模块208。例如,图像处理模块208可识别靠近主车辆的第二车辆(即,靠近主车辆可能会具有盲区的第二车辆)。在一些实施例中,图像处理模块208可识别一个或多个图像(例如车辆侧视镜和那些侧视镜中所显示的图像)中的目标。图像处理模块208使用各种图像分析算法和技术来识别图像中的目标。在一些实施例中,该图像分析算法和技术包括基于例如卷积神经网络架构或者递归神经网络架构的以机器学习为基础的人工智能算法。
[0104] 车辆分析模块210分析图像数据和其他信息以确定靠近主车辆的第二车辆的位置、大小、类型以及方向。如本文中所讨论的,第二车辆的位置、大小、类型以及方向是用来确定与该车辆相关的盲区。当分析第二车辆时,车辆分析模块210不但可使用来自一个或多个车辆传感器(例如雷达传感器、光探测和测距(Light Detection And Ranging,LIDAR)传感器以及超声传感器)的数据,而且可使用图像数据。与第二车辆相关的车辆的类型(或者车辆的类别)包括例如小型轿车、标准尺寸的轿车、卡车、厢式货车、客车等。这些不同类型的车辆因其不同的形状和大小而具有不同的盲区(也称为盲区地带)。
[0105] 盲区检测系统104还包括能够识别脸部、用户的注视方向以及用户的头部位置的面部分析模块212。如在本文中非常详细讨论的,面部分析模块212可分析侧视镜中的图像以确定第二车辆的驾驶员是否在观察该侧视镜或者在看不同的方向。例如,面部识别算法可确定在该侧视镜中是否可看见第二车辆的驾驶员的脸部,这表明第二车辆的驾驶员在观察该侧视镜。车辆镜子检测器214识别第二车辆上的镜子(例如侧视镜)。如本文中所讨论的,第二车辆的镜子可在安装于主车辆的摄像机所撷取的第二车辆图像中识别出。
[0106] 盲区估计器216基于各种因素(例如第二车辆的位置、大小、类型以及方向)来估计第二车辆的盲区。如果主车辆当前处于第二车辆的盲区中或者即将驶入第二车辆的盲区中,则盲区警告模块218向主车辆的驾驶员(或者主车辆的自动化驾驶系统)产生警告或者警示。该警告或者警示可为可听到的警告、可看到的警告、触觉警告等。机器学习模块220基于实际驾驶活动的测试数据和结果来学习关于车辆类别、车辆盲区以及相关数据的各种信息。
[0107] 在一些实施例中,盲区检测系统104可(例如,使用车辆对车辆(vehicle-to-vehicle,V2V)通信系统)与其他车辆(例如,第二车辆)进行通信以从那些其他车辆接收关于其盲区的信息。例如,随着主车辆接近相邻车道中的第二车辆,该第二车辆可将关于该第二车辆的盲区的信息传送到该主车辆。随着该主车辆接近并且经过该第二车辆,该主车辆利用该信息来做出任何必要的速度或者转向调整。
[0108] 图3举例说明具有在相同方向行驶的多台车辆302和304的多车道道路300的示例。道路300包括三条车道306、308以及310。在图3的示例中,车辆302为主车辆,并且车辆304为第二车辆。第二车辆304具有驾驶员左肩上面的第一盲区314以及驾驶员右肩上面的第二盲区318。盲区314由虚线312a和312b来近似地限定。类似地,盲区318由虚线316a和316b来近似地限定。盲区314和318是作为示例显示。特定车辆的盲区的具体形状、大小和方向根据各种因素(例如车辆大小、类型、方向等)而变化。在一些实施例中,在第二车辆304的后面存在另外的盲区。
[0109] 如图3中所示,主车辆302正在接近盲区314。主车辆302包括与本文中所讨论的盲区检测系统104相似的盲区检测系统326。主车辆302还包括至少一个摄像机324以及两个雷达传感器320和322。在特定的实施方式中,车辆302可包括任意数量的摄像机、任意数量的雷达传感器以及其他传感器(例如,LIDAR传感器和超声传感器)。如本文中所讨论的,摄像机324能够撷取主车辆302周围区域的图像以识别相邻车道中的第二车辆。此外,摄像机324能够撷取特定第二车辆的图像(例如包括第二车辆的侧视镜的图像)。在一些实施例中,利用摄像机324所撷取的图像来确定第二车辆的大小、位置、方向以及类型。雷达传感器320和322也识别接近主车辆302的第二车辆和该第二车辆的某些特点。在一些实施例中,当第二车辆与主车辆非常接近时,利用超声检测器来确定第二车辆的位置。雷达传感器能够检测离主车辆较远的第二车辆。LIDAR传感器用来确定主车辆和第二车辆之间的距离。摄像机和摄像机图像用于确定第二车辆类型、大小、侧视镜位置等。
[0110] 图4举例说明具有在相同方向行驶的多台车辆402和404的多车道道路400的另一个示例。道路400包括两条车道406和408。在图4的示例中,车辆402为主车辆,并且车辆404为第二车辆。主车辆402包括能够撷取第二车辆404的图像的摄像机410。尽管图4中未示出,但是主车辆402还包括车辆控制系统(包括盲区检测系统)。在一些实施例中,主车辆402还可包括附加的摄像机和一个或多个传感器(例如雷达传感器、LIDAR传感器以及超声传感器)。
[0111] 在图4的示例中,摄像机410能够撷取第二车辆404的至少一部分的图像。在该示例中,摄像机410撷取第二车辆404左侧包括左侧视镜414的图像。虚线412a和412b示出了摄像机的图像撷取边界。在一些实施例中,可调整摄像机410的图像撷取边界以改变每个图像中所撷取的区域的大小。如本文中所讨论的,盲区检测系统能够分析来自摄像机410的图像数据以识别与第二车辆404相关的车辆的大小、位置以及类型。此外,盲区检测系统可利用来自摄像机410的图像数据来识别侧视镜414和识别侧视镜414中所显示的图像(例如,来确定第二车辆404的驾驶员是否在观察侧视镜414或者将目光从侧视镜414移开)。
[0112] 图5举例说明车辆侧视镜500中的示例图像,其显示出驾驶员在观察该侧视镜。图5的示例举例说明第二车辆的侧视镜中所显示的图像,其表明该第二车辆的驾驶员在观察该侧视镜。在这种情况下,盲区检测系统能够确定极有可能该第二车辆的驾驶员能够在该侧视镜中看见该主车辆。由于安装于该主车辆的摄像机能够看见该第二车辆的驾驶员的脸部,因此很可能该驾驶员也能够在该侧视镜中看见该主车辆。因为随着主车辆接近第二车辆,第二车辆的驾驶员有可能看见主车辆并且察觉到主车辆,所以这种情况降低了驶过第二车辆的盲区的险。
[0113] 图6举例说明车辆侧视镜600中的示例图像,其显示出驾驶员将目光从该侧视镜移开。图6的示例举例说明第二车辆的侧视镜中所显示的图像,其表明该第二车辆的驾驶员将目光从该侧视镜移开。在这种情况下,盲区检测系统能够确定极有可能该第二车辆的驾驶员未在该侧视镜中看见主车辆。由于该第二车辆的驾驶员将目光从该主车辆移开,因此该驾驶员不大可能看见该主车辆。因为第二车辆的驾驶员可能看不见主车辆在接近并且驶过盲区,所以这种情况增加了驶过第二车辆的盲区的风险。因此,第二车辆的驾驶员可能未察觉到主车辆的存在。
[0114] 图7为举例说明检测第二车辆的盲区的方法700的实施例的流程图。首先,在702,主车辆中的盲区检测系统识别在相邻车道中位于主车辆前面的第二车辆。如本文中所述,盲区检测系统利用车载摄像机和一个或多个传感器(例如雷达传感器、LIDAR传感器以及超声传感器)来识别第二车辆。在704,盲区检测系统确定第二车辆的位置、大小以及方向。在一些实施例中,基于传感器数据来确定第二车辆的位置、大小以及方向,该传感器数据包括雷达传感器数据、LIDAR传感器数据、超声传感器数据等的一种或多种。
[0115] 在706,盲区检测系统基于第二车辆的位置、大小以及方向的一个或多个来估计与第二车辆相关的车辆类别或者类型。在一些实施例中,基于传感器数据来确定第二车辆的位置、大小以及方向,该传感器数据包括雷达传感器数据、LIDAR传感器数据、超声传感器数据等的一种或多种。随着在708盲区检测系统识别出第二车辆上的一个或多个侧视镜位置,方法700继续。在710,盲区检测系统然后基于车辆类别和侧视镜位置来确定与第二车辆相关的多个盲区。在一些实施例中,以机器学习为基础的算法基于之前的多次确定和之前的算法训练来确定与第二车辆相关的多个盲区。
[0116] 在识别出第二车辆的盲区之后,在712,该方法确定主车辆是否处于(或者在接近)第二车辆的盲区中。如果主车辆处于(或者在接近)第二车辆的盲区中,则在714盲区检测系统警告主车辆的驾驶员其处于(或者在接近)第二车辆的盲区中。响应于该警告,驾驶员可减速或者改变车道以避免驶过盲区或者驾驶员可提高主车辆的速度以将穿过盲区所需的时间降到最少。如果由自动化驾驶系统来控制主车辆,则该系统可基于盲区的存在而调整主车辆的速度或者驾驶活动。
[0117] 如果主车辆没有处于(或者在接近)第二车辆的盲区中,则该方法继续监测第二车辆以确定主车辆是否接近或者进入第二车辆的盲区。
[0118] 图8为举例说明确定第二车辆的驾驶员是否在察看主车辆的方法800的实施例的流程图。首先,在802,盲区检测系统接收第二车辆的侧视镜的一个或多个图像。在804,盲区检测系统识别第二车辆的侧视镜中的图像。随着在806盲区检测系统分析第二车辆的侧视镜中的图像以检测驾驶员的头部位置和注视方向,该方法继续。例如,第二车辆的侧视镜中的图像可包括驾驶员的脸部、驾驶员头部的侧面、驾驶员头部的后面或者一些其他目标。如果驾驶员的头部位置正面向侧视镜,则该图像将显示驾驶员的脸部。然而,如果驾驶员的头部位置没有面向侧视镜(例如,直视前方或者将目光从该侧视镜移开),则在该图像中将看到驾驶员头部的侧面或者后面。
[0119] 随着在808盲区检测系统确定第二车辆的驾驶员是否有可能看见主车辆,方法800继续。例如,如果在侧视镜中可看见驾驶员的脸部,则有可能驾驶员能够在侧视镜中看见主车辆。然而,如果在侧视镜中可看见驾驶员头部的侧面或者后面,则有可能驾驶员不能够看见主车辆。在一些实施例中,利用面部识别算法来确定在侧视镜中是否可看见第二车辆的驾驶员的脸部。如果在810第二车辆的驾驶员不能够看见主车辆,则随着在812盲区检测系统警告主车辆的驾驶员其不能够被第二车辆的驾驶员看见,该方法继续。响应于该警告,驾驶员可减速或者改变车道以避免驶过盲区或者驾驶员可提高主车辆的速度以将穿过盲区所需的时间降到最少。如果由自动化驾驶系统来控制主车辆,则该系统可基于盲区的存在而调整主车辆的速度或者驾驶活动。
[0120] 随着在814盲区检测系统接收第二车辆的侧视镜的更新图像,方法800继续。该方法继续进行804以识别更新图像的侧视镜中的图像。
[0121] 在一些实施例中,利用以深入学习和/或机器学习为基础的技术来执行第二车辆检测和盲区估计。例如,以机器学习为基础的算法可从多个传感器(例如雷达传感器、LIDAR传感器、超声传感器)以及摄像机获取输入。来自多个传感器的数据经过包括若干不同类型的分层架构的神经网络(例如卷积的、去卷积以及递归的)的若干层。在替代的实施例中,利用其他类型的以深入学习和/或机器学习为基础的技术来检测第二车辆和估计车辆盲区。
[0122] 虽然本文中描述了本发明的各种实施例,但是应该理解的是,这些实施例只是通过示例的方式来呈现,而并非是限制性的。对相关技术领域的技术人员而言,将显而易见的是,在不脱离本发明的精神和范围的情况下,能够对本发明做出各种形式和细节上的改变。因此,本发明的广度和范围不应该受到所述任何示范性实施例的限制,而是应该只根据如下权利要求及其等同范围来限定。本文中呈现的描述是为了阐述和说明。其并非意在穷举或者将本发明限制成所公开的确切形式。根据所公开的教导可做出很多修改和变化。进一步地,应该注意的是,可通过期望用来形成本发明额外的混合实施方式的任何组合来使用本文中所讨论的任何或者所有替代实施方式。
QQ群二维码
意见反馈