用于预测传感器信息的系统和方法
阅读：238发布：2023-02-04
专利汇可以提供用于预测传感器信息的系统和方法专利检索，专利查询，专利分析的服务。并且本 发明 题为“用于预测 传感器 信息的系统和方法”。本发明提供了用于控制车辆的系统和方法。在一个实施方案中，一种预测自主车辆的传感器信息的方法包括：接收从与车辆相关联的环境感测到的点 云 数据；通过处理器用 卷积神经网络 (CNN)处理点云数据以产生存储在一组 存储器 单元中的分段的组；通过处理器用循环神经网络(RNN)处理CNN的分段的组以预测未来点云数据；通过处理器处理该未来点云数据以确定动作；以及基于该动作控制车辆。，下面是用于预测传感器信息的系统和方法专利的具体信息内容。
1.一种控制车辆的方法，包括：
接收从与所述车辆相关联的环境感测到的点云数据；
通过处理器用卷积神经网络(CNN)处理点云数据以产生存储在一组存储器单元中的分段的组；
通过所述处理器用循环神经网络(RNN)处理所述CNN的所述分段的组以预测未来点云数据；
通过所述处理器处理所述未来点云数据以确定动作；以及
基于所述动作控制所述车辆。
2.根据权利要求1所述的方法，还包括生成来自激光雷达传感器的第一扫描的所述点云数据。
3.根据权利要求2所述的方法，其中所述第一扫描介于30度和180度之间。
4.根据权利要求3所述的方法，其中所述未来点云数据对应于所述第一扫描。
5.根据权利要求1所述的方法，其中所述循环神经网络包括长短期存储器。
6.根据权利要求5所述的方法，其中所述循环神经网络包括门控循环单元。
7.根据权利要求1所述的方法，其中所述用CNN处理所述点云数据包括用所述CNN处理所述点云数据以确定空间属性。
8.根据权利要求1所述的方法，其中所述用所述RNN处理所述分段的组包括用所述RNN处理所述分段的组以确定时间属性。
9.一种用于控制车辆的计算机实现的系统，包括：
第一非暂态模块，所述第一非暂态模块被配置为通过处理器接收从与所述车辆相关联的环境感测到的点云数据，并且用卷积神经网络(CNN)处理所述点云数据以产生存储在一组存储器单元中的分段的组；
第二非暂态模块，所述第二非暂态模块被配置为通过处理器用循环神经网络(RNN)处理所述CNN的所述分段的组以预测未来点云数据；和
第三非暂态模块，所述第三非暂态模块被配置为通过处理器处理所述未来点云数据以确定动作并基于所述动作控制所述车辆。
10.根据权利要求9所述的计算机实现的系统，其中所述第一非暂态模块生成来自激光雷达传感器的第一扫描的所述点云数据。
用于预测传感器信息的系统和方法
技术领域
[0001] 本发明整体涉及自主车辆，并且更具体地涉及用于预测与自主车辆的环境相关的传感器信息的系统和方法。
[0002] 自主车辆为能够在用户输入很少或没有用户输入的情况下感测车辆的环境并导航的车辆。它通过使用感测设备诸如雷达、激光雷达、图像传感器等来实现这一目的。自主车辆还使用来自全球定位系统(GPS)技术、导航系统、车辆到车辆通信、车辆到基础设施技术的信息并且/或者由有线系统驱动来导航车辆并执行交通预测。
[0003] 虽然近年来预测系统已取得了重大进展，但此类系统在多个方面仍有可能改进。例如，在正常操作期间，自主车辆通常会遇到许多车辆和其他物体，车辆和其他物体中的每个车辆和其他物体可能表现出其自身的难以预测的行为。例如，由于一些物体可能暂时位于建筑物或另一车辆的后面，因此这些物体可能不可见或变成为暂时不可见。因此，对此类物体的未来定位或轨迹进行预测是困难的。
[0004] 因此，期望提供能够预测未来传感器信息的系统和方法。还期望使用预测的传感器信息来预测物体行为和在控制车辆时使用的其他信息。此外，通过结合附图以及前述技术领域和背景技术采取的后续具体实施方式和所附权利要求，本发明的其他期望特征和特性将变得显而易见。
发明内容
[0005] 本发明提供了用于控制车辆的系统和方法。在一个实施方案中，一种预测自主车辆的传感器信息并基于其控制车辆的方法包括：接收从与车辆相关联的环境感测到的点云数据；通过处理器用卷积神经网络(CNN)处理点云数据以产生存储在一组存储器单元中的激光雷达分段的组；通过处理器用循环神经细胞(RNN)处理CNN的该激光雷达分段的组以预测未来点云数据；通过处理器处理未来点云数据以确定动作；以及基于该动作控制车辆。
[0006] 在各种实施方案中，该方法包括生成来自激光雷达传感器的第一扫描的点云数据。在各种实施方案中，第一扫描介于30度和180度之间。在各种实施方案中，未来点云数据对应于第一扫描。
[0007] 在各种实施方案中，循环神经网络包括长短期存储器。在各种实施方案中，循环神经网络包括门控循环单元。
[0008] 在各种实施方案中，用CNN处理点云数据包括用CNN处理点云数据以确定空间属性。
[0009] 在各种实施方案中，用RNN处理分段的组包括用RNN处理分段的组以确定时间属性。
[0010] 在一个实施方案中，一种系统包括：第一非暂态模块，该第一非暂态模块被配置为通过处理器来接收从与车辆相关联的环境感测到的点云数据，以及用卷积神经网络(CNN)处理点云数据以产生存储在一组存储器单元中的分段的组；第二非暂态模块，该第二非暂态模块被配置为通过处理器用循环神经网络(RNN)处理CNN的该分段的组以预测未来点云数据；和第三非暂态模块，该第三非暂态模块被配置为通过处理器处理该未来点云数据以确定动作并基于该动作控制车辆。
[0011] 在各种实施方案中，第一非暂态模块生成来自激光雷达传感器的第一扫描的点云数据。在各种实施方案中，第一扫描介于30度和180度之间。在各种实施方案中，未来点云数据对应于第一扫描。
[0012] 在各种实施方案中，循环神经网络包括长短期存储器。在各种实施方案中，循环神经网络包括门控循环单元。
[0013] 在各种实施方案中，第二非暂态模块通过用CNN处理点云数据以确定空间属性来用CNN处理点云数据。
[0014] 在各种实施方案中，第三非暂态模块通过用RNN处理分段的组以确定时间属性来用RNN处理分段的组。
[0015] 在一个实施方案中，提供了一种自主车辆。该自主车辆包括：传感器系统，该传感器系统包括被配置为观察与自主车辆相关联的环境的激光雷达；和控制器，该控制器被配置为通过处理器接收从与车辆相关联的环境感测到的点云数据，用卷积神经网络(CNN)处理该点云数据以产生存储在一组存储器单元中的激光雷达分段的组，用循环神经网络(RNN)处理该激光雷达分段的组以预测未来点云数据，以及处理该未来点云数据以确定动作并基于该动作控制车辆。
[0016] 在各种实施方案中，控制器生成来自激光雷达传感器的第一扫描的点云数据，其中第一扫描介于30度和180度之间，并且其中未来点云数据对应于第一扫描。
[0017] 在各种实施方案中，循环神经网络包括长短期存储器和门控循环单元。
[0018] 在各种实施方案中，控制器通过用CNN处理点云数据以确定空间属性来用CNN处理点云数据，并且其中控制器通过用RNN处理分段的组以确定时间属性来用RNN处理分段的组。
附图说明
[0019] 示例性实施方案将在下文中结合以下附图进行描述，其中类似的数字代表类似的元件，并且其中：
[0020] 图1为根据各种实施方案的功能框图，该功能框图示出具有预测系统的自主车辆；
[0021] 图2为根据各种实施方案的功能框图，该功能框图示出具有如图1所示的一种或多种自主车辆的运输系统；
[0022] 图3为根据各种实施方案的功能框图，该功能框图示出与自主车辆相关联的自主驾驶系统(ADS)；
[0023] 图4为根据各种实施方案的数据流图表，该数据流图表示出传感器信息预测模块；
[0024] 图5为根据各种实施方案的功能框图，该功能框图示出传感器信息预测模块的神经网络；并且
[0025] 图6为根据各种实施方案的流程图，该流程图示出一种用于控制自主车辆的控制方法。
具体实施方式
[0026] 以下具体实施方式仅是示例性的，并非旨在限制应用和使用。此外，不旨在受前述技术领域、背景技术、发明内容或以下具体实施方式中所提出的任何表达或暗示的理论的约束。如本文所用，术语“模块”是指单独地或以任何组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备，包括但不限于：专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电子电路、处理器(共享、专用或组)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能的其他合适的部件。
[0027] 本公开的实施方案可在本文中根据功能块部件和/或逻辑块部件和各种处理步骤来进行描述。应当理解，此类块部件可由被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实现。例如，本公开的实施方案可采用各种集成电路部件，例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，该集成电路部件可在一个或多个微处理器或其他控制设备的控制下执行各种功能。此外，本领域的技术人员将会知道，本公开的实施方案可以与任何数量的系统结合实施，并且本文所述的系统仅是本公开的示例性实施方案。
[0028] 为简明起见，本文可能未详细描述与信号处理、数据传输、信令、控制、机器学习模型、雷达、激光雷达、图像分析和系统的其他功能方面(以及系统的各个操作部件)相关的常规技术。此外，本文所包含的各种附图中所示的连接线旨在表示各种元件之间的示例性功能关系和/或物理联接。应该指出的是，许多替代或附加功能关系或物理连接可存在于本公开的实施方案中。
[0029] 参照图1，根据各种实施方案，通常显示为100的预测系统与车辆10相关联。一般来讲，预测系统(或简单地为“系统”)100被配置为预测与车辆10的环境相关联的未来传感器信息。在各种实施方案中，预测系统100使用经训练的神经网络的组合来观察空间属性和时间属性二者，以便预测未来传感器信息。然后基于预测的未来传感器信息控制车辆10。
[0030] 如图1所描绘，示例性车辆10通常包括底盘12、主体14、前轮16和后轮18。主体14被布置在底盘12上并且基本上包封车辆10的部件。主体14和底盘12可共同形成机架。车轮16-18各自在主体14的相应拐角附近旋转地联接到底盘12。
[0031] 在各种实施方案中，车辆10为自主车辆，并且预测系统100被结合到自主车辆10(下文称为自主车辆10)中。自主车辆10为例如被自动控制以将乘客从一个定位运送至另一个定位的车辆。在图示实施方案中，车辆10被描述为客车，但应当理解，也可使用任何其他车辆，包括摩托车、卡车、运动型多功能车辆(SUV)、休闲车(RV)、航海船舶、航空器等。
[0032] 在示例性实施方案中，自主车辆10对应于汽车工程师学会(SAE)“J3016”自动化驾驶水平标准分类下的四级或五级自动化系统。使用该术语，四级系统指示“高自动化”，是指这样一种驾驶模式，在该驾驶模式中自动驾驶系统执行动态驾驶任务的所有方面，即使人类驾驶员未对干预请求作出适当的响应。另一方面，五级系统指示“完全自动化”，是指这样一种驾驶模式，在该驾驶模式中自动驾驶系统在可由人类驾驶员管理的所有道路和环境条件下执行动态驾驶任务的所有方面。然而，应当理解，根据本主题的实施方案不限于自动化类别的任何特定分类或标题。
[0033] 如图所示，自主车辆10通常包括推进系统20、传输系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储设备32、至少一个控制器34和通信系统36。在各种实施方案中，推进系统20可包括内燃机、电机诸如牵引马达和/或燃料电池推进系统。传输系统22被配置为根据可选的速度比将功率从推进系统20传输到车轮16和车轮
18。根据各种实施方案，传输系统22可包括步比自动传输、连续可变传输或其他适当传输。
18。根据各种实施方案，传输系统22可包括步比自动传输、连续可变传输或其他适当传输。
[0036] 传感器系统28包括感测自主车辆10的外部环境和/或内部环境的感测可观察条件的一个或多个感测设备40a-40n。感测设备40a-40n可包括但不限于雷达、激光雷达、全球定位系统、光学相机、热感相机、超声传感器和/或其他传感器。致动器系统30包括一个或多个致动器设备42a-42n，该一个或多个致动器设备控制一个或多个车辆特征部，诸如但不限于推进系统20、传动系统22、转向系统24和制动系统26。在各种实施方案中，自主车辆10还可包括图1中未示出的内部车辆特征部和/或外部车辆特征部，诸如各种门、行李箱和舱体特征部，诸如空气、音乐、照明、触摸屏显示器部件(诸如与导航系统连接使用的这些)等。
[0037] 数据存储设备32存储数据以供在自动控制自主车辆10时使用。在各种实施方案中，数据存储设备32存储可导航环境的限定地图。在各种实施方案中，该限定地图可由远程系统预定义并从远程系统获得(参照图2更详细地描述)。例如，该限定地图可由远程系统装配并被传送至自主车辆10(无线地和/或以有线方式)并被存储在数据存储设备32中。路线信息也可被存储在数据设备32内-即，一组路段(与限定地图中的一个或多个限定地图地理地相关联)，该组路段一起限定用户从开始定位(例如，用户的当前定位)到目标定位行进所需的路线。应当理解，数据存储设备32可为控制器34的一部分，与控制器34分开，或者为控制器34的一部分和独立系统的一部分。
[0038] 控制器34包括至少一个处理器44和计算机可读存储设备或介质46。处理器44可为任何定制的或可商购获得的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片组的形式)、它们的任何组合，或通常用于执行指令的任何设备。例如，计算机可读存储设备或介质46可包括只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性存储装置和非易失性存储装置。KAM是在处理器44断电时可用于存储各种操作变量的持久性存储器或非易失性存储器。计算机可读存储设备或介质46可使用多种已知存储器设备中的任一给个存储器设备来实现，诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存存储器或能够存储数据的任何其他电、磁、光学或组合存储器设备，该数据中的一些数据表示可执行指令，这些数据由控制器34在控制自主车辆10时使用。
[0039] 指令可包括一个或多个独立程序，该一个或多个独立程序中的每个独立程序包括用于实现逻辑功能的可执行指令的有序列表。该指令在由处理器44执行时，接收并处理来自传感器系统28的信号，执行用于自动控制自主车辆10的部件的逻辑、计算、方法和/或算法，并且生成控制信号，该控制信号被传输到致动器系统30以基于逻辑、计算、方法和/或算法自动控制自主车辆10的部件。虽然在图1中仅示出一个控制器34，但是自主车辆10的实施方案可包括任何数量的控制器34，该控制器通过任何合适的通信介质或通信介质的组合进行通信并协作以处理传感器信号，执行逻辑、计算、方法和/或算法并且生成控制信号以自动控制自主车辆10的控制特征部。在一个实施方案中，如下文详细讨论的，控制器34被配置为预测与AV 10附近的环境相关的未来传感器信息并基于该未来传感器信息控制AV 10。
[0040] 通信系统36被配置成向其他实体48无线传送信息并从该其他实体无线传送信息，该实体包括但不限于其他车辆(“V2V”通信)、基础设施(“V2I”通信)、远程运输系统和/或用户设备(如参照图2更详细地描述)。在示例性实施方案中，通信系统36为无线通信系统，该无线通信系统被配置为经由使用IEEE 802.11标准的无线局域网(WLAN)或通过使用蜂窝数据通信进行通信。然而，附加或替代通信方法，诸如专用短程通信(DSRC)信道也被认为在本公开的范围内。DSRC信道是指专门设计用于汽车使用的单向或双向短程到中程无线通信信道以及对应的一组协议和标准。
[0041] 现在参考图2，在各种实施方案中，参照图1描述的自主车辆10可适用于某个地理区域(例如，城市、学校或商业园区、购物中心、游乐园、事件中心等)中的出租车或穿梭系统的上下文中，或者可简单地由远程系统管理。例如，自主车辆10可与基于自主车辆的远程运输系统相关联。图2示出了通常在50处示出的操作环境的示例性实施方案，该操作环境包括基于自主车辆的远程运输系统(或简单地为“远程运输系统”)52，该远程运输系统与一个或多个自主车辆10a-10n相关联，如参照图1所描述的。在各种实施方案中，操作环境50(操作环境的全部或一部分可对应于图1中所示的实体48)还包括经由通信网络56与自主车辆10和/或远程运输系统52通信的一个或多个用户设备54。
[0042] 通信网络56支持在操作环境50所支持的设备、系统和部件之间(例如，经由有形通信链路和/或无线通信链路)在需要时进行通信。例如，通信网络56可包括无线载波系统60诸如蜂窝电话系统，其包括多个小区塔(未示出)、一个或多个移动交换中心(MSC)(未示出)以及将无线载波系统60与陆地通信系统连接所需的任何其他联网部件。每个小区塔包括发送天线和接收天线以及基站，其中来自不同小区塔的基站直接连接到MSC或经由中间设备诸如基站控制器连接到该MSC。无线载波系统60可实现任何合适的通信技术，包括例如数字技术诸如CDMA(例如，CDMA2000)、LTE(例如，4G LTE或5G LTE)、GSM/GPRS或其他当前或新兴无线技术。其他小区塔/基站/MSC布置是可能的，并且可与无线载波系统60一起使用。例如，基站和小区塔可协同定位于相同的位点，或者该基站和该小区塔可彼此远程定位，每个基站可负责单个小区塔或者单个基站可服务于各种小区塔，或者可将各种基站联接到单个MSC，这里仅列出了可能的布置中的一部分。
[0043] 除了包括无线载波系统60之外，还可包括呈卫星通信系统64的形式的第二无线载波系统，以提供与自主车辆10a-10n的单向或双向通信。这可使用一个或多个通信卫星(未示出)和上行链路发射站(未示出)来进行。单向通信可包括例如卫星无线电服务，其中节目内容(新闻、音乐等)由发射站接收，被包装用于上载，并且然后被发送至卫星，该卫星将节目广播给订阅者。双向通信可包括例如使用卫星在车辆10和站点之间中继电话通信的卫星电话服务。除了无线载波系统60之外或代替该无线载波系统，可利用卫星电话。
[0044] 还可包括陆地通信系统62，该陆地通信系统为连接到一个或多个固定电话并将无线载波系统60连接到远程传输系统52的常规基于陆地的远程通信网络。例如，陆地通信系统62可包括公共交换电话网络(PSTN)，诸如用于提供硬连线电话、分组交换数据通信和互联网基础设施的网络。陆地通信系统62的一个或多个区段可通过使用标准有线网络、纤维或其他光网络、电缆网络、电力线路、其他无线网络诸如无线局域网(WLAN)、或提供宽带无线接入(BWA)的网络、或它们的任何组合来实现。此外，远程运输系统52无需经由陆地通信系统62连接，但可包括无线电话设备，使得该远程运输系统可与无线网络诸如无线载波系统60直接通信。
[0045] 虽然在图2中仅示出一个用户设备54，但是操作环境50的实施方案可支持任何数量的用户设备54，包括由一个人拥有、操作或以其他方式使用的多个用户设备54。操作环境50支持的每个用户设备54可使用任何合适的硬件平台来实现。就这一点而言，用户设备54可以任何常见的形状因数来实现，包括但不限于：台式计算机；移动计算机(例如，平板计算机、膝上型计算机或上网本计算机)；智能电话；视频游戏设备；数字媒体播放器；家庭娱乐设备的部件；数字相机或摄像机；可穿戴计算设备(例如，智能手表、智能眼镜、智能服装)等。由操作环境50支持的每个用户设备54被实现为具有执行本文所述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑的计算机实现的设备或基于计算机的设备。例如，用户设备54包括呈可编程设备的形式的微处理器，其包括一个或多个指令，该一个或多个指令被存储在内部存储器结构中并且被应用于接收二进制输入以创建二进制输出。在一些实施方案中，用户设备54包括能够接收GPS卫星信号并基于这些信号生成GPS坐标的GPS模块。在其他实施方案中，用户设备54包括蜂窝通信功能，使得设备通过使用一个或多个蜂窝通信协议的通信网络56来执行语音和/或数据通信，如在本文中所讨论的。在各种实施方案中，用户设备54包括视觉显示器，诸如触摸屏图形显示器或其他显示器。
[0046] 远程运输系统52包括一个或多个后端服务器系统(未示出)，该一个或多个后端服务器系统可为基于云的、基于网络的、或驻留在由远程运输系统52提供服务的特定园区或地理定位处。远程运输系统52可由现场顾问、自动顾问、人工智能系统或它们的组合来操纵。远程运输系统52可与用户设备54和自主车辆10a-10n通信以调度乘车、派遣自主车辆10a-10n等。在各种实施方案中，远程运输系统52存储存储帐户信息诸如订阅者认证信息、车辆标识符、个人档案记录、生物计量数据、行为模式和其他相关的订阅者信息。在一个实施方案中，如下面进一步所述的，远程运输系统52包括路线数据库53，该路线数据库存储与导航系统路线相关的信息并且还可用于执行交通模式预测。
[0047] 根据典型的用例工作流程，远程运输系统52的注册用户可经由用户设备54创建乘坐请求。乘坐请求通常将指示乘客的期望载客定位(或当前GPS定位)、期望目的地定位(该期望目的地定位可识别预定义的车辆站点和/或用户指定的乘客目的地)和载客时间。远程运输系统52接收乘坐请求，处理该请求，并且派遣自主车辆10a-10n中的选择的一个自主车辆(当并且如果该自主车辆可用)以在指定的载客定位和适当时间搭载乘客。运输系统52还可生成并向用户设备54发送适当配置的确认消息或通知，以使乘客知道车辆正在路上。
[0048] 可以理解的是，本文所公开的主题为可被视为向标准或基线自主车辆10和/或基于自主车辆的远程运输系统52提供某些增强的特征和功能。为此，可修改、增强或以其他方式补充自主车辆和基于自主车辆的远程运输系统，以提供下文更详细描述的附加特征。
[0049] 根据各种实施方案，控制器34实现自主驾驶系统(ADS)70，如图3所示。即，利用控制器34的合适的软件部件和/或硬件部件(例如，处理器44和计算机可读存储设备46)来提供与车辆10结合使用的自主驾驶系统70。
[0050] 在各种实施方案中，自主驾驶系统70的指令可通过功能或系统来组织。例如，如图3所示，自主驾驶系统70可包括计算机视觉系统74、定位系统76、引导系统78和车辆控制系统80。可以理解，在各种实施方案中，指令可被组织成任何数量的系统(例如，组合的、进一步分区的系统等)，因为本公开不限于本示例。
[0051] 在各种实施方案中，计算机视觉系统74合成并处理传感器数据并预测车辆10的环境的物体和特征部的存在、定位、分类和/或路径。在各种实施方案中，计算机视觉系统74可结合来自多个传感器的信息，该多个传感器包括但不限于相机、激光雷达、雷达和/或任何数量的其他类型的传感器。
[0052] 定位系统76处理传感器数据连同其他数据以确定车辆10相对于环境的位置(例如，相对于地图的局部位置、相对于道路的车道的确切位置、车辆航向、速度等)。引导系统78处理传感器数据连同其他数据以确定车辆10沿循的路径。车辆控制系统80生成控制信号用于根据确定的路径控制车辆10。
[0053] 在各种实施方案中，控制器34实现机器学习技术以帮助控制器34的功能，诸如特征检测/分类、阻塞缓解、路线遍历、映射、传感器集成、地面事实确定等。
[0054] 如上所述，预测系统100被配置为预测与AV 10附近的环境相关联的传感器信息，并且基于该传感器信息在环境内的观察来迭代地改进这些预测。在一些实施方案中，该功能被结合到图2的计算机视觉系统74中。
[0055] 就这一点而言，图4为示出了更详细的预测系统100的各方面的数据流图表。应当理解，图4中所示的子模块可被组合和/或进一步分区以类似地执行本文所述的功能。对模块的输入可从传感器系统28接收，从与自主车辆10相关联的其他控制模块(未示出)接收，从通信系统36接收，并且/或者由图1的控制器34内的其他子模块(未示出)确定/建模。
[0056] 如图所示，预测系统100可包括空间依赖性处理模块110、时间依赖性处理模块120和动作确定模块130。在各种实施方案中，模块110-130可使用硬件和软件的任何期望组合来实现。在一些实施方案中，模块实现包括多个机器学习(ML)模型的组合的全局网络。如下文所更详述，在所示的示例性实施方案中，机器学习模型包括人工神经网络(ANN)的组合。可以理解，在其他示例性实施方案中，可采用多种其他机器学习技术(并且本文未讨论)，包括例如多变量回归、随机森林分类器、贝叶斯分类器(例如，朴素贝叶斯)、主成分分析(PCA)、支持向量机、线性判别分析、聚类算法(例如，KNN、k均值聚类算法)等。通过实现空间依赖性处理模块10和时间依赖性处理模块120二者，系统100甚至能够在物体可变成为暂时闭塞时预测传感器信息。
[0057] 如图4所示，空间依赖性处理模块110接收可用的传感器数据140，诸如激光雷达数据或在另选的实施方案中接收相机数据。激光雷达数据可包括例如来自激光雷达传感器的第一扫描(例如，在30度和180度之间的范围或任何度数的扫描)的点云数据。
[0058] 空间依赖性处理模块110处理传感器数据140以确定环境内的一个或多个实体和这些实体的运动属性(例如，视觉路径和轨迹)。为了确定该组实体，空间依赖性处理模块实现例如卷积神经网络(CNN)。可以监督或无监督的方式对CNN进行训练，以识别并标识不同实体。如本文所用，术语“实体”是指环境内的其他车辆、自行车、物体、行人、或其他移动元件或非移动元件。
[0059] 当传感器数据140包括激光雷达数据时，卷积神经网络识别包括实体的环境并且生成作为包含所识别的环境的激光雷达分段148的组146。空间依赖性处理模块110将激光雷达分段148的组146保存在一组存储器单元中。
[0060] 当传感器数据140包括相机数据时，卷积神经网络识别包括实体的环境并作为输出生成包含所识别的环境的图像帧144的组142。空间依赖性处理模块110将相关帧144的组142保存在例如一组存储器单元中。在各种实施方案中，组142、组146包括120个或一些其他数量的帧或分段。
[0061] 时间依赖性处理模块120接收存储在存储器单元中并且被空间依赖性处理模块110填充的数据的组142和/或数据的组146(包含相关帧144并且/或者包含激光雷达分段
148)。时间依赖性处理模块120处理数据的组142和/或数据的组146以预测在小区的组中识别的环境的未来状态150(例如，预期在接下来的X秒内将发生什么)。
148)。时间依赖性处理模块120处理数据的组142和/或数据的组146以预测在小区的组中识别的环境的未来状态150(例如，预期在接下来的X秒内将发生什么)。
[0062] 为了预测未来状态150，时间依赖性处理模块120实现例如门控循环神经网络(RNN)，诸如长短期存储器(LSTM)或门控循环单元(GRU)以预测未来状态150。在各种实施方案中，当数据的组146包括激光雷达分段148时，未来状态150包括预测的未来点云。在各种实施方案中，未来点云数据对应于初始扫描。在各种实施方案中，当数据的组142包括相机帧144时，未来状态150包括预测的未来帧。
[0063] 动作确定模块130接收环境的预测的未来状态150并确定动作160。在各种实施方案中，动作160可包括包括提交逻辑和/或为某些车辆操纵产生逻辑的状态机。然后基于动作160控制车辆10。
[0064] 图5更详细地示出了预测系统100的各方面。图5示出了根据各种实施方案的经训练的神经网络180的组合，该组合可由预测系统100使用。如图所示，卷积神经网络的层N 182层N+1 184被馈送到循环神经网络184中以产生层N+1 188。对每个时间步骤执行该组合以产生预测的状态。
[0065] 现在参考图6，并继续参考图1至图5，流程图示出了根据本公开的一种可由系统100执行的控制方法200。如可按照本公开理解的那样，该方法内的操作次序不限于如图6所示的顺序执行，但也可以所适用并根据本公开的一个或多个变化的次序执行。在各种实施方案中，方法200可以调度为基于一个或多个预先确定的事件运行，并且/或者可在操作自主车辆10期间连续地运行。
[0066] 在一个示例中，方法200可于205处开始。在210处接收传感器数据140。例如，如上文所讨论的，在220处用例如CNN处理传感器数据以确定实体、和实体之间的空间关系。在220处的处理的结果包括存储在存储器单元中的多个帧或激光雷达分段。例如，如上文所讨论的，然后，在230处用门控RNN处理结果以确定环境的时间依赖性并预测环境的一个或多个未来状态。例如，如上文所讨论的，然后，在240处使用一个或多个未来状态来确定一个或多个可能的动作。然后在250处基于该动作控制车辆10。然后，该方法可在260处结束。
[0067] 虽然已在前述具体实施方式中呈现至少一个示例性实施方案，但是应当理解存在大量的变型形式。还应当理解，一个或多个示例性实施方案仅为示例，并不旨在以任何方式限制本公开的范围、适用性或配置。相反，前述具体实施方式将为本领域的技术人员提供用于实现一个或多个示例性实施方案的方便的道路图。应当理解，在不脱离如所附权利要求及其合法等同形式中所阐述的本公开的范围的情况下，可对元件的功能和布置进行各种改变。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基站装置和由该基站装置执行寻呼的方法，以及终端装置和由该终端装置支持寻呼的方法 | 2020-05-12 | 797 |
| 时间提前值的管理 | 2020-05-13 | 754 |
| 基于多波束轮询的传输方法及通讯设备 | 2020-05-11 | 878 |
| 无线通信的方法、网络设备和终端设备 | 2020-05-12 | 359 |
| 高速移动性通信系统和方法 | 2020-05-13 | 167 |
| 电路基板 | 2020-05-11 | 407 |
| 鉴于多时隙操作的PUCCH冲突 | 2020-05-12 | 851 |
| 一种被用于无线通信的用户设备、基站中的方法和装置 | 2020-05-12 | 401 |
| 具有经过粗化处理的铜表面的物体 | 2020-05-11 | 883 |
| 上行链路功率控制 | 2020-05-13 | 501 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈