动作调节后的车辆控制专利检索-计算机编程电脑编程专利检索查询-专利查询网

动作调节后的车辆控制

阅读：0发布：2020-07-04

专利汇可以提供动作调节后的车辆控制专利检索，专利查询，专利分析的服务。并且本公开提供“动作调节后的车辆控制”。基于车辆相对于包括起始位置和结束位置的路线的位置来确定高级车辆命令。获取车辆外部环境的图像。基于将所述高级命令和所述图像输入到深度神经网络来确定转向、制动和动力传动系统命令。通过基于所述转向、制动和动力传动系统命令致动车辆部件来操作所述车辆。，下面是动作调节后的车辆控制专利的具体信息内容。

权利要求

1.一种方法，其包括：
确定车辆相对于包括起始位置和结束位置的路线的位置；
获取车辆外部环境的图像；
基于将所述车辆相对于路线的所述位置和所述图像输入到深度神经网络中来确定转向、制动和动力传动系统命令；以及
通过基于所述转向、制动和动力传动系统命令致动车辆部件来操作所述车辆。
2.如权利要求1所述的方法，其还包括确定所述车辆相对于所述路线的多个位置并且获取所述车辆外部环境的多个对应图像，其中所述多个位置从所述起始位置分布到所述结束位置。
3.如权利要求2所述的方法，其还包括基于将所述车辆相对于所述路线的所述多个位置和所述多个对应图像输入到所述深度神经网络中来确定多个转向、制动和动力传动系统命令；并且由此通过基于所述多个转向、制动和动力传动系统命令致动车辆部件来操作所述车辆以沿所述路线从所述起始位置行进到所述结束位置。
4.如权利要求1所述的方法，其中所述转向、制动和动力传动系统命令包括扭矩，转向、制动和动力传动系统车辆部件利用所述扭矩向车轮施加力以改变车辆位置、速度和方向。
5.如权利要求1所述的方法，其中所述深度神经网络包括卷积神经网络，所述卷积神经网络包括通过卷积和下采样来处理输入图像的多个池化层以及基于矩阵乘法和偏置偏移输出图像提示的一个或多个全连接层。
6.如权利要求5所述的方法，其中所述深度神经网络包括上下文子网络，所述上下文子网络包括多个全连接神经网络层，所述全连接神经网络层基于矩阵乘法和偏置偏移来处理所述车辆相对于所述路线的输入位置以输出高级命令提示。
7.如权利要求6所述的方法，其中通过输入所述车辆相对于所述路线的记录位置并基于输出高级命令提示与记录的高级命令提示之间的差异反向传播误差来训练所述上下文子网络。
8.如权利要求7所述的方法，其中所述深度神经网络包括神经子网络，所述神经子网络包括多个全连接神经网络层，所述全连接神经网络层输入图像提示和高级命令提示并输出转向、制动和动力传动系统命令。
9.如权利要求8所述的方法，其中通过将所述车辆相对于所述路线的记录位置输入到所述上下文子网络中并将记录的对应图像输入到所述卷积神经网络中并且基于将神经子网络输出转向、制动和动力传动系统命令与记录的转向、制动和动力传动系统命令进行比较反向传播误差来训练所述卷积神经网络和所述神经子网络。
10.如权利要求9所述的方法，其中所述车辆相对于路线的所述位置包括所述车辆相对于地图的位置和所述路线相对于地图的表示。
11.如权利要求10所述的方法，其中所述上下文子网络处理所述车辆相对于地图的所述位置和所述路线相对于地图的表示以确定高级命令提示。
12.如权利要求11所述的方法，其中所述高级命令提示包括高级命令和距离。
13.如权利要求12所述的方法，其中所述记录的高级命令提示是基于通过处理相对于地图的位置和路线确定的高级命令。
14.如权利要求1所述的方法，其中所述车辆外部环境的图像包括与所述路线相关联的位置。
15.一种系统，其包括被编程为执行如权利要求1至14中任一项所述的方法的计算机。

说明书全文

动作调节后的车辆控制

技术领域

[0001] 本公开的各方面总体上涉及车辆操作和控制。

背景技术

[0002] 车辆可以被配备以在自主和乘员驾驶模式两者下操作。车辆可以被配备有计算装置、网络、传感器和控制器以获取关于车辆环境的信息并基于所述信息来操作车辆。车辆的安全和舒适操作可以取决于获取关于车辆环境的准确且及时的信息。车辆传感器可以提供关于在车辆环境中要避开的路线和物体的数据。例如，车辆的安全和舒适操作可以取决于获取当车辆在道路上操作时关于车辆环境中的路线和物体的准确且及时的信息。发明内容

[0003] 车辆可以被配备以在自主和乘员驾驶模式两者下操作。对于半自主或全自主模式，我们是指其中车辆可以通过将计算装置作为具有传感器和控制器的车辆信息系统的一部分来驾驶的操作模式。车辆可以被占用或未被占用，但在任一种情况下，车辆可以在没有乘员辅助的情况下驾驶。出于本公开的目的，自主模式被定义为其中车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者由一个或多个车辆计算机控制的模式；在半自主模式下，一个或多个车辆计算机控制车辆推进、制动和转向中的一者或多者。在非自主车辆中，这些当中没有一个是由计算机控制的。

[0004] 例如，车辆中的计算装置可以被编程为获取关于车辆外部环境的数据并使用所述数据来确定用于将车辆从当前位置操作到目的地位置的车辆命令。所述数据可以包括从包括在车辆中的视频传感器获取的图像，并且所述车辆命令可以包括将车辆操作到所获取的图像中的位置。可以通过将图像数据和相关联的上下文信息输入到先前训练的DNN来确定车辆命令的部分，所述先前训练的DNN包括DNN、用于编码上下文的子网络和组合所述上下文编码器的所述输出的子网络和所述CNN。所述相关联的上下文信息可以包括在即将到来的决策点处的编码方向，例如指示即将到来的转弯方向和从当前车辆位置到转弯的距离。可以通过训练所述CNN以确定可以用于在路线的一部分上操作车辆的车辆命令来训练所述CNN以执行车辆的端到端操作。路线被定义为描述当车辆在道路上从起始位置行进到结束位置时所述车辆的连续位置的路径，并且执行端到端操作被定义为提供足以在路线上将车辆从起始位置操作到结束位置的多个车辆命令。可以按包括适当细节的比例使用包括道路的地图(例如GOOGLETM地图)来确定路线。

[0005] 本文公开了一种方法，所述方法包括：基于车辆相对于包括起始位置和结束位置的路线的位置来确定高级命令；获取车辆外部环境的图像；基于将所述高级命令和所述图像输入到深度神经网络中来确定转向、制动和动力传动系统命令；以及通过基于所述转向、制动和动力传动系统命令致动车辆部件来操作所述车辆。可以基于所述车辆相对于所述路线的位置来确定多个高级命令，并且可以获取所述车辆外部环境的多个对应图像，其中所述多个位置从所述起始位置分布到所述结束位置。多个转向、制动和动力传动系统命令可以基于将所述多个高级命令和所述多个对应图像输入到所述深度神经网络中；且由此，通过基于所述多个转向、制动和动力传动系统命令致动车辆部件，所述车辆可以被操作以沿所述路线从所述起始位置行进到所述结束位置。

[0006] 所述转向、制动和动力传动系统命令可以包括扭矩，转向、制动和动力传动系统车辆部件利用所述扭矩向车轮施加力以改变车辆位置、速度和方向。所述深度神经网络可以包括卷积神经网络，所述卷积神经网络包括通过卷积和下采样来处理输入图像的多个池化层以及基于矩阵乘法和偏置偏移输出图像提示的一个或多个全连接层。所述深度神经网络可以包括上下文子网络，所述上下文子网络包括多个全连接神经网络层，所述全连接神经网络层基于矩阵乘法和偏置偏移来处理输入高级命令以输出高级命令提示。可以通过输入所述车辆相对于所述路线的记录位置并基于输出高级命令提示与记录的高级命令提示之间的差异反向传播误差来训练所述上下文子网络。所述深度神经网络可以包括神经子网络，所述神经子网络包括多个全连接神经网络层，所述全连接神经网络层输入图像提示和高级命令提示并输出转向、制动和动力传动系统命令。通过将基于所述车辆相对于所述路线的位置的记录的高级命令输入到所述上下文子网络中并将记录的对应图像输入到所述卷积神经网络中并且基于将神经子网络输出转向、制动和动力传动系统命令与记录的转向、制动和动力传动系统命令进行比较反向传播误差，可以训练所述卷积神经网络、所述上下文子网络和所述神经子网络。反向传播误差可以包括确定图像提示和高级命令提示。

[0007] 基于所述车辆相对于所述路线的所述位置的所述高级命令可以包括所述车辆相对于地图的位置和所述路线相对于地图的表示。所述上下文子网络可以处理基于所述车辆相对于地图的所述位置和所述路线相对于地图的表示的所述高级命令以确定高级命令提示。所述高级命令提示可以包括高级命令和距离。所述确定的高级命令提示可以基于通过处理相对于地图的位置和路线确定的高级命令。所述车辆外部环境的所述图像可以包括与所述路线相关联的位置。

[0008] 还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述一些或全部方法步骤的程序指令。进一步公开了一种被编程用于执行上述一些或全部方法步骤的计算机，所述计算机包括计算机设备，所述计算机设备被编程为：基于车辆相对于包括起始位置和结束位置的路线的位置来确定高级命令；获取车辆外部环境的图像；基于将所述高级命令和所述图像输入到深度神经网络中来确定转向、制动和动力传动系统命令；以及通过基于所述转向、制动和动力传动系统命令致动车辆部件来操作所述车辆。可以基于所述车辆相对于所述路线的位置来确定多个高级命令，并且可以获取所述车辆外部环境的多个对应图像，其中所述多个位置从所述起始位置分布到所述结束位置。多个转向、制动和动力传动系统命令可以基于将所述车辆相对于所述路线的所述多个位置和所述多个对应图像输入到所述深度神经网络中；且由此，通过基于所述多个转向、制动和动力传动系统命令致动车辆部件，所述车辆可以被操作以沿所述路线从所述起始位置行进到所述结束位置。

[0009] 所述转向、制动和动力传动系统命令可以包括扭矩，转向、制动和动力传动系统车辆部件利用所述扭矩向车轮施加力以改变车辆位置、速度和方向。所述深度神经网络可以包括卷积神经网络，所述卷积神经网络包括通过卷积和下采样来处理输入图像的多个池化层以及基于矩阵乘法和偏置偏移输出图像提示的一个或多个全连接层。所述深度神经网络可以包括上下文子网络，所述上下文子网络包括多个全连接神经网络层，所述全连接神经网络层基于矩阵乘法和偏置偏移来处理输入高级命令以输出高级命令提示。所述深度神经网络可以包括神经子网络，所述神经子网络包括多个全连接神经网络层，所述全连接神经网络层输入图像提示和高级命令提示并输出转向、制动和动力传动系统命令。通过将记录的高级命令输入到所述上下文子网络中并将记录的对应图像输入到所述卷积神经网络中并且基于将神经子网络输出转向、制动和动力传动系统命令与记录的转向、制动和动力传动系统命令进行比较反向传播误差，可以训练所述卷积神经网络、所述上下文子网络和所述神经子网络。

[0010] 所述位置相对于路线的位置可以包括所述车辆相对于地图的位置和所述路线相对于地图的表示。所述上下文子网络可以处理基于所述车辆相对于地图的所述位置和所述路线相对于地图的表示的所述高级命令以确定高级命令提示。所述高级命令提示可以包括高级命令和距离。所述记录的高级命令可以基于通过处理相对于地图的位置和路线确定的高级命令。所述车辆外部环境的所述图像可以包括与所述路线相关联的位置。附图说明

[0011] 图1是示例性车辆的框图。

[0012] 图2是车辆外部环境的三个示例性图像的图。

[0013] 图3是示例性车辆命令的图。

[0014] 图4是示例性深度神经网络(DNN)的图。

[0015] 图5是基于由DNN确定的车辆命令来操作车辆的示例性过程的图。

[0016] 图6是用于训练DNN以确定车辆命令的示例性过程的图。

具体实施方式

[0017] 图1是车辆信息系统100的图，所述车辆信息系统包括可以自主(“自主”本身在本公开中是指“全自主”)模式和乘员驾驶(也称为非自主)模式操作的车辆110。车辆110还包括一个或多个计算装置115以执行用于在自主操作期间驾驶车辆110的计算。计算装置115可以从传感器116接收关于车辆的操作的信息。

[0018] 计算装置115包括诸如已知的处理器和存储器。另外地，存储器包括一种或多种形式的计算机可读介质，并存储可由处理器执行的用于执行包括如本文所公开的各种操作的指令。例如，计算装置115可以包括编程以操作车辆制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆110的加速)、转向、气候控制、内部和/或外部灯等中的一项或多项，以及确定计算装置115而不是操作人员是否以及何时控制此类操作。

[0019] 计算装置115可以包括一个以上的计算装置或者例如经由如下面进一步描述的车辆通信总线通信地耦合到一个以上的计算装置，例如包括在车辆110中用于监测和/或控制各种车辆部件的控制器等，例如动力传动系统控制器112、制动控制器113、转向控制器114等。计算装置115通常被布置用于在车辆通信网络上进行通信，所述车辆通信网络例如包括车辆110中的总线(诸如控制器局域网(CAN)等)；车辆110网络另外地或可选地可以包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。

[0020] 经由车辆网络，计算装置115可以向车辆中的各种装置传输消息和/或从各种装置(例如，控制器、致动器、传感器(包括传感器116)等)接收消息。可选地或另外地，在计算装置115实际上包括多个装置的情况下，车辆通信网络可以用于在本公开中表示为计算装置115的装置之间的通信。此外，如下所述，各种控制器或感测元件(诸如传感器116)可以经由车辆通信网络向计算装置115提供数据。

[0021] 另外地，计算装置115可以被配置用于经由如下文描述的网络130通过车辆对基础设施(V对I)接口111与远程服务器计算机120(例如，云服务器)进行通信，所述V对I接口包括允许计算装置115经由诸如无线因特网(Wi-Fi)或蜂窝网络等网络130与远程服务器计算机120通信的硬件、固件和软件。因此，V对I接口111可以包括被配置为利用各种有线和/或无线联网技术(例如，蜂窝网络、和有线和/或无线分组网络)的处理器、存储器、收发器等。计算装置115可以被配置用于使用在附近车辆110之间基于特定的基础形成或通过基于基础设施的网络形成的车辆对车辆(V对V)网络例如根据专用短程通信(DSRC)等通过V对I接口111与其他车辆110通信。计算装置115还包括诸如已知的非易失性存储器。计算装置115可以通过将信息存储在非易失性存储器中以供以后检索和经由车辆通信网络和车辆对基础设施(V对I)接口111传输到服务器计算机120或用户移动装置160来记录信息。

[0022] 如上文已经提及，编程通常包括在存储于存储器中并可由计算装置115的处理器执行的指令中，所述编程用于在没有驾驶人员干预的情况下操作一个或多个车辆110部件(例如，制动、转向、推进等)。使用在计算装置115中接收的数据(例如，来自传感器116、服务器计算机120等的传感器数据)，计算装置115可以在没有驾驶员操作车辆110的情况下作出各种确定和/或控制各种车辆110部件和/或操作。例如，计算装置115可以包括编程以调节车辆110操作行为(即，车辆110操作的物理表现)，诸如速度、加速度、减速度、转向等，以及策略性行为(即，通常以预期用于实现路线的安全且有效遍历的方式控制操作行为)，诸如车辆之间的距离和/或车辆之间的时间量、变道、车辆之间的最小间隙、最小左转路径值、到达特定位置的时间和(无信号)穿过十字路口的十字路口最小到达时间。

[0023] 控制器(如该术语在本文中所使用的那样)包括通常被编程以控制特定车辆子系统的计算装置。示例包括动力传动系统控制器112、制动控制器113和转向控制器114。控制器可以是诸如已知的可能包括如本文所描述的另外的编程的电子控制单元(ECU)。控制器可以通信地连接到计算装置115并且从计算装置接收指令以根据指令致动子系统。例如，制动控制器113可以从计算装置115接收指令以操作车辆110的制动器。

[0024] 车辆110的一个或多个控制器112、113、114可以包括已知的电子控制单元(ECU)等，作为非限制性示例，包括一个或多个动力传动系统控制器112、一个或多个制动控制器113和一个或多个转向控制器114。控制器112、113、114中的每一者可以包括相应的处理器和存储器以及一个或多个致动器。控制器112、113、114可以被编程并且连接到车辆110通信总线(诸如控制器局域网(CAN)总线或局域互连网(LIN)总线)以从计算机115接收指令并基于所述指令来控制致动器。

[0025] 传感器116可以包括已知经由车辆通信总线提供数据的各种装置。例如，固定到车辆110的前保险杠(未示出)的雷达可以提供从车辆110到车辆110前面的下一辆车的距离，或者设置在车辆110中的全球定位系统(GPS)传感器可以提供车辆110的地理坐标。由雷达和/或其他传感器116提供的一个或多个距离和/或由GPS传感器提供的地理坐标可以由计算装置115使用来自主地或半自主地操作车辆110。

[0026] 车辆110通常是具有三个或更多个车轮的陆基自主车辆110(例如，客车、轻型卡车等)。车辆110包括一个或多个传感器116、V对I接口111、计算装置115和一个或多个控制器112、113、114。

[0027] 传感器116可以收集与车辆110和车辆110正在操作所处的环境相关的数据。作为示例但不受限制，传感器116可以包括例如高度计、相机、激光雷达、雷达、超声传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、机械传感器(诸如开关)等。传感器116可以用于感测车辆110正在操作所处的环境，例如，传感器116可以检测诸如天气状况(降雨、外部环境温度等)等现象、道路坡度、道路位置(例如，使用道路边缘、车道标记等)或目标物体(诸如邻近车辆110)的位置。传感器116还可以用于收集数据，其包括与车辆110的操作相关的动态车辆110数据(诸如速度、横摆率、转向角、发动机转速、制动压力、油压、施加到车辆110中的控制器
112、113、114的功率电平、部件之间的连接性和车辆110的部件的准确且及时性能)。

[0028] 图2是由包括在车辆110中的视频传感器116获取的车辆外部环境的示例性彩色图像202、204、206(以黑色和白色呈现以符合专利局规则)的三个图示的图。彩色图像202、204、206可以是RGB彩色视频的帧，并且具有尺寸W＝1920×H＝1080×D＝24位。图像202、
204、206可以包括对道路、十字路口、交通标志、交通信号和其他车辆的描绘，如在公共道路上操作车辆110时通常会遇到的。图像202、204、206还可以包括诸如上下坡道、桥梁、私家车道、弯道、障碍物、行人和动物等物体以及包括植物和结构等非道路物体。

[0029] 例如，当车辆110从起始位置行进到结束位置时，可以获取当车辆110在路线上的各位置处以自主模式操作时的图像202、204、206。给定车辆110相对于正在行进的路线的位置，包括基于起始位置确定方向，可以确定高级命令，所述高级命令描述了通过操作车辆110导致车辆110在路线上行进而由车辆110要执行的操纵。示例性高级命令的非限制性列表包括用于执行操纵的命令，所述操纵诸如“在道路上的车道中行进一段距离”、“合并到右车道并在十字路口右转”和“合并到左转车道并转入私家车道”等。因此，高级命令包括用于以随着时间改变车辆110的位置、速度和转向角中的至少一者的方式来操作车辆110的指令。

[0030] 例如，可以基于车辆110相对于路线的位置来确定高级命令。给定与路线相关联的起始位置和结束位置，可以确定车辆110相对于路线的位置(其中位置和路线这两者都相对于地图定义)、车辆110相对于路线的方向。一旦知道了位置和方向，就可以使用用于确定驾驶方向的计算机软件程序(例如GOOGLETM地图等)来确定高级命令。

[0031] 图3是一组车辆命令300的示例的图。计算装置115可以基于路线和位置来确定高级命令。计算装置115可以基于地图以及地图上表示车辆110位置的位置来分析路线，以确定可以由计算装置115处理来确定一组车辆命令300的高级命令，所述车辆命令可以由计算装置115执行以操作车辆110以便沿路线的一部分行进从车辆110位置行进到新位置。计算装置115可以通过经由控制器112、113、114控制动力传动系统、转向和制动以操作车辆110来执行该组车辆命令300，以便使车轮在该组车辆命令300中规定的扭矩和方向下转动并旋转，且由此使车辆110操纵以便在从起始位置到结束位置的路线的一部分上行进。

[0032] 一组车辆命令300可以包括一行或多行车辆命令308。一组车辆命令300可以包括多达数千个车辆命令308，所述数量取决于车辆命令308的采样率，其中采样率被定义为每个车辆命令308与高级命令的持续时间之间的假定时间步长的倒数。例如，每个车辆命令308可以由计算装置115转换成控制信号以便发送到控制器112、113、114以按假定时间步长(例如每10毫秒)控制车辆110的动力传动系统、转向和制动。高级命令的持续时间是将车辆
110从与路线的一部分相关联的起始位置操作到与路线相关联的结束位置所需的时间。例如，每个车辆轨迹308可以表示控制信号以便发送到控制器112、113、114以按假定时间步长(例如每10毫秒)控制车辆110的动力传动系统、转向和制动。该组车辆命令300的每一行包括车辆命令308，所述车辆命令包括：转向命令(STR CMD)，其是被施加以使车轮围绕转向轴线转动以改变车辆方向的转向扭矩，以牛顿米(Nm)为单位；和动力传动系统/制动命令(P/B CMD)，其是围绕车桥在旋转方向上施加的动力传动系统扭矩(正值)和围绕同一车桥施加的制动扭矩(负值)两者。由计算装置115发送到控制器112、113、114以实现特定转向、动力传动系统或制动扭矩的命令可以凭经验确定并存储在计算装置115存储器中。计算装置115可以使用一组车辆命令300来在道路上操作车辆110。计算装置115可以基于相对于地图确定的位置和路线来确定高级命令提示，并将高级命令提示与通过处理图像202、204、206确定的图像提示组合以确定一组车辆命令300，当通过计算装置115以假定时间步长依次使用以控制车辆110的动力传动系统、转向和制动时，所述车辆命令可以操作车辆110以沿从起始位置到结束位置的路线的一部分行进。

[0033] 图4是示例性DNN 400的图。例如，DNN 400可以是可以加载到存储器中并由包括在计算装置115中的处理器执行的软件程序。DNN 400可以基于向卷积神经网络(CNN)402输入404图像202、204、206、向上下文子网络408输入410高级命令来训练以输出408表示转向、动力传动系统和制动扭矩的多组车辆命令300。计算装置115可以向CNN 408输入404图像202、
204、206，从而输出图像提示406，并向CSN 408输入410高级命令以产生高级命令提示412。
图像提示406和高级命令提示412被输入到神经子网络414，所述神经子网络输出416可以由计算装置115使用来沿开始于所述位置的路线的一部分操作车辆110并与所述路线的一部分相对应的一组车辆命令300。通过输入404图像202、204、206的序列并向DNN 400输入410对应的高级命令，其中当车辆110沿路线操作时获取图像202、204、206并且每个图像202、
204、206基于其在地图上的估计位置与基于相对于路线的位置的对应高级命令相关联。可以通过输入来自包括GPS、基于六轴加速度计的惯性导航系统(INS)或基于里程表/罗盘的系统的位置传感器116的数据来确定车辆110的估计位置。对于每个图像202、204、206的输入404和每个高级命令输入410，DNN400输出计算装置115可以使用来沿路线的一部分操作车辆110的一组命令300。例如，计算装置115可以被编程为在计算装置115已经完成将车辆
110操作到路线的当前部分上的结束位置之前获取相对于路线的新图像I和新位置以输入
404、410到DNN 400。通过这种方式，计算装置115可以基于从DNN 400输出416的多组车辆命令300来将车辆110沿从起始位置到结束位置的路线不间断地操作，由此实现路线的端到端导航。

[0034] DNN 400可以包括CNN 402，所述CNN可以包括多个卷积层，所述卷积层对样本输入404的图像203、204、206进行卷积和下采样以在相邻卷积层之间正向传播中间结果406。卷积层C1至C10通过池化对中间结果406进行下采样，其中卷积层中的一组相邻像素(例如2x2邻域)一起被池化以形成表示输出中间结果中的组的一个像素，所述像素在x和y上具有输入中间结果的1/2分辨率。例如，最大池化选择最大像素值来表示每个2x2邻域组。每个卷积层可以按一个分辨率输入中间结果406，将其与一个或多个内核进行卷积，对结果进行池化并以较低分辨率输出中间结果406。

[0035] 在卷积层之后，将中间结果输出到全连接层。全连接层的每个元素连接到后续全连接层的每个元素，这意味着后续层的每个元素可以根据前一个全连接层的所有或任何元素被确定。这允许CNN 402形成一组图像提示406以输出到NSN 414。图像提示406是CNN 402基于下面描述的训练从输入404的图像202、204、206提取的数据值的阵列，其可以由NSN 414与输入高级命令提示412组合以输出416一组车辆命令300。图像提示406是由CNN 402确定的图像202、204、206数据的中间数据表示。基于训练CNN 402和NSN 414以输出416多组车辆命令300来确定图像提示406。

[0036] 可以训练DNN 400以响应于将高级命令输入410到CSN 408中同时将图像202、204、206输入404到CNN 402中而输出一组车辆命令300。图像提示406和高级命令提示412被输入到NSN 414，所述NSN输出416多组车辆命令300。CNN 402、CSN 408和NSN 414可以通过反向传播输出416的多组车辆命令300与预定组的车辆命令300之间的误差同时训练。可以通过基于位置和路线确定输入410到CSN 408的多组车辆命令来预先确定多组车辆命令300。可以使用多项式曲线拟合和控制理论计算来分析位置和路线以确定横向和纵向加速度以及包括车辆110的速度和方向的初始状况，所述初始状况可以使车辆110沿开始于该位置并继续到达结束位置的路线的一部分操作，同时将速度、横向加速度和纵向加速度保持在预定安全(上限)和效率(下限)范围内。

[0037] 可以通过计算装置115使用控制理论计算来分析每单位时间的速度以及横向和纵向加速度，以确定多组车辆命令300，所述车辆命令将会使车辆110实现要操作以便沿路线行进的确定速度以及横向和纵向加速度。

[0038] 预定多组车辆命令300可以通过如上面所讨论的曲线拟合和控制理论计算来确定，或者在车辆110沿例如从一个位置开始的路线的一部分进行操作时进行记录。可以将与输入410的高级命令和输入404的图像202、204、206相关联的预定多组车辆命令300与基于处理输入410的高级命令和输入404的图像202、204、206来输出416的一组车辆命令300进行比较，且由此提供误差项进行反向传播，且由此提供正或负反馈以训练CNN 402、CSN 408和NSN 414。一旦通过这种方式训练，响应于输入404多个图像202、204、206并输入410多个对应的高级命令，DNN 400可以输出416可以将车辆110沿从起始位置到结束位置的路线操作的多组车辆命令300，由此实现车辆110的端到端操作。

[0039] 图5是关于图1至图4描述的用于基于确定一组车辆命令300来操作车辆的过程500的流程图的图。例如，过程500可以通过计算装置115的处理器从传感器116获得信息作为输入并经由控制器112、113、114执行命令和发送控制信号来实施。过程500包括以所公开的顺序进行的多个步骤。过程500还包括包含更少步骤的实现方式或者可以包括以不同顺序进行的步骤。

[0040] 过程500开始于步骤502，其中包括在车辆110中的计算装置115基于相对于路线的位置来确定高级命令。高级命令可以基于都可以相对于地图确定的位置和路线。所述位置可以基于由计算装置115基于包括GPS的传感器116数据确定的估计位置，如上面关于图3所讨论的。

[0041] 在步骤502处，计算装置115获取可以输入到DNN 400的图像202、204、206。图像202、204、206可以是如上面关于图2所讨论的彩色视频图像，或者图像202、204、206可以包括激光雷达、雷达、红外(IR)或其他成像模态传感器116。DNN 400可以被修改为包括多个CNN 402以处理来自包括互连以允许传感器116融合的多个成像模态传感器116的数据。

[0042] 在步骤504处，计算装置115将图像202、204、206输入404到训练的DNN 400中，同时输入410高级命令。已经基于如关于图4所讨论的多个位置、路线和图像202、204、206与多个预定高级命令和多组车辆命令300来训练DNN 400。DNN 400可以处理输入404的图像202、204、206，并且基于输入410的高级命令，输出416一组车辆命令300，所述车辆命令可以用于操作车辆110以沿从起始位置到结束位置的路线的一部分行进。

[0043] 在步骤506处，计算装置115使用从训练的CNN 400输出408的该组车辆命令300来操作车辆110。计算装置115可以直接使用输出408的车辆命令300来操作车辆100，而无需拟合多项式曲线或对路线数据执行控制理论计算。当计算装置115基于输出408的一组车辆命令300操作车辆110时，计算装置115可以基于例如由位置、视频或激光雷达传感器实时获取的数据实时修改该组车辆命令300以适应包括其他车辆、自行车、行人等交通并且遵守交通信号和迂回，如上面关于图3所讨论的。在该步骤之后，过程500结束。

[0044] 图6是关于图1至图4描述的用于训练DNN以输出多组车辆命令300的过程600的流程图的图。例如，过程600可以通过计算装置115的处理器从传感器116获得信息作为输入并经由控制器112、113、114执行命令和发送控制信号来实施。过程600包括以所公开的顺序进行的多个步骤。过程600还包括包含更少步骤的实现方式或者可以包括以不同顺序进行的步骤。

[0045] 过程600开始于步骤602，其中包括在车辆110中的计算装置115获取并记录图像202、204、206。图像可以由彩色视频传感器116获取，例如，如上面关于图2所讨论的，或者例如可以使用例如激光雷达、雷达或IR传感器来获取图像。图像202、204、206各自可以在车辆
110在路线上操作时被获取。

[0046] 在步骤604处，计算装置115基于与在步骤602处记录的图像202、204、206相对应的位置来记录多个高级命令。确定相对于路线的每个位置，并且针对每个位置确定高级命令，所述高级命令对应于车辆在所述路线上的该位置处的操作，如上面关于图4所讨论的。

[0047] 在步骤606处，计算装置115确定与多个高级命令和图像相关联的多组车辆命令308。对于每个高级命令，可以通过确定可以使车辆110沿与来自步骤604的高级命令相关联的路线的部分操作车辆110的估计的车速以及横向和纵向加速度来确定多组车辆命令308，并且使用多项式曲线拟合和控制理论计算确定一组车辆命令300，如上面关于图4所讨论的。

[0048] 在步骤608处，通过首先将高级命令输入410到CSN 408中同时将图像202、204、206输入404到CNN 402以通过NSN 414形成输出416的多组车辆命令300来训练DNN 400。将输出416的多组车辆命令300与要反向传播的预定多组车辆命令300进行比较，且由此训练CNN
402和NSN 414，如上面关于图4所讨论的。

[0049] 在步骤610处，计算装置115输出训练的DNN 400。训练的DNN400包括关于高级命令、卷积核和用于基于输入404的图像202、204、206和输入410的高级命令确定和输出416多组车辆命令300的多项式函数的信息。输出训练的DNN 400可以包括将训练的DNN 400存储在计算装置115所包括的非易失性存储器中，其中训练的DNN 400可以被计算装置115调用和执行以输出408多组车辆命令300以供计算装置115使用来操作车辆110。在该步骤之后，过程600结束。

[0050] 诸如本文讨论的计算装置通常各自包括可由诸如上面识别的那些计算装置等一个或多个计算装置执行的并且用于执行上述过程的框或步骤的命令。例如，上文论述的过程框可以被体现为计算机可执行命令。

[0051] 计算机可执行命令可以由使用各种编程语言和/或技术创建的计算机程序来编译TM或解译，这些编程语言和/或技术单独地或组合地包括但不限于Java 、C、C++、Visual Basic、Java Script、Perl、HTML等。一般来说，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收命令，并且执行这些命令，由此执行一个或多个过程，其包括本文所述的过程中的一者或多者。可以使用多种计算机可读介质来在文件中存储和传输此类命令和其他数据。计算装置中的文件通常是存储在计算机可读介质(诸如存储介质、随机存取存储器等)上的数据的集合。

[0052] 计算机可读介质包括参与提供可以由计算机读取的数据(例如，命令)的任何介质。这种介质可以采用许多形式，其包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘和其他持久性存储器。非易失性介质包括通常构成主存储器的动态随机存取存储器(DRAM)。常见形式的计算机可读介质包括(例如)软磁盘、软盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、带有穿孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带或计算机可以从中读取的任何其他介质。

[0053] 除非本文做出相反的明确指示，否则权利要求中使用的所有术语意图给予其如所属领域技术人员所理解的普通和通常的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应当被解读为叙述所指示的元件中的一者或多者。

[0054] 术语“示例性”在本文以表示示例的意义使用，例如，对“示例性小部件”的引用应被理解为仅指代小部件的示例。

[0055] 修饰值或结果的副词“大约”表示形状、结构、测量、值、确定、计算等可能偏离精确描述的几何形状、距离、测量、值、确定、计算等，因为材料、加工、制造、传感器测量、计算、处理时间、通信时间等存在缺陷。

[0056] 在附图中，相同的附图标记指示相同元件。此外，可以改变这些元件中的一些或全部。关于本文所述的介质、过程、系统、方法等，应当理解的是，虽然已经将此类过程等的步骤描述为根据某个有序序列发生，但是此类过程可以采用以本文所述顺序之外的顺序执行的所描述步骤来实践。还应当理解的是，可以同时执行某些步骤、可以添加其他步骤、或者可以省略本文所述的某些步骤。换句话说，本文对过程的描述是为了示出某些实施例而提供，而决不应当将其理解为对所要求保护发明进行限制。

[0057] 根据本发明，一种方法包括：基于车辆相对于包括起始位置和结束位置的路线的位置来确定高级命令；获取车辆外部环境的图像；基于将所述高级命令和所述图像输入到深度神经网络中来确定转向、制动和动力传动系统命令；以及通过基于所述转向、制动和动力传动系统命令致动车辆部件来操作所述车辆。

[0058] 根据实施例，本发明的特征还在于，基于所述车辆相对于所述路线的位置来确定多个高级命令并且获取所述车辆外部环境的多个对应图像，其中所述多个位置从所述起始位置分布到所述结束位置。

[0059] 根据实施例，本发明的特征还在于，基于将所述多个高级命令和所述多个对应图像输入到所述深度神经网络中来确定多个转向、制动和动力传动系统命令；并且由此通过基于所述多个转向、制动和动力传动系统命令致动车辆部件来操作所述车辆以沿所述路线从所述起始位置行进到所述结束位置。

[0060] 根据实施例，所述转向、制动和动力传动系统命令包括扭矩，转向、制动和动力传动系统车辆部件利用所述扭矩向车轮施加力以改变车辆位置、速度和方向。

[0061] 根据实施例，所述深度神经网络包括卷积神经网络，所述卷积神经网络包括通过卷积和下采样来处理输入图像的多个池化层以及基于矩阵乘法和偏置偏移输出图像提示的一个或多个全连接层。

[0062] 根据实施例，所述深度神经网络包括上下文子网络，所述上下文子网络包括多个全连接神经网络层，所述全连接神经网络层基于矩阵乘法和偏置偏移来处理输入高级命令以输出高级命令提示。

[0063] 根据实施例，所述深度神经网络包括神经子网络，所述神经子网络包括多个全连接神经网络层，所述全连接神经网络层输入图像提示和高级命令提示并输出转向、制动和动力传动系统命令。

[0064] 根据实施例，通过将基于相对于所述路线的记录位置的记录的高级命令输入到所述上下文子网络中并将记录的对应图像输入到所述卷积神经网络中并且基于将神经子网络输出转向、制动和动力传动系统命令与记录的转向、制动和动力传动系统命令进行比较反向传播误差，训练所述卷积神经网络、所述上下文子网络和所述神经子网络。

[0065] 根据实施例，反向传播误差包括确定图像提示和高级命令提示。

[0066] 根据本发明，提供一种系统，所述系统具有处理器；和存储器，所述存储器包括由所述处理器执行以进行以下操作的指令：基于车辆相对于包括起始位置和结束位置的路线的位置来确定高级命令；获取车辆外部环境的图像；基于将所述高级命令和所述图像输入到深度神经网络中来确定转向、制动和动力传动系统命令；以及通过基于所述转向、制动和动力传动系统命令致动车辆部件来操作所述车辆。

[0067] 根据实施例，本发明的特征还在于，基于所述车辆相对于所述路线的位置来确定多个高级命令并且获取所述车辆外部环境的多个对应图像，其中所述多个位置从所述起始位置分布到所述结束位置。

[0068] 根据实施例，本发明的特征还在于，基于所述多个高级命令和所述多个对应图像到所述深度神经网络中来确定多个转向、制动和动力传动系统命令；并且由此通过基于所述多个转向、制动和动力传动系统命令致动车辆部件来操作所述车辆以沿所述路线从所述起始位置行进到所述结束位置。

[0069] 根据实施例，所述转向、制动和动力传动系统命令包括扭矩，转向、制动和动力传动系统车辆部件利用所述扭矩向车轮施加力以改变车辆位置、速度和方向。

[0070] 根据实施例，所述深度神经网络包括卷积神经网络，所述卷积神经网络包括通过卷积和下采样来处理输入图像的多个池化层以及基于矩阵乘法和偏置偏移输出图像提示的一个或多个全连接层。

[0071] 根据实施例，所述深度神经网络包括上下文子网络，所述上下文子网络包括多个全连接神经网络层，所述全连接神经网络层基于矩阵乘法和偏置偏移来处理输入高级命令以输出高级命令提示。

[0072] 根据实施例，所述深度神经网络包括神经子网络，所述神经子网络包括多个全连接神经网络层，所述全连接神经网络层输入图像提示和高级命令提示并输出转向、制动和动力传动系统命令。

[0073] 根据实施例，通过将基于相对于所述路线的记录位置的记录的高级命令和记录的对应图像输入到所述卷积神经网络中并且基于将神经子网络输出转向、制动和动力传动系统命令与记录的转向、制动和动力传动系统命令进行比较反向传播误差，训练所述卷积神经网络、所述上下文子网络和所述神经子网络。

[0074] 根据实施例，反向传播误差包括确定图像提示和高级命令提示。

[0075] 根据本发明，提供了一种系统，所述系统具有：视频传感器，其操作以获取车辆外部环境的图像；深度神经网络；车辆部件，其操作以操作车辆；处理器；和存储器，所述存储器包括由所述处理器执行以进行以下操作的指令：基于车辆相对于包括起始位置和结束位置的路线的位置来确定高级命令；获取车辆外部环境的图像；基于将所述高级命令和所述图像输入到深度神经网络中来确定转向、制动和动力传动系统命令；以及通过基于所述转向、制动和动力传动系统命令致动车辆部件来操作所述车辆。

[0076] 根据实施例，本发明的特征还在于，基于所述车辆相对于所述路线的位置来确定多个高级命令并且获取所述车辆外部环境的多个对应图像，其中所述多个位置从所述起始位置分布到所述结束位置。

标题	发布/更新时间	阅读量
基板管理控制器BMC配置初始化的方法及装置	2020-05-18	0
原子存储器更新单元和方法	2020-07-28	0
用于使用第二屏幕设备来与内容交互的方法、系统和介质	2020-12-16	1
用于控制道路车辆队列的方法和道路车辆队列	2021-02-12	2
硬件辅助的垃圾收集	2020-11-25	0
半自动闭塞铁路钢轨断轨监测系统及方法	2021-03-24	1
一种针对孔径编码超分辨光学传递函数的标定方法	2021-03-28	1
AUTOMATED MECHANICAL HANDLING SYSTEMS FOR INTEGRATED CIRCUIT FABRICATION, SYSTEM COMPUTERS PROGRAMMED FOR USE THEREIN, AND METHODS OF HANDLING A WAFER CARRIER HAVING AN INLET PORT AND AN OUTLET PORT	2022-12-21	1
一种飞钉自冲铆接装置	2020-12-10	0
一种自循迹焊缝探伤机器人	2021-01-15	0

动作调节后的车辆控制

动作调节后的车辆控制

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：