技术领域
[0001] 本公开总体上涉及自主车辆，并且更具体地涉及虚拟现实自主驾驶接管。
背景技术
[0002] 通常，自主车辆是能够感测环境并且在没有人为输入的情况下导航的车辆。自主车辆可以使用各种
传感器检测周围环境，并且自主车辆的控制系统可以使用由传感器提供的数据来适当地导航和操纵车辆。例如，自主车辆可以配备有固定相机，所述固定相机相对于车辆在
位置和定向上是固定的，以向可能需要在某些情况下(例如，在车辆的
自主系统故障期间或当车辆的驾驶员变得无法操作车辆时)接管对自主车辆的控制的远程操作者提供实时视频馈送。然而，由于相机固定就位并因此无法改变视线，因此远程操作者无法从驾驶员座椅获得真实
角度，就好像从驾驶员座椅驾驶自主车辆一样。
附图说明
[0003] 参考以下附图描述本公开的非限制及非详尽
实施例，其中除非另有说明，否则相同的附图标记在各个图中指代相同部件。
[0004] 图1是描绘可以利用根据本公开的实施例的示例性场景的图。
[0005] 图2是描绘根据本公开的实施例的示例性设备的
框图。
[0006] 图3是描绘根据本公开的实施例的示例性过程的
流程图。
[0007] 图4是描绘根据本公开的实施例的示例性过程的流程图。
具体实施方式
[0008] 在以下描述中，参考附图，所述附图形成所述描述的一部分并且其中通过说明方式示出可以实践本公开的特定示例性实施例。足够详细地描述这些实施例以使得所属领域技术人员能够实践本文公开的概念，并且应理解，在不脱离本公开的范围的情况下，可以对各种公开的实施例进行
修改，并且可以利用其他实施例。因此，以下详细描述不应被认为是限制性的。
[0009] 图1示出了可以利用根据本公开的实施例的示例性场景100。为了解决远程操作者接管自主车辆的上述问题，本公开提出了与虚拟现实自主车辆接管有关的技术、方案、过程和设备。在所提出的方案下，如场景100中所示，车辆110可以配备、配置、安装或以其他方式设置有控制系统，该控制系统包括处理器115、前置相机112、后置相机117和无线收发器118。在一些实施例中，车辆110可以是全自主车辆。可选地，车辆110可以是能够在手动模式下操作(例如，由人类驾驶员操作)和在正常状况下在无需人为干预的自主模式下操作的车辆。
[0010] 在方案100下，用户150可以利用基于虚拟现实的
控制器120来接管对车辆110的控制。基于虚拟现实的控制器120可以包括头戴式
耳机122和通信地耦合到头戴式耳机122的计算设备125。计算设备125可以包括处理器128，该处理器128可以控制基于虚拟现实的控制器120的操作。用户150可以穿戴头戴式耳机122并且经由无线通信与车辆110通信并控制车辆的操作(例如，转向和/或速度)。在一些实施例中，经由无线通信传输和接收的数据可以根据用户数据报协议(UDP)。在一些实施例中，可以在计算设备125与车辆110的无线收发器118之间直接建立无线通信。可选地或另外，可以经由一个或多个有线和/或无线网络(由图1中的网络130表示)和无线站135在计算设备125与车辆110的无线收发器118之间间接地建立无线通信。
[0011] 相机112能够捕获车辆110的前视图的一个或多个视频图像流，所述视频图像流可以被穿戴头戴式耳机122的用户150查看。类似地，相机117能够捕获车辆110的后视图的一个或多个视频图像流，所述视频图像流可以被穿戴头戴式耳机122的用户150查看。相机112可以安装在万向架(gimbal mount)114上，该万向架114允许相机112进行三维(3D)移动。万向架114可以是例如通过3D打印定制的。在一些实施例中，车辆110还可以包括一个或多个
致动器116和相关联的伺服系统(未示出)，它们能够通过转动、枢转和/或旋转万向架114来调整相机112的位置。即，一个或多个致动器116可以通信地耦合到处理器115以从处理器115接收
信号以相应地调整相机112的位置和/或定向。
[0012] 处理器115可以从相机112和相机117中的每一者接收一个或多个视频图像流。处理器115可以经由无线收发器118将一个或多个视频图像流传输到计算设备125的处理器128，这可以使得用户150能够在头戴式耳机122上虚拟现实地查看视频图像。因此，用户150可以从相机112和相机117的角度远程查看实时视频馈送，就好像用户150是车辆110的驾驶员一样，以便使用驾驶员设置、车辆内部设置、转向同时、一个或多个
齿轮旋钮和/或基于虚拟现实的控制器120的
踏板组远程接管或控制车辆110的操作。为了简单起见，图1中未示出驾驶员设置、车辆内部设置、转向同时、一个或多个齿轮旋钮和基于虚拟现实的控制器120的踏板组。在从用户150接收到用户输入时，处理器128可以向处理器115提供操纵信号以控制车辆110的转向、车辆110的速度或两者。
[0013] 头戴式耳机122可以配备、配置或以其他方式设置有能够感测头戴式耳机122的移动和运动以感测和提供指示相对于头戴式耳机122(和用户150的头部)的位置的侧倾124、
俯仰126、横摆128或其组合的一个或多个信号的一个或多个部件(例如，一个或多个
加速度计和/或一个或多个
陀螺仪)。在从头戴式耳机122接收到一个或多个这样的信号时，处理器128可以检测头戴式耳机122的位置和/或运动的变化，并且可以向处理器115提供相机调整信号以经由一个或多个致动器114响应于所述检测而调整相机112的位置(例如，侧倾、俯仰、横摆或其组合)。可以在头戴式耳机122中或头戴式耳机上提供实时音频、一个或多个
传声器和/或一个或多个按钮，以允许用户150在头戴式耳机122的显示器的角落中发起来自相机117的后视视频馈送的弹出窗口。
[0014] 利用来自相机112(和相机117)的实时视频馈送，头戴式耳机122允许用户150在虚拟现实设置中看到相机112(和相机117)的视图，就好像用户150实际上正在驾驶车辆110一样。当捕获头戴式耳机122的位置且所述位置与安装的传感器无关时，用户150能够将相机110复位到默认位置(例如，前向姿势)。例如，处理器128可以接收用于将相机110复位或以其他方式返回到其默认位置的用户输入，因此可以向处理器115提供复位信号以根据复位信号调整相机112的位置以使相机112相对于车辆110指向前向方向。
[0015] 在某些情况下，诸如在车辆110的自主驾驶系统发生故障和/或车辆110的人类驾驶员无法操作车辆110的状况下，处理器115可以确定存在关于车辆110的这种状况。因此，处理器115可以将所述状况通知处理器128。响应于接收到此类通知，用户150可以经由基于虚拟现实的控制器120来远程接管对车辆110的控制。例如，用户150可以经由处理器128提供操纵信号以控制车辆110的一个或多个操作(例如，转向和/或其速度)。
[0016] 图2示出了根据本公开的实施例的示例性设备200。设备200可以执行与本文中描述的与虚拟现实自主驾驶接管有关的技术、方案、方法和系统相关的各种功能，包括上面关于场景100描述的那些以及下面关于过程300和过程400描述的那些。设备200可以在车辆110中在场景100中实施以实现根据本公开的各种实施例。即，在一些实施例中，设备200可以是车辆110的控制系统的示例性实施方式。设备200可以包括图2中所示的部件中的一者、一些或全部。设备200还可以包括与本公开的各种实施例无关的一个或多个其他部件，因此，图2中未示出一个或多个这样的部件，并且为了简洁起见，本文中未提供对此类部件的描述。
[0017] 设备200可以至少包括处理器210，该处理器210可以包括控制
电路212和通信电路214。处理器210可以按一个或多个单核处理器、一个或多个
多核处理器或一个或多个复杂指令集计算(CISC)处理器的形式来实施。因此，即使本文中使用单数术语“处理器”来指代处理器210，但是处理器210在一些实施例中也可以包括多个处理器，并且在根据本公开的其他实施例中可以包括单个处理器。另一方面，处理器210可以按具有
电子部件的
硬件(以及可选地，
固件)的形式来实施，所述电子部件包括例如但不限于被配置和布置以实现根据本公开的特定目的的一个或多个晶体管、一个或多个
二极管、一个或多个电容器、一个或多个
电阻器和/或一个或多个电感器。换句话说，在至少一些实施例中，处理器210是被具体设计、布置和配置为执行包括根据本公开的各种实施例的虚拟现实自主驾驶接管的特定任务的专用机器。处理器210可以是车辆110的处理器115的示例性实施方式。
[0018] 在一些实施例中，设备200可以包括前视相机220和后视相机225，每个相机都能够捕获一个或多个视频图像流。相机220和相机225中的每一者可以通信地耦合到处理器210，以提供由相机220和相机225捕获的一个或多个视频图像流的
视频信号。在一些实施例中，相机220可以安装在万向架(例如，万向架114)上，该万向架允许相机220进行3D移动。在一些实施例中，设备200还可以包括一个或多个致动器250(1)至250(N)，它们能够通过转动、枢转和/或旋转上面安装有相机220的万向架来调整相机220的位置。即，一个或多个致动器250(1)至250(N)可以通信地耦合到处理器210以从处理器210接收信号以相应地调整相机
220的位置和/或定向。
[0019] 在一些实施例中，设备200可以包括通信地耦合到处理器210的无线收发器230。无线收发器230能够与一种或多种网络(例如，网络130)和/或遥控器(例如，基于虚拟现实的控制器120)建立无线通信。在一些实施例中，无线收发器230能够根据UDP传输和接收数据。
[0020] 在一些实施例中，设备200可以包括通信地耦合到处理器210的车辆控制界面240，使得处理器210可以在没有人为输入、控制和/或干预的情况下自主地控制、操作或以其他方式操纵车辆(例如，车辆110)。车辆控制界面240可以与车辆的必要的机械、电气、
气动和/或液压部件通信以用于车辆的控制和/或操纵。因此，在从处理器210接收到信号和/或命令时，车辆控制界面240可以致动、激活、控制和/或操作车辆的一个或多个部件(例如，以驾驶和操纵车辆)。
[0021] 在一些实施例中，设备200的两个或更多个部件之间的通信可以是根据一种或多种合适的协议、一种或多种标准和/或一种或多种规范的无线通信。例如，处理器210与相机220、相机225、无线收发器230、车辆控制界面240和一个或多个致动器250(1)至250(N)中的一者或多者之间的通信可以基于根据电气和电子工程师协会(IEEE)802.11标准的一种或多种Wi-Fi技术。另外或可选地，可以使用其他无线技术，诸如蓝牙、
近场通信(NFC)、红外和/或
超声波。
[0022] 通信电路214能够经由无线收发器230与遥控器(例如，基于虚拟现实的控制器120的计算设备125的处理器128)建立无线通信。通信电路214能够从遥控器接收操纵信号。控制电路212能够经由无线收发器230向遥控器提供由相机220捕获的视频图像流。控制电路212还能够经由车辆控制界面240根据操纵信号来控制车辆(例如，车辆110)的转向、车辆的速度或两者。
[0023] 在一些实施例中，在提供视频图像流时，处理器210能够经由无线收发器230根据UDP提供视频图像流。同样地，在接收操纵信号时，处理器210能够经由无线收发器230根据UDP接收操纵信号。
[0024] 在一些实施例中，控制电路212能够确定存在关于车辆的状况并且经由无线收发器230将所述状况通知遥控器。在一些实施例中，处理器210可以响应于将所述状况通知遥控器而从遥控器接收操纵信号。在一些实施例中，所述状况可以包括车辆的自主系统发生故障、车辆的人类驾驶员无法操作车辆，或两者。
[0025] 在一些实施例中，通信电路214能够经由无线收发器230从遥控器接收相机调整信号。因此，控制电路212能够控制一个或多个致动器250(1)至250(N)以根据相机调整信号来调整相机220的位置。在一些实施例中，在控制一个或多个致动器250(1)至250(N)以调整相机220的位置时，控制电路212能够调整相对于相机220的位置的侧倾、俯仰、横摆或其组合。
[0026] 在一些实施例中，通信电路214可以经由无线收发器230从遥控器接收复位信号。因此，控制电路212能够控制一个或多个致动器250(1)至250(N)以根据复位信号来调整相机220的位置以使相机220相对于车辆指向前向方向。
[0027] 图3示出了根据本公开的实施例的示例性过程300。过程300可以包括被示为诸如310、320、330、340、350、360、370、380、390和395的框的一个或多个操作、动作或功能。尽管被示为离散框，但是取决于所需的实施方式，过程300的各个框可以被划分为附加框、组合成更少的框或者被消除。过程300可以在场景100中和/或由设备200来实施。出于说明性目的而非限制，在场景100的上下文中提供对过程300的以下描述。过程300可以从框310开始。
[0028] 在310处，过程300可以包括车辆110的处理器115与遥控器(例如，计算设备125)建立无线通信。过程300可以从310进行到320。
[0029] 在320处，过程300可以包括处理器115向遥控器提供由车辆的相机(例如，车辆110的相机112)捕获的视频图像流。过程300可以从320进行到330。
[0030] 在330处，过程300可以包括处理器115从遥控器接收操纵信号。过程300可以从330进行到340。
[0031] 在340处，过程300可以包括处理器115根据操纵信号控制车辆110的转向、车辆110的速度或两者。过程300可以从340进行到350、370和/或390。
[0032] 在350处，过程300可以包括处理器115确定存在关于车辆110的状况。在一些实施例中，所述状况可以包括车辆的自主系统发生故障、车辆的人类驾驶员无法操作车辆，或两者。过程300可以从350进行到360。
[0033] 在360处，过程300可以包括处理器115将状况通知遥控器。在一些实施例中，接收操纵信号可以是处理器115将状况通知遥控器的结果。
[0034] 在370处，过程300可以包括处理器115从遥控器接收相机调整信号。过程300可以从370进行到380。
[0035] 在380处，过程300可以包括处理器115控制一个或多个致动器116以根据相机调整信号来调整相机112的位置。在一些实施例中，在控制一个或多个致动器116以调整相机112的位置时，过程300可以包括处理器115调整相对于相机112的位置的侧倾、俯仰、横摆或其组合。
[0036] 在390处，过程300可以包括处理器115从遥控器接收复位信号。过程300可以从390进行到395。
[0037] 在395处，过程300可以包括处理器115控制一个或多个致动器以根据复位信号来调整相机112的位置以使相机112相对于车辆110指向前向方向。
[0038] 在一些实施例中，提供视频图像流、接收操纵信号或两者可以根据UDP来完成。
[0039] 图4示出了根据本公开的实施例的示例性过程400。过程400可以包括被示为诸如410、420、430、440、450、460、470和480的框的一个或多个操作、动作或功能。尽管被示为离散框，但是取决于所需的实施方式，过程400的各个框可以被划分为附加框、组合成更少的框或者被消除。过程400可以在场景100中和/或由设备200来实施。出于说明性目的而非限制，在场景100的上下文中提供对过程400的以下描述。过程400可以从框410开始。
[0040] 在410处，过程400可以包括基于虚拟现实的控制器120的处理器128与车辆的控制系统(例如，车辆110的处理器115)建立无线通信。过程400可以从410进行到420。
[0041] 在420处，过程400可以包括处理器128接收由与车辆110相关联的相机(例如，车辆110的相机112)捕获的视频图像流。过程400可以从420进行到430。
[0042] 在430处，过程400可以包括处理器128至少部分地基于视频图像流从车辆110的驾驶员的角度(例如，在用户120的头戴式耳机122上)创建虚拟现实视图。过程400可以从430进行到440。
[0043] 在440处，过程400可以包括处理器128向控制系统的处理器115提供操纵信号以控制车辆110的转向、车辆110的速度或两者。过程400可以从440进行到450和/或470。
[0044] 在450处，过程400可以包括处理器128检测与基于虚拟现实的控制器120相关联的耳机122的位置变化。过程400可以从450进行到460。
[0045] 在460处，过程400可以包括处理器128向控制系统的处理器115提供相机调整信号，以响应于所述检测而调整与车辆110相关联的相机112的位置。
[0046] 在470处，过程400可以包括处理器128(例如，从用户150)接收用户输入。过程400可以从470进行到480。
[0047] 在480处，过程400可以包括处理器128响应于接收到用户输入而向控制系统的处理器115提供复位信号以根据复位信号调整相机112的位置以使相机112相对于车辆110指向前向方向。
[0048] 在一些实施例中，接收视频图像流、提供操纵信号或两者根据UDP来完成。
[0049] 在一些实施例中，在向操纵系统提供操纵信号时，过程400可以包括处理器128从控制系统的处理器115接收指示存在关于车辆110状况的通知。此外，过程400可以包括处理器128响应于接收到通知而向控制系统的处理器115提供操纵信号。
[0050] 在一些实施例中，所述状况可以包括车辆的自主系统发生故障、车辆的人类驾驶员无法操作车辆，或两者。
[0051] 在以上公开内容中，参考了附图，所述附图形成本公开的一部分并且其中通过说明方式示出可以实践本公开的具体实施方式。应理解，在不脱离本公开的范围的情况下，可以利用其他实施方式并且可以做出结构改变。在
说明书中对于“一个实施例”、“实施例”、“示例性实施例”等的提及指示所述的实施例可以包括特定特征、结构或特性，但是每一个实施例都可以不必包括所述特定特征、结构或特性。此外，此类短语不一定是指同一实施例。此外，当结合实施例描述特定特征、结构或特性时，认为是，无论是否明确描述，结合其他实施例实现此类特征、结构或特性都在所属领域技术人员的知识范围内。
[0052] 本文中所公开的系统、设备、装置和方法的实施方式可以包括或利用包括计算机硬件(诸如，例如本文中所讨论的一个或多个处理器和系统
存储器)的专用或通用计算机。本公开的范围内的实施方式还可以包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。此类计算机可读介质可以为可以由通用或专用
计算机系统存取的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实施方式可以包括至少两种截然不同种类的计算机可读介质：计算机存储介质(装置)和传输介质。
[0053] 计算机存储介质(装置)包括RAM、ROM、EEPROM、CD-ROM、固态
驱动器(“SSD”)(例如，基于RAM)、快闪存储器、
相变存储器(“PCM”)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或其他磁存储装置、或者可以用于以计算机可执行指令或数据结构的形式存储期望的程序代码手段并且可以由通用或专用计算机存取的任何其他介质。
[0054] 本文中所公开的装置、系统以及方法的实施方式可以通过
计算机网络进行通信。“网络”被定义为能够在计算机系统和/或模
块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当通过网络或另一种通信连接(硬接线、无线或硬接线或无线的任何组合)向计算机传递或提供信息时，计算机适当地将连接视为传输介质。传输介质可以包括网络和/或数据链路，其可以用于以计算机可执行指令或数据结构的形式携带期望的程序代码手段并且可以由通用或专用计算机存取。上述组合也应当包括在计算机可读介质的范围内。
[0055] 计算机可执行指令包括例如在处理器中执行时使通用计算机、专用计算机或专用处理装置执行某个功能或功能组的指令和数据。计算机可执行指令可以是例如二进制代码、中间格式指令(诸如汇编语言)或者甚至源代码。尽管已经用特定于结构特征和/或方法动作的语言描述了本主题，但是应理解，在所附
权利要求中定义的主题不必限于已描述的上述特征或动作。实情是，所述特征和动作被公开作为实施权利要求的示例性形式。
[0056] 所属领域技术人员应明白，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实践，这些计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持装置、多处理器系统、基于
微处理器的或可编程的
消费电子产品、网络PC、小型计算机、大型计算机、
移动电话、PDA、平板计算机、寻呼机、路由器、交换机、各种存储装置等。本公开还可以在分布式系统环境中实践，其中通过网络链接(通过硬接线数据链路、无线数据链路或通过硬接线与无线数据链路的任何组合)的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器存储装置两者中。
[0057] 此外，在适当的情况下，本文描述的功能可以在以下一者或多者中执行：硬件、
软件、固件、数字部件或模拟部件。例如，可以编程一个或多个
专用集成电路(ASIC)以执行本文描述的系统和过程中的一者或多者。某些术语在整个描述和权利要求中用于指代特定的系统部件。所属领域技术人员应明白，可以通过不同名称来提及部件。本文档并不意图区分名称不同但功能相同的部件。
[0058] 应注意，上面讨论的传感器实施例可以包括计算机硬件、软件、固件或它们的任何组合以执行其功能的至少一部分。例如，传感器可以包括被配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例性装置在本文出于说明目的而提供，而无意进行限制。本公开的实施例可以在如一种或多种相关领域技术人员所已知的其他类型的装置中实施。
[0059] 本公开的至少一些实施例涉及
计算机程序产品，其包括存储在任何计算机可用介质上的这种逻辑(例如，以软件形式)。此类软件在一种或多种
数据处理装置中执行时使装置如本文所述进行操作。
[0060] 尽管上文已描述本公开的各种实施例，但是应理解，仅通过示例方式而并非限制方式提出本公开的各种实施例。相关领域技术人员应明白，可以在不脱离本公开的精神和范围的情况下作出形式和细节方面的各种改变。因此，本公开的广度和范围不应受任何上述示例性实施例的限制，而是应仅根据以下权利要求和其等效物定义。出于说明及描述目的已呈现以上描述。不希望为穷尽性的或将本公开限于所揭示的具体形式。依据以上教示的其他修改及变型是可能的。此外，应注意，任何或所有上述备选实施方式可以所需的任何组合使用以形成本公开的附加混合实施方式。
