技术领域
[0001] 本公开涉及自动驾驶测试技术领域，特别是涉及基于混合现实的自动驾驶测试方法及系统。
背景技术
[0002] 本部分的陈述仅仅是提高了与本公开相关的背景技术，并不必然构成
现有技术。
[0003] 随着
汽车自动化和智能化的快速发展，高效、安全的自动驾驶被认为是未来汽车发展的形态，各国纷纷进行自动驾驶技术的研发和推广，我国也将自动驾驶汽车作为汽车产业发展的一个重要战略方向。自动驾驶汽车的发展能够推动芯片、
软件、信息通信、数据服务等汽车相关产业的发展，并发展交通出行的商业新模式。为了保证交通安全，我国相关部
门要求自动驾驶车辆在进行道路测试之前，要对其自动驾驶功能进行多方面的测试和验证。自动驾驶汽车的测试涵盖多个方面，包括仿真测试、软件在环测试、
硬件在环测试、整车在环测试、封闭测试场/示范区，以及真实道路测试等，目前封闭测试场测试是最主要的测试方式。
[0004] 虽然自动驾驶汽车在封闭测试场内的测试比较接近真实的道路测试，但是还存在如下问题：
[0005] 1.测试场景数量有限，且场景相对固定。真实的交通场景在理论上是无限数量的，而且会在极短的时间内发生很大的变化(交通场景A瞬间变为交通场景B)，交通场景的变化又多又快。封闭测试场内的交通场景建设相对有限，而且较难实现快速变化。
[0006] 2.较难精确的复现测试失败的场景。自动驾驶测试的一个重要目的是根据测试失败的场景进行针对性的反复训练，以增强自动驾驶性能。封闭测试场测试一旦测试失败，测试场景容易发生变化，很难精确的复现测试失败的场景。
[0007] 3.某些极限工况下的测试较难进行。在封闭测试场中，对自动驾驶汽车进行极限工况下的测试具有一定
风险，并且成本较高。特别是进行错误测试时，需要测试车辆发生错误时的反应，具有较高的危险性。
[0008] 综上所述，单独进行封闭测试场真实场景的测试很难完整的验证自动驾驶汽车的性能。
发明内容
[0009] 为了解决现有技术的不足，本公开提供了基于混合现实的自动驾驶测试方法及系统，各种仿真测试和虚拟测试也可以发挥很大的作用，将虚拟测试和真实测试进行有机的结合，能够更有效的对自动驾驶汽车综合性能进行测试。
[0010] 第一方面，本公开提供了基于混合现实的自动驾驶测试方法；
[0011] 基于混合现实的自动驾驶测试方法，包括：
[0012] 步骤(1)：根据实际测试场地建立三维虚拟测试环境；
[0013] 步骤(2)：选择真实测试车一样型号的虚拟测试车；选择与真实
传感器一样型号的虚拟传感器，将虚拟传感器设置在虚拟测试车上；
[0014] 步骤(3)：选择测试方案和测试路线；
[0015] 步骤(4)：控制真实测试车和虚拟测试车同时开始行驶；真实测试车在实际测试场地行驶，虚拟测试车在虚拟测试环境中行驶，真实测试车和虚拟测试车的测试路线一致；
[0016] 步骤(5)：虚拟测试车的虚拟传感器采集虚拟测试车的行驶数据和虚拟测试环境数据；
[0017] 同时，真实测试车的真实传感器采集真实测试车的行驶数据和真实测试环境数据；
[0018] 步骤(6)：虚拟传感器将数据上传给
云服务器，云服务器将虚拟传感器采集的数据同步给车载终端；车载终端将真实传感器和虚拟传感器的数据进行合并，根据合并后的数据控制真实车辆更新行驶速度和行驶路线；同时，
[0019] 测试场的路面传感器将采集的测试场环境信息上传给云服务器，云服务器上传给控制中心计算平台，控制中心计算平台根据采集的测试场环境信息对虚拟测试环境进行更新；
[0020] 真实测试车的真实传感器将采集的车体数据通过车载终端上传给云服务器，云服务器将真实传感器采集的数据同步给控制中心计算平台，控制中心计算平台根据真实传感器的数据，对虚拟测试车的行驶速度和路线进行更新；
[0021] 步骤(7)：控制中心对真实测试车的实时运行数据进行记录和存储。
[0022] 作为一些可能的实现方式，所述步骤(1)的具体步骤为：路面传感器将采集的真实测试车所在实际测试场地的环境数据发送给控制中心计算平台；控制中心计算平台根据接收到的环境数据，构建虚拟测试环境；
[0023] 作为一些可能的实现方式，所述步骤(3)的选择测试方案包括：为待测试的项目设置对应的测试步骤、测试环境、障碍物或测试工具。
[0024] 作为一些可能的实现方式，所述步骤(7)中，控制中心判断是否继续进行测试，如果是，则返回步骤(2)，如果否，就输出测试数据。
[0025] 基于混合现实的自动驾驶测试系统，包括：控制中心、测试场和真实测试车；所述控制中心分别与测试场和真实测试车通信，所述测试场与真实测试车之间也进行通信；测试场将真实环境信息上传给控制中心，由控制中心搭建虚拟测试环境，在虚拟测试环境中设有一辆虚拟测试车，所述虚拟测试车与真实测试车的型号一致，根据输入的测试方案，虚拟测试车将
虚拟环境下的测试数据通过云服务器传输给真实测试车的车载终端，从而真实测试车将虚拟环境测试数据与真实环境的数据进行融合，真实测试车根据融合后的数据选择行驶方案；
[0026] 同时，真实测试车将车载传感器的实时数据同步上传给控制中心的云服务器，测试场的路面传感器将路面的实时数据同步上传给控制中心的云服务器，云服务器将所接收的数据发送给控制中心计算平台，控制中心计算平台根据云服务器提供的数据对虚拟环境进行更新，同时对虚拟测试车的行驶速度和行驶路线进行调整；
[0027] 最后，控制中心计算平台将真实测试车在受虚拟测试环境影响下的行驶参数进行保存。
[0028] 作为一些可能的实现方式，所述控制中心，包括：控制中心计算平台，所述控制中心计算平台分别与云服务器、驾驶
模拟器和显示屏通信；
[0029] 所述云服务器，用于将控制中心计算平台的数据传输给测试车的车载终端；同时接收测试车的车载终端上传的真实测试车的性能数据；还接收测试场的路面传感器采集的路面数据，存储自动驾驶测试过程中产生的图片和视频。
[0030] 所述
驾驶模拟器，用于根据用户的操作对虚拟测试车的驾驶速度和路线进行调整；
[0031] 所述显示屏，用于将虚拟测试车的行驶速度和路线进行大屏幕显示；
[0032] 所述控制中心计算平台，包括：虚拟测试模
块，所述虚拟测试模块与混合显示模块连接，所述虚拟测试模块和混合现实模块均与
人机交互模块连接，所述人机交互模块还通过测试评价模块与数据存储模块连接，所述混合现实模块和人机交互模块还与通讯模块连接；
[0033] 所述虚拟测试模块，包括：虚拟测试环境构建单元、虚拟测试车构建单元、虚拟传感器构建的单元和虚拟测试数据生成单元；
[0034] 所述虚拟测试环境构建单元，用于根据测试场的路面传感器上传的测试场环境数据，构建虚拟的测试场环境；
[0035] 所述虚拟测试车构建单元，用于根据真实测试车的型号，在虚拟测试场环境中构建一台型号一样的虚拟测试车；
[0036] 所述虚拟传感器构建的单元，用于在虚拟测试车上构建一台虚拟传感器，用于对虚拟测试车的虚拟环境数据、虚拟测试车的行驶数据以及虚拟测试车的性能数据进行实时采集；
[0037] 所述虚拟测试数据生成单元，用于将虚拟测试车的虚拟环境数据、虚拟测试车的行驶数据以及虚拟测试车的性能数据打包，将打包后的数据上传给云服务器，通过云服务器发送给真实测试车的车载终端。
[0038] 所述混合现实模块，包括：真实虚拟测试车数据混合单元、真实虚拟
传感器数据混合单元和混合现实测试方案生成单元；
[0039] 所述真实虚拟测试车数据混合单元，用于根据真实测试车的运行数据对虚拟测试车的运行数据进行更新，所述运行数据，包括：速度或
加速度；
[0040] 所述真实虚拟传感器数据混合单元，用于根据真实测试车的性能数据对虚拟测试车的性能数据进行更新；所述性能数据，包括：油温或
发动机温度；
[0041] 所述混合现实测试方案生成单元，用于生成测试方案，所述测试方案，包括对测试路线进行设置，对障碍物进行设置或对车辆速度进行设置；
[0042] 测试方案，包括：道路避障测试，目标是测试自动驾驶汽车的避障能
力，测试方案为在道路中设置某种类型的障碍物，然后将该路段设置为被测车辆的行驶路线，并记录被测车辆避障的行为作为测试结果，包括：在测试路线上设置虚拟环境对象，所述虚拟环境对象，包括：虚拟障碍物、虚拟行人、虚拟车辆；所述虚拟对象只能被虚拟传感器
感知，通过虚拟传感器将感知的数据同步传输给真实测试车辆的车载终端。
[0043] 所述人机交互模块，用于接收用户的输入信息；
[0044] 所述测试评价模块，用于接收用户的评价结果；
[0045] 所述数据存储模块，用于对真实测试车的行驶数据进行存储。
[0046] 作为一些可能的实现方式，所述真实测试车，包括：车载计算平台，所述车载计算平台分别与真实传感器和LET-V车载终端通信；
[0047] 所述车载计算平台，包括：真实传感器
数据采集单元、真实虚拟数据混合单元、车载计算单元和数据传输单元；
[0048] 所述真实传感器数据采集单元，用于采集真实测试车的实时运行数据、真实测试车的性能数据和真实测试车的环境数据；
[0049] 所述真实虚拟数据混合单元，用于将虚拟测试车的环境数据融合到真实测试车的环境数据中，将融合后的环境数据作为真实测试车的环境数据；
[0050] 所述车载计算单元，用于对真实传感器采集的数据进行计算；
[0051] 所述数据传输单元，用于将真实测试车的车载终端的数据进行上传，上传给云服务器；
[0052] 所述真实传感器，用于采集真实测试车的运行数据、性能数据以及环境数据；所述真实传感器，包括：速度传感器、温度传感器、差分GPS、惯性导航单元、
激光雷达、毫米波雷达或摄像头；
[0053] 所述LET-V车载终端，安装在真实测试车上，是指智能车载终端，用于GPS
定位和无线数据传输；用于将真实测试车的车载终端的数据进行上传，上传给云服务器。
[0054] 作为一些可能的实现方式，所述测试场，包括路面传感器，所述路面传感器采集的信息上传给测试场的
控制器，然后通过测试场的控制器处理后，通过LTE-V路侧设备或GPS上传给LET-V车载终端；还通过GPS基站上传给云服务器；
[0055] 所述测试场的控制器，包括：真实传感器数据采集单元、边缘计算单元和数据传输单元；
[0056] 所述真实传感器数据采集单元，用于采集测试场的环境信息；
[0057] 所述边缘计算单元，用于计算测试场的可行驶路径以及道路宽度；
[0058] 所述数据传输单元，用于将测试场传感器采集的数据进行上传，上传给控制中心。
[0059] 与现有技术相比，本公开的有益效果是：
[0060] 1、本公开通过虚拟传感器的数据与真实传感器数据的融合，可以测试场景在短时间内发生很大的变化，交通场景的变化又多又快。
[0061] 2、本公开通过选择测试方案和测试路线，可以实现测试失败场景的重复再现；
[0062] 3、本公开可以节省成本，减轻对真实测试车辆的损伤。
附图说明
[0063] 构成本
申请的一部分的
说明书附图用来提供对本申请的进一步理解，本申请的示意性
实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
[0064] 图1为一个或多个实施方式的硬件连接示意图；
[0065] 图2为一个或多个实施方式的控制中心内部模块示意图；
具体实施方式
[0067] 应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
[0068] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0069] 随着自动驾驶技术的发展，自动驾驶测试需要虚拟仿真与真实试验进行更高程度的合作，在自动驾驶测试的各个阶段要求更复杂的模拟模型，更昂贵的硬件设置和高度控制的环境。针对上述问题，本公开创建了一种基于混合现实的自动驾驶测试方法，通过建立真实环境和虚拟环境的双系统测试
框架，提出一种封闭测试场内虚拟测试和实际测试相结合的混合现实测试方法。在自动驾驶测试过程中，通过混合现实技术进行真实测试系统和虚拟测试系统之间的信息交互和融合，实现
可视化的、成本更低以及更加安全的测试场景。
[0070] 本公开可以直接应用于自动驾驶封闭测试场的设计和实施，并为自动驾驶测试场的针对自动驾驶车辆测试，本公开提出一种真实和虚拟测试场景同时存在的混合现实测试方法，并建立混合现实的自动驾驶测试系统。首先根据真实测试环境建立虚拟测试环境，然后使用真实测试车在加入虚拟对象的真实环境下进行测试，实现更复杂的测试场景。同时根据真实测试的数据反馈给虚拟环境(特别是车辆数据和传感器数据等)，然后对虚拟环境进行修正，同时在虚拟环境中进行真实车辆的测试。本公开构建基于混合现实的自动驾驶测试方法的具体描述如下：
[0071] 本公开首先提出一种基于混合现实的自动驾驶测试方法，简称为混合现实测试方法。本公开采用混合现实技术，将现实环境和虚拟环境相结合，将多种虚拟对象引入真实世界的物理环境中，形成新的混合现实环境。通过自动驾驶车辆在混合现实环境中的测试，实现更加复杂和真实的测试场景，并减少自动驾驶测试过程的危险性。
[0072] 先进测试系统提供智能化和无人化的解决方案。
[0073] 混合现实测试方法的原理如图1所示。
[0074] 本公开混合现实测试方法采用服务器-客户端的实现方式，主要包括以下几个部分：混合现实环境、真实测试系统、虚拟测试系统，以及各种真实和虚拟对象。混合现实模块，位于封闭测试场的控制中心，车载终端基于车载计算单元，位于真实测试车辆端。
[0075] 其中混合现实(MR，Mixed Reality)，是结合真实和虚拟世界创造了新的环境和可视化，物理实体和数字对象共存并能实时相互作用，以用来模拟真实物体。
[0076] 真实测试环境，是真实世界中进行自动驾驶测试时所处于的物理环境，本公开中为封闭测试场。
[0077] 虚拟测试环境，是真实世界测试场景的复制品，同时还可以引入其他的虚拟对象来创建测试客户端的不同方案。
[0078] 混合现实环境，是混合真实和虚拟测试场景之后创建的，首先根据真实环境映射出对应的虚拟环境，然后在虚拟环境中增加虚拟对象，最后将所增加虚拟对象的信息反馈到真实环境中，从而在不改变真实环境的条件下生成更加复杂的场景。
[0079] 混合现实模块，是在控制中心上用于处理车载终端的
请求和命令，并同时收集和处理虚拟测试场景和真实测试场景中生成的数据。这些数据包括虚拟物体的几何信息，真实测试车辆在真实世界中行驶时所感知的数据，以及进行模拟测试前在真实物理环境中所测量的其他可用数据，例如真实障碍物的数据，真实测试场中移动假车、假人的数据，以及具体的天气信息，路面信息，可见度等。
[0080] 本公开混合现实测试系统由真实测试系统和虚拟测试系统两部分构成，既可以进行自动驾驶单项性能的测试，又可以使用双系统模式进行混合现实环境下的自动驾驶综合性能测试。单项功能测试主要测试车辆的某一项功能，主要用于较低等级的自动驾驶，例如自动泊车，前向碰撞避免等功能。真实测试系统主要包括真实测试车、真实传感器和车载终端，虚拟测试系统主要包括虚拟测试车、虚拟传感器，以及其他虚拟环境对象。本公开混合现实测试系统的架构如图2所示。
[0081] 真实测试车，是指被测试的自动驾驶车辆实体，具备自主感知、决策和控制功能，车上安装有真实传感器和车载终端。
[0082] 真实传感器，是自动驾驶车辆上安装的各种传感器元件，主要包括差分GPS、惯性导航单元、激光雷达、毫米波雷达和摄像头等。
[0083] 其中真实测试车和真实传感器统称为真实对象。
[0084] 车载终端，是基于高性能芯片和嵌入式实时
操作系统构建的整车计算控制核心，能够判断车辆的状态、做出行为决策和整车控制。
[0085] 虚拟测试车，是根据真实测试车的各项参数在虚拟环境中建立的三维模型，主要包括车辆外形、几何尺寸、车速和车辆中心坐标。特别注意，虚拟测试车跟真实测试车必须是对应的。
[0086] 虚拟传感器，是根据真实传感器的功能在虚拟环境中建立的三维模型，可以将虚拟信息传递给真实传感器和真实测试车，并根据真实传感器的信息更新虚拟测试系统状态。
[0087] 虚拟环境对象，是真实环境中没有，只存在于虚拟环境中的虚拟障碍物和虚拟交通流对象，包括虚拟汽车，虚拟
自行车和虚拟行人等。虚拟环境对象只能被虚拟传感器感知，并将感知信息传递给真实传感器和真实测试车，从而模拟更复杂、更危险的测试环境。
[0088] 其中虚拟测试车、虚拟传感器和虚拟环境对象统称为虚拟对象。
[0089] 云服务器，是云计算服务的重要组成部分，通过部署在互联网中的各个集群
节点，为各类用户提供独立的计算、存储、在线备份、托管、带宽等
基础设施服务。云服务器更加高效和安全，并可以提供弹性扩展的资源用量。
[0090] 测试车辆数据，是指测试车辆当前状态下的各项运动学参数，包括车辆几何尺寸、
位置坐标、速度、加速度、车辆航向
角等，主要用于测试自动驾驶车辆的导航功能和控制系统性能。
[0091] 传感器数据，是指真实传感器和虚拟传感器感知到的环境信息，包括各种道路、障碍物、背景车辆和行人的类型识别、距离和几何尺寸计算等，主要用于测试自动驾驶车辆的感知系统性能。
[0092] 自动驾驶测试数据，是指自动驾驶车辆的各项综合性能指标，包括当前状态的判断、具体操作的选择、操作响应时间以及车辆的智能化程度等，主要用于测试自动驾驶车辆的决策系统和整体性能。
[0093] 车联网通讯，是通过车载自组织网络，把行程中的车辆转化为无线节点，形成大范围的无线移动通信网，实现车辆之间、车辆与路边基础设施之间、以及车与
数据中心之间的通讯。
[0094] 本公开混合现实测试系统将上述真实对象和虚拟对象有机的结合起来，实现了真实测试环境和虚拟测试环境的交互和融合，构建了更加复杂的混合现实测试环境。并通过测试车辆数据、传感器数据和自动驾驶测试数据的获取和分析，对自动驾驶车辆的单项性能和综合性能进行有效的测试和评价。
[0095] 针对不同的测试项目和目的，本公开测试系统可以选择单独测试和混合现实测试两种模式。其中单独的真实环境测试主要测试车辆性能指标，单独的虚拟测试主要测试自动驾驶
算法和相关软件性能，混合现实测试主要针对复杂的测试场景进行自动驾驶车辆的综合性能测试。混合现实测试系统的实现过程包括：
[0096] 步骤(1)：采集真实环境地理数据，获取真实测试场的高
精度地图，根据地理位置信息建立测试场的三维仿真模型作为虚拟环境，根据真实测试车和真实传感器的参数，建立各种虚拟测试车和虚拟传感器的模型。
[0097] 步骤(2)：选择测试方案和测试路线，根据需要在虚拟测试环境中添加虚拟测试车和虚拟传感器，并实时将虚拟设备的数据发送给真实测试车和真实传感器，以模拟更复杂的交通环境。
[0098] 步骤(3)：真实测试车按照测试路线行驶，并根据感知到的真实环境数据和接收到的虚拟环境数据做出相应的反应。同时将真实环境的数据传送给混合现实模块，对虚拟环境进行修正，从而实现在混合现实环境下进行测试。
[0099] 步骤(4)：通过车载终端将测试数据上传到混合现实模块进行分析，并保存整个过程的测试数据。
[0100] 步骤(5)：测试结束，如果不再进行测试，则输出测试结果。如果需要继续测试，返回步骤(2)进行新的测试。
[0101] 混合现实测试系统的流程图如图3所示。
[0102] 特别指出，混合现实环境的真实性等级也可以根据自动驾驶测试的需要进行选择。在某些自动驾驶测试项目中，因为测试失败的后果严重，使用虚拟测试环境会节省成本并提高安全性，可以使用虚拟性较高的混合现实环境进行测试。而对于测试场景特别复杂，并且低风险的测试项目中，进行虚拟建模会需要大量的计算消耗，可以使用真实性较高的混合现实环境进行测试。
[0103] 将自动驾驶车辆的真实测试和虚拟测试相结合，在真实测试中加入虚拟对象和信息，以模拟更复杂和更危险的交通环境。通过Unity 3D建模软件，根据真实测试环境的高精度地图建立虚拟测试环境，其中虚拟环境具有真实环境的所有特征。根据真实测试车和真实传感器的各项参数，在虚拟测试环境中创建对应的虚拟测试车和虚拟传感器，并根据真实环境中的实时信息，更新其在虚拟环境中的状态。根据自动驾驶测试目的和测试方案，在虚拟测试系统中加入更为复杂的虚拟对象，包括虚拟障碍物、虚拟背景车辆和行人等，并将虚拟传感器感知到的数据传送给真实测试车，形成一种混合现实的测试环境。既可以单独使用真实或虚拟测试环境进行自动驾驶单项测试，又可以使用混合现实环境进行更加复杂的自动驾驶综合性能测试。可以将混合现实环境下整个测试过程的数据进行保存和分析，并实时存储于基于云计算平台的混合现实服务器中。根据混合现实服务器中保存的测试数据，可以在虚拟测试系统中对整个混合现实测试过程进行完整重现和反复训练，从而实现对自动驾驶车辆进行改进和提高的目的。
[0104] 以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何
修改、等同替换、改进等，均应包含在本申请的保护范围之内。
