评估自主车辆算法
阅读：323发布：2020-05-14
专利汇可以提供评估自主车辆算法专利检索，专利查询，专利分析的服务。并且本公开提供了“评估自主车辆 算法 ”。本 发明 扩展到用于评估自主车辆算法的方法、系统和 计算机程序 产品。各方面使用(例如，监督的) 机器学习 技术来分析自主车辆算法在真实世界和模拟数据上的性能。可以使用机器学习技术来识别更可能影响算法性能的场景特征。还可以使用机器学习技术来整合洞察并且在多次 迭代 中自动化相关测试 用例 的生成以识别容易出错场景。，下面是评估自主车辆算法专利的具体信息内容。
1.一种模拟数据流水线方法，其包括：
针对多个场景中的每一个场景，在所述场景中定义的条件下执行自主车辆算法以模拟车辆活动；
针对每个特征值对每个特征的失败场景进行自动地分类；
自动生成指示促成失败场景的特征值的大小和跨失败场景的特征重要性的报告；和细化场景以获得促成失败场景的特征值组合的另外信息。
2.如权利要求1所述的方法，其还包括：
制定所述多个场景，每个场景包括多个特征的值的不同组合，其包括：
从场景数据库访问选择的场景描述；和
将每个场景描述转换成相对应的场景。
3.如权利要求2所述的方法，其中将每个场景描述转换成相对应的场景包括：使用YAML文件生成视频的模拟器；和
其中根据在所述场景中定义的条件在所述视频上执行所述自主车辆算法。
4.如权利要求1所述的方法，其还包括利用所述测试模拟器中的模拟传感器来监测所述自主车辆算法的执行；和
其中针对每个特征值对每个特征的失败场景进行自动地分类包括从所监测的执行中对失败场景进行分类。
5.如权利要求1所述的方法，其还包括修改所述自主车辆算法以解决促成失败场景的特征值的所指示大小以及跨失败场景的特征重要性。
6.如权利要求1所述的方法，其中执行自主车辆算法包括在以下的一者中执行所述自主车辆算法：虚拟环境或物理环境；以及
其还包括在仪表板上呈现所述生成的报告。
7.如权利要求1所述的方法，其中自动生成指示促成失败场景的特征值的大小和跨失败场景的特征重要性的报告包括具有自动生成所述报告的线性内核的支持向量机(SVM)。
8.如权利要求1所述的方法，其中细化场景以获得关于促成失败场景的特征值组合的另外信息包括：
使用所述生成的报告的内容根据导致失败的参数来制定数据库查询；
将所述查询提交给场景数据库；和
接收描述多个另外场景的描述文件。
9.一种在计算机系统中的方法，其包括：
从场景数据库访问多个环境，每个环境包括多个特征中的每一个特征的值；
针对所述多个环境中的每一个环境生成描述文件；
将每个描述文件转换成模拟器兼容的可执行文件；
在模拟器中执行每个模拟器兼容的可执行文件，以模拟自主车辆算法的性能；
针对所述自主车辆算法的感知或视觉，测试模拟性能；
跨所述多个特征对失败的模拟性能进行分类；
确定所述多个特征中的每一个特征的重要性；
在仪表板上呈现针对每个特征的所述分类的失败的模拟性能和确定的重要性；和接收解决所述失败的模拟性能的包括以下各项中的一项或多项的输入：对所述自主车辆算法的修改或请求针对促成失败的模拟性能的特征的所述自主车辆算法的另外模拟性能的场景数据库查询。
10.如权利要求9所述的方法，其中执行每个模拟器兼容的可执行文件包括在游戏引擎中执行每个模拟器兼容的可执行文件以生成虚拟环境。
11.如权利要求9所述的方法，其中针对所述多个模拟环境中的每一个模拟环境生成描述文件包括生成YAML文件。
12.如权利要求9所述的方法，其中将每个描述文件转换成测试模拟器兼容的可执行文件包括生成可执行文件，所述可执行文件被配置为使用所述YAML文件生成多个视频。
13.一种计算机系统，所述计算机系统包括：
处理器；
系统存储器，所述系统存储器联接到所述处理器且存储被配置为致使所述处理器执行以下操作的指令：
从场景数据库访问随机的多个模拟环境，每个模拟环境包括多个特征中的每一个特征的值；
针对所述多个模拟环境中的每一个模拟环境生成描述文件；
将每个描述文件转换成测试模拟器兼容的可执行文件；
在测试模拟器中执行每个测试模拟器兼容的可执行文件，以模拟自主车辆算法的性能；
针对所述自主车辆算法的感知或视觉，测试模拟性能；
跨所述多个特征对失败的模拟性能进行分类；
确定所述多个特征中的每一个特征的权重，所述权重指示所述特征对模拟性能的重要性；
在仪表板上显示所述分类的失败的模拟性能和确定的权重；
访问请求针对促成失败的模拟性能的特征的所述自主车辆算法的另外模拟性能的场景数据库查询；
将所述场景数据库查询提交给所述场景数据库；和
基于响应于所述查询而返回的描述文件来执行另外的模拟性能。
14.如权利要求13所述的计算机系统，其中被配置为针对所述多个模拟环境中的每一个模拟环境生成描述文件的所述指令包括被配置为生成YAML文件的指令；和其中被配置为将每个描述文件转换成测试模拟器兼容的可执行文件的所述指令包括被配置为将所述YAML文件转换成多个视频的指令。
15.如权利要求13所述的计算机系统，其中被配置为跨所述多个特征对失败的模拟性能进行分类的所述指令包括支持向量机(SVM)，所述SVM被配置为针对每个特征计算跨失败的模拟性能的每个值的数量情况；和
其中被配置为确定所述多个特征中的每一个特征的权重的所述指令包括所述支持向量机(SVM)，所述SVM被配置为计算特征权重的向量。
评估自主车辆算法
技术领域
[0001] 本发明总体上涉及自主车辆领域，更具体地说，涉及评估自主车辆算法。
背景技术
[0002] 例如，定义测试场景来训练自主车辆是手动的、劳动密集型的，并且受限于工程师设计具有挑战性场景的能力。随着参数的数量和可能的参数值的数量的增加，手动过程可能会模糊算法性能的失败模式。另外，可以跨生成大量测试结果数据的大量交互来测试算法。手动解析测试结果数据也是手动的、劳动密集型的活动。
发明内容
[0003] 本发明扩展到用于评估自主车辆算法的方法、系统和计算机程序产品。更一般地，各方面使用(例如，监督的)机器学习技术来分析自主车辆算法在真实世界和模拟数据上的性能。可以使用机器学习技术来识别更可能影响算法性能的场景特征。还可以使用机器学习技术来整合洞察并且在多次迭代中自动化相关测试用例的生成以识别容易出错场景。
[0004] 在更具体的方面中，在多个不同场景中定义的条件下执行自主车辆算法以模拟车辆活动。针对每个特征值对每个特征的失败场景进行分类。生成报告。这些报告指示促成失败场景的特征值的大小以及跨失败场景的特征的重要性。可以细化场景以获得关于促成失败场景的特征值组合的另外信息。附图说明
[0005] 参考以下描述和附图，本发明的具体特征、方面和优点将变得更好理解，在附图中：
[0006] 图1示出了计算装置的示例框图。
[0007] 图2示出了便于评估自主车辆算法的示例计算机架构。
[0008] 图3示出了用于评估自主车辆算法的示例方法的流程图。
[0009] 图4A和图4B示出了用于评估自主车辆算法的示例数据流。
具体实施方式
[0010] 本发明扩展到用于评估自主车辆算法的方法、系统和计算机程序产品。
[0011] 开发用于自主车辆的生产级代码的一个挑战是在数百万英里的道路测试上验证性能。因此，机动车制造商使用包括游戏引擎在内的模拟工具来手动生成场景，收集模拟的传感器数据，以及验证自主车辆算法性能。在其他方面，机动车制造商使用真实世界的数据作为自主车辆算法验证的组成部分。在最初测试算法之后，工程师导出关于不同参数如何影响算法性能的假设。为了确认所述假设，工程师执行另外的测试回合，以识别容易出错场景中的参数趋势。随着算法变得更加复杂和场景规模扩大(例如，包括100个参数)，盲区变得不可避免，并导致安全风险。
[0012] 工程师使用实验设计(DOE)技术来手动导出和整合关于算法性能的洞察。随着参数数量的增加和场景变得更加复杂，DOE技术难以应用。因此，通常，在模拟数据上测试自主车辆算法假设是耗时的、复杂的，并且不能很好地扩展。
[0013] 因此，本发明的各方面使用(例如，监督的)机器学习技术(诸如，支持向量机(SVM))来分析自主车辆算法在模拟数据上的性能。可以使用机器学习技术来识别更可能影响算法性能的场景特征。还可以使用机器学习技术来整合洞察并且在多次迭代中自动化相关测试用例的生成以识别容易出错场景。
[0014] 数据库被加载有用于场景的不同特征组合的(潜在的穷尽)列表。用于场景的特征组合可以包括车辆姿态、环境因素和模拟的其他方面，诸如用于L2至L5自动化的特征。选择许多不同特征值组合。针对每个不同的特征组合生成传感器数据和地面实况。将用于每个不同特征组合的传感器数据馈送到(例如，自主车辆)算法中。对于每个不同的特征组合，算法确定场景的度量，诸如，场景是通过(成功)还是失败的(例如)二进制度量、非二进制度量或其他自定义度量。所述算法输出每个特征值组合以及度量的指示，诸如，算法是通过还是失败。
[0015] 算法输出被馈送到机器学习分类器。在一个方面，机器学习分类器是具有线性内核的SVM。然而，也可以使用其他监督学习模型和/或内核。机器学习分类器可以将算法输出转换成更高维特征空间报告，所述更高维特征空间报告指示不同特征值与失败相关联的频率。高维特征空间报告可用于在多个类别之间找到更好的分离。
[0016] 具有线性内核的SVM还可以获得权重向量，其中每个权重与特定特征相关联。权重的大小可用于识别不同特征对算法成功的重要性。例如，可以使用权重来识别对自主车辆算法或特征的成功的天气、地面、照明条件等的重要性。自主特征可以包括L2至L5自动化的任何特征，例如，自动换道、其他高速公路驾驶特征(直至完全自主)等。机器学习分类器可以使用权重生成特征重要性报告。
[0017] 可以使用更高维特征空间报告来获得特征重要性报告(例如，权重向量)。可以在可视化仪表板上呈现更高维特征空间报告和/或特征报告的概要，以指示特征以及特征如何促成算法成功/失败。可视化仪表板可以为工程师提供洞察，以做出进一步的测试决策。
[0018] 在一个方面，工程师停止测试过程并修改算法以改进性能。在另一方面，工程师运行另一个测试迭代。工程师可以基于更高维特征空间报告和特征重要性报告来选择更重要的特征值。例如，工程师可以选择具有最高权重大小的三个特征。工程师可以使用这三个特征来自动化DOE过程。例如，当测试碰撞避免算法时，所述分析可以识别导致自我车辆和其他模拟角色之间碰撞机会减少的地面类型。趋势可用于设计下一次迭代的查询。
[0019] 因此，迭代方法显著地减少工程师分析算法性能的手动工作量。自动识别对模拟和真实世界结果具有更大影响的特征和特征值减少了运行批量测试的计算工作量和时间。在每次迭代之后，工程师可以从更高维特征空间报告和特征重要性报告(例如，权重向量)获得洞察，以更好地对算法改进工作进行优先级排序。
[0020] 此外，改进了(例如，大规模)算法测试的生产率。通过自动化场景查询和后续迭代选择的过程，测试可以将更多的覆盖范围集中在导致算法失败而不是随机选择的场景上。
[0021] 图1示出了计算装置100的示例框图。计算装置100可用于执行各种过程，诸如本文所讨论的那些过程。计算装置100可以充当服务器、客户端或任何其他计算实体。计算装置100可以执行本文所述的各种通信和数据传输功能，并且可以执行一个或多个应用程序，诸如本文所描述的应用程序。计算装置100可以是多种计算装置中的任何一种，诸如移动电话或其他移动装置、台式计算机、笔记本计算机、服务器计算机、手持计算机、平板计算机等。
[0022] 计算装置100包括一个或多个处理器102、一个或多个存储器装置104、一个或多个接口106、一个或多个大容量存储装置108、一个或多个输入/输出(I/O)装置110、以及显示装置130，所有这些都联接到总线112。(一个或多个)处理器102包括一个或多个处理器或控制器，所述一个或多个处理器或控制器执行存储在(一个或多个)存储器装置104和/或(一个或多个)大容量存储装置108中的指令。(一个或多个)处理器102还可以包括各种类型的计算机存储介质，诸如高速缓冲存储器。
[0023] (一个或多个)存储器装置104包括各种计算机存储介质，诸如易失性存储器(例如，随机存取存储器(RAM)114)和/或非易失性存储器(例如，只读存储器(ROM)116)。(一个或多个)存储器装置104还可以包括可重写ROM，诸如快闪存储器。
[0024] (一个或多个)大容量存储装置108包括各种计算机存储介质，诸如磁带、磁盘、光盘、固态存储器(例如，快闪存储器)等。如图1所示，特定的大容量存储装置是硬盘驱动器124。(一个或多个)大容量存储装置108中还可以包括各种驱动器，以使得能够从各种计算机可读介质读取和/或向各种计算机可读介质写入。(一个或多个)大容量存储装置108包括可移除介质126和/或不可移除介质。
[0025] (一个或多个)I/O装置110包括允许将数据和/或其他信息输入到计算装置100或从计算装置100检索的各种装置。示例(一个或多个)I/O装置110包括光标控制装置、键盘、小键盘、条形码扫描仪、传声器、监测器或其他显示装置、扬声器、打印机、网络接口卡、调制解调器、相机、镜头、雷达、CCD或其他图像捕获装置等。
[0026] 显示装置130包括能够向计算装置100的一个或多个用户显示信息的任何类型的装置。显示装置130的示例包括监测器、显示终端、视频投影装置等。
[0027] (一个或多个)接口106包括允许计算装置100与其他系统、装置或计算环境以及人类交互的各种接口。示例(一个或多个)接口106可以包括任意数量的不同网络接口120，诸如到个人区域网(PAN)、局域网(LAN)、广域网(WAN)、无线网络(例如，近场通信(NFC)、蓝牙、Wi-Fi等、网络)和互联网的接口。其他接口包括用户接口118和外围装置接口122。
[0028] 总线112允许(一个或多个)处理器102、(一个或多个)存储器装置104、(一个或多个)接口106、(一个或多个)大容量存储装置108和(一个或多个)I/O装置110、以及联接到总线112的其他装置或部件彼此通信。总线112表示若干类型的总线结构中的一种或多种，诸如系统总线、PCI总线、IEEE 1394总线、USB总线等。
[0030] 图2示出了用于评估自主车辆算法的示例计算机架构200。如所描绘的，计算机架构200包括数据库201、测试用例描述模块202、可执行文件生成器203、测试模拟器241、机器学习分类器206、仪表板232和工程师207。测试模拟器241还包括自主车辆算法204和监测器231。
[0031] 数据库201可以包括用于测试自主车辆算法204的一组广泛的(并且可能是穷尽的)场景211(例如，211A、211B、211C、211D等)。每个场景定义了一组不同的条件，在所述一组不同的条件下将测试自主车辆算法204的性能。每个场景还可以定义场景中不同角色的脚本化动态运动及其特性。
[0032] 通过选择特征212、213等的值的不同组合来设置条件。例如，场景211A相应地包括用于特征212、213等的值212A、213A等。场景211B相应地包括用于特征212、213等的值212B、213B等。场景211C相应地包括用于特征212、213等的值212C、213C等。场景211D相应地包括用于特征212、213等的值212D、213D等。值可以包括用于环境特征的静态值以及用于动态运动的脚本。因此，数据库201可以存储静态值和脚本化动态运动的组合。
[0033] 每个特征表示可以具有各种不同的值的变量，例如，天气、地面、照明条件、日照角等。例如，天气值可以包括雨、雪、冰雹、晴等。地面值可以包括草地、混凝土、沥青、砾石、基础等。每个特征可以与两个或更多值以及多达十几个或更多值相关联。在一个方面，数据库201包括针对特征值的每个可能的不同组合的场景。因此，数据库201可以潜在地定义用于测试自主车辆算法204的数百万个不同的场景。
[0034] 测试用例描述模块202被配置为将数据库201中定义的环境转换成测试用例描述。在一个方面，测试用例描述模块202针对每个场景创建场景描述文件(例如，YAML文件、JSON文件、TXT文件、CSV文件等)。可执行文件生成器203被配置为将描述文件转换成测试模拟器兼容的可执行场景。在一个方面，场景生成器203用于获取场景描述文件，诸如YAML文件，以在虚拟环境中运行模拟并生成传感器数据，诸如视频。然而，可以使用捕获文本文件/数据库/日志中的模拟细节并且使用模拟细节来生成模拟数据的任何机制。模拟数据可以包括来自相机或IR相机的视频数据、来自激光雷达的点云数据、来自雷达的检测、音频或任何其他类型的模拟传感器数据。模拟数据还可以包括地面实况。
[0035] 测试模拟器241被配置为执行兼容的执行场景，以模拟自主车辆算法204在不同物理环境中的性能。在一个方面，测试模拟器241是游戏引擎。基于游戏引擎的模拟生成传感器数据(诸如视频)，所述传感器数据被传递到自主车辆算法204以进行处理。替代地和/或组合地，测试模拟器241可以使用真实世界传感器数据来模拟自主车辆算法204的性能。监测器231(例如，测试模拟器241的部件)被配置为针对每个兼容的可执行场景监测执行自主车辆算法204的结果。监测器231可以输出包括每个测试用例以及测试用例是否通过或失败的指示的表格。
[0036] 机器学习分类器206被配置为跨多个特征对失败的模拟性能进行分类。在一个方面，机器学习分类器206是具有线性内核的SVM。也可以使用其他机器学习分类器，例如，线性回归、逻辑回归、朴素贝叶斯、决策树等。关于算法性能的统计可以指示针对每个特征每个特征值与自主车辆算法204的失败相关联的次数、针对每个特征非二进制特征的值出现的次数、用于理解模拟中特征的值的其他度量。机器学习分类器206还可以确定每个特征的重要性，例如权重。针对每个特征，所确定的重要性指示所述特征对自主车辆算法204的性能的影响。机器学习分类器206可以生成表示每个特征的重要性的特征重要性报告。
[0037] 机器学习分类器206可以在仪表板232上呈现更高维特征空间报告和特征确定的权重。
[0038] 工程师207可以在仪表板232上查看更高维特征空间报告和特征重要性报告。工程师207可以进行输入以修改自主车辆算法204和/或可以进行输入以查询数据库201以请求自主车辆算法204的另外模拟性能。请求的自主车辆算法204的另外性能可以针对促成自主车辆算法204失败性能的特征和特征值。
[0039] 图3示出了用于评估自主车辆算法的示例方法300的流程图。将相对于计算机架构200中的部件和数据来描述方法300。在一个方面，使用预定义度量自动化选择后续查询的过程，所述预定义度量识别最经常导致自主车辆算法失败的特征值。
[0040] 方法300包括从场景数据库访问多个模拟环境，每个模拟环境包括多个特征中的每一个特征的值(301)。例如，自动化系统或工程师207可以向数据库201提交随机查询221。响应于随机查询221，数据库201可以返回设置222。每个设置222都包括特征212的值、特征
213的值等。在另一方面，工程师207可以确定第一次迭代使用什么模拟环境。
213的值等。在另一方面，工程师207可以确定第一次迭代使用什么模拟环境。
[0041] 方法300包括针对多个模拟环境中的每一个模拟环境生成描述文件(302)。例如，测试用例描述模块202可以生成测试用例描述223。测试用例描述223可以包括针对设置222中的每个环境的测试用例。测试用例描述223可以是YAML文件或使用某种其他描述语言格式化。
[0042] 方法300包括将每个描述文件转换成测试模拟器兼容的可执行文件(303)。例如，可执行文件生成器203可以将测试用例描述223转换成与测试模拟器241兼容的可执行文件224。可执行文件224可以包括用于测试用例描述223中的每个测试用例描述的可执行文件。
因此，每个可执行文件224本质上表示在来自数据库201的场景中定义的条件下自主车辆算法204的执行，以模拟车辆活动。可执行文件224可用于生成传感器和日志数据，以执行自主车辆算法。例如，记录相机数据可以产生视频数据。然而，也可以使用其他类型的传感器。
因此，每个可执行文件224本质上表示在来自数据库201的场景中定义的条件下自主车辆算法204的执行，以模拟车辆活动。可执行文件224可用于生成传感器和日志数据，以执行自主车辆算法。例如，记录相机数据可以产生视频数据。然而，也可以使用其他类型的传感器。
[0043] 方法300包括在测试模拟器中执行每个测试模拟器兼容的可执行文件，以模拟自主车辆算法的性能(304)。例如，测试模拟器241可以执行每个可执行文件224以模拟执行车辆活动的自主车辆算法204。每个可执行文件224表示自主车辆算法204在不同定义的物理环境中的性能(基于特征212、213等的值)。
[0044] 监测器231可以在每个可执行文件224的执行期间监测自主车辆算法204的性能。监测器231可以根据所监测的性能来制定表格226。表格226包括从数据库201查询的每个场景(例如，211A、211E、211F、211G)和对应的特征值。例如，场景211A相应地包括用于特征
212、213等的值212A、213A等。场景211E相应地包括用于特征212、213等的值212E、213E等。
场景211F相应地包括用于特征212、213等的值212F、213F等。场景211G相应地包括用于特征
212、213等的值212G、213G等。每个场景还包括指示自主车辆算法204的性能的性能指示
214。可以通过所述生成的数据如何满足自主车辆算法204的目标和标准来定义场景性能。
在一个示例中，一个或多个目标和标准被指示为在由场景模拟的物理环境中通过或失败。
212、213等的值212A、213A等。场景211E相应地包括用于特征212、213等的值212E、213E等。
场景211F相应地包括用于特征212、213等的值212F、213F等。场景211G相应地包括用于特征
212、213等的值212G、213G等。每个场景还包括指示自主车辆算法204的性能的性能指示
214。可以通过所述生成的数据如何满足自主车辆算法204的目标和标准来定义场景性能。
在一个示例中，一个或多个目标和标准被指示为在由场景模拟的物理环境中通过或失败。
[0045] 方法300包括跨多个特征对失败的模拟性能进行分类(305)。例如，机器学习分类器206可以自动地对失败性能(例如，211E、211F等)进行分类。机器学习分类器206可以生成更高维特征空间报告227。更高维特征空间报告227可以指示针对每个特征所述特征的值与失败性能相关联的频率。例如，对于特征212，更高维特征空间报告227可以指示值212A、212B、212C、212D等中的每个与自主车辆算法204的失败性能相关联的频率。
[0046] 方法300包括确定多个特征中的每一个特征的重要性(306)。例如，机器学习分类器206可以自动确定特征212、重要性特征213等的重要性。针对每个特征，机器学习分类器206可以在特征重要性报告228中包括确定的重要性。在一个方面，机器分类器206计算指示特征的重要性的每个特征的权重。
[0047] 因此，机器学习分类器206可以自动生成指示促成失败场景的特征值的大小并且指示跨失败场景的特征重要性的报告。
[0048] 方法300包括在仪表板处呈现针对每个特征的所述分类的失败的模拟性能和确定的重要性(307)。例如，机器学习分类器206可以在仪表板232上呈现更高维报告227和特征重要性报告228。工程师207可以在仪表板232上查看更高维报告227和特征重要性报告228。
[0049] 方法300包括接收解决失败的模拟性能的输入，其包括以下各项中的一项或多项：对所述自主车辆算法的修改或请求针对促成失败的模拟性能的特征的所述自主车辆算法的另外模拟性能的场景数据库查询(308)。例如，工程师207可以基于更高维报告227的内容和特征重要性报告228的内容来做出解决自主车辆算法204的失败的模拟性能的决策。在另一方面，工程师207使用自动化过程来解决失败的模拟性能，诸如，例如，选择后续测试用例。在另一方面，使用度量来选择后续测试用例，其中选择器识别最常导致算法失败的特征值。
[0050] 在一个方面，工程师207输入算法更新229以修改自主车辆算法204。测试模拟器241可以接收算法更新229，并将算法更新229应用于自主车辆算法204。在另一方面，工程师
207将查询233输入到数据库201。数据库201可以接收查询233并响应于查询233识别另外环境。因此，工程师207可以细化场景以获得关于促成失败场景的特征值组合的另外信息。
207将查询233输入到数据库201。数据库201可以接收查询233并响应于查询233识别另外环境。因此，工程师207可以细化场景以获得关于促成失败场景的特征值组合的另外信息。
[0051] 图4A和图4B示出了用于评估自主车辆算法的示例数据流400。将模拟环境的所有可能组合都输入数据库(401)中。从数据库中查询记录(402)。查询结果用于针对每个场景生成YAML文件(403)。YAML文件被输入到生成传感器数据(例如，视频)的可执行文件中(404)。
[0052] 将具有YAML文件和可执行文件的视频馈送到自主车辆算法(405)中。针对每个场景定义成功/失败(406)。一组特征随着算法的成功/失败被推送以训练诸如具有线性内核的SVM的机器学习分类器(407)。生成按特征值跨所有特征的失败情况的报告(408)。408中的数字指示特征值与自主车辆算法失败相关联的次数。使用权重向量来确定特征的重要性(409)。
[0053] 工程师可以停止测试并修改自主车辆算法(410)，或者可以继续测试数据流的另一次迭代(411)。工程师可以使用实验设计(DOE)趋势来生成查询(412)。
[0054] 因此，本发明的各方面包括在模拟数据上测试自主算法。测试可以利用监督机器学习技术，诸如支持向量机(SVM)，来识别最有可能影响算法性能的场景特征。可以整合洞察，并在多次迭代中自动化相关测试用例的生成，以突出容易出错的场景。
[0055] 将初始场景和成功/失败标签连接起来以形成新数据集。新数据库被用来训练受监督的机器学习分类器，诸如SVM。可以使用线性内核来获得权重向量，其中每个权重与特定特征相关联。这些权重的大小识别了不同特征的重要性。基于初始查询场景生成报告，所述初始查询场景概括了模拟结果中不同特征及其值的模式和趋势。基于所述报告，自主算法被修改，以便为针对容易出错的场景而设计的下一次测试迭代提供更好的性能或查询。
[0056] 在一个方面，一个或多个处理器被配置为执行指令(例如，计算机可读指令，计算机可执行指令等)以执行多个所描述的操作中的任何操作。一个或多个处理器可以从系统存储器访问信息和/或将信息存储在系统存储器中。一个或多个处理器可以在不同的格式之间转换信息，诸如特征、值、场景、环境、测试用例描述、可执行文件、表格、更高维特征空间报告、特征重要性报告、算法更新、查询等。
[0057] 系统存储器可以联接到一个或多个处理器并且可以存储由一个或多个处理器执行的指令(例如，计算机可读指令、计算机可执行指令等)。系统存储器还可以被配置为存储由所描述的部件生成的多种其他类型的数据中的任何一种，例如，特征、值、场景、环境、测试用例描述、可执行文件、表格、更高维特征空间报告、特征重要性报告、算法更新、查询等。
[0058] 在上面的公开内容中，已经参考了附图，这些附图形成了本公开的一部分，并且在附图中通过说明的方式示出了可以实践本公开的具体实现方式。应理解，在不脱离本公开的范围的情况下，可以利用其他实现方式并且可以进行结构改变。说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指示所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例可以不一定包括特定的特征、结构或特性。此外，此类短语不一定指同一实施例。此外，当结合实施例描述特定特征、结构或特性时，无论是否明确描述都认为结合其他实施例来影响此类特征、结构或特性是在本领域技术人员的知识范围内。
[0059] 本文公开的系统、装置和方法的实现方式可以包括或利用专用或通用计算机，所述专用或通用计算机包括例如一个或多个处理器和系统存储器的计算机硬件，如本文所讨论的。本公开范围内的实现方式还可以包括用于携载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这种计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。携载计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实现方式可以包括至少两种截然不同的计算机可读介质：计算机存储介质(装置)和传输介质。
[0060] 计算机存储介质(装置)包括RAM、ROM、EEPROM、CD-ROM、固态驱动器(“SSD”)(例如，基于RAM)、快闪存储器、相变存储器(“PCM”)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或其他磁存储装置、或可用于以计算机可执行指令或数据结构的形式存储期望程序代码装置并且可由通用或专用计算机访问的任何其他介质。
[0061] 本文所公开的装置、系统和方法的实现方式可以通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当通过网络或其他通信连接(硬连线、无线或硬连线或无线的组合)向计算机传输或提供信息时，所述计算机将所述连接正确地视为传输介质。传输介质可以包括网络和/或数据链路，所述网络和/或数据链路可用于携载计算机可执行指令或数据结构形式的期望程序代码装置，并且可由通用或专用计算机访问。上述的组合也应被包括在计算机可读介质的范围内。
[0062] 计算机可执行指令包括例如在处理器处执行时使通用计算机、专用计算机或专用处理装置执行特定功能或功能组的指令和数据。计算机可执行指令可以是例如二进制代码、诸如汇编语言的中间格式指令，或者甚至源代码。尽管已经用特定于结构特征和/或方法动作的语言描述了主题，但应理解，所附权利要求中定义的主题不一定限于上述特征或动作。相反，所描述的特征和动作是作为实现权利要求的示例形式公开的。
[0063] 本领域的技术人员将理解，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实践，包括：内置式或其他车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器或可编程消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、平板计算机、寻呼机、路由器、交换机、各种存储装置等。本公开还可以在分布式系统环境中实践，在分布式系统环境中通过网络链接(通过硬连线数据链路、无线数据链路、或者通过硬连线和无线数据链路的组合)的本地和远程计算机系统两者都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器存储装置两者中。
[0064] 此外，在适当的情况下，本文描述的功能可以在以下中的一者或多者中执行：硬件、软件、固件、数字部件或模拟部件。例如，可以编程一个或多个专用集成电路(ASIC)以执行本文描述的系统和过程中的一者或多者。在整个说明书和权利要求中使用某些术语来指代特定的系统部件。如本领域技术人员将理解的，部件可以用不同的名称来指代。本文档无意区分名称不同但功能相同的部件。
[0065] 应注意，上面讨论的传感器实施例可以包括计算机硬件、软件、固件或它们的任何组合以执行其功能的至少一部分。例如，传感器可以包括被配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例性装置在本文出于说明目的而提供，而无意进行限制。本公开的实施例可以在如(一个或多个)相关领域技术人员所已知的其他类型的装置中实现。
[0067] 虽然以上已经描述了本公开的各个实施例，但是应理解，它们仅以示例而非限制的方式呈现。对于相关领域的技术人员显而易见的是，在不脱离本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。因此，本公开的广度和范围不应受任何上述示例性实施例的限制，而应仅根据以下权利要求及其等同物来限定。前面的描述是为了说明和描述的目的而给出的。其并非意图穷尽或将本公开限制于所公开的精确形式。鉴于上述教导，许多修改、变化和组合都是可能的。另外，应注意，任何或所有前述替代实现方式都可以以期望的任何组合使用，以形成本公开的另外的混合实现方式。
[0068] 根据本发明，一种模拟数据流水线方法包括：针对多个场景中的每一个场景，在场景中定义的条件下执行自主车辆算法，以模拟车辆活动；针对每个特征值对每个特征的失败场景进行自动地分类；自动生成指示促成失败场景的特征值的大小和跨失败场景的特征重要性的报告；和细化场景以获得关于促成失败场景的特征值组合的另外信息。
[0069] 根据一个实施例，上述发明的特征还在于，制定多个场景，每个场景都包括多个特征的值的不同组合。
[0070] 根据一个实施例，上述发明的特征还在于，制定多个场景包括：从场景数据库访问选择的场景描述；以及将每个场景描述转换成相对应的场景。
[0071] 根据一个实施例，本发明的特征还在于，将每个场景描述转换成相对应的场景包括：使用YAML文件生成视频的模拟器；并且其中根据在所述场景中定义的条件在所述视频上执行所述自主车辆算法。
[0072] 根据一个实施例，上述发明的特征还在于，利用测试模拟器中的模拟传感器监测所述自主车辆算法的执行；并且其中针对每个特征值对每个特征的失败场景进行自动地分类包括从所监测的执行中对失败场景进行分类。
[0073] 根据一个实施例，上述发明的特征还在于，修改所述自主车辆算法以解决促成失败场景的特征值的所指示大小以及跨失败场景的特征重要性。
[0074] 根据一个实施例，上述发明的特征还在于，执行自主车辆算法包括在以下的一者中执行所述自主车辆算法：虚拟环境或物理环境；并且还包括在仪表板上呈现生成的报告。
[0075] 根据一个实施例，上述发明的特征还在于，自动生成指示促成失败场景的特征值的大小和跨失败场景的特征重要性的报告包括具有自动生成所述报告的线性内核的支持向量机(SVM)。
[0076] 根据一个实施例，上述发明的特征还在于，自动生成指示跨失败场景的特征重要性的报告包括生成将每个特征映射到权重的报告。
[0077] 根据一个实施例，上述发明的特征还在于，细化场景以获得关于促成失败场景的特征值组合的另外信息包括：使用所述生成的报告的内容根据导致失败的参数来制定数据库查询；将所述查询提交给场景数据库；和接收描述多个另外场景的描述文件。
[0078] 根据本发明，提供了一种实现一种方法的计算机系统，所述方法包括：从场景数据库访问多个环境，每个环境包括多个特征中的每一个特征的值；针对所述多个环境中的每一个环境生成描述文件；将每个描述文件转换成模拟器兼容的可执行文件；在模拟器中执行每个模拟器兼容的可执行文件，以模拟自主车辆算法的性能；针对所述自主车辆算法的感知或视觉，测试模拟性能；跨所述多个特征对失败的模拟性能进行分类；确定所述多个特征中的每一个特征的重要性；在仪表板上呈现针对每个特征的所述分类的失败的模拟性能和确定的重要性；和接收解决所述失败的模拟性能的输入，其包括以下各项中的一项或多项：对所述自主车辆算法的修改或请求针对促成失败的模拟性能的特征的所述自主车辆算法的另外模拟性能的场景数据库查询。
[0079] 根据一个实施例，上述发明的特征还在于，执行每个模拟器兼容的可执行文件包括在游戏引擎中执行每个模拟器兼容的可执行文件以生成虚拟环境。
[0080] 根据一个实施例，上述发明的特征还在于，针对多个模拟环境中的每一者生成描述文件包括生成YAML文件。
[0081] 根据一个实施例，上述发明的特征还在于，将每个描述文件转换成测试模拟器兼容的可执行文件包括生成可执行文件，所述可执行文件被配置为使用所述YAML文件生成多个视频。
[0082] 根据一个实施例，上述发明的特征还在于，跨所述多个特征对失败的模拟性能进行分类包括支持向量机(SVM)针对每个特征计算跨失败的模拟性能的每个值的数量情况。
[0083] 根据一个实施例，上述发明的特征还在于，确定所述多个特征中的每一个特征的权重包括支持向量机(SVM)计算特征权重的向量。
[0084] 根据本发明，提供了一种计算机系统，其具有：处理器；系统存储器，其联接到所述处理器且存储被配置为致使所述处理器执行以下操作的指令：从场景数据库访问随机的多个模拟环境，每个模拟环境包括多个特征中的每一个特征的值；针对所述多个模拟环境中的每一个模拟环境生成描述文件；将每个描述文件转换成测试模拟器兼容的可执行文件；在测试模拟器中执行每个测试模拟器兼容的可执行文件，以模拟自主车辆算法的性能；针对所述自主车辆算法的感知或视觉，测试模拟性能；跨所述多个特征对失败的模拟性能进行分类；确定所述多个特征中的每一个特征的权重，所述权重指示所述特征对模拟性能的重要性；在仪表板上显示所述分类的失败的模拟性能和确定的权重；访问请求针对促成失败的模拟性能的特征的所述自主车辆算法的另外模拟性能的场景数据库查询；将所述场景数据库查询提交给所述场景数据库；和基于响应于所述查询而返回的描述文件来执行另外的模拟性能。
[0085] 根据一个实施例，所述指令被配置为针对所述多个模拟环境中的每一个模拟环境生成描述文件包括被配置为生成YAML文件的指令；并且其中被配置为将每个描述文件转换成测试模拟器兼容的可执行文件的所述指令包括被配置为将所述YAML文件转换成多个视频的指令。
[0086] 根据一个实施例，所述指令被配置为跨所述多个特征对失败的模拟性能进行分类包括支持向量机(SVM)，所述SVM被配置为针对每个特征计算跨失败的模拟性能的每个值的数量情况。
[0087] 根据一个实施例，所述指令被配置为确定所述多个特征中的每个特征的权重包括所述支持向量机(SVM)，所述SVM被配置为计算特征权重的向量。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于光线追踪技术的航空遥感成像几何变形仿真方法 | 2021-08-05 | 9 |
| 用于显示图像的方法、设备和计算机程序 | 2020-09-20 | 9 |
| Running add-on components in virtual environments | 2021-04-01 | 5 |
| Musical action response system | 2021-06-02 | 1 |
| SYSTEMS AND METHODS OF MANAGING VIRTUAL WORLD AVATARS | 2021-06-02 | 2 |
| VOXEL BASED THREE DIMENSIONAL VIRTUAL ENVIROMENTS | 2021-08-19 | 0 |
| Driving simulation apparatus, wide-angle camera video simulation apparatus, and image deforming/compositing apparatus | 2021-02-19 | 7 |
| Participant interaction with entertainment in real and virtual environments | 2022-01-25 | 5 |
| METHOD AND APPARATUS FOR A VIRTUAL IMAGE WORLD | 2021-09-19 | 9 |
| SYSTEM AND METHOD FOR DISPLAYING CURRENT IMAGES OF VIRTUAL MACHINE ENVIRONMENTS | 2022-01-18 | 5 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
虚拟环境热门专利
QQ群二维码
意见反馈
意见反馈