一种多传感器数据的时间对齐方法及数据采集设备专利检索-计算机系统电脑零配件专利检索查询-专利查询网

一种多 传感器数据的时间对齐方法及 数据采集设备

阅读：356发布：2020-05-08

专利汇可以提供一种多传感器数据的时间对齐方法及数据采集设备专利检索，专利查询，专利分析的服务。并且一种多传感器数据的时间对齐方法及数据采集设备，该方法包括：从多个传感器中确定出基准传感器，基准传感器传输数据至处理器时所需的传输时间最长；确定多个传感器中除基准传感器以外的每个传感器的传输时间与基准传感器的传输时间之间的差值；针对除基准传感器以外的任一目标传感器，利用目标传感器对应的差值对基准传感器采集到的第一采集数据的接收时刻进行校正以得到第一采集数据新的接收时刻，并将第二采集数据和第一采集数据确定为同步的数据；第二采集数据为由目标传感器采集的数据，并且第二采集数据的接收时刻与第一采集数据新的接收时刻相同。该方法能够提高多传感器数据的时间对齐精度，从而统一各个传感器采集到的环境数据。，下面是一种多传感器数据的时间对齐方法及数据采集设备专利的具体信息内容。

权利要求

1.一种多传感器数据的时间对齐方法，其特征在于，包括：
从所述多个传感器中确定出基准传感器，所述基准传感器传输数据至处理器时所需的传输时间大于所述多个传感器中除所述基准传感器以外的任一传感器传输数据至所述处理器时所需的传输时间；
确定所述多个传感器中除所述基准传感器以外的每个传感器的所述传输时间与所述基准传感器的所述传输时间之间的差值；
读取所述基准传感器的第一采集数据的接收时刻；
针对所述多个传感器中除所述基准传感器以外的任一目标传感器，利用该目标传感器对应的所述差值对所述第一采集数据的接收时刻进行校正以得到所述第一采集数据新的接收时刻，并将第二采集数据和所述第一采集数据确定为同步的数据，所述第二采集数据为由该目标传感器采集的数据，并且所述第二采集数据的接收时刻与所述第一采集数据新的接收时刻相同。
2.根据权利要求1所述的多传感器数据的时间对齐方法，其特征在于，所述基准传感器为摄像头，所述确定所述多个传感器中除所述基准传感器以外的每个传感器的所述传输时间与所述基准传感器的所述传输时间之间的差值，包括：
获取所述摄像头拍摄的图像，所述图像包含处于目标位置的标记物，所述目标位置为已知的；
从所述图像中识别出所述标记物，以确定所述标记物在所述图像中的实际位置；
针对所述多个传感器中除所述摄像头以外的任一传感器，根据该传感器的数据确定拍摄到所述图像时该传感器的定位位置；
根据所述目标位置、所述定位位置、以及该传感器和所述摄像头之间的相对位置关系，将所述标记物投影至所述图像中，以确定所述标记物投影至所述图像中的投影位置与所述标记物在所述图像中的实际位置之间的距离；
根据车辆的速度和所述距离确定该传感器的所述传输时间与所述摄像头的所述传输时间之间的差值。
3.根据权利要求1或2所述的多传感器数据的时间对齐方法，其特征在于，当所述目标传感器为卫星定位装置时，所述方法还包括：
将所述第二采集数据中包含的卫星定位时刻记录为所述第二采集数据的接收时刻，所述卫星定位时刻为原子钟时间。
4.根据权利要求3所述的多传感器数据的时间对齐方法，其特征在于，当所述目标传感器为卫星定位装置时，所述利用所述目标传感器对应的所述差值对所述第一采集数据的接收时刻进行校正以得到所述第一采集数据新的接收时刻，包括：
根据所述卫星定位装置对应的所述差值和所述第一采集数据的接收时刻确定校正时刻；
根据计算机系统时间与原子钟时间的对应关系，将所述校正时刻从计算机时间转换为原子钟时间，将转换结果确定为所述第一采集数据新的接收时刻。
5.根据权利要求3或4所述的多传感器数据的时间对齐方法，其特征在于，所述方法还包括：
按照特定频率记录所述计算机系统时间和所述原子钟时间之间的对应关系。
6.一种数据采集设备，其特征在于，包括：
选取单元，用于从所述多个传感器中确定出基准传感器，所述基准传感器传输数据至处理器时所需的传输时间大于所述多个传感器中除所述基准传感器以外的任一传感器传输数据至所述处理器时所需的传输时间；
确定单元，用于确定所述多个传感器中除所述基准传感器以外的每个传感器的所述传输时间与所述基准传感器的所述传输时间之间的差值；
读取单元，用于读取所述基准传感器的第一采集数据的接收时刻；
同步单元，用于针对所述多个传感器中除所述基准传感器以外的任一目标传感器，利用该目标传感器对应的所述差值对所述第一采集数据的接收时刻进行校正以得到所述第一采集数据新的接收时刻，并将第二采集数据和所述第一采集数据确定为同步的数据，所述第二采集数据为由该目标传感器采集的数据，并且所述第二采集数据的接收时刻与所述第一采集数据新的接收时刻相同。
7.根据权利要求6所述的数据采集设备，其特征在于，所述基准传感器为摄像头；以及，所述确定单元，包括：
获取子单元，用于获取所述摄像头拍摄的图像，所述图像包含处于目标位置的标记物，所述目标位置为已知的；
确定子单元，用于从所述图像中识别出所述标记物，以确定所述标记物在所述图像中的实际位置；
计算子单元，用于针对所述多个传感器中除所述基准传感器以外的任一传感器，根据该传感器的采集数据确定拍摄到所述图像时该传感器的定位位置；根据所述目标位置、所述定位位置、以及该传感器和所述摄像头之间的相对位置关系，将所述标记物投影至所述图像中，以确定所述标记物投影至所述图像中的投影位置与所述标记物在所述图像中的实际位置之间的距离；根据车辆的速度和所述距离确定该传感器的所述传输时间与所述摄像头的所述传输时间之间的差值。
8.根据权利要求6所述的数据采集设备，其特征在于，所述数据采集设备还包括：
第一记录单元，用于在所述目标传感器为卫星定位装置时，将所述第二采集数据中包含的卫星定位时刻记录为所述第二采集数据的接收时刻，所述卫星定位时刻为原子钟时间。
9.根据权利要求8所述的数据采集设备，其特征在于，当所述目标传感器为卫星定位装置时，所述同步单元用于利用该目标传感器对应的所述差值对所述第一采集数据的接收时刻进行校正以得到所述第一采集数据新的接收时刻的方式具体为：
所述同步单元，用于根据所述卫星定位装置对应的所述差值和所述第一采集数据的接收时刻确定校正时刻；根据计算机系统时间与原子钟时间的对应关系，将所述校正时刻从计算机时间转换为原子钟时间，将转换结果确定为所述第一采集数据新的接收时刻。
10.根据权利要求9所述的数据采集设备，其特征在于，所述数据采集设备还包括：
第二记录单元，用于按照特定频率记录所述计算机系统时间和所述原子钟时间之间的对应关系。

说明书全文

一种多传感器数据的时间对齐方法及 数据采集设备

技术领域

[0001] 本发明涉及自动驾驶技术领域，具体涉及一种多传感器数据的时间对齐方法及数据采集设备。

背景技术

[0002] 在自动驾驶的技术方案中，一般使用多种不同类型的传感器进行数据采集，这些传感器彼此独立地对自动驾驶车辆的周边环境进行感知。融合多个传感器采集到的数据，可以更加准确地感知周边环境，提高自动驾驶的安全性。然而，各个传感器均可以采集到大量的数据，因此进行数据融合的其中一个前提条件是用于数据融合的一组传感器数据需要在时间上对齐。

[0003] 为了进行传感器数据之间的时间对齐，一般会在数据处理装置(如中央处理器，Central Processing Unit，CPU)接收到某一传感器数据时，记录下接收到该传感器数据的时间点(为该传感器数据打时间戳)。当需要进行数据融合时，数据处理装置读取时间戳相同的传感器数据，获得的各个传感器数据即为同步的数据，从而实现时间对齐。但是，在实践中发现，按照上述方法获得的同步数据实际上仍然存在一定的误差，在使用这些数据进行车辆定位时，不能满足自动驾驶所需的定位精度。

发明内容

[0004] 本发明实施例公开了一种多传感器数据的时间对齐方法及数据采集设备，能够提高多传感器数据的时间对齐精度，从而统一各个传感器采集到的环境数据。

[0005] 本发明实施例第一方面公开一种多传感器数据的时间对齐方法，所述方法包括：

[0006] 从所述多个传感器中确定出基准传感器，所述基准传感器传输数据至处理器时所需的传输时间大于所述多个传感器中除所述基准传感器以外的任一传感器传输数据至所述处理器时所需的传输时间；

[0007] 确定所述多个传感器中除所述基准传感器以外的每个传感器的所述传输时间与所述基准传感器的所述传输时间之间的差值；

[0008] 读取所述基准传感器的第一采集数据的接收时刻；

[0009] 针对所述多个传感器中除所述基准传感器以外的任一目标传感器，利用该目标传感器对应的所述差值对所述第一采集数据的接收时刻进行校正以得到所述第一采集数据新的接收时刻，并将第二采集数据和所述第一采集数据确定为同步的数据，所述第二采集数据为由该目标传感器采集的数据，并且所述第二采集数据的接收时刻与所述第一采集数据新的接收时刻相同。

[0010] 作为一种可选的实施方式，在本发明实施例第一方面中，所述基准传感器为摄像头，所述确定所述多个传感器中除所述基准传感器以外的每个传感器的所述传输时间与所述基准传感器的所述传输时间之间的差值，包括：

[0011] 获取所述摄像头拍摄的图像，所述图像包含处于目标位置的标记物，所述目标位置为已知的；

[0012] 从所述图像中识别出所述标记物，以确定所述标记物在所述图像中的实际位置；

[0013] 针对所述多个传感器中除所述摄像头以外的任一传感器，根据该传感器的数据确定拍摄到所述图像时该传感器的定位位置；

[0014] 根据所述目标位置、所述定位位置、以及该传感器和所述摄像头之间的相对位置关系，将所述标记物投影至所述图像中，以确定所述标记物投影至所述图像中的投影位置与所述标记物在所述图像中的实际位置之间的距离；

[0015] 根据车辆的速度和所述距离确定该传感器的所述传输时间与所述摄像头的所述传输时间之间的差值。

[0016] 作为一种可选的实施方式，在本发明实施例第一方面中，当所述目标传感器为卫星定位装置时，所述方法还包括：

[0017] 将所述第二采集数据中包含的卫星定位时刻记录为所述第二采集数据的接收时刻，所述卫星定位时刻为原子钟时间。

[0018] 作为一种可选的实施方式，在本发明实施例第一方面中，当所述目标传感器为卫星定位装置时，所述利用所述目标传感器对应的所述差值对所述第一采集数据的接收时刻进行校正以得到所述第一采集数据新的接收时刻，包括：

[0019] 根据所述卫星定位装置对应的所述差值和所述第一采集数据的接收时刻确定校正时刻；

[0020] 根据计算机系统时间与原子钟时间的对应关系，将所述校正时刻从计算机时间转换为原子钟时间，将转换结果确定为所述第一采集数据新的接收时刻。

[0021] 作为一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：

[0022] 按照特定频率记录所述计算机系统时间和所述原子钟时间之间的对应关系。

[0023] 本发明实施例第二方面公开一种数据采集设备，包括：

[0024] 选取单元，用于从所述多个传感器中确定出基准传感器，所述基准传感器传输数据至处理器时所需的传输时间大于所述多个传感器中除所述基准传感器以外的任一传感器传输数据至所述处理器时所需的传输时间；

[0025] 确定单元，用于确定所述多个传感器中除所述基准传感器以外的每个传感器的所述传输时间与所述基准传感器的所述传输时间之间的差值；

[0026] 读取单元，用于读取所述基准传感器的第一采集数据的接收时刻；

[0027] 同步单元，用于针对所述多个传感器中除所述基准传感器以外的任一目标传感器，利用该目标传感器对应的所述差值对所述第一采集数据的接收时刻进行校正以得到所述第一采集数据新的接收时刻，并将第二采集数据和所述第一采集数据确定为同步的数据，所述第二采集数据为由该目标传感器采集的数据，并且所述第二采集数据的接收时刻与所述第一采集数据新的接收时刻相同。

[0028] 作为一种可选的实施方式，在本发明实施例第二方面中，所述基准传感器为摄像头；以及，所述确定单元，包括：

[0029] 获取子单元，用于获取所述摄像头拍摄的图像，所述图像包含处于目标位置的标记物，所述目标位置为已知的；

[0030] 确定子单元，用于从所述图像中识别出所述标记物，以确定所述标记物在所述图像中的实际位置；

[0031] 计算子单元，用于针对所述多个传感器中除所述基准传感器以外的任一传感器，根据该传感器的采集数据确定拍摄到所述图像时该传感器的定位位置；根据所述目标位置、所述定位位置、以及该传感器和所述摄像头之间的相对位置关系，将所述标记物投影至所述图像中，以确定所述标记物投影至所述图像中的投影位置与所述标记物在所述图像中的实际位置之间的距离；根据车辆的速度和所述距离确定该传感器的所述传输时间与所述摄像头的所述传输时间之间的差值。

[0032] 作为一种可选的实施方式，在本发明实施例第二方面中，所述数据采集设备还包括：

[0033] 第一记录单元，用于在所述目标传感器为卫星定位装置时，将所述第二采集数据中包含的卫星定位时刻记录为所述第二采集数据的接收时刻，所述卫星定位时刻为原子钟时间。

[0034] 作为一种可选的实施方式，在本发明实施例第二方面中，当所述目标传感器为卫星定位装置时，所述同步单元用于利用该目标传感器对应的所述差值对所述第一采集数据的接收时刻进行校正以得到所述第一采集数据新的接收时刻的方式具体为：

[0035] 所述同步单元，用于根据所述卫星定位装置对应的所述差值和所述第一采集数据的接收时刻确定校正时刻；根据计算机系统时间与原子钟时间的对应关系，将所述校正时刻从计算机时间转换为原子钟时间，将转换结果确定为所述第一采集数据新的接收时刻。

[0036] 作为一种可选的实施方式，在本发明实施例第二方面中，所述数据采集设备还包括：

[0037] 第二记录单元，用于按照特定频率记录所述计算机系统时间和所述原子钟时间之间的对应关系。

[0038] 本发明实施例第三方面公开一种数据采集设备，包括：

[0039] 存储有可执行程序代码的存储器；

[0040] 与所述存储器耦合的处理器；

[0041] 传感器模块，包括但不限于摄像头、卫星定位装置、惯性测量单元、轮速计等传感器；

[0042] 所述处理器调用所述存储器中存储的所述可执行程序代码，接收传感器模块中各个传感器采集到的数据，并执行本发明实施例第一方面公开的任一项方法。

[0043] 本发明第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的任一项方法。

[0044] 本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的任一项方法。

[0045] 与现有技术相比，本发明的发明点及实现的有益效果：

[0046] 1、从多个传感器中选取出基准传感器，基准传感器采集到的数据传输至处理器时所需的传输时间大于除基准传感器以外的任一传感器采集到的数据传输至处理器时所需的传输时间(即基准传感器采集到的数据传输至处理器所需的传输时间最长)；然后确定除基准传感器以外的各个传感器的传输时间与基准传感器的传输时间之间的差值；在读取到基准传感器的第一采集数据的接收时刻之后，针对除基准传感器以外的任一目标传感器，利用该目标传感器对应的差值对第一采集数据的接收时刻进行校正，以得到第一采集数据新的接收时刻；将目标传感器采集到的第二采集数据和第一采集数据确定为同步的数据，其中第二采集数据的接收时刻和第一采集数据新的接收时刻相同。可见，在本发明实施例中，以数据传输时间最长的传感器作为基准传感器，在完成时间对齐之后，可以最大程度获取到数量最多的传感器采集到的数据，并且这些数据在时间上时同步的。反之，如果基准传感器不为数据传输时间最长的传感器，此时，假设某一目标传感器为数据传输时间最长的传感器，在校正得到第一采集数据新的接收时刻之后，可能目标传感器的采集数据还未传输至处理器，即不存在上述的第二采集数据。可见，实施本发明实施例，能够提高多传感器数据的时间对齐精度，从而统一各个传感器采集到的环境数据。

[0047] 2、选择摄像头作为基准传感器，可以利用摄像头拍摄得到的视觉信息进行基准传感器与其余传感器之间数据传输时延的计算。这种计算方式无需对各个传感器进行硬件改造也无需通过实验测量出各个传感器的传输时间，可以便捷地确定出基准传感器相对于各个传感器传的传输时延。此外，与惯性测量单元、论速计等传感器相比，摄像头的单次采集数据中可以包含更多信息，并且一般来说，图像数据所需的传输时间较长。基于前述的基准传感器选取标准，以摄像头作为基准传感器，可以尽可能地利用视觉信息进行数据融合，可以提高数据融合的精度。附图说明

[0048] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0049] 图1是本发明实施例公开的一种多传感器数据的时间对齐方法的流程示意图；

[0050] 图2是本发明实施例公开的另一种多传感器数据的时间对齐方法的流程示意图；

[0051] 图3是本发明实施例公开的一种数据采集设备的结构示意图；

[0052] 图4是本发明实施例公开的另一种数据采集设备的结构示意图；

[0053] 图5是本发明实施例公开的另一种数据采集设备的结构示意图。

具体实施方式

[0054] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0055] 需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

[0056] 本发明实施例公开了一种多传感器数据的时间对齐方法及数据采集设备，能够提高多传感器数据的时间对齐精度，从而统一各个传感器采集到的环境数据。以下分别进行详细说明。

[0057] 实施例一

[0058] 请参阅图1，图1是本发明实施例公开的一种多传感器数据的时间对齐方法的流程示意图。如图1所示，该多传感器数据方法可以包括以下步骤：

[0059] 101、数据采集设备从多个传感器中确定出基准传感器。

[0060] 本发明实施例中，上述的多个传感器可以包括摄像头、卫星定位装置(如GPS装置、北斗定位装置)、惯性导航单元(Inertial measurement unit，IMU)、轮速计、雷达等，本发明实施例不做限定。

[0061] 基准传感器传输数据至数据采集设备的处理器时所需的传输时间大于多个传感器中除基准传感器以外的任一传感器传输数据至处理器时所需的传输时间，即基准传感器传输数据至处理器时所需的传输时间最长。传感器传输数数据至处理器的传输时间受数据大小、传感器至处理器之间的电路布局等多种因素的影响。假设两个不同的传感器在同一时刻分别采集到两个数据，由于传输时间的影响，这两个数据传输至处理器的时刻可能不相同。如果CPU以接收时刻为标准获取在时间上同步的传感器数据进行时间融合，那么获取到的一组传感器数据中，各个传感器数据实际的产生时刻可能并不相同，利用这组传感器数据进行数据融合得到的结果精度较低。将传输时间最长的传感器确定为基准传感器，在完成时间对齐之后，可以最大程度获取到数量最多的传感器采集到的数据，并且这些数据在时间上时同步的，从而可以提高多传感器数据的时间对齐精度，进一步可以提高利用同步的传感器数据进行数据融合(如定位计算、建图等)。这是本发明的发明点之一。

[0062] 102、数据采集设备确定多个传感器中除基准传感器以外的每个传感器的传输时间与基准传感器的传输时间之间的差值。

[0063] 本发明实施例中，当确定出基准传感器之后，其余的各个传感器以基准传感器的传输时间为标准，确定出每个传感器的传输时间相对于基准传感器的差值。也就是说，对于同一时刻采集到的数据，除基准传感器以外的各个传感器数据与基准传感器的数据相比，分别提前多长时间传输至处理器。

[0064] 103、数据采集设备读取基准传感器的第一采集数据的接收时刻。

[0065] 本发明实施例中，数据采集设备可以记录各个传感器的数据传输至处理器的时刻。作为一种可选的实施方式，还可以根据数据的接收时刻对数据文件进行命名，以便于查找。

[0066] 104、针对多个传感器中除基准传感器以外的任一目标传感器，数据采集设备利用该目标传感器对应的差值对第一采集数据的接收时刻进行校正以得到第一采集数据新的接收时刻。

[0067] 本发明实施例中，数据采集设备利用目标传感器对应的差值对第一采集数据的接收时刻进行补偿，以消除目标传感器的传输时间与基准传感器的传输时间之间的相对误差。作为一种可选的实施方式，数据采集设备可以使用第一采集数据的接收时刻减去目标传感器对应的差值，将得到的结果作为第一采集数据新的接收时刻。举例来说，如果CPU在10:00:00.000接收到基准传感器采集到的第一采集数据，并且基准传感器的传输时间与某一目标传感器的传输时间之间的差值为500ms，那么校正之后第一采集数据新的接收时刻为09:59:59.500。数据采集设备可以将在09:59:59.500这一时刻接收到的该目标传感器采集到的第二采集数据确定为与上述的第一采集数据同步的数据。

[0068] 105、数据采集设备将目标传感器采集的第二采集数据和第一采集数据确定为同步的数据，并且第二采集数据的接收时刻与第一采集数据新的接收时刻相同。

[0069] 本发明实施例中，假设自动驾驶车辆上至少包括摄像头、IMU、GPS三个传感器，可以将摄像头确定为基准传感器，并可以确定出IMU的传输时间与摄像头的传输时间之间的差值Δt1，GPS的传输时间与摄像头的传输时间之间的差值Δt2，对于数据采集设备在某一时刻T1接收到的摄像头拍摄的图像(第一采集数据)，当目标传感器为IMU时，数据采集设备利用Δt1对T1进行校正得到新的接收时刻T2，将在T2时刻接收到的IMU数据(第二采集数据)确定为与上述图像同步的数据；当目标传感器为GPS时，数据采集设备利用Δt2对T1进行校正得到新的接收时刻T3，将在T3时刻接收到的GPS数据(第二采集数据)确定为与上述图像同步的数据。经过上述的时间校正之后，数据采集设备可以将在T1时刻接收到的图像，在T2时刻接收到的IMU数据，以及在T3时刻接收到的GPS数据确定为一组在时间上同步的传感器数据，可以认为IMU数据和GPS数据是在摄像头拍摄到上述图像的时刻产生的数据，利用该组传感器数据进行数据融合，可以提高融合结果的准确度。

[0070] 可见，在图1所描述的方法中，数据采集设备可以从多个传感器中确定出传输数据至处理器所需的传输时长最长的传感器作为基准传感器，然后计算除基准传感器以外的各个传感器的传输时间相对于基准传感器的传输时间的差值；针对除基准传感器之外的任一目标传感器，数据采集设备校正目标传感器的传输时间与基准传感器的传输时间之间的相对误差，从而可以提高多传感器数据的时间对齐精度，从而统一各个传感器采集到的环境数据。

[0071] 实施例二

[0072] 请参阅图2，图2是本发明实施例公开的一种多传感器数据的时间对齐方法的流程示意图。如图2所示，该多传感器数据方法可以包括以下步骤：

[0073] 201、数据采集设备从多个传感器中确定出摄像头作为基准传感器。

[0074] 在上述的多个传感器中，摄像头采集到的图像数据由于数据量大，并且在传输时涉及数据编解码等操作，图像数据的传输时间一般大于其他传感器数据的传输时间。因此，可以将摄像头确定为基准传感器。以摄像头作为基准传感器，可以尽可能地利用视觉信息进行数据融合，可以进一步提高数据融合的精度。这也是本发明的发明点之一。另外，执行下述步骤202～步骤206，可以利用摄像头拍摄到的视觉信息计算出摄像头相对于其余传感器的传输时延，实施这种计算方法，无需对各个传感器进行硬件改造也无需通过实验测量出各个传感器的传输时间，可以便捷地确定出基准传感器相对于各个传感器传的传输时延，这也是本发明的发明点之一。

[0075] 202、数据采集设备获取摄像头拍摄的图像，该图像包含处于目标位置的标记物并且目标位置为已知的。

[0076] 本发明实施例中，可以预先树立标记杆或者选取特定的路牌、限速标记等作为标记物，并且可以预先使用GPS定位等卫星定位手段测量出标记物的目标位置。特别的，上述特定的路牌、限速标记等标记物可以为电子地图中任一位置已知的物体，此时无需额外架设特殊的标记杆，只利用道路中本已存在的物体即可完成基准传感器相对于其余传感器的传输时延的计算，这也是本发明的发明点之一。

[0077] 203、数据采集设备从图像中识别出标记物，以确定标记物在图像中的实际位置。

[0078] 204、针对多个传感器中除摄像头以外的任一传感器，数据采集设备根据该传感器的数据确定拍摄到图像时该传感器的定位位置。

[0079] 本发明实施例中，数据采集设备可以读取出接收到包含标记物图像的接收时刻T；对于卫星定位装置，数据采集设备可以直接读取接收时刻为T的卫星定位数据作为卫星定位装置的定位位置；对于IMU，可以读取接收时刻为T的IMU数据，并利用IMU测量出的三轴加速度信息，从而计算出IMU的定位位置，本发明实施例不做限定。

[0080] 205、数据采集设备根据上述的目标位置、上述的定位位置、以及该传感器和摄像头之间的相对位置关系，将标记物投影至图像中，以确定标记物投影至图像中的投影位置与标记物在图像中的实际位置之间的距离。

[0081] 本发明实施例中，各个传感器在自动驾驶车辆上的安装位置可能不同。比如说，摄像头可能安装在车辆的前挡风玻璃所在的位置，IMU和GPS装置可能安装在车辆的后备箱。因此，各个传感器采集到的数据除了在时间上存在对应关系，在空间上也存在对应关系。针对车辆的周围环境中客观存在的某一标记物，不同传感器对该标记物的观测可以理解为该标记物在以各个传感器为坐标原点的坐标系中的表示。同时，根据各个传感器在空间上的对应关系，可以将标记物在某一坐标系中的表示转换至不同的坐标系中表示。

[0082] 举例来说，对于任一预设的标记物，由于标记物的目标位置是已知的，利用接收到的IMU数据定位出IMU的定位位置，可以将标记物转换至以IMU为原点的IMU坐标系中表示；根据IMU与摄像头之间的相对位置关系，可以将标记物从IMU坐标系转换至以摄像头为原点的摄像头坐标系中表示，并且根据摄像头自身的投影关系，可以计算出标记物在摄像头拍摄到的图像中的投影位置。如果IMU的传输时间与摄像头的传输时间之间不存在相对误差，那么对于在上述的T时刻接收到的IMU数据和图像，可以认为他们是同步的数据。此时，同一标记物在图像中投影位置和实际位置应该是相符的。如果IMU的传输时间与摄像头的传输时间之间存在相对误差，假设该相对误差为Δt1，那么根据T时刻接收到的IMU数据计算出的投影位置实际上为拍摄到图像之前Δt1的时刻该标记物相对于摄像头的位置。同一标记物在图像中的投影位置和实际位置之间的距离受到传感器之间的传输时延以及车辆的速度的影响，因此，执行下述的步骤206，可以确定出该传感器的传输时间与摄像头的传输时间之间的差值。

[0083] 206、数据采集设备根据车辆的速度、标记物的投影位置与实际位置之间的距离确定该传感器的传输时间与摄像头的传输时间之间的差值。

[0084] 本发明实施例中，上述的步骤203～步骤206具体可以通过以下数学模型进行表示：

[0085]

[0086] 其中，t为除摄像头以外的某一传感器的传输时间与摄像头传输时间之间的差值，K为相机的内参矩阵，T为转换矩阵，用于表示该传感器与摄像头之间的相对位置关系，Tb为该传感器的定位位置，为标记物的目标位置，那么可以理解的是，为标记物在图像中的投影位置；Vb为车辆的速度，为标记物的目标位置。

[0087] 通过不断迭代调整t的取值，使得通过时间补偿之后得到的标记物投影位置与该标记物在图像中的实际位置之间的误差最小，从而将误差最小时t的取值确定为上述传感器的传输时间与摄像头传输时间之间的差值。

[0088] 结合该数学模型可见，执行上述的步骤201～步骤206，可以确定出多个传感器中除基准传感器以外的每个传感器的传输时间与基准传感器的传输时间之间的差值；针对除基准传感器以外的任一目标传感器，数据采集设备可以根据目标传感器对应的差值进行时间校正，从而可以将目标传感器采集到的数据与基准传感器采集到的数据在时间上对齐。此外，通过执行上述的步骤，驾驶车辆途经预设的标记物，以使摄像头拍摄到标记物，即可自动计算出摄像头的传输时间与除摄像头以外的各个传感器的传输时间之间的差值，无需对各个传感器进行硬件改造或者进行传输时间的测量，可以更加便捷地确定出基准传感器相对于各个传感器传的传输时延。这也是本发明的发明点之一

[0089] 207、数据采集设备读取摄像头的第一采集数据的接收时刻。

[0090] 作为一种可选的实施方式，当目标传感器为卫星定位装置时，数据采集设备可以执行以下步骤：

[0091] 208、数据采集设备将第二采集数据中包含的卫星定位时刻记录为第二采集数据的接收时刻。

[0092] 本发明实施例中，第二采集数据可以为卫星定位装置采集到的数据，如GPS定位信息。从卫星定位信息中可知，卫星定位时刻与卫星定位位置对应的瞬时时刻，该卫星定位时刻为原子钟时间。利用各个传感器相对于基准传感器的传输时延进行时间校正以提高时间对齐精度的实施方式可以在各个传感器的传输时间固定的情况下获得良好的效果。在一些可能的实施例中，传感器传输数据至处理器时，由于有各种因素的影响，数据传输链路可能会被阻塞，该传感器数据传输至处理器所需的传输时间与基准传感器的传输时间之间的实际差值与预先确定出的差值可能不相符，此时如果采用预先确定出的差值进行时间校正，传感器数据的时间对齐精度较低。而卫星定位数据中包含卫星定位时刻，卫星定位时刻是一个精确的原子钟时间，可以不受数据传输链路的状态影响。这也是本发明的发明点之一。

[0093] 209、数据采集设备根据卫星定位装置对应的差值和第一采集数据的接收时刻确定校正时刻。

[0094] 210、数据采集设备根据计算机系统时间与原子钟时间的对应关系，将校正时刻从计算机时间转换为原子钟时间，将转换结果确定为第一采集数据新的接收时刻。

[0095] 本发明实施例中，数据采集设备可以维护一张时间对应关系表，表中包含计算机时间和原子钟时间之间的对应关系，数据采集设备可以按照特定频率记录计算机系统时间和原子钟时间之间的对应关系，并更新到时间对应关系表中。

[0096] 211、数据采集设备将卫星定位装置采集的第二采集数据和第一采集数据确定为同步的数据，并且该第二采集数据的接收时刻与第一采集数据新的接收时刻相同。

[0097] 在一些可能的实施例中，自动驾驶车辆的GPS装置和IMU可以整合为一个组合导航设备，该组合导航设备用于测量车辆的位姿信息，并且以GPS的原子钟时间为计时标准。相应地，数据采集设备可以确定出摄像头的传输时间与组合导航设备的传输时间之间的差值Δt3。数据采集设备可以存储及维护如下表所示的三种类型的数据：

[0098]IMG(UNIX-TIME) 时间对(UNIX-TIME，GPS-TIME) POSE(GPS-TIME)
……t1…….jpg t2，t3 t3，pose

[0099] 其中，上表中IMG为摄像头拍摄得到的图像数据，POSE为自动驾驶车辆的位姿信息，至少包括车辆的经度、纬度、海拔高度、俯仰角、航向角以及翻滚角，其中，经度、纬度、高度等位置信息可以通过GPS装置的测量数据获得，俯仰角、航向角以及翻滚角等姿态信息可以通过IMU的测量数据获得。UNIX-TIME为计算机系统时间，GPS-TIME为卫星定位时刻，时间对即为计算机时间和原子钟时间之间的对应关系。基于上述的时间对，数据采集设备获取与摄像头拍摄到的图像同步的车辆POSE数据的方式可以为：对于摄像头在某一时刻t1拍摄到的图像，利用上述的Δt3对t1进行校正，以得到上述图像的校正时刻t2；通过时间对查找到与t2(UNIX-TIME)对应的t3(GPS-TIME)作为该图像新的接收时刻，并获取卫星定位时刻为t3的POSE数据作为摄像头在t1时刻拍摄到的图像同步的数据。

[0100] 可见，在图2所描述的方法中，数据采集设备可以通过基准传感器的传输时间和目标传感器的传输时间之间的差值对第一采集数据的接收时刻进行校正，以提高传感器数据时间对齐的精度。进一步地，图2所描述的方法中，以摄像头为基准传感器，通过计算预设的标定为在摄像头拍摄到的图像中的投影位置和在图像中的实际位置之间的距离，确定出基准传感器的传输时间与除基准传感器以外的各个传感器的传输时间之间的差距，可以便捷地确定出基准传感器相对于各个传感器传的传输时延。更进一步地，在图2所描述的方法中，当目标传感器为卫星定位装置时，数据采集设备利用目标传感器对应的传输时间差值对第一采集数据的接收时刻进行校正之后，还可以利用原子钟时间与计算机系统时间的对应关系进一步地对第一采集数据的接收时刻进行校正，从而进一步提高时间对齐的精度。

[0101] 实施例三

[0102] 请参阅图3，图3是本发明实施例公开的一种数据采集设备的结构示意图。如图3所示，该数据采集设备可以包括：

[0103] 选取单元301，用于从多个传感器中确定出基准传感器，该基准传感器传输数据至处理器时所需的传输时间大于多个传感器中除基准传感器以外的任一传感器传输数据至处理器时所需的传输时间；

[0104] 本发明实施例中，上述的多个传感器可以包括摄像头、卫星定位装置、惯性导航单元、轮速计、雷达等，本发明实施例不做限定。

[0105] 确定单元302，用于确定多个传感器中除选取单元301确定出的基准传感器以外的每个传感器的传输时间与基准传感器的传输时间之间的差值；

[0106] 读取单元303，用于读取选取单元301确定出的基准传感器的第一采集数据的接收时刻；

[0107] 同步单元304，用于针对多个传感器中除基准传感器以外的任一目标传感器，利用确定单元302确定出的该目标传感器对应的差值对读取单元303读取到的第一采集数据的接收时刻进行校正以得到第一采集数据新的接收时刻，并第二采集数据和第一采集数据确定为同步的数据，上述的第二采集数据为由该目标传感器采集的数据，并且第二采集数据的接收时刻与第一采集数据新的接收时刻相同。作为一种可选的实施方式，同步单元304可以使用第一采集数据的接收时刻减去目标传感器对应的差值，将得到的结果作为第一采集数据新的接收时刻。

[0108] 可见，实施图3所示的数据采集设备，可以确定出基准传感器的传输时间相对于除基准传感器以外的各个传感器的传输时间之间的差值，从而利用各个传感器对应的差值对基准传感器的第一采集数据的接收时刻进行校正，利用校正后的接收时刻获取在时间上同步的传感器数据，从而可以使得获取到的一组传感器数据在时间上以第一采集数据的接收时刻为基准对齐，可以提高多传感器数据的时间对齐精度，从而统一各个传感器采集到的环境数据。

[0109] 实施例四

[0110] 请参阅图4，图4是本发明实施例公开的另一种数据采集设备的结构示意图。其中，图4所示的数据采集设备可以由图3所示的数据采集设备进行优化得到的。在图4所示的数据采集设备中：

[0111] 选取单元301从多个传感器中确定出的基准传感器可以为摄像头；

[0112] 以及，在图4所示的数据采集设备中，上述的确定单元302，可以包括：

[0113] 获取子单元3021，用于获取选取单元301确定出的摄像头拍摄的图像，该图像包含处于目标位置的标记物，并且目标位置为已知的；

[0114] 确定子单元3022，用于从获取子单元3021获取到的图像中识别出标记物，以确定标记物在图像中的实际位置；

[0115] 本发明实施例中，可以预先树立标记杆或者选取特定的路牌、限速标记等作为标记物，并且可以预先使用GPS定位等卫星定位手段测量出标记物的目标位置。

[0116] 计算子单元3033，用于针对多个传感器中除基准传感器以外的任一传感器，根据该传感器的采集数据确定拍摄到上述的图像时该传感器的定位位置；根据标记物的目标位置、该传感器的定位位置、以及该传感器和摄像头之间的相对位置关系，将标记物投影至图像中，以确定标记物投影至图像中的投影位置与确定子单元3022确定出的标记物在图像中的实际位置之间的距离；根据车辆的速度和上述的距离确定该传感器的传输时间与摄像头的传输时间之间的差值。

[0117] 可见，实施图4所示的数据采集设备，如果在车辆的行驶图中摄像头拍摄到标记物，那么确定单元302采用上述的实施方式即可自动确定出基准传感器的传输时间与除基准传感器以外的各个传感器的传输时间之间的差值，无需对各个传感器进行硬件改造或者进行传输时间的测量。

[0118] 可选的，在图4所示的数据采集设备中，还可以包括：

[0119] 第一记录单元305，用于在同步单元304针对的目标传感器为卫星定位装置时，将卫星定位装置采集到的第二采集数据中包含的卫星定位时刻记录为该第二采集数据的接收时刻，上述的卫星定位时刻为原子钟时间。具体地，上述的同步单元304根据第一记录单元305记录的第二采集数据的接收时刻，将第二采集数据确定为与第一采集数据同步的数据。

[0120] 此外，当目标传感器为卫星定位装置时，上述的同步单元304用于利用该目标传感器对差值对第一采集数据的接收时刻进行校正以得到第一采集数据新的接收时刻的方式具体可以为：

[0121] 上述的同步单元304，用于根据卫星定位装置对应的差值和第一采集数据的接收时刻确定校正时刻；根据计算机系统时间与原子钟时间的对应关系，将校正时刻从计算机时间转换为原子钟时间，将转换结果确定为第一采集数据新的接收时刻。

[0122] 进一步地，图4所示的数据采集设备还可以包括：

[0123] 第二记录单元306，用于按照特定频率记录计算机系统时间和原子钟时间之间的对应关系。具体地，上述的同步单元304根据第二记录单元306记录的计算机系统时间和原子钟时间之间的对应关系，将校正时刻从计算机时间转换为原子钟时间。

[0124] 综上所述，实施图4所示的数据采集设备，可以通过基准传感器的传输时间和目标传感器的传输时间之间的差值对第一采集数据的接收时刻进行校正，以提高传感器数据时间对齐的精度。进一步地，实施图4所示的数据采集设备，还可以便捷地确定出基准传感器相对于各个传感器传的传输时延。更进一步地，实施图4所示的数据采集设备还可以利用原子钟时间与计算机系统时间的对应关系进一步地对第一采集数据的接收时刻进行校正，从而进一步提高时间同步的精度。

[0125] 实施例五

[0126] 请参阅图5，图5是本发明实施例公开的另一种数据采集设备的结构示意图。如图5所示，该数据采集设备可以包括：

[0127] 存储有可执行程序代码的存储器501；

[0128] 与存储器501耦合的处理器502；

[0129] 传感器模块503，包括但不限于摄像头、卫星定位装置、惯性测量单元、轮速计等传感器；

[0130] 其中，处理器502调用存储器501中存储的可执行程序代码，接收传感器模块503中各个传感器采集到的数据，并执行图1或图2所示的多传感器数据的时间对齐方法。

[0131] 本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1或图2所示的多传感器数据的时间对齐方法。

[0132] 本发明实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行图1或图2所示的多传感器数据的时间对齐方法。

[0133] 应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。

[0134] 在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

[0135] 上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

[0136] 另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

[0137] 上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。

[0138] 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

[0139] 以上对本发明实施例公开的一种多传感器数据的时间对齐方法及数据采集设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

标题	发布/更新时间	阅读量
一种双目或多目摄像头曝光方法、系统和存储介质	2020-05-08	234
一种多传感器数据的时间对齐方法及数据采集设备	2020-05-08	356
数据访问方法以及计算机系统	2020-05-11	595
低排放静态控氧生物强化腐殖化堆肥的方法	2020-05-08	766
数据处理装置和方法	2020-05-11	959
客户端设备和主机设备订阅	2020-05-11	504
汽车与移动端的界面视频快速播放方法、系统及存储介质	2020-05-08	47
用于呼吸机设置的决策支持系统	2020-05-11	97
一种任务处理方法、装置及计算机系统	2020-05-08	560
步兵战车驾驶训练模拟系统	2020-05-08	31

一种多传感器数据的时间对齐方法及数据采集设备

一种多传感器数据的时间对齐方法及数据采集设备

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：