移动成像平台校准专利检索-全景照相机照相机摄影专利检索查询-专利查询网

移动成像平台校准

阅读：243发布：2020-05-15

专利汇可以提供移动成像平台校准专利检索，专利查询，专利分析的服务。并且移动平台被使用来在行进通过区域时使用各种各样的传感器 (例如，照相机和激光扫描器)来捕获该区域，以便创建表示(例如，可导航的一组全景图像或三维重建 )。然而，这样的传感器常常以受控的设置来精确地校准，而在行进期间的错误校准(例如，由于物理震动)可能导致数据的讹误和/或重新校准，这使得平台在延长的持续时间内业务中止。这里提出了用于在行进期间验证传感器校准的技术。这样的技术牵涉到识别对于每个传感器的随时间的传感器路径(例如，激光扫描器路径、照相机路径和位置传感器路径)，以及可选地在对于静止坐标系统配准后比较这些路径，以便验证在平台的移动操作期间传感器的不断的校准。，下面是移动成像平台校准专利的具体信息内容。

权利要求

1.一种计算机实现的方法，包括：
接收来自第一传感器的第一信息；
将所述第一信息转化为表示所述第一传感器的路径的第一多个向量，所述第一多个向量包括具有第一位置值、第一取向值以及第一平移值的第一向量，所述第一向量与时间相关联；
从第二传感器接收第二信息；
将所述第二信息转化为表示所述第二传感器的路径的第二多个向量，所述第二多个向量包括具有第二位置值、第二取向值以及第二平移值的第二向量，所述第二向量与所述时间相关联；
从第三传感器接收第三信息；
将所述第三信息转化为表示所述第三传感器的路径的第三多个向量，所述第三多个向量包括具有第三位置值、第三取向值以及第三平移值的第三向量，所述第三向量与所述时间相关联；
通过以下方式执行三方比较：
将所述第一多个向量与所述第二多个向量进行比较；
将所述第二多个向量与所述第三多个向量进行比较；
将所述第三多个向量与所述第一多个向量进行比较；
基于比较并基于对以下的确定，来确定所述第一传感器被错误校准：
所述第一向量与所述第二向量之间存在第一差别；
所述第一向量与所述第三向量之间存在第二差别；以及
所述第三向量与所述第二向量之间存在相似性。
2.根据权利要求1所述的方法，其中所述第一传感器是激光器，所述第二传感器是照相机，并且所述第三传感器是GPS传感器。
3.根据权利要求1所述的方法，其中所述第一差别是由于所述第一位置值与所述第二位置值不同；其中所述第二差别是由于所述第一位置值与所述第三位置值不同；并且其中所述相似性是由于所述第二位置值与所述第三位置值相似。
4.根据权利要求1所述的方法，其中所述第一传感器、所述第二传感器以及所述第三传感器位于单个平台上。
5.如权利要求4所述的方法，还包括通过以下来校准所述第一传感器：
相对于固定区域中的至少一个目标的固定位置来放置所述平台；
比较借助于所述第一传感器的所述目标的第一检测位置与所述目标相对于所述单个平台的固定位置；以及
比较借助于所述第二传感器的所述目标的第二检测位置与所述目标相对于所述单个平台的固定位置。
6.如权利要求4所述的方法，其中所述单个平台被固定到交通工具。
7.根据权利要求6所述的方法，其中所述第一多个向量、所述第二多个向量以及所述第三多个向量在所述交通工具的运动期间被捕获。
8.一种存储指令的计算机可读硬件设备，所述指令在被执行时，执行方法，所述方法包括：
接收来自第一传感器的第一信息；
将所述第一信息转化为表示所述第一传感器的路径的第一多个向量，所述第一多个向量包括具有第一位置值、第一取向值以及第一平移值的第一向量，所述第一向量与时间相关联；
从第二传感器接收第二信息；
将所述第二信息转化为表示所述第二传感器的路径的第二多个向量，所述第二多个向量包括具有第二位置值、第二取向值以及第二平移值的第二向量，所述第二向量与所述时间相关联；
从第三传感器接收第三信息；
将所述第三信息转化为表示所述第三传感器的路径的第三多个向量，所述第三多个向量包括具有第三位置值、第三取向值以及第三平移值的第三向量，所述第三向量与所述时间相关联；
通过以下方式执行三方比较：
将所述第一多个向量与所述第二多个向量进行比较；
将所述第二多个向量与所述第三多个向量进行比较；
将所述第三多个向量与所述第一多个向量进行比较；
基于比较并基于对以下的确定，来确定所述第一传感器被错误校准：
所述第一向量与所述第二向量之间存在第一差别；
所述第一向量与所述第三向量之间存在第二差别；以及
所述第三向量与所述第二向量之间存在相似性。
9.根据权利要求8所述的计算机可读硬件设备，其中所述第一传感器是激光器，所述第二传感器是照相机，并且所述第三传感器是GPS传感器。
10.根据权利要求8所述的计算机可读硬件设备，其中所述第一差别是由于所述第一位置值与所述第二位置值不同；其中所述第二差别是由于所述第一位置值与所述第三位置值不同；并且其中所述相似性是由于所述第二位置值与所述第三位置值相似。
11.根据权利要求8所述的计算机可读硬件设备，其中所述第一传感器、所述第二传感器以及所述第三传感器位于单个平台上。
12.如权利要求11所述的计算机可读硬件设备，还包括通过以下来校准所述第一传感器：
相对于固定区域中的至少一个目标的固定位置来放置所述平台；
比较借助于所述第一传感器的所述目标的第一检测位置与所述目标相对于所述单个平台的固定位置；以及
比较借助于所述第二传感器的所述目标的第二检测位置与所述目标相对于所述单个平台的固定位置。
13.如权利要求11所述的计算机可读硬件设备，其中所述单个平台被固定到交通工具。
14.根据权利要求13所述的计算机可读硬件设备，其中所述第一多个向量、所述第二多个向量以及所述第三多个向量在所述交通工具的运动期间被捕获。
15.一种包括与计算机可读介质通信的处理器的系统，所述计算机可读介质存储指令，所述指令在被执行期间，使得所述处理器执行以下方法：
接收来自第一传感器的第一信息；
将所述第一信息转化为表示所述第一传感器的路径的第一多个向量，所述第一多个向量包括具有第一位置值、第一取向值以及第一平移值的第一向量，所述第一向量与时间相关联；
从第二传感器接收第二信息；
将所述第二信息转化为表示所述第二传感器的路径的第二多个向量，所述第二多个向量包括具有第二位置值、第二取向值以及第二平移值的第二向量，所述第二向量与所述时间相关联；
从第三传感器接收第三信息；
将所述第三信息转化为表示所述第三传感器的路径的第三多个向量，所述第三多个向量包括具有第三位置值、第三取向值以及第三平移值的第三向量，所述第三向量与所述时间相关联；
通过以下方式执行三方比较：
将所述第一多个向量与所述第二多个向量进行比较；
将所述第二多个向量与所述第三多个向量进行比较；
将所述第三多个向量与所述第一多个向量进行比较；
基于比较并基于对以下的确定，来确定所述第一传感器被错误校准：
所述第一向量与所述第二向量之间存在第一差别；
所述第一向量与所述第三向量之间存在第二差别；以及
所述第三向量与所述第二向量之间存在相似性。
16.根据权利要求15所述的系统，其中所述第一传感器是激光器，所述第二传感器是照相机，并且所述第三传感器是GPS传感器。
17.根据权利要求15所述的系统，其中所述第一差别是由于所述第一位置值与所述第二位置值不同；其中所述第二差别是由于所述第一位置值与所述第三位置值不同；并且其中所述相似性是由于所述第二位置值与所述第三位置值相似。
18.根据权利要求15所述的系统，其中所述第一传感器、所述第二传感器以及所述第三传感器位于单个平台上。
19.如权利要求18所述的系统，还包括通过以下来校准所述第一传感器：
相对于固定区域中的至少一个目标的固定位置来放置所述平台；
比较借助于所述第一传感器的所述目标的第一检测位置与所述目标相对于所述单个平台的固定位置；以及
比较借助于所述第二传感器的所述目标的第二检测位置与所述目标相对于所述单个平台的固定位置。
20.如权利要求18所述的系统，其中所述单个平台被固定到交通工具。
21.根据权利要求20所述的系统，其中所述第一多个向量、所述第二多个向量以及所述第三多个向量在所述交通工具的运动期间被捕获。

说明书全文

移动成像平台校准

[0001] 本申请是2014年06月12日提交的申请号为201480033866.0的同名专利申请的分案申请。

背景技术

[0002] 在计算领域内，许多情形牵涉到移动平台的扫描，所述移动平台被提供来行进通过某个区域并捕获该区域的表示(representation)。例如，配备有一个或多个照相机的汽车可以被驾驶通过城市的路网，同时捕获城市的图像，这些图像以后被联结(stitch)在一起来形成城市的可导航的图片之旅。作为另一个例子，使用各种类型的激光扫描器(诸如光探测和测距(“激光雷达”)扫描器)进行的区域扫描可以导致捕获关于区域的空间信息，其使得能进行区域的几何结构的三维重建。这些和其它技术可被利用来捕获和重建区域的各种类型的表示。发明内容

[0003] 本概要以简化的形式介绍选择的概念，这些概念还将在下面的详细说明中进行描述。本概要既不打算确认所要求保护的主题的关键因素或必要特征，也不打算被使用来限制所要求保护的主题的范围。

[0004] 对于许多移动平台，在移动平台上的扫描设备在进入区域进行扫描之前，以受控的设置(setting)被精确地校准。这样的校准可以被执行，例如以便验证区域的图像是被照相机和/或激光雷达设备用精确校准的取向捕获的，这样使得所捕获的区域的重建(诸如，通过有不同取向的图像把捕获的图像联结在一起)可以产生准确的结果。然而，以受控的设置达到的精确校准可能很难在长期的行进时期内保持。如果物理震动(jolt)使得传感器设备变为显著地未对准(misalign)，则移动平台可能不得不返回到受控的设置。这样的重新校准会让该平台在延长的持续时间内服务中止，并且以可接受的精度执行这样的重新校准可能是昂贵的。另外，无法检测错误校准(miscalibration)可能导致大量地捕获造成误差的数据(例如，全景图像或三维重建的未对准的联结，导致显著的误差和数据讹误)和/或造成不能使用于重建的大量数据集的丢弃。

[0005] 这里提出的是用于验证移动平台在行进期间的传感器的校准的技术。按照这些技术，包括至少一个激光扫描器、至少一个照相机和位置传感器(例如，全球定位系统(GPS)接收机、惯性测量单元(IMU)和/或无线电三角测量设备)的移动平台可以行进通过某个区域，而同时用每个传感器随时间地捕获数据(例如，用照相机捕获图像；用激光扫描器捕获该区域的激光扫描；以及用位置传感器捕获平台的位置)。对于每个传感器，可以识别传感器路径，包括在平台移动通过该区域时传感器的被检测的路径。作为第一个例子，激光扫描器可以通过比较以接连的时间段捕获的激光扫描而生成激光扫描器路径(例如，第一激光雷达点云，其指示在第一时间，平台离诸如建筑物这样的固定物体的距离，以及第二激光雷达点云，其指示在第二时间，平台离同一个物体的距离)，并且可以确定激光扫描器路径，包括平台随时间的一系列平移和取向。以各种间隔捕获的图像可以进行比较(例如，可以在两个接连的图像上在不同的位置识别固定的连接点(tie point)，且图像评估技术可被利用来确定该区域内在该处捕获每个图像的透视点)，导致把照相机路径确定为在某个时间段内的一系列平移和取向改变。类似地，由位置传感器检测的位置可被检测，以识别位置传感器的随时间的位置传感器路径。

[0006] 在识别激光扫描器路径、照相机路径和位置传感器路径后，平台可以比较这些路径，以验证传感器的校准的保持。在实施例中，每个传感器的坐标系统对于静止坐标系统被配准，并且可以把在平台的第一传感器的第一传感器路径上的每一对点之间的平移和取向改变与在该平台的另一个传感器的第二传感器路径上的每一对点之间的对应的平移和取向改变进行比较。相匹配的比较可以验证传感器的连续的校准，而不匹配(例如，在平台的随时间所检测的平移和取向改变中的差异)可以指示：至少一个传感器已变为错误校准的。另外，激光扫描器路径与照相机路径、激光扫描器路径与位置传感器路径、以及照相机路径与位置传感器路径的三方(three-way)比较(以及在等同的传感器的路径之间的比较，例如，比较由第一照相机检测的第一照相机路径与由第二照相机检测的第二照相机路径)可以识别出错误校准的设备。通过对于每个设备使用路径的计算和比较来执行这样的校准检验，这里提出的技术可以使得能甚至在平台连续行进时周期和/或连续地验证所保持的校准，和/或使得实现用于检测错误校准的更快速和更准确的技术，其可以降低由错误校准引起的低效性。这样的校准技术的这些和其它使用可被包括在这里提出的技术的许多实施例中。

[0007] 为了达到上述的和相关的目的，以下的说明和附图阐述某些说明性方面和实现。这些说明性方面和实现指示可以利用一个或多个方面的各种方式中的仅仅几种方式。当结合附图考虑时，本公开内容的其它方面、优点和新颖的特征将从以下的详细说明变得明显。

附图说明

[0008] 图1是特征为交通工具在某个区域内移动，同时捕获该区域的图像、同时用位置传感器监视交通工具的位置的示范性情景的说明图。

[0009] 图2是特征为捕获汽车周围区域中的激光雷达点云和描绘区域内存在的其它物体的示范性情景的说明图。

[0010] 图3是特征为按照这里提出的技术、为了验证平台的传感器的校准而进行传感器路径的比较的示范性情景的说明图。

[0011] 图4是按照这里提出的技术、被配置成验证移动平台的传感器的校准的示范性系统的部件框图。

[0012] 图5是按照这里提出的技术、验证移动平台的传感器的校准的示范性方法的流程图。

[0013] 图6是包括被配置成体现这里阐述的条款中的一个或多个的处理器可执行指令的示范性计算机可读介质的说明图。

[0014] 图7是特征为按照这里提出的技术、确定对于移动平台的各个传感器路径的平移和取向的示范性情景的说明图。

[0015] 图8是特征为按照这里提出的技术、对于独立的坐标系统配准移动平台的各个传感器路径以便易于传感器路径的比较的示范性情景的说明图。

[0016] 图9图示在其中可以实施这里阐述的条款中的一个或多个的示范性计算领域。

具体实施方式

[0017] 现在参照附图描述所要求保护的主题，在图上各处同样的参考标号用来指同样的单元。在以下的说明中，为了解释起见，阐述了许多具体的细节，以便对于所要求保护的主题提供透彻的了解。然而，显然的是，所要求保护的主题可以在没有这些具体细节的情况下被实践。在其它的实例中，结构和设备以框图的形式被示出，以便易于描述所要求保护的主题。

[0018] A.引言

[0019] 图1给出特征为平台104行进通过区域102、同时使用各种各样的传感器来捕获区域102的表示的第一个示范性情景100的说明图。虽然平台104是移动的(例如，展现相对于区域102的静止物体的特定的运动向量106)，但移动平台可以使用以相对于平台104的不同取向被放置的一个或多个照相机108(例如，面向前方的照相机108、面向左面的照相机108、面向右面的照相机108、面向后方的照相机108和一个或多个面向上方的照相机108)，它们周期地捕获区域102的图像100。平台104还可以包括被配置成检测平台104的位置114的位置传感器112，诸如，全球定位系统(GPS)接收机、惯性测量单元(IMU)和/或无线电三角测量设备(例如，蜂窝通信设备，其被配置成根据在固定且已知的位置处并以可检测的发射功率进行发射的附近蜂窝塔的信号强度，对平台104的位置114进行三角测量)。区域102(可选地包括在区域102内的各种物体116(例如，其它交通工具、建筑物、行人和道路标志)的图像110捕获可以使得实现区域102的重建，诸如是可导航的一组全景图像110。

[0020] 图2给出特征为平台104行进通过区域102、同时捕获区域102的不同表示的第二示范性情景200的说明图。在这个示范性情景200中，平台104的特征为激光扫描器202，其包括被配置成发射激光信号206的激光雷达发射器204、和被配置成探测激光雷达信号206从区域102内的附近物体116的反射208的激光雷达探测器210。通过探测在各个时间214的反射208，激光探测器可以从在该时间214捕获的激光雷达数据212外推分别指示激光雷达信号
206从物体116的反射的一个或多个激光雷达点云216。对激光雷达点云216的进一步评估可以使得能确定物体116的形状、大小、取向和距离。这个信息以后可被使用来例如生成在捕获的时间的区域102(包括在区域102中存在的物体116)的三维重建。

[0021] 平台104可以组合使用一个或多个照相机108的图像110的捕获与激光雷达数据212和激光雷达点云216的捕获，以生成区域102的鲁棒的表示。另外，平台104可以利用位置传感器112来检测平台104的随时间的路径，这可以通知该重建过程。

[0022] 然而，基于通过使用被安装在移动平台104上的各种各样传感器对各种类型数据的捕获的区域102的准确表示可能由于错误校准而被减弱。例如，来自多个传感器的数据的重建可能显著地依赖于传感器相对于平台104和其它传感器的方位和/或取向的假定。一个或多个传感器的错误校准可能是例如由于传感器和/或移动平台104的物理震动而引发的。利用传感器的假定取向与实际取向之间的变化来重建区域102可能导致可视的伪像、失真和其它形式的讹误。作为第一个例子，如果照相机组的一个或多个照相机108被错误校准，则来自照相机108的自动联结在一起的图像110可能展现间隙、球面像差(spherical aberration)、缺失的区域、或图像边界之间的不和谐的过渡(jarring transition)。作为第二个例子，如果一个或多个激光扫描器202被错误校准，则区域102的重建的几何结构可能会在物体116的尺寸、形状或被检测到的表面之间的关系方面失真。作为第三个例子，如果位置传感器112被错误校准，则重建可能指示对于图像110的描绘和/或三维物体重建的不准确的位置，和/或如果位置传感器112的校准随时间改变，则指示在图像110和/或三维物体重建之间的失配。

[0023] 为了避免这些问题，移动平台104常常以具有高精度的受控的设置进行校准。例如，各个传感器可以被小心地安装在平台104上，小心地以高的精确度取向，以及通过牢固的机械支架被固定在该取向上。然而，校准过程可能是昂贵的和拖延的，以及当平台104行进时经受物理震动的传感器可能导致平台104再调用受控的设置用于重新校准，从而可能要承担高成本的重新校准，和/或让平台104在潜在地延长的持续时间内业务中止。替换地，如果该物理震动没有被检测到，则平台104可能捕获了以后被确定为讹误的和/或未对准的一大组数据，或者如果未被测出，则可能使根据所捕获的数据进行的区域102的自动重建有讹误。

[0024] B.提出的技术

[0025] 图3给出描绘用于当平台104行进通过区域102时验证平台104的传感器校准的技术的示范性情景300的说明图。在这个示范性情景中，对于平台104的各个传感器，可以根据该传感器可得到的数据，来识别表示平台104通过区域102的行进的传感器路径。

[0026] 作为第一个例子，对于平台104的各个照相机108，可以在各种时间214捕获一系列的图像110。使用图像处理和机器视觉技术，有可能从图像110外推平台104随时间的行进。例如，对于在所述系列中的特定的一对相邻的图像110，可以识别一个或多个连接点(例如，在第一时间214捕获的第一图像110的第一位置和在第二时间214捕获的第二图像110的第二位置处可看见的区域102中的固定点)。比较从第一图像110到第二图像110的该连接点的偏移可以使得能确定302平台104在第一时间214与第二时间214之间的平移和/或取向改变。所有图像110的合在一起的评估可以使得能把这样的确定302映射到区域102中的位置
114，以及使得能识别照相机108在被安装到平台104上时行进通过区域102的照相机路径
304。

[0027] 作为第二个例子，激光扫描器202在平台104行进通过区域102时可以周期地扫描区域102，并且可以在各种时间214捕获激光雷达数据212。对在各个组的激光雷达数据212中的激光雷达点云216的识别可以使得能确定在时间214来自激光扫描器202的、物体116的尺寸、形状、取向和距离。另外，在第一时间214捕获的第一组激光雷达数据212中第一激光雷达点云216与在第二时间214捕获的第二组激光雷达数据212中第二激光雷达点云216的比较可以使得能确定在第一时间214与第二时间214之间的激光扫描器202的平移和/或取向改变。跨所捕获的激光扫描的序列来执行各组激光雷达数据212的这样的比较性评估可以使得能确定306激光扫描器202随时间214的位置和取向，以及使得能识别激光扫描器路径308，其指示在平台104行进通过区域102时激光扫描器202随时间214的运动。

[0028] 作为第三个例子，监视在各种各样的时间214由平台104的位置传感器112检测的位置114可以使得能检测平台104在行进通过区域102时平台104的一系列的位置114，且其可以被表示为位置传感器路径310。

[0029] 鉴于检测在行进通过区域102时被安装在平台104上的传感器的传感器路径的这些不同技术，有可能执行传感器路径的比较312。如果比较312指示在所述至少一个照相机108的照相机路径304、所述至少一个激光扫描器202的激光扫描器路径308和所述位置传感器112的位置传感器路径310之间的匹配，则比较312可以验证平台104的传感器的校准314。
然而，如果比较312中的一个或多个无法产生匹配，则可以检测出错误校准。也有可能确定哪个传感器是错误校准的(例如，如果除了一个照相机108的一个照相机路径304与任何其它传感器路径都不匹配以外，所有的传感器路径都匹配，则该照相机108可被推定为错误校准)。平台104然后可以或者是被提供维护以便重新校准，或者是替换该错误校准的传感器；
可以继续行进通过区域102而同时从除了错误校准的(一个或多个)传感器以外的所有传感器捕获数据；和/或可以继续从所有的传感器捕获关于区域102的数据，但注意校准中的发散(divergence)，以便调节由该传感器捕获的数据。这样，按照这里提出的技术，在平台104正行进通过区域102时，平台104可以验证保持的校准314和/或检测并适应于错误校准。

[0030] C.示范性实施例

[0031] 图4给出特征为这里提出的技术的第一示范性实施例的示范性情景400的说明图，所述第一示范性实施例被图示为被配置来验证平台104的一组传感器的校准314的示范性系统406，其中所述传感器包括至少一个照相机108、至少一个激光扫描器202和至少一个位置传感器112。示范性系统406可被例如实施为存储在平台104的设备402的存储器部件中的指令，且这些指令被配置成当在平台104的设备402的处理器404上执行时，使得设备402按照这里提出的技术操作。示范性系统406包括路径识别器408，对于各个激光扫描器202，它比较在各个时间214捕获的区域102的激光扫描，以识别通过区域102的激光扫描器路径220；对于各个照相机108，它比较在各个时间214由照相机108捕获的区域102的图像110，以识别通过区域102的照相机路径304；以及对于位置传感器112，它识别通过区域102的位置传感器路径310。该示范性系统还包括平台校准器410，它比较(一个或多个)激光扫描器路径308、(一个或多个)照相机路径304和(一个或多个)位置传感器路径310，以验证平台104的校准314。照这样，按照这里提出的技术，示范性系统406使得能在平台104行进通过区域
102时，验证保持的校准314和检测错误校准。

[0032] 图5给出这里提出的技术的第二示范性实施例，其被图示为当行进通过区域102的平台104使用至少一个照相机108、至少一个激光扫描器202和至少一个位置传感器112捕获区域102的表示时验证平台104的校准314的示范性方法500。示范性方法500可被例如实施为一组指令，该组指令被存储在设备402的存储器设备(诸如存储器电路、硬盘驱动机的盘片、固态存储设备或磁盘或光盘)中，并且被组织成使得：当在设备402的处理器404上被执行时，促使设备402按照这里提出的技术操作。示范性方法500在502开始，且牵涉到对于各个激光扫描器202，比较504在各个时间214捕获的区域102的激光扫描，以识别通过区域102的激光扫描器路径308。示范性方法500还牵涉到对于各个照相机108，比较506在各个时间214捕获的区域102的图像110，以识别通过区域102的照相机路径304。示范性方法500还牵涉到对于各个位置传感器112，识别508通过区域102的位置传感器路径310。示范性方法500还牵涉到按照这里提出的技术，在平台104行进通过区域102时比较510(一个或多个)激光扫描器路径308、(一个或多个)照相机路径304和(一个或多个)位置传感器路径310，以验证平台104的校准314和/或检测至少一个传感器的错误校准，并且在512结束。

[0033] 再一个实施例牵涉到计算机可读介质，其包括被配置成应用这里提出的技术的处理器可执行指令。这样的计算机可读介质可包括例如计算机可读存储介质，其牵涉到有形的设备，诸如存储器半导体(例如，利用静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)和/或同步动态随机存取存储器(SDRAM)技术的半导体)、硬盘驱动机的盘片、闪速存储器设备、或磁盘或光盘(诸如CD-R、DVD-R或软盘)，其编码一组计算机可读指令，该组计算机可读指令当被设备的处理器执行时，促使设备实施这里提出的技术。这样的计算机可读介质还可包括各种类型的通信介质(作为与计算机可读存储介质不同的一类技术)，诸如可以通过各种物理现象(例如，电磁信号、声波信号或光信号)以及在各种有线情景中(例如，经由以太网或光纤线缆)和/或无线情景中(例如，无线局域网(WLAN)，诸如WiFi；个人域网(PAN)，诸如蓝牙；或蜂窝网或无线电网)被传播的信号，且其编码一组计算机可读指令，该组计算机可读指令当被设备的处理器执行时，促使设备实施这里提出的技术。

[0034] 图6上图示了可以以这些方式设计的示范性计算机可读介质，其中实现600包括计算机可读介质602(例如，CD-R、DVD-R或硬盘驱动机的盘片)，其上是编码的计算机可读数据604。这个计算机可读数据604进而又包括一组计算机指令606，其被配置成按照这里阐述的原理操作。在一个这样的实施例中，处理器可执行指令606可被配置成实施用于验证行进通过区域102的平台104的传感器的校准314的系统，诸如图4的示范性系统406。在另一个这样的实施例中，处理器可执行指令606可被配置成执行验证平台104的传感器的校准314的方法608，诸如图5的示范性方法500。这个计算机可读介质的某些实施例可包括计算机可读存储介质(例如，硬盘驱动机、光盘或闪速存储器设备)，其被配置成存储以这样的方式被配置的处理器可执行指令。本领域技术人员可以设计出被配置成按照这里提出的技术操作的、许多这样的计算机可读介质。

[0035] D.变例

[0036] 这里讨论的技术可以利用许多方面的变例来设计，且某些变例可以相对于这些和其它技术的其它变例给出附加的优点和/或减少缺点。而且，某些变例可以被组合地实施，且某些组合的特征可以是通过协同合作而附加的优点和/或减少的缺点。变例可以被并入到各种实施例(例如，图4的示范性系统406和图5的示范性方法500)中，以便将单独的和/或协同的优点授予这样的实施例。

[0037] D1.情景

[0038] 可以在这些技术的实施例之间变化的第一方面涉及到其中可以利用这样的技术的情景。

[0039] 作为这个第一方面的第一变例，这里提出的技术可以与许多类型的平台104一起利用，包括在区域102中行进的交通工具，诸如在公路上行进的汽车和自行车、或在空中飞行的飞机、直升飞机和无人驾驶飞行器(UAV)；在诸如运动捕获区域102那样的区域中移动的个体；以及在空间移动的抛射体，诸如弹道(ballistics)。这样的平台104也可以由存在于平台104中或靠近平台104的人完全或部分地操作，或远程地监视平台104并通过自动导航技术完全或部分地操作。

[0040] 作为这个第一方面的第二变例，这里提出的技术可以与许多类型的照相机108一起利用，包括单色和多色的可见光照相机、红外照相机和紫外照相机。这样的照相机还可以包括：各种各样的透镜，诸如正交、鱼眼、球面和极化透镜；成像器，诸如记录到可拆卸介质或固定的内部存储装置的数字成像器、基于胶片的照相机和摄像机；各种快门和曝光速度，包括高速照相机、缩时照相机(time-lapse camera)和用于低照度成像的延长曝光照相机(extended-exposure camera)；以及聚焦和成像技术，诸如移轴(tilt-shift)和高动态范围。

[0041] 作为这个第一方面的第三变例，这里提出的技术可以与许多类型的激光扫描技术一起利用，诸如可见光、近红外光、或红外光、近紫外光、或紫外光。激光雷达信号的各种波长可以给出在不同情景中可能是有利的各种特性，诸如穿过各种介质(例如，水或变化湿度的空气)、对于各种形式的干扰的灵敏度、以及可达到的分辨率。另外，这样的激光扫描技术可能牵涉到各种类型的激光雷达发射器204和/或激光雷达探测器210，诸如各种类型的激光器和光度检测器。这样的设备也可以在其它技术的执行中被利用(例如，被提供用于车辆导航系统的范围探测的激光雷达设备也可以适用于移动和静止物体的分类)，以及可以并发地或顺序地被应用到这两组技术。

[0042] 作为这个第一方面的第四变例，这里提出的技术可以与许多类型的位置传感器112一起利用，包括：全球定位系统(GPS)接收机；惯性测量单元(IMU)；无线电三角测量设备；和罗盘。

[0043] 作为这个第一方面的第五变例，这里提出的技术可以与被部署来捕获用于许多类型的表示的数据的平台104一起利用，所述表示是诸如：区域102的可导航的全景之旅；包括区域102的物体116的三维重建；对诸如人、交通工具、植物群和动物群这样的位于区域102中的物体116的识别；对电磁频谱的监视；以及区域102的地图的生成。本领域技术人员可以设计许多这样的情景，其中可以有利地利用这里提出的技术。

[0044] D2.传感器路径比较

[0045] 这里提出的技术的第二方面涉及比较由所述技术生成的传感器路径的方式。

[0046] 作为这个第二方面的第一变例，在传感器路径被捕获之前，传感器和平台104可以以受控的设置被校准。作为一个这样的例子，校准可以通过以下方式而达到，即：相对于在固定区域中的至少一个目标的固定位置来放置平台104，比较借助于至少一个激光扫描器202的该目标的第一检测的位置与该目标相对于平台104的固定位置；和比较借助于照相机
108的该目标的第二检测的位置与该目标相对于平台104的固定位置。传感器路径的比较然后可以鉴于(一个或多个)激光扫描器202、(一个或多个)照相机108和(一个或多个)位置传感器118对于平台104的校准而被执行。

[0047] 作为这个第二方面的第二变例，比较传感器路径以验证校准316可以在各种时间相对于由平台104进行的区域102的捕获被执行。作为第一个这样的例子，校准316的比较和验证可以在平台104正行进通过区域102的同时被执行。作为第二个这样的例子，校准316的比较和验证可以在由平台104捕获区域102后被执行(即，在对区域102的所捕获的表示进行后处理时执行)。例如，平台104可被配置成：在捕获区域102的激光扫描后，存储所述激光扫描；在捕获区域102的图像110后，存储所述图像110；以及在检测平台104的位置114后，存储平台104的位置114。然后，可以在平台104已行进通过区域102后执行所述比较以便验证在平台104行进通过区域102的时候平台104的校准316，其中所述比较是通过取回被存储的激光扫描、图像110和位置114，以及比较激光扫描器路径308和照相机路径304与位置传感器路径310而进行的。

[0048] 作为这个第二方面的第三变例，为验证传感器的校准316而进行的比较可以以三方方式被执行，例如，通过比较至少一个扫描器202的激光扫描器路径308与至少一个照相机108的照相机路径304；通过比较激光扫描器路径与至少一个位置传感器112的位置传感器路径310；和通过比较照相机路径304与位置传感器路径310。另外，如果特定传感器类型的多个传感器被包括在平台104内，则比较可以在相同类型的多个传感器之间进行(例如，比较第一照相机108的第一照相机路径304与第二照相机108的第二照相机路径304)。

[0049] 作为这个第二方面的第四变例，为验证传感器的校准316而进行的比较可牵涉到各个传感器路径对于与平台无关的坐标系统的配准。例如，在第一传感器的第一路径与第二传感器的第二路径之间的比较可以通过以下方式而达到，即：使第一路径对于与平台无关的坐标系统配准以产生配准的第一路径；使第二路径对于与平台无关的坐标系统配准以产生配准的第二路径；和比较配准的第一路径与配准的第二路径。在实施例中，与平台无关的坐标系统可包括静止坐标系统(例如，区域102的地面)。

[0050] 作为这个第二方面的第五变例，为验证校准316而进行的比较可以在由不同的传感器在同一个时间214捕获的区域102的表示之间执行。例如，位置传感器112可被配置成以位置检测频率(例如，每秒一次)执行对平台104的位置114的检测。一个或多个激光扫描器202可被配置成以与由位置传感器112对平台104的位置114进行检测的时间214同步的方式捕获区域102的激光扫描；和/或一个或多个照相机108可被配置成以与由位置传感器112对平台104的位置114进行检测的时间214同步的方式捕获区域102的图像110。替换地，激光扫描器202和/或照相机108可以比位置传感器112更频繁地捕获区域102的表示，但可被定时成包括在与位置传感器112相同的时间214的捕获(例如，以作为位置传感器112的频率倍数的频率)。

[0051] 作为这个第二方面的第六变例，设备402可被配置成检测和补偿没有被一个或多个传感器捕获的缺失的数据对象。例如，在检测到传感器未能在选定的时间214捕获的缺失的数据对象后(例如，缺失的由激光扫描器202捕获的激光扫描、缺失的由照相机108捕获的图像110、和/或缺失的由位置传感器112检测的位置114)，设备402可以使用各种内插技术(例如，四元数内插)内插在选定的时间214的缺失的数据对象。

[0052] 图7给出特征为这里提出的技术的第一个这样的变例的示范性情景700，在该变例中各个传感器路径作为一系列向量被捕获。在这个示范性情景700中，在平台104行进通过区域102时，对于照相机108检测到照相机路径304；对于激光扫描器202检测到激光扫描器路径308；以及对于位置传感器112检测到位置传感器路径310。另外，各个传感器路径被捕获且被表示为一系列向量，其标识传感器随时间214的在相应位置114处的取向704和平移706。作为第一个这样的例子，照相机路径304被转化成基于向量的照相机路径702，其指示：
对于已在该处捕获区域102的图像110的每个位置114，该位置114相对于以前和/或以后的图像110和/或位置114的平移706的方向和幅度以及取向704。作为第二个这样的例子，激光扫描器路径308被转化成基于向量的激光扫描器路径708，其指示：对于已在该处捕获区域
102的激光扫描的每个位置114，该位置114相对于以前和/或以后的激光扫描和/或位置114的平移706的方向和幅度以及取向704。作为第三个这样的例子，位置传感器路径310被转化成基于向量的位置传感器路径710，其指示：对于已在该处检测平台104位置114的每个位置
114，该位置114相对于已在彼处检测平台104方位的以前和/或以后的位置114的平移706的方向和幅度以及取向704。通过以基于向量的方式来表示传感器路径，实施例可易于对传感器路径进行比较，以验证它们的校准316。

[0053] 图8给出示范性情景800的说明图，其中这样的传感器路径从在传感器的坐标系统中的基于向量的路径(例如，相对于被安装在平台104上的传感器的取向而检测的)被进一步配准到静止坐标系统804(例如，对应于区域102的地面)。在这个示范性情景800中，基于向量的照相机路径702、基于向量的激光扫描器路径708和基于向量的位置传感器路径710中的每个路径可以对于静止坐标系统804配准，以分别产生配准的照相机路径806、配准的激光扫描器路径808和配准的位置传感器路径810，因此从比较中去除每个传感器相对于平台104的取向上的差别。然后可以执行三方比较，包括：配准的照相机路径806与配准的激光扫描器路径808的第一比较812；配准的激光扫描器路径808与配准的位置传感器路径810的第二比较814；以及配准的照相机路径806与配准的位置传感器路径810的第三比较816。本领域技术人员可以设计传感器路径的比较方面的许多这样的变例，以便包括在这里提出的技术的各种实施例中。

[0054] D3.激光扫描器路径生成

[0055] 可以在这里提出的技术的实施例之间变化的第三方面涉及生成激光扫描器202的激光扫描器路径308的方式。

[0056] 作为这个第三个例子的第一变例，激光扫描器202可包括激光雷达扫描器，其被配置成把激光扫描生成为激光雷达点云216。然后可以通过如下方式实现激光扫描器路径304的识别，即：比较在第一时间214捕获的第一激光雷达点云216与在第二时间214捕获的第二激光雷达点云216，以识别激光雷达扫描器在第一时间214与第二时间214之间的运动。在实施例中，运动评估是作为第一激光雷达点云216与第二激光雷达点云216的迭代的最接近点评估而执行的。另外，第一激光雷达点云216的评估可牵涉到识别在第一时间214的激光扫描器202的第一取向；第二激光雷达点云216的评估可牵涉到识别在第二时间214的激光扫描器202的第二取向；以及识别运动可牵涉到比较激光扫描器202的第一取向和第二取向，以识别激光扫描器202在第一时间214与第二时间214之间的旋转与平移。

[0057] 作为这个第三个例子的第二变例，实施例可被配置成通过识别在第一时间214与第二时间214之间位置传感器112的旋转和平移而识别位置传感器112的位置传感器路径310，以及比较在第一时间214与第二时间214之间激光扫描器202的旋转和平移与在第一时间214与第二时间214之间位置传感器路径310的旋转和平移。另外，第一激光雷达点云216与第二激光雷达点云216的比较可牵涉到鉴于激光扫描器路径308与位置传感器路径310的比较而重新比较第一激光雷达点云216与第二激光雷达点云216。在某些这样的实施例中，可以利用迭代方法来比较激光雷达点云216和与由位置传感器112检测的位置114的同步，直至达到收敛为止。这些和其它技术可被利用来按照这里提出的技术而识别激光扫描器路径308。

[0058] D4.照相机路径生成

[0059] 可以在这里提出的技术的实施例之间变化的第四方面涉及识别在平台104行进通过区域102时被附着在平台104上的照相机108的照相机路径304的方式。

[0060] 作为这个第四方面的第一变例，图像110的比较可以牵涉到使用诸如透视、视差和缩放这样的估计技术的许多图像处理和/或机器视觉技术。一个这样的技术牵涉到识别在第一时间214捕获的第一图像110上可见且在第二时间214捕获的第二图像110上同样可见的连接点，以及比较在第一图像110上连接点的第一位置与在第二图像110上连接点的第二位置，以识别在第一时间214与第二时间214之间照相机108的运动。另一个这样的技术牵涉到从图像110生成区域102的重建(例如，三维模型)，以及对于在时间214捕获的各个图像110，识别在时间214在所述重建内照相机108的方位(例如，在三维模型内的透视、投影或有利位置(vantage)的点，其中捕获的图像110匹配于实际图像110的透视图)。在实施例中，摄影测量光束法平差(bundle adjustment)技术被应用来改进重建的坐标空间，以确定图像
110在其中的取向，因此使得能生成准确的照相机路径304，用于与其它传感器的传感器路径进行比较，以验证平台104的校准316。本领域技术人员可以按照这里提出的技术设计用于生成照相机路径304的许多这样的技术。

[0061] E.计算领域

[0062] 图9和以下的讨论提供了适当的计算领域的简要概述，其用来实施这里阐述的条款中的一个或多个的实施例。图9的操作领域仅仅是适当的操作领域的一个例子，且不打算对于操作领域的使用或功能性的范围提出任何限制。示例性计算设备包括但不限于个人计算机、服务器计算机、手持或膝上型设备、移动设备(诸如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费电子装置、小型计算机、大型计算机、包括以上系统或设备中的任何系统或设备的分布式计算领域等等。

[0063] 虽然未要求，但实施例是在由一个或多个计算设备执行的“计算机可读指令”的一般上下文中进行描述的。计算机可读指令可以经由计算机可读介质被分发(下面讨论的)。计算机可读指令可被实施为程序模块，诸如函数、对象、应用编程接口(API)、数据结构等等，它们执行特定的任务或实施特定的抽象数据类型。典型地，计算机可读指令的功能性可按在各种领域中想要的那样被组合或分布。

[0064] 图9图示系统900的例子，其包括被配置来实施这里提供的一个或多个实施例的计算设备902。在一种配置中，计算设备902包括至少一个处理单元906和存储器908。取决于计算设备的确切的配置和类型，存储器908可以是易失性的(诸如像RAM)、非易失性的(诸如像ROM、闪速存储器等等)、或二者的某种组合。这个配置在图9上用虚线904图示。

[0065] 在其它实施例中，设备902可包括附加的特征和/或功能性。例如，设备902还可以包括附加的存储装置(例如，可拆卸的和/或非可拆卸的)，其包括但不限于磁存储装置、光存储装置等等。这样的附加存储装置在图9上用存储装置910图示。在一个实施例中，用来实施这里提供的一个或多个实施例的计算机可读指令可以是在存储装置910中。存储装置910还可以存储用来实施操作系统、应用程序等等的其它计算机可读指令。计算机可读指令可被装载到存储器908中，例如用于由处理单元906执行。

[0066] 当在这里被使用时，术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以任何方法或技术实现的、用于存储诸如计算机可读指令或其它数据那样的信息的易失性和非易失性、可拆卸和非可拆卸的介质。存储器908和存储装置910是计算机存储介质的例子。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪速存储器或其它存储器技术、CD-ROM、数字通用盘(DVD)或其它光存储装置、盒式磁带、磁带、磁盘存储装置或其它磁存储设备，或可被使用来存储想要的信息并可被设备902访问的任何其它介质。任何这样的计算机存储介质可以是设备902的一部分。

[0067] 设备902还可以包括(一个或多个)通信连接916，它允许设备902与其它设备通信。(一个或多个)通信连接916可包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射机/接收机、红外端口、USB连接、或用于把计算设备902连接到其它计算设备的其它接口。(一个或多个)通信连接916可包括有线连接或无线连接。(一个或多个)通信连接
916可以发送和/或接收通信介质。

[0068] 术语“计算机可读介质”可包括通信介质。通信介质典型地将计算机可读指令或其它数据具体化为诸如载波或其它输送机制那样的“调制的数据信号”，并且它包括任何信息传递介质。术语“调制的数据信号”可包括这样的信号，即：该信号使它的特性中的一个或多个以如此方式设置或改变，以致将信息编码在该信号中。

[0069] 设备902可包括(一个或多个)输入设备914，诸如键盘、鼠标、笔、话音输入设备、触摸输入设备、红外照相机、视频输入设备和/或任何其它输入设备。设备902中也可以包括(一个或多个)输出设备912，诸如一个或多个显示器、扬声器、打印机和/或任何其它输出设备。(一个或多个)输入设备914和(一个或多个)输出设备912可以经由有线连接、无线连接或它们的任何组合被连接到设备902。在一个实施例中，来自另一个计算设备的输入设备或输出设备可被用作为用于计算设备902的(一个或多个)输入设备914或(一个或多个)输出设备912。

[0070] 计算设备902的部件可以通过诸如总线那样的各种互连而被连接。这样的互连可包括外围部件互连(PCI)，诸如PCI Express、通用串行总线(USB)、Firewire(IEEE 1394)、光学总线结构等等。在另一个实施例中，计算设备902的部件可以通过网络被互连。例如，存储器908可以由位于通过网络被互连的不同物理位置处的多个物理存储器单元组成。

[0071] 本领域技术人员将认识到，被利用来存储计算机可读指令的存储设备可以跨网络地分布。例如，经由网络918可访问的计算设备920可以存储用来实施这里提供的一个或多个实施例的计算机可读指令。计算设备902可以访问计算设备920并下载部分或全部的计算机可读指令以用于执行。替换地，计算设备902可以按需要下载多条计算机可读指令，或某些指令可以在计算设备902上执行而某些在计算设备920上执行。

[0072] F.术语的用法

[0073] 虽然主题是以特定于结构特征和/或方法动作的语言被描述的，但应当理解，在所附权利要求中限定的主题不是必然地局限于以上描述的特定的特征或动作。而是，以上描述的特定的特征和动作是作为实施权利要求的示例性形式被公开的。

[0074] 当在本申请中使用时，术语“构件”、“模块”、“系统”、“接口”等等一般打算是指计算机有关的实体，或者硬件、硬件和软件的组合、软件、或在执行中的软件。例如，构件可以是但不限于：在处理器上运行的进程、处理器、对象、可执行文件、执行的线程、程序和/或计算机。作为举例说明，在控制器上运行的应用和该控制器都可以是构件。一个或多个构件可以驻留在执行的进程和/或线程内，以及构件可以被局限于一个计算机和/或被分布在两个或更多个计算机之间。

[0075] 而且，所要求保护的主题可被实施为方法、设备或制造品，它们使用标准编程和/或工程技术来产生软件、固件、硬件或它们的组合，以控制计算机实施所公开的主题。当在这里使用时，术语“制造品”打算包括从任何计算机可读设备、载体或介质可访问的计算机程序。当然，本领域技术人员将认识到，对于这种配置可以做出许多修改，而不背离所要求保护的主题的范围或精神。

[0076] 在这里提供了实施例的各种操作。在一个实施例中，所描述的其中一个或多个操作可以构成被存储在一个或多个计算机可读介质上的计算机可读指令，其如果被计算设备执行，将使得计算设备执行所描述的操作。某些或所有的操作被描述的次序不应当被解释为暗示这些操作必然是与次序相关的。本领域技术人员将会意识到替换的排序具有本说明的益处。而且，要理解，不是所有的操作都必然存在于在这里提供的每个实施例中。

[0077] 此外，单词“示范性”在这里被使用来指用作为例子、实例或举例说明。在这里被描述为“示范性”的任何方面或设计不是必然地要被解释为比其它的方面或设计有利。而是，单词“示范性”的使用打算以具体的方式呈现概念。当在本申请中使用时，术语“或”打算是指包括性的“或”，而不是指排除性的“或”。也就是，除非另外指定，或从上下文来看是明确的，否则“X利用A或B”打算是指任何自然的包括性置换。也就是，如果X利用A；X利用B；或X利用A和B两者，则“X利用A或B”在任何上述的实例下均满足。另外，当在本申请和所附权利要求中使用时，冠词“一”和“一个”(“a”和“an”)总的可被解释为是指“一个或多个”，除非另外地指定，或从上下文来看明确针对单数形式。

[0078] 另外，虽然本公开内容是相对于一个或多个实现来显示和描述的，但本领域技术人员在阅读和了解本申请书和附图的基础上将会想到等同的变更和修改。本公开内容包括所有这样的修改和变更，以及本公开内容仅仅由以下的权利要求的范围来限制。具体地，关于由上述部件(例如，单元、资源等等)执行的各种功能，被使用来描述这样的部件的术语打算：除非另外指明，否则对应于执行所描述部件的规定功能的任何部件(例如，它是在功能上等同的)，即使其在结构上并不等同于本公开内容的所公开的、用来执行在这里所图示的示范性实现中的功能的结构。另外，虽然本公开内容的具体特征可能是相对于几个实现中的仅仅一个实现公开的，但这样的特征可以按对于任何给定的或具体的应用而言可能是想要的和有利的那样，与其它实现的一个或多个其它特征相组合。此外，就术语“包括(includes)”、“具有(having)”、“有(has)”、“带有(with)”或它们的变例被使用在详细说明或权利要求中来说，这样的术语打算以类似于术语“包括(comprising)”的方式是包括性的。

标题	发布/更新时间	阅读量
一种电缆井下全景图像采集器	2020-05-08	996
显示装置和使用其的显示方法	2020-05-12	625
一种全景摄影用数码照相机及全景摄影系统	2020-05-14	121
具有全景扫描范围的照相装置	2020-05-08	203
图像显示装置及图像显示方法	2020-05-16	943
测量和计算热传输的方法	2020-05-11	156
双目立体视觉图像的提供方法、传送装置和照相机单元	2020-05-08	874
一种固定翼无人机监控装置	2020-05-13	753
云台、拍摄设备、增稳系统及移动载体	2020-05-16	612
디지털 치과 당일 보철치료 시스템 및 진료실 운영방법	2020-05-17	282

移动成像平台校准

移动成像平台校准

背景技术

附图说明

具体实施方式

该功能需要专业版企业版VIP权限，您可以：