本发明解决了实现，比如车轮定位确定的，精确测量的需求。本发明提供了一种改进的利用三维(3D)目标的系统。
本发明的一个方面涉及一种用于确定机动车车轮定位的方法。三维目标被附接到车轮上，其中所述三维目标上具有多个目标元件，每个目标元件具有特定已知的几何特性、并且依据特定的已知的相对于彼此的三维关系构造在3D空间中。对应于多个目标元件的多个目标元件图像，根据通过至少一个摄像机所获得的三维目标的二维(2D)图像得到检测。车轮的定位基于三维目标的空间定向来确定，该空间定向基于目标元件图像和各目标元件之间的三维关系来确定。
依据一个实施方式，三维目标被附接到车轮上，其中所述三维目标上具有多个目标元件，所述目标元件具有特定已知的几何特性、并依据已知的相对于彼此的三维关系而构造在3D空间中。使用至少一个摄像机来获取三维目标的2D图像。三维目标的2D图像用以基于三维目标来确定车轮定位。
本发明另外的方面涉及一种用于确定机动车车轮的定位的系统。三维目标用于附接到车轮上，其中所述三维目标上具有多个目标元件，所述目标元件具有特定已知的几何特性、并依据已知的相对于彼此的三维关系而构造在3D空间中。设置2D成像系统以用于获取所述三维目标的2D图像。目标元件特性检测系统，根据2D图像，检测对应于多个目标元件的多个目标元件图像。车轮定位确定系统，基于三维目标的空间定向来确定车轮的定位，该空间定向依据所检测的目标元件图像和各目标元件之间的三维关系得以确认。
依据用于确定机动车车轮的定位的系统的一个实施方式，使用了能够附接到待定位的车轮上的三维目标。该三维目标上具有多个目标元件，所述目标元件具有特定已知的几何特性、并依据已知的相对于彼此的三维关系而构造在3D空间中。成像系统，具有至少一个摄像机，构造成能够获取三维目标的2D图像。车轮定向确定系统，用于利用三维目标的2D图像来基于三维目标确定车轮定向。
本发明的另一个方面涉及一种用于确定涉及物体的测量的方法。在一个实施方式中，将三维目标与该物体相关联。该三维目标上具有多个目标元件，所述目标元件具有特定已知的几何特性、并依据已知的相对于彼此的三维关系而构造在3D空间中。对应于多个目标元件的多个目标元件图像，根据由至少一个摄像机获取的三维目标的2D图像得以检测。关于物体的测量基于三维目标的空间定向进行确定，该空间定向基于目标元件图像和各目标元件之间的三维关系得以确定。
附图说明
这里所述要求的和/或说明的发明利用示例性实施方式进行进一步的说明。参考附图对这些示例性实施方式进行了详细描述。这些实施方式是非限定性的实施方式，在这些实施方式中，全部附图的视图中的相同序号表示类似的结构，并且其中：
图1(现有技术)示出了用在车轮定位中的传统的二维目标；
图2a到图2e示出了本发明实施方式的三维目标的示例性结构；
图3说明了本发明实施方式的定向确定系统的示例性结构；
图4描述了本发明实施方式的使用三维目标的车轮定位系统的几何形状；
图5描述了本发明实施方式的使用三维目标的示例性车轮定位系统的框图；
图6描述了本发明实施方式的示例性2D图像特性检测系统的框图；及
图7是本发明实施方式的使用三维目标用于确定车轮定位的示例性过程的流程图。

本发明涉及利用与物体相关联三维(3D)目标、以通过对该3D目标的二维(2D)图像进行图像处理，来进行与物体有关的测量的方法和系统。在一些实施方式中，该物体对应于车轮。3D目标能够安装到车轮上，以能够进行精确的车轮定位。在一些实施方式中，该物体对应于手持装置。3D目标能够附接到或关联于该装置以能够进行装载高度测量。在一些实施方式中，该物体对应于摄像机。能够使用附接于或关联于摄像机的3D目标，以使得能够进行自校准。下面给出关于3D目标能够基于2D图像处理进行测量的细节。
图2a到图2e示出了本发明实施方式的三维目标的示例性结构。在图2a中，三维目标200包括两个或以上的固体面201和202。两个面201和202通过对齐每个面的一个侧边而空间上彼此邻近(见200-1)，并且它们成一定的角度200-2。在面201上，存在多个目标元件204，这些目标元件依据一些已知的空间形式定位在面201上。每个目标元件都具有一些特性，比如形状、尺寸或颜色；并且这些特性能够被定量地测量。例如，如图2a中所示，所述目标元件对应于实心圆。这样的圆通常称作基准或固定材。每个这种圆的半径或质心可以测量到。在一些实施方式中，同一面上的目标元件可以是统一的。在其它的实施方式中，同一面上的目标元件可以是不统一的。
每个面上的目标元件制成可视觉感知的。这可通过在目标元件和目标元件所位于的面的表面之间引入对比度而实现。如图2a中所示，目标元件被制成比面201的背景面(非目标元件区)更暗。在一些实施方式中，目标元件和背景面可以用不同的材料制成。例如，目标元件可以制成反向反射的，而背景面制成非反射的。在另外的实施方式中，背景面可以制成比目标元件颜色浅、并且制成非反射的。
在图2a中，面202也具有多个目标元件203。面202上的目标元件可以类似于面201上的目标元件的方式进行构造。例如，面201和面202上的目标元件具有类似的特性，如图2a中所示。在一些实施方式中，面202可以不同于面201。面202上的目标元件可以具有不同的特性。另外，面202上的目标元件可以为不同的布置。
图2b示出了依据本发明的一个实施方式的不同的三维目标205。三维目标205总的形状大致类似于具有多个面的刚性立方体，该多个面包括顶面206、前面207、左面208、底面209、背面210和右面211。在优选实施方式中，至少两个面上具有一个或多个目标元件。如在图2b中看到的，在三维目标205的背面上有四个目标元件210-a、210-b、210-c、210-d，并且在前面上存在一个目标元件209-a。在该优选实施方式中，在其上具有二维目标元件的两个面的表面法线具有相同的定向。在一些实施方式中，两个面上的二维目标元件、以当沿特定视线观察时全部目标元件都可见的型式进行布置。尽管全部元件可视，但这些目标元件可以或不可以重叠。为使全部目标元件可视，两个面中的一个可以制成透明的，如图2中所说明的，其中当从前面朝向后面观察时前面是透明的。
图2c示出了依据本发明的实施方式的三维目标212的另一个示例性结构。如图2c中所示，三维结构214布置为物理地邻接于面213、并且两者形成特定的空间关系。在一些实施方式中，三维结构214的几何特性为：在其上具有一个表面，该表面的空间定向与面213的表面217的空间定向相同，三维结构214附接到面213的表面217。例如，图2c中的表面215具有与面213的表面217相同的空间定向。
在这样的3D构造中，多个二维目标元件216、217-a、217-b、217-c、217-d依据一定型式空间地布置在表面217和表面215上。在一个优选实施方式中，布置二维目标元件，以使当沿特定视线观察时全部目标元件可见。尽管全部目标元件可见，但这些目标元件可以或不可以重叠。在一个优选实施方式中，视线垂直于表面215和表面217。图2c说明一种可能的布置，其中多个目标元件绕三维结构214布置在面213上、并且单个目标元件布置在表面215上。应该明白这样的说明仅是示例性的，它们未限定本发明的范围。
图2d示出了依据本发明的一个实施方式的三维目标220的又一个示例性结构。三维目标220对应于一种三维结构，该三维结构在一定的中空空间中具有至少两层平行的平面。如图2d中所示，存在彼此平行的面223、225和226，并且沿垂直于这些面的表面的轴线定位在不同位置处。一个或多个这些平行面可以在三维结构220的一个表面上。例如，平行面225和226在3D结构220的前表面221上。
在一些实施方式中，每个面上都具有依据一定型式布置的一个以上的目标元件。在图2d中示出的实施方式中，在面223上存在四个布置成菱形的目标元件223-a、223-b、223-c及223-d。在面225上有两个目标元件229-a和229-b，并且在面226上有两个目标元件230-a和230-b。在一些实施方式中，布置目标元件的型式为：当沿特定视线观察时全部目标元件可见。这些目标元件可以或不可以重叠。
图2e示出了与220(图2d中所示)类似的三维结构231，但在结构的不同面上具有不同类型的目标元件。例如，如图2e中所示，安装在三维结构231的前表面232上的四个目标元件236-a、236-b、236-c和236-d是LED。另外，图2e示出了面233上的目标元件235-a、235-b、235-c、235-d、235-e的不同布置。
图3示出了在其上可以执行本发明的定向确定系统的实例。定向确定系统300包括视觉成像系统302，成像系统302具有安装在梁314上的一对固定的、间隔的摄像机310、312。梁314具有足够的长度来分别将摄像机310、312定位在待由定向确定系统300成像的车辆的外侧。另外，梁314将摄像机310、312定位在场地316之上足够高，以确保车辆左侧上的两个目标装置318、320在左侧摄像机110的视野内，并且确保车辆右侧上的两个目标装置322、321在右侧摄像机312的视野内。
目标装置318、320、322、324安装在机动车的各个车轮326、328、330、332上，各个目标装置318、320、322、324都包括附接设备338。附接设备338将目标装置318、320、322、324附接至车轮326、328、330、332。1991年6月18日授权给Borner等人的名称为“Wheel Alignment Rim Clamp Claw”的第5024001号美国专利中说明了附接设备的实例，通过合并引用于此。
在操作中，一旦定向确定系统300已经校准，如第5,535,522和第5,724,743美国专利中说明的，就能够将车辆驱动到托架340上，并且如果需要，将车辆升起到适当的维修高度。目标装置318、320、322、324一旦附接到轮毂上，则然后被定向从而使目标朝向各自的摄像机310、312。
通常已知目标装置318、320、322、324相对于、附接有这些目标装置的车轮326、328、330、332的轮毂的位置。一旦目标装置318、320、322、324在一个位置中被成像，就将车轮326、328、330、332滚动到另一个位置并且能够获取新的图像。使用目标装置318、320、322、324在两个位置中的成像位置，车轮326、328、330、332和车轮轴线的实际位置和定向能够通过可视成像系统302算出。尽管两个位置之间的距离有变化，该距离向前和向后通常近似为8英寸。
图4说明了采用三维目标412的车轮定位系统的、基于针孔摄像机模型的成像几何形状410。有三个坐标系：3D摄像机坐标系422；2D图像坐标系426；和3D目标坐标系414。3D摄像机坐标系422分别具有X轴、Y轴和Z轴，并以其原点O(424)作为焦点或针孔。2D图像坐标系426平行于摄像机面420，由X轴和Y轴形成，并且垂直于Z轴。从3D摄像机坐标系422的原点到2D图像坐标系426的原点的距离是成像系统410的焦距。3D目标坐标系414分别具有相对于3D摄像机坐标系定义的轴Uo、Ui和Uz。
在成像过程中，三维目标412上的各个点，例如标注为Ф＝(t0，t1，t2)的点Ф416在数学上沿矢量r418投影、并穿过针孔O424、并且到达2D图像坐标系中的2D图像面426上的点P，这里t0，t1，t2是点Ф在3D目标坐标系中的坐标，即3D目标坐标系的单位矢量轴U0、U1，和U2的分量这样的2D图像点标注为P＝(CX，CY)，其中CX和CY是投影点在2D图像坐标系中的坐标。三维目标上的3D点Ф＝(t0，t1，t2)(以3D目标坐标系表示)与2D图像点P＝(CX，CY)之间的关系表示如下：
r＝C+(t0*U0)+(t1*U1)+(t2*U2)
cx＝F*(r·x)/(r·z)，
cγ＝F*(r·y)/(r·z)，
其中r是从摄像机坐标系的原点到3D目标上的点的矢量，C＝(Cx，Cy，Cz)(未示出)是从摄像机坐标系的原点到目标坐标系的原点的矢量，U0、U1，和U2是相对于摄像机坐标系定义的目标坐标系的正交单位矢量轴，x、y和z是摄像机坐标系的单位矢量。
用r的表达式替换r，能够得到：
r＝C+(t0*U0)+(t1*U1)+(t2*U2)
Cx＝F*(Cx+(t0*U0X)+(t1*U1x)+(t2*U2X))/Cz，
CY＝F*(CY+(t0*U0y)+(t1*U1y)+(t2*U2y))/cz，
C2＝C2+(to*U0Z)+(t1*U1Z)+(t2*U2Z)
假设各个目标元件在所获取的2D图像中观测到为斑点。每个这样的斑点都可以表征为质心，并且全部目标元件能够标注为所测量的质心坐标(mxi，myi)，其中i是一组这样的质心的索引。每个这样的点(i)对应一个目标上的目标元件特征点Ф。
为确定车轮相对于如刚才说明的成像系统中的摄像机的方位，从该成像系统中能够确定车轮的未对准，可以校准如图4中描述的成像系统，以得到对应于三维目标上的所观察到的目标元件的一组质心，其中采用所述三维目标以确定车轮定位。
假设该所测量的一组质心(mxi，myi)对应于从三维目标上的一组目标元件投射的一组点(Cxi，Cyi)，其中i表示组中的序号。为确定目标相对于摄像机的方位，从摄像机能够确定安装有这里所说明的三维目标的车轮的未对准，能够将如下的成本函数最小化：
ρ＝∑i((Cxi-mxi)2+(CYi-myi)2)
这里(mxi，myi)表示安装在车轮上的三维目标的第i个目标元件的所测量的质心坐标，这是在车轮定位期间所获取的2D图像中测量的，并且坐标(Cxi，Cyi)表示从假设的三维目标上的目标元件投射的对应点。
在一些实施方式中，假设的三维目标是3D模型。该3D目标模型为具有多个面的已知结构，每个面具有多个目标元件。3D目标模型上的各个目标元件的质心，可以在数学上投射到或转换到2D图像面以产生一组投射或模型质心。每个这样的转换模型质心具有坐标(Cxi，Cyi)。在这样的假设下，模型质心能够预先存储，或者基于与转换相关的多个存储的参数而在进行中产生。这样的参数包括：摄像机参数；用于3D目标模型的坐标系；摄像机坐标系；及摄像机坐标系和3D目标坐标系之间的关系。
成本函数ρ是描述目标相对于摄像机的3D方位的六个独立参数的函数，这是因为坐标(Cxi，Cyi)表示3D点经过具有六自由度的3D转换之后投射在摄像机面上的点。例如，六自由度能够通过六个独立参数来实现：例如，Cx、Cy、Cz对应于X-Y-Z方向的平移，及迎角、倾角和旋角对应于在三维空间中的转动。。
在最小化成本函数ρ时，假设的三维目标的3D坐标可在数学上进行调整(通过6个独立参数)，从而使两组2D点(Cxi，Cyi)和(mxi，myi)之间的差最小化。对于六个独立参数关于校准的3D位置的调整，生成了表示所测量的目标方位的最小的ρ。
图5描述了依据本发明实施方式的使用三维目标的示例性车轮定位系统的框图500。该车轮定位系统包括安装有三维目标502的车轮501；成像系统505；3D目标模型503；目标元件特征识别系统515；优化系统525；和定向确定系统545。可选地，还可以包括车轮定位校正系统550，以在检测到未对准时校正这样的未对准。
在操作中，成像系统505依据图4中描述的成像几何外形来建立。3D目标模型503用以，基于多个系统参数如摄像机参数535-d、目标坐标系535-c、摄像机坐标系535-b及两个坐标系的转换关系，来产生模型质心坐标(Cxi，Cyi)535-a。
可以采用车轮定位系统500来进行车轮定位检测及其校正。当三维目标502安装在车轮501上时、例如图4中说明的系统构造，2D成像系统被激活以获取三维目标502的2D图像510。目标元件特征识别系统515分析所获取的2D图像510，以获得特征如目标斑点，每个目标斑点对应一个目标元件；和/或这种识别的目标斑点的质心或(mxi，myi)520。
所检测到的2D图像特征比如质心(mxi，myi)，被发送到优化系统525，优化系统525通过关于这里说明的六个独立参数的3D位置，来调节假设的三维目标或3D目标模型503使成本函数ρ最小化。对于六个独立参数的调节然后被发送到定向确定系统545，在该定向确定系统中目标501的方位基于需要用以使成本函数ρ最小化的调节来确定。然后，车轮定位校正系统550可以基于车轮相对于彼此的方和存储在数据库中的车轮定位规范，计算出定位参数和对于车轮定位的任何所需要的校正。
图6描述了依据本发明实施方式的目标元件特征识别系统515的框图。在该示例性实施方式中，检测圆形目标元件，并且获得每个圆形目标元件的质心来表示目标元件。应该明白这里所说明的2D图像特征、及这里采用的检测这样的2D图像特征的方法和系统，并不限制本示教的范围。也可以使用其它的2D图像特征，并且可以设计和执行相应的方法和系统来检测、识别描述这些2D图像特征。
目标元件特征识别系统515包括：图像成分检测单元620；圆检测单元630；和质心确定单元640。可选地，目标元件特征识别系统515也可以包括图像预处理单元610。由成像系统505获取的2D目标图像510可以由图像预处理单元610进行预处理。这样的预处理可以包括图像滤波、增强或边缘检测。
图像成分检测单元620分析来自510的2D图像、或来自图像预处理单元610的2D图像，来识别2D图像中有意义的成分。这样的成分可以包括2D图像内的表示2D斑点的区域每个这样的斑点可以通过例如执行一些图像分割操作来获得。例如，当图像目标元件与背景相比具有清晰的对比度时，可以通过关于像素亮度的阈值运算，来获得关于目标元件的各个区域或其重叠区域。
在一些实施方式中，基于所分割的图像斑点，可以进行进一步的图像分析来识别所需要的特征。例如，如果已知目标元件是圆形，可以调用圆形检测单元630检测每个图像斑点的边界，并将这样的边界与投射到比如这里说明的成像系统的图像面的圆的边界形状进行比较。当图像斑点重叠时可以应用其它的分析。在一些实施方式中，可以采用本领域已知的算法来检测重叠的图像斑点的边界。这样检测到的圆可用以得出每个圆形目标元件的特定表示。例如，可以基于这样所检测到的圆来计算出目标元件的半径。所检测到的投射圆心可用作对于该圆的质心的估计。
在一些实施方式中，质心可以直接从图像成分检测单元620所检测的图像成分得到。例如，对于每个图像斑点，可以应用本领域已知的算法、来基于图像斑点内的全部像素的坐标计算出质心坐标。在一些实施方式中，图像斑点的质心也可以基于图像斑点的边界点来得出，这些图像斑点如由圆检测单元630所识别的圆。
图7是依据本发明实施方式的使用三维目标以用于确定车轮定位的示例性过程的流程图。在710处，首先设计或构造三维目标，并且这样的三维目标可以具有如图2a到图2e中的任何一个所说明的结构。所构造的三维目标也能够具有适用于车轮定位的任何其它的3D构造。在720处，建立相应的用于三维目标的三维目标模型(图5中的503)，并且计算并存储三维目标模型503的投射的2D特性，以达到基于三维目标模型确定车轮方位的目的。
为进行车轮定位，在730处将所构造的三维目标依据这里描述的特定几何约束安装在车轮上。在740处，激活如图4所示系统中的校准的摄像机来捕获三维目标的2D图像。在750处，从2D图像中识别三维目标上的目标元件，并且之后在760处得到目标元件的对应特征(例如质心)。在770处，这样的特征用以，通过调整关于三维目标模型503的2D投射特征的六个独立参数，使成本函数最小化。在780处，优化过程中进行的调节然后被用以计算目标的方位。在790处，所计算的目标的方位然后被用以确定用来使车轮对准的参数。
下面，描述依据本发明实施方式的ρ的优化过程。成本函数ρ是六个参数的非线性函数。对于ρ没有解析解法。因此，它的优化通常需要迭代过程，所以在计算上成本较高。关于这样的最小化规程有大量的文献。例如，熟知的最小二乘法能够用以优化ρ。为提高车轮定位的速度，在本发明的一些实施方式中，采用了改进的优化过程。
在这样的改进的优化过程中，分别调节六个独立参数。由此在各个优化的步骤中，仅将六个参数中的一个考虑为变量，并将另外五个参数作为常量。在该情况下，成本函数ρ仍是无解析解的非线性函数(多项式的比率的和)。在一些实施方式中，关于一个参数的优化可以重复进行。在该情况下，在独立的过程中调节六个参数中每个参数来优化成本函数ρ，直到由调节引起的ρ的变化小于一些阈值。
在一些实施方式中，带有一个参数的成本函数能够近似地解出。当当前的参数值接近最小化成本函数的值时，带有一个参数的成本函数ρ是具有可微的、平滑变化的函数曲线的抛物线函数。假设一个参数的抛物线函数或二次函数表示为：ρ(q)＝a*q2+b*q+c，其中q是参数(六个独立参数中的一个参数)。该函数的一阶和二阶导数对应于：ρ′(q)＝2a*q+b和ρ″(q)＝2a。已知当ρ(q)关于q的一阶导数为0时在q＝q*处ρ(q)最小。即，ρ′(q)＝2a*q+b＝0。解该方程，q*＝-b/(2*a)。由于ρ′(q＝0)＝b并且ρ″(q＝0)＝2a，因此，q*＝-(ρ′(0)/ρ″(0))。以这种方式，参数q的参数值q*使一个参数的成本函数ρ最小。这里，q*对应于对参数q进行调整以最小化ρ。将该技术顺次应用于各个参数，能够获得另外五个独立参数中的每个参数的使成本函数ρ最小化的参数值。
上述的优化过程被应用于与透视投影过程对应的数学表达式。在一些实施方式中，还可以进行非透视解。如上所述，cz＝Cz+(t0*U0z)+(t1*U1z)+(t2*U2z)。如果Cz＞＞(t0*U0z)+(t1*U1z)+(t2*U2Z)，则cz近似独立于U0z、U1z和U2z。这允许对参数C、U0、U1和U2进行解析计算，而不是应用比如最小二乘法的迭代过程。假设参数值接近于最小值，根据需要，这样的解足够作为最终解，或可用作透视计算的始点。
虽然已经参考特定说明的实施方式描述了本发明，这里使用语句是描述性的语句，而非限定性的语句。在权利要求的范围内，在不偏离本发明的方面的范围和精神的前提下，可以做出改变。尽管这里参考特定的结构、作用和材料说明了本发明，本发明并不局限于所说明的特定例，而是能够以广泛的不同的形式实例化，某些实例可以完全不同于所公开的实施方式的形式，并延伸至比如在权利要求的范围内的全部等效的结构、作用和材料。