物体表面几何形状的三维扫描和数字化技术现在被普遍地应用于很 多工业和服务中，它的应用领域是非常广泛的。这些应用领域的一些例子 如下：工业生产系统中的形状一致性检查和测量；工业造型设计中的泥塑 模型的数字化；已有复杂几何形状部件的反向工程；多媒体应用中的物体 的交互式虚拟现实技术；艺术品和人工制品的三维存档；为获得更好矫正 适应性或生物统计(orthesis adoption or biometry)的人体扫描。
通过测距传感器扫描和数字化物体的外形，测距传感器测量传感 器和表面上一组点之间的距离。通过这些测量，可以获得目标表面上 各点在传感器参考系上的三维坐标。从给定的视角，测距传感器仅仅 能够进行表面可见部分的距离测量。为了数字化整个物体，传感器必 须移动到多个视角以获得能够覆盖整个表面的距离测量值。根据全部 距离测量值可以在全球公用坐标系统上建立物体表面几何形状的模 型。
关于测距传感器发展了很多不同的理论(参阅F.Blais，“A Review of 20 Years of Range Sensor Development”，in proceedings of SPIE-IS&T Electronic Imaging，SPIE Vol.5013，2003，pp.62-76)。其中，干涉度量 法(interferometry)，飞行时间(time-of-flight)和基于三角剖分的原 理是公知的理论，根据精度要求、传感器和物体之间的相隔距离 (standoff)以及景深要求，每一种理论都或多或少是适用的。
我们特别关注基于三角剖分原理的测距传感器，此传感器通常适 用于近距离测量，尤其是几米之内的距离。使用这种类型的仪器，人 们必须从两个不同视角收集物体上一个相同特征点上的两个观测值， 这两个视角相距一个基线距离。从基线和两个光线方向上可以获知被 观测点的相对位置。通过使用三角形中的一条边长和两个角的知识求 解两条光线的交点。这实际上就是被动立体视觉原理。人们可以用可 在已知方向上发射一组光线的光线投影器来替代光线检测器。在这种 情况下，使用投影器的方向线和每一条反射在物体表面上的被检测光 线求解三角形是可能的。在两种情况下，计算每一个与三角形底边相 关的观测特征点的坐标是可能的。尽管可以使用特定的光线检测器， 但是CCD和CMOS数码相机是最常用的。
光线投影器的使用方便了物体表面上各个部位反射点的检测，从 而可以提供密集的表面点测量集。典型的，光源为投射点光线、光照 平面或其他可能的光线形式(如十字光线)的激光光源。这种具有相 干光形式类型的投影器可以提供好的景深，但是会受到斑点噪声的影 响。当在景深上的损失不是很重要时，还可以使用非相干光形式的投 影器来避免斑点噪声的影响。
扫描一个物体的就是要收集物体表面上点的信息。所述点可以被 构造成曲线(轮廓)或深度图像的形式。为了扫描物体的整个表面， 人们必须移动传感器。尽管可以独立的移动投影器(参阅J.Y.Bouguet and P. Perona，“3D Photography Using Shadows in Dual-Space Geometry”，Int.Journal of Computer Vision，vol.35，No.2， November-December 1999，pp.129-149)，传感器通常设计为一个包含 光线检测器和投影器的单一部件。光线检测器和投影器可以刚性集 成，或者在通常情况下使用光线投影器作为传感器设备内的扫描机 构。传感器可以通过利用机械系统围绕物体转动，也可以是多功能手 持设备。便携式手持系统对于快速扫描以及物体必须在现场扫描的情 况下特别有宜。
应用手持系统的主要挑战在于在相对于物体来说是固定的全球 公用坐标系统内连续评估仪器的位置和方向(6个自由度)。这可以通 过使用与测距传感器相耦合的定位装置(参阅专利号为No.US 6,508,403的美国专利)来完成。使用定位装置显著的增加了仪器的复 杂度和成本。在一些情况下，使用定位装置是笨重的并且会造成足以 限制集成数据质量的噪音。
为了避免使用外部定位装置，一种替代方案是使用在刚性物体上 收集到的3D测量结果来计算仪器和物体之间相对位置和方向。甚至 在扫描时保持和移置手中的物体也是可行的(参阅S.Rusinkiewicz，O. Hall-Holt and M.Levoy，“Real-Time 3D Model Acquisition”，in ACM Transactions on Graphics，vol.21，no.3，July 2002，pp.438-446，F.Blais， M.Picard and G. Godin，″Accurate 3D Acquisition of Freely Moving Objects，″in proc.of the Second International Symposium on 3D Data Processing，Visualization and Transmission.Thessaloniki，Greece. September 6-9，2004.NRC 47141)。这种在测量时直接把位置计算集成 入系统的思想是很有趣味的，但是这种系统完全依赖于物体的几何形 状并且对所保持姿势的准确评估是不可能的。例如，几何形状变化平 缓的物体或自身球形，圆柱形和局部对称的物体在位置测量中没有连 贯一致的质量。
通过使用可以从场景中的不同视角重新观测的固定点及特征，人 们可以使用照相测量法理论。这些位置特征可以是场景中的自然点， 但是在大多数情况下它们的密度或质量是不充分的，并且目标位置特 征被设置在场景中。人们可以搜集一组图像并在全球公共坐标系统中 建立位置特征的3D模型。人们可以进一步将此利用相机的理论与3D 表面扫描仪相结合。照相测量法和测距传感方法的补充已经被开发出 来(参见http://www.gom-online.de/En/Products/tritop.html，March 8， 2006)，在此方法中使用带有照相机的白光投影器照亮逆反射 (retro-relective)目标。使用这种类型的系统，逆反射目标集的照相 测量法模型通过使用数字照相机被预先测量和建立。然后，3D传感 器设备被放置在一组固定位置上以便测量物体表面几何形状。由于3D 传感器设备能够检测逆反射目标，测距图像被记录到先前构造的位置 特征模型上。
一个有趣的思想是把手持扫描仪集成入同样的系统中，此扫描仪 能够投影光图像(light pattern)，并且在观测位置特征的同时具有自定 位能力。Hebert(参阅P. Hébert，“A Self-Referenced Hand-Held Range Sensor”.in proc.of the 3rd International Conference on 3D Digital Imaging and Modeling(3DIM 2001)，28 May-1 June 2001，Quebec City， Canada，pp.5-12)提出利用外部固定投影器在待扫描物体上投射激光 光点以帮助定位手持传感器。然而，尽管系统是自由手持的，但是由 于不能动态的建立位置特征点模型，此系统是有局限性的，必须存在 一个所有三个位置特征点均可见的单一视角。

在积累位置特征的第二个模型的同时，利用单一手持传感器同时 对物体表面进行实时扫描和建模是非常有益的。而且，同过安装作为 物体上的位置特征的附加物理目标，不依赖于用于计算传感器位置质 量的物体表面几何形状，一手握住物体另一只手握住扫描仪的方法是 可行的。
因而，本发明的目的是提供一种3D激光扫描系统，此系统能够 同时进行3D表面几何形状的测量和用于定位的位置特征集模型的测 量。
本发明的另一个目的是提供一种嵌入手持传感设备的简洁仪器， 此仪器用于扫描物体表面几何形状。
本发明的另一个目的是提供一种用于3D物体扫描的改进方法。
因此，本发明提供了一种三维扫描系统，所述的系统包含一个手 持传感设备，此设备包含一组或至少一个激光平面投影器和一组或至 少两个物体和光线检测器，所述传感设备从每一个光线检测器中提取 图像，此系统包含一个图像处理器用以获得至少一组来源于所述投影 激光平面在物体表面上的反射的2D表面点和至少两组来源于目标位 置特征观测的2D位置特征，此系统包含一个3D表面点计算器用于 把所述2D表面点集转换为与传感器坐标系统相关的3D表面点集； 此系统还包含一个3D位置特征计算器用于把所述2D位置特征集转 换为与传感器坐标系统相关的计算后的3D位置特征集，此系统还包 含一个3D位置特征匹配器用于把3D位置特征和2D位置特征与已收 集的已观测位置图像相匹配并计算当前传感器设备和所述已收集的 位置图像之间的空间关系；此设备还包含一个3D位置特征转换器用 于用于把所述3D位置特征集转换为与全球公用坐标系统相关的计算 后的3D位置特征集；此设备还包含一个参考位置特征模型构建器用 于计算，更新和收集已有的被观测3D位置特征图像；此设备还包含 一个3D表面点转换器用于把所述的3D表面点集转换到与3D位置特 征图像相关的全球坐标系统中。
本发明提出了一种嵌入了手持传感设备的设备，此设备包含一组 或至少一个激光平面投影器和一组或至少两个物体和光线检测器，所 述的光线传感器子集包含一个光源用于照射和简化逆反射目标在场 景中的参考点的检测，所述设备连接到一个计算机上用于提供至少一 组来源于投影平面在物体表面上的反射的2D表面点和至少一组来源 于目标位置特征观测的2D位置特征。
本发明还提供了一种用手持设备获得全球坐标系内的3D表面点 的方法。包含如下步骤：获得至少一组来源于所述投影激光平面在物 体表面上的反射的2D表面点和至少两组来源于目标位置特征观测的 2D位置特征的方法，把所述2D表面点集转换为与传感器坐标系统相 关的3D表面点集的方法；把所述2D位置特征集转换为与传感器坐 标系统相关的计算后的3D位置特征集的方法，把3D位置特征和2D 位置特征与已收集的已观测位置图像相匹配并计算当前传感器设备 和所述已收集的位置图像之间的空间关系的方法；把所述3D位置特 征集转换为与全球公用坐标系统相关的计算后的3D位置特征集的方 法；计算，更新和收集已有的被观测3D位置特征图像的方法；把所 述的3D表面点集转换到与3D位置特征图像相关的全球坐标系统中 的方法。
本发明还提供了一种用手持设备获得物体坐标系内的物体3D表 面点的方法，所述方法包含如下步骤：在所述物体上提供一个投影平 面的方法，在所述物体上定位位置特征集的方法，此方法可使所述物 体和物体坐标系能够在空间中移动而所述位置特征依然停留在所述 物体上；获得一对在所述物体上的所述投影平面和至少部分所述位置 特征集的2D图像的方法以及获得所述一对定义在传感设备坐标系上 的2D图像的位置的方法；从所述一对2D图像中提取一对来源于所 述投影平面的2D表面点集和一对至少来源于部分所述位置特征集的 2D位置特征集的方法；通过使用所述一对2D表面点集来计算在所述 传感器设备坐标系内的3D表面点集的方法；通过使用所述一对2D 位置特征集来计算在所述传感器设备坐标系内的3D位置特征集的方 法；计算转换系数以便描述所述传感器设备坐标系和所述物体坐标系 之间的当前空间关系，通过匹配所述计算后的所述传感器设备坐标系 内的3D位置特征集和在所述物体坐标系内的参考3D位置特征集之 间的对应特征从而从先前的观测中来累积所述的参考3D位置特征的 方法；使用所述转换参数，把所述计算后的在所述传感器设备坐标系 内的3D表面点集转换到转换后的在所述物体坐标系内的3D表面点 集的方法；使用所述转换参数，把所述计算后的在所述传感器设备坐 标系内的3D位置特征集转换到转换后的在所述物体坐标系内的3D 位置特征集的方法；累积所述转换后的3D位置特征集以便提供和增 加所述的参考3D位置特征集的方法。
本发明还提供了一种获得在物体坐标系内的物体3D表面点的系 统，此系统包含一个具有一个能够在所述物体上提供投影平面的平面 投影器的传感器设备，此系统还包含一对能够获得一对在所述物体上 的所述投影平面和至少部分所述位置特征集的2D图像的照相机和一 个传感设备坐标系统，所述位置特征集被定位在所述物体上以便可使 所述物体和物体坐标系能够在空间中移动而所述位置特征依然停留 在所述物体上；此系统还包含一个图像处理器用于从所述一对2D图 像中提取一对来源于所述投影平面的2D表面点集和一对至少来源于 部分所述位置特征集的2D位置特征集；此系统还包含一个3D表面 点计算器，通过使用所述一对2D表面点集，此计算器计算在所述传 感器设备坐标系内的3D表面点集；此系统还包含一个3D位置特征 计算器，通过使用所述一对2D位置特征集，此计算器计算在所述传 感器设备坐标系内的3D位置特征集；此系统还包含一个位置特征匹 配器用于计算转换系数以便描述所述传感器设备坐标系和所述物体 坐标系之间的当前空间关系，通过匹配所述计算后的所述传感器设备 坐标系内的3D位置特征集和在所述物体坐标系内的参考3D位置特 征集之间的对应特征从而从先前的观测中获得所述的参考3D位置特 征；此系统还包含一个3D表面点转换器用于通过使用所述转换系数 把所述计算后的在所述传感器设备坐标系内的3D表面点集转换到转 换后的在所述物体坐标系内的3D表面点集；此系统还包含一个3D 位置特征转换器用于通过使用所述转换系数把所述计算后的在所述 传感器设备坐标系内的3D位置特征集转换到转换后的在所述物体坐 标系内的3D位置特征集；此系统还包含一个参考位置特征构建器用 于累积所述转换后的3D位置特征集以便提供和增加所述的参考3D 位置特征集。
本系统还提供了一种自动参考传感器设备用于扫描物体以便提 供在物体坐标系内的3D表面点，所述传感器设备包含如下部件：一 个传感器设备当前坐标系；一个可以在所述物体上提供投影平面的平 面投影器；一对能够获得一对在所述物体上的所述投影平面和至少部 分所述位置特征集的2D图像的照相机，所述位置特征被定位以便至 少部分所述位置特征在给定的时间内在所述的一对2D图像内，所述 已对相机的空间关系是已知的，所述一对2D图像用于提供在所述传 感设备当前坐标系内的所述物体的计算后的3D表面点和计算后的3D 位置特征，通过匹配所述计算后的所述传感器设备坐标系内的3D位 置特征集和在所述物体坐标系内的参考3D位置特征集之间的对应特 征，所述计算后的3D位置特征描述了所述当前传感器设备坐标系和 所述物体坐标系之间的空间转换关系，转换后的在所述物体坐标系内 的3D表面点通过使用所述转换方法被计算出来。
提出了一种对物体的几何表面进行三维扫描和数字化的系统，设 备和方法的权利要求。此系统包含一种自动参考的手持设备。因为不 要任何定位设备提供6自由度的转换，所以此系统是自动参考的。当 设备被用于扫描物体表面时，这种转换在把3D测量集成入全球坐标 系统时是必需的。当扫描物体的几何表面时，此系统连续的计算其自 身的位置并且根据观测结果来定向。为了具有此功能，系统应用了三 角剖分理论并且集成入了一种可以捕获来自于投影激光平面在物体 表面上反射的表面点和来自于目标位置特征观测值的2D位置特征的 设备。上述系统一个显著的优势是具有执行一种方法的能力，此方法 可以同时进行位置特征的3D图像建立和匹配和描述表面几何特征的 3D表面点的累积。
附图说明
通过对本发明的优选实施方式的说明，将参照附图描述本发明的 特点，在附图中：
图1所示为本发明的三维表面扫描系统框图；
图2所示为本发明用于三维表面扫描的设备的结构图；
图3为本发明如图2所示设备和待测物体在采集过程中的结构 图。

参考图1，3D表面扫描系统以10表示。
传感器设备
此系统包含一个传感器设备12，此设备将在下文中详细描述。传 感器设备12收集和传送带测场景的图像集(也就是帧)13到图像传 感器14中。这些图像从至少两个视角上采集，每一个这样的视角具 有自己的投影中心。包含在图像中的相关信息由在物体表面上反射的 激光投影图案和位置特征产生，所述位置特征用于计算传感器设备与 其它帧捕获器之间的相对位置。因为在给定帧中的所有图像是被同时 捕获的并且包括位置和表面测量值，所以位置和表面测量值的同步是 固有的。
位置特征固定在物体上，从而在所述位置特征在该物体上保持静 止不动的同时该物体可以在关于物体坐标系的空间内移动。这使得物 体可以在其表面被传感器设备扫描的同时在空间内移动。
图像处理器
图像处理器14从每一个图像中提取位置特征和表面点。对每一 个图像，均输出2D表面点集15和已观测2D位置特征第二集2l。这 些点和特征在图像中基于它们的内在特性被标识。位置特征是独立的 激光点的轨迹或圆形逆反射目标(circle retro-reflective target)的轨迹。 与这些特征相关联的像素与背景有反差，并且所述像素可以在使用质 心或椭圆拟合方法(参阅E.Trucco and A.Verri，“Introductory techniques for 3-D computer vision”，Prentice Hall，1998，p.101-108)评 估他们的位置之前通过简单的图像处理技术分离。使用圆形目标允许 人们从拟合椭圆的等式中提取表面法线方向信息，从而便于获得传感 器设备定位信息。由于激光图案投影器在图像中产生有反差的曲线段 而代表一个不同的2D形状，从而表面点集从位置特征中被区分出来。 图像曲面段被分割为单一的可视对象(blob)，对于每一个这样的可视 对象，分析曲线段以提取在曲线上的具有子像素精度的点集。这通过 在曲线段上引入微分算子和对其响应插入零交点来完成。
由于十字准线激光图案，人们可以从此后所描述的设备结构中受 益。在这种具有两个照相机和十字准线图案投影器的结构中，照相机 被排列以使两个激光平面之一能够在每个恒定位置的照相机内产生 单一直线。对于给定照相机这是未激活激光平面(inactive laser plane)。 这些未激活激光平面是与两个照相机相对的。这种由Hébert提出的结 构(参阅P. Hébert，“A Self-Referenced Hand-Held Range Sensor”.in proc. of the 3rd International Conference on 3D Digital Imaging and Modeling(3DIM 2001)，28 May-1 June 2001，Quebec City，Canada，pp. 5-12)极大的简化了图像处理过程。它也简化了将每个2D表面点集 分配到一个十字准线激光平面。
表面点集15沿着系统中的一条路径以恢复物体几何表面的整体 扫描，而观测到的2D位置特征集21沿着系统的第二条路径以恢复传 感器设备关于相关物体表面的相对位置。然而，这两种类型的信息集 会被进一步处理以获得在传感器设备坐标系内的3D信息。
3D位置特征计算器
因为传感器设备是被校准的，所以使用3D位置特征计算器22， 来匹配照相机视角之间的匹配位置特征用于评估他们的3D位置。观 测到的2D位置特征集通过使用外极约束(epipolar constraint)来获得 非模糊匹配。利用校准后的照相机投影矩阵算出的基本矩阵来计算外 极线。然后，从已知的照相机的投影矩阵中，应用三角剖分法计算在 传感器设备坐标系统23内单一的计算3D位置特征集。这一点集被输 入到位置特征匹配器中以便提供在传感器设备当前状态上的观测结 果，这一点集也被输入到3D位置特征转换器中以便最终更新在物体 坐标系内的参考3D位置特征。
3D表面点计算器
提取后的2D表面点集15输入3D表面点计算器16中。这些点 与激光投影图案的相关联，例如十字准线图案的两个平面之一。当这 种关联已知时，通过对应的投射线与激光平面方程式的相交，每一个 2D点可以被转换为在传感器设备坐标系内的3D点。光线方程式可以 通过相关照相机的投影矩阵获得。激光平面方程式可以通过使用预校 准过程(参阅P. Hébert，“A Self-Referenced Hand-Held Range Sensor”. in proc.of the 3rd International Conference on 3D Digital Imaging and Modeling(3DIM 2001)，28 May-1 June 2001，Quebec City，Canada，pp. 5-12)或对具有诸如精确平移台(translation stage)的传感器设备校准 后查表获得。两种方法都是适宜的。第一种情况下，由于此过程比较 简单因而不需要复杂的设备，但是需要对照相机内部和外部参数进行 良好的测定。
避免把每一个2D点与激光图案特殊的结构相关联是可能的。对 于更复杂和通用的图案这一点是非常有吸引力的。在这种情况下，使 用基础矩阵以及使用匹配点的外极约束来计算3D表面点是可行的。 当此方法不具有模糊性时，三角剖分可以用同样的方式来计算，此方 法通过3D位置特征计算器22实施。
因此，3D表面点计算器16输出计算后的在传感器设备坐标系统 17内的3D表面点集。此表面点集可以是未组织的或优选的，此表面 点集被组织以便与图像中的连接段相关联的3D点被分组从而通过微 分评估3D曲线正切值。此信息可以被表面重建器所使用以便提高被 重建的表面模型31的质量。
定位子系统
定位子系统的任务是为每个已计算的3D表面点集17提供转换参 数25，此子系统主要运行在位置特征匹配器24和参考位置特征构造 器28上。这些转换参数25使得在保持所述结构的同时将已计算的3D 表面点集17转换到单一的物体坐标系是可行的；这一转换是严格的。 这一转换通过建立和维护在物体坐标系内的参考3D位置特征集29来 完成。位置特征可以是3D点集、与表面法线相关联的3D点集或与 其他表面特性相关联的3D点集。在优选实施例中假设所有的位置特 征是3D点，表示为列向量[x，y，z]T，此列向量包含表示沿三维坐标轴 的点位置的三个分量。
在扫描会话的初始阶段，参考3D位置特征集29是空的。当传感 器设备12提供第一测量结果并且系统计算已计算出的3D位置特征集 23后，此特征利用身份标记转换被拷贝到参考3D位置特征集29中。 此后这一特征集成为所有后续参考3D位置特征集29的参考集并且该 第一传感器设备位置定义了物体坐标系统，所有3D表面点被调整进 这一坐标系中。
建立完初始参考3D位置特征集29后，随后的已计算3D位置特 征集23首先与参考集29相匹配。匹配操作被分为两步：i)找出在传 感器设备坐标系统23内的已计算3D位置特征集和在物体坐标系统内 的参考3D特征集之间的对应特征；以及ii)计算用于调整两个集的 最佳刚性3D转换的转换参数25。一旦这些参数被计算出来，它们就 被用于转换已计算3D位置特征23和已计算出的3D表面点17，从而 把它们调整到物体坐标系统内。
位置特征匹配器24的输入包括参考3D位置特征集29(R)，已计算的 3D位置特征集23(O)，以及两个被观测2D位置特征集21(P1和P2)， 如上所述，P1和P2也被3D位置特征计算器22所使用。匹配这些特征集就 是找出两个子集$O_m\subseteq O$和$R_m\subseteq R,$每个子集均包含N个特征以便所有 的属于oi∈Om和ri∈Rm的点对(oi，ri)代表同样的物理特性。这些子集通过 找出点段(oioj；rirj)最大值的方法来找出，比如 |||oi-oj||-||ri-rj|||≤ε对于所有的i，j∈{1，...，N}，i≠j，    (1) 这里ε是与传感器设备精度相关的预定义的门限。这一约束假定两个子集 内的相关的点对之间距离上的不同是可以被忽略的。
这一匹配运算作为组合最优化问题来解决，其中子集O中的每个 点段与子集R中的每个点段逐步匹配。每个已匹配的点段利用两个子 集中的剩余点形成附加段的方式被扩展。如果两个段满足约束(1)，则 会形成第三段，并且以此类推，只要满足约束(1)就会形成新段。否则 点段对会被抛弃并检验下一对点段。本解决方案就是获得最大的满足 约束(1)的段集。也可以使用其它算法(参阅M.Fischler and R.Bolles， (1981)“Random sample consensus：A paradigm for model fitting with applications to image analysis and automated cartography”， Communications of the Assoc.for Computing Machinery，(June 1981)， vol.24，no.6，pp.381-395)以达到同样的目的。
当在参考3D位置特征集29中的元素数量相对较少(典型地，少 于15个)时，上述方法的计算复杂度对于实时系统来说是可以接受 的。然而在实际使用中，参考3D位置特征集29中的元素数量很容易 会达到几百个。由于计算复杂度随着特征数的增加呈指数增长，对应 特征的计算对于实时应用来说变得太慢。因为受传感器设备有限的可 视区域所限制，从某个特定视角可见的位置特征的数量较少并且被， 所以此问题是可以得到解决的。
这意味着如果计算出的3D位置特征23能够与参考3D位置特征 29所匹配，则从参考集所获得的已匹配特征位于一个较小的邻域内， 此邻域的大小由计算出的3D位置特征集23的大小来确定。这还意味 着在此邻域内点的数量也是较少的(典型地，小于15个)。为了利用 此特性而加速匹配，上述方法作如下改进。匹配前，每个参考特征的 邻域特征集[Ni]被创建。初始点段被匹配之后，其通过仅使用第一匹 配特征的邻域集[Ni]中的点而增加附加段的方法被扩展。通过这些操 作，用于匹配的点的数量不依赖于参考3D位置特征集29的大小而保 持在较低水平，这就防止了计算复杂度的指数增长。
可选的，利用传感器设备位置和方向的空间相关性可以提高匹配 速度。假定相对于位置特征集大小的传感器设备的位移很小，则匹配 可以通过对于每个观察出的位置特征找出其最近的参考特征来完成。 同样的原理可以用于2D，也就是说找出最近的2D位置特征。
当匹配完成后，两个特征集需要通过使用最小二乘法来计算最优 转换系数[M T]而被校正，以便使下面的成本函数最小化： $\underset{i=1}{\overset{N}{\Sigma }}{\left|\right|r_i-{\mathrm{Mo}}_i+T\left|\right|}^2,$对于所有的i∈{1，...，N}。    (2)
转换参数包含一个3x3旋转矩阵M和一个3x1转换向量T。这种 转换能够使用对偶四元数(dual quaternion)方法，如在M.W.Walker， L.Shao and R.A.Volz，“Estimating 3-D location parameters using dual number quaternions”，CVGIP：Image Understanding，vol.54，no.3， November 1991，pp.358-367中所描述的。为了计算这种转换，至少需 要找出三个公共位置特征。否则，对于当前帧，位置特征和表面点特 征会被丢弃。
一个计算刚性转换系数的可选方法是最小化观测出的2D位置特 征21和参考3D位置特征29投影之间的距离。使用透视投影转换II， 通过最小二乘法优化的刚性转换[M T]是最小化如下函数的转换： $\underset{i=1}{\overset{N}{\Sigma }}{\left|\right|{\mathrm{\Pi M}}^{-1}(r_i-T)-p_i\left|\right|}^2,$对于所有的i，j∈{1，...，N}，    (3)
这里pi∈P1或pi∈P2是观测出的于已观测的3D特征oi∈Om相对 应的2D特征。刚性转换[M T]可以通过使用诸如列文伯格-马夸尔特 法(Levenberg-Marquardt method)等最优化算法最小化上述成本函数 而得到。
3D位置特征转换器
当刚性转换系数被计算出后，3D位置特征转换器26把已计算3D 位置特征集从传感器设备坐标系统23转换到物体坐标系统27中。转 换后的3D位置特征用于以两种方法来更新参考3D位置特征集29。 首先，如果仅有一个已观测特征子集与参考3D位置特征集29相匹配， 未匹配的已观测特征代表新的被增加到参考集中的已观测特征。被重 观测和已匹配的特征被丢弃(因为它们已经在参考集中)或者用于改 进，即过滤现存的特征。例如，同一特征的所有观测值可以被总计在 一起以便计算平均特征位置。通过这些操作，各种测量噪声的方差被 减少从而提供定位系统的精度。
3D表面点转换器
当位置特征匹配器24使得转换参数25是可用时，表面点的处理 步骤就变得简单了。然后，由3D表面点计算器16提供的在传感器设 备坐标系统17内的计算出的3D表面点集，被3D表面点转换器18 使用由位置特征匹配器24提供的相同的转换系数25转换，匹配器24 是定位子系统和物体坐标系内的表面点集合之间主要的信息连接。因 此，物体坐标系19中的转换后的3D表面点结果集在相同的坐标系中 自然地与参考3D位置特征集29对齐。最终的3D表面点集19可以 被可视化或者优选地输入到表面重构器20中，此重构器用于评估连 续的无冗余和可能已被过滤的表面图像31，此图像被显示在用户接口 显示器30上，可选地，可以附加参考3D位置特征29。
在所述的系统中，传感器设备更近的视图将在下面详细的描述。 图2所示为用于所述系统的本优选实施例的传感器设备40的主视图。 此设备包括两个物体和光照探测器46，此探测器典型的为渐进扫描数 字照相机。这两个物体和光照探测器46具有被距离D1 52，即基线， 分开的各自的投影中心并组成被动式立体光线探测器对。激光图案投 影器42被置于距立体光线探测器对的基线D3 56处，以便组成指向 两个附加活动传感器的紧凑三角形(compact triangule)结构，在第一 种情况下它们由左边的照相机和激光图案投影器组成，在第二种情况 下它们由右边的照相机和激光图案投影器组成。对于这两个附加的活 动立体探测器对，图中示出了它们的基线D2 54。
如图2所示，除了激光图案投影器外，传感器设备还包括用于定 位的光源。这些光源就是分布在光线探测器46周围的两个LED集50。 这些LED照亮用作位置特征的逆反射目标。LED优选的置于尽可能 靠近照相机光轴的位置以便捕获更强的从逆反射目标发出的信号。干 扰过滤器48位与物体的前方。这些过滤器削弱除了激光波长以外的 所有波长，所述激光波长与LED的波长相匹配。当三角形是有两个 45度角和一个十字准线44的两个激光平面之间的90度角的等腰三角 形时，此优选三角结构特别有意义。在这种特殊结构下，十字准线图 案被定向以便使每个平面与每个照相机的投影中心和光线探测器的 中心而对准。这符合中心极线原理，此原理的主要优点在于一个激光 平面(不活动平面)总是在图像的相同的位置上被映像为直线而不依 赖于被观测的场景。相关的3D信息从在两个图像中的光线已变形的 第二平面中被提取出来。整个传感器设备包括两个激光表面光度仪、 一个被动式立体光线探测器对和两个用于同时捕获逆反射目标的模 块。此优选结构是紧凑的。
对于手持设备，为了达到传感器设备和物体之间300到400mm 均衡距离(standoff distance)的亚毫米精度，基线D1典型的约为200 mm。通过对D1的范围确定，D2的范围也随之自动确定。尽管这种 布置对于简化在图像中的2D位置特征和投影激光图案之间的辨别是 特别有用的、但集成入用于提高辨识度和精确性的立体光线探测器对 和一个或多个附加照相机会使得处理不同的激光图案投影时的图像 成为可能。网格和圆形图案就是相关的例子。另一个可能性是增加或 者降低D3从而提高或者减少精度，这是以损失简化图像处理的优势 为代价的。尽管直线结构不能够提供上述结构的所有优势，但是依然 是一种选择。
图3所示为观测待测量物体62时的传感器设备的3D视图。从图 中可以看到前述的紧凑三角形结构，此结构包括两个具有目标46的 照相机和一个十字准线激光图案投影器42。传感器设备捕获包含位置 特征集60的投影平面58的图像。
根据框图中所示的通过不同的数字信号连接而彼此通信的离散 部件组，对于本领域一般技术人员来说容易理解，由于一些部件是通 过给定的硬件或软件系统的函数或操作而执行功能的，并且所示的许 多数据通道通过在计算机操作系统或应用程序中的数据通信系统而 执行功能，所以优选实施例是由硬件和软件部件的组合而构成的。因 此，提供所示的结构以便有效地说明本优选实施例。
本领域一般技术人员可以理解位置特征，这里描述为逆反射目 标，可选地能够由光源提供，例如LED。这些LED被放置在物体表 面上或在其他位置以供扫描，也可以从或通过其他方式提供由传感器 设备检测的目标。另外，如果位置特征自身提供被照相机所检测的光 线，在传感器设备上提供的光源可以被省略。
可以理解前述的包含激光光源的图案投影器可以使用LED光源 或其他合适的光源。
可以理解对于本领域的技术人员来说在本系统基础上可能存在 多种的改进类型。因而，上述描述和相关的附图只是本发明的示意而 不局限于此。也可以理解本发明覆盖任何基于本发明的改进，使用和 调整。通常来说，本发明的原理以及基于本申请所公开的实施例和公 知的或惯用技术的其他改进系统或者可以应用前述系统的本质特征 的其他系统都受到所附权利要求书的保护。
权利要求书(按照条约第19条的修改)
1、一种在物体坐标系内获得物体三维表面点的系统，包括：
在所述物体上的目标位置特征集，每个所述目标位置特征被置于所 述物体上的固定位置，使用所述目标位置特征定义所述物体坐标系；
具有可在所述物体表面上提供投影图案的图案投影器的传感设备， 至少一对照相机，每个照相机均可获得所述物体的2D图像，所述投影图 案和在所述图像上明显的所述目标位置特征集的一部分的2D图像，每个 所述2D图像是从在传感设备坐标系内的参考视点上获得的；
图像处理器，所述图像处理器用于从所述2D图像中提取至少一个从 所述投影图案在所述表面上的反射而得的2D表面点集和至少两个从在 所述表面上的所述目标位置特征的反射而得的2D位置特征集；
使用所述2D表面点集计算在所述传感设备坐标系内的3D表面点集 的3D表面点计算器；
使用所述2D位置特征集计算在所述传感设备坐标系内的已计算3D 位置特征集的位置特征计算器；
用于计算描述所述传感设备坐标系和所述物体坐标系之间的当前空 间关系的转换参数的位置特征匹配器，通过把在所述传感设备坐标系内 的所述已计算3D位置特征集与在所述物体坐标系内的参考3D位置特征 集的对应特征相匹配，所述参考3D位置特征从先前的观测值中被累积；
使用所述转换参数把所述已计算3D位置特征集转换为在所述物体 坐标系内的已转换3D位置特征集的3D位置特征转换器；
使用所述转换参数把所述3D表面点集转换到在所述物体坐标系内 的已转换3D表面点集的3D表面点转换器；
用于累积所述已转换3D位置特征集以提供和增加所述参考3D位置 特征集的3D参考位置特征模型构造器。
2、根据权利要求1所述的系统，其特征在于，还包括一种无线发射 机，用于至少一种发送：将来自于所述传感设备的所述2D图像对发送到 所述图像处理器和发送所述转换后3D表面点。
3、根据权利要求1所述的系统，其特征在于，还包括一种用于累积 所述已转换3D表面点以提供所述物体的3D表面模型的表面重构器。
4、根据权利要求1所述的系统，其特征在于，还包括一种用于可视 化所述物体的所述3D表面模型的显示装置。
5、根据权利要求1所述的系统，其特征在于，还包括一种用于可视 化所述参考3D位置特征的显示装置。
6、根据权利要求1所述的系统，其特征在于，在所述投影平面中包 括一种具有两个光平面的十字准线图案。
7、根据权利要求6所述的系统，其特征在于，所述十字准线图案被 定向以便使每个所述光平面与极线平面对准，此极线平面由所述照相机 对中的一个照相机和所述图案投影器所定义。
8、根据权利要求1所述的系统，其特征在于，所述图案投影器和所 述照相机对构成了一个等腰直角三角形和一个对称结构，所述两个光平 面构成了一个直角。
9、根据权利要求1所述的系统，其特征在于，目标位置特征通过使 用外部固定投影器集被投影在所述表面上。
10、根据权利要求1所述的系统，其特征在于，所述位置特征被稳 固地固定在所述物体的表面上。
11、根据权利要求10所述的系统，其特征在于，所述位置特征为逆 反射目标，所述传感设备具有用于照亮至少一部分所述位置特征集的至 少一个光源。
12、根据权利要求10所述的系统，其特征在于，所述照相机对中的 每一个照相机至少与一个所述光源相联系，所述光源位于距所述照相机 的投影中心附近。
13、根据权利要求1所述的系统，其特征在于，还包括一个电子芯 片用于执行：所述图像处理器，所述3D表面点计算器，所述3D位置特 征计算器，所述特征匹配器，所述3D位置特征转换器，所述参考3D位 置特征模型构造器和所述3D表面点转换器的至少之一。
14、一种用于扫描物体从而在物体坐标系内提供三维表面点的自动 参考传感设备，包括：
用于提供在所述物体表面上提供投影平面的平面投影器；
用于照亮和获得逆反射目标位置特征集的至少一部分图像的光源， 每个所述逆反射目标位置特征在所述物体的固定位置上被提供；
至少一对用于获得所述物体2D图像的照相机，所述投影平面和至少 一部分所述逆反射目标位置特征集出现在所述图像上，所述一对照相机 之间的空间关系是已知的。
15、根据权利要求14所述的自动参考传感设备，其特征在于，还包 括一个用于发送所述物体的所述2D图像的发射机。
16、根据权利要求15所述的自动参考传感设备，其特征在于，所述 发射机是无线发射机。
17、根据权利要求14所述的自动参考传感设备，其特征在于，还包 括：
图像处理器，所述处理器可从所述2D图像中提取至少一个从在所述 表面上所述投影图案的反射而得的2D表面点集和从所述表面上的所述 目标位置特征的反射而得的至少两个2D位置特征集；
使用所述2D表面点集计算在所述传感设备坐标系内的3D表面点集 的3D表面点计算器；
使用所述2D位置特征集计算在所述传感设备坐标系内的已计算3D 位置特征集的位置特征计算器；
用于计算描述所述传感设备坐标系和所述物体坐标系之间的当前空 间关系的转换参数的位置特征匹配器，通过把在所述传感设备坐标系内 的所述已计算3D位置特征集与在所述物体坐标系内的参考3D位置特征 集的对应特征相匹配，所述参考3D位置特征从先前的观测值中被累积；
使用所述转换参数把所述已计算3D位置特征集转换为在所述物体 坐标系内的已转换3D位置特征集的3D位置特征转换器；
使用所述转换参数把所述3D表面点集转换到在所述物体坐标系内 的已转换3D表面点集的3D表面点转换器；
用于累积所述已转换3D位置特征集从而提供和增加所述参考3D位 置特征集的3D参考位置特征模型构造器；并且
18、根据权利要求17所述的自动参考传感设备，其特征在于，还包 括电子芯片，用于执行：所述图像处理器、所述3D表面点计算器、所述 3D位置特征计算器、所述特征匹配器、所述3D位置特征转换器、所述 参考3D位置特征模型构造器和所述3D表面点转换器的至少之一。
19、根据权利要求18所述的自动参考传感设备，其特征在于，还包 括用于发送所述物体的所述已转换3D表面点的发射机。
20、一种在物体坐标系内获得物体三维表面点的方法，包含如下步 骤：
在所述物体表面上提供投影图案；
提供所述物体上的目标位置特征集，所述每个目标位置特征被置于 所述物体上的固定位置，使用所述目标位置特征定义所述物体坐标系；
获得所述物体的至少一对2D图像，所述投影图案和所述目标位置特 征集的至少一部分出现在所述图像上，所述每个2D图像是从传感设备坐 标系内的一个参考视点中获得的；
从所述2D图像中提取至少一个从所述表面上的所述投影图案反射 而得的2D表面点集和至少两个从在所述表面上的所述目标位置特征在 所属表面上的反射而得的2D位置特征集；
使用所述2D表面点集计算在所述传感设备坐标系内的3D表面点 集；
使用所述2D位置特征集计算在所述传感设备坐标系内的已计算3D 位置特征集；
计算描述所述传感设备坐标系和所述物体坐标系之间的当前空间关 系的转换参数，通过把在所述传感设备坐标系内的所述已计算3D位置特 征集与在所述物体坐标系内的参考3D位置特征集的对应特征相匹配，所 述参考3D位置特征从先前的观测值中被累积；
使用所述转换参数把所述已计算3D位置特征集转换为在所述物体 坐标系内的已转换3D位置特征集；
累积所述已转换3D位置特征集从而提供和增加所述参考3D位置特 征集；
使用所述转换参数把所述3D表面点集转换为在所述物体坐标系内 的已转换3D表面点集。
21、根据权利要求19所述的方法，其特征在于，还包括累积所述的 已转换3D表面点集以提供所述物体的3D表面模型。
22、根据权利要求19所述的方法，其特征在于，所述位置特征被稳 固地固定在所述物体的表面上。
23、根据权利要求21所述的方法，其特征在于，所述位置特征是逆 反射目标，所述方法还包括照亮所述位置特征集的至少一部分。
24、根据权利要求21所述的方法，其特征在于，所述位置特征是圆 形目标，所述已计算3D位置特征还包括表面法线方向。
25、根据权利要求19所述的方法，其特征在于，所述计算过程包括 找出最优的刚性3D转换系数，所述刚性3D转换系数最佳地校准所述已 计算3D位置特征集和所述参考3D位置特征集。