在现有技术中已经描述了基本上以同样方式起作用的结构化光三维扫 描仪系统。它们基本上如附图1中所描述的那样起作用，其中单色或多谱 光图案101(诸如激光点、激光线、白色或彩色条)从光源102投影到物体 103上。投影的光然后被反射104，并且一个或多个照相机105获取该投影 的图像。光图案在该图像中被检测，并且使用很好地建立的投影几何学， 诸如三角剖分(triangulation)或立体系统，来导出三维坐标，例如线激光 被投影到该对象上形成线。然后沿着该特定的线重建三维坐标。扫描仪可 以包含一个或多个光源/图案以及一个或多个照相机。
下一个步骤然后是让物体和扫描仪作相对运动，例如通过物体103的 旋转106或线性运动107来进行。用这种方法，扫描仪可以重建在物体新 的部分上的表面，例如在线激光实例中是该表面上的新的线(line)。现有 技术的扫描仪使运动在预定义的扫描序列中被人工编程、或者物体/扫描仪 仅仅被人工地来回挪动。
结构化光三维扫描的固有问题是，照相机和光图案都需要同时“看到” 每个表面点以能够进行那些特定点的三维重建。这导致了“被包藏的” (occluded)或未覆盖的区域，其表现为最后扫描中的表面孔，即没有表面 测量信息的区域。从视觉和应用的角度来看，扫描中的孔在大多数情况下 是不期望的或不可接受的。
所述问题被图示在附图2中，其中示出了玩具熊初始扫描的点云(point cloud)2a。初始扫描通过有两个旋转扫描的预定义扫描序列来执行。当创 建表面模型2b时，未覆盖的区域表现为孔，例如204。然后使用自适应扫 描来构成一个扫描序列，其在一附加扫描中扫描所述孔。实际上两个孔205 已经被自适应地扫描且由新的点覆盖了。在第一自适应扫描以后，单个孔206 仍然存在于作为初始扫描和自适应扫描的合并结果的表面模型2c中。然后 执行第二自适应扫描，并且在二维中获得完全覆盖度(full coverage)。
在现有技术中，试图通过人工定义复杂的扫描序列和约束如何在扫描 仪中定位对象来解决包藏(occlusion)的问题。然而要求长的并且费时的 扫描序列来覆盖仅仅简单的形状或是具有中度形状变化的物体。在具有变 化形状的物体的情况下，这仍然不能保证完全覆盖度。另一个问题是扫描 序列的创建会非常麻烦并且需要专业知识。
为改正未覆盖区域的问题，某些商用扫描仪使用孔周围的表面信息来 在扫描中人工地闭合孔。人工的孔闭合可以通过拟合(fitting)诸如样条表 面或二阶表面的参数表面来执行。人工的孔闭合可以给出视觉上令人愉快 的结果，但是精度很低，其对于大多数应用是不可接受的。

本发明涉及自适应三维扫描，其中为物理对象自动并特定地创建用来 获得完全几何覆盖度的扫描序列。
因此，本发明涉及一种用于产生物理对象的三维计算机模型的方法和 系统，其中所述方法包括以下步骤：
a)提供一扫描仪系统，所述扫描仪系统包括：
i.扫描仪，和
ii.能连接到和/或集成到所述扫描仪中的计算机，所述计算机包括所 述扫描仪的虚拟模型，
b)将物理对象的形状信息输入该计算机，
c)基于所述虚拟模型以及该形状信息而在所述计算机中创建可见度 (visibility)函数，所述可见度函数能够通过至少一个预定扫描序列来评价 物理对象的关心区域的覆盖度，
d)基于可见度函数的评价来建立至少一个扫描序列，
e)使用所述至少一个扫描序列来执行对物理对象的扫描，
f)任选地重复步骤d)以及e)至少一次，
g)获得物理对象的三维计算机模型。
在另一个方面，本发明涉及用于产生物理对象的三维计算机模型的数 据处理系统，包括输入设备、中央处理单元、存储器和显示器，其中所述 数据处理系统在其中已存储有表示指令序列的数据，当该指令序列被执行 时导致执行以上定义的方法。
在又一个方面，本发明涉及一种包含指令序列的计算机软件产品，当 该指令序列被执行时导致执行以上定义的方法。
在第四个方面，本发明涉及一种包含指令序列的集成电路产品，当该 指令序列被执行时导致执行以上定义的方法。

附图1示出三维扫描仪系统的示意图
附图2a-d示出将要被扫描的物理对象的例子
附图3示出扫描未覆盖区域的流程图
附图4示出自动创建初始扫描的流程图
附图5示出牙印模(dental impression)的三维计算机模型

本发明涉及物理对象的三维扫描领域，即涉及三维计算机模型的创建， 其中这些模型在细节上类似(resemble)该物理对象的几何形状以及可选的 结构组织(textural)、表面和材料特征。本发明将对于三维光学结构化的光 扫描仪进行描述，但是其可以适用于大多数其它类型的三维扫描仪，诸如 接触探针扫描仪、激光测距扫描仪、MR、MRI、CT、x-射线、超声、测距 照相机(range camera)、飞行时间传感器(time-of-flight sensor)，或是基于 侧面影像、结构和运动、由浓淡复原的形状、由纹理复原的形状或色键(color keying)的光学扫描仪。
扫描序列定义实际的扫描，包括运动、现用的照相机、现用的光源、 现用的光图案以及其它相关的设置。扫描序列可以是从没有运动的单个扫 描到具有长且复杂的运动序列的扫描的任何一个。
为简单起见，在下文中仅仅论及物体的运动。然而它应该被解释为相 对运动，其中系统和/或物体的至少一个组成部分被移动，诸如其中或者是 物体或者是扫描仪被移动。这还涵盖了即使扫描仪在物理上不移动也可优 选地使用镜子或棱镜来移动光图案和照相机视场。
结构化光三维扫描仪系统包括扫描仪以及连接和/或集成到扫描仪中的 计算机。优选地扫描仪包含一个或多个光源102、一个或多个照相机105， 以及运动系统106-107，其能够使得物体相对于照相机和光源运动。要注意 的是，运动系统不一定局限于如附图1所示的单个旋转106和单个线性运 动107，而是优选地可以是具有很多自由度的多轴系统，诸如CNC机器或 自动机。照相机、光源和运动系统全部连接108到计算机109，计算机109 和每一个部件通信并且控制每一个部件。该计算机可以是分立单元或被集 成到扫描仪中。
本发明是自适应三维扫描，其中用于获取完全几何覆盖度的扫描序列 是自动创建的。在本发明的其它实施例中序列文件是为纹理、表面材料参 数、光泽表面(shinny surface)以及其它相关特征的最优扫描而自动创建的。 要注意的是，覆盖度应该广泛地相对于扫描这些特征来解释。
步骤b)的形状信息可以是物理对象的形状的任何信息。它可以是直接 的形状信息，诸如是可来源于一个或多个初始扫描的形状信息。
替代地或另外地它可以是间接的形状信息，诸如是以模板形状形式、 以简化或近似形状(诸如盒子和圆柱或其组合)形式、以平均形状(average shape)形式、以CAD模型形式的信息，或者是得自一个或多个2维图像 的信息。要注意的是，形状信息不必是三维信息，还可以是1维、2维、4 维或5维。形状信息可以来源于结构化光扫描仪之外的其它扫描仪，优选 地是接触探针扫描仪、MR、MRI、CT、x-射线或超声。还可以例如通过将 初始扫描的结果配准(registration)于其它形状信息而结合不同的形状信息， 其它形状信息优选地是CAD模型、模板或平均形状。在一个实施例中，形 状信息是直接形状信息和间接形状信息的组合。
在一个实施例中，物理对象的形状信息是点云(ponit cloud)，诸如其 中物理对象的形状信息是通过将一个表面拟合(fitting)于点云来获取的。 所述拟合可以通过任何适当的方法来实施，诸如实施为三角剖分。
形状信息优选地与物理对象调准(aligned)，诸如其中通过扫描仪中的 物体的定影(fixation)来调准形状信息和物体。在另一个实施例中通过调 准于形状信息的初始扫描来调准形状信息和物体。
自适应三维扫描促进了对任意物体的真正单钮扫描的可能性，即用户 只是在扫描仪中插入任意的物体并且按下单个按钮。然后整个扫描以最优 的方式自动执行，并且输出完全覆盖度的扫描。不需要专业知识来创建复 杂的扫描序列、调谐扫描参数或人工缝合/合并(stitching/merging)不同的 扫描。现有技术中没有扫描仪接近于实现这种目标。附图3示出本发明的 一个实施例，其中形状捕获通过初始扫描300来执行，优选地使用线性扫 描、旋转扫描或几个轴的同时运动的组合。采用线性扫描被理解为物体的 相对线性运动，或物体上的光图案的线性扫掠(sweep)。然后分析最后得 到的扫描以找出未覆盖的区域，并且使用运动、光图案、光源和照相机的 最优组合来自动地再次扫描这些关心的区域。新的自适应的扫描然后可以 与初始扫描的结果合并在一起以形成完全覆盖度的扫描。
术语“完全覆盖度”意指相对于具体三维计算机模型所定义的覆盖程 度。因此，如果所述孔的大小或者定位是不太关心的，则可以接受并非所 有的被包藏孔都被覆盖。预先确定用于扫描的时间是限制因素也可能是有 关的，这样是使得当扫描已经运行了预定的一段时间时获得“完全覆盖度”。 因此，完全覆盖度停止准则可以不同于所有孔的绝对覆盖度，停止准则可 以是：某一阈值以下的孔被忽略，只允许某一数量的迭代，只需要最大扫 描时间或某一整体覆盖度。
自适应扫描中第一步骤可以是确定在初始扫描中哪些区域没有被完全 地覆盖。这优选地通过创建表面模型301来完成，例如通过点云的三角剖 分或拟合诸如样条表面的参数表面来进行。如果假定表面模型在扫描的后 处理中创建，则运用相同的表面创建算法是有利的。当存在表面模型时， 完全覆盖度可以被直接评价302，因为未覆盖区域对应于所述表面中的孔。 还可以直接依据点云、体素(voxel)数据或其它原始数据来确定未覆盖区 域。取决于该应用，诸如物体的底部的某些孔可以忽略。如上所述，完全 覆盖度停止准则302可以被修改以表示其它优先级。
自适应地确定运动、光图案、光源和照相机的组合，确保每个关心的 区域的最优覆盖，这是自适应扫描的关键步骤。回想一下在这个实施例中 关心的区域对应于未覆盖区域。第一步骤是构造可见度函数，即给定形状 信息和照相机、光源/图案和物体运动的具体配置，则可以评价未覆盖区域 的当前可见度。为了能够评价可见度，创建复制物理扫描仪的一个虚拟扫 描仪模型，优选地包括相机模型和参数、光源/图案模型和参数、运动模型 和参数、运动值以及其它相关参数。相机模型例如可以是具有诸如相机位 置和取向之类参数的标准投影模型。虚拟扫描仪中的许多参数是特定于该 扫描仪的，并且通过校准过程来获取。优选地这些参数应该被包括在虚拟 扫描仪模型中。
扫描仪的虚拟模型(即虚拟扫描仪模型)构成创建可见度函数的基础 的一部分。虚拟扫描仪函数可以相对于三维计算机模型的每个产生来创建， 或者它也可以是在扫描仪系统中创建一次且仅仅在扫描仪系统变化时重新 创建。虚拟扫描仪模型可以在物理对象的形状信息输入计算机之前、之后 或同时创建，然而最好是在形状信息输入之前创建虚拟扫描仪模型。
然后给定物体的位置和取向信息、照相机设置、光源/图案设置以及其 它相关特征，使用虚拟扫描仪模型来评价未覆盖区域的可见度。当评价所 述可见度时，评价未覆盖区域上的多个抽样点/单元/小片中的可见度会是有 利的。在缺少形状信息的情况下，可以例如通过内插法或表面拟合来对取 样点进行近似。每个取样点的可见度可以依据该点的同时对于光源/图案和 照相机两者的可见性程度来计算。对于许多扫描仪配置来说，当扫描未覆 盖区域时物体必须被移动。在可见度评价期间必须考虑这个移动。
用于扫描未覆盖区域的最优的运动、光图案、光源和照相机的序列然 后被创立为最大化可见度的序列。在一个实施例中，通过模拟至少两个扫 描序列的物理对象的覆盖度并且选择具有最优覆盖度的扫描序列来建立步 骤d)的至少一个扫描序列。
在步骤d)建立的扫描序列优选地被建立来用于在物理对象的形状信息 中获取被包藏的孔的覆盖度。
优选地，通过创建其后被最佳化的一个或多个扫描序列303来找出最 佳化的序列。尽管将最佳化限制于运动参数和照相机与光源的不同组合是 有利的，可见度函数304的最佳化也可以相对于虚拟扫描仪模型中的任何 自由参数来执行。实际的最佳化可以通过标准的最佳化算法来执行，诸如 最陡下降、共轭梯度、Levenberg-Marquardt(麦夸特法)、牛顿或拟牛顿法、 BFGS、模拟退火或遗传算法(generic algorithm)。诸如物理轴限制之类的 对参数的约束可以被添加作为硬约束或软约束。
附加因素也可以集成到可见度函数中，使得该函数值反映除仅仅可见 度之外的其它优先级。即使可见度函数包含除纯可见度之外的更多因素， 该函数将仍然被叫做可见度。附加因素可以是扫描时间、对于若干照相机 的可见度、反射抑制、垂直于照相机/光源角的表面或结构组织的可见度。 分离高曲率表面中的未覆盖区域以改善可见度、或组合邻近区域的扫描以 达到更少的扫描时间，也可能是有利的。
因此，在一个实施例中，通过为照相机和/或激光器角度的最好的角表 面而最佳化扫描仪来建立扫描序列。在另一个实施例中，通过对于扫描序 列速度进行最佳化来建立扫描序列。在第三实施例中，为最小化来自物理 对象的反射而最佳化所建立的扫描序列，而在第四实施例中，所建立的扫 描序列为对于一个以上的照相机的可见度而进行最佳化。在更进一步的实 施例中，所建立的扫描序列为两个或更多上面提到的因素而进行最佳化。 因此，可以通过将扫描仪的至少一个部件相对于至少一个其它部件进行移 动来创建扫描序列。
然后把最优扫描序列选择为具有最大可见度的那一个。如果几个序列 达到完全可见度，则还可以使用附加因素来选择最优配置。使用最优扫描 序列305来执行扫描，并且将结果与先前执行的扫描305合并。然后为合 并的扫描301创建表面模型，并且可以检查最后得到的扫描是否有完全覆 盖度302。如果在组合的扫描中没有获得完全覆盖度，那么可以执行第二自 适应扫描。对于复杂形状，可能需要几个自适应扫描序列来获得完全覆盖 度，这是因为未覆盖区域可以包含包藏了该未覆盖区域的其它部分的形状。
物理对象的区域的覆盖度可以通过任何适当的方法来评价。在一个实 施例中，通过评价孔区域相比于该物理对象的被估计区域的百分比来评价 物理对象区域的覆盖度。在另一个实施例中，通过评价孔的大小来评价物 理对象区域的覆盖度。在又一个实施例中，重复步骤d)和e)直到物理对 象的覆盖度高于预定值。通过本发明还可以设想确定覆盖度的不同方法的 组合，例如通过首先评价孔的大小并且其次评价孔区域的百分比来进行。
根据本发明的扫描仪系统可以是任何适当的扫描仪系统，这些扫描仪 系统的例子在下面被论及。原则上根据本发明的扫描仪系统包括以下部件： 至少一个光源、至少一个照相机、以及至少一个用于支撑物理对象的支撑。
最好是以下部件，即光源、照相机以及支撑中的至少一个相对于其它 部件之一可移动，以及本发明包括其中两个或更多部件相对于至少一个其 它部件可移动的系统。因此，本发明的例子包括这样的系统，其中支撑可 能相对于光源可移动，和/或支撑可能相对于照相机可移动，优选地用于支 撑物理对象的支撑能够实施以下运动中的至少一个：线性运动、旋转运动、 或它们的组合。
根据本发明的扫描仪系统可以包括更多的部件，比如扫描仪系统包括 至少两个光源，和/或扫描仪系统包括至少两个照相机。
对于附图1所示的扫描仪，最简单的虚拟扫描仪模型将包括照相机模 型、光模型和用于旋转及线性运动的模型。为完成虚拟扫描仪模型，插入 用于所有的扫描仪模型参数的被校准的值，扫描仪模型参数诸如是对于特 定扫描仪的相机位置。给定了形状信息，现在可以评价可见度函数。该扫 描仪中的唯一的自由参数是旋转以及线性运动。任何旋转以及线性运动的 组合都可以在初始扫描中用于扫描孔。不管怎样，使用旋转和线性运动是 简单且强大的配置，其中旋转用于转动孔以最大化可见度，而线性运动用 来实际上扫描所述区域。实践中，由于线性运动可以从旋转角和孔大小得 出，所以这把自由参数限制于旋转。给定具有旋转角的初始推测的扫描序 列303，通过相对于该旋转角θ来最佳化可见度函数f(...)304而可以找出最 优的扫描序列：
Maxθf(θ|形状信息，虚拟扫描仪模型)
最佳化的输出θmax以及相应的序列文件确保了最大的可见度。实际的 最佳化可以使用先前提及的最佳化算法之一来执行，例如是最陡下降，其 优选地使用具有1度上的陡幅(steep size)Δθ的数值梯度评价。下一步 然后是使用最优序列文件305来进行扫描。然后将所得的扫描与先前的扫 描306合并，并且创建301表面以及检查完全覆盖度302。如果仍然没有获 得完全覆盖度，那么仍可以执行新的迭代。如本文中其它地方所论述的， 术语“完全覆盖度”是指相对于特定三维计算机模型的完全覆盖度，而不 一定是指物理对象的每个部分都被覆盖。
附图4示出本发明的另一实施例，其中虚拟扫描仪模型和可见度函数 被使用来基于并非直接从物体扫描的间接形状信息而创建第一初始扫描 300。优选地该间接形状信息从CAD模型400、平均或模板模型中获得。在 这种情况下，关心的区域对应于整个模型。
在与前一实施例相同的虚拟扫描仪架构中，创建一个或多个扫描序列 401，并且相对于可见度函数来最佳化402自由参数。根据实际的应用，附 加因素可以被添加到可见度函数，诸如子扫描的数目、相互的子扫描可见 度和扫描时间。最优扫描序列然后被用于物体的初始扫描403。
需要知道物体的绝对位置以执行一个成功的扫描。所述位置优选地从 扫描仪中该物体的定影中获得，或者通过运行快速预定义扫描来更加灵活 地获得，然后将该位置配准/调准于形状模型。如果需要，接着可以继之以 第二扫描301-305以闭合可能的孔。
加速扫描的一个简单方法是让用户在物体的某些表示上选择关心的区 域。如果在扫描之前形状信息是已知的，那么所述表示优选地是CAD模型、 模板模型或平均模型，否则所述表示可以是快速扫描的结果，或甚至更快 地只是由照相机捕获的一个二维图像。要注意的是，由扫描仪直接创建的 二维图像上的选择通过利用虚拟扫描仪模型可以转换为三维选择。这个由 用户选择的关心的区域然后直接用于确定最优扫描序列。
本发明的另一实施例可以适用于捕获物体纹理的扫描仪，其中对可见 度函数的修改可以确保遍及物体的纹理的完全覆盖度。所述物体几何形状 可以来源于扫描或者间接获取的模型。与平的几何形状扫描的主要区别是 可见度函数的公式表达，其现在可以并入纹理特征，诸如垂直于相机角的 纹理和表面的可见度。取决于扫描策略，可见度函数可以被公式化为并入 联立的或者分立的几何形状和纹理捕获。
同样本发明还可以应用于捕获闪电(lightning)、描影(shading)和材 料参数，其主要用于渲染物体的现实视觉外观的图像。这是通过扩展可见 度函数的公式表达以并入照明和材料参数估计因素来实现的。存在许多不 同的照明和材料模型，诸如Phong描影，Gouraud描影或BRDF模型。然 而可见度函数应该总体上可适用于所有不同的模型和估计算法。
物理对象的三维计算机模型可以基于在步骤e)中通过扫描获得的结果 之一，或者物理对象的三维计算机模型可以通过将来自物理对象任何其它 信息的信息和在步骤e)执行的扫描结果的至少之一进行组合来获取，比如 有形状信息和扫描结果的组合。
物理对象的三维计算机模型还可以通过组合来自在步骤e)执行的至少 两个扫描序列的信息来获取，以及通过任选地将来自至少两个扫描的信息 同任何其它信息相组合来获取，其它信息诸如是形状信息。
尽管本发明是相对于结构化光扫描仪而加以描述的，但是对于有经验 的阅读者来说显而易见的是，本发明可以适用于供其它类型扫描仪(诸如 表面扫描仪)来执行自适应扫描。因此，还可以通过使用例如以下设备来 实行本发明，即接触探针扫描仪、激光测距扫描仪、MR、MRI、CT、x-射 线、超声、测距照相机、飞行时间传感器、或是基于侧面影像、结构和运 动、由阴影复原的形状、由纹理复原的形状或色键的光学扫描仪。主要区 别是虚拟扫描仪模型和可见度函数的不同的公式表达。
本发明可以用于任何物理对象的三维计算机模型的生成，并且因此在 大多数三维扫描应用中本自适应扫描是恰当的。物理对象可以具有规则的 或不规则的表面，并且本发明对于产生具有不规则表面的物理对象的三维 计算机模型是特别恰当的。应用的例子是：扫描牙印模、牙模型和压模、 楦(lasts)、珠宝、艺术品、文物和历史古物、用于质量分析和模具制做的 制造的部件、耳朵印模、度量衡、逆向工程、用于主页、电脑游戏和电影 动画、卡通以及商业节目的现实三维模型的简易创建。
任意的解剖学的或牙印模的光学扫描是没有自适应扫描就不可能执行 的应用。牙印模是牙齿的负印模(negative impression)，并且通常用某种硅 树脂材料制成。由于齿形和它们的生物变异，达到完全覆盖度是非常有挑 战性的，这是因为向下扫描到任意牙齿的印模中需要非常精确的观看位置 和运动。当所述扫描用于牙齿修复时，要求很高的精度以获取正确的拟合 (fit)，这种拟合排除了人工的孔闭合。因此，本发明特别适合于牙科领域 中的应用，诸如用于扫描牙齿、修补物、一个或多个牙齿或修补物的印模。
附图5示出双侧牙印模的上侧400和下侧401的自适应扫描，其同时 捕获负牙印模和咬合(bite)。为形成双侧印模的全扫描402，上下印模的扫 描优选地可以自动地配准，但任选地通过用户在两个扫描上标记一个或多 个对应点403来支持。
在另一方面，本发明涉及能够执行上述方法的扫描仪系统。因此，本 发明涉及一种用于产生物理对象的三维计算机模型的扫描仪系统，其包括 至少一个光源、至少一个照相机，和至少一个用于支撑物理对象的支撑， 以及一个数据处理系统，该数据处理系统包括输入设备、中央处理单元、 存储器和显示器，其中所述数据处理系统在其中已存储有表示指令序列的 数据，当该指令序列被执行时导致执行如上所述的方法。该扫描仪系统的 部件如上所述对应于所述方法。
在第三个方面，本发明涉及如上所述的数据处理系统，其用于产生物 理对象的三维计算机模型，包括输入设备、中央处理单元、存储器和显示 器，这里所述数据处理系统在其中已存储有表示指令序列的数据，当该指 令序列被执行时导致执行本发明的方法。
在第四实施例中，本发明涉及一种包含指令序列的计算机软件产品， 当该指令序列被执行时导致执行本发明的方法。
在第五实施例中，本发明涉及一种包含指令序列的集成电路产品，当 该指令序列被执行时导致执行本发明的方法。