背景技术
[0001] 三维打印，其也可以称作加性制造，是虑及基于所期望的对象的三维模型而“打印”三维对象的技术。例如，三维
打印机可以接受三维
计算机辅助设计（CAD）绘图或其它适当的三维模型作为输入，并且可以产生由模型所描述的对象的三维“打印输出”。
[0002] 为了打印所期望的对象，三维打印机可以将对象的三维模型“切片”成变化的形状的数字横截面或层，并且可以根据横截面而逐层打印或构造所期望的对象。取决于三维打印机的配置，可以使用各种不同的材料来构造所打印的对象，所述材料诸如塑料、陶瓷、金属、纸、或其它适当的材料。
附图说明
[0003] 图1是根据本文中描述的实现方式的示例性三维对象建模环境的
概念图解。
[0004] 图2A和2B是根据本文中描述的实现方式的示例性对象映射的概念图解。
[0005] 图3是根据本文中描述的实现方式的用于在三维中对于对象进行建模的示例性过程的
流程图。
[0006] 图4是根据本文中描述的实现方式的示例性对象建模系统的
框图。
具体实施方式
[0007] 三维模型，诸如可以用作到三维打印机的输入的那些，经常由设计师或绘图员使用复杂的建模
软件而创建。以这样的方式对三维对象进行建模可能需要显著量的技能、努
力和/或时间，并且还可能是相对昂贵的过程。
[0008] 本文描述的是用于对三维对象进行建模的技术，其可以由技术用户或非技术用户以同样的方式来执行，并且其可以使用诸如智能电话、平板设备、膝上型计算机、以及其它适当的计算设备之类的商业上可得到的计算设备来实现。根据所述技术，用户可以使用摄像机来捕获用户希望建模的对象的图像，所述摄像机诸如集成到智能电话或其它适当的移动设备中的摄像机。用户可以捕获对应于对象的多个视图的多个图像（例如，以静态图像或视频捕获的形式），并且所述多个图像可以用于生成对象的准确的三维模型，其在一些情况下可以用作对于三维打印机的输入。如本文中所描述的，所述技术可以包括由计算设备所提供的用户
接口（例如，智能电话的显示器），所述用户接口引导用户通过标识尚未充足捕获的对象的区域而捕获对象的特定区域的附加或可替换的视图。例如，可以向用户示出缺乏充分的信息以生成准确的三维对象的对象的一个或多个区域，并且用户然后可以将摄像机聚焦于那些区域上，或者以其它方式捕获与那些区域相关联的附加图像或视图，以使得附加的视觉信息可以被获得以供在对于对象进行建模中使用。
[0009] 在一个示例性的实现方式中，对三维对象进行建模的方法可以包括接收多个二维图像，所述多个二维图像描绘将在三维中被建模的对象的视图。所述方法还可以包括处理所述多个二维图像以生成对象的三维表示，并且分析对象的三维表示以确定在所述多个二维图像中是否存在充分的视觉信息以生成对象的三维模型。所述方法还可以包括响应于确定了针对对象的一部分不存在充分的视觉信息，向用户标识对象的所述部分，例如，使得可以捕获对象的所述部分的附加视图。
[0010] 在另一示例性的实现方式中，移动计算系统可以包括图像捕获设备，用以捕获描绘将在三维中被建模的对象的视图的二维图像。移动计算系统还可以包括一个或多个处理器，用以在图像被图像捕获设备捕获时处理所述图像，以生成图像中描绘的对象的三维映射图（map）；分析对象的三维映射图以确定在图像中是否存在充分的视觉细节以生成对象的三维模型；以及响应于确定了不存在充分的视觉细节而标识缺乏充分的视觉细节的对象的一部分。
[0011] 在另一示例性实现方式中，非暂时性计算机可读存储介质可以存储指令，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器接收由图像捕获设备捕获的多个图像，所述多个图像描绘将在三维中被建模的对象的视图。所述指令还可以使得所述处理器处理所述多个图像以生成与对象相关联的视觉信息，并且确定视觉信息是否足以重构对象的良好限定的三维模型。所述指令还可以使得所述处理器响应于确定了与对象的一部分相关联的视觉信息不足以重构对象的所述部分的良好限定的三维模型，而引导用户捕获对象的所述部分的附加视图。
[0012] 图1是根据本文中描述的实现方式的示例性三维对象建模环境100的概念图解。如所示出的，环境100包括移动计算设备110和目标对象120。移动计算设备110包括对象捕获引导用户接口115，其帮助引导用户捕获目标对象120的充分的视图以使得可以创建对象的准确、良好限定的三维模型。环境100还可以包括对象建模
服务器140以及三维打印机160，其可以用于在如下所述的目标对象120的适当捕获和建模之后“打印输出”目标对象120的复制品170。
[0013] 环境100的示例性拓扑可以表示各种三维对象建模环境。然而，应当理解的是，仅仅出于说明性目的而示出环境100的示例性拓扑，并且可以对配置做出各种
修改。例如，环境100可以包括不同的或附加的设备，或者可以以与所示出的不同的方式来实现设备。而且，虽然移动计算设备110和对象建模服务器140一般被分别图示为智能电话和独立的服务器，但是应当理解的是，其它适当的计算设备（例如平板设备、服务器、膝上型计算机、台式计算机、工作站等等）或者单独地或一起操作的计算设备的群组（例如服务器集群等等）也可以或可替换地用于执行本文中描述的功能的全部或部分。另外，尽管在图1中没有描绘，但是各种设备可以经由一个或多个网络（诸如局域网（LAN）或广域网（WAN））或通过适当网络的组合而通信地耦合到彼此。
[0014] 在操作中，移动计算设备110可以由用户操作以捕获目标对象120的多个二维图像，所述图像中的每一个对应于对象的特定视图。虽然以下讨论假设与移动计算设备110集成的摄像机，但是应当理解的是，单独的独立摄像机（未示出）或多个摄像机可以用于捕获目标对象120的图像，并且这样的所捕获的图像然后可以从单独的独立摄像机被提供到移动计算设备110以供以下文讨论的方式被处理。
[0015] 图像可以以任何适当的格式被捕获和/或提供，诸如以视频馈送的
帧或以目标对象120的一系列摄影静止图像。例如，在一些情况中，集成到移动计算设备110中的摄像机可以被置于视频捕获模式中，并且用户可以相对于目标对象而移动摄像机，以试图要充足地捕获各个侧面、表面以及限定目标对象120的总体结构的其它视觉细节。在另一示例中，用户可以拍摄对象的各种视图的静止照片，例如从不同的
角度、距离、缩放
水平等等。
[0016] 基于所捕获的图像，对象捕获引导用户接口115可以向用户指示在所捕获的图像中是否存在充分的视觉信息以生成对象的良好限定的、准确的三维模型，例如用于使用三维打印机160而创建对象的复制品170的目的。如果不是，那么对象捕获引导用户接口115可以引导用户通过捕获对象的附加视图的
迭代过程直到存在足够的视觉信息以生成三维模型为止。一旦存在充分的视觉信息以生成目标对象的良好限定的、准确的三维模型，就可以提示用户向对象建模服务器140提供视觉信息的至少一部分（例如，关键帧130），所述对象建模服务器140进而可以基于视觉信息而生成目标对象的三维模型150。三维模型150然后可以被提供给三维打印机160以供打印。
[0017] 为了确定在所捕获的图像中是否存在充分的视觉信息以生成目标对象120的良好限定的、准确的三维模型，对象捕获引导用户接口115可以处理目标对象的任何所捕获的图像以在设备110上构建目标对象的稀疏映射图。所述稀疏映射图可以包括与目标对象的视觉上令人感兴趣的特征相关联的多个各种特征点（例如，拐角、边、弯曲点、和/或其它感兴趣的点）。在一些实现方式中，可以通过使用同时
定位和映射（SLAM）处理来生成目标对象的稀疏映射图。SLAM处理可以用于构建完全未知的目标对象120的映射图，或者更新部分已知的目标对象120的先前的映射图。对象捕获引导用户接口115还可以尝试使网格适合于稀疏映射图，例如通过使用适当的网格化技术而连接适当的特征点。
[0018] 稀疏映射图和/或网格然后可以用于通过向用户指示从所捕获的图像中缺乏什么视觉信息（例如，需要被“填充”细节以用于构建三维模型的目标对象的特定区域的任何附加视图）来引导用户。例如，在一些实现方式中，稀疏映射图和/或网格可以被显示给用户，例如经由移动计算设备110的对象捕获引导用户接口115，以使得用户可以在视觉上检查目标对象是否如预期的那样被表示，或者三维表示的某些部分是否看似被特征点不足地表示（under-represented）或者以其它方式缺乏细节。
[0019] 对象捕获引导用户接口115还可以分析稀疏映射图以确定在所捕获的图像中是否存在充分的视觉信息。例如，用户接口115可以标识稀疏映射图的任何部分是否被特征点不足地表示，例如通过将特定区域中特征点的数目与
阈值相比较并且当特征点的数目小于阈值时确定所述区域缺乏充分的信息。阈值可以是可配置的和/或可以取决于多个因素，诸如目标对象或特定区域的绝对或相对大小、复杂度或其它特征。阈值还可以取决于图像的
质量和/或
分辨率。作为另一示例，用户接口115可以在网格不能适合于区域中的特征点时将目标对象的区域标识为被特征点不足地表示。
[0020] 在对象捕获引导用户接口115确定了针对目标对象的特定部分缺乏充分的视觉信息的情况下，缺乏充分细节的该部分可以被标识给用户，以使得用户可以捕获目标对象的该特定部分的附加视图。例如，对象捕获引导用户接口115可以在移动计算设备110的显示器上强调对象的该部分或者可以以其它方式指示特定的区域将会受益于该区域的附加捕获的视图。
[0021] 作为这样的指示的结果，可以向用户提示捕获附加图像，所述附加图像描绘缺乏充分的视觉信息的目标对象的特定部分的视图，并且所述附加图像可以被反馈并且以迭代的方式与先前捕获的图像结合地被处理。例如，目标计算设备110可以用于捕获附加图像，所述附加图像描绘缺乏充分视觉信息的对象的特定部分的视图，并且所述附加图像可以被处理以更新被包括在稀疏映射图中的特征点。这些步骤可以被重复直到存在充分的视觉信息以对目标对象进行充足地建模为止。
[0022] 在确定了在所捕获的图像中存在充分的视觉细节以生成目标对象的良好限定的、准确的三维模型之后，然后移动计算设备110可以将从所捕获的图像的集合之中所选择的关键帧130传送到对象建模服务器140以用于对目标对象进行建模。关键帧可以被选择成使得关键帧单独（例如与所有其它的图像分离）提供充分的视觉细节以生成对象的三维模型。在一些情况中，移动计算设备110还可以将与每个关键帧130相关联的摄像机
姿态信息传送到服务器。
[0023] 在接收到关键帧130时，服务器可以处理关键帧130，以及在一些情况中的相关联的摄像机姿态信息，以生成与三维打印机兼容的三维模型。
[0024] 图2A和2B是根据本文中描述的实现方式的示例性对象映射的概念图解。在这两个图中，目标对象是相对简单的立方体形状的对象，并且映射意图示出两个可能的映射实现方式。当然，示例性的映射仅仅出于说明性的目的而被示出，并且应当理解的是，也可以生成其它的映射，甚至是针对如此处所示的相对简单的对象。
[0025] 在图2A的示例中，目标对象210的原始三维映射由点
云表示220示出，其中各种特征点被群集在立方体的各个拐角上和周围。虚线被示出以提供与立方体的边和拐角相关联的参照点，但是仅仅出于说明性的目的而被示出。虽然已经通过多个特征点的集群而表示了立方体的许多拐角，但是后方左上拐角仅仅包括单个特征点224，并且前方右下拐角区域228完全缺乏特征点。
[0026] 给定该点云表示220，可以基于原始捕获的图像来重构准确的三维模型是相对不太可能的。因而，取决于实现方式以及特别地特征点224是否被视为传达充分的视觉信息以限定立方体的该特定区域，图1的对象捕获引导用户接口115可以引导用户捕获与仅仅区域228相关联的或者区域228和与特征点224相关联的区域二者的目标对象210的部分的附加视图。
[0027] 在该特定示例中，针对两个区域而捕获附加的视图，从而导致目标对象的更加良好限定的点云表示230。
[0028] 在图2B的示例中，目标对象250的原始三维映射由点云表示260示出，其中各种特征点被群集在立方体的各个边（而不是仅仅拐角）上和周围。虽然目标对象的边中的大多数看似利用多个特征点而被良好地限定，但是区域265缺乏视觉信息。
[0029] 为了确保可以在三维模型中充足地重构目标对象250，图1的对象捕获引导用户接口115可以引导用户捕获与区域265相关联的附加视觉信息，例如通过捕获目标对象250的后方右下拐角区域的附加视图。在用户已经捕获了附加视图之后，可以生成良好表示的点云表示270。
[0030] 图3是根据本文中描述的实现方式的用于在三维中对于对象进行建模的示例性过程300的流程图。过程300可以例如由诸如图1中图示的移动计算设备110之类的计算设备来执行。为了呈现的清楚，随后的描述使用图1中图示的移动计算设备110和对象捕获引导用户接口115，作为用于描述过程的示例的
基础。然而，应当理解的是，另一系统或系统的组合可以用于执行过程或过程的各个部分。
[0031] 过程300开始于框310，其中接收目标对象的二维图像。例如，移动计算设备110可以接收描绘目标对象的不同视图的多个图像，例如，如由集成到设备本身中的摄像机所捕获的，或如由单独的摄像机（或摄像机群组）所捕获并且然后被传送到移动计算设备110的。可以以任何适当的格式来捕获和/或提供图像，诸如以视频馈送的帧或以目标对象的一系列摄影静止图像。例如，在一些情况中，集成到移动计算设备110中的摄像机可以被置于视频捕获模式中，并且用户可以相对于目标对象而移动摄像机，以试图要充足地捕获各种侧面、表面以及限定目标对象的总体结构的其它视觉细节。
[0032] 在框320处，基于描绘目标对象的各种图像而生成目标对象的三维表示。例如，移动计算设备110可以生成目标对象的点云表示，其中在三维空间中映射各种特征点（例如，拐角、边、弯曲点和/或其它感兴趣的点）。在一些情况中，可以使用同时定位和映射（SLAM）处理，例如在接收到二维图像时，用以生成表示目标对象的三维稀疏映射图。另外，移动计算设备110可以尝试使网格适合于特征点，以仿真三维表示的表面。
[0033] 在一些实现方式中，点云和/或网格可以被显示给用户，例如经由移动计算设备110的对象捕获引导用户接口115，以使得用户可以在视觉上检查目标对象是否如预期的那样被表示，或者三维表示的某些部分是否看似被特征点不足地表示或以其它方式缺乏细节。
[0034] 在框330处，确定在所述多个二维图像中是否存在充分的视觉细节以生成目标对象的三维模型。例如，移动计算设备110可以标识点云表示的任何部分是否被特征点不足地表示，例如通过将特征区域中的特征点的数目与阈值相比较并且当特征点的数目小于阈值时确定该区域缺乏充分的信息。阈值可以是可配置的和/或可以取决于多个因素，诸如目标对象或特定区域的绝对或相对大小、复杂度或其它特征。阈值还可以取决于图像的质量和/或分辨率。作为另一示例，当网格不能被适合于区域中的特征点时，移动计算设备110可以将目标对象的区域标识为被特征点不足地表示。
[0035] 如果确定了针对目标对象的特定部分不存在充分的视觉细节，那么在框340处可以向用户标识缺乏充分细节的部分，以使得用户可以捕获目标对象的该特定部分的附加视图。例如，目标对象的该部分可以经由对象捕获引导用户接口115而被标识给移动计算设备110的用户，例如通过在移动计算设备110的显示器上强调该部分或通过以其它方式指示特定区域将会受益于该区域的附加捕获的视图。
[0036] 作为这样的指示的结果，可以提示用户捕获附加图像，所述附加图像描绘缺乏充分视觉细节的目标对象的特定部分的视图，并且所述附加图像可以被反馈并且经由框310、320和330与先前捕获的图像结合地被处理。例如，在框310的后续迭代中，目标计算设备
110可以接收附加图像，所述附加图像描绘对象的特定部分的视图。在框320的后续迭代处，附加图像可以被处理以生成目标对象的经更新的三维表示。并且在框330的后续迭代处，可以确定在二维图像的原始集合中以及在附加捕获的图像中是否存在充分的视觉细节以生成目标对象的三维模型。该迭代循环可以继续直到目标对象被所捕获的图像良好限定为止。
[0037] 在确定了在所捕获的图像中存在充分的视觉细节以生成目标对象的三维模型之后，然后移动计算设备110可以在框350处将从所捕获的图像的集合之中选择的关键帧传送到服务器以用于对目标对象进行建模。关键帧可以被选择成使得关键帧单独（例如与所有的其它图像分离）提供充分的视觉细节以生成对象的三维模型。在一些实现方式中，关键帧可以被传送到服务器，所述服务器与移动计算设备110分离并且典型地可以提供比在移动计算设备110上可用的更多的处理能力。在一些情况中，移动计算设备110还可以将与每一个关键帧相关联的摄像机姿态信息传送到服务器。
[0038] 然后，服务器可以处理关键帧，以及在一些情况中的相关联的摄像机姿态信息，以生成与三维打印机兼容的三维模型。
[0039] 图4是根据本文中描述的实现方式的示例性对象建模系统400的框图。系统400包括对象建模机器可读指令402，其可以包括图1中描述的计算设备的各种模
块中的某些。对象建模机器可读指令402可以被加载以用于在一个或多个处理器404上执行。如本文中所使用的，处理器可以包括
微处理器、微
控制器、处理器模块或子系统、可编程集成
电路、可编程
门阵列、或者另一控制或计算设备。（一个或多个）处理器404可以耦合到网络接口406（以允许系统400执行通过
数据网络的通信）和/或耦合到一个或多个存储介质408。
[0040] 存储介质408可以实现为一个或多个计算机可读或机器可读的存储介质。存储介质可以包括不同形式的
存储器，包括
半导体存储器设备，诸如动态或静态
随机存取存储器（DRAM或SRAM）、可擦除且可编程
只读存储器（EPROM）、电可擦除且可编程只读存储器（EEPROM）、以及闪速存储器；磁盘，诸如固定盘、
软盘和可移除盘；其它
磁性介质，包括磁带；光学介质，诸如光盘（CD）或数字视频盘（DVD）；或其它适当类型的存储设备。
[0041] 注意到，以上讨论的指令可以被提供在一个计算机可读或机器可读的存储介质上，或可替换地，可以被提供在具有复数个
节点的系统中所分布的多个计算机可读或机器可读的存储介质上。这样的一个或多个计算机可读或机器可读存储介质被认为是制品（或制造品）的部分。制品或制造品可以指代任何适当制造的组件或多个组件。一个或多个存储介质可以要么位于运行机器可读指令的机器中，要么位于远程
站点处，例如从所述远程站点可以通过网络下载机器可读指令以供执行。
[0042] 尽管以上已经详细描述了一些实现方式，但是其它修改是可能的。例如，在图中描绘的逻辑流可以不要求所示的特定次序或顺序次序来实现合期望的结果。另外，可以提供其它步骤，或者可以从所描述的流程中消除步骤。类似地，可以向所描述的系统添加其它组件或从所描述的系统中移除组件。因此，其它实现方式在下述
权利要求的范围内。
