自适应相机控制和动态聚焦校准专利检索-传感器变压器和转换设备专利检索查询-专利查询网

自适应相机控制和动态聚焦校准

阅读：0发布：2020-11-04

专利汇可以提供自适应相机控制和动态聚焦校准专利检索，专利查询，专利分析的服务。并且本发明涉及自适应相机控制和动态聚焦校准。用于创建对象的3D重建的相机视觉系统可以包括相机，与相机具有固定的空间关系的距离传感器，以及系统控制器。系统控制器从距离传感器接收指示传感器到对象的距离的距离传感器信号，基于传感器到对象的距离确定相机到对象的距离以及相应的相机聚焦状态，并发送相机聚焦状态控制信号使相机调整到相机聚焦状态。系统控制器检索针对相机聚焦状态的相机固有参数值，发送图像捕获控制信号以使相机捕获对象的对象图像，从相机接收捕获的对象图像的对象图像数据，并且将对象图像数据和相机固有参数值存储在图像数据库中，以用于3D重建。，下面是自适应相机控制和动态聚焦校准专利的具体信息内容。

权利要求

1.一种用于创建对象(12)的三维(3D)重建的相机视觉系统(10)，所述相机视觉系统包括：
相机(14)，具有相机控制器(40)；
距离传感器(16)，与所述相机(14)具有固定的空间关系；以及
系统控制器(18)，可操作地连接到所述相机控制器(40)和所述距离传感器(16)，所述系统控制器(18)被编程为：
从所述距离传感器(16)接收距离传感器信号，其中，所述距离传感器信号指示从所述距离传感器(16)到所述对象(12)的传感器到对象的距离(Dso)，
基于所述传感器到对象的距离(Dso)确定从所述相机(14)到所述对象(12)的相机到对象的距离(Dco)以及所述相机到对象的距离(Dco)的相应相机聚焦状态，
向所述相机控制器(40)发送相机聚焦状态控制信号以使所述相机控制器(40)将所述相机(14)调整为所述相机聚焦状态，
检索对应于所述相机聚焦状态的所述相机(14)的相机固有参数值，
向所述相机控制器(40)发送图像捕获控制信号以使所述相机(14)捕获所述对象(12)的对象图像，
从所述相机控制器(40)接收与由所述相机(14)捕获的对象图像相对应的对象图像数据，并且
将所述对象图像数据和所述相机固有参数值存储在图像数据库(52)中。
2.根据权利要求1所述的相机视觉系统(10)，其中，所述相机(14)包括可操作地连接到所述相机控制器(40)的相机镜头致动器(42)，其中，所述系统控制器(18)被编程为：将所述相机到对象的距离(Dco)转换为与所述相机聚焦状态相对应的相机镜头致动器位置，并且其中，所述相机聚焦状态控制信号包括所述相机镜头致动器位置。
3.根据权利要求1至2中的任一项所述的相机视觉系统(10)，其中，所述系统控制器(18)被编程为：
基于所述距离传感器信号检测从所述距离传感器(16)到所述对象(12)的所述传感器到对象的距离(Dso)到第二传感器到对象的距离(Dso2)的变化；并且
基于所述第二传感器到对象的距离(Dso2)确定从所述相机(14)到所述对象(12)的第二相机到对象的距离(Dco2)以及所述第二相机到对象的距离(Dco2)的对应的第二相机到对象的聚焦状态。
4.根据权利要求1至2中的任一项所述的相机视觉系统(10)，包括固有参数数据库(50)，所述固有参数数据库(50)存储多个相机聚焦状态和所述多个相机聚焦状态中的每一个的对应的所述相机固有参数值，其中，所述系统控制器(18)可操作地连接到所述固有参数数据库(50)并且被编程为从所述固有参数数据库(50)检索相机(14)的所述相机固有参数值。
5.根据权利要求1至2中的任一项所述的相机视觉系统(10)，其中，所述系统控制器(18)被编程为根据所存储的对象图像数据和对应的所述相机固有参数值来执行所述对象(12)的3D重建。
6.根据权利要求1至2中的任一项所述的相机视觉系统(10)，包括具有第二相机控制器(40)的第二相机(22)，其中，所述第二相机(22)与所述距离传感器(16)具有第二固定的空间关系，其中，所述系统控制器(18)可操作地连接到所述第二相机控制器(40)，并且其中，所述系统控制器(18)被编程为：
基于所述传感器到对象的距离(Dso)确定从所述第二相机(22)到所述对象(12)的第二相机到对象的距离(Dco2)以及所述第二相机到对象的距离(Dco2)的对应的第二相机聚焦状态，
向所述第二相机控制器(40)发送第二相机聚焦状态控制信号以使所述第二相机控制器(40)将所述第二相机(22)调整为所述第二相机聚焦状态，
检索对应于所述第二相机聚焦状态的所述第二相机(22)的第二相机固有参数值，向所述第二相机控制器(40)发送图像捕获控制信号，以使所述第二相机(22)捕获所述对象(12)的第二对象图像，
从所述第二相机控制器(40)接收与由所述第二相机(22)捕获的所述第二对象图像相对应的第二对象图像数据，并且
将所述第二对象图像数据和所述第二相机固有参数值存储在所述图像数据库中(52)。
7.根据权利要求6所述的相机视觉系统(10)，其中，所述系统控制器(18)被编程为：根据所存储的所述对象图像数据和相应的第一相机固有参数值以及所存储的所述第二对象图像数据和相应的第二相机固有参数值，来对所述对象(12)进行3D重建。
8.一种动态聚焦相机(14)并捕获图像和生成对象(12)的三维(3D)重建的方法，包括以下步骤：
确定从所述相机(14)到所述对象(12)的第一相机到对象的距离(Dco1)；
使所述相机的相机控制器(40)将所述相机(14)的相机(14)聚焦状态调整为与所述第一相机到对象的距离(Dco1)相对应的第一相机聚焦状态；
检索对应于所述第一相机聚焦状态的所述相机(14)的第一相机固有参数值；
命令所述相机控制器(40)使所述相机(14)捕获所述对象(12)的第一图像；并且存储所述第一图像的第一图像数据和所述第一相机固有参数值。
9.根据权利要求8所述的方法，其中，确定所述第一相机到对象的距离(Dco1)包括：
确定从距离传感器(16)到所述对象(12)的第一传感器到对象的距离(Dso1)，其中，所述距离传感器(16)与所述相机(14)具有固定的空间关系；并且
基于所述第一传感器到对象的距离(Dso1)确定从所述相机(14)到所述对象(12)的所述第一相机到对象的距离(Dco1)。
10.根据权利要求8至9中的任一项所述的方法，包括：在多个相机位置中的每个位置处相对于所述对象(12)的执行确定步骤、使步骤、检索步骤、命令步骤和存储步骤，并且包括：
根据存储的图像数据和对应的相机固有参数值对所述对象(12)进行3D重建。

说明书全文

自适应相机控制和动态聚焦校准

技术领域

[0001] 本公开总体上涉及相机视觉系统，并且更具体地涉及基于从相机到对象的感测距离的动态相机聚焦和固有相机校准参数的检索。

背景技术

[0002] 诸如立体视觉系统和结构化光之类的相机视觉系统被用于各个行业，以出于各种目的重建对象的三维(3D)扫描。对于高分辨率3D重建，必须针对相机的给定聚焦状态以像素级精度知道固有的相机校准参数(包括焦距和畸变系数)，以便生成对象的准确且详细的重建图像。在从相机到对象的距离变化的情况下，通常需要更改相机的聚焦状态(手动更改聚焦或动态聚焦)以拍摄高质量的高分辨率图像。用于将对象的捕获图像重建为3D图像的固有参数取决于相机的聚焦状态，因此，当聚焦状态改变时，需要选择正确的固有参数。发明内容

[0003] 本公开的一个方面是一种用于创建对象的3D重建的相机视觉系统。相机视觉系统可包括具有相机控制器的相机；与相机具有固定空间关系的距离传感器；以及能够操作地连接至相机控制器和距离传感器的系统控制器。系统控制器可以被编程为从距离传感器接收距离传感器信号，其中，该距离传感器信号指示从距离传感器到对象的传感器到对象的距离，根据传感器到对象的距离确定从相机到对象的相机到对象的距离，以及相机到对象的距离的相应相机聚焦状态，并向相机控制器发送相机聚焦状态控制信号，以使相机控制器将相机调整为相机聚焦状态。系统控制器还可以被编程为检索与相机聚焦状态相对应的相机的相机固有参数值，将图像捕获控制信号传输到相机控制器，以使相机捕获对象的对象图像，从相机控制器接收与由相机捕获的对象图像相对应的对象图像数据，并将对象图像数据和相机固有参数值存储在图像数据库中。

[0004] 在本公开的另一方面，一种动态聚焦相机并捕获图像并生成对象的3D重建的方法。该方法可以包括确定从相机到对象的第一相机到对象的距离，使相机的相机控制器将相机的相机聚焦状态调整为与第一相机到对象的距离相对应的第一相机聚焦状态，检索对应于第一相机聚焦状态的相机的第一相机固有参数值，命令相机控制器使相机捕捉对象的第一图像，并存储第一图像的第一图像数据和第一相机固有参数值。

[0005] 在本公开的另一方面，一种用于在相机视觉系统中执行固有校准的方法。该方法可以包括：将相机视觉系统的相机调整为相机聚焦状态，捕获目标对象的图像，根据所捕获的目标对象图像的目标图像数据，确定处于相机聚焦状态的相机的固有参数值，以及将相机聚焦状态和相机聚焦状态下的相机固有参数值存储在固有参数数据库中。

[0006] 其他方面由本专利的权利要求书限定。附图说明

[0007] 图1是根据本公开的相机视觉系统的组件的示意图；

[0008] 图2是其中相机和距离传感器相对于对象移动到第二位置的图1的相机视觉系统的示意图；

[0009] 图3是具有第二相机的图1的相机视觉系统的示意图；以及

[0010] 图4是在图1的相机视觉系统中可以实现根据本公开的图像捕获和3D重建的控制组件的框图；

[0011] 图5是根据本公开的示例性相机视觉系统固有校准例程的流程图；以及[0012] 图6是根据本公开的示例性图像捕获和3D重建例程的流程图。

具体实施方式

[0013] 根据本公开的相机视觉系统提供了一种自适应固有校准方法，以支持相机系统的动态聚焦，从而获取要在成像对象的3D重建中使用的图像数据。在示例性实施方式中，相机视觉系统包括一个或多个相机以及安装在移动结构(诸如横摇倾斜单元)上的相应深度或距离传感器。随着相机的摇摄和/或倾斜，从相机到目标对象的距离会发生变化，从而在不更新相机的聚焦的情况下，景深将不再关于目标对象居中。距离传感器感测到对象的距离，并且系统根据所感测到的距离为相机确定新的聚焦状态，并相应地调整相机的聚焦。随着聚焦的变化，将检索用于新聚焦状态的相机的固有参数，以将捕获的图像数据转换为对象的3D表示。与先前的系统相比，这种布置可以提高对象的3D重建的速度和质量。

[0014] 参照图1，示出了示例性相机视觉系统10，其能够捕获对象12的图像并从所捕获的图像创建对象12的3D重建。相机视觉系统10可包括相机14，距离传感器16和能够操作地连接至相机14和距离传感器16的用于交换信息的系统控制器18，该信息将控制相机14的操作以捕获对象12的图像。在相机视觉系统10中，相机14和距离传感器16在三维坐标系20内具有固定的空间关系，使得传感器到相机的距离Dsc保持恒定。另外，当相机14和距离传感器16围绕对象12移动以从不同角度捕获对象12的多个图像时，相机14和距离传感器16之间的相对定位在坐标系20内保持恒定。为了维持固定的空间关系，可以将相机14和距离传感器
16安装到公共结构(未示出)，例如云台、铰接臂、三脚架或其他可以在对象12上或在二维上移动的支撑结构。

[0015] 在图1所示的相机视觉系统10的位置上，相机14定位在距对象12的第一相机到对象的距离Dco处。同时，距离传感器16位于传感器到对象的距离Dso处。在相机14和距离传感器16在坐标系20内具有固定空间关系的情况下，可以使用标准几何算法基于已知的传感器到对象的距离Dso来计算相机到对象的距离Dco。在一些实施方式中，可以预先计算从传感器到对象的距离Dso到对应的相机到对象的距离Dco的转换和相机聚焦状态并将其存储在系统控制器18处的查找表中，并且当检测到传感器到对象的距离Dso时将检索这些。一旦确定，系统控制器18将控制信号发送到相机14以将其聚焦转移到新的聚焦状态。只要相机14和距离传感器16分别与对象12保持相同的距离Dco、Dso，相机14就保持其聚焦状态。在图2中，相机14和距离传感器16已经相对于对象12铰接至新的位置。相机14和距离传感器16已经在坐标系20内平移和旋转，但是传感器到相机距离Dsc由于其固定的空间关系而保持恒定。来自距离传感器16的距离传感器信号向系统控制器18指示距离传感器16与对象12之间具有第二传感器到对象的距离Dso2。在检测到变化时，系统控制器18确定对应的第二相机到对象的距离Dco2和相机14的第二聚焦状态。然后，系统控制器18将相机聚焦控制信号发送到相机14，以将其聚焦转移到第二聚焦状态。

[0016] 在一些实施方式中，相机视觉系统10可包括一起移动的多个相机以捕获对象12的多个图像以用于对象12的3D重建中。参照图3，相机视觉系统10包括与第一相机14和距离传感器16具有固定空间关系的第二相机22。第二相机22距距离传感器16第二传感器到相机的距离Dsc2，并且系统控制器18被配置为确定与第二相机22之间的第二相机到对象的距离Dc2o以及第一相机14的第一相机到对象的距离Dclo。系统控制器18还确定第二相机22的聚焦状态，并且将相机聚焦控制信号发送到第二相机22，以使第二相机22调整到聚焦状态以捕获对象12的图像。

[0017] 为了将对象12的图像转换成重构的3D图像，需要相机14、22的某些固有参数以进行精确转换。这样的固有属性可以包括相机的焦距，相机焦平面上的主要点的位置、切向和径向变形系数等。可以使用用于固有校准的已知技术为每个相机或相机模型计算固有参数的值。可在“https://docs.opencv.org/2.4/modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html”中找到固有校准和3-D重建技术的示例。这样的技术可以包括聚焦并捕获具有已知几何形状的对象(例如棋盘)的图像，并且确定所捕获的图像相对于参考对象的几何形状是否失真以及失真程度。

[0018] 对于给定的相机，相机的每次聚焦或每个聚焦状态都有一组固有参数值。因此，为了实现对象的精确且定义良好的3D重建，可以确定并存储一系列聚焦状态的固有参数值，以供后续使用。聚焦状态的范围可以从最大聚焦状态扩展到最小聚焦状态，并且包括在最小聚焦状态和最大聚焦状态之间的规则间隔处的聚焦状态。在该范围内的每个聚焦状态下，可以将相机设置为相应的聚焦，并且可以使用诸如上述那些的传统固有校正技术来计算固有参数值。聚焦状态和对应的固有参数值可用于填充相机的固有参数数据库。在填充固有参数数据库的情况下，可以评估连续聚焦状态的固有参数值之间的偏差。如果差异太大而无法构造足够清晰的3D图像，则可以减小聚焦状态间隔，并可以为其他聚焦状态确定固有参数值，直到固有参数值偏差在公差范围内，从而构造清晰的3D图像。

[0019] 在根据本公开的相机视觉系统10中，距距离传感器16的距离和所确定的聚焦状态的固有参数值可以用于动态固有过程中，以创建对象12的清晰定义的3D重建。距离传感器16将传感器到对象的距离Dso提供给系统控制器18，系统控制器18进而确定适当的聚焦状态。系统控制器18将控制信号发送到相机14以使相机14调整聚焦状态。系统控制器18还从固有参数数据库中检索聚焦状态的相应固有参数值。如果计算出的聚焦状态介于固有参数数据库中存储的聚焦状态之间，则系统控制器18可以对存储的固有参数值进行插值(interpolate)以生成用于计算出的聚焦状态的固有参数值。从相机14捕获的图像数据与检索和/或内插的固有参数值组合在一起，以用于对象12的3D重建。下面将详细说明和描述动态固有过程的实施方式。

[0020] 图4示出了相机视觉系统10的电气和机电控制元件的实施方式。系统控制器18能够使用存储在系统控制器18中的软件来处理从相机14、22、距离传感器16和其他监视和控制设备接收的信息，并将命令和控制信号输出到相机视觉系统10的相机14、22和其他设备。系统控制器18可以包括用于执行指定程序的处理器30，它控制并监视与相机视觉系统相关的各种功能。处理器30可以可操作地连接到存储器32，该存储器32可以具有用于存储程序的只读存储器(ROM)34，以及用作用于执行存储在ROM34中的程序的工作存储器区域的随机存取存储器(RAM)36。尽管示出了处理器30，但是也可能并且考虑使用其他电子组件，例如微型控制器、专用集成电路(ASIC)芯片或任何其他集成电路设备。

[0021] 相机14、22可操作地连接到系统控制器18。相机14、22可以是被配置为捕获高分辨率图像并且具有可以集成到根据本公开的相机视觉系统10中的镜头和聚焦控制的任何合适的相机。如图所示，每个相机14、22具有由相机控制器40提供的智能性，该相机控制器40可以是诸如以上针对系统控制器18讨论的那些类型。相机控制器40被配置为与系统控制器18交换控制信号和数据。例如，系统控制器18可以发送聚焦和图像捕获控制信号，并且相机控制器40可以发送用于对象12的捕获图像的图像数据。相机控制器40可以被编程为在不存在来自系统控制器18的聚焦控制信号的情况下使用本领域已知的自动聚焦技术来自动聚焦相机14、22。用于这种技术的软件可以存储在相机存储器(未示出)中，并由相机控制器40访问。

[0022] 所示的相机14、22还包括可操作地连接至相机控制器40的相机镜头致动器42。相机镜头致动器42可以可操作地连接至相机14、22的镜头(未示出)，并且是可致动的以移动镜头并调节相机14、22的聚焦状态。相机镜头致动器42和到镜头的连接可以是被配置为将相机镜头致动器42的运动转换成相机镜头的运动的任何适当的机电机构。在一个实施方式中，相机镜头致动器42包括旋转编码器，其中每个离散的编码器位置对应于相机14、22的聚焦状态。当通过系统控制器18确定聚焦状态时，可以将聚焦状态转换为相应的编码器位置值，并控制相机镜头致动器42以致动并旋转到编码器位置。发明人设想了在相机视觉系统10中使用具有其他类型的相机镜头致动器42的相机14、22。

[0023] 相机视觉系统10的距离传感器16可操作地连接到系统控制器18，以提供距离传感器信号，该距离传感器信号指示到感测对象12的传感器到对象的距离Dso。距离传感器16可以是能够检测对象并感测到对象的距离的任何合适的传感器。示例性距离传感器16可以包括点源激光器、光学传感器、雷达传感器、声波传感器、超声传感器等。在相机视觉系统10中实现的特定距离传感器16可以具有为精确地确定相机14、22的聚焦状态并检索/内插相应的固有参数值所需的分辨率。

[0024] 作为系统控制器18的存储器32的一部分或除了系统控制器18的存储器32之外，数据库可用于存储相机视觉系统10中图像捕获和3D重建所必需的信息。可以提供固有参数数据库50以存储在相机14、22的固有校准期间确定的聚焦状态和相应的固有参数值。可以在固有校准期间填充固有参数数据库50，然后在图像捕获和/或3D重构期间访问固有参数数据库50。相机视觉系统10还可以包括图像数据库52，该图像数据库52存储在捕获对象12的图像时由相机14、22捕获的二维(2D)图像数据。图像数据库52可以与图像数据一起存储拍摄每个捕获图像的对应聚焦状态。然后，聚焦状态可以被用来从固有参数数据库50中检索/内插相应的固有参数值。在替代实施例中，如果这样做，则固有参数值也可以与图像数据一起存储，如果这样做有助于对象12的3D重建并且减少重复的处理步骤。

[0025] 图4示出了相机视觉系统10的组件的一个实施方式，但是发明人想到了替代实施方式。例如，控制器18、40的处理可以在系统控制器18处组合，其中系统控制器18直接控制相机镜头致动器42。在其他实施方式中，距离传感器16可以可操作地连接到每个相机控制器40，并且相机控制40被编程为将传感器到对象的距离Dso转换为对应的相机到对象的距离Dco。在其他实施方式中，可以存储固有参数值用于相机视觉系统10的每个单独的相机14、22。或者，相机视觉系统10可以存储用于相机视觉系统10中的每个相机模型的一组固有参数值，只要在相同模型相机的固有校准中没有显着变化即可。在相机14、22的固有校准以及对象12的图像捕获和3D重建期间，可以将固有参数数据库50和图像数据库52存储在相同的存储器结构(例如系统控制器18的存储器32)中，或者可以将其存储在分别连接到系统控制器18并由系统控制器18访问的不同的存储器结构中。相机视觉系统10的组件的其他替代配置对于本领域技术人员而言将是显而易见的，并且被发明人认为已用于相机视觉系统10以及根据本公开的图像捕获和3D重建例程中。

[0026] 工业适用性

[0027] 图5示出了根据本公开的示例性相机视觉系统固有校准例程100的流程图。固有校准例程100可以在框102处开始，在框102处，将要校准的相机14、22调整为数值的聚焦状态范围的初始聚焦状态。值的聚焦状态范围可以反映相机14、22相对于对象12所处的距离范围。例如，相机14、22到对象12的潜在距离可以在距对象12最小两英尺到最大三十英尺的范围内。为了开始固有校准例程100，可以将相机调整为聚焦于距相机14、22的两英尺的位置。在下面进一步讨论的后续迭代中，可以通过指定的聚焦状态增量直到最大聚焦状态来调整聚焦状态。

[0028] 在框102处将相机14、22设置为初始聚焦状态之后，控制可以继续到框104，在框104中，相机14、22捕获目标对象的图像。目标对象可以具有已知的几何形状(例如棋盘)，从而可以识别并量化来自目标对象的已知几何形状的捕获图像中的失真。相机14、22捕获的图像可以由系统控制器18、相应的相机控制器40或管理固有校准例程100的过程的其他控制器控制。在框104捕获图像之后，控制可以继续到框106，在框106处，系统控制器18、相机控制器40或其他控制器确定用于相机14、22的当前聚焦状态的固有参数的值。可以使用用于相机的固有校准的任何已知技术来确定固有参数值，例如上述的那些。在框106处确定固有参数值之后，控制可以继续到框108，在框108中，当前聚焦状态和当前聚焦状态的固有参数值被存储在诸如固有参数数据库50的存储结构中。

[0029] 固有校准例程100通过获取最小聚焦状态和最大聚焦状态之间的多个中间聚焦状态的固有参数值来继续进行。中间聚焦状态可以以预定的聚焦状态增量出现，直到最后或最大聚焦状态被校准为止。在本示例中，相机14、22的聚焦状态可以以六英寸增量从两英尺最小聚焦状态到三十英尺最大聚焦状态增加。因此，在将固有参数值存储在用于双脚聚焦状态的框108处之后，控制可以继续至框110，在框110处，执行固有校准例程100的控制器可以确定聚焦状态范围的最后聚焦状态是否已经被校准。如果未校准最后的聚焦状态，诸如仅在最小聚焦状态已经被校准之后，则控制可以继续到框112，在框112中，通过聚焦状态增量来调节相机14、22的聚焦状态。在该示例中，将相机14、22从两英尺聚焦状态调整到2.5英尺状态。在相机14、22被调整到新的聚焦状态之后，控制返回到框104-108以捕获目标对象的图像，并且确定并存储用于新的聚焦状态的固有参数值。

[0030] 如果确定在框110处已经校准了最后的聚焦状态，例如当已经校准了三十英尺聚焦状态时，则控制可以转到框114以确定相邻聚焦状态的固有参数值之间的偏差。在一个简单的实施方式中，可以通过减法来确定聚焦状态的固有参数值之间的偏差，以找到固有参数值之间的差异。在其他实施方式中，可以实施更复杂的数学和统计方法以确定固有参数值之间的偏差。固有参数值的偏差太大或大于指定的公差可能会导致质量差和清晰度差的3D重建，并且可能需要对其他中间聚焦状态进行校准以提高对象12的3D重建的质量。

[0031] 在框114处确定了固有参数值的偏差之后，控制转到框116，在框116处，控制器确定偏差是否太大而无法产生高质量图像。如果偏差不太大，则相机14、22的固有校准可能足以产生对象12的高质量3D重建。在这种情况下，固有参数数据库50可能会足够填充，并且固有校准例程100可能会终止。

[0032] 如果偏差太大，则可以采用聚焦状态范围的两端之间较小增量的附加聚焦状态，以减少相邻聚焦状态的固有参数值之间的偏差。当偏差太大时，控制可以继续到框118，在框118中可以将聚焦状态增量减小适当的量，使得先前校准的聚焦状态之间的聚焦状态将被校准并存储在固有参数数据库50中。例如，本示例中的六英寸聚焦状态增量可以减小到三英寸增量，以使由固有校准例程100校准的聚焦状态的密度加倍。在框118处调节聚焦状态增量之后，控制可以返回到框102以将相机14、22重新调节到初始聚焦状态并在聚焦状态范围内循环以校准附加聚焦状态。在一些实施方式中，固有校准例程100可以被配置为跳过在固有校准例程100的先前迭代中已经被校准的聚焦状态，以便减少完全校准相机14、22所需的时间和处理资源。固有校准例程100的迭代过程将继续进行，直到固有参数值的偏差在框116处在可接受的公差内。可以针对相机视觉系统10中使用的每个相机重复固有校准例程100。如果制造特定相机型号的相机14、22的精度很高，并且相机14、22到相机14、22之间的固有参数值不会有很大变化，则校准该模型的一个示例性相机14、22并存储经校准的固有参数值以与在3D重建过程中由该模型的相机14、22捕获的图像数据一起使用就足够了。

[0033] 一旦相机视觉系统10的相机14、22已经被校准，则相机视觉系统10就可以用于捕获对象12的图像，然后可以将其转换为对象12的3D重建。图6示出了根据本公开的示例性图像捕获和3D重建例程150的流程图的实施方式。例程150可以在框152处开始，在框152处，相机视觉系统10的一个或多个相机14、22指向要成像的对象12。如上所述，相机14、22可以安装到可以以二维或三维形式围绕对象12移动或挪动的通用结构，例如云台单元。该结构可以由操作员或技术人员手动移动以将相机14、22定位在捕获图像以对对象12进行精确3D表示所必需的各个位置。可替代地，，该结构和安装在其上的相机14、22的移动可以由诸如系统控制器18之类的控制结构自动地控制，以将相机14、22移动到围绕对象12的各种图像捕获位置。

[0034] 一旦相机14、22被定位并指向对象12，控制就可以继续到框154，在框154中，距离传感器16在当前位置感测传感器到对象的距离Dso。距离传感器16感测传感器到对象的距离Dso，并且将具有与传感器到对象的距离Dso相对应的值的距离传感器信号发送到系统控制器18。响应于在系统控制器18处从距离传感器16接收到距离传感器信号，控制可以继续到框156，在框156中，系统控制器18基于距离传感器信号中的传感器到对象的距离Dso确定相机到对象的距离Dco。可以以如上所述的任何适当方式来计算相机到对象的距离Dco。

[0035] 如果自上一次在框156确定以来相机到对象的距离Dco没有改变，则相机14、22的聚焦状态没有改变，并且可能不需要重新聚焦相机14、22并检索聚焦状态的固有参数值。因此，如果在框158相机到对象的距离Dco没有改变，则例程150的控制可以绕过相机聚焦和固有参数值的检索步骤，而是继续捕获对象12的图像。然而，如果在框158处相机到对象的距离Dco已经改变，控制可以继续到框160，在框160，系统控制器18可以确定与传感器到对象的距离Dso和相机到对象的距离Dco相对应的相机14、22的聚焦状态，并进行到框162以使相机14、22被调节到新的聚焦状态。在一个实施方式中，系统控制器18可以将包含与聚焦状态相对应的值的相机控制信号发送到相机控制器40。相机控制器40可以接收相机控制信号，并且将聚焦状态信息转换为传输到相机镜头致动器42的相机镜头致动器控制信号。相机镜头致动器控制信号将使相机镜头致动器42致动并将相机14、22的镜头移动到与新的聚焦状态相对应的位置。在替代实施方式中，系统控制器18可以直接将相机镜头致动器控制信号格式化并发送到相机镜头致动器42。

[0036] 在框162处调节相机聚焦状态之后，控制可以转到框164，在框164中，系统控制器18可以从固有参数数据库50中检索与相机聚焦状态相对应的固有参数值。在3D重建过程中将需要固有参数值，以准确将在当前相机聚焦状态下由相机14、22拍摄的对象12的图像进行转换。如果相机聚焦状态与存储的相机聚焦状态相匹配，则可以在例程150的后续步骤中使用对应的固有参数值。在其他实例中，从距离Dso、Dco确定的相机聚焦状态可以落入存储在固有参数数据库50中的相机聚焦状态之间。在这种情况下，可以对系统控制器18进行编程，以检索和内插相关存储的相机聚焦状态的固有参数值，以生成与相机14、22的当前相机聚焦状态更紧密对应的固有参数值。

[0037] 在例程150的当前迭代或先前迭代期间，将相机14、22调整为相机聚焦状态，并从固有参数数据库50中检索和/或内插相应的固有参数值，控制可以继续到框166，在框166处，在当前相机聚焦状态下，相机14、22可以捕获对象12的图像。根据相机视觉系统10的配置，系统控制器18可以将图像捕获控制信号发送到相机控制器40，以使相机14、22拍摄对象12的图像。在相机14、22捕获对象12的图像之后，相机控制器40可以将捕获的图像的对象图像数据发送回系统控制器18。当在系统控制器18处接收到对象图像数据时，控制可以继续到框168，其中对象图像数据和用于相机聚焦状态的固有参数值被存储在图像数据库52中，以供以后在对象12的3D重建期间使用。

[0038] 在将对象图像数据和固有参数值存储在图像数据库52中之后，系统控制器18可以确定例程150是否要继续捕获对象12的图像。在自动图像捕获过程中，系统控制器18可以用一系列位置进行编程，在这些位置中定位相机14、22以捕获足够数量的对象12的图像，以生成对象12的高质量3D重建。如果在框170处系统控制器18确定在序列中的每个位置处尚未捕获到对象12的图像，控制可以返回到框152以将相机14、28重新定位在下一位置，并将相机指向对象12。在图像捕获过程的手动或部分手动实施中，操作员或技术人员可以输入与相机14、22将捕获对象12的图像的下一个位置相对应的坐标，从而使控制权返回到框152。可以考虑例程150的其他实施方式，其中框170处的确定步骤可以自动、半自动或手动进行，因此例程150将继续进行，直到将相机14、22放置在3D重建过程所需的所有位置并在这些位置捕获了对象12的图像为止。一旦确定在框170中将不再捕获对象12的图像，则控制可以继续到框172，在框172中，利用如上所述的任何适当的重建技术，利用对象图像数据和图像数据库52中存储的对应固有参数值，执行对象12的3D重建。

[0039] 当相机和目标对象之间的距离改变时，传统的相机固有校准方法和图像捕获不包括对相机镜头的动态聚焦。根据本公开的相机视觉系统10提供外部距离传感器16，该外部距离传感器16提供用于控制相机14、22以调整为适当的聚焦状态从而捕获目标对象12的图像，并检索相机14、22的聚焦状态适用的固有参数值的对象距离信息，使得可以生成目标对象12的准确、高质量的3D重建。基于由距离传感器16提供的传感器到对象的距离Dso来调整相机聚焦状态可以在相机14、22中产生快速、有效和准确的自动聚焦响应。此外，从传感器到对象的距离Dso转换为对应的相机聚焦状态并检索对应的所存储的相机聚焦状态的固有参数值可以提高重建目标对象12的3D图像的过程的速度和准确性，并提高图像质量。在3D重建的质量可能至关重要的实施方式中(例如对象12的3D表示是检查过程的一部分)，通过提高检查员检查的3D重建图像的准确性和质量可以减少检查时间。

[0040] 尽管前面的文本阐述了许多不同实施方式的详细描述，但是应该理解，保护的法律范围是由本专利末尾提出的权利要求书的词语来定义的。详细描述将仅被解释为示例性的，并且不描述每个可能的实施方式，因为描述每个可能的实施方式将是不切实际的，即使不是不可能的。可以使用当前技术或在本专利的申请日之后开发的技术来实现许多替代实施方式，其仍将落入限定保护范围的权利要求的范围内。

[0041] 此外，本公开包括根据以下项的实施方式：

[0042] 项1.一种用于创建对象的三维(3D)重建的相机视觉系统，包括：具有相机控制器的相机；与相机具有固定空间关系的距离传感器；以及可操作地连接到相机控制器和距离传感器的系统控制器，该系统控制器被编程为：从距离传感器接收距离传感器信号，其中距离传感器信号指示从距离传感器到对象的传感器到对象的距离，根据传感器到对象的距离确定从相机到对象的相机到对象的距离，以及相机到对象的距离的相应相机聚焦状态，向相机控制器发送相机聚焦状态控制信号以使相机控制器将相机调整为相机聚焦状态，检索与相机聚焦状态相对应的相机的相机固有参数值，向相机控制器发送图像捕获控制信号以使相机捕获对象的对象图像，从相机控制器接收与相机捕获的对象图像相对应的对象图像数据，并将对象图像数据和相机固有参数值存储在图像数据库中。

[0043] 项2.根据项1的相机视觉系统，其中，相机包括可操作地连接到相机控制器的相机镜头致动器，其中，系统控制器被编程为：将相机到对象的距离转换为与相机聚焦状态相对应的相机镜头致动器位置，并且其中，相机聚焦状态控制信号包括相机镜头致动器位置。

[0044] 项3.根据项1-2中的任一项的相机视觉系统，其中，系统控制器被编程为：基于距离传感器信号检测从距离传感器到对象的传感器到对象的距离到第二传感器到对象的距离的变化；并且根据第二传感器到对象的距离确定从相机到对象的第二相机到对象的距离以及第二相机到对象的距离的对应的第二相机到对象的聚焦状态。

[0045] 项4.根据项1-3中任何一项的相机视觉系统，包括固有参数数据库，该固有参数数据库存储多个相机聚焦状态和针对多个相机聚焦状态中的每一个的对应的相机固有参数值，其中，系统控制器可操作地连接到固有参数数据库中，并被编程为从固有参数数据库中检索相机的相机固有参数值。

[0046] 项5.根据项1-4中的任一项的相机视觉系统，其中，系统控制器被编程为从所存储的对象图像数据和对应的相机固有参数值执行对象的3D重建。

[0047] 项6.根据项1-5中任何一项的相机视觉系统，包括具有第二相机控制器的第二相机，其中第二相机与距离传感器具有第二固定空间关系，其中系统控制器可操作地连接到第二相机控制器，并且其中，系统控制器被编程为：根据传感器到对象的距离确定从第二相机到对象的第二相机到对象的距离以及第二相机到对象的距离对应的第二相机聚焦状态，向第二相机控制器发送第二相机聚焦状态控制信号，使第二相机控制器将第二相机调整为第二相机聚焦状态，检索对应于第二相机聚焦状态的第二相机的第二相机固有参数值，向第二相机控制器发送图像捕获控制信号，以使第二相机捕获对象的第二对象图像；从第二相机控制器接收与第二相机捕获的第二对象图像相对应的第二对象图像数据，以及将第二对象图像数据和第二相机固有参数值存储在图像数据库中。

[0048] 项7.根据项6的相机视觉系统，其中，将系统控制器编程为根据存储的对象图像数据和相应的第一相机固有参数值以及存储的第二对象图像数据和相应的第二相机固有参数对对象执行3D重建值。

[0049] 项8.一种动态聚焦相机并捕获图像并生成对象的三维(3D)重构的方法，包括以下步骤：确定从相机到对象的第一相机到对象的距离；使相机的相机控制器将相机的相机聚焦状态调整为与第一相机到对象的距离相对应的第一相机聚焦状态；检索对应于第一相机聚焦状态的相机的第一相机固有参数值；命令相机控制器使相机捕获对象的第一图像；以及存储第一图像的第一图像数据和第一相机固有参数值。

[0050] 项9.根据项8的方法，其中，确定第一相机到对象的距离包括：确定从距离传感器到对象的第一传感器到对象的距离，其中，距离传感器(16)与相机(14)具有固定的空间关系；以及根据第一传感器到对象的距离，确定从相机到对象的第一相机到对象的距离。

[0051] 项10.根据项8-9中的任一项的方法，其中使相机控制器调整相机聚焦状态包括：检索用于相机的相机镜头致动器的第一相机镜头致动器设置，其中，第一相机镜头致动器设置对应于第一相机聚焦状态；以及使相机镜头致动器移动到第一相机镜头致动器设置，以将相机调整到第一相机聚焦状态。

[0052] 项11.根据项8-10中的任一项的方法，其中，检索第一相机固有参数值包括：从固有参数数据库检索第一相机固有参数值，固有参数数据库存储多个相机聚焦状态和相机的对应固有参数值，以用于多个相机聚焦状态中的每一个。

[0053] 项12.根据项8-11中的任一项的方法，其中，存储第一图像数据包括将第一图像数据和第一相机固有参数值存储在图像数据库中，其中具有对象的附加图像以及从相对于对象的多个相机位置获取的对应相机固有参数值。

[0054] 项13.根据项8-12中的任一项的方法，包括在相对于对象的多个相机位置的每个位置处执行确定步骤、使步骤、检索步骤、命令步骤和存储步骤。

[0055] 项14.根据项13的方法，包括从存储的图像数据和对应的相机固有参数值执行对象的3D重建。

[0056] 项15.一种用于在相机视觉系统中执行固有校准的方法，该方法包括：将相机视觉系统的相机调整为相机聚焦状态；捕获目标对象的图像；根据所捕获的目标对象图像的目标图像数据，确定处于相机聚焦状态的相机的固有参数值；并且将相机聚焦状态和相机聚焦状态下的相机固有参数值存储在固有参数数据库中。

[0057] 项16.根据项15的方法，包括：在从最小相机聚焦状态到最大相机聚焦状态的一系列相机聚焦状态下确定相机的固有参数数据；并将相机聚焦状态范围内的相机聚焦状态范围和对应的固有参数值存储在固有参数数据库中。

[0058] 项17.根据项16的方法，其中，在相机聚焦状态范围内的相机聚焦状态从最小相机聚焦状态到最大相机聚焦状态以预定聚焦状态增量增加。

[0059] 项18.根据项17的方法，包括：确定在相机聚焦状态的范围内的相机聚焦状态的固有参数值之间的固有参数偏差；以及响应于确定固有参数偏差大于预定固有参数偏差公差，确定在最小相机聚焦状态与最大相机聚焦状态之间的附加相机聚焦状态的相机固有参数值。

[0060] 项19.根据项15-18中的任一项的方法，其中，目标对象具有已知的几何形状。

[0061] 项20.根据项15-19中的任一项的方法，包括：确定并存储相机视觉系统的多个相机的相机聚焦状态下的固有参数值。

[0062] 还应当理解，除非在此明确定义了术语，否则没有意图限制该术语的含义，无论是明示或暗示的含义，都超出其一般含义或普通含义，并且基于该专利的任何部分中的任何陈述，不应将该术语解释为限制范围(权利要求的语言除外)。就本专利末尾的权利要求中所引用的任何术语在本文中以与单一含义一致的方式进行提及，这样做仅仅是为了清楚起见，以不使读者感到困惑，并且非意图将这种权利要求术语通过暗示或其他方式限于该单一含义。

标题	发布/更新时间	阅读量
一种用于油膜厚度测量的电涡流位移传感器标定装置	2020-07-08	0
一种船用雷达系统与红外光电扫描结合的避碰系统	2020-11-22	0
一种用于飞翼式飞机的全嵌入式大气数据系统	2022-06-04	1
智能清洁方法以及智能清洁系统	2021-08-15	0
一种机器人被困检测方法以及机器人	2023-06-13	1
一种高度可调的传感器支架	2020-06-09	0
一种桥梁墩柱偏移检测装置	2020-09-10	2
一种教学应用型微型智慧工厂	2021-09-09	1
一种畜牧养殖大棚用空气净化驱蚊灯	2021-05-23	0
干热型（EGS）单泵地热系统	2021-10-31	0

自适应相机控制和动态聚焦校准

自适应相机控制和动态聚焦校准

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：