系统
技术领域
背景技术
[0002] 目前我们已进入“互联网时代”并向“
人工智能时代”迈进，新一轮技术革新引领着我们新的生产生活方式。将信息技术引入到工业生产制造业中与传统产业相结合，更加智能化的进行生产管理，也是当下工业生产的转型方向。
[0003] 当下
计算机视觉应用聚焦于识别，要进一步实现交互和
感知，必须先对物品恢复三维结构；所以在识别
基础上，下一层次将走向“三维重建”。三维重建包含三个问题，其一是
位置，给定一张照片，计算机视觉要获取照片拍摄位置；其二是多目，立体视觉领域当下大都基于双目进行模型获取，多目相对于双目而言，可以获取更多更全面的结构信息，识别每一个
像素并进行更完整恢复；其三是语义识别，也就是依靠肉眼感知或者机器进一步自动化识别。
[0004] 如今的大型民用客机零件
喷涂自动化生产线上，采用的是机械加人工结合的方式进行生产，对分
门别类的零件进行识别和喷涂的操作，仍然需要人工进行操作，如果能够利用计算机视觉技术，通过图像对零件进行多目三维重建，获取更精细模型，并基于三维模型进行匹配识别和空间
定位，然后依靠机械手臂来进行定点喷涂，实现更好的可交互性，将有效提升民机零件喷涂工业生产效率。
[0005] 尽管三维重建技术在目前的学术界已经拥有了相对成熟的体系，整体工作流程也较为一致，但是其技术
瓶颈仍然存在，由于三维重建是从二维图像中提取信息，从而恢复出三维信息，所以二维图像提取出的特征匹配点才是技术的关键所在，但由于匹配点数量(即点
云数量)才能决定匹配的
精度，导致三维重建在重建精度和重建速度这两者上还不能达到完美兼得。
发明内容
[0006] 针对
现有技术中需对托盘上的每个零件分别进行三维重建，时间成本达不到要求且效率低，本发明提供一种基于多视角立体视觉的飞机钣金零件三维重建方法及系统。
[0007] 本发明公开了一种基于多视角立体视觉的飞机钣金零件三维重建方法，包括：
[0008] 基于多目立体视觉系统采集包含多个飞机钣金零件的托盘图像；
[0009] 对所述托盘图像进行目标检测、
图像分割和背景滤除，获取仅包含单个飞机钣金零件的多个零件图像；
[0010] 对所述多目立体视觉系统的相机进行标定，获取所述零件图像的位置；
[0011] 对标定后的所述零件图像进行特征提取和特征匹配；
[0012] 根据匹配结果，恢复所述托盘图像的三维信息。
[0013] 作为本发明的进一步改进，所述多目立体视觉系统采用四台相机组成四目立体视觉系统；
[0014] 每台所述相机旋转一周，获取16～32幅图像。
[0015] 作为本发明的进一步改进，采用张正友标定法对相机进行标定。
[0016] 作为本发明的进一步改进，采用SIFT
算法对标定后的所述零件图像进行特征提取。
[0017] 作为本发明的进一步改进，所述根据匹配结果，恢复所述托盘图像的三维信息；包括：
[0018] 根据匹配结果，利用射影定理计算得到相机位置；
[0019] 根据所述相机位置和托盘图像，得到所述托盘图像上飞机钣金零件的三维点云；
[0020] 根据所述三维点云来构建三维模型，将点连成面，恢复所述托盘图像上飞机钣金零件的三维信息。
[0021] 本发明还公开了一种基于多视角立体视觉的飞机钣金零件三维重建系统，包括：
[0022] 采集模
块，用于基于多目立体视觉系统采集包含多个飞机钣金零件的托盘图像；
[0023] 处理模块，用于对所述托盘图像进行目标检测、图像分割和背景滤除，获取仅包含单个飞机钣金零件的多个零件图像；
[0024] 相机标定模块，用于对所述多目立体视觉系统的相机进行标定，获取所述零件图像的位置；
[0025] 特征提取和匹配模块，用于对标定后的所述零件图像进行特征提取和特征匹配；
[0026] 三维重建模块，用于根据匹配结果，恢复所述托盘图像的三维信息。
[0027] 作为本发明的进一步改进，所述多目立体视觉系统采用四台相机组成四目立体视觉系统；
[0028] 每台所述相机旋转一周，获取16～32幅图像。
[0029] 作为本发明的进一步改进，采用张正友标定法对相机进行标定。
[0030] 作为本发明的进一步改进，采用SIFT算法对标定后的所述零件图像进行特征提取。
[0031] 作为本发明的进一步改进，所述根据匹配结果，恢复所述托盘图像的三维信息；包括：
[0032] 根据匹配结果，利用射影定理计算得到相机位置；
[0033] 根据所述相机位置和托盘图像，得到所述托盘图像上飞机钣金零件的三维点云；
[0034] 根据所述三维点云来构建三维模型，将点连成面，恢复所述托盘图像上飞机钣金零件的三维信息。
[0035] 与现有技术相比，本发明的有益效果为：
[0036] 本发明的三维重建方法及系统可对一个托盘上不同种类、不同数量的零件进行一次性三维重建，大大节省了重建所需的时间，提高了整体的重建效率。
附图说明
[0037] 图1为本发明一种
实施例公开的基于多视角立体视觉的飞机钣金零件三维重建方法的
流程图；
[0038] 图2为本发明一种实施例公开的基于多视角立体视觉的飞机钣金零件三维重建系统的
框架图；
[0039] 图3为本发明一种实施例公开的四目立体视觉系统的结构示意图；
[0040] 图4为本发明一种实施例公开的输入的部分原始图像的示意图；
[0041] 图5为本发明一种实施例公开的三维重建后的俯视图；
[0042] 图6为本发明一种实施例公开的三维重建后的侧视图。
具体实施方式
[0043] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044] 下面结合附图对本发明做进一步的详细描述：
[0045] 实施例1：
[0046] 本发明提供一种基于多视角立体视觉的飞机钣金零件三维重建方法及系统，通过多目立体视觉下三维场景重建和场景模型分割的研究获取每个零件的三维模型。在大工业生产场景下，针对这种大量级数量分类和复杂场景，通过智能化和机械化融合的手段来实现智能制造，能有效降低成本和提升工业生产效率。
[0047] 1、健康因素：喷涂环境下空气中难免有漆雾，且生产环境噪音较大，长期在这种环境下工作对人身体难免有影响，依托三维重建取代人眼识别将有效解放人
力。
[0048] 2、效率因素：全自动化生产，依托三维重建实现自动化生产，可以实现24小时不断电生产，同时每托盘喷涂效率不低于人工，有效提升生产效率。
[0049] 3、发展因素：智能化加自动化生产将是未来工业生产提升竞争力的有效手段，通过计算机视觉和生产的有效结合和设计，将有效提升工业产品的竞争力。
[0050] 如图1所示，本发明提供一种基于多视角立体视觉的飞机钣金零件三维重建方法，包括：
[0051] S1、基于多目立体视觉系统采集包含多个飞机钣金零件的托盘图像；其中：
[0052] 获取图像的方法有许多种，如通过
深度图来分析出物体的空间位置和尺寸，或是通过多图像来重现出其空间要素，选取主要根据实际场景的环境影响如：光照条件、背景噪声，零件复杂度和零件的重叠度等因素。由于工厂中的零件较为复杂、堆叠程度也相较重合，用深度图来分析，会损失掉很多关键要素，所以基于多图像输入的方法才是最为合适的。为此，本发明使用多个线阵相机来获取图像信息，每张图像都保持相同的拍摄间角，以确保零件的更多要素信息能够包含在图像中，同时，使用多个摄像头也可以提高获取图像的效率。
[0053] 如图3所示，本发明采用四台相机组成四目立体视觉系统，而四台相机处于同一
水平面上，每次在水平方向上旋转相同的角度，来获取多幅不同角度的零件图像。图像幅数取决于四台相机每次在水平方向上旋转的角度；预计至少获取16张，即每次旋转22.5°，至多获取32张，即每次旋转11.25°。经过实验探究少于16张图片都会使最终获得的点云模型过于稀疏，无法进行后续的处理，形成完整的三维模型；而多于32张，则会造成点云模型中的点高度重合，延缓系统速度和效率。四目立体视觉系统一次获取图像的过程如下图所示，每个相机所拍摄的图像分别标记为“IMG1”、“IMG2”、“IMG3”、“IMG4”，物方
坐标系O-XYZ中有一点P(x,y,z)在每个相机中所成的像分别为点P1，P2，P3和P4。
[0054] S2、对托盘图像进行目标检测、图像分割和背景滤除，获取仅包含单个飞机钣金零件的多个零件图像；其中：
[0055] 由于采集的原始图像中通常包含大量的其他多余
信号，即噪声信号；所以，对图像进行预处理是为了确保之后重建更加准确所做的必要准备，通过预处理可以大幅度提高图像信息的
信噪比，并滤除不符合采集需求的不必要素。
[0056] 由于零件的种类繁多，零件本身的复杂程度也较高，线下工厂的环境因素影响也较大，为了能够在之后的重建过程中准确的还原出三维模型；本发明在图像获取以后，首先进行目标检测和图像分割，其目的是为了将每一个零件单独进行识别和匹配，避免了多个零件之间的相互影响问题；然后再进行背景滤除，其目的是为了降低场景对重建过程中的噪点影响，极大程度的进行降噪操作，为之后的获取点云模型和三维重建做好准备。
[0057] S3、对多目立体视觉系统的相机进行标定，获取零件图像的位置；其中：
[0058] 相机标定可以定位每一张图像的具体位置并还原出其所在的空间信息，这一步的结果将极大程度影响最终重建出的模型是否足够精确。在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的
几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，相机标定也就是这个求解参数的过程。
[0059] 本发明采用张正友棋盘标定法作为相机标定的方法，具体步骤首先确定棋盘上焦点的世界坐标(一般都选作图像的左上角作为世界坐标系的原点)，然后每个摄像头分别对棋盘图像进行采集，经过
模数转换，对棋盘的角点进行提取，最后标定相机并获取相机的内外参数。其中角点提取法使用的是Harris角点检测算法，Harris算法具有较高的
稳定性，而且算法简单易于理解和实现，并且也具备了耗时短，检测的特征点分布均匀的优点。
[0060] S4、对标定后的零件图像进行特征提取和特征匹配；其中：
[0061] 经过标定的图像像素都获得了其图像坐标，而需要匹配就必须要进行特征的提取，来确定图像上的物体和实际的物体之间一一对应的关系；
[0062] 本发明采用SIFT算法对标定后的零件图像进行特征提取，SIFT算法在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。SIFT算法的实质是在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向。SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。因此选用SIFT算法来进行特征提取，可以最大限度的降低噪声和场景对零件带来的影响。
[0063] 在提取特征点之后，进行特征匹配，将不同图像中的同一空间点对应起来，建立多幅图像之间特征的对应关系；通常情况下，一幅图像中的某个特征点在另一幅图像中可能会有许多的匹
配对象，另外场景中还存在诸如光照条件、景物形状、干扰噪声和畸变等不利因素，也会引起歧义匹配。因此，准确地对图像进行无歧义匹配是十分重要的；本发明涉及到四张图像的特征点提取，然后根据特征点地关联在多幅图中较准确地进行匹配，为重建三维模型建立基础。
[0064] S5、根据匹配结果，基于VSFM进行稀疏重建和密集重建，恢复托盘图像的三维信息；其中：
[0065] 具体包括：
[0066] 运动恢复结构或稀疏重建：根据匹配结果，利用射影定理计算得到相机位置等场景信息；此步骤拟使用的是Bundler算法完成；
[0067] 密集重建：根据相机位置和托盘图像，得到托盘图像上飞机钣金零件的三维点云；点云
质量受到处理图像精度的执行效率、重建精度和完整性影响，本发明使用PMVS算法进行；
[0068] 根据三维点云来构建三维模型，将点连成面，恢复托盘图像上飞机钣金零件的三维信息；此步骤使用的算法是泊松表面重建算法。
[0069] 具体实验效果图如下：
[0070] 输入的托盘图像(原始图像)如图4所示；
[0071] 三维重建后的盘图像如图5、6所示。
[0072] 实施例2：
[0073] 基于上述基于多视角立体视觉的飞机钣金零件三维重建方法的具体过程，本发明还对应提供一种基于多视角立体视觉的飞机钣金零件三维重建系统，包括：
[0074] 采集模块，用于基于多目立体视觉系统采集包含多个飞机钣金零件的托盘图像；
[0075] 处理模块，用于对托盘图像进行目标检测、图像分割和背景滤除，获取仅包含单个飞机钣金零件的多个零件图像；
[0076] 相机标定模块，用于对多目立体视觉系统的相机进行标定，获取零件图像的位置；
[0077] 特征提取和匹配模块，用于对标定后的零件图像进行特征提取和特征匹配；
[0078] 三维重建模块，用于根据匹配结果，基于VSFM进行稀疏重建和密集重建，恢复托盘图像的三维信息。
[0079] 本发明的优点为：
[0080] 本发明面向实际工厂生产作业，将严格掌握重建精度和重建速度，在保证精度的情况下，控制其速度，使整体重建系统可以应用于工厂作业；本发明的三维重建方法及系统可对一个托盘上不同种类、不同数量的零件进行一次性三维重建，大大节省了重建所需的时间，提高了整体的重建效率。
[0081] 以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何
修改、等同替换、改进等，均应包含在本发明的保护范围之内。
