技术领域
[0001] 本
发明涉及
三维重建纹理映射技术领域，特别是涉及一种多视高分辨率纹理图像与双目三维点云映射方法。
背景技术
[0002] 纹理映射是三维模型重建的重要组成部分。纹理的
质量和分辨率对三维模型真实性感受具有关键性影响。不同的三维点云数据的获取方法需要采取相应的纹理映射方法。目前获取物体三维点云数据的方法根据是否与被测物体
接触分两类：接触式方法和非接触式方法。接触式方法是运用探测头直接与目标物体接触，通过
探头的返回信息得到物体三维坐标，着眼于获取目标物体的三维信息，不关注其表面纹理信息。非接触式方法有激光扫描法、结构光测量法和双目
立体视觉法等，以光学技术为
基础进行三维点云数据获取，可通过纹理映射来提高模型真实感。
[0003] 激光扫描法是主动深度测量方法，采用红外光通过对飞行时间的检测来计算深度。此方法得到的三维重建模型本身无纹理信息，需要单独采集纹理图像进行纹理映射。主要利用纹理图像的高
对比度点或线条等特征与三维重建模型的边缘特征相匹配，从而实现纹理映射。
[0004] 结构光测量法采用结构光场投影通过对
相位与光强的变化检测来计算深度。对此类三维重建模型进行纹理映射仍然需要依赖于彩色相机拍摄纹理图像，但对于纹理图像与三维重建模型匹配关系的寻找通常采用对彩色相机进行标定的方法。由于结构光测量法需要投射光斑到物体表面，通过彩色相机同步拍摄投射有光斑的物体可以计算彩色相机相对于目标物体的
姿态，从而通过相机模型实现纹理映射。双目立体视觉法采用两个相机模拟人眼，深度信息由
算法重构得出。该方法较之其它两种方法具有成本低、效率高、灵活性强和所需设备简单等特点，在三维重建领域具有很高的实用价值。
[0005] 双目立体视觉法是从图像中恢复三维信息的方法，重建的三维模型采用双目相机图像进行纹理映射。通过对双目图像选取特征点，再运用重建过程中已形成的对应关系可实现纹理图像到三维重建模型的映射。
[0006] 双目立体视觉法可通过对双目图像选取特征点，运用重建过程中形成的对应关系实现纹理映射。然而，该方法需要人工对双目图像选取特征点，且受限于双目相机分辨率。当三维模型骨架稀疏，但对模型局部细节要求较高时，采用双目图像映射的方法就难以达到分辨率要求。
发明内容
[0007] 本发明的目的是针对
现有技术中存在的技术
缺陷，而提供一种多视高分辨率纹理图像与双目三维点云映射方法，以高分辨率纹理相机单独采集多视纹理图像，将多视高分辨率纹理图像与三维点云数据相融合，着眼于通过多视高分辨率纹理图像映射提高双目立体视觉重建点云模型的视觉分辨率。
[0008] 为实现本发明的目的所采用的技术方案是：
[0009] 一种多视高分辨率纹理图像与双目三维点云映射方法，包括：
[0010] 利用获得的立体图像对以及立体视目对的标定参数进行三维重建,得到
块匹配
视差图，并基于
块匹配视差图重建出三维点云,封装为三
角面片模型，三角面片模型的
顶点为三维点云数据的三维点；
[0011] 根据纹理图像
像素坐标与三角面片模型三维点的对应关系，确定多视纹理图像的重叠部分，之后在多视纹理图像的重叠部分引入引
导线，以使三维点选取唯一的纹理图像进行
指定映射，实现三维点一对一映射的选择分区；
[0012] 通过分界线的分区以及已经得到的纹理图像像素坐标与三角面片模型三维点的对应关系，将多视高分辨率纹理图像映射到三角面片模型。
[0013] 1、三维点云模型和多视高分辨率纹理图像的获取
[0014] 搭建三相机系统。左右相机拍摄物体图像进行双目立体视觉三维重建。
[0015] 对双目系统进行标定，最终输出双目相机的内参数矩阵M1和M2，畸变向量D1和D2以及双目相机之间的旋转矩阵R和平移向量T。其中：
[0016]
[0017] cx和cy表征的是相机光轴在图像
坐标系中的偏移量，以像素为单位。
[0018] fx和fy是x,y方向上的焦距，是在x,y两个方向的放大率。
[0019] D＝[k1 k2 p1 p2 k3]
[0020] k1,k2,k3表征摄像机镜头制造误差使成像存在的径向畸变，p1,p2表征镜头安装误差使成像存在的切向畸变。
[0021]
[0022] 旋转矩阵描述两个相机之间的相对旋转，三个方向的旋转角分别是ψ, θ。
[0023] T＝[Tx Ty Tz]
[0024] 利用得到的双目图像以及得到的系统参数进行三维重建。
[0025] 首先对双目图像进行立体校正，对校正后图像对采用基于块匹配的立体匹配，得到像素
精度的块匹配视差图。为说明方便，此处块匹配视差图认为是基于双目左图的，即块匹配视差图上任一像素的坐标值代表这个像素点在双目左图中的坐标；像素的灰度值代表该点在双目左图与双目右图之间的视差值d；同样适用于基于双目右图的块匹配视差图。
[0026] 给出双目左图的二维坐标(x,y)和与其关联的视差d，可以将此点投影到三维中：
[0027]
[0028] 其中：
[0029]
[0030] 根据Q矩阵以及块匹配视差图，重建出三维点云，三维点云坐标为(X/W,Y/W,Z/W)，其中W与二维坐标(x,y)无关， Tx为右相机指向左相机的平移向量x方向的分量。要进行纹理映射需要把三维点云封装为三角面片模型。三角面片模型的顶点为三维点云数据的三维点。
[0031] 多视纹理拍摄原理示意图如图2。左右为双目相机，纹理相机处于双目相机中间，三相机与物体距离相同。双目相机对物体整体进行拍摄，纹理相机通过其相对较长的焦距拍摄物体局部的高分辨率图像。图2所示纹理相机拍摄物体的四幅局部图像，纹理相机以其小视场保证物体局部图像的高分辨率，通过对纹理相机上下左右的旋转
俯仰对物体局部进行拍摄，最终完成多视高分辨率纹理图像的获取。
[0032] 2、高分辨率纹理图像与三维模型对应关系的寻找
[0033] 要将纹理图像映射到三维点云模型，最重要的是寻找二者的对应关系。首先寻找纹理图像与双目左图的对应关系。对两幅图像进行匹配的流程如下：对图像特征点提取，特征点对匹配，求解单应性矩阵，然后变换到同一个坐标系下。单应性矩阵H描述了两个不同视角的图像的变换，两幅图像的像素坐标分别为(x,y)和(x',y')，则其对应关系如下：
[0034]
[0035] 其中：
[0036]
[0037] 单应性矩阵H由9个元素组成，有8个
自由度。在完成特征点提取匹配后，可以由4对匹配点求出H。求出单应性矩阵后由式(2)可以得到纹理图像与双目左图的对应关系，双目左图与点云模型的数据匹配关系由式(1)给出。那么，点云模型中三维点在世界坐标系中的坐标为(X,Y,Z)，对应的像素点在纹理图像中的坐标为(x',y')，则其对应关系为：
[0038]
[0039] 式(3)描述了纹理图像像素坐标与点云模型三维点的对应关系，f为立体校正后的左相机焦距，以像素为单位。
[0040] 3、多视高分辨率纹理图像点云模型的映射
[0041] 多视纹理图像为了
覆盖全部视场，拍摄时是具有重叠部分的；对于点云模型上的三维点，纹理映射中只能选择一个图像坐标进行对应，因此需要对图像重叠部分进行融合。逐一采用上述2小节的方法寻找纹理图像与三维模型对应关系。在多视纹理图像分别与双目左图进行特征匹配之后，多视纹理图像在双目左图上的
位置得到确定，多视纹理图像的重叠部分也因此得到确定。
[0042] 在多视纹理图像的重叠部分引入引导线，二维图像上的引导线在三维点云模型上表现为一条分界线，如图4所示。分界线的作用是保证三维点选取唯一的纹理图像进行指定映射。分界线左侧的三维点选取一幅纹理图像进行映射，分界线右侧的三维点选择另一幅含有重叠部分的纹理图像进行映射，这样就实现了三维点一对一映射的选择分区。
[0043] 通过分界线的分区以及已经得到的纹理图像像素坐标与点云模型三维点的对应关系，将多视高分辨率纹理图像映射到点云模型。
[0044] 与现有技术相比，本发明具有以下优点：
[0045] (1)用高分辨率纹理图像对三维模型进行纹理映射，在三维模型骨架稀疏时，能有效提高三维模型的视觉效果。另外对于模型局部分辨率要求较高时，也需采用高分辨率图像来补偿模型的细节信息，需要将高分辨率图像数据与三维模型数据融合。
[0046] (2)将二维特征匹配与双目立体视觉三维重建相结合，提出新的纹理映射方法。该方法原理简单，清晰。较常规基于3D-2D匹配的映射方法更加方便稳定。
[0047] (3)采用纹理映射新方法进行多视纹理图像映射过程中，针对多视纹理图像重叠部分数据冗余情况，提出引导线分区映射法，对点云数据进行分区映射，成功将提出的纹理映射方法推广到更大场景应用。
附图说明
[0048] 图1是高分辨率纹理三维成像系统结构图。
[0049] 图2是多视纹理拍摄原理示意图。
[0050] 图3是高分辨率图像纹理映射原理图。
[0051] 图4是三角面片模型上的分界线示意图。
具体实施方式
[0052] 以下结合附图和具体
实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0053] 本发明以双目立体视觉重建点云模型与双目图像的对应关系为
桥梁，通过对纹理图像与双目图像的二维特征匹配，得到纹理图像与点云模型的对应关系，寻找多视高分辨率纹理图像对应关系，通过引导线分区映射法完成图像重叠部分的纹理融合，进而实现多视高分辨率图像纹理映射。
[0054] 本发明的实现具体包括有三维点云模型和多视高分辨率纹理图像的获取、高分辨率纹理图像与三维模型对应关系的寻找、多视高分辨率纹理图像点云模型的映射的步骤。
[0055] 如图1所示，本发明的系统，包括有第三相机101、第一相机201、第二相机202，第一相机201、第二相机202组成立体视目对，拍摄图片视图1和视图2，视图1和视图2组成立体图像对；第三相机101用长焦拍摄物体局部纹理图像，模拟实验中为四幅视图3；视图3较视图1拥有更高的分辨率。具体的，第一相机和第二相机采用佳能5D mark Ⅲ，镜头焦距设定为70mm，双目基线T为560mm；第三相机采用佳能5D mark Ⅳ，镜头焦距设定为135mm；拍摄距离为2500mm。
[0056] 具体的实现包括以下具体的步骤：
[0057] S1，对立体视目对进行系统参数的标定，采用张正友提出的二维标定法进行相机标定。
[0058] S2.标定完成后，利用得到的立体图像对以及得到的系统参数进行三维重建。对立体图像对利用Bouguet算法进行立体校正，对校正后图像利用SGBM算法立体匹配，得到像素精度的块匹配视差图。为说明方便，此处的块匹配视差图认为是基于视图1的，但本发明原理也同样适用于基于视图2的块匹配视差图。
[0059] S3.给出视图1二维坐标(x,y)和与其关联的视差d，将此点通过Q矩阵投影到三维中,根据Q矩阵以及块匹配视差图，重建出三维点云,将三维点云封装为点云模型。其中的Q矩阵如下：
[0060]
[0061] S4.寻找点云模型与视图3的对应关系；
[0062] (1)视图1与点云模型存在着式(1)所示的关系，将视图1作为匹配中间桥梁。
[0063] (2)视图1与视图3对应关系的寻找采用二维特征匹配的方法。根据视图1和视图3图片特点，选用sift特征点进行匹配，求单应矩阵H，并利用透视变换把像素对应到同一坐标系下。
[0064] (3)由式(2)可以得出视图3与视图1的匹配关系，视图1与点云模型的数据匹配关系由式(1)给出。那么，点云模型中三维点在世界坐标系中的坐标为(X,Y,Z)，对应的像素点在视图3中的坐标为(x',y')，则其对应关系为：
[0065]
[0066]
[0067] S5.针对相机101拍摄的四幅视图3，重复步骤6，找到四幅视图3像素坐标与点云模型的对应关系。在S4(2)中，记录四个单应矩阵如下：
[0068]
[0069]
[0070]
[0071]
[0072] 最终得到四幅视图3的重叠部分，并且利用多幅视图3与视图1的位置关系在视图1上合理选择引导线，引导线在重投影矩阵Q的作用下对点云模型三维点进行分区。其中，所述的引导线是通过四次图像匹配的结果在多视图像重叠部分选择的。引导线之所以在视图1上，是因为视图1通过重投影矩阵Q可以直接联系到点云模型。
[0073] 根据S5得到的分区信息以及四幅视图3像素坐标与点云模型的对应关系，将多视高分辨率纹理图像映射到点云模型。最终的点云模型视觉分辨率高于仅仅采用双目左图进行纹理映射的点云模型。
[0074] 以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
