技术领域
[0001] 本
发明涉及视频图像全景图的拼接，尤其涉及采用现代视频场景拼接技术与无人机
飞行控制系统相结合的无人机航拍视频实时全景图拼接方法。
背景技术
[0002] 近年来，随着自动控制、无线传输等技术的发展，无人机在军事、民用上都发展迅速。由无人机搭载摄像机进行视频拍摄在军事侦察、广告摄影、灾情判断等方面发挥了巨大作用。但是，由于摄像机的拍摄范围和
分辨率之间总是存在着分歧，往往整个飞行过程的视频中包含整个场景的全部信息，而单
帧图像的信息却非常有限，从而诞生了视频图像拼接技术。视频图像拼接技术是将视频序列图像转化为一幅包含该序列所有信息的大视场宽视
角的全景图像，解决了因摄像设备限制而存在的拍摄角度小、无法全景观测的问题。
[0003] 由于无人机飞行拍摄时距离地面较远并且垂直对地拍摄，因此可以合理的将图像假设为由光轴互相平行的相机拍摄得到的，图像之间仅存在位移变换。20世纪90年代有从业者Heung-Yeung Shum(Heung Yeung Shum，Rendering with concentric mosaics.Proceeding of SIGGRAPH’99，Los Angeles，California：1999.8-13)(译为：同心圆视图
渲染)提出同心圆拼图，目前研究技术相对成熟，拼接效果也较好，得到了广泛使用。但这种方法是基于特定摄像机运动的，即相机需要用三
脚架固定在所拍摄景物中心
位置，显然不适用于我们的无人机载摄像机视频图像拼接。另有从业者D.Lowe(Matthew Brown，David G.Lowe，Automatic Panoramic Image Stitching using Invariant Features，IJCV2007)(译为：采用不变性特征的自动全景图像拼接)为苹果公司的iPhone手机设计了Autostitch场景图像拼接系统，其主要步骤是：1、采用SIFT方法进行图像帧的特征检测；
2、采用k-d树进行相邻图像帧搜索和特征点匹配；3、利用匹配结果采用RANSAC方法进行图像之间的单应计算；4、对所有图像进行
捆绑调整，优化帧图像在全景中的位置；5、多频带图像融合。
[0004] 另外，比较成熟的图像全景拼接
软件还有Hugin(http://hugin.sf.net.)和autopano-sift(http://user.cs.tu-berlin.de/ ～ nowozin/autopano-sift/index.html).其主要思想跟Autositch类似。存在的主要问题有：1、这些拼接方法都是对已经获取的图像集进行拼接，无法实现无人机边飞行边拼接的效果，2、这些软件都只适合图像集数目较少的场景恢复，无法处理时序很长的
图像序列，3、采用SIFT进行特征检测和全图像帧捆绑调整策略，时间效率低。
[0005] 传统的在飞行时序上边
飞边拼接
算法通常采用帧到帧方式，通过局部对准过程将相邻图像依次连接起来，具体步骤为：首先对相邻图像进行特征点提取，再进行特征点匹配，然后根据得到的匹配点集，进行两图像间平面运动变换的鲁棒估计，由此得到一系列局部变换矩阵Ti，i+1，即i帧图像和i+1帧间的变换矩阵。若选择第一帧图像为参考帧(即全景图像)后，第k帧(2≤k≤N)图像到全景图像间的变换矩阵可由下式得到：
[0006]
[0007] 最后根据得到的Tref，k，将各帧图像映射到全景图像
坐标系，并利用图像融合技术形成全景图像。由以上拼接过程可知，我们每一次计算得到的是相邻图像的运动关系，通过矩阵连乘得到当前帧与参考帧的对应关系，而相邻图像间的变换Ti，i+1是通过对特征点集采用非线性
优化算法估计得到的，这说明求得的变换只能是在最小二乘意义下的最佳运动参数，必然存在一定的误差。因此，随着k值的不断增大，求得的Tref，k中存在的误差积累就越大。
发明内容
[0008] 本发明的目的是针对无人机载摄像机飞行过程所拍摄的大视场全景图拼接存在的问题，综合采用现代视频场景拼接技术、
微波传输技术、无人机飞行控制系统等，通过技术创新与整合，而提出一种嵌入到无人机飞行控制系统、操作简单、实时性好、可以实现边飞行边拍摄边拼接、飞行结束时生成场景全景图的拼接方法，能满足通过微波
信号传输回来的视频图像在时序上实时拼接的需求。
[0009] 为了实现上述目的，本发明采用以下技术方案：
[0010] 本发明的无人机航拍视频实时全景图拼接方法，包括飞行控制系统，所述视频实时全景图拼接方法包括以下步骤：
[0011] (1)视频图像的传输和采集
[0012] 无人机搭载模拟摄像机对飞行过程的场景进行拍摄，然后通过微波通道将视频实时的传输回控制基站，视频接收机上安装
图像采集卡对图像帧进行采集，然后传输给工作计算机，实现图像帧的获取；
[0013] (2)关键图像帧的选择
[0014] 从采集卡得到的视频图像帧频高，以20-30帧/秒，相邻帧的图像之间重复区域较大，为了减少计算量，不宜对每帧图像都进行拼接，所以，本方法采用基于内容的图像关键帧选择技术进行图像关键帧的选择用于图像的拼接；首先，对图像进行分
块处理，通常为64×64，然后分别统计灰度特征、纹理特征、形状特征；最后对这些特征进行相似度度量，如果相邻两帧的相似度超过一定的
阈值，即作为关键帧进行拼接；将在时间轴上获取的图像关键帧序列标记为I0，I1，I2，…It，t表示为第t个关键帧，同时，记录每帧所对应的位置信息，该位置信息由无人机搭载的GPS导航仪提供，分别为P0，P1，P2，…，Pt，…；
[0015] (3)图像预处理
[0016] 根据实际应用背景不同，无人机拍摄视频时可能受到恶劣天气(如大雾、雨天)，或者灾情环境(如火灾烟雾)等拍摄条件的影响，造成拍摄的图像清晰度和可见度都很低，一方面使得画面
质量差，另一方面，使得图像特征的检测困难，所以，需要将图像增强算法运用到本系统的预处理程序部分，实现自动选择图像增强算法，该方法采用具有重叠性的分块化双平台操作技术对图像进行去烟雾处理，其具体步骤包括：先对图像进行分块化处理，然后对每一块的灰度值进行统计，分别设置灰度级统计数目的高低平台对统计结果进行削平处理，实现单块图像的增强，同时，利用相邻块之间的具有重叠区域，不会出现块间的明显差异，实现图像的增强；
[0017] (4)图像特征提取与配准
[0018] 本方法采用了SURF(H Bay，et al，SURF：Speeded up robust features[J].ECCV，2006.)(译为：
加速的鲁棒性特征)方法进行图像特征点的检测和描述，通过SURF对特征点进行检测和描述后，每个特征点为一个高维的向量描述符，该方法采用KNN(最近K邻域)方法进行特征点的匹配，实现相邻两幅图像的配准；
[0019] (5)图像变换
[0020] 通过配准得到相邻图像间的匹配点集，通过匹配点集采用RANSAC和L-M方法来求出两幅图像之间的单应变换矩阵，进行参数估计，获取图像的变换模型，实现帧到帧的变换关系，这样可根据无人机垂直对地拍摄并且高度较高，可以假设图像之间只有平移关系；
[0021] (6)帧到全景的变换
[0022] 通过以上步骤，方法得到了帧到帧的变换关系，要实现全景图的构建，必须先实现帧到全景的变换，该方法采用的是一种基于无人机飞行路径的帧到全景图(frame-to-mosaic)的拼接方式，可以直接求取当前帧到全景图像(即参考坐标系)的变换参数，这是本方法的实时过程，其进一步包含如下步骤：
[0023] (6.1)将无人机传回的第0帧待拼接图像设定为全景图像参考帧，即参考坐标系。当第1个关键帧到达时，通过步骤(3)实现增强，在按照步骤(4)的方法提取两帧图像重叠区域的特征点，按照步骤(5)实现变换关系的计算，得到T0，1；
[0024] (6.2)对于第1关键帧和第2关键帧，通过步骤(4)得到重叠区域内的匹配点集match1，match2后，按照T0，1将match1点集坐标映射到全景图像中，得到match’1，这些特征点的坐标为浮点数，但是内容信息不变，根据match’1和match2这一新的匹配点集按照步骤(5)进行变换关系的计算，得到T0，2，得到第2帧与全局图像间的变换矩阵；
[0025] (6.3)对于第i+1帧，设和第i帧重叠区域的匹配点集为matchi，matchi+1，第i帧与全景图像的变换矩阵为T0，i，利用T0，i将matchi转化到全景图像中的对应点集为match’i，用新的匹配点集match’i和matchi+1采用步骤(5)计算第i+1帧与全景图像间的变换矩阵T0，i+1，
[0026] (6.4)以此类推，重复以上步骤就可以求得任意输入图像和全景图像间直接变换矩阵，显然，在求解过程中可以减少传统两两变换矩阵连乘造成的误差积累和传播；
[0027] (7)无人机返回路径
时空融合图像帧到全景拼接
[0028] 尽管采取了步骤(6)的帧到全景的变换方法，当无人机飞行时间较长，场景较大，飞行路径不是单一方向飞行时，会造成全景图的拼接效果较差，所以，本发明还需结合无人机飞行路径，融合时空两方面的信息，对图像帧的变换计算进行优化，具体做法是，当无人机返回飞行进行
图像配准时，根据步骤(5)、(6)先与时序上相邻的图像帧进行配准，得到t一个帧到全景的变换T0，i+1；再根据步骤(2)得到的位置信息，寻找空间上的相邻帧，进行s
特征匹配，也得到一个帧到全景的变换T0，i+1，然后将这两个变换进行加权求和，得到新的t t s s
帧到全景的变换关系，计算式为：T0，i+1＝ωi+1T0，i+1+ωi+1+T0，i+1；
[0029] (8)图像融合生成全景图
[0030] 为了使得重叠区域平滑过渡，提高图像质量，采用线性的淡入淡出方法逐渐过渡，避免出现明显的边界，该方法的主要思想是：在重叠区域由一幅图像线性地过渡到另一幅图像，即将图像重叠区域的灰度值按照一定的权值相加合成新的图像，针对无人机拍摄的彩色图像，分别对红、绿、蓝三个通道进行插值融合。
[0031] 利用渐入渐出的融合算法，简单易实施，能够得到较好的视觉效果，生成的全景图能满足该应用场合的需求。
[0032] 本发明还提供了一个具有以上和其他优点的系统，本发明同样提供相应的设备。在本发明中所述飞行控制系统包括无人驾驶飞机、无人机遥控操作装置、无人机搭载的高分辨率摄像机、计算机及微波视频传输系统、视频采集系统。
[0033] 本发明提出的无人机航拍视频实时全景图拼接方法与
现有技术相比，具有的优点和有益效果是：
[0034] 1、将视频场景拼接技术与无人机飞行控制系统结合起来，对通过微波技术从无人机传回的视频图像进行关键帧选择，在对重叠区域进行特征点描述时采用鲁棒性强、效率高的SURF描述符，能快速实现图像的配准；在时序上实现边飞边拼接的效果，扩大可见场景的范围，每秒可以实现3-4个关键帧的拼接，达到了实时性的要求。
[0035] 2、本发明的实施方式中对拼接的任一图像帧，由于采用了帧到全景的拼接方法，克服了矩阵两两相乘导致的累积误差和传递误差。
[0036] 3、采用本发明的技术方案，当无人机在返回路径飞行时，不仅利用了在时序上相邻的图像重叠区域的图像特征点集进行帧到全景的变换矩阵计算，而且结合无人机上的GPS所提供的图像关键帧对应的位置信息，寻找在时序上不相邻但在空间上相邻的图像帧，将当前帧到全景的变换计算为时间和空间上相邻的图像帧计算得到的变换矩阵的加权平均，优化了返回飞行过程中图像帧到全景的变换关系。
[0037] 4、由于采用了渐入渐出的融合算法，简单易实施，能够得到较好的视觉效果，生成的全景图能满足该应用场合的需求。
[0038] 本发明的方法可广泛应用于军事侦察、森林火灾现场灭火指挥、其它灾害现场实时观侧、灾情判断、评估决策、广告拍摄等众多领域。
附图说明
[0039] 图1是本发明的图像拼接过程的
流程图。
[0040] 图2是本发明的无人机飞行路径及图像重叠状况示意图。
具体实施方式
[0041] 本发明涉及无人机搭载摄像机飞行过程中所拍摄视频的大视场全景图的拼接，特别的，涉及无人机航拍视频实时全景图拼接方法和设备，本发明有许多突出的特点，克服了现有视频图像拼接方法难以逾越的弊端，可使拍摄视频的大视场全景图拼接技术达到一个新的
水平。下面将结合附图并通过具体实施方式来进一步详细说明本发明的技术方案。
[0042] 为依照本发明执行拼接，在本实施方式中主要设备包括：无人驾驶飞机、无人机遥控操作装置、无人机搭载的高分辨率摄像机、计算机一台及微波视频传输系统、视频采集系统。首先，对无人机、遥控装置、视频传输系统等
硬件设备进行设置，使其能够按照预定的轨迹飞行并实时传输回视频，计算机能够采集到视频图像帧。
[0043] 图1、图2示出了本发明的优先
实施例。本发明的采用无人机航拍视频实时全景图拼接方法包括飞行控制系统，其步骤特征包括：
[0044] (1)视频图像的传输和采集
[0045] 无人机搭载模拟摄像机对飞行过程的场景进行拍摄，然后通过微波通道将视频实时的传输回控制基站，视频接收机上安装图像采集卡对图像帧进行采集，然后传输给工作计算机，实现图像帧的获取。
[0046] (2)关键图像帧的选择
[0047] 从采集卡得到的视频图像帧频高(20-30帧每秒)，相邻帧的图像之间重复区域较大，为了减少计算量，不宜对每帧图像都进行拼接，所以，本方法采用基于内容的图像关键帧选择技术进行图像关键帧的选择用于图像的拼接，首先，对图像进行分块处理(通常为64×64)；然后分别统计灰度特征、纹理特征、形状特征；最后对这些特征进行相似度度量，如果相邻两帧的相似度超过一定的阈值，即作为关键帧进行拼接，将在时间轴上获取的图像关键帧序列标记为I0，I1，I2，…It，t表示为第t个关键帧，同时，记录每帧所对应的位置信息，该位置信息由无人机搭载的GPS导航仪提供，分别为P0，P1，P2，…，Pt，…。
[0048] (3)图像预处理
[0049] 根据实际的应用背景不同，无人机拍摄视频时可能受到恶劣天气(如大雾、雨天)，或者灾情环境(如火灾烟雾)等拍摄条件的影响，造成拍摄的图像清晰度和可见度都很低，一方面使得画面质量差，另一方面，使得图像特征的检测困难，所以，需要将图像增强算法运用到本系统的预处理程序部分，实现自动选择图像增强算法，该方法采用具有重叠性的分块化双平台操作技术对图像进行去烟雾处理，其具体步骤包括：先对图像进行分块化处理，然后对每一块的灰度值进行统计，分别设置灰度级统计数目的高低平台对统计结果进行削平处理，实现单块图像的增强，同时，利用相邻块之间的具有重叠区域，不会出现块间的明显差异，实现图像的增强。
[0050] (4)图像特征提取与配准
[0051] 本方法采用了SURF(H Bay，et al，SURF：Speeded up robust features[J].ECCV，2006.)(译为：加速的鲁棒性特征)方法进行图像特征点的检测和描述，与Autostitch方法相比，与其在特征检测时采用的SIFT方法在鲁棒性方面没有差别，但是时间效率大大提高，其主要差别如下：
[0052]
[0053] 其中，积分图像(integral image)为一种图像卷积算法，给定输入图像I和一个点(x，y)，积分图像为：
[0054]
[0055] 通过积分图像的计算，一个直立的矩形区域就可以减小4次的运算量，运算时间对于尺寸大小是不变的，因而这一方法对大区域的计算非常有效，运用这一特性，SURF使用不同大小的Box filter与原始图像的卷积，Hessian矩阵：对于空间x＝(x，y)和尺度因子σ，按连续函数的方式，Hessian矩阵为：
[0056]
[0057] 其中，Lxx(x，σ)表示在点图像x＝(x，y)处的二阶高斯微分 与图像的卷积，其它三个元素的定义相似。
[0058] 通过SURF对特征点进行检测和描述后，每个特征点为一个高维的向量描述符，该方法采用KNN(最近K邻域)方法进行特征点的匹配，实现相邻两幅图像的配准。
[0059] (5)图像变换
[0060] 通过配准得到相邻图像间的匹配点集，通过匹配点集采用RANSAC和L-M方法来求出两幅图像之间的单应变换矩阵，进行参数估计，获取图像的变换模型，实现帧到帧的变换关系，这样利用无人机垂直对地拍摄并且高度较高，可以假设图像之间只有平移关系。
[0061] (6)帧到全景的变换
[0062] 通过以上步骤，方法得到了帧到帧的变换关系，要实现全景图的构建，必须实现帧到全景的变换，在背景知识中，指出了传统算法中出现的误差累积问题，本方法采用一种基于无人机飞行路径的帧到全景图(frame-to-mosaic)的拼接方式，可以直接求取当前帧到全景图像(即参考坐标系)的变换参数，这是本方法的实时过程，其进一步包含四个步骤：
[0063] (6.1)将无人机传回的第0帧待拼接图像设定为全景图像参考帧，即参考坐标系，当第1个关键帧到达时，通过步骤(3)实现增强，在按照步骤(4)的方法提取两帧图像重叠区域的特征点，按照步骤(5)实现变换关系的计算，得到T0，1；
[0064] (6.2)(2)对于第1关键帧和第2关键帧，通过步骤(4)得到重叠区域内的匹配点集match1，match2后，按照T0，1将match1点集坐标映射到全景图像中，得到match’1，这些特征点的坐标为浮点数，但是内容信息不变，根据match’1和match2这一新的匹配点集按照步骤(5)进行变换关系的计算，得到T0，2，得到第2帧与全局图像间的变换矩阵；
[0065] (6.3)对于第i+1帧，设和第帧重叠区域的匹配点集为matchi，matchi+1，第i帧与全景图像的变换矩阵为T0，i，利用T0，i将matchi转化到全景图像中的对应点集为match’i，用新的匹配点集match’i和matchi+1采用步骤(5)计算第i+1帧与全景图像间的变换矩阵T0，i+1；
[0066] (6.4)以此类推，重复以上步骤就可以求得任意输入图像和全景图像间直接变换矩阵，显然，在求解过程中可以减少传统两两变换矩阵连乘造成的误差积累和传播。
[0067] (7)无人机返回路径时空融合图像帧到全景拼接
[0068] 尽管采取了步骤(6)的帧到全景的变换方法，当无人机飞行时间较长，场景较大，飞行路径不是单一方向飞行时，会造成全景图的拼接效果较差，所以，该发明结合无人机飞行路径，融合时空两方面的信息，对图像帧的变换计算进行优化。如图2所示，无人机要拍摄一个场景的信息，往往需要在某一个地点
起飞，图2中A点所示，飞行的最远点为B然后飞回A点降落，从A到B的过程中，拍摄的图像序列只有在时间相邻的帧间有重叠，当无人机返回时，拍摄的图像帧不仅与时间相邻的图像帧间存在场景重叠，与时间不相邻但空间相邻的图像帧间也存在场景重叠，如图2中的第t+2关键帧，不仅与时间相邻的第t+1关键帧间有场景重叠，与时间不相邻的第t关键帧间也有场景重叠，当无人机返回飞行时，对于关键帧Ii+1的拼接方法过程包含三点内容：
[0069] (7.1)按照步骤(2)到步骤(6)计算关键帧Ii+1到全景的变换Tt0，t+1，其中由步骤t(4)得到的重叠区域的匹配点数目为ni+1；
[0070] (7.2)根据空间距离，确定与Ii+1帧在时间序列上不邻近，但在空间距离上邻近的sn sn s图像关键帧I i+1，按照步骤(4)计算Ii+1与I i+1的重叠区域特征点集，匹配点数目为ni+1，sn s
然后按照步骤(6)计算Ii+1到由I i+1确定的到全景的变换矩阵T0，i+1；
[0071] (7.3)计算时空融合帧到全景变换：
[0072] T0，i+1＝ωti+1Tt0，i+1+ωsi+1+Ts0，i+1 (4)
[0073] 其中 这样，结合时空两个方面的信息，对返回过程中的关键帧到全景的变换矩阵进行计算。
[0074] (8)图像融合生成全景图
[0075] 为了使得重叠区域平滑过渡，提高图像质量，采用线性的淡入淡出方法逐渐过渡，避免出现明显的边界，该方法的主要思想是：在重叠区域由一幅图像线性地过渡到另一幅图像，即将图像重叠区域的灰度值按照一定的权值相加合成新的图像。针对无人机拍摄的彩色图像，分别对红、绿、蓝三个通道进行插值融合。
[0076] 渐入渐出的融合算法，简单易实施，能够得到较好的视觉效果，生成的全景图能满足该应用场合的需求。
[0077] 以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和变换，应视为本发明的保护范围。
