1.大视差场景下基于自身单应性变换的实时视频拼接方法，其特征在于，包括如下步
骤：
步骤1，读取两路待拼接视频，两路待拼接视频的当前帧分别为M1和M2，判断,两路当前
帧M1和M2中是否存在前景，如果两路当前帧M1和M2都存在前景，执行下列步骤2；如果两路当前帧M1和M2都不存在前景，执行步骤5；
步骤2，两路待拼接视频的当前帧M1和M2的前景区域分别为fore(M1)和fore(M2)，融合
前景区域fore(M1)和fore(M2)；
步骤3，两路待拼接视频的当前帧M1和M2的背景区域分别为back(M1)和back(M2)，融合
背景区域back(M1)和back(M2)；
步骤4，进行完整的前景区域和背景区域融合；
步骤5，初始化拼接模板：两路待拼接视频的当前帧M1和M2中只存在背景时，初始化作
为后续只含背景帧的拼接模板；
步骤6，利用拼接模板拼接两路待拼接视频的当前帧M1和M2。
2.如权利要求1所述的方法，其特征在于，步骤1包含以下步骤：
步骤1-1，打开两路待拼接视频，并判断视频打开是否成功，如果打开成功，获取视频的
帧率fps，视频的格式fourcc，以及视频的帧宽度frameW和帧高度frameH；如果打开失败，再尝试一次打开两路待拼接视频，若连续失败，则返回打开视频失败信息，不进行后续步骤，直到两路待拼接视频打开成功；
步骤1-2，分别从两路待拼接视频流中读取当前帧M1和M2；步骤1-3，通过背景差分法对
M1和M2分别分割前后景：视频中只包含固定背景的视频帧当作背景模型M，然后对视频当前帧M’与背景模型M做差分，差值小于阈值的像素是背景，其他像素是前景：
其中，fore为当前帧M’的前景区域，fore(x,y)表示前景区域里横纵坐标为x和y的像素
点，M(x,y)表示背景模型M里横纵坐标分别为x和y的像素点，T为阈值；根据上述公式得到M1的前景区域fore(M1)，M1的背景区域back(M1)，M2的前景区域fore(M2)，M2的背景区域back(M2)。
3.如权利要求2所述的方法，其特征在于，步骤2包括以下步骤：
步骤2-1，采用逼近投影算法，对当前帧M1的前景区域和M2的前景区域进行图像对齐；
步骤2-2，提取出fore(M1)和fore(M2)的重叠区域；
步骤2-3，对fore(M1)和fore(M2)的重叠区域做多频带融合，得到最终fore(M1)和fore
(M2)的拼接结果。
4.如权利要求3所述的方法，其特征在于，步骤2-1包括：
步骤2-1-1：将两路待拼接视频的当前帧M1和M2分别转换为灰度图g1和g2，分别提取灰
度图g1和g2的SURF特征点；
步骤2-1-2，利用近似最近邻快速搜索FLANN算法，得到灰度图g1任意特征点m1在灰度图
g2上的k个距离最近的对应特征点ni，i＝1,2,...,k；
步骤2-1-3，采用劳氏算法Lowe’s algorithm来获取优秀匹配点：当dist1dist2成立时，保留具有最小距离的匹配点对(m1,n1)，否则抛弃；其中dist1表示灰度图g2上任一特征点和当前特征点m1最接近的欧式特征距离，即n1和m1的欧式距离；dist2表示灰度图g2上任一特征点和当前特征点m1次接近的欧式特征距离，即n2和m1的欧式距离；ratio为筛选系数；
步骤2-1-4，对灰度图g2中特征点使用近似最近邻快速搜索和劳氏算法处理，得到灰度
图g2灰度到图g1的匹配点对(n1,m2)，如果m1＝m2，匹配成功，否则抛弃；最终得到初步筛选后匹配点集pointSet；
步骤2-1-5，从匹配点集pointSet中，根据每一对匹配点的横纵坐标值(x_i,y_i),(x_
i',y_i')，其中i从1到N，N是pointSet中的点的个数，得到：
矩阵
步骤2-1-6，将灰度图g2划分成C1xC2个网格，然后计算每个网格中心点x*的单应性矩阵
h*：
其中， 表示网格中心点x*和匹配点集pointSet中的每个点x_i间的权
2N*2N
值，||h||＝1，W*∈R ，
h*的解即是W*A最小奇异值所对应的右奇异向量；
步骤2-1-7，图像g2划分成的C1 x C2个网格，然后将每个网格内的所有像素点都用该
网格中心点x*的单应性矩阵h*变换得到对应点，即g2上任一点(u,v,z)与它所在网格中心点对应的单应性矩阵h*相乘变换得到对应点(x’,y’,z’)：
变换公式：
其中，h*33表示单应性矩阵h*的第三行第三列元素，归一化最终得到图像g2上的点(u,v,
z)对齐到图像g1上的坐标(x,y)：
图像g2即变换到了目标图像g1的坐标系下，也即M2的前景区域fore(M2)变换到了M1的
前景区域fore(M1)坐标系下。
5.如权利要求4所述的方法，其特征在于，步骤2-2包括：
步骤2-2-1，为fore(M1)和fore(M2)准备掩膜图像，在fore(M1)坐标系下，属于fore
(M1)及变换过来的fore(M2)的掩膜像素值设为1，不属于fore(M1)及变换过来的fore(M2)
的掩膜像素值设为0；
步骤2-2-2，双目图像中前景目标的位置大小都不相同，为了使前景目标在图像拼接后
保持完整，需要对前景图像进行分割，融合，拼接处理。即fore(M2)的左上，左下，右上，右下四个角点：PleftTop，PleftBottom，PrightTop，PrightBottom，通过相应单应性矩阵h*，经过公式fore’(M2)(x,y)＝h**fore(M2)(x,y)变换，得到它们在fore(M1)坐标下的四个对应点P’leftTop，P’leftBottom，P’rightTop，P’rightBottom。这时fore(M1)的左上，左下，右上，右下四个角点分别为OleftTop，OleftBottom，OrightTop，OrightBottom。则重叠区域Rectoverlap为：
Rectoverlap.start_x＝min(P’leftTop.x，P’leftBottom.x)，
Rectoverlap.start_y＝min(P’leftTop.y，P’rightTop.y)，
Rectoverlap.width＝max(OrightTop.x，OrightBottom.x)-Rectoverlap.start_x，
Rectoverlap.height＝max(OleftBottom.y，OrightBottom.y)-Rectoverlap.start_y。
start_x和start_y即矩形区域Rectoverlap的左上角点的横纵坐标值，height即矩形区域
Rectoverlap的高度，width即矩形区域Rectoverlap的宽度；x,y即相应点的横纵坐标值；
至此得到了fore(M1)和fore(M2)的重叠区域Rectoverlap；除了重叠区域外，还可能在实
际fore(M1)和fore(M2)拼接中存在四个边角矩形，分别是RectleftCorner，RectrightCorner，RecttopCorner，RectbottomCorner，它们是fore(M1)和fore(M2)中没有被重叠的矩形区域，则最终fore(M1)和fore(M2)的拼接结果是这四个没有被重叠的边角矩形RectleftCorner，
RectbottomCorner，RectrightCorner，RecttopCorner按逆时针排列，中间内嵌重叠区域Rectoverlap所组成的完整图像。
6.如权利要求5所述的方法，其特征在于，步骤2-3包括：
步骤2-3-1，对用于多频带融合的两张图像逐步下采样得到图像的高斯金字塔：设重叠
区域Rectoverlap在原图像fore(M1)上为fore_overlap(M1)，在原图像fore(M2)上为fore_
overlap(M2)。对fore_overlap(M1)和fore_overlap(M2)逐步下采样获得它们的高斯金字
塔；高斯金字塔通过高斯滤波和亚采样实现，高斯金字塔最底层图像G0即要处理的原图
fore_overlap(M1)或fore_overlap(M2)；再利用高斯核(5*5矩阵)对G0进行卷积，然后对卷积后的图像删除其偶数行和列，即下采样，就得到了高斯金字塔第二层图像G1；G1的大小即G0的四分之一，又以G1为输入，重复卷积和下采样操作得到更上一层的图像，反复迭代多
次，形成图像的完整高斯金字塔；
步骤2-3-2，对用于多频带融合的两张图像逐步上采样得到图像的拉普拉斯金字塔：在
高斯金字塔的运算过程中，图像经过卷积和下采样操作会丢失部分高频细节，为了描述这
些细节，定义了拉普拉斯金字塔；第K层拉普拉斯金字塔通过第K层高斯金字塔减去第K+1层高斯金字塔上采样、卷积得到：
LK即拉普拉斯金字塔第K层，GK即高斯金字塔第K层，GK+1即高斯金字塔第K+1层，Up函数
将原图像每个维度放大为2倍，新增的偶数行以0填充，g为5*5高斯核矩阵；
重叠区域Rectoverlap在原图像fore(M1)上为fore_overlap(M1)，在原图像fore(M2) 上
为fore_overlap(M2)；对fore_overlap(M1)和fore_overlap(M2)分别计算拉普拉斯金字
塔，然后将金字塔每层图像融合：
LSK＝LAK×maskk+LBK×(1-maskk)，
其中，LSK是结果图像的第K层拉普拉斯金字塔图像，LAK，LBK分别为fore_overlap(M1)
和fore_overlap(M2)第K层拉普拉斯图像，maskK是用于融合的掩膜图像。掩膜图像左半部
分值为1，右半部分值为0，同时中间部分作为过滤带，值为：
y∈[0,heightK]，
其中，weightK，heightK分别为第K层拉普拉斯图像的宽度和高度；于是，重叠图像的拉
普拉斯金字塔逐层融合后得到一个新的拉普拉斯金字塔；
步骤2-3-3，得到多频带融合的最终结果：将步骤2-3-2所得拉普拉斯金字塔所有层叠
加到一起，得到多频带融合的最终结果：
LSresult＝resize(LS0,sz)+...+resize(LSK,sz)+...+resize(LSN,sz)，
其中，LSresult是多频带融合的结果，LSK是第K层拉普拉斯金字塔，resize用于对图像做
缩放处理，sz是重叠图像的大小，N是拉普拉斯金字塔的层数；在步骤2-2-2得到的两路前景图像fore(M1)和fore(M2)的完整拼接结果基础上，经过步骤2-3的多频带融合处理，融合出了完整的前景图像。
7.如权利要求6所述的方法，其特征在于，步骤3包括以下步骤：
步骤3-1，采用逼近投影算法，对两路视频流中读取的当前帧M1和M2的背景区域back
(M1)和back(M2)进行对齐；
步骤3-2，背景区域back(M1)和back(M2)对齐后，需要对背景区域进行修补，通过图像
对齐算法对齐后，只需要将对应像素赋值，即能够填补背景左图和右图的部分前景空洞；
步骤3-3，提取出背景区域back(M1)和back(M2)的重叠区域；
步骤3-4，对back(M1)和back(M2)的重叠区域做多频带融合，得到最终back(M1)和back
(M2)的拼接结果。
8.如权利要求7所述的方法，其特征在于，步骤3-3包括：
步骤3-3-1，为back(M1)和back(M2)准备掩膜图像：在back(M1)坐标系下，属于back
(M1)及变换过来的back(M2)的掩膜像素值设为1，不属于back(M1)及变换过来的back(M2)
的掩膜像素值设为0；
步骤3-3-2，提取出背景图像back(M1)和back(M2)的重叠区域：back(M2)的左上，左下，
右上，右下四个角点：PleftTop，PleftBottom，PrightTop，PrightBottom，通过相应单应性矩阵h*，经过公式back’(M2)(x,y)＝h**back(M2)(x,y)变换，得到它们在back(M1)坐标下的四个对应点
P’leftTop，P’leftBottom，P’rightTop，P’rightBottom；这时back(M1)的左上，左下，右上，右下四个角点分别为OleftTop，OleftBottom，OrightTop，OrightBottom；则重叠区域Rectoverlap为：
Rectoverlap.start_x＝min(P’leftTop.x，P’leftBottom.x)，
Rectoverlap.start_y＝0，
Rectoverlap.width＝OrightTop.x-OleftTop.x-Rectoverlap.start_x，
Rectoverlap.height＝min(OleftBottom.y-OleftTop.y，PleftBottom.y-PleftTop.y)，
start_x和start_y即矩形区域Rectoverlap的左上角点的横纵坐标值，height即矩形区域
Rectoverlap的高度，width即矩形区域Rectoverlap的宽度。x,y即相应点的横纵坐标值。
9.如权利要求8所述的方法，其特征在于，步骤4包括以下步骤：
步骤4-1，在前景目标上选取一个基准点base，在背景空洞上选取另一个基准点base'：
首先要在前景目标上选取一个基准点base，在背景空洞上选取另一个基准点base'，在前背景融合中选用的基准点集包括：前景重心点foregravity，背景重心点backgravity；前景中心点forecenter，背景中心点backcenter；前景中的左上角点foreLT，背景中的左上角点backLT；前景中的右上角点foreRT，背景中的右上角点backRT；基准点的位置通过掩膜来计算，前景掩膜中前景目标和背景掩膜中的前景空洞都是非0元素，其他区域是0元素，基准点位置即各点
的横纵坐标计算公式如下：
其中，foreXMIN、foreXMAX、foreYMIN、foreYMAX、foreXi、foreYi依次是前景目标横坐标最小值、横坐标最大值、纵坐标最小值、纵坐标最大值、任意点横坐标和任意点纵坐标；同样，backXMIN、backXMAX、backYMIN、backYMAX、backXi、backYi是背景空洞上的对应值；
步骤4-2，前景和背景融合：基于base点的像素值赋值到base'后，将前景掩膜中的非0
像素值一一赋值到背景区域上，具体即前景目标上的任一非0像素点，先求得其和基准点
base的横纵坐标差值，然后将基准点base'加上这个差值得到一个横纵坐标对，再把前景目标上的这个像素点的像素值赋值给这个横纵坐标对。
10.如权利要求9所述的方法，其特征在于，步骤5包括以下步骤：
步骤5-1，采用逼近投影算法，对M1和M2进行图像对齐；
步骤5-2，提取出当前帧M1和M2的重叠区域；
步骤5-3，融合M1和M2的重叠区域并得到最终M1和M2的拼接结果；
步骤5-4，保存当前M1和M2融合的拼接模板，即保存M1和M2进行图像对齐中的每个网格
中心点x*的单应性矩阵h*。