技术领域
[0001] 本
发明涉及
图像处理技术领域，具体地，涉及自学习多路图像融合的实时矫正方法及系统。
背景技术
[0002] 目前市面上广
角镜头图像会随着角度增加有不同程度的图像畸变，特别是球面镜畸变更为严重，但为了获得更宽广的可视范围，在单目摄像采集面对
瓶颈时，技术人员开始研究多路多目阵列相机再拼合多幅图像以获取低畸变的超宽视景，本发明中的方法即属于多阵列图像实时拼接矫正的计算方法。
[0003] 在拼接多路图像时，目前有两种主要的方法：
[0004] 1)通过对拼接附近两张图像中的边界特征信息提取并比对，在拟合时选择基于这些相近特征信息的
像素点作为拟合曲线的中值去融合多幅图像。但此方法
缺陷是严重依赖特征值的矩阵数量和准确度，且计算复杂费时，对时效性要求高的场景无法胜任。同时，在特征场景发生频繁变化时，抖
帧掉帧的现象严重，需要人为干预判断并去除一系列畸变偏离的拟合图，因此无法应用在实时多路视频中。
[0005] 2)对一系列
图像采集设备做预先排列排序的标定和
固化，通过棋盘格等预参考方法获取已知多路实时
视频流中边界的偏差标定后直接快速融合多幅图像的接缝处。但此法的缺陷是标定为定焦，在一定视距范围内存在偏差，当模糊边界后视觉上接受度较高，但较近或较远的物体就无法准确的标定，同时因边界处采用模糊化拼接，接缝处的图像
质量会明显降低，在4K以上的图像中模糊的
位置会被进一步放大，影响观感。
[0006] 以上第1种方法是多路融合后产生的新图像质量有保证但生成缓慢，不可应用在实时多视频流中；第2种方法在实时多路视频流中的处理速度有保证，但面对图像质量和解像度有更高要求的场景和素材时，就无法提供高品质融合后的图像。
[0007] 本发明中提出的方法的适用场景是实时视频流中高质量快速的融合多路图像，相较于上面两种方法更快速，图像质量更高，但同等条件下速度会略低于第2种方法，通过提升
硬件计算器的计算能
力可以获得与第2种方法相近的速度和高于第1种方法的连续图像可靠度和质量。
[0008] 经检索，
申请号：201410459069.0，名称为“一种视频图像拼接方法及装置”，涉及视频处理技术领域，包括：获得第一视频拍摄终端所拍摄的第一视频的第一
视频帧；获得第二视频拍摄终端所拍摄的第二视频的第二视频帧；根据视频图像拼接参数，确定第一视频帧和第二视频帧对应的图像拼接区域，视频图像拼接参数为：在启动视频图像拼接程序后，生成第一帧拼接图像时获得并存储在本地的；根据所确定的图像拼接区域，对第一视频帧和第二视频帧进行图像拼接，生成第一视频帧和第二视频帧对应的拼接图像；第一视频拍摄终端和第二视频拍摄终端为：用于拍摄相同场景的N台视频拍摄终端中的任意两台拍摄位置相邻的终端。应用本发明
实施例提供的方案，能够降低计算量和对硬件的要求。
[0009] 上述文献中的方法专注在通过初始信息作为图像融合的关键信息，并没考虑到初始帧与之后环境变化对后续图像融合引入的问题，也没有机器自动评判和矫正。
[0010] 申请号：201010117300.X，名称为“基于边缘分类信息的图像拼接方法”，该方法(1)首先提取图像的边缘类；(2)在已经获取的图像边缘类中提取图像SIFT特征；(3)利用K-D
树搜索近似最近邻的方法对两幅有重叠图中的对应SIFT特征点进行匹配；(4)找到两幅图像的两个公共边界点P、Q，得到P、Q两点后，以过PQ的直线作为图像拼接的缝合线；(5)利用
小波变换将待拼接图像转换成多个带通
信号；(6)在各个空间中进行变换系数融合；(7)最后经过小波逆变换，得到一个“无缝”的拼接图像。本发明可以使经典SIFT特征提取的时间减少20％-50％。使处理速度提高25％-40％。本发明有提高经典图像拼接方法的实时性和一定程度上改善图像拼接质量的效果。
[0011] 上述文献中的方法为直接边缘拼接，速度快，可靠性低，对近景远景适
应力弱。
[0012] 申请号：201610305058.6，名称为“一种图像拼接系统”，包括：图像获取模
块、图像拼接模块、均值计算模块、图像
覆盖模块、图像模糊模块、图像锐化模块和图像存储模块。本发明中，通过均值计算模块和图像覆盖模块对拼接后的图像中的重叠部分进行均值处理，相当于通过均值图像对相邻两个摄像头的拍摄图像的拼接进行过渡，解决了两个摄像头拍摄的图像由于角度、光线等不同出现的像素跳变导致拼接后的图像观赏不适的问题。
[0013] 上述文献中的系统是融合前的图像做预先处理的实现，以及拼接后的图像修复。不属于图像融合本身，更不同于本发明的带有
机器学习和机器评价的实时矫正融合拼接。
[0014] 申请号：201610726477.7，名称为“一种图像拼接方法及装置”，可用于降低拼接累积误差的航空视频图像自适应多级分层拼接，能够根据目标场景特性自适应选择合适的处理层次和配准
算法，有效地解决了图像拼接误差随图像帧数增加而传播扩散的问题，同时采用渐入渐出法对配准后的图像进行融合处理，较好地消除了图像变换矩阵累积误差和图像
亮度差异引起的拼接缝隙问题，得到一幅宽视场、高
分辨率的合成图像，在图像拼接
精度和鲁棒性方面有了明显提高；采用“特征堆栈”存储各帧图像特征，与后续图像进行配准拼接，能够有效减小计算量，节省重复提取图像特征的时间，进一步提高图像拼接速度。
[0015] 上述文献中的方法针对目标场景特征提取信息，主要在于降低图像拼接误差传递以及消除拼接缝隙的目的，可以在多重矩阵模板中挑选出对当前帧最佳的融合方案除了能够同样解决误差传递和最优解决拼接缝隙的问题，还持续的进行机器学习和机器评价演进来优化视频流融合拼接，提高实时拼接性能指标。
[0016] 申请号：201610037913.X，名称为“一种用于图像拼接的方法及装置”，属于图像处理技术领域，是分别获取在两个焦距值条件下拍摄的两组图像，分别对这两组图像进行图像拼接，最终得到两个拼接后的图像，通过对这两组图形分别进行图像拼接处理，能够使拼接后的图像中内容更丰富，对拼接图像后最终得到的两个图像进行图像融合，以此得到融合后的目标图像，采用本发明提供的技术方案，得到的目标图像中图像特征清晰、图像容纳的内容更丰富，本技术方案简单，便于实施。
[0017] 上述文献中的方法属于图像后处理的目标图像质量改善，与拼接融合本身无关。其次，采用连个教具拍摄两组图像，不能适用于多路的实时视频流图像采集。
[0018] 申请号：201410632500.7，名称为“图像拼接的方法及装置”，其中图像拼接方法首先通过第一图像和第二图像中的特征点确定重合区域以及变换矩阵；然后将所述重合区域内当前行中变换误差满足预定条件的像素点作为拼接点；所述变换误差为所述第一图像的像素点经过所述变换矩阵变换到第二图像的像素点位置与所述第二图像中的匹配像素点位置之间的误差；根据所述拼接点进行图像拼接。通过本申请能够改善拼接表面存在不同物距时的拼接缝隙问题。
[0019] 上述文献中的方法的技术点在拼接表面的柔化而非从本身融合作为入手点，提供更加高效可靠的并适应环境变化的自学习矫正融合拼接。
发明内容
[0020] 针对
现有技术中的缺陷，本发明的目的是提供一种自学习多路图像融合的实时矫正方法及系统。
[0021] 根据本发明提供的自学习多路图像融合的实时矫正方法，包括如下步骤：
[0022] 融合模板学习生成步骤：基于覆盖区域图像中的色彩对
视野中的轮廓以及物体特征进行提取和匹配，学习生成匹配模板；
[0023] 多路图像实时融合步骤：一次获取多个时刻下的多路图像数据和所述匹配模板进行融合，得到融合后的图像；
[0024] 融合后的图像质量机器评价步骤：对融合后的图像进行评价；
[0025] 模糊多次学习步骤：当融合失败时，返
回执行融合模板学习生成步骤。
[0026] 优选地，所述融合模板学习生成步骤中的匹配模板包括：畸变矫正模板、色彩补偿模板、尺寸缩放模板、
坐标系变换模板、
视差补偿变换模板；
[0027] 在所述融合模板学习生成步骤中，根据图像的预分割宏块建立初始评价分块的融合矩阵，所述融合矩阵用于对原图像需要融合部分做融合变换的指导；
[0028] 在所述多路图像实时融合步骤中，按照固定帧率步伐，一次获取Tx，x＝2,3,…,M时刻的多路图像数据和所述匹配模板进行融合，令N＝Tj+1-Tj，其中j为[2,M-1]中的自然数，其中Tx表示第x个时刻，Tj表示第j个时刻，Tj+1表示第j+1个时刻，N表示一个固定帧率步伐的时间间隔。
[0029] 优选地，所述多路图像实时融合步骤中M取值范围是[3,12]，N的取值为20ms，具体地，Tx，x＝2,3,…,M表示从T2开始以20ms依次累加递增直到流程结束。具体地，本发明需要对前一时刻和再前一时刻的一组多路图像做匹配度的最优选，如果当前帧历史的融合模板和矫正矩阵都融合失败，则用前一时刻或者再前一时刻的多路视频帧的数据进行快速融合处理；当前一时刻和再前一时刻的融合也失败时，进入初始学习，即重新生成融合模板。
[0030] 优选地，所述融合模板学习生成步骤中根据图像的预分割宏块建立初始评价分块的融合矩阵的具体过程如下：对于一个像素矩阵中相邻像素做均方，或按照中值线做均方，或者按照定点距离均值去逐级对相邻像素做补偿加减计算后的结果形成一个融合矩阵；
[0031] 在所述模糊多次学习步骤中，当融合成功时，将原始图像特征区域的最小宏块缩小一个或多个级别作为预分割宏块。
[0032] 优选地，所述多路图像实时融合步骤中基于时间戳的管道同步法，按照固定帧率步伐一次获取Tx，x＝2,3,…,M时刻的多路图像数据，所述时间戳的管道同步法是指：无论多路图像中任一路图像当前时间序列是多少，都在每一个图像管道中根据相近时间为切片原点寻找N时间偏移量的新时间片的一组多路图像数据。
[0033] 优选地，所述融合后的图像质量机器评价步骤包括：基于融合前多路图像中的峰值
信噪比最大值和中值作为融合后新图像的辅助判断的上限和下限，并以融合后图像中的空占比，即空值占整个图像的空间比例，来判断图像是否融合成功，若融合后图像中的空占比大于
阈值P，则认为融合失败，删除融合生产的图像，重新执行融合模板学习生成步骤、多路图像实时融合步骤以及融合后的图像质量机器评价步骤；若融合后图像中的空占比小于等于阈值P，则认为融合成功，执行模糊多次学习步骤；其中，阈值P的取值即为精度和容忍度。
[0034] 根据本发明提供的自学习多路图像融合的实时矫正系统，包括如下模块：
[0035] 融合模板学习生成模块：基于覆盖区域图像中的色彩对视野中的轮廓以及物体特征进行提取和匹配，学习生成匹配模板；
[0036] 多路图像实时融合模块：一次获取多个时刻下的多路图像数据和所述匹配模板进行融合，得到融合后的图像；
[0037] 融合后的图像质量机器评价模块：对融合后的图像进行评价；
[0038] 模糊多次学习模块：当融合失败时，返回执行融合模板学习生成模块。
[0039] 优选地，所述融合模板学习生成模块中根据图像的预分割宏块建立初始评价分块的融合矩阵的具体过程如下：对于一个像素矩阵中相邻像素做均方，或按照中值线做均方，或者按照定点距离均值去逐级对相邻像素做补偿加减计算后的结果形成一个融合矩阵。
[0040] 优选地，所述多路图像实时融合模块中基于时间戳的管道同步法，按照固定帧率步伐，一次获取Tx，x＝2,3,…,M时刻的多路图像数据和所述匹配模板进行融合，令N＝Tj+1-Tj，其中j为[2,M-1]中的自然数，其中Tx表示第x个时刻，Tj表示第j个时刻，Tj+1表示第j+1个时刻，N表示一个固定帧率步伐的时间间隔；所述时间戳的管道同步法是指：无论多路图像中任一路图像当前时间序列是多少，都在每一个图像管道中根据相近时间为切片原点寻找N时间偏移量的新时间片的一组多路图像数据。
[0041] 优选地，所述融合后的图像质量机器评价模块包括：基于融合前多路图像中的
峰值信噪比最大值和中值作为融合后新图像的辅助判断的上限和下限，并以融合后图像中的空占比，即空值占整个图像的空间比例来判断图像是否融合成功，若融合后图像中的空占比大于阈值P，则认为融合失败，删除融合生产的图像，重新运行融合模板学习生成模块、多路图像实时融合模块以及融合后的图像质量机器评价模块；若融合后图像中的空占比小于等于阈值P，则认为融合成功，执行模糊多次学习模块；其中，阈值P的取值即为精度和容忍度，原则上空占比越小越好以用于判断给出的数值是否符合要求。
[0042] 与现有技术相比，本发明具有如下的有益效果：
[0043] 1、本发明中的方法通过相邻若干帧的特征矩阵共性，根据判断特征矩阵变化的趋势采用已知不同的特征矩阵和矫正方法，快速融合拼接多路实时视频流中的图像，实现视频图像的实时处理，使得多路实时图像视频流可稳定的持续被拼接。
[0044] 2、本发明采用多路图像拼接后的新图像质量机器评价和通过机器学习不断完善特征矩阵对应的融合模板矩阵和矫正因子，从而得到高质量的图像，在一个新的环境中运行一段时间后，学习的变化越多，可靠拼接融合多路图像越高效。
[0045] 3、本发明中的方法可快速筛选最佳适配模板用在当前多路实时视频流中，或当低于最佳选择时，基于当前数据计算出最佳适配模板并将其添加到新模板中丰富融合模板矩阵，具备较强的适用性。
附图说明
[0046] 通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0047] 图1为本发明提供的自学习多路图像融合的实时矫正系统的原理
框图；
[0048] 图2为图像的预分割宏块的四个等级的像素宏块单元示意图；
[0049] 图3为时间戳管道多路图像的同步融合处理的原理示意图；
[0050] 图4为图像边界融合(Blend)的原理示意图；
[0051] 图5为空占比和PSNR主要活跃影响的区域示意图；
[0052] 图6为从两幅原始图到未优化直接融合再到多次学习后融合图像的效果展示图。
具体实施方式
[0053] 下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0054] 根据本发明提供的自学习多路图像融合的实时矫正，包括如下步骤：
[0055] 融合模板学习生成步骤：基于覆盖区域图像中的色彩(摄像机摄入同一物体在不同角度时因距离所引入的视差反变化信息)对视野中的轮廓以及物体特征进行提取和匹配，学习生成适用于快速融合的匹配模板，根据图像的预分割宏块建立初始评价分块的融合矩阵；其中，所述匹配模板包括：畸变矫正模板，色彩补偿模板、尺寸缩放模板、坐标系变换模板、视差补偿变换模板、距离引入的视差补偿等等。
[0056] 多路图像实时融合步骤：按照固定帧率步伐，一次获取Tx时刻的多路图像数据和所述匹配模板进行融合，其中x为[2,M]中的自然数，令N＝Tj+1-Tj，其中j为[2,M-1]中的自然数，其中Tx表示第x个时刻，Tj表示第j个时刻，Tj+1表示第j+1个时刻，N表示一个固定帧率步伐的时间间隔；
[0057] 融合后的图像质量机器评价步骤：对融合后的图像进行评价，判断是否融合成功；
[0058] 模糊多次学习步骤：若融合图像成功，则将原始图像特征区域的最小宏块缩小一个级别(宏块的级别的大小为32×32>16×16>4×4>2×2)，生成进一步提升精度和辨识度的模板备用(以便在没有最优模板适用的情况下，可以选择相邻的高精度模板再做一次预判而不是彻底用新的一组多路图像重新学习一套融合模板出来)；若融合失败，则回退至次优的模板甚至回退到初始模板，再从初始状态学习适合当下环境的模板。
[0059] 更进一步地，所述融合模板学习生成步骤中根据图像的预分割宏块建立初始评价分块的融合矩阵的具体过程如下：对于一个像素矩阵中相邻像素做均方，或按照中值线做均方，或者按照定点距离均值去逐级对相邻像素做补偿加减计算，这些适合不同区域像素的处理众多具体办法，可形成一个融合矩阵。
[0060] 更进一步地，所述多路图像实时融合步骤中基于时间戳的管道同步法是指：无论多路图像中任一路图像当前时间序列是多少，都在每一个图像管道中根据相近时间为切片原点寻找N时间偏移量的新时间片的一组多路图像数据；
[0061] 更进一步地，所述融合后的图像质量机器评价步骤包括：基于融合前多路图像中的峰值信噪比(PSNR)最大值和中值作为融合后新图像的辅助判断的上限和下限，并以融合后图像中的空占比，即空值(即0x000000)占整个图像的空间比例来判断图像是否融合成功，若融合后图像中的空占比大于阈值P，则认为融合失败，删除融合生产的图像，重新执行融合模板学习生成步骤、多路图像实时融合步骤以及融合后的图像质量机器评价步骤；若融合后图像中的空占比小于等于阈值P，则认为融合成功，执行模糊多次学习步骤。其中，阈值P的取值即为精度和容忍度，原则上空占比越小越好，用于判断给出的数值是否符合要求，P值的取值范围一般为5％～15％，本发明实施例中选用10％。
[0062] 根据本发明提供的自学习多路图像融合的实时矫正系统，包括如下模块：
[0063] 融合模板学习生成模块：基于特征提取和匹配，学习生成适用于快速融合的匹配模板，并根据图像的预分割宏块建立初始评价分块的融合矩阵；具体地，如图2所示包括：32×32、16×16、4×4、2×2这四级像素宏块单元。
[0064] 多路图像实时融合模块：基于时间戳的管道同步法，按照的固定帧率步伐，一次获取Tx时刻的多路图像数据；
[0065] 融合后的图像质量机器评价模块：基于融合前多路图像中的峰值信噪比(PSNR)最大值和中值作为融合后新图像的辅助判断的上限和下限，再以新图像中的空占比，空值(即0x000000)占比整个图像的空间比，作为判断。因为在融合图像之前，会首先置空目标填充数据区域中的数据，如果融合后的图像填入后低于10％最大容忍线，则认融合非最佳即失败。
[0066] 模糊多次学习模块：在计算资源允许的情况下，将特征区域的最小宏块缩小一个级别(32×32->16×16)，从而生成二级高精度模板，以便在没有最优模板适用的情况下,可以选择相邻的高精度模板再做一次预判而不是彻底用新的一组多路图像重新学习一套融合模板出来。
[0067] 如图1所示，图中A为融合模板学习生成模块，B为多路图像实时融合模块，C为融合后的图像质量机器评价模块，D为模糊多次学习模块。
[0068] 下面结合具体实施例对本发明中的技术方案做更加详细的说明。
[0069] 实施例1(360度全景直播)
[0070] 在使用多路图像整列对运动赛事或者演唱会进行360度全景采集并直播的时候，在多路图像采集后通过使用本发明中的自学习多路图像融合的实时矫正方法可以提供实时和高质量的实时全景视频流直播给不在现场的终端用户。
[0071] 实施例2(安防监控融合存储)
[0072] 在大型企业或者公共场所的安防视频
监控系统中，可以在后台
服务器中使用本发明中的自学习多路图像融合的实时矫正方法持续的将多路图像进行拼接融合后存储。这样一旦企业或者政府需要还原某一事件时就能够无死角高精度的进行调查，同时也能够降低多路安防监控存储的压力。
[0073] 本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以
逻辑门、
开关、专用集成
电路、可编程逻辑
控制器以及嵌入式
微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的
软件模块又可以是硬件部件内的结构。
[0074] 以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在
权利要求的范围内做出各种变化或
修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
