技术领域
[0001] 本
发明属于航天遥感影像处理领域，涉及到一种低内存、高效率、高可靠性的特征匹配
运动估计和基于GPU
运动补偿的视频卫星成像在轨实时稳像方法及系统。
背景技术
[0002] 视频卫星是一种新型对地观测卫星，与传统的对地观测卫星相比，其最大的特点是可以对某一区域进行“凝视”观测，以“视频录像”的方式获得比传统卫星更多的动态信息，特别适于观测动态目标，分析其瞬时特性。由于卫星
传感器平台的运动，导致的序列视频影像之间存在抖动，影响运动目标监测、识别等应用，需要对其进行稳像，消除视频卫星影像间的随机抖动，保证视频的流畅性。
[0003] 在轨影像快速处理，能够减少爆炸式增长的遥感数据给数据下传链路与地面处理系统的巨大压
力，节省从卫星数据生成到地面有效信息获取时间，减少信息获取时效性。由于在轨处理平台存在体积、功耗限制，在轨处理的计算能力有限，同时视频卫星影像宽幅较大，对计算内存的需求较大，影像间存在一定的视
角差异、
辐射差异，对快速稳像中运动估计造成困难。需要找到一种计算资源需求量小、速度较快、效率较高，同时具有较高可靠性的稳像方法。
发明内容
[0004] 本发明解决了在轨视频卫星稳像处理中对可靠性和速度的需求，满足了在轨视频快速、可靠的稳像处理需求。
[0005] 本发明技术方案提供一种视频卫星成像在轨实时稳像方法，包括以下步骤：
[0006] 步骤1，数据准备，包括设定第一
帧为参考帧影像，序列帧为待匹配影像；
[0007] 步骤2，基于临近区域ORB特征匹配的运动估计，对参考帧进行分
块匹配处理，得到序列帧与参考帧之间的同名匹配点，包括依据序列影像间的连贯性，建立参考帧与序列帧之间的粗几何关系，依据影像间的粗几何关系建立同名匹配瓦片，采用基于临近区域搜索的ORB匹配方式进行匹配；
[0008] 步骤3，运动补偿，包括根据步骤2匹配所得同名点计算序列帧与参考帧之间的运动补偿参数，对序列帧影像进行运动补偿，投影到参考帧的
坐标系中；
[0009] 步骤4，视频影像生成，包括根据参考帧和运动补偿后的序列帧生成卫星
视频流。
[0010] 而且，步骤2采用以下子步骤实现，
[0011] 步骤2.1，将参考帧影像进行分块，并建立影像间的粗几何关系；
[0012] 步骤2.2，对参考帧影像中每个影像块，分别进行以下处理，
[0013] 步骤2.2.1，块内进行瓦片细分，执行以下处理，
[0014] 步骤2.2.1.1，依次取该影像块内一个瓦片，依据影像间的粗几何关系，在待匹配影像上建立同名匹配瓦片，对瓦片内部采用基于临近区域ORB特征匹配的方式进行匹配，包括对于参考帧影像上瓦片中的各特征点，分别在待匹配影像上同名匹配瓦片内以同样坐标为中心点半径为R的区域内搜索匹配点，匹配完成后进行误匹配点剔除；
[0015] 步骤2.2.1.2，判断正确的匹配点数是否大于四个点，
[0016] 若是则该瓦片得到匹配点，则该块成功匹配，进入步骤2.2.2,；
[0017] 若否则返回步骤2.2.2.1，采用从左到右从上到下的方式，在参考帧影像中该影像块内取下一个瓦片，在待匹配影像上建立同名匹配瓦片进行匹配，直到该块成功匹配；
[0018] 步骤2.2.2，进行最小二乘匹配精化，得到匹配结果。
[0019] 而且，所述影像间的粗几何关系，提取方式为，在第二帧与参考帧进行配准后，得到第二帧与参考帧的精几何关系，第三帧与参考帧进行配准时，第三帧与参考帧之间的粗几何关系根据第二帧与参考帧之间的精几何关系得到，依次类推。
[0020] 而且，步骤2中，块间采用基于openMP的多线程运算
[0021] 而且，步骤3中，采用基于GPU的快速运动几何校正。
[0022] 本发明还提供一种视频卫星成像在轨实时稳像系统，包括以下模块：
[0023] 第一模块，用于数据准备，包括设定第一帧为参考帧影像，序列帧为待匹配影像；
[0024] 第二模块，用于基于临近区域ORB特征匹配的运动估计，对参考帧进行分
块匹配处理，得到序列帧与参考帧之间的同名匹配点，包括依据序列影像间的连贯性，建立参考帧与序列帧之间的粗几何关系，依据影像间的粗几何关系建立同名匹配瓦片，采用基于临近区域搜索的ORB匹配方式进行匹配；
[0025] 第三模块，用于运动补偿，包括根据第二模块匹配所得同名点计算序列帧与参考帧之间的运动补偿参数，对序列帧影像进行运动补偿，投影到参考帧的坐标系中；
[0026] 第四模块，用于视频影像生成，包括根据参考帧和运动补偿后的序列帧生成卫星视频流。
[0027] 而且，第二模块执行以下流程，
[0028] 步骤2.1，将参考帧影像进行分块，并建立影像间的粗几何关系；
[0029] 步骤2.2，对参考帧影像中每个影像块，分别进行以下处理，
[0030] 步骤2.2.1，块内进行瓦片细分，执行以下处理，
[0031] 步骤2.2.1.1，依次取该影像块内一个瓦片，依据影像间的粗几何关系，在待匹配影像上建立同名匹配瓦片，对瓦片内部采用基于临近区域ORB特征匹配的方式进行匹配，包括对于参考帧影像上瓦片中的各特征点，分别在待匹配影像上同名匹配瓦片内以同样坐标为中心点半径为R的区域内搜索匹配点，匹配完成后进行误匹配点剔除；
[0032] 步骤2.2.1.2，判断正确的匹配点数是否大于四个点，
[0033] 若是则该瓦片得到匹配点，则该块成功匹配，进入步骤2.2.2,；
[0034] 若否则返回步骤2.2.2.1，采用从左到右从上到下的方式，在参考帧影像中该影像块内取下一个瓦片，在待匹配影像上建立同名匹配瓦片进行匹配，直到该块成功匹配；
[0035] 步骤2.2.2，进行最小二乘匹配精化，得到匹配结果。
[0036] 而且，所述影像间的粗几何关系，提取方式为，在第二帧与参考帧进行配准后，得到第二帧与参考帧的精几何关系，第三帧与参考帧进行配准时，第三帧与参考帧之间的粗几何关系根据第二帧与参考帧之间的精几何关系得到，依次类推。
[0037] 而且，第二模块中，块间采用基于openMP的多线程运算
[0038] 而且，第三模块中，采用基于GPU的快速运动几何校正。
[0039] 本发明提供的稳像技术方案，考虑到帧间影像连贯性的特点，提出了基于临近区域匹配的
算法，能够对影像进行分块处理，降低内存需求，采用多线程匹配的方法，提高了匹配的效率，采用GPU快速几何校正，提高了运动补偿的效率，整个方案不仅考虑到了运行的内存需求和处理时间效率，同时考虑了结果的可靠性。
附图说明
[0041] 图2为本发明实施例的影像分块及同名匹配块建立的示意图。
[0042] 图3为本发明实施例的基于临近区域匹配搜索的示意图。
[0043] 图4为本发明实施例的基于临近区域ORB特征匹配的运动估计的示意图。
[0044] 图5为本发明实施例的运动补偿示意图。
具体实施方式
[0045] 本发明技术方案可采用计算机
软件方式支持自动运行流程。以下结合附图和实施例详细说明本发明技术方案。
[0046] 本发明提出的方法主要包括以下设计：
[0047] (1)数据准备：将首帧卫星影像视为参考影像，将序列卫星视频影像视为待配准影像。
[0048] (2)运动估计：将待配准影像与参考影像进行多线程基于临近区域ORB特征匹配运动估计算法，得到同名点，直至所有序列帧处理完毕。
[0049] (3)运动补偿：采用固定帧运动补偿算法，采用GPU快速投影校正。
[0050] 参见图1，本发明实施例提供一种快速、低内存、可靠的视频卫星成像在轨实时稳像方法，包括以下步骤：
[0051] 步骤1，数据准备，将首帧卫星影像视为参考影像，将后续的序列卫星视频影像中各帧分别视为待配准影像进行处理。
[0052] 实施例中，设定第一帧为参考帧影像，序列帧为待匹配影像。
[0053] 步骤2，序列帧运动估计，将待配准影像与参考影像进行多线程基于临近区域ORB特征匹配运动估计算法，得到同名点，直至所有序列帧处理完毕。
[0054] 本发明提出采用基于临近区域搜索的ORB(Orientation Brief)匹配算法。
[0055] 进一步地，影像匹配中需对参考帧进行分块处理。
[0056] 进一步地，根据帧间影像间的连贯性，建立序列帧与参考帧之间的粗几何关系。
[0057] 进一步地，块内划分为瓦片，依据粗几何关系建立同名瓦片。
[0058] 进一步地，瓦片内采用临近区域搜索的ORB特征匹配。
[0059] 进一步地，块间采用基于openMP的多线程快速匹配算法。
[0060] 实施例中，基于临近区域ORB特征匹配的运动估计，对参考帧进行分块匹配处理，降低内存需求；依据序列影像间的连贯性，建立参考帧与序列帧之间的粗几何关系；块内细分为瓦片，依据影像间的粗几何关系，建立同名匹配瓦片，即对应相同区域的影像；瓦片内采用基于临近区域搜索的ORB匹配算法；块间采用基于openMP的多线程运算。得到序列帧与参考帧之间的同名匹配点。
[0061] 步骤3，序列帧运动补偿，本发明提出采用基于GPU的快速运动几何校正。
[0062] 实施例进行GPU运动补偿，包括采用固定帧运动补偿算法，计算序列帧与参考帧之间的运动补偿参数，即根据步骤2匹配所得同名点计算序列帧与参考帧之间的仿射变换系数，并采用GPU并行处理，对序列帧影像进行运动补偿，投影到参考帧的坐标系中。
[0063] 步骤4，视频影像生成，根据参考帧和运动补偿后的序列帧生成卫星视频流。
[0064] 本发明提出了多线程基于临近区域搜索的ORB快速运动估计算法，和基于GPU的快速运动补偿算法。提供具体说明如下：
[0065] 参见图2中影像分块及同名瓦片建立的算法。本发明依据所给定的匹配数目对影像进行分块处理，如匹配点数需求为16个点，则对影像分块为4*4宫格，每个宫格为一个影像块。每个块内细化为瓦片，瓦片块
像素大小为512*512，每个块内只需要一个瓦片匹配到同名点。
[0066] 若序列帧影像n-1与序列帧影像n是相邻的帧间影像，则影像n-1与影像n之间的粗几何关系可认为如下关系：
[0067]
[0068] 其中(xn，yn)为第n帧上的点，(xn-1，yn-1)为第n-1帧上的点，由于视频卫星的对某一区域进行“凝视”观测的特点，序列帧之间存在一定的连贯性，影像间偏移较小，具体实施时可根据情况预设参数R的取值。实施例中R的取值为50。
[0069] 进行视频稳像时，设定首帧为参考帧，需要第二帧直至第n帧与参考帧进行配准，计算运动参数。由于第二帧与参考帧进行配准后，得到第二帧与参考帧的精几何关系，第三帧与参考帧进行配准时，第三帧与参考帧之间的粗几何关系根据第二帧与参考帧之间的精几何关系得到，依次类推，第n帧与参考帧之间的粗几何关系，根据第n-1帧与参考帧之间的精几何关系得到。第n-1帧与参考帧之间的精几何关系如下，
[0070]
[0071] 其中，(x1，y1)为参考帧上面的坐标，fn-1(,)为参考帧到第n-1帧的精几何关系，可得第n帧与参考帧之间的粗几何关系可为：
[0072]
[0073] 可采用该关系可建立第n帧与参考帧之间的序列关系。
[0074] 依据影像间的粗几何关系，将瓦片投影到待匹配影像上，即在待匹配影像上寻找同样坐标的区域，并在边缘拓展尺寸为R的宽度，该区域即为同名瓦片，实施例中投影后瓦片块像素大小为(512+50*2)*(512+50*2)，即对应相同区域的影像。
[0075] 参见图3中基于临近区域匹配搜索算法。影像在特征匹配搜索时，只搜索存在同名匹配点的区域，而不搜索整幅影像，能够减少误匹配，降低匹配复杂度。
[0076] 由于影像的粗几何关系已知，一般均在几十个像素以内，偏移较小，R的取值为50。而
现有技术中特征点匹配搜索的是基于全局搜索，即影像上每一个区域特征点都要参与，而本发明采用临近区域特征点搜索匹配，只在其对应的区域进行特征点搜索匹配。如图3所示参考帧像素点(x1，y1)，其在待配准影像上可能存在的同名点的区域进行匹配，即在待配准第n帧上，以点
位置(x1，y1)半径为R的圆区域内，进行特征搜索。
[0077] 参见图4中基于临近区域ORB特征匹配视频卫星运动估计算法。本发明依据所给定的匹配数目采用图2所示的方法对影像分块，对每个块细化为瓦片，每个块内只需要一个瓦片匹配到同名点，并且是在依据粗几何关系建立的同名匹配瓦片中匹配。瓦片内采用基于临近区域的ORB算法进行匹配，匹配结果采用RANSAC算法剔除误匹配点。若正确的匹配点数小于等于四个点，则该瓦片未得到匹配点，依从左到右从上到下的方式进入下一个瓦片进行匹配，直到瓦片匹配到同名点。若正确的匹配点数大于四个点，则该瓦片得到匹配点，该块得到匹配点。影像瓦片匹配完毕后，将得到的正确匹配点采用LSM匹配提高匹配点位
精度。
[0078] 如图4，实施例中步骤2的实现流程包括以下几个步骤，
[0079] 步骤2.1，设将参考帧影像进行分块成为M*N个块，并建立影像间的粗几何关系；
[0080] 步骤2.2，对参考帧影像中每个影像块，分别进行以下处理：
[0081] 步骤2.2.1，块内进行瓦片细分，因为每一个块内只需一个瓦片匹配得到同名点则结束，对块内执行以下处理，
[0082] 步骤2.2.1.1，依次取该影像块内一个瓦片(第一次执行本步骤可取该块内左上角第一个瓦片)，依据影像间的粗几何关系，在待匹配影像上建立同名匹配瓦片，对瓦片内部采用基于临近区域ORB特征匹配的方法进行匹配，即对于参考帧影像上瓦片中的各特征点，分别在待匹配影像上同名匹配瓦片内以同样坐标为中心点半径为R的区域内搜索匹配点，匹配完成后进行误匹配点剔除；
[0083] 步骤2.2.1.2，判断正确的匹配点数是否大于四个点，
[0084] 若是则该瓦片得到匹配点，则该块成功匹配，进入步骤2.2.2,；
[0085] 若否则返回步骤2.2.2.1，采用从左到右从上到下的方式，在参考帧影像中该影像块内取下一个瓦片，在待匹配影像上建立同名匹配瓦片进行匹配，直到该块成功匹配；
[0086] 步骤2.2.2，进行最小二乘匹配精化，得到匹配结果。
[0087] 块内采用基于临近区域ORB特征匹配的方法进行匹配，实现方式为首先，采用ORB特征算子提取特征点，并进行特征描述；然后，采用图2所示的临近区域匹配搜索算法进行特征匹配，在待匹配影像上同名匹配瓦片内以同样坐标为中心点半径为R的区域内搜索匹配点。
[0088] 优选地，块间采用基于openMP的多线程匹配方法。由于卫星影像实际数据量非常大，为提高效率，影像被分为M*N个块，块内采用临近区域ORB算法匹配，每个块相互独立，在M*N次循环中，没有内存冲突，并行化程度较高，可对其进行并行化处理，具体实施时可在循环前加入相对应的openMP并行指令#pragma omp parallel，调用CPU多核进行处理，实现并行匹配。按本发明的距离，每个处理线程执行相应的块内匹配时，只涉及序列帧影像n-1中一个512*512瓦片和序列帧影像n中一个(512+50*2)*(512+50*2)的同名瓦片的数据，大大减少了计算资源要求，提高了处理效率。
[0089] 优选地，采用RANSAC算法剔除误匹配点。RANSAC假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。
[0090] 对于剔除粗差后的同名点，采用LSM匹配提高匹配点位精度。在剔除误匹配点后，匹配点具有较好的点位精度(在一个像素以内)。然而，由于特征匹配描述子点位精度不高，仍然存在一定的点位误差。本实施例采用最小二乘匹配(Least Squares Image Matching)，以特征匹配的同名点作为初始匹配点，进行匹配点位精化。
[0091] 考虑到待匹配影像和参考影像之间的几何
变形和灰度畸变，则可得：
[0092] k1Is(xs，ys)+k2-Ir(xr，yr)＝0
[0093] 其中xr＝a0+a1xs+a2ys,yr＝b0+b1ys+b2ys，a0，a1，a2，b0，b1，b2为几何变形系数，为仿射变换，k1，k2为辐射畸变系数，Ir(xr，yr)为参考影像上的灰度值，Is(xs，ys)为待配准影像上的灰度值。
[0094] 参见图5中基于GPU的运动估计算法。本发明的运动估计的算法，采用固定帧运动补偿算法，即采用匹配点，计算序列帧与参考帧之间的几何投影系数，投影到参考帧基准中。
[0095] 几何投影校正公式如下：
[0096]
[0097] 式中x、y为像元在原始影像上的坐标，X、Y为像元在校正后的影像上的像元图像坐标,ajk和bjk为几何校正系数。得到函数F1(X,Y)和F2(X,Y)的方法是采用原始图像与参考图像的同名点对(控制点)，应用最小二乘法求得。n取值2，采用二次多项式进行校正。
[0098] 步骤3中，影像间几何校正的流程为：
[0099] 1)根据同名点计算影像间的几何校正系数；
[0100] 2)将待校正影像拷贝至GPU全局
存储器中，将几何校正系数拷贝到GPU常量存储器中；
[0101] 3)设置GPU线程块大小，根据校正后影像大小确定线程块数量。
[0102] 4)GPU线程块内根据几何校正系数执行反算像点坐标，并进行双线性内插和赋值。
[0103] 5)将校正后的影像拷贝回主机内存中。
[0104] 具体实施时，本发明所提供方法可基于软件技术实现自动运行流程，也可采用模块化方式实现相应系统。本发明实施例还提供一种视频卫星成像在轨实时稳像系统，包括以下模块：
[0105] 第一模块，用于数据准备，包括设定第一帧为参考帧影像，序列帧为待匹配影像；
[0106] 第二模块，用于基于临近区域ORB特征匹配的运动估计，对参考帧进行分块匹配处理，得到序列帧与参考帧之间的同名匹配点，包括依据序列影像间的连贯性，建立参考帧与序列帧之间的粗几何关系，依据影像间的粗几何关系建立同名匹配瓦片，采用基于临近区域搜索的ORB匹配方式进行匹配；
[0107] 第三模块，用于运动补偿，包括根据第二模块匹配所得同名点计算序列帧与参考帧之间的运动补偿参数，对序列帧影像进行运动补偿，投影到参考帧的坐标系中；
[0108] 第四模块，用于视频影像生成，包括根据参考帧和运动补偿后的序列帧生成卫星视频流。
[0109] 各模块具体实现可参见相应步骤，本发明不予赘述。
[0110] 本文中所描述的具体实例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的
修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附
权利要求书所定义的范围。
