基于卫星视频的运动检测方法、装置、设备和存储介质
阅读：410发布：2020-05-08
专利汇可以提供基于卫星视频的运动检测方法、装置、设备和存储介质专利检索，专利查询，专利分析的服务。并且本 发明 公开了基于卫星视频的 运动检测 方法、装置、设备和存储介质，在全局场景补偿的 基础 上，利用改进的ViBe背景模型进行前景、背景 像素 判别，生成初始的检测结果二值图；然后通过连通域分析，在二值图中分割出初始的运动目标集；通过神经网络模型的训练结果，对运动目标集作进一步分类，并根据分类结果调整相应 位置 的模型更新参数和背景样本，对背景模型进行有差别更新和检测，从而实现场景非一致运动下的卫星视频稳健运动检测；可有效提升运动目标的检测 精度 和检准精度，建立高精度、稳健的背景模型，有效降低场景运动造成的误检测虚警。，下面是基于卫星视频的运动检测方法、装置、设备和存储介质专利的具体信息内容。
1.基于卫星视频的运动检测方法，其特征在于：包括：
输入卫星视频或帧序列，利用像方补偿帧间运动估计模型进行帧间的场景运动补偿处理；
在卫星视频或帧序列的第1帧中，建立改进的背景模型；
从卫星视频或帧序列的第2帧开始，对影像帧进行背景模型比对，判断影像帧中的前景、背景像素；
生成判断结果的二值图影像，对二值图影像进行连通域分析，分割出初始的运动目标集；
利用目标检测网络模型在当前帧中提取目标，针对分割出的运动目标集进行检测判断，在其他区域进行目标检测，得到目标集合；
利用运动目标集和目标集合，调整背景模型中相应像素位置的模型参数；
根据调整后的模型参数进行相应位置的背景模型参数更新。
2.根据权利要求1所述的基于卫星视频的运动检测方法，其特征在于：所述输入卫星视频或帧序列，利用像方补偿帧间运动估计模型进行帧间的场景运动补偿处理表现为：
所述输入卫星视频或帧序列，利用基于有理函数模型的像方补偿帧间运动估计模型进行帧间的场景运动补偿处理。
3.根据权利要求1所述的基于卫星视频的运动检测方法，其特征在于：所述利用初始目标集和目标集合，调整背景模型中相应像素位置的模型参数中的调整方法包括：
当待判断目标判断为真实运动目标，则不做修正；
当待判断目标判断为伪运动目标或真实运动目标，则减小背景模型中更新因子的值；
当待判断目标判断为背景，则不做修正；
当待判断目标判断为可能漏检的目标或静止目标，则增大更新因子的值，并减小判断半径的值。
4.根据权利要求1所述的基于卫星视频的运动检测方法，其特征在于：所述在卫星视频或帧序列的第1帧中，建立改进的背景模型中的背景模型为ViBe背景模型。
5.根据权利要求1所述的基于卫星视频的运动检测方法，其特征在于：所述利用目标检测网络模型在当前帧中提取目标，针对分割出的初始目标集进行检测判断，在其他区域进行目标检测，得到目标集合中的目标检测网络模型为YOLO V3网络。
6.基于卫星视频的运动检测装置，其特征在于：包括补偿单元，用于输入卫星视频或帧序列，利用像方补偿帧间运动估计模型进行帧间的场景运动补偿处理；
判断单元，用于在卫星视频或帧序列的第1帧中，建立改进的背景模型；从卫星视频或帧序列的第2帧开始，对影像帧进行背景模型比对，判断影像帧中的前景、背景像素；生成判断结果的二值图影像，对二值图影像进行连通域分析，分割出初始目标集；利用目标检测网络模型在当前帧中提取目标，针对分割出的初始目标集进行检测判断，在其他区域进行目标检测，得到目标集合；
调整单元，用于利用初始目标集和目标集合，调整背景模型中相应像素位置的模型参数；
更新单元，用于根据调整后的模型参数进行相应位置的背景模型参数更新。
7.基于卫星视频的运动检测的设备，其特征在于：包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1-5任一项所述的基于卫星视频的运动检测方法。
8.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-5任一项所述的基于卫星视频的运动检测方法。
基于卫星视频的运动检测方法、装置、设备和存储介质
技术领域
[0001] 本发明涉及航天摄影领域，特别是一种基于卫星视频的运动检测方法、装置、设备和存储介质。
背景技术
[0002] 对特定区域进行凝视监控的能力为视频卫星的最主要特征之一，通过凝视监控的能力视频卫星可获取观测范围内的遥感影像的动态信息，从而进一步对地观测的动态信息进行应用和分析。在动态信息获取的过程中，针对场景内的运动目标检测和有效提取是首要解决的问题，然而，由于视频卫星大多飞行在太阳同步轨道上，在视频成像的过程中，场景是时刻变化的，且这种变化是局部非一致性的尤其是地形起伏较明显或城市高楼林立的区域，容易造成运动检测的误检测虚警，严重影响后续的动态应用和分析。
发明内容
[0003] 为了克服现有技术的不足，本发明的目的在于提供基于卫星视频的运动检测方法和装置，引入目标检测神经网络模型，在卫星视频条件下，确保运动目标的检测精度、同时有效降低场景变化造成的局部误检测虚警。
[0004] 本发明解决其问题所采用的技术方案是：
[0005] 第一方面，本发明提供了基于卫星视频的运动检测方法，包括
[0007] 在卫星视频或帧序列的第1帧中，建立改进的背景模型；
[0009] 生成判断结果的二值图影像，对二值图影像进行连通域分析，分割出初始的运动目标集；
[0010] 利用目标检测网络模型在当前帧中提取目标，针对分割出的运动目标集进行检测判断，在其他区域进行目标检测，得到目标集合；
[0011] 利用运动目标集和目标集合，调整背景模型中相应像素位置的模型参数；
[0012] 根据调整后的模型参数进行相应位置的背景模型参数更新。
[0013] 进一步，所述输入卫星视频或帧序列，利用像方补偿帧间运动估计模型进行帧间的场景运动补偿处理表现为：所述输入卫星视频或帧序列，利用基于有理函数模型的像方补偿帧间运动估计模型进行帧间的场景运动补偿处理。
[0014] 进一步，所述利用初始目标集和目标集合，调整背景模型中相应像素位置的模型参数中的调整方法包括：
[0015] 当待判断目标判断为真实运动目标，则不做修正；
[0016] 当待判断目标判断为伪运动目标或真实运动目标，则减小背景模型中更新因子的值；
[0017] 当待判断目标判断为背景，则不做修正；
[0018] 当待判断目标判断为可能漏检的目标或静止目标，则增大更新因子的值，并减小判断半径的值。
[0019] 进一步，所述在卫星视频或帧序列的第1帧中，建立改进的背景模型中的背景模型为ViBe背景模型。
[0020] 进一步，所述利用目标检测网络模型在当前帧中提取目标，针对分割出的初始目标集进行检测判断，在其他区域进行目标检测，得到目标集合中的目标检测网络模型为YOLO V3网络。
[0021] 第二方面，本发明提供了基于卫星视频的运动检测装置，包括：
[0022] 补偿单元，用于输入卫星视频或帧序列，利用像方补偿帧间运动估计模型进行帧间的场景运动补偿处理；
[0023] 判断单元，用于在卫星视频或帧序列的第1帧中，建立改进的背景模型；从卫星视频或帧序列的第2帧开始，对影像帧进行背景模型比对，判断影像帧中的前景、背景像素；生成判断结果的二值图影像，对二值图影像进行连通域分析，分割出初始目标集；利用目标检测网络模型在当前帧中提取目标，针对分割出的初始目标集进行检测判断，在其他区域进行目标检测，得到目标集合；
[0024] 调整单元，用于利用初始目标集和目标集合，调整背景模型中相应像素位置的模型参数；
[0025] 更新单元，用于根据调整后的模型参数进行相应位置的背景模型参数更新。
[0026] 第三方面，本发明提供了基于卫星视频的运动检测的设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1-4任一项所述的基于卫星视频的运动检测方法。
[0027] 第四方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如上所述的基于卫星视频的运动检测方法。
[0028] 第五方面，本发明还提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使计算机执行如上所述的基于卫星视频的运动检测方法。
[0029] 本发明实施例中提供的一个或多个技术方案，至少具有如下有益效果：
[0030] 在全局场景补偿的基础上，利用改进的ViBe背景模型进行前景、背景像素判别，生成初始的检测结果二值图；然后通过连通域分析，在二值图中分割出初始的运动目标集；通过神经网络模型的训练结果，对运动目标集作进一步分类，并根据分类结果调整相应位置的模型更新参数和背景样本，对背景模型进行有差别更新和检测，从而实现场景非一致运动下的卫星视频稳健运动检测。
[0031] 通过引入神经网络模型进行辅助运动检测，能够识别出尺寸小、运动速度较慢或与背景对比度较低的目标，对运动检测的强力补充，可有效提升运动目标的检测精度和检准精度。增加背景模型参数，使得背景模型具备动态适应性，较好地描述背景的局部不一致性变化，建立高精度、稳健的背景模型。在提升召回率的同时，可有效降低场景运动造成的误检测虚警，包括全局运动和局部差异化运动。附图说明
[0032] 下面结合附图和实例对本发明作进一步说明。
[0033] 图1是本发明实施例提供的基于卫星视频的运动检测方法的第五实施方式的流程图；
[0034] 图2是本发明实施例提供的基于卫星视频的运动检测方法的检测目标集的ViBe检测结果示意图；
[0035] 图3是本发明实施例提供的基于卫星视频的运动检测方法的检测目标集的深度网络检测结果示意图；
[0036] 图4是本发明实施例提供的基于卫星视频的运动检测方法的样本取样的高低亮度对比示意图；
[0037] 图5是本发明实施例提供的基于卫星视频的运动检测的样本顺时针旋转0度示意图；
[0038] 图6是本发明实施例提供的基于卫星视频的运动检测的样本顺时针旋转90度示意图；
[0039] 图7是本发明实施例提供的基于卫星视频的运动检测的样本顺时针旋转180度示意图；
[0040] 图8是本发明实施例提供的基于卫星视频的运动检测的样本顺时针旋转270度示意图；
[0042] 图10是本发明实施例提供的基于卫星视频的运动检测的ViBe算法检测结果与深度网络检测差异化对比第二示意图；
[0043] 图11是本发明实施例提供的基于卫星视频的背景模型更新区域虚线框示意图；
[0044] 图12是本发明实施例提供的一种基于卫星视频的运动检测装置的结构示意图；
[0045] 图13是本发明实施例提供的一种基于卫星视频的运动检测设备示意图。
具体实施方式
[0046] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0047] 在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
[0048] 需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。
[0049] 本发明第一实施例的基于卫星视频的运动检测方法，包括：
[0050] S10：输入卫星视频或帧序列，利用像方补偿帧间运动估计模型进行帧间的场景运动补偿处理；
[0051] S21：在卫星视频或帧序列的第1帧中，建立改进的背景模型；
[0052] S22：从卫星视频或帧序列的第2帧开始，对影像帧进行背景模型比对，判断影像帧中的前景、背景像素；
[0053] S23：生成判断结果的二值图影像，对二值图影像进行连通域分析，分割出初始的运动目标集；
[0054] S30：利用目标检测网络模型在当前帧中提取目标，针对分割出的运动目标集进行检测判断，在其他区域进行目标检测，得到目标集合；
[0055] S40：利用运动目标集和目标集合，调整背景模型中相应像素位置的模型参数；
[0056] S50：根据调整后的模型参数进行相应位置的背景模型参数更新。
[0057] 本发明第二实施例的基于卫星视频的运动检测方法，包括：所述输入卫星视频或帧序列，利用像方补偿帧间运动估计模型进行帧间的场景运动补偿处理表现为：所述输入卫星视频或帧序列，利用基于有理函数模型的像方补偿帧间运动估计模型进行帧间的场景运动补偿处理。
[0058] 本发明第三实施例的基于卫星视频的运动检测方法，包括：所述利用初始目标集和目标集合，调整背景模型中相应像素位置的模型参数中的调整方法包括：
[0059] 当待判断目标判断为真实运动目标，则不做修正；
[0060] 当待判断目标判断为伪运动目标或真实运动目标，则减小背景模型中更新因子的值；
[0061] 当待判断目标判断为背景，则不做修正；
[0062] 当待判断目标判断为可能漏检的目标或静止目标，则增大更新因子的值，并减小判断半径的值。
[0063] 本发明第四实施例的基于卫星视频的运动检测方法，包括：所述利用目标检测网络模型在当前帧中提取目标，针对分割出的初始目标集进行检测判断，在其他区域进行目标检测，得到目标集合中的目标检测网络模型为YOLO V3网络。
[0064] 参照图1，本发明第五实施例的基于卫星视频的运动检测方法，包括：
[0065] S10：输入卫星视频或帧序列，利用基于有理函数模型的像方补偿帧间运动估计模型进行帧间的场景运动补偿处理。
[0066] 根据不同帧的同名像素光线交会于一点的原理，能够通过地面点建立帧间的变化关系，完成初始的场景全局补偿。帧间运动估计模型见下式所示。
[0067]
[0068]
[0069]
[0070]
[0071] 其中，为利用有理函数模型RFM计算出的第n帧影像像方坐标，为RFM计算出的第n+1帧像方坐标，a0,n+1、a1,n+1、a2,n+1、b0,n+1、b1,n+1、 b2,n+1为像方多项式补偿系数。在补偿后，生成标准凝视视频。
[0072] S21：在卫星视频或帧序列的第1帧中，建立改进的ViBe背景模型；
[0073] ViBe背景模型为：M(x)＝{v1,v2...vn,uf,ra}
[0074] 其中，v表示背景采样像素，n表示样本索引号，uf表示更新因子，ra表示判断半径。
[0075] S22：从卫星视频或帧序列的第2帧开始，对影像帧进行ViBe背景模型比对，判断影像帧中的前景、背景像素。
[0076] 判断方法如下：
[0077] numi＝1,if abs(vi-v)>ra
[0078] numi＝0,else
[0079] resv＝0,if
[0080] resv＝255else
[0082] 参照图2，S23：生成判断结果的二值图影像，对二值图影像进行连通域分析，分割出初始的运动目标集；
[0083] 分割出初始的运动目标集为objViBe。
[0084] 参照图3，S30：利用目标检测网络模型在当前帧中提取目标，针对分割出的运动目标集进行检测判断，在其他区域进行目标检测，得到目标集合objNet；
[0085] 目标检测网络可选择适合小的目标检测网络模型，比如YOLO V3 网络。由于卫星视频下的目标尺寸较小，一般为7*7或5*5左右。因此YOLO V3网络在边框预测时选择的聚类尺寸要尽可能符合目标尺寸。比如3*3、5*5、5*7等。
[0086] 需要注意的是，目标检测网络在训练时，选取的目标样本要关注如下特点：
[0087] (1)运动的目标。
[0088] (2)参照图4，目标灰度多样性。尤其包括亮度较暗和对比度较低的目标；
[0089] (3)目标旋转特性。样本选择要包括多角度的目标，或者对样本进行多角度的旋转处理。参照图5-8，其中图5、图6、图7、图8 分别为逆时针旋转0、90、180、270度。
[0090] S40：利用运动目标集和目标集合，调整背景模型中相应像素位置的模型参数；
[0091] 调整方法为：
[0092]
[0093] 其中，Obj为待判断目标，TO表示真实运动目标(ViBe方法和神经网络方法均判断为运动目标)，FO表示可能的伪运动目标或真实运动目标(ViBe方法判断为运动目标和神经网络方法判断为背景)， BG表示背景(ViBe方法和神经网络方法均判断为背景)，MO表示可能漏检的目标或静止目标(ViBe方法判断为背景和神经网络方法判断为运动目标)。参照图9，高楼建筑存在伪运动，被ViBe背景模型检测为运动目标，而深度网络方法检测为背景。此时目标判定为FO；参照图10，针对小的暗的目标的检测。ViBe方法并没有检测出来，而基于深度网络的方法可检测出来，那么认定该目标为MO；调整方法为：
[0094] 当待判断目标判断为真实运动目标，则不做修正；
[0095] 当待判断目标判断为伪运动目标或真实运动目标，则减小背景模型中更新因子的值；
[0096] 当待判断目标判断为背景，则不做修正；
[0097] 当待判断目标判断为可能漏检的目标或静止目标，则增大更新因子的值，并减小判断半径的值。
[0098] S50：根据调整后的模型参数进行相应位置的背景模型参数更新。
[0099] 背景模型参数更新的策略为：y＝random(1,udf)。
[0100] 其中，random表示区间的随机数生成器，当y取值为1时，进行背景模型更新。方法为：在更新区域中随机选取一个像素，替换掉当前模型中的一个样本，该样本同样是随机选择。更新区域为目标运动的反方向及左右两侧的部分邻域，如图11所示，目标运动方向为上，虚线框为更新区域。
[0101] S60：循环步骤S20-S50，直到视频结束。
[0102] 参照图12，本发明实施例还提供了一种应用上的基于卫星视频的运动检测方法的装置，包括：
[0103] 补偿单元，用于输入卫星视频或帧序列，利用像方补偿帧间运动估计模型进行帧间的场景运动补偿处理；
[0104] 判断单元，用于在卫星视频或帧序列的第1帧中，建立改进的背景模型；从卫星视频或帧序列的第2帧开始，对影像帧进行背景模型比对，判断影像帧中的前景、背景像素；生成判断结果的二值图影像，对二值图影像进行连通域分析，分割出初始目标集；利用目标检测网络模型在当前帧中提取目标，针对分割出的初始目标集进行检测判断，在其他区域进行目标检测，得到目标集合；
[0105] 调整单元，用于利用初始目标集和目标集合，调整背景模型中相应像素位置的模型参数；
[0106] 更新单元，用于根据调整后的模型参数进行相应位置的背景模型参数更新。
[0107] 需要说明的是，由于本实施例中的基于卫星视频的运动检测装置与上述的压紧控制的方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本装置实施例，此处不再详述。
[0108] 参照图13，本发明实施例还提供了基于卫星视频的运动检测设备，该基于卫星视频的运动检测设备200可以是任意类型的智能终端，例如手机、平板电脑、个人计算机等。
[0109] 具体地，该压紧控制的设备200包括：一个或多个控制处理器 201和存储器202，图13中以一个控制处理器201为例。
[0110] 控制处理器201和存储器202可以通过总线或者其他方式连接，图13中以通过总线连接为例。
[0111] 存储器202作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的压紧控制的方法对应的程序指令/模块，例如，图12中所示的判断单元1100、执行单元1200、测量单元1300、计算单元1400。控制处理器201通过运行存储在存储器202中的非暂态软件程序、指令以及模块，从而执行基于卫星视频的运动检测装置1000的各种功能应用以及数据处理，即实现上述方法实施例的基于卫星视频的运动检测的方法。
[0112] 存储器202可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据压紧控制的装置1000的使用所创建的数据等。此外，存储器202可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器202可选包括相对于控制处理器201远程设置的存储器，这些远程存储器可以通过网络连接至该基于卫星视频的运动检测的设备200。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0113] 一个或者多个模块存储在存储器202中，当被一个或者多个控制处理器201执行时，执行上述方法实施例中的基于卫星视频的运动检测的方法，例如，执行以上描述的图1中的方法步骤，实现图12中的单元1100-1400的功能。
[0114] 本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，被图13中的一个控制处理器201执行，可使得上述一个或多个控制处理器201执行上述方法实施例中的基于卫星视频的运动检测的方法，例如，执行以上描述的图1中的方法步骤，实现图12中的单元1100-1400的功能。
[0115] 以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0116] 通过以上的实施方式的描述，本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，基于卫星视频的运动检测的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，基于卫星视频的运动检测的存储介质可为磁碟、光盘、只读存储记忆体(ReadOnly Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种用于检测电极针拉力的工装 | 2020-05-08 | 878 |
| 一种核能安全泄压阀及位置指示器装置 | 2020-05-08 | 723 |
| 一种开关锁机构、锁具及车辆 | 2020-05-08 | 92 |
| 一种自动上料设备及方法 | 2020-05-08 | 411 |
| 基于磁流变阻尼器的弹射器后坐缓冲装置的控制方法 | 2020-05-08 | 278 |
| 检测设备，控制方法及计算机可读记录介质 | 2020-05-08 | 164 |
| 一种使用残差注意力机制网络的同步定位与建图方法 | 2020-05-08 | 764 |
| 一种Stewart并联机构次镜平台空间包络判定方法 | 2020-05-08 | 104 |
| 一种基于特征关联的视频群体人物运动轨迹跟踪方法 | 2020-05-08 | 262 |
| 一种紧凑型刚柔耦合平台连接结构及其构成的多轴运动平台 | 2020-05-08 | 725 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈