基于六边形搜索及三帧背景对齐的动背景视频对象提取
专利汇可以提供基于六边形搜索及三帧背景对齐的动背景视频对象提取专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于六边形网格整 像素 运动估计 及三 帧 背景对齐的动背景下视频对象提取方法，包括如下步骤：首先将参考帧K帧，K-1帧，K+1帧分成8×8宏 块 ，根据宏块预判断准则对所有的宏块进行筛选；对筛选后的宏块采用六边形网格整像素运动估计方法进行 块匹配 ，得到K-1帧相对于K帧的 运动矢量 场，K+1帧相对于K帧的运动矢量场，并通过最小二乘法计算全局运动参数；对第K-1帧和K+1帧分别进行 运动补偿 ，使第K-1帧和第K+1帧分别与第K帧背景对齐，得到重建帧K-1'和K+1'；对重建帧K-1'、参考帧K及重建帧K+1'分别采用Roberts算子提取边缘信息，分别计算其相对于参考帧边缘的帧差，最大方差 阈值 进行二值化；最后采用形态学及中值滤波等进行后处理，实现对于动背景下视频对象的快速有效分割。，下面是基于六边形搜索及三帧背景对齐的动背景视频对象提取专利的具体信息内容。
1.一种基于六边形网格整像素运动估计及三帧背景对齐的动背景下视频对象提取方法，其特征在于包括以下步骤：
(1)将参考帧K帧，K-1帧，K+1帧分成8×8宏块，根据纹理信息对K-1帧、K+1帧中所有宏块进行预判断、筛选；
(2)对上述筛选后的宏块采用SAD准则、基于六边形网格整像素搜索策略进行块匹配，以K-1帧作为当前帧、K帧作为参考帧，得到K-1帧相对于K帧的运动矢量场；以K+1帧作为当前帧、K帧作为参考帧，得到K+1帧相对于K帧的运动矢量场，并通过最小二乘法计算全局运动参数，获得摄像机六参数模型；
(3)对第K-1帧进行运动补偿，使第K-1帧与第K帧背景对齐，得到重建帧K-1'，对第K+1帧进行运动补偿，使第K+1帧与第K帧背景对齐，得到重建帧K+1'；
(4)分别采用Roberts算子提取边缘信息，分别计算其相对于参考帧K边缘的帧差，并采用最大方差阈值进行二值化；
(5)采用与运算及形态学、中值滤波进行后处理，实现动背景下视频对象的快速有效分割。
2.根据权利要求1所述的方法，其特征在于所述步骤(1)的对于当前帧K-1帧、K+1帧中分成的8×8宏块进行预判断及筛选，具体步骤如下：
由于在下述步骤中应用最小二乘法计算全局运动参数的时候，很多误差大的宏块被直接删除，如果能够在最小二乘法运算之前将误差大的宏块剔除，将显著的提高运算速度，并降低运算量；而决定宏块误差大小、影响计算准确性的重要因素便是宏块的纹理信息，也就是梯度信息；本部分提出的宏块预判断及筛选的方法正是从宏块的梯度信息出发，根据设定的阈值对于宏块进行筛选抑或保留，当宏块的信息量小于该阈值时，对该宏块进行筛选，不作为下述步骤中参与块匹配的宏块；当信息量大于该阈值时，则对宏块进行保留，作为有效特征块参与进行下述的运动估计等运算：
其主要步骤如下：
第一步：将每一帧分成8×8子块，经试验证明，若采用分成16×16子块的形式则计算量过大，若分成4×4子块则块匹配等方法不够精确，故采用8×8子块的形式；
第二步：采用Sobel算子得到每一帧的梯度图，将梯度信息作为宏块剔除的判断依据；
其中 表示该点的梯度信息，Gx、Gy分别表示偏导数；
第三步：计算每一个宏块的梯度量；以8×8子块为例，其梯度量为：
第四步：确定宏块预断的阈值，一般保留所有宏块的40％，根据这个确定的值，对所有宏块的梯度量进行排序，确定保留40％下宏块筛选的最佳阈值T；
第五步：完成对于宏块的筛选，若其梯度量>T，则对宏块进行保留，作为有效特征块参与进行下述的运动估计等运算；若其梯度量
(i)块匹配准则SAD
本部分采用SAD块匹配准则，该准则不仅能够找到最佳匹配点，并且计算量小、耗时短：
其中(i,j)为位移量，fk和fk-1分别为当前帧和上一帧的灰度值，M×N为宏块的大小，若在某一点处SAD(i,j)达到最小，则该点为要找的最优匹配点；
(ii)六边形网格整像素搜索策略
六边形网格整像素搜索策略的基本思想是采用多种模板进行宏块匹配，同时利用时空相关性进行运动矢量场的预测，搜索时针对不同的运动类型采用了大范围粗搜索混合模板、细搜索六边形模板和精细搜索菱形模板完成搜索；
方法各步骤如下：
第一步：起始点预测：使用如下5种预测模式预测运动矢量MV，分别是：
①中值预测：利用空间相关性，令当前子块的左、上、右邻块的运动矢量的中间值为预测运动矢量；
②原点预测：令运动矢量为(0,0)；
③Uplayer预测：利用H.264运动估计可变宏块划分的特点，从模式1(16×16)到模式
7(4×4)的分级搜索顺序，取已求出的同位置上一级、大一倍块的运动矢量；
④对应块预测：利用时间相关性，取前一帧同位置块的运动矢量作为预测结果；
⑤相邻参考帧预测：利用时间相关性，令前一参考帧中对应位置块的MV按比例进行预测；
第二步：对以上MV所指向的点使用非对称十字模板搜索，获得当前的最佳预测起点；
随后根据不同起始点的率失真结果使用阈值进行判断，分为非满意区域、满意区域和很满意区域，分别转入第三步，第四步和第五步；
第三步：对于不满意的块使用如下方式进行搜索；
⑥以目前最优点为中心，在(-2,2)的方形区域中进行逐点搜索；获得当前最优点，判断此处是否属于满意或很满意区，跳到相应的第四步或第五步；或继续搜索；
⑦用不断扩大一倍直径的大六边形模板进行搜索，直至搜索到能符合相应阈值而进入第四步或第五步的搜索点为止；或者搜索模板完全超出搜索窗范围，也结束第三步的搜索；
第四步：以目前最优点为中心，使用六边形模板进行搜索，直至最优点位于六边形中心为止；
第五步：对很满意区域的子块进行搜索，以目前最优点为中心，使用菱形模板进行搜索，直至最优点在菱形模板中心为止；
(iii)最小二乘法获得摄像机六参数模型
选取步骤(i)中获取到的当前帧K-1及当前帧K+1中两侧子块作为特征块，将经过(i)(ii)步骤获得的运动矢量代入摄像机六参数模型(如下式)后，采用最小二乘法估计参数m0、m1、m2、n0、n1、n2；6参数仿射变换模型：可以对平移、旋转、缩放运动进行建模，其定义如下：
其中m0和n0分别表示像素点在x和y方向的平移幅度，m1、n1、m2、n2四个参数描述了缩放和旋转转动。
4.根据权利要求1所述的方法，其特征在于所述步骤(3)的通过运动补偿分别获得当前帧K-1、K+1的重建帧K-1'、K+1'，其具体内容如下：
对于当前帧k-1帧、k+1帧中的每一个点根据上述获取的摄像机模型，计算其分别在参考帧K中的对应位置并对其进行赋值，从而实现对于K-1帧、k+1帧的全局运动补偿，使补偿后的重建帧k-1'、k+1'与参考帧k的背景对齐，从而实现下述结合边缘信息、自适应最大方差阈值的基于六边形网格整像素运动估计及三帧背景对齐的动背景下视频分割方法。
5.根据权利要求1所述的方法，其特征在于所述步骤(4)的采用Roberts算子提取边缘信息，并分别与参考帧K边缘进行差分，并采用最大方差阈值进行二值化，其具体步骤如下：
(i)Roberts算子提取边缘信息，并与参考帧K边缘进行差分；
边缘检测算子种类很多，这里选择Roberts边缘检测算子对于重建帧k-1'、k+1'及k帧进行边缘特征提取；
令f(x,y)为输入图像，g(x,y)为输出图像，则Roberts边缘梯度可以由下式求出：
写成模板形式如下所示：
应用Roberts算子对于重建帧k-1'、k+1'及k帧分别提取边缘的结果为：fk-1'(x,y)、fk+1'(x,y)及fk(x,y)；
对重建帧k-1'与k帧的边缘，重建帧k+1'与k帧的边缘进行图像差分运算，求得帧差d1与d2，其中：
帧差d1＝|fk-1'(x,y)-fk(x,y)|，帧差d2＝|fk+1'(x,y)-fk(x,y)|；
(ii)采用最大方差阈值进行二值化
最大方差阈值是一种自适应的阈值确定方法，它以最佳门限将图像的直方图分成两组，当两组间的方差为最大时，决定阈值；所以本部分采用这种方法来实现边缘图像差分结果的二值化；
设一幅图像的灰度值为0～m-1级，灰度值i的像素数为ni，则总的像素点数：
各值的概率为：
设最佳阈值为T，用阈值T将像素分成两组：C0＝{0～T-1}和C1＝{T～m-1}，C0和C1产生的概率及平均值有以下公式得出：
C0产生的概率
C1产生的概率
C0的平均值
C1的平均值
其中：
则全部采样的灰度平均值为：μ＝w0μ0+w1μ1
两组间的方差：
在1～m-1之间求上式为最大值时的T，即为最佳阈值；
根据所得到的最佳阈值T对边缘检测结果进行二值化。
基于六边形搜索及三帧背景对齐的动背景视频对象提取
技术领域：
139帧经过Roberts边缘检测的处理结果；(i)表示Coastguard视频序列的第140帧的重建帧经过Roberts边缘检测的处理结果；(j)表示Coastguard视频序列的第139帧采用本发明方法经过运动估计、补偿的三帧背景对齐方法后提取的二值视频对象平面；(k)表示Coastguard视频序列的第139帧采用本发明方法经过运动估计、补偿的三帧背景对齐方法后提取的视频对象平面；
具体实施方式：
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于更新的运动矢量的运动预测 | 2020-05-11 | 875 |
| 一种基于多传感器组合的合成孔径声呐运动补偿方法 | 2020-05-13 | 1027 |
| 基于时域分析深度网络的工人作业姿势分类方法 | 2020-05-14 | 579 |
| 基于距离像复包络相位匹配处理的空间进动目标成像方法 | 2020-05-13 | 28 |
| 图像信号处理器偏置补偿噪声降低系统和方法 | 2020-05-14 | 134 |
| 运动图像编码装置及其方法、运动图像解码装置及其方法 | 2020-05-13 | 711 |
| 一种机动目标ISAR成像方法 | 2020-05-15 | 548 |
| BIO中的时间梯度计算的改善 | 2020-05-08 | 107 |
| 使用更新的运动信息的限制 | 2020-05-08 | 264 |
| 视频解码方法和设备以及视频编码方法和设备 | 2020-05-12 | 882 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
