一种结合光流法和卡尔曼滤波的视频稳像方法
专利汇可以提供一种结合光流法和卡尔曼滤波的视频稳像方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种结合光流法和卡尔曼滤波的视频稳像方法，首先在预稳定阶段，通过光流法 跟踪 视频 帧 的最小特征值特征点，由此求解出每个视频帧的2D仿射变换矩阵，并将其作用于下一步输入视频的帧，从而将最终生成的裁剪视频作为预稳定阶段的输出。然后对预稳定视频帧进行Shi-Tomasi 角 点检测，并对角点进行LK角点跟踪；随后利用RANSAC 算法 估计全局运动；再使用卡尔曼 滤波器 对得到的运动参数进行滤波，以达到平滑的目的；最后由原始相机路径与平滑路径的关系进行 运动补偿 ，从而得到稳定视频；本发明采用光流法预稳定视频，使得视频内部运动减小，使得运动效果更好；本发明采用卡尔曼滤波器平滑相机路径，使得内部运动路径更加平滑。从而使得抖动视频更加稳定。，下面是一种结合光流法和卡尔曼滤波的视频稳像方法专利的具体信息内容。
1.一种结合光流法和卡尔曼滤波的视频稳像方法，其特征在于，包括以下步骤：
步骤1：针对原始抖动视频，进行预处理；
步骤2：对预处理后的视频帧进行角点检测；
步骤3：对角点进行角点跟踪；
步骤4：估计全局运动；
步骤5：对得到的运动参数进行滤波；
步骤6：由原始相机路径与平滑路径的关系进行运动补偿，从而得到稳定视频。
2.根据权利要求1所述的结合光流法和卡尔曼滤波的视频稳像方法，其特征在于：步骤
1中所述预处理，是通过光流法跟踪视频帧的最小特征值特征点，由此求解出每个视频帧的
2D仿射变换矩阵Ht，并将Ht作用于下一步输入视频的帧，从而将最终生成的裁剪视频作为预稳定阶段的输出；
t t+1
其中，在第t帧的特征点表示为fi ，对应的t+1帧的特征点为fi ，求解每帧2D仿射变换矩阵Ht，使得二阶导数的平方积分最小化，具体计算公式为：
其中，E(H)表示仿射变换矩阵导数平方积分最小化。
3.根据权利要求1所述的结合光流法和卡尔曼滤波的视频稳像方法，其特征在于：步骤
2中，对预处理后的视频帧进行Shi-Tomasi角点检测；
假设I(u,v)表示为灰度图的灰度值，(u,v)表示移动窗口其中一点的像素坐标，当窗口移动(Δx,Δy)得到的灰度值变化具体计算公式为：
其中， 表示窗口函数；
为了得到角点位置，只需要求E(Δx,Δy)的极大值；对灰度变换进行泰勒展开并舍去高阶项，具体计算公式为：
其中，M具体计算公式为：
其中，Ix,Iy分别表示x,y方向上的梯度值，代表张量积运算；假设λ1和λ2为M的2个特征值，且给定一个阈值λ，如果某一点满足min(λ1,λ2)＞λ，则存在Shi-Tomasi特征点；反之，则不存在特征点。
4.根据权利要求1所述的结合光流法和卡尔曼滤波的视频稳像方法，其特征在于：步骤
3中，对角点进行LK角点跟踪；LK跟踪算法是一种以待跟踪窗口相邻帧间的灰度平方和SSD作为度量的匹配算法；
假设一个包含特征纹理信息的特征窗口W，设t时刻对应的视频帧用I(x,y,t)表示，t+τ时刻对应的视频帧用I(x,y,t+τ)表示，对应的位置具体计算公式为：
I(x,y,x+τ)＝I(x-Δx,y-Δy)；
其中，Δx,Δy为X(x,y)的偏移量；而在I(x,y,t+τ)中的每个像素点，根据I(x,y,t)中相对应的像素点平移d(Δx,Δy)求得；
假设相邻帧I和J，为了找到能够使SSD最小化的d；ε具体计算公式为：
其中，ε表示SSD，W是给定的特征窗口，ω(X)是数值为1的权重函数，X表示视频帧运动位移，I(X)表示对应时刻的视频帧；
因d远小于X，即对J(X+d)进行泰勒展开，且去掉最高次项，仅保留前两项，而g是泰勒展开式的一阶泰勒系数；为了得到最佳匹配的角点，对最小化d求导化简得到具体计算公式为：
其中，gx是图像x方向的矩阵；gy是图像y方向的矩阵；
为了得到最优的匹配，对每个点进行牛顿迭代，求得最终解，具体计算公式为：
其中，dk表示第k次迭代所计算得到的d值，且初始值d0＝0。
5.根据权利要求1所述的结合光流法和卡尔曼滤波的视频稳像方法，其特征在于：步骤
4中，采用仿射变换作为相邻帧间的全局运动，利用RANSAC算法估计出帧间的仿射变换矩阵；
其数学模型可表示为：
其中， 是仿射变换矩阵，a11,a12,a21,a22表示视频帧间的旋转和缩放部
分，a13,a23表示视频帧间的平移部分；
假设视频帧I与J是相邻的两帧图像，运动参数具体计算公式为：
其中，(x,y)为视频帧I的中心像素点，Tx为水平方向平移值，Ty为垂直方向平移值；X表示图像水平方向；Y表示图像垂直方向；
根据跟踪到的角点，利用RANSAC算法估计出相邻帧间的仿射变换矩阵，求解得到第t帧到第t+1帧的单应变换矩阵Ht，由此计算原始相机路径Ct，具体计算公式为：
Ct＝Ct-1Ht,t＝1,2,…,N；
其中，N表示视频总帧数。
6.根据权利要求1所述的结合光流法和卡尔曼滤波的视频稳像方法，其特征在于：步骤
5中，使用卡尔曼滤波器对得到的运动参数进行滤波；
利用卡尔曼滤波对运动路径做优化的预测模型具体计算公式为：
其中，X(t|t-1)表示第t帧对应状态量预测的结果，X(t-1|t-1)表示第t-1帧对应状态量的最优估计值，P(t|t-1)表示第t帧对应的状态协方差，F表示系统转移矩阵，Q表示预测噪声的方差；
卡尔曼滤波器的更新模型具体计算公式为：
其中，M(t)表示第t帧的卡尔曼增益，t表示观测矩阵，I表示单位矩阵，R表示测量噪声的协方差，P(t|t)表示滤波后的协方差，H表示均方误差。
7.根据权利要求1-6任意一项所述的结合光流法和卡尔曼滤波的视频稳像方法，其特征在于：步骤6中，通过运动平滑对相机路径Ct平滑处理之后，将对视频的每一帧进行补偿；
假设补偿矩阵为Bt，则得到的视频帧间的路径Pt，具体计算公式为：
Pt＝CtBt
t t
通过视频帧间路径计算得出相邻帧间的补偿矩阵B ；计算每一帧的补偿矩阵后，利用B对每一帧图像进行几何变换，从而得到稳定的帧序列，也就得到了稳定的视频。
一种结合光流法和卡尔曼滤波的视频稳像方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种行人导航定位中的自适应零速修正方法 | 2020-05-08 | 121 |
| 一种基于位置动力学的雪崩模拟方法 | 2020-05-11 | 804 |
| 图像处理方法以及电子设备 | 2020-05-14 | 745 |
| 一种三驱动机械臂的视觉跟随系统 | 2020-05-11 | 540 |
| 一种目标跟踪模板自适应更新方法 | 2020-05-16 | 741 |
| 一种基于深度神经网络的运动预测方法和智能终端 | 2020-05-08 | 1012 |
| 基于增量学习算法的人脸识别跟踪器 | 2020-05-08 | 286 |
| 一种用于柔性内窥镜操作机器人的运动控制方法 | 2020-05-15 | 145 |
| 一种基于DS证据理论的目标轨迹优化方法 | 2020-05-17 | 597 |
| 基于模型和点云全局匹配的空间非合作目标位姿估计方法 | 2020-05-16 | 28 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
