一种基于惯性感知的视频防抖系统及其工作方法
专利汇可以提供一种基于惯性感知的视频防抖系统及其工作方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于惯性 感知 的视频防抖系统及其工作方法。该方法首先使用惯性 传感器 来追踪相机的旋转，然后通过追踪 视频 帧 中特征点的坐标变化，进一步地估计相机的平移。通过惯性-视觉融合，该方法能够准确、鲁棒地估计相机的运动，并降低计算开销。然后基于Android智能设备，本发明设计并实现了一个实时的视频防抖系统。在系统实现过程中，本发明采用多线程优化技术来降低视频防抖的处理时间。最终在Android移动设备上，实现了实时的视频防抖系统，并且很好地满足用户对视频防抖的需求。，下面是一种基于惯性感知的视频防抖系统及其工作方法专利的具体信息内容。
1.一种基于惯性感知的视频防抖系统，其特征在于，包括：相机运动估计模块、相机运动平滑模块及视频帧变换模块；其中，
相机运动估计模块，根据陀螺仪采集的角速度数据以及相机拍摄的视频，估计相机的
3D旋转和平移，得到原始相机运动轨迹；
相机运动平滑模块，对上述相机运动估计模块得到的原始相机运动轨迹进行平滑，消除在运动过程中出现的抖动部分，得到平滑相机运动轨迹；
视频帧变换模块，根据上述原始相机运动轨迹和平滑相机运动轨迹之间的映射关系，生成一个新的视频帧，即稳定视频帧。
2.根据权利要求1所述的基于惯性感知的视频防抖系统，其特征在于，所述相机运动估计模块进行的相机旋转估计，以50-200Hz的频率采集陀螺仪数据，获取设备的角速度数据，对采集到的角速度数据通过积分得到设备的旋转；然后基于设备局部坐标和相机坐标系之间的转换，根据设备的旋转推导出相机的旋转，其中旋转使用旋转矩阵来表示，记为R。
3.根据权利要求1或2所述的基于惯性感知的视频防抖系统，其特征在于，所述相机运动平滑模块进行的相机平移估计，在相邻视频帧之间追踪特征点，并使用相邻帧之间匹配的特征点对的坐标变化来计算相机的平移。
4.根据权利要求3所述的基于惯性感知的视频防抖系统，其特征在于，所述相机平移估计的计算平移方法为：
a.对于视频的每个图像帧，提取ORB特征点，然后在相邻视频帧之间，记为(Ii，Ii+1)，通过特征点匹配来得到匹配的特征点对，记为(Pj，i，Pj，i+1)，其表示同一个3D目标点Pj分别在相邻视频帧Ii和Ii+1上的投影点；
b.对于匹配的特征点对(Pj，i，Pj，i+1)，特征点Pj，i和Pj，i+1之间的坐标满足对极约束关系；
对极约束的几何意义是Pj,Pj，i，Pj，i+1三点共面，并且包含了相机的旋转和平移，即，Pj，i+1K-T[Ti，i+1]×Ri，i+1K-1Pj，i＝0；其中，Pj，i+1和Pj，i分别表示对应特征点的像素坐标，通过特征点的提取和匹配得到；K表示相机的内参数矩阵，通过预先的相机标定工具计算得到；Ri，i+1表示相邻视频帧之间的相对旋转；Ti，i+1表示相邻视频帧之间的相对平移；
c.通过相机旋转估计，计算得到相对旋转Ri，i+1，并将计算得到的Ri，i+1代入到对极约束等式中，此时该等式中唯一的未知项是Ti，i+1，其中有3个未知参数，即
分别表示在x轴、y轴及z轴上的平移；
d.使用多个匹配的特征点对来构建方程组，该方程组由多个对极变换等式构成；由于有3个未知参数，因此要求等式的数量大于等于3，即需要3个以上的特征点对；然后通过最小二乘法求解该方程组，计算得到 这三个参数，即计算得到了相邻视频
帧之间的相对平移Ti，i+1。
5.根据权利要求1所述的基于惯性感知的视频防抖系统，其特征在于，所述生成一个新的视频帧具体为：将原始视频帧中的每一个像素映射到其所在稳定视频帧中对应的像素位置。
6.一种基于惯性感知的视频防抖系统的工作方法，其特征在于，其包括以下步骤：
1)以每秒20-30帧的频率拍摄视频，并在视频拍摄的过程中，以50-200Hz的频率来采集陀螺仪数据；
2)对已拍摄视频的每一帧进行特征点提取，并使用采集到的陀螺仪数据来计算相机的旋转；
3)在相邻视频帧之间进行特征点匹配，并使用匹配的特征点对计算相机的平移，得到原始相机运动轨迹；
4)对上述原始相机运动轨迹进行平滑，得到平滑的相机运动轨迹；
5)根据原始相机运动轨迹和平滑的相机运动轨迹之间的映射关系，生成一个新的视频帧，即稳定视频帧；
6)将生成的稳定视频帧依次写入文件，得到稳定的视频。
7.根据权利要求6所述的基于惯性感知的视频防抖系统的工作方法，其特征在于，所述的步骤2)中的特征点提取，通过多线程并行技术被加速处理；具体为：将视频帧沿水平方向分为四块，然后使用四个线程来并行地对每一分块进行特征点提取，降低特征点提取的时延。
8.根据权利要求6所述的基于惯性感知的视频防抖系统的工作方法，其特征在于，所述的步骤4)中对原始相机运动轨迹进行平滑的方法为：
41)相机平移平滑，相机平移由一个三维向量表示，有三个维度，对三个维度上的平移序列分别采用低通滤波器进行平滑；
42)相机旋转平滑，相机旋转由一个3╳3的旋转矩阵进行表示，将3╳3的旋转矩阵转换为对应的3╳1的欧拉角，然后对3个独立的欧拉角序列分别采用低通滤波器进行平滑，最后将平滑后的欧拉角转换为对应的旋转矩阵形式。
9.根据权利要求6所述的基于惯性感知的视频防抖系统的工作方法，其特征在于，所述步骤5)具体为：将原始视频帧中的每一个像素映射到其所在稳定视频帧中对应的像素位置。
10.根据权利要求6所述的基于惯性感知的视频防抖系统的工作方法，其特征在于，所述步骤2)、步骤3至5)、步骤6)分别用单独的线程来并行处理；具体地，使用三个线程来并行地提取特征点和估计相机旋转、处理原始视频帧来得到稳定视频帧、以及将稳定视频帧写入文件；通过多线程并行处理，降低视频防抖的处理时间，实现实时的视频防抖系统。
一种基于惯性感知的视频防抖系统及其工作方法
技术领域
背景技术
发明内容
视频帧之间的相对平移Ti，i+1。
具体实施方式
相邻视频帧之间的相对平移Ti，i+1。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种仿鸽子智能的无人机自主导航系统及方法 | 2020-05-23 | 4 |
| 基于固定积分时间的嵌入式红外图像超帧处理方法 | 2020-06-25 | 3 |
| 一种具有类框架小波结构的小波域运动估计方法 | 2021-08-06 | 5 |
| 参考数据载入的方法及装置 | 2021-08-27 | 5 |
| Reducing and correcting motion estimation artifacts during video frame rate conversion | 2020-12-10 | 1 |
| Moving image coder and control method thereof, and program | 2022-01-19 | 3 |
| Method of multi-resolution based motion estimation and recording medium storing program to implement the method | 2021-12-23 | 4 |
| Method for non exhaustive motion estimation which times out | 2023-02-09 | 3 |
| IMAGE DISPLAYING APPARATUS HAVING FRAME RATE CONVERSION AND METHOD THEREOF | 2021-10-09 | 1 |
| STANDARDS-COMPLIANT MODEL-BASED VIDEO ENCODING AND DECODING | 2020-10-25 | 3 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
