一种全景视频防抖的方法、装置及便携式终端
专利汇可以提供一种全景视频防抖的方法、装置及便携式终端专利检索，专利查询，专利分析的服务。并且本 发明 适用于视频领域，提供了一种全景视频防抖的方法、装置及便携式终端。所述方法包括：实时获取便携式终端中的 陀螺仪 的当前状态时间戳、 加速 度计 数值和 角 速度 数值；利用 扩展卡 尔曼滤波结合加速度计数值和角速度数值，估计得到便携式终端到世界 坐标系 的旋转量；同步陀螺仪时间戳与全景 视频 帧 的时间戳；对陀螺仪的状态进行四元数插值获取对应全景视频帧的旋转矩阵；根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。本发明能得到更为精确的旋转矩阵，然后根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。因此最终能稳定抖动的视频帧，能减轻VR晕动症，对大噪声场景和大部分运动场景都有很强的鲁棒性。，下面是一种全景视频防抖的方法、装置及便携式终端专利的具体信息内容。
1.一种全景视频防抖的方法，其特征在于，所述方法包括：
实时获取便携式终端中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值；
利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计得到便携式终端到世界坐标系的旋转量；
同步陀螺仪时间戳与全景视频帧的时间戳；
对便携式终端到世界坐标系的旋转量进行四元数插值获取对应全景视频帧的旋转矩阵；
根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧；
所述实时获取便携式终端中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值之后，所述方法还包括：
利用低通滤波对加速度计数值进行降噪处理，具体包括：
通过公式d'i＝α·di+(1-α)·Φ(ωi)·d'i-1对加速度计数值进行低通滤波降噪处理，其中，di'表示第i时刻经过低通滤波后的加速度计数值，di表示第i时刻的加速度计数值，Φ(ωi)为第i时刻的状态转移矩阵，Φ(ωi)＝exp(-[ωi·Δt]×)，ωi表示第i时刻的角速度数值，d 'i-1表示第i-1时刻时滤波后的加速度计数值，α表示平滑因子，其中fc表示低通滤波的截止频率，Rc表示时间常数，Δt表示陀螺
仪数据的采样时间间隔。
2.如权利要求1所述的方法，其特征在于，实时获取便携式终端中的陀螺仪的加速度计数值具体是：利用重力感应器读取三轴加速度计数值；
实时获取便携式终端中的陀螺仪的角速度数值具体是：利用角速度感应器读取三轴角速度数值。
3.如权利要求1或2所述的方法，其特征在于，所述利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计得到便携式终端到世界坐标系的旋转量具体包括：
S1021、计算初始状态旋转量 和初始过程协方差 所述初始状态旋转量
其中，d0为初始获得的加速度计数值，g为世界坐标系重
力矢量；所述初始过程协方差
S1022、利用角速度数值ωk计算第K时刻的状态转移矩阵Φ(ωk)：
Φ(ωk)＝exp(-[ωk·Δt]×)，其中ωk是第K时刻的角速度数值，Δt表示陀螺仪数据的采样时间间隔；
S1023、计算状态噪声的协方差矩阵Qk，更新状态旋转先验估计量 和过程协方差先验估计矩阵
Qk为状态噪声的协方差矩阵；
其中， 是第K-1时刻的状态旋转后验估计量；
其中， 是第K-1时刻的过程协方差后验估计矩阵；
S1024、由加速度计数值dk更新观测量的噪声方差矩阵Vk，计算观测转移雅克比矩阵Hk，计算当前观测量和估计观测量之间的误差ek：
其中 ，
α为加速度变化量的平滑因子，β为加速度模长的影响因子；
其中h为观察函数，h(q,v)＝q·g+Ik，g为世界坐标系下的重力矢量，q为状态量，即世界坐标系到陀螺仪坐标系的旋转量，Ik为测量噪声；
S1025、更新第k时刻的最优卡尔曼增益矩阵Kk：
S1026、根据最优卡尔曼增益矩阵Kk和观测量误差ek更新便携式终端到世界坐标系的旋转后验估计量 和过程协方差后验估计矩阵
4.如权利要求3所述的方法，其特征在于，所述同步陀螺仪时间戳与全景视频帧的时间戳具体为：
同步陀螺仪时间戳与全景视频帧的时间戳，使tk≥tj＞tk-1，其中tj是全景视频时间戳，tk为陀螺仪第K帧的时间戳，tk-1为陀螺仪第K-1帧的时间戳。
5.如权利要求4所述的方法，其特征在于，所述对便携式终端到世界坐标系的旋转量进行四元数插值获取对应全景视频帧的旋转矩阵具体包括：
计算邻近陀螺仪时间戳的相对旋转量， 其中，rk为第K时刻的相对旋转量，和 为第k和k-1时刻的状态后验估计量，即世界坐标系到陀螺仪坐标系的旋转量；
进行四元数插值获取全景视频帧到第k帧的相对旋转量，Rj＝γ·I+(1-γ)·rk，其中，Rj为第k帧的相对旋转量， I为单位矩阵；
计算全景视频帧中第j帧视频的旋转矩阵
6.如权利要求5所述的方法，其特征在于，所述根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧具体包括：
把经纬度二维图像上的栅格点映射到球面坐标；
遍历单位球上的所有点，利用当前的旋转矩阵对单位球上的所有点进行旋转，生成稳定的视频帧；
其中，利用当前的旋转矩阵对单位球上的所有点进行旋转具体采用以下的公式：
其中，[x,y,z]T表示单位圆旋转之前的球面坐标，[xnew,ynew,znew]T表示旋转后的球面坐标，t表示位移向量，t＝[0,0,0]T。
7.一种全景视频防抖的装置，其特征在于，所述装置包括：
获取模块，用于实时获取便携式终端中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值；
降噪处理模块，用于利用低通滤波对加速度计数值进行降噪处理，具体包括：通过公式d'i＝α·di+(1-α)·Φ(ωi)·d'i-1对加速度计数值进行低通滤波降噪处理，其中，d'i表示第i时刻经过低通滤波后的加速度计数值，di表示第i时刻的加速度计数值，Φ(ωi)为第i时刻的状态转移矩阵，Φ(ωi)＝exp(-[ωi·Δt]×)，ωi表示第i时刻的角速度数值，d'i-1表示第i-1时刻时滤波后的加速度计数值，α表示平滑因子， 其中fc
表示低通滤波的截止频率，Rc表示时间常数，Δt表示陀螺仪数据的采样时间间隔；
估计模块，用于利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计得到便携式终端到世界坐标系的旋转量；
同步模块，用于同步陀螺仪时间戳与全景视频帧的时间戳；
插值模块，用于对便携式终端到世界坐标系的旋转量进行四元数插值获取对应全景视频帧的旋转矩阵；
旋转模块，用于根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的全景视频防抖的方法的步骤。
9.一种便携式终端，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的全景视频防抖的方法的步骤。
一种全景视频防抖的方法、装置及便携式终端
技术领域
背景技术
发明内容
具体实施方式
101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的全景视频防抖的方法的步骤。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种非接触测量GIS设备位移反演应力的方法 | 2020-05-11 | 861 |
| 一种三驱动机械臂的视觉跟随系统 | 2020-05-11 | 540 |
| 一种基于多目标追踪框架的无人机视频中车速校正方法 | 2020-05-15 | 896 |
| 阴影莫尔参数标定用结构、标定方法及失调误差消除方法 | 2020-05-13 | 277 |
| 图像处理方法以及电子设备 | 2020-05-14 | 745 |
| 一种标准的虚拟正弦直线振动测量方法 | 2020-05-15 | 906 |
| 车辆拐弯轨迹双向计算方法、系统、装置 | 2020-05-12 | 962 |
| 一种基于双流卷积神经网络和SVM的抽烟动作识别方法 | 2020-05-12 | 767 |
| 基于深度图像的机器人定位与建图方法和装置 | 2020-05-13 | 367 |
| 一种用于柔性内窥镜操作机器人的运动控制方法 | 2020-05-15 | 145 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
