一种适用于缩放运动和明暗变化的视频帧率上变换方法
专利汇可以提供一种适用于缩放运动和明暗变化的视频帧率上变换方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种适用于缩放运动和明暗变化的 视频 帧 率上变换方法，其根据该类视频帧 信号 的内容特征分三个阶段完成缩放系数、平移系数、明暗变化参数的估计，最后进行基于缩放和明暗变化的 运动补偿 实现帧率上 采样 。本发明对缩放系数、平移系数、明暗变化等参数的估计较传统的基于 块 匹配 运动矢量 估计补偿法有显著的预测 精度 提升，处理速度较基于全搜索、三步搜索、菱形搜素的 块匹配 运动估计 补偿法有大幅度提高。，下面是一种适用于缩放运动和明暗变化的视频帧率上变换方法专利的具体信息内容。
1.一种适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，包括以下步骤：
S1、读取待处理视频流中相邻两帧视频图像，搜索该相邻两帧视频图像的所有特征点，并为每个特征点生成一个特征矢量；
S2、根据特征矢量对原始视频流中相邻两帧视频图像的特征点进行匹配，得到相邻两帧之间的特征匹配对的坐标；
S3、根据特征匹配对的坐标计算视频帧图像每个区域的缩放系数和平移系数；
S4、根据缩放系数和平移系数对视频帧图像的每个区域进行缩放平移运动补偿，得到预测帧；
S5、获取连续两帧视频图像的帧间商，根据帧间商和相匹配的特征点的像素值获取明暗变化参数，并判断明暗变化参数是否等于1，若是则进入步骤S7，否则进入步骤S6；
S6、根据明暗变化参数调整预测帧的像素值得到上变换插入帧，将上变换插入帧插入与其对应的连续两帧视频图像之间，进入步骤S8；
S7、直接将预测帧插入与其对应的连续两帧视频图像之间，进入步骤S8；
S8、采用与步骤S1至步骤S7相同的方法对待处理视频流进行遍历，完成对待处理视频流的视频帧上变换。
2.根据权利要求1所述的适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，所述步骤S1的具体方法包括以下子步骤：
S1-1、根据公式
L(x,y,δ)＝G(x,y,kδ)-G(x,y,δ)
生成差分离散尺度空间核函数L；其中
δ＝kp·δ0,p＝0,1,2,3,4； x和y分别为横纵坐标值；
S1-2、将前后两帧视频图像分别与L相卷积，分别得到与前帧对应的5个差分图像和与后帧对应的5个差分图像
为卷积运算；Ft1表示前帧视频图像；Ft2表示
后帧视频图像；
S1-3、分别对 进行行列隔点降采样后与L相卷积，分别得到与前帧对应
的5个差分图像 和与后帧对应的5个差分图像
S1-4、将最新得到的差分图像通过与步骤S1-3相同的方法获取差分图像 和其中q＝2,3,4,5；
S1-5、将步骤S1-2、步骤S1-3和步骤S1-4中得到的差分图像进行组合得到与每帧图像相对应的6组不同尺寸的差分图像组，其中每组包括5个尺寸相同、离散尺度δ不同的差分图像；
S1-6、搜索同组相邻差分图像的极值点，剔除其中低于设定阈值的点和边缘点，将剩余极值点作为该尺寸的特征点；其中设定阈值为图像像素点最大值的3％；
S1-7、对于每一个特征点，根据公式
获取最接近尺度值为δ的高斯图像LL；
δ＝kp·δ0,p＝0,1,2,3,4； x和y分别为横纵坐标值；Ftl,l＝1,2表示前后两帧视频图像；
S1-8、以该特征点为中心，计算以3×1.5δ为半径的邻域内高斯图像LL梯度的幅度和角度，并采用直方图统计邻域内像素的梯度方向和幅度；其中梯度方向直方图将0°～360°的范围平分为36个方向；梯度方向直方图的峰值代表该特征点处邻域内图像梯度的主方向，即该特征点的主方向θ；
S1-9、以该特征点为中心将特征点邻域图像的梯度和方向旋转一个方向角θ后，以该特征点为中心取大小为mδB×mδB的图像区域；其中m＝3，B＝4；
S1-10、将该mδB×mδB图像区域等分成B×B个子区域，将每个子区域等分为8个方向的梯度方向，其中每个方向为45°；
S1-11、计算一个子区域内每个梯度方向中的像元个数和，得到8个数据，遍历B×B个子区域得到B×B×8个数据，将B×B×8个数据记为该特征点的特征矢量。
3.根据权利要求1所述的适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，所述步骤S2的具体方法包括以下子步骤：
S2-1、计算前帧视频图像中某个特征点A的特征矢量与后帧视频图像中所有特征矢量之间的欧氏距离，判断最小的欧氏距离是否小于次最小欧式距离的ρ％，若是则将前帧视频图像中的特征点A与后帧视频图像中与特征点A欧氏距离最小的特征点A'记为最佳匹配对；
否则认为后帧视频图像中无与特征点A相匹配的特征点；其中ρ＝50；
S2-2、采用与步骤S2-1相同的方法遍历前帧视频图像中的所有特征点，完成两帧视频图像特征点的匹配，并获取两帧之间的特征匹配对的坐标。
4.根据权利要求1所述的适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，所述步骤S3中根据特征匹配对的坐标计算视频帧图像每个区域的缩放系数的具体方法包括以下子步骤：
S3-1-1、以每个特征匹配对为一个计算单元，根据公式
获取该视频帧的缩放系数集；其中zoomscalerx{i}为x方向的缩放系数集；
zoomscalery{i}为y方向的缩放系数集；Δxt1为前帧视频图像中相邻两个特征点之间横坐标的欧氏距离；Δxt2为与Δxt1中两个特征点相对应的两个特征点之间横坐标的欧氏距离；
Δyt1为前帧视频图像中相邻两个特征点之间纵坐标的欧氏距离；Δyt2为与Δyt1中两个特征点相对应的两个特征点之间纵坐标的欧氏距离；M为特征点匹配对的个数；
S3-1-2、分别对缩放系数集zoomscalerx{i}和zoomscalery{i}进行k均值聚类，剔除孤立参数，获取聚类中心值，将整个视频帧分为N1个缩放区域，以聚类中心值作为该视频帧图像每个缩放区域的横向缩放系数zoomscalerX{j}和纵向缩放系数zoomscalerX{j}，其中j＝1,2,...,N1。
5.根据权利要求4所述的适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，所述步骤S3中根据特征匹配对的坐标计算视频帧图像每个区域的平移系数的具体方法包括以下子步骤：
S3-2-1、以每个特征匹配对为一个计算单元，根据公式
计算各个特征匹配对的平移系数集；其中translatx{i}为x方向的平移系数集；
translaty{i}为y方向的平移系数集；xt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的横坐标；xt2{i}为后帧视频图像中与xt1{i}相匹配的特征点的横坐标；yt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的纵坐标；yt2{i}为后帧视频图像中与yt1{i}相匹配的特征点的纵坐标；zoomscalerX{j}为特征点(xt1{i},yt1{i})所在缩放区域的横向缩放系数；zoomscalerY{j}为特征点(xt1{i},yt1{i})所在缩放区域的纵向缩放系数；
S3-2-2、分别对平移系数集translatx{i}和translaty{i}进行k均值聚类，剔除孤立参数，将视频帧分为N2个平移区域，以聚类中心值作为各平移区域的横向平移系数translatX{j}和纵向平移系数translatY{j}，j＝1,2,...,N2；
S3-2-3、根据约束条件N3≥max(N1,N2)将整个视频帧重新调整为N3个区域，使视频帧图像每个区域内的像素具有相同的缩放参数和平移参数；当N3＝1时将整个视频帧图像视为一个区域；其中max(·)为取最大值函数。
6.根据权利要求1所述的适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，所述步骤S4的具体方法包括以下子步骤：
S4-1、以视频帧的每个区域为一个计算单元，根据公式
计算待插入帧的区域缩放系数；其中zoomSx{j}为待插入帧在x方向的区域缩放系数；
zoomSy{j}为待插入帧在y方向的区域缩放系数；zoomscalerX{j}为特征点(xt1{i},yt1{i})所在区域的横向缩放系数；zoomscalerY{j}为特征点(xt1{i},yt1{i})所在区域的纵向缩放系数；xt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的横坐标；xt2{i}为后帧视频图像中与xt1{i}相匹配的特征点的横坐标；yt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的纵坐标；yt2{i}为后帧视频图像中与yt1{i}相匹配的特征点的纵坐标；n为当前连续两帧视频图像之间待插入帧的总数，由目标帧率与待处理视频流的帧率计算得到；
S4-2、根据公式
Translx{j}＝translatX{j}/(n+1)
Transly{j}＝translatY{j}/(n+1)
j＝1,2,...,N3
计算待插入帧的区域平移系数；其中Translx{j}为待插入帧在x方向的区域平移系数；
Transly{j}为待插入帧在y方向的区域平移系数；translatX{j}为该区域的横向平移系数；
translatY{j}为该区域的纵向平移系数；
S4-3、根据公式
对待插入帧的每个区域进行上采样后得到预测帧集合frameS{t}，frameS{j}{t}∈frameS{t}；其中t＝1,2,...,n；ix＝max(1,Translx{j}×t×zoomSx{j}+1)；max(·)表示取最大值；
iy＝max(1,Transly{j}×t×zoomSy{j}+1)；
upscale(f,a,b)表示采用双cubic插值法将参考图像区域f放大a×b倍；
Ft1{j}(ix:ox,iy:oy)和Ft2{j}(ix:ox,iy:oy)为待插入视频帧的某个图像区域在原始视频流中对应的前帧和后帧图像区域。
7.根据权利要求1所述的适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，所述步骤S5的具体方法包括以下子步骤：
S5-1、根据公式
获取帧间商 其中 为前帧视频图像的平均像素值； 为后帧视频图像的平均像素值；./表示两矩阵对应元素相除；
S5-2、根据公式
计算变化参数valuescaler{i}；其中vt1{i}为前帧视频图像中第i个具有匹配对的特征点的像素值；vt2{i}为后帧视频图像中与vt1{i}所对应特征点相匹配的特征点的像素值；M为特征点匹配对的个数；
S5-3、将变化参数valuescaler{i}和与其对应的特征点所在区域的帧间商的聚类中心值作为该区域明暗变化参数。
8.根据权利要求1所述的适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，所述步骤S6中根据明暗变化参数调整预测帧的像素值得到上变换插入帧的具体方法为：
根据公式
frame{t}＝frameS{j}{t}×Valuescaler{j}
调整预测帧各个区域的像素值得到上变换插入帧frame{t}；其中frameS{j}{t}为第t帧预测帧的第j区域；Valuescaler{j}为第j区域的明暗变化参数。
一种适用于缩放运动和明暗变化的视频帧率上变换方法
技术领域
背景技术
发明内容
后帧视频图像；
Δyt1为前帧视频图像中相邻两个特征点之间纵坐标的欧氏距离；Δyt2为与Δyt1中两个特征点相对应的两个特征点之间纵坐标的欧氏距离；M为特征点匹配对的个数；
具体实施方式
后帧视频图像；
Δyt1为前帧视频图像中相邻两个特征点之间纵坐标的欧氏距离；Δyt2为与Δyt1中两个特征点相对应的两个特征点之间纵坐标的欧氏距离；M为特征点匹配对的个数；
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于类Haar视觉特征感知的运动估计方法 | 2020-05-08 | 874 |
| 用于红外图像序列的背景运动估计方法、装置及存储介质 | 2020-05-11 | 112 |
| 一种语义驱动的相机定位与地图重建方法和系统 | 2020-05-15 | 328 |
| 一种视频图像超分辨率重建方法及装置 | 2020-05-11 | 422 |
| 一种智能监控机器人 | 2020-05-11 | 1040 |
| 一种基于连续超声图像的无创颅内压测量方法 | 2020-05-14 | 763 |
| 一种纹理图整数运动估计并行实现方法 | 2020-05-08 | 640 |
| 用于兴趣区编码的运动约束图块集合 | 2020-05-15 | 572 |
| 基于自适应步长和Levenberg-Marquardt优化的视频弹性运动估计方法 | 2020-05-11 | 344 |
| 一种连续图像的目标检测方法、装置、设备及存储介质 | 2020-05-08 | 943 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
