一种视频显著图提取方法
专利汇可以提供一种视频显著图提取方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种视频显著图提取方法，其首先通过对二维视频在时域上、在 水 平方向及在垂直方向进行 采样 ，分别得到X-Y截面图像、X-T截面图像和Y-T截面图像，然后通过对X-T截面图像和Y-T截面图像进行低秩矩阵分解提取出X-Y截面图像的运动显著图，对X-Y截面图像的特征矢量进行低秩矩阵分解提取出X-Y截面图像的空间显著图，最后对运动显著图和空间显著图进行融合，得到最终的视频显著图，优点是所获得的视频显著图能够较好地反映视频的静态和动态区域的显著变化情况，符合人眼运动显著语义的特征。，下面是一种视频显著图提取方法专利的具体信息内容。
1.一种视频显著图提取方法，其特征在于包括以下步骤：
①对呈三维立方体的二维视频在时域上进行采样，得到二维视频的T个X-Y截面图像，即得到二维视频的T个时刻的视频帧，将二维视频中的t时刻的视频帧记为{It(x,y)}，将{It(x,y)}中坐标位置为(x,y)的像素点的像素值记为It(x,y)，其中，T表示二维视频中包含的视频帧的总帧数，1≤t≤T，1≤x≤W，1≤y≤H，W表示二维视频中各时刻的视频帧的宽，H表示二维视频中各时刻的视频帧的高；
同样，对呈三维立方体的二维视频在X方向上进行采样，得到二维视频的W个Y-T截面图像，将二维视频中的第x个Y-T截面图像记为{Ix(y,t)}，将{Ix(y,t)}中坐标位置为(y,t)的像素点的像素值记为Ix(y,t)，Ix(y,t)＝It(x,y)；
同样，对呈三维立方体的二维视频在Y方向上进行采样，得到二维视频的H个X-T截面图像，将二维视频中的第y个X-T截面图像记为{Iy(x,t)}，将{Iy(x,t)}中坐标位置为(x,t)的像素点的像素值记为Iy(x,t)，Iy(x,t)＝It(x,y)；
②对二维视频中的每个Y-T截面图像进行低秩矩阵分解，并获取二维视频中的每个Y-T截面图像的最优垂直方向运动矩阵，同样对二维视频中的每个X-T截面图像进行低秩矩阵分解，并获取二维视频中的每个X-T截面图像的最优水平方向运动矩阵；然后根据二维视频中的每个Y-T截面图像的最优垂直方向运动矩阵和每个X-T截面图像的最优水平方向运动矩阵，获取二维视频中每个时刻的视频帧的运动显著图，将二维视频中的t时刻的视频帧{It(x,y)}的运动显著图记为{St,motion(x,y)}，其中，St,motion(x,y)表示{St,motion(x,y)}中坐标位置为(x,y)的像素点的像素值；
所述的步骤②的具体过程为：
②-1、对二维视频中的每个Y-T截面图像进行低秩矩阵分解，得到二维视频中的每个Y-T截面图像的所有垂直方向背景矩阵和所有垂直方向运动矩阵；
②-2、利用最小化概率密度函数，获取二维视频中的每个Y-T截面图像的最优垂直方向背景矩阵和最优垂直方向运动矩阵，将二维视频中的第x个Y-T截面图像{Ix(y,t)}的最优垂直方向背景矩阵和最优垂直方向运动矩阵对应记为 和 将 和 的组 合记
为 其中，Sx为二维视频中的第x个Y-T截面
图像{Ix(y,t)}的矩阵形式表示，Sx、 和 的维数均为H×T，arg min[ ]表示最小化概率密度函数，Ωx表示对Sx进行低秩矩阵分解得到的所有的垂直方向背景矩阵和垂直方向运动矩阵的组合(Bx,Mx)的集合，(Bx,Mx)∈Ωx，符号“|| ||*”为求取矩阵核的范数符号，符号“|| ||1”为求取矩阵的1-范数符号，λ为拉格朗日乘子；
②-3、根据二维视频的W个Y-T截面图像各自的最优垂直方向运动矩阵，通过在X方向上进行叠加，构造得到Y-T截面图像的立方体，记为ScubeYT，其中，ScubeYT的维数为W×H×T；
②-4、对二维视频中的每个X-T截面图像进行低秩矩阵分解，得到二维视频中的每个X-T截面图像的所有水平方向背景矩阵和所有水平方向运动矩阵；
②-5、利用最小化概率密度函数，获取二维视频中的每个X-T截面图像的最优水平方向背景矩阵和最优水平方向运动矩阵，将二维视频中的第y个X-T截面图像{Iy(x,t)}的最优水平方向背景矩阵和最优水平方向运动矩阵对应记为 和 将 和 的组合记
为 其中，Sy为二维视频中的第y个X-T截
面图像{Iy(x,t)}的矩阵形式表示，Sy、 和 的维数均为W×T，Ωy表示对Sy进行低秩矩阵分解得到的所有的水平方向背景矩阵和水平方向运动矩阵的组合(By,My)的集合，(By,My)∈Ωy；
②-6、根据二维视频的H个X-T截面图像各自的最优水平方向运动矩阵，通过在Y方向上进行叠加，构造得到X-T截面图像的立方体，记为ScubeXT，其中，ScubeXT的维数为W×H×T；
②-7、计算norm(ScubeXT·*ScubeYT)作为二维视频的初步的运动显著图，其中，norm( )表示归一化操作，norm(ScubeXT·*ScubeYT)中的符号“·*”为矩阵点乘符号；
②-8、采用高斯滤波器对二维视频的初步的运动显著图中每个时刻的X-Y截面图像进行平滑操作，得到二维视频中每个时刻的视频帧的运动显著图，将二维视频中的t时 刻的视频帧{It(x,y)}的运动显著图记为{St,motion(x,y)}，将{St,motion(x,y)}中坐标位置为(x,y)的像素点的像素值记为St,motion(x,y)，St,motion(x,y)＝S′t,motion(x,y)*Gσ(x,y)，其中，S′t,motion(x,y)表示二维视频的初步的运动显著图中的t时刻的X-Y截面图像，“*”为卷积操作符号，Gσ(x,y)表示标准差为σ的高斯函数， exp(
)为以e为底的指数函数，e表示自然基数；
③提取二维视频中每个时刻的视频帧中的每个像素点的特征矢量；然后对提取得到的所有像素点的特征矢量构成的矩阵进行低秩矩阵分解，并获取二维视频中每个时刻的视频帧中的所有像素点的特征矢量构成的矩阵的最优背景矩阵和最优运动矩阵；再根据二维视频中每个时刻的视频帧中的所有像素点的特征矢量构成的矩阵的最优运动矩阵，获得二维视频中每个时刻的视频帧的空间显著图，将二维视频中的t时刻的视频帧{It(x,y)}的空间显著图记为{St,spatial(x,y)}，其中，St,spatial(x,y)表示{St,spatial(x,y)}中坐标位置为(x,y)的像素点的像素值；
所述的步骤③的具体过程为：
③-1、将当前正在处理的二维视频中的t时刻的视频帧{It(x,y)}定义为当前视频帧；
③-2、提取当前视频帧中的每个像素点的红颜色分量、绿颜色分量、蓝颜色分量、色调分量和饱和度分量，由提取出的每个像素点的红颜色分量、绿颜色分量、蓝颜色分量、色调分量和饱和度分量构成对应像素点的第一特征矢量，其中，当前视频帧中的每个像素点的第一特征矢量的维数为5×(W×H)；
③-3、提取当前视频帧中的每个像素点经4个方向和3个尺度的可控金字塔滤波后
得到的振幅，由提取出的每个像素点对应的12个振幅构成对应像素点的第二特征矢量，其中，当前视频帧中的每个像素点的第二特征矢量的维数为12×(W×H)；
③-4、提取当前视频帧中的每个像素点经12个方向和3个尺度的Gabor滤波后得到的振幅，由提取出的每个像素点对应的36个振幅构成对应像素点的第三特征矢量，其中，当前视频帧中的每个像素点的第三特征矢量的维数为36×(W×H)；
③-5、将当前视频帧中的每个像素点的第一特征矢量、第二特征矢量和第三特征矢量按序重组构成对应像素点的特征矢量，然后对当前视频帧中的所有像素点的特征矢量 构成的矩阵进行低秩矩阵分解，得到当前视频帧中的所有像素点的特征矢量构成的矩阵的所有背景矩阵和所有运动矩阵；
③-6、利用最小化概率密度函数，获取当前视频帧中的所有像素点的特征矢量构
成的矩阵的最优背景矩阵和最优运动矩阵，对应记为 和 将 和 的组合记为
其中，F为当前视频帧中的所有像素点的特征
矢量构成的矩阵，F、 和 的维数均为53×(W×H)，arg min[ ]表示最小化概率密度函数，Ωt表示对F进行低秩矩阵分解得到的所有的背景矩阵和运动矩阵的组合(Bt,Mt)的集合，(Bt,Mt)∈Ωt，符号“|| ||*”为求取矩阵核的范数符号，符号“|| ||1”为求取矩阵的
1-范数符号，λ为拉格朗日乘子；
③-7、采用超像素分割技术将当前视频帧分割成M个互不重叠的区域，然后将 表
示为 其中，M≥1， 表示由 中属于第1个区域内
的所有像素点的特征矢量构成的矩阵， 表示由 中属于第2个区域内的所有像素点的特征矢量构成的矩阵， 表示由 中属于第M个区域内的所有像素点的特征矢量构成的矩阵， 为 的转置矢量， 为 的转置矢量， 为 的转置矢
量， 为 的转置矢量，符号“[ ]”为
矢量表示符号；
③-8、计算当前视频帧中的每个区域的空间显著值，将当前视频帧中的第k个区域的空间显著值记为ft,k， 然后将当前视频帧中的每个区域的空间显著值作为对应
区域内的所有像素点的空间显著值，得到当前视频帧中的每个像素点的空间显著值，从而得到当前视频帧的空间显著图，记为{St,spatial(x,y)}，其中，1≤k≤M， 表示由 中属于第k个区域内的所有像素点的特征矢量构成的矩阵，St,spatial(x,y)表示{St,spatial(x,y)}中坐标位置为(x,y)的像素点的像素值；
③-9、令t＝t+1，将二维视频中下一个时刻的视频帧作为当前视频帧，然后返回步骤③-2继续执行，直至二维视频中的所有视频帧处理完毕，得到二维视频中每个时刻的 视频帧的空间显著图，其中，t＝t+1中的“＝”为赋值符号；
④对二维视频中每个时刻的视频帧的运动显著图和空间显著图进行融合，得到二维视频中每个时刻的视频帧的视频显著图，将二维视频中t时刻的视频帧{It(x,y)}的视频显著图记为{Svideo(x,y)}，将{Svideo(x,y)}中坐标位置为(x,y)的像素点的像素值记为α 1-α
Svideo(x,y)，Svideo(x,y)＝(St,motion(x,y)) ×(St,spatial(x,y)) ，其中，α为权重系数。
2.根据权利要求1所述的一种视频显著图提取方法，其特征在于所述的步骤②-2和所述的步骤②-5中取λ＝0.06；所述的步骤②-8中取σ＝5。
3.根据权利要求1所述的一种视频显著图提取方法，其特征在于所述的步骤③-6中取λ＝0.06；所述的步骤③-7中取M＝200。
4.根据权利要求3所述的一种视频显著图提取方法，其特征在于所述的步骤④中取α＝0.3。
一种视频显著图提取方法
技术领域
背景技术
发明内容
面图像{Ix(y,t)}的矩阵形式表示， Sx、 和 的维数均为H×T，argmin[]
表示最小化概率密度函数，Ωx表示对Sx进行低秩矩阵分解得到的所有的垂直方向背景矩阵和垂直方向运动矩阵的组合(Bx,Mx)的集合，(Bx,Mx)∈Ωx，符号“|| ||*”为求取矩阵核的范数符号，符号“|| ||1”为求取矩阵的1-范数符号，λ为拉格朗日乘子；
截面图像{Iy(x,t)}的矩阵形式表示， Sy、 和 的维数均为W×T，Ωy
表示对Sy进行低秩矩阵分解得到的所有的水平方向背景矩阵和水平方向运动矩阵的组合(By,My)的集合，(By,My)∈Ωy；
矢量构成的矩阵， F、 和 的维数均为53×(W×H)，argmin[]表示最小化
概率密度函数，Ωt表示对F进行低秩矩阵分解得到的所有的背景矩阵和运动矩阵的组合(Bt,Mt)的集合，(Bt,Mt)∈Ωt，符号“|| ||*”为求取矩阵核的范数符号，符号“|| ||1”为求取矩阵的1-范数符号，λ为拉格朗日乘子；
量， 为 的转置矢量，符号“[]”为
矢量表示符号；
具体实施方式
面图像{Ix(y,t)}的矩阵形式表示， Sx、 和 的维数均为H×T，argmin[]
表示最小化概率密度函数，Ωx表示对Sx进行低秩矩阵分解得到的所有的垂直方向背景矩阵和垂直方向运动矩阵的组合(Bx,Mx)的集合，(Bx,Mx)∈Ωx，符号“|| ||*”为求取矩阵核的范数符号，符号“|| ||1”为求取矩阵的1-范数符号，λ为拉格朗日乘子，在本实施例中取λ=0.06。
截面图像{Iy(x,t)}的矩阵形式表示， Sy、 和 的维数均为W×T，Ωy表
示对Sy进行低秩矩阵分解得到的所有的水平方向背景矩阵和水平方向运动矩阵的组合(By,My)的集合，(By,My)∈Ωy，在本实施例中取λ=0.06。
矢量构成的矩阵， F、 和 的维数均为53×(W×H)，argmin[]表示最小化
概率密度函数，Ωt表示对F进行低秩矩阵分解得到的所有的背景矩阵和运动矩阵的组合(Bt,Mt)的集合，(Bt,Mt)∈Ωt，符号“|| ||*”为求取矩阵核的范数符号，符号“|| ||1”为求取矩阵的1-范数符号，λ为拉格朗日乘子，在本实施例中取λ=0.06。
的转置矢量， 为 的转置矢
量，符号“[]”为矢量表示符号，在本实施例中取M=200。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于安全视认的白天隧道入口段照明标准测算方法及其系统 | 2020-08-21 | 5 |
| 调色板表预测和发信的方法和装置 | 2020-11-05 | 6 |
| 具有石榴石结构的镥-钆荧光粉及其应用 | 2021-05-18 | 5 |
| 具有多种离散乳剂的组合物 | 2021-08-03 | 3 |
| 基于颜色和纹理显著性的目标检测方法 | 2020-10-02 | 6 |
| 热粘结的聚氨酯泡沫体 | 2021-09-15 | 1 |
| 光源模组和照明装置 | 2020-09-05 | 2 |
| Optical element composed of flame-resistant plastic | 2021-10-28 | 4 |
| 一种高亮度LED投光灯 | 2021-07-16 | 6 |
| Warm-white fluorescent lamp having good efficacy and color rendering and using special phosphor blend as separate undercoat | 2022-10-30 | 4 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
