一种带有徘徊异常提示的分层视频摘要方法
专利汇可以提供一种带有徘徊异常提示的分层视频摘要方法专利检索，专利查询，专利分析的服务。并且本 发明 提供了一种带有徘徊异常提示的分层视频 摘要 方法，适合于视频监控场景下的海量视频快速浏览。步骤：利用高斯混合模型对输入视频进行背景训练和前景检测；基于前景对运动的行人进行 跟踪 ，获取每个行人跟踪的数据集；针对行人跟踪数据集进行特征提取，包括 人脸检测 、 亮度 计算和视觉注意 力 计算；最小化视频层次的 能量 函数，在每个行人数据集中筛选出一个最具代表性的图像，融合到背景图像上，形成视频层次的视频摘要；根据行人跟踪信息，进行运动轨迹的拟合及运动方向的判断；判断是否有徘徊行为发生；最小化行人层次的能量函数，从行人跟踪数据集中筛选出最具代表性的几张图片；将行人的多种信息融合到背景图像上，生成行人层次的摘要。，下面是一种带有徘徊异常提示的分层视频摘要方法专利的具体信息内容。
1.一种带有徘徊异常提示的分层视频摘要方法，其特征在于，所述方法将视频摘要分为视频层次和行人层次两个层次，行人层次的摘要具有徘徊异常提示的功能；
所述方法包括以下步骤：
第一步：对视频数据进行预处理，得到背景图像和对视频中每个行人跟踪的数据集；
第二步：针对第一步得到的行人跟踪数据集进行特征提取，包括人脸检测、亮度计算和视觉注意力计算，用于生成视频层次的能量函数；
第三步：最小化第二步生成的能量函数，用于从第一步每个行人数据集中筛选出一个最具代表性的图像，融合到背景图像上，形成视频层次的视频摘要；
第四步：根据第一步的行人跟踪的数据集，进行运动轨迹的拟合及运动方向的判断，用于生成行人层次的摘要信息；
第五步：根据第一步的行人跟踪的数据集判断是否有徘徊行为发生；
第六步：根据第一步的行人跟踪的数据集进行特征提取，包括空间分布、行人外表变化、图像亮度及碰撞程度，生成行人层次的能量函数，然后对其进行最小化，目的是从第一步的行人跟踪数据集中筛选出最具信息量的图片集合，用于生成行人层次的摘要信息；
第七步：将第四步到第六步获得行人的多种信息融合到背景图像上，生成行人层次的摘要，该摘要具有徘徊异常提示的功能；
所述第二步，具体为：
让T＝{t1,...,tM}表示M个行人的跟踪数据集，其中 表示行人Xi的跟踪数
据集；
让视觉注意力 代表图像的重要性或吸引力：
其中D(IK,Ii)表示像素点IK和Ii在Lab颜色空间的距离，area(Xji)表示图像Xji的面积，Xji代表视频中第i个行人的第j个跟踪结果；
让 代表图像的明暗程度：
其中IY表示图像Xji的灰度图； 表示图像亮度；
让 代表图像中是否有正脸检测到：
2.根据权利要求1所述的带有徘徊异常提示的分层视频摘要方法，其特征在于，第三步中，所述最小化视频层次的能量函数，其中图像特征总能量表示为
其中： 表示从第一步每个行人跟踪集合中挑选一张代表性图片的集
合， 表示第i个行人跟踪集合中第ti张图像被选中，M表示输入视频中的行人数量，表示图像视觉注意力， 表示图像亮度， 表示图像中是否有正脸检测
到，0＜α,β,γ＜1，α+β+γ＝1。
3.根据权利要求2所述的带有徘徊异常提示的分层视频摘要方法，其特征在于，第三步中，所述融合到背景图像上，其中图像间重叠程度表示为：
其中： 表示从第一步每个行人跟踪集合中挑选一张代表性图片的集
合， 表示第i个行人跟踪集合中第ti张图像被选中，M表示输入视频中的行人数量。
4.根据权利要求3所述的带有徘徊异常提示的分层视频摘要方法，其特征在于，第三步中，所述视频层次，其能量函数表示为:
E(L)＝EΔ(L)+λEΩ(L)
其中：EΔ(L)表示第四步中图像特征总能量，EΩ(L)表示图像重叠程度，
表示从第一步每个行人跟踪集合中挑选一张代表性图片的集合， 表示第i个行人跟踪集合中第ti张图像被选中，M表示输入视频中的行人数量，λ＞0用于衡量EΔ(L)与EΩ(L)之间的重要程度。
5.根据权利要求1所述的带有徘徊异常提示的分层视频摘要方法，其特征在于，第五步中，所述判断是否有徘徊行为发生，具体为：
①将行人运动点的集合表示为 n表示运动点的数量；
②将点Pi＝(xi,yi)投影到x或y轴上，由最小二乘法决定投影到x轴还是y轴，若投影到x轴则表示为mapx(Pi)＝xi；
③集合P在某个位置b处的空间直方图表示为Hist(b)；
④将直方图值最大的点表示为Pi*，具体为，
⑤在Pi*附近取两个滑动窗口，窗口尺寸分别设为δ1和δ2，则两个窗口内直方图比值为：
其中：δ1＜δ2，当K值超过设定的阈值τ时认为有徘徊行为发生，阈值τ为经验值。
6.根据权利要求1所述的带有徘徊异常提示的分层视频摘要方法，其特征在于，第六步中，具体步骤为：
①将从第一步的每个行人跟踪数据集中筛选出最具信息量的图片集合表示为其中， 表示第i个行人跟踪集合中的第j张图片,K表示挑选图片的总数量，K值的大小由启发式算法决定；
②将Θ的空间分布表示为
其中ρ(Ri)＝(Ri与Ri+1时间间隔)/(跟踪时长)；Ri表示K张最具信息量图片集合中的第i张图片；
③将衡量行人外表变化Ea(Θ)表示为
其中Dsc(Ri,Rj)衡量Ri和Rj外表相似性，δ为经验值；
④行人层次的能量函数表示为
其中Θ表示从第二步的每个行人跟踪数据集中筛选出最具代表性的图片集合，Ed(Θ)衡量了集合的空间分布，Eα(Θ)衡量集合中行人的外表变化，Eb(Θ)表示了集合图像的亮度，Ec(Ri,Rj)表示图像Ri与Rj之间的重叠程度，0＜ω1,ω2,ω3＜1，ω1+ω2+ω3＝1，η衡量了 与 之间的重要程度；
⑤利用启发式算法最小化能量函数。
一种带有徘徊异常提示的分层视频摘要方法
技术领域
背景技术
发明内容
具体实施方式
到，
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 视频摘要的用户界面 | 2020-05-12 | 132 |
| 一种视频摘要生成方法 | 2020-05-12 | 427 |
| 音乐摘要自动生成方法 | 2020-05-12 | 980 |
| 监控视频摘要的方法 | 2020-05-13 | 961 |
| 一种自动文本摘要方法 | 2020-05-13 | 741 |
| 一种摘要认证方法及摘要认证系统 | 2020-05-11 | 75 |
| 图文摘要生成方法 | 2020-05-12 | 442 |
| 影像摘要装置 | 2020-05-11 | 686 |
| 一种摘要认证方法及摘要认证系统 | 2020-05-11 | 313 |
| 影像摘要装置 | 2020-05-11 | 504 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
