一种多模态信息融合的足球视频事件检测与语义标注方法
专利汇可以提供一种多模态信息融合的足球视频事件检测与语义标注方法专利检索，专利查询，专利分析的服务。并且本 发明 公开一种多模态信息融合的 足球 视频事件检测与语义标注方法，包括：利用 潜在语义分析 方法检测互联网赛况报道文本描述语句的事件类型；检测足球视频中级语义对象，划分场地区域并进行攻防转换分析，确定视频事件 片段 的边界；根据中圈和哨声检测结果确定比赛开始时间，利用 贝叶斯网络 实现攻防片段的初始语义分类；在文本描述中的粗粒度时间信息的约束下，根据文本和视频片段的语义同步文本描述和视频事件，实现足球视频事件的语义标注。本发明方法融合互联网文本信息和视频内在视听特征分析足球视频，提高了视频事件及其边界检测的准确率，实现了足球视频内容的富语义标注，为建立基于语义的视频索引机制打下坚实的 基础 。，下面是一种多模态信息融合的足球视频事件检测与语义标注方法专利的具体信息内容。
1.一种多模态信息融合的足球视频事件检测与语义标注方法，其特征在于，包括以下
步骤：
(1)从互联网上爬取足球比赛对应的赛况报道文本，利用预先建立的LSA模型计算赛
况报道文本中各语句的潜在语义空间查询向量；并计算该查询向量与各种文本事件类型的
潜在语义空间向量的余弦相似度，将其归类为具有最大相似度的事件类别；
(2)检测足球比赛对应视频中的多种中级语义对象，所述中级语义对象包括球门、球场
标志线、中圈以及哨声；并划分场地区域；
(3)根据场地区域划分结果进行攻防转换分析，确定视频事件片段的边界；
(4)根据中圈和哨声检测结果确定比赛开始时间，利用贝叶斯网络实现攻防视频事件
片段的初始语义分类；
(5)在文本描述中的粗粒度时间信息的约束下，根据步骤(1)中得到的文本事件类型
和步骤(4)中得到攻防视频事件片段的初始语义分类同步文本描述和视频事件片段，实现
足球视频事件的富语义标注。
2.根据权利要求1所述的多模态信息融合的足球视频事件检测与语义标注方法，其特
征在于，所述步骤(1)中利用预先建立的LSA模型计算赛况报道文本中各语句的潜在语义
空间查询向量，具体包括：
步骤(1.1.1)：将互联网上爬取的赛况报道文本作为训练语料，对所有的训练语料进
行分词；
步骤(1.1.2)：去除训练语料中的无关词汇，包括停词、球员和球队名词；
步骤(1.1.3)：构建词条-文档矩阵Xm×n；其中矩阵Xm×n的行对应词条，列对应事件文
档，即m表示词条的数目，n为语料库中事件类型的数目，Xm×n中每个元素为词条在其对应
事件类型中的tf-idf权重，tf表示词条在相应事件训练语料中出现的频次，idf为词条的
倒排文档频率；
步骤(1.1.4)：利用下式对词条-文档矩阵Xm×n进行奇异值分解；
式中，T为列正交矩阵，T中的每一列称为左奇异向量；S为对角矩阵，其对角线上的元
素为由大到小降序排列的非负奇异值；D为正交矩阵；
步骤(1.1.5)：选取矩阵Sn×n的前k个最大奇异值，k＜n，并选取前k个最大奇异值分
别对应于矩阵Tm×n和矩阵Dn×n中的列向量，通过下式计算词条-文档矩阵Xm×n的低阶近似
矩阵
步骤(1.1.6)：构建训练语料事件集的潜在语义矩阵En×k如下：
En×k＝Dn×k×Sk×k
En×k的每一行即表示相应类型的事件在潜在语义空间中的坐标。
3.根据权利要求2所述的多模态信息融合的足球视频事件检测与语义标注方法，其特
征在于，所述步骤(1)中计算该查询向量与各种文本事件类型的潜在语义空间向量的余弦
相似度，将其归类为具有最大相似度的事件类别，具体包括：
步骤(1.2.1)：对输入的赛况报道文本进行事件描述语句分割(Event Description
Sentence Segmentation，EDSS)，在赛况报道中每一个句子用来描述一个事件，这里根据中文句子的结束标记即句号、感叹号来实现EDSS；
步骤(1.2.2)：把每个事件描述语句看做一个查询文档，根据训练阶段建立的词条-文
档矩阵Xm×n中词条的排序构建该查询文档的查询向量Xq，Xq的每个元素为相应词条在该查
询文档中出现的频次；
步骤(1.2.3)：将查询向量Xq映射到潜在语义空间，得到其潜在语义表达向量Dq；
步骤(1.2.4)：计算Dq和第i类事件Ei的相似度sim(Dq，Ei)：
式中，Ei为矩阵En×k第i行的行向量，即第i类事件在潜在语义空间的表示；j为向量
Dq和Ei相应位置元素的下标；
步骤(1.2.5)：选择和查询向量Dq具有最大相似度的潜在语义事件向量 并将Dq归
类为 对应的事件类型，表示为
4.根据权利要求1至3任一项所述的多模态信息融合的足球视频事件检测与语义标注
方法，其特征在于，所述步骤(2)中检测中圈的步骤包括：
步骤(2.1.1)：在检测到的球场线中选取角度在[80°，100°]，长度大于H/3的直线
作为球场中垂线HL，这里H为输入图像帧F的高度；
步骤(2.1.2)：旋转图像帧F使得HL垂直，旋转后的图像表示为Fr；根据直线检测结
果，可以检测到椭圆的上下候选水平切线，设一共检测到m对候选水平切线；对于第i对候
选水平切线TLup，i、TLdown，i与中垂线HL的交点分别为pup，i(xup，i，yup，i)，pdown，i(xdown，i，ydown，i)，则圆心(xc，i，yc，i)和短半轴bi可以计算如下：
xc，i＝(xup，i+xdown，i)/2
yc，i＝(yup，i+ydown，i)/2
bi＝(ydown，i-yup，i)/2
步骤(2.1.3)：图像帧中椭圆的长轴ai和短轴bi之间满足比例关系 α和
β分别长短轴比率的下限和上限；设椭圆Eα，i(xc，i，yc，i，aα，i，bα，i)和Eβ，i(xc，i，yc，i，aβ，i，bβ，i)，其中aα，i＝α×bi，aβ，i＝β×bi，bα，i＝bi-δ，bβ，i＝bi+δ；对于 如果d(p，Eα，i)＞0&d(p，Eβ，i)＜0，则p∈Si，Si＝{si，1，si，2，si，3，…，si，n}表示候选样本点集合，n为样本点的个数；
步骤(2.1.4)：对于每个样本点s∈Si，计算其对应的长半轴的值，则得到椭圆长半轴
ai的解空间为Ai＝{ai，1，ai，2，ai，3，…，ai，n}；设ai，max＝max(Ai)，ai，min＝min(Ai)，在区间[ai，min，ai，max]上以σ等间隔统计累积直方图HTi，σ为经验值；设j表示直方图HTi中间隔的下标，indexi＝arg maxj(HTi)，则长半轴ai计算如下：
步骤(2.1.5)：经过上述步骤估计出的椭圆表示为Ei(xc，i，yc，i，ai，bi)，统计Ei在图像Fr上的可见部分的弧长Li；根据测度函数M(E)对估计椭圆Ei进行校验，M(E)定义如下：
其中，椭圆Ein，i(xc，i，yc，i，ai-δ，bi-δ)和Eout，i(xc，i，yc，i，ai+δ，bi+δ)分别为Ei的内椭圆和外椭圆；设i*＝arg maxi(Mi(Ei))，如果 则 即为检测到的椭圆，否则
没有检测到椭圆。
5.根据权利要求1至3任一项所述的多模态信息融合的足球视频事件检测与语义标注
方法，其特征在于，所述步骤(2)中的检测哨声的步骤包括：
步骤(2.2.1)：设置音频帧长FrameLen和帧移FrameInc参数；
步骤(2.2.2)：读入音频片段进行预加重处理，以减少尖锐噪声影响，提升高频信号；
步骤(2.2.3)：将音频片段分帧，以利用音频信号短时平稳的特性，并对音频帧加汉明
窗，以减少频谱泄露；
步骤(2.2.4)：根据下式对音频信号进行短时傅里叶变换，得到其语谱图；式中，x(m)
为音频信号序列，w(n)为实数窗序列；
步骤(2.2.5)：基于Ostu自适应阈值对音频片段语谱图二值化；
步骤(2.2.6)：利用Hough变换检测二值图像中的直线段；
步骤(2.2.7)：遍历检测到的所有直线段，如果在3000Hz至4500Hz频率之间存在持续
时间超过0.1秒的直线段，则认为该音频片段为哨声片段；否则为非哨声片段。
6.根据权利要求1至3任一项所述的多模态信息融合的足球视频事件检测与语义标注
方法，其特征在于，所述步骤(2)中划分场地区域具体包括：
采用决策树划分场地区域，将场地划分为左边球门区LGZ，左边角球区LCZ，右边球门
区RGZ，右边角球区RCZ，中圈区域MCZ和其他区域OZ。
7.根据权利要求1至3任一项所述的多模态信息融合的足球视频事件检测与语义标注
方法，其特征在于，所述步骤(3)中视频事件边界通过攻防转换分析和事件时域转换模式
来确定，视频事件边界起始于PB片段最后一个攻防转换点，结束于特写镜头或回放镜头。
8.根据权利要求1至3任一项所述的多模态信息融合的足球视频事件检测与语义标注
方法，其特征在于，所述步骤(4)根据中圈和哨声确定比赛起始时间：
在足球视频的开始时间段内，如果有中圈持续出现一段时间，并且随后有长哨声被检
测到，则认为哨声被检测到的时间就是比赛起始时间。
9.根据权利要求1至3任一项所述的多模态信息融合的足球视频事件检测与语义标注
方法，其特征在于，所述步骤(4)中利用贝叶斯网络实现攻防片段的初始语义分类，具体包括：
根据下述特征：回放场景持续时间(RPD)，精彩度(EXC)，远镜头比率(FVR)，球门比率
(GMR)，哨声(WHS)和标题条(CAP)，利用贝叶斯网络将足球视频攻防片段分类为进球、射门和犯规三种类型。
10.根据权利要求1至3任一项所述的一种多模态信息融合的足球视频事件检测与语
义标注方法，其特征在于，所述步骤(5)中根据文本和视频片段的语义同步文本和视频事
件，具体包括如下步骤：
步骤(5.1)：对于第k个文本事件TEk(tk，ck，pk，dk)，其中，tk表示第k个文本事件的时
间，ck表示第k个文本事件的类型，pk表示第k个文本事件相关的球员及球员所属队伍信
息，dk表示第k个文本事件的语义描述，根据下式计算该文本事件在视频中的参考帧索引
rfk；
rfk＝GST+tk×60×fr
其中，GST为步骤(4)中检测到的比赛起始时间，fr为视频的帧率；
步骤(5.2)：从参考帧rfk分别向前和向后查找3个攻防片段作为候选视频事件片段；
步骤(5.3)：对于第i个候选视频事件片段，提取观察值Oi，作为贝叶斯网络的输入证
据，计算第i个候选视频事件片段属于ck的概率pi(ck|Oi))；
步骤(5.4)：根据下式从候选视频事件片段中选取和TEk事件类型一致的，具有最大概
率的视频片段作为最佳匹配事件片段；
式中，i*表示和TEk最匹配的攻防片段；
步骤(5.5)：在文本事件TEk和视频事件片段i*之间建立对应关系，得到语义标注结
果，表示为Ak(tk，sfk，efk，ck，pk，dk)，其中
一种多模态信息融合的足球视频事件检测与语义标注方法
技术领域
背景技术
式逐渐不受限制，使得人们对于视频检索的需求大大增加。如何使人们快速从海量的视频
数据中找到自己感兴趣的视频片段已成为一种迫切的需求，能够满足这一需求的技术便是
目前人们普遍关注的基于内容的视频检索(CBVR，Content Based Video Retrieval)技术。
视频标注是CBVR领域的关键技术，也称为视频概念检测或者高层语义分析，是指根据视频
所体现的内容按概念对其赋予标识和语义。视频标注是建立视频索引，实现基于内容的视
频检索的基础。从手工标注、半自动标注到自动标注，视频标注已经成为CBVR领域的研究
难点和热点，视频标注的准确性和语义丰富性是视频检索质量的关键因素，也是基于内容
的视频检索系统成败的关键。由于视频数据本身的复杂性、不确定性和现有的条件所限，
针对通用视频的自动标注很难实现，目前人们还无法利用通用的特征或方法对不同类型内
容的视频进行分析。体育视频分析是近几年非常受关注的视频类型，而足球运动作为世界
上最流行的体育运动，有着非常广泛的受众群体和巨大的商业价值。以足球视频为研究对
象来研究如何从大量的足球视频找到用户感兴趣的视频内容，并能对其进行详细的语义描
述，满足广大用户的需求，具有很高学术价值和应用前景。
球视频分析，到基于多模态特征的足球视频分析；从利用启发式规则的事件检测方法，到利
用各种机器学习模型的事件检测方法，研究人员提出了许多方法，在一定程度上推动了足
球视频检索技术的发展。然而，受限于人工智能和机器视觉领域的发展，视频分析领域存在
众所周知的“语义鸿沟”(Semantic Gap)问题，即视频底层特征和高层语义之间存在着语义
隔阂，如何有效地填补“语义鸿沟”从而提高语义级视频检索效率和服务质量已经成为CBVR
的研究难点和最为关键的问题。例如，在足球比赛视频中，目前通过音视频分析，可以初步
确定一些典型事件(射门、进球、犯规、角球等)的位置，但无法确定是哪位球员通过何种方
式射门或者进球。现有的研究表明，“语义鸿沟”的存在导致单纯依靠视频数据本身内在的
音视频特征分析，很难准确地检测出视频中的事件，并自动标注视频事件的语义，视频标注
结果的粒度和准确性无法满足实际的需求，已经成为阻碍视频搜索引擎实用化的瓶颈。
是通过语音识别技术转录生成的文字，如新闻解说和场景对话等。但转录字幕的输出质量
依赖于视频的质量和语音识别技术，并且转录字幕包含大量与视频事件无关的描述，很难
得到有效利用。网络直播文本是在体育比赛进行时，专业的体育网站在其页面上进行的同
步文字直播，具有较强的实时性。现有的研究工作主要基于具有精确时间信息的网络直播
文本，通过对视频内时钟的识别来建立文本描述和视频内容的对应关系。然而，第一，大多
数网络直播文本的时间信息并不精确，一般是分钟级的时间信息；第二，体育网站只对国际
上的重要或著名赛事进行网络文字直播，还有许多赛事只进行赛后的新闻报道，也就是说
网络直播文本的通用性不强；第三，由于视频时间条存在透明、位置变化、风格变化、时隐时现、分辨率不高等不利因素，视频时钟的精确识别还面临较大的挑战。
发明内容
球视频事件的检测和富语义标注问题，为实现基于内容的足球视频检索打下坚实的基础。
括以下步骤：
型的潜在语义空间向量的余弦相似度，将其归类为具有最大相似度的事件类别；
实现足球视频事件的富语义标注。
时间信息的约束下同步文本事件描述和视频事件片段，实现足球视频内容的富语义标注。
具体步骤如下：
空间查询向量；并计算该查询向量与各种文本事件类型的潜在语义空间向量的余弦相似
度，将其归类为具有最大相似度的事件类别；利用正则表达式提取语句的时间、相关球员、
球员所属队伍、和事件语义描述，加上前述的事件类别共获取五种文本元数据。
段远镜头进行攻防转换分析；检测PB结构片段中的攻防转换点，结合视频事件时域转换模
式将PB片段中最后一个攻防转换点到最后一个特写镜头或回放镜头的片段作为视频事件
的起止边界。
(CAP)共六个特征，利用贝叶斯网络将攻防片段分类为进球、射门和犯规三种类型；在文本
事件描述中的粗粒度时间信息(分钟级时间)的约束下，根据文本事件和视频事件的类型
同步文本描述和视频事件片段，实现足球视频事件的语义标注。
在不精确时间信息约束条件下，根据文本描述和视频事件的语义类型同步文本和视频事
件，实现了足球视频事件的富语义标注，为基于内容的视频检索打下良好的基础。具体而
言，本发明具有以下优点：
角度分析音频语谱图，采用Hough变换检测足球视频中的哨声，提高了哨声检测的准确率。
的准确率。
事件的语义类型实现文本和视频事件的同步。
彩事件的描述更加具体，内容更加丰富。
附图说明
具体实施方式
事件类型，提取文本事件元数据；视频分析阶段，提取足球视频中级语义对象，对PB结构
片段进行攻防转换分析，结合事件时域转换模式(图2)确定视频事件的边界；文本-视频
事件同步阶段，在文本描述中的不精确时间信息的约束条件下，根据文本事件和视频事件
的类型同步文本事件描述和视频事件，实现足球视频事件的富语义标注。具体包括如下步
骤：
行分词、无关词过滤和语句分割处理；利用预先建立的潜在语义分析(Latent Semantic
Analysis，LSA)模型计算语句的潜在语义空间查询向量；并计算该查询向量与各种文本事
件类型的潜在语义空间向量的余弦相似度，将其归类为具有最大相似度的事件类别；利用
正则表达式提取语句的时间、相关球员及球员所属队伍。检测到的文本事件可以表示为一
个四元组TE(t，c，p，d)，t表示事件发生时间，c表示文本事件的类型，p表示事件涉及的球员及球员所属队伍信息，d表示事件的文本描述。如图3所示，其中利用LSA进行文本事件
类型检测包括模型训练和语句分类两个阶段，LSA训练阶段步骤如下：
条在其对应事件类型中的tf-idf权重。这里tf表示词条在相应事件训练语料中出现的频
次，idf为词条的倒排文档频率；
的列向量，通过下式计算词条-文档矩阵Xm×n的低阶近似矩阵
根据中文句子的结束标记即句号、感叹号来实现EDSS；
文档中出现的频次；
球场标志线、中圈和哨声等中级语义对象。其中，球门、球场标志线和中圈用来划分场地区
域，球门和哨声作为视频事件分类时的特征。球门和球场标志线的检测可以采用现有的方
法，如文献于俊清和张强等，“利用回放场景和情感激励检测足球视频精彩镜头，计算机学
报，2014，37(6)：1268-1280”中描述的方法。中圈的检测步骤如下：
水平切线TLup，i、TLdown，i与中垂线HL的交点分别为pup，i(xup，i，yup，i)，pdown，i(xdown，i，ydown，i)，则圆心(xc，i，yc，i)和短半轴bi可以计算如下：
3，…，si，n}表示采集的候选样本点集合，n为样本点的个数。
设置为8。
南京理工大学学报(自然科学版)，2009，33(4)：432-437中的方法。镜头分类可以利用文
献于俊清和王宁，“基于子窗口区域的足球视频镜头分类”中国图象图形学报，2008，13(7)：
1347-1352中的方法。对于远镜头，根据球场标志线、球门和中圈进行区域划分，图5给出了
球场区域划分流程图。根据球门前两条平行线的斜率、中圈和球门三个特征，采用决策树划
分场地区域，将场地划分为左边球门区LGZ，左边角球区LCZ，右边球门区RGZ，右边角球区
RCZ，中圈区域MCZ和其他区域OZ。根据球场区域划分结果进行攻防转换分析，从而进一步
确定足球视频事件边界。图6给出了攻防转换分析示意图，其中F表示远镜头，M表示中镜
头，C表示特写镜头，O表示观众镜头，R表示回放镜头。根据前述对球场区域的划分结果，
当摄像机拍摄区域从一个半场越过中场移动到另一个半场时，即认为发生了攻防转换，“*”标记的位置为攻防转换点。当前PB结构片段中最后一个攻防转换点被认为是事件的起始
边界，最后一个特写镜头或回放镜头结束位置被认为是事件的终止边界。
始时间段内，如果有中圈持续出现一段时间，并且随后有长哨声被检测到，则认为哨声被检
测到的时间就是比赛起始时间GST。接下来，采用贝叶斯网络对视频事件片段进行语义分
类。图7给出了用于视频事件片段语义分类的贝叶斯网络结构，所使用的特征包括回放场
景持续时间(RPD)，精彩度(EXC)，远镜头比率(FVR)，球门比率(GMR)，哨声(WHS)和标题
条(CAP)。贝叶斯网络理论为可以参考文献Friedman，N.，D.Geiger，and M.Goldszmidt，
“Bayesian network classifiers”Machine Learning，1997，29(2-3)：131-163。
下：
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 指令生成方法、智能键盘和存储介质 | 2020-05-13 | 143 |
| 一种钢琴学习系统 | 2020-05-14 | 514 |
| 实时对象识别监测方法及存储介质 | 2020-05-13 | 850 |
| 一种关联书本与电子资源的系统 | 2020-05-12 | 596 |
| 一种便携式帕金森病运动迟缓监测干预装置及方法 | 2020-05-11 | 503 |
| 一种基于表情、语音和眼动特征的多模态测谎方法 | 2020-05-13 | 426 |
| 文章推荐方法、装置、设备及存储介质 | 2020-05-13 | 600 |
| 一种书写内容的识别方法及电子设备 | 2020-05-08 | 65 |
| 一种可观看电脑画面的电视机 | 2020-05-12 | 394 |
| 一种带式振膜的励磁扬声器 | 2020-05-14 | 817 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
