首页 / 专利库 / 视听技术与设备 / 运动检测 / 一种基于特征关联的视频群体人物运动轨迹跟踪方法

一种基于特征关联的视频群体人物运动轨迹跟踪方法

阅读:377发布:2020-05-08

专利汇可以提供一种基于特征关联的视频群体人物运动轨迹跟踪方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于特征关联的视频群体人物运动轨迹 跟踪 方法。该发明首先检测视频中出现的群体人物,获取群体人物的 位置 信息和特征掩码;接着检测新增人物, 选定 当前追踪人物,逐 帧 计算当前追踪人物与相邻 视频帧 中人物的关联相似度;最后结合关联相似度,确定当前追踪人物的帧间动态,更新当前追踪人物运动线索,并遍历视频序列完成视频群体人物的运动轨迹跟踪。本发明利用群体人物的运动特性,在帧间人物关联匹配过程中,综合考虑位置关系和动作形态的影响,能够有效提高群体人物运动轨迹跟踪的准确率,具有良好的实施性和鲁棒性。,下面是一种基于特征关联的视频群体人物运动轨迹跟踪方法专利的具体信息内容。

1.一种基于特征关联的视频群体人物运动轨迹跟踪方法,其特征在于,包括以下步骤:
步骤1)输入1个视频,设置标准视频尺寸为H×W,若视频帧尺寸与标准视频帧尺寸不一致,使用双线性内差值算法将视频帧缩放到标准视频帧尺寸大小,所述视频是用户输入的视频,H表示视频帧高度,W表示视频帧宽度,双线性内差值算法是一种常见的图像处理算法;
步骤2)使用Mask-RCNN网络对每一帧视频帧进行人物检测,获得第t帧视频帧检测到的人物集合为 第t帧视频帧第i个人物 的位置信息为 特征掩码
为 设置第t帧视频帧第i个人物 的匹配状态参数match=0、标记状态参数mark=0,所述Mask-RCNN网络是一种有效的人物检测算法,i是第t帧视频帧的人物编号,按照位置信息递增排序,nt是第t帧视频帧检测到的人物数量,匹配状态参数match∈{0,1};
步骤3)设置视频中出现的群体人物数量为N,初始化N=n1,赋值第一帧视频帧所有人物的标记状态参数mark为对应的人物编号,所述n1为第一帧视频帧检测到的人物数量,从第一帧视频帧开始逐帧进行人物匹配,直到遍历整个视频完成群体人物运动轨迹跟踪,步骤
4)至步骤5)将详述相邻视频帧第t帧视频帧至第t+1帧视频帧的人物匹配过程;
步骤4)依次检测第t帧视频帧所有人物的标记状态参数mark,如果存在人物对应的标记状态参数mark=0,认定该人物为新增人物,修改N=N+1,该人物的标记状态参数mark=N步骤5)设置第t帧视频帧中匹配状态参数match=0的人物集合为Pnon-match,遍历Pnon-match完成人物匹配,具体步骤如下:
步骤51)选取Pnon-match中人物编号最小的人物作为当前追踪人物,记为 的位置信息和特征掩码分别为 和
步骤52)设置第t+1帧视频帧mark=0的人物集合为Pnon-mark,计算当前追踪人物 与Pnon-mark中有人物的关联相似度,具体步骤如下:
a)设置 为Pnon-mark中的人物,计算当前追踪人物 与 的位置差异度
所述 是 的位置信息;
b)计算当前追踪人物 与 的位置权值参数 所述
是当前追踪人物 与Pnon-mark中所有人物位置差异度之和;
c)计算当前追踪人物 与 的关联相似度 所述
是 的特征掩码;
步骤53)判断当前追踪人物 与Pnon-mark中所有人物的关联关系,具体步骤如下:
d)如果Linknow中存在当前追踪人物 与 的关联相似度linknow-track≥linkmin,且linknow-track在Linknow中最大,则认定当前追踪人物 与 匹配成功,更新 的匹配状态参数match=1,更新 的标记状态参数mark为当前追踪人物 的标记状态参数取值,更新 在第t帧视频帧至第t+1帧视频帧的运动轨迹为 所述Linknow是与Pnon-mark的关联相似度集合,linkmin是最小关联相似度阈值
e)如果Linknow中的取值均小于linkmin,则认定当前追踪人物Pnow在第t+1帧视频帧追踪失败,更新 的匹配状态参数match=1,更新 第t帧视频帧至第t+1帧视频帧的运动轨迹为
步骤6)设置视频序列内标记状态参数mark取值相同的人物为同一人物,更新整理视频群体人物运动轨迹,视频群体人物运动轨迹跟踪结束。
2.根据权利要求1所述的一种基于特征关联的视频群体人物运动轨迹跟踪方法,其特征在于,所述步骤1)中,H按照数据集取720,W按照数据集取1280。
3.根据权利要求1所述的一种基于特征关联的视频群体人物运动轨迹跟踪方法,其特征在于,所述步骤5)中,所有人物的位置权值参数Wnow-j的取值之和为1,linkmin按照经验取
0.5。

说明书全文

一种基于特征关联的视频群体人物运动轨迹跟踪方法

技术领域

[0001] 本发明涉及一种基于特征关联的视频群体人物运动轨迹跟踪方法方法,属于计算机视觉模式识别等交叉技术领域。面对海量的视频数据,计算机视觉领域的相关研究人员开始探索如何自动化高效的抽取视频中群体人物的运动轨迹。视频群体人物运动轨迹跟踪具有巨大的应用前景和使用价值,在视频监控、体育分析、人机交互等领域有着广泛的应用。

背景技术

[0002] 视频群体人物运动轨迹跟踪是计算机视觉领域中的一个重要研究课题,具有重要的理论意义与应用价值。
[0003] 所谓群体人物运动是指多个个体人物间进行的具有集体特征的交互运动,这种群体交互运动通常表现出多元性。由于视频中包含人、物丰富的位置关系、动作形态等图像序列信息,有助于理解群体人物运动轨迹,基于视频的群体人物运动轨迹跟踪的研究逐渐成为热点。
[0004] 目前对视频群体人物运动轨迹跟踪的研究,从算法核心的出发点和侧重点出发,可以将其分为基于模型和基于特征两类。基于模型的人物跟踪算法通过先验的群体人物运动模型,模拟群体人物运动轨迹的变化,再使用训练数据对模型参数进行训练,利用调整好的群体人物运动轨迹模型对场景中人物的轨迹动态做出判断。基于特征的人物跟踪算法从视频序列中得到视频的兴趣区域,对该视频帧的兴趣区域进行特征描述,将训练特征描述得到群体人物运动轨迹的跟踪结果。这两种方式各有利弊,基于模型的人物跟踪算法性能依赖于先验模型的设计,基于特征的人物跟踪算法需要根据提取的特征尺度的不同对后续的算法处理进行优化调整。
[0005] 目前为止,对于视频中群体人物运动轨迹跟踪的方法与系统,还需要进行大量的研究工作。

发明内容

[0006] 发明目的:发明所要解决的技术问题是帧间人物匹配精度不足,传统的人物匹配采用单一的位置信息作为匹配原则,但是在群体人物场景中,存在大量集体性的行为交互,单纯地使用位置信息追踪人物轨迹极易造成追踪错误,本发明采用掩码位置特征作为匹配原则关联视频序列内人物的动态,掩码位置特征结合位置信息和动作形态,相较于单一的位置信息具有更强的鲁棒性,能够适用群体人物场景的需求,提高视频群体人物运动轨迹跟踪的准确性。
[0007] 技术方案:为实现上述目的,本发明采用的技术方案为:
[0008] 一种基于特征关联的视频群体人物运动轨迹跟踪方法,包括以下步骤:
[0009] 步骤1)输入1个视频,设置标准视频帧尺寸为H×W,若视频帧尺寸与标准视频帧尺寸不一致,使用双线性内差值算法将视频帧缩放到标准视频帧尺寸大小,所述视频是用户输入的视频,H表示视频帧高度,W表示视频帧宽度,双线性内差值算法是一种常见的图像处理算法;
[0010] 步骤2)使用Mask-RCNN网络对每一帧视频帧进行人物检测,获得第t帧视频帧检测到的人物集合为 第t帧视频帧第i个人物 的位置信息为 特征掩码为 设置第t帧视频帧第i个人物 的匹配状态参数match=0、标记状态参数mark=0,所述Mask-RCNN网络是一种有效的人物检测算法,i是第t帧视频帧的人物编号,按照位置信息递增排序,nt是第t帧视频帧检测到的人物数量,匹配状态参数match∈{0,1};
[0011] 步骤3)设置视频中出现的群体人物数量为N,初始化N=n1,赋值第一帧视频帧所有人物的标记状态参数mark为对应的人物编号,所述n1为第一帧视频帧检测到的人物数量,从第一帧视频帧开始逐帧进行人物匹配,直到遍历整个视频完成群体人物运动轨迹跟踪,步骤4)至步骤5)将详述相邻视频帧第t帧视频帧至第t+1帧视频帧的人物匹配过程;
[0012] 步骤4)依次检测第t帧视频帧所有人物的标记状态参数mark,如果存在人物对应的标记状态参数mark=0,认定该人物为新增人物,修改N=N+1,该人物的标记状态参数mark=N
[0013] 步骤5)设置第t帧视频帧中匹配状态参数match=0的人物集合为Pnon-match,遍历Pnon-match完成人物匹配,具体步骤如下:
[0014] 步骤51)选取Pnon-match中人物编号最小的人物作为当前追踪人物,记为的位置信息和特征掩码分别为 和
[0015] 步骤52)设置第t+1帧视频帧mark=0的人物集合为Pnon-mark,计算当前追踪人物与Pnon-mark中有人物的关联相似度,具体步骤如下:
[0016] f)设置 为Pnon-mark中的人物,计算当前追踪人物 与 的位置差异度所述 是 的位置信息;
[0017] g)计算当前追踪人物 与 的位置权值参数 所述是当前追踪人物 与Pnon-mark中所有人物位置差异度之和;
[0018] h)计算当前追踪人物 与 的关联相似度 所述 是 的特征掩码;
[0019] 步骤53)判断当前追踪人物 与Pnon-mark中所有人物的关联关系,具体步骤如下:
[0020] i)如果Linknow中存在当前追踪人物 与 的关联相似度linknow-track≥linkmin,且linknow-track在Linknow中最大,则认定当前追踪人物 与 匹配成功,更新的匹配状态参数match=1,更新 的标记状态参数mark为当前追踪人物 的标记状态参数取值,更新 在第t帧视频帧至第t+1帧视频帧的运动轨迹为 所述Linknow是 与Pnon-mark的关联相似度集合,linkmin是最小关联相似度阈值
[0021] j)如果Linknow中的取值均小于linkmin,则认定当前追踪人物Pnow在第t+1帧视频帧追踪失败,更新 的匹配状态参数match=1,更新 第t帧视频帧至第t+1帧视频帧的运动轨迹为
[0022] 步骤6)设置视频序列内标记状态参数mark取值相同的人物为同一人物,更新整理视频群体人物运动轨迹,视频群体人物运动轨迹跟踪结束。
[0023] 其中,
[0024] 所述步骤1)中,H按照数据集取720,W按照数据集取1280。
[0025] 所述步骤5)中,所有人物的位置权值参数Wnow-j的取值之和为1,linkmin按照经验取0.5。
[0026] 有益效果:本发明提供的一种基于特征关联的视频群体人物运动轨迹跟踪方法,与现有技术相比,具有以下技术效果:
[0027] 本发明检测视频中出现的群体人物,获取群体人物的位置信息和特征掩码;接着检测新增人物,选定当前追踪人物,逐帧计算当前追踪人物与相邻视频帧中人物的关联相似度;最后结合关联相似度,确定当前追踪人物的帧间动态,更新当前追踪人物运动线索,并遍历视频序列完成视频群体人物的运动轨迹跟踪。通过这些方法的应用能够有效抽取视频中群体人物的运动轨迹,具有良好的准确性和有效性,具体来说:
[0028] (1)本发明使用的Mask-RCNN网络采用融合特征进行人物检测,为人物跟踪提供了丰富的位置信息和语义信息。
[0029] (2)本发明考虑群体人物运动多元化和随机性的特点,对人物位置构建权值参数,减少错误的人物匹配为追踪结果的影响,提高群体人物跟踪的鲁棒性。
[0030] 本发明将繁复的特征图转化为便于计算的特征掩码参与人物匹配,保留语义描述能的同时大大降低了计算成本。附图说明
[0031] 图1是基于特征关联的视频群体人物运动轨迹跟踪方法流程。
[0032] 图2是人物匹配示意图。

具体实施方式

[0033] 下面结合附图对本发明作更进一步的说明。
[0034] 图1是基于特征关联的视频群体人物运动轨迹跟踪方法流程。首先输入1个视频,为了便于后续跟踪操作的处理,对视频序列内的所有视频帧尺寸进行归一化处理,设置标准视频帧尺寸大小,对不符合标准视频帧尺寸规范的视频帧采用双线性内差值算法进行图像缩放。
[0035] 考虑到群体人物相互遮挡严重、光照变化复杂特征,使用采用高低融合特征的Mask-RCNN网络进行人物检测,以降低环境因素对后续跟踪操作的影响并获得精准的人物位置和特征描述,为了降低特征计算成本,将特征描述转化为便于计算的特征掩码参与人物匹配。为了有效的进行群体人物运动轨迹的跟踪,为每个人物分配不同的标记状态参数,初始的标记状态参数取值按照位置信息递增排序。
[0036] 在人物匹配之前,需要检测当前视频帧中是否存在新增人物,如果不存在新增人物,那么当前视频帧中的所有人物都已完成上一轮的人物匹配,即每个人物的标记状态参数均不为0,所以若存在标记状态参数为0的人物,那么该人物即为新增人物,更新视频群体人物数量,修改新增人物的标记状态参数。
[0037] 通过实验验证发现,常用的位置匹配子在群体人物环境中表现不佳,原因是群体运动相较于个人运动来说表现的运动形式更加杂乱,单一的位置匹配特征易造成人物匹配错误;常用的特征匹配子能够较好的完成人物匹配,但是由于群体运动具有集体性,易混淆动作相似的人物。考虑以上因素,设计一种掩码位置匹配子,同时衡量位置信息和特征掩码对人物匹配的影响,提高人物跟踪的准确率。
[0038] 具体方法来说,首先选定当前追踪人物,为了加速追踪过程,当前视频帧中已经完成人物匹配的人物将不纳入选定范围,按照人物编号从小到大依次进行人物匹配。为了简化计算过程,下一帧视频帧中已被标记的人物将不再进行人物匹配,计算当前追踪人物与下一帧视频帧中未被标记的人物的位置区分度,根据位置区分度计算对应的位置权值参数,并结合掩码区分度计算相应关联相似度,关联相似度越大,表示人物匹配的可能性越高。同时,为了避免重复匹配和错误匹配的发生,更新已完成人物匹配的人物的标记状态参数和匹配状态参数。重复以上过程,直到视频中群体人物均完成人物匹配。整理群体人物的运动线索,聚类标记状态参数取值相同的人物运动线索为同一人物的运动轨迹。
[0039] 图2是人物匹配过程的示意图,第t帧视频帧人物 和第t+1帧视频帧人物 已完成人物匹配,用绿色实线标注, 和 的标记状态参数mark均为1,表示两者为同一人物。是第t帧视频帧中macth=0的人物集合中人物编号最小的人物,选定 为当前追踪人物, 将与第t+1帧视频帧所有mark=0的人物计算关联相似度进行人物匹配,用蓝色虚线标注, 将选取其中超过最小关联相似度阈值且关联相似度最大的人物 并更新 的mark=2表示 和 为同一人物,自此完成一次人物匹配。
[0040] 以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈