技术领域
[0001] 本
发明涉及视频处理领域，更具体地说，本发明涉及一种基于行为确定人员角色的方法。
背景技术
[0002] 随着多媒体技术以及
人工智能技术的发展，自动的从原始多媒体信息中提取有用的信息即可以用来完成对多媒体资料的压缩保存和文本检索，也可以驱动其他数据，触发其他行为，从而大大减少人
力的参与，扩大
人机交互的应用范围。而人的角色在实际生活中起着很重要的作用，因此从多媒体资料中利用人工智能技术提取出原始资料中出现的人员的角色信息就显得有重要的意义了。
[0003] 目前从多媒体资料中确定人员角色的方法主要从三种媒介入手：文本，音频，视频。现有的方法一般在一种或多种媒介提供的信息建立角色模型，通过标注数据学习模型参数，从而得到推测人员角色的具体方法。比如：基于建立视频中人群社交网络的图分割方法，基于建立在音频中人社交网络的贝叶斯方法，基于视频与文本信息利用
支持向量机的分类方法。
[0004] 然而，这些方法均具有一定的
缺陷：由于文本信息需要大量的人工操作，音频又有一定的空间限制(距离太远会收集不到语音信息)，并且很难把混合声音分离为每一个人单独的声音。因此这些方法限制了其应用的范围。而基于视频的方法一般是根据检测视频中出现的人与人之间的交互关系，从而建立一个连接每一个人的社交网络。这样即浪费了大量的人与场景交互的信息又因为人与人之间的交互关系比较难检测，因此这样的方法的实用性不强并且效果比较差。
发明内容
[0005] 本发明的目的在于提供一种基于行为确定人员角色的方法，其仅依赖于视频信息，利用易于检测的人与环境物体的交互关系，易于实现，效果好。
[0006] 本发明的技术方案如下：
[0007] 一种基于行为确定人员角色的方法，包括以下步骤：
[0008] 一、学习过程：
[0009] (1)获取视频源HL；
[0010] (2)提取视频源中人员的轨迹 其中 表示视频HL中第z个人员第j次出现的运动轨迹，并标注人员的角色；
[0011] (3)提取所有轨迹 中人员进入场景、离开场景的
位置集合以及在场景中停留的位置集合 其中No表示人员进入场景，离开场景
的位置点个数，Nd表示人员在空间中停留的位置点个数；
[0012] (4)根据期望最大化
算法对位置集合Xo进行聚类计算以得到场景的进出口的位置，对Xd进行聚类计算以得到场景中物体的位置；
[0013] (5)根据场景的进出口的位置以及场景中物体的位置来定义人员与场景的进出口以及场景中物体之间三种空间关系：进入场景关系、离开场景关系、与物体的距离关系，以及人员在场景中物体处
停留时间的时间关系，其概率具体定义为：
[0014] 空间关系利用高斯分布定义如下：
[0015]
[0016] 其中γs表示空间关系，p(γs)表示发生该空间关系γs的概率，xf指构成空间关系γs的人员在图像中的位置，xh指构成空间关系γs进出口或物体在图像中的位置，μs和∑s分别指高斯分布的均值和方差；
[0017] 时间关系利用高斯分布定义如下：
[0018]
[0019] 其中γt表示时间关系，p(γt)表示发生该时间关系γt的概率，xt表示人员在物体处停留的时间，μt和∑t分别指高斯分布的均值和方差；
[0020] (6)根据空间关系和时间关系来定义人员动作，其概率定义为：
[0021]
[0022] 其中a表示人员动作，p(a)表示人员动作a的概率，Ωa＝{γ}表示定义动作a所需要的空间关系和时间关系集合；
[0023] (7)根据人员动作定义人员活动，包括进入场景活动，离开场景活动以及在场景中活动的概率，人员活动的概率定义为：
[0024]
[0025] 其中s表示人员的活动，p(s)表示人员活动的概率s，Ωs＝{a}表示定义活动s的动作集合；
[0026] (8)根据人员活动来定义人员行为，每一个人员行为包含一个进入场景活动，一个在场景中活动以及一个离开场景活动，其概率定义为：
[0027]
[0028] 其中e表示人员的行为，p(e)表示人员行为的概率，s1表示进入场景活动，s2表示在场景中的活动，s3表示离开场景活动，p(s2|s1)，p(s3|s2)分别表示连续活动之间的转移概率。
[0029] (9)根据人员行为来定义人员的角色的概率，具体为：该定义分为两部分，1)在工作时间内该人员所做行为的个数K，该部分概率由泊松分布定义：p(K|r)＝Pois(K，λr)，其中r表示人员的角色，λr表示泊松分布的参数，2)该人员所做行为的分布情况，该部分概率由多项式分布定义：p(E|r)＝Multi(n1，n2，…nN；ρr)其中 为多项式分布的参数，E表示该人员在工作时间内所做事件集合，r表示人员的角色，N表示事件总的种类数，ni表示第i种事件发生的次数；
[0030] (10)根据所标注的人员的角色利用最大似然估计法学习空间关系、时间关系、人员动作以及人员行为的参数：μs，∑s，μt，∑t，p(s2|s1)，p(s3|s2)，λr，ρr；
[0031] 二、检测过程：
[0032] (11)获取视频源HT；
[0033] (12)提取视频源中人员的轨迹 其中 表示视频HT中第z个人员第j次出现的运动轨迹；
[0034] (13)根据改进的Earley算法以及学习阶段空间关系、时间关系、人员动作、人员行为以及学习后的参数来解析人员的轨迹 以得到人员的每一条轨迹所对应的具体行为集合E，以及每一种行为e的发生概率
[0035] (14)根据人员的具体行为集合利用贝叶斯公式确定人员的角色，计算公式如下：
[0036]
[0037] 其中r表示人员的角色，K表示该人员所有轨迹的个数，TR表示该人员的轨迹集合，E表示对轨迹集合TR的一种解析情况(即每一条轨迹对应一种解析情况)，ΩE表示对轨迹集合TR的所有解析情况，ei表示对轨迹tri的一种解析情况，p(r)表示人员角色的先验概率，并为常数。
[0038] 本发明具有以下优点：
[0039] 1 由于仅依赖于视频信息，从而减少使用设备情况，节省设备成本，易于搭建平台；
[0040] 2 由于利用人与场景中物体交互关系，而没有利用对人与人之间的交互关系，从而提高检测
质量并且大大提高信息量。
附图说明
[0041] 图1本发明基于行为确定人员角色的方法的
流程图。
具体实施方式
[0042] 以下结合附图对本发明进行进一步说明。
[0043] 如图1所示，本发明基于行为确定人员角色的方法包括以下步骤：
[0044] 一、学习过程：
[0046] (2)利用背景相减以及期望最大化
跟踪方法提取步骤(1)所获取视频HL中每一个人员的运动轨迹 其中 表示视频HL中第z个人员第j次出现的运动轨迹。在本发明中运动轨迹用人员在连续
帧中脚在图像上的二维坐标表示。并对每一个人员的角色信息进行标注；
[0047] (3)提取步骤(2)中所有轨迹 中人员进入场景、离开场景的位置集合以及在场景中停留的位置集合 其中No表示人员进入场景，离开场景的位置点个数，Nd表示人员在空间中停留的位置点个数；具体为：每一条轨迹最初5帧的平均位置以及最后五帧的平均位置表示人员进入场景离开场景的位置，每一条轨迹中除上述10帧之外的在连续10帧内位置方差小于ε的位置表示人员在场景中停留；
[0048] (4)对于步骤(3)提取出的位置集合Xo以及Xd分别进行聚类运算。对于位置集合Xo以及Xd分别进行聚类运算，对集合Xo进行聚类运算以得到进出口位置，对集合Xd进行聚类运算以得到场景中物体位置。本发明假定这每一组集合内的位置点在图像上分布服从如下分布：p(x)＝∑jp(wj)Nj(x，μj，∑j)，既均值为μj，方差为∑j，权重为wj的多个高斯分布，其中∑jp(wj)＝1。利用
期望最大化算法进行聚类以求得μj和∑j。本步骤首先采用均匀分布初始化p(wj)，所有位置的均值和方差初始化μj和∑j。之后采用以下公式直至收敛：
[0049] E过程计算期望：
[0050]
[0051] M过程更新参数：
[0052]
[0053]
[0054]
[0055] 其中i表示
迭代次数，N表示位置集合中位置点的总数，M为聚类个数(场景进出口个数或物体个数)，该参数需要手工确定，
[0056] (5)根据步骤(4)中得到的进出口位置以及物体位置，定义空间关系：进入场景关系，离开场景关系，与物体的距离关系，以及在物体处停留时间关系。在本发明中，空间关系利用高斯分布定义如下：
[0057]
[0058] 其中πs表示空间关系，具体为进入场景关系由人的位置与入口位置的距离确定，离开场景关系由人的位置与出口的位置的距离确定，与物体的距离关系有人的位置与物体的位置的距离确定，p(πs)表示发生该空间关系πs的概率，xf指构成空间关系πs的人员在图像中的位置，xh指构成空间关系πs进出口或物体在图像中的位置，μs和∑s分别指高斯分布的均值和方差，是需要学习的参数。
[0059] 时间关系利用高斯分布定义如下：
[0060]
[0061] 其中πt表示时间关系，p(πt)表示发生该时间关系πt的概率，xt表示人员在物体处停留的时间，μt和∑t分别指高斯分布的均值和方差，是需要学习的参数；
[0062] (6)根据步骤(5)中定义的关系定义人员进入场景动作，离开场景动作，靠近物体动作，在物体处停留动作以及离开物体动作。其中进入场景动作利用进入场景关系定义，离开场景动作利用离开场景关系定义，靠近物体动作由与物体距离关系定义，在物体处停留由与物体距离关系以及时间关系定义，离开物体动作由与物体距离关系定义。其中靠近物体动作与离开物体动作由时间先后区分。人员动作的概率定义为： 其中a表示动作，p(a)表示人员动作a的概率，Ωa表示定义动作a所需要的关系集合；
[0063] (7)根据步骤(6)中定义的动作定义人员进入场景活动，离开场景活动以及在场景中活动。其中进入场景活动由进入场景动作定义，离开场景活动由离开场景动作定义，一个在场景中的活动按照时间先后顺序包括一个靠近物体o，在物体o处停留以及离开物体o三个动作以表示人员在场景中使用物体o或者不包含任意上述动作以表示人员仅仅是从场景中走过。人员的活动的概率定义为： 其中s表示人员的活动，Ωs表示定义活动s的动作集合；
[0064] (8)根据步骤(7)中定义的活动定义人员的行为：一个行为按照时间先后顺序包含一个进入场景活动，一个在场景中的活动以及一个离开场景活动。人员的行为的概率定义为： 其中e表示人员的行为，s1表示进入场景活动，s2表示在场景中的活动，s3表示离开场景活动。p(s2|s1)，p(s3|s2)分别表示连续活动之间的转移概率。p(s2|s1)和p(s3|s2)是需要学习的参数；
[0065] (9)根据步骤(8)中定义的行为定义人员的角色。该定义分为两部分：在工作时间内该人员所做行为的个数K，该部分概率由泊松分布定义：p(K|r)＝Pois(K，λr)，其中r表示人员的角色，αr表示泊松分布的参数；该人员所作行为的分布情况，该部分概率由多项式分布定义： 其中 为多项式分布的参数，E表示该人员所做事件集合。NE表示事件总的种类数。ni表示第i种事件发生的次数，λr和 是需要学习的参数，在本实施方式中，工作时间为10小时；
[0066] (10)根据步骤(5)-(8)的关系、动作、活动、行为、角色定义，以及步骤(2)所得到的轨迹和标注信息，采用最大似然估计的方法学习所述空间关系、所述时间关系、所述人员动作以及所述人员行为的参数：μs，∑s，μt，∑t，p(s2|s1)，p(s3|s2)，λr，ρr；
[0067] 二、检测过程：
[0068] (11)从摄像头获取视频流HT；
[0069] (12)利用背景相减以及期望最大化跟踪方法提取步骤(1)所获取视频HL中每一个人员的运动轨迹 其中 表示视频HT中第z个人员第j次出现的运动轨迹；
[0070] (13)根据学习过程所定义的关系、动作、活动、行为定义行为文法规则其中NE表示事件总的种类数，i
e 为行为文法的根
节点，表示第i种行为。 为行为文法的非终结符号，分别表示第i种行为的进入场景活动，在场景中活动，离开场景活动。 为行为文
法的终结符号。分别表示第i种行为的进入场景动作，靠近物体动作，在物体处停留动作，离开物体动作，离开场景动作，之后利用学习过程中步骤(10)所估计的参数对每一条轨迹利用改进的Earley算法做解析，以得到每一条轨迹所对应的行为集合E及每一种行为e的发生概率 其具体步骤如下：
[0071] (13-1)算法初始化：根据步骤(5)(6)所述空间关系以及进入场景动作定义及其T概率计算方法，计算轨迹 进入场景的动作集合 其中N 表示该轨迹所有
可能进入场景的动作的个数，并计算各个进入场景动作的概率 根据所述文法规则，形成一个状态集合。每个状态由四部分组成：1)上下文无关文法规则，2)圆点·(圆点左边的部分是已分析的，右边是待分析的)，3)整数j：状态起点(已分析子串的起点)，4)整数k：状态终点(已分析子串的终点)j≤k；
[0072] (13-2)计算过程：按照时间顺序根据步骤(5)(6)所述空间关系，动作定义及其概T T率计算方法，顺序读入轨迹 所表示的动作a 及其概率p(a)，每读入一个终端符号对状态集合中每一个状态循环做如下操作：
[0073] i.预测(Predicator)：如果圆点右方是一个非终结符，那么以该非终结符为左部的规则都有匹配的希望，也就是说分析器可以预测这些规则都可以建立相应的状态；
[0074] ii.扫描(Scanner)：如果圆点右方是一个终结符，就将圆点向右方扫描一个字符间隔，把匹配完的字符“让”到左方；
[0075] iii.完成(Completer)：如果圆点右方没有符号(即圆点已经在状态的结束位置)，那么表示当前状态所做的预测已经实现，因而可以将当前状态(Si)与已有的包含当前状态的状态(Sj)进行归约(合并)，从而扩大Sj
覆盖的子串范围；
[0076] (13-3)结束过程：当读入轨迹 的离开场景动作后，则产生对于该轨迹的所有解析。并根据步骤(7)，(8)所定义的概率公式计算每一种解析情况e的概率 在实际的操作中，根据实际情况的需求，按照解析事件的概率大小，去掉部分概率很小的解析，只保留概率值在一定
阈值之上的解析情况；
[0077] (14)利用贝叶斯公式将后验概率最大的角色确定为该人员的角色。其中后验概率计算公式如下：
[0078]
[0079] 其中r表示人员的角色，K表示该人员所有的轨迹个数，TR表示该人员的轨迹集合。E表示对轨迹集合TR的一种解析情况(即每一条轨迹对应一种解析情况)，ΩE表示对轨迹集合TR的所有解析情况的集合，ei表示对轨迹tri的一种解析情况，p(r)表示人员角色的先验概率，设为常数1/R，其中R为角色的种类数。
[0080] 实验结果
[0081] 实验环境：实验场景为某公司大厅。该大厅总共出现7类人员：研究员，后台工程师，算法工程师，普通职员，快递员，管理者，访客。
[0082]
硬件设备：core双核、2.4G主频、2G内存电脑，工业摄像机，广角镜头。
[0083] 编程语言：C++
[0084] 实验过程：共进行5次试验，并得到如下表一所示结果：
[0085]
[0086] 表一
[0087] 其中横轴并表示人员角色的真实类别，纵轴表示模型对人员角色的预测类别，表中每一个数字xij表示真实角色类别为i的人员被模型判断为角色类别为j比例。
