首页 / 专利库 / 物理 / 非牛顿行为 / 一种老年人异常行为的识别方法

一种老年人异常行为的识别方法

阅读:569发布:2020-05-19

专利汇可以提供一种老年人异常行为的识别方法专利检索,专利查询,专利分析的服务。并且本 发明 一种老年人异常行为的识别方法,涉及图像特征 抽取 的图像信息处理,是基于改进的训练好的栈式卷积ISA模型的老年人异常行为的识别方法,步骤是:建立老年人行为模式的视频样本 数据库 并对视频样本进行分 块 ;视频样本数据的预处理;利用改进的训练好的栈式卷积ISA模型从视频样本数据中提取 时空 特征;对时空特征进行聚类得到视觉单词表和得到视频视觉单词 频率 直方图;训练χ2核 支持向量机 SVM分类器模型;对老年人异常行为的识别。该方法无需进行人体分割和背景建模,通过建立老年人行为数据库,利用 无 监督学习 方法直接从视频数据中提取时空特征,实现对老年人异常行为的识别,克服了 现有技术 存在的各种 缺陷 。,下面是一种老年人异常行为的识别方法专利的具体信息内容。

1.一种老年人异常行为的识别方法,其特征在于:是基于改进的训练好的栈式卷积ISA模型的老年人异常行为的识别方法,具体步骤如下:
第一步,建立老年人行为模式的视频样本数据库并对视频样本进行分
采样具有老年人行为模式的视频样本,至少要包含5种老年人行为,其中有2~3种老年人异常行为,每种老年人行为至少采样100个视频样本,由这些采样的视频样本建立老年人行为模式的视频样本数据库,并对该数据库中的视频样本进行分块,具体方法是,将数据库中的每个视频样本随机地分割为300个视频块,每个视频块随机地选取连续10视频,再将每一视频帧随机地分割出连续相邻16×16的图像块,则每个视频块的大小为16×16×10,总共采样得到N×300个视频块,其中N为上述老年人行为模式的视频样本数据库中的视频样本的个数,将所有视频块组成一个视频样本数据X1:
X1={x1,x2,...,xN×300}
其中,每一列向量xa表示一个视频块数据,每个视频块数据的维度为16×16×10;
第二步,视频样本数据的预处理:
将上述第一步采样的具有老年人行为模式的视频样本数据X1进行归一化和PCA白化后为Z,除去视频样本数据中的相关性和噪声,由此完成视频样本数据的预处理;
第三步,利用改进的训练好的栈式卷积ISA模型从视频样本数据中提取时空特征:
利用改进的训练好的栈式卷积ISA模型从上述第二步完成预处理的视频样本数据中提取时空特征,该栈式卷积ISA模型是由两层ISA网络堆叠的双层网络结构模型,其在第一层ISA网络isa1训练完成后,从视频样本数据中提取得到第一层ISA网络isa1的时空特征,再与更大视频块的视频样本数据进行卷积计算,得到的结果作为第二层ISA网络isa2的输入,然后完成第二层ISA网络isa2训练,从而从视频样本数据中提取得到第二层ISA网络isa2的时空特征,最后将第一层ISA网络isa1从视频样本数据中提取到的时空特征和第二层ISA网络isa2从视频样本数据中提取到的时空特征结合起来作为整个从视频样本数据中提取到的时空特征;
所述第一层ISA网络isa1训练的具体步骤如下:
将上述PCA白化处理后的视频样本数据Z输入第一层ISA网络isa1,对第一层ISA网络isa1进行训练直至收敛,得到第一层ISA网络isa1的权值W1,再将该权值W1代入第一层ISA网络isa1得到特征响应,第一层ISA网络isa1的权值W1具体求解过程如下:
单个ISA网络也是一个两层单元的网络结构,即包括第一层单元的网络结构和第二层单元的网络结构,第一层单元的网络结构将输入数据进行线性变换,得到线性特征响应,输入数据在第一层单元的网络结构线性变换的权值为W1,第二层单元的网络结构是对第一层单元的网络结构得到的特征进行非线性变换,用固定权重V1来表示第二层单元的网络结构与第一层单元的网络结构之间的连接权值,具体操作过程如下:
对每个输入的PCA白化处理后的视频样本数据Z,单个ISA网络的第一层单元的网络结构首先进行线性变换,得到线性特征响应S1:
S1=W1Z
其中,W1为输入的PCA白化处理后的视频样本数据Z到第一层单元的网络结构的线性变换的权值;
与上式等同写为:
其中,sj是S1中的分量;wkj是W1中的分量,W1∈Rk×n,n是输入维数,k是第一层单元的网络结构中的分量个数; 是Z中的分量,1≤t≤T,T为每个视频块的图片帧数;
单个ISA网络的第二层单元的网络结构对第一层单元的网络结构的特征进行非线性变换如下式:
其中,pi表示第二层单元的网络结构得到的特征响应P1的分量,V1∈Rm×k是第二层单元的网络结构与第一层单元的网络结构之间的连接权值,m是第二层单元中的分量个数,vil是V1的分量,vil表示第二层单元中第i个分量连接到第一层单元中第l个分量的权值,当第l个分量在sj中时,其值为1,否则为0,当ISA网络结构确定时,权值V1就是固定的, 是wkj中的分量;
计算第一层单元的网络结构线性变换的权值W1,以得到单个ISA网络最终的特征输出,其满足如下约束条件:
T
其中I为单位矩阵,正交约束W1(W1) =I保证了特征之间不相关,将正交优化问题重构为无约束优化问题:
当输入数据 是白化数据时,重构代价函数 相当于正交代价函
数 其中λ为罚参数,当λ趋于无穷大时,满足硬正交约束,将正交约束的优化问题转化为无约束的优化问题后,利用一种拟顿法即L-BFGS无约束优化方法解决最小值问题如下:
权值W1的迭代公式为:(W1)d+1=(W1)d+αdPd,其中αd为步长,Pd为对应的下降方向,d是迭代次数;
Pd的迭代公式为: 其中Hd为hessian矩阵的逆矩阵的近似值,
为所求函数的一阶导数;
Hd的迭代公式为: 其中Vd,ρd,sd为迭代过程中的中间变量,满足
以下等式, sd=(W1)d+1-(W1)d,
在迭代过程中,判断所述一阶导数 是否小于预设的收敛阈值,当小于预设的
收敛阈值时则迭代结束,所得(W1)d即为最优权值;否则,根据Pd及Hd矩阵继续进行迭代,其中 由前b次迭代结果估算得出,即只需要存储{sib,yib},其中ib=d-b,...,d-
1,然后根据修改后的所述下降方向Pd、Hd矩阵,计算下一次迭代的权重(W1)d+1和一阶导数直到所述权值函数的一阶导数小于预设的收敛阈值,具体步骤如下:
(1)首先进行初始化,取d=0,权值矩阵的初始值为(W1)0,Hd矩阵的初始值H0=I,下降方向 令 则 预设收敛判断
条件ε>0和存储的迭代次数b=6;
(2)收敛判断,如果 则取权值矩阵(W1)d为最优解,否则转下一步;
(3)计算本次迭代下降方向Pd=-rd,对下面式子进行线搜索,计算合适的步长αd满足下式:
其中α为步长因子,求得的αd为α的最优值;
根据下降方向Pd和步长αd更新权值矩阵(W1)d+1=(W1)d+αdPd;
(4)计算 当d>b,计算sd=(W1)d+1-(W1)d,
并保存{sib,yib}中前b次迭代结果,其中ib=d-b,...,d-1,对于给定b,迭代b+1次后得到此时的Hd,
其中初始值设为 由此得到rd,更新d为d+1转至上述步骤(2)进行收敛判
断,至此完成第一层ISA网络isa1的训练;
所述第二层ISA网络isa2训练的具体步骤如下:
对第一步中采样得到的老年人行为模式的视频样本数据库中的视频样本重新进行分块,将所有重新进行分块的视频块组成一个视频样本数据X2,X2中视频块的大小大于原视频样本数据X1中的视频块,在X2中将每个视频样本随机地分割为200个视频块,每个视频块随机地选取连续14帧,每个视频帧随机地分割出连续相邻20×20的图像块,那么每个视频块的大小为20×20×14,然后将第一层ISA网络isa1的特征输出与视频样本数据X2进行卷积,将得到的卷积特征经预处理后输入第二层ISA网络isa2中,对其训练直至收敛,训练步骤同第一层ISA网络isa1训练的具体步骤,得到第二层ISA网络isa2的权值W2,再将权值W2代入第二层ISA网络isa2得到第二层的特征响应,至此完成第二层ISA网络isa2的训练;
第四步,对时空特征进行聚类得到视觉单词表和得到视频视觉单词频率直方图:
利用K均值聚类方法对上述第三步提取到的时空特征进行聚类,得到km个聚类中心,一个聚类中心代表词袋模型的一个视觉单词wdq={f1,f2,...,fc},其中wdq为视觉单词中的第q个时空特征分量,c为时空特征维数,则km个聚类中心可视为一个视觉单词表L={wd1,wd2,...,wdkm},进一步对每个视频样本进行矢量化表示,统计时空特征基于视觉单词出现的频率,得到统计直方图,即视频视觉单词频率直方图:FH={fh1,fh2,...,fhg},其中fhg表示视频中第g个视觉单词出现的频率;
第五步,训练χ2核支持向量机SVM分类器模型:
χ2核函数是采用卡方距离构建的一种广义高斯核函数:
其中,FHφ=(fhφo)和 是视频视觉单词频率直方图,也即训练集中两个视频
样本的矢量化特征,g是视觉单词的个数,A是所有训练集中视频样本之间距离的平均值;对于多类分类,采用逐一鉴别法,选择得分最高的类,将上述第一步中采集的一个类型的老年人行为模式的视频样本和剩余的其他所有类型的老年人行为模式的视频样本之间构建一个支持向量机SVM分类器,将该类老年人行为模式的视频样本的标签看作为+1,其他所有类型的老年人行为模式的视频样本的标签看作为-1,由此构成标签集,用上述第四步得到的视频视觉单词频率直方图和由此构成的标签集来训练χ2核支持向量机SVM分类器,得到训练好的χ2核支持向量机SVM分类器模型,χ2核支持向量机SVM分类器是基于χ2核函数的多类别分类器;
第六步,对老年人异常行为的识别:
顺序按照上述的五个步骤,对需要待识别的老年人行为进行识别:1)对待识别的老年人行为的视频样本进行分块;2)对分块后得到的视频样本数据进行归一化和PCA白化的预处理;3)利用改进的训练好的栈式卷积ISA模型从视频样本数据中提取时空特征;4)利用K均值聚类方法对时空特征进行聚类得到视觉单词表和得到视频视觉单词频率直方图;5)用训练好的χ2核支持向量机SVM分类器模型对待识别的老年人行为的视频样本类别进行预测,并判断确定该待识别的老年人的行为是否为异常行为,由此完成对老年人异常行为的识别,
上述PCA白化的预处理的操作步骤如下:
(1)计算训练视频样本的协方差矩阵: 其中mn为视频样本中的视
频块个数,xδ′为X1′中的分量,X1′为归一化后的视频样本数据,(xδ′)T为xδ′的转置矩阵;
(2)对协方差矩阵Σ进行奇异值分解:∑=U×V×D,其中,分解得到的U和D都是正交矩阵,V是对化的矩阵,其元素非负且按降序排列,即为协方差矩阵的特征值按降序排列,由此正交矩阵U为协方差矩阵Σ的特征向量,保留U中的前ku个成分,也即前ku个特征值对应的特征向量,ku<mn,其余赋值为0,得到 为U降维后的矩阵由此完成对协方差矩阵Σ的奇异值分解;
(3)对归一化后的视频样本数据X1′进行降维得到 为 的转置矩
阵;
(4)对 进行PCA白化处理,使协方差矩阵Σ为单位矩阵,使 每一维的方差都为1,得到PCA白化处理后的视频样本数据Z: 其中zτ为Z的行向量,zτ={z1,z2,...,znf},nf表示每个视频样本数据的大小,μτ表示协方差矩阵Σ的特征值,当一些特征值μτ在数值上接近于0时,将导致在缩放步骤时除以一个接近0的值,这可能使数据上溢或造成数值不稳定,为此加上一个取值为σ≈10-5的常数,由此完成视频样本数据的PCA白化。

说明书全文

一种老年人异常行为的识别方法

技术领域

[0001] 本发明的技术方案涉及图像特征抽取的图像信息处理,具体地说是一种老年人异常行为的识别方法。

背景技术

[0002] 在计算机视觉技术领域中,老年人异常行为的识别是通过计算机系统对独居老人的实时监护和智能服务,对老年人异常行为的识别的目的旨在当独自生活的老人因跌倒或突发疾病而处于异常行为状态时,计算机系统能及时发现并报警,让老人及时得到救助。目前,老年人异常行为的识别方法的研究是一个研究热点,具有很大的发展空间。在现有技术中:CN104850841A公开了一种结合RFID与视频识别的老人异常行为监测方法,通过给老人佩戴RFID标签识别老人的身份信息,通过背景建模得到人体行为前景图像序列,采用梯度直方图特征提取人体行为特征,利用模板匹配法识别老人的异常行为。CN103425971A公开了一种家庭环境下独居老人异常行为的监测方法,也是通过背景建模得到前景人体,识别目标团跟踪,对目标团块中心进行Kalman滤波,得到其预测值,当预测值大于设定阈值时,判定为行为异常。以上两种方法都是以背景建模为基础,背景建模受遮挡光照等因素影响较大,特征提取的准确度往往取决于背景建模的效果。CN102799873A公开了一种人体异常行为识别方法,无需进行人体分割和背景建模,通过聚类人体运动剧烈区域的时空特征,实现对运动的建模,进而实现人体异常行为的识别,其通过获得的异常行为模板对行为进行分类,但是这种方法提取的特征是人为设计的特征,并不一定适用于所有的行为数据库,有很大的局限性。Quoc V.Le在其发表的论文”Learning hierarchical invariant spatio-temporal features for action recognition with independent subspace analysis”中提出了所谓独立子空间分析(independent subspace analysis,简称ISA)的特征提取方法,其通过监督学习方法直接从视频数据中提取时空特征,完成对行为的识别,该方法在几个主流人体行为数据库都取得了很好的效果,但是其在权值优化计算过程中,受正交约束的条件计算量较大,迭代收敛速度慢。

发明内容

[0003] 本发明所要解决的技术问题是:提供一种老年人异常行为的识别方法,是基于改进的训练好的栈式卷积ISA模型的老年人异常行为的识别方法,该方法无需进行人体分割和背景建模,通过建立老年人行为数据库,利用无监督学习方法直接从视频数据中提取时空特征,实现对老年人异常行为的识别,克服了上述现有技术存在的各种缺陷
[0004] 本发明解决该技术问题所采用的技术方案是:一种老年人异常行为的识别方法,是基于改进的训练好的栈式卷积ISA模型的老年人异常行为的识别方法,具体步骤如下:
[0005] 第一步,建立老年人行为模式的视频样本数据库并对视频样本进行分块:
[0006] 采样具有老年人行为模式的视频样本,至少要包含5种老年人行为,其中有2~3种老年人异常行为,每种老年人行为至少采样100个视频样本,由这些采样的视频样本建立老年人行为模式的视频样本数据库,并对该数据库中的视频样本进行分块,具体方法是,将数据库中的每个视频样本随机地分割为300个视频块,每个视频块随机地选取连续10视频,再将每一视频帧随机地分割出连续相邻16×16的图像块,则每个视频块的大小为16×16×10,总共采样得到N×300个视频块,其中N为上述老年人行为模式的视频样本数据库中的视频样本的个数,将所有视频块组成一个视频样本数据X1:
[0007] X1={x1,x2,...,xN×300}
[0008] 其中,每一列向量xi表示一个视频块数据,每个视频块数据的维度为16×16×10;
[0009] 第二步,视频样本数据的预处理:
[0010] 将上述第一步采样的具有老年人行为模式的视频样本数据进行归一化和PCA白化,除去视频样本数据中的相关性和噪声,由此完成视频样本数据的预处理;
[0011] 第三步,利用改进的训练好的栈式卷积ISA模型从视频样本数据中提取时空特征:
[0012] 利用改进的训练好的栈式卷积ISA模型从上述第二步完成预处理的视频样本数据中提取时空特征,该栈式卷积ISA模型是由两层ISA网络堆叠的双层网络结构模型,其在第一层ISA网络isa1训练完成后,从视频样本数据中提取得到第一层ISA网络isa1的时空特征,再与更大视频块的视频样本数据进行卷积计算,得到的结果作为第二层ISA网络isa2的输入,然后完成第二层ISA网络isa2训练,从而从视频样本数据中提取得到第二层ISA网络isa2的时空特征,最后将第一层ISA网络isa1从视频样本数据中提取到的时空特征和第二层ISA网络isa2从视频样本数据中提取到的时空特征结合起来作为整个从视频样本数据中提取到的时空特征;
[0013] 第四步,对时空特征进行聚类得到视觉单词表和得到视频视觉单词频率直方图:
[0014] 利用K均值聚类方法对上述第三步提取到的时空特征进行聚类,得到k个聚类中心,一个聚类中心代表词袋模型的一个视觉单词wi={f1,f2,...,fm},其中fi为视觉单词中的第i个时空特征分量,m为时空特征维数,则k个聚类中心可视为一个视觉单词表V={w1,w2,...,wk},进一步对每个视频样本进行矢量化表示,统计时空特征基于视觉单词出现的频率,得到统计直方图,即视频视觉单词频率直方图:H={h1,h2,...,hk},其中hi表示视频中第i个视觉单词出现的频率;
[0015] 第五步,训练χ2核支持向量机SVM分类器模型:
[0016] χ2核函数是采用卡方距离构建的一种广义高斯核函数:
[0017]
[0018] 其中,Hi=(hin)和Hj=(hjn)是视频视觉单词频率直方图,也即训练集中两个视频样本的矢量化特征,k是视觉单词的个数,A是所有训练集中视频样本之间距离的平均值;对于多类分类,采用逐一鉴别法,选择得分最高的类,将上述第一步中采集的一个类型的老年人行为模式的视频样本和剩余的其他所有类型的老年人行为模式的视频样本之间构建一个支持向量机SVM分类器,将该类老年人行为模式的视频样本的标签看作为+1,其他所有类型的老年人行为模式的视频样本的标签看作为-1,由此构成标签集,用上述第四步得到的视频视觉单词频率直方图和由此构成的标签集来训练χ2核支持向量机SVM分类器,得到训练好的χ2核支持向量机SVM分类器模型,χ2核支持向量机SVM分类器是基于χ2核函数的多类别分类器;
[0019] 第六步,对老年人异常行为的识别:
[0020] 按照上述五个步骤的顺序,对需要待识别的老年人行为进行识别:1)对待识别的老年人行为的视频样本进行分块;2)对分块后得到的视频样本数据进行归一化和PCA白化的预处理;3)利用改进的训练好的栈式卷积ISA模型从视频样本数据中提取时空特征;4)利用K均值聚类方法对时空特征进行聚类得到视觉单词表和得到视频视觉单词频率直方图;5)用训练好的χ2核支持向量机SVM分类器模型对待识别的老年人行为的视频样本类别进行预测,并判断确定该待识别的老年人的行为是否为异常行为,由此完成对老年人异常行为的识别。
[0021] 上述一种老年人异常行为的识别方法,所述具有老年人行为模式的视频样本数据进行归一化的操作方法是,逐视频样本数据均值消减,也称为移除直流分量,逐视频样本数据进行计算,即分别计算各视频样本数据的均值,然后各视频样本数据减去其对应的均值,则视频样本数据X1归一化后为X1′。
[0022] 上述一种老年人异常行为的识别方法,所述将具有老年人行为模式的视频样本数据进行PCA白化即主成分分析白化的操作步骤如下:
[0023] (1)计算训练视频样本的协方差矩阵: 其中m为视频样本中的视频块个数,xi′为X1′中的分量,(xi′)Τ为(xi′)的转置矩阵;
[0024] (2)对协方差矩阵Σ进行奇异值分解:∑=U×V×D,其中,分解得到的U和D都是正交矩阵,V是对化的矩阵,其元素非负且按降序排列,即为协方差矩阵的特征值按降序排列,由此正交矩阵U为协方差矩阵Σ的特征向量,保留U中的前k个成分,也即前k个特征值对应的特征向量,k<m,其余赋值为0,得到 为U降维后的矩阵由此完成对协方差矩阵Σ的奇异值分解;
[0025] (3)对归一化后的视频样本数据X1′进行降维得到 为 的转置矩阵;
[0026] (4)对 进行PCA白化处理,使协方差矩阵Σ为单位矩阵,使 每一维的方差都为1,得到PCA白化处理后的视频样本数据Z: 其中zi为Z的行向量,zi={z1,
z2,...,znf},nf表示每个视频样本数据的大小,λi表示协方差矩阵Σ的特征值,当一些特征值λi在数值上接近于0时,将导致在缩放步骤时除以一个接近0的值,这可能使数据上溢或造成数值不稳定,为此加上一个取值为ε≈10-5的常数,由此完成视频样本数据的PCA白化。
[0027] 上述一种老年人异常行为的识别方法,所述第一层ISA网络isa1训练的具体步骤如下:
[0028] 将上述PCA白化处理后的视频样本数据Z输入第一层ISA网络isa1,对第一层ISA网络isa1进行训练直至收敛,得到第一层ISA网络isa1的权值W1,再将该权值W1代入第一层ISA网络isa1得到特征响应,第一层ISA网络isa1的权值W1具体求解过程如下:
[0029] 单个ISA网络也是一个两层单元的网络结构,即包括第一层单元的网络结构和第二层单元的网络结构,第一层单元的网络结构将输入数据进行线性变换,得到线性特征响应,输入数据在第一层单元的网络结构线性变换的权值为W1,第二层单元的网络结构是对第一层单元的网络结构得到的特征进行非线性变换,用固定权重V1来表示第二层单元的网络结构与第一层单元的网络结构之间的连接权值,具体操作过程如下:
[0030] 对每个输入的PCA白化处理后的视频样本数据Z,单个ISA网络的第一层单元的网络结构首先进行线性变换,得到线性特征响应S1:
[0031] S1=W1Z
[0032] 其中,W1为输入的PCA白化处理后的视频样本数据Z到第一层单元的网络结构的线性变换的权值;
[0033] 上式也可写为:
[0034] 其中,sj是S1中的分量;wkj是W1中的分量,W1∈Rk×n,n是输入维数,k是第一层单元的网络结构中的分量个数; 是Z中的分量,t取值为1→T,T为每个视频块的图片帧数;
[0035] 单个ISA网络的第二层单元的网络结构对第一层单元的网络结构的特征进行非线性变换如下式:
[0036]
[0037] 其中,pi表示第二层单元的网络结构得到的特征响应P1的分量,V1∈Rm×k是第二层单元的网络结构与第一层单元的网络结构之间的连接权值,m是第二层单元中的分量个数,vil是V1的分量,vil表示第二层单元中第i个分量连接到第一层单元中第l个分量的权值,当第l个分量在sj中时,其值为1,否则为0;当ISA网络结构确定时,权值V1就是固定的;
[0038] 计算第一层单元的网络结构线性变换的权值W1,以得到单个ISA网络最终的特征输出,其满足如下约束条件:
[0039]
[0040] 其中正交约束W1(W1)Τ=I保证了特征之间不相关,将正交优化问题重构为无约束优化问题:
[0041]
[0042] 当输入数据 是白化数据时,重构代价函数 相当于正交代价函数 其中λ趋于无穷大时,满足硬正交约束,将正交约束的优化问题转化为无约束的优化问题后,利用一种拟顿法即L-BFGS无约束优化方法解决最小值问题如下:
[0043] 权值W1的迭代公式为:(W1)k+1=(W1)k+αkPk,其中αk为步长,PK为对应的下降方向,k是迭代次数;
[0044] PK的迭代公式为: 其中Hk为hessian矩阵的逆矩阵的近似值,为所求函数的一阶导数;
[0045] Hk的迭代公式为: 其中sk,yk,ρk,Vk为迭代过程中的中间变量,满足 sk=(W1)k+1-(W1)k,
[0046] 在迭代过程中,判断所述一阶导数▽f((W1)k)是否小于预设的收敛阈值,当小于预设的收敛阈值时则迭代结束,所得(W1)k即为最优权值;否则,根据PK及Hk矩阵继续进行迭代,其中 由前m次迭代结果估算得出,即只需要存储{si,yi}(i=k-m,...,k-1),然后根据修改后的下降方向PK及Hk矩阵,计算下一次迭代的权重(W1)k+1和一阶导数直到所述权值函数的一阶导数小于预设的收敛阈值,具体步骤如下:
[0047] (1)首先进行初始化,取k=0,权值矩阵的初始值为(W1)0,Hk矩阵的初始值H0=I,下降方向 令 则 预设收敛判断条件ε(ε>0)和存储的迭代次数m(一般取6);
[0048] (2)收敛判断,如果 则取权值矩阵(W1)k为最优解,否则转下一步;
[0049] (3)计算本次迭代下降方向Pk=-rk,计算步长αk,对下面式子进行线搜索[0050]
[0051] 根据下降方向PK和步长αk更新权值矩阵(W1)k+1=(W1)k+αkPk;
[0052] (4)计算 当k>m,计算sk=(W1)k+1-(W1)k,
[0053] 并保存{si,yi}中前m次迭代结果,其中i=k-m,...,k-1,对于给定m,迭代m+1次后得到此时的Hk,
[0054]
[0055] 其中初始值设为 由此得到rk,k←k+1转至上述步骤(2)进行收敛判断;
[0056] 至此完成第一层ISA网络isa1的训练。
[0057] 上述一种老年人异常行为的识别方法,所述第二层ISA网络isa2训练的具体步骤如下:
[0058] 对第一步中采样得到的老年人行为模式的视频样本数据库中的视频样本重新进行分块,将所有重新进行分块的视频块组成一个视频样本数据X2,X2中视频块的大小大于原视频样本数据X1中的视频块,在X2中将每个视频样本随机地分割为200个视频块,每个视频块随机地选取连续14帧,每个视频帧随机地分割出连续相邻20×20的图像块,那么每个视频块的大小为20×20×14,然后将第一层ISA网络isa1的特征输出与视频样本数据X2进行卷积,将得到的卷积特征经预处理后输入第二层ISA网络isa2中,对其训练直至收敛,训练步骤同第一层ISA网络isa1训练的具体步骤,得到第二层ISA网络isa2的权值W2,再将权值W2代入第二层ISA网络isa2得到第二层的特征响应,至此完成第二层ISA网络isa2的训练。
[0059] 上述一种老年人异常行为的识别方法,所述PCA白化、K均值聚类方法、SVM分类器、逐一鉴别法均是本技术领域公知的。
[0060] 本发明的有益效果是:与现有技术相比,本发明具有如下的突出的实质性特点和显著进步:
[0061] (1)本发明方法,使用无监督学习方法来直接从视频数据中提取时空特征,其使用包含PCA和卷积的两层ISA网络结构,减小了计算维度,加快了训练速度。ISA学习所得的输出分量在具有统计独立性的同时也具有一定的位移、相位与旋转不变性,卷积网络能够高效地处理大样本数据,栈式网络可以提取到内容更为丰富的显著特征,因此它具有ISA模型、栈式网络和卷积网络的所有优点,适合处理视频中老年人行为的识别工作。
[0062] (2)本发明改进了栈式卷积ISA模型的最优求解算法。基本ISA模型中对权值有正交约束的条件,在利用梯度下降法求最优解时,每一步都要执行正交化,这种算法输入维度高,计算复杂度大。而本发明将原模型中的正交约束条件重构为无约束条件,利用无约束的L-BFGS最优求解方法,相比于基于约束优化的梯度下降法,其大大加快了收敛速度,提高了算法效率。
[0063] (3)本发明是基于改进的训练好的栈式卷积ISA模型的老年人异常行为的识别方法,该方法无需进行人体分割和背景建模,通过建立老年人行为数据库,利用无监督学习方法直接从视频数据中提取时空特征,实现对老年人异常行为的识别,克服了上述现有技术存在的各种缺陷。附图说明
[0064] 下面结合附图和实施例对本发明进一步说明。
[0065] 图1为本发明一种老年人异常行为的识别方法的流程示意框图
[0066] 图2为本发明中的栈式卷积ISA模型的网络结构示意图。

具体实施方式

[0067] 图1所示实施例表明,本发明一种老年人异常行为的识别方法的流程是:建立老年人行为模式的视频样本数据库并对视频样本进行分块→视频样本数据的预处理→利用改进的训练好的栈式卷积ISA模型从视频样本数据中提取时空特征→对时空特征进行聚类得到视觉单词表和得到视频视觉单词频率直方图→训练χ2核支持向量机SVM分类器模型→对老年人异常行为的识别。
[0068] 图2所示实施例显示本发明中的栈式卷积ISA模型的网络结构:将视频样本数据X1经上述预处理阶段得到PCA白化处理后的视频样本数据Z,将PCA白化处理后的视频样本数据Z输入第一层ISA网络isa1,第一层ISA网络isa1中的第一层单元的网络结构首先进行线性变换,连接输入PCA白化处理后的视频样本数据Z与第一层单元的网络结构的权值为W1,得到线性特征响应为S1,再经第一层单元的网络结构的非线性变换,连接第二层单元的网络结构与第一层单元的网络结构的权值为V1,得到第二层单元的网络结构特征响应P1,即为第一层ISA网络isa1的时空特征;然后将P1与含有更大视频块的视频样本数据X2进行卷积运算,得到的结果经预处理后作为第二层ISA网络isa2的输入数据,第二层ISA网络isa2中连接输入数据与第一层单元的权值为W2,得到线性特征响应为S2,连接第二层单元的网络结构与第一层单元的网络结构的权值为V2,得到第二层单元的网络结构特征响应P2,即为第二层ISA网络isa2的时空特征。
[0069] 实施例
[0070] 本实施例的一种老年人异常行为的识别方法,是基于改进的训练好的栈式卷积ISA模型的老年人异常行为的识别方法,具体步骤如下:
[0071] 第一步,建立老年人行为模式的视频样本数据库并对视频样本进行分块:
[0072] 采样具有老年人行为模式的视频样本,包含6种行为:行走、坐下、站起、弯腰、跌倒、挥手、手部震颤,其中跌倒和手部震颤属于异常行为,其余行为属于正常行为,每种行为采样100个,则共采样600个视频样本,由这些采样的视频样本建立老年人行为模式的视频样本数据库,并对该数据库中的视频样本进行分块,具体方法是,将数据库中的每个视频样本随机地分割为300个视频块,每个视频块随机地选取连续10视频帧,再将每一视频帧随机地分割出连续相邻16×16的图像块,则每个视频块的大小为16×16×10,总共采样得到600×300个视频块,将所有视频块组成一个视频样本数据X1:
[0073] X1={x1,x2,...,x600×300}
[0074] 其中,每一列向量xi表示一个视频块数据,每个视频块数据的维度为16×16×10;
[0075] 第二步,视频样本数据的预处理:
[0076] 将上述第一步采样的具有老年人行为模式的视频样本数据进行归一化和PCA白化,除去视频样本数据中的相关性和噪声,由此完成视频样本数据的预处理;
[0077] 所述具有老年人行为模式的视频样本数据进行归一化的操作方法是,逐视频样本数据均值消减,也称为移除直流分量,逐视频样本数据进行计算,即分别计算各视频样本数据的均值,然后各视频样本数据减去其对应的均值,则视频样本数据X1归一化后为X1′。
[0078] 所述将具有老年人行为模式的视频样本数据进行PCA白化即主成分分析白化的操作步骤如下:
[0079] (1)计算训练视频样本的协方差矩阵: 其中m为视频样本中的视Τ
频块个数,xi′为X1′中的分量,(xi′) 为(xi′)的转置矩阵;
[0080] (2)对协方差矩阵Σ进行奇异值分解:∑=U×V×D,其中,分解得到的U和D都是正交矩阵,V是对角化的矩阵,其元素非负且按降序排列,即为协方差矩阵的特征值按降序排列,由此正交矩阵U为协方差矩阵Σ的特征向量,保留U中的前k个成分,也即前k个特征值对应的特征向量,k<m,其余赋值为0,得到 为U降维后的矩阵由此完成对协方差矩阵Σ的奇异值分解;
[0081] (3)对归一化后的视频样本数据X1′进行降维得到 为 的转置矩阵;
[0082] (4)对 进行PCA白化处理,使协方差矩阵Σ为单位矩阵,使 每一维的方差都为1,得到PCA白化处理后的视频样本数据Z: 其中zi为Z的行向量,zi={z1,
z2,...,znf},nf表示每个视频样本数据的大小,λi表示协方差矩阵Σ的特征值,当一些特征值λi在数值上接近于0时,将导致在缩放步骤时除以一个接近0的值,这可能使数据上溢或造成数值不稳定,为此加上一个取值为ε≈10-5的常数,由此完成视频样本数据的PCA白化。
[0083] 第三步,从视频数据中提取时空特征:
[0084] 利用改进的训练好的栈式卷积ISA模型从上述第二步完成预处理的视频样本数据中提取时空特征,该栈式卷积ISA模型是由两层ISA网络堆叠的双层网络结构模型,其在第一层ISA网络isa1训练完成后,从视频样本数据中提取得到第一层ISA网络isa1的时空特征P1,再与更大视频块的视频样本数据X2进行卷积计算,得到的结果作为第二层ISA网络isa2的输入,然后完成第二层ISA网络isa2训练,从而从视频样本数据中提取得到第二层ISA网络isa2的时空特征P2,最后将第一层ISA网络isa1从视频样本数据中提取到的时空特征P1和第二层ISA网络isa2从视频样本数据中提取到的时空特征P2结合起来作为整个从视频样本数据中提取到的时空特征;
[0085] 所述第一层ISA网络isa1训练的具体步骤如下:
[0086] 将上述PCA白化处理后的视频样本数据Z输入第一层ISA网络isa1,对第一层ISA网络isa1进行训练直至收敛,得到第一层ISA网络isa1的权值W1,再将该权值W1代入第一层ISA网络isa1得到特征响应,第一层ISA网络isa1的权值W1具体求解过程如下:
[0087] 单个ISA网络也是一个两层单元的网络结构,即包括第一层单元的网络结构和第二层单元的网络结构,第一层单元的网络结构将输入数据进行线性变换,得到线性特征响应,输入数据在第一层单元的网络结构线性变换的权值为W1,第二层单元的网络结构是对第一层单元的网络结构得到的特征进行非线性变换,用固定权重V1来表示第二层单元的网络结构与第一层单元的网络结构之间的连接权值,具体操作过程如下:
[0088] 对每个输入的PCA白化处理后的视频样本数据Z,单个ISA网络的第一层单元的网络结构首先进行线性变换,得到线性特征响应S1:
[0089] S1=W1Z
[0090] 其中,W1为输入的PCA白化处理后的视频样本数据Z到第一层单元的网络结构的线性变换的权值;
[0091] 上式也可写为:
[0092] 其中,sj是S1中的分量;wkj是W1中的分量,W1∈Rk×n,n是输入维数,k是第一层单元的网络结构中的分量个数; 是Z中的分量,t取值为1→T,T为每个视频块的图片帧数;
[0093] 单个ISA网络的第二层单元的网络结构对第一层单元的网络结构的特征进行非线性变换如下式:
[0094]
[0095] 其中,pi表示第二层单元的网络结构得到的特征响应P1的分量,V1∈Rm×k是第二层单元的网络结构与第一层单元的网络结构之间的连接权值,m是第二层单元中的分量个数,vil是V1的分量,vil表示第二层单元中第i个分量连接到第一层单元中第l个分量的权值,当第l个分量在sj中时,其值为1,否则为0;当ISA网络结构确定时,权值V1就是固定的;
[0096] 计算第一层单元的网络结构线性变换的权值W1,以得到单个ISA网络最终的特征输出,其满足如下约束条件:
[0097]
[0098] 其中正交约束W1(W1)Τ=I保证了特征之间不相关,将正交优化问题重构为无约束优化问题:
[0099]
[0100] 当输入数据 是白化数据时,重构代价函数 相当于正交代价函数 其中λ趋于无穷大时,满足硬正交约束,将正交约束的优化问题转化为无约束的优化问题后,利用一种拟牛顿法即L-BFGS无约束优化方法解决最小值问题如下:
[0101] 权值W1的迭代公式为:(W1)k+1=(W1)k+αkPk,其中αk为步长,PK为对应的下降方向,k是迭代次数;
[0102] PK的迭代公式为: 其中Hk为hessian矩阵的逆矩阵的近似值,为所求函数的一阶导数;
[0103] Hk的迭代公式为: 其中sk,yk,ρk,Vk为迭代过程中的中间变量,满足 sk=(W1)k+1-(W1)k,
[0104] 在迭代过程中,判断所述一阶导数▽f((W1)k)是否小于预设的收敛阈值,当小于预设的收敛阈值时则迭代结束,所得(W1)k即为最优权值;否则,根据PK及Hk矩阵继续进行迭代,其中 由前m次迭代结果估算得出,即只需要存储{si,yi}(i=k-m,...,k-1),然后根据修改后的下降方向PK及Hk矩阵,计算下一次迭代的权重(W1)k+1和一阶导数直到所述权值函数的一阶导数小于预设的收敛阈值,这样只保存最近m次的迭代信息,从而大大降低数据存储空间,计算可行方向的时间复杂度也降低,具体步骤如下:
[0105] (1)首先进行初始化,取k=0,权值矩阵的初始值为(W1)0,Hk矩阵的初始值H0=I,下降方向 令 则 预设收敛判断条件ε(ε>0)和存储的迭代次数m(一般取6);
[0106] (2)收敛判断,如果 则取权值矩阵(W1)k为最优解,否则转下一步;
[0107] (3)计算本次迭代下降方向Pk=-rk,计算步长αk,对下面式子进行线搜索[0108]
[0109] 根据下降方向PK和步长αk更新权值矩阵(W1)k+1=(W1)k+αkPk;
[0110] (4)计算 当k>m,计算sk=(W1)k+1-(W1)k,
[0111] 并保存{si,yi}中前m次迭代结果,其中i=k-m,...,k-1,对于给定m,迭代m+1次后得到此时的Hk,
[0112]
[0113] 其中初始值设为 由此得到rk,k←k+1转至上述步骤(2)进行收敛判断;
[0114] 至此完成第一层ISA网络isa1的训练。
[0115] 所述第二层ISA网络isa2训练的具体步骤如下:
[0116] 对第一步中采样得到的老年人行为模式的视频样本数据库中的视频样本重新进行分块,将所有重新进行分块的视频块组成一个视频样本数据X2,X2中视频块的大小大于原视频样本数据X1中的视频块,在X2中将每个视频样本随机地分割为200个视频块,每个视频块随机地选取连续14帧,每个视频帧随机地分割出连续相邻20×20的图像块,那么每个视频块的大小为20×20×14,然后将第一层ISA网络isa1的特征输出与视频样本数据X2进行卷积,将得到的卷积特征经预处理后输入第二层ISA网络isa2中,对其训练直至收敛,训练步骤同第一层ISA网络isa1训练的具体步骤,得到第二层ISA网络isa2的权值W2,再将权值W2代入第二层ISA网络isa2得到第二层的特征响应,至此完成第二层ISA网络isa2的训练。
[0117] 第四步,对时空特征进行聚类得到视觉单词表和得到视频视觉单词频率直方图:
[0118] 利用K均值聚类方法对上述第三步提取到的时空特征进行聚类,得到k个聚类中心,一个聚类中心代表词袋模型的一个视觉单词wi={f1,f2,...,fm},其中fi为视觉单词中的第i个时空特征分量,m为时空特征维数,则k个聚类中心可视为一个视觉单词表V={w1,w2,...,wk},进一步对每个视频样本进行矢量化表示,统计时空特征基于视觉单词出现的频率,得到统计直方图,即视频视觉单词频率直方图:H={h1,h2,...,hk},其中hi表示视频中第i个视觉单词出现的频率;
[0119] 第五步,训练χ2核支持向量机SVM分类器模型:
[0120] χ2核函数是采用卡方距离构建的一种广义高斯核函数:
[0121]
[0122] 其中,Hi=(hin)和Hj=(hjn)是视频视觉单词频率直方图,也即训练集中两个视频样本的矢量化特征,k是视觉单词的个数,A是所有训练集中视频样本之间距离的平均值;对于多类分类,采用逐一鉴别法,选择得分最高的类,将上述第一步中采集的一个类型的老年人行为模式的视频样本和剩余的其他所有类型的老年人行为模式的视频样本之间构建一个支持向量机SVM分类器,将该类老年人行为模式的视频样本的标签看作为+1,其他所有类型的老年人行为模式的视频样本的标签看作为-1,由此构成标签集,用上述第四步得到的视频视觉单词频率直方图和由此构成的标签集来训练χ2核支持向量机SVM分类器,得到训练好的χ2核支持向量机SVM分类器模型,χ2核支持向量机SVM分类器是基于χ2核函数的多类别分类器;
[0123] 第六步,对老年人异常行为的识别:
[0124] 按照上述五个步骤的顺序,对需要待识别的老年人行为进行识别:1)对待识别的老年人行为的视频样本进行分块;2)对分块后得到的视频样本数据进行归一化和PCA白化的预处理;3)利用改进的训练好的栈式卷积ISA模型从视频样本数据中提取时空特征;4)利用K均值聚类方法对时空特征进行聚类得到视觉单词表和得到视频视觉单词频率直方图;5)用训练好的χ2核支持向量机SVM分类器模型对待识别的老年人行为的视频样本类别进行预测,并判断确定该待识别的老年人的行为是否为异常行为,由此完成对老年人异常行为的识别。
[0125] 上述实施例中,所述PCA白化、K均值聚类方法、SVM分类器、逐一鉴别法均是本技术领域公知的。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈