技术领域
[0001] 本
发明属于
图像处理技术领域，涉及人体运动识别方法，可用于虚拟视频、智能监控和
姿态估计。
背景技术
[0002] 人体运动识别是近几年来
计算机视觉领域的重大热点之一，人体运动识别在运动捕获，
人机交互，视频监控等多领域获得了初步的应用，具有重大的应用前景。由于人体运动的多变性和多样性，背景的嘈杂以及光照条件，衣服纹理和自身遮挡等多方面的因素严重影响人体运动的识别效果,故从视频图像中准确估计人体姿态，实现人体运动识别是计算机视觉领域长期存在的问题。
[0003] 目前，人体运动识别的方法主要分为三大类：基于学习的人体运动识别、基于模型的人体运动识别和基于表现的人体运动识别。
[0004] 第一种，基于学习的人体运动识别方法:该方法首先在训练的视频图像和目标视频图像
数据库里提取精确的图像特征，通过
机器学习从一系列
训练数据中学习得到一个分类器，用该分类器来表示人体运动，然后利用该分类器对输入窗口进行分类及识别。如Ivan Laptev等人采用的基于HOG和HOF的特征提取方法和基于KNN和SVM的识别方法。另外还有Somayeh Danafar和Niloofar Cheissari在其论文中采用了基于光流的特征提取方法和基于SVM的运动识别方法，其中基于光流的特征是从
图像序列的相邻
帧中提取。该识别方法的优点与人
体模型的方法和模板匹配的方法相比是比较鲁棒，检测结果较优，但是缺点是运动信息的计算过程缺乏对行为的全局分析，且计算特征的复杂度较高，需要很多训练数据，通常需要上万的数据。
[0005] 第二种，基于模型的方法，利用人体结构的先验知识建立
人体模型，然后提取图像底层特征匹配到模型中，并以运动规律加以约束。当前比较典型的方法如：Ju Sun采用了基于SIFT描述子和基于Markov模型的识别方法；Hsuan-Sheng Chen等人采用了基于星形骨架描述轮廓信息的特征表述方法和基于HMM的动作识别方法。这种方法简单，容易实现，但是特征表征能
力较弱，信息包含较少，识别性能低，准确率不高，且容易受遮挡和人体服装差异的影响，常作为一种辅助方法。
[0006] 第三种，基于表现的方法，无须对人体建模，直接提取图像中感兴趣区域的底层二维表观特征，然后找出区域特征与人体动作的对应关系进行匹配。如Bobick和Davis采用了基于轮廓表征的特征表示方法和基于MHI和MEI模板的识别方法。这种方法与基于模型的方法相比计算比较简单，缺点是提出的特征对环境的动态变化敏感，易受背景变化的影响，对纹理变化不够敏感，不能最优的表征图像边缘，同时由于人体姿态的复杂性，很难构造出足够的模板以处理不同的姿态，故正确率也不高。
发明内容
[0007] 本发明目的是针对上述已有技术的不足，提出的一种基于第二代Bandelet统计特征的人体运动识别方法，以降低图像特征提取的复杂度，同时提高特征的表征能力，在无需大量训练数据的情况下，有效地提高人体运动识别的正确率。
[0008] 为实现上述目的，本发明的技术方案包括如下：
[0009] (1)将Weizmann数据库中的每段视频转换为连续的单幅序列图像，并按照8∶1的比例构建训练样本集X和测试样本集T；
[0010] (2)对训练样本集X中的单幅序列图像，进行第二代Bandelet变换，提取每幅图像的Bandelet系数；
[0011] (3)计算每幅图像Bandelet系数的7类统计特征，分别为
能量特征Ve，熵特征Vs，最大值特征Vmax，最小值特征Vmin，
对比度特征Vc，均值特征Vμ和方差特征Vv；
[0012] (4)将上述所有统计特征级联,得到单幅序列图像的特征V＝{Ve，Vs，Vmax，Vmin，Vc，Vμ，Vv}；
[0013] (5)按照上述步骤(2)~(4)分别将训练样本集X和测试样本集T中的所有序列图* *像提取特征，获得训练样本特征集X 和测试样本特征集T ；
[0014] (6)利用Adaboost
算法和训练样本特征集X*对这7类Bandelet统计特征进行选择，在特征选择的同时训练并构建分类器：
[0015] (6.1)训练样本特征集X*包括m个训练样本的特征集合xi,i＝1,2....m，其对应的类别标签为yi∈Y＝{1,...k}，其中k为总的运动类别数；
[0016] (6.2)对所有样本赋予初始权重w1(i)＝1/(mk)，置初始循环次数t＝1；
[0017] (6.3)将所有样本权重归一化为
[0018] (6.4)对 上 述 单 幅 序 列 图 像 的7类 Bandelet统 计 特 征 中 每 类 特征j,j＝1,2，...7，设 计弱 分类 器 并计 算每 个弱分 类器 的误 差：其中符号Π表示求积；
(t)
[0019] (6.5)在所有弱分类器中，选择误差最小的弱分类器T ；
[0020] (6.6)计算弱分类器置信： 将所有样本的权重更新为(t) (t)
wt+1(i)＝wt(i)*exp{α Π[yi≠T (xi)]},i＝1，.....m；
[0021] (6.7)令循环次数t＝t+1，返回到步骤(6.3)，直至循环次数t＝N；
[0022] (6.8)用每次
迭代被选中的弱分类器和其对应的置信组合成一个强分类器，即最终的分类器：
[0023] (7)将测试样本特征集T*输入到已训练好的分类器H中得到各类运动的分类结果。
[0024] 本发明与现有的技术相比具有以下优点：
[0025] 本发明由于利用第二代Bandelet变换，通过计算系数的统计量得到
特征向量进行人体运动识别，从图像的几何特性出发，有效的提高了基于图片序列的人体运动识别的正确率；同时由于本发明利用Adaboost算法具有特征选择的性能，通过对不同特征的筛选，降低了图像特征的维度，提高了图像特征的表达能力；此外由于本发明使用的Bandelet变换具有多尺度特性，多方向性以及
各向异性，可以连续的细化图像，较好的表示人体的轮廓，因此，不需要对图像序列中的人体运动区域进行背景剪除，从而降低了图像特征提取的复杂度，比传统的特征提取方法更加节省计算资源和时间。
附图说明
[0026] 图1是本发明的流程示意图；
[0027] 图2是本发明仿真使用的数据库的部分序列图像；
[0028] 图3是本发明对Weizmann数据库进行仿真后的分类混淆矩阵图。
具体实施方式
[0029] 参照图1，本发明的具体实现步骤如下：
[0030] 步骤一，获取整个人体运动识别训练样本集X和测试样本集T。
[0031] (1.1)本发明试验所需的样本集来自Weizmann人体数据库，下载地址为http://www.wisdom.weizmann.ac.i1/~vision/SpaceTimeActions.html，图2给出了数据库中的部分序列图像。
[0032] (1.2)将Weizmann数据库中的每段视频转换为连续的单幅序列图像，并按照8:1的比例构建训练样本集X和测试样本集T。
[0033] 步骤二，对训练样本集X中的单幅序列图像，进行第二代Bandelet变换，提取每幅图像的Bandelet系数，具体步骤为：
[0034] (2.1)对单幅序列图像做如下二维离散
正交小波变换：
[0035] (2.1a)对单幅序列图像的每行做一维小波变换，即：
[0036] i＝1,2,...nx/2i1＝1,3,5...i2＝2,4,6...
[0037] u＝nx/2,nx/2+1,...nx u1＝1,3,5...u2＝2,4,6...
[0038] 其中，Xi表示每一行上第i个
像素点的灰度值，Xi1表示每一行上第i1个像素点的灰度值，Xi2表示每一行上第i2个像素点的灰度值，Xu表示每一行上第u个像素点的灰度值，Xu1表示每一行上第u1个像素点的灰度值，Xu2表示每一行上第u2个像素点的灰度值，nx表示图像灰度矩阵的行数；
[0039] (2.1b)对单幅序列图像的每列做一维小波变换，即：
[0040] j＝1,2,...ny/2j1＝1,3,5...j2＝2,4,6...
[0041] v＝ny/2,ny/2+1,...nyv1＝1,3,5...v2＝2,4,6...
[0042] 其中，Xj表示每一列上第j个像素点的灰度值，Xj1表示每一列上第j1个像素点的灰度值，Xj2表示每一列上第j2个像素点的灰度值，Xv表示每一列上第v个像素点的灰度值，Xv1表示每一列上第v1个像素点的灰度值，Xv2表示每一列上第v2个像素点的灰度值，ny表示图像灰度矩阵的列数。可得样本图像二维离散正交小波变换系数。
[0043] (2.2)将二维离散正交小波变换后的单幅序列图像利用四叉树分割算法建立多
尺度图各子带的最佳四叉树分解，得到L×L的Bandelet
块，L表示Bandelet块的宽度。
[0044] 所 述 的 四 叉 树 分 割 优 化 算 法 可 参 见 文 献 G.PeyréandS.Mallat,“Surfacecompression with geometric bandelets”,ACM Transactions on Graphics(TOG)Vol24-3,ACM New York,NY，USA,July 2005,pp.601-608；
[0045] (2.3)对各个Bandelet块根据Lagrange罚函数法求取一个最佳几何流方向：
[0046] (2.3a)对于尺寸为L×L的子块S，将圆周
角[0,π)等角度离散为L2-1个
采样角度α，即：
[0047] r＝0,1,2…L2-1，
[0048] 对于无几何流的情形，标记采样角度α＝inf，表示对无几何流的子块不进行任2
何操作，这样采样角度α的取值共有L 个；
[0049] (2.3b)对于每个采样角度α,α≠inf，构造一个L×L大小的网格点，计算每个坐标为[x(h),y(l)]的网格点，h,l为每个像素点分别在x轴和y轴所在的
位置，计算网格点在采样角度α上的正交投影误差t，即：
[0050] t＝-sin(α)·x(h)+cos(α)·y(l)，
[0051] 将网格点按误差值t从小到大排序，得到一个L2×1的排序索引，然后将这个子块S的二维正交
离散小波变换后的系数按排序索引进行重排序，得到一个一维
信号fs；
[0052] (2.3c)对一维信号fs进行一维小波变换得到小波变换后的信号fα，同时计算该信号的量化值 量化公式为:
[0053]
[0054] 其中，T为量化
阈值，q为整数，sign为符号函数；
[0055] (2.3d)根据Lagrange函数，利用小波变换后的信号fα和该信号的量化值 计算子块S内的最佳几何流方向，即：
[0056]
[0057] 其中，Rg表示编码几何流所需比特数，Rb表示编码量化后的Bandelet系数所需比特数，λ是Lagrange乘子取3/28，L的最小值即为最佳几何流方向；
[0058] (2.4)对L的最小值对应的一维小波变换系数fθ，借助正交投影和小波系数重排，得到一个一维离散信号 并对该离散信号进行一维离散小波变换，得到一维离散小波变换后的系数fλ；
[0059] (2.5)将每个Bandelet块中一维离散小波变换后的系数fλ作为对应Bandelet块的Bandelet系数，用所有Bandelet块的Bandelet系数构成该单幅序列图像的Bandelet系数。
[0060] 步骤三，计算每幅图像Bandelet系数的7类统计特征：
[0061] (3.1)按如下公式计算每个Bandelet块中Bandelet系数的7类统计特征，即：
[0062] 子块能量特征：
[0063] 子块熵特征：
[0064] 子块最大值特征：vmax＝max(Bi，j)，
[0065] 子块最小值特征：vmin＝min(Bi，j)，
[0066] 子块对比度特征：vc＝(i-j)2×Bi，j，
[0067] 子块均值特征：
[0068] 子块方差特征：
[0069] 其中，N为各个Bandelet块中所含像素点的个数，Bi,j为像素点(i,j)上的Bandelet系数值；
[0070] (3.2)将所有Bandelet块中的7类统计特征各自级联，得到单幅序列图像的7类统计特征，即：
[0071] 单幅图像能量特征：
[0072] 单幅图像熵特征：
[0073] 单幅图像最大值特征：
[0074] 单幅图像最小值特征：
[0076] 单幅图像均值特征：
[0077] 单幅图像方差特征：
[0078] 其中，n是单幅序列图像中剖分子块的个数，符号U表示级联。
[0079] 步骤四，将上述单幅序列图像统计特征级联,得到单幅序列图像的最终特征V＝{Ve，Vs，Vmax，Vmin，Vc，Vμ，Vv}。
[0080] 步骤五，按照上述步骤(2)~(4)分别将训练样本集X和测试样本集T中的所有序* *列图像提取特征，获得训练样本特征集X 和测试样本特征集T。
*
[0081] 步骤六，利用Adaboost算法和训练样本特征集X 对这7类Bandelet统计特征进行选择，在特征选择的同时训练并构建分类器，具体步骤为：*
[0082] (6.1)训练样本特征集X 包括m个训练样本的特征集合xi,i＝1,2....m，其对应的类别标签为yi∈Y＝{1,...k}，其中k为总的运动类别数；
[0083] (6.2)对所有样本赋予初始权重w1(i)＝1/(mk)，置初始循环次数t＝1；
[0084] (6.3)将所有样本权重归一化为
[0085] (6.4)对 上 述 单 幅 序 列 图 像 的7类 Bandelet统 计 特 征 中 每 类 特征j,j＝1,2，...7，设 计弱 分类器 并 计算每 个弱 分类器 的误 差：其中符号Π表示求积；
[0086] (6.5)在所有弱分类器中，选择误差最小的弱分类器T(t)；
[0087] (6.6)计算弱分类器的置信： 将所有样本的权重更新为wt+1(i)＝wt(i)*exp{α(t)Π[yi≠T(t)(xi)]},i＝1,.....m；
[0088] (6.7)令循环次数t＝t+1，返回到步骤(6.3)，直至循环次数t＝N；
[0089] (6.8)用每次迭代被选中的弱分类器和其对应的置信组合成一个强分类器，即最终的分类器：*
[0090] 步骤七，将测试样本特征集T 输入到训练好的分类器H中，得到运动识别的结果，即各类运动的分类准确率和总的分类准确率。
[0091] (7.1)将测试样本特征集T*输入到已经训练好的分类器H中，得到各类运动的预* *测标签L，预测标签L 包括各类运动的预测标签集合，分别为 j＝1,2....k，各类运动的预测标签集合中预测标签个数分别为nj,j＝1,2....k，其中，k为总的运动类别数；
[0092] (7.2)判断第j类运动预测标签集 中的所有预测标签和真实标签集lj中对应的真实标签是否相同，统计相同的标签的个数，记为 其中，lj为Weizmann数据库已包括的真实标签集；
[0093] (7.3)利用如下公式计算第j类运动的分类准确率，即：
[0094]
[0095] (7.4)按照步骤(7.2)~(7.3)计算k类所有运动的分类准确率，分别记为σj,j＝1,2......k；根据各类运动的分类准确率σj画出分类混淆矩阵，分类混淆矩阵包括各类运动的分类结果；
[0096] (7.5)利用如下公式计算总的分类准确率，即：
[0097]
[0098] 各类运动的分类准确率σj和总的运动分类准确率σ*即为运动识别的最终结果。
[0099] 本发明的效果可通过以下实验结果与分析进一步的说明：
[0100] 1.实验条件
[0101] 实验所需的样本集来源于Weizmann数据库，包括bend，jack，jump，pjump，side，wave1，wave2，run，walk，skip十类运动图像，整个人体运动识别的训练样本有5161个，测试样本有526个，其中训练样本中各类运动样本分别有576，678，415，489，398，599，567，374，639，426个，测试样本中各类运动样本分别有63，51，43，49，46，54，57，31，72，60个，样本的大小均为180×144像素。
[0102]
硬件平台为：Intel Core2Duo CPU E6550@2.33GHZ、2GB RAM。
软件平台为MATLAB R2009a。
[0103] 2.对比实验
[0104] 本发 明 使 用 的对 比 实 验方 法 是J.C.Niebles和 李 菲 菲博 士 在 文章“A hierarchicalmodel o f shape and appearance for human actionclassification,”IEEE Conference onComputer Vision and Pattern
Recognition,2007.”中提出的基于形状和表观模型的人体运动识别方法。用这种方法首先提取训练样本基于形状的特征，然后训练一个判别性分类器，最后通过计算测试样本特征和分类器中模型的相似性来实现分类。
[0105] 3.实验内容与实验结果分析
[0106] 使用本发明的方法对Weizmann数据库进行人体运动识别仿真，图2给出了该数据库中的部分序列图像。
[0107] 仿真过程如下：
[0108] 1)对Weizmann数据库在上述实验条件中进行训练样本和测试样本的划分；
[0109] 2)对训练样本集X和测试样本集T进行特征提取，得到训练样本特征集X*和测试*样本特征集T ；
[0110] 3)利用Adaboost算法和训练样本特征集X*对7类Bandelet统计特征进行特征*选择，同时训练并构建分类器，最后将测试样本特征集T 输入分类器得到各类运动的预测*
标签L ；
[0111] 4)根据测试样本特征集T*的预测标签L*和Weizmann数据库包含的真实标签L，得出总的分类准确率为99.22%和各类运动的分类准确率，根据各类运动的分类准确率画出分类混淆矩阵，如图3所示；
[0112] 从图3的混淆矩阵可以看出，大部分运动都能得到有效的识别，尤其是bend运动和wave2运动识别率都达到了98%以上；
[0113] 本发明进行人体运动识别的总准确率99.22%，高于对比实验中李菲菲博士的72.8%；
[0114] 综上，本发明提出的人体运动识别方法有效可行，且提出的特征提取方法能准确的表征人体运动姿态的边缘和几何流特征，在降低特征提取计算复杂度的同时，有效的提高了特征的表征能力，从而很好的提高了人体运动识别的正确率。
