一种人体动作识别方法

阅读:1003发布:2020-06-07

专利汇可以提供一种人体动作识别方法专利检索,专利查询,专利分析的服务。并且本 发明 提出一种人体动作识别方法,提取动作样本每个骨骼关 节点 在相邻 帧 之间的运动作为该动作样本的动态特征;对动态特征进行空间多尺度划分,得到各个子特征集;对于每个子特征集,将同一帧所有骨骼关节点的运动特征组成向量;提取所有训练样本的该子特征集的帧 特征向量 ,进行聚类,得到聚类中心;将动作样本所有帧的特征向量输入至各个子特征集构建的概率分布神经元,累加每个概率分布神经元上的所有输出,得到直方图表达;对该子特征集进行时间多尺度划分,得到时间多尺度直方图;组成 时空 多尺度软量化直方图;构成时空多尺度软量化网络;训练时空多尺度软量化网络,将测试样本输入至训练好的网络模型中,实现动作识别。,下面是一种人体动作识别方法专利的具体信息内容。

1.一种人体动作识别方法,其特征在于:该方法包括以下步骤:
步骤一、提取动作样本的每个骨骼关节点在相邻之间的运动作为该动作样本的动态特征;
步骤二、对动态特征进行空间多尺度划分,得到各个子特征集;
步骤三、对于每个子特征集,将同一帧的所有骨骼关节点的运动特征组成向量;
步骤四、提取所有训练样本的各子特征集下每一帧的特征向量,按各子特征集进行聚类,得到聚类中心;
步骤五、针对各子特征集构建对应的概率分布神经元组,根据聚类结果进行参数初始化;将动作样本的各子特征集下每一帧的特征向量输入至对应的概率分布神经元组,并进行归一化;
步骤六、将每一子特征集中所有帧的特征向量输入至对应概率分布神经元组的各个概率分布神经元,累加每个概率分布神经元上的所有输出,得到直方图表达;
步骤七、对每一子特征集进行时间多尺度划分,不同时间尺度上共享该子特征集对应的概率分布神经元组,得到时间多尺度直方图;
步骤八、将所有子特征集的时间多尺度直方图结合,组成时空多尺度软量化直方图;
步骤九、将时空多尺度软量化直方图作为向量输入至多层感知器,构成完整的时空多尺度软量化网络;
步骤十、训练时空多尺度软量化网络,将测试样本输入至训练好的时空多尺度软量化网络模型中,实现动作识别。
2.根据权利要求1所述的一种人体动作识别方法,其特征在于:所述步骤一中,提取动作样本的动态特征的方法为:
每一个动作样本是由人体所有骨骼关节点所有帧的三维坐标组成,对于任一动作样本A来说:
其中, 为骨骼关节点j在第f帧的三维坐标,J是骨骼关节点总数,F是动作样本A的总帧数;
骨骼关节点j在第f帧至第f+1帧的动态特征 表示为:
则动作样本A的动态特征M表示为:
3.根据权利要求2所述的一种人体动作识别方法,其特征在于:所述步骤二中,对动态特征进行空间多尺度划分,得到各个子特征集的具体方法为:
对动作样本A的动态特征M进行空间多尺度划分,共分为三级:
1
在第一级空间尺度中,动作特征R为整个人体所有骨骼关节点的动态特征:
在第一级空间尺度中的动态特征集合M1为:
M1=R1;
在第二级空间尺度中,将全部骨骼关节点按身体部位分为五组,分别为四肢的骨骼关节点以及躯干的骨骼关节点,各个分组的骨骼关节点标号的集合分别为P1,P2,P3,P4,P5,五个身体部位的动态特征分别为:
则在第二级空间尺度中的动作特征集合M2为:
M2={G1,G2,G3,G4,G5};
在第三级空间尺度中,每个骨骼关节点单独作为一组,则第j个骨骼关节点的运动特征为:
则在第三级空间尺度中的动作特征集合M3为:
M3={Q1,Q2,…,QJ};
至此,将动作样本A的动态特征M划分为空间多尺度动态特征集合T:
T={Ms|s∈[1,S]},
其中,S为空间多尺度划分的总级别数,S的值为3,空间多尺度动态特征T可以表示为所有空间尺度上各个子特征集的组合:
T={R1,G1,…,G5,Q1,…,QJ}。
4.根据权利要求3所述的一种人体动作识别方法,其特征在于:所述步骤三中,对于每个子特征集R1,G1,…,G5,Q1,…,QJ,将同一帧的所有骨骼关节点的运动特征组成向量,对于子特征集R1来说,第f帧的特征向量vf为全部J个骨骼关节点的动态特征:
其中,
1 5
对于子特征集G ,…,G来说,第f帧的特征向量vf为各个身体部位的J/5个骨骼关节点的动态特征,则第二级空间尺度中第p个子特征集Gp第f帧的特征向量vf为:
其中, p∈[1,5];
1 J
对于子特征集Q ,…,Q来说,第f帧的特征向量vf为单个骨骼关节点的动态特征,则第三级空间尺度中第j个子特征集Qj第f帧的特征向量vf为:
其中, j∈[1,J];
所述步骤四中,提取所有训练样本的各子特征集R1,G1,…,G5,Q1,…,QJ下每一帧的特征向量,按各子特征集进行聚类,得到聚类中心的方法为:
提取所有训练样本的子特征集R1,G1,…,G5,Q1,…,QJ的所有帧的特征向量,使用K-means算法按各子特征集进行聚类,对于子特征集R1来说,得到KR个聚类中心:{ck|k∈[1,KR]},对于子特征集G1,…,G5来说,分别得到KG个聚类中心:{ck|k∈[1,KG]},对于子特征集
1 J
Q ,…,Q来说,得到KQ个聚类中心:{ck|k∈[1,KQ]},所有聚类中心的维度与对应子特征集中的特征向量vf的维度相等。
5.根据权利要求4所述的一种人体动作识别方法,其特征在于:所述步骤五中,概率分布神经元组的概率分布神经元的初始化参数包括尺度缩放系数,所述尺度缩放系数是指对
1
于一个聚类中心所在的簇,其中所有特征向量之间的平均距离;对于子特征集R来说,尺度缩放系数为:{σk|k∈[1,KR]},共有KR个概率分布神经元,构建成一个概率分布神经元组,对于第k个簇来说,第k个簇中的所有特征向量集合为Ek,其中包含Nk个向量:
计算向量间的欧式距离dt,n:
其中,[et]l表示向量et的第l维数据,t∈[1,Nk-1],n∈[t+1,Nk];则第k个簇的尺度缩放系数σk为:
对于特征向量vf,将其输入至第k个概率分布神经元得到的输出Wk(vf)为:
Wk(vf)=exp(-||vf-ck||2/σk),
对特征向量vf输入至第k个概率分布神经元得到的输出进行归一化:
对于各子特征集G1,…,G5,Q1,…,QJ来说,尺度缩放系数与归一化的计算方法与子特征
1 1 5
集R的相同;对于各子特征集G ,…,G ,分别构建成五个概率分布神经元祖,每组概率分布神经元的数量相同,都为KG;对于各子特征集Q1,…,QJ,分别构建成J个概率分布神经元组,每组概率分布神经元的数量相同,都为KQ。
6.根据权利要求5所述的一种人体动作识别方法,其特征在于:所述步骤六中,得到直
1 1
方图表达的方法为:对于子特征集R来说,将子特征集R中每一帧的特征向量都输入至对应的第k个概率分布神经元中,并对该概率分布神经元的输出进行累加,得到:
所有概率分布神经元的累加值构成了动作特征的软量化直方图表达H:
对于各子特征集G1,…,G5,Q1,…,QJ来说,构成直方图表达的方法与子特征集R1的相同。
7.根据权利要求6所述的一种人体动作识别方法,其特征在于:所述步骤七中,对每一子特征集进行多尺度划分,得到时间多尺度直方图的方法为:
对于子特征集R1,进一步对其进行时间多尺度划分,共分为3级,不同时间尺度上共享该子特征集的概率分布神经元组:
在第一级时间尺度中,将子特征集R1所有帧的特征向量输入至概率分布神经元组并进
1 1
行累加,得到直方图表达H(R):
其中,
在第二级时间尺度中,将子特征集R1所有帧的特征向量按时间顺序均分为两组,分别输
2 1 3 1
入至概率分布神经元组并进行累加,得到直方图表达H(R)和H(R):
其中,
在第三级时间尺度中,将动作特征R1所有帧的特征向量按时间顺序均分为四组,分别输入至概率分布神经元组并进行累加,得到直方图表达H4(R1)、H5(R1)、H6(R1)和H7(R1):
其中,
至此,将直方图H1(R1)、H2(R1)、H3(R1)、H4(R1)、H5(R1)、H6(R1)和H7(R1)相连,组成子特征集R1的时间多尺度软量化直方图表达H(R1):
H(R1)=(H1(R1),H2(R1),H3(R1),H4(R1),H5(R1),H6(R1),H7(R1));
对于各子特征集G1,…,G5,Q1,…,QJ来说,组成时间多尺度软量化直方图表达的方法与子特征集R1的相同,分别对应得到时间多尺度软量化直方图表达H(G1)、…、H(G5)、H(Q1)、…、H(QJ)。
8.根据权利要求7所述的一种人体动作识别方法,其特征在于:所述步骤八中,时空多尺度软量化直方图是将各子特征集对应的时间多尺度软量化直方图表达组合构成的,时空多尺度软量化直方图B:
其中,NK=KR+KG×5+KQ×J。
9.根据权利要求8所述的一种人体动作识别方法,其特征在于:所述步骤九中的多层感知器包括全连接层、隐层和输出层,所述隐层共有ND个神经元,与时空多尺度软量化直方图B所在的累加层的所有输出单元通过全连接层全连接,多层感知器的输出层有NC个神经元,表示动作类别号;累加层与隐层间的权重表示为 隐层与输出层间的权重表示为
隐层神经元的输出D的计算方式如下:
其中,φelu是elu激活函数, 是隐层的偏置向量;
多层感知器的输出层输出O为:
其中,φsoftmax为softmax激活函数, 是输出层的偏置向量,每一个输出层的神经元都表示对应的一个动作类别;
时空多尺度软量化网络的损失函数L为:
其中, 是多层感知器的输出向量, 是期望的输出向量,其中第t维数据
定义为:
其中,I是总样本数量,li是第i个样本的标签值。
10.根据权利要求9所述的一种人体动作识别方法,其特征在于:所述步骤十中实现动作识别的具体方法为:将所有训练样本输入至时空多尺度软量化网络,对时空多尺度软量化网络模型进行训练,将测试样本输入进已训练好的时空多尺度软量化网络模型中,输出向量中最大值对应的动作类别即判断为该测试样本的动作类型,实现动作识别。

说明书全文

一种人体动作识别方法

技术领域

[0001] 本发明涉及一种人体动作识别方法,属于人体动作识别技术领域。

背景技术

[0002] 人体动作识别是机器视觉领域的一个重要研究方向,在人机交互虚拟现实、视频检索和安防监控等领域中有着十分广泛的应用。随着深度相机及人体骨架提取算法的发展,人们可以便捷地获取人体骨骼关节点信息。由于人体可以被视为刚性骨骼关节点之间相互连接构建的系统,基于人体骨骼关节点的动作识别相较于基于图像的动作识别有着显著的优越性。
[0003] 近年来,有许多基于聚类与统计模型的方法被提出,用于动作识别任务。通过聚类所有样本的特征获得码本,各个聚类中心作为码字,用直方图的形式进行量化实现动作描述。然而,传统的硬量化方法难以衡量和优化聚类结果,特征只能单一地属于某一个聚类中心,使得动作描述不够灵活。此外,聚类和直方图量化过程是分开的两个阶段,使得这类型方法不是端到端的,训练过程没法受到样本标签的监督,这也降低了动作描述的有效性和区分度。因此,动作识别方法应当能较为灵活地量化特征,将其按一定权重分配至不同的聚类中心,也应当使用端到端的训练过程,充分利用样本标签的监督。
[0004] 针对上述动作识别算法的问题,提出一种人体动作识别方法。

发明内容

[0005] 本发明是为解决现有技术中的问题而提出的,技术方案如下,
[0006] 一种人体动作识别方法,该方法包括以下步骤:
[0007] 步骤一、提取动作样本的每个骨骼关节点在相邻之间的运动作为该动作样本的动态特征;
[0008] 步骤二、对动态特征进行空间多尺度划分,得到各个子特征集;
[0009] 步骤三、对于每个子特征集,将同一帧的所有骨骼关节点的运动特征组成向量;
[0010] 步骤四、提取所有训练样本的各子特征集下每一帧的特征向量,按各子特征集进行聚类,得到聚类中心;
[0011] 步骤五、针对各子特征集构建对应的概率分布神经元组,根据聚类结果进行参数初始化;将动作样本的各子特征集下每一帧的特征向量输入至对应的概率分布神经元组,并进行归一化;
[0012] 步骤六、将每一子特征集中所有帧的特征向量输入至对应概率分布神经元组的各个概率分布神经元,累加每个概率分布神经元上的所有输出,得到直方图表达;
[0013] 步骤七、对每一子特征集进行时间多尺度划分,不同时间尺度上共享该子特征集对应的概率分布神经元组,得到时间多尺度直方图;
[0014] 步骤八、将所有子特征集的时间多尺度直方图结合,组成时空多尺度软量化直方图;
[0015] 步骤九、将时空多尺度软量化直方图作为向量输入至多层感知器,构成完整的时空多尺度软量化网络;
[0016] 步骤十、训练时空多尺度软量化网络,将测试样本输入至训练好的时空多尺度软量化网络模型中,实现动作识别。
[0017] 优选的,所述步骤一中,提取动作样本的动态特征的方法为:
[0018] 每一个动作样本是由人体所有骨骼关节点所有帧的三维坐标组成,对于任一动作样本A来说,
[0019]
[0020] 其中, 为骨骼关节点j在第f帧的三维坐标,J是骨骼关节点总数,F是动作样本A的总帧数;
[0021] 骨骼关节点j在第f帧至第f+1帧的动态特征 表示为:
[0022]
[0023] 则动作样本A的动态特征M表示为:
[0024]
[0025] 进一步的,所述步骤二中,对动态特征进行空间多尺度划分,得到各个子特征集的具体方法为:
[0026] 对动作样本A的动态特征M进行空间多尺度划分,共分为三级:
[0027] 在第一级空间尺度中,动作特征R1为整个人体所有骨骼关节点的动态特征:
[0028]
[0029] 在第一级空间尺度中的动态特征集合M1为:
[0030] M1=R1;
[0031] 在第二级空间尺度中,将全部骨骼关节点按身体部位分为五组,分别为四肢的骨骼关节点以及躯干的骨骼关节点,各个分组的骨骼关节点标号的集合分别为P1,P2,P3,P4,P5,
[0032] 五个身体部位的动态特征分别为:
[0033]
[0034]
[0035]
[0036]
[0037]
[0038] 则在第二级空间尺度中的动作特征集合M2为:
[0039] M2={G1,G2,G3,G4,G5};
[0040] 在第三级空间尺度中,每个骨骼关节点单独作为一组,则第j个骨骼关节点的运动特征为:
[0041]
[0042] 则在第三级空间尺度中的动作特征集合M3为:
[0043] M3={Q1,Q2,…,QJ};
[0044] 对初始动态特征M(所有骨骼关节点特征)进行空间多尺度划分后,将其重新表示为三层动态特征,其中第一层特征即为所有骨骼关节点特征,因此R1=M1,并且与初始的M相同,第二层为五个肢体部位的特征,第三层为各个骨骼关节点的特征。
[0045] 至此,将动作样本A的动态特征M划分为空间多尺度动态特征集合T:
[0046] T={Ms|s∈[1,S]},
[0047] 其中,S为空间多尺度划分的总级别数,S的值为3,空间多尺度动态特征T可以表示为所有空间尺度上各个子特征集的组合:
[0048] T={R1,G1,…,G5,Q1,…,QJ}。
[0049] 进一步的,所述步骤三中,对于每个子特征集R1,G1,…,G5,Q1,…,QJ,将同一帧的所有骨骼关节点的运动特征组成向量,对于子特征集R1来说,第f帧的特征向量vf为全部J个骨骼关节点的动态特征:
[0050]
[0051] 其中,
[0052] 对于子特征集G1,…,G5来说,第f帧的特征向量vf为各个身体部位的J/5个骨骼关节点的动态特征,则第二级空间尺度中第p个子特征集Gp第f帧的特征向量vf为:
[0053]
[0054] 其中, p∈[1,5];
[0055] 对于子特征集Q1,…,QJ来说,第f帧的特征向量vf为单个骨骼关节点的动态特征,则第三级空间尺度中第j个子特征集Qj第f帧的特征向量vf为:
[0056]
[0057] 其中, j∈[1,J];
[0058] 所述步骤四中,提取所有训练样本的各子特征集R1,G1,…,G5,Q1,…,QJ下每一帧的特征向量,按各子特征集进行聚类,得到聚类中心的方法为:
[0059] 提取所有训练样本的子特征集R1,G1,…,G5,Q1,…,QJ的所有帧的特征向量,使用K-means算法按各子特征集进行聚类,对于子特征集R1来说,得到KR个聚类中心:{ck|k∈[1,KR]},对于子特征集G1,…,G5来说,分别得到KG个聚类中心:{ck|k∈[1,KG]},对于子特征集Q1,…,QJ来说,得到KQ个聚类中心:{ck|k∈[1,KQ]},所有聚类中心的维度与对应子特征集中的特征向量vf的维度相等。
[0060] 进一步的,所述步骤五中,概率分布神经元组的概率分布神经元的初始化参数包括尺度缩放系数,所述尺度缩放系数是指对于一个聚类中心所在的簇,其中所有特征向量之间的平均距离;对于子特征集R1来说,尺度缩放系数为:{σk|k∈[1,KR]},共有KR个概率分布神经元,构建成一个概率分布神经元组,对于第k个簇来说,第k个簇中的所有特征向量集合为Ek,其中包含Nk个向量:
[0061]
[0062] 计算向量间的欧式距离dt,n:
[0063]
[0064] 其中,[et]l表示向量et的第l维数据,t∈[1,Nk-1],n∈[t+1,Nk];则第k个簇的尺度缩放系数σk为:
[0065]
[0066] 对于特征向量vf,将其输入至第k个概率分布神经元得到的输出Wk(vf)为:
[0067] Wk(vf)=exp(-||vf-ck||2/σk),
[0068] 对特征向量vf输入至第k个概率分布神经元得到的输出进行归一化:
[0069]
[0070] 对于各子特征集G1,…,G5,Q1,…,QJ来说,尺度缩放系数与归一化的计算方法与子特征集R1的相同;对于各子特征集G1,…,G5,分别构建成五个概率分布神经元祖,每组概率1 J
分布神经元的数量相同,都为KG;对于各子特征集Q ,…,Q,分别构建成J个概率分布神经元组,每组概率分布神经元的数量相同,都为KQ。
[0071] 进一步的,所述步骤六中,得到直方图表达的方法为:对于子特征集R1来说,将子特征集R1中每一帧的特征向量都输入至对应的第k个概率分布神经元中,并对该概率分布神经元的输出进行累加,得到:
[0072]
[0073] 所有概率分布神经元的累加值构成了动作特征的软量化直方图表达H:
[0074] H=(h1(R1),h2(R1),…,hKR(R1));
[0075] 对于各子特征集G1,…,G5,Q1,…,QJ来说,构成直方图表达的方法与子特征集R1的相同。
[0076] 进一步的,所述步骤七中,对每一子特征集进行多尺度划分,得到时间多尺度直方图的方法为:
[0077] 对于子特征集R1,进一步对其进行时间多尺度划分,共分为3级,不同时间尺度上共享该子特征集的概率分布神经元组:
[0078] 在第一级时间尺度中,将子特征集R1所有帧的特征向量输入至概率分布神经元组并进行累加,得到直方图表达H1(R1):
[0079]
[0080] 其中,
[0081]
[0082] 在第二级时间尺度中,将子特征集R1所有帧的特征向量按时间顺序均分为两组,分别输入至概率分布神经元组并进行累加,得到直方图表达H2(R1)和H3(R1):
[0083]
[0084]
[0085] 其中,
[0086]
[0087]
[0088] 在第三级时间尺度中,将动作特征R1所有帧的特征向量按时间顺序均分为四组,4 1 5 1 6 1 7 1
分别输入至概率分布神经元组并进行累加,得到直方图表达H(R)、H(R)、H(R)和H(R):
[0089]
[0090]
[0091]
[0092]
[0093] 其中,
[0094]
[0095]
[0096]
[0097]
[0098] 至此,将直方图H1(R1)、H2(R1)、H3(R1)、H4(R1)、H5(R1)、H6(R1)和H7(R1)相连,组成子特征集R1的时间多尺度软量化直方图表达H(R1):
[0099] H(R1)=(H1(R1),H2(R1),H3(R1),H4(R1),H5(R1),H6(R1),H7(R1));
[0100] 对于各子特征集G1,…,G5,Q1,…,QJ来说,组成时间多尺度软量化直方图表达的方法与子特征集R1的相同,分别对应得到时间多尺度软量化直方图表达H(G1)、…、H(G5)、H(Q1)、…、H(QJ)。
[0101] 进一步的,所述步骤八中,时空多尺度软量化直方图是将各子特征集对应的时间多尺度软量化直方图表达组合构成的,时空多尺度软量化直方图B:
[0102]
[0103] 其中,NK=KR+KG×5+KQ×J。
[0104] 进一步的,所述步骤九中的多层感知器包括全连接层、隐层和输出层,所述隐层共有ND个神经元,与时空多尺度软量化直方图B所在的累加层的所有输出单元通过全连接层全连接,多层感知器的输出层有NC个神经元,表示动作类别号;累加层与隐层间的权重表示为 隐层与输出层间的权重表示为
[0105] 隐层神经元的输出D的计算方式如下:
[0106]
[0107] 其中,φelu是elu激活函数, 是隐层的偏置向量;
[0108] 多层感知器的输出层输出O为:
[0109]
[0110] 其中,φsoftmax为softmax激活函数, 是输出层的偏置向量,每一个输出层的神经元都表示对应的一个动作类别;
[0111] 时空多尺度软量化网络的损失函数L为:
[0112]
[0113] 其中, 是多层感知器的输出向量, 是期望的输出向量,其中第t维数据定义为:
[0114]
[0115] 其中,I是总样本数量,li是第i个样本的标签值。
[0116] 进一步的,所述步骤十中实现动作识别的具体方法为:将所有训练样本输入至时空多尺度软量化网络,对时空多尺度软量化网络模型进行训练,将测试样本输入进已训练好的时空多尺度软量化网络模型中,输出向量中最大值对应的动作类别即判断为该测试样本的动作类型,实现动作识别。
[0117] 本发明提出了一种新的时空多尺度软量化方法,可以学习得到动作特征的灵活表示;提出的时空多尺度软量化网络是端到端的神经网络,样本标签可以监督整个网络;在三个空间尺度和三个时间尺度上对骨骼关节点的运动特征进行软量化,捕获了足够多的动作信息,有效增加人体动作描述的区分度;在时间尺度上共享概率分布神经元,减少了参数的数量,提高了方法的效率。附图说明
[0118] 图1是本发明一种人体动作识别方法的工作流程图
[0119] 图2是本发明动作样本的动态特征提取示意图。
[0120] 图3是本发明动作样本的第二级空间尺度中骨骼关节点分组示意图。
[0121] 图4是本发明动作样本的第三级空间尺度中骨骼关节点分组示意图。
[0122] 图5是本发明时空多尺度软量化网络示意图。

具体实施方式

[0123] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0124] 如图1所示,一种人体动作识别方法,包括如下流程:
[0125] 1、动作样本集总样本数为200,共10个动作类别,每个动作类别有20个样本。每个动作类别中随机选取四分之三的样本划入训练集,剩下的四分之一划入测试集,得到共150个训练样本,50个测试样本。每一个动作样本由人体所有骨骼关节点所有帧的三维坐标组成,以第一个动作样本A为例:
[0126]
[0127] 其中, 为骨骼关节点j在第f帧的三维坐标,该动作样本共有40帧,每帧包含20个骨骼关节点的三维坐标。
[0128] 2、如图2所示,提取每个骨骼关节点在相邻帧之间的运动作为动作的动态特征,以骨骼关节点j为例,其在第f帧至第f+1帧的动态特征 表示为:
[0129]
[0130] 则动作样本A的动态特征M表示为:
[0131]
[0132] 3、对动作样本A的动态特征M进行空间多尺度划分,共分为三级:
[0133] 在第一级空间尺度中,动作特征R1为整个人体所有骨骼关节点的动态特征:
[0134]
[0135] 在第一级空间尺度中的动态特征集合M1为:
[0136] M1=R1。
[0137] 在第二级空间尺度中,将全部骨骼关节点按身体部位分为五组,分别为四肢的骨骼关节点以及躯干的骨骼关节点,如图3所示。各个分组的骨骼关节点标号的集合分别为P1={1,2,3,4},P2={5,6,7,8},P3={9,10,11,12},P4={13,14,15,16},P5={17,18,19,20}。
[0138] 五个身体部位的动态特征分别为:
[0139]
[0140]
[0141]
[0142]
[0143]
[0144] 则在第二级空间尺度中的动作特征集合M2为:
[0145] M2={G1,G2,G3,G4,G5}。
[0146] 在第三级空间尺度中,每个骨骼关节点单独作为一组,如图4所示,则第j个骨骼关节点的运动特征为:
[0147]
[0148] 则在第三级空间尺度中的动作特征集合M3为:
[0149] M3={Q1,Q2,…,Q20}。
[0150] 至此,将动作样本A的动态特征M划分为空间多尺度动态特征T:
[0151] T={Ms|s∈[1,S]},
[0152] 其中,S为空间多尺度划分的总级别数,S的值为3,空间多尺度动态特征T可以表示为所有空间尺度上各个子特征集的组合:
[0153] T={R1,G1,…,G5,Q1,…,Q20}。
[0154] 4、对于空间多尺度动态动作特征集合T的每一个子特征集,构建一组概率分布神经元,形成一个概率分布神经元组,以子特征集R1为例:
[0155] 第一步:将子特征集R1中的同一帧的特征组成特征向量,以第f帧的特征向量vf为例:
[0156]
[0157] 其中,
[0158] 第二步:提取所有150个训练样本的子特征集R1的所有帧的特征向量,共5850帧,使用K-means算法进行聚类,得到256个聚类中心:{ck|k∈[1,256]},所有聚类中心的维度与特征向量vf的维度相等,都是60维。
[0159] 对于每一个聚类中心所在的簇,计算其中所有特征向量之间的平均距离作为尺度缩放系数:{σk|k∈[1,256]}。
[0160] 以第1个簇中的所有特征向量的集合E1为例,其中包含45个向量:
[0161] E1={e1,e2,…,e45}。
[0162] 计算向量间的欧式距离,以e1和e2间的欧式距离d1,2为例:
[0163]
[0164] 其中,[e1]l表示向量e1的第l维数据。
[0165] 则第1个簇的尺度缩放系数σ1为:
[0166]
[0167] 第三步:构建一组概率分布神经元,共256个,以聚类得到的各个聚类中心向量以及尺度缩放系数作为各个神经元的初始参数。
[0168] 第四步:对于特征向量vf,将其输入至第k个概率分布神经元得到的输出Wk(vf)为:
[0169] Wk(vf)=exp(-||vf-ck||2/σk)。
[0170] 第五步:对特征向量vf输入至第k个概率分布神经元的输出进行归一化:
[0171]
[0172] 第六步:将子特征集R1中每一帧的特征向量都输入至概率分布神经元组中,对于第k个概率分布神经元,将所有帧的特征向量输入至该神经元的输出进行累加,得到:
[0173]
[0174] 所有概率分布神经元的累加值构成了动作特征的软量化直方图表达H:
[0175] H=(h1(R1),h2(R1),…,h256(R1))。
[0176] 5、对于子特征集R1,进一步对其进行时间多尺度划分,共分为3级,不同时间尺度上共享该子特征集的概率分布神经元组:
[0177] 在第一级时间尺度中,将动作特征R1所有帧的特征向量输入至概率分布神经元组并进行累加,得到直方图表达H1(R1):
[0178]
[0179] 其中,
[0180]
[0181] 在第二级时间尺度中,将动作特征R1所有帧的特征向量按时间顺序均分为两组,分别输入至概率分布神经元组并进行累加,得到直方图表达H2(R1)和H3(R1):
[0182]
[0183]
[0184] 其中,
[0185]
[0186]
[0187] 在第三级时间尺度中,将动作特征R1所有帧的特征向量按时间顺序均分为四组,4 1 5 1 6 1 7 1
分别输入至概率分布神经元组并进行累加,得到直方图表达H(R)、H(R)、H(R)和H(R):
[0188]
[0189]
[0190]
[0191]
[0192] 其中,
[0193]
[0194]
[0195]
[0196]
[0197] 在以上累加概率分布神经元输出的公式中,当计算求和符号上下的数字,也即累加的起始帧和结束帧标号出现小数时,选择向上取整。
[0198] 至此,将直方图H1(R1)、H2(R1)、H3(R1)、H4(R1)、H5(R1)、H6(R1)和H7(R1)相连,组成子特征集R1的时间多尺度软量化直方图表达H(R1):
[0199] H(R1)=(H1(R1),H2(R1),H3(R1),H4(R1),H5(R1),H6(R1),H7(R1))。
[0200] 6、对于空间多尺度动态动作特征集合M的每一个子特征集,重复步骤4与步骤5,得到各个子特征集的时间多尺度软量化直方图表达:H(R1)、H(G1)、…、H(G5)、H(Q1)、…、H(Q20)。
[0201] 将以上各个直方图表达组合,构成时空多尺度软量化直方图B:
[0202]
[0203] 其中,NK=2176=256+128×5+64×20。第二级别空间尺度中的五个特征子集(G1、G2、G3、G4、G5)对应的5组概率分布神经元的数量相同,都为128。第三级别空间尺度中的20个特征子集(Q1、Q2、…、Q20)对应的20组概率分布神经元的数量相同,都为64。
[0204] 7、如图5所示,将时空多尺度软量化直方图B作为向量输入至具有单隐层的多层感知器,组成时空多尺度软量化网络。
[0205] 隐层共有512个神经元,与时空多尺度软量化直方图B所处的累加层的所有输出单元通过全连接层全连接,多层感知器的输出层有10个神经元,表示动作类别号。累加层与隐层间的权重表示为 隐层与输出层间的权重表示为
[0206] 隐层神经元组的输出D的计算方式如下:
[0207]
[0208] 其中,φelu是elu激活函数, 是隐层的偏置向量。
[0209] 多层感知器的输出层输出O为:
[0210]
[0211] 其中,φsoftmax为softmax激活函数, 是输出层的偏置向量,每一个输出层的神经元都表示对应的一个动作类别。
[0212] 网络的损失函数L为:
[0213]
[0214] 其中, 是多层感知器的输出向量, 是期望的输出向量,其中第t维数据定义为:
[0215]
[0216] 其中,训练样本总数量为150,li是第i个样本的标签值。
[0217] 8、将所有训练样本输入至时空多尺度软量化网络,对时空多尺度软量化网络模型进行训练。将测试样本输入进已训练好的网络模型中,输出向量中最大值对应的动作类别即判断为该测试样本的动作类型,实现动作识别。
[0218] 尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈