专利汇可以提供一种人体动作识别方法专利检索,专利查询,专利分析的服务。并且本 发明 提出一种人体动作识别方法,提取动作样本每个骨骼关 节点 在相邻 帧 之间的运动作为该动作样本的动态特征;对动态特征进行空间多尺度划分,得到各个子特征集;对于每个子特征集,将同一帧所有骨骼关节点的运动特征组成向量;提取所有训练样本的该子特征集的帧 特征向量 ,进行聚类,得到聚类中心;将动作样本所有帧的特征向量输入至各个子特征集构建的概率分布神经元,累加每个概率分布神经元上的所有输出,得到直方图表达;对该子特征集进行时间多尺度划分,得到时间多尺度直方图;组成 时空 多尺度软量化直方图;构成时空多尺度软量化网络;训练时空多尺度软量化网络,将测试样本输入至训练好的网络模型中,实现动作识别。,下面是一种人体动作识别方法专利的具体信息内容。
1.一种人体动作识别方法,其特征在于:该方法包括以下步骤:
步骤一、提取动作样本的每个骨骼关节点在相邻帧之间的运动作为该动作样本的动态特征;
步骤二、对动态特征进行空间多尺度划分,得到各个子特征集;
步骤三、对于每个子特征集,将同一帧的所有骨骼关节点的运动特征组成向量;
步骤四、提取所有训练样本的各子特征集下每一帧的特征向量,按各子特征集进行聚类,得到聚类中心;
步骤五、针对各子特征集构建对应的概率分布神经元组,根据聚类结果进行参数初始化;将动作样本的各子特征集下每一帧的特征向量输入至对应的概率分布神经元组,并进行归一化;
步骤六、将每一子特征集中所有帧的特征向量输入至对应概率分布神经元组的各个概率分布神经元,累加每个概率分布神经元上的所有输出,得到直方图表达;
步骤七、对每一子特征集进行时间多尺度划分,不同时间尺度上共享该子特征集对应的概率分布神经元组,得到时间多尺度直方图;
步骤八、将所有子特征集的时间多尺度直方图结合,组成时空多尺度软量化直方图;
步骤九、将时空多尺度软量化直方图作为向量输入至多层感知器,构成完整的时空多尺度软量化网络;
步骤十、训练时空多尺度软量化网络,将测试样本输入至训练好的时空多尺度软量化网络模型中,实现动作识别。
2.根据权利要求1所述的一种人体动作识别方法,其特征在于:所述步骤一中,提取动作样本的动态特征的方法为:
每一个动作样本是由人体所有骨骼关节点所有帧的三维坐标组成,对于任一动作样本A来说:
其中, 为骨骼关节点j在第f帧的三维坐标,J是骨骼关节点总数,F是动作样本A的总帧数;
骨骼关节点j在第f帧至第f+1帧的动态特征 表示为:
则动作样本A的动态特征M表示为:
3.根据权利要求2所述的一种人体动作识别方法,其特征在于:所述步骤二中,对动态特征进行空间多尺度划分,得到各个子特征集的具体方法为:
对动作样本A的动态特征M进行空间多尺度划分,共分为三级:
1
在第一级空间尺度中,动作特征R为整个人体所有骨骼关节点的动态特征:
在第一级空间尺度中的动态特征集合M1为:
M1=R1;
在第二级空间尺度中,将全部骨骼关节点按身体部位分为五组,分别为四肢的骨骼关节点以及躯干的骨骼关节点,各个分组的骨骼关节点标号的集合分别为P1,P2,P3,P4,P5,五个身体部位的动态特征分别为:
则在第二级空间尺度中的动作特征集合M2为:
M2={G1,G2,G3,G4,G5};
在第三级空间尺度中,每个骨骼关节点单独作为一组,则第j个骨骼关节点的运动特征为:
则在第三级空间尺度中的动作特征集合M3为:
M3={Q1,Q2,…,QJ};
至此,将动作样本A的动态特征M划分为空间多尺度动态特征集合T:
T={Ms|s∈[1,S]},
其中,S为空间多尺度划分的总级别数,S的值为3,空间多尺度动态特征T可以表示为所有空间尺度上各个子特征集的组合:
T={R1,G1,…,G5,Q1,…,QJ}。
4.根据权利要求3所述的一种人体动作识别方法,其特征在于:所述步骤三中,对于每个子特征集R1,G1,…,G5,Q1,…,QJ,将同一帧的所有骨骼关节点的运动特征组成向量,对于子特征集R1来说,第f帧的特征向量vf为全部J个骨骼关节点的动态特征:
其中,
1 5
对于子特征集G ,…,G来说,第f帧的特征向量vf为各个身体部位的J/5个骨骼关节点的动态特征,则第二级空间尺度中第p个子特征集Gp第f帧的特征向量vf为:
其中, p∈[1,5];
1 J
对于子特征集Q ,…,Q来说,第f帧的特征向量vf为单个骨骼关节点的动态特征,则第三级空间尺度中第j个子特征集Qj第f帧的特征向量vf为:
其中, j∈[1,J];
所述步骤四中,提取所有训练样本的各子特征集R1,G1,…,G5,Q1,…,QJ下每一帧的特征向量,按各子特征集进行聚类,得到聚类中心的方法为:
提取所有训练样本的子特征集R1,G1,…,G5,Q1,…,QJ的所有帧的特征向量,使用K-means算法按各子特征集进行聚类,对于子特征集R1来说,得到KR个聚类中心:{ck|k∈[1,KR]},对于子特征集G1,…,G5来说,分别得到KG个聚类中心:{ck|k∈[1,KG]},对于子特征集
1 J
Q ,…,Q来说,得到KQ个聚类中心:{ck|k∈[1,KQ]},所有聚类中心的维度与对应子特征集中的特征向量vf的维度相等。
5.根据权利要求4所述的一种人体动作识别方法,其特征在于:所述步骤五中,概率分布神经元组的概率分布神经元的初始化参数包括尺度缩放系数,所述尺度缩放系数是指对
1
于一个聚类中心所在的簇,其中所有特征向量之间的平均距离;对于子特征集R来说,尺度缩放系数为:{σk|k∈[1,KR]},共有KR个概率分布神经元,构建成一个概率分布神经元组,对于第k个簇来说,第k个簇中的所有特征向量集合为Ek,其中包含Nk个向量:
计算向量间的欧式距离dt,n:
其中,[et]l表示向量et的第l维数据,t∈[1,Nk-1],n∈[t+1,Nk];则第k个簇的尺度缩放系数σk为:
对于特征向量vf,将其输入至第k个概率分布神经元得到的输出Wk(vf)为:
Wk(vf)=exp(-||vf-ck||2/σk),
对特征向量vf输入至第k个概率分布神经元得到的输出进行归一化:
对于各子特征集G1,…,G5,Q1,…,QJ来说,尺度缩放系数与归一化的计算方法与子特征
1 1 5
集R的相同;对于各子特征集G ,…,G ,分别构建成五个概率分布神经元祖,每组概率分布神经元的数量相同,都为KG;对于各子特征集Q1,…,QJ,分别构建成J个概率分布神经元组,每组概率分布神经元的数量相同,都为KQ。
6.根据权利要求5所述的一种人体动作识别方法,其特征在于:所述步骤六中,得到直
1 1
方图表达的方法为:对于子特征集R来说,将子特征集R中每一帧的特征向量都输入至对应的第k个概率分布神经元中,并对该概率分布神经元的输出进行累加,得到:
所有概率分布神经元的累加值构成了动作特征的软量化直方图表达H:
对于各子特征集G1,…,G5,Q1,…,QJ来说,构成直方图表达的方法与子特征集R1的相同。
7.根据权利要求6所述的一种人体动作识别方法,其特征在于:所述步骤七中,对每一子特征集进行多尺度划分,得到时间多尺度直方图的方法为:
对于子特征集R1,进一步对其进行时间多尺度划分,共分为3级,不同时间尺度上共享该子特征集的概率分布神经元组:
在第一级时间尺度中,将子特征集R1所有帧的特征向量输入至概率分布神经元组并进
1 1
行累加,得到直方图表达H(R):
其中,
在第二级时间尺度中,将子特征集R1所有帧的特征向量按时间顺序均分为两组,分别输
2 1 3 1
入至概率分布神经元组并进行累加,得到直方图表达H(R)和H(R):
其中,
在第三级时间尺度中,将动作特征R1所有帧的特征向量按时间顺序均分为四组,分别输入至概率分布神经元组并进行累加,得到直方图表达H4(R1)、H5(R1)、H6(R1)和H7(R1):
其中,
至此,将直方图H1(R1)、H2(R1)、H3(R1)、H4(R1)、H5(R1)、H6(R1)和H7(R1)相连,组成子特征集R1的时间多尺度软量化直方图表达H(R1):
H(R1)=(H1(R1),H2(R1),H3(R1),H4(R1),H5(R1),H6(R1),H7(R1));
对于各子特征集G1,…,G5,Q1,…,QJ来说,组成时间多尺度软量化直方图表达的方法与子特征集R1的相同,分别对应得到时间多尺度软量化直方图表达H(G1)、…、H(G5)、H(Q1)、…、H(QJ)。
8.根据权利要求7所述的一种人体动作识别方法,其特征在于:所述步骤八中,时空多尺度软量化直方图是将各子特征集对应的时间多尺度软量化直方图表达组合构成的,时空多尺度软量化直方图B:
其中,NK=KR+KG×5+KQ×J。
9.根据权利要求8所述的一种人体动作识别方法,其特征在于:所述步骤九中的多层感知器包括全连接层、隐层和输出层,所述隐层共有ND个神经元,与时空多尺度软量化直方图B所在的累加层的所有输出单元通过全连接层全连接,多层感知器的输出层有NC个神经元,表示动作类别号;累加层与隐层间的权重表示为 隐层与输出层间的权重表示为
隐层神经元的输出D的计算方式如下:
其中,φelu是elu激活函数, 是隐层的偏置向量;
多层感知器的输出层输出O为:
其中,φsoftmax为softmax激活函数, 是输出层的偏置向量,每一个输出层的神经元都表示对应的一个动作类别;
时空多尺度软量化网络的损失函数L为:
其中, 是多层感知器的输出向量, 是期望的输出向量,其中第t维数据
定义为:
其中,I是总样本数量,li是第i个样本的标签值。
10.根据权利要求9所述的一种人体动作识别方法,其特征在于:所述步骤十中实现动作识别的具体方法为:将所有训练样本输入至时空多尺度软量化网络,对时空多尺度软量化网络模型进行训练,将测试样本输入进已训练好的时空多尺度软量化网络模型中,输出向量中最大值对应的动作类别即判断为该测试样本的动作类型,实现动作识别。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
基于极端随机树的非线性全光谱水体浊度定量分析方法 | 2020-05-17 | 888 |
视频数据传输码率自适应方法、系统、装置和存储介质 | 2020-05-08 | 1005 |
基于神经网络与点云配准的发动机叶片重构方法 | 2020-05-18 | 970 |
用于叠加的笔迹的识别技术的系统和方法 | 2020-05-16 | 57 |
一种基于特征选择和集成学习的软件缺陷个数预测方法 | 2020-05-18 | 45 |
一种文本分类方法及系统 | 2020-05-13 | 444 |
一种异常文本识别方法、装置、计算设备及介质 | 2020-05-14 | 443 |
病历检测方法、装置、设备和存储介质 | 2020-05-15 | 861 |
基于知识增强的注意力神经网络的隐式篇章关系识别方法 | 2020-05-17 | 671 |
用于监测车辆盲区的方法和装置 | 2020-05-12 | 825 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。