首页 / 专利库 / 物理 / 能量 / 一种基于隐马尔科夫模型的动态手势切分识别方法

一种基于隐尔科夫模型的动态手势切分识别方法

阅读:648发布:2023-01-26

专利汇可以提供一种基于隐尔科夫模型的动态手势切分识别方法专利检索,专利查询,专利分析的服务。并且本 发明 涉及一种基于隐 马 尔科夫模型的动态手势切分识别方法,包括训练隐马尔科夫模型(HMM)和连续动态手势切分与识别;本发明可以有效实时的检测出连续动态手势的起始点和终止点,进一步提高了手势别人的实时性,符合人们正常手势交流的习惯,使手势交流更加自然流畅,并且本发明结合加权处理,有效切分复杂手势序列,减少冗余数据,进一步识别提取出动态手势中 能量 较大的有效手势,提高了手势切分后 手势识别 的识别率,从而进一步提高手势识别 精度 和效率,并且能有效的解决实时场景下,连续动态手势的 时空 差异性问题和手势开始到结束间的手势切分问题。,下面是一种基于隐尔科夫模型的动态手势切分识别方法专利的具体信息内容。

1.一种基于隐尔科夫模型的动态手势切分识别方法,包括训练隐马尔科夫模型HMM和连续动态手势切分与识别;
S1)、训练隐马尔科夫模型HMM
S101)、通过数据手套获取K个手势的手部姿态数据作为训练样本数据,其中,每个手势的手部姿态数据包括M个子训练样本,每个子训练样本包括t个时刻,每个时刻包含n个特征数据,每个子训练样本的数据表示为S=(s1,1,s1,2,...s1,t;s2,1,s2,2,...s2,t;...;sn,1,sn,2,...sn,t),其中,si,j表示该子训练样本的数据S的第j时刻第i个特征的数据;
S102)、对每个子训练样本的数据S进行差分预处理,得到同一特征数据相邻两时刻数据之间的差距di,j,同一手势相邻两时刻之间的差距di,j=si,j+1-si,j,差分预处理后的子训练样本的数据为D=(d1,1,d1,2,...d1,t-1;d2,1,d2,2,...d2,t-1;...;dn,1,dn,2,...dn,t-1);
S103)、针对每个差分预处理后的子训练样本的数据D计算得到其总能量W,其表达式为:
其中,wi表示差分预处理后的子训练样本的数据D的第i维特征的能量,W表示该差分预处理后的子训练样本D的总能量,其第i维特征数据的能量为:
S104)、对子训练样本的数据S进行加权处理,根据 计算得到相应子训练样本数
据每一维特征数据的权值qi,其中,qi表示差分预处理后的子训练样本的数据D的第i维特征的权值,将该子训练样本数据每一维特征的权值qi与其不同时刻的对应维特征数据si,j相乘,从而实现对子训练样本的数据S进行加权处理;
S105)、采用kmeans聚类算法对加权后的子训练样本的数据S′进行离散化处理,将子训练样本的数据S′表示为S′=(s′1,s′2,...s′t),其中,s′j=(s′1,j,s′2,j,...s′n,j)表示j时刻的手部姿态数据,预设m个类别,随机初始化m个聚类中心,m个类别的聚类中心分别记为Cz(z=1,2,...m),通过 计算每一时刻手部姿
态数据的类别,其中Gj表示j时刻的手部姿态数据的类别,然后对每一个类别Gj,重新计算其聚类中心 式中|cz|表示第z个类别中样本的个数,若其聚类中心Cz不变,则其收
敛,离散化过程结束,并将每个时刻的手部姿态数据用其相应的类别表示;
S106)、分别将离散化处理后的每个手势的M个子训练样本的数据S输入到隐马尔科夫模型HMM中,结合模型的前向-后向算法Baum-Welch训练得到每个手势的HMM参数λ,从而得到K个手势相关的训练好的隐马尔科夫模型HMM;
S2)、连续动态手势切分与识别
S201)、数据采集,通过数据手套获取需要测试的连续的动作手势数据作为测试数据;
S202)、手势识别,按照步骤S102)对测试数据进行差分处理,并按照步骤S103)计算差分处理后的测试数据的能量累加和,若某一时间段能量累加和变化激增,则该时间段的手势为有效手势,对该段有效的连续手势进行切分并提取该段有效手势;
S203)、加权处理,按照步骤S104对步骤S202)中提取的有效手势进行加权处理;
S204)、离散化处理,并根据步骤S105)中的聚类中心Cz,将该有效手势归类到距离相应聚类中心Cz最近的类别,并用相应的类别号表示该有效手势;
S205)、将加权处理与离散化处理后的有效手势分别输入到K个手势对应的训练好的隐马尔科夫模型HMM中,计算该有效手势在不同手势对应的隐马尔科夫模型HMM下的概率值,并将概率值最大的隐马尔科夫模型HMM对应的手势作为识别结果。
2.根据权利要求1所述的一种基于隐马尔科夫模型的动态手势切分识别方法,其特征在于:所述的手部姿态数据包括手指弯曲数据、手掌的方位数据。
3.根据权利要求2所述的一种基于隐马尔科夫模型的动态手势切分识别方法,其特征在于:所述的手指弯曲数据为通过弯曲传感器采集的弯曲度数据,或通过惯性传感器采集的手指弯曲方向的旋转数据。
4.根据权利要求2所述的一种基于隐马尔科夫模型的动态手势切分识别方法,其特征在于:所述的手掌的方位数据是通过惯性传感器采集的方位数据,或是通过光学定位获取的方位数据。

说明书全文

一种基于隐尔科夫模型的动态手势切分识别方法

技术领域

[0001] 本发明涉及人工智能模式识别技术领域,尤其是一种基于隐马尔科夫模型的动态手势切分识别方法。

背景技术

[0002] 随着手机触摸操作和人体跟踪识别的发展,人们体会到了手势交互方式具有以人为中心的自然性,简洁性,和直接性等优势,基于人手智能输入的交互界面正在成为新的技术趋势,尤其是随着沉浸式虚拟现实新设备的兴起,各种交互方案被用来提高沉浸式体验,其中以手势交互最为简洁、直接、自然。
[0003] 手势识别作为一种人机交互手段,已广泛应用于增强现实,虚拟现实,体感游戏等场景,对于这些应用场景,操作手势是随机嵌入在连续动作流当中的,目前许多基于视觉的手势识别系统都假设输入的各个动作间存在停顿或已经切分好的独立手势,而在实时场景下的应用研究相对较少,在实际应用条件下难以在复杂手势流中定位具有操作意义手势的开始和结束关键点;并且同一种手势由于执行速度不同和动作幅度不同而不可避免地带有时空差异性,对识别的准确率和鲁棒性会造成很大影响,造成了自动切分困难,实时性差,以及手势识别率不高的问题。

发明内容

[0004] 针对现有技术的不足,本发明提供一种基于隐马尔科夫模型的动态手势切分识别方法。
[0005] 本发明的技术方案为:一种基于隐马尔科夫模型的动态手势切分识别方法,包括训练隐马尔科夫模型(HMM)和连续动态手势切分与识别;
[0006] S1)、训练隐马尔科夫模型(HMM)
[0007] S101)、通过数据手套获取K个手势的手部姿态数据作为训练样本数据,其中,每个手势的手部姿态数据包括M个子训练样本,每个训练样本包括t个时刻,每个时刻包含n个特征数据,每个子训练样本的数据表示为S=(s1,1,s1,2,...s1,t;s2,1,s2,2,...s2,t;...;sn,1,sn,2,...sn,t),其中,si,j表示该样本S第j时刻第i个特征的数据;
[0008] S102)、对每个子训练样本S进行差分预处理,得到同一特征数据相邻两时刻数据之间的差距di,j,同一手势相邻两时刻之间的差距di,j=si,j+1-si,j,差分预处理后的子训练样本的数据为D=(d1,1,d1,2,...d1,t-1;d2,1,d2,2,...d2,t-1;...;dn,1,dn,2,...dn,t-1);
[0009] S103)、针对每个差分预处理后的子训练样本的数据D计算得到其总能量W,其表达式为:
[0010] 其中,wi表示子训练样本D第i维特征的能量,W表示该子训练样本D的总能量,其第i维特征数据的能量为:
[0011] S104)、对子训练样本的数据S进行加权处理,根据 计算得到相应子训练样本数据每一维特征数据的权值qi,其中,qi表示子训练样本数据D的第i维特征的权值,将该子训练样本数据每一维特征的权值qi与其不同时刻的对应维特征数据si,t相乘,从而实现对子训练样本数据S进行加权处理;
[0012] S105)、采用kmeans聚类算法对加权后的子训练样本数据S进行离散化处理,将子训练样本数据S表示为S=(s1,s2,...st),其中,Sj=(s1,j,s2,j,...sn,j)表示j时刻的手部姿态数据,预设m个类别,随机初始化m个聚类中心,m个类别的聚类中心分别记为Cz(z=1,2,...m),通过 计算每一时刻手部姿态数据的类
别,其中Gj表示j时刻的手部姿态数据的类别,然后对每一个类别Gj,重新计算其聚类中心式中|cz|表示第z个类别中样本的个数,若其聚类中心Cz不变,则其收敛,离散化过程结束,并将每个时刻的手部姿态数据用其相应的类别表示;
[0013] S106)、分别将离散化处理后的每个手势的M个子训练样本数据S输入到隐马尔科夫模型(HMM)中,结合模型的前向-后向算法(Baum-Welch)训练得到每个手势的HMM参数λ,从而得到K个手势相关的训练好的隐马尔科夫模型(HMM);
[0014] S2)、连续动态手势切分与识别
[0015] S201)、数据采集,通过数据手套获取需要测试的连续的动作手势数据作为测试数据;
[0016] S202)、手势识别,按照步骤S102)对测试数据进行差分处理,并按照步骤S103)计算差分处理后的测试数据的能量累加和,若某一时间段能量累加和变化激增,则该时间段的手势为有效手势,对该段有效的连续手势进行切分并提取该段有效手势;
[0017] S203)、加权处理,按照步骤S104对步骤S202)中提取的有效手势进行加权处理;
[0018] S204)、离散化处理,并根据步骤S105)中的聚类中心Cz,将该有效手势归类到距离相应聚类中心Cz最近的类别,并用相应的类别号表示该有效手势;
[0019] S205)、将加权处理与离散化处理后的有效手势分别输入到K个手势对应的训练好的隐马尔科夫模型(HMM)中,计算该有效手势在不同手势对应的隐马尔科夫模型(HMM)下的概率值,并将概率值最大的隐马尔科夫模型(HMM)对应的手势作为识别结果。
[0020] 所述的手部姿态数据包括手指弯曲数据、手掌的方位数据;
[0021] 所述的手指弯曲数据可以为通过弯曲传感器采集的弯曲度数据,也可以为通过惯性传感器采集的手指弯曲方向的旋转数据;
[0022] 所述的手掌的方位数据可以是通过惯性传感器采集的方位数据,也可以是通过光学定位获取的方位数据;
[0023] 本发明的有益效果为:可以有效实时的检测出连续动态手势的起始点和终止点,进一步提高了手势别人的实时性,符合人们正常手势交流的习惯,使手势交流更加自然流畅,并且本发明结合加权处理,有效切分复杂手势序列,减少冗余数据,进一步识别提取出动态手势中能量较大的有效手势,提高了手势切分后手势识别的识别率,从而进一步提高手势识别精度和效率,并且能有效的解决实时场景下,连续动态手势的时空差异性问题和手势开始到结束间的手势切分问题。附图说明
[0024] 图1为本发明的流程图
[0025] 图2为本实施例的能量累加的示意图;

具体实施方式

[0026] 下面结合附图对本发明的具体实施方式作进一步说明:
[0027] 如图1所示,一种基于隐马尔科夫模型的动态手势切分识别方法,包括隐马尔科夫模型(HMM)的训练和连续动态手势切分与识别;
[0028] S1)、训练隐马尔科夫模型(HMM)。
[0029] S101)、通过数据手套获取K个手势的手部姿态数据作为训练样本数据,其中,每个手势的手部姿态数据包括M个子训练样本,每个子训练样本包括t个时刻,每个时刻包含n个特征数据,每个子训练样本的数据表示为S=(s1,1,s1,2,...s1,t;s2,1,s2,2,...s2,t;...;sn,1,sn,2,...sn,t),其中,si,j表示该样本S第j时刻第i个特征的数据。
[0030] S102)、对每个子训练样本S进行差分预处理,得到同一特征数据相邻两时刻数据之间的差距di,j,同一手势相邻两时刻之间的差距di,j=si,j+1-si,j,差分预处理后的子训练样本的数据为D=(d1,1,d1,2,...d1,t-1;d2,1,d2,2,...d2,t-1;...;dn,1,dn,2,...dn,t-1)。
[0031] S103)、针对每个差分预处理后的子训练样本的数据D计算得到其总能量W,其表达式为:
[0032] 其中,wi表示子训练样本D第i维特征的能量,W表示该子训练样本D的总能量,其第i维特征数据的能量为:
[0033] S104)、对子训练样本的数据S进行加权处理,根据 计算得到相应子训练样本数据每一维特征数据的权值qi,其中,qi表示训练样本数据D的第i维特征的权值,将该子训练样本数据每一维特征的权值qi与其不同时刻的对应维特征数据si,t相乘,从而实现对子训练样本数据S进行加权处理。
[0034] S105)、采用kmeans聚类算法对加权后的子训练样本数据S进行离散化处理,将子训练样本数据S表示为S=(s1,s2,...st),其中,Sj=(s1,j,s2,j,...sn,j)表示j时刻的手部姿态数据,预设m个类别,随机初始化m个聚类中心,m个类别分别记为Cz(z=1,2,...m),通过计算每一时刻手部姿态数据的类别,其中Gj表示j时刻的手部姿态数据的类别,然后对每一个类别Gj,重新计算其聚类中心 若其聚类中心Cz不变,则其收敛,并将每个时刻的手部姿态数据用其相应的类别表示。
[0035] S106)、分别将离散化处理后的每个手势的M个子训练样本数据S输入到隐马尔科夫模型(HMM)中,结合模型的前向-后向算法(Baum-Welch)训练得到每个手势的HMM参数λ,从而得到K个手势相关的训练好的隐马尔科夫模型(HMM)。
[0036] S2)、连续动态手势切分与识别。
[0037] S201)、数据采集,通过数据手套获取需要测试的连续的动作手势数据作为测试数据;
[0038] S202)、手势识别,按照步骤S102)对测试数据进行差分处理,并按照步骤S103)计算差分处理后的测试数据的能量累加和,若某一时间段能量累加和变化激增,则该时间段的手势为有效手势,对该段有效的连续手势进行切分并提取该段有效手势,如图2所示。
[0039] S203)、加权处理,按照步骤S104对步骤S202)中提取的有效手势进行加权处理。
[0040] S204)、离散化处理,并根据步骤S105)中的聚类中心Cz,将该有效手势归类到距离相应聚类中心Cz最近的类别,并用相应的类别号表示该有效手势。
[0041] S205)、将加权处理与离散化处理后的有效手势分别输入到K个手势对应的训练好的隐马尔科夫模型(HMM)中,计算该有效手势在不同手势对应的隐马尔科夫模型(HMM)下的概率值,并将概率值最大的隐马尔科夫模型(HMM)对应的手势作为识别结果。
[0042] 所述的手部姿态数据包括手指弯曲数据、手掌的方位数据。
[0043] 所述的手指弯曲数据可以为通过弯曲传感器采集的弯曲度数据,也可以为通过惯性传感器采集的手指弯曲方向的旋转数据。
[0044] 所述的手掌的方位数据可以是通过惯性传感器采集的方位数据,也可以是通过光学定位获取的方位数据。
[0045] 上述实施例和说明书中描述的只是说明本发明的原理和最佳实施例,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈