手势识别方法、装置及电子设备
阅读：238发布：2020-05-08
专利汇可以提供手势识别方法、装置及电子设备专利检索，专利查询，专利分析的服务。并且本 申请 提供了一种 手势识别 方法、装置及 电子 设备，其方法包括：通过MYO手势控制臂环作为肌电 信号 采集设备获取待识别肌 电信号 ，所述待识别肌电信号为一维的时间序列信号；对所述待识别肌电信号进行预处理，以生成将用于进行识别操作的待输入数据；将所述待输入数据输入至预设的手势识别模型中进行识别，以获取与所述待识别肌电信号具有映射关系的手势动作标签，其中，所述手势识别模型以长短期记忆网络LSTM作为基学习器构建生成。以长短期记忆网络LSTM作为基学习器构建手势识别模型，克服了对于序列特点和 大数据 的手势识别来说表达能 力 不足以及词汇量庞大难以满足识别需求的问题，提高手势识别的准确率。，下面是手势识别方法、装置及电子设备专利的具体信息内容。
1.一种手势识别方法，其特征在于，所述手势识别方法包括：
获取待识别肌电信号，所述待识别肌电信号为一维的时间序列信号；
对所述待识别肌电信号进行预处理，以生成将用于进行识别操作的待输入数据；
将所述待输入数据输入至预设的手势识别模型中进行识别，以获取与所述待识别肌电信号具有映射关系的手势动作标签，其中，所述手势识别模型以长短期记忆网络LSTM作为基学习器构建生成。
2.根据权利要求1所述的手势识别方法，其特征在于，所述获取待识别肌电信号，所述待识别肌电信号为一维的时间序列信号的步骤，包括：
识别位于预设的信号截取窗口中的第一肌电信号；
对所述第一肌电信号进行方差计算，获取与所述第一肌电信号对应的自适应阈值；
根据所述自适应阈值计算所述第一肌电信号的样本熵；
当所述样本熵的数值为预定值时，从所述预设的信号截取窗口中获取待识别肌电信号。
3.根据权利要求1和2任意一项所述的手势识别方法，其特征在于，对所述待识别肌电信号进行预处理，以生成将用于进行识别操作的待输入数据的步骤，包括：
对所述待识别肌电信号进行去噪处理，其中，所述去噪处理包括小波去噪处理。
4.根据权利要求3所述的手势识别方法，其特征在于，对所述待识别肌电信号进行预处理，以生成将用于进行识别操作的待输入数据的步骤，还包括：
获取与所述待识别肌电信号对应的手势运动轨迹数据，所述运动轨迹数据包括加速度数据和角速度运动数据；
对所述运动轨迹数据进行卡尔曼去噪处理，以根据所述运动轨迹数据与经小波去噪处理后的待识别肌电信号生成将用于进行识别操作的待输入数据。
5.根据权利要求1所述的手势识别方法，其特征在于，将所述待输入数据输入至预设的手势识别模型中进行识别的步骤之前，还包括：
对所述待输入数据进行Z-scores标准化处理，将所述待输入数据转化为以标准化表示的标准化输入数据。
6.根据权利要求1所述的手势识别方法，其特征在于，将所述待输入数据输入至预设的手势识别模型中进行识别，以获取与所述待识别肌电信号具有映射关系的手势动作标签的步骤之前，包括：
结合两个以上的LSTM基学习器进行并行式集成训练并将训练结果进行加权处理，以构建生成用以识别肌电信号序列与手势标签之间映射关系的手势识别模型。
7.根据权利要求6所述的手势识别方法，其特征在于，结合两个以上的LSTM基学习器进行并行式集成训练并将训练结果进行加权处理，以构建生成用以识别肌电信号序列与手势标签之间映射关系的手势识别模型的步骤，包括：
构建手势识别模型框架，所述手势识别模型框架包括两个以上的LSTM基学习器；
获取训练数据集，其中，所述训练数据集的数量与所述手势识别模型框架中LSTM基学习器的数量一致；
针对所述手势识别模型框架中的LSTM基学习器，分别对应输入一组所述训练数据集进行并行式集成训练，并获取与所述LSTM基学习器对应的训练结果；
将所述训练结果进行融合处理，以生成用以识别肌电信号序列与手势标签之间映射关系的手势识别模型。
8.根据权利要求7所述手势识别方法，其特征在于，针对所述手势识别模型框架中的LSTM基学习器，分别对应输入一组所述训练数据集进行并行式集成训练，并获取与所述LSTM基学习器对应的训练结果的步骤，还包括：
基于LSTM的反向传播对所述LSTM基学习器的训练过程进行优化处理，其中，所述LSTM的反向传播包括Mini-batch梯度下降法、Adam优化算法和/或Dropout优化算法。
9.一种手势识别装置，其特征在于，所述手势识别装置包括：
获取模块，用于获取待识别肌电信号，所述待识别肌电信号为一维的时间序列信号；
处理模块，用于对所述待识别肌电信号进行预处理，以生成将用于进行识别操作的待输入数据；
执行模块，用于将所述待输入数据输入至预设的手势识别模型中进行识别，以获取与所述待识别肌电信号具有映射关系的手势动作标签，其中，所述手势识别模型以长短期记忆网络LSTM作为基学习器构建生成。
10.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的手势识别方法的步骤。
手势识别方法、装置及电子设备
技术领域
背景技术
[0002] 手语作为听障人士、语障人士必不可少的一个沟通方式。但是，由于大部分正常人因为不熟知手语，语障人士和普通人群之间在沟通的时候无法面对面自由地进行语言沟通，这使得交流仍然非常困难。在为听障和语障人士提供实时的手语识别和翻译方面，受限于手势识别的难度，当前市场上尚缺成熟的技术方案。
[0003] 目前，现有的基于肌电信号的手势识别系统，大多通过隐马尔可夫HMM进行手势建模识别，主要依赖于单个状态及其对应的观察对象，这针对于序列特点和大数据的手势识别来说，表达能力不足，难以满足庞大词汇量的识别。发明内容
[0005] 本申请实施例的第一方面提供了一种手势识别方法，所述手势识别方法包括：
[0006] 获取待识别肌电信号，所述待识别肌电信号为一维的时间序列信号；
[0007] 对所述待识别肌电信号进行预处理，以生成将用于进行识别操作的待输入数据；
[0008] 将所述待输入数据输入至预设的手势识别模型中进行识别，以获取与所述待识别肌电信号具有映射关系的手势动作标签，其中，所述手势识别模型以长短期记忆网络LSTM作为基学习器构建生成。
[0009] 结合第一方面，在第一方面的第一种可能实现方式中，所述获取待识别肌电信号，所述待识别肌电信号为一维的时间序列信号的步骤，包括：
[0010] 识别位于预设的信号截取窗口中的第一肌电信号；
[0011] 对所述第一肌电信号进行方差计算，获取与所述第一肌电信号对应的自适应阈值；
[0012] 根据所述自适应阈值计算所述第一肌电信号的样本熵；
[0013] 当所述样本熵的数值为预定值时，从所述预设的信号截取窗口中获取待识别肌电信号。
[0014] 结合第一方面或第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，对所述待识别肌电信号进行预处理，以生成将用于进行识别操作的待输入数据的步骤，包括：
[0015] 对所述待识别肌电信号进行去噪处理，其中，所述去噪处理包括小波去噪处理。
[0016] 结合第一方面的第二种可能实现方式，在第一方面的第三种可能实现方式中，对所述待识别肌电信号进行预处理，以生成将用于进行识别操作的待输入数据的步骤，还包括：
[0018] 对所述运动轨迹数据进行卡尔曼去噪处理，以根据所述运动轨迹数据与所述经小波去噪处理后的待识别肌电信号生成将用于进行识别操作的待输入数据。
[0019] 结合第一方面，在第一方面的第四种可能实现方式中，将所述待输入数据输入至预设的手势识别模型中进行识别的步骤之前，还包括：
[0020] 对所述待输入数据进行Z-scores标准化处理，将所述待输入数据转化为以标准化表示的标准化输入数据。
[0021] 结合第一方面，在第一方面的第五种可能实现方式中，将所述待输入数据输入至预设的手势识别模型中进行识别，以获取与所述待识别肌电信号具有映射关系的手势动作标签的步骤之前，包括：
[0022] 结合两个以上的LSTM基学习器进行并行式集成训练并将训练结果进行加权处理，以构建生成用以识别肌电信号序列与手势标签之间映射关系的手势识别模型。
[0023] 结合第一方面的第五种可能实现方式，在第一方面的第六种可能实现方式中，结合两个以上的LSTM基学习进行并行式集成训练并将训练结果进行加权处理，以构建生成用以识别肌电信号序列与手势标签之间映射关系的手势识别模型的步骤，包括：
[0025] 获取训练数据集，其中，所述训练数据集的数量与所述手势识别模型框架中LSTM基学习器的数量一致；
[0026] 针对所述手势识别模型框架中的LSTM基学习器，分别对应输入一组所述训练数据集进行并行式集成训练，并获取与所述LSTM基学习器对应的训练结果；
[0027] 将所述训练结果进行融合处理，以生成用以识别肌电信号序列与手势标签之间映射关系的手势识别模型。
[0028] 结合第一方面的第六种可能实现方式，在第一方面的第七种可能实现方式中，针对所述手势识别模型框架中的LSTM基学习器，分别对应输入一组所述训练数据集进行并行式集成训练，并获取与所述LSTM基学习器对应的训练结果的步骤，还包括：
[0030] 本申请实施例的第二方面提供了一种手势识别装置，所述手势识别装置包括：
[0031] 获取模块，用于获取待识别肌电信号，所述待识别肌电信号为一维的时间序列信号；
[0032] 处理模块，用于对所述待识别肌电信号进行预处理，以生成将用于进行识别操作的待输入数据；
[0033] 执行模块，用于将所述待输入数据输入至预设的手势识别模型中进行识别，以获取与所述待识别肌电信号具有映射关系的手势动作标签，其中，所述手势识别模型以长短期记忆网络LSTM作为基学习器构建生成。
[0034] 本申请实施例的第三方面提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任意一项所述手势识别方法的步骤。
[0035] 本申请实施例与现有技术相比存在的有益效果是：
[0036] 本申请通过MYO手势控制臂环肌电信号采集设备获取待识别肌电信号，所述待识别肌电信号为一维的时间序列信号；对所述待识别肌电信号进行预处理，以生成将用于进行识别操作的待输入数据；将所述待输入数据输入至预设的手势识别模型中进行识别，以获取与所述待识别肌电信号具有映射关系的手势动作标签，其中，所述手势识别模型以长短期记忆网络LSTM作为基学习器构建生成。上述方法中的手势识别模型通过以LSTM作为基学习器集成学习获得，克服了对于序列特点和大数据的手势识别来说表达能力不足以及词汇量庞大难以满足识别需求的问题，提高手势识别准确率。
[0037] 本申请还通过对经预处理得到的用于进行识别操作的待输入数据进一步进行Z-scores标准化处理，将所述待输入数据转化为以标准化表示的标准化输入数据，消除了所述待输入数据中不同指标之间的量纲影响，提高手势识别的准确率。附图说明
[0038] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0039] 图1为本申请实施例提供的一种手势识别方法的基本方法流程示意图；
[0040] 图2为本申请实施例提供的手势识别方法中通过端点检测获取待识别肌电信号的一种方法流程示意图；
[0041] 图3为本申请实施例提供的手势识别方法中获取标准化输入数据的一种方法流程示意图；
[0042] 图4为本申请实施例提供的手势识别方法中获取标准化输入数据之前对采集数据进行预处理的总体流程示意图；
[0043] 图5为本申请实施例提供的手势识别方法中构建手势识别模型时的一种方法流程示意图；
[0044] 图6为本申请实施例提供的一种手势识别装置的结构示意图；
[0045] 图7为本申请实施例提供的一种实现手势识别方法的电子设备的示意图。
具体实施方式
[0046] 以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
[0047] 本申请提供的手势识别方法提出通过长短期记忆网络LSTM学习肌电信号序列与手势的映射关系，包括利用其网络的长期依赖关系的特点来学习肌电信号序列中的相互关系，以及利用其善于非线性表达的特点来学习肌电信号序列内在特征和规律，尽可能地摆脱繁重的特征设计和选择工作，克服了对于序列特点和大数据的手势识别来说表达能力不足以及难以满足庞大词汇量识别的问题。
[0048] 为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
[0049] 本申请的一些实施例中，请参阅图1，图1为本申请实施例提供的一种手势识别方法的基本方法流程示意图，详述如下：
[0050] 在步骤S101中，获取待识别肌电信号，所述待识别肌电信号为一维的时间序列信号。
[0051] 在本实施例中，手势识别的数据是以手臂表面肌肉电信号作为识别数据。其中，所述肌电信号是伴随人体肌肉伸缩动作，由多个运动单元的动作电位叠加所产生的一种生物电信号，一般体现为一维的时间序列信号。所述待识别肌电信号可以通过用于手势识别的MYO手势控制臂环作为肌电信号采集设备获取得到。具体地，所述肌电信号采集设备检测手势动作时，若有手势动作，其肌电信号会产生大幅度变化，通过对所述产生的大幅度变化的肌电信号进行端点检测，从而根据检测到的端点位置截取出手势动作时段对应的产生大幅度变化的肌电信号作为待识别肌电信号。
[0052] 本申请的一些实施例中，请参阅图2，图2为本申请实施例提供的手势识别方法中通过端点检测获取待识别肌电信号的一种方法流程示意图。详细如下：
[0053] 在步骤S201中，识别位于预设的信号截取窗口中的第一肌电信号；
[0054] 在步骤S202中，对所述第一肌电信号进行方差计算，获取与所述第一肌电信号对应的自适应阈值；
[0055] 在步骤S203中，根据所述自适应阈值计算所述第一肌电信号的样本熵；
[0056] 在步骤S204中，当所述样本熵的数值为预定值时，从所述预设的信号截取窗口中获取所述待识别肌电信号。
[0057] 所述肌电信号为一维的时间序列信号，在获取待识别肌电信号时，通过预先设置一信号截取窗口，通过检测窗口中的肌电数据是否达到动作状态，将截取动作状态下的肌电信号作为待识别肌电信号。在本实施例中，设计了一种不用选择相似容差的端点检测方法用于肌电信号采集设备进行肌电信号的数据采集操作。具体地，通过识别位于预设的信号截取窗口中的第一肌电信号，然后通过计算所述第一肌电信号的方差来设定自适应阈值，进而根据所述自适应阈值来计算得出所述第一肌电信号的样本熵，当所述样本熵数值为预定值时，即可确定所述待识别肌电信号所在的位置，进而从所述预设的信号截取窗口中的该位置上获取待识别肌电信号，在本实施例中，所述预定值为0。具体地，所述端点检测方法中的样本熵算法具有一定的数据延迟，可以通过预设一个截取规则来消除数据延迟，例如在根据该端点检测方法获取待识别肌电信号之前，将所述预设的信号截取窗口向前移动固定数量个的数据单位，该固定数量个数据单位可以依据实际情况设定。在本实施例中，通过上述不用选择相似容差的端点检测方法能够对手势动作时段的肌电信号进行很好的端点检测，并表现出对噪声不敏感、延迟时间短的优异特性。具体地，计算样本熵的过程如下：
[0058] 令所述预设的信号截取窗口大小为m，窗口数组中每个信号为X[i],其中i＝0，1，...，m-1。计算自适应阈值Thauto公式为：
[0059] Thauto＝|CNT0-CNT1*COV(X)|
[0060] 其中CNT0和CNT1一般分别取0.1和0.25，COV(X)为窗口数组的方差。进而，样本熵算法包括：
[0061] 将窗口数组X转变为新的数组Xnew，新的数组维度为(n，m-n+1)，新数据第i行的数据为：
[0062] Xnew[i,:]＝{X[i],X[i+1],...,X[m-n+i+1]},i＝0,1,...,n
[0063] 将Xnew的每一列的数组与其余列的数据作相减运算，并取绝对值，例如行索引j取0时，其中n取2。
[0064]
[0065] D数组中每列对应的元素对比大小，将最大值的元素Dmax重新组成一维数组，并将大于自适应阈值Thauto的元素相加，之后对总和取负数得出样本熵。计算样本熵的公式如下：
[0066] Dmax＝max{Xnew[:,j],j＝0,1,...,m-2}
[0067]
[0068] SampleEn＝∑E[j]
[0069] 在步骤S102中，对所述待识别肌电信号进行预处理，以生成将用于进行识别操作的待输入数据。
[0070] 在本实施例中，由于肌电原始信号中存在着大量的噪声，噪声的存在降低了手势识别的准确率。因此，在进行手势识别之前，需要对所述获取的待识别肌电信号先进行预处理，以过滤掉所述待识别肌电信号中存在的噪声，保留有效的电信号作为用于识别操作的待输入数据。
[0071] 本申请的一些实施例中，对所述待识别肌电信号进行预处理时，包括：对所述获得的待识别肌电信号进行去噪处理，其中，所述去噪处理包括小波去噪处理。所述小波去噪处理基于时频分析中的小波分析，可以保留住肌电信号的菱角或局部突变的特征，具体通过从所述待识别肌电信号中提取不同尺度的局部特点，进而获得肌电信号的频率成分以及该频率在时域中存在的具体位置，实现有效地去除噪声，提高识别率，适用于处理非平稳的肌电信号。在本实施例中，具体采用的小波去噪处理算法为阈值去噪算法，通过引入非线性阈值函数，有效地克服了硬阈值函数造成的信号振荡问题和软阈值函数造成的信号偏差问题。非线性阈值函数公式如下：
[0072]
[0073] 其中，(-λ,λ)为信号噪点的区间，在肌电信号中，表征肌肉动作的有效信号的幅值较大，而信号伴随的噪声信号幅值较小；α为函数的参数，影响着小波去噪的效果，当α＝0时，该非线性阈值函数与软阈值函数的效果相同，当α趋近于λ/(eλ-1)时，随着原始小波系数Cj的增大，滤波后的小波系数 与Cj近似。由此，在本实施例中，通过先对所述待识别肌电信号进行小波分解，然后基于小波系数对所述分解后的肌电信号进行非线性阈值函数去噪，进而按照滤波后的小波系数对所述精非线性阈值函数去噪后肌电信号进行重构，从而完成对所述待识别肌电信号的去噪处理操作。
[0074] 本申请的一些实施例中，请一并参阅图3和图4，图3为本申请实施例提供的手势识别方法中获取待输入数据的一种方法流程示意图；图4为本申请实施例提供的手势识别方法中对肌电信号进行预处理的总体流程示意图。详细如下：
[0075] 在步骤S301中，获取与所述待识别肌电信号对应的手势运动轨迹数据，所述运动轨迹数据包括加速度数据和角速度数据；
[0076] 在步骤S302中，对所述运动轨迹数据进行卡尔曼去噪处理，以根据所述运动轨迹数据与所述经小波去噪处理后的待识别肌电信号生成将用于进行识别操作的待输入数据。
[0077] 在本实施例中，进行手势识别过程中，还可以获取与所述待识别肌电信号对应的手势运动轨迹数据，所述运动轨迹数据包括加速度数据和角速度数据。具体地，通过三轴加速度计检测手部在空间x轴、y轴和z轴上的惯性力，根据三轴加速度的惯性数据获得手部所处的朝向的相关信息，可以对手部的运动轨迹进行很好的捕捉。通过三轴陀螺仪检测手部围绕自身的x轴、y轴和z轴上的角速度，根据角速度信息获得手部姿态所处的旋转角度的相关信息，可以较好地表征一定程度的局部运动轨迹。通过上述方式获得的原始的加速度数据和角速度数据中存在部分无用信号，会影响手势识别的准确度。由此，在本实施例中，通过卡尔曼滤波器对所述原始的加速度数据和角速度数据进行去噪处理，例如，调整卡尔曼滤波五大公式中的过程偏差参数和测量偏差参数，以使得所述加速度数据和角速度数据达到去噪的效果，从而生成将用于进行识别操作的待输入数据。
[0078] 本申请的一些实施例中，还可以在将所述待输入数据输入至预设的手势识别模型中进行识别之前，进一步地对经过预处理得到的待输入数据进行Z-scores标准化处理，将所述待输入数据转化为以标准化表示的标准化输入数据。
[0079] 在本实施例中，由于肌电信号复杂性高，通过手势模型识别肌电信号内在特征的过程中，需要分析所述肌电信号的特征向量。在计算特征向量距离时，不同量纲的选取会影响到距离计算的结果。由此，在本实施例中，在将所述待输入数据输入至预设的手势识别模型中进行识别之前，通过对所述待输入数据进行Z-scores标准化处理，将所述待输入数据按一定的比例缩放，并转换成无量纲的数据。具体地，将所述待输入数据转化为均值为0，方差为1的标准化输入数据，以用于进行识别操作，使得所述待输入数据中每个维度都服从均值为0，方差为1的正态分布，从而实现在计算距离的时候，每个维度都是去量纲化的数据，消除肌电信号中各种指标之间的量纲影响，提高手势识别的准确率。可以理解的是，还可以采用线性函数标准化的方式对所述待输入数据进行标准化处理，将所述待输入数据的特征数据压缩至一定空间内，如[0,1]。
[0080] 在步骤S103中，将所述待输入数据输入至预设的手势识别模型中进行识别，以获取与所述待识别肌电信号具有映射关系的手势动作标签，其中，所述手势识别模型以长短期记忆网络LSTM作为基学习器构建生成。
[0081] 长短期记忆神经网络(英文简称，LSTM)，是一种在连续时间步上实现机器学习的循环神经网络模型，通过建立隐藏层和输出层中隐藏神经元的信息传递，可以用于对序列数据进行分类，同时LSTM具备将关键信息长时间传递的特点，可以克服基本的循环神经网络模型梯度消失的问题。在本实施例中，通过以LSTM作为基学习器来学习肌电信号序列与手势标签之间的映射关系。具体地，利用LSTM网络善于学习序列的长期依赖关系和对大数据的非线性表达等特点来对肌电信号进行分类识别，获得与每一种手势对应的肌电信号序列特征表达，然后通过使用该特征表达进行模式分类，得到肌电信号与手势动作之间映射关系，从而构建生成手势识别模型。所述手势模型是以LSTM作为基学习器进行训练学习获得的可以识别肌电信号序列与手势之间映射关系的分类模型。由此，通过将从步骤S102中获得的待输入数据输入至预先训练好的手势识别模型中，所述手势识别模型即可根据所述待输入数据对所述待识别肌电信号进行分类，获得与所述待识别肌电信号具有映射关系的手势动作标签。
[0082] 上述实施例提供的手势识别方法具体获取待识别肌电信号，所述待识别肌电信号为一维的时间序列信号；对所述待识别肌电信号进行预处理，以获得用于进行识别操作的待输入数据；通过将所述待输入数据输入至预设的手势识别模型中进行识别，获得与所述待识别肌电信号具有映射关系的手势动作标签。这样，即可根据获取得到的手势动作标签来进行手语翻译及播报操作。通过以长短期记忆网络LSTM作为基学习器构建手势识别模型，克服了对于序列特点和大数据的手势识别来说表达能力不足以及词汇量庞大难以满足识别需求的问题，提高手势识别的准确率。
[0083] 本申请的一些实施例中，在构建以长短期记忆网络LSTM作为基学习器的手势识别模型时，可以结合两个以上的LSTM基学习器进行并行式集成训练并将训练结果进行加权处理，从而生成一个整合了两个以上LSTM基学习器学习效果的手势识别模型，以用于识别肌电信号序列与手势标签之间的映射关系。其中，集成训练通过使用两个以上的LSTM基学习器分别进行学习得到对应的LSTM分类器，通过加权处理将各个LSTM分类器的分类结果进行整合，以建立肌电信号序列与手势标签之间映射关系，从而构建生成手势识别模型，使得所述手势识别模型比单个LSTM分类器具有更好的分类效果，手势识别率更高。
[0084] 在本实施例中，LSTM是一种在连续时间步上实现机器学习的循环神经网络模型，通过建立隐藏层和输出层中隐藏神经元的信息传递。基于LSTM可以用于对序列数据的模式分类以及具备将关键信息长时间传递的特点，在训练LSTM基学习器过程中，通过LSTM前向传播的方式学习有效的更新门参数和遗忘门参数，将最初时间不得信息进行一段长距离的传递，并且对需要长时间记忆的信息进行持续传递。一段待识别肌电信号包含有一定时间长度的数据，通过记忆信号的持续更新、遗忘和传递，可以将有效表征手势动作的特征传递给未来的时间步，进而，通过前后肌电信号序列的连续，可以更好地学习到反映肌电信号与手势动作之间映射关系的权重参数和偏差参数。所述权重参数和偏差参数用于加权处理构建生成手势识别模型。
[0085] 本申请的一些实施例中，请参阅图5，图5为本申请实施例提供的手势识别方法中构建手势识别模型时的一种方法流程示意图。详细如下：
[0086] 在步骤S501中，构建手势识别模型框架，所述手势识别模型框架包括两个以上的LSTM基学习器；
[0087] 在步骤S502中，获取训练数据集，其中，所述训练数据集的数量与所述手势识别模型框架中LSTM基学习器的数量一致；
[0088] 在步骤S503中，针对所述手势识别模型框架中的LSTM基学习器，分别对应输入一组所述训练数据集进行并行式集成训练，并获取与所述LSTM基学习器对应的训练结果；
[0089] 在步骤S504中，将所述训练结果进行融合处理，以生成用以识别肌电信号序列与手势标签之间映射关系的手势识别模型。
[0090] 采集训练数据集，以对所述每一个LSTM基学习器采用不同的训练数据集进行并行式集成训练，其中，所述训练数据集的数量与所述手势识别模型框架中LSTM分类器的数量一致。具体地，可以通过采用Bagging算法从预设的训练数据库中进行随机抽取一定数量的训练数据作为LSTM基学习器的训练数据集，其中，每一个LSTM基学习器对应获取一个训练数据集，且每一个训练数据集之间相互独立。即对于所述预设的训练样本数据库中的训练数据，可能有些训练数据被多次抽取，而有些训练数据则未被抽取。
[0091] 通过采用Bagging算法获得训练数据集后，针对所述手势识别模型框架中的每一个LSTM基学习器，分别对应输入一组训练数据集进行训练，得到对应的LSTM分类器，每一个所述LSTM分类器中均训练形成一组肌电信号序列与手势标签之间的映射关系。可以理解的是，对于获取得到的每一个训练数据集，同样需要对所述训练数据集中的训练数据进行去噪处理和标准化处理，具体处理过程分别与上述实施例中提及的去噪处理过程和标准化处理过程一致，此处不赘述。在本实施例中，对数据进行去噪处理可以突出显示肌电信号的菱角或局部突变的特征，消除无用的信号特征，提升手势模型的识别率；对数据标准化处理目的在于将数据按一定的比例缩放，将特征数据转换成无量纲的数据，使得原本不同量纲的数据经标准化后可以以平等的地位让LSTM基学习器进行学习，而不会因为某一个特征太大，而导致LSTM基学习器偏向某一方，加快LSTM基学习器训练过程的收敛速度、减少模型学习的偏差和防止梯度爆炸。
[0092] 通过将每一个LSTM分类器中的肌电信号序列与手势标签之间的映射关系作为训练结果进行输出，进而将多个训练结果进行融合处理，以生成用以识别肌电信号序列与手势标签之间映射关系的手势识别模型。在本实施例中，通过绝对多数投票的方式将各个训练结果进行融合处理，融合逻辑如下：
[0093]
[0094] 在上述逻辑中，Numj为基学习器输出最大概率的手势标签为Cj，N为手势标签的总数，M为基学习器的总数，当满足基学习器输出的最大概率的手势标签Cj的数量超过LSTM分类器总数的一半时，则以此手势标签为最终输出结果，否则，最终输出None，表示无结果输出。通过由多个LSTM基学习器进行并行式集成训练得到对应的多个LSTM分类器进行融合，生成一个具有肌电信号序列与手势标签之间映射关系的手势识别模型，该手势识别模型可以有效降低进行手势识别时的误判率。
[0095] 本申请的一些实施例中，对于LSTM基学习器的训练过程，还可以基于LSTM的反向传播更新所述LSTM基学习器的权重参数和偏差参数，实现对所述LSTM基学习器的训练过程进行优化处理。所述LSTM的反向传播具体基于LSTM基学习器，通过反向计算每一个神经元的误差值，然后根据所述误差值计算权重参数的梯度，解决所述LSTM基学习器的训练过程中的梯度消失和梯度爆炸问题。其中，所述LSTM的后向传播包括Mini-batch梯度下降法、Adam优化算法和/或Dropout优化算法。
[0096] Mini-batch梯度下降法可以通过将所述训练数据集进行分解形成若干个数据子集，使用数据子集来对所述LSTM基学习器进行训练。在本实施例中，通过Mini-bacth梯度下降法将原本庞大的训练数据集拆分细化，可以加快LSTM基学习器处理大量训练数据的训练时间，并且减少训练时的学习噪声。由此，在本实施例中可以通过适当地选择子集中训练集数据的数量，以获得部分的向量化加速增益，同时加快处理大数据训练的时间。
[0097] Adam优化算法结合了Momentum动量梯度下降优化算法和RMsprop均方根优化算法，利用梯度的指数加权平均数，以在横向和轴向上减少学习步伐的摆动，加快收敛速度，实现更好的学习效果。
[0098] Dropout优化算法用于减少模型出现过拟合的情况，使LSTM网络模型隐藏层的神经元按照一定的比例失效，使LSTM基学习器训练过程中权重和偏差的更新不再依赖于固定网络的关系，避免强依赖，加快收敛速度，实现更好的学习效果。
[0099] 可以理解的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
[0100] 在本申请的一些实施例中，请参阅图6，图6为本申请实施例提供的一种手势识别装置的结构示意图，详述如下：
[0101] 所述手势识别装置包括：获取模块601、处理模块602以及执行模块603。其中，所述获取模块601用于获取待识别肌电信号，所述待识别肌电信号为一维的时间序列信号；所述处理模块602用于对所述待识别肌电信号进行预处理，以生成将用于进行识别操作的待输入数据；所述执行模块603用于将所述待输入数据输入至预设的手势识别模型中进行识别，以获取与所述待识别肌电信号具有映射关系的手势动作标签，其中，所述手势识别模型以长短期记忆网络LSTM作为基学习器构建生成。
[0102] 所述手势识别装置，与上述的手势识别方法一一对应。
[0103] 在本申请的一些实施例中，请参阅图7，图7为本申请实施例提供的一种实现手势识别方法的电子设备的示意图。如图7所示，该实施例的电子设备7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72，例如手势识别程序。所述处理器70执行所述计算机程序72时实现上述各个手势识别方法实施例中的步骤。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能。
[0104] 示例性的，所述计算机程序72可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由所述处理器70执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序72在所述电子设备7中的执行过程。例如，所述计算机程序72可以被分割成：
[0105] 获取模块，用于获取待识别肌电信号，所述待识别肌电信号为一维的时间序列信号；
[0106] 处理模块，用于对所述待识别肌电信号进行预处理，以生成将用于进行识别操作的待输入数据；
[0107] 执行模块，用于将所述待输入数据输入至预设的手势识别模型中进行识别，以获取与所述待识别肌电信号具有映射关系的手势动作标签，其中，所述手势识别模型以长短期记忆网络LSTM作为基学习器构建生成。
[0108] 所述电子设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是电子设备7的示例，并不构成对电子设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
[0109] 所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0110] 所述存储器71可以是所述电子设备7的内部存储单元，例如电子设备7的硬盘或内存。所述存储器71也可以是所述电子设备7的外部存储设备，例如所述电子设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述电子设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
[0111] 所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0112] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0113] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
[0114] 在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0115] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0116] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0117] 所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
[0118] 以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种针阀及供氧系统 | 2020-05-08 | 904 |
| 一种智能矫正支具的矫正方法 | 2020-05-08 | 389 |
| 心电信号分析方法及装置、信号记录仪和三维标测系统 | 2020-05-11 | 923 |
| 薄膜天线 | 2020-05-08 | 330 |
| 光学检测装置和电子设备 | 2020-05-08 | 347 |
| 光学式感测装置的制造方法和光学式感测装置 | 2020-05-08 | 405 |
| 一种远程计量系统 | 2020-05-08 | 847 |
| 组合的有功电流定位(ACL)和组织接近度指示(TPI)系统 | 2020-05-08 | 678 |
| 电路基板 | 2020-05-08 | 215 |
| 脑力负荷的检测方法、系统及相关设备 | 2020-05-11 | 507 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈