一种基于图卷积网络的偏瘫步态分类方法专利检索-输入层多层感知器前馈神经网络人工神经网络机器学习人工智能人工智能专利检索查询-专利查询网

一种基于图卷积网络的偏瘫步态分类方法

阅读：675发布：2020-05-08

专利汇可以提供一种基于图卷积网络的偏瘫步态分类方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于图卷积网络的偏瘫步态分类方法，包括下述步骤：S1、获取待分析的步态数据，对该步态数据进行预处理；S2、基于图卷积网络构建检测网络模型，并训练该网络模型；S3、将步态数据按关节点结构输入训练好的模型中，得到最后一层的卷积结果；S4、获取最后一层的卷积结果，按特征权重比进行缩放；S5、根据得到的特征缩放结果，在全连接层中进行计算，分别得到该目标是健康人和是偏瘫患者的分。本发明利用图卷积神经网络自动提取关节点数据特征，增强了抗噪性能，使得分类速度和分类精度有大幅度提高。，下面是一种基于图卷积网络的偏瘫步态分类方法专利的具体信息内容。

权利要求

1.一种基于图卷积网络的偏瘫步态分类方法，其特征在于，包括下述步骤：
S1、获取待分析的步态数据，对该步态数据进行预处理；
S2、基于图卷积网络构建检测网络模型，并训练该网络模型；
所述建立图卷积网络包括：
特征邻接矩阵，将输入图像中有联系的特征点连接起来；
建立步态图，直接跟步态数据进行矩阵相乘；
建立好步态图以后，对每一个节点初始化权重W，对于每一个输入的矩阵H，将矩阵H、图卷积网络G、初始化权重W进行相乘，即可得到每一个节点的特征，在这个过程中，图卷积利用了关节点间的连接信息，能够更好地提取特征，最后得到特征图；
训练网络模型的步骤如下：
将步态数据输入神经网络，获取分类结果后计算结果与真实值的差距，使用随机梯度下降和反向传播的方法调整网络参数，逐步缩小检测值与真实值的差距；
S3、将步态数据按关节点结构输入训练好的模型中，得到最后一层的卷积结果；
S4、获取最后一层的卷积结果，按特征权重比进行缩放；
S5、根据得到的特征缩放结果，在全连接层中进行计算，分别得到该目标是健康人和是偏瘫患者的得分。
2.根据权利要求1所述基于图卷积网络的偏瘫步态分类方法，其特征在于，步骤S1中，对该步态数据进行预处理是将数据缺失值补全，采用下述公式：
Dataempty＝1/m∑Datai
其中，m是每一个人的步态周期数量，Datai是第i个步态周期数据。
3.根据权利要求1所述基于图卷积网络的偏瘫步态分类方法，其特征在于，步骤S2中，在特征邻接矩阵中，矩阵的每一行代表一类特征，每一列代表一个特定的帧。
4.根据权利要求1所述基于图卷积网络的偏瘫步态分类方法，其特征在于，步骤S2中，建立步态图的步骤中，D表示degree matrix度矩阵，每一个点D(i，i)代表有多少个点和该点有连接，为了消除近处节点的影响过大，远处节点过小的问题，步态图的建立需要先将邻接矩阵进行归一化操作，即：
其中，为A添加自环后的结果，使得节点本身和邻接节点对自身的影响保持一致。
5.根据权利要求1所述基于图卷积网络的偏瘫步态分类方法，其特征在于，步骤S2中，在图卷积的操作过程中，计算公式为：
其中，σ(·)为激活函数，这里指Relu；H为输入矩阵，W为权重因子，为按关节点和步态数据建的图，A为G的邻接矩阵，L为该图卷积网络的层数，输入H，即可得到对应的特征值。
6.根据权利要求1所述基于图卷积网络的偏瘫步态分类方法，其特征在于，步骤S2中，使用损失函数训练神经网络，定义如下：
其中，x表示样本，y表示预测的输出，a表示实际的输出，n表示样本总数量。
7.根据权利要求1所述基于图卷积网络的偏瘫步态分类方法，其特征在于，步骤S3具体为：
将输入特征进行初步归一化，即将其使用减去总体均值，再放进训练好的模型中，输入的特征图H将进入G2步态图中，和G1中的W、相乘，得到第一层的特征图H1，再对特征图放进Relu激活函数中，即将特征图中的负值置0，使得整个网络结构变成非线性结构，增加了模型的拟合能力，H1出来以后再放进另一个步态模块G2中，同理经过W、ReLu后，得到最后的特征图H2，该特征即为最后一层的卷积结果。
8.根据权利要求1所述基于图卷积网络的偏瘫步态分类方法，其特征在于，步骤S4中，包括下述步骤：
S41、使用SVM对每一项步态特征进行粗分类，得到每一项特征的准确率，SVM公式为：
s.t.yi(wTxi+b)≥1，i＝1，2，...，m.
其中，w为权重因子，b为偏置项，用于计算；yi为分类结果，二分类中只取0,1；xi为输入的步态数据，i代表第i项数据；
S42、在全连接层中，对所有节点进行重新排列，并通过全连接网络输出最终分类结果。

说明书全文

一种基于图卷积网络的偏瘫步态分类方法

技术领域

[0001] 本发明属于步态分析的技术领域，具体涉及一种基于图卷积网络的偏瘫步态分类方法。

背景技术

[0002] 步态分析(Gait Analysis)是指对人体步行运动的系统研究，是计算机视觉和模式识别领域中一个热门研究方向。它主要通过特定仪器测量人体的躯体移动，进行人体力学分析和肌肉活动分析。步态分析常常被用于评估和检测一些影响人类行走的因素，也频繁用于医学研究中判断病人的相关疾病的康复状况。

[0003] 早期偏瘫步态分析的分类方法依赖于医生的人工判断，通过判断下肢关键特征的取值范围来确定患者是否偏瘫。如关节的弯曲角度，动量、对地反作用力等。这种方法涉及因素复杂，依赖人工判断，费时费力。

[0004] 现有技术中主要是以机器学习和深度学习为主的统计学习方法，近年机器学习和深度学习的发展迅速，其强大的特征提取能力使得步态分析有了进一步的突破。一些基于机器学习和深度学习的方法被提出，主要有三类方法：

[0005] 以LR，SVM为代表的传统机器学习方法：该类方法能较为有效提取关节点特征，对偏瘫关键特征进行定位，其特点是实现简易，精度较低；

[0006] 以DeepGait为代表的基于深度学习预训练模型方法：这类方法通过卷积网络提取深度步态特征，再基于深度特征进行偏瘫分类。特点是实现复杂，精度较高；

[0007] 以PLSTM为代表的基于LSTM和GEI的方法：这类方法首先将关节点特征输入LSTM，再基于步态轮廓图GEI进行对比进行分类。特点是使用时序特征，精度较高。

[0008] 但是，LR，SVM传统机器学习类方法搭建的模型较为简单，容易受外界条件干扰，提取步态特征的能力有限，分类精度较低；深度学习预训练模型方法基于二维图像信息进行判断，受数据拍摄视角的影响较大，且未能利用三维关节点间的联系，因此难以提取步态特征的空间信息；基于LSTM和GEI的方法侧重于挖掘数据的时序信息，对关节点之间的空间信息没有进一步的提取分析，因此分类精度受限。

发明内容

[0009] 本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于图卷积网络的偏瘫步态分类方法，解决了关节点结构的数据不能直接进行卷积的问题，有效利用了关节点间的空间信息，高效提取了步态特征，实现高精度分类的效果。

[0010] 为了达到上述目的，本发明采用以下技术方案：

[0011] 一种基于图卷积网络的偏瘫步态分类方法，包括下述步骤：

[0012] S1、获取待分析的步态数据，对该步态数据进行预处理；

[0013] S2、基于图卷积网络构建检测网络模型，并训练该网络模型；

[0014] 所述建立图卷积网络包括：

[0015] 特征邻接矩阵，将输入图像中有联系的特征点连接起来；

[0016] 建立步态图，直接跟步态数据进行矩阵相乘；

[0017] 建立好步态图以后，对每一个节点初始化权重W，对于每一个输入的矩阵H，将矩阵H、图卷积网络G、初始化权重W进行相乘，即可得到每一个节点的特征，在这个过程中，图卷积利用了关节点间的连接信息，能够更好地提取特征，最后得到特征图；

[0018] 训练网络模型的步骤如下：

[0019] 将步态数据输入神经网络，获取分类结果后计算结果与真实值的差距，使用随机梯度下降和反向传播的方法调整网络参数，逐步缩小检测值与真实值的差距；

[0020] S3、将步态数据按关节点结构输入训练好的模型中，得到最后一层的卷积结果；

[0021] S4、获取最后一层的卷积结果，按特征权重比进行缩放；

[0022] S5、根据得到的特征缩放结果，在全连接层中进行计算，分别得到该目标是健康人和是偏瘫患者的得分。

[0023] 作为优选的技术方案，步骤S1中，对该步态数据进行预处理是将数据缺失值补全，采用下述公式：

[0024] Dataempty＝1/m∑Datai

[0025] 其中，m是每一个人的步态周期数量，Datai是第i个步态周期数据。

[0026] 作为优选的技术方案，步骤S2中，在特征邻接矩阵中，矩阵的每一行代表一类特征，每一列代表一个特定的帧。

[0027] 作为优选的技术方案，步骤S2中，建立步态图的步骤中，D表示degree matrix度矩阵，每一个点D(i，i)代表有多少个点和该点有连接，为了消除近处节点的影响过大，远处节点过小的问题，步态图的建立需要先将邻接矩阵进行归一化操作，即：

[0028]

[0029] 其中，为A添加自环后的结果，使得节点本身和邻接节点对自身的影响保持一致。

[0030] 作为优选的技术方案，步骤S2中，在图卷积的操作过程中，计算公式为：

[0031]

[0032] 其中，σ(·)为激活函数，这里指Relu；H为输入矩阵，W为权重因子，为按关节点和步态数据建的图，A为G的邻接矩阵，L为该图卷积网络的层数，输入H，即可得到对应的特征值。

[0033] 作为优选的技术方案，步骤S2中，使用损失函数训练神经网络，定义如下：

[0034]

[0035] 其中，x表示样本，y表示预测的输出，a表示实际的输出，n表示样本总数量。

[0036] 作为优选的技术方案，步骤S3具体为：

[0037] 将输入特征进行初步归一化，即将其使用减去总体均值，再放进训练好的模型中。输入的特征图H将进入G2步态图中，和G1中的W、相乘，得到第一层的特征图H1，再对特征图放进Relu激活函数中，即将特征图中的负值置0，使得整个网络结构变成非线性结构，增加了模型的拟合能力。H1出来以后再放进另一个步态模块G2中，同理经过W、ReLu后，得到最后的特征图H2，该特征即为最后一层的卷积结果。

[0038] 作为优选的技术方案，步骤S4中，包括下述步骤：

[0039] S41、使用SVM对每一项步态特征进行粗分类，得到每一项特征的准确率，SVM公式为：

[0040] s.t.yi(wTxi+b)≥l，i＝1，2，...，m.

[0041] 其中，w为权重因子，b为偏置项，用于计算；yi为分类结果，二分类中只取0,1；xi为输入的步态数据，i代表第i项数据；

[0042] S42、在全连接层中，对所有节点进行重新排列，并通过全连接网络输出最终分类结果。

[0043] 本发明与现有技术相比，具有如下优点和有益效果：

[0044] 1、相较于基于传统机器学习的分类算法，本发明利用图卷积神经网络自动提取关节点数据特征，增强了抗噪性能，使得分类速度大幅度提高，分类精度也有一定程度的提升。

[0045] 2、相较于深度学习的分类算法，本发明针对关节点数据难以使用传统卷积网络的特性，采用了图卷积神经网络进行训练和预测，更有效地提取了关节点的空间特征，使得分类的性能进一步加强。附图说明

[0046] 图1是本发明基于图卷积网络的偏瘫步态分类方法的流程图；

[0047] 图2是本发明检测网络模型的示意图；

[0048] 图3是本发明图卷积网络结构的示意图。

具体实施方式

[0049] 下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

[0050] 实施例

[0051] 如图1所示，本实施例基于图卷积网络的偏瘫步态分类方法，包括下述步骤：

[0052] S1、获取待分析的步态数据，对该步态数据进行预处理；

[0053] 对该步态数据进行预处理主要是将数据缺失值补全，采用下述公式：

[0054] Dataempty＝1/m∑Datai

[0055] 其中，m是每一个人的步态周期数量，Datai是第i个步态周期数据。

[0056] 数据缺失补全的策略是从同一个人其他完整的步态数据中取平均值，补全该部分为空的数据，再将每一个步态周期的帧数整合到100，采用的缩放方法是双线性内插法。

[0057] S2、建立图卷积网络模型，并训练该图卷积网络模型，

[0058] 图2为建立的检测网络，其中输入(Input)是维度为112*100的矩阵，每一行代表一类特征，每一列代表一个特定的帧。Graph Conv Block指图卷积网络结构，步态数据通过该网络结构提取中间层特征。Relu为激活函数层，SVM为支持向量机，输入步态数据进行粗分类，按准确率排序Feature weight，设定每个特征权重以等比数列升序排序，如1,0.9,0.81,……；将最后每个节点的特征和特征权重相乘，即可放入全连接层。FC layer为全连接层，对所有节点进行重新排列，并通过全连接网络输出最终分类结果。

[0059] 如图3所示，图卷积网络主要的网络结构主要包括：

[0060] Adjacency matrix为特征的邻接矩阵，具体来说是指图中的哪一些特征是有边连接起来的。比如第i个特征为膝关节弯曲角度，第i+1个特征为踝关节弯曲角度，在人体骨架中这两个关节直接相连，则将A(i,i+1)置为1，代表这两个特征之间有联系。同理也可以将其推广到广义的特征连接，比如脚的对地反作用力，和趾关节和踝关节直接相关，则将这两个特征也在A中置为1。A在反向传播过程中，特征点将会受到其邻接的特征点的影响，从而改变该特征点的特征值和权重。

[0061] Gait Graph为建立的步态图，建立好之后即可直接跟数据进行矩阵相乘操作。D表示degree matrix(度矩阵)，每一个点D(i，i)代表有多少个点和该点有连接。为了消除近处节点的影响过大，远处节点过小的问题，步态图的建立需要先将邻接矩阵进行归一化操作，即

[0062]

[0063] 其中，为A添加自环后的结果，目的是使得节点本身和邻接节点对自身的影响保持一致。

[0064] 图卷积操作：建立好步态图以后，对每一个节点初始化权重W，对于每一个输入的矩阵H，将H、G、W进行相乘，即可得到每一个节点的特征。在这个过程中，图卷积利用了关节点间的连接信息，能够更好地提取特征。最后得到特征图。总体的计算公式为：

[0065]

[0066] 其中，σ(·)为激活函数，这里指Relu；H为输入矩阵，W为权重因子，为按关节点和步态数据建的图，A为G的邻接矩阵。L为该图卷积网络的层数。输入H，即可得到对应的特征值。

[0067] 训练神经网络：训练的整体过程是将步态数据输入网络，获取分类结果后计算结果与真实值的差距，使用随机梯度下降和反向传播的方法调整网络参数，逐步缩小检测值与真实值的差距。损失函数定义为交叉熵函数(Cross-entropy cost function)。使用该损失函数训练本神经网络，定义如下：

[0068]

[0069] 其中，x表示样本，y表示预测的输出，a表示实际的输出，n表示样本总数量。

[0070] S3、将步态数据按关节点结构输入训练好的模型中，得到最后一层的卷积结果，具体为：

[0071] 将输入特征进行初步归一化，即将其使用减去总体均值，再放进训练好的模型中。输入的特征图H将进入G2步态图中，和G1中的W、相乘，

[0072] 得到第一层的特征图H1，再对特征图放进Relu激活函数中，即将特征图中的负值置0，使得整个网络结构变成非线性结构，增加了模型的拟合能力。H1出来以后再放进另一个步态模块G2中，同理经过W、 ReLu后，得到最后的特征图H2，该特征即为最后一层的卷积结果。

[0073] S4、获取最后一层的卷积结果，按特征权重比进行缩放；

[0074] 其中特征权重即为每个特征放入SVM中得到的分类准确率。这个分类准确率可以反映每个特征在偏瘫问题中的区分程度。按准确率排序Feature weight，设定每个特征权重以等比数列升序排序，如1,a,a2,……,an；其中a为缩放因子，n为特征数量。

[0075] a.SVM为支持向量机，是机器学习常用的分类算法之一。其公式为：

[0076]

[0077] 其中，w为权重因子，b为偏置项，用于计算；yi为分类结果，二分类中只取0,1；xi为输入的步态数据，i代表第i项数据。使用SVM对每一项步态特征进行粗分类，即可得到每一项特征的准确率。该参数可初步用于判断步态特征对于偏瘫问题的区分性。

[0078] b.FC layer为全连接层，对所有节点进行重新排列，并通过全连接网络输出最终分类结果。

[0079] S5、根据上一步得到的特征缩放结果，将其放入全连接层中进行计算，最后分别得到该目标是健康人和是偏瘫患者的分数。如果健康人的分数较高，则判断该目标为健康人，反之则为偏瘫患者。

[0080] 上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

标题	发布/更新时间	阅读量
一种基于城市风场非定常性的高层建筑屋顶风力发电系统	2020-05-08	360
燃气轮机叶片层式流水线	2020-05-08	366
安全的电梯井道和轿厢顶部访问	2020-05-08	785
一种基于两阶段神经网络模型的汉语唇语识别方法	2020-05-08	676
一种自适应GRNN的电动汽车锂离子电池健康状态的估算方法	2020-05-08	748
一种基于数据驱动的模块化产品设计评价方法	2020-05-08	875
神经网络量化方法、装置及电子设备	2020-05-08	817
一种紧凑型上变频模块	2020-05-11	379
一种基于SIR结构的可调幅度均衡器	2020-05-11	787
一种交流电缆改直流运行的长期电压试验系统	2020-05-11	743

一种基于图卷积网络的偏瘫步态分类方法

一种基于图卷积网络的偏瘫步态分类方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：