技术领域
[0001] 本
发明涉及智能医疗技术领域，尤其涉及基于3D卷积长短期记忆网络的儿童运动姿态自动识别技术。
背景技术
[0002] 长短期记忆网络，是一种时间
递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。LSTM是解决循环神经网络RNN结构中存在的“梯度消失”问题而提出的，是一种特殊的循环神经网络。最常见的一个例子就是：当我们要预测“the clouds are in the(...)"的时候,这种情况下，相关的信息和预测的词
位置之间的间隔很小，RNN会使用先前的信息预测出词是”sky“。但是如果想要预测”I grew up in France...I speak fluent(...)”，语言模型推测下一个词可能是一种语言的名字，但是具体是什么语言，需要用到间隔很长的前文中France，在这种情况下，RNN因为“梯度消失”的问题，并不能利用间隔很长的信息，然而，LSTM在设计上明确避免了长期依赖的问题，这主要归功于LSTM精心设计的“
门”结构(输入门、遗忘门和输出门)消除或者增加信息到细胞状态的能
力，使得LSTM能够记住长期的信息。
[0003] 目前通过
计算机视觉对人体
疾病进行诊断的技术日趋成熟，特别是对人体的形体方面的疾病，比如驼背、腰椎弓形等，在儿童群体出现问题的趋势越来越年轻化，同时目前这类技术多为通过人体带上
传感器进行检查，通过穿戴式系统进行协助，操作过程繁琐，费时费力。目前
现有技术面向人群多为成人，成人运动学参数与模型无法针对儿童使用。同时，在目前传统的技术网络结构中多为通过输入被检查者的图片进行检查，对图片的处理进行人体姿态的获取难度大，不容易做出准确的人体姿态判断，以至于导致诊断结果出现误差大，不准确，使得通过计算机视觉进行诊断的技术变得不可靠。
发明内容
[0004] 有鉴于此，本发明的目的是提供基于3D卷积长短期记忆网络的儿童运动姿态自动识别技术，本发明通过动态视频侦测人体全身的疾病，且对应的方式多样化，起到预警、矫正训练的作用，并且本技术特别的收集儿童运动姿态数据，为幼龄儿童疾病预警、辅助诊断与矫正训练提出新办法，同时，本技术基于计算机视觉的方法收集人体姿态数据，不需要检查者穿戴特殊设备，仅仅需要做出简单的行走，通过搭建于对时序型输入处理的方式，相比于图片，使用视频侦测一些需要动态诊断的疾病时更加准确。
[0005] 本发明的目的是提供基于3D卷积长短期记忆网络的儿童运动姿态自动识别技术，具体按以下步骤执行：
[0006] S1:使用非尖端或尖端及以上的摄像头录制三段被检查者在室内自然行走的视频，分别是在室内自然行走的视频、摄像头高度
水平固定在被检查者髂棘处、摄像机设置距被检查者5m处的视频，并且三段视频的
角度分别为
正面、背面、侧面；
[0007] S2：将采集到的图像视频使用Seam Carving技术由不同
分辨率归化到同一分辨率大小，对图片进行归一化和去噪化，得到预处理之后的增强图像；
[0008] Seam Carving计算方法如下：
[0009]
[0010] M(i,j)＝λ(i,j)+min(M(i-1,j-1),M(i-1,j),M(i-1,j+1))；
[0011] 其中e(I)即图片中某个
像素的
能量值，其等于X轴偏导数与Y轴偏导数绝对值相加，利用动态规划计算出总和能量值最小的像素列存至M中，这样就可以得到一条对原图主要内容影响最小的像素列进行删除而实现分辨率变换归一的目的。
[0012] S3：采用python语言中的deeppose网络对获取的视频进行处理，通过处理获取人体姿态样板；
[0013] S4：采用python语言中谷歌的
深度学习框架keras对人体姿态样板进行预测；然后采用python语言中的深度学习框架keras对每种疾病单独搭建基于ConvLSTM的分类网络结构进行二分类预测；
[0014] 3D卷积计算公式如下：
[0015] Input:(N,Cin,Din,Hin,Win)；
[0016] Output:(N,Cout,Dout,Hout,Wout)where；
[0017]
[0018]
[0019]
[0020] 其中N为batch_size，C为通道数，D为图像深度，H为图像高度，W为图像宽度，Padding为元素边框与元素内容之间的空间，kernel为卷积核，stride为图像每一维的步长[0021] ConvLSTM计算公式如：
[0022] it＝σ(Wxi*Xt+Whi*Ht-1+WcioCt-1+bi)；
[0023] ft＝σ(Wxf*Xt+Whf*Ht-1+WcfoCt-1+bf)；
[0024] Ct＝ftoCt-1+itotanh(Wxc*Xt+Whc*Ht-1+bc)；
[0025] ot＝σ(Wxo*Xt+Who*Ht-1+WcooCt+bo)；
[0026] Ht＝ototanh(Ct)；
[0027] 因为训练采用的是搭建多个网络对每种病情单独分析的情况，则训练所利用损失函数为二分类损失函数：
[0028]
[0029] 其中m为样本数量，y为训练集真实标签，t为网络最后层Dense输出。Π(t)为sigmoid激活函数如下公式
[0030]
[0031] 其中t为网络最后一层的输出结果
[0033] gt＝▽θJ(θt-1)；
[0034] mt＝β1mt-1+(1-β1)gt；
[0035] vt＝β2vt-1+(1-β2)gt2；
[0036]
[0037]
[0038]
[0039] 其中g为t时间步的梯度，m为时间步的一阶梯度动量，v为时间步的二阶梯度动量，m^和v^为对动量的梯度修正，θt表示第t次
迭代时的模型参数，ε为一个极小值防止分母为0，β为动力参数，分别取0.9和0.999
[0040] S5：经过分析后给出可能的病状结果报告，提示预警或矫正方法。
[0041] 进一步，所述整个操作过程选取PC端为操作平台，被检查者采集视频后，通过交互性界面将步骤S3中获取到的图片输入给后台
服务器端进行计算。在步骤S4中集成时序分析结构ConvLSTM和GAP对每种疾病单独训练成一种目标函数，分为二分类模型进行疾病姿态的可能性决策判断。
[0042] 本发明的基于3D卷积长短期记忆网络的儿童运动姿态自动识别技术，通过动态视频侦测人体全身的疾病，且对应的方式多样化，起到预警、矫正训练的作用，并且本技术特别的收集儿童运动姿态数据，为幼龄儿童疾病预警、辅助诊断与矫正训练提出新办法，同时，本技术基于计算机视觉的方法收集人体姿态数据，不需要检查者穿戴特殊设备，仅仅需要做出简单的行走，通过搭建于对时序型输入处理的方式，相比于图片，使用视频侦测一些需要动态诊断的疾病时更加准确。
附图说明
[0043] 图1是本发明的基于3D卷积长短期记忆网络的儿童运动姿态自动识别技术的
流程图；
[0044] 图2是本发明的步骤S3对人体姿态识别的姿态图；
[0045] 图3是本发明的步骤S2中Seam Carving的例图；
[0046] 图4是本发明的步骤S4中网络结构连接层GAP的例图。
具体实施方式
[0047] 以下将结合附图和具体
实施例对本发明进行详细说明，显然，所描述的实施例仅仅只是本
申请一部分实施例，而不是全部的实施例，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0048] 如图1所示，本发明的基于3D卷积长短期记忆网络的儿童运动姿态自动识别技术，本发明的目的是提供基于3D卷积长短期记忆网络的儿童运动姿态自动识别技术，具体按以下步骤执行：
[0049] S1:使用非尖端或尖端及以上的摄像头录制三段被检查者在室内自然行走的视频，分别是在室内自然行走的视频、摄像头高度水平固定在被检查者髂棘处、摄像机设置距被检查者5m处的视频，并且三段视频的角度分别为正面、背面、侧面；
[0050] S2：将采集到的图像视频使用Seam Carving技术由不同分辨率归化到同一分辨率大小，对图片进行归一化和去噪化，得到预处理之后的增强图像；
[0051] S3：采用python语言中的deeppose网络对获取的视频进行处理，通过处理获取人体姿态样板；
[0052] S4：采用python语言中谷歌的深度学习框架keras对人体姿态样板进行预测；然后采用python语言中的深度学习框架keras对每种疾病单独搭建基于ConvLSTM的分类网络结构进行二分类预测。
[0053] S5：经过分析后给出可能的病状结果报告，提示预警或矫正方法。
[0054] 本实施例中，所述整个操作过程选取PC端为操作平台，被检查者采集视频后，通过交互性界面将步骤S3中获取到的图片输入给后台服务器端进行计算。
[0055] 本实施例中，在步骤S4中集成时序分析结构ConvLSTM和GAP对每种疾病单独训练成一种目标函数，分为二分类模型进行疾病姿态的可能性决策判断。
[0056] 以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行
修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的
权利要求范围当中。本发明未详细描述的技术、形状、构造部分均为公知技术。
