一种基于深度神经网络的人体姿态识别方法
专利汇可以提供一种基于深度神经网络的人体姿态识别方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于 深度神经网络 的人体 姿态 识别方法，该方法包括：转发 服务器 从网络视频录像机上接收实时 视频流 ，从实时视频流中抓取 视频 帧 ，发送给识别服务器；识别服务器使用深度卷积姿态神经网络模型提取关 节点 信息特征，合成人体骨架的结构信息，形成 特征向量 ；通过多分类 支持向量机 进行分类识别，将识别结果返回转发服务器；转发服务器将识别结果与视频帧发送至客户端显示，实现实时的人体姿态识别。本方法可提高智能视频 监控系统 综合性能，改善用户的实时体验，更实用、可行性更高，有广泛的应用价值和经济效益。，下面是一种基于深度神经网络的人体姿态识别方法专利的具体信息内容。
1.一种基于深度神经网络的人体姿态识别方法，其步骤包括：
A.视频转发服务器(简称转发服务器)主线程从网络视频录像机(NVR)的实时视频流中获取视频帧，分别送给转发模块和抓图模块，具体实施步骤如下：
A1.转发服务器主线程(简称主线程)分别建立面向客户端和网络视频录像机(NVR)的控制端口和数据端口；
所述控制端口用于控制信息通信，数据端口用于视频流和人体姿态识别信息通信；
A2.客户端通过控制端口向转发服务器发送请求某路NVR视频的请求；
A3.主线程根据客户端请求，向NVR发送请求某路视频流(称为一个通道)的请求；
A4.主线程为每个通道创建所需的线程和缓冲队列；
A5.主线程接收从NVR发来的视频流，将视频流中的视频帧分别处理；
B.抓图函数和抓图子线程合作，将视频帧发送给人体姿态识别服务器(简称识别服务器)，具体步骤如下：
B1.将定时器的时间间隔设置为M秒，M包括但不限于1；每隔特定的时间间隔M秒，定时器会触发给定的抓图函数；
B2.抓图函数将从播放缓冲区里抓取的视频帧挂载到抓图缓冲队列上；
B3.抓图子线程从抓图环形缓冲队列上摘取视频帧，发送至识别服务器；
C.识别服务器端接收到视频帧后，识别模块对视频帧进行姿态识别，具体步骤如下：
C1.识别模块接收视频帧；
C2.识别模块利用深度卷积姿态神经网络模型对视频帧中的人体关节点定位，得到关节点坐标，写入坐标文本文件中；
C3.将离散的坐标用矩阵标识相邻关节点之间的连接关系，四肢角度与方向信息由特征向量；
C4.利用支持向量机分类器进行分类识别；
D.识别服务器端将视频帧信息与识别结果发送至转发服务器；
所述的识别结果包括但不限于人体矩形框坐标、识别出的姿态类别、概率；
E.转发服务器将视频流以及人体姿态识别结果转发给客户端进行显示，具体步骤如下：
E1.转发服务器上的抓图子线程接收识别服务器发来的识别结果信息，写入转发环形缓冲队列中，下一个要转发的视频帧的附加数据包中；
E2.转发子线程负责从转发环形缓冲队列摘取视频帧及其附加数据包；
E3.转发子线程将视频帧及其附加数据包一起转发给客户端；
E4.客户端实时显示视频帧以及对应的人体矩形包围框和姿态识别的概率。
2.如权利要求1所述的一种基于深度神经网络的人体姿态识别方法，主线程为每个通道创建所需的线程和缓冲队列，具体步骤如下：
A4.1创建一个定时器，一个抓图函数，一个抓图子线程和一个抓图环形缓冲队列，用于抓图和姿态识别；
抓图环形缓冲队列包含但不限于以下成员：
-队列头指针head，指向要识别处理的视频帧的视频数据缓冲区，初值为-1；
-队列尾指针tail，指向新获取的视频帧的视频数据缓冲区，初值为-1；
-视频帧数据缓冲区指针pBuf，指向当前正在识别的视频帧，初值为-1；
-视频帧数据大小nSize，为当前正在识别的视频帧的大小，初值为-1；
-上一帧pPre，指向已经识别的视频帧数据缓冲区，初值为-1；
A4.2创建一个转发子线程和一个转发环形缓冲队列，用于转发收到的视频流给客户端；所述的转发环形缓冲队列结构类似于抓图环形缓冲队列。
3.如权利要求1所述的一种基于深度神经网络的人体姿态识别方法，主线程接收从NVR发来的视频流，将视频流中的视频帧分别处理，具体步骤如下：
A5.1将视频帧直接挂接到转发环形缓冲队列；
A5.2将解码后的视频帧存入播放缓冲区。
4.如权利要求1所述的一种基于深度神经网络的人体姿态识别方法，抓图子线程从抓图环形缓冲队列上摘取视频帧，发送至识别服务器，具体步骤如下：
B3.1抓图子线程通过绑定相应的端口与识别服务器连接；
B3.2抓图子线程将抓图环形缓冲队列头指针head的值，赋给视频帧数据缓冲区指针pBuf，读取视频帧大小nSize；
B3.3抓图子线程将pBuf所指的视频帧发送给识别服务器端后，并将pBuf的值赋给pPre；
B3.4将head加1，指向下一个要识别的视频数据缓冲区；循环步骤B3.2与B3.3。
5.如权利要求1所述的一种基于深度神经网络的人体姿态识别方法，识别模块利用深度神经网络模型对视频帧中的人体检测并进行关节点定位，得到关节点坐标，写入坐标文本文件中，具体步骤如下：
C2.1所述的深度神经网络模型包括人体检测模型和关节点定位模型；
C2.2利用人体检测模型检测视频帧中各个人体所在位置，输出包围人体的矩形框，具体步骤如下：
C2.2.1加载训练好的模型；
C2.2.2输入待检测的视频帧，得到各个人体所在的大致区域，输出包人体矩形框的位置信息；
所述的人体矩形框位置信息包括但不限于坐标信息(x1，y1，x2，y2)，其中(x1，y1)是左上角坐标，(x2，y2)是右下角坐标；
C2.3利用关节点定位模型预测人体关节点的位置，具体步骤如下：
C2.3.1加载训练好的关节点定位模型；
C2.3.2从矩形框所框选范围内，直接生成不同尺度的图像，分别送入关节点定位模型；
C2.3.3基于每个尺度，计算网络预测的各个关节点的响应图，得到不同尺度下各个关节点的响应图；
C2.3.4对于每个关节点，依次累加每个关节点对应的所有尺度的响应图，得到总响应图；
C2.3.5在每个关节点的总响应图上，找出分数最大的点，则该最大值所在位置(x，y)即为预测的关节点位置，选取图片左上角作为坐标原点；
C2.4将视频帧编号及其对应的14个关节点坐标依次写入坐标文本文件中；
所述的关节点具体顺序依次为头部，颈部，右肩，右肘，右腕，左肩，左肘，左腕，右臀，右膝，右脚踝，左臀，左膝，左脚踝。
6.如权利要求1所述的一种基于深度神经网络的人体姿态识别方法，用矩阵标识关节点之间的连接关系，用人体姿态描述向量来表示四肢角度与方向信息，最终合成人体骨架结构信息，具体步骤如下：
C3.1根据C2.3生成的关节点连接信息，构造一个14*14的关节点连接关系矩阵，标识相邻关节点之间的连接关系，0值表示对应关节点没有连接，非0值表示对应关节点有连接；
C3.2根据关节点连接矩阵，为人体中的三连续关节区域构造人体姿态描述向量 具体步骤如下：
C3.2.1所述的三连续关节区域包括左上肢，右上肢，左下肢，右下肢，头部-右肩，头部-左肩；其中，右上肢指右肩、右肘和右腕；右下肢指右臀，右膝，右脚踝；左上肢指左肩、左肘和左腕；左下肢指左臀，左膝，左脚踝；头部-右肩指头部，颈部和右肩；头部-左肩指头部，颈部和左肩；
C3.2.2以右上肢为例，设点A(x1，y1)、B(x2，y2)、C(x3，y3)分别表示右肩、右肘和右腕的关节点坐标， 表示右肘到右肩的位姿向量， 为右肘到右手腕的位姿向量；右上肢的向量角和模比值计算公式分别如下：
-右上肢关节向量间的向量角p1，计算公式如下：
-右上肢关节向量间的模比值r1，计算公式如下：
C3.2.3按照C3.2.2的步骤，公式同上，分别计算左上肢，左下肢，右下肢，头部-右肩，头部-左肩的向量角和模比值，依次记为p2，p3，p4，p5，p6和r2，r3，r4，r5，r6；
C3.2.4利用上述向量角和模比值构造一个12维的人体姿态描述向量 表示人体姿态，记为 。
7.如权利要求1所述的一种基于深度神经网络的人体姿态识别方法，利用支持向量机分类器对向量 进行分类识别，具体步骤如下：
C4.1加载已训练好的多分类支持向量机分类器模型；
C4.2用所有的子分类器进行测试并计算骨架信息预测类别及概率值；具体步骤如下：
C4.2.1根据决策函数的返回值的符号判断其属于的类别；
C4.2.2统计各类别的投票得分情况，选择得分高的类作为测试数据的类；
C4.2.3由投票情况计算属于该类别的概率值。
一种基于深度神经网络的人体姿态识别方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于融合神经网络的视频中人体行为识别方法 | 2020-05-08 | 306 |
| 视频解码方法 | 2020-05-08 | 251 |
| 基于视觉显著性的HEVC优化算法 | 2020-05-08 | 55 |
| 视频编码方法及装置 | 2020-05-08 | 832 |
| 目标跟踪方法及存储介质 | 2020-05-08 | 545 |
| 安全预警方法、装置、计算设备及存储介质 | 2020-05-08 | 144 |
| 触控检测装置及其控制方法、显示模组 | 2020-05-08 | 177 |
| 一种编解码方法、装置及其设备 | 2020-05-11 | 480 |
| 编码方法、解码方法、编码设备和解码设备 | 2020-05-08 | 984 |
| 基于多模态注意力机制的视频内容描述方法、系统、装置 | 2020-05-08 | 261 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
