一种基于多特征融合的单目静态手势识别方法
专利汇可以提供一种基于多特征融合的单目静态手势识别方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于多特征融合的单目静态 手势识别 方法，步骤包括：手势 图像采集 ，用单目摄像头采集包含手势的RGB图像；图像预处理，利用人体肤色信息进行肤色分割，利用形态学处理并结合手部的几何特征，将手部与复杂背景分离，通过距离变换操作 定位 掌心并去除手部存在的手臂区域，得到手势二值图像；手势特征提取，计算手势的周长与面积比、Hu矩及傅里叶描述子特征，构成手势 特征向量 ；手势识别，输入手势特征向量训练BP神经网络，实现静态手势分类。本发明结合肤色信息与手部的几何特征，利用形态学处理及距离变换操作实现单目视觉下准确的手势分割；通过组合多种手势特征并训练BP神经网络，得到鲁棒性强、准确率高的手势分类器。，下面是一种基于多特征融合的单目静态手势识别方法专利的具体信息内容。
1.一种基于多特征融合的单目静态手势识别方法，其特征在于，所述的识别方法包括：
手势图像采集步骤，用单目摄像头采集包含手势的RGB图像；
图像预处理步骤，利用人体肤色信息进行肤色分割，将图像中的肤色及类肤色区域提取出来，利用形态学处理并结合手部的几何特征，将手部与复杂背景分离，通过距离变换操作定位掌心并去除手部存在的手臂区域，得到手势二值图像；
手势特征提取步骤，计算手势的周长与面积比、Hu矩以及傅里叶描述子特征，构成手势特征向量；
手势识别步骤，将提取的手势特征向量作为BP神经网络的输入，通过训练BP神经网络实现静态手势分类。
2.根据权利要求1所述的一种基于多特征融合的单目静态手势识别方法，其特征在于，所述的图像预处理步骤包括：
肤色分割，将输入的图像进行色彩空间的转换，通过色度阈值分割将图像中的肤色及类肤色区域提取出来，得到二值图像；
形态学处理，对肤色分割后的二值图像进行形态学处理，先采用开运算操作，再采用闭运算操作，消除图像中的孤立噪声；
手部几何形状分割，实现人脸和手与复杂背景进行分离，计算剩下的两个连通区域的形状复杂度C，通过与阈值T判断，提取手部二值图像；
将手部二值图像中的手臂去除，得到手势二值图像。
3.根据权利要求2所述的一种基于多特征融合的单目静态手势识别方法，其特征在于，所述的将输入的图像进行色彩空间的转换，通过色度阈值分割将图像中的肤色及类肤色区域提取出来，得到二值图像过程如下：
转换色彩空间，将输入的图像由RGB色彩空间转换到YCr′Cb′色彩空间，转换公式如下：
y＝0.299×r+0.587×g+0.114×b
其中r、g、b分别为图像在RGB色彩空间中的红、绿、蓝三个分量，y、cr'、cb'分别为图像在YCr′Cb′色彩空间中的亮度分量、红色色度分量、蓝色色度分量；
色度阈值分割，若像素点的两个色度分量同时满足肤色在cr'和cb'分量的阈值范围时，令该像素点取值为1，否则取值为0，从而将图像中的肤色及类肤色区域提取出来，得到二值图像。
4.根据权利要求2所述的一种基于多特征融合的单目静态手势识别方法，其特征在于，所述的手部几何形状分割，实现人脸和手与复杂背景进行分离，计算剩下的两个连通区域的形状复杂度C，通过与阈值T判断，提取手部二值图像过程如下：
面积筛选，利用八连通判别算法，计算图像中不同连通区域的面积，提取面积较大的两个连通区域，实现人脸和手与复杂背景的分离；
形状复杂度阈值判断，计算剩下的两个连通区域的形状复杂度C，若连通区域的形状复杂度C取值大于阈值T，则认为该区域为非手部区域并去除，从而得到手部二值图像。
5.根据权利要求2所述的一种基于多特征融合的单目静态手势识别方法，其特征在于，所述的将手部二值图像中的手臂去除，得到手势二值图像过程如下：
掌心定位，采用距离变换操作，计算手部像素点离手部边界的最小距离，距离值取代原像素点取值，除手部的其余区域取值为0，距离变换操作后得到的图像中取值最大的像素点为掌心，对应的取值为R0；
手掌切割，将与掌心的距离小于R1的像素点取值为0，从而去除手掌区域，其中，R1＝
1.35×R0；
阈值法判断手臂是否存在，定位图像中最大取值的像素点P，对应的取值为Pvalue，计算Pvalue/R0，若取值大于阈值T1，则P点所在区域即为手臂区域，继续进行下一移除手臂操作，否则手部二值图像中不存在手臂区域，转至手势特征提取步骤；
移除手臂，利用八连通判别算法，去除P点所在区域；
异或运算，利用图像间的异或运算，最终得到手势二值图像。
6.根据权利要求1所述的一种基于多特征融合的单目静态手势识别方法，其特征在于，所述的手势特征提取步骤包括：
计算手势的7个不变矩，构成Hu矩特征；
利用八连通判别算法，计算手势区域的周长和面积，计算周长与面积的比值；
计算手势轮廓的傅里叶描述子特征；
组合Hu矩特征、周长与面积的比值及傅里叶描述子特征，构成18维的手势特征向量。
7.根据权利要求6所述的一种基于多特征融合的单目静态手势识别方法，其特征在于，所述的计算手势轮廓的傅里叶描述子特征过程如下：
将手势轮廓边缘的坐标{(xk，yk)}用复数表示，构成复数序列{ck}，ck表示如下：
ck＝xk+iyk,k＝0,1,2,...,N-1；
对离散序列{ck}作傅里叶变换，得到傅里叶系数序列{C(u)}，公式如下：
提取u＝1开始的10个傅里叶系数，对其取模值并归一化，构成傅里叶描述子特征。
8.根据权利要求1所述的一种基于多特征融合的单目静态手势识别方法，其特征在于，所述的BP神经网络包括输入层、隐藏层和输出层，输入层有d个神经元，由手势特征向量的维数决定，输出层有s个神经元，由手势种类数决定，隐藏层有q个神经元，输入层第i个神经元与隐藏层第h个神经元之间的连接权值为vih，隐藏层第h个神经元与输出层第j个神经元之间的连接权值为whj，隐藏层第h个神经元的阈值为 输出层第j个神经元的阈值为θj。
9.根据权利要求8所述的一种基于多特征融合的单目静态手势识别方法，其特征在于，所述的手势识别步骤之前，还包括：
BP神经网络训练步骤，输入训练样本的手势特征向量训练BP神经网络，过程如下：
随机初始化权值和阈值，初始化权值的取值范围为[-1,1]，初始化阈值的取值范围为[-0.5,0.5]；
输入训练样本的手势特征向量(x1,x2,...,x18)；
计算各层的输出数据，其中，所述的BP神经网络采用sigmoid函数作为各层神经元的激活函数，公式如下：
隐藏层第h个神经元的输出值为αh，计算公式如下：
输出层第j个神经元的输出值为 计算公式如下：
计算均方误差E，计算公式如下：
其中(y1,y2,...,y8)为训练样本的类别标签；
参数更新，当E大于设定误差时，采用梯度下降法更新网络的权值和阈值，以修正当前的BP神经网络；当E小于设定误差时，停止训练网络，得到最佳的模型参数。
10.根据权利要求4所述的一种基于多特征融合的单目静态手势识别方法，其特征在于，所述的形状复杂度C的计算公式如下：
其中，A为连通区域的面积，p为连通区域的周长。
一种基于多特征融合的单目静态手势识别方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 用于提供基于区块链的多因素个人身份验证的系统和方法 | 2020-05-20 | 585 |
| 一种手指运动轨迹校准系统及方法 | 2020-05-13 | 678 |
| 一种基于深度数据的三维手势姿态估计方法及系统 | 2020-05-17 | 716 |
| 一种四指同步运动的手指康复训练器 | 2020-05-21 | 370 |
| 一种可视化的生物计量信息采集装置和方法 | 2020-05-12 | 470 |
| 一种基于视觉交互面向视障人群的穿戴式辅助系统及其使用方法 | 2020-05-20 | 387 |
| 基于识别技术的机电设备授权方法、控制装置及存储介质 | 2020-05-18 | 19 |
| 面向非接触力反馈的自然人机交互方法 | 2020-05-11 | 846 |
| 一种复合弓弓把以及复合弓 | 2020-05-23 | 436 |
| 一种手掌拍击式彩条子弹发射装置 | 2020-05-18 | 148 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
