一种基于切换的卡尔曼滤波模型的手势识别方法
专利汇可以提供一种基于切换的卡尔曼滤波模型的手势识别方法专利检索，专利查询，专利分析的服务。并且本 发明 公开的一种基于切换的卡尔曼滤波模型的 手势识别 方法，包括：建立手势视频库，对其预处理；去除 视频 帧 图像背景，基于肤色模型分割出双手与脸部区域；对三个区域进行形态学操作，分别计算质心，获得脸部与双手的 位置 矢量和双手间的位置矢量；计算光流场，得到双手质心的光流矢量；定义编码规则，对每帧图像的两个光流矢量和三个位置矢量进行编码，得到手势特征链码库；构建S‑KFM图模型，以特征链码序列作为其观测 信号 ，以手势 姿态 含义序列作为其 输出信号 ；以特征链码库作为S‑KFM的训练样本进行学习得到最优参数；对待识别的手势视频，重复相关步骤，获得相应特征链码，将其作为S‑KFM的输入进行推理，最终获得手势识别结果。，下面是一种基于切换的卡尔曼滤波模型的手势识别方法专利的具体信息内容。
1.一种基于切换的卡尔曼滤波模型的手势识别方法，其特征在于，具体按照以下步骤实施：
步骤1：使用相应设备拍摄单目视频，拍摄速度为30帧每秒，构建有N个动态手势的视频库V＝(V1,V2,...,Vi,...,VN)；
步骤2：提取视频Vi的每帧图像，得到帧图像Fi＝(fi1,fi2,...,fij,...,fin)，其中n表示视频Vi的帧数，对fij进行预处理，基于背景差分和肤色模型获取出fij中的脸，左手和右手区域，分别记做(Sij1,Sij2,Sij3)，分别计算出三个区域的质心(Mij1，Mij2,Mij3)；
步骤3：对相邻两幅图像进行光流法求解，得到光流矢量，即U＝(u,v)i＝(fi+1-fi)，继而得到双手质心像素点对应的光流矢量Uij1＝(uij1，vij1)，Uij2＝(uij2，vij2)；左手到右手的位置矢量Pij1＝(Mij2-Mij3)，左手到脸的位置矢量为Pij2＝(Mij2-Mij1)，右手到脸的位置矢量为Pij3＝(Mij3-Mij1)；
步骤4：定义编码规则，对两个光流矢量以及三个位置矢量经过量化后分别进行编码，得到Uij1，Uij2，Pij1，Pij2，Pij3对应的码字，对于一个视频，将对应的n个码字相连得到五条特征链码，即左手运动链码Li1，右手运动链码Li2，左手到右手的位置链码Li3，左手到脸的位置链码Li4，右手到脸的位置链码Li5；
步骤5：重复步骤2-4，得到手势库相对应的特征链码库L＝(Li1,Li2,Li3,Li4,Li5),i＝1,
2,...,N；
步骤6：对待识别手势视频进行步骤2-4处理，获得特征链码l＝(l1，l2，l3，l4，l5)；
步骤7：构建由扩展卡尔曼滤波器和自适应卡尔曼滤波器组合构建的切换卡尔曼滤波器图模型，以特征链码序列作为图模型观测信号，以手势姿态含义序列作为输出信号，以L作为S-KFM的训练样本进行学习得到图模型系统的最优参数，将l作为S-KFM的输入进行推理，最终获得手势识别结果；
所述的步骤2具体按照以下步骤实施：
(21)对视频进行亮度增强，去抖动的预处理；
(22)将帧图像fij与不包含人物图像的背景图像B进行差分，得到只有人物图像的差分图像bij；
(23)将bij图像由RGB颜色空间转化为HSV颜色空间和YCbCr颜色空间，得到各像素的H，Cb和Cr分量，如果其满足阈值条件：H>＝0.01 and H<＝0.1 and Cb>＝140 and Cb<＝195 and Cr>＝140 and Cr<＝165，则该像素为肤色像素，从而实现对bij中人的双手和脸的定位；
(24)将步骤(23)处理后的图像二值化，腐蚀，膨胀，得到更加清晰的双手和脸部封闭区域，分别记做Sij1，Sij2，Sij3；
(25)根据求质心的函数，编写程序分别求得三个区域质心坐标Mij1，Mij2，Mij3；
所述的步骤3具体按照以下步骤实施：
(31)设t时刻，像素点(x，y)的灰度值为I(x，y，t)；(t+Δt) 时刻，该点运动到位置(x+Δx,y+Δy)，灰度值为I(x+Δx,y+Δy,t+Δt)，u，v分别是该点光流矢量的x和y分量，根据图像沿着运动轨迹的亮度保持不变的原则，获得光流场约束方程：Ixu+Iyv+It＝0，求解出该公式的解即获得图像的光流场(u,v)；
(32)假设在一个小的空间领域Ω上运动矢量保持恒定，即满足光流误差
其中，W2(x)表示窗口权重函数，使用加权最小二乘法求解该
方程；
(33)设U＝(u,v),▽I(x)＝(Ix,Iy)T，t时刻有n个点xi∈Ω,A＝[▽I(x1),...,▽I(xn)]T，W＝diag[W(x1),...,W(xn)]，B＝-(It(x1),...,It(xn))T，则U的解由ATW2AU＝ATW2B解得，T 2 -1 T 2
即U＝[AWA] AWB；
(34)使用4点中心差计算灰度的梯度，其系数模板为(-180-81)/12，空间邻域Ω选择大小为5*5的像素区域，窗口权重函数W2(x)为(0.06250.250.3750.250.0625)，
将其代入U＝[ATW2A]-1ATW2B，由此估计
出图像的光流场U；
(35)在图像光流场中，将双手质心像素点的光流矢量Uij1，Uij2输出。
2.根据权利要求1所述的基于切换的卡尔曼滤波模型的手势识别方法，其特征在于，所述的步骤4具体按照以下步骤实施：
(41)根据公式 计算出光流矢量以及位置矢量Uij1， Uij2，Pij1，Pij2，Pij3的方向角θ1,2,3,4,5，如果 则将方向角量化为θ1,2,3,4,5＝0；如果
则将方向角量化为 以此类推，如果 则将
方向角量化为 最终将光流矢量进行十六等级量化；
(42)对光流矢量定义的编码准则为：如果方向角为θ1,2,3,4,5＝0，则编码为0；如果方向角为 则编码为1；如果方向角为 则编码为2；以此类推，如果方向
角为 则编码为15；
(43)对一个视频中各帧图像的双手质心的光流失量和位置矢量Uij1，Uij2，Pij1，Pij2，Pij3按照定义的准则进行编码，将对应的n个码字依次连接起来，得到一个视频的左手运动特征链码Li1，运动特征链码Li2，左手到右手的位置链码Li3，左手到脸的位置链码Li4，右手到脸的位置链码Li5。
3.根据权利要求1所述的基于切换的卡尔曼滤波模型的手势识别方法，其特征在于，所述的步骤7具体按照以下步骤实施：
(71)将步骤5得到的五条特征链码库分别作为S-KFM的五个观测序列，记做O1,2,3,4,5，手势含义作为输出，记做X；
(72)根据其函数关系，构建目标运动模型，位置测量模型，状态方程，观测方程等卡尔曼滤波器模型，结合扩展卡尔曼滤波器和自适应卡尔曼滤波器构成S-KFM；
(73)设定S-KFM的初始输入序列，分别计算滤波器的预测方程，观测协方差方程，状态更新方程，滤波增益方程，滤波误差协方 差方程，输出手势含义序列库；
(74)将步骤6得到的链码l作为S-KFM的输入，重复相关的步骤，得到待识别手势的手势含义序列，得到手势识别结果。
一种基于切换的卡尔曼滤波模型的手势识别方法
技术领域
背景技术
发明内容
择大小为5*5的像素区域，窗口权重函数W (x)为(0.0625 0.25 0.375 0.25 0.0625)，将其代入U＝[ATW2A]-1ATW2B，由此估计
出图像的光流场U；
方向角量化为 最终将光流矢量进行十六等级量化；
具体实施方式
其中，W (x)表示窗口权重函数，使用加权最小二乘法求解该
方程，
方向角量化为 最终将光流矢量进行十六等级量化。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 重载行星传动机械封闭功率流式同侧加载联接方法 | 2020-05-17 | 891 |
| 一种基于零力控制的机器人标定方法 | 2020-05-18 | 525 |
| 一种光谱成像仪并联机械手 | 2020-05-21 | 651 |
| 中压断路器 | 2020-05-25 | 625 |
| 平面闭式复铰运动链的编号矩阵描述方法 | 2020-05-11 | 949 |
| 一种双腿行走机构 | 2020-05-15 | 661 |
| 一种基于轴不变量的多轴机器人系统正运动学建模与解算方法 | 2020-05-25 | 679 |
| 变胞机构运动学模型自动建立方法 | 2020-05-23 | 37 |
| 一种带有自动伞的背包 | 2020-05-26 | 480 |
| 机械马车 | 2020-05-19 | 604 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
