一种基于指尖特征的增强装配示教系统及其控制方法
专利汇可以提供一种基于指尖特征的增强装配示教系统及其控制方法专利检索，专利查询，专利分析的服务。并且本 发明 提供一种基于指尖特征的增强装配示教系统及其控制方法，包括 图像采集 模 块 、图像预处理模块、手部区域分割模块、指尖检测与 跟踪 模块和虚拟元器件模型空间注册模块；采集 手指 和交互平面的图像；对采集到的图像预处理；对手部区域进行分割和边缘提取；基于 曲率 运算与最小二乘法拟合进行手指指尖检测，通过基于卡尔曼滤波与粒子滤波相结合的方法对指尖进行跟踪；对图像采集设备的标定、计算机 渲染 和虚拟元器件模型空间注册；指尖与虚拟元器件交互完成插装。本发明使用指尖作为新的计算机输入来完成与虚拟对象的交互，摒弃了实体化手持标识带来的不便，当运动呈现非线性，将卡尔曼滤波与粒子滤波相结合提高了目标物体 定位 的准确性和实时性。，下面是一种基于指尖特征的增强装配示教系统及其控制方法专利的具体信息内容。
1.一种基于指尖特征的增强装配示教系统，其特征在于，包括图像采集模块、图像预处理模块、手部区域分割模块、指尖检测与跟踪模块和虚拟元器件模型空间注册模块；
所述图像采集模块用于通过图像采集设备实时采集手指和实际交互平面的图像并传递给计算机；
所述图像预处理模块用于对采集到的图像进行平滑和去噪处理；
所述手部区域分割模块用于对手部区域进行初步分割，对分割好的图像进行去噪，对去噪后的图像进行背景减除，最后对手部边缘进行提取；
所述指尖检测与跟踪模块用于通过基于曲率运算与最小二乘法拟合进行手指指尖检测，随后通过基于卡尔曼滤波与粒子滤波相结合的方法对指尖进行跟踪；
所述虚拟元器件三维注册模块用于对图像采集设备的标定、计算机渲染和虚拟元器件模型空间注册，以完成系统最后的虚实交互。
2.一种根据权利要求1所述基于指尖特征的增强装配示教系统的控制方法，其特征在于，包括以下步骤：
图像采集：通过所述图像采集模块实时采集手指和交互平面的图像并传递给计算机；
图像预处理：通过所述图像预处理模块对采集到的图像进行平滑和去噪处理；
手部区域分割：通过所述手部区域分割模块对手部区域进行初步分割，对分割好的图像进行去噪，对去噪后的图像进行背景减除，最后对手部边缘进行提取；
指尖检测与跟踪：通过所述指尖检测与跟踪模块基于曲率运算与最小二乘法拟合进行手指指尖检测，随后通过基于卡尔曼滤波与粒子滤波相结合的方法对指尖进行跟踪；
虚拟元器件三维注册：通过所述虚拟元器件三维注册模块对图像采集设备的标定、计算机渲染和虚拟元器件模型空间注册；
指尖与虚拟元器件交互完成插装。
3.根据权利要求2所述的基于指尖特征的增强装配示教系统的控制方法，其特征在于，所述图像预处理的步骤具体为：采用邻域平均法对图像平滑处理和噪点的消除。
4.根据权利要求2所述的基于指尖特征的增强装配示教系统的控制方法，其特征在于，所述手部区域分割的步骤具体为：
通过基于YCrCb色彩空间对手部区域进行初步分割：采集多张不同肤色和光照条件下的肤色切片，对切片上的像素点进行三维空间模型建模，将视频图像从RGB颜色空间转换为YCrCb颜色空间；
通过生长算法背景去噪：根据YCrCb色彩空间颜色表结合手部识别的基础坐标来作为种子进行生长运算；
通过高斯混合模型背景减除；
通过对肤色分割后得到的灰度图进行Canny边缘检测运算，得到手部轮廓。
5.根据权利要求2所述的基于指尖特征的增强装配示教系统的控制方法，其特征在于，所述指尖检测与跟踪的步骤具体为：
曲率运算：通过基于曲率运算来寻找手势轮廓中的指尖候选点，对图像中的手势轮廓，按照其中轮廓点的顺序依次计算来获取它们的曲率值，如果该点的计算结果满足：
ratio＝Dp/Dab≥ε，
那么就将该点视为指尖候选点；
式中，Dab表示受检指头轮廓的起点a与终点b之间的连线AB的长度，Dp代表轮廓的中点P到线段AB的最短距离，ε是设定的Dp与Dab的比值ratio的最小阈值，如果经过计算得到的比值大于设定的最小阈值ε，那么该受检轮廓的中点P就被视为指尖候选点，依据a、b两点间连线的中点来判断候选点的矩形邻域范围是否是肤色区域，如果是，那么该点就是指尖候选点；
二乘法拟合：对曲率运算中离散的指尖候选点随机获取至少六个点进行最小二乘法椭圆拟合找到指尖点：
2 2
Ax+Bxy+Cy+Dx+Ey+F＝0
采用卡尔曼滤波与粒子滤波相融合，结合曲率指尖点检测对指尖跟踪。
6.根据权利要求5所述的基于指尖特征的增强装配示教系统的控制方法，其特征在于，所述采用卡尔曼滤波与粒子滤波相融合，结合曲率指尖点检测对指尖跟踪的步骤具体为：
初始化：根据手指尖目标第一次出现，初始化概率外观模型，随机初始化粒子S0，并赋予相同的权值
预测：根据状态变量到测量的转换矩H进行预测，得到每一个粒子预测值；
更新：采用以下卡尔曼滤波公式，对每一个粒子预测值进行状态更新，得到每个粒子滤波增益的量测值，
状态预测误差协方差：
滤波增益：
状态更新：
其中，A为状态转移矩阵， 表示上一状态最优的结果，AT为A的转置矩阵，Qk-1，Rk为k时T
刻的过程噪声和量测噪声的协方差矩阵，H为状态变量到测量的转换矩阵，H表示H的转置矩阵，zk为观测值， 为实际观测和预测观测的残差；
根据更新后每个粒子滤波增益的量测值重新计算权值
权值归一化，并进行重新采样，其中预测值为重采样后的粒子滤波增益的均值；
在输入帧中以卡尔曼滤波状态预测后的粒子滤波增益的均值粒子为中心，取其M×N大小为邻域，设置为感兴趣区域，结合曲率指尖点检测来实时跟踪、定位手指尖。
7.根据权利要求1所述的基于指尖特征的增强装配示教系统的控制方法，其特征在于，所述虚拟元器件三维注册的步骤具体为：
对图像采集设备进行标定以获得图像采集设备的内部参数矩阵
其中，P11，P12，P13，P22，P23分别表示相机的内部参数；
计算图像采集设备相对于这些标识的位置和姿态即坐标转换矩阵TCM：将实时输入的每帧图像进行灰度化处理，将灰度图以某个阈值为准进行二值化处理，对二值化图像进行连通域分析，提取出所有能构成四边形的轮廓线区域作为候选区域，将候选区域与系统预先训练识别过的给定模板进行匹配，如果匹配到某个标识图像，则可以确定处该标识图像所对应的标识ID，存储当前识别标识图像的四条边和四个顶点的信息，当在模板中找出两组平行边时，得到在图像采集设备屏幕坐标系中这两组平行对边的方程：
a1x+b1y+c1＝0,a2x+b2y+c2＝0 (2)
联合式(1)和式(2)就可以得到两组平行边所在的空间平面方程，其在图像采集设备坐标系下的表达式为：
通过迭代和优化，最终获得一个精确的转换矩阵TCM；
根据得到的坐标变换矩阵实现虚拟场景与真实世界之间的三维注册。
8.根据权利要求1所述的基于指尖特征的增强装配示教系统的控制方法，其特征在于，所述指尖与虚拟元器件交互完成插装的步骤具体为：
所述交互平面上设有的标识图像坐标的3D/2D坐标转换：
通过转换公式
将标识图像中点的3D空间坐标投影到图像采集设备内的2D像素坐标，其中，Xw＝(xw,yw,zw)T为其在世界坐标系中的坐标，Xc＝(xc,yc,zc)T为在图像采集设备的3D坐标系中的坐标，m＝(u,v)T为在实际交互平面上的标识图像2D坐标系中的坐标，K为图像采集设备的内部参数矩阵，fx、fy分别为图像采集设备在x轴、y轴方向上的尺度因子，(u0,v0)为主点，TCM为之前求得的增强现实系统中的转换矩阵；
将世界坐标系原点设为与图像采集设备坐标系原点重合，得到
其中r1、r2、...、r9分别表示图像采集设备相对于世界坐标的旋转矩阵中的9个内部参数，t1、t2、t3分别表示图像采集设备相对于世界坐标系的平移矩阵中的三个内部参数，求出标识图像中点在图像采集设备内的2D像素坐标中的坐标(u，v)；
交互语义的实现：
通过将标识图像的3D坐标转换为图像采集设备内的2D像素坐标，再将指尖点判断的OpenCV程序整合入增强现实程序中，确定在实时图像中指尖点的2D像素坐标，通过判断指尖点2D像素坐标与标识图像中点2D像素坐标之间的距离关系，来确定“拾取”和“放置”的交互事件触发条件，具体为：
当人手指尖与标识图像中心点的距离小于一个阈值后，则触发“拾取”交互事件，表示使用人手选择并拾取了对应的虚拟电子元器件模型；
当人手拾取虚拟电子元器件模型后，此时虚拟电子元器件模型根据指尖点的2D像素坐标实时定位，实现人手拖动虚拟电子元器件模型的效果，人手指尖可以在图像采集设备的视口范围内随意拖动虚拟电子元器件模型；
当人手指尖与交互平面上设有的标识图像中心点距离小于一个阈值后，触发“放置”交互事件，代表人手将虚拟电子元器件模型放置到这个标识图像上，此时人手指尖上不再绑定虚拟电子元器件模型，而是标识图像上绑定了虚拟电子元器件模型。
一种基于指尖特征的增强装配示教系统及其控制方法
技术领域
背景技术
感，用户在 真实环境中操作虚拟物体，使安全性有了很大的保证。作为装配过程的能动部
分，人手的重 要性是第一位的，同样在增强装配中，人手的检测与定位对后续的标定、虚实
融合起到决定 性作用。传统的增强现实交互中，手势的识别需要使用各种手持或者手带设
备等特殊装置捕 获手部动作。这种方法不能实现自然状态下人手与虚拟环境的直接交互，
使用者的用户体验 受到一定限制。
发明内容
到的比值大于设定的最小阈值ε，那么该受检轮廓的中点P就被视为指尖候选点，依据a、 b
两点间连线的中点来判断候选点的矩形邻域范围是否是肤色区域，如果是，那么该点就是
指尖候选点；
的转置矩阵，zk为观测值， 为实际观测和预测观测的残差；
行连通 域分析，提取出所有能构成四边形的轮廓线区域作为候选区域，将候选区域与系统
预先训练 识别过的给定模板进行匹配，如果匹配到某个标识图像，则可以确定处该标识图
像所对应的 标识ID，存储当前识别标识图像的四条边和四个顶点的信息，当在模板中找出
两组平行边时， 得到在图像采集设备屏幕坐标系中这两组平行对边的方程：
的内部参数矩阵，fx、fy分别为图像采集设备在x轴、y轴方向上的尺度因 子，(u0，v0)为主
点，TCM为之前求得的增强现实系统中的转换矩阵；
数，
指 尖点2D像素坐标与标识图像中点2D像素坐标之间的距离关系，来确定“拾取”和“放置”
的交 互事件触发条件，具体为：
备的视 口范围内随意拖动虚拟电子元器件模型；
不再绑定虚 拟电子元器件模型，而是标识图像上绑定了虚拟电子元器件模型。
具体实施方式
附图描述的 实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目 的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限 定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明 的描述中，“多个”的含义是
两个或两个以上，除非另有明确具体的限定。
个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语 在
本发明中的具体含义。
背景减 除，最后通过Canny检测对手部边缘进行提取；
空间转 换为YCrCb颜色空间；
色的概率公 式如下：
而不能匹 配的像素点就位于肤色区域上。
足：
到的比值大于设定的最小阈值ε，那么该受检轮廓的中点P就被视为指尖候选点，依据a、 b
两点间连线的中点来判断候选点的矩形邻域范围是否是肤色区域，如果是，那么该点就是
指尖候选点，如图3(b)所示；
次出现时， 启动跟踪算法，同时不断更新概率外观模型，用一组随机加权粒子
来近似描述后验概率，其中 和 分别表示i时刻的粒子值和
权值。具体包括以下步骤：
Rk为k时刻的过程噪声和量测噪声的协方差矩阵，H为状态变量到测量的转换矩阵，H表 示H
的转置矩阵，zk为观测值， 为实际观测和预测观测的残差；
便可实现 对相机的标定。从相机标定结果中可以直接获取相机的内参数，进而确定相机内
参数矩阵K。
进行连 通域分析，提取出所有能构成四边形的轮廓线区域作为候选区域，将候选区域与系
统预先训 练识别过的给定模板进行匹配，如果匹配到某个标识图像，则可以确定处该标识
图像所对应 的标识ID，存储当前识别标识图像的四条边和四个顶点的信息，当在模板中找
出两组平行边 时，得到在图像采集设备屏幕坐标系中这两组平行对边的方程：
的坐标，m＝(u,v)T为在实际交互平面上的标识图像2D坐标系中的坐标，K 为图像采集设备
的内部参数矩阵，fx、fy分别为图像采集设备在x轴、y轴方向上的尺度因 子，(u0,v0)为主
点，TCM为之前求得的增强现实系统中的转换矩阵；
数，
指 尖点2D像素坐标与标识图像中点2D像素坐标之间的距离关系，来确定“拾取”和“放置”
的交 互事件触发条件，具体为：
备的视 口范围内随意拖动虚拟电子元器件模型；
尖上不再绑 定虚拟电子元器件模型，而是标识图像上绑定了虚拟电子元器件模型，完成增
强装配。
线性，较 难对运动目标精确建模时，将卡尔曼滤波与粒子滤波相结合提高了目标物体定位
的准确性和 实时性。与现有技术相比，本发明使用的特征简单，为奠定了增强现实系统中
人机交互方式 基础。
明书作为 一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以
理解的其他 实施方式。
更均应包含 在本发明的保护范围之内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 题目内容识别方法、装置、可读存储介质及计算机设备 | 2020-05-13 | 1 |
| 车辆周围监测装置 | 2021-10-05 | 2 |
| 在刷新时最小化功耗的具有温度感测设备的半导体存储器 | 2022-01-10 | 1 |
| 基于轮廓线的图像变形技术 | 2021-03-21 | 0 |
| 一种基于视觉的路口精定位方法 | 2020-07-31 | 0 |
| 一种基于弱标定多目相机的立体匹配方法、装置及系统 | 2020-10-23 | 1 |
| 一种基于图像处理的换流站扫描检测方法、系统及介质 | 2020-05-14 | 2 |
| Contour correction device | 2021-10-14 | 2 |
| Complexity reduction of edge detection for edge based spatial prediction | 2022-01-02 | 1 |
| 一种雨量探测方法及装置 | 2020-09-28 | 2 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
