一种基于手势识别的增强现实三维绘图系统及绘图方法专利检索-鼠标外围设备电脑零配件专利检索查询-专利查询网

一种基于手势识别的 增强现实三维绘图系统及绘图方法

阅读：275发布：2021-06-11

专利汇可以提供一种基于手势识别的增强现实三维绘图系统及绘图方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于手势识别的增强现实三维绘图系统及绘图方法，该方法在增强现实的概念上实现了虚拟三维绘图与真实场景融合的效果，可以在计算机上与使用者进行实时交互。通过实时的手势识别和手部运动轨迹识别，本发明允许使用者对二维绘画平面进行平移、三维旋转、远近拉伸操作，并且将虚拟三维空间与实际三维空间融合，从而实现在真实三维空间绘画的效果。本发明可以应用在艺术创作、儿童教育和作品演示中。，下面是一种基于手势识别的增强现实三维绘图系统及绘图方法专利的具体信息内容。

权利要求

1.一种基于手势识别的增强现实三维绘图系统，其特征在于，该系统包括如下单元：
手部轨迹追踪单元，该单元对使用者双手进行实时跟踪，并且建立动态轨迹图；
静态手势识别单元，该单元对所述的手部轨迹追踪单元追踪到的手部信息进行实时识别，并且更新状态变量空间；
三维绘图单元，该单元将二维绘画轨迹映射到三维空间，根据手势对三维空间进行操作后将三维空间虚拟图像投影到二维现实场景图像中；
人机交互界面单元，该单元包括绘图界面和功能选择界面，实现实时的、无鼠标键盘的纯手势人机交互，所述的绘图界面显示提示信息和实时绘图效果，所述的功能选择界面提供功能选择；
状态变量空间单元，该单元为所述的手部轨迹追踪、静态手势识别、三维绘图、人机交互界面单元提供信息交互的平台，并且存储变量状态，所述的变量具体包括：
变量一：左手位置队列，队列长度固定为k，用以存储左手运动轨迹信息；
变量二：右手位置队列，队列长度固定为k，用以存储右手运动轨迹信息；
变量三：左手手势队列，队列长度固定为n，用以存储左手手势识别结果；
变量四：系统状态变量，所述的系统状态变量的取值为“绘图”、“三维旋转”、“平移”、“远近拉伸”、“功能选择”和“空状态”中的任意一种。
2.根据权利要求1所述的基于手势识别的三维绘图系统，所述的人机交互界面单元提供的功能选择包括AR模式、背景模式1、背景模式2、清空画布、撤销画笔、画笔设置、复原坐标系、使用说明、退出等九项功能。
3.根据权利要求2所述的基于手势识别的增强现实三维绘图系统，所述的AR模式用于展示使用者的现实图像和通过该系统生成的绘画图像。
4.一种如权利要求1所述的基于手势识别的增强现实三维绘图系统的绘图方法，其特征在于，该方法具体包括如下步骤：
步骤一：分别建立左、右手的位置队列，队列长度固定为k，用以存储手部轨迹信息；
步骤二：从Kinect深度相机提取图像的彩色信息、深度信息和使用者的骨骼信息，根据使用者的骨骼信息分别对左右手进行如下操作：
对于左手：
(1)分割出左手手部区域，将图像转换为二值图，然后对图像先进行腐蚀操作，后中值滤波；
(2)提取手部轮廓，以序号为横坐标、轮廓与手部质心的距离为纵坐标绘制边缘-质心距离序列曲线；
(3)提取边缘-质心距离序列曲线的尖峰，计算尖峰幅值大于阈值的尖峰数量，作为手指数目；
(4)根据手指数目确定当前手势，取值分别为“拳”、“一指”、“二指”、“三指”、“四指”、“掌”，将手势信息更新到状态变量空间单元的左手手势队列中；
(5)根据左手手势队列计算系统状态变量；
对于右手：
根据使用者的骨骼信息实时更新右手的位置队列，根据当前位置队列计算当前右手的运动速度和方向；
步骤三：根据所述的系统状态变量以及右手的运动速度和方向对绘画系统进行不同的操作：
操作一：如果系统状态为“绘图”，则根据右手位置和当前二维画板位置将二维点映射到三维绘图单元中存储的三维点云中，然后再将三维点云投影到当前二维图像窗口中，与Kinect采集的现实RGB图像一起展示，实现虚拟三维图像与实际三维空间融合的效果；
操作二：如果系统状态为“三维旋转”，则根据右手位置队列计算出当前右手运动速度和方向信息，对三维图像进行相同方向和速度的三维旋转操作；
操作三：如果系统状态为“平移”，则根据当前右手运动速度和方向信息对三维图像进行平移操作；
操作四：如果系统状态为“远近拉伸”，若判断右手为向上运动，则将三维图像向远离人体的方向移动，若判断右手为向下运动，则将三维图像向靠近人体的方向移动，移动速度与右手运动速度成正比；
操作五：如果系统状态为“空状态”，则不对图像空间进行操作。
5.根据权利要求4所述的基于手势识别的增强现实三维绘图系统的绘图方法，所述的对于左手的操作(5)根据左手手势队列计算系统状态变量具体为：
首先用状态滤波器计算当前左手手势，并根据左手手势，即状态滤波器的输出结果得到当前系统状态变量；
其中，所述的状态滤波器的计算步骤如下：
步骤一：建立容量为6的状态集合；
步骤二：遍历左手手势队列中的每个成员，根据成员状态对状态集合进行投票，一次状态出现等于一票；
步骤三：统计队列中每个状态的票数，票数最多且大于阈值的状态为当前状态，否则输出空状态；
步骤四：设置紧急状态，只要紧急状态票数大于紧急状态阈值，则无条件将状态设置为紧急状态。
6.根据权利要求5所述的基于手势识别的增强现实三维绘图系统的绘图方法，所述的状态滤波器的输出结果与当前系统状态变量的对应关系如下：
“一指”手势对应“绘画”状态，“二指”手势对应“三维旋转”状态，“三指”手势对应“远近拉伸”状态，“四指”手势对应“平移”状态，“掌”手势对应“功能选择”状态，“拳”手势对应“空状态”。
7.根据权利要求4所述的基于手势识别的增强现实三维绘图系统的绘图方法，所述的对绘画系统的绘图、映射、三维旋转、平移、远近拉伸操作皆通过OpenGL实现。

说明书全文

一种基于手势识别的 增强现实三维绘图系统及绘图方法

技术领域

[0001] 本发明涉及计算机人机交互领域，尤其涉及一种基于手势识别的增强现实(Augmented Reality，AR)三维绘图系统及绘图方法。

背景技术

[0002] 人机交互是当前信息行业关注的一个焦点，各国研究人员都将其作为研究的关键技术。经过数十年的发展，目前的人机交互技术，正逐渐由过去的以计算机为中心，逐步转移到以用户为中心，经历了从命令行界面、图形用户界面，到自然用户界面(NUI，Natural User Interface)的发展过程。在自然用户界面交互技术中，手势以其灵活、直观和易于学习的优势，成为相关人员的研究重点之一。

[0003] 计算机图形绘制是人机交互中一个重要的研究方向，随着增强现实概念的提出和发展，人机交互对于非接触式交互的需求逐渐增大，Microsoft Kinect深度相机可以同时提供彩色图像和深度信息，并且相关的Kinect for Windows SDK可以实现图像信息的读取和用户骨架识别，为非接触式交互应用提供了很大便利。

[0004] 非接触式三维空间绘图方法可以应用在儿童教育、作品展示和艺术创作中，但是目前计算机图形绘制还局限于基于鼠标和键盘的交互方式，而且没有增强现实概念下实时手势绘图的相关研究发表。

发明内容

[0005] 针对现有技术的不足，本发明提供一种基于手势识别的增强现实三维绘图系统及绘图方法，该绘画系统能实现实时的、无鼠标键盘的纯手势人机交互，手势识别容错率高，操作方便。具体技术方案如下：

[0006] 一种基于手势识别的增强现实三维绘图系统，其特征在于，该系统包括如下单元：

[0007] 手部轨迹追踪单元，该单元对使用者双手进行实时跟踪，并且建立动态轨迹图；

[0008] 静态手势识别单元，该单元对所述的手部轨迹追踪单元追踪到的手部信息进行实时识别，并且更新状态变量空间；

[0009] 三维绘图单元，该单元将二维绘画轨迹映射到三维空间，根据手势对三维空间进行操作后将三维空间虚拟图像投影到二维现实场景图像中；

[0010] 人机交互界面单元，该单元包括绘图界面和功能选择界面，实现实时的、无鼠标键盘的纯手势人机交互，所述的绘图界面显示提示信息和实时绘图效果，所述的功能选择界面提供功能选择；

[0011] 状态变量空间单元，该单元为所述的手部轨迹追踪、静态手势识别、三维绘图、人机交互界面单元提供信息交互的平台，并且存储变量状态，所述的变量具体包括：

[0012] 变量一：左手位置队列，队列长度固定为k，用以存储左手运动轨迹信息；

[0013] 变量二：右手位置队列，队列长度固定为k，用以存储右手运动轨迹信息；

[0014] 变量三：左手手势队列，队列长度固定为n，用以存储左手手势识别结果；

[0015] 变量四：系统状态变量，所述的系统状态变量的取值为“绘图”、“三维旋转”、“平移”、“远近拉伸”、“功能选择”和“空状态”中的任意一种。

[0016] 进一步地，所述的人机交互界面单元提供的功能选择包括AR模式、背景模式1、背景模式2、清空画布、撤销画笔、画笔设置、复原坐标系、使用说明、退出等九项功能。

[0017] 进一步地，所述的AR模式用于展示使用者的现实图像和通过该系统生成的绘画图像。

[0018] 一种如上所述的基于手势识别的增强现实三维绘图系统的绘图方法，其特征在于，该方法具体包括如下步骤：

[0019] 步骤一：分别建立左、右手的位置队列，队列长度固定为k，用以存储手部轨迹信息；

[0020] 步骤二：从Kinect深度相机提取图像的彩色信息、深度信息和使用者的骨骼信息，根据使用者的骨骼信息分别对左右手进行如下操作：

[0021] 对于左手：

[0022] (1)分割出左手手部区域，将图像转换为二值图，然后对图像先进行腐蚀操作，后中值滤波；

[0023] (2)提取手部轮廓，以序号为横坐标、轮廓与手部质心的距离为纵坐标绘制边缘-质心距离序列曲线；

[0024] (3)提取边缘-质心距离序列曲线的尖峰，计算尖峰幅值大于阈值的尖峰数量，作为手指数目；

[0025] (4)根据手指数目确定当前手势，取值分别为“拳”、“一指”、“二指”、“三指”、“四指”、“掌”，将手势信息更新到状态变量空间单元的左手手势队列中；

[0026] (5)根据左手手势队列计算系统状态变量；

[0027] 对于右手：

[0028] 根据使用者的骨骼信息实时更新右手的位置队列，根据当前位置队列计算当前右手的运动速度和方向；

[0029] 步骤三：根据所述的系统状态变量以及右手的运动速度和方向对绘画系统进行不同的操作：

[0030] 操作一：如果系统状态为“绘图”，则根据右手位置和当前二维画板位置将二维点映射到三维绘图单元中存储的三维点云中，然后再将三维点云投影到当前二维图像窗口中，与Kinect采集的现实RGB图像一起展示，实现虚拟三维图像与实际三维空间融合的效果；

[0031] 操作二：如果系统状态为“三维旋转”，则根据右手位置队列计算出当前右手运动速度和方向信息，对三维图像进行相同方向和速度的三维旋转操作；

[0032] 操作三：如果系统状态为“平移”，则根据当前右手运动速度和方向信息对三维图像进行平移操作；

[0033] 操作四：如果系统状态为“远近拉伸”，若判断右手为向上运动，则将三维图像向远离人体的方向移动，若判断右手为向下运动，则将三维图像向靠近人体的方向移动，移动速度与右手运动速度成正比；

[0034] 操作五：如果系统状态为“空状态”，则不对图像空间进行操作；

[0035] 进一步地，所述的对于左手的操作(5)根据左手手势队列计算系统状态变量具体为：

[0036] 首先用状态滤波器计算当前左手手势，并根据左手手势，即状态滤波器的输出结果得到当前系统状态变量；

[0037] 其中，所述的状态滤波器的计算步骤如下：

[0038] 步骤一：建立容量为6的状态集合；

[0039] 步骤二：遍历左手手势队列中的每个成员，根据成员状态对状态集合进行投票，一次状态出现等于一票；

[0040] 步骤三：统计队列中每个状态的票数，票数最多且大于阈值的状态为当前状态，否则输出空状态；

[0041] 步骤四：设置紧急状态，只要紧急状态票数大于紧急状态阈值，则无条件将状态设置为紧急状态。

[0042] 进一步地，所述的状态滤波器的输出结果与当前系统状态变量的对应关系如下：

[0043] “一指”手势对应“绘画”状态，“二指”手势对应“三维旋转”状态，“三指”手势对应“远近拉伸”状态，“四指”手势对应“平移”状态，“掌”手势对应“功能选择”状态，“拳”手势对应“空状态”。

[0044] 进一步地，所述的对绘画系统的绘图、映射、三维旋转、平移、远近拉伸操作皆通过OpenGL实现。

[0045] 与现有技术相比，本发明的有益效果如下：

[0046] 本发明使用Kinect深度相机，基于手势识别和三维绘图技术，实现了一种基于手势识别的增强现实概念下的三维画板，具有实时三维空间绘图功能，能实现无鼠标键盘的纯手势人机交互，手势识别容错率高，操作方便，可以应用在作品展示、艺术创作和儿童教育中。附图说明

[0047] 图1是基于手势识别的增强现实三维绘图系统的结构示意图；

[0048] 图2是手部轨迹追踪和静态手势识别的流程图。

具体实施方式

[0049] 如图1所示，一种基于手势识别的增强现实三维绘图系统，包括如下单元：

[0050] 手部轨迹追踪单元，该单元对使用者双手进行实时跟踪，并且建立动态轨迹图；

[0051] 静态手势识别单元，该单元对所述的手部轨迹追踪单元追踪到的手部信息进行实时识别，并且更新状态变量空间；

[0052] 三维绘图单元，该单元将二维绘画轨迹映射到三维空间，根据手势对三维空间进行操作后将三维空间虚拟图像投影到二维现实场景图像中；

[0053] 人机交互界面单元，该单元包括绘图界面和功能选择界面，实现实时的、无鼠标键盘的纯手势人机交互，所述的绘图界面显示提示信息和实时绘图效果，所述的功能选择界面提供功能选择；该人机交互界面单元提供的功能选择包括AR模式、背景模式1、背景模式2、清空画布、撤销画笔、画笔设置、复原坐标系、使用说明、退出等九项功能；其中的AR模式用于展示使用者的现实图像和通过该系统生成的绘画图像。

[0054] 状态变量空间单元，该单元为所述的手部轨迹追踪、静态手势识别、三维绘图、人机交互界面单元提供信息交互的平台，并且存储变量状态，所述的变量具体包括：

[0055] 变量一：左手位置队列，队列长度固定为k，用以存储左手运动轨迹信息；

[0056] 变量二：右手位置队列，队列长度固定为k，用以存储右手运动轨迹信息；

[0057] 变量三：左手手势队列，队列长度固定为n，用以存储左手手势识别结果；

[0058] 变量四：系统状态变量，所述的系统状态变量的取值为“绘图”、“三维旋转”、“平移”、“远近拉伸”、“功能选择”和“空状态”中的任意一种。

[0059] 一种如上所述的基于手势识别的增强现实三维绘图系统的绘图方法，具体包括如下步骤：

[0060] 步骤一：分别建立左、右手的位置队列，队列长度固定为k，用以存储手部轨迹信息；

[0061] 步骤二：从Kinect深度相机提取图像的彩色信息、深度信息和使用者的骨骼信息，根据使用者的骨骼信息分别对左右手进行如下操作(如图2所示)：

[0062] 对于左手：

[0063] (1)分割出左手手部区域，将图像转换为二值图，然后对图像先进行腐蚀操作，后中值滤波；

[0064] (2)提取手部轮廓，以序号为横坐标、轮廓与手部质心的距离为纵坐标绘制边缘-质心距离序列曲线；

[0065] (3)提取边缘-质心距离序列曲线的尖峰，计算尖峰幅值大于阈值的尖峰数量，作为手指数目；

[0066] (4)根据手指数目确定当前手势，取值分别为“拳”、“一指”、“二指”、“三指”、“四指”、“掌”，将手势信息更新到状态变量空间单元的左手手势队列中；

[0067] (5)根据左手手势队列用状态滤波器计算当前左手手势，并根据左手手势，即状态滤波器的输出结果得到当前系统状态变量，其中，状态滤波器的计算步骤如下：

[0068] 步骤一：建立容量为6的状态集合；

[0069] 步骤二：遍历左手手势队列中的每个成员，根据成员状态对状态集合进行投票，一次状态出现等于一票；

[0070] 步骤三：统计队列中每个状态的票数，票数最多且大于阈值的状态为当前状态，否则输出空状态；

[0071] 步骤四：设置紧急状态，只要紧急状态票数大于紧急状态阈值，则无条件将状态设置为紧急状态。

[0072] 所述的状态滤波器的输出结果与当前系统状态变量的对应关系如下：

[0073] “一指”手势对应“绘画”状态，“二指”手势对应“三维旋转”状态，“三指”手势对应“远近拉伸”状态，“四指”手势对应“平移”状态，“掌”手势对应“功能选择”状态，“拳”手势对应“空状态”。

[0074] 对于右手：

[0075] 根据使用者的骨骼信息实时更新右手的位置队列，根据当前位置队列计算当前右手的运动速度和方向；

[0076] 步骤三：根据所述的系统状态变量以及右手的运动速度和方向对绘画系统进行不同的操作：

[0077] 操作一：如果系统状态为“绘图”，则根据右手位置和当前二维画板位置将二维点映射到三维绘图单元中存储的三维点云中，然后再将三维点云投影到当前二维图像窗口中，与Kinect采集的现实RGB图像一起展示，实现虚拟三维图像与实际三维空间融合的效果；

[0078] 操作二：如果系统状态为“三维旋转”，则根据右手位置队列计算出当前右手运动速度和方向信息，对三维图像进行相同方向和速度的三维旋转操作；

[0079] 操作三：如果系统状态为“平移”，则根据当前右手运动速度和方向信息对三维图像进行平移操作；

[0080] 操作四：如果系统状态为“远近拉伸”，若判断右手为向上运动，则将三维图像向远离人体的方向移动，若判断右手为向下运动，则将三维图像向靠近人体的方向移动，移动速度与右手运动速度成正比；

[0081] 操作五：如果系统状态为“空状态”，则不对图像空间进行操作；

[0082] 上述对绘画系统的绘图、映射、三维旋转、平移、远近拉伸操作皆通过OpenGL实现。

标题	发布/更新时间	阅读量
智能家电装置控制方法	2020-05-08	403
一种基于物联网的土地巡查管理系统	2020-05-08	288
一种任务排班信息化管理系统、方法及存储介质	2020-05-08	371
一种基于WEB进行流程管理的方法	2020-05-08	403
一种计算机信息化安全应用的智能装置	2020-05-08	745
一种拖拽窗体边框自动贴合的截图工具和截图方法	2020-05-08	609
一种人体感应的蓝牙鼠标控制电路	2020-05-08	450
一种方便使用的手持式鼠标	2020-05-08	256
一种冷暖鼠标垫	2020-05-08	693
基于无线鼠标的手控器系统	2020-05-08	908

一种基于手势识别的增强现实三维绘图系统及绘图方法

一种基于手势识别的增强现实三维绘图系统及绘图方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：