一种基于虚拟现实与手势识别的远程呈现交互方法和系统
专利汇可以提供一种基于虚拟现实与手势识别的远程呈现交互方法和系统专利检索，专利查询，专利分析的服务。并且本 发明 一种基于 虚拟现实 与 手势识别 的远程呈现交互方法和系统,属于 人机交互 技术领域。系统包括本地空间中的装备双目摄像头的远程呈现 机器人 和远程可交互装置，远程空间中的由VR眼镜、智能手机和双目摄像头组成的交互式VR眼镜，连接本地空间和远程空间的无线网络以及计算 服务器 。远程呈现机器人获取本地空间的两路实时视频图像，通过无线网络传送到远程空间中用户的智能手机上并分屏显示；用户通过VR眼镜和智能手机可以以虚拟现实的方式 感知 本地空间；远程空间中交互式VR眼镜上的双目摄像头获取用户的手势数据，根据用户手的 位置 以及具体手势与本地空间中的远程可交互装置进行交互。可以使用户获得真正的身临其境的感受和交互体验。，下面是一种基于虚拟现实与手势识别的远程呈现交互方法和系统专利的具体信息内容。
1.一种基于虚拟现实技术和手势识别技术的远程呈现交互方法,其特征在于：包括如下步骤：
步骤一、现场实时视频图像的获取，具体为：通过远程呈现机器人在本地空间中移动来获取本地空间的现场实时视频图像，即：机器人头部装备的双目摄像头来获取两路本地空间的现场实时视频图像；
其中，两路本地空间的现场实时视频图像分别由双目摄像头的左方摄像头和右方摄像头拍摄得到；
步骤二、用户以虚拟现实的方式感知本地空间，具体为：无线网络将步骤一中远程呈现机器人获取的两路现场实时视频图像传送到远程空间的智能手机上，并进行分屏显示，即智能手机的屏幕左方显示远程呈现机器人上的双目摄像头中左方摄像头拍摄的图像，智能手机的屏幕右方显示远程呈现机器人上的双目摄像头中右方摄像头拍摄的图像；远程空间中的用户通过VR眼镜和智能手机就能够以虚拟现实的方式感知本地空间，获得真正的身临其境的感受；
步骤三、根据用户需求决定通过手势与远程呈现机器人还是远程可交互装置进行交互，具体为：
3.A、若用户需求是与远程呈现机器人交互，具体为：
步骤3.A1通过交互式VR眼镜上的双目摄像头获取用户手势的两路实时视频数据；
步骤3.A2通过无线网络将获取的两路用户手势的实时视频数据发送给计算服务器；
步骤3.A3在计算服务器上利用立体视觉的方法恢复用户手势的三维信息，并进行手势识别；
步骤3.A4根据手势识别的结果来控制远程呈现机器人前进、后退、左转以及右转；
3.B、若用户需求是与远程可交互装置交互，具体为：
步骤3.B1通过交互式VR眼镜上的双目摄像头获取用户手势的两路实时视频数据；
步骤3.B2通过无线网络将获取的两路实时视频数据发送给计算服务器；
步骤3.B3在计算服务器上利用立体视觉的方法恢复用户手势的三维信息，并进行手势识别；同时远程呈现机器人获取的两路本地空间的视频数据也发送到计算服务器上，同样利用立体视觉的方法恢复本地空间的三维信息；
步骤3.B4在本地空间的三维信息中融入虚拟手的三维信息，并在对应的本地空间的二维图像中绘制出虚拟手；
具体为：通过恢复用户手势的三维信息，可以得到用户的手相对于用户的空间位置，根据用户的手相对于用户的空间位置可以得到虚拟手相对于远程呈现机器人的位置，从而可以在本地空间的三维信息中融入虚拟手的三维信息，并在对应的本地空间的二维图像中绘制出虚拟手；
步骤3.B5用户通过移动自己的双手来控制虚拟手的移动，根据本地空间的三维信息以及虚拟手的位置，判断虚拟手是否碰到了本地空间的远程可交互装置，并在虚拟手碰到本地空间的远程可交互装置时，使用步骤3.B3手势识别的结果来操作远程可交互装置。
2.如权利要求1所述的一种基于虚拟现实技术和手势识别技术的远程呈现交互方法依托的远程呈现交互系统,其特征在于：包括本地空间、远程空间、连接本地空间与远程空间的无线网络以及计算服务器；
其中，计算服务器可位于本地空间，也可以位于远程空间，还可以是任意联网的地点；
本地空间中又包含远程呈现机器人和远程可交互装置；远程空间中又包含交互式VR眼镜，交互式VR眼镜又包括VR眼镜、智能手机以及双目摄像头；用户位于远程空间；远程可交互装置具有三个属性:标识、驱动器、无线通讯网络；
其中，标识是指独一无二的特征，可用计算机视觉的方法识别；驱动器是指电机、继电器将电能到机械能或其它能量形式的转化；无线通讯网络包括Wifi；
其中，通过计算机视觉的方法识别远程可交互装置通常是通过提取图像特征进行识别，提取的图像特征包括颜色、纹理、表观和形状；如果上述图像特征相同，即识别外观相同的两个远程可交互装置时，需要识别装置所处的位置以区分这两个装置，或用定位技术获取装置的位置参数；
本系统的各组成部分的连接关系如下：
本地空间和远程空间通过无线网络连接；计算服务器与本地空间和远程空间通过无线网络连接；
本系统的各组成部分的功能如下：
计算服务器的功能是恢复用户手势及本地空间的三维信息以及进行手势识别；
本地空间中的远程可交互装置的功能是实现远程交互；其中，标识的功能是用于区分和识别装置；驱动器的功能是实现自动控制；无线通信网络的功能是实现远程可交互装置与互联网连接；
本地空间中的远程呈现机器人的功能是在本地空间移动，获取本地空间的实时视频图像；
远程空间中的交互式VR眼镜的功能是在远程空间提供给用户以虚拟现实的方式感知本地空间，并通过手势与本地空间中的远程可交互装置进行交互。
一种基于虚拟现实与手势识别的远程呈现交互方法和系统
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种远距离大视场虹膜光学成像的装置及方法 | 2020-05-08 | 663 |
| 一种基于深度感知的虚拟现实系统空间定位方法 | 2020-05-13 | 841 |
| 一种AR双目摄像头标定方法 | 2020-05-08 | 649 |
| 基于ROS的灾后救援通道检测机器人 | 2020-05-11 | 238 |
| 一种多视高分辨率纹理图像与双目三维点云映射方法 | 2020-05-13 | 74 |
| 一种巡检机器人及其防坠落方法和装置 | 2020-05-11 | 646 |
| 基于双目视觉的高低分辨率融合立体匹配方法 | 2020-05-08 | 747 |
| 一种面向电力巡检任务的无人机双目视觉障碍物感知方法 | 2020-05-13 | 829 |
| 一种基于AR技术的物资堆叠方式的预估方法及装置 | 2020-05-11 | 882 |
| 一种基于深度学习的司机、乘客行为分析与预警系统 | 2020-05-12 | 758 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
