技术领域
[0001] 本
发明涉及一种疲劳驾驶检测技术，具体涉及一种基于自然人机界面和增强现实的新 型远程控制方法。
背景技术
[0002] 目前，已有许多方法可用于实现远程操作的
人机交互方式。如：柔软的可穿戴式机器 人来取代全身
外骨骼设备、将磁
铁固定在脚上以
跟踪人类的行为，将磁惯性单元连接到腰 部，以检查
传感器数据融合的效果、使用IMU和EMG捕捉手和
手指的手势、使用操纵杆 远程控制
机器人的
位置和姿势、使用操纵杆，头部方向来控制机器人和摄像机以及使用触 摸屏远程操纵机器人等。在这些方法中，因为用户通过视频或3D模型获得反馈，互动不 友好。而且，由于视觉受限，操作可能是不正确的，这是一个严重的问题。为了解决这个 问题，业界提出了一些解决方案。如将物理标记放在身体部位上以跟踪人手以控制远程机 器人、使用眼球运动来控制人形机器人和四个
移动机器人。使用遗传
算法和
贝叶斯网络来 分割Kinect身体运动传感器收集的手势，使其更准确。操作员可以使用姿势估计方法为机 器人生成命令。但是，对于非
接触式方法，如果标记被遮挡，它可能会失败。因此，标记 较少的方式似乎是更好的机器人操作方法。例如使用Kinect跟踪操作员的人手，用粒子滤 波器和区间卡尔曼
滤波器控制双机器人操纵器。
[0003] 目前提出的方法存在许多缺点，即缺乏
沉浸感，视
力受限，不友好的交互方式和远程 操作的低效率。因此，它激发我们使用具有HOLOLENS可穿戴设备的移动
手势传感器来 实现连接现实世界和
虚拟界面的链接。在这种情况下，我们以较低的代价打破用户运动的 限制。此外，用户可以在不考虑映射关系的情况下关注现实世界中发生的事情。这是传统 方法的重点。它还提供了一个当与机器人合作在多变的工作环境中协同工作时，人机交互 更自然的方式。此外，操作员可以在更准确和自由的任何方向上查看
虚拟环境。
发明内容
[0004] 为了解决上述
现有技术所存在的问题，本发明提供一种基于自然人机界面和增强现实 的新型远程控制方法，该方法包括以下步骤：
[0005] S1、将
虚拟机器人显示在
增强现实眼镜HOLOLENS眼镜上；
[0006] S2、用体感
控制器Leap Motion捕获手的位置及
姿态，由于传感器的固有噪声，存在 测量误差。为了提高测量的准确性，使用区间卡尔曼滤波器(IKF)来估计手的位置， 并使用改进的粒子滤波器(IPF)来估计手的方向；
[0007] S3、使用
频率-逆文本频率(TF-IDF)统计方法来识别用户的语音指令；
[0008] S4、识别语音指令含义并结合手势生成机器人执行指令；
[0009] S5、利用网络将执行指令发送给远端的机器人实现远程控制；
[0010] 进一步地，所述步骤S1中将事先建立好的机器人三维模型附加到增强现实眼镜上， 虚拟机器人依据设定好的标识物通过增强现实眼镜显示在当前环境的地面上，从而操作者 可以从多
角度对机器人进行观察。
[0011] 进一步地，步骤S2用Leap Motion捕获手的位置及姿态，由于传感器的固有噪声， 存在测量误差。为了提高测量的准确性，使用区间卡尔曼滤波器(IKF)来估计手的位置， 并使用改进的粒子滤波器(IPF)来估计手的方向。Leap Motion一旦捕获数据，手掌和手 指的位置，姿势和动作可以自行计算。当体感控制器捕捉手掌和手指的时候，如果对象存 在于当前
帧中，则查询函数返回对该对象的引用。如果该对象不存在，则查询函数返回一 个特殊的无效对象。可以使用内在
手势识别算法从测量数据获得手掌的
加速度和方向。操 作员将摇晃或转向另一个不可避免的方向，这可能会误导Leap Motion。因为对于Leap Motion，它检测到的手确实相对于佩戴在用户头上的自身移动。为了消除这种影响，在手 掌增加佩戴惯性测量单元(IMU)，该IMU可以在三个方向上检测和计算手的速度和加速 度。用户可能希望在佩戴此设备时追踪机器人。行走摇晃不可避免地产生噪音，这将极大 地影响整个系统的
精度。由于位置噪声主要是根据高斯分布而且
状态空间模型是线性的， 因此卡尔曼滤波器成为解决该问题的理想方法。
[0012] 进一步地，步骤S3会将用户的语音转换成文本。首先，包含操作员语音的语音平台 会将语音转换为文本；但是，通过语音转换的文本有太多冗余的单词不适合作为命令传递 给机器人，因此利用TF-IDF对文本进行关键信息提取，并对不同的关键信息进行分类， 使得这些提取出的关键信息可以对应相应的控制指令。每当用户输入一段语音，这段语音 首先会被转换成文本，之后对文本进行关键信息提取，然后分类以对应某个控制指令，之 后控制指令将通过Internet被发送到机器人以执行。
[0013] 进一步地，步骤S4将步骤S3解析的文本转成可执行命令，如操作员说“沿这个方 向移动5厘米”，同时他用手指指向一个方向。然后机器人捕获他的手势并将其转换为方 向为手指指向方向的矢量。同时，在执行类似指令的过程中，只有当有足够的信息来调用 命令功能时，命令才会从Internet被发送到机器人以执行，否则，将提示用户补充信息以 生成完整命令。如果在预定时间内控制指令库中没有更多数据或对应命令，则创建新任务 的这个时段将立即结束以准备下一个任务时段。在用户摆出一个手势时，将在
数据库中找 到最相似的手势，而当在可接受的偏差内找不到任何手势时则会抛出异常。当识别出用户 的手势时，则将该被识别的手势所代表的指令结合语音指令生成机器人执行指令。
[0014] 进一步地，步骤S5利用网络将步骤S4生成的可执行指令发送给远端的机器人实现 远程控制。
[0015] 本发明与现有技术相比，具有如下优点和有益效果：
[0016] 1、本发明利用Leap Motion获取手的位置，并利用区间卡尔曼滤波器(IKF)来估计 手的位置，并使用改进的粒子滤波器(IPF)来估计手的方向从而提高手位置估计的准确 度，使得人能以一种很自然的方式控制
机械臂。
[0017] 2、本交互方式采取
所见即所得的方式，机械臂跟随手运动而运动，使得非专业人士 也能很好的对机械臂操控。
[0018] 3、通过
虚拟现实的方式远程控制机器人，操作友好，并且安全。
附图说明
[0019] 图1为
实施例中基于自然人机界面和增强现实的新型远程控制流程示意图。
具体实施方式
[0020] 为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图并举实施例，对本 发明的技术方案进行详细说明。
[0021] 目前，已有许多方法可用于实现远程操作的人机交互方式。如：柔软的可穿戴式机器 人来取代全身外骨骼设备、将
磁铁固定在脚上以跟踪人类的行为，将磁惯性单元连接到腰 部，以检查
传感器数据融合的效果、使用IMU和EMG捕捉手和手指的手势、使用操纵杆 远程控制机器人的位置和姿势、使用操纵杆，头部方向来控制机器人和摄像机以及使用触 摸屏远程操纵机器人等。在这些方法中，因为用户通过视频或3D模型获得反馈，互动不 友好。而且，由于视觉受限，操作可能是不正确的，这是一个严重的问题。为了解决这个 问题，业界提出了一些解决方案。如将物理标记放在身体部位上以跟踪人手以控制远程机 器人、使用眼球运动来控制人形机器人和四个移动机器人。使用
遗传算法和贝叶斯网络来 分割Kinect身体运动传感器收集的手势，使其更准确。操作员可以使用姿势估计方法为机 器人生成命令。但是，对于非接触式方法，如果标记被遮挡，它可能会失败。因此，标记 较少的方式似乎是更好的机器人操作方法。例如使用Kinect跟踪操作员的人手，用粒子滤 波器和区间卡尔曼滤波器控制双机器人操纵器。
[0022] 目前提出的方法存在许多缺点，即缺乏沉浸感，视力受限，不友好的交互方式和远程 操作的低效率。
[0023] 为了解决上述现有技术所存在的问题，本发明使用具有HOLOLENS可穿戴设备的移 动手势传感器来实现连接现实世界和虚拟界面的链接。在这种情况下，以较低的代价打破 用户运动的限制。此外，用户可以在不考虑映射关系的情况下关注现实世界中发生的事情。 这是传统方法的重点。当与机器人合作在多变的工作环境中协同工作时，人机交互更自然 的方式。此外，操作员可以在更准确和自由的任何方向上查看虚拟环境。并且重建使用户 更准确地操作。其中，该
框架主要包括以下部分：
[0024] S1、将虚拟机器人显示在HOLOLENS眼镜上；S1将建模好的机器人三维模型附加 到HOLOLENS眼镜上，通过眼镜对实现设定的标定物体进行识别，实现将虚拟机器人通 过HOLOLENS眼镜显示在当前环境的地面上，并可以通过HOLOLENS眼镜对虚拟机器 人进行多角度的观察。
[0025] S2、将Leap Motion捕获手的位置及姿态，由于传感器的固有噪声，存在测量误差。 为了提高测量的准确性，使用区间卡尔曼滤波器(IKF)来估计手的位置，并使用改进的 粒子滤波器(IPF)来估计手的方向。Leap Motion一旦捕获数据，手掌和手指的位置，姿 势和动作可以自行计算。Leap Motion可以获取到手部的位置坐标，以及手部的姿态数据， 即欧拉角。当用户使用LeapMotion捕捉手的时候，如果被捕捉的对象存在于当前帧中， 则查询函数返回对该对象的引用。如果该对象不存在，则查询函数返回一个特殊的无效对 象——一个空值。可以使用内在手势识别算法从测量数据获得手掌的加速度和方向。当操 作员将头部摇晃或转向另一个不可避免的方向，这可能会误导Leap Motion。因为对于Leap Motion，它检测到的手确实相对于佩戴在用户头上的自身移动。为了消除这种影响，在手 掌增加佩戴惯性测量单元(IMU)，该IMU可以在坐标轴的x,y,z三个方向上检测和计算 手的速度和加速度。用户可能希望在佩戴此设备时动态观察机器人。因此在用户行走摇晃 时会不可避免地产生噪音，这将极大地影响整个系统的精度。由于位置噪声主要是根据高 斯分布而且状态空间模型是线性的，因此卡尔曼滤波器成为解决该问题的理想方法。
[0026] S3、使用频率-逆文本频率(TF-IDF)统计方法来识别用户的语音指令。首先，包 含操作员语音的Microsoft Speech SDK语音平台会将语音转换为文本；但是，通过语音转 换的文本有太多冗余的单词不适合作为命令传递给机器人，因此利用TF-IDF对文本进行 关键信息提取，并对不同的关键信息进行分类，使得这些提取出的关键信息可以对应相应 的控制指令。为了实现这个功能，首先先对用户语音提取出来的文本特征进行采集建立训 练语料库，对
支持向量机(SVM)进行训练，从而实现文本信息和机器人命令的对应。 分类方法采用最大熵模型进行分类，一方面使用最大熵模型技术的原因在于其简单性，另 一方面是因为语料库中的命令及其对应特征的数量被限制在一个不大的常数中。虽然需要 复杂的命令，但它仍然可以由一些简单的简单命令组成。应该改变的是产生命令时的
迭代 次数。在这种情况下，最大熵模型技术是一个完美的选择。通过最大熵模型，可以提取隐 藏在语音文本中的交互指令。由
服务器处理的文本将被转换为发送给机器人执行的机器人 控制指令；
[0027] S4、识别语音指令含义并结合手势生成机器人执行指令；将步骤S3解析的文本转成 可执行命令，如操作员说“沿这个方向移动5厘米”，同时他用手指指向一个方向。然后 机器人捕获他的手势并将其转换为方向为手指指向方向的矢量。同时，在执行类似指令的 过程中，只有当有足够的信息来调用命令功能时，命令才会从Internet被发送到机器人以 执行，否则，将提示用户补充信息以生成完整命令。如果在预定时间内控制指令库中没有 更多数据或对应命令，则创建新任务的这个时段将立即结束以准备下一个任务时段。在用 户摆出一个手势时，将在数据库中找到最相似的手势，而当在可接受的偏差内找不到任何 手势时则会抛出异常。当识别出用户的手势时，则将该被识别的手势所代表的指令结合语 音指令生成机器人执行指令。
[0028] S5、利用网络将执行指令发送给远端的机器人实现远程控制；利用网络将步骤S4生 成的可执行指令发送给远端的机器人实现远程控制。
