技术领域
[0001] 本
发明涉及
虚拟现实技术领域，尤其是一种上肢姿态捕捉装置、系统和方法。
背景技术
[0002]
增强现实(AR)和虚拟现实(VR)等技术需要捕捉使用者的身体动作来实现
人机交互。
现有技术中对使用者身体动作的捕捉主要是通过光学识别和惯性
传感器识别等方式来实现的。光学识别主要是通过在使用者身上
指定位置贴
光标点，摄像头对使用者进行拍摄得到画面，然后识别画面中包含的光标点，从而识别使用者特定身体部位的位置，这种方法受环境光线和遮挡等因素影响，具有一定局限性。现有的惯性传感器识别技术可以克服光学识别技术的部分缺点，但普遍难以在交互
自由度和设备复杂度之间取得平衡。
发明内容
[0003] 针对上述至少一个技术问题，本发明的目的在于提供一种上肢姿态捕捉装置、系统和方法。
[0004] 一方面，本发明
实施例包括一种上肢姿态捕捉装置，包括：
[0005] 第一
动作捕捉模
块，供佩戴在上臂位置，用于采集上臂的动作数据；
[0006] 第二动作捕捉模块，供佩戴在前臂位置，用于采集前臂的动作数据；
[0007] 第三动作捕捉模块，供佩戴在手部位置，用于采集手部的动作数据；
[0008] 控
制模块，可与所述第一动作捕捉模块、第二动作捕捉模块和第三动作捕捉模块建立连接，用于接收采集所得的所述上臂的动作数据、前臂的动作数据和手部的动作数据，从而处理得到手部姿态信息和手部位置信息。
[0009] 进一步地，所述第一动作捕捉模块包括：
[0010] 第一MEMS九轴惯性传感单元，用于测量所述上臂的动作数据；
[0011] 第一处理单元，用于获取所述上臂的动作数据并通过第一无线传输单元进行发送；
[0012] 第一无线传输单元，与所述
控制模块建立连接，用于将所述上臂的动作数据发送到所述控制模块；
[0013] 第一按键单元，与所述第一处理单元连接，用于供外部操作；
[0014] 第一
节点电源单元，用于为所述第一MEMS九轴惯性传感单元、第一处理单元和第一无线传输单元供电。
[0015] 进一步地，所述第二动作捕捉模块包括：
[0016] 第二MEMS九轴惯性传感单元，用于测量所述前臂的动作数据；
[0017] 第二处理单元，用于获取所述前臂的动作数据并通过第二无线传输单元进行发送；
[0018] 第二无线传输单元，与所述控制模块建立无线连接，用于将所述前臂的动作数据发送到所述控制模块；
[0019] 第二按键单元，与所述第二处理单元连接，用于供外部操作；
[0020] 第二节点电源单元，用于为所述第二MEMS九轴惯性传感单元、第二处理单元和第二无线传输单元供电。
[0021] 进一步地，所述第三动作捕捉模块包括：
[0022] 六个第三MEMS九轴惯性传感单元，分别用于测量拇指、食指、中指、无名指、尾指和手背的动作数据，从而组合为所述手部的动作数据；
[0023] 第三处理单元，用于获取所述手部的动作数据并通过第三无线传输单元进行发送；
[0024] 第三无线传输单元，与所述控制模块建立无线连接，用于将所述手部的动作数据发送到所述控制模块；
[0025] 第三按键单元，与所述第三处理单元连接，用于供外部操作；
[0026] 第三节点电源单元，用于为各所述第三MEMS九轴惯性传感单元、第三处理单元和第三无线传输单元供电。
[0027] 进一步地，所述控制模块用于：
[0028] 将所述上臂的动作数据、前臂的动作数据和手部的动作数据
迭代修正为相应的姿态四元数；
[0029] 计算各所述姿态四元数相应的三维姿态数据；
[0030] 使用卡尔曼滤波
算法根据个所述三维姿态数据解算出所述手部姿态信息。
[0031] 进一步地，所述控制模块用于：
[0032] 根据各所述三维姿态数据，解算出上臂的姿态
角、前臂的姿态角和手部的姿态角；
[0033] 根据所述上臂的姿态角，计算出上臂与控制模块之间的相对位置关系；
[0034] 根据所述前臂的姿态角和上臂的姿态角，计算出前臂与上臂之间的相对位置关系；
[0035] 根据所述手部的姿态角和前臂的姿态角，计算出手部与前臂之间的相对位置关系；
[0036] 根据上臂与控制模块之间的相对位置关系、前臂与上臂之间的相对位置关系和手部与前臂之间的相对位置关系，计算出手部与控制模块之间的相对位置关系，从而获得所述手部位置信息。
[0037] 另一方面，本发明实施例还包括一种上肢姿态捕捉系统，包括两个实施例中所述的上肢姿态捕捉装置，各所述上肢姿态捕捉装置分别供佩戴在左上肢和右上肢。
[0038] 另一方面，本发明实施例还包括一种上肢姿态捕捉方法，包括以下步骤：
[0039] 采集上臂的动作数据、前臂的动作数据和手部的动作数据；
[0040] 根据所述上臂的动作数据、前臂的动作数据和手部的动作数据，计算出手部姿态信息和手部位置信息。
[0041] 进一步地，所述计算出手部姿态信息和手部位置信息这一步骤，具体包括：
[0042] 将所述上臂的动作数据、前臂的动作数据和手部的动作数据迭代修正为相应的姿态四元数；
[0043] 计算各所述姿态四元数相应的三维姿态数据；
[0044] 使用卡尔曼滤波算法根据个所述三维姿态数据解算出所述手部姿态信息[0045] 进一步地，所述计算出手部姿态信息和手部位置信息这一步骤，具体包括：
[0046] 根据各所述三维姿态数据，解算出上臂的姿态角、前臂的姿态角和手部的姿态角；
[0047] 根据所述上臂的姿态角，计算出上臂与控制模块之间的相对位置关系；
[0048] 根据所述前臂的姿态角和上臂的姿态角，计算出前臂与上臂之间的相对位置关系；
[0049] 根据所述手部的姿态角和前臂的姿态角，计算出手部与前臂之间的相对位置关系；
[0050] 根据上臂与控制模块之间的相对位置关系、前臂与上臂之间的相对位置关系和手部与前臂之间的相对位置关系，计算出手部与控制模块之间的相对位置关系，从而获得所述手部位置信息。
[0051] 本发明的有益效果是：通过使用第一动作捕捉模块、第二动作捕捉模块和第三动作捕捉模块，由于它们基于惯性传感器来进行工作，因此捕捉上肢姿态时不受环境光线和遮挡的影响；第一动作捕捉模块、第二动作捕捉模块和第三动作捕捉模块分别用于采集上臂、前臂和手部的运动数据，因此能够在使用简单设备的
基础上达到较高的交互自由度，在设备的复杂性和交互自由度之间取得平衡，降低了AR和VR等技术的实现成本，增强了用户体验。
附图说明
[0052] 图1为实施例中所述上肢姿态捕捉装置的结构示意图；
[0053] 图2为实施例中所述第三动作捕捉模块的结构示意图；
[0054] 图3为实施例中所述上肢姿态捕捉系统的结构示意图。
具体实施方式
[0055] 实施例1
[0056] 参照图1，本实施例中上肢姿态捕捉装置包括：
[0057] 第一动作捕捉模块1，供佩戴在上臂位置，用于采集上臂的动作数据；
[0058] 第二动作捕捉模块2，供佩戴在前臂位置，用于采集前臂的动作数据；
[0059] 第三动作捕捉模块3，供佩戴在手部位置，用于采集手部的动作数据；
[0060] 控制模块4，可与所述第一动作捕捉模块、第二动作捕捉模块和第三动作捕捉模块建立连接，用于接收采集所得的所述上臂的动作数据、前臂的动作数据和手部的动作数据，从而处理得到手部姿态信息和手部位置信息。
[0061] 本实施例中所述上肢是指由肩、上臂、肘、前臂、
手腕、手掌和
手指等部分组成的部位，本实施例中还将手掌和手指等部分组成的部位称为手部。
[0062] 所述第一动作捕捉模块和第二动作捕捉模块的结构完全相同，均由MEMS九轴惯性传感单元、处理单元、无线传输单元、按键单元和节点电源单元等部件组成。
[0063] MEMS九轴惯性传感单元集成了
加速度计、
角速度计和磁
力计，用于测量加速度、角速度、
角加速度和磁偏角等数据作为动作数据。
[0064] 处理单元基于51
单片机或STM32单片机得到，处理单元接收MEMS九轴惯性传感单元所测得的动作数据，并控制无线传输单元进行工作。无线传输单元基于WiFi或蓝牙等通信协议与控制模块连接，并将从处理单元接收到的动作数据上传到控制模块。
[0065] 按键单元与处理单元的IO
接口连接，用于接收用户的外部操作，将用户的按压动作转换为处理单元能够识别的触发指令，从而实现
开关机、匹配和校准等功能。
[0066] 节点电源单元包括
电池、稳压
电路、充放电控制电路等部件，用于为MEMS九轴惯性传感单元、处理单元和无线传输单元供电。
[0067] 第一动作捕捉模块和第二动作捕捉模块分别只包括一个MEMS九轴惯性传感单元。而第三动作捕捉模块则包括六个MEMS九轴惯性传感单元，如图2所示，MEMS九轴惯性传感单元301、MEMS九轴惯性传感单元302、MEMS九轴惯性传感单元303、MEMS九轴惯性传感单元
304、MEMS九轴惯性传感单元305和MEMS九轴惯性传感单元306分别被安装在拇指、食指、中指、无名指、尾指和手背等部位，它们分别用于测量拇指、食指、中指、无名指、尾指和手背的动作数据，而本实施例中把拇指、食指、中指、无名指、尾指和手背的动作数据统称为手部的动作数据。
[0068] 第一动作捕捉模块和第二动作捕捉模块的处理单元、无线传输单元、按键单元和节点电源单元等部件可以集成在一个
外壳内，外壳上可以安装收缩带等固定部件，使得外壳整体可以被佩戴在上臂或前臂，而它们的MEMS九轴惯性传感单元则安装在外壳外部，用来测量动作数据。
[0069] 第三动作捕捉模块的处理单元、无线传输单元、按键单元和节点电源单元等部件可以集成在一个外壳内，外壳上可以安装收缩带等固定部件，使得外壳整体可以被佩戴在手掌，而它的六个MEMS九轴惯性传感单元则设在外壳外部，通过
导线与处理单元连接。
[0070] 控制模块是具有无线通信能力和
数据处理能力的装置，具体地可以是手机、
平板电脑或者台式机等。控制模块与第一动作捕捉模块中的第一无线传输单元进行通信，获取其发送的上臂的动作数据；控制模块与第二动作捕捉模块中的第二无线传输单元进行通信，获取其发送的前臂的动作数据；控制模块与第三动作捕捉模块中的第三无线传输单元进行通信，获取其发送的手部的动作数据。
[0071] 控制模块对所述上臂的动作数据、前臂的动作数据和手部的动作数据进行处理，从而得到手部姿态信息和手部位置信息。其中手部姿态信息用于描述手部的姿态，手部位置信息用于描述手部的位置。当控制模块是手机或者平板电脑等设备，而控制模块上运行AR或VR游戏等程序，这些程序可以读取手部姿态信息和手部位置信息，来实现对游戏人物等的操控。
[0072] 本实施例中的上肢姿态捕捉装置设有第一动作捕捉模块、第二动作捕捉模块和第三动作捕捉模块，它们基于惯性传感器来进行工作，不受环境光线和遮挡的影响；第一动作捕捉模块、第二动作捕捉模块和第三动作捕捉模块分别用于采集上臂、前臂和手部的运动数据，因此能够在使用简单设备的基础上达到较高的交互自由度，在设备的复杂性和交互自由度之间取得平衡，降低了AR和VR等技术的实现成本，增强了用户体验。
[0073] 本实施例中，所述控制模块通过运行相应的程序，从而执行以下步骤来计算出所述手部姿态信息：
[0074] S1.将所述上臂的动作数据、前臂的动作数据和手部的动作数据迭代修正为相应的姿态四元数；
[0075] S2.计算各所述姿态四元数相应的三维姿态数据；
[0076] S3.使用卡尔曼滤波算法根据个所述三维姿态数据解算出所述手部姿态信息。
[0077] 步骤S1中，对上臂的动作数据进行迭代修正，得到上臂的动作数据相应的姿态四元数；对前臂的动作数据进行迭代修正，得到前臂的动作数据相应的姿态四元数；对手部的动作数据进行迭代修正，得到手部的动作数据相应的姿态四元数。
[0078] 步骤S2中，由步骤S1计算所得的三组姿态四元数，计算得到三组三维姿态数据，在步骤S3中使用卡尔曼滤波算法根据这三组三维姿态数据解算出手部姿态信息。所述手部姿态信息用于描述手背、拇指、食指、中指、无名指和尾指之间的相对位置关系，从而识别手部姿态，即使用者做出了什么手势。
[0079] 本实施例中，所述控制模块通过运行相应的程序，从而执行以下步骤来计算出所述手部位置信息：
[0080] S4.根据各所述三维姿态数据，解算出上臂的姿态角、前臂的姿态角和手部的姿态角；
[0081] S5.根据所述上臂的姿态角，计算出上臂与控制模块之间的相对位置关系；
[0082] S6.根据所述前臂的姿态角和上臂的姿态角，计算出前臂与上臂之间的相对位置关系；
[0083] S7.根据所述手部的姿态角和前臂的姿态角，计算出手部与前臂之间的相对位置关系；
[0084] S8.根据上臂与控制模块之间的相对位置关系、前臂与上臂之间的相对位置关系和手部与前臂之间的相对位置关系，计算出手部与控制模块之间的相对位置关系，从而获得所述手部位置信息。
[0085] 步骤S4中，根据步骤S2计算所得的三组三维姿态数据，解算出上臂的姿态角、前臂的姿态角和手部的姿态角；
[0086] 步骤S5中，控制模块以其本身所处的位置为原点，建立第一
坐标系，根据上臂的姿态角来确认上臂与控制模块之间的相对位置关系，也就是在第一坐标系中上臂的坐标；
[0087] 步骤S6中，控制模块以上臂所处的位置为原点，建立第二坐标系，由步骤S5的处理结果，可以计算出在第一坐标系中第二坐标系的原点的坐标；控制模块根据前臂的姿态角和上臂的姿态角来确认前臂与上臂之间的相对位置关系，也就是在第二坐标系中前臂的坐标；
[0088] 步骤S7中，控制模块以前臂所处的位置为原点，建立第三坐标系，由步骤S6的处理结果，可以计算出在第二坐标系中第三坐标系的原点的坐标；控制模块根据手部的姿态角和前臂的姿态角来确认手部与前臂之间的相对位置关系，也就是在第三坐标系中手部的坐标；
[0089] 步骤S8中，综合步骤S5、S6和S7的处理结果，进行坐标变换，最终得到在第一坐标系中手部的坐标，即所要获取的手部位置信息。
[0090] 本实施例中的上肢姿态捕捉系统由多个实施例1所述的上肢姿态捕捉装置组成，具备该装置相应的功能和有益效果。
[0091] 实施例2
[0092] 参照图3本实施例中所述的上肢姿态捕捉系统包括两个上肢姿态捕捉装置，每个上肢姿态捕捉装置都分别包括实施例1中所述的结构，它们的工作原理也是完全相同的。使用者可以将其中一个上肢姿态捕捉装置佩戴在其左上肢的上臂、前臂和手部等位置，将另一个上肢姿态捕捉装置佩戴在其右上肢的上臂、前臂和手部等位置。而控制模块可以采用时分复用等方式与两个上肢姿态捕捉装置通信，分别获取它们采集得到的左上臂的动作数据、左前臂的动作数据、左手手部的动作数据、右上臂的动作数据、右前臂的动作数据和右手手部的动作数据。
[0093] 控制模块分别对左上臂的动作数据、左前臂的动作数据、左手手部的动作数据、右上臂的动作数据、右前臂的动作数据和右手手部的动作数据执行实施例1中步骤S1-S8的处理，得到左上肢的手部姿态信息、手部位置信息和右上肢的手部姿态信息、手部位置信息。
[0094] 实施例3
[0095] 可将以下步骤编写成为实施例1中所述控制模块可执行的指令，使得所述上肢姿态捕捉装置的控制模块具有计算手部姿态信息和手部位置信息的能力：
[0096] S1.采集上臂的动作数据、前臂的动作数据和手部的动作数据；
[0097] S2.根据所述上臂的动作数据、前臂的动作数据和手部的动作数据，计算出手部姿态信息和手部位置信息。
[0098] 当使用实施例1中所述的上肢姿态捕捉装置时，由第一动作捕捉模块、第二动作捕捉模块和第三动作捕捉模块来执行步骤S1，由控制模块来执行步骤S2。
[0099] 进一步作为优选的实施方式，所述步骤S2，也就是计算出手部姿态信息和手部位置信息这一步骤，具体包括：
[0100] S201.将所述上臂的动作数据、前臂的动作数据和手部的动作数据迭代修正为相应的姿态四元数；
[0101] S202.计算各所述姿态四元数相应的三维姿态数据；
[0102] S203.使用卡尔曼滤波算法根据个所述三维姿态数据解算出所述手部姿态信息。
[0103] 步骤S201中，对上臂的动作数据进行迭代修正，得到上臂的动作数据相应的姿态四元数；对前臂的动作数据进行迭代修正，得到前臂的动作数据相应的姿态四元数；对手部的动作数据进行迭代修正，得到手部的动作数据相应的姿态四元数。
[0104] 步骤S202中，由步骤S201计算所得的三组姿态四元数，计算得到三组三维姿态数据，在步骤S203中使用卡尔曼滤波算法根据这三组三维姿态数据解算出手部姿态信息。所述手部姿态信息用于描述手背、拇指、食指、中指、无名指和尾指之间的相对位置关系，从而识别手部姿态，即使用者做出了什么手势。
[0105] 进一步作为优选的实施方式，所述步骤S2，也就是计算出手部姿态信息和手部位置信息这一步骤，具体包括：
[0106] S204.根据各所述三维姿态数据，解算出上臂的姿态角、前臂的姿态角和手部的姿态角；
[0107] S205.根据所述上臂的姿态角，计算出上臂与控制模块之间的相对位置关系；
[0108] S206.根据所述前臂的姿态角和上臂的姿态角，计算出前臂与上臂之间的相对位置关系；
[0109] S207.根据所述手部的姿态角和前臂的姿态角，计算出手部与前臂之间的相对位置关系；
[0110] S208.根据上臂与控制模块之间的相对位置关系、前臂与上臂之间的相对位置关系和手部与前臂之间的相对位置关系，计算出手部与控制模块之间的相对位置关系，从而获得所述手部位置信息。
[0111] 步骤S204中，根据步骤S202计算所得的三组三维姿态数据，解算出上臂的姿态角、前臂的姿态角和手部的姿态角；
[0112] 步骤S205中，控制模块以其本身所处的位置为原点，建立第一坐标系，根据上臂的姿态角来确认上臂与控制模块之间的相对位置关系，也就是在第一坐标系中上臂的坐标；
[0113] 步骤S206中，控制模块以上臂所处的位置为原点，建立第二坐标系，由步骤S205的处理结果，可以计算出在第一坐标系中第二坐标系的原点的坐标；控制模块根据前臂的姿态角和上臂的姿态角来确认前臂与上臂之间的相对位置关系，也就是在第二坐标系中前臂的坐标；
[0114] 步骤S207中，控制模块以前臂所处的位置为原点，建立第三坐标系，由步骤S206的处理结果，可以计算出在第二坐标系中第三坐标系的原点的坐标；控制模块根据手部的姿态角和前臂的姿态角来确认手部与前臂之间的相对位置关系，也就是在第三坐标系中手部的坐标；
[0115] 步骤S208中，综合步骤S205、S206和S207的处理结果，进行坐标变换，最终得到在第一坐标系中手部的坐标，即所要获取的手部位置信息。
[0116] 本实施例中的上肢姿态捕捉方法，可由实施例1所述的上肢姿态捕捉装置来执行，具备该装置相应的功能和有益效果。
[0117] 需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与
本技术领域的技术人员通常理解的含义相同。本实施例
说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
[0118] 应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。
[0119] 应当认识到，本发明的实施例可以由计算机
硬件、硬件和
软件的组合、或者通过存储在非暂时性计算机可读
存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有
计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与
计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的
专用集成电路上运行。
[0120] 此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
[0121] 进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主
框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如
硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合
微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
[0122] 计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至
非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
[0123] 以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何
修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。
