首页 / 专利库 / 人工智能 / 体感交互 / 一种拆卸动作识别方法

一种拆卸动作识别方法

阅读:676发布:2020-05-15

专利汇可以提供一种拆卸动作识别方法专利检索,专利查询,专利分析的服务。并且本 发明 属于 体感交互 领域,具体的说是一种在装配中对拆卸动作进行自动识别的拆卸动作识别方法。本发明利用Kinect V2设备采集人体骨骼数据,通过 角 度和距离对抓取动作判定、拆卸状态、 啮合 程度、操作难易程度进行综合判定,最终根据拆卸标准时间表得到拆卸标准时间,再加上可能出现的握住物件动作(G2)和加压动作(AP1)得到本次操作的最终时间的拆卸动作识别方法,填补了当前该技术上的空白。,下面是一种拆卸动作识别方法专利的具体信息内容。

1.一种拆卸动作识别方法,其特征在于,该识别方法包括以下步骤:
步骤一、利用Kinect V2采集25个人体骨骼点包括头、颈、肩中心、左拇指A1(x1,i,y1,i,z1,i)、右拇指A2(x2,i,y2,i,z2,i)、左指尖A3(x3,i,y3,i,z3,i)、右指尖A4(x4,i,y4,i,z4,i)、左手A5(x5,i,y5,i,z5,i)、右手A6(x6,i,y6,i,z6,i)、左手腕A7(x7,i,y7,i,z7,i)、右手腕A8(x8,i,y8,i,z8,i)、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚;其中A1(x1,i,y1,i,z1,i)表示第i的左拇指点的坐标点,1秒25帧;A2(x2,i,y2,i,z2,i)表示第i帧的右拇指点的坐标点,1秒25帧;A3(x3,i,y3,i,z3,i)表示第i帧的左指尖点的坐标点,1秒25帧;A4(x4,i,y4,i,z4,i)表示第i帧的右指尖点的坐标点,1秒25帧;A5(x5,i,y5,i,z5,i)表示第i帧的左手点的坐标点,1秒25帧;A6(x6,i,y6,i,z6,i)表示第i帧的右手点的坐标点,1秒25帧;A7(x7,i,y7,i,z7,i)表示第i帧的左手腕点的坐标点,1秒25帧;A8(x8,i,y8,i,z8,i)表示第i帧的右手腕点的坐标点,1秒25帧;
步骤二、抓取动作判定;
抓取动作需要根据手部的弯曲程度和指尖与拇指的距离判定;具体如下:
以左手为例,此时左手至左拇指向量 左手至左指尖
向量 夹 左指尖与左手的距离
条件1:当θ1小于15°转条件2;
条件2:开始计算左指尖与左拇指的距离 当
认为完成抓取动作;
右手的抓取动作判定如左手;如果任意左手或右手完成抓取动作,记录此时刻i=n1,转步骤三;
步骤三、拆卸状态判定;
拆卸的单双手操作状态会影响啮合程度和操作难易程度判定,本步骤将根据双手的抓取情况、双手中心点的距离和双手移动情况来判断,如果判定不是双手拆卸,即为单手拆卸;
双手拆卸判定需要得到左指尖到左拇指的中心点 右指
尖到右拇指的中心点 计算中心B1,i与B2,i的距离
条件1:左手和右手均完成抓取动作,转条件2;
条件2:取n1帧到n1+74帧的l3,i,求得均值 标准差 当标
准差σ1≤3时,认为双手间距未产生变动,转条件3;
条件3:分别计算左指尖和右指尖在n1帧到n1+74帧中的偏移距离

当L2>5cm且L3>5cm,条件3符合,认为
现在是双手拆卸状态;如果不满足以上判定条件就认为是单手拆卸;
步骤四、啮合程度判定;
步骤三中如果为双手拆卸,啮合程度将以左手的相关骨骼点进行啮合程度判定,如果是单手拆卸,即使用拆卸手的相关骨骼点进行判定;
以左手相关骨骼点为例进行啮合程度判定;
啮合程度分为放松、紧密和紧固状态,从n1帧开始,左手就在进行拆卸动作,已知左指尖到左拇指的中心点 需求得中心点B1,i第i帧到第i+1帧的向
量 简化方程
判定过程1:持续计算 当θ2,i+2<50°,认为未发生反动作,此时
如果左手满足放手判定,且判定后10帧θ2,i+2均满足θ2,i+2<50°,记录此时刻i=n2,中止识别,此时j=0、k=0,认为啮合程度放松,拆卸过程无明显反动动作,拆卸后,左手自然脱离;此时j>0、k=0,认为啮合程度紧固,拆卸过程G2动作次数为j次;此时k>0,认为啮合程度紧密,拆卸过程G2动作次数为j次,AP1动作次数为k次;当出现θ2,i+2≥50°,认为发生反动作,转判定过程2;θ2,i+2表示抓取过程中左指尖到左拇指的中心点3个连续点组成的两个向量的夹角,如果反向运动,夹角必大于50°,j用于记录握住物件动作G2,k用于记录加压动作AP1;
判定过程2:当出现θ2,i+2<50°,说明反动作结束,
当l4<10cm,认为啮合程度放松;当l4∈
[10cm,13cm],认为啮合程度紧固,j=j+1,初始j为0;当l4∈(13cm,30cm],认为啮合程度紧密,k=k+1,初始k为0;转条件1;
右手啮合程度判定同左手;
步骤五、操作难易程度判定;
操作的难易程度分为操作容易和操作困难,单手拆卸将根据方案1进行识别,双手拆卸根据方案2进行识别;拆卸的放手判定满足条件1、2任意一条即可;条件1:当θ1大于15°;条件2:
方案1、单手拆卸,以左手为例;
过程1:记录从开始时刻n1到结束时刻n2完成抓取和放手动作时,记录左手腕到左手的向量 m指抓取动作和放手的总和,转过程2;
过程2:计算过程1中其它向量与第一次抓取记录向量的夹角,求得最大夹角为
当大于D1≤45°,说明不需要改变手对物体最初握持位
置,认为操作容易;当大于D1>45°,说明需要调整对物件的握持位置,认为操作困难;
方案2、双手拆卸;
过程1:记录从开始时刻n1到结束时刻n2完成抓取和放手动作时,记录左手腕到左手的向量 m指左手抓取动作和左手放手的总和,
右手腕到右手的向量 l指右手抓取动作和右
手放手的总和;左指尖到左拇指的中心点 右指尖到右拇指
的中心点 左手完成抓取和放手动作时,记录向量
过程2:计算过程1中其它向量与第一次抓取记录向量的夹角,求得最大夹角为
D4=max{D1,D2,D3},当大于D4≤45°,说明不需要改变手
对物体最初握持位置,认为操作容易;当大于D4>45°,说明需要调整对物件的握持位置,认为操作困难;
步骤六、MTM标准时间测算;
根据啮合程度和操作难易程度,对照拆卸动作时间标准表即可得到拆卸动作的标准时间E;与此同时,还需要加上拆卸过程中出现的握住物件动作即G2和加压动作即AP1,拆卸动作的具体标准时间为E+j×G2+k×AP1。

说明书全文

一种拆卸动作识别方法

技术领域

[0001] 本发明属于体感交互领域,具体的说是一种在装配中对拆卸动作进行自动识别的拆卸动作识别方法。

背景技术

[0002] MTM是今日世界上应用最为广泛的预定时间方法,由此成为跨国公司所属各个单位的一种统一的生产过程计划与效率规范。英文全称为Method-Time-Measurement,中文翻译为时间测量方法,它是一种描述操作过程的方法,以编码的组合反映工作方法,并可以得出唯一的时间值,以此作为某项工作的手工操作标准,并树立改善的方向。它可以用来设计工作系统,如工作台,生产线,操作过程(方法),也可以用来改善工作系统。
[0003] 拆离两啮合之物体时,两相接合物件必定有摩擦或分开时必有回跳现象发生,称为拆卸。拆卸需要考虑两个变动因素。分别是啮合程度A和操作难易程度B。啮合程度分为3级,分别为放松、紧密和紧固状态;操作难易程度分为操作容易和操作困难。
[0004] 拆卸动作只包括应用力量至物件及回跳移动的距离所需时间。如需在拆卸的过程中重新握住物体或需应用额外力量,就称为卡住情形。如果是放松配合,将不存在卡住现象;如果是紧密配合,每出现一次卡住现象,需重新握住该物件,此时需要加上G2动作;如果是紧固配合,每出现一次卡住现象,就需要重新握住物件进行加压动作,加上AP2。

发明内容

[0005] 本发明提供了一种用Kinect V2设备采集人.体骨骼数据,通过度和距离对抓取动作判定、拆卸状态、啮合程度、操作难易程度进行综合判定,最终根据拆卸标准时间表得到拆卸标准时间,再加上可能出现的握住物件动作(G2)和加压动作(AP1)得到本次操作的最终时间的拆卸动作识别方法,填补了当前该技术上的空白。
[0006] 本发明技术方案结合附图说明如下:
[0007] 一种拆卸动作识别方法,该识别方法包括以下步骤:
[0008] 步骤一、利用Kinect V2采集25个人体骨骼点包括头、颈、肩中心、左拇指A1(x1,i,y1,i,z1,i)、右拇指A2(x2,i,y2,i,z2,i)、左指尖A3(x3,i,y3,i,z3,i)、右指尖A4(x4,i,y4,i,z4,i)、左手A5(x5,i,y5,i,z5,i)、右手A6(x6,i,y6,i,z6,i)、左手腕A7(x7,i,y7,i,z7,i)、右手腕A8(x8,i,y8,i,z8,i)、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚;其中A1(x1,i,y1,i,z1,i)表示第i的左拇指点的坐标点,1秒25帧;A2(x2,i,y2,i,z2,i)表示第i帧的右拇指点的坐标点,1秒25帧;A3(x3,i,y3,i,z3,i)表示第i帧的左指尖点的坐标点,1秒25帧;A4(x4,i,y4,i,z4,i)表示第i帧的右指尖点的坐标点,1秒25帧;A5(x5,i,y5,i,z5,i)表示第i帧的左手点的坐标点,1秒25帧;A6(x6,i,y6,i,z6,i)表示第i帧的右手点的坐标点,1秒25帧;A7(x7,i,y7,i,z7,i)表示第i帧的左手腕点的坐标点,1秒25帧;A8(x8,i,y8,i,z8,i)表示第i帧的右手腕点的坐标点,1秒25帧;
[0009] 步骤二、抓取动作判定;
[0010] 抓取动作需要根据手部的弯曲程度和指尖与拇指的距离判定;具体如下:
[0011] 以左手为例,此时左手至左拇指向量 左手至左指尖向量 夹角 左指尖与左手的距离
[0012] 条件1:当θ1小于15°转条件2;
[0013] 条件2:开始计算左指尖与左拇指的距离当 认为完成抓取动作;
[0014] 右手的抓取动作判定如左手;如果任意左手或右手完成抓取动作,记录此时刻i=n1,转步骤三;
[0015] 步骤三、拆卸状态判定;
[0016] 拆卸的单双手操作状态会影响啮合程度和操作难易程度判定,本步骤将根据双手的抓取情况、双手中心点的距离和双手移动情况来判断,如果判定不是双手拆卸,即为单手拆卸;
[0017] 双手拆卸判定需要得到左指尖到左拇指的中心点右指尖到右拇指的中心点 计算中心B1,i与B2,i的距离
[0018] 条件1:左手和右手均完成抓取动作,转条件2;
[0019] 条件2:取n1帧到n1+74帧的l3,i,求得均值 标准差当标准差σ1≤3时,认为双手间距未产生变动,转条件3;
[0020] 条件3:分别计算左指尖和右指尖在n1帧到n1+74帧中的偏移距离和
当L2>5cm且L3>5cm,条件3符合,认为
现在是双手拆卸状态;如果不满足以上判定条件就认为是单手拆卸;
[0021] 步骤四、啮合程度判定;
[0022] 步骤三中如果为双手拆卸,啮合程度将以左手的相关骨骼点进行啮合程度判定,如果是单手拆卸,即使用拆卸手的相关骨骼点进行判定;
[0023] 以左手相关骨骼点为例进行啮合程度判定;
[0024] 啮合程度分为放松、紧密和紧固状态,从n1帧开始,左手就在进行拆卸动作,已知左指尖到左拇指的中心点 需求得中心点B1,i第i帧到第i+1帧的向量 简化
方程
[0025] 判定过程1:持续计算 当θ2,i+2<50°,认为未发生反动作,此时如果左手满足放手判定,且判定后10帧θ2,i+2均满足θ2,i+2<50°,记录此时刻i=n2,中止识别,此时j=0、k=0,认为啮合程度放松,拆卸过程无明显反动动作,拆卸后,左手自然脱离;此时j>0、k=0,认为啮合程度紧固,拆卸过程G2动作次数为j次;此时k>0,认为啮合程度紧密,拆卸过程G2动作次数为j次,AP1动作次数为k次;当出现θ2,i+2≥50°,认为发生反动作,转判定过程2;θ2,i+2表示抓取过程中左指尖到左拇指的中心点3个连续点组成的两个向量的夹角,如果反向运动,夹角必大于50°,j用于记录握住物件动作G2,k用于记录加压动作AP1;
[0026] 判定过程2:当出现θ2,i+2<50°,说明反动作结束,当l4<10cm,认为啮合程度放松;当l4∈
[10cm,13cm],认为啮合程度紧固,j=j+1,初始j为0;当l4∈(13cm,30cm],认为啮合程度紧密,k=k+1,初始k为0;转条件1;
[0027] 右手啮合程度判定同左手;
[0028] 步骤五、操作难易程度判定;
[0029] 操作的难易程度分为操作容易和操作困难,单手拆卸将根据方案1进行识别,双手拆卸根据方案2进行识别;拆卸的放手判定满足条件1、2任意一条即可;条件1:当θ1大于15°;条件2:
[0030] 方案1、单手拆卸,以左手为例;
[0031] 过程1:记录从开始时刻n1到结束时刻n2完成抓取和放手动作时,记录左手腕到左手的向量 m指抓取动作和放手的总和,转过程2;
[0032] 过程2:计算过程1中其它向量与第一次抓取记录向量的夹角,求得最大夹角为当大于D1≤45°,说明不需要改变手对物体最初握持位置,认为操作容易;当大于D1>45°,说明需要调整对物件的握持位置,认为操作困难;
[0033] 方案2、双手拆卸;
[0034] 过程1:记录从开始时刻n1到结束时刻n2完成抓取和放手动作时,记录左手腕到左手的向量 m指左手抓取动作和左手放手的总和,右手腕到右手的向量 l指右手抓取动作
和右手放手的总和;左指尖到左拇指的中心点 右指尖到右
拇指的中心点 左手完成抓取和放手动作时,记录向量
[0035] 过程2:计算过程1中其它向量与第一次抓取记录向量的夹角,求得最大夹角为D4=max{D1,D2,D3},当大于D4≤45°,说明不需要改变手对物体最初握持位置,认为操作容易;当大于D4>45°,说明需要调整对物件的握持位置,认为操作困难;
[0036] 步骤六、MTM标准时间测算;
[0037] 根据啮合程度和操作难易程度,对照拆卸动作时间标准表即可得到拆卸动作的标准时间E;与此同时,还需要加上拆卸过程中可能出现的握住物件动作即G2和加压动作即AP1,拆卸动作的具体标准时间为E+j×G2+k×AP1。
[0038] 本发明的有益效果为:本发明能将拆卸动作设计成计算机能够接受的数学方法,从而减少专业人员的工作量,减少人力成本。当前领域暂未有相关技术研究,本方法提供一种技术方案填补当前空白。

附图说明

[0039] 图1为本发明的骨骼关节点分布示意图;
[0040] 图2为本发明的抓取向量、距离示意图;
[0041] 图3为本发明的双手中心点及距离示意图。

具体实施方式

[0042] 一种拆卸动作识别方法,该识别方法包括以下步骤:
[0043] 参阅图1,步骤一、利用Kinect V2采集25个人体骨骼点包括头、颈、肩中心、左拇指A1(x1,i,y1,i,z1,i)、右拇指A2(x2,i,y2,i,z2,i)、左指尖A3(x3,i,y3,i,z3,i)、右指尖A4(x4,i,y4,i,z4,i)、左手A5(x5,i,y5,i,z5,i)、右手A6(x6,i,y6,i,z6,i)、左手腕A7(x7,i,y7,i,z7,i)、右手腕A8(x8,i,y8,i,z8,i)、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚;其中A1(x1,i,y1,i,z1,i)表示第i帧的左拇指点的坐标点,1秒25帧;A2(x2,i,y2,i,z2,i)表示第i帧的右拇指点的坐标点,1秒25帧;A3(x3,i,y3,i,z3,i)表示第i帧的左指尖点的坐标点,1秒25帧;A4(x4,i,y4,i,z4,i)表示第i帧的右指尖点的坐标点,1秒25帧;A5(x5,i,y5,i,z5,i)表示第i帧的左手点的坐标点,1秒25帧;A6(x6,i,y6,i,z6,i)表示第i帧的右手点的坐标点,1秒25帧;A7(x7,i,y7,i,z7,i)表示第i帧的左手腕点的坐标点,1秒25帧;A8(x8,i,y8,i,z8,i)表示第i帧的右手腕点的坐标点,1秒25帧;
[0044] 拆卸动作的识别过程需要经历抓取动作判定、拆卸状态判定(单手或双手)、啮合程度判定、操作难易程度判定和MTM标准时间测算。
[0045] 步骤二、抓取动作判定;
[0046] 抓取动作需要根据手部的弯曲程度和指尖与拇指的距离判定;具体如下:
[0047] 参阅图2,以左手为例,此时左手至左拇指向量左手至左指尖向量 夹角 左指尖与左手
的距离
[0048] 条件1:当θ1小于15°转条件2;
[0049] 条件2:开始计算左指尖与左拇指的距离当 认为完成抓取动作;
[0050] 右手的抓取动作判定如左手;如果任意左手或右手完成抓取动作,记录此时刻i=n1,转步骤三;
[0051] 步骤三、拆卸状态判定;
[0052] 拆卸的单双手操作状态会影响啮合程度和操作难易程度判定,本步骤将根据双手的抓取情况、双手中心点的距离和双手移动情况来判断,如果判定不是双手拆卸,即为单手拆卸;
[0053] 参阅图3,双手拆卸判定需要得到左指尖到左拇指的中心点右指尖到右拇指的中心点
计算中心B1,i与B2,i的距离
[0054] 条件1:左手和右手均完成抓取动作,转条件2;
[0055] 条件2:取n1帧到n1+74帧的l3,i,求得均值 标准差当标准差σ1≤3时,认为双手间距未产生变动,转条件3;
[0056] 条件3:分别计算左指尖和右指尖在n1帧到n1+74帧中的偏移距离和
当L2>5cm且L3>5cm,条件3符合,认为
现在是双手拆卸状态;如果不满足以上判定条件就认为是单手拆卸;
[0057] 步骤四、啮合程度判定;
[0058] 步骤三中如果为双手拆卸,啮合程度将以左手的相关骨骼点进行啮合程度判定,如果是单手拆卸,即使用拆卸手的相关骨骼点进行判定;
[0059] 以左手相关骨骼点为例进行啮合程度判定;
[0060] 啮合程度分为放松、紧密和紧固状态,从n1帧开始,左手就在进行拆卸动作,已知左指尖到左拇指的中心点 需求得中心点B1,i第i帧到第i+1帧的向量 简
化方程
[0061] 判定过程1:持续计算 当θ2,i+2<50°,认为未发生反动作,此时如果左手满足放手判定,且判定后10帧θ2,i+2均满足θ2,i+2<50°,记录此时刻i=n2,中止识别,此时j=0、k=0,认为啮合程度放松,拆卸过程无明显反动动作,拆卸后,左手自然脱离;此时j>0、k=0,认为啮合程度紧固,拆卸过程G2动作次数为j次;此时k>0,认为啮合程度紧密,拆卸过程G2动作次数为j次,AP1动作次数为k次;当出现θ2,i+2≥50°,认为发生反动作,转判定过程2;θ2,i+2表示抓取过程中左指尖到左拇指的中心点3个连续点组成的两个向量的夹角,如果反向运动,夹角必大于50°,本专利凭此判断是否发生反动作;j用于记录握住物件动作G2,k用于记录加压动作AP1;
[0062] 判定过程2:当出现θ2,i+2<50°,说明反动作结束,当l4<10cm,认为啮合程度放松;当l4∈
[10cm,13cm],认为啮合程度紧固,j=j+1,初始j为0;当l4∈(13cm,30cm],认为啮合程度紧密,k=k+1,初始k为0;转条件1;
[0063] 右手啮合程度判定同左手;
[0064] 步骤五、操作难易程度判定;
[0065] 操作的难易程度分为操作容易和操作困难,单手拆卸将根据方案1进行识别,双手拆卸根据方案2进行识别;拆卸的放手判定满足条件1、2任意一条即可;条件1:当θ1大于15°;条件2:
[0066] 方案1、单手拆卸,以左手为例;
[0067] 过程1:记录从开始时刻n1到结束时刻n2完成抓取和放手动作时,记录左手腕到左手的向量 m指抓取动作和放手的总和,转过程2;
[0068] 过程2:计算过程1中其它向量与第一次抓取记录向量的夹角,求得最大夹角为当大于D1≤45°,说明不需要改变手对物体最初握持位置,认为操作容易;当大于D1>45°,说明需要调整对物件的握持位置,认为操作困难;
[0069] 方案2、双手拆卸;
[0070] 过程1:记录从开始时刻n1到结束时刻n2完成抓取和放手动作时,记录左手腕到左手的向量 m指左手抓取动作和左手放手的总和,右手腕到右手的向量 l指右手抓取动作
和右手放手的总和;左指尖到左拇指的中心点 右指尖到右
拇指的中心点 左手完成抓取和放手动作时,记录向量
[0071] 过程2:计算过程1中其它向量与第一次抓取记录向量的夹角,求得最大夹角为D4=max{D1,D2,D3},当大于D4≤45°,说明不需要改变手对物体最初握持位置,认为操作容易;当大于D4>45°,说明需要调整对物件的握持位置,认为操作困难;
[0072] 步骤六、MTM标准时间测算;
[0073] 根据啮合程度和操作难易程度,对照拆卸动作时间标准表即可得到拆卸动作的标准时间E;与此同时,还需要加上拆卸过程中可能出现的握住物件动作即G2和加压动作即AP1,握住物件动作G2和加压动作AP1是通过反向动作的距离求得,拆卸动作的具体标准时间为E+j×G2+k×AP1。拆卸动作时间标准表如下表1所示:
[0074] 表1拆卸动作时间标准表
[0075] 。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈