技术领域
[0001] 本
发明涉及一种智能
人机交互、智能
机器人技术领域，具体是一种基于人体骨架运动信息的人体行为预测方法。
背景技术
[0002] 21世纪人类将进入老龄化社会，发展服务机器人能够弥补年轻劳动
力的严重不足，解决老龄化社会的家庭服务、医疗服务等社会问题。国际机器人联合会给服务机器人一个初步的定义：服务机器人是一种半自主或全自主的机器人，它能完成有益于人类的服务，但不包括从事生产的设备；如果服务机器人可以与人进行智能友好的交互，并且能够根据人们在日常生活中的的行为从事一些家庭服务工作，那么家庭服务行业的服务机器人应用必将形成新的产业和新的市场；在服务机器人从事日常生活服务的过程中，人体行为识别与预测是人与服务机器人智能交互的
基础，对提高机器人的自主性、智能性起着至关重要的作用；利用人体行为识别与预测技术对人们的日常行为进行识别与预测，可以为服务机器人的日常服务提供理论和现实依据，促进人与服务机器人的智能友好交互及和谐相处，提高人们生活的舒适感；已知的人体行为识别与预测
算法存在若干问题：第一，绝大部分人体行为识别算法都是基于低层次特征，即直接基于逐
帧姿态特征进行分类模型的训练和测试，计算量大；第二，计算关
节点的相对
位置或方位时，都是相对于躯干关节点或髋中心关节点，并没有考虑人体各关节的实际运动模型，导致每个关节点的运动模型比较复杂；第三，在提取关键姿态特征时直接对整个特征序列进行聚类，没有区分特征序列的静态成分和动态成分，导致关键姿态
精度有限；第四，在对特征序列进行分割时采用手动分割、固定数目分割、固定间隔分割或基于图论的分割等方法，分割效果不能满足要求；第五，即使分肢体提取特征，也未分肢体进行行为模式建模，未考虑各个肢体的不同作用，部分算法没有考虑
左撇子和右撇子同时存在的情况；第六，未考虑人们对人体行为的分层
感知模型。
发明内容
[0003] 本发明的目的在于提供一种以从RGB-D图像中提取到的人体骨架信息为基础，对当前时刻的人体行为进行识别以及对后续时刻的人体行为进行预测的基于人体骨架运动信息的人体行为预测方法，以解决上述背景技术中提出的问题。
[0004] 为实现上述目的，本发明提供如下技术方案：
[0005] 一种基于人体骨架运动信息的人体行为预测方法，以从RGB-D图像中提取到的人体骨架信息为基础，对当前时刻的人体行为进行识别及对后续时刻的人体行为进行预测，包括以下步骤：
[0006] (1)针对从每帧RGB-D图像提取到的人体骨架信息，利用中值滤波算法对人体骨架数据进行时域上的平滑预处理，降低噪声和异常数据的影响；
[0007] (2)针对预处理后的人体骨架信息，以人体各个关节点的实际运动模型为基础，分肢体计算人体各关节的归一化相对方位特征，生成归一化相对方位特征序列；
[0008] (3)定义并计算特征序列的
势能和势差，基于特征序列的势差对特征序列进行动态分割，得到姿态特征子序列和动作特征子序列；
[0009] (4)利用高斯混合模型算法从姿态特征子序列中提取关键姿态，利用K均值算法从动作特征子序列中提取
原子动作；
[0010] (5)基于提取到的关键姿态和原子动作分肢体构建多层图模型，构建的多层图模型包括每种人体行为所包含的不定长人体子行为模式；
[0011] (6)利用多层图模型中的人体子行为模式对训练特征序列进行编码，利用概率后缀树模型对编码序列的上下文信息构建上下文概率统计信息模型，训练过程完成；
[0012] (7)利用步骤1至步骤3中的方法对测试特征序列进行提取与分割，根据截止到当前时刻的分割结果提取姿态和动作，并结合训练得到的多层图模型对提取到的姿态和动作序列所对应的人体子行为模式进行识别；
[0013] (8)结合截止到当前时刻的人体子行为
模式识别结果以及训练得到的包含子行为模式上下文信息的概率后缀树模型，对下一时刻的人体子行为模式进行预测。
[0014] 作为本发明进一步的方案：所述步骤2中，关节点i的归一化相对方位特征是以关节点i实际运动时所围绕的关节点j为参考节点进行计算的，计算方式为：
[0015]
[0016] 式中，Pi和Pj为关节点i和关节点j在世界
坐标系内的三维坐标向量，‖‖为欧式距离算子。
[0017] 作为本发明再进一步的方案：所述步骤2中，分肢体进行各个关节点的归一化相对方位特征的计算，把人体肢体分割为：左上肢、右上肢、左下肢、右下肢、躯干等5个部分。
[0018] 作为本发明再进一步的方案：所述步骤3中，特征序列的势能和势差的计算方式分别为：
[0019]
[0020] Ed(i)＝Ep(i)－Ep(i－1)
[0021] 式中，Fij为第i帧肢体j的归一化相对方位
特征向量，L＝5为分肢体的数目，Ep(i)为第i帧特征向量的势能，Ed(i)为第i帧特征向量的势差；所述步骤3中，基于特征序列势差的动态分割过程是基于
阈值分割算法进行的，满足|Ed(i)|＜Emin的特征序列被标记为姿态特征子序列，反之被标记为动作特征子序列，Emin为预设的阈值。
[0022] 作为本发明再进一步的方案：所述步骤4中，利用高斯混合模型算法从姿态特征子序列中聚类得到关键姿态，利用K均值
聚类算法从与每两个关键姿态关联的动作特征子序列中聚类得到原子动作。
[0023] 作为本发明再进一步的方案：所述步骤5中，利用提取到的关键姿态构建关键姿态层图模型，利用提取到的原子动作构建原子动作层图模型，并结合关键姿态层和原子动作层构建多层图模型。
[0024] 作为本发明再进一步的方案：所述步骤6中，利用构建的多层图模型所包含的不定长子行为模式对每种人体行为的训练特征序列进行编码，基于编码序列构建体现人体子行为模式上下文概率统计信息的概率后缀树模型。
[0025] 作为本发明再进一步的方案：所述步骤7中，测试序列人体子行为模式的识别结果为被识别成每
种子行为模式的概率。
[0026] 作为本发明再进一步的方案：所述步骤8中，根据截止到当前时刻人体子行为模式识别概率以及概率后缀树模型预测下一时刻的人体子行为模式，预测得到的是某种人体行为过程中的人体子行为与
现有技术相比，本发明的有益效果是：本发明提出了一种基于人体骨架运动信息的人体行为预测方法，通过研究人体各个关节的实际运动模型，提出的归一化相对方位特征表征方法不但能够以较低的特征维度有效表征人体姿态，而且对不同个体的形体差异以及不同个体与机器人
传感器的距离差异具有一定的鲁棒性；利用势能和势差原理，定义了特征序列的势能和势差，基于特征势差对特征序列进行动态分割，有效分割出表征关键姿态的姿态特征子序列和表征原子动作的动作特征子序列，便于关键姿态和原子动作的精确提取，相比传统的固定间隔或固定数目的分割方式，本发明提出的动态分割方法具有更好的普适性和合理性；构建关键姿态和原子动作的多层图模型，与传统的基于Codebook的模型相比，该多层图模型可以有效表征不定长人体子行为模式；本发明充分考虑人体行为可以直观地表征为一系列关键姿态和原子动作的有序序列的特性，将人体行为识别与预测过程从以逐帧姿态特征等低层次特征为关键特征向以关键姿态和原子动作等高层次特征为关键特征转变，更加符合人们对人体行为识别与预测的分层感知模型；此外，本发明提出的方法提取了高层次人体子行为模式，并根据人体子行为模式的上下文信息构建了概率后缀树模型，充分利用了关键姿态和原子动作的统计特性与时序特性，对人体不同类行为间的相似性和同类行为内的个体差异性具有更好的鲁棒性。
附图说明
[0028] 图2为人体骨架示意图。
[0029] 图3为本发明中本发明中特征序列分割示意图。
[0030] 图4为本发明中基于关键姿态和原子动作的多层图模型。
[0031] 图5为本发明中从多层图模型中提取的人体子行为模式。
[0032] 其中，a-左上肢；b-右上肢；c-左下肢；d-右下肢；e-躯干。
具体实施方式
[0033] 下面将结合本发明
实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0034] 请参阅图1～5，本发明提出的基于人体骨架运动信息的人体行为预测方法，算法流程如图1所示，具体按照以下步骤实施：
[0035] a)数据预处理
[0036] 一般情况下，从RGB-D图像中提取到的如图2所示的人体骨架在世界坐标系内的三维坐标可以直接用来计算姿态特征，但是，受传感器精度以及骨架提取算法精度的限制，提取到的骨架数据中往往会有异常数据存在；此外，当人们未正对着传感器以致于在传感器的视
角内人体各部分肢体发生相互遮挡时，提取到的人体骨架数据往往不能正确表征人体当前的姿态；因此，需要对提取到的人体骨架数据进行预处理；然而，如果本发明是基于理想化的人体骨架数据，那么本发明就脱离了当前传感器技术及人体骨架数据提取算法的发展现状，不利于把本发明成果应用到实际应用中；因此，为了同时保证本发明算法的精确性和鲁棒性，本发明在数据预处理阶段采用简单的滑动中值
滤波器对人体骨架数据进行预处理。
[0037] b)分肢体计算归一化相对方位特征
[0038] 传统的姿态特征表征方法计算人体各个关节点相对于躯干中心节点或髋中心节点的相对坐标；本发明充分考虑了人体各关节点的实际运动模型，提出了归一化相对方位作为人体姿态的基本特征，在计算一个关节点的归一化相对方位时，参考关节点选为该关节点实际运动时围绕的那个关节点；例如，计算左肘的归一化相对方位时，参考关节点为左肩关节点，全部关节点的相对关系如图2所示，箭头头部的关节点的归一化相对方位参考箭头尾部的关节点进行计算，令关节点i和关节点j的坐标分别为Pi＝(xi,yi,zi)和Pj＝(xj,yj,zj)，则关节点i相对于关节点j的归一化相对方位计算如下：
[0039]
[0040] 式中，‖‖为欧式距离算子；归一化相对方位不但能够以相对简单的运动模型来表征每个关节点的运动，而且对不同个体的形体差异及距离差异具有一定的鲁棒性。
[0041] 由于人们在执行某些行为时不是人体所有关节点都同等的发挥作用；例如，喝
水时上肢在发挥着关键作用，同时，人们在喝水时可以站着、坐着、甚至走动着喝水；而对于喝水动作本身，人体下肢的动作时无关紧要的，因此，本发明拟把人体分解为：左上肢a、右上肢b、左下肢c、右下肢d、躯干e等五个肢体部分，并分别表征每个肢体的动作特征，各个肢体部分包含的归一化相对方位特征划分如下表1所示：
[0042] 表1人体各部分肢体的归一化相对方位特征(箭头相对于箭尾)
[0043]
[0044] 由上表可知，每部分肢体的姿态特征向量维度为3×4＝12，人体全部肢体的姿态特征向量维度为12×5＝60，远小于已知方法的姿态特征维度。
[0045] c)特征序列分割
[0046] 为了更加精确地提取关键姿态和原子动作，需要把b)中得到特征序列分割成姿态特征子序列和动作特征子序列，姿态特征子序列包含了姿态静止或姿态细微变化的部分，动作特征子序列包含了具有显著运动的部分，因此，以势能和势差为基础，定义表征特征序列运动性质的势能和势差，特征序列的势能定义为每帧特征向量相对于第一帧特征向量的欧式距离，特征序列的势差则定义为两帧特征向量的势能的差值；
[0047] 令 表示第i帧的姿态特征向量，L＝5，为肢体的数目，Fij表示第i帧中肢体j的特性向量分量，则特征序列第i帧姿态特征向量的势能的定义如下：
[0048]
[0049] 特征序列第i帧姿态特征向量的的势差的定义如下：
[0050] Ed(i)＝Ep(i)－Ep(i－1)
[0051] 基于特征序列的势差，利用阈值分割法，把特征序列分割成姿态特征子序列和动作特征子序列，满足|Ed(i)|＜Emin的标记为姿态特征子序列，反之则标记为动作特征子序列，Emin＝0.015为预设的阈值。
[0052] 利用基于势差的动态分割方法对Cornell CAD-60数据集中的“Drinking water”行为的特征序列的分割结果如图3所示，姿态特征子序列和动作特征子序列交替出现，符合利用一系列关键姿态和原子动作的有序序列来表征人体行为的理论。
[0053] d)关键姿态和原子动作提取
[0054] 特征序列分割完成后，从姿态特征子序列中利用聚类算法提取关键姿态，常用的聚类方法有高斯混合模型和K均值聚类；本发明中采用GMM聚类方法对关键姿态进行提取，从每种行为每个肢体的姿态特征子序列中聚类得到的关键姿态的数目为Ckp＝9，如图3所示，原子动作表征了两个关键姿态之间的转移过程，因此在进行原子动作提取时需要事先根据与之关联的两个关键姿态的不同把动作特征子序列进一步划分为不同的动作特征子序列簇，关键姿态的数目为Ckp，则表征两个关键姿态转移过程的动作特征子序列簇的最大数目为Ckp×(Ckp-1)，对每簇的动作特征子序列进行K均值聚类操作，得到该簇对应的原子动作，每个簇的原子动作表征为聚类得到Cam＝2个聚类中心的有序序列。
[0055] e)构建多层图模型
[0056] 基于提取到的关键姿态和原子动作，为每一种人体行为、每一部分人体肢体分别构建基于关键姿态和原子动作的多层图模型，如图4所示，关键姿态层由提取到的关键姿态组成，原子动作层由提取到的原子动作组成；由于并非任意两个关键姿态之间都会存在状态变化过程，因此在原子动作层中并非所有节点都对应一组实际存在的原子动作。
[0057]
单层的关键姿态层和原子动作层都不足于表征人体行为，图5展示了从多层图模型中提取人体子行为模式的过程：从关键姿态层和原子动作层中分别提取关键姿态和原子动作，并把它们组成一个有序序列，该有序序列用于表征人体行为在一段时间内的动作过程，即人体子行为模式，一组多层图模型中包含了该人体行为对应的所有人体子行为模式，但是，在人体行为识别过程中没有必要事先提取出所有的子行为模式，只需要给出测试特征序列与多层图模型的距离测度方式。
[0058] 需要特别指出的是，人体子行为模式并非都是定长的，表征人体子行为模式的关键姿态和原子动作的个数可以根据实际情况变化，即可以利用多层图模型的部分层来表征不定长人体子行为模式。
[0059] 在进行人体行为识别过程中，需要对测试序列进行图1中描述的数据预处理、分肢体提取姿态特征、特征序列分割等操作，得到测试特征序列的姿态特征子序列和动作特征子序列，然后，把测试特征序列中的若干连续测试子序列与构建的多层图模型中的子行为模式进行匹配，最佳匹配的子行为模式所对应的人体行为类别即为该测试子序列的分类；与多层图模型类似，测试子序列依旧遵循“姿态特征子序列-动作特征子序列-…-姿态特征子序列”模式，测试子序列与人体子行为模式的匹配方法描述如下：
[0060] 肢体l相关的测试子序列与行为类别c的肢体l相关的最佳匹配人体子行为模式的距离测度计算方式为：
[0061]
[0062] 其中， 是测试子序列中肢体l相关的第m个分割
片段与行为类别c中肢体l的多层图模型中第m层的最佳匹配距离，M＝7为多层图模型的层数；根据图5中的子行为模式，当m是奇数时， 为测试序列中的某姿态特征子序列与关键姿态层中关键姿态的最佳匹配距离；当m是偶数时， 为测试序列中的某动作特征子序列与原子动作层中原子动作的最佳匹配距离；关键姿态的最佳匹配距离可以定义为：
[0063]
[0064] 其中，Fil是一组测试子序列中某姿态特征子序列中的第i帧姿态特征中肢体l的特征向量分量，Ns是该姿态特征子序列中包含的姿态特征的帧数， 是Fil在行为类别c的肢体l的多层图模型第m层中的最佳匹配关键姿态；原子动作的最佳匹配距离定义为：
[0065]
[0066] 其中，AMl是从一组测试子序列的某动作特征子序列肢体l的特征向量中提取到的原子动作， 是AMl在行为类别c的肢体l的多层图模型第m层中的最佳匹配原子动作。
[0067] 需要特别指出的是，当某测试子序列所包含的分割片段的个数小于多层图模型的层数时，与之匹配的人体子行为模式的长度会根据该测试子序列包含的分割片段的个数而变化，即M会变化，以此体现不定长子行为模式的匹配过程。
[0068] f)构建概率后缀树模型
[0069] 结合每类行为的多层图模型，对
训练数据集中每类行为的训练数据序列利用多层图模型蕴含的人体子行为模式进行编码，提取每类行为包含的全部有效子行为模式，定义为 为行为类别c的子行为模式的个数，如此，每类行为的训练数据集的全部特征序列可以表征为： 其中每一个特
征序列 为该训练特征序列中分割得到的
第j(j＝1,2,...,n)个子序列的最佳匹配子行为模式；基于每类行为的FSc,train以及提取到的子行为模式间的上下文概率统计，利用概率后缀树原理构建人体子行为模式的上下文概率统计模型。
[0070] 基于行为类别c的训练数据集FSc,train，该类行为对应的概率后缀树的构建过程如下：
[0071] 1)生成概率后缀树的候选后缀集
[0072] 令FSc,train为概率后缀树的训练数据集，s为 中的一个子行为模式序列，|s|为s的长度，P(s)为s在训练数据集中出现的频次，L和Pmin为用户
指定的参数，如果满足|s|＜L且P(s)＞Pmin，则把s加入到候选后缀集 中；
[0073] 2)测试候选后缀节点，生成概率后缀树
[0074] 对于 中的每一个 如果s满足以下两个条件，则把s及其后缀加入到概率后缀树 中：
[0075] 条件1：P(σ|s)≥α，其中σ为某种子行为模式，α为用户定义的阈值，该条件用于测试在预测子行为模式σ时s能否提供一定量的上下文信息。
[0076] 条件2： 其中suf(s)为s的最远后缀，β为用户定义的阈值，该条件用于测试在预测子行为模式σ时s是否能比suf(s)提供更多的上下文信息。
[0077] g)个人体子行为模式识别
[0078] 根据构建的关键姿态和原子动作的多层图模型以及人体子行为模式的匹配方法，利用
支持向量机算法进行人体子行为模式识别，支持向量机通过构造一个
超平面把不同类别的数据区分开，利用训练数据集对分类器进行训练。
[0079] 本发明利用步骤e)中提到的人体子行为模式匹配算法计算训练数据集与各类人体行为的人体子行为模式的最佳匹配距离 构建最佳匹配距离向量然后利用基于训练数据集计算得到的DV
及每个DV对应的真实行为类别标记，训练一对多支持向量机，在测试阶段，把基于测试数据序列计算得到的DV输入到训练得到的支持向量机分类器中，计算得到分类结果。
[0080] h)人体子行为模式预测
[0081] 人体行为识别是根据已经观测到的特征判定人们当前正在执行的行为类别，人体行为预测则可以根据人们当前正在执行的行为预测其下一时刻或时段的行为动作，以便对人们的行为做出预判，进而做出相应的响应；例如，当人们端起茶杯时，可以预测接下来人们可能会喝水或把水杯放置到别的位置，人体行为预测是一个在线预测过程，需要不断根据观察到的特征序列识别人体行为，并根据已识别到的人体行为来预测下一时刻的行为；由于人体不同类行为间的相似性和同类行为内的个体差异性，如果仅仅用
马尔科夫模型来建模人体行为预测过程，那么会造成具有部分相同子行为模式的行为类别间的不可分性，本发明基于变长马尔科夫模型，利用概率后缀树进行人体行为预测。
[0082] 人体行为识别过程本身也是一个贝叶斯推断的过程，直接的输出结果是当前特征序列被判定成各类行为的概率，在基于截止到当前时刻的人体行为识别结果进行下一时刻或时段的人体行为预测时，不能简单地把人体行为识别结果看作一个确定性的结果。
[0083] 人体行为预测算法过程如下：
[0084] 1)根据截止到当前时刻的特征序列，计算当前人体行为被判定成人体行为类别c的概率Pt(c)；
[0085] 2)令Rt(c)＝r1r2...rt表示特征序列中每个子序列被识别成行为类别c的子行为模式的识别结果，即每个子序列的识别结果满足ri∈APc,1≤i≤t，则从训练得到的概率后缀树 中提取与Rt(c)匹配的最长后缀序列，并表示为LSt(c)；
[0086] 3)对于每一个行为类别c，下一时刻或时段的子行为模式预测结果σt+1表示为其中σ∈APc，则最终预测结果为：预测行为类别为预测子行为模式为σt+1(cpredict)。
[0087] 对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附
权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0088] 此外，应当理解，虽然本
说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
