技术领域
[0001] 本
发明涉及信息技术领域，具体涉及基于传感网络的
移动机器人与静态传感器的任务协作方法。
背景技术
[0002] 基于多个RGBD相机的人体行为识别受到研究者的广泛关注，被应用于
手术室、工厂车间、
汽车组装、室内监控等环境下的人体行为检测，有效解决了人体遮挡问题和可能发生的人-机器人碰撞问题，具有重要的应用价值。
[0003] 目前基于多个RGBD传感器的人体行为
感知还处于集中式阶段，需要一个或多个数据融合中心进行三维数据、人体骨架关
节点数据的融合，对数据融合中心的计算能
力和鲁棒性要求较高，对网络的不
稳定性抵抗力较弱，可扩展程度低。
[0004] 随着RGBD传感器技术的发展，其使用数量和
覆盖范围会随之增大，集中式的RGBD传感器网络所需要处理和传输的信息流会爆发式增长，其在现实应用中的
瓶颈会越发明显。
[0005] 静态传感器
位置固定，视
角有限，不具备移动服务能力，另外，当场景中存在多个人体目标时，需要解决关于人体行为的感知问题。目前，关于人体行为的感知技术存在着识别
精度不够，无法满足现有的需求。
发明内容
[0006] 为解决
现有技术存在的不足，本发明公开了基于传感网络的移动机器人与静态传感器的任务协作方法。本发明建立移动机器人和静态传感器任务协作机制，一方面针对观测盲区提供近距离观察，另一方面针对人体特殊行为提供相应智能化服务。
[0007] 为实现上述目的，本发明的具体方案如下：
[0008] 基于传感网络的移动机器人与静态传感器的任务协作方法，包括以下步骤：
[0009] 构建动态分布式传感器网络，对获取的人体的关节点分布式信息进行一致性的估计；
[0010] 对人体关节点分布式信息进行一致性的估计后进行基于彩色图像和
深度图像多特征的联合数据关联；
[0011] 基于人体行为特征的分布式DTW人体行为意图识别；
[0012] 在行为识别结果
基础上，移动机器人利用合同网方法参与竞标服务，针对用户特定行为进行机器人服务；
[0013] 在静态传感器对人体某个关节点估计误差超过设定值时，发起近距离查看任务
请求，由相邻移动机器人竞标该任务并执行，将观测结果发送给静态传感器，实现对特定目标的近距离观测。
[0014] 进一步的，移动机器人和静态传感器之间的任务协作主要通过
黑板模型完成，包含两大部分：黑板区和
知识库。
[0015] 进一步的，黑板区由全局目标库、机器人状态列表、决策选择、请求序列和任务列表组成，知识库内则包含任务分配
算法、信息计算模
块、请求处理和指令发送模块组成；
[0016] 黑板区通过实时数据进行更新，进一步驱动知识库中的相应模块。
[0017] 进一步的，对获取的人体的关节点分布式信息进行一致性的估计，具体包括：
[0018] 骨架关节点位置初始化；
[0019] 本地传感器对关节点
运动估计：构建人体关节点的运动模型和观测模型，实现对关节点状态的有效估计；
[0020] 传感器之间对目标关节点的信息一致性估计：定义人体关节点状态对应的信息向量、信息矩阵及其信息贡献和模型概率作为信息一致性算法的交换量；
[0021] 每个传感器将自身估计的关节点信息向量、信息矩阵及其对应的信息贡献、模型概率发送给相邻的通讯传感器节点，并接受周围传感器的信息，利用信息一致性算法，融合周围传感器的估计结果，连续
迭代数次，实现算法和估计结果的收敛。
[0022] 基于构建的动态分布式传感器网络，传感器将采集的人体骨架关节点信息传输至信息处理中心。
[0023] 骨架关节点位置初始化时，通过对关节点深度信息预先学习训练，实现对每
帧人体关节点的检测，或利用现有工具OPENNI NITE或微软SDK直接提取关节点。
[0024] 在骨架关节点位置初始化时，为去除无效关节点，建立人体关节点运动模型物理约束，剔除不满足人体关节点旋转角度和长度约束的人体关节点。
[0025] 人体关节点运动模型物理约束的相关参数，包括人体肘关节和肩关节之间长度，可依据检测数据自适应升级。
[0026] 在实现对关节点状态的有效估计时是基于贝叶斯
滤波器实现的。
[0027] 构建人体关节点的运动模型和观测模型，其中，对线性模型，利用线性信息滤波器估计，而对于非线性模型，利用非
线性滤波器进行估计，非线性滤波器包括扩展信息滤波器和基于中心差分信息滤波器。
[0028] 信息一致性估计时，具体包括的步骤为：
[0029] (1)参数初始化，检测得出人体关节点的初始位置，位置的方差依据关节点识别的置信
水平确定，并依据关节运动特点设定关节的运动模型转换概率；
[0030] (2)多模型交互，即根据模型概率和模型转换概率计算模型之间的混合概率，再依据混合概率计算得出每个模型的混合均值和混合方差；
[0031] (3)信息滤波，以混合均值和混合方差为输入，计算其信息向量和信息矩阵，对线性和非线性运动模型分别采用线性信息滤波器和中心差分信息滤波器估计，根据当前深度图像检测的关节点位置升级滤波器关节点状态和模型概率；
[0032] (4)基于分布式信息一致性算法的信息融合，即各传感器之间交换关节点估计信息，包括关节点状态信息向量、信息矩阵和模型概率，通过一致性算法加权迭代实现各传感器估计状态的一致性。
[0033] 另外，各传感器节点基于模型概率加权和的混合输出，即利用模型概率对各个模型的估计结果进行加权求和，作为各传感器信息处理系统当前时刻的估计结果。
[0034] 进一步的，对人体关节点分布式信息进行一致性的估计后进行基于彩色图像和深度图像多特征的联合数据关联，包括以下步骤：
[0035] 采用联合数据概率关联算法实现本地传感器节点对
跟踪目标和目标观测之间进行第一次数据关联；
[0036] 基于
马氏距离的匈牙利算法实现传感器节点之间对跟踪目标的第二次数据关联；
[0037] 各传感器之间交换关节点估计信息，通过一致性算法加权迭代实现各传感器估计状态的一致性；
[0038] 其中，在第一次数据关联时，基于多特征的目标观测候选集调整机制，利用关节点位置观测信息z、彩色图像梯度方向直方图特征hc和深度图像梯度方向直方图特征hd构建三个
阈值门限(γz,γc,γd)以限定观测集大小。
[0039] 基于分布式信息一致性算法的信息融合之后还包括利用模型概率对各个模型的估计结果进行加权求和，作为各传感器信息处理系统当前时刻的估计结果的步骤。
[0040] 分布式信息一致性算法使得本地传感器在获取本地数据关联估计结果后，可与邻近节点交换数据关联结果，以实现各
传感器数据关联结果的融合。
[0041] 利用关节点位置观测信息z、彩色图像梯度方向直方图特征hc和深度图像梯度方向直方图特征hd构建三个阈值门限(γz,γc,γd)以限定观测集大小：
[0042]
[0043] 其中，是根据上一帧关节点估计值预测的当前关节点位置，S是z的方差， 和分别是从最近的历史关键帧中学习的以关节点位置为中心的HOG特征和HOD特征，d是直方图Chi-square卡方距离测度。
[0044] 关节点的马氏距离定义如下：
[0045] (xi-xj)T(Pi+Pj)-1(xi-xj),
[0046] (xi,xj)和(Pi,Pj)是人体关节点分别在传感器i和传感器j上的估计状态和方差。
[0047] 基于人体行为特征的分布式DTW人体行为意图识别方法，包括以下步骤：
[0048] 获取当前帧人体行为特征并将其添加到人体行为特征时间序列中；
[0049] 利用动态时间规整算法DTW对当前观测人体行为特征序列与
数据库模板中已学习的特定行为序列进行匹配，计算两者之间基于卡方距离的最佳匹配相似度；
[0050] 对该相似度取逆，经归一化后得到匹配概率；
[0051] 将每个传感器的动作模式概率值作为一致性信息量与相邻传感器再一次数据交换，经过一致性迭代运算，最终相邻传感器节点的识别结果达成一致。
[0052] 进一步的，在计算匹配概率时，为融合周围传感器识别结果，相邻连接传感器之间互换匹配概率信息。
[0053] 进一步的，相邻连接传感器之间互换匹配概率信息的方式具体为：
[0054] 第i个传感器将k时刻动作模式α对应的匹配概率 与相邻传感器节点j计算的匹配概率 进行数据交换，并依据动作模式之间的转移概率矩阵M，确定动作模式α的概率值
[0055]
[0056] 其中η(k)是归一化因子，M(β,α)是动作模式β和动作模式α之间的转移概率值。
[0057] 进一步的，相邻连接传感器之间互换匹配概率信息后，若最终的 大于一定阈值，则认定当前观测目标动作序列与动作模式α匹配成功。
[0058] 进一步的，基于人体行为特征的分布式DTW人体行为意图识别方法在获取当前帧人体行为特征的步骤之前还包括构建具有平移不变和缩放不变的人体结构特征的步骤。
[0059] 进一步的，在构建具有平移不变和缩放不变的人体结构特征时，考虑到体型的个体差异，定义满足平移不变和缩放不变的条件的关节向量夹角和上肢部分关节向量模比值作为人体行为特征，关节向量夹角和向量模比值共同组成24维人体行为特征。
[0060] 进一步的，上肢部分关节向量模比值：
[0061]
[0062] 其中 是躯干中心到头部的向量模， 和 分别是头部指向左右手的向量模、和 分别是躯干中心到左右手的向量模。
[0063] 进一步的，平移不变和缩放不变的关节向量夹角信息的获取：通过OPENNI检测人体的15个关节点分布式信息，经过计算，可获取关节向量夹角信息，具体包括上肢部分10组，下肢部分4组，中间连接部分6组。
[0064] 本发明的有益效果：
[0065] 通过构建分布式RGBD传感器网络，利用信息一致性算法，实现了对人体关节点的分布式估计，网络中无数据融合中心，提高了系统对节点信息错误和无效的鲁棒性，较容易实现对传感器网络的扩展。
[0066] 传感器节点只与周围邻近连接节点通讯，交换信息向量、信息矩阵和信息贡献，相较于传输原始的RGBD数据，极大的减少了数据量。
[0067] 一致性算法实现了与网络中传感器节点的有效融合，间接实现了对目标的多角度观测，减少了遮挡或角度对人体关节点估计的影响，扩大了感知范围。
[0068] 提出了基于交互多模型的人体关节点分布式信息一致性估计方法，以应对人体不同关节点时变的运动模式。
[0069] 提出了基于彩色图像和深度图像多特征的联合数据关联方法，以提高JPDA算法估计精度和执行效率。
[0070] 提出了基于平移不变和缩放不变人体行为特征的分布式DTW人体行为意图识别方法，以实现精确的人体特定行为识别。
[0071] 移动机器人和静态传感网络协作的分布式人体行为感知和智能化服务。静态传感器位置固定，视角有限，不具备移动服务能力。针对此问题，建立移动机器人和静态传感器任务协作机制，一方面针对观测盲区提供近距离观察，另一方面针对人体特殊行为提供相应智能化服务。
附图说明
[0072] 图1本发明的基于动态三维RGBD传感器网络的分布式示意图；
[0073] 图2本发明的分布式三维传感器网络对人体关节点的多模型估计
流程图；
[0074] 图3本发明的分布式多人体目标关节点跟踪算法流程；
[0075] 图4机器人任务协作黑板模型；
[0076] 图5人体关节点示意图(15个关节点)。具体实施方式：
[0077] 下面结合附图对本发明进行详细说明：
[0078] 如图1所示，基于交互多模型的人体关节点分布式信息一致性估计方法，通过构建动态分布式RGBD传感器网络，实现对数据的分布式处理和对信息的分布式融合，网络中无集中式信息处理和融合中心，传感器节点只与邻近节点信息交换，通过有限次一致性迭代，实现网络内对感知目标状态的估计一致。
[0079] 传感器网络通过无线通信实现信息的传输。每个传感器连接到本地处理器，可以是微型电脑或ARM开发板。本地处理器对信息处理后，通过无线与邻近节点进行网络数据交换。动态是指网络由位置静态的传感器和位置可移动的传感器组成。其中，位置移动通过将传感器放置在移动机器人上实现。分布式通过信息的分布式计算和融合来实现。
[0080] 如图2所示，骨架关节点位置初始化：通过对关节点深度信息预先学习训练，实现对每帧人体关节点的检测，也可利用现有工具OPENNI NITE或微软SDK直接提取关节点。为去除无效关节点，建立人体关节点运动模型物理约束，剔除不满足人体关节点旋转角度和长度约束的人体关节点。物理约束模型的相关参数，如人体肘关节和肩关节之间长度，可依据检测数据自适应升级。
[0081] 其中，关节点深度信息是通过微软Kinect开发包或开源OpenNI驱动
软件获取场景的RGB图像和深度图像。
[0082] 预先学习训练的目的是为了构建关节点特征库，从而实现对待检测图像中的关节点的分类和识别。
[0083] RGBD传感器提供场景
颜色和深度图像。关节点检测模块从图像中提取人体关节点。
[0084] 人体关节点运动模型物理约束相关技术内容可参考论文Model-Based Reinforcement of Kinect Depth Data for Human Motion Capture Applications。
[0085] 本地RGBD传感器对关节点运动估计：构建人体关节点的运动模型和观测模型，基于贝叶斯滤波器，实现对关节点状态(位置、速度和
加速度)的有效估计。人体关节点的运动存在静止、匀速、加速交替进行的多模型属性，单一运动模型不足以描述关节点动态特征，因此设计基于交互多模型的贝叶斯估计方法，对人体关节点的时变状态进行有效跟踪估计。对线性模型，可利用线性信息滤波器估计，而对于非线性模型，可利用扩展信息滤波器和基于中心差分信息滤波器等非线性滤波器进行估计。
[0086] 观测模型是指滤波器系统状态与传感器观测之间的模型关系。在这里，系统状态是指关节点三维位置、速度和加速度，而传感器观测是关节点三维位置。
[0087] 有效估计的具体算法可参考论文Central Difference Information Filter with Interacting Multiple Model for Robust Maneuvering Object Tracking。
[0088] RGBD传感器之间对目标关节点的信息一致性估计：定义人体关节点状态对应的信息向量、信息矩阵及其信息贡献和模型概率作为信息一致性算法的交换量，每个传感器将自身估计的关节点信息向量、信息矩阵及其对应的信息贡献、模型概率发送给相邻的通讯传感器节点，并接受周围传感器的信息，利用信息一致性算法，融合周围传感器的估计结果，连续迭代数次，实现算法和估计结果的收敛。具体步骤如下：
[0089] 第一步是系统参数初始化，其中人体关节点的初始位置可通过OPENNI直接从RGBD相机的深度图像检测得出，位置的方差可依据OPENNI返回的关节点识别的置信水平确定，并依据关节运动特点设定关节的运动模型转换概率。
[0090] 第二步是多模型交互，即根据模型概率和模型转换概率计算模型之间的混合概率，再依据混合概率计算得出每个模型的混合均值和混合方差。
[0091] 第三步是信息滤波，以混合均值和混合方差为输入，计算其信息向量和信息矩阵，对线性和非线性运动模型分别采用线性信息滤波器和中心差分信息滤波器估计，根据当前深度图像检测的关节点位置升级滤波器关节点状态(信息向量和信息矩阵)和模型概率。
[0092] 第四步是基于分布式信息一致性算法的信息融合，即各传感器之间交换关节点估计信息，包括关节点状态信息向量、信息矩阵和模型概率，通过一致性算法加权迭代实现各传感器估计状态的一致性，如传感器节点i和传感器节点j是相邻通讯节点，两者之间的Metroplis权重为εi,j，则在第r次迭代其信息向量 信息矩阵 和模型概率 可由其所有相邻节点j的相应信息加权和计算得出：
[0093]
[0094] 第五步是各传感器节点基于模型概率加权和的混合输出，即利用模型概率对各个模型的估计结果进行加权求和，作为各传感器信息处理系统当前时刻的估计结果。
[0095] 如图3所示，基于彩色图像和深度图像多特征的联合数据关联方法，该方法针对多目标跟踪，包括：
[0096] 系统参数初始化；
[0097] 多模型交互；
[0098] 基于线性信息滤波器的JPDA及基于中心差分信息滤波器的JPDA；
[0099] 发送本地信息给临近传感器节点；
[0100] 接收临近传感器节点信息；
[0101] 基于马氏距离的数据关联；
[0102] 分布式信息一致性算法实现多模型结果融合。
[0103] 分布式人体行为意图识别包括：构建具有平移不变和缩放不变的人体结构特征，建立人体行为意图数据库模板，结合动态时间规整算法，实现对特定行为匹配概率的计算。
[0104] 可见，分布式人体行为意图识别，包含两部分：首先是匹配概率的融合，即融合网络内其他传感器对该行为的匹配概率，改善本地识别准确率；其次是识别结果的一致性估计，保证识别结果的全局一致。
[0105] 具体过程如下：考虑到体型的个体差异，可定义平移不变和缩放不变的关节向量夹角和上肢部分关节向量模比值作为人体行为特征。OPENNI可检测人体的15个关节点，如图5所示，经过计算，可获取关节向量夹角信息，具体包括上肢部分10组，下肢部分4组，中间连接部分6组。
[0106] 其中，关节向量及其夹角的计算可参考论文:应用Kinect的人体行为识别方法研究与系统设计。
[0107] 另外，为进一步描述上肢行为的细节部分信息，定义上肢部分关节向量之间的模比值作为特征：
[0108]
[0109] 其中 是躯干中心到头部的向量模， 和 分别是头部指向左右手的向量模、和 分别是躯干中心到左右手的向量模。关节向量夹角和向量模比值共同组成24维人体行为特征，满足平移不变和缩放不变的条件。
[0110] 在获取当前帧人体行为特征后，将其添加到人体行为特征时间序列中，利用动态时间规整算法(Dynamic Time Warping,DTW)对当前观测行为特征序列与数据库中已学习的特定行为序列模板进行匹配，计算两者之间基于卡方距离的最佳匹配相似度。对该相似度取逆，经归一化后得到匹配概率。为融合周围传感器识别结果，相邻连接传感器之间互换匹配概率信息，如第i个传感器将k时刻动作模式α对应的匹配概率 与相邻传感器节点j计算的匹配概率 进行数据交换，并依据动作模式之间的转移概率矩阵M，确定动作模式α的概率值
[0111]
[0112] 其中η(k)是归一化因子，M(β,α)是动作模式β和动作模式α之间的转移概率值。
[0113] 最后，将每个传感器的动作模式概率值作为一致性信息量与相邻传感器再一次数据交换，经过一致性迭代运算，最终相邻传感器节点的识别结果达成一致，这就构建了基于DTW的分布式行为意图识别算法。
[0114] 若最终的 大于一定阈值，则可认定当前观测目标动作序列与动作模式α匹配成功。
[0115] 移动机器人与静态传感器任务协作：两类任务需要移动机器人协作完成，一类是针对用户特定行为的机器人服务，一类是针对特定目标的近距离观测。前者需在行为识别结果基础上，结合机器人服务能力，利用合同网方法参与竞标服务,如静态传感器识别出老人摔倒动作后，机器人前去查看并提供帮助。后者则是在静态传感器对人体某个关节点估计误差较大时，发起近距离查看任务请求，由相邻移动机器人竞标该任务并执行，将观测结果发送给静态传感器。移动机器人和静态传感器之间的任务协作主要通过黑板模型完成，包含两大部分：黑板区(Black Board Field,BBF)和知识库。
[0116] 黑板区的功能是信息存储，包含局目标库、机器人状态列表、决策选择、请求序列和任务列表。全局目标库包含所跟踪目标的ID号、图像特征等信息。机器人状态列表内包含本地机器人和周围连接机器人当前状态信息。决策选择是机器人执行任务时的决策选择机制。请求序列机器人发出的任务请求，如静态机器人发出的周围动态机器人对目标机动跟踪的请求。任务列表内包含机器人当前任务和未来任务等。
[0117] 知识库的作用是包含机器人各个功能模块，如任务分配算法、信息计算、请求处理和指令发送等模块。任务分配算法是指如何分配一个特定任务给特定的机器人，如市场机制任务分配法中的招投标机制。信息计算是机器人所包含的特定信息计算能力，如对目标位置的估计、跟踪、插值计算等。请求处理是指接受其他机器人的任务请求。指令发送是指接受任务后，发送指令给低层控制单元，驱动机器人按照指令运动。
[0118] 图4显示了移动机器人黑板模型架构，而静态传感器黑板模型除不具备移动执行能力外，其他相同。黑板区会通过实时数据进行更新，进一步驱动知识库中的相应模块，如驱动合同网模块进行任务招标和投标的相关工作，可依据目标和机器人距离作为投标参数，距离近者优先中标。
[0119] 上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种
修改或
变形仍在本发明的保护范围以内。
