技术领域：
[0001] 本
发明属于护理
机器人技术领域，具体涉及一种移乘搬运护理机器人的人体姿态视觉识别。背景技术：
[0002] 我国已步入老龄化社会，目前，超过60岁的老人已超过2.3亿，且老龄化程度日益严重，伴随随着我国经济、技术的不断进步，我国市场对智能移乘搬运护理机器人的需求越来越大。环境的智能
感知与理解是移乘搬运护理机器人实现智能化的关键，而人体姿态识别是环境感知的一大关键。
[0003] 当前，人体姿态识别多是
接触式识别，通过贴点等对人体的姿态进行估算，瑞士MindMaze公司研制的MindMotion Pro设备采用深度摄像机来捕捉患者佩戴的高亮反光球的三维空间运动轨迹,并采用惯性追踪器来检测患者前臂和
手腕的旋转、伸展等动作；中国大连理工大学
专利201611272616.X采用12个
数据采集节点分别放置在人体躯干的不同
位置用于测量人体不同躯干的运动姿态；接触式测量需要患者佩戴多种
传感器或光学标志,不仅麻烦，还影响患者的运动，导致患者心理不适，不利于全自动检测的实际应用。非接触式人体姿态测量以视觉为主，彩色图人体姿态识别方法PAF(PartAffinity Field)(Cao Z,Simon T,Wei S E,et al.Realtime Multi-Person 2D Pose Estimation using PartAffinity Fields[J].2016.)实现了高
精度高可靠性的人体姿态识别，但只能提供2D
像素坐标，估算不能转到3D全局坐标；Zimmermann等人(Zimmermann C,Welschehold T,Dornhege C,et al.3D Human Pose Estimation in RGBD Images for Robotic Task Learning[J].2018.)针对服务机器人的抓取示教功能提出了基于RGBD信息的3D卷积网络，该
算法运算量大，不利于
硬件轻量化、输出实时化。当前微软推出的Kinect是护理行业的最普遍的人体姿态视觉识别类产品：日本理化研究所推出的抬举式移乘机器人RIBA(Mukai T,Hirano S,Yoshida M,et al.Tactile-based motion adjustment for the nursing-care assistant robot RIBA[C]//IEEE International Conference on Robotics&Automation.2011.)采用Kinect相机及其SDK来识别人体姿态，但基于
随机森林的该算法在人体与相机距离过近或人体被部分遮挡时可能无法识别或误识别，另一方面，Kinect SDK无法识别用户是
正面还是背面，也就是无法保证用户关节的左右方向识别。如何更加可靠得实现非接触式、近距离适应性强的实时全局人体关节位置计算是当前移乘搬运护理机器人的一大难题。发明内容：
[0004] 本发明弥补了上述方法的不足，向移乘搬运护理机器人(护理机器人的具体结构原理参见
申请号为201710340526.8的中国专利)提供了便利、准确度更高且近距离适应性强的人体关节全局坐标识别方法，并为机器人提供更精确的腋下轮廓计算，提高了腋下点的计算精度。
[0005] 本发明的技术方案是：
[0006] 一种移乘搬运护理机器人的人体姿态视觉识别方法，该方法包括人体关节识别和人体腋下识别，所述人体关节识别的步骤是：
[0007] 步骤A1:利用彩色相机采集人体的彩色图，采用PAF作为彩色图人体姿态识别的第1级神经网络，识别出人体关节彩色图像素坐标，即识别彩色图2D关节位置，得到多个关节；
[0008] 步骤A2:设置关节热图通道数量，关节热图通道数量与步骤A1的关节数量一致，利用
深度相机采集
深度图，并根据彩色相机和深度相机模型参数将步骤A1的关节彩色图像素坐标映射到深度图中，获得关节深度图坐标，根据关节深度图坐标生成与关节数目相同的多个关节热图；
[0009] 步骤A3:建立改进ResNet的第2级神经网络，将关节热图和深度图输入到基于ResNet的第2级神经网络，得到人体关节U-V-Z坐标；再结合深度相机参数对坐标进行转换，得出人体关节X-Y-Z坐标，即人体关节全局3D坐标；
[0010] 步骤A4:对步骤A3中改进ResNet的第2级神经网络进行参数训练：
[0011] 采用开源数据集ITOP作为训练集，该训练集提供包含人体的深度图以及深度图中人体关节实际像素坐标、全局坐标，在实际深度图中实际人体关节像素坐标
基础上随机偏移0到8个像素，作为由步骤A2计算得来的深度图人体关节像素坐标，进而模拟出多个关节热图；
[0012] 将上述的深度图与相应的多个关节热图输入到改进ResNet的第2级神经网络中，输出训练的人体关节U-V-Z坐标，对训练的人体关节U-V-Z坐标进行映射，计算训练的人体关节X-Y-Z坐标，并采用最小均方差计算作为训练的损失函数，计算真实人体关节X-Y-Z坐标与训练的X-Y-Z坐标间的偏差，为第2级神经网络的训练提供训练损失值，训练完成后，最终完成基于PAF和改进ResNet的双级
串联神经网络的搭建；
[0013] 步骤A5:将待识别的人体姿态的彩色图像及
深度图像输入到基于PAF和改进ResNet的双级串联神经网络中，即可输出人体关节U-V-Z坐标，再根据深度相机参数进行映射，计算待识别的人体关节的X-Y-Z坐标，输出人体关节全局坐标，完成对当前人的识别；
[0014] 所述人体腋下识别的步骤是：
[0015] 步骤B1:在步骤A2中的关节深度图坐标中选取出人体双手、双肘关节点的深度图坐标，以同侧手、肘关节为研究对象，选择同侧手、肘关节连接的中点作为起点，若为左侧手肘中点，则基于索贝尔梯度算法向右寻找同纵坐标的腋下轮廓起始点a及腋下轮廓结束点b，若为右侧手肘中点，则基于索贝尔梯度算法向左寻找同纵坐标的腋下轮廓起始点a及腋下轮廓结束点b；
[0016] 步骤B2:以腋下轮廓起始点a为起点，利用最近邻虫随法对深度图进行腋下边缘追踪，得到从腋下轮廓起始点a到腋下轮廓结束点b的腋下轮廓点序列；
[0017] 步骤B3:基于步骤B2得到的腋下轮廓点序列，采用Graham凸包算法拟合得到更精确地腋下形状，计算出腋下形心，将腋下形心作为
机器人手臂腋下插入点，至此完成人体姿态视觉识别。
[0018] 与
现有技术相比，本发明的有益效果是：
[0019] 本发明利用基于RGBD(彩色图RGB+深度图Depth)的双级网络(第1级神经网络为PAF，第2级神经网络为改进的ResNet)实现了近距离更高精度的识别，对通常用来分类的ResNet网络改进，
修改其输入、输出结构，使其能处理人体关节识别问题，作为第2级神经网络，与现有方法相比得到了更高的精度。本发明提出的最近邻虫随法在仅依赖两关节坐标的情况下，自动追踪到人体腋下轮廓，进一步利用凸包算法修复腋下轮廓，最后得到腋下中心即腋下点，该腋下点识别方法在降低了腋下点对关节位置的依赖的同时，提高了准确性。
[0020] 移乘搬运机器人工作在复杂家庭环境中，周边环境干扰多，本发明的家庭环境适应性更好，在实验中，人体关节全局坐标识别精度可达92.8％。与相关研究相比，本发明近距离人体关节全局坐标识别精度更高，达到了92.0％，可以更精确地为移乘搬运机器人提供近距离的人体3D位置，更好地保障人机安全；根据移乘搬运护理机器人的抱人需要，本发明实现了人体腋下点识别，精度达到了92.7％，为机器人手臂抱人提供了基础。
附图说明
[0021] 图1是移乘搬运护理机器人的实物图。
[0022] 图2是人体关节点的位置示意图。
[0023] 图3是本发明移乘搬运护理机器人的人体姿态视觉识别方法的流程示意图。
[0024] 图4是第2级神经网络的网络架构图。
[0025] 图5是人体关节点识别结果图。
[0026] 图6是人体腋下识别结果图。
[0027] 图7是移乘搬运护理机器人控制架构图。
具体实施方式
[0028] 下面结合
实施例及附图进一步解释本发明，但并不以此作为对本申请保护范围的限定。
[0029] 本发明一种移乘搬运护理机器人的人体姿态视觉识别方法，该方法包括人体关节识别和人体腋下识别，所述人体关节识别的步骤是：
[0030] 步骤A1:利用彩色相机采集人体的彩色图，采用PAF作为彩色图人体姿态识别的第1级神经网络，识别出人体关节彩色图像素坐标，即识别彩色图2D关节位置，得到多个关节；
[0031] 步骤A2:设置关节热图通道数量，关节热图通道数量与步骤A1的关节数量一致，利用深度相机采集深度图，并根据彩色相机和深度相机模型参数将步骤A1的关节彩色图像素坐标映射到深度图中，获得关节深度图坐标，根据关节深度图坐标生成与关节数目相同的多个关节热图；
[0032] 步骤A3:建立改进ResNet的第2级神经网络，将关节热图和深度图输入到基于ResNet的第2级神经网络，得到人体关节U-V-Z(U、V为像素坐标，Z为深度即距离值)坐标；再结合深度相机参数对坐标进行转换，得出人体关节X-Y-Z坐标(X、Y、Z为全局坐标，其中Z为深度即距离值)，即人体关节全局3D坐标；
[0033] 上述人体关节U-V-Z坐标的计算过程是：
[0034] 将深度图先经过一个卷积核尺寸为1*1,初始值为1，数目为3的卷积层卷积，再输入预先训练的ResNet50第一层；
[0035] 将多个关节热图输入到用白噪声重新初始化的ResNet50第一层，两个ResNet50第一层的结构均为卷积核尺寸7*7，数目为64，步长为2的卷积层；
[0036] 深度图和关节热图这两类数据分别经过相应的ResNet50第一层处理后，堆叠输入预训练ResNet50第二层，ResNet50第二层为最大
池化层，最大池化层的卷积核为3*3，步长为2；经过ResNet50内部处理后，最后将全连接FC1000后添加三倍于关节数量的全连接层FC45，最终输出人体3D姿态位置，即输出人体关节U-V-Z坐标；
[0037] 步骤A4:对步骤A3中改进ResNet的第2级神经网络进行参数训练：
[0038] 采用开源数据集ITOP作为训练集，该训练集提供包含人体的深度图以及深度图中人体关节实际像素坐标、全局坐标(全局坐标即真实人体关节X-Y-Z坐标)，但不包括彩色图数据，因此在实际深度图中实际人体关节像素坐标基础上随机偏移0到8个像素，作为由步骤A2计算得来的深度图人体关节像素坐标，进而模拟出多个关节热图；
[0039] 将上述的深度图与相应的多个关节热图输入到改进ResNet的第2级神经网络中，输出训练的人体关节U-V-Z坐标，对训练的人体关节U-V-Z坐标进行映射，计算训练的人体关节X-Y-Z坐标，并采用最小均方差计算作为训练的损失函数，计算真实人体关节X-Y-Z坐标与训练的X-Y-Z坐标间的偏差，为第2级神经网络的训练提供训练损失值，训练完成后，最终完成基于PAF和改进ResNet的双级串联神经网络的搭建；
[0040] 步骤A5:将待识别的人体姿态的彩色图像及深度图像输入到基于PAF和改进ResNet的双级串联神经网络中，即可输出人体关节U-V-Z坐标，再根据深度相机参数进行映射，计算待识别的人体关节的X-Y-Z坐标，输出人体关节全局坐标，完成对当前人的识别。
[0041] 所述人体腋下识别的步骤是：
[0042] 步骤B1:在步骤A2中的关节深度图坐标中选取出人体双手、双肘关节点的深度图坐标，以同侧手、肘关节为研究对象，选择同侧手、肘关节连接的中点作为起点，若为左侧手肘中点，则基于索贝尔梯度算法向右寻找同纵坐标的腋下轮廓起始点a及腋下轮廓结束点b，若为右侧手肘中点，则基于索贝尔梯度算法向左寻找同纵坐标的腋下轮廓起始点a及腋下轮廓结束点b；
[0043] 步骤B2:以腋下轮廓起始点a为起点，利用最近邻虫随法对深度图腋下边缘进行追踪，得到从腋下轮廓起始点a到腋下轮廓结束点b的腋下轮廓点序列；
[0044] 步骤B3:基于步骤B2得到的腋下轮廓点序列，采用Graham凸包算法拟合得到更精确地腋下形状，计算出腋下形心，将腋下形心作为机器人手臂腋下插入点，至此完成人体腋下识别。
[0045] 所述最近邻虫随法的过程是，即从腋下轮廓起始点a出发，首先根据最近邻法则筛选出该点八邻域内的像素值相似点，即人体前景点，去除背景点，再结合虫随法判断八邻域内的人体前景点中的边缘点，以此类推，依次追踪轮廓点，直到追踪到腋下轮廓结束点b为止，得到腋下轮廓点序列C＝(c0,c1,...,ci,...,cm),其中ci＝(xi，yi)(xi,yi是第i个轮廓点的像素坐标，m为轮廓点数目，i＝1、2、…、m)，c0＝a,cm＝b。该方法避免了对关节点识别的过度依赖，仅仅依靠两个关节点识别，增强了轮廓追踪法的健壮性，具备优异的实时性。
[0046] 机器人
软件硬件结构如图7所示。机器人顶部安装有科大讯飞6麦克
风环形阵列模
块，机器人采用麦克风环形阵列来采集用户语音，首先利用声音处理模块对用户的语音进行识别，判断用户是否说出机器人唤醒词，如果用户说出特定词汇，则唤醒机器人，并进一步分析阵列中不同麦克风的
相位差，测定用户与机器人之间的
角度。
[0047] 采用Delta Tau Data System公司推出的Turbo PMAC Clipper运动控制卡作为运动控
制模块，通过运动
控制模块，机器人控制
电机系统依照人机角度原地自转，实现面向用户。
[0048] RGBD
图像采集系统由深度相机和彩色相机构成，彩色相机、深度相机均设置在机器人顶部。机器人转向用户后，在进行姿态识别之前，升起摄像头，打开摄像头，同时开始采集图片，启动人体姿态视觉识别方法，即人体姿态识别模块。人体姿态视觉识别方法中第1级神经网络负责处理彩色图像，估算出彩色图中人体各关节位置，将彩色图位置转换到深度图，生成与关节数目相同的(15张)关节热图，与深度图一起输入到基于PAF和改进ResNet的双级串联神经网络，实现了实时全局坐标的人体姿态识别。机器人根据人体位置的实时检测、
激光雷达(安装在机器人正面的中下部)采集的信息与基于SLAM的路径规划模块，实现实时规划移动路径，进而移动到人的正前方。
[0049] 机器人与用户近距离正面相对，距离550mm，此时机器人开始识别用户腋下位置，为抱人提供手臂插入位置。机器人继续向用户移动至距离110mm，伸出
脚轮以
支撑机器人平衡，往用户腋下插入手臂，调整胸部支撑并提升手臂将人抬起。实时安全保障模块根据胸部支撑、手臂安装的触觉传感器(
力传感器)的反馈信息以及识别出的人体姿态信息，基于实时安全保障模块与各模块间的实时通信，对反馈信息进行融合分析，做出安全评估，并对机器人的动作做出规划，实现实时调整手臂和胸靠，将人抱起，最后升起座椅，收紧护腰，完成抱人工作。
[0050] 采用HOKUYO-UTM-30LX型号的激光雷达，基于激光雷达与路径规划模块，机器人自主规划移动路径，驶向目的地，如
马桶、床等，在目标位置打开护腰放下用户，完成移乘工作，进入休眠状态。
[0051] 实施例
[0052] 定义人体姿态,如图2所示，共15个关节点(根据需求设置人体姿态关节点数量)，为实现对人的近距离姿态视觉识别的技术方案是：充分利用RGBD信息，利用第1神经网络估算彩色图人体关节像素坐标，实现人体关节识别算法对近距离人体姿态的适应性，进而通过基于深度图和关节热图的第2级神经网络对第1级神经网络的关节2D坐标估算进行维度抬升、精度优化，给出3D人体姿态。本
发明人体关节识别算法的流程如图3所示。
[0053] 为实现对彩色图人体姿态的估算，本发明在第1级神经网络中采用已有的高鲁棒性算法PAF，为第2级神经网络提供初始的人体关节像素坐标。
[0054] 为实现彩色图关节像素坐标到深度图的映射，本发明首先将深度图像素
坐标系映射到全局坐标系，进而映射到彩色图像素坐标系，反向得到彩色图与深度图的映射关系。
[0055] 为实现如图5(图中数字为人体关节与相机间的距离，单位为毫米)所示的三维人体姿态的识别，基于已知的关节深度图像素坐标，以该位置为中心生成与深度图尺寸相同的高斯图像，即关节热图，其中热图数目与关节数目相同。将深度图和关节热图堆叠输入第2级神经网络。本发明采用预训练ResNet50(50层的ResNet)的改进网络作为第2级神经网络，如图4所示，其中卷积层代号为Conv a*b-c/d，a、b为卷积层尺寸，c为卷积层个数，d为步长，Maxpool e*f/g为最大池化层，e、f为池化尺寸，g为步长，FC h为全连接层，h为其节点数。为使网络能够容纳关节热图和深度图，对预训练ResNet50和输入信息进行调整：1.深度图输入第一层ResNet50之前，先经过一个卷积核尺寸为1*1,初始值为1，数目为3的卷积层卷积，再输入预先训练的ResNet50第一层；2.关节热图为15通道，将其输入到用白噪声重新初始化的ResNet50第一层。3.两类数据经过第一层网络处理后，堆叠输入预训练ResNet50第二层。4.将全连接FC1000后添加45(3*15)个节点的全连接层，以输出人体U-V-Z坐标。
[0056] 第2级神经网络训练：采用开源数据集ITOP作为训练集，该数据集提供包含人体的深度图以及深度图中人体关节实际像素坐标、全局坐标，但不包括彩色图数据，因此本发明在训练第2级神经网络中，忽略第1级神经网络，在实际深度图中实际人体关节像素坐标基础上随机偏移0到8个像素，作为第1级网络计算得来的深度图人体关节像素坐标。对第2级神经网络输出的人体关节U-V-Z坐标进行映射，计算其X-Y-Z坐标，并采用最小均方差计算作为训练的损失函数，计算训练的X-Y-Z坐标与实际坐标的偏差，为第2级神经网络的训练提供训练损失值，完成训练后构建出基于PAF和改进ResNet的双级串联
卷积神经网络。
[0057] 在人体关节位置计算中，根据深度相机模型，对双级串联神经网络输出的人体关节U-V-Z坐标进行映射，计算人体关节X-Y-Z坐标，输出人体关节全局坐标。
[0058] 为了向移乘搬运护理机器人提供手臂腋下插入位置，本发明首先计算深度图中某一侧人体肘关节与手关节的中点坐标o(xo,yo)，以该点为起点，纵向坐标不变，改变横坐标，向人体另一侧逐点计算索贝尔梯度值，其中最先超过梯度
阈值的两个点就是人体腋下轮廓点，定义第一个寻找到的腋下点为腋下轮廓起始点a,第二个寻找到的腋下点为腋下轮廓结束点b。
[0059] 考虑到腋下轮廓的实际生理形状可视为凸包，因此本发明对腋下轮廓点序列C进行Graham凸包拟合，首先选择C序列点中纵坐标最小的点作为p0,以p0为坐标原点定义凸包坐标系，并按凸包坐标系中各轮廓点的极角大小从小到大进行排序编号，得到排序轮廓点p0,p1,...,pi,...,pk，其中，p0,p1显然是凸包的
顶点。
[0060] 定义p0,p1为t0,t1(p是轮廓点，t是凸包点，不是每一个轮廓点都是凸包点，但凸包点都是轮廓点，其中p0、p1一定是凸包点，故定义p0,p1为t0,t1)，凸包按编号顺序判断是否为凸包上的点，首先判断p2是否为凸包顶点，t0t1叉乘t1p2是否大于0：
[0061] 1.>0：t1p2在t0t1夹角小于180°，此时t1p2在t0t1的左边，满足凸多边形定义，p2为凸包顶点。
[0062] 2.＝0：t1p2在t0t1共线，如果两向量同向则满足多边形定义，p2为凸包顶点，反之p2不是凸包顶点返回步骤，重新判断下一点是否为凸包顶点t。
[0063] 3.<0：t1p2在t0t1夹角大于180°，p2不是凸包顶点t，返回步骤，重新判断下一点是否为凸包顶点。
[0064] 如果p2为凸包顶点，连接p2,p3，如果向量p2p3在p1p2左边，则满足凸包定义，p3为凸包顶点t，如果进一步连接p3,p4的时候，发现不满足凸包定义了，此时要放弃p3,从p2、p4开始寻找满足要求的凸包顶点t。
[0065] 以此类推，直到回到p0点。得到凸包顶点序列T＝(t0,t1,...,tj,...tn)，n≤k，n、k均为整数，进而求出凸包顶点坐标均值(xa,ya),即凸包形心，作为人体腋下点。腋下点计算如图6所示(图中数字为人体关节与相机的距离，单位为毫米)，其中浅灰色圆点为肘关节、手关节的中点，浅灰色圆点的
水平线上的两黑点为腋下轮廓起始点a、腋下轮廓结束点b两点，位于腋下的浅灰色粗线轮廓为追踪得到的轮廓即腋下轮廓，腋下轮廓外围白色细线轮廓为凸包拟合后的轮廓，即凸包轮廓，中间黑色大圆点为得到的腋下点。
[0066] 1.在用户距离为550-3500mm的移乘搬运机器人工作环境中，本发明测试了600张图片，可得人体关节识别精度可达92.8％，本发明健壮性强，可靠性高，可以满足机器人的实际需求。
[0067] 2.对与用户距离为550-800mm的环境中，测试本发明的近距离人体识别，测试350张图片，本发明近距离人体关节全局坐标识别精度达到了92.0％，比同类方法精度更高，保障了机器人距离用户过近时的安全性。
[0068] 3.对与用户距离为550-800mm的环境下，测试150张图片，可得本发明腋下点识别精度为92.7％，计算精度更高，可以更好地协助机器人向用户腋下插入手臂、规划手臂抱人路径。
[0069] 本发明在充分利用RGBD信息的同时，考虑到ResNet在避免
自学习过拟合的同时增加了卷积层，泛化能力非常强大，对ResNet进行优化改进，使其适合人体姿态识别：改进其输入卷积层，可以同时提取深度图特征和关节热图特征，改进输出全连接层结构，以输出15个关节的45(15*3)个U-V-Z坐标；最后提出一种基于PAF和改进ResNet的双级串联神经网络来实现人体姿态的视觉识别。另一方面，本发明提出了最近邻虫随法，利用最近邻方法筛选出周围临域中人体
前景像素点，利用虫随法追踪轮廓，实现基于两个关节点位置的人体腋下轮廓追踪，进而利用Graham凸包算法拟合腋下轮廓，使计算轮廓更接近生理腋下轮廓，最后对轮廓点坐标求取均值，得到腋下点。
[0070] 本发明未述及之处适用于现有技术。
