技术领域
[0001] 本
发明涉及行人轨迹预测技术领域，尤其涉及一种基于社交网络模型的机器人对行人轨迹预测的方法。
背景技术
[0002] 随着
机器人技术的发展和机器人的普及，现代机器人将与人共处同一工作或生活空间。人类是智慧体，在运动的过程中，人类会精准避开障碍物，选择最优的行走路线，因此现代机器人也需要具备合理规划路径的能
力，这样可以更好的融入人类的生活空间，提高人类对于机器人的好感度。
[0003]
现有技术中，机器人对移动的障碍物的避让效果差，因此，机器人不能精准的到达
指定地点，机器人的产生是为了代替人类进行一些难度大的工作，机器人不能精准的到达指定地点时会降低机器人的工作效率，同时，机器人无法提前对行人运动轨迹进行预测而导致机器人路径规划精确度低，在机器人移动的过程中会与行人等障碍物发生不必要的碰撞。
[0004] 针对以上技术问题，本发明公开了一种基于社交网络模型的机器人对行人轨迹预测的方法，本发明具有提高机器人对行人轨迹预测的精确度、合理避让障碍物、提高机器人的工作效率等优点。
发明内容
[0005] 本发明的目的在于克服现有技术的不足，提供了一种基于社交网络模型的机器人对行人轨迹预测的方法，以解决现有技术中机器人无法提前对行人运动轨迹进行预测而导致机器人路径规划精确度低，对移动到的障碍物避让效果差，工作效率低等技术问题，本发明具有提高机器人对行人轨迹预测的精确度、合理避让障碍物、提高机器人的工作效率等优点。
[0006] 本发明通过以下技术方案实现：本发明公开了一种基于社交网络模型的机器人对行人轨迹预测的方法，包括以下步骤：
[0007] 步骤一：构建行人目标检测模型，目标检测模
块通过机器人搭载的
传感器采集到的数据进行行人目标检测，获取行人目标的
位置，构建行人目标检测模型；
[0008] 步骤二：构建行人目标
跟踪模型，目标跟踪模块实时对行人目标检测模型检测到的行人目标进行实时跟踪和位置更新并输出行人目标的实时位置，构建行人目标跟踪模型；
[0009] 步骤三：生成行人目标实时运动轨迹，轨迹生成模块根据目标跟踪模型输出的行人目标的实时位置和行人目标的速度和方向的预测值在机器人移动的
检测区域内生成行人目标实时运动轨迹；
[0010] 步骤四：构建社交网络轨迹
预测模型，轨迹预测模块获取行人目标实时运动轨迹并输入到第一
深度学习网络模型中，通过第一深度学习网络模型学习行人目标在运动时相互影响的规律，输出轨迹预测模块预测出的行人目标下一刻的运动轨迹，构建社交网络轨迹预测模型；
[0011] 步骤五：规划机器人合理的运动路径，机器人中的路径规划模块根据行人目标跟踪模型检测到的行人目标的实时位置和社交网络轨迹预测模型预测出的行人目标下一刻的运动轨迹规划出机器人合理的运动路径。
[0012] 进一步的，为了让行人目标检测模型对行人目标进行更好的检测，步骤一中，传感器为视觉传感器、激光传感器、
超声波传感器和红外传感器四者中的一种或者多种。其中，视觉传感器的摄像头中的感光元件选用索尼品牌下的IMX291型号，镜头选用视场
角约90度的广角镜头，激光传感器搭载SICK的2D或3D
激光雷达，索尼品牌下IMX291型号的感光元件在暗光下的成像效果更好，提高行人目标检测模型检测的效果。
[0013] 进一步的，为了精确构建行人目标检测模型，步骤一中，获取行人目标位置具体包括如下步骤：
[0014] 首先，目标检测模块获取行人目标与目标检测模块之间的距离和行人目标的腿部与目标检测模块之间的距离两者中的一种或者两种；
[0015] 然后，目标检测模块根据行人目标与目标检测模块之间的距离和行人目标的腿部与目标检测模块之间的距离两者中的一种或两种结合进行估算获得行人目标的位置，构建行人目标检测模型，当通过行人目标与目标检测模块之间的距离和行人目标的腿部与目标检测模块之间的距离结合进行估算得到行人目标的位置时更加准确，具体步骤为，目标检测模块根据行人目标与目标检测模块之间的距离计算得到行人目标的坐标，通过行人目标腿部与目标检测模块之间的距离计算得到行人腿部的坐标，并将两个坐标汇统到同一
坐标系中进行校准，获取行人目标的准确位置。
[0016] 进一步的，为了准确获取行人目标与目标检测模块之间的距离，目标检测模块获取行人目标与目标检测模块之间的距离具体包括如下步骤：
[0017] 首先，目标检测模块获取视觉传感器采集到的行人目标的图像数据和身高数据；
[0018] 然后，目标检测模块利用第二深度学习网络模型检测出图像数据中的行人目标；
[0019] 最后，目标检测模块结合检测到的行人目标和身高数据估算行人目标与目标检测模块之间的距离。
[0020] 进一步的，为了准确获取行人目标的腿部与目标检测模块之间的距离，目标检测模块获取行人目标的腿部与目标检测模块之间的距离具体包括如下步骤：
[0021] 首先，目标检测模块获取激光传感器射到行人目标腿部返回的激光、
超声波传感器射到行人目标腿部返回的超声波和红外传感器射到行人目标腿部返回的红外线三者中的一种或者多种，并且转换成二值图像；
[0022] 然后，目标检测模块结合机器人移动目标区域的中心坐标与获取的二值图像估算行人目标腿部与目标检测模块之间的距离。
[0023] 进一步的，为了提高行人目标检测模型的检测效果，第二深度学习网络模型为YOLO网络模型和SSD网络模型两者中的一种或多种。
[0024] 进一步的，为了更好的构建准确的行人目标跟踪模型，步骤一中，构建行人目标跟踪模型具体包括如下步骤：
[0025] 首先，目标跟踪模块同步传感器的时间戳；
[0026] 然后，目标跟踪模块计算相邻
信号的特征距离并进行卡尔曼滤波，特征距离包括时间戳距离、图像灰度直方图距离、图像估算位置距离、激光雷达估算位置距离和检测框面积交并比距离；
[0027] 最后，目标跟踪模块将时间戳与特征距离进行逐一匹配，进行行人目标的实时跟踪和位置更新，同时输出行人目标的速度和方向的预测值，构建行人目标跟踪模型。
[0028] 进一步的，为了提高社交网络模型预测出的行人轨迹的准确性，第一深度学习网络模型为LSTM网络模型、RNN网络模型或者ResNet网络模型。
[0029] 本发明具有以下优点：本发明通过行人检测跟踪和基于社交网络模型的轨迹预测技术，首先构建行人目标检测模型，通过行人目标检测模型检测到的行人目标进行实时跟踪，生成行人目标的实时运动轨迹，再结合社交网络轨迹预测模型预测出的行人目标下一刻的运动轨迹，进行合理的路径规划，精准对行人的轨迹进行预测，很好的解决了机器人在行走过程中与周围行人间的礼让和效率问题，做到了机器人与人在同一工作和生活空间中和谐相处，对机器人未来进入人类社会的普及具有实质性的意义。
附图说明
[0030] 图1为本发明基于社交网络模型的机器人对行人轨迹预测的方法
流程图；
[0031] 图2为
实施例2中获取行人目标的位置具体步骤示意图。
具体实施方式
[0032] 下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0033] 实施例1
[0034] 实施例1公开了一种基于社交网络模型的机器人对行人轨迹预测的方法，包括以下步骤：
[0035] 步骤101：构建行人目标检测模型，目标检测模块通过机器人搭载的传感器采集到的数据进行行人目标检测，获取行人目标的位置，构建行人目标检测模型，传感器为视觉传感器，获取行人目标的位置具体包括如下步骤：
[0036] 首先，目标检测模块获取行人目标与目标检测模块之间的距离；
[0037] 然后，目标检测模块根据行人目标与目标检测模块之间的距离估算得到行人目标的位置，构建行人目标检测模型；
[0038] 其中，目标检测模块获取行人目标与目标检测模块之间的距离具体包括如下步骤：
[0039] 首先，目标检测模块获取视觉传感器采集到的行人目标的图像数据和身高数据；
[0040] 然后，目标检测模块利用第二深度学习网络模型检测出图像数据中的行人目标，其中，第二深度学习网络模型为YOLO网络模型；
[0041] 最后，目标检测模块结合检测到的行人目标和身高数据估算行人目标与目标检测模块之间的距离；
[0042] 步骤102：构建行人目标跟踪模型，目标跟踪模块实时对行人目标检测模型检测到的行人目标的进行实时跟踪和位置更新并输出行人目标的实时位置，构建行人目标跟踪模型，构建行人目标跟踪模型具体包括如下步骤：
[0043] 首先，目标跟踪模块同步传感器的时间戳；
[0044] 然后，目标跟踪模块计算相邻信号的特征距离，并进行卡尔曼滤波，特征距离包括时间戳距离、图像灰度直方图距离、图像估算位置距离和检测框面积交并比距离；
[0045] 最后，目标跟踪模块将时间戳与特征距离进行逐一匹配，进行行人目标的实时跟踪和位置更新，同时输出行人目标的速度和方向的预测值；
[0046] 步骤103：生成行人目标实时运动轨迹，轨迹生成模块根据目标跟踪模型输出的行人目标的实时位置和行人目标的速度和方向的预测值在机器人移动的检测区域内生成行人目标实时运动轨迹；
[0047] 步骤104：构建社交网络轨迹预测模型，轨迹预测模块获取行人目标实时运动轨迹并输入到第一深度学习网络模型中，通过第一深度学习网络模型学习行人目标在运动时相互影响的规律，输出轨迹预测模块预测出的行人目标下一刻的运动轨迹，构建社交网络轨迹预测模型，其中，第一深度学习网络模型为LSTM网络模型；
[0048] 步骤105：规划机器人合理的运动路径，机器人中的路径规划模块根据行人目标跟踪模型检测到的行人目标的实时位置和社交网络轨迹预测模型预测出的行人目标下一刻的运动轨迹规划出机器人合理的运动路径。
[0049] 本发明通过行人检测跟踪和基于社交网络模型的轨迹预测技术，首先构建行人目标检测模型，通过行人目标检测模型检测到的行人目标进行实时跟踪，生成行人目标的实时运动轨迹，再结合社交网络轨迹预测模型预测出的行人目标下一刻的运动轨迹，进行合理的路径规划，精准对行人的轨迹进行预测，很好的解决了机器人在行走过程中与周围行人间的礼让和效率问题，做到了机器人与人在同一工作和生活空间中和谐相处，对机器人未来进入人类社会的普及具有实质性的意义。
[0050] 实施例2
[0051] 实施例2公开了一种基于社交网络模型的机器人对行人轨迹预测的方法，如图1所示，包括以下步骤：
[0052] 步骤101：构建行人目标检测模型，目标检测模块通过机器人搭载的传感器采集到的数据进行行人目标检测，构建行人目标检测模型，传感器为视觉传感器和激光传感器；
[0053] 步骤102：构建行人目标跟踪模型，目标跟踪模块实时对行人目标检测模型检测到的行人目标的进行实时跟踪和位置更新并输出行人目标的实时位置，构建行人目标跟踪模型，构建行人目标跟踪模型具体包括如下步骤：
[0054] 首先，目标跟踪模块同步传感器的时间戳；
[0055] 然后，目标跟踪模块计算相邻信号的特征距离，并进行卡尔曼滤波，特征距离包括时间戳距离、图像灰度直方图距离、图像估算位置距离、激光雷达估算位置距离和检测框面积交并比距离；
[0056] 最后，目标跟踪模块将时间戳与特征距离进行逐一匹配，进行行人目标的实时跟踪和位置更新，同时输出行人目标的速度和方向的预测值；
[0057] 步骤103：生成行人目标实时运动轨迹，轨迹生成模块根据目标跟踪模型输出的行人目标的实时位置和行人目标的速度和方向的预测值在机器人移动的检测区域内生成行人目标实时运动轨迹；
[0058] 步骤104：构建社交网络轨迹预测模型，轨迹预测模块获取行人目标实时运动轨迹并输入到第一深度学习网络模型中，通过第一深度学习网络模型学习行人目标在运动时相互影响的规律，输出轨迹预测模块预测出的行人目标下一刻的运动轨迹，构建社交网络轨迹预测模型，其中，第一深度学习网络模型为ResNet网络模型；
[0059] 步骤105：规划机器人合理的运动路径，机器人中的路径规划模块根据行人目标跟踪模型检测到的行人目标的实时位置和社交网络轨迹预测模型预测出的行人目标下一刻的运动轨迹规划出机器人合理的运动路径。
[0060] 如图2所示，获取行人目标位置具体包括如下步骤：
[0061] 首先，目标检测模块获取行人目标与目标检测模块之间的距离和行人目标的腿部与目标检测模块之间的距离；
[0062] 然后，目标检测模块根据行人目标与目标检测模块之间的距离和行人目标的腿部与目标检测模块之间的距离估算得到行人目标的位置信息，构建行人目标检测模型，具体为目标检测模块分别根据行人目标和目标检测模块之间的距离和行人目标的腿部与目标检测模块之间的距离获取行人目标的坐标和行人目标腿部的坐标，并将两个坐标汇统到同一坐标系中进行数据联合，准确获取行人目标的位置，通过视觉传感器和激光传感器同时进行检测，可以使获取的行人目标的位置更加准确；
[0063] 其中，目标检测模块获取行人目标与目标检测模块之间的距离具体包括如下步骤：
[0064] 首先，目标检测模块获取视觉传感器采集到的行人目标的图像数据和身高数据；
[0065] 然后，目标检测模块利用第二深度学习网络模型检测出图像数据中的行人目标，其中，第二深度学习网络模型为SSD网络模型；
[0066] 最后，目标检测模块结合检测到的行人目标和身高数据估算行人目标与目标检测模块之间的距离；
[0067] 目标检测模块获取行人目标的腿部与目标检测模块之间的距离具体包括如下步骤：
[0068] 首先，目标检测模块获取激光传感器射到行人目标腿部返回的激光、
超声波传感器射到行人目标腿部返回的超声波和红外传感器射到行人目标腿部返回的红外线三者中的一种或者多种，并且转换成二值图像；
[0069] 然后，目标检测模块结合机器人移动目标区域的中心坐标与获取的二值图像估算行人目标腿部与目标检测模块之间的距离。
[0070] 本发明通过行人检测跟踪和基于社交网络模型的轨迹预测技术，首先构建行人目标检测模型，通过行人目标检测模型检测到的行人目标进行实时跟踪，生成行人目标的实时运动轨迹，再结合社交网络轨迹预测模型预测出的行人目标下一刻的运动轨迹，进行合理的路径规划，精准对行人的轨迹进行预测，很好的解决了机器人在行走过程中与周围行人间的礼让和效率问题，做到了机器人与人在同一工作和生活空间中和谐相处，对机器人未来进入人类社会的普及具有实质性的意义。
