基于视觉的物流系统中路径规划方法、装置和电子设备 |
|||||||
| 申请号 | CN202410009844.6 | 申请日 | 2024-01-04 | 公开(公告)号 | CN117539266B | 公开(公告)日 | 2024-04-19 |
| 申请人 | 珠海市格努科技有限公司; 电子科技大学; | 发明人 | 王鑫; 舒子珊; 彭举彬; 李大琳; 苏洋; | ||||
| 摘要 | 本 发明 实施例 提供一种基于视觉的物流系统中路径规划方法、装置和 电子 设备，方法包括：获取智能物流 机器人 的目标 位置 和第一状态数据，将第一状态数据输入至动作 定位 模型，得到备选动作集合；动作定位模型包括第一长短时记忆网络层；针对备选动作集合中的每个备选动作参数，将每个备选动作参数和第一状态数据输入评估模型，输出初始评估参数；基于初始评估参数和历史评估参数，得到备选动作参数对应的评估参数；将评估参数发送至动作定位模型，基于评估参数，动作定位模型从备选动作集合中确定目标动作参数，控制智能物流机器人按照目标动作参数对应的目标移动动作移动。该方式保证智能物流机器人前后动作之间的相关性，提高机器人的通行效率。 | ||||||
| 权利要求 | 1.一种基于视觉的物流系统中路径规划方法，其特征在于，所述物流系统包括智能物流机器人；所述智能物流机器人位于目标场地中，所述目标场地设置有障碍物；所述智能物流机器人通过视觉探测模块与周围环境进行交互；所述方法包括： |
||||||
| 说明书全文 | 基于视觉的物流系统中路径规划方法、装置和电子设备技术领域背景技术[0002] 近年来，随着人工智能的兴起，基于深度学习的路径规划方法应运而生，智能物流机器人为工厂实现智能运输功能提供了便利。现有技术中，对智能物流机器人进行路径规划时，虽然可以在不与障碍物碰撞的前提下将智能物流机器人移动到目标位置，但是由于智能物流机器人可观测的环境范围有限，只能依赖智能物流机器人的当前环境状态确定下一步的移动动作，使得智能物流机器人前后移动动作缺乏相关性，严重的话还会影响机器人的通行效率。 发明内容[0003] 有鉴于此，本发明的目的在于提供一种基于视觉的物流系统中路径规划方法、装置和电子设备，以保证智能物流机器人前后动作之间的相关性，提高机器人的通行效率。 [0004] 第一方面，本发明实施例提供了一种基于视觉的物流系统中路径规划方法，物流系统包括智能物流机器人；智能物流机器人位于目标场地中，目标场地设置有障碍物；智能物流机器人通过视觉探测模块与周围环境进行交互；该方法包括：获取智能物流机器人的目标位置和第一状态数据，其中，第一状态数据指示了当前时刻，智能物流机器人所处的第一环境状态；将第一状态数据输入至动作定位模型，得到第一状态数据对应的备选动作集合；备选动作集合中包括至少一个备选动作参数；备选动作参数用于表征智能物流机器人的备选移动动作；备选动作参数包括备选线速度参数和备选角速度参数；动作定位模型包括第一长短时记忆网络层；针对备选动作集合中的每个备选动作参数，将每个备选动作参数和第一状态数据输入评估模型，输出备选动作参数对应的初始评估参数；基于备选动作参数对应的初始评估参数和备选动作参数对应的历史评估参数，得到备选动作参数对应的评估参数；其中，评估参数用于确定第一环境状态下，智能物流机器人执行备选动作参数对应的备选移动动作的优势程度；历史评估参数根据在当前时刻之前，智能物流机器人在第一环境状态下执行备选动作参数对应的备选移动动作的执行结果确定；评估模型包括第二长短时记忆网络层；将评估参数发送至动作定位模型，基于评估参数，动作定位模型从备选动作集合中确定目标动作参数，控制智能物流机器人按照目标动作参数对应的目标移动动作向目标位置移动。 [0005] 第二方面，本发明实施例提供了一种无序抓取过程中对象的位姿估计装置，物流系统包括智能物流机器人；智能物流机器人位于目标场地中，目标场地设置有障碍物；智能物流机器人通过视觉探测模块与周围环境进行交互；该装置包括：第一获取模块，用于获取智能物流机器人的目标位置和第一状态数据，其中，第一状态数据指示了当前时刻，智能物流机器人所处的第一环境状态；第一输入模块，用于将第一状态数据输入至动作定位模型，得到第一状态数据对应的备选动作集合；备选动作集合中包括至少一个备选动作参数；备选动作参数用于表征智能物流机器人的备选移动动作；备选动作参数包括备选线速度参数和备选角速度参数；动作定位模型包括第一长短时记忆网络层；第二输入模块，用于针对备选动作集合中的每个备选动作参数，将每个备选动作参数和第一状态数据输入评估模型，输出备选动作参数对应的初始评估参数；基于备选动作参数对应的初始评估参数和备选动作参数对应的历史评估参数，得到备选动作参数对应的评估参数；其中，评估参数用于确定第一环境状态下，智能物流机器人执行备选动作参数对应的备选移动动作的优势程度；历史评估参数根据在当前时刻之前，智能物流机器人在第一环境状态下执行备选动作参数对应的备选移动动作的执行结果确定；评估模型包括第二长短时记忆网络层；第一移动模块，用于将评估参数发送至动作定位模型，基于评估参数，动作定位模型从备选动作集合中确定目标动作参数，控制智能物流机器人按照目标动作参数对应的目标移动动作向目标位置移动。 [0006] 第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述基于视觉的物流系统中路径规划方法。 [0007] 第四方面，本发明实施例提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述基于视觉的物流系统中路径规划方法。 [0008] 本发明实施例带来了以下有益效果： [0009] 本发明实施例提供了一种基于视觉的物流系统中路径规划方法、装置和电子设备，方法包括：获取智能物流机器人的目标位置和第一状态数据，其中，第一状态数据指示了当前时刻，智能物流机器人所处的第一环境状态；将第一状态数据输入至动作定位模型，得到第一状态数据对应的备选动作集合；备选动作集合中包括至少一个备选动作参数；备选动作参数用于表征智能物流机器人的备选移动动作；备选动作参数包括备选线速度参数和备选角速度参数；动作定位模型包括第一长短时记忆网络层；针对备选动作集合中的每个备选动作参数，将每个备选动作参数和第一状态数据输入评估模型，输出备选动作参数对应的初始评估参数；基于备选动作参数对应的初始评估参数和备选动作参数对应的历史评估参数，得到备选动作参数对应的评估参数；其中，评估参数用于确定第一环境状态下，智能物流机器人执行备选动作参数对应的备选移动动作的优势程度；历史评估参数根据在当前时刻之前，智能物流机器人在第一环境状态下执行备选动作参数对应的备选移动动作的执行结果确定；评估模型包括第二长短时记忆网络层；将评估参数发送至动作定位模型，基于评估参数，动作定位模型从备选动作集合中确定目标动作参数，控制智能物流机器人按照目标动作参数对应的目标移动动作向目标位置移动。 [0010] 该方式中，获取智能物流机器人的目标位置和指示智能物流机器人所处第一环境状态的第一状态数据，通过将第一状态数据输入至包含第一长短时记忆网络层的动作定位模型中，得到备选动作集合，然后，针对备选动作集合中的每个备选动作参数，将每个备选动作参数和第一状态数据输入包含第二长短时记忆网络层的评估模型，输出备选动作参数对应的初始评估参数，根据备选动作参数对应的初始评估参数和历史评估参数，得到备选动作参数对应的评估参数，最后，根据评估参数确定目标动作参数，控制智能物流机器人按照目标动作参数对应的目标移动动作向目标位置移动，该方式通过动作定位模型和评估模型，综合智能物流机器人的以往环境状态和当前环境状态，共同影响智能物流机器人执行的目标动作，保证智能物流机器人前后动作之间的相关性，提高机器人的通行效率。 [0011] 本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。 [0012] 为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。 附图说明[0013] 为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。 [0014] 图1为本发明实施例提供的一种基于视觉的物流系统中路径规划方法的流程图； [0015] 图2为本发明实施例提供的一种视觉探测模块探测范围的示意图； [0016] 图3为本发明实施例提供的一种动作定位模型的网络架构的示意图； [0017] 图4为本发明实施例提供的一种评估模型的网络架构的示意图； [0018] 图5为本发明实施例提供的一种基于视觉的物流系统中路径规划装置的示意图； [0019] 图6为本发明实施例提供的一种电子设备的结构示意图。 具体实施方式[0020] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。 [0021] 为便于对本实施例进行理解，如图1所示，首先对本发明实施例所公开的一种基于视觉的物流系统中路径规划方法进行详细介绍。在这里，物流系统可以是应用于仓库、分拣中心、以及运输途中等场景中进行货物转移、搬运等操作的智能物流机器人，包括AGV（Automated Guided Vehicle，自动导向车）机器人以及用于将物体搬运至目标位置的分拣机器人。智能物流机器人位于目标场地中，目标场地设置有障碍物，智能物流机器人通过安装在其身上的视觉探测模块探测周围环境，视觉探测模块可以是包含摄像头和光投射器辅助的视觉传感器，可以通过视觉或激光声波获取周围环境中障碍物的距离和方位信息，实现智能物流机器人的安全运动。 [0022] 步骤S102、获取智能物流机器人的目标位置和第一状态数据，其中，第一状态数据指示了当前时刻，智能物流机器人所处的第一环境状态； [0023] 上述目标位置为目标场地中智能物流机器人最终要到达的目的地。可以使用状态数据描述智能物流机器人所处的环境状态，环境状态包括智能物流机器人与周围障碍物的远近、智能物流机器人与目标场地中目标位置的位置关系、智能物流机器人当前的移动状态等。上述第一环境状态也就是当前时刻，智能物流机器人所处的环境状态，可以通过第一状态数据指示第一环境状态。 [0024] 一种方式中，第一状态数据基于历史动作参数，视觉探测模块的探测结果参数、第一距离参数，第一角度参数，第一偏航角度以及第二角度参数中的多种确定。在这里，历史动作参数是智能物流机器人最近一次执行的动作参数，历史动作参数包括历史线速度参数和历史角速度参数。视觉探测模块的探测结果参数指示了智能物流机器人与周围障碍物的距离和方位信息。示例地，以图2中的正前方0度为基础，视觉探测模块的角度探测范围为正前方‑90度到90度，探测距离最小为0.3m，最大探测距离为2m，如果智能物流机器人与障碍物的距离小于0.3m，则认为与障碍物相撞，视觉探测模块探测的信息数据包含10个角度维度，每个角度维度之间的夹角为20度，视觉探测模块的探测范围如图2所示。视觉探测模块的探测结果参数包括每个角度维度上视觉探测模块探测到的障碍物距视觉探测模块的距离，如果没有探测到障碍物，则该距离为0。第一距离参数、第一角度参数分别指示了当前智能物流机器人与目标位置的距离和夹角，第一偏航角度用于指示智能物流机器人的偏航角度。第二角度参数通过第一角度参数和第一偏航角度确定。 [0025] 本步骤中，获取智能物流机器人的目标位置和第一状态数据，其中，第一状态数据就是智能物流机器人选择备选移动动作的依据。 [0026] 步骤S104、将第一状态数据输入至动作定位模型，得到第一状态数据对应的备选动作集合；备选动作集合中包括至少一个备选动作参数；备选动作参数用于表征智能物流机器人的备选移动动作；备选动作参数包括备选线速度参数和备选角速度参数；动作定位模型包括第一长短时记忆网络层； [0027] 上述动作定位模型与评估模型连接在同一个神经网络中，动作定位模型通过输入第一状态数据获取对应的备选动作集合，评估模型接收备选动作集合中每个备选动作参数，并根据备选动作参数和第一状态数据，输出该备选动作参数对应的一个初始评估参数，初始评估参数作为评估智能物流机器人在第一状态数据对应的环境状态下，执行该备选动作参数可行性的一个初步评估结果，然后评估模型继续根据该初始评估参数和备选动作参数对应的历史评估参数，确定评估参数，评估参数指示了该备选动作参数对应的备选移动动作的优势程度。 [0028] 动作定位模型与评估模型可以连接在同一个神经网络结构中，动作定位模型可以通过对DDPG算法中的Actor网络结构进行改进得到，评估模型可以通过对DDPG算法的神经网络结构中的Critic网络结构进行改进得到。Actor网络中仅包含全连接层，而本发明中采用第一长短时记忆网络层和多个批量归一化层代替部分全连接层，得到动作定位模型。 [0029] 长短时记忆网络（LSTM，Long Short‑Term Memory）是一种具有特定结构的循环神经网络，长短时记忆网络层的输出不仅需要考虑前一时刻的输入，还需要考虑先前的信息，并且通过引了三个门控机制，利用门控机制对每一时刻的信息进行判断，并适时的对其进行调整更新，能够充分利用先前信息，适合用于处理和预测时间序列较长的应用。在这里，将第一长短时记忆网络作为动作定位模型的第一个网络层，利用长短时记忆网络能够记忆智能物流机器人过往状态数据的特点，对第一状态数据进行处理，可以综合智能物流机器人的以往状态数据和当前时刻得到的第一状态数据，保证了输出的智能物流机器人前后备选移动参数之间的相关性。而批量归一化层，可以将每层的输入数据进行缩放和平移，使激活函数的输入值更加合适，更有利于路径规划算法的稳定，提高路径规划效率，提高机器人的通行效率。 [0030] 在这里，通过一个与目标场地配置完全相同的仿真环境对智能物流机器人进行训练，该训练过程采用包含动作定位模型和评估模型的神经网络完成智能物流机器人从出发点到目标位置的路径规划。将智能物流机器人与环境交互所产生的每一条状态数据、该状态数据下实现无碰撞行驶时智能物流机器人执行的所有动作参数、智能物流机器人在执行对应的动作参数后所处的环境状态对应的状态数据、每个动作参数对应的初始评估参数、每个动作参数对应的历史评估参数组成一个经验样本，经验样本中的动作参数可以有一个或多个，将经验样本存储在指定参数存储空间中，动作定位模型和评估模型通过指定参数存储空间中的经验样本进行大量的训练并更新各个模型参数，直至到达预设最大训练次数。 [0031] 动作参数包括线速度参数和角速度参数，线速度参数可以理解为，在智能物流机器人底盘所在平面，沿从智能物流机器人前轮指向智能物流机器人后轮的维度轴直线运动的速度。角速度参数指的是，智能物流机器人绕垂直于智能物流机器人底盘所在平面的维度轴旋转的角速度。在这里，在训练完成的动作定位模型中输入第一状态数据，可以输出至少一个备选动作参数，将输出的备选数据组成备选动作集合，一个备选动作参数可以用来表征智能物流机器人的一个备选移动动作。 [0032] 步骤S106、针对备选动作集合中的每个备选动作参数，将每个备选动作参数和第一状态数据输入评估模型，输出备选动作参数对应的初始评估参数；基于备选动作参数对应的初始评估参数和备选动作参数对应的历史评估参数，得到备选动作参数对应的评估参数；其中，评估参数用于确定第一环境状态下，智能物流机器人执行备选动作参数对应的备选移动动作的优势程度；历史评估参数根据在当前时刻之前，智能物流机器人在第一环境状态下执行备选动作参数对应的备选移动动作的执行结果确定；评估模型包括第二长短时记忆网络层； [0033] 一种方式中，上述评估模型可以是对DDPG算法的神经网络结构中的Critic网络进行改进得到，评估模型也包括长短时记忆网络层，传统Critic网络中仅包含全连接层，评估模型采用第二长短时记忆网络层和优势评估模块代替部分全连接层，得到动作定位模型。一种方式中，优势评估模块可以是决斗网络模块，决斗网络模块用于通过状态评估函数和动作评估函数综合评估第一环境状态的优势程度和执行备选动作参数对应的备选移动动作后智能物流机器人所处的环境状态的优势程度。上述初始评估参数是将备选动作参数和备选动作参数输入评估模型后输出的一个结果，是对第一环境状态下执行该备选动作参数对应的备选移动动作的可行性的初步评估结果。 [0034] 考虑一个备选动作参数对应的备选移动动作是否具有执行优势，不仅需要考虑智能物流机器人当前所处的环境状态的优势程度和执行备选移动动作后智能物流机器人所处环境状态的优势程度，还需要考虑之前处于相同环境状态时，智能物流机器人执行该备选移动动作后的历史执行结果。上述历史评估参数根据在当前时刻之前，智能物流机器人在第一环境状态下执行备选动作参数对应的备选移动动作的执行结果确定。在这里，设置一个奖惩表格，该奖惩表格中保存有每个状态数据下，智能物流机器人执行不同动作参数的奖励值，奖励值根据状态数据下动作参数的执行结果确定，是对智能物流机器人实际执行结果的一个反馈；该奖励值有正有负，示例地，如果智能物流机器人在某一状态数据下，执行动作参数后达到目标位置或位于安全区域时，可以给予相应的正数的奖励值；如果智能物流机器人相同状态数据下，执行动作参数后碰到障碍物或处于危险区域时需要进行惩罚，可以给予相应负数的奖励值。在智能物流机器人在目标场地中的起始位置时，每个状态数据下的对应的动作参数的累计奖励值为初始值，当智能物流机器人在目标场地中开始移动时，获取智能物流机器人输入动作定位模型的状态数据、智能物流机器人执行的动作参数，确定该状态数据下执行该动作参数的奖励值，将该状态数据下执行该动作参数的累计奖励值与动作参数的奖励值做加和处理得到更新后的累计奖励值，这样，智能物流机器人在目标场地的移动过程中，相应的状态数据下，该动作参数的累计奖励值不断更新。对于每个备选动作参数，将上述当前时刻之前，智能物流机器人在第一环境状态下执行该备选动作参数的累计奖励值作为历史评估参数。 [0035] 本步骤中，针对动作定位模型输出的备选动作集合中的每个备选动作参数，将备选动作参数和第一状态数据组成一组，输入评估模型，输出备选动作参数对应的初始评估参数；然后，将备选动作参数对应的初始评估参数和备选动作参数对应的历史评估参数做函数运算，得到备选动作参数对应的评估参数。 [0036] 步骤S108、将评估参数发送至动作定位模型，基于评估参数，动作定位模型从备选动作集合中确定目标动作参数，控制智能物流机器人按照目标动作参数对应的目标移动动作向目标位置移动。 [0037] 将评估参数发送至动作定位模型，动作定位模型获取到每个备选动作参数对应的评估参数，从备选动作集合中确定最大评估参数对应的备选动作参数，将最大评估参数对应的备选动作参数确定为目标动作参数，控制智能物流机器人按照目标动作参数对应的目标移动动作向目标位置移动。 [0038] 如果智能物流机器人移动后还没有达到目标地点，智能物流机器人需要继续获取状态数据并根据动作定位模型和评估模型输出该状态数据下的动作参数，在目标场地中继续移动，直至到达目标位置。 [0039] 上述基于视觉的物流系统中路径规划方法，获取智能物流机器人的目标位置和第一状态数据，其中，第一状态数据指示了当前时刻，智能物流机器人所处的第一环境状态；将第一状态数据输入至动作定位模型，得到第一状态数据对应的备选动作集合；备选动作集合中包括至少一个备选动作参数；备选动作参数用于表征智能物流机器人的备选移动动作；备选动作参数包括备选线速度参数和备选角速度参数；动作定位模型包括第一长短时记忆网络层；针对备选动作集合中的每个备选动作参数，将每个备选动作参数和第一状态数据输入评估模型，输出备选动作参数对应的初始评估参数；基于备选动作参数对应的初始评估参数和备选动作参数对应的历史评估参数，得到备选动作参数对应的评估参数；其中，评估参数用于确定第一环境状态下，智能物流机器人执行备选动作参数对应的备选移动动作的优势程度；历史评估参数根据在当前时刻之前，智能物流机器人在第一环境状态下执行备选动作参数对应的备选移动动作的执行结果确定；评估模型包括第二长短时记忆网络层；将评估参数发送至动作定位模型，基于评估参数，动作定位模型从备选动作集合中确定目标动作参数，控制智能物流机器人按照目标动作参数对应的目标移动动作向目标位置移动。 [0040] 该方式中，获取智能物流机器人的目标位置和指示智能物流机器人所处第一环境状态的第一状态数据，通过将第一状态数据输入至包含第一长短时记忆网络层的动作定位模型中，得到备选动作集合，然后，针对备选动作集合中的每个备选动作参数，将每个备选动作参数和第一状态数据输入包含第二长短时记忆网络层的评估模型，输出备选动作参数对应的初始评估参数，根据备选动作参数对应的初始评估参数和历史评估参数，得到备选动作参数对应的评估参数，最后，根据评估参数确定目标动作参数，控制智能物流机器人按照目标动作参数对应的目标移动动作向目标位置移动，该方式通过动作定位模型和评估模型，综合了智能物流机器人的以往环境状态和当前环境状态，共同影响了智能物流机器人执行的目标动作，保证智能物流机器人前后动作之间的相关性，提高机器人的通行效率。 [0041] 一种方式中，第一状态数据基于历史动作参数，视觉探测模块的探测结果参数、第一距离参数，第一角度参数，第一偏航角度以及第二角度参数中的多种确定；其中，历史动作参数包括智能物流机器人的历史线速度参数和历史角速度参数；探测结果参数根据视觉探测模块的每个角度维度上的探测结果确定；第一距离参数指示了智能物流机器人的当前位置与目标位置的距离；第一角度参数用于指示智能物流机器人上的指定位置与目标位置之前的夹角；第一偏航角度指示了智能物流机器人的偏航角度；第二角度参数通过第一角度参数和第一偏航角度确定。 [0042] 上述历史动作参数包括历史线速度参数和历史角速度参数，历史线速度参数为当前时刻之前，智能物流机器人最后一次执行的移动动作对应的线速度参数；历史角速度参数为当前时刻之前，智能物流机器人最后一次执行移动动作对应的线速度参数。 [0043] 上述视觉探测模块的探测结果参数，可以是视觉探测模块的每个角度维度上障碍物距视觉探测模块的距离，示例地，以视觉探测模块包含10个角度维度为例，探测结果参数T可以表示为[t1,t2,t3,t4,t5,t6,t7,t8,t9,t10]，其中，t1、t2、t3、t4、t5、t6、t7、t8、t9、t10分别是视觉探测模块正前方‑90度到90度范围内10个角度维度上视觉探测模块探测到的障碍物距视觉探测模块的距离。 [0044] 上述第一距离参数指示了智能物流机器人的当前位置与目标位置的距离，一种方式中，第一距离参数可以根据智能物流机器人的当前位置、目标位置和目标场地地图的对角线确定，示例地，提供一个第一距离参数D的计算公式：D = L / h，其中，L为目标场地中智能物流机器人的当前位置与目标位置的距离，h为目标场地地图的对角线距离。 [0045] 在目标场地中建立三维坐标轴，X轴和Y轴在目标场地所在的平面上且互相垂直，Z轴垂直于目标场地所在的平面。上述第一角度参数用于指示智能物流机器人上的指定位置与目标位置之前的夹角，一种方式中，第一角度参数可以为智能物流机器人上视觉探测模块在目标场地上的投影中心与智能物流机器人底盘中心的连线，和目标位置与智能物流机器人底盘中心的连线所呈的夹角。上述第一偏航角度为智能物流机器人上视觉探测模块在目标场地上的投影中心与智能物流机器人底盘中心的连线和Y轴所呈的夹角。上述第二角度参数为第一偏航角度与第一角度参数角度作差后的绝对值。 [0046] 在实际实现时，第一状态数据可以基于历史动作参数，视觉探测模块的探测结果参数参数、第一距离参数，第一角度参数，第一偏航角度以及第二角度参数确定，也可以基于上述参数中的部分确定。一种方式中，第一状态数据是由历史动作参数，视觉探测模块的探测结果参数参数、第一距离参数，第一角度参数，第一偏航角度以及第二角度参数组成的16个参数集合，第一状态数据St= [Vt‑1,Wt‑1,T,D,φ1,A,φ2]，其中，St为第一状态数据、Vt‑1、Wt‑1分别为历史线速度参数和历史角速度参数；T、D、φ1、A、φ2分别为视觉探测模块的探测结果参数、第一距离参数，第一角度参数，第一偏航角度以及第二角度参数。 [0047] 下述实施例提供得到备选动作集合的实现方式。 [0048] 一种方式中，动作定位模型由第一长短时记忆网络层、第一全连接层、第二全连接层和多个批量归一化层组成；第一全连接层和第二全连接层分别设置在两个批量归一化层之间；第一全连接层和第二全连接层的激活函数为分段线性激活函数；第一全连接层和第二全连接层具有不同的节点数；多个批量归一化层包括第一批量归一化层、第二批量归一化层和第三批量归一化层；将第一状态数据输入至第一长短时记忆网络层，输出第一输出数据；将第一输出数据输入第一批量归一化层进行标准化处理，得到第一标准化数据；将第一标准化数据输入到第一全连接层，利用第一全连接层中不同通道的通道特征进行相关性分析，对第一标准化数据自动进行加权求和，得到第一求和数据；将第一求和数据输入第二批量归一化层进行标准化处理，得到第二标准化数据；将第二标准化数据输入到第二全连接层，利用第二全连接层中不同通道的通道特征进行相关性分析，对第二标准化数据自动进行加权求和，得到第二求和数据；将第二求和数据输入第三批量归一化层进行标准化处理，得到至少一个备选动作参数，基于备选动作参数确定第一状态数据对应的备选动作集合。 [0049] 一种方式中，如图3所示，动作定位模型由第一长短时记忆网络层、第一全连接层、第二全连接层和3个批量归一化层组成，动作定位模型中，第一个网络层为第一长短时记忆网络层，第三个网络层和第五个网络层分别为第一全连接层、第二全连接层，其节点数分别为 400 和 300，激活函数为分段线性激活函数；第二个网络层、第四个网络层、第六个网络层分别为第一批量归一化层、第二批量归一化层和第三批量归一化层，用于对输入的数据进行标准化处理，以保证网络算法的稳定性。 [0050] 该动作定位模型预先经验样本训练完成，当动作定位模型网络接收到输入的第一状态数据后，第一长短时记忆网络层首先对其进行处理，输出第一输出数据；将第一输出数据输入到第一批量归一化层中进行标准化处理，得到第一标准化数据，然后，将第一标准化数据输入到第一全连接层，利用第一全连接层中不同通道的通道特征进行相关性分析，对第一标准化数据自动进行加权求和，得到第一求和数据，将第一求和数据输入到第二批量归一化层中进行标准化处理，得到第二标准化数据；将第二标准化数据输入到第二全连接层，利用第二全连接层中不同网络层通道的通道特征进行相关性分析，对第二标准化数据自动进行加权求和，得到第二求和数据，然后，将第二求和数据输入到第三批量归一化层中进行标准化处理，得到至少一个备选动作参数，一个备选动作参数包括一个备选线速度参数和一个备选角速度参数，收集输出的至少一个备选动作参数组成第一状态数据对应的备选动作集合。 [0051] 传统的基于DDPG算法的网络中，Actor网络只包含全连接网络层，而本发明提供的动作定位模型采用长短时记忆网络层和批量归一化层代替部分全连接网络层，利用长短时记忆网络层具有的较强记忆能力处理时间序列数据，在解决决策问题时可以考虑到历史移动动作对当前时刻下环境状态的影响，使神经网络具备长期的预测能力，可以输出更为合理的备选线速度参数和备选角速度参数，而批量归一化层，可以将每层的输入数据进行缩放和平移，使激活函数的输入值更加合适，更有利于网络层算法的稳定，提高路径规划效率。 [0052] 一种方式中，评估模型可以由第二长短时记忆网络层、第三全连接层和优势评估模块组成；将第一状态数据输入第二长短时记忆网络层，输出第二输出数据；针对备选动作集合中的每个备选动作参数，将备选动作参数输入第三全连接层，输出第三输出数据；优势评估模块输入第二输出数据和第三输出数据，输出状态评估值和动作评估值，状态评估值用于指示智能物流机器人所处的第一环境状态的优势程度；动作评估值用于指示智能物流机器人执行备选动作参数对应的备选移动动作后所处的第二环境状态的优势程度；基于状态评估值和动作评估值，确定备选动作集合中的每个备选动作参数对应的初始评估参数。 [0053] 一种方式中，如图4所示，评估模型包括第二长短时记忆网络层、第三全连接层和优势评估模块，其中，第三全连接层的激活函数为分段线性激活函数。 [0054] 具体地，首先，将备选动作参数和第一状态数据输入评估模型后，第二长短时记忆网络层处理输入的第一状态数据，输出第二输出数据，第三全连接层处理输入的备选动作参数，输出第三输出数据。 [0055] 进一步地，将第二输出数据和第三输出数据一起输入优势评估模块，输出输出状态评估值和动作评估值。上述优势评估模块可以是决斗网络，通过决斗网络中包括状态评估函数和动作评估函数，在这里，状态评估函数可以V（S）来表示，用来评估当前环境状态的优势程度，其中输入值S是机器人所处的环境状态对应的状态数据，当S为第一状态数据时，状态评估函数可以输出一个状态评估值，该状态评估值为一个数值，用来指示智能物流机器人所处的第一环境状态的优势程度。上述动作评估函数用于评估智能物流机器人执行备选动作参数对应的备选移动动作后所处的第二环境状态的优势程度，可以用C（S,A）表示，其中，输入值S是智能物流机器人所处的环境状态对应的状态数据，C是智能物流机器人可选择的动作参数；当S为第一状态数据，C是智能物流机器人的备选动作参数时，动作评估函数可以输出一个动作评估值，该动作评估值指示的是，如果该备选移动动作被智能物流机器人执行后，智能物流机器人移动到的第二环境状态的优势程度。第二环境状态指的是执行备选移动动作后，智能物流机器人所处的环境状态。 [0056] 最后，在输出状态评估值和动作评估值后，根据状态评估值和动作评估值，确定备选动作集合中的每个备选动作参数对应的初始评估参数，在这里，可以对状态评估值和动作评估值赋予不同的权重，计算状态评估值和动作评估值的权重和，得到每个备选动作参数对应的初始评估参数，通过状态评估值和动作评估值作为评估第一环境状态下，执行备选移动动作的优势程度的一个因素，该方式综合考虑了执行备选移动动作前后智能物流机器人所处的环境状态，将这些环境状态的优势评估值作为选择备选备选移动动作的一个因素，使智能物流机器人的规划路线更加安全可靠，提高机器人的通行效率。 [0057] 一种具体实现方式中，将每个备选动作参数对应的评估参数发送至动作定位模型，动作定位模型从评估参数中确定最大评估参数；从备选动作集合中确定最大评估参数对应的备选动作参数，将最大评估参数对应的备选动作参数确定为目标动作参数；控制智能物流机器人按照目标动作参数对应的目标移动动作向目标位置移动。 [0058] 也就是说，评估模型还可以将备选动作集合中各个备选动作参数对应的初始评估参数和历史评估参数进行相加等函数运算处理后，得到各个备选动作参数对应的评估参数，该评估参数指示了第一环境状态下，智能物流机器人执行备选动作参数对应的备选移动动作的优势程度。将每个备选动作参数对应的评估参数发送至动作定位模型，由动作定位模型从至少一个评估参数中确定最大评估参数，将最大评估参数对应的备选动作参数确定为目标动作参数，控制智能物流机器人按照目标动作参数对应的目标移动动作向目标位置移动。 [0059] 一种方式中，基于智能物流机器人执行目标移动动作的执行结果，确定奖励值；奖励值的大小指示了智能物流机器人执行结果的优劣；基于奖励值更新目标动作参数对应的历史评估参数。 [0060] 在智能物流机器人执行目标移动动作后，还需要根据执行结果确定奖励值，奖励值是对智能物流机器人实际执行结果的一个反馈，奖励值的大小指示了智能物流机器人执行目标移动动作的执行结果的优劣。然后，确定奖励值后，根据奖励值更新该目标动作参数对应的历史评估参数。 [0061] 也就是说，当智能物流机器人在第一状态数据对应的第一环境状态下执行了移动动作A后，根据执行结果确定奖励值并通过加和计算，将第一状态数据下，移动动作A对应的历史评估参数更新为a。如果还没有达到目标地点，智能物流机器人需要继续获取状态数据并根据动作定位模型和评估模型输出动作参数，以在目标场地中继续移动，如果下次获取的状态数据与第一状态数据相同时，移动动作A对应的动作参数会作为其中一个备选动作参数，此时需要根据评估模型叠加初始评估参数和历史评估参数a计算评估参数。 [0062] 下述实施例提供确定奖励值的具体实现方式。 [0063] 执行结果包括：智能物流机器人到达目标位置、智能物流机器人在执行目标移动动作过程中触碰到障碍物、智能物流机器人未触碰到障碍物且位于安全区域、智能物流机器人未触碰到障碍物但位于危险区域、智能物流机器人未触碰到障碍物且位于指定区域；其中，安全区域与目标位置小于第一预设距离阈值，与障碍物位置大于第二预设距离阈值； 危险区域与障碍物位置不大于第三预设距离阈值；指定区域为除安全区域和危险区域之外的区域；如果智能物流机器人到达目标位置，确定奖励值为最大增量值；如果智能物流机器人在执行目标移动动作过程中触碰到障碍物，确定奖励值为最大减量值；如果智能物流机器人未触碰到障碍物且位于安全区域，获取智能物流机器人的当前位置与目标位置的第一距离，基于第一距离和第一预设距离阈值，得到奖励值；如果智能物流机器人未触碰到障碍物但位于危险区域，获取智能物流机器人的当前位置与障碍物位置的第二距离，基于第二距离和第三预设距离阈值，确定奖励值；如果智能物流机器人未触碰到障碍物且位于指定区域，获取智能物流机器人的当前位置与目标位置的第一距离，以及智能物流机器人的当前位置与智能物流机器人在目标场地中的起始位置的第三距离，基于第三距离和第一距离确定奖励值。 [0064] 奖励值的设计不仅要考虑智能物流机器人能够通过最优路径到达目标位置，还要考虑智能物流机器人自身的安全。 [0065] 在这里，预先根据需要设置第一预设距离阈值、第二预设距离阈值、第三预设距离阈值，根据第一预设距离阈值、第二预设距离阈值、第三预设距离阈值将目标场地划分为危险区域、安全区域和指定区域。其中，安全区域与目标位置小于第一预设距离阈值，与障碍物位置大于第二预设距离阈值；危险区域与障碍物位置不大于第三预设距离阈值；指定区域为目标场地中除安全区域和危险区域之外的区域。 [0066] 这样，将智能物流机器人执行目标动作后的所有可能结果分为5类，包括：智能物流机器人到达目标位置、智能物流机器人在执行目标移动动作过程中触碰到障碍物、智能物流机器人未触碰到障碍物且位于安全区域、智能物流机器人未触碰到障碍物但位于危险区域、智能物流机器人未触碰到障碍物且位于指定区域； [0067] 进一步地，根据执行结果，确定奖励值。 [0068] 具体地，如果智能物流机器人到达目标位置，确定奖励值为最大增量值。该指定增量为一个预设的正数，也就是说，如果智能物流机器人执行目标动作后，直接到达目标位置，则赋予第一状态数据下，该目标动作最大的正奖励。 [0069] 如果智能物流机器人在执行目标移动动作过程中触碰到障碍物，确定奖励值为最大减量值；该最大减量值为负数，其绝对值是奖励值中的最大值，也就是说，如果智能物流机器人执行在执行目标移动动作过程中触碰到障碍物，则赋予第一状态数据下，该目标动作最大的负奖励。 [0070] 如果智能物流机器人未触碰到障碍物且位于安全区域，获取智能物流机器人的当前位置与目标位置的第一距离，基于第一距离和第一预设距离阈值，得到奖励值。第一距离为智能物流机器人的当前位置与目标位置的距离，一种方式中，如果智能物流机器人未触碰到障碍物且位于安全区域，该第一状态数据下，目标动作参数的奖励值可以是第一距离除以第一预设距离阈值得到的数值结果。 [0071] 如果智能物流机器人未触碰到障碍物但位于危险区域，获取智能物流机器人的当前位置与障碍物位置的第二距离，基于第二距离和第三预设距离阈值，确定奖励值。第二距离为智能物流机器人的当前位置与障碍物位置的距离，一种方式中，如果智能物流机器人未触碰到障碍物但位于危险区域，该第一状态数据下，目标动作参数的奖励值可以是第二距离除以第三预设距离阈值得到的数值结果的相反数。 [0072] 如果智能物流机器人未触碰到障碍物且位于指定区域，获取智能物流机器人的当前位置与目标位置的第一距离，以及智能物流机器人的当前位置与智能物流机器人在目标场地中的起始位置的第三距离，基于第三距离和第一距离确定奖励值。上述第一距离为智能物流机器人的当前位置与目标位置的距离，上述第三距离为智能物流机器人的当前位置与智能物流机器人在目标场地中的起始位置的距离，一种方式中，如果智能物流机器人未触碰到障碍物且位于指定区域，将第三距离减去第一距离得到的数值结果确定为奖励值。 [0073] 上述奖励值的设计不仅考虑了智能物流机器人能够通过最优路径到达目标位置，而且还考虑了智能物流机器人自身的安全，提高了物流机器人安全通过的效率。 [0074] 对应于上述方法实施例，参见图5所示的一种基于视觉的物流系统中路径规划装置，装置设置于可穿戴设备，装置包括： [0075] 第一获取模块502，用于获取智能物流机器人的目标位置和第一状态数据，其中，第一状态数据指示了当前时刻，智能物流机器人所处的第一环境状态； [0076] 第一输入模块504，用于将第一状态数据输入至动作定位模型，得到第一状态数据对应的备选动作集合；备选动作集合中包括至少一个备选动作参数；备选动作参数用于表征智能物流机器人的备选移动动作；备选动作参数包括备选线速度参数和备选角速度参数；动作定位模型包括第一长短时记忆网络层； [0077] 第二输入模块506，用于针对备选动作集合中的每个备选动作参数，将每个备选动作参数和第一状态数据输入评估模型，输出备选动作参数对应的初始评估参数；基于备选动作参数对应的初始评估参数和备选动作参数对应的历史评估参数，得到备选动作参数对应的评估参数；其中，评估参数用于确定第一环境状态下，智能物流机器人执行备选动作参数对应的备选移动动作的优势程度；历史评估参数根据在当前时刻之前，智能物流机器人在第一环境状态下执行备选动作参数对应的备选移动动作的执行结果确定；评估模型包括第二长短时记忆网络层； [0078] 第一移动模块508，用于将评估参数发送至动作定位模型，基于评估参数，动作定位模型从备选动作集合中确定目标动作参数，控制智能物流机器人按照目标动作参数对应的目标移动动作向目标位置移动。 [0079] 该方式中，获取智能物流机器人的目标位置和指示智能物流机器人所处第一环境状态的第一状态数据，通过将第一状态数据输入至包含第一长短时记忆网络层的动作定位模型中，得到备选动作集合，然后，针对备选动作集合中的每个备选动作参数，将每个备选动作参数和第一状态数据输入包含第二长短时记忆网络层的评估模型，输出备选动作参数对应的初始评估参数，根据备选动作参数对应的初始评估参数和历史评估参数，得到备选动作参数对应的评估参数，最后，根据评估参数确定目标动作参数，控制智能物流机器人按照目标动作参数对应的目标移动动作向目标位置移动，该方式通过动作定位模型和评估模型，综合智能物流机器人的以往环境状态和当前环境状态共同影响智能物流机器人的执行的目标动作，保证智能物流机器人前后动作之间的相关性，提高机器人的通行效率。 [0080] 上述第一状态数据基于历史动作参数，视觉探测模块的探测结果参数、第一距离参数，第一角度参数，第一偏航角度以及第二角度参数中的多种确定；其中，历史动作参数包括智能物流机器人的历史线速度参数和历史角速度参数；探测结果参数根据视觉探测模块的每个角度维度上的探测结果确定；第一距离参数指示了智能物流机器人的当前位置与目标位置的距离；第一角度参数用于指示智能物流机器人上的指定位置与目标位置之前的夹角；第一偏航角度指示了智能物流机器人的偏航角度；第二角度参数通过第一角度参数和第一偏航角度确定。 [0081] 上述动作定位模型由第一长短时记忆网络层、第一全连接层、第二全连接层和多个批量归一化层组成；第一全连接层和第二全连接层分别设置在两个批量归一化层之间；第一全连接层和第二全连接层的激活函数为分段线性激活函数；第一全连接层和第二全连接层具有不同的节点数；上述多个批量归一化层包括第一批量归一化层、第二批量归一化层和第三批量归一化层；上述第一输入模块，用于将第一状态数据输入至第一长短时记忆网络层，输出第一输出数据；将第一输出数据输入第一批量归一化层进行标准化处理，得到第一标准化数据；将第一标准化数据输入到第一全连接层，利用第一全连接层中不同通道的通道特征进行相关性分析，对第一标准化数据自动进行加权求和，得到第一求和数据；将第一求和数据输入第二批量归一化层进行标准化处理，得到第二标准化数据；将第二标准化数据输入到第二全连接层，利用第二全连接层中不同通道的通道特征进行相关性分析，对第二标准化数据自动进行加权求和，得到第二求和数据；将第二求和数据输入第三批量归一化层进行标准化处理，得到至少一个备选动作参数，基于备选动作参数确定第一状态数据对应的备选动作集合。 [0082] 上述评估模型由第二长短时记忆网络层、第三全连接层和优势评估模块组成；上述第二输入模块，用于将第一状态数据输入第二长短时记忆网络层，输出第二输出数据；针对备选动作集合中的每个备选动作参数，将备选动作参数输入第三全连接层，输出第三输出数据；优势评估模块输入第二输出数据和第三输出数据，输出状态评估值和动作评估值，状态评估值用于指示智能物流机器人所处的第一环境状态的优势程度；动作评估值用于指示智能物流机器人执行备选动作参数对应的备选移动动作后所处的第二环境状态的优势程度；基于状态评估值和动作评估值，确定备选动作集合中的每个备选动作参数对应的初始评估参数。 [0083] 上述第一移动模块，还用于将每个备选动作参数对应的评估参数发送至动作定位模型，动作定位模型从评估参数中确定最大评估参数；从备选动作集合中确定最大评估参数对应的备选动作参数，将最大评估参数对应的备选动作参数确定为目标动作参数；控制智能物流机器人按照目标动作参数对应的目标移动动作向目标位置移动。 [0084] 上述装置还包括第一更新模块，用于基于智能物流机器人执行目标移动动作的执行结果，确定奖励值；奖励值的大小指示了智能物流机器人执行结果的优劣；基于奖励值更新目标动作参数对应的历史评估参数。 [0085] 上述装置还包括第一更新模块，用于；执行结果包括：智能物流机器人到达目标位置、智能物流机器人在执行目标移动动作过程中触碰到障碍物、智能物流机器人未触碰到障碍物且位于安全区域、智能物流机器人未触碰到障碍物但位于危险区域、智能物流机器人未触碰到障碍物且位于指定区域；其中，安全区域与目标位置小于第一预设距离阈值，与障碍物位置大于第二预设距离阈值；危险区域与障碍物位置不大于第三预设距离阈值；指定区域为目标场地中除安全区域和危险区域之外的区域；如果智能物流机器人到达目标位置，确定奖励值为指定增量值；如果智能物流机器人在执行目标移动动作过程中触碰到障碍物，确定奖励值为指定减量值；如果智能物流机器人未触碰到障碍物且位于安全区域，获取智能物流机器人的当前位置与目标位置的第一距离，基于第一距离和第一预设距离阈值，得到奖励值；如果智能物流机器人未触碰到障碍物但位于危险区域，获取智能物流机器人的当前位置与障碍物位置的第二距离，基于第二距离和第三预设距离阈值，确定奖励值；如果智能物流机器人未触碰到障碍物且位于指定区域，获取智能物流机器人的当前位置与目标位置的第一距离，以及智能物流机器人的当前位置与智能物流机器人在目标场地中的起始位置的第三距离，基于第三距离和第一距离确定奖励值。 [0086] 本实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述基于视觉的物流系统中路径规划方法。该电子设备可以是服务器，也可以是终端设备。 [0087] 参见图6所示，该电子设备包括处理器100和存储器101，该存储器101存储有能够被处理器100执行的机器可执行指令，该处理器100执行机器可执行指令以实现上述基于视觉的物流系统中路径规划方法。 [0088] 进一步地，图6所示的电子设备还包括总线102和通信接口103，处理器100、通信接口103和存储器101通过总线102连接。其中，存储器101可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non‑volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口103（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。处理器100可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器100中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器100可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field‑Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器101，处理器100读取存储器101中的信息，结合其硬件完成前述实施例的方法的步骤。 [0089] 上述电子设备中的处理器，通过执行机器可执行指令，可以实现上述基于视觉的物流系统中路径规划方法的下述操作：获取智能物流机器人的目标位置和第一状态数据，其中，第一状态数据指示了当前时刻，智能物流机器人所处的第一环境状态；将第一状态数据输入至动作定位模型，得到第一状态数据对应的备选动作集合；备选动作集合中包括至少一个备选动作参数；备选动作参数用于表征智能物流机器人的备选移动动作；备选动作参数包括备选线速度参数和备选角速度参数；动作定位模型包括第一长短时记忆网络层；针对备选动作集合中的每个备选动作参数，将每个备选动作参数和第一状态数据输入评估模型，输出备选动作参数对应的初始评估参数；基于备选动作参数对应的初始评估参数和备选动作参数对应的历史评估参数，得到备选动作参数对应的评估参数；其中，评估参数用于确定第一环境状态下，智能物流机器人执行备选动作参数对应的备选移动动作的优势程度；历史评估参数根据在当前时刻之前，智能物流机器人在第一环境状态下执行备选动作参数对应的备选移动动作的执行结果确定；评估模型包括第二长短时记忆网络层；将评估参数发送至动作定位模型，基于评估参数，动作定位模型从备选动作集合中确定目标动作参数，控制智能物流机器人按照目标动作参数对应的目标移动动作向目标位置移动。 [0090] 该方式中，获取智能物流机器人的目标位置和指示智能物流机器人所处第一环境状态的第一状态数据，通过将第一状态数据输入至包含第一长短时记忆网络层的动作定位模型中，得到备选动作集合，然后，针对备选动作集合中的每个备选动作参数，将每个备选动作参数和第一状态数据输入包含第二长短时记忆网络层的评估模型，输出备选动作参数对应的初始评估参数，根据备选动作参数对应的初始评估参数和历史评估参数，得到备选动作参数对应的评估参数，最后，根据评估参数确定目标动作参数，控制智能物流机器人按照目标动作参数对应的目标移动动作向目标位置移动，该方式通过动作定位模型和评估模型，综合智能物流机器人的以往环境状态和当前环境状态共同影响智能物流机器人的执行的目标动作，保证智能物流机器人前后动作之间的相关性，提高机器人的通行效率。 [0091] 上述第一状态数据基于历史动作参数，视觉探测模块的探测结果参数、第一距离参数，第一角度参数，第一偏航角度以及第二角度参数中的多种确定；其中，历史动作参数包括智能物流机器人的历史线速度参数和历史角速度参数；探测结果参数根据视觉探测模块的每个角度维度上的探测结果确定；第一距离参数指示了智能物流机器人的当前位置与目标位置的距离；第一角度参数用于指示智能物流机器人上的指定位置与目标位置之前的夹角；第一偏航角度指示了智能物流机器人的偏航角度；第二角度参数通过第一角度参数和第一偏航角度确定。 [0092] 上述动作定位模型由第一长短时记忆网络层、第一全连接层、第二全连接层和多个批量归一化层组成；第一全连接层和第二全连接层分别设置在两个批量归一化层之间；第一全连接层和第二全连接层的激活函数为分段线性激活函数；第一全连接层和第二全连接层具有不同的节点数；上述多个批量归一化层包括第一批量归一化层、第二批量归一化层和第三批量归一化层；上述电子设备中的处理器，通过执行机器可执行指令，可以实现上述基于视觉的物流系统中路径规划方法的下述操作：将第一状态数据输入至第一长短时记忆网络层，输出第一输出数据；将第一输出数据输入第一批量归一化层进行标准化处理，得到第一标准化数据；将第一标准化数据输入到第一全连接层，利用第一全连接层中不同通道的通道特征进行相关性分析，对第一标准化数据自动进行加权求和，得到第一求和数据； 将第一求和数据输入第二批量归一化层进行标准化处理，得到第二标准化数据；将第二标准化数据输入到第二全连接层，利用第二全连接层中不同通道的通道特征进行相关性分析，对第二标准化数据自动进行加权求和，得到第二求和数据；将第二求和数据输入第三批量归一化层进行标准化处理，得到至少一个备选动作参数，基于备选动作参数确定第一状态数据对应的备选动作集合。 [0093] 上述评估模型由第二长短时记忆网络层、第三全连接层和优势评估模块组成；上述电子设备中的处理器，通过执行机器可执行指令，可以实现上述基于视觉的物流系统中路径规划方法的下述操作：将第一状态数据输入第二长短时记忆网络层，输出第二输出数据；针对备选动作集合中的每个备选动作参数，将备选动作参数输入第三全连接层，输出第三输出数据；优势评估模块输入第二输出数据和第三输出数据，输出状态评估值和动作评估值，状态评估值用于指示智能物流机器人所处的第一环境状态的优势程度；动作评估值用于指示智能物流机器人执行备选动作参数对应的备选移动动作后所处的第二环境状态的优势程度；基于状态评估值和动作评估值，确定备选动作集合中的每个备选动作参数对应的初始评估参数。 [0094] 上述电子设备中的处理器，通过执行机器可执行指令，可以实现上述基于视觉的物流系统中路径规划方法的下述操作：将每个备选动作参数对应的评估参数发送至动作定位模型，动作定位模型从评估参数中确定最大评估参数；从备选动作集合中确定最大评估参数对应的备选动作参数，将最大评估参数对应的备选动作参数确定为目标动作参数；控制智能物流机器人按照目标动作参数对应的目标移动动作向目标位置移动。 [0095] 上述电子设备中的处理器，通过执行机器可执行指令，可以实现上述基于视觉的物流系统中路径规划方法的下述操作：基于智能物流机器人执行目标移动动作的执行结果，确定奖励值；奖励值的大小指示了智能物流机器人执行结果的优劣；基于奖励值更新目标动作参数对应的历史评估参数。 [0096] 上述电子设备中的处理器，通过执行机器可执行指令，可以实现上述基于视觉的物流系统中路径规划方法的下述操作：执行结果包括：智能物流机器人到达目标位置、智能物流机器人在执行目标移动动作过程中触碰到障碍物、智能物流机器人未触碰到障碍物且位于安全区域、智能物流机器人未触碰到障碍物但位于危险区域、智能物流机器人未触碰到障碍物且位于指定区域；其中，安全区域与目标位置小于第一预设距离阈值，与障碍物位置大于第二预设距离阈值；危险区域与障碍物位置不大于第三预设距离阈值；指定区域为目标场地中除安全区域和危险区域之外的区域；如果智能物流机器人到达目标位置，确定奖励值为指定增量值；如果智能物流机器人在执行目标移动动作过程中触碰到障碍物，确定奖励值为指定减量值；如果智能物流机器人未触碰到障碍物且位于安全区域，获取智能物流机器人的当前位置与目标位置的第一距离，基于第一距离和第一预设距离阈值，得到奖励值；如果智能物流机器人未触碰到障碍物但位于危险区域，获取智能物流机器人的当前位置与障碍物位置的第二距离，基于第二距离和第三预设距离阈值，确定奖励值；如果智能物流机器人未触碰到障碍物且位于指定区域，获取智能物流机器人的当前位置与目标位置的第一距离，以及智能物流机器人的当前位置与智能物流机器人在目标场地中的起始位置的第三距离，基于第三距离和第一距离确定奖励值。 [0097] 本实施例还提供一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述基于视觉的物流系统中路径规划方法。 [0098] 上述机器可读存储介质存储中的机器可执行指令，通过执行该机器可执行指令，可以实现上述基于视觉的物流系统中路径规划方法中的下述操作：获取智能物流机器人的目标位置和第一状态数据，其中，第一状态数据指示了当前时刻，智能物流机器人所处的第一环境状态；将第一状态数据输入至动作定位模型，得到第一状态数据对应的备选动作集合；备选动作集合中包括至少一个备选动作参数；备选动作参数用于表征智能物流机器人的备选移动动作；备选动作参数包括备选线速度参数和备选角速度参数；动作定位模型包括第一长短时记忆网络层；针对备选动作集合中的每个备选动作参数，将每个备选动作参数和第一状态数据输入评估模型，输出备选动作参数对应的初始评估参数；基于备选动作参数对应的初始评估参数和备选动作参数对应的历史评估参数，得到备选动作参数对应的评估参数；其中，评估参数用于确定第一环境状态下，智能物流机器人执行备选动作参数对应的备选移动动作的优势程度；历史评估参数根据在当前时刻之前，智能物流机器人在第一环境状态下执行备选动作参数对应的备选移动动作的执行结果确定；评估模型包括第二长短时记忆网络层；将评估参数发送至动作定位模型，基于评估参数，动作定位模型从备选动作集合中确定目标动作参数，控制智能物流机器人按照目标动作参数对应的目标移动动作向目标位置移动。 [0099] 该方式中，获取智能物流机器人的目标位置和指示智能物流机器人所处第一环境状态的第一状态数据，通过将第一状态数据输入至包含第一长短时记忆网络层的动作定位模型中，得到备选动作集合，然后，针对备选动作集合中的每个备选动作参数，将每个备选动作参数和第一状态数据输入包含第二长短时记忆网络层的评估模型，输出备选动作参数对应的初始评估参数，根据备选动作参数对应的初始评估参数和历史评估参数，得到备选动作参数对应的评估参数，最后，根据评估参数确定目标动作参数，控制智能物流机器人按照目标动作参数对应的目标移动动作向目标位置移动，该方式通过动作定位模型和评估模型，综合智能物流机器人的以往环境状态和当前环境状态共同影响智能物流机器人的执行的目标动作，保证智能物流机器人前后动作之间的相关性，提高机器人的通行效率。 [0100] 上述第一状态数据基于历史动作参数，视觉探测模块的探测结果参数、第一距离参数，第一角度参数，第一偏航角度以及第二角度参数中的多种确定；其中，历史动作参数包括智能物流机器人的历史线速度参数和历史角速度参数；探测结果参数根据视觉探测模块的每个角度维度上的探测结果确定；第一距离参数指示了智能物流机器人的当前位置与目标位置的距离；第一角度参数用于指示智能物流机器人上的指定位置与目标位置之前的夹角；第一偏航角度指示了智能物流机器人的偏航角度；第二角度参数通过第一角度参数和第一偏航角度确定。 [0101] 上述动作定位模型由第一长短时记忆网络层、第一全连接层、第二全连接层和多个批量归一化层组成；第一全连接层和第二全连接层分别设置在两个批量归一化层之间；第一全连接层和第二全连接层的激活函数为分段线性激活函数；第一全连接层和第二全连接层具有不同的节点数；上述多个批量归一化层包括第一批量归一化层、第二批量归一化层和第三批量归一化层；上述机器可读存储介质存储中的机器可执行指令，通过执行该机器可执行指令，可以实现上述基于视觉的物流系统中路径规划方法中的下述操作：将第一状态数据输入至第一长短时记忆网络层，输出第一输出数据；将第一输出数据输入批量归一化层进行标准化处理，得到第一标准化数据；将第一标准化数据输入到第一全连接层，利用第一全连接层中不同通道的通道特征进行相关性分析，对第一标准化数据自动进行加权求和，得到第一求和数据；将第一求和数据输入批量归一化层进行标准化处理，得到第二标准化数据；将第二标准化数据输入到第二全连接层，利用第二全连接层中不同通道的通道特征进行相关性分析，对第二标准化数据自动进行加权求和，得到第二求和数据；将第二求和数据输入批量归一化层进行标准化处理，得到至少一个备选动作参数，基于备选动作参数确定第一状态数据对应的备选动作集合。 [0102] 上述评估模型由第二长短时记忆网络层、第三全连接层和优势评估模块组成；上述机器可读存储介质存储中的机器可执行指令，通过执行该机器可执行指令，可以实现上述基于视觉的物流系统中路径规划方法中的下述操作：将第一状态数据输入第二长短时记忆网络层，输出第二输出数据；针对备选动作集合中的每个备选动作参数，将备选动作参数输入第三全连接层，输出第三输出数据；优势评估模块输入第二输出数据和第三输出数据，输出状态评估值和动作评估值，状态评估值用于指示智能物流机器人所处的第一环境状态的优势程度；动作评估值用于指示智能物流机器人执行备选动作参数对应的备选移动动作后所处的第二环境状态的优势程度；基于状态评估值和动作评估值，确定备选动作集合中的每个备选动作参数对应的初始评估参数。 [0103] 上述机器可读存储介质存储中的机器可执行指令，通过执行该机器可执行指令，可以实现上述基于视觉的物流系统中路径规划方法中的下述操作：将每个备选动作参数对应的评估参数发送至动作定位模型，动作定位模型从评估参数中确定最大评估参数；从备选动作集合中确定最大评估参数对应的备选动作参数，将最大评估参数对应的备选动作参数确定为目标动作参数；控制智能物流机器人按照目标动作参数对应的目标移动动作向目标位置移动。 [0104] 上述机器可读存储介质存储中的机器可执行指令，通过执行该机器可执行指令，可以实现上述基于视觉的物流系统中路径规划方法中的下述操作：基于智能物流机器人执行目标移动动作的执行结果，确定奖励值；奖励值的大小指示了智能物流机器人执行结果的优劣；基于奖励值更新目标动作参数对应的历史评估参数。 [0105] 上述机器可读存储介质存储中的机器可执行指令，通过执行该机器可执行指令，可以实现上述基于视觉的物流系统中路径规划方法中的下述操作：执行结果包括：智能物流机器人到达目标位置、智能物流机器人在执行目标移动动作过程中触碰到障碍物、智能物流机器人未触碰到障碍物且位于安全区域、智能物流机器人未触碰到障碍物但位于危险区域、智能物流机器人未触碰到障碍物且位于指定区域；其中，安全区域与目标位置小于第一预设距离阈值，与障碍物位置大于第二预设距离阈值；危险区域与障碍物位置不大于第三预设距离阈值；指定区域为目标场地中除安全区域和危险区域之外的区域；如果智能物流机器人到达目标位置，确定奖励值为指定增量值；如果智能物流机器人在执行目标移动动作过程中触碰到障碍物，确定奖励值为指定减量值；如果智能物流机器人未触碰到障碍物且位于安全区域，获取智能物流机器人的当前位置与目标位置的第一距离，基于第一距离和第一预设距离阈值，得到奖励值；如果智能物流机器人未触碰到障碍物但位于危险区域，获取智能物流机器人的当前位置与障碍物位置的第二距离，基于第二距离和第三预设距离阈值，确定奖励值；如果智能物流机器人未触碰到障碍物且位于指定区域，获取智能物流机器人的当前位置与目标位置的第一距离，以及智能物流机器人的当前位置与智能物流机器人在目标场地中的起始位置的第三距离，基于第三距离和第一距离确定奖励值。 [0106] 本发明实施例所提供的基于视觉的物流系统中路径规划方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。 [0107] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。 [0108] 另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。 [0109] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read‑Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。 [0110] 在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。 [0111] 最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。 |
||||||
QQ群二维码
意见反馈
意见反馈