一种基于虚拟场景训练的机器人避障方法
专利汇可以提供一种基于虚拟场景训练的机器人避障方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于虚拟场景训练的 机器人 避障方法。所述方法包括以下步骤：S1、获取机器臂虚拟模型，在gazebo中搭建虚拟操作平台；基于S1构建的 虚拟环境 ，采用域随机化 算法 ，获取数据集；构建语义分割网络，采用步骤S2中获取的数据集对语义分割网络进行训练，得到用以分割 机械臂 ，人体肢干，背景的语义分割模型；约束机械臂运动轨迹，构建奖励制度，结合Sarsa-lamda算法构建 强化学习 模型，对机械臂进行避障训练；将语义分割模型和强化学习模型迁移到ur3机械臂和kinect构成系统上。本发明以构建虚拟环境的方式，在虚拟环境中采用域随机化得到充足的数据集，训练得到一个鲁棒性良好的语义分割网络，结合基于Sarsa-lamda强化学习模型，实现机械臂轨迹重构以及有效避障。，下面是一种基于虚拟场景训练的机器人避障方法专利的具体信息内容。
1.一种基于虚拟场景训练的机器人避障方法，其特征在于，包括以下步骤：
S1、获取机器臂虚拟模型，在gazebo中搭建虚拟操作平台；
S2、基于S1构建的虚拟环境，采用域随机化算法，获取数据集；
S3、构建语义分割网络，采用步骤S2中获取的数据集对语义分割网络进行训练，得到用以分割机械臂，人体肢干，背景的语义分割模型；
S4、约束机械臂运动轨迹，构建奖励制度，结合Sarsa-lamda算法构建强化学习模型，对机械臂进行避障训练；
S5、将语义分割模型和强化学习模型迁移到ur3机械臂和kinect构成系统上。
2.根据权利要求1所述的一种基于虚拟场景训练的机器人避障方法，其特征在于，步骤S1包括以下步骤：
S1.1、获取现实环境中的实验平台、人体肢干、机械臂的大小与形状，在虚拟环境中一比一构建虚拟模型；
S1.2、将步骤S1.1构建的虚拟模型在gazebo虚拟环境中进行拼接，构建与现实环境相同的虚拟操作平台。
3.根据权利要求1所述的一种基于虚拟场景训练的机器人避障方法，其特征在于，步骤S2中包括以下步骤：
S2.1、在步骤S1得到的虚拟环境中，进行随机化；
S2.2、获取虚拟环境中摄像机镜头采集的RGB图片和深度信息；
S2.3、获取虚拟环境中人体肢体，机械臂，背景的掩模；
S2.4、将步骤S2.2中获取的RGB图片和深度信息作为数据，将步骤S2.3中获取的掩模作为标签，制作数据集。
4.根据权利要求3所述的一种基于虚拟场景训练的机器人避障方法，其特征在于，步骤S2.1中，采用域随机化算法进行以下的随机化：
S2.1.1、随机化摄像机镜头的俯仰角、方位角和偏移参数；
S2.1.2、随机化灯光的数量，强度；
S2.1.3、随机化深度信息的噪声；
S2.1.4、随机化人体肢干部，桌面，机器人的颜色。
5.根据权利要求1所述的一种基于虚拟场景训练的机器人避障方法，其特征在于，步骤S3中，语义分割网络采用图像分割(FCNs)技术，语义分割网络的构建包括以下步骤：
S3.1、采用图像分割(FCNs)技术，并对语义分割网络其中部分网络结构做了改变，删除最后一层池化层；
S3.2、向语义分割网络输入图片I,得到的输出的第一个维度为Num_class，代表需要分割的种类，分别为人体肢干、机械臂和背景；第二个维度为输入原图片的宽度W；第三个维度为输入原图片的高度H；
S3.3、对于步骤S3.2中得到的输出，将每个通道同一位置的像素点的值组成向量，经过sofmax函数处理，选取概率值最大的像素点的值为代表，将特征图由C*H*W转化为H*W；损失函数L由下列式子构成：
其中，Xij表示网络输出特征图位置为(i,j)的像素值，yij表示标签位置为(i,j)的像素值。
6.根据权利要求1所述的一种基于虚拟场景训练的机器人避障方法，其特征在于，步骤S3.1中，改进后的语义分割网络的结构如下：
Input_images(C*H*W)
->Pool(km*m,cn1)->Pool(km*m,cn2)->Pool(km*m,cn3)->Pool3Map->Pool(km*m,cn4)->Upsample(X1)->Upsample1Map∑Pool3Map->Upsample(X2)
->Output(Num_class*H*W)；
其中，Input_images表示输入图像；C表示输入信息的维度，由彩色图像3个通道R,G,B,以及深度信息一个通道D构成；H为虚拟相机采集到的图像的高；W为虚拟相机采集到的图像的宽；Pool(km*m,cn1)表示卷积核大小为m*m,输出通道为n的池化层；PooliMap表示经过第i次池化层得到的特征图；Upsample(X)表示上采样，对用以池化后的特征图进行上采样，以确保网络最终得到的特征图和输入图片尺度大小一致，X为经过上采样运算后特征图放大的倍数,经过第j次上采样得到的特征图为UpsamplejMap；Upsample(X)表示对特征图进行装置卷积，装置卷积后特征图的大小将为输入特征图的X倍；Output表示输出。
7.根据权利要求1所述的一种基于虚拟场景训练的机器人避障方法，其特征在于，步骤S4包括以下步骤：
S4.1、将整个空间分成有限个状态点，制定机械臂的动作集A，离散化机械臂的运动轨迹；
S4.2、制定机械臂的状态集S：穷举步骤S1中得到的有限个状态点，记录为状态集S；
S4.3、制定奖励制度：当机械臂在状态st下采用动作at到达状态st+1时，奖励Rt+1与机械臂和人体躯干距离L满足以下公式:
其中，α为比例系数，β为底数，Lmin为距离阈值，当距离L不大于该阈值时，设置额外的罚函数umax,并赋值给Rt+1；
S4.4、采用Sarsa-lamda算法对机械臂的避障进行训练，完成强化学习模型的构建。
8.根据权利要求7所述的一种基于虚拟场景训练的机器人避障方法，其特征在于，步骤S4.1具体包括以下步骤：
S4.1.1、以机械臂腕关节末端为基坐标点，建立球坐标系(r,θ,φ)；
S4.1.2、约束距离r：量化距离r、俯仰角θ、方位角φ，机械臂下一次运动可选择动作的数量将变得有限个；约束满足距离r为常量，俯仰角θ、方位角φ分别选取0、π/4、π/2、3π/4进行组合，将整个空间分成有限个状态点，状态点之间可以经过有限的动作选取序列后完成转换；
S4.1.3、将步骤S4.1.2中所述的有限个状态点穷举，记当前基坐标点到各个可选择点构成的向量集合为动作集A。
9.根据权利要求7所述的一种基于虚拟场景训练的机器人避障方法，其特征在于，步骤S4.4具体包括以下步骤：
S4.4.1、创建Q(s,a)函数并随机初始化；
S4.4.2、对于所有的s和a，初始化E(s,a)，s∈S，a∈A；根据机器人目前位置初始化状态S和动作A；
S4.4.3、在状态S采取动作A，到达状态S’，根据机械臂与人体肢干距离L得到奖励Rt+1；
设置贪婪概率系数ε，表示有ε的概率在状态S下采用贪婪算法选取奖励值最大的动作A’，有
1-ε的概率随机选取动作；依次执行以下流程：
δ＝R+γ*Q(S',A')-Q(S,A)
E(S,A)＝E(S,A)+1
Q(s,a)＝Q(s,a)+α*δ*E(s,a) for all s∈S,a∈A
E(s,a)＝γ*λ*E(s,a) forall s∈S,a∈A
其中，γ是衰减因子，表示Q(S’,A’)对Q(S,A)影响的衰减程度；λ的取值为0～1；更新状态S和动作A，若状态S到达终点，则结束一个回合的算法，回到步骤S4.4.2开始下一回合算法；若状态S显示未到达终点，则跳至步骤S4.4.3；
S4.4.4、算法经过多个回合迭代后，在空间有解的情况下，生成一条可行的新路径。
10.根据权利要求书1所述的一种基于虚拟场景训练的机器人避障方法，其特征在于，步骤S5中，语义分割模型用以识别分割工作空间中出现的机器人，人体肢干，计算出机器人与人体肢干之间的距离L，判断是否可能发生碰撞，并根据步骤S4.3中函数式得到奖励R；利用步骤S4.4所述的强化学习模型，结合奖励R，当机器人发生碰撞时，重新规划机器人路径，达到避碰效果。
一种基于虚拟场景训练的机器人避障方法
技术领域
背景技术
83％。而同样道理通过视觉传感器，机器人能从外界获取更多的信息。运用视觉传感器来支撑机器人避障所需要的信息量具有极大的可行性。但此法极大地受限于传感器的工作参数和质量,尽管有很多方法(Koditschek,D.E.,Exact robot navigation by means of potential functions:Some topological considerations,In Proc.IEEE
Int.Conf.Robotics Automation,1987，Zhu,X.Y.,Zhu,L.M.,Zhong,B.L.,Robot collision-free path planning utilizing gauge function,Science in China,Series E,1997,40，Xiong,Y.L.,Ding,H.,General criterion and control strategy of collision-free movement for manipulators,Int.J.Robotics&Automation,1989,4)试图在算法决策上改善这一点。当受到外界光源，温度，物理撞击影响时，传感器对外界信息采集会受到一定的影响。而在多数情况下，视觉信息的微小变化可能导致基于视觉的模型产生极大的误差。我们的方法是在虚拟的环境中，使用域随机化算法，提升模型的鲁棒性，解决视觉传感器容易受到外界干扰的问题。当虚拟环境下训练的模型迁移到现实时，模型有更好的泛化能力，以提供给强化学习更为稳定，靠谱的视觉信息判定结果。
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种模块化虚拟舞台 | 2020-05-11 | 238 |
| 一种基于路侧PTZ相机的高速公路路面图像拼接方法 | 2020-05-12 | 564 |
| 管道内周向液膜特征光学畸变校正与测量方法 | 2020-05-08 | 617 |
| 一种虚拟现实系统的测试装置及方法 | 2020-05-08 | 616 |
| 一种头戴显示设备的反畸变调节方法、装置和虚拟现实系统 | 2020-05-11 | 910 |
| 一种基于VR现实的视觉教学系统 | 2020-05-11 | 662 |
| 具有通过显示器运动实现的调节功能的虚拟镜装置 | 2020-05-13 | 428 |
| 一种基于虚拟场景训练的机器人避障方法 | 2020-05-12 | 525 |
| 一种基于增强现实技术的拆装训练方法和装置 | 2020-05-08 | 150 |
| 一种微气流喷射阵列虚拟操控平台 | 2020-05-11 | 967 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
