一种基于强化学习的喷涂机器人轨迹优化方法
专利汇可以提供一种基于强化学习的喷涂机器人轨迹优化方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种基于 强化学习 的 喷涂 机器人 轨迹优化方法，所述轨迹优化方法通过图像获取、 图像处理 、图形 三维重建 、图形离散化、选取初始点和选择最优轨迹策略，从而确定出最优喷涂轨迹，其中，所述图像处理包括摄像机标定、图像校正和立体匹配。本发明的优点在于：本发明基于强化学习的喷涂机器人轨迹优化方法，该方法能够在不同的环境中根据不同的状态规划出可行路径，并且决策时间短、成功率高，能够满足在线规划的实时性要求，从而克服了传统 机械臂 路径规划方法实时性差、计算量大的缺点。，下面是一种基于强化学习的喷涂机器人轨迹优化方法专利的具体信息内容。
1.一种基于强化学习的喷涂机器人轨迹优化方法，其特征在于：所述轨迹优化方法通过图像获取、图像处理、图形三维重建、图形离散化、选取初始点和选择最优轨迹策略，从而确定出最优喷涂轨迹，其中，所述图像处理包括摄像机标定、图像校正和立体匹配；具体步骤如下：
步骤1：图像获取：采用双目视觉系统中的两台相同的相机同时获取同一个场景中的目标物体图像,然后,对获取的图像进行预处理；
步骤2：摄像机标定：对于获取的畸变向量，消除它的径向和切线方向上的镜头畸变，获得无畸变图像，同时建立摄像机的成像模型，确定目标点与像素点之间的对应关系；
步骤3：图像校正：通过线性变换使处理后的无畸变图像中的共轭极线位于同一水平线上，把二维空间的匹配问题化简为一维空间的求解问题；
步骤4：立体匹配：采用立体匹配算法得到校准后的图像与原图像的视差值，然后利用这个视差值得到每两幅图像之间的稀疏匹配，再通过优化算法，获得稠密匹配；
步骤5：三维重建：采用三角测量原理计算获取的立体匹配图像的深度值，得到稠密的三维空间点云，再对获取的三维空间点云进行网格化和差值计算，得到物体的三维结构模型；
步骤6：图形离散化：通过双目视觉系统对目标物体进行目标获取，对空间进行离散化，即将目标转化为点的集合；
步骤7:选取初始点；
步骤8：选择最优轨迹策略：将决策策略π定义为一个函数，它将一个状态映射到一个动作s→a，即当前状态s执行动作a；强化学习的目标函数为：
Qπ(s,a)＝E(R(s0)+γR(s1)+γ2R(s2)+...|s0＝s,a0＝a,π) (1)
Qπ(s,a)表示当前初始状态s下，采取动作a之后依照策略π的决策运动所能获得期望收益，即找到最优策略π*，使得π*＝arg maxQπ(s,a)。
2.根据权利要求1所述的基于强化学习的喷涂机器人轨迹优化方法，其特征在于：所述步骤2中的摄像机标定，假设目标点P的三维坐标为(Xw,Yw,Zw)，左摄像机的坐标系为O1-X1Y1Z1，图像坐标系为o1-x1y1；右摄像机的坐标系为O2-X2Y2Z2，图像坐标系为o2-x2y2；原点O1,O2分别为左右摄像机的光心；左右摄像机的焦距分别设为f1，f2。
3.根据权利要求2所述的基于强化学习的喷涂机器人轨迹优化方法，其特征在于：所述步骤5中得到物体的三维结构模型
其中，r1,r2……r9为旋转分量；tx,ty,tz为平移分量，式中Xw、Yw和Zw为三维结构模型中三维坐标的解。
4.根据权利要求1所述的基于强化学习的喷涂机器人轨迹优化方法，其特征在于：所述步骤8中，在Q学习的基础上，深度Q学习，以神经网络来拟合Q函数(s，a)，其输入状态s可以是连续变量；学习算法如下：
(1)初始化经验回放存储区D；
(2)初始化Q网络、目标Q网络(Q′)，其网络权值为随机值；
(3)开始新的一轮，随机生成环境、喷涂目标，目标点随机出现在空间一定范围内的任意位置，喷枪重置为初试姿态；
(4)以ε的概率选择随机动作at，1-ε的概率选择最优动作at＝max(st,a)，其中st为当前状态；
(5)执行动作at，得到当前奖励rt，下一时刻状态st+1，将 存入D；
(6)从D中随机采样一批数据，即一批(sj ,aj ,rj ,sj+1)四元组，令
其中sT为喷枪达到的目标位置；
(7)若st+1不是最终状态sT则返回步骤(4)，若st+1是最终状态，sT则更新目标网络Q′,令Q′的网络参数等于Q的网络参数，并返回步骤(3)。
5.根据权利要求4所述的基于强化学习的喷涂机器人轨迹优化方法，其特征在于：奖励函数rt分为三个部分，第一部分对重复喷涂进行惩罚，即静止不动，第二部分对喷枪到达目标位置进行奖励，第三部分，对喷枪与目标距离进行奖励或者惩罚，奖励函数为：
式中，xd为当前点坐标，xe为目标点坐标。
一种基于强化学习的喷涂机器人轨迹优化方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 智能驾驶测试行人目标 | 2020-05-08 | 883 |
| 一种带活动导烟板的吸油烟机及其控制方法 | 2020-05-08 | 543 |
| 一种基于航迹匹配的初始对准方法 | 2020-05-08 | 352 |
| 一种立方镜坐标系的自动化测量系统 | 2020-05-08 | 971 |
| 一种小微飞行器无陀螺精确制导方法 | 2020-05-08 | 82 |
| 一种浮托安装实测的船体姿态校准方法 | 2020-05-11 | 802 |
| 新型双超卫星动力学与控制气浮平台全物理仿真方法 | 2020-05-08 | 421 |
| 空间飞行器及其舱段分离装置 | 2020-05-08 | 627 |
| 一种多模式全姿态移动并联机构 | 2020-05-11 | 622 |
| 一种施工区自组网的安全帽 | 2020-05-08 | 225 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
