首页 / 专利库 / 人工智能 / 位姿 / 姿态 / 一种基于多目视觉的定位系统及定位方法

一种基于多目视觉的定位系统及定位方法

阅读:319发布:2024-01-11

专利汇可以提供一种基于多目视觉的定位系统及定位方法专利检索,专利查询,专利分析的服务。并且一种基于多目视觉的 定位 系统,是由多目相机单元、交换机和视觉定位系统构成;其中,所述多目相机单元是至少有两目相机构成的单元结构;属于嵌入式开发,体积很小、 算法 接口 均为标准接口;可依据货物的 位姿 引导叉车进行准确的叉取货拍;结构简单,易于实现,适用于智能化仓储系统中的无人叉车自动插装货拍。,下面是一种基于多目视觉的定位系统及定位方法专利的具体信息内容。

1.一种基于多目视觉的定位系统,包括叉车控制系统,由嵌入式控制系统、伺服电机驱动系统、网口和USB口的标准通讯接口和其它辅助功能单元构成,其特征在于它是由多目相机单元、交换机和视觉定位系统构成;其中,所述多目相机单元是至少有两目相机构成的单元结构,用于采集叉车及货拍图像信息,与交换机之间呈双向数据连接;所述视觉定位系统包括控制核心板单元;所述交换机与控制核心板单元之间呈双向数据连接;所述控制核心板单元与交换机和叉车控制系统之间均呈双向数据连接,用于实现对多目相机单元采集到的叉车图像信息进行坐标系标定处理,以获取物体在叉车坐标系下的位姿,找出与标准位姿之间的位置偏差,并将偏差信号回传给叉车控制系统,达到控制叉车正确动作的目的。
2.根据权利要求1所述一种基于多目视觉的定位系统,其特征在于所述控制核心板单元与交换机之间依千兆以太网接口呈双向数据连接;所述控制核心板单元与叉车控制系统之间通过USB接口呈双向数据连接。
3.根据权利要求1所述一种基于多目视觉的定位系统,其特征在于所述基于多目视觉的定位系统还包括控制光源,通过IO接口与视觉定位系统的控制核心板单元呈双向连接。
4.根据权利要求1所述一种基于多目视觉的定位系统,其特征在于所述交换机是工业交换机。
5.根据权利要求1所述一种基于多目视觉的定位系统,其特征在于所述多目相机单元是双目相机单元,由两个相机和镜头采用品牌和规格参数一致工业相机构成。
6.根据权利要求5所述一种基于多目视觉的定位系统,其特征在于所述双目相机单元装于叉车正前方的车头位置,安装位置调整的依据以无遮挡地看见货拍为准;所述车头位置安装有一个支架,所述双目相机单元的相机和镜头都架设在该水平支架上;所述双目相机单元的两个相机之间的中心线夹与被测物体的大小和待测距离有关,依据保证物体可同时完全出现在两个相机的视场中,并且大小是整幅画面的1/3对中心线夹角进行调节。
7.根据权利要求1所述一种基于多目视觉的定位系统,其特征在于所述视觉定位系统是一套符合X86结构的计算系统,采用嵌入式核心CPU板为控制核心,可以安装Windows/Linux系统。
8.一种基于多目视觉的定位方法,其特征在于它包括以下步骤:
第一步:由多目相机单元采集叉车和货拍位置进行图像信息,并通过交换机将图像信息上传到控制核心板单元,此时,控制核心板单元要将多目相机单元得到的叉车图像信息与已经存储在控制核心板单元的叉车图像信息进行联合标定,得到转换矩阵,目的是将视觉系统的坐标系与叉车坐标系进行统一化;
第二步:标定后,通过分析叉车在图像坐标系下的值即可通过转换矩阵计算出物体在叉车坐标系下的位姿;完成系统标定工作;
第三步:在叉车和货拍标准位置关系下,通过多目相机单元对货拍进行图像采集,并将此图像中的货拍正面图像设置为模板,将当前状况下叉车的位姿作为参考位姿;
第四步:叉车开始工作,当叉车运动到货拍前方1.6米-2米的位置后,由双目图像检测单进行图像数据采集,并上传到控制核心板单元,由控制核心板单元对图像中的货拍图像数据进行特征点提取,并与第三步得到的货拍模板图片进行对比,进而计算出当前货拍在叉车坐标系下的位姿;
第五步:将第四步得到的货拍在叉车坐标系下的位姿信息以(X,Y,Z,Rx,Ry,Rz)的格式通过USB接口发送给叉车控制系统;其中,X、Y、Z是三维坐标系下物体的位置信息,X、Y、Z表示一个坐标点分别表示一个点在三维坐标系下X轴、Y轴和Z轴方向的值;Rx、Ry、Rz是物体在每个坐标轴下的旋转量,这六个参数统称为物体的位置和姿态信息;
第六步:叉车控制系统则根据事先标定好的标准参考位姿与当前得到的位姿进行差值比较,即可计算出叉车所需要的偏移量和旋转量,叉车根据这些计算值进行对应的移动来达到准确插装的目的。

说明书全文

一种基于多目视觉的定位系统及定位方法

技术领域

[0001] 本发明属于智能化仓储相关技术领域,尤其是一种基于多目视觉的定位系统及定位方法。

背景技术

[0002] 目前市场上智能化仓储系统和无人化仓储系统正越来越受到人们的重视,其中无人叉车的自动化插取货物是一个非常重要的技术环节,技术难点在于怎么样引导叉车精准插取位置不固定的货拍。目前解决这个难题比较常用的办法是采用单相机系统和在货拍上贴合作目标相结合的方式来实现,但是这种方式的缺点在于,要在每一个货拍的相同位置贴合作目标,系统精度很大一部分受到合作目标与货拍相对位置关系的精度影响。因此,为了达到很高的精度合作目标和货拍的位置关系要提前进行标定。并且货拍种类非常多,操作起来很麻烦。这导致在很多应用的场合都达不到很好的控制效果。

发明内容

[0003] 本发明的目的在于提供一种基于多目视觉的定位系统及定位方法,它可以弥补现有技术的不足,是一种结构简单,定位方法容易实现的多目视觉图像定位系统。
[0004] 本发明的技术方案:一种基于多目视觉的定位系统,包括叉车控制系统,由嵌入式控制系统、伺服电机驱动系统、网口和USB口的标准通讯接口和其它辅助功能单元构成,其特征在于它是由多目相机单元、交换机和视觉定位系统构成;其中,所述多目相机单元是至少有两目相机构成的单元结构,用于采集叉车及货拍图像信息,与交换机之间呈双向数据连接;所述视觉定位系统包括控制核心板单元;所述交换机与控制核心板单元之间呈双向数据连接;所述控制核心板单元与交换机和叉车控制系统之间均呈双向数据连接,用于实现对多目相机单元采集到的叉车图像信息进行坐标系标定处理,以获取物体在叉车坐标系下的位姿,找出与标准位姿之间的位置偏差,并将偏差信号回传给叉车控制系统,达到控制叉车正确动作的目的。
[0005] 所述控制核心板单元与交换机之间依千兆以太网接口呈双向数据连接;所述控制核心板单元与叉车控制系统之间通过USB接口呈双向数据连接。
[0006] 所述一种基于多目视觉的定位系统还包括控制光源,通过IO接口与视觉定位系统的控制核心板单元呈双向连接。
[0007] 所述交换机是工业交换机。
[0008] 所述多目相机单元是双目相机单元,由两个相机和镜头采用品牌和规格参数一致工业相机构成。
[0009] 所述双目相机单元装于叉车正前方的车头位置,安装位置调整的依据以无遮挡地看见货拍为准;所述车头位置安装有一个支架,所述双目相机单元的相机和镜头都架设在该水平支架上;所述双目相机单元的两个相机之间的中心线夹与被测物体的大小和待测距离有关,依据保证物体可同时完全出现在两个相机的视场中,并且大小是整幅画面的1/3对中心线夹角进行调节。
[0010] 所述基于多目视觉的定位系统是一套符合X86结构的计算系统,采用嵌入式核心CPU板为控制核心,可以安装Windows/Linux系统。
[0011] 一种基于多目视觉的定位方法,其特征在于它包括以下步骤:第一步:由多目相机单元采集叉车和货拍位置进行图像信息,并通过交换机将图像信息上传到控制核心板单元,此时,控制核心板单元要将多目相机单元得到的叉车图像信息与已经存储在控制核心板单元的叉车图像信息进行联合标定,得到转换矩阵,目的是将视觉系统的坐标系与叉车坐标系进行统一化;
第二步:标定后,通过分析叉车在图像坐标系下的值即可通过转换矩阵计算出物体在叉车坐标系下的位姿;完成系统标定工作;
第三步:在叉车和货拍标准位置关系下,通过多目相机单元对货拍进行图像采集,并将此图像中的货拍正面图像设置为模板,将当前状况下叉车的位姿作为参考位姿;
第四步:叉车开始工作,当叉车运动到货拍前方1.6米-2米的位置后,由双目图像检测单进行图像数据采集,并上传到控制核心板单元,由控制核心板单元对图像中的货拍图像数据进行特征点提取,并与第三步得到的货拍模板图片进行对比,进而计算出当前货拍在叉车坐标系下的位姿;
第五步:将第四步得到的货拍在叉车坐标系下的位姿信息以(X,Y,Z,Rx,Ry,Rz)的格式通过USB接口发送给叉车控制系统;其中,X、Y、Z是三维坐标系下物体的位置信息,X、Y、Z表示一个坐标点分别表示一个点在三维坐标系下X轴、Y轴和Z轴方向的值;Rx、Ry、Rz是物体在每个坐标轴下的旋转量,这六个参数统称为物体的位置和姿态信息;
第六步:叉车控制系统则根据事先标定好的标准参考位姿与当前得到的位姿进行差值比较,即可计算出叉车所需要的偏移量和旋转量,叉车根据这些计算值进行对应的移动来达到准确插装的目的。
[0012] 本发明的工作原理:是一款基于多目视觉图像定位系统,来引导无人叉车完成高精度插装。它是基于模板匹配的方式将货拍正面建立模板,通过多目视觉系统识别和分析货拍侧面的特征点来解析出当前货拍在相机坐标系下的位姿。因为相机坐标系和叉车坐标系已经提前标定完毕,所以通过相机坐标系下的位姿可以反算出货拍在叉车坐标系下的位姿,从而可以引导叉车进行对应的位置调整。它可以在不贴标志点的情况下兼容绝大多数货拍。因此,它大大增加了设备的柔性化程度,应用范围也随之扩大。
[0013] 本发明的优越性:1、集成了一套完整的视觉引导控制算法,可以根据用户需要获取不同货拍类型下货物在不同坐标系下的位姿信息;2、本系统为嵌入式开发,体积很小、算法接口均为标准接口;3、将高精度视觉测量技术与无人叉车控制技术结合在一起,通过多目系统计算出当前货拍位姿,并且位姿反馈给无人叉车的控制系统来引导叉车进行准确的叉取货拍;4、结构简单,易于实现,适用于智能化仓储系统中的无人叉车自动插装货拍。
[0014] 说明书附图图1为本发明所涉一种基于多目视觉的定位系统的整体结构框图

具体实施方式

[0015] 实施例:一种基于多目视觉的定位系统,包括叉车控制系统,由嵌入式控制系统、伺服电机驱动系统、网口和USB口的标准通讯接口和其它辅助功能单元构成,如图所示,其特征在于它是由多目相机单元、交换机和视觉定位系统构成;其中,所述多目相机单元是至少有两目相机构成的单元结构,用于采集叉车及货拍图像信息,与交换机之间呈双向数据连接;所述视觉定位系统包括控制核心板单元;所述交换机与控制核心板单元之间呈双向数据连接;所述控制核心板单元与交换机和叉车控制系统之间均呈双向数据连接,用于实现对多目相机单元采集到的叉车图像信息进行坐标系标定处理,以获取物体在叉车坐标系下的位姿,找出与标准位姿之间的位置偏差,并将偏差信号回传给叉车控制系统,达到控制叉车正确动作的目的。
[0016] 如图所示,所述控制核心板单元与交换机之间依千兆以太网接口呈双向数据连接;所述控制核心板单元与叉车控制系统之间通过USB接口呈双向数据连接。
[0017] 如图所示,所述一种基于多目视觉的定位系统还包括控制光源,通过IO接口与视觉定位系统的控制核心板单元呈双向连接。
[0018] 所述交换机是工业交换机。
[0019] 如图所示,所述多目相机单元是双目相机单元,由两个相机和镜头采用品牌和规格参数一致工业相机构成。
[0020] 所述双目相机单元装于叉车正前方的车头位置,安装位置调整的依据以无遮挡地看见货拍为准;所述车头位置安装有一个水平支架,所述双目相机单元的相机和镜头都架设在该水平支架上;所述双目相机单元的两个相机之间的中心线夹角与被测物体的大小和待测距离有关,依据保证物体可同时完全出现在两个相机的视场中,并且大小是整幅画面的1/3对中心线夹角进行调节。
[0021] 所述视觉定位系统是一套符合X86结构的计算系统,采用嵌入式核心CPU板为控制核心,可以安装Windows/Linux系统。
[0022] 一种基于多目视觉的定位方法,其特征在于它包括以下步骤:第一步:由多目相机单元采集叉车和货拍位置进行图像信息,并通过交换机将图像信息上传到控制核心板单元,此时,控制核心板单元要将多目相机单元得到的叉车图像信息与已经存储在控制核心板单元的叉车图像信息进行联合标定,得到转换矩阵,目的是将视觉系统的坐标系与叉车坐标系进行统一化;
第二步:标定后,通过分析叉车在图像坐标系下的值即可通过转换矩阵计算出物体在叉车坐标系下的位姿;完成系统标定工作;
第三步:在叉车和货拍标准位置关系下,通过多目相机单元对货拍进行图像采集,并将此图像中的货拍正面图像设置为模板,将当前状况下叉车的位姿作为参考位姿;
第四步:叉车开始工作,当叉车运动到货拍前方1.6米-2米的位置后,由双目图像检测单进行图像数据采集,并上传到控制核心板单元,由控制核心板单元对图像中的货拍图像数据进行特征点提取,并与第三步得到的货拍模板图片进行对比,进而计算出当前货拍在叉车坐标系下的位姿;
第五步:将第四步得到的货拍在叉车坐标系下的位姿信息以(X,Y,Z,Rx,Ry,Rz)的格式通过USB接口发送给叉车控制系统;其中,X、Y、Z是三维坐标系下物体的位置信息,X、Y、Z表示一个坐标点分别表示一个点在三维坐标系下X轴、Y轴和Z轴方向的值;Rx、Ry、Rz是物体在每个坐标轴下的旋转量,这六个参数统称为物体的位置和姿态信息;
第六步:叉车控制系统则根据事先标定好的标准参考位姿与当前得到的位姿进行差值比较,即可计算出叉车所需要的偏移量和旋转量,叉车根据这些计算值进行对应的移动来达到准确插装的目的。
[0023] 为了进一步清晰明白的描述本发明的目的、技术方案及优点,结合附图以及实施案例进行详细的说明。此处描述的实施案例只是本发明的一部分。
[0024] 当系统各部分运行进入自动模式时,无人叉车在SLAM系统导航的指引下运动到货拍正前方,但是由于货拍的姿态具有很大的不确定性,并且叉车的定位精度在±5cm范围,所以要想叉车精准的插取货物就必须借助本视觉定位系统进行最后的调整。
[0025] 第一步:本视觉定位系统装于叉车正前方的车头位置,具体的安装位置要调整到可以无遮挡地看见货拍为准。第二步:多相机系统要与叉车进行联合标定,得到转换矩阵,目的是将视觉系统的坐标系与叉车坐标系进行统一化。标定后,通过分析物体在图像坐标系下的值即可通过转换矩阵的计算出物体在叉车坐标系下的位姿。第三步:进行完系统标定以后就可以进行工作了。在叉车和货拍标准位置关系下对货拍进行采图,并将此图像中的货拍正面图像设置为模板,将当前状况下叉车的位姿作为参考位姿。叉车到位后视觉系统首先进行图像数据采集,然后对图像中的货拍进行特征点提取,并与模板图片进行对比,进而计算出当前货拍在叉车坐标系下的位姿,并将该位姿信息以(X,Y,Z,Rx,Ry,Rz)的格式通过USB接口发送给叉车控制系统。叉车系统根据参考位姿与当前得到的位姿进行差值比较即可计算出叉车所需要的偏移量和旋转量,叉车根据这些计算值进行对应的移动来达到准确插装的目的。
[0026] 尽管上述已经详细描述本发明实施例,但是对本领域普通技术人员,在此原理和精神下可对实施例进行多种变化,在没有做出创造性的劳动前提下,均属于本发明的保护范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈