首页 / 专利库 / 人工智能 / 人工智能 / 计算机视觉 / 机器人视觉 / 基于水下作业机器人视觉的目标检测方法、系统、装置

基于下作业机器人视觉的目标检测方法、系统、装置

阅读:662发布:2020-05-12

专利汇可以提供基于下作业机器人视觉的目标检测方法、系统、装置专利检索,专利查询,专利分析的服务。并且本 发明 属于 水 下视觉 感知 技术领域,具体涉及一种基于水下作业 机器人 视觉的目标检测方法、系统、装置,旨在解决现有水下作业 机器人视觉 系统中目标检测与 定位 精度 低的问题。本系统方法包括获取 双目视觉 图像;通过稠密连接网络提取图像的特征,并通过特征金字塔网络提取左图像、右图像中的目标图像作为检测结果;通过 位置 匹 配对 检测结果中目标图像进行匹配,获得对应的一个或多个目标图像对;基于所在水域水的折射率、双目相机透明防水层的折射率,通过光路追踪法获取每个目标图像对对应目标的中心点在双目相机 坐标系 下的三维坐标。本发明提高了目标检测与定位的精度。,下面是基于下作业机器人视觉的目标检测方法、系统、装置专利的具体信息内容。

1.一种基于下作业机器人视觉的目标检测方法,其特征在于,该方法包括以下步骤:
步骤S100,获取双目相机采集的视觉图像,作为输入图像;
步骤S200,通过稠密连接网络分别提取所述输入图像中左图像、右图像的特征,并基于所述输入图像的特征,通过特征金字塔网络分别提取左图像、右图像中一个或多个目标的目标图像作为检测结果;
步骤S300,通过位置配对所述检测结果中的左图像、右图像中的目标图像进行匹配,获得对应的一个或多个目标图像对;
步骤S400,基于所在水域水的折射率、双目相机透明防水层的折射率,通过光路追踪法获取每个目标图像对对应目标的中心点在所述双目相机坐标系下的三维坐标,作为目标位置。
2.根据权利要求1所述的基于水下作业机器人视觉的目标检测方法,其特征在于,所述特征金字塔网络包括六个特征层,所述特征层其在训练过程的获取方法为:从第六层特征层开始依次进行上采样,获取上采样特征层,将上采样特征层与尺度相同的原始特征层进行组合。
3.根据权利要求1所述的基于水下作业机器人视觉的目标检测方法,其特征在于,步骤S400中“基于所在水域水的折射率、双目相机透明防水层的折射率,通过光路追踪法获取每个目标图像对对应目标的中心点在所述双目相机坐标系下的三维坐标”,其方法为:
基于双目相机中左相机、右相机的原点分别到双目相机透明防水层内界面、外界面的最短距离及光线在空气和透明防水层两种介质中的折射率,通过光路追踪法得到双目相机成像时光线与透明防水层外界面的交点;
基于所述交点、所在水域水的折射率以及每个目标图像对对应目标的中心点,根据共面特性获取目标的三维坐标。
4.根据权利要求3所述的基于水下作业机器人视觉的目标检测方法,其特征在于,“通过光路追踪法得到双目相机成像时光线与透明防水层外界面的交点”,其方法为:
其中, 为左右相机成像时的光线与透明防水层外界面的交点,CL、CR为双目相机中左相机、右相机的原点, 为左相机、右相机的原点到透明防水层内界面的最短距离, 为左右相机成像时的光线在空气中的折射率, 为左相机、右相机的原点到透明防水层外界面与内界面最短距离的差值, 为左右相机成像时的光线在透明防水层中的折射率,n为平面法向量。
5.根据权利要求3所述的基于水下作业机器人视觉的目标检测方法,其特征在于,“基于所述交点、所在水域水的折射率以及每个目标图像对对应目标的中心点,根据共面特性获取目标的三维坐标”,其方法为:
基于所述交点、所在水域水的折射率以及每个目标图像对对应目标的中心点,构建每个目标图像对对应目标的中心点到透明防水层外界面的最短距离的等式方程;
根据共面特性,求解每个目标图像对对应目标的中心点到透明防水层外界面的最短距离,获取目标的三维坐标。
6.根据权利要求5所述的基于水下作业机器人视觉的目标检测方法,其特征在于,所述等式方程为:
其中, 为左右相机成像时的光线与透明防水层外界面的交点,OL、OR为每个目标图像对对应目标的中心点, 为每个目标图像对对应目标的中心点到透明防水层外界面的最短距离, 为左右相机成像时的所在水域水的折射率。
7.根据权利要求1-6任一项所述的基于水下作业机器人视觉的目标检测方法,其特征在于,步骤S400之后还包括通过预设的11点位姿-尺寸估计方法获取目标的位姿与尺寸的步骤:
将每个目标图像对中任一目标图像作为待估计图像;
基于所述待估计图像的对线、纵向中轴线、横向中轴线与所述待估计图像中目标轮廓的交点,获取四条连接线,将长度最长的一条连接线作为目标的主轴
根据所述待估计图像的中心点,作所述主轴的垂线,基于所述垂线与所述待估计图像中目标轮廓的交点,获取第五条连接线;
将五条连接线中长度最短的一条连接线作为目标的副轴
基于所述主轴、所述副轴,通过右手法则获取目标的法向量;并建立目标坐标系;
基于目标的三维坐标、所述目标坐标系、所述目标的主轴、所述目标的副轴,获取目标的位姿与尺寸。
8.一种基于水下作业机器人视觉的目标检测系统,其特征在于,该系统包括获取模、提取检测模块、匹配模块、输出位置模块;
所述获取模块,配置为获取双目相机采集的视觉图像,作为输入图像;
所述提取检测模块,配置为通过稠密连接网络分别提取所述输入图像中左图像、右图像的特征,并基于所述输入图像的特征,通过特征金字塔网络分别提取左图像、右图像中一个或多个目标的目标图像作为检测结果;
所述匹配模块,配置为通过位置匹配对所述检测结果中的左图像、右图像中的目标图像进行匹配,获得对应的一个或多个目标图像对;
所述输出位置模块,配置为基于所在水域水的折射率、双目相机透明防水层的折射率,通过光路追踪法获取每个目标图像对对应目标的中心点在所述双目相机坐标系下的三维坐标,作为目标位置。
9.一种存储装置,其中存储有多条程序,其特征在于,所述程序应用由处理器加载并执行以实现权利要求1-7任一项所述的基于水下作业机器人视觉的目标检测方法。
10.一种处理设置,包括处理器、存储装置;处理器,适用于执行各条程序;存储装置,适用于存储多条程序;其特征在于,所述程序适用于由处理器加载并执行以实现权利要求1-7任一项基于水下作业机器人视觉的目标检测方法。

说明书全文

基于下作业机器人视觉的目标检测方法、系统、装置

技术领域

[0001] 本发明属于水下视觉感知技术领域,具体涉及一种基于水下作业机器人视觉的目标检测方法、系统、装置。

背景技术

[0002] 水下作业机器人在水下探测、取样、打捞、救援等具有重要应用价值,而且海量的水下信息需要机器人通过计算机视觉及时地进行处理。因此,发展水下计算机视觉技术,提高水下机器人对水下环境的感知与理解能,对水下作业机器人的自主探测与自主作业具有重要意义。尤其是在水下弱光、光波吸收与散射、遮挡等苛刻条件下,水下目标检测、目标定位、地图构建等方面面临的一系列问题。
[0003] 水下机器人主要依赖声呐进行探测,与声呐探测相比,光学图像可以提供近距离内细微并且直观的信息,水下机器人视觉系统可以作为独立的模,集成到水下作业机器人上。传统的水下视觉系统只局限于研究传统的计算机视觉技术在水下场景的应用,较少涉及深度学习技术。制约深度学习技术在水下计算机视觉中发展的因素主要在于以下几个方面:
[0004] 1、训练数据不足,难以训练出大型的深度神经网络。目前的大规模图像数据集主要有ImageNet,MS COCO等,但是这些数据集很少包含水下场景和目标。在训练数据不足的情况下,很难训练出具有良好性能的目标检测网络。
[0005] 2、在移动设备上检测速度过慢,难以达到实时目标检测。水下机器人本身携带电池有限,只能采用低功耗的处理器,例如英伟达Jetson TX2。但是Jetson TX2的计算能力与GTX Force 1080、GTX Titan相比,显卡内存较小,计算能力弱,导致常见的检测网络无法在Jetson TX2上进行部署来实现实时的目标检测。
[0006] 3、水下目标识别和检测精度不理想。除了受到训练数据不足和硬件计算资源有限的制约之外,水下图像的低质量、低对比度颜色退化同样增大了水下目标检测的难度。另外,水下生物在自然进化中为了适应环境,躲避天敌捕食,它们的外表颜色和纹理与周围环境极其相似,也使得检测难度加大。

发明内容

[0007] 为了解决现有技术中的上述问题,即为了解决现有水下作业机器人视觉系统目标检测与定位精度低的问题,本发明第一方面,提出了一种基于水下作业机器人视觉的目标检测方法,该方法包括:
[0008] 步骤S100,获取双目相机采集的视觉图像,作为输入图像;
[0009] 步骤S200,通过稠密连接网络分别提取所述输入图像中左图像、右图像的特征,并基于所述输入图像的特征,通过特征金字塔网络分别提取左图像、右图像中一个或多个目标的目标图像作为检测结果;
[0010] 步骤S300,通过位置配对所述检测结果中的左图像、右图像中的目标图像进行匹配,获得对应的一个或多个目标图像对;
[0011] 步骤S400,基于所在水域水的折射率、双目相机透明防水层的折射率,通过光路追踪法获取每个目标图像对对应目标的中心点在所述双目相机坐标系下的三维坐标,作为目标位置。
[0012] 在一些优选的实施方式中,所述特征金字塔网络包括六个特征层,所述特征层其在训练过程的获取方法为:从第六层特征层开始依次进行上采样,获取上采样特征层,将上采样特征层与尺度相同的原始特征层进行组合。
[0013] 在一些优选的实施方式中,步骤S400中“基于所在水域水的折射率、双目相机透明防水层的折射率,通过光路追踪法获取每个目标图像对对应目标的中心点在所述双目相机坐标系下的三维坐标”,其方法为:
[0014] 基于双目相机中左相机、右相机的原点分别到双目相机透明防水层内界面、外界面的最短距离及光线在空气和透明防水层两种介质中的折射率,通过光路追踪法得到双目相机成像时光线与透明防水层外界面的交点;
[0015] 基于所述交点、所在水域水的折射率以及每个目标图像对对应目标的中心点,根据共面特性获取目标的三维坐标。
[0016] 在一些优选的实施方式中,“通过光路追踪法得到双目相机成像时光线与透明防水层外界面的交点”,其方法为:
[0017]
[0018]
[0019] 其中, 为左右相机成像时的光线与透明防水层外界面的交点,CL、CR为双目相机中左相机、右相机的原点, 为左相机、右相机的原点到透明防水层内界面的最短距离, 为左右相机成像时的光线在空气中的折射率, 为左相机、右相机的原点到透明防水层外界面与内界面最短距离的差值, 为左右相机成像时的光线在透明防水层中的折射率,n为平面法向量。
[0020] 在一些优选的实施方式中,“基于所述交点、所在水域水的折射率以及每个目标图像对对应目标的中心点,根据共面特性获取目标的三维坐标”,其方法为:
[0021] 基于所述交点、所在水域水的折射率以及每个目标图像对对应目标的中心点,构建每个目标图像对对应目标的中心点到透明防水层外界面的最短距离的等式方程;
[0022] 根据共面特性,求解每个目标图像对对应目标的中心点到透明防水层外界面的最短距离,获取目标的三维坐标。
[0023] 在一些优选的实施方式中,所述等式方程为:
[0024]
[0025]
[0026] 其中, 为左右相机成像时的光线与透明防水层外界面的交点,OL、OR为每个目标图像对对应目标的中心点, 为每个目标图像对对应目标的中心点到透明防水层外界面的最短距离, 为左右相机成像时的所在水域水的折射率。
[0027] 在一些优选的实施方式中,步骤S400之后还包括通过预设的11点位姿-尺寸估计方法获取目标的位姿与尺寸的步骤:
[0028] 将每个目标图像对中任一目标图像作为待估计图像;
[0029] 基于所述待估计图像的对线、纵向中轴线、横向中轴线与所述待估计图像中目标轮廓的交点,获取四条连接线,将长度最长的一条连接线作为目标的主轴
[0030] 根据所述待估计图像的中心点,作所述主轴的垂线,基于所述垂线与所述待估计图像中目标轮廓的交点,获取第五条连接线;
[0031] 将五条连接线中长度最短的一条连接线作为目标的副轴
[0032] 基于所述主轴、所述副轴,通过右手法则获取目标的法向量;并建立目标坐标系;
[0033] 基于目标的三维坐标、所述目标坐标系、所述目标的主轴、所述目标的副轴,获取目标的位姿与尺寸。
[0034] 本发明的第二方面,提出了一种基于水下作业机器人视觉的目标检测系统,该系统包括获取模块、提取检测模块、匹配模块、输出位置模块;
[0035] 所述获取模块,配置为获取双目相机采集的视觉图像,作为输入图像;
[0036] 所述提取检测模块,配置为通过稠密连接网络分别提取所述输入图像中左图像、右图像的特征,并基于所述输入图像的特征,通过特征金字塔网络分别提取左图像、右图像中一个或多个目标的目标图像作为检测结果;
[0037] 所述匹配模块,配置为通过位置匹配对所述检测结果中的左图像、右图像中的目标图像进行匹配,获得对应的一个或多个目标图像对;
[0038] 所述输出位置模块,配置为基于所在水域水的折射率、双目相机透明防水层的折射率,通过光路追踪法获取每个目标图像对对应目标的中心点在所述双目相机坐标系下的三维坐标,作为目标位置。
[0039] 本发明的第三方面,提出了一种存储装置,其中存储有多条程序,所述程序应用由处理器加载并执行上述的基于水下作业机器人视觉的目标检测方法。
[0040] 本发明的第四方面,提出了一种处理设置,包括处理器、存储装置;处理器,适用于执行各条程序;存储装置,适用于存储多条程序;所述程序适用于由处理器加载并执行上述的基于水下作业机器人视觉的目标检测方法。
[0041] 本发明的有益效果:
[0042] 本发明提高了目标检测与定位的精度。本发明采用深度学习技术和人工神经网络,设计了一种可用于水下作业机器人实时目标检测的深度网络。深度网络由稠密连接网络和特征金字塔网络组成,采用稠密连接方式,将深度网络中的传统卷积更换为深度卷积,网络变为轻量化深度网络,能够使目标检测网络运行在Jetson TX2处理器上,满足水下作业的需求。同时本发明使用了光路追踪法,充分考虑光线折射对目标定位的影响,提高了水下目标的定位精度,为自主水下作业提供可靠位置信息。附图说明
[0043] 通过阅读参照以下附图所做的对非限制性实施例所做的详细描述,本申请的其他特征、目的和优点将会变得更明显。
[0044] 图1是本发明一种实施例的基于水下作业机器人视觉的目标检测方法的流程示意图;
[0045] 图2是本发明一种实施例的基于水下作业机器人视觉的目标检测系统的框架示意图;
[0046] 图3是本发明一种实施例的水下作业机器人视觉系统的结构示例图;
[0047] 图4是本发明一种实施例的稠密连接网络结构的示例图;
[0048] 图5是本发明一种实施例的双目相机成像过程的示例图;
[0049] 图6是本发明一种实施例的11点位姿-尺寸估计方法的示例图;
[0050] 图7是本发明一种实施例的水下作业机器人视觉系统进行目标检测的示例图;
[0051] 图8是本发明一种实施例的水下作业机器人视觉系统进行位姿-尺寸估计的示例图。

具体实施方式

[0052] 为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0053] 下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
[0054] 需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
[0055] 本发明的基于水下作业机器人视觉的目标检测方法,如图1所示,包括以下步骤:
[0056] 步骤S100,获取双目相机采集的视觉图像,作为输入图像;
[0057] 步骤S200,通过稠密连接网络分别提取所述输入图像中左图像、右图像的特征,并基于所述输入图像的特征,通过特征金字塔网络分别提取左图像、右图像中一个或多个目标的目标图像作为检测结果;
[0058] 步骤S300,通过位置匹配对所述检测结果中的左图像、右图像中的目标图像进行匹配,获得对应的一个或多个目标图像对;
[0059] 步骤S400,基于所在水域水的折射率、双目相机透明防水层的折射率,通过光路追踪法获取每个目标图像对对应目标的中心点在所述双目相机坐标系下的三维坐标,作为目标位置。
[0060] 为了更清晰地对本发明基于水下作业机器人视觉的目标检测方法进行说明,下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
[0061] 步骤S100,获取双目相机采集的视觉图像,作为输入图像。
[0062] 本实施例中,通过水下作业机器人视觉系统采集视觉图像。水下作业机器人视觉系统,如图3所示,包括防水密封舱、双目摄像头、Jetson TX2处理器,STM32控制器、连接器、探照灯、电池组开关
[0063] 水下作业机器人视觉系统位于视觉系统舱,视觉系统舱通过连接器与主控制舱建立通信连接,即可发送检测信息和目标位姿估计信息到主控制器
[0064] 探照灯悬挂于舱体外部,其余设备均内置到防水密封舱内部。防水密封舱由合金镂空而成,密封等级到达水下300米,其包括舱盖和舱体,舱盖和舱体之间安装有密封圈
[0065] 英伟达Jetson TX2是低功耗的嵌入式图像处理器,可以高效的处理水下图像和视频,用于根据双目摄像头采集的目标图像进行目标检测与位姿估计。
[0066] 两个ZED双目摄像机,即前视双目摄像头和下视前视双目摄像头,前视双目摄像头设置于所述防水密封舱内的前方,下视双目摄像头设置于所述防水密封舱内的前下方。双目摄像机与Jetson TX2相连,透过透明的透明防水层板,采集水下原始图像信息,双目摄像头其前端由透明防水层密封防水。在本实施例中,所述透明防水层优选为透明的聚酸酯板。
[0067] STM32微控制器通过串口与Jetson TX2通信,实现对探照灯的指令开关控制。同时,微控制器板管理所有的电源模块,为所有的电子设备提供电源。
[0068] 开关设置于所述防水密封舱的舱体上,用于开通或闭合所述电池组的供电。
[0069] 探照灯包括前视探照灯和下视探照灯,前视探照灯设置于所述前视双目摄像头的后上方,下视探照灯设置于所述下视双目摄像头的右后方。
[0070] 步骤S200,通过稠密连接网络分别提取所述输入图像中左图像、右图像的特征,并基于所述输入图像的特征,通过特征金字塔网络分别提取左图像、右图像中一个或多个目标的目标图像作为检测结果。
[0071] 为了在移动嵌入式平台上实现实时目标检测,轻量化的移动网络(MobileNet)必不可少。在移动网络中,标准的卷积被分解为深度卷积和点卷积。当卷积核大小为3×3时,计算量减少8-9倍。一般而言,卷积网络越深,提取的特征更有利于目标识别和检测。残差网络(ResNet)有效的解决了梯度消失的问题,使得神经网络可以达到数百甚至上千层的深度。在深度神经网络中,信息流(Information Flow)至关重要,在MobileNet和ResNet中,信息流都存在不同程度的阻塞。此外,每一层都应该受到目标损失函数的有效监督。但是由于网络的级联结构,损失函数对前边的层具有较弱的监督,导致训练效果欠佳。稠密连接网络(DenseNet)通过建立复杂的稠密连接,拉近了每一层与监督函数的距离,使得损失函数对前边层的监督大大增强,称之为深度监督(Deep Supervision)。实时轻量化目标检测器的特征提取网络是深度监督稠密网络的变形体。该网络由三种基本模块组成,分别为残差网络模块、过渡模块和稠密连接模块,如图4所示,Conv为卷积层,stride为步数,max pooling为池化层,dwconv为深度卷积层。同时这一骨干网络通过移动网络加速,兼顾了检测速度与精度。
[0072] 除了信息流和深度监督外,信息交互(Information Interaction)也是影响目标检测的至关因素。信息交互性对于目标检测作用已在特征金字塔网络(FPN)中得到实验证实。
[0073] 在本实施例中,目标检测基于SSD检测框架,设计了一种适用于移动平台的实时轻量化目标检测器,由稠密连接网络和特征金字塔网络组成。通过稠密连接网络提取输入图像对的特征,并根据特征,通过特征金字塔网络分别提取左图像、右图像中一个或多个目标的目标图像作为检测结果。其中,本发明将特征金字塔网络设计成一种沙漏状特征网络。除了第六层特征层外,其他特征层都被多次利用。首先经过前向传播生成新的层,同时该层经过分辨率和通道数的整合之后与新的层进行结合,构成新的特征层。按照上述流程,原始的6个特征层依次进行类似的操作。最终从第六层特征层开始,进行上采样,与尺度相同的原始特征层进行二次组合构成精调后的特征层。每一层精调特征层半数通道来自上采样特征层,半数来自原始特征层。通过沙漏检测网络,充分实现高层特征层与底层特征层信息的互通。
[0074] 步骤S300,通过位置匹配对所述检测结果中的左图像、右图像中的目标图像进行匹配,获得对应的一个或多个目标图像对。
[0075] 本实施例中,基于步骤S200获取的检测结果,通过位置匹配对所述检测结果中的左图像、右图像中的目标图像进行匹配,获取对应的目标图像对,即一个或多个目标匹配的检测框。
[0076] 步骤S400,基于所在水域水的折射率、双目相机透明防水层的折射率,通过光路追踪法获取每个目标图像对对应目标的中心点在所述双目相机坐标系下的三维坐标,作为目标位置。
[0077] 水下双目相机通常由透明介质密封防水,因透明介质与水和空气的密度不同,光线经过水-透明介质-空气的界面时会发生折射而产生弯折。不同入射角度的光线经过折射后被映射到不同的视点,导致单视点相机模型不再成立。由于折射存在,如果基于外参矩阵计算目标的位置,会产生较大的误差,进一步影响水下抓取作业的精度,甚至导致抓取作业失败,因此需要针对折射问题,设计准确的定位方法。
[0078] 本实施例中的双目相机共享同一块平面透明密封罩(聚碳酸酯板),因此有共同的平面法向量n。如图5所示,图中CL和CR分别是双目相机中左相机、右相机的原点,O是相交目标点, 和 分别是左右相机下不同介质的厚度, 和 是光线在不同介质中的单位方向向量,即折射率, 和 是光线与界面的交点。一个物理点经过两次折射,分别在左右相机中成像,O, 具有恒定的共面特性,因此等式(1)成立:
[0079]
[0080] 其中, 为左右相机成像时的光线与透明防水层外界面的交点, 为左右相机成像时的所在水域水的折射率。
[0081] 可以通过光路追踪法推导,如式(2)(3)所示:
[0082]
[0083]
[0084] 其中, 为左相机、右相机的原点到透明防水层内界面的最短距离,为左右相机成像时的光线在空气中的折射率, 为左相机、右相机的原点到透明防水层外界面与内界面最短距离的差值, 为左右相机成像时的光线在透明防水层中的折射率。
[0085] 令 并根据公式(1)(2)(3)得到等式(4):
[0086]
[0087] 公式(4)是一种标准的系统辨识形式,因此 可以通过系统辨识的方法进行无差估计。其中,D为待辨识向量。
[0088] 最后,相交目标点在水中的传播光线 和 分别表示如公式(5)(6)所示:
[0089]
[0090]
[0091] 其中,OL、OR为每个目标图像对对应目标的中心点, 为每个目标图像对对应目标的中心点到透明防水层外界面的最短距离, 为左右相机成像时的所在水域水的折射率。
[0092] 求解 和 使得 和 相交,交点即为目标点所在位置。即根据光路可逆原理,物理世界同一个目标点通过透明介质进入相机成像,在水中的两条光线存在固有的共面特性,根据光线与透明介质的交点和所传播的方向可以构造两条光线的数学公式,然后求解两条线的交点,即可获得目标的三维坐标。
[0093] 在步骤S400之后还包括通过预设的11点位姿-尺寸估计方法获取目标的位姿与尺寸的步骤:
[0094] 针对目标物体的位姿和尺寸估计问题,一般采用PCA分析目标轮廓的主轴方向,但是水下环境波动较大时,左右相机检测的目标主轴方向多数情况下并不完全吻合,导致PCA方法失效。因此,本发明设计了11点位姿-尺寸估计方法。如图6所示,在目标检测中,图像中的目标被矩形框B1B2B3B4标识,目标的几何中心P0定义为矩形框对角线的交点,即B1B4和B2B3的交点。关键点P1-P8分别是目标轮廓Eo与对角线B1B4,B2B3或者纵向、横向中轴线C1C2,C3C4的交点。
[0095] 关键点由于左右视角及检测干扰等因素,会出现不完全匹配的问题。因此左右相机中检测到的对应关键点需要通过本质矩阵(Essenti al Matrices)进行筛选,如式(7)所示:
[0096] PLEPR<ε  (7)
[0097] 其中,PL,PR分别是关键点在左右相机图像中的像素位置,E为本质矩阵,ε为容许误差。
[0098] 在图6的8个关键点组成的四对关键线中,求解最长的关键线作为目标长端尺寸的近似值,与此同时最长的关键线作为目标的主轴,求解过程如公式(8)所示:
[0099] Ll=argmax{P1P5,P2P6,P3P7,P4P8}  (8)
[0100] 其中,Ll为目标的主轴。
[0101] 不失一般性地假设P2P6是最长的关键线,在物体平面内,过点P0且与P2P6垂直。P9,P10是与目标轮廓Eo的交点,获得第五条关键线P9P10,也即目标的副轴。类似地求解最短的关键线作为目标短端尺寸的近似值如式(9)所示:
[0102] Ls=argmin{P1P5,P2P6,P3P7,P4P8,P9P10}  (9)
[0103] 其中,Ls为目标的副轴。
[0104] 最后,根据右手法则确定相对于P0P2P10的物体法向量no并建立物体坐标系P0P2-P0P10-no。从而目标的位姿-尺寸可以通过式(10)表示:
[0105] PSO=F{P0,ΣP0P2-P0P10-no,Ll,Ls}  (10)
[0106] 其中,ΣP0P2-P0P10-no是目标物体坐标系,F{}为位姿计算函数,PSO为目标的位姿。
[0107] 主轴为X轴,副轴为Y轴,当建立了目标的坐标系后,可以通过几何方法求解目标坐标系相对于随体坐标系的齐次转换关系。
[0108] 本发明的目标检测效果图7和图8所示,图7是本发明的基于水下作业机器人视觉的目标检测方法检测的示例图,实现在多个物体中对指定目标的识别和检测。图8是本发明的基于水下作业机器人视觉的目标检测方法获取目标位置-尺寸的示例图,实现对所检测的贝壳进行位置和尺寸估计。
[0109] 本发明第二实施例的一种基于水下作业机器人视觉的目标检测系统,如图2所示,包括:获取模块100、提取检测模块200、匹配模块300、输出位置模块400;
[0110] 所述获取模块100,配置为获取双目相机采集的视觉图像,作为输入图像;
[0111] 所述提取检测模块200,配置为通过稠密连接网络分别提取所述输入图像中左图像、右图像的特征,并基于所述输入图像的特征,通过特征金字塔网络分别提取左图像、右图像中一个或多个目标的目标图像作为检测结果;
[0112] 所述匹配模块300,配置为通过位置匹配对所述检测结果中的左图像、右图像中的目标图像进行匹配,获得对应的一个或多个目标图像对;
[0113] 所述输出位置模块400,配置为基于所在水域水的折射率、双目相机透明防水层的折射率,通过光路追踪法获取每个目标图像对对应目标的中心点在所述双目相机坐标系下的三维坐标,作为目标位置。
[0114] 所述技术领域的技术人员可以清楚的了解到,为描述的方便和简洁,上述描述的系统的具体的工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0115] 需要说明的是,上述实施例提供的基于水下作业机器人视觉的目标检测系统,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定
[0116] 本发明第三实施例的一种存储装置,其中存储有多条程序,所述程序适用于由处理器加载并实现上述的基于水下作业机器人视觉的目标检测方法。
[0117] 本发明第四实施例的一种处理装置,包括处理器、存储装置;处理器,适于执行各条程序;存储装置,适于存储多条程序;所述程序适于由处理器加载并执行以实现上述的基于水下作业机器人视觉的目标检测方法。
[0118] 所述技术领域的技术人员可以清楚的了解到,未描述的方便和简洁,上述描述的存储装置、处理装置的具体工作过程及有关说明,可以参考前述方法实例中的对应过程,在此不再赘述。
[0119] 本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的模块、方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
[0120] 术语“第一”、“第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
[0121] 术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
[0122] 至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈