一种基于图像修复的三维目标检测方法和系统专利检索-深度相机视听技术与设备专利检索查询-专利查询网

一种基于图像修复的三维目标检测方法和系统

阅读：407发布：2020-05-11

专利汇可以提供一种基于图像修复的三维目标检测方法和系统专利检索，专利查询，专利分析的服务。并且本发明涉及一种基于图像修复的三维目标检测方法和系统，该方法包括以下步骤：获取三维目标的RGB图和雷达点云；根据二维目标检测算法在RGB图上生成二维目标检测框；对于存在被遮挡目标的图片，采用实例分割算法进行实例分割得到目标被遮挡处的掩码，然后根据形态学闭运算计算目标的完整掩码；将雷达点云通过相机矩阵转化为深度图，在深度图上将目标的被遮挡处，然后进行图像修复，修复完成后，根据目标的完整掩码，提取目标的深度图形式的深度信息；根据目标的深度图形式的深度信息转化为修复后点云；将修复后点云输入三维目标检测网络中进行三维目标检测。与现有技术相比，本发明起到了三维目标检测减少偏移、提高精度的作用。，下面是一种基于图像修复的三维目标检测方法和系统专利的具体信息内容。

权利要求

1.一种基于图像修复的三维目标检测方法，其特征在于，包括以下步骤：
S1、获取三维目标的RGB图和雷达点云；
S2、根据二维目标检测算法在RGB图上生成二维目标检测框，并且判断RGB图上的目标是否存在遮挡；
S3、对于存在被遮挡目标的图片，采用实例分割算法进行实例分割得到目标被遮挡处的掩码，然后根据形态学闭运算计算目标的完整掩码；
S4、将雷达点云通过相机矩阵转化为深度图，在深度图上将目标的被遮挡处去除，然后进行图像修复，修复完成后，根据目标的完整掩码，提取目标的深度图形式的深度信息；
S5、根据目标的深度图形式的深度信息通过相机矩阵和参数将其转化为修复后点云；
S6、将修复后点云输入三维目标检测网络中进行三维目标检测。
2.根据权利要求1所述的一种基于图像修复的三维目标检测方法，其特征在于，所述的步骤S2中，二维目标检测框包含检测框的中心的位置和尺寸、检测框中检测目标的属于某类别的置信度与检测目标的类别，以及遮挡判断信息。
3.根据权利要求1所述的一种基于图像修复的三维目标检测方法，其特征在于，目标被遮挡处的掩码或目标的完整掩码为与图片像素大小一致的二维矩阵，矩阵单元为0和1。
4.根据权利要求1所述的一种基于图像修复的三维目标检测方法，其特征在于，所述的步骤S4中，深度图与RGB图为同一视角，同一区域，且尺寸大小相同。
5.根据权利要求1所述的一种基于图像修复的三维目标检测方法，其特征在于，所述的步骤S4中，图像修复的步骤包括进行未知像素的优先级计算，对于优先级高的像素在图像已知区域上进行相似度搜索，找到和待修复像素相似度最高的像素值进行填充，并更新待修复区域数值，重复上述步骤直至未知部分修复完成。
6.根据权利要求5所述的一种基于图像修复的三维目标检测方法，其特征在于，所述的优先级计算表达式为：
Pp＝E(p)*F(p)
式中，E(p)和F(p)的表达式如下：
式中，I为需要修复的图像，Ω为目标的被遮挡处区域，为目标不存在遮挡的区域，p为当前优先值最高的像素，Ψp为以p点为中心的区域，为p点的等照度线方向，np为与边界正交的单位向量，α为归一化因子。
7.根据权利要求6所述的一种基于图像修复的三维目标检测方法，其特征在于，搜索最优匹配块并填充的表达式为：
Ψ'q＝argmin(SSD(Ψp,Ψq))
式中，Ψp和Ψq为优先级最高的样本块，SSD(Ψp,Ψq)表示两样本块内对应点像素颜色差值的平方和，Ψ'q表示填充Ψp缺失区域的像素。
8.根据权利要求1所述的一种基于图像修复的三维目标检测方法，其特征在于，目标的深度图形式的深度信息通过相机矩阵和参数将其转化为修复后点云的计算表达式为：
式中，u和v分别为图像坐标系下的任意像素点的横坐标和纵坐标，u0和v0分别为图像坐标系的中心坐标的横坐标和纵坐标，xw、yw和zw分别为世界坐标系下的三维坐标，Ddepth为深度图里的深度信息值，dx和dy为每一个像素在u轴和v轴方向上的物理尺寸，f为相机焦距。
9.一种基于图像修复的三维目标检测系统，其特征在于，包括：
采集模块，用于获取三维目标的RGB图和雷达点云；
二维检测框生成模块，用于根据二维目标检测算法在RGB图上生成二维目标检测框，并且判断RGB图上的目标是否存在遮挡；
图像修复模块，用于对目标被遮挡处的深度信息进行修复，获取修复后点云；
三维目标检测网络模块，用于将修复后点云输入三维目标检测网络中进行三维目标检测。
10.根据权利要求9所述的一种基于图像修复的三维目标检测系统，其特征在于，所述的图像修复模块具体执行以下步骤：对于存在被遮挡目标的图片，采用实例分割算法进行实例分割得到目标被遮挡处的掩码，然后根据形态学闭运算计算目标的完整掩码；将雷达点云通过相机矩阵转化为深度图，在深度图上将目标的被遮挡处去除，然后进行图像修复，修复完成后，根据目标的完整掩码，提取目标的深度图形式的深度信息；根据目标的深度图形式的深度信息通过相机矩阵和参数将其转化为修复后点云。

说明书全文

一种基于图像修复的三维目标检测方法和系统

技术领域

[0001] 本发明涉及计算机视觉与图像处理技术领域，尤其是涉及一种基于图像修复的三维目标检测方法和系统。

背景技术

[0002] 目标检测作为计算机视觉领域中必不可少的一个任务，其广泛应用于自动驾驶，医学图像分析，视频监控等领域。现今对于三维目标检测任务，使用深度学习框架的算法非常普遍，而深度学习网络需要使用大量的数据进行训练。目前的训练数据一般包括RGB图像、深度图像与激光雷达点云数据。基于RGB图像的三维目标检测方法因缺少三维几何信息，因此需要较多的先验信息来弥补，这些局限性使得运用这类方法的目标检测效果一直无法得到大幅提升。基于RGB-D的三维目标检测方法虽然利用了深度图中的三维信息，但信息使用率过少的原因，导致三维框定位存在很大的偏移。现有基于RGB图与雷达点云的三维目标检测方法虽然直接利用了三维的雷达点云信息，但由于激光雷达摄像机扫描到的点云仅得到了物体在摄像机视野范围内的点，因此对于背着单物体，其被遮挡部分点云存在大面积的丢失，物体的点云信息极不完整，而这些不完整的信息会导致三维目标检测框存在较大误差。

发明内容

[0003] 本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于图像修复的三维目标检测方法和系统。

[0004] 本发明的目的可以通过以下技术方案来实现：

[0005] 一种基于图像修复的三维目标检测方法，包括以下步骤：

[0006] S1、获取三维目标的RGB图和雷达点云；

[0007] S2、根据目前成熟的二维目标检测算法在RGB图上生成二维目标检测框，并且判断RGB图上的目标是否存在遮挡；

[0008] S3、对于存在被遮挡目标的图片，采用当前成熟实例分割算法进行实例分割得到目标被遮挡处的掩码，然后根据形态学闭运算计算目标的完整掩码；

[0009] S4、将雷达点云通过相机矩阵转化为深度图，在深度图上将目标的被遮挡处去除，然后进行图像修复，修复完成后，根据目标的完整掩码，提取目标的深度图形式的深度信息；

[0010] S5、根据目标的深度图形式的深度信息通过相机矩阵和参数将其转化为修复后点云，从而恢复点云数据的自然不变性，其中自然不变性主要是指点云的平移不变性、旋转视角不变性以及尺度不变性；

[0011] S6、将修复后点云输入三维目标检测网络中进行三维目标检测。

[0012] 进一步地，所述的步骤S2中，二维目标检测框包含框的中心的位置和尺寸、框中检测目标的属于某类别的置信度与检测目标的类别，以及遮挡判断信息，二维目标检测框的向量表示为[x,y,w,h,score,c,occlusion]，是一个8维度的返回值，且它是基于图像坐标系的坐标值。

[0013] 进一步地，目标被遮挡处的掩码或目标的完整掩码为与图片像素大小一致的二维矩阵，矩阵单元为0和1。

[0014] 进一步地，所述的步骤S4中，深度图与RGB图为同一视角，同一区域，且尺寸大小相同，以便后续将RGB图上的实例分割掩码对应到深度图。

[0015] 进一步地，所述的步骤S4中，图像修复的步骤包括进行未知像素的优先级计算，对于优先级高的像素在图像已知区域上进行相似度搜索，找到和待修复像素相似度最高的像素值进行填充，并更新待修复区域数值，重复上述步骤直至未知部分修复完成。

[0016] 进一步地，所述的优先级计算表达式为：

[0017] Pp＝E(p)*F(p)

[0018] 式中，E(p)和F(p)的表达式如下：

[0019]

[0020] 式中，I为需要修复的图像，Ω为目标的被遮挡处区域，为目标不存在遮挡的区域，p为当前优先值最高的像素，Ψp为以p点为中心的区域，为p点的等照度线方向，np为与边界正交的单位向量，α为归一化因子，对于灰度图，α取值为255。

[0021] 进一步地，搜索最优匹配块并填充的表达式为：

[0022] Ψ'q＝arg min(SSD(Ψp,Ψq))

[0023] 式中，Ψp和Ψq为优先级最高的样本块，SSD(Ψp,Ψq)表示两样本块内对应点像素颜色差值的平方和，Ψ'q表示填充Ψp缺失区域的像素。

[0024] 进一步地，目标的深度图形式的深度信息通过相机矩阵和参数将其转化为修复后点云的计算表达式为：

[0025]

[0026] 式中，u和v分别为图像坐标系下的任意像素点的横坐标和纵坐标，u0和v0分别为图像坐标系的中心坐标的横坐标和纵坐标，xw、yw和zw分别为世界坐标系下的三维坐标，Ddepth为深度图里的深度信息值，dx和dy为每一个像素在u轴和v轴方向上的物理尺寸，f为相机焦距。

[0027] 一种基于图像修复的三维目标检测系统，包括：

[0028] 采集模块，用于获取三维目标的RGB图和雷达点云；

[0029] 二维检测框生成模块，用于根据二维目标检测算法在RGB图上生成二维目标检测框，并且判断RGB图上的目标是否存在遮挡；

[0030] 图像修复模块，用于对目标被遮挡处的深度信息进行修复，获取修复后点云；

[0031] 三维目标检测网络模块，用于将修复后点云输入三维目标检测网络中进行三维目标检测。

[0032] 进一步地，所述的图像修复模块具体执行以下步骤：对于存在被遮挡目标的图片，采用实例分割算法进行实例分割得到目标被遮挡处的掩码，然后根据形态学闭运算计算目标的完整掩码；将雷达点云通过相机矩阵转化为深度图，在深度图上将目标的被遮挡处去除，然后进行图像修复，修复完成后，根据目标的完整掩码，提取目标的深度图形式的深度信息；根据目标的深度图形式的深度信息通过相机矩阵和参数将其转化为修复后点云。

[0033] 与现有技术相比，本发明具有以下优点：

[0034] 本发明通过对目标被遮挡处丢失的雷达点云以图像修复算法进行修复的方式，可以增加物体雷达点云的几何特性，即形状完整性，解决了被检测目标仅部分可见的问题，从而提升了点云信息的利用率，输入到三维目标检测网络中回归的三维框起到了三维目标检测减少偏移、提高精度的作用。附图说明

[0035] 图1为基于图像修复的三维目标检测系统示意图；

[0036] 图2为二维目标检测流程示意图；

[0037] 图3为对目标被遮挡处的深度信息进行图像修复的流程示意图；

[0038] 图4为Criminisi算法符号示意图；

[0039] 图5为目标完整点云提取的流程图；

[0040] 图6为基于图像修复的三维目标检测整体框架示意图。

[0041] 附图标记：1、采集模块，2、二维检测框生成模块，3、图像修复模块，4、三维目标检测网络模块。

具体实施方式

[0042] 下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

[0043] 如图1所示，本实施例提供了一种基于图像修复的三维目标检测系统，包括：

[0044] 采集模块1，用于获取三维目标的RGB图和雷达点云，该采集模块包括市售用于图像采集相机和雷达。

[0045] 二维检测框生成模块2，用于根据二维目标检测算法在RGB图上生成二维目标检测框，并且判断RGB图上的目标是否存在遮挡。

[0046] 图像修复模块3，用于对目标被遮挡处的深度信息进行修复，获取修复后点云，其中具体包括：对于存在被遮挡目标的图片，采用实例分割算法进行实例分割得到目标被遮挡处的掩码，然后根据形态学闭运算计算目标的完整掩码；将雷达点云通过相机矩阵转化为深度图，在深度图上将目标的被遮挡处去除，然后进行图像修复，修复完成后，根据目标的完整掩码，提取目标的深度图形式的深度信息；根据目标的深度图形式的深度信息通过相机矩阵和参数将其转化为修复后点云。

[0047] 三维目标检测网络模块4，用于将修复后点云输入现有成熟的三维目标检测网络中进行三维目标检测，对点云进行特征提取并回归出目标的三维框。

[0048] 如图2为二维检测框生成模块2中执行的流程图，具体步骤如下：

[0049] 将RGB图输入到现有成熟的CNN特征提取网络中，对图片进行特征提取，然后将提取的特征输入到区域生成网络RPN中，提取得到目标的候选提案框，然后通过非极大值抑制算法生成最后的目标二维检测框以及类别信息和相关遮挡信息。二维目标检测框包含框的中心的位置和尺寸、框中检测目标的属于某类别的置信度与检测目标的类别，以及遮挡判断信息，二维目标检测框的向量表示为[x,y,w,h,score,c,occlusion]，是一个8维度的返回值，且它是基于图像坐标系的坐标值。

[0050] 如图3为图像修复模块3中执行的流程图，具体步骤如下：

[0051] 步骤301：根据二维目标检测的输出结果确定目标是否存在遮挡。

[0052] 步骤302：若存在遮挡物体，采用现有成熟的实例分割算法提取目标被遮挡处的掩码，掩码为与图片像素大小一致的二维矩阵，矩阵单元为0和1。

[0053] 步骤303：运用形态学闭运算计算目标的完整掩码。

[0054] 步骤304：运用三维坐标系与图像坐标系之间的转化关系并利用相机矩阵以及相关参数将雷达点云转化为深度图；其中转化公式如下：

[0055]

[0056] 式中，坐标(x,y)为图像坐标系上的点，坐标(xc,yc,zc)为相机坐标系上的点，f为相机焦距。

[0057] 从相机坐标系转化到世界坐标系的转化关系如下式所示：

[0058] Xc＝RX+T

[0059] 式中，Xc代表相机坐标系上的点，X代表世界坐标系上的一点，R代表旋转量，T代表平移量。

[0060] 步骤305：得到目标被遮挡处的实例分割掩码之后，利用掩码将遮挡处移除。

[0061] 步骤306～309：图像修复过程的具体步骤如下：

[0062] (1)计算优先级

[0063] 图像未知区域修复示意图如图4所示，设I为需要修复的图像，Φ为图像遮挡物之外的区域，Ω为目标的遮挡物区域，为目标不存在遮挡的区域p为当前优先值最高的像素，Ψp为以p点为中心的区域，目前绝大多数文献选取9×9，为p点的等照度线方向，np为与边界正交的单位向量。

[0064] p点的优先权Pp的计算公式如下：

[0065] Pp＝E(p)*F(p)

[0066] 式中，E(p)和F(p)的计算如下：

[0067]

[0068] (2)搜索最优匹配块并填充

[0069] 设优先级最高的样本块为Ψp，Ψq为图像中已知像素区域最优匹配块应满足下式：

[0070] Ψ'q＝arg min(SSD(Ψp,Ψq))

[0071] 式中，SSD(Ψp,Ψq)是两样本块内对应点像素颜色差值的平方和(Sum of Squared Differences，SSD)，在搜索到最优匹配块Ψ'q后，将Ψ'q中的像素信息填充Ψp缺失区域的相应位置。

[0072] (3)更新Ψp模块中像素的置信度

[0073] 对已修复的像素进行更新，置信度的更新方式如下：

[0074] E(p)＝E(q)

[0075] 式中，p∈(ψp∩Ω)，重复以上步骤，直到图像修复完成。

[0076] 步骤310和311：将计算得到的目标的完整掩码信息对应到修复完成后的深度图上，最终得到目标深度图形式的深度信息。

[0077] 如图5所示，图像修复模块3中还执行以下步骤：

[0078] 采用降维原理来缩小搜索空间：利用实例分割算法。采用成熟的实例分割算法在RGB图上做实例分割，得到每个分割实例的掩码后，对应到深度图，得到分割实例的深度信息，最后将深度信息通过下式转化为修复后点云：

[0079]

[0080] 式中，(u,v)为图像坐标系下的任意像素点的行列坐标值，(u0,v0)分别为图像坐标系的中心坐标，(xw,yw,zw)表示世界坐标系下的三维坐标点，Ddepth为深度图里的深度信息值，相机坐标系和世界坐标系下同一点具有相同的深度，即zw＝Ddepth。dx和dy为每一个像素在u轴和v轴方向上的物理尺寸，f为相机焦距。

[0081] 如图6所示为三维目标检测网络模块4中执行的流程图，具体步骤如下：

[0082] 将修复后目标物体的点云信息输入到三维目标检测网络中，进行特征提取后输入到回归网络中回归物体的三维检测框。第一步：将RGB图输入到卷积神经网络进行物体的实例分割并获取物体的语义信息；第二步：根据深度图与物体实例分割得到的掩码通过图像修复模块与相关步骤完成图像修复；第三步，对修复完成后的图像继续通过图像修复模块与相关步骤，将物体对应的深度图形式的深度信息转化为点云形式的深度信息；第四步：将物体对应的点云与物体的语义信息输入到卷积神经网络中提取得到属于物体的点云；第五步：将实例点云输入到卷积神经网络中得到物体的三维框信息。本文用[Xc，Yc，Zc，l,w,h,θ]向量表示一个三维框，其中[Xc，Yc，Zc]是三维框在相机坐标系下中心点，[l,w,h]是三维框在世界坐标系下的物理尺寸，θ是世界坐标系下三维框的姿态即方向角。

[0083] 以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

标题	发布/更新时间	阅读量
一种基于增强现实的机械组件质检方法及系统	2020-05-08	809
用于具有模式切换的深度相机模式的成像架构	2020-05-08	874
使用超声波深度感测的RGB-D成像系统和方法	2020-05-08	124
一种基于视觉信息的环境语义感知方法	2020-05-08	818
铁路货车滚轴承甩油故障检测方法	2020-05-11	86
具有追踪功能的自动驾驶系统	2020-05-11	955
智能柜物体检测方法、装置、服务器及存储介质	2020-05-08	796
一种基于图像修复的三维目标检测方法和系统	2020-05-11	407
基于深度学习的无监督端到端的驾驶环境感知方法	2020-05-08	508
一种行李标签自动识别装置	2020-05-08	849

一种基于图像修复的三维目标检测方法和系统

一种基于图像修复的三维目标检测方法和系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：