首页 / 专利库 / 电脑编程 / 算法 / 期望最大化算法 / 基于关键点检测网络和空间约束混合模型的海水区域检测方法

基于关键点检测网络和空间约束混合模型的区域检测方法

阅读:73发布:2020-05-20

专利汇可以提供基于关键点检测网络和空间约束混合模型的区域检测方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于关键点检测网络和空间约束混合模型的 海 水 区域检测方法,包括以下步骤:(1)采集海面图像样本,构建海天线关键点训练样本;(2)利用海天线关键点训练样本训练关键点检测网络;(3)将待检测的海面图像作为输入,通过已训练的关键点检测网络预测海天线关键点;(4)连接海天线关键点,获得相应的海天线;(5)建立空间约束的混合模型,以海天线为参考对模型参数以及先验分布进行初始化;(6)通过期望最大化 算法 对海面图像进行语义分割,从而检测出 海水 区域。本发明的方法可以有效地检测出复杂背景下的海水区域,并且具有速度快、鲁棒性好的特点。,下面是基于关键点检测网络和空间约束混合模型的区域检测方法专利的具体信息内容。

1.一种基于关键点检测网络和空间约束混合模型的区域检测方法,其特征在于,包括以下步骤:
(1)采集海面图像样本,构建海天线关键点训练样本;
(2)利用海天线关键点训练样本训练关键点检测网络;
(3)将待检测的海面图像作为输入,通过已训练的关键点检测网络预测海天线关键点;
(4)连接海天线关键点,获得相应的海天线;
(5)建立空间约束的混合模型,以海天线为参考对模型参数以及先验分布进行初始化;
(6)通过期望最大化算法对海面图像进行语义分割,从而检测出海水区域。
2.根据权利要求1所述的基于关键点检测网络和空间约束混合模型的海水区域检测方法,其特征在于,所述步骤(1)中,利用无人水面艇搭载的相机采集N张海面彩色图像,使用标注工具对采集到的图像进行人工标注,形成海天线关键点训练集T={t1,t2,…,tN};其中,每一个训练样本ti由海面图像Ii和对应的海天线关键点构成Oi,即ti={Ii,Oi};对于海天线关键点Oi标注,其具体过程为:沿着图像的竖直方向等距地划出n条竖线,然后利用标注工具人工标注出这n条竖线上与海天线相交的点,从而获得n个海天线关键点坐标,即
3.根据权利要求1所述的基于关键点检测网络和空间约束混合模型的海水区域检测方法,其特征在于,所述步骤(2)中,关键点检测网络的结构主要由3个连续的3×3卷积层block1、3个连续的分解卷积模block2、3个连续的膨胀卷积模块block3、1个3×3卷积层S1、1个8×8卷积层S2以及1个全连接层S3构成;其中,分解卷积模块和膨胀卷积模块都是以残差模块为基础,不同之处在于:分解卷积将残差模块中的3×3卷积层替换成了一个3×1卷积层和一个1×3卷积层,而膨胀卷积模块则是将残差模块中的3×3卷积核替换成了一个
3×3的膨胀卷积核;此外利用多尺度融合方法,将block3模块、S1层、S2层的输出特征图进行融合后输入给全连接层,关键点检测网络的输入是海面图像,而输出的是海天线关键点坐标。
4.根据权利要求1所述的基于关键点检测网络和空间约束混合模型的海水区域检测方法,其特征在于,所述步骤(5)中,假设混合模型由3个高斯分布和1个均匀分布组成,其中3个高斯分布分别用于描述天空、雾霾/海岸混合区域、海水区域,而均匀分布用于描述潜在的障碍物区域,即奇异值区域;于是,图像中第i个像素特征向量yi的概率表示为:
上式中,N(·|m,C)表示均值为m而协方差为C的高斯分布函数,U(·)=ε表示均匀分布函数,其中,ε为一个极小的正值超参数;yi表示图像中第i个像素的特征向量,也称为观测数据,主要由像素的颜色特征(c1,c2,c3)和坐标(r,c)组成;θ表示模型中所有高斯分布的参数,即θ={mk,Ck}k=1,2,3;π表示图像中所有像素的类别先验分布,即π={πi}i=1:M,其中,M为图像中像素的个数,πi表示第i个像素的类别先验分布,即πi=[πi1,…,πik,…,πi4],其中,πik=p(xi=k)表示第i个像素的类别xi为k时的概率,假设k=1表示天空类别,k=2表示中间海岸/雾霾混合类别,k=3表示海水类别,k=4表示障碍物类别;h表示由关键点检测网络预测得到的海天线,而 表示海天线已知时,第i个像素类别的条件先验分布
p(xi=k|h)为海天线h已知时,像素i的类别xi
=k的概率;
为了克服海面图像中局部噪声对图像分割造成的不利影响,通过引入尔可夫随机场MRF对混合模型进行空间约束,即假设图像中所有像素的类别先验分布π={πi}i=1:M以及后验分布P={pi}i=1:M是关于邻域系统的一个MRF;通过推导,最终得到空间约束混合模型的惩罚对数似然函数:
上式中,表示Hadamard积运算,D(·||·)表示KL散度,s={si}i=1:M为辅助类别先验分布集,q={qi}i=1:M为辅助后验分布集, 为像素i的邻域Ni的类别先验分布, 为像素i的邻域Ni的后验分布;
混合模型参数的初始化:
当海天线h已知时,海天线h以下区域的像素只能是海水或障碍物类别,因此当像素i位于海天线h以下区域时,假设条件先验概率p(xi=k|h)为:
而当像素i位于海天线h以上区域时,假设条件先验概率p(xi=k|h)为:
此外,混合模型中的初始高斯参数θ也参考海天线h的位置确定;具体地,对于海水类别的初始高斯参数{m3,C3},通过统计海天线h以下区域的所有像素的特征均值和协方差矩阵获得;对于天空类别和中间海岸/雾霾混合类别的初始高斯参数{mk,Ck}k=1,2,先将海天线h以上的均分成上下两个区域,从而利用这两个区域的像素特征均值和协方差矩阵分别作为天空类别和中间海岸/雾霾混合类别的初始高斯参数;对于初始类别先验分布πi,其初始化公式为:
其中,ε为一个极小的正值超参数。

说明书全文

基于关键点检测网络和空间约束混合模型的区域检测

方法

技术领域

[0001] 本发明涉及图像处理技术领域,具体涉及一种基于关键点检测网络和空间约束混合模型的海水区域检测方法

背景技术

[0002] 海水区域检测技术可为无人水面艇提供一个可行驶区域,从而为自主导航提供路径规划辅助,是其环境感知的关键组成部分。随着海洋开发的兴起以及无人驾驶技术的发展,海水区域检测作为无人水面艇不可或缺的核心技术也亟需有所突破。在航行中,无人水面艇对周围场景感知能的增强有助于提高驾驶的安全性。因此,研究海水区域检测技术有着很重要的现实意义。
[0003] 目前,无人水面艇对周围场景的感知技术主要有激光雷达、可见光波段和红外波段的视觉成像系统等。其中,由于光学图像中包含有丰富的目标区域细节信息,以可见光视觉成像为基础的探测和识别系统更易于对复杂的海面场景进行感知,并对位置作出精确的判断。此外,它还对人类执行包括分析判断以及监视和侦察活动在内的各种活动具有重要的辅助作用。近些年来,基于可见光视觉的海水区域检测研究还不是很多。2016年,Kristan等人在《Fast Image-Based Obstacle Detection From Unmanned Surface Vehicles》中提出了一种基于概率图模型的语义分割方法。该方法主要通过三个高斯分布和一个均匀分布来分别描述天空、雾霾/海岸混合区域、海水区域以及潜在的障碍物区域(奇异值区域),并通过期望最大化算法(EM算法)来实现海面图像的语义分割。该方法检测性能较好、速度较快,但是其模型参数的初始化方法过于简单,只是简单地在图像上沿着竖直方向按比例划分出三个区域来表示天空、中间混合区域、海水区域的观测数据并以此计算出相应的高斯分布初始参数。当图像抖动较大时,按比例划分出的海水区域可能包含了较多的·中间混合区域的像素,并以此计算出的海水类别的高斯分布参数不够准确,最终导致海面图像的语义分割结果存在较大误差。2017年,为了改进Kristan等人提出的海面图像语义分割方法的不足,Bovcon等人在《Improving vision-based obstacle detection on USV using inertial sensor》中提出了一种结合惯导传感器的语义分割方法。该方法首先利用惯导数据计算出粗略的海天线,并以此海天线为参考对天空、中间混合区域、海水区域类别的高斯分布参数进行初始化。该方法改善了Kristan等人提出的语义分割方法的性能,但是,当无人水面艇距离海岸较近时,该方法利用惯导数据估计的海天线会位于中间混合区域内,而不是位于中间混合区域和海水区域的交界处,从而造成初始的模型参数不够准确。另外,该方法需要惯导传感器的支持,增加了无人水面艇视觉感知系统的成本。

发明内容

[0004] 本发明针对现有技术的不足,提供一种基于关键点检测网络和空间约束混合模型的海水区域检测方法,该方法可以有效地检测出复杂背景下的海水区域,并且具有速度快、鲁棒性好的特点。
[0005] 为达到上述目的,本发明采用如下技术方案:
[0006] 一种基于关键点检测网络和空间约束混合模型的海水区域检测方法,包括以下步骤:
[0007] (1)采集海面图像样本,构建海天线关键点训练样本;
[0008] (2)利用海天线关键点训练样本训练关键点检测网络;
[0009] (3)将待检测的海面图像作为输入,通过已训练的关键点检测网络预测海天线关键点;
[0010] (4)连接海天线关键点,获得相应的海天线;
[0011] (5)建立空间约束的混合模型,以海天线为参考对模型参数以及先验分布进行初始化;
[0012] (6)通过期望最大化算法(EM)对海面图像进行语义分割,从而检测出海水区域。
[0013] 进一步,所述步骤(1)中,利用无人水面艇搭载的相机采集N张海面彩色图像,使用标注工具对采集到的图像进行人工标注,形成海天线关键点训练集T={t1,t2,…,tN}。其中,每一个训练样本ti由海面图像Ii和对应的海天线关键点构成Oi,即ti={Ii,Oi}。对于海天线关键点Oi标注,其具体过程为:沿着图像的竖直方向等距地划出n条竖线,然后利用标注工具人工标注出这n条竖线上与海天线相交的点,从而可以获得n个海天线关键点坐标,即
[0014] 进一步,所述步骤(2)中,关键点检测网络的结构主要由3个连续的3×3卷积层(block1)、3个连续的分解卷积模(block2)、3个连续的膨胀卷积模块(block3)、1个3×3卷积层(S1)、1个8×8卷积层(S2)以及1个全连接层构成(S3)。其中,分解卷积模块和膨胀卷积模块都是以残差模块为基础,不同之处在于:分解卷积将残差模块中的3×3卷积层替换成了一个3×1卷积层和一个1×3卷积层,而膨胀卷积模块则是将残差模块中的3×3卷积核替换成了一个3×3的膨胀卷积核。此外利用多尺度融合方法,将block3模块、S1层、S2层的输出特征图进行融合后输入给全连接层。关键点检测网络的输入是海面图像,而输出的是海天线关键点坐标。
[0015] 进一步,所述步骤(5)中,假设混合模型由3个高斯分布和1个均匀分布组成,其中3个高斯分布分别用于描述描述天空、雾霾/海岸混合区域、海水区域,而均匀分布用于描述潜在的障碍物区域(奇异值区域)。于是,图像中第i个像素的特征向量yi的概率可以表示为:
[0016]
[0017] 上式中,N(·|m,C)表示均值为m而协方差为C的高斯分布函数,U(·)=ε表示均匀分布函数(其中,ε为一个极小的正值超参数);yi表示图像中第i个像素的特征向量(也称为观测数据),主要由像素的颜色特征(c1,c2,c3)和坐标(r,c)组成;θ表示模型中所有高斯分布的参数(即θ={mk,Ck}k=1,2,3);π表示图像中所有像素的类别先验分布(即π={πi}i=1:M,其中,M为图像中像素的个数),πi表示第i个像素的类别先验分布(即πi=[πi1,…,πik,…,πi4],其中,πik=p(xi=k)表示第i个像素的类别xi为k时的概率,假设k=1表示天空类别,k=2表示中间海岸/雾霾混合类别,k=3表示海水类别,k=4表示障碍物类别);h表示由关键点检测网络预测得到的海天线,而 表示海天线已知时,第i个像素类别的条件先验分布[0018] 为了克服海面图像中局部噪声对图像分割造成的不利影响,可以通过引入尔可夫随机场(Markov Random Field,MRF)来对混合模型进行空间约束,即假设图像中所有像素的类别先验分布π={πi}i=1:M以及后验分布P={pi}i=1:M是关于邻域系统的一个MRF。根据Besag方法,先验分布π的联合概率分布可以近似为:
[0019]
[0020] 上式中,Ni为像素i的邻域, 为邻域Ni的类别先验分布:
[0021]
[0022] 其中,λij为固定正值权重,当像素j与距离像素i越小,λij越大,并且∑jλij=1。
[0023] 此外,MRF中的势能函数(即 )可以定义为:
[0024]
[0025] 上式中, 为KL散度项,H(πi)为熵项。
[0026] 而后验分布P={pi}i=1:M的联合概率分布为:
[0027]
[0028] 其中,像素i的后验分布pi={pik}k=1:4的计算公式如下:
[0029]
[0030] 联立公式(1)、(2)、(4)和(5),可以得到基于高斯和均匀混合分布的语义分割模型的联合概率密度函数:
[0031]
[0032] 上式中,由于 和 中存在耦合关系,因此难以直接对其进行模型参数估计。为了解决该问题,可以引入辅助类别先验分布集s={si}i=1:M和辅助后验分布集q={qi}i=1:M到上式中,并且对等式两边同时取自然对数运算,从而得到空间约束混合模型的惩罚对数似然函数:
[0033]
[0034] 上式中,ο表示Hadamard积运算;并且当si≡πi和qi≡pi时,可以将其简化为公式(9)。此外,根据最大后验准则,可以通过EM算法最大化上述公式,从而实现对混合模型的优化。
[0035] 混合模型参数的初始化:
[0036] 事实上,当海天线h已知时,海天线h以下区域的像素只能是海水或障碍物类别,因此当像素i位于海天线h以下区域时,假设条件先验概率p(xi=k|h)为:
[0037]
[0038] 而当像素i位于海天线h以上区域时,假设条件先验概率p(xi=k|h)为:
[0039]
[0040] 此外,混合模型中的初始高斯参数θ也可参考海天线h的位置确定。具体地,对于海水类别的初始高斯参数{m3,C3},可以通过统计海天线h以下区域的所有像素的特征均值和协方差矩阵获得;对于天空类别和中间海岸/雾霾混合类别的初始高斯参数{mk,Ck}k=1,2,可以先将海天线h以上的均分成上下两个区域,从而利用这两个区域的像素特征均值和协方差矩阵分别作为天空类别和中间海岸/雾霾混合类别的初始高斯参数。对于初始类别先验分布πi,其初始化公式为:
[0041]
[0042] 其中,ε为一个极小的正值超参数。
[0043] 进一步,所述步骤(6)中,期望最大化算法(EM)的具体步骤为:
[0044] 在E-step:
[0045] ①将θ、π以及p(xi=k|h)代入公式(6),计算所有超像素的后验分布P={pi}i=1:M。
[0046] ②根据以下公式(12),计算辅助类别先验分布集s={si}i=1:M;
[0047]
[0048] 上式中,ο表示Hadamard积运算,*表示卷积运算, 为归一化常数。
[0049] ③计算辅助后验分布集q={qi}i=1:M,计算公式如下:
[0050]
[0051] 上式中, 为归一化常数。
[0052] 在M-step:
[0053] ④更新条件类别先验分布集,计算公式如下:
[0054]
[0055] ⑤更新正态分布参数集,计算公式如下:
[0056]
[0057]
[0058] ⑥判断EM算法是否达到迭代终止条件;如果达到,则停止迭代,否则,则继续①~⑥。其中,迭代终止条件如下:
[0059]
[0060] 根据EM算法优化后的后验分布集q={qi}i=1:M,并利用公式(18)获得海水区域检测结果。
[0061]
[0062] 与现有技术相比,本发明的有益效果为:
[0063] 首先,本发明利用关键点检测网络对海天线关键点进行了预测,并以此为参考对空间约束的混合模型的参数进行初始化,较大程度地避免了混合模型在EM算法优化时陷入局部最优解,从而提高了海水区域检测的准确性。其次,本发明所设计的海水区域检测方法具有结构简单,速度较快的特点,易于实际工程部署。附图说明
[0064] 图1为本发明方法的流程图
[0065] 图2为本发明关键点检测网络结构图。
[0066] 图3为本发明关键点检测网络配置图。
[0067] 图4为本发明关键点检测网络所使用的分解卷积模块(Factorized Block)示意图。
[0068] 图5为本发明关键点检测网络所使用的膨胀卷积模块(Dilated Block)示意图。
[0069] 图6为本发明方法一个实施例的示意图,其中(a)为实施例待检测图;(b)为海天线关键点检测结果图;(c)为实施例语义分割结果图;(d)为海水区域检测结果图。

具体实施方式

[0070] 为使本发明的目的、技术方案和优点更加清晰明了,下面结合附图,对本发明的具体实施例作详细说明。以下实施例中所涉及的方法或步骤,如无特别说明,则均为本技术领域的常规方法或步骤,本领域技术人员均能根据具体应用场景做出常规选择或者适应性调整。以下实施例采用python编程语言、pytorch框架实现。
[0071] 如图1所示,基于关键点检测网络和空间约束混合模型的海水区域检测方法,具体实现步骤如下:
[0072] (1)采集海面图像样本,构建海天线关键点训练样本;
[0073] 利用无人水面艇搭载的相机采集3000张海面彩色图像,使用标注工具对采集到的图像进行人工标注,形成海天线关键点训练集(共2000个样本)、验证集(共500个样本)和测试集(共500个样本)。其中,每一个样本由海面图像Ii和对应的海天线关键点构成Oi,即ti={Ii,Oi}。对于海天线关键点Oi标注,其具体过程为:将采集到的海面图像的分辨率缩放至512×512,沿着图像的竖直方向等距地划出17条竖线,然后利用标注工具人工标注出这17条竖线上与海天线相交的点,从而可以获得17个海天线关键点坐标。为了使算法达到实时,将训练样本中每张图像的分辨率缩放至64×64,同时将海天线关键点坐标按同比例调整至
64×64范围内。
[0074] (2)利用海天线关键点训练样本训练关键点检测网络;
[0075] 如图2和图3所示,关键点检测网络的结构主要由3个连续的3×3卷积层(block1)、3个连续的分解卷积模块(block2)、3个连续的膨胀卷积模块(block3,膨胀因子分别为2、3、
5)、1个3×3卷积层(S1)、1个8×8卷积层(S2)以及1个全连接层构成(S3)。此外,利用多尺度融合方法,将block3模块、S1层、S2层的输出特征图进行融合后输入给全连接层。其中,分解卷积模块和膨胀卷积模块都是以残差模块为基础,不同之处在于:分解卷积将残差模块中的3×3卷积层替换成了一个3×1卷积层和一个1×3卷积层,如图4所示;而膨胀卷积模块则是将残差模块中的3×3卷积核替换成了一个3×3的膨胀卷积核,如图5所示。关键点检测网络的输入是海面图像,而输出的是海天线关键点坐标。损失函数采用均方误差函数(Mean-Square Error,MSE)。
[0076] (3)将待检测的海面图像作为输入,通过已训练的关键点检测网络预测海天线关键点;
[0077] 如图6a所示为本实施例待检测海面图像,所用图片主要包括海岸、障碍物浮标、海浪杂波等。图6b为本实施例的关键点检测网络的预测结果。
[0078] (4)连接海天线关键点,获得相应的海天线;
[0079] 根据海天线关键点的坐标,利用直线将这些关键点从左向右首尾连接,从而获得相应的海天线h。
[0080] (5)建立空间约束的混合模型,以海天线为参考对模型参数以及先验分布进行初始化;
[0081] 假设混合模型由3个高斯分布和1个均匀分布组成,其中3个高斯分布分别用于描述描述天空、雾霾/海岸混合区域、海水区域,而均匀分布用于描述潜在的障碍物区域(奇异值区域)。此外,通过引入马尔可夫随机场(Markov Random Field,MRF)来对混合模型进行空间约束,即假设图像中所有像素的类别先验分布π={πi}i=1:M以及后验分布P={pi}i=1:M是关于邻域系统的一个MRF。通过推导,最终得到空间约束混合模型的惩罚对数似然函数:
[0082]
[0083] 混合模型的初始化:
[0084] 通过步骤(3)(4)可以确定出海天线位置h,而海天线h以下区域的像素只能是海水或障碍物类别,因此当像素i位于海天线h以下区域时,假设条件先验概率p(xi=k|h)为:
[0085]
[0086] 而当像素i位于海天线h以上区域时,假设条件先验概率p(xi=k|h)为:
[0087]
[0088] 此外,混合模型中的初始高斯参数θ也可参考海天线h的位置确定。具体地,对于海水类别的初始高斯参数{m3,C3},可以通过统计海天线h以下区域的所有像素的特征均值和协方差矩阵获得;对于天空类别和中间海岸/雾霾混合类别的初始高斯参数{mk,Ck}k=1,2,可以先将海天线h以上的均分成上下两个区域,从而利用这两个区域的像素特征均值和协方差矩阵分别作为天空类别和中间海岸/雾霾混合类别的初始高斯参数。对于初始类别先验分布πi,其初始化公式为:
[0089]
[0090] 其中,ε为一个极小的正值超参数,在本实施例中,ε=1×10-15。
[0091] 本实施例中,均匀分布函数U(·)=ε=1×10-15。
[0092] (6)通过期望最大化算法(EM)对海面图像进行语义分割,从而检测出海水区域。
[0093] 空间约束混合模型在EM算法优化后,可以得到后验分布集q={qi}i=1:M,利用公式获得如图6c所示的实施例语义分割结果。图6d为本实施例海水区域检测结果。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈