一种基于可简化的空间约束混合模型的海面图像语义分割
方法
技术领域
背景技术
[0002] 图像语义分割是
计算机视觉理解的
基础性技术，其任务是从
像素的
角度分割出图像中的不同对象并对每个像素都进行语义标注(即分类)。将语义分割技术应用于海面图像，有助于增强无人
水面艇对周围环境的
感知能
力，从而保证其进行安全作业。
[0003] 近年来，随着
深度学习的迅猛发展，基于
卷积神经网络的语义分割方法在无人驾驶、医疗影像分析等领域得到了广泛的研究与应用。然而，利用卷积神经网络来对海面图像进行语义分割的相关研究还很少，其主要原因在于缺少大量的海面图像标注数据。2016年，Kristan等人在《Fast Image-Based Obstacle Detection From Unmanned Surface Vehicles》中提出了一种基于聚类思想的海面语义分割方法。该方法定义了一个空间约束混合模型来对海面图像的像素特征进行建模。具体地，该方法利用了三个高斯分布和一个均匀分布来分别对海面图像的天空区域、中间海岸/雾霾混合区域、
海水区域以及潜在的障碍物区域(奇异值区域)进行描述，并且通过期望最大化
算法(EM算法)来实现海面图像的语义分割。该方法检测性能较好、速度较快；然而，通过观察无人水面艇拍摄的海面图像可以发现：当无人艇背离海岸行驶时，海面图像通常只存在天空区域、海水区域以及潜在的障碍物区域，并没有Kristan等人假设的中间海岸/雾霾混合区域，因而Kristan等人提出的方法在该情形下的语义分割结果与实际存在较大误差。
发明内容
[0004] 本发明针对
现有技术的不足，提供一种基于可简化的空间约束混合模型的海面图像语义分割方法，该方法可以有效地对海面图像进行语义分割，并且具有速度快、鲁棒性好的特点。
[0005] 为达到上述目的，本发明采用如下技术方案：
[0006] 一种基于可简化的空间约束混合模型的海面图像语义分割方法，包括以下步骤：
[0007] (1)输入待检测的海面彩色图像；
[0008] (2)假设海面图像存在天空、海岸/雾霾、海水三个主语义区域以及潜在的障碍物区域，并以此建立空间约束的混合模型；
[0009] (3)利用
期望最大化算法(EM)对空间约束混合模型进行优化；
[0010] (4)计算天空、海岸/雾霾类别高斯分布的KL距离(Kullback-Leibler散度)，如果KL距离小于设定的
阈值，则对空间约束混合模型进行化简；
[0011] (5)输出海面图像语义分割结果。
[0012] 进一步，所述步骤(2)中，假设混合模型由三个高斯分布和一个个均匀分布组成，其中三个高斯分布分别用于描述描述天空、雾霾/海岸混合区域、海水区域，而均匀分布用于描述潜在的障碍物区域(奇异值区域)。于是，图像中第i个像素的
特征向量yi的概率可以表示为：
[0013]
[0014] 上式中，N(·|m,C)表示均值为m而协方差为C的高斯分布函数，U(·)＝ε表示均匀分布函数(其中，ε为一个极小的正值超参数)；yi表示图像中第i个像素的特征向量(也称为观测数据)，主要由像素的
颜色特征(c1,c2,c3)和坐标(r,c)组成；θ表示模型中所有高斯分布的参数(即θ＝{mk,Ck}k＝1,2,3)；π表示图像中所有像素的类别先验分布(即π＝{πi}i＝1:M，其中，M为图像中像素的个数)，πi表示第i个像素的类别先验分布(即πi＝[πi1,…,πik,…,πi4]，其中，πik＝p(xi＝k)表示第i个像素的类别xi为k时的概率，假设k＝1表示天空类别，k＝2表示中间海岸/雾霾混合类别，k＝3表示海水类别，k＝4表示障碍物类别)；
[0015] 为了克服海面图像中局部噪声对
图像分割造成的不利影响，通过引入
马尔可夫随机场(Markov Random Field，MRF)来对混合模型进行空间约束，即假设图像中所有像素的类别先验分布π＝{πi}i＝1:M以及后验分布P＝{pi}i＝1:M是关于邻域系统的一个MRF。根据Besag方法，先验分布π的联合概率分布可以近似为：
[0016]
[0017] 上式中，Ni为像素i的邻域， 为邻域Ni的类别先验分布：
[0018]
[0019] 其中，λij为固定正值权重，当像素j与距离像素i越小，λij越大，并且∑jλij＝1。
[0020] 此外，MRF中的
势能函数(即 可以定义为：
[0021]
[0022] 上式中， 为KL散度项，H(πi)为熵项。
[0023] 而后验分布P＝{pi}i＝1:M的联合概率分布为：
[0024]
[0025] 其中，像素i的后验分布pi＝{pik}k＝1:4的计算公式如下：
[0026]
[0027] 联立公式(1)、(2)、(4)和(5)，可以得到基于高斯和均匀混合分布的语义分割模型的联合概率
密度函数：
[0028]
[0029] 上式中，由于 和 中存在耦合关系，因此难以直接对其进行模型参数估计。为了解决该问题，可以引入辅助类别先验分布集s＝{si}i＝1:M和辅助后验分布集q＝{qi}i＝1:M到上式中，并且对等式两边同时取自然对数运算，从而得到空间约束混合模型的惩罚对数似然函数：
[0030]
[0031] 上式中，°表示Hadamard积运算；并且当si≡πi和qi≡pi时，可以将其化简为公式(7)。此外，根据最大后验准则，可以通过EM算法最大化上述公式，从而实现对混合模型的优化。
[0032] 进一步，所述步骤(3)中，期望最大化的具体步骤为：
[0033] ①初始化正态分布参数集θ＝{mk,Ck}k＝1,2,3。将海面图像由上至下按比例{0,0.3}、{0.3,0.5}和{0.5,1}划分出三个区域，然后根据这三个区域像素的特征，分别计算出天空类别的均值m1和协方差C1、中间海岸/雾霾混合类别的均值m2和协方差C2、海水类别的均值m3和协方差C3；
[0034] ②初始化所有像素的类别先验分布π＝{πi}i＝1:M。对于每一个像素的类别先验分布πi，其初始化公式如下：
[0035]
[0036] 上式中，ε为一个极小的正值超参数。
[0037] 在E-step：
[0038] ③将θ、π代入公式(6)，计算所有像素的后验分布P＝{pi}i＝1:M。
[0039] ④根据下述公式，计算所有像素的辅助类别先验分布s＝{si}i＝1:M；
[0040]
[0041] 上式中，°表示Hadamard积运算，*表示卷积运算， 为归一化常数。
[0042] ⑤计算所有像素的辅助后验分布q＝{qi}i＝1:M，计算公式如下：
[0043]
[0044] 上式中， 为归一化常数。
[0045] 在M-step：
[0046] ⑥更新类别先验分布集，计算公式如下：
[0047]
[0048] ⑦更新高斯分布参数，计算公式如下：
[0049]
[0050]
[0051] ⑧判断EM算法是否达到
迭代终止条件；如果达到，则停止迭代，否则，则继续③～⑧。其中，迭代终止条件如下：
[0052]
[0053] 进一步，所述步骤(4)中，由于无人水面艇面向海岸航行时，艇载相机拍摄到的海面图像从上至下存在天空、中间海岸/雾霾以及海水三个主语义区域；然而，当无人水面艇背离海岸航行时，艇载相机拍摄到的海面图像从上至下只存在天空和海水两个主语义区域。因此，当海面图像只存在天空和海水两个主语义区域时，需要对步骤(2)假设的空间约束混合模型进行化简。其具体步骤为：
[0054] ①在步骤(3)的基础上，计算EM后的天空类别和中间海岸/雾霾混合类别的高斯分布的KL距离(Kullback-Leibler散度)：
[0055] dst＝KL(N1||N2) (16)
[0056] 上式中，N1表示天空类别高斯分布N(·|m1,C1)，N2表示中间海岸/雾霾混合类别的高斯分布N(·|m2,C2)。
[0057] ②如果KL距离dst小于预设固定阈值T时，则对混合模型进行化简；否则，直接执行步骤(5)。具体地，当dst
[0058]
[0059] 上式中，m1和C1为EM优化后的天空类别的高斯参数，m2和C2为EM优化后的海岸/雾霾混合类别的高斯参数。
[0060] 于是，混合模型简化为由2个高斯分布和1个均匀分布组成，其中2个高斯分布分别用于描述描述天空和海水区域，而均匀分布用于描述潜在的障碍物区域(奇异值区域)。因此，海面图像中第i个像素的后验分布pi＝{pik}k＝1:4可用下述公式进行计算：
[0061]
[0062] 上式中，m′1和C′1为新的天空类别的高斯参数，m3和C3为EM优化后的海水类别的高斯参数，πi3和πi4分别为EM优化后的海面图像中第i个像素属于海水、障碍物类别的类别先验概率，π′i1为海面图像中第i个像素属于新的天空类别的类别先验概率：
[0063] π′i1＝πi1+πi2 (19)
[0064] 上式中，πi1和πi2分别为EM优化后的海面图像中第i个像素属于天空、中间海岸/雾霾混合类别的类别先验概率。
[0065] 进一步，所述步骤(5)中，当dst
[0066] 与现有技术相比，本发明的有益效果为：
[0067] 首先，本发明提出的方法可根据海面图像的实际情况自动地选择是否对空间约束的混合模型进行简化，从而提高了海面图像语义分割的准确性。其次，本发明所设计的海面图像语义分割方法具有模型结构简单，速度较快的特点，易于实际工程部署。
附图说明
[0069] 图2为本发明方法一个
实施例的示意图，其中(a)为实施例待检测图；(b)为实施例语义分割结果图；
[0070] 图3为实施例在无海岸/雾霾背景下的海面图像语义分割示意图，其中(a)为实施例待检测图；(b)为实施例语义分割结果图。
具体实施方式
[0071] 为使本发明的目的、技术方案和优点更加清晰明了，下面结合附图，对本发明的具体实施例作详细说明。以下实施例中所涉及的方法或步骤，如无特别说明，则均为本技术领域的常规方法或步骤，本领域技术人员均能根据具体应用场景做出常规选择或者适应性调整。以下实施例采用python编程语言实现。
[0072] 实施例1
[0073] 如图1所示，一种基于可简化的空间约束混合模型的海面图像语义分割方法，具体实现步骤如下：
[0074] (1)输入待检测的海面彩色图像；
[0075] 通过无人水面艇搭载的相机获得海面彩色图像(
分辨率为512×512)。为了减小后续算法的执行时间，将海面图像缩放至分辨率100×100。如图2a所示为本实施例待检测海面图像，所用图像主要包括天空、海岸、海水波浪及障碍物浮标等。
[0076] (2)假设海面图像存在天空、海岸/雾霾、海水三个主语义区域以及潜在的障碍物区域，并以此建立空间约束的混合模型；
[0077] 假设混合模型由3个高斯分布和1个均匀分布组成，其中3个高斯分布分别用于描述描述天空、雾霾/海岸混合区域、海水区域，而均匀分布用于描述潜在的障碍物区域(奇异值区域)。此外，通过引入马尔可夫随机场(Markov Random Field，MRF)来对混合模型进行空间约束，即假设图像中所有像素的类别先验分布π＝{πi}i＝1:M以及后验分布P＝{pi}i＝1:M是关于邻域系统的一个MRF。通过推导，最终得到空间约束混合模型的惩罚对数似然函数：
[0078]
[0079] 此外，海面图像每一个像素的特征向量yi是由颜色特征(c1,c2,c3)和
位置特征T(r,c)所构成的一个5维向量[c1,c2,c3,r,c]。其中，颜色特征分量由YCbCr颜色空间确定。
[0080] (3)利用期望最大化算法(EM)对空间约束混合模型进行优化；
[0081] 期望最大化(EM)的具体步骤为：
[0082] ①初始化正态分布参数集θ＝{mk,Ck}k＝1,2,3。将海面图像由上至下按比例{0,0.3}、{0.3,0.5}和{0.5,1}划分出三个区域，然后根据这三个区域像素的特征，分别计算出天空类别的均值m1和协方差C1、中间海岸/雾霾混合类别的均值m2和协方差C2、海水类别的均值m3和协方差C3；
[0083] ②初始化所有像素的类别先验分布π＝{πi}i＝1:M。对于每一个像素的类别先验分布πi，其初始化公式如下：
[0084]
[0085] 上式中，ε为一个极小的正值超参数。在本实施例中，ε＝1×10-15。
[0086] 在E-step：
[0087] ③将θ、π代入公式(6)，计算所有像素的后验分布P＝{pi}i＝1:M，其中，均匀分布U(·)＝ε＝1×10-15。
[0088] ④利用下述公式，计算所有像素的辅助类别先验分布s＝{si}i＝1:M；
[0089]
[0090] 上式中，表示Hadamard积运算，*表示卷积运算， 为归一化常数。
[0091] ⑤计算所有像素的辅助后验分布q＝{qi}i＝1:M，计算公式如下：
[0092]
[0093] 上式中，ξqi为归一化常数。
[0094] 在M-step：
[0095] ⑥更新类别先验分布集，计算公式如下：
[0096]
[0097] ⑦更新高斯分布参数，计算公式如下：
[0098]
[0099]
[0100] ⑧判断EM算法是否达到迭代终止条件；如果达到，则停止迭代，否则，则继续③～⑧。其中，迭代终止条件如下：
[0101]
[0102] (4)计算天空、海岸/雾霾类别高斯分布的KL距离(Kullback-Leibler散度)，如果KL距离小于设定的阈值，则对空间约束混合模型进行化简；
[0103] 当天空、海岸/雾霾类别的高斯分布的KL距离dst小于预设固定阈值T时，则对混合模型进行化简；否则，直接执行步骤(5)。其中，本实施例预设的固定阈值T＝8。
[0104] (5)输出海面图像语义分割结果。图2b为本实施例语义分割结果图。
[0105] 实施例2
[0106] 图3为本发明方法在无海岸/雾霾背景下的一个优选实施例。其具体实施步骤与实施例1相同，故不再赘述。从实施例1和实施例2的语义分割结果可以看出，本发明的方法可根据海面图像的实际情况自动地选择是否对空间约束的混合模型进行简化，从而提高了海面图像语义分割的准确性。
