技术领域
[0001] 本
发明涉及
图像处理技术领域，尤其是涉及一种腹部超声图像分割方法。
背景技术
[0002] 图像分割是把图像分成若干个特定的、具有独特性质的区域，并提取出感兴趣目标的技术和过程，通过对腹部超声图像进行分割，可以自动区分出腹部主要的各个层：
皮肤层、脂肪层、皮下肌层和腹膜，从而减少人工肉眼的识别，有利于快速进行引导超声穿刺。
[0003] 由于神经网络具有模拟人类
感知的
算法特点，在分割性能上，较其他算法有显著提升，目前通常借助神经网络对超声图像进行分割，但这种分割方法普遍采用切割成小图进行训练学习的模式，训练的数据需要将图像切割成小图，以获取大量的训练样本；相对应的，测试的图像也必须切割成同等大小的小图进行测试。因此在训练环节需要耗费部分时间在切割小图的过程中，在测试环节则需要耗费大部分时间在切割小图以及拼接成整图的过程中，即存在分割复杂且耗时过多的问题，导致图像分割速度慢；此外，切割后的小图还需要存储起来以进行训练，这会额外产生计算机存储资源的浪费。
发明内容
[0004] 本发明的目的就是为了克服上述
现有技术存在的
缺陷而提供一种无需切割小图的腹部超声图像分割方法，以提高分割速度、节省计算机存储资源，同时简化整个分割过程。
[0005] 本发明的目的可以通过以下技术方案来实现：一种腹部超声图像分割方法，包括以下步骤：
[0006] S1、获取腹部超声图像样本；
[0007] S2、对腹部超声图像样本进行分层标注；
[0008] S3、构建U-NET神经网络，利用分层标注后的腹部超声图像样本对U-NET神经网络进行训练，得到超声图像分割网络模型；
[0009] S4、基于超声图像分割网络模型，对腹部超声图像进行直接分割，一次性输出腹部超声图像的分层图像。
[0010] 进一步地，所述步骤S2具体包括以下步骤：
[0011] S21、对腹部超声图像样本进行数据扩充；
[0012] S22、基于交互式标注工具，对数据扩充后的腹部超声图像样本进行分层标注。
[0013] 进一步地，所述步骤S21中数据扩充的过程具体包括旋转、反射变换、翻转变换、缩放变换、平移变换、尺度变换、
对比度变换、噪声扰动和
颜色变换。
[0014] 进一步地，所述步骤S22具体是对数据扩充后的腹部超声图像样本进行皮肤、脂肪层、皮下肌层以及
腹腔肠管的分层标注。
[0015] 进一步地，所述步骤S22中交互式标注工具为Labelme图形图像注释工具。
[0016] 进一步地，所述步骤S3具体包括以下步骤：
[0017] S31、构建全卷积的U-NET神经网络；
[0018] S32、输入分层标注后的腹部超声图像给U-NET神经网络，依次通过提取特征、恢复原始图像、预测分割以及反向传播更新网络参数，以训练得到超声图像分割网络模型。
[0019] 进一步地，所述U-NET神经网络的激活函数为带噪声的tanh函数，利用零均值的高斯噪声来消除超声图像自带的斑点噪声。
[0020] 进一步地，所述步骤S32中训练得到超声图像分割网络模型的具体过程为：利用卷积层与
池化层进行下
采样，以提取图像的特征，得到特征图；
[0021] 利用反卷积层进行上采样，使特征图恢复为原始超声图像的大小；
[0022] 通过一个卷积层对超声图像进行预测分割；
[0023] 将预测分割结果与分层标注分割结果进行作差计算，以建立损失函数，基于梯度下降反向传播，以更新网络参数。
[0024] 进一步地，所述预测分割具体是对腹部超声图像中的每一个
像素进行概率预测，以得到该像素的腹部分层结果。
[0025] 与现有技术相比，本发明通过对腹部超声图像样本进行数据扩充，无需切割小图，便能够有效增加样本数据的规模量及范围，不需要额外的计算机存储资源，且有利于后续的神经网络在训练过程中学习到更多的图像不变性特征；
[0026] 本发明采用全卷积的U-NET神经网络，以卷积层替代全连接层，能够输入任意尺寸的图片，一次性直接输出分层图像，通过端到端的学习训练，加快了图像分割速度，简化了图像自动分割的过程。
附图说明
[0027] 图1为本发明的方法流程示意图；
[0028] 图2为
实施例中U-NET神经网络结构示意图；
[0029] 图3为实施例中带噪声的tanh函数示意图。
具体实施方式
[0030] 下面结合附图和具体实施例对本发明进行详细说明。
[0031] 如图1所示，一种腹部超声图像分割方法，包括以下步骤：
[0032] S1、获取腹部超声图像样本；
[0033] S2、对腹部超声图像样本进行分层标注；
[0034] S3、构建U-NET神经网络，利用分层标注后的腹部超声图像样本对U-NET神经网络进行训练，得到超声图像分割网络模型；
[0035] S4、基于超声图像分割网络模型，对腹部超声图像进行直接分割，一次性输出腹部超声图像的分层图像。
[0036] 在实际应用中，可通过腹部超声图像获取模
块、分割网络建立模块和腹部超声图像分割模块共同实现上述方法，其中，腹部超声图像获取模块用于获取进行超声图像分割处理的测试用图，以作为训练的样本图像；
[0037] 分割网络建立模块用于建立端到端的图像分割网络，并基于样本图像来进行训练学习；
[0038] 腹部超声图像分割模块用于根据所得到的图像分割网络模型，对超声图像进行分割，实现对所述目标图像的分割并一次性输出整幅目标图像的分割结果。
[0039] 本实施例中，步骤S1和步骤S2主要包括：首先尽可能多地获取腹部超声图像样本，其次通过旋转、反射变换、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动和颜色变换的方式进行数据的扩充增强；
[0040] 其中，旋转、反射变换(Rotation/reflection)：随机旋转图像一定
角度，以改变图像内容的朝向；
[0041] 翻转变换(flip)：沿着
水平或者垂直方向翻转图像；
[0042] 缩放变换(zoom)：按照一定的比例放大或者缩小图像；
[0043] 平移变换(shift)：在图像平面上对图像以一定方式进行平移，可以采用随机或人为定义的方式
指定平移范围和平移步长，沿水平或竖直方向进行平移，以改变图像内容的
位置；
[0044] 尺度变换(scale)：对图像按照指定的尺度因子，进行放大或缩小，或者参照SIFT特征提取思想，利用指定的尺度因子对图像滤波构造尺度空间，以改变图像内容的大小或模糊程度；
[0045] 对比度变换(contrast)：在图像的HSV颜色空间，改变
饱和度S和V
亮度分量，保持
色调H不变，对每个像素的S和V分量进行指数运算(指数因子在0.25到4之间)，以增加光照变化；
[0046] 噪声扰动(noise)：对图像的每个像素RGB进行随机扰动，常用的噪声模式是椒盐噪声和高斯噪声；
[0047] 颜色变换(color)：在训练集像素值的
RGB颜色空间进行PCA，得到RGB空间的3个主方向向量和3个特征值(p1,p2,p3,λ1,λ2,λ3)，对每幅图像的每个像素T
进行加上如下的变化：[p1,p2,p3][α1λ1,α2λ2,α3λ3] ，式中，αi是满足均值为0，方差为0.1的随机变量；
[0048] 最后，由医生或者专业人员利用交互式标注
软件Labelme对已有的超声图像样本进行皮肤、脂肪层、皮下肌层以及腹膜的分层标注，Labelme是一个利用Python编写的图形图像注释工具，它的图形界面使用Qt，利用该软件能够实现最基本的分割数据标注工作，且在保存之后会将Object的一些信息存储到一个json文件中。
[0049] 步骤S3中的U-NET神经网络结构如图2所示，利用多个卷积层与池化层进行
下采样，以提取图像的特征，利用反卷积层进行上采样，从而使特征图恢复为原始超声图像的大小，之后通过一个卷积层对超声图像进行预测分割，最终利用预测出来的分割结果与标注的分割结果之间的损失函数，通过梯度下降反向传播，以更新网络参数，使整个网络模型通过大量的训练，得到一个优秀的分割网络模型。
[0050] U-NET是基于FCN的一个语义分割网络，适合用来做医学图像的分割，本发明使用全
卷积神经网络，全卷积神经网络就是利用卷积层取代全连接层，由于全连接层必须固定图像大小而卷积层不用，所以本发明在应用时能够输入任意尺寸的图片，而且其输出也是图片，实现端到端的网络输入输出。
[0051] 具体的，图2所示的网络结构中，左边的网络contracting path：使用卷积和maxpooling；
[0052] 右边的网络expansive path：使用上采样，与左侧contracting path，pooling层的feature map相结合，然后逐层上采样到与原图一样大小的heatmap；
[0053] 最后再经过两次卷积，达到最后的heatmap，再用一个1×1的卷积做分类，然后作为softmax函数的输入，算出概率比较大的softmax类，选择它作为输入给交叉熵进行反向传播训练，其中，softmax函数如式(1)所示，pk(x)表示每一像素对应类别的得分，[0054]
[0055] 由式(2)给像素分配权重然后进行加权，d1(x)表示图中某一
背景像素点到离这个点最近的类别边界的距离，d2(x)表示离这个像素点第二近的类别的距离：
[0056]
[0057] 通过预测出来的分割结果与分层标注的分割结果进行作差，以构建损失函数，通过反向传播更新网络模型的参数，使得预测出来的分割结果与分层标注的分割结果越来越一致；
[0058] 实施例中卷积层共有20个，包含4次下采样和4次上采样，U-NET神经网络没有任何的全连接层，且每个像素都利用了输入图像的full context，U-NET神经网络的激活函数采用带噪声的tanh函数，利用零均值的高斯噪声来消除超声图像自带的斑点噪声，如图3所示，tanh函数被剪切为hard tanh函数，具有以下形式：
[0059] max(min(tanh(x),1),-1) (3)
[0060] 通过向hard tanh函数的饱和部分添加噪声来获得嘈杂的硬tanh函数，
[0061] 噪声激活功能包括使用超参数来影响增加的噪声的平均值：
[0062] φ(x,ξ)＝αh(x)+(1-α)u(x)+d(x)σ(x)ξ (4)
[0063] 其中，x为像素点，ξ为噪声，h(x)为带有噪声的hard tanh函数，u(x)为原始的tanh函数，α为用于调整的超参数，d(x)＝-sgn(x)sgn(1-α)，σ(x)＝c(sigmoid(u(x)-h(x))-0.5)2。
[0064] 本发明对腹部超声图像中的每一个像素都进行概率预测，预测该像素属于哪个腹部分层，使任何一张腹部超声图像经过神经网络计算，都能准确的将腹部各个层分出来、并知道每个超声图中腹部各个层的像素点的在超声图像中的坐标，利用分层标注的真实结果判断预测结果的对错，并通过
修改模型参数的方式，不断去更新修正预测的分割结果，本发明通过神经网络进行端到端的学习，使腹部各个层的分割
精度更高，可一次性输出腹部超声图像中所有层的分割结果，使腹部各层可快速分割，步骤简洁，有助于医生在穿刺的过程中快速区分腹部的各个层直达病灶，并且可以避免不小心穿过腹膜带来的损伤。
