细胞图像的处理方法和装置
阅读：815发布：2024-02-21
专利汇可以提供细胞图像的处理方法和装置专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种细胞图像的处理方法，对图像预处理，使用大津 阈值 法和形态学操作将细胞团 块 与背景分离；使用多尺度LoG算子检测出候选细胞核中心，提取核中心周围patch，通过 卷积神经网络 筛选出真阳性细胞核，使用 水 平集分割真阳性细胞得到细胞核的边界；对于重叠 细胞质 的分割，基于超 像素 的多细胞标签分割方法来分离每一个细胞，超像素过分割图像后，对每一个超像素区域分配细胞标签，将同一标签的区域作为细胞的初始轮廓，用改进的水平集演化得到更准确的细胞边界。本公开提供的方法将分割问题转换为分类问题，有效克服了弱细胞质边缘带来的问题，提高了分割准确率。且该方法运行速度快，具有较好的鲁棒性。本发明还公开了一种细胞图像的处理装置。，下面是细胞图像的处理方法和装置专利的具体信息内容。
1.一种细胞图像的处理方法，其特征在于，所述方法包括：
对获取的细胞图像进行预处理操作；
通过多尺度LoG算子检测出经过预处理操作的所述细胞图像中的细胞团块图像的候选细胞核中心，并对所述候选细胞核中心周围patch进行提取；
根据提取后的结果，通过卷积神经网络筛选出真阳性细胞核，并使用水平集分割真阳性细胞获取所述真阳性细胞核的边界；
对每一个不为0的超像素区域分配细胞标签，其中，将所述细胞图像的背景设为0，通过超像素过分割图像后，将细胞核超像素设为0，所述细胞标签由细胞核确定；
提取相同的所述细胞标签的超像素作为粗分割结果，对所述粗分割结果使用开操作平滑边界后，作为细胞的初始轮廓，使用改进后的水平集演化获取分割结果。
2.根据权利要求1所述的方法，其特征在于，还包括：根据所述粗分割结果为初始轮廓进行水平集演化，获取预设精细度值的细胞边界，通过所述细胞边界对每一个粗分割细胞进行调整。
3.根据权利要求1所述的方法，其特征在于，所述对获取的细胞图像进行预处理操作，包括：
对所述细胞图像通过中值滤波器去噪，且通过各项异性滤波器平滑图像；
对原图像I进行开操作得到图像Io，对原图像进行闭操作得到图像Ic，且根据原图像I、图像Io以及图像Ic获取光照矫正后的图像Ilc，其中，Ic乘以2减去原图像I得到Ic1，光照矫正后的图像Ilc为I+Io-Ic1；
对光照矫正后的图像Ilc进行处理，并通过大津阈值法将所述细胞图像中的细胞团块与背景分离，分离后滤除小面积区域，以完成所述细胞图像中杂质的滤除操作。
4.根据权利要求3所述的方法，其特征在于，所述对光照矫正后的图像Ilc行处理包括：
对光照矫正后的图像Ilc腐蚀操作，并进行第一次重建图像操作；
对第一次重建的图像进行膨胀操作，并进行第二次重建图像操作。
5.根据权利要求1所述的方法，其特征在于，还包括：通过多尺度高斯拉普拉斯算子斑点检测法，对所述细胞图像用不同方差σ的高斯核进行拉普拉斯变化，产生LoG算子。
6.根据权利要求1所述的方法，其特征在于，所述通过多尺度LoG算子检测出经过预处理操作的所述细胞图像中的细胞团块图像的候选细胞核中心，包括：通过所述多尺度LoG算子对所述细胞图像进行卷积操作，获取极大响应值点，并将所述极大响应值点定义为所述候选细胞核中心。
7.根据权利要求1所述的方法，其特征在于，所述对每一个不为0的超像素区域分配细胞标签，包括：每个灰度值不为0的超像素遍历所有的所述细胞核，判断超像素是否紧邻所述细胞核；
若紧邻，则该超像素属于所述细胞核所在的细胞内；
若超像素与所述细胞核之间存在其它的超像素区域，则判断超像素与所述细胞核的距离是否在预设范围内；
若在预设范围内，分析该超像素与所述细胞核的灰度变化。
8.根据权利要求7所述的方法，其特征在于，还包括：若一个超像素遍历所有的所述细胞核没有分配标签，则赋予距离最近的细胞核标签。
9.根据权利要求1所述的方法，其特征在于，所述提取相同的所述细胞标签的超像素作为粗分割结果，对所述粗分割结果使用开操作平滑边界，包括：提取属于同一标签的所述超像素区域，对提取的所述超像素区域使用形态学开操作进行平滑，其中，所述粗分割结果为细胞的初始形状。
10.一种细胞图像的处理装置，其特征在于，所述装置包括：
预处理模块，用于对获取的细胞图像进行预处理操作；
提取模块，用于通过多尺度LoG算子检测出经过预处理操作的所述细胞图像中的细胞团块图像的候选细胞核中心，并对所述候选细胞核中心周围patch进行提取；
细胞核边界获取模块，用于根据提取后的结果，通过卷积神经网络筛选出真阳性细胞核，并使用水平集分割真阳性细胞获取所述真阳性细胞核的边界；
细胞标签分配模块，用于对每一个不为0的超像素区域分配细胞标签，其中，将所述细胞图像的背景设为0，通过超像素过分割图像后，将细胞核超像素设为0，所述细胞标签由细胞核确定；
分割模块，用于提取相同的所述细胞标签的超像素作为粗分割结果，对所述粗分割结果使用开操作平滑边界后，作为细胞的初始轮廓，使用改进后的水平集演化获取分割结果。
细胞图像的处理方法和装置
技术领域
背景技术
[0002] 在全世界，子宫颈癌是第四常见的癌症，也是女性第四常见癌症死因。在2012年，约有528,000例的子宫颈癌，并造成26.6万人死亡，分别占癌症发生率与死因的8％。大约70％的子宫颈癌发生在发展中国家，而在低收入国家则为最常见癌症死因。在发达国家，因为子宫颈涂片筛检的普及，大大降低了子宫颈癌的发生率。
[0003] 宫颈癌也称为子宫颈癌(Cervical cancer)，是发生在女性子宫颈的癌症。源自于不正常细胞的生长，甚至能侵袭或转移至身体其他部位。早期通常并不会有症状，而晚期时可能有不正常的阴道出血、骨盆腔疼痛、或性交疼痛。晚期宫颈癌5年存活率为68％，影响预后的主要因素为发现的早晚。因此，临床上非常重视对宫颈癌的早期筛查，制订更完善的高效合理的检查手段，进而提高诊断的准确率，减少漏诊率。
[0004] 目前临床上检测宫颈早期病变的主要诊断筛查手段分两种：基于细胞学的诊断筛查如Pap涂片、液基薄膜细胞学检查(Thinprep cytologic test，TCT)、HPV-DNA检测、电磁光谱，和基于组织水平如VILI/VIA、子宫颈摄影、阴道镜、HSDI。国内较常用的筛查手段主要为液基簿层细胞学检测和电子阴道镜的检查。液基簿层细胞学检测相对于传统的巴氏涂片筛查，涂片满意度和基本满意度都得到很大改善。液基簿层细胞学用TBS分级系统进行细胞学诊断。宫颈上皮内病变分为：未见上皮内病变，未明确诊断意义的不典型鳞状细胞(ASCUS)，低度鳞状上皮内病变(LSLL),高度鳞状上皮内病变(HSIL)，鳞状细胞癌(SCC),未明确诊断的不典型腺细胞(AGCUS),原位腺癌和腺癌。
[0005] TCT诊断是一个费时费力的过程。标准的单张TCT片的宫颈细胞数量在10000-2000 000左右，诊断专家需要在整张TCT涂片中寻找几个或者几十个异常的细胞，来判断健康/异常，对异常的标本还需要判定属于哪个级别。因此TCT检出率受到人为因素的影响较大。诊断专家的主观差异与疲劳读片均影响结果。研究表明，细胞学技术人员工作量为30张涂片/天时，似乎达到接近100％的敏感度，在大约70张涂片/天时下降到低于80％的灵敏度，超过
100张涂片/天则敏感度显著下降。每天不超过70张涂片，工作时间不超过7小时，至少2次以上15分钟微型休息(不包括午餐时间)等建议已被多数病理学专业人士认可。通过控制技术人员工作量来避免因疲劳带来的误诊漏诊显然不是上策，大量的细胞涂片与短缺的技术人员导致他们不得不超出正常工作量。因此，计算机的自动诊断系统在宫颈细胞学检测不可或缺，减少专家工作量的同时，更能提高准确率和筛查灵敏度。
100张涂片/天则敏感度显著下降。每天不超过70张涂片，工作时间不超过7小时，至少2次以上15分钟微型休息(不包括午餐时间)等建议已被多数病理学专业人士认可。通过控制技术人员工作量来避免因疲劳带来的误诊漏诊显然不是上策，大量的细胞涂片与短缺的技术人员导致他们不得不超出正常工作量。因此，计算机的自动诊断系统在宫颈细胞学检测不可或缺，减少专家工作量的同时，更能提高准确率和筛查灵敏度。
[0006] 目前计算机辅助阅片仪，可识别大约25％的涂片，这25％无需进一步复查，另外的75％被分为五类，需要医生进一步确认。计算机辅助阅片仪的诊断准确率急需提高，而提高准确率的关键是提高分割的准确率。根据TBS分级系统判断标准，细胞核/质的面积、核质比对辨别宫颈病变程度非常关键。细胞核判断细胞是否异常，而细胞质、细胞核、核质比等决定细胞处于何种病变。目前细胞质的分割挑战主要在于：细胞质拥有较弱的边缘信息，有时肉眼都难以辨别细胞形状，细胞重叠率高有的甚至完全覆盖，血液、炎症细胞、人为因素等多种杂质干扰。
发明内容
[0007] 基于此，有必要针对传统技术存在的问题，提供一种细胞图像的处理方法和装置。具体的，本发明提供了一种基于CNN和快速多细胞标签的方法分割重叠宫颈细胞，该方法能快速地分离出重叠的细胞，且具有较好的鲁棒性。
[0008] 第一方面，本发明实施例提供了一种细胞图像的处理方法，所述方法包括：对获取的细胞图像进行预处理操作；通过多尺度LoG算子检测出经过预处理操作的所述细胞图像中的细胞团块图像的候选细胞核中心，并对所述候选细胞核中心周围patch进行提取；根据提取后的结果，通过卷积神经网络筛选出真阳性细胞核，并使用水平集分割真阳性细胞获取所述真阳性细胞核的边界；对每一个不为0的超像素区域分配细胞标签，其中，将所述细胞图像的背景设为0，通过超像素过分割图像后，将细胞核超像素设为0，所述细胞标签由细胞核确定；提取相同的所述细胞标签的超像素作为粗分割结果，对所述粗分割结果使用开操作平滑边界后，作为细胞的初始轮廓，使用改进后的水平集演化获取分割结果。
[0009] 在其中一个实施例中，还包括：根据所述粗分割结果为初始轮廓进行水平集演化，获取预设精细度值的细胞边界，通过所述细胞边界对每一个粗分割细胞进行调整。
[0010] 在其中一个实施例中，所述对获取的细胞图像进行预处理操作，包括：对所述细胞图像通过中值滤波器去噪，且通过各项异性滤波器平滑图像；对原图像I进行开操作得到图像Io，对原图像进行闭操作得到图像Ic，且根据原图像I、图像Io以及图像Ic获取光照矫正后的图像Ilc，其中，Ic乘以2减去原图像I得到Ic1，光照矫正后的图像Ilc为I+Io-Ic1；对光照矫正后的图像Ilc进行处理，并通过大津阈值法将所述细胞图像中的细胞团块与背景分离，分离后滤除小面积区域，以完成所述细胞图像中杂质的滤除操作。
[0011] 在其中一个实施例中，所述对光照矫正后的图像Ilc行处理包括：对光照矫正后的图像Ilc腐蚀操作，并进行第一次重建图像操作；对第一次重建的图像进行膨胀操作，并进行第二次重建图像操作。
[0012] 在其中一个实施例中，还包括：通过多尺度高斯拉普拉斯算子斑点检测法，对所述细胞图像用方差σ的高斯核进行拉普拉斯变化，产生LoG算子。在其中一个实施例中，所述通过多尺度LoG算子检测出经过预处理操作的所述细胞图像中的细胞团块图像的候选细胞核中心，包括：通过所述多尺度LoG算子对所述细胞图像进行卷积操作，获取极大响应值点，并将所述极大响应值点定义为所述候选细胞核中心。
[0013] 在其中一个实施例中，所述对每一个不为0的超像素区域分配细胞标签，包括：每个灰度值不为0的超像素遍历所有的所述细胞核，判断超像素是否紧邻所述细胞核；若紧邻，则该超像素属于所述细胞核所在的细胞内；若超像素与所述细胞核之间存在其它的超像素区域，则判断超像素与所述细胞核的距离是否在预设范围内；若在预设范围内，分析该超像素与所述细胞核的灰度变化。
[0014] 在其中一个实施例中，还包括：若一个超像素遍历所有的所述细胞核没有分配标签，则赋予距离最近的细胞核标签。
[0015] 在其中一个实施例中，所述提取相同的所述细胞标签的超像素作为粗分割结果，对所述粗分割结果使用开操作平滑边界，包括：提取属于同一标签的所述超像素区域，对提取的所述超像素区域使用形态学开操作进行平滑，其中，所述粗分割结果为细胞的初始形状。
[0016] 第二方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的细胞图像的处理方法。
[0017] 第三方面，本发明实施例提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面所述的方法。
[0018] 第四方面，本发明实施例还提供了一种细胞图像的处理装置，所述装置包括：预处理模块，用于对获取的细胞图像进行预处理操作；提取模块，用于通过多尺度LoG算子检测出经过预处理操作的所述细胞图像中的细胞团块图像的候选细胞核中心，并对所述候选细胞核中心周围patch进行提取；细胞核边界获取模块，用于根据提取后的结果，通过卷积神经网络筛选出真阳性细胞核，并使用水平集分割真阳性细胞获取所述真阳性细胞核的边界；细胞标签分配模块，用于对每一个不为0的超像素区域分配细胞标签，其中，将所述细胞图像的背景设为0，通过超像素过分割图像后，将细胞核超像素设为0，所述细胞标签由细胞核确定；分割模块，用于提取相同的所述细胞标签的超像素作为粗分割结果，对所述粗分割结果使用开操作平滑边界后，作为细胞的初始轮廓，使用改进后的水平集演化获取分割结果。
[0019] 本发明提供的一种细胞图像的处理方法和装置，细胞团块分割，首先对图像进行预处理，如平滑去噪、图像增强、直方图均衡，其次使用大津阈值法和形态学操作将细胞团块与背景分离；细胞核检测与分割，对分离出的细胞团块，我们使用多尺度LoG算子检测出候选细胞核中心，提取核中心周围patch，通过一个浅层的卷积神经网络，来筛选出真阳性细胞核，使用水平集来分割真阳性细胞得到细胞核的边界；重叠细胞质的分割，提出了基于超像素的多细胞标签分割方法来分离每一个细胞，超像素过分割图像后，对每一个超像素区域分配细胞标签，超像素可同时分配多个标签，如位于重叠区域的超像素有多个细胞标签。本公开提供的方法将分割问题转换为分类问题，有效地克服弱细胞质边缘带来的挑战，提高了分割准确率。且该方法运行速度快，具有较好的鲁棒性。附图说明
[0020] 图1为本发明一个实施例中的一种细胞图像的处理方法的步骤流程示意图；
[0023] 图4为图2中快速多细胞标签处理的原理阐述示意图；
[0024] 图5为本发明一个实施例中的一种细胞图像的处理装置的结构示意图。
具体实施方式
[0025] 为了使本发明的目的、技术方案及优点更加清楚明白，以下通过实施例，并结合附图，对本发明细胞图像的处理方法和装置的具体实施方式进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0027] 如图1所示，为一个实施例中的一种细胞图像的处理方法的流程示意图。具体包括以下步骤：
[0028] 步骤101，对获取的细胞图像进行预处理操作。
[0029] 本实施例中，对获取的细胞图像进行预处理操作，包括：对细胞图像通过中值滤波器去噪，且通过各项异性滤波器平滑图像；对原图像I进行开操作得到图像Io，对原图像进行闭操作得到图像Ic，且根据原图像I、图像Io以及图像Ic获取光照矫正后的图像Ilc，其中，Ic乘以2减去原图像I得到Ic1，光照矫正后的图像Ilc为I+Io-Ic1；对光照矫正后的图像Ilc进行处理，并通过大津阈值法将细胞图像中的细胞团块与背景分离，分离后滤除小面积区域，以完成细胞图像中杂质的滤除操作。
[0030] 进一步地，对光照矫正后的图像Ilc的处理包括：对光照矫正后的图像Ilc腐蚀操作，并进行第一次重建图像操作；对第一次重建的图像进行膨胀操作，并进行第二次重建图像操作。
[0031] 可以理解为：步骤101中，平滑去噪的步骤为：使用中值滤波器去噪后，再使用各项异性滤波器平滑图像。此外，步骤101中，光照矫正的步骤为：原图像I进行开操作得到图像Io，原图像进行闭操作得到图像Ic，Ic乘以2减去原图像I得到Ic1，光照矫正后的图像Ilc为：I+Io-Ic1。此外，步骤101中，形态学操作的步骤为：对光照矫正后的图像Ilc腐蚀操作后，再重建图像，对重建的图像进行膨胀操作后，再重建图像。此外，步骤101中，大津阈值法采用的分割阈值，满足背景和目标之间的最大类间方差。
[0032] 步骤102，通过多尺度LoG算子检测出经过预处理操作的细胞图像中的细胞团块图像的候选细胞核中心，并对候选细胞核中心周围patch进行提取。其中，通过多尺度LoG算子检测出经过预处理操作的所述细胞图像中的细胞团块图像的候选细胞核中心，包括：通过所述多尺度LoG算子对所述细胞图像进行卷积操作，获取极大响应值点，并将所述极大响应值点定义为所述候选细胞核中心。
[0033] 在一个实施例中，本公开提出的细胞图像的处理方法，还包括：通过多尺度高斯拉普拉斯算子斑点检测法，对所述细胞图像用不同方差σ的高斯核进行拉普拉斯变化，产生LoG算子。需要说明的是，多尺度即使用不同方差的LoG算子卷积图像。
[0034] 可以理解为：步骤102中，使用的是多尺度高斯拉普拉斯(Laplace of Gaussian,LOG)算子斑点检测法，先对图像用不同方差σ的高斯核进行拉普拉斯变化，产生LoG算子。用LoG对图像卷积操作后，寻找极大响应值点，极大响应值点为斑点的中心。为了检测出不同大小的细胞核，采用一定范围的方差σ的高斯核平滑图像。最后设立阈值，保留极大响应值较大的点，这些点为候选核中心点。候选核中心点距离太近的，保留响应值最大的点。此外，步骤102中，多尺度LoG算子检测的核中心也是patch的中心点。此外，步骤102中，筛选使用的是浅层的卷积神经网络(Convolution neural network，CNN)，CNN的结构为：卷积层->池化层->全连接层。此外，步骤102中，使用水平集来分割真阳性细胞得到细胞核的边界，使用的水平集是距离正则化水平集演化(Distance Regularized Level Set Evolution，DRLSE)，该水平集初始化形状为圆，圆中心为patch中心。
[0035] 步骤103根据提取后的结果，通过卷积神经网络筛选出真阳性细胞核，并使用水平集分割真阳性细胞获取真阳性细胞核的边界。
[0036] 步骤104，对每一个不为0的超像素区域分配细胞标签。其中，将细胞图像的背景设为0，通过超像素过分割图像后，将细胞核超像素设为0，细胞标签由细胞核确定。其中，使用的超像素过分割方法是简单的线性迭代聚类(Simple Linear Iterative Clustering,SLIC)。此外，当超像素区域与分割的细胞核区域相交超过超像素区域面积的30％，即该超像素为细胞核超像素区域，并置为0。
[0037] 本实施例中，对每一个不为0的超像素区域分配细胞标签，包括：每个灰度值不为0的超像素遍历所有的细胞核，判断超像素是否紧邻所述细胞核；若紧邻，则该超像素属于细胞核所在的细胞内；若超像素与细胞核之间存在其它的超像素区域，则判断超像素与所述细胞核的距离是否在预设范围内；若在预设范围内，分析该超像素与细胞核的灰度变化。
[0038] 可以理解为：超像素区域分配细胞标签步骤为：由细胞核确定细胞标签，每个细胞核代表一个细胞。每个灰度值不为0的超像素需要遍历所有的细胞核，判断超像素是否紧邻细胞核，如果紧邻，则该超像素属于该细胞核所在的细胞内。如果超像素与细胞核之间存在其它的超像素区域，则判断超像素与细胞核的距离是否在一定范围内。若满足距离约束，分析该超像素与细胞核的灰度变化：即超像素的平均灰度值可以低于其它超像素的灰度值，但不能高于一定值，否则该超像素不属于此细胞核。若一个超像素遍历所有的细胞核没有分配任何标签，则赋予最近的细胞核标签。
[0039] 在一个实施例中，本公开提出的细胞图像的处理方法，还包括：若一个超像素遍历所有的细胞核没有分配标签，则赋予距离最近的细胞核标签。
[0040] 步骤105，提取相同的细胞标签的超像素作为粗分割结果，对粗分割结果使用开操作平滑边界后，作为细胞的初始轮廓，使用改进后的水平集演化得到更准确的分割结果。其中，粗分割结果平滑后即为细胞的初始形状。提取属于同一标签的超像素区域，对提取的超像素区域使用形态学开操作进行平滑。
[0041] 本实施例中，提取相同的细胞标签的超像素作为粗分割结果，对粗分割结果使用开操作平滑边界，包括：提取属于同一标签的超像素区域，对提取的超像素区域使用形态学开操作进行平滑，其中，粗分割结果平滑后为细胞的初始形状。
[0042] 在一个实施例中，本公开提出的细胞图像的处理方法还包括：根据粗分割结果为初始轮廓进行水平集演化，获取预设精细度值的细胞边界，通过细胞边界对每一个粗分割细胞进行调整。
[0043] 可以理解为：粗分割结果为初始轮廓进行水平集演化，得到更精细的细胞边界/区域。此外，水平集距离正则项避免重新初始化，长度约束项和面积约束项控制水平集向内/向外演化，椭圆形状约束项控制水平集演化保持一个类椭圆的形状。增加的椭圆约束项能够有效避免水平集演化过程发生的边缘泄露问题。水平集演化是在滤波且分割细胞团块后的图像上操作。
[0044] 本发明提供的一种细胞图像的处理方法，细胞团块分割，首先对图像进行预处理，如平滑去噪、图像增强、直方图均衡，其次使用大津阈值法和形态学操作将细胞团块与背景分离；细胞核检测与分割，对分离出的细胞团块，我们使用多尺度LoG算子检测出候选细胞核中心，提取核中心周围patch，通过一个浅层的卷积神经网络，来筛选出真阳性细胞核，使用水平集来分割真阳性细胞得到细胞核的边界；重叠细胞质的分割，提出了基于超像素的多细胞标签分割方法来分离每一个细胞，超像素过分割图像后，对每一个超像素区域分配细胞标签，超像素可同时分配多个标签，如位于重叠区域的超像素有多个细胞标签。本公开提供的方法将分割问题转换为分类问题，有效地克服弱细胞质边缘带来的挑战，提高了分割准确率。且该方法运行速度快，具有较好的鲁棒性。
[0045] 为了更清楚的理解与应用本发明提出的细胞图像的处理方法，进行以下示例。需要说明的是，本发明的保护范围不局限以下示例。
[0046] 结合图2-4所示，即图2为本发明一个实施例中的一种细胞图像的处理方法中的重叠宫颈细胞图像分割的步骤流程图；图3为图2所示的整体CNN框架图；图4为图2中快速多细胞标签处理的原理阐述示意图。
[0047] 具体的，图2是本发明用于阐述基于CNN和快速多细胞标签重叠宫颈细胞分割的一个较佳实施方案的原理图。该方案包括一个细胞团块分割11、细胞核检测与分割12和细胞质分割13。细胞团块分割11用于分离细胞与背景，排除背景，减少算法搜索范围，节约计算时间；细胞核检测与分割12用于实现自动检测与分割细胞团块所有的细胞核，细胞核检测与分割是细胞质分割的前提；细胞质分割13是本发明的关键一部，实现重叠细胞的分离。
[0048] 本公开提出的细胞图像的处理方法，具体的重叠宫颈细胞分割的方法包括下列步骤：细胞团块分割。首选对图像进行平滑去噪，再使用高低帽进行光照矫正，形态学操作作为阈值分割的预处理，去除小污点，使灰度变化均匀。阈值法分割出背景与细胞团块，并滤出小面积杂质；细胞核检测与分割。排除背景后，检测出候选细胞核的中心点，再使用CNN筛选出真阳性细胞核，最后使用水平集分割；细胞质分割。使用超像素过分割图像，滤除细胞核超像素，对每个超像素进行多细胞标签分配，得到细胞的粗分割结果，最后使用先验形状约束的DRLSE精调边界。其中，细胞团块分割划分为：平滑去噪，光照矫正，形态学操作，阈值分割。
[0049] 此外，平滑去噪该步骤的目的是作为预处理的第一步，是为了平滑图像，保留边缘，能够有效改善所有操作的效果，尤其是对细胞核、质分割。在本发明中，先采用3x3中值滤波简单去噪，再使用各项异性滤波器保边平滑。各向异性滤波器的原理为：将图像看作热量场，每个像素看作热流，根据当前像素和周围像素的关系，来确定是否要向周围扩散。比如某个邻域像素和当前像素差别较大，则代表这个邻域像素很可能是个边界，那么当前像素就不向这个方向扩散了，这个边界也就得到保留了。
[0050] 此外，光照矫正为消除光照不均匀的情况，本发明组合了高低帽变换操作，经过实验发现，以下组合操作能够较好地矫正光照不均匀的情况。
[0051] Ilc＝I+(I○S)-(2*(I●S)-I) (1)
[0052] I为原图像，S代表结构圆，○为开操作，●表示闭操作。开运算带来的结果是放大了裂缝或者局部低亮度的区域。闭运算减去原始图像(黑帽运算)后的效果图突出了比原图轮廓周围的区域更暗的区域。公式(1)在尽量不改变原始图像的灰度信息的同时，调整过暗过亮的区域。
[0053] 此外，形态学重建操作此部分作为阈值分割的预处理，旨在移除较亮、较暗的斑点，使图像灰度变化均匀，阈值分割效果更好。先通过腐蚀后重建来做基于腐蚀的重建计算，对重建的图像进行膨胀，对基于腐蚀的重建图像和重建膨胀的图像分别求补，并以求补后的重建图像作为掩模来再次重建，最后对最终重建的图像求补回来，如下：
[0054]
[0055]
[0056] Ir＝reconstruct(complement(Ierd),imcomplement(Ier)) (4)
[0057] Ir＝complement(Ir) (5)
[0058] 是腐蚀操作， 图像膨胀操作，reconstruct表示重建图像，reconstruct(masker，mask)，表示以mask为模板，对masker重建。complement表示对图像求补。
[0059] 此外，阈值分割采用上述处理以后，阈值分割法能很好地分离出背景与细胞团块。阈值选取为自适应选取，选取的阈值使背景和目标之间的类间方差最大。
[0060] 为评价本发明提出的细胞团块分割方法，采用一种基于重叠面积的评价标准：将分割后的图像转化为黑白二值图像，其中白色像素表示细胞区域，黑色像素表示背景区域，用A表示自动分割出的图像，B表示手动分割出的模板图像，则细胞团块分割精度可用下式计算：
[0061]
[0062] 实验数据来源于The IEEE International Symposium on Biomedical Imaging(ISBI)公开数据，ISBI在2014与2015年发布了关于重叠宫颈细胞的挑战赛，并公开了标注数据。本发明使用了90张来自ISBI2014的重叠宫颈细胞的测试数据，来评价所提出的方法。实验结果显示，本发明的细胞团块分割方法精度为0.95。
[0063] 进一步地，细胞核检测与分割包括：候选细胞核检测，CNN筛选，细胞核分割。针对目前宫颈涂片细胞核检测依然存在较高的假阳性问题，本发明采用CNN来筛选候选的细胞核，从而得到更高的真阳性细胞核。
[0064] 此外，细胞核检测该步骤的目的是检测出可能的细胞核区域。细胞核的特征在于：形状为椭圆形或圆形，灰度值低，且与周围形成较大的对比度。鉴于此，本发明提出了多尺度LoG斑点检测算子来检测出候选细胞核区域，斑点通常是指与周围有着颜色和灰度差别的区域，这与细胞核的特征一样。对于二维高斯函数：
[0065]
[0066] 其中，σ为高斯函数的标准差。高斯函数的拉普拉斯变换为：
[0067]
[0068] 高斯函数的拉普拉斯变换在二维图像上显示是一个圆对称函数。用这个算子卷积图像，实际就是求取图像与高斯拉普拉斯函数的相似性。当图像中的斑点尺寸与高斯拉普拉斯函数的形状趋近一致时，图像的拉普拉斯响应达到最大，且最大值出现在斑点中心。改变σ的值，可以检测不同尺寸的二维斑点。
[0069] 将高斯拉普拉斯算子卷积图像后，极大值点则为斑点中心。在设定阈值，保留超过阈值的极大值点，这些点最有可能是细胞核。当检测的点距离很近，保留响应值更大的点。此时检测的点是候选细胞核中心点，候选细胞核存在的假阳性，本发明使用浅层的卷积神经网络来筛选真阳性。
[0070] 此外，CNN筛选，即图3是CNN的框架图。本发明中采用的CNN由一层卷积层，一层池化层，一层全连接层构成：输入：大小为32×32包含细胞核的patch，通道为RGB通道。卷积层：采用大小5×5的卷积核，步长为1地卷积输入图像，产生8个特征图像，每个特征图像尺寸变为28×28(图像长/宽-卷积核长/宽+1)。卷积后，选择的激活函数是ReLu。池化层：本发明在每个输出特征上应用了一个2×2非重叠窗口池化操作，以学习不同视野特征。全连接层：上一层特征图中的每个神经元都将连接到全连接层，作为输出特征。该层的神经元数目为：14×14×8。输出：两个神经元(细胞核和非细胞核)通过逻辑回归模型激活。训练参数设置：本发明在训练CNN时的学习率设置为0.01，训练次数为30次，使用随机梯度下降来优化整个训练过程。
[0071] 进一步地，CNN分类器训练好后，经过上述步骤后，取检测中心周围32×32像素的patch(patch大小由细胞核大小决定，本发明所用的两类数据细胞核直径约为32)，送入CNN分类器中分类。
[0073] 为评价本发明提出的细胞核分割方法，采用查全率(recall)和查准率(precision)进行定量评价。当自动分割出的细胞核和对应的手工分割出的细胞核重叠超过0.6，则认为细胞核分割准确(用TP表示)，否则认为漏掉(用FN表示)；当自动分割出的细胞核的对应位置没有手工分割出的细胞核，则认为是假阳性分割(用FP表示)。查全率和查准率计算如下：
[0074]
[0075]
[0076] 实验基于上述步骤的90张宫液基细胞图像的结果显示，本发明提出的细胞核分割方法查全率是0.97，查准率是0.98。
[0077] 需要说明的是，细胞质分割遵循由粗到细，步骤为：超像素过分割，滤除细胞核超像素，多细胞标签，细胞边界精调。
[0078] 此外，超像素过分割步骤，因细胞质的边界模糊甚至消失，细胞质分割依然是宫颈细胞分割最大的挑战。本发明基于区域分割，有效的克服了细胞质边界信息薄弱的问题。且超像素利用像素之间特征的相似性将像素分组，用少量的超像素代替大量的像素来表达图片特征，很大程度上降低了图像处理的复杂度，减少计算时间。
[0079] 目前关于超像素分割方法较多，如基于图论法的Normalized cut，基于梯度下降法的Mean-shift，quick-shift，SLIC。本发明采用的是SLIC，即简单的线性迭代聚类。它是一种思想简单、实现方便的算法。在过分割之前，我们将背景像素置为0，细胞团块灰度值不变。
[0080] 此外，滤除细胞核超像素的步骤，因部分超像素区域是细胞核，此部分超像素不需要进行标签分配，为了简化算法，本发明找出细胞核超像素并将它们灰度值设为0。
[0081] 此外，多细胞标签步骤，即粗分割步骤，假设细胞团块C＝{c1,c2,...,cN}由N个细胞组成(包含了N个细胞核)，每个细胞都有一个标签L(i)，每个细胞核的标签即细胞的标签，均用L(i)表示。该细胞团块给过分割为M个超像素，每个超像素表示为S＝{s1,s2,...,sM}。若超像素与某个细胞核L(i)属于同一个细胞，则把该细胞核的标签分配给该超像素，每个超像素至少分配一个细胞标签。显然，当超像素sj紧邻着细胞核L(i)，则L(i)与细胞核属于同一个细胞区域，本发明将此细胞核的标签分配给超像素sj。当sj不紧邻细胞核，即在二者之间还存在其它的超像素区域，判断超像素是否与细胞核属于同一个细胞情况会更加复杂。本发明通过观察与验证，设定了3个判别条件，若同时满足3个条件，则认为细胞核与超像素sj属于同一个细胞区域并将细胞核标签分配给超像素。这三个条件是：第一条件：超像素中心与核心之间的距离应在特定范围内，这个范围与细胞的半径有关；第二条件：超像素的平均灰度值较低，因为细胞之间的重叠区域比非重叠区域更暗；第三条件：灰阶值从暗到明亮的变化小于预定义的阈值，确保超像素几乎位于细胞内或重叠区域内。
[0082] 如图4所示，给出了对多细胞标记过程的这三个条件的更好的解释。在图中，一个几何圆表示一个细胞，黑色的椭圆形是细胞核。星号是超像素s。如果仅使用条件(1)和(2)，则可以容易地将超像素s指定为标签L(1)。然而，L(1)和s之间的灰度变化大于阈值，表明超像素在l1的重叠区域之外。因此，考虑超像素与核间灰度值变化的约束是有用的。表1为图2中快速多细胞标签算法实现伪代码。
[0083]
[0084]
[0085] 此外，细胞边界精调的步骤，将具有相同标签的超像素连接起来，作为一个细胞的初始轮廓。在细胞团中分离细胞，相当于粗分割。由于分割是基于超像素区域分割的，因此提取的细胞的边界粗糙。对于每个细胞，我们使用增加了先验形状约束的距离正则化水平集方法优化细胞轮廓。根据先验形状，细胞的大致形状是椭圆形的，所以我们在能量函数中引入了一个椭圆的形状约束。每个细胞是一个水平集，关于水平集的能量泛函为：
[0086]
[0087] φ表示水平集， 是调节四项的参数。R是正则项，保持曲线演化的光滑性，L是长度约束项，A是面积约束项，S是先验形状约束项。R、L、A、S定义如下：
[0088]
[0089] 当φ<0时， 当φ≥0时，
[0090]
[0091]
[0092]
[0093] 其中H是Heaviside函数，δ是H的导数。 Gσ是方差为σ的高斯函数。e(φ)是当前水平集拟合的椭圆距离符号函数。将多细胞标签分配的粗糙细胞轮廓作为水平集分割方法的初始化轮廓。本发明结合区域，边界和局部形状信息来驱动水平集演化，以更好地分割显微图像中的重叠宫颈细胞。使用梯度下降法求解能量泛函，为(0.2,0.5,0.2,0.1)。
[0094] 为评价本发明提出的细胞质分割方法，采用交并比(DSC表示)，基于物体的假阴性(FNo)，基于像素的真阳性(TPp)，基于像素的假阳性(FPp)作为评价指标。最后细胞分割结果相对于手工分割的结果的DSC大于0.7，则认为分割错误，结果不被平均到最终DSC中。因此本结果的DSC是较好的分割结果的平均值，结果较好的定义是分割的DSC大于0.7。FNRo是标注数据中错过的细胞个数，TPRp和FPRp是在分割正确(DSC≥0.7)的区域中，基于像素级别的真阳性率和假阳性率的平均值。
[0095] 实验基于上述步骤的90张宫液基细胞图像的结果显示，本发明提出的细胞质的分割方法的交并比DSC为0.91，FNo为0.13，TPp为0.96，FPp为0.002。
[0096] 本发明提出的一种基于CNN和快速多细胞标签的方法分割重叠宫颈细胞的方法，本方法可分为3个部分的分割。在第一部分细胞团块分割中，使用中值滤波器和各向异性滤波平滑去噪，几何高低帽进行光照矫正，形态学重建操作和大津阈值法分割将细胞团块与背景分离，再滤除小面积杂质；在细胞核分割中，使用多尺度LoG算子检测出候选细胞核中心，提取候选核中心周围patch，通过一个训练好的浅层的卷积神经网络，来判断该候选核是真阳性还是假阳性，筛选后使用水平集来分割真阳性细胞得到细胞核的边界；在重叠细胞质的分割，先将背景设为0来得到更好的超像素图，寻找细胞核超像素并将细胞核超像素灰度值置为0。对剩下的不为0的超像素区域分配细胞标签，细胞标签由细胞核确定。超像素可同时分配多个标签，如位于重叠区域的超像素有多个细胞标签。标签分配后，提取相同细胞标签的超像素作为粗分割结果。最后使用改进的距离正则化水平集优化每一个细胞轮廓。本发明是基于区域的分割，能够在不均匀细胞质分割中提供较好的性能。此外，在细胞边界精调过程中，除区域和边界信息外，本发明增加了一个形状约束，来优化水平集的演化。
[0097] 综上所述，该方法概括为：细胞团块分割。首先对图像进行预处理，如平滑去噪、光照矫正，其次使用形态学操作和大津阈值法将细胞团块与背景分离，最后滤除小面积杂质；细胞核检测与分割。对分离出的细胞团块，我们使用多尺度LoG算子检测出候选细胞核中心，提取核中心周围patch，通过一个浅层的卷积神经网络，来筛选出真阳性细胞核，使用水平集来分割真阳性细胞得到细胞核的边界；重叠细胞质的分割。将背景设为0，使用超像素过分割图像后，将细胞核超像素也设为0。对每一个不为0的超像素区域分配细胞标签，细胞标签由细胞核确定。超像素可同时分配多个标签，如位于重叠区域的超像素有多个细胞标签。提取相同细胞标签的超像素作为粗分割结果，对粗分割结果使用开操作平滑边界，作为细胞的初始轮廓，使用改进后的水平集演化获取分割结果。即最后使用改善的细胞边界精调每一个粗分割细胞。
[0098] 基于同一发明构思，还提供了一种细胞图像的处理装置。由于此装置解决问题的原理与前述一种细胞图像的处理方法相似，因此，该装置的实施可以按照前述方法的具体步骤时限，重复之处不再赘述。
[0099] 如图5所示，为一个实施例中的一种细胞图像的处理装置的结构示意图。该细胞图像的处理装置10包括：预处理模块100、提取模块200、细胞核边界获取模块300、细胞标签分配模块400和分割模块500。
[0100] 其中，预处理模块100用于对获取的细胞图像进行预处理操作；提取模块200用于通过多尺度LoG算子检测出经过预处理操作的细胞图像中的细胞团块图像的候选细胞核中心，并对候选细胞核中心周围patch进行提取；细胞核边界获取模块300用于根据提取后的结果，通过卷积神经网络筛选出真阳性细胞核，并使用水平集分割真阳性细胞获取真阳性细胞核的边界；细胞标签分配模块400用于对每一个不为0的超像素区域分配细胞标签，其中，将细胞图像的背景设为0，通过超像素过分割图像后，将细胞核超像素设为0，细胞标签由细胞核确定；分割模块500用于提取相同的细胞标签的超像素作为粗分割结果，对粗分割结果使用开操作平滑边界后，作为细胞的初始轮廓，使用改进后的水平集演化获取分割结果。
[0101] 本发明提供的一种细胞图像的处理装置，预处理模块100用于对获取的细胞图像进行预处理操作；提取模块200用于通过多尺度LoG算子检测出经过预处理操作的细胞图像中的细胞团块图像的候选细胞核中心，并对候选细胞核中心周围patch进行提取；细胞核边界获取模块300用于根据提取后的结果，通过卷积神经网络筛选出真阳性细胞核，并使用水平集分割真阳性细胞获取真阳性细胞核的边界；细胞标签分配模块400用于对每一个不为0的超像素区域分配细胞标签，其中，将细胞图像的背景设为0，通过超像素过分割图像后，将细胞核超像素设为0，细胞标签由细胞核确定；分割模块500用于提取相同的细胞标签的超像素作为粗分割结果，对粗分割结果使用开操作平滑边界。该装置将分割问题转换为分类问题，有效地克服弱细胞质边缘带来的挑战，提高了分割准确率。且该装置运行速度快，具有较好的鲁棒性。
[0102] 本发明实施例还提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，该程序被图1或图2中处理器执行。
[0103] 本发明实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行上述图1或2的方法。
[0104] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
[0105] 以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种解析房产证照片内容的方法 | 2020-09-06 | 1 |
| 一种三维模具缺陷检测方法及装置 | 2020-12-11 | 0 |
| 基于深度学习的鱼类细粒度分类方法 | 2021-04-08 | 2 |
| 卷积神经网络压缩方法及人脸检测方法 | 2022-10-24 | 0 |
| 一种基于改进卷积神经网络的焊缝缺陷识别方法 | 2022-09-21 | 1 |
| 用于面部识别和视频分析以识别上下文视频流中的个人的装置和方法 | 2023-03-13 | 0 |
| 基于多标签分类的道路交通标志的识别方法 | 2021-06-20 | 1 |
| 一种面向智慧社区的多摄像机联动多目标追踪方法及系统 | 2020-09-04 | 0 |
| 基于卷积注意力的矩阵分解方法、装置及电子设备 | 2021-10-30 | 1 |
| 用於類神經網路計算的旋轉資料 | 2023-11-04 | 0 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈