首页 / 专利库 / 人工智能 / 人工智能 / 机器学习 / 人工神经网络 / 人工神经元 / 一种染色体核型图像切割方法

一种染色体核型图像切割方法

阅读:1026发布:2020-05-31

专利汇可以提供一种染色体核型图像切割方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种 染色 体核型图像切割方法,属于染色体 图像处理 技术领域。现有的 图像分割 方法对染色体图像进行分割,由于染色体图像本身具有很多噪声,会出现误分割的现象,引起的误差为后面的分析带来了干扰。本发明染色体图像切割主要基于连通域分割和骨架提取的方式进行分割,通过连通域分析提取独立的单条染色体后,剩下的交叉染色体进行骨架提取和骨架分析寻找可能的分割点,通过分割点实现交叉染色体的分割;改变了以往直接对预处理过的图像进行分割,分割效果清晰,最大程度上减少了分割带来的误差,工序简洁、合理,可向外大规模推广应用,部署简单。,下面是一种染色体核型图像切割方法专利的具体信息内容。

1.一种染色体核型图像切割方法,其特征在于,
染色体图像切割主要基于连通域分割和骨架提取的方式进行分割,通过连通域分析提取独立的单条染色体后,剩下的交叉染色体进行骨架提取和骨架分析寻找可能的分割点,通过分割点实现交叉染色体的分割;
其包括以下情形:
(1)单条染色体与交叉染色体的分离;计算出平均染色体面积与单条染色体最大面积,然后通过对染色体前景部分进行连通域分析,提取出各个连通域的图像,进行闭操作与中值滤波后分析骨架,根据骨架的不同将该连通域分别归类为单条染色体与交叉染色体;
(2)粘连交叉染色体的分割;对于交叉染色体再进行连通域分析,通过骨架分析操作寻找切割点进行切割,切割出的染色体放入单条染色体类别中,其他染色体等待进一步自动切割;
(3)交叉染色体的进一步切割;对于剩余的交叉染色体,利用分离重叠染色体的方法进行进一步切割,然后对结果进行保存。
2.如权利要求1所述的一种染色体核型图像切割方法,其特征在于,
连通域分割主要是连通区域标记,通过对二值图像中白色像素的标记,让每个单独的连通区域形成一个被标识的,进一步的能够获取这些块几何参数;所述几何参数为块的轮廓或外接矩形或质心或不变矩;
骨架提取,即二值图像细化,将一个连通区域细化成一个像素的宽度,用于特征提取和目标拓扑表示。
3.如权利要求2所述的一种染色体核型图像切割方法,其特征在于,
切割方法具体包括以下步骤:
第一步,采集染色体图像;
第二步,对染色体图像中包含染色体感兴趣区域ROI进行定位;确保图片中至少含有所需分割的全部染色体对象ROI;
第三步,对染色体进行基本的图像处理
a)将非染色体的对象,用基本的形态学操作图像处理算法进行去除,获得尽可能只包括染色体的图像;
b)图像的灰度、对比度采用直方图归一化图像处理手段进行增强,染色体内部的条带清晰可辨;
c)训练深度网络前,对图像进行旋转、翻转,进行数据增强操作以扩充样本;
对输入图像进行归一化处理,使得图像输入尽可能标准一致,网络训练更容易收敛;
第四步,建立两阶段深度学习模型;
第一阶段,完成染色体对象的定位检测以及染色体对象的外轮廓分割任务,将图像中的每个疑似染色体的候选区域提取出来;
第二阶段,对所提取的候选区域进行染色体坐标定位、外轮廓分割,进而实现染色体的准确分割。
4.如权利要求3所述的一种染色体核型图像切割方法,其特征在于,
所述第二步,包括以下步骤:
该步骤是为了保证输入进深度学习模型的图片中确实是包括了1个细胞完整的46条中期染色体;即图片中至少含有所需分割的全部染色体对象ROI;
图像预处理算法如下:
a)直方图统计,找到最大值,找到下降梯度大于0.99的值,两者相减即可使用阈值去除背景;定义k表示图像的灰度级数,直方图各个灰度级出现的次数为nk,则直方图相邻灰度级间的梯度可定义为:
求出Gi>0.99时i的最大值T0
则分割图像的目标阈值:
T=k-1-2×T0
b)对染色体进行边缘处理,外围轮廓区域均值小于染色体均值的2/3即为可删除边缘;
c)直方图匹配,对染色体同时做直方图匹配,使染色体的明暗程度统一到一个固定的区间,同时增强条带信息;
人工对预处理后的中期分裂相图像进行人工标记,标记图像中感兴趣的染色体区域。
5.如权利要求3所述的一种染色体核型图像切割方法,其特征在于,
所述第四步,具体包括以下步骤:
S1,建立模型结构:主干网络模型框架基于MaskR-CNN网络结构,能够解决实例分割的问题,即同时完成染色体对象的定位检测以及染色体对象的外轮廓分割任务;
S2,通过类似FasterR-CNN框架的两阶段策略,网络模型主要由两个阶段组成:第一个阶段是候选区域提名模块,目的是将图像中的每个疑似染色体的候选区域比较“粗”地提取出来;
第二个阶段是对候选区域分别进行定位、分割、以及分类任务;该阶段采用了三个独立且并行的子网络,目的是同时对阶段一所提取的候选区域进行染色体坐标定位、外轮廓分割、以及染色体类别预测;
发明通过交替训练阶段一和阶段二的方式,能够解决网络训练过程中正负样本不平衡的问题,使得模型能够快速收敛;除外,二阶段的模型设计能够使得网络以端到端end-to-end的方式,只通过卷积层和全连接层即可得到输入图像中所有染色体的分割结果,提高了模型的预测效率;本模型的第一阶段的预测深度为:hs层,本模型的第二阶段的预测深度为:hs2层;
S3,模型第一阶段候选区域提名网络采用的是基于ResNet的骨架结构,利用ResNet优秀的特征抽取,为预测候选区域的坐标和类别提供支撑
ResNet通过使用残差学习ResidualLeaming的方式,极大地提高模型抽取特征的有效性,而且能够在避免过拟合训练样本集的情况下,构建深层次的网络,提高模型的准确率;
在最后卷积得到的特征图上,采用两路卷积分别输出候选区域的坐标位置信息与二分类类别信息;其中,坐标位置信息是采用基于“锚点”Anchor的预测方法,即在染色体图像上选定若干个锚点,预测的位置坐标指的是相对于这些锚点的位置偏移量;若需要得到每个候选区域矩形框在整幅图像内的全局坐标,则能够根据预先确定的锚点的全局坐标加上预测的偏移量即可;
S4,模型第二阶段检测、分类、分割并行模块采用的是3个独立的子网络头来分别处理来自第一阶段的各个候选区域,并针对每个候选区域给出其中包含的染色体的精确坐标信息、类别信息、以及外轮廓分割信息;
S5,训练该模型的损失函数按照第一阶段和第二阶段的任务分别能够总结为分类损失函数、位置回归损失函数、以及分割损失函数;
深度学习模型的训练,使用随机梯度下降SGD优化器进行模型训练,学习率设置为
0.02,每经过10000次迭代就减少为十分之一,SGD的权重衰减系数设置为0.0001,动量Momentum设置为0.9;总迭代次数为100000次,批量训练的样本大小Batchsize设置为4;
所述S3,第一阶段模型的输入为:经过权利要求1所述的前三步骤处理好的染色体图像;
该第一阶段模型的输出有3个:
1)经过ResNet多层卷积操作得到的特征图;
2)基于特征图上每个像素点卷积得到的染色体候选区域的坐标位置;
3)基于特征图上每个像素点卷积得到的候选区域的二分类类别信息,判断候选矩形框内部是否为染色体,即给出该候选区域包含染色体的概率p;
本模型的深度为:hs层。
6.如权利要求5所述的一种染色体核型图像切割方法,其特征在于,
所述S4,该阶段处理S3的输出时,主要经过如下几个部分:
1)基于S3的输出,需要先按照候选区域矩形框进行非极大值抑制Non-
MaximumSuppresion,去除预测的矩形框重复、重叠情况;去除重叠情况时所使用的阈值IoU设置为th_IoU,即若有两个矩形框之间重叠区域占2个总矩形框面积的比例IoU高于th_IoU时,则认为这两个矩形框对应于同一个预测区域,将只保留其中第一个候选矩形框,去除剩下的一个矩形框;该NMS步骤将对S3输出的所有候选区域进行遍历,去除其中重叠的矩形框;
2)针对剩下来的非重叠的候选矩形框,按照其对应的预测包含染色体的概率p由高到低进行排序,挑选前m个置信度较高的候选区域作为实际有效的候选区域;这里设置的有效候选区域数量为m;
3)根据有效的候选区域的坐标信息,在S3步骤输出的特征图上对应位置抽取固定大小的局部特征图,即为专对应于该候选区域的局部特征;由于第二阶段各个子网络头模型需要固定尺寸的输入特征,然而每个预测得到的候选区域矩形框大小不一,使得截取出来的局部特征的大小也不一致,因此需要对每个局部特征做尺度归一化处理。
7.如权利要求6所述的一种染色体核型图像切割方法,其特征在于,
还包括:4)构建3个独立的子网络头模型:
a.检测、分类、分割子网络共用相同的特征;为了获取该公用特征,在获得步骤3的输出特征图后,将其输入至一个ResNet-50模型,并将该ResNet网络的第九层,名为“res5”特征取出作为共用的特征向量
b.对于检测和分类子网络,对特征图“res5”接着做全局平均池化池化,得到2048维度的向量,然后经过1个全连接FC层,全连接层神经元参数数量为m,再分别经过1个全连接层得到分类任务的输出和位置检测任务的输出;其中,分类任务的输出经过SoftMax层得到的是染色体24+1个类别的概率;位置检测任务的输出是用于回归的相对于锚点的矩形框坐标及大小信息;其中全连接层的神经元数m;
c.对于外轮廓分割子网络,对特征图“res5”首先用转置卷积操作,将kxk大小的特征图卷积成2kx2k大小,特征通道数为C2;再利用一个普通卷积操作,得到特征通道数为24的卷积结果,针对每个特征通道应用Sigmoid激活函数即可得到24个类别的外轮廓分割结果。
8.如权利要求6所述的一种染色体核型图像切割方法,其特征在于,
对每个局部特征做尺度归一化处理:
采用RoIAlign即感兴趣区域对齐操作将不同大小的特征图通过不量化Quantization直接池化Pooling成固定尺寸kxk大小的特征图;
其具体的做法是,
首先,将预测的候选区域矩形框在映射到特征图大小时,不采用取整操作,而是保留小数并且采用双线性插值方法求出特征图上该实数坐标的特征值;
得到该局部特征图后,需要进一步池化成kxk大小的特征图;
这一步需要划分k*k个子区域,每个子区域对应的大小为;
对每个子区域进行池化操作即可抽取出1个对应的特征值;最终获得的k*k个特征值即为RoIAlign的结果。
9.如权利要求5所述的一种染色体核型图像切割方法,其特征在于,
所述S5,1)其中,第一阶段候选区域提名网络RPN以及第二阶段的检测、分类子网络头都是采用分类损失函数与位置回归损失函数所组成的联合损失函数;其定义的表达式如下:
其中,i是某个锚点的编号,pi是该锚点对应的候选矩形区域的预测概率, 是第i个锚点的真值, 则该锚点确实对应一个染色体, 则该锚点对应背景;ti是一个代表了4个参数化的候选矩形框的位置和大小, 代表的是该锚点确实对应染色体时矩形框的真实位置和大小;该损失函数中Ncls和Nreg分别对应参与分类损失和回归损失的锚点的数目,分别用于归一化分类损失函数和回归损失函数;λ是平衡这两个损失函数的权重;用于分类的Lcls损失函数是基于二分类的交叉熵的函数,其定义的表达式如下:
用于回归矩形框坐标和大小的Lreg损失函数是基于Smooth-L1的函数,该函数仅仅在当前 时有效,即只针对包含染色体对象的锚点进行坐标和大小的回归;其损失函数定义的表达式如下:
其对应的Smooth-L1函数的数学表达式如下:
对于参数化编码的候选矩形框的位置,其数学表达式如下:
其中,ti是代表了4个参数化的候选矩形框的位置和大小,x,y,w,和h是预测的候选矩形框的坐标及大小,而下标a,上标*分别对应锚点和真值的矩形框坐标和大小;整个染色体候选矩形框的预测过程能够看作是将锚点的矩形框向真实包含染色体的矩形框回归的过程;
2)第二阶段中预测候选框ROI中具体包含的是哪一类别的染色体所用到的损失函数是
24类别的交叉熵损失函数,其定义的数学表达式如下:
其中,exp(x)为exponential的缩写,即为指数函数ex;
x为分类头网络输出的结果向量,Ncls为需要预测的分类总类别数;对于染色体的类型分类,x维度为24维,Ncls=24;j为计数下标,用于累加x向量中每个元素x[j];
t为真实的金标准标签,对于类别分类,其值在0-23之间,代表1号染色体至Y染色体;整个函数是对概率值取了负对数,便于求解其最小值;对数中的分式解释意义,以类别预测为例:预测的所有类别结果x[j],j=1,2,...,24中,金标准标签t对应的类别的概率;
3)第二阶段中预测外轮廓Mask中所用到的损失函数是逐像素的二分类交叉熵函数;其数学表达式为与1)中介绍的二分类交叉熵函数一致;在计算该损失函数时,针对每个候选矩形框,对输出的24个预测Mask图中只选取对应类别的Mask图进行计算,忽略其他无关类别的Mask,这样能够有效避免不同类别间重叠区域的归属问题。
10.如权利要求3所述的一种染色体核型图像切割方法,其特征在于,
还包括第五步,对染色体识别结果建立评价系统,
评价指标选取为:准确率accuracy,敏感度sensitivity与特异度specificity,精确度precision与召回率recall,以及F1指数;假设分类目标只有两类,计为正例positive和负例negtive分别是:
1)TP:被正确地划分为正例的个数,即实际为正例且被深度学习模型划分为正例的实例数;
2)FP:被错误地划分为正例的个数,即实际为负例但被深度学习模型划分为正例的实例数;
3)FN:被错误地划分为负例的个数,即实际为正例但被深度学习模型划分为负例的实例数
4)TN:被正确地划分为负例的个数,即实际为负例且被深度学习模型划分为负例的实例数;
针对每个被检测出来的染色体包括最小包围矩形框的坐标、大小;该染色体的外轮廓,求取矩形框中被分割为染色体的部分与真实染色体标记的重叠情况;对于每个像素而言,这个计算就是判断该矩形框中每个像素的归属情况,要么属于前景染色体,要么属于背景;
若都能正确划分,则染色体就能被正确地分割出来;因此针对矩形框中每个像素点,统计如上所述的4个指标TP,FP,FN和TN,并计算如下的5个指标:
这5个评价指标的范围是0-1之间;分数越高,代表分类效果越好。

说明书全文

一种染色体核型图像切割方法

技术领域

[0001] 本发明涉及一种染色体核型图像切割方法,属于染色体图像处理技术领域。

背景技术

[0002] 目前,染色体分析系统一般依赖于人机交互来分割染色体,由于染色体图像的质量与样本的染色质量有关,同时受光照影响严重,图像中存在较多杂质,对比度较差,且染色体内明暗相间的带纹使得目标内部灰度分布不均匀。直接利用现有的图像分割方法对染色体图像进行分割,由于染色体图像本身具有很多噪声,会出现误分割的现象,引起的误差为后面的分析带来了干扰。

发明内容

[0003] 针对现有技术缺陷,本发明的目的在于提供一种基于连通域分割和骨架提取的方式进行分割,通过连通域分析提取独立的单条染色体后,剩下的交叉染色体进行骨架提取和骨架分析寻找可能的分割点,通过分割点实现交叉染色体的分割;能够准确分割染色体,分割误差小,分割效果好的染色体核型图像切割方法。
[0004] 为实现上述目的,本发明的技术方案为:
[0005] 一种染色体核型图像切割方法,主要基于连通域分割和骨架提取的方式进行分割,通过连通域分析提取独立的单条染色体后,剩下的交叉染色体进行骨架提取和骨架分析寻找可能的分割点,通过分割点实现交叉染色体的分割;
[0006] 其包括以下情形:
[0007] (1)单条染色体与交叉染色体的分离;计算出平均染色体面积与单条染色体最大面积,然后通过对染色体前景部分进行连通域分析,提取出各个连通域的图像,进行闭操作与中值滤波后分析骨架,根据骨架的不同将该连通域分别归类为单条染色体与交叉染色体;
[0008] (2)粘连交叉染色体的分割;对于交叉染色体再进行连通域分析,通过骨架分析操作寻找切割点进行切割,切割出的染色体放入单条染色体类别中,其他染色体等待进一步自动切割;
[0009] (3)交叉染色体的进一步切割;对于剩余的交叉染色体,利用分离重叠染色体的方法进行进一步切割,然后对结果进行保存。
[0010] 本发明染色体图像切割主要基于连通域分割和骨架提取的方式进行分割,通过连通域分析提取独立的单条染色体后,剩下的交叉染色体进行骨架提取和骨架分析寻找可能的分割点,通过分割点实现交叉染色体的分割;改变了以往直接对预处理过的图像进行分割,分割效果清晰,最大程度上减少了分割带来的误差,工序简洁、合理,可向外大规模推广应用,部署简单。
[0011] 作为优选技术措施:
[0012] 连通域分割主要是连通区域标记,通过对二值图像中白色像素的标记,让每个单独的连通区域形成一个被标识的,进一步的能够获取这些块几何参数;所述几何参数为块的轮廓或外接矩形或质心或不变矩;
[0013] 骨架提取,即二值图像细化,将一个连通区域细化成一个像素的宽度,用于特征提取和目标拓扑表示。
[0014] 作为优选技术措施:
[0015] 所述切割方法具体包括以下步骤:
[0016] 第一步,采集染色体图像;所述染色体图像为经过染色的图像;
[0017] 第二步,对染色体图像中包含染色体感兴趣区域(ROI)进行定位;确保图片中至少含有所需分割的全部染色体对象(ROI);
[0018] 第三步,对染色体进行基本的图像处理;
[0019] a)将非染色体的对象,用基本的形态学操作图像处理算法进行去除,获得尽可能只包括染色体的图像;
[0020] b)图像的灰度、对比度采用直方图归一化图像处理手段进行增强,染色体内部的条带清晰可辨;
[0021] 背景色能够采用白色,其背景区域的灰度值在255;本领域技术人员可根据实际需要,选择其他背景色;
[0022] c)训练深度网络前,对图像进行旋转、翻转,进行数据增强操作以扩充样本;
[0023] 对所有输入图像进行归一化处理,使得图像输入尽可能标准一致,网络训练更容易收敛;
[0024] 第四步,建立两阶段深度学习模型;
[0025] 第一阶段,完成染色体对象的定位检测(Object Detection)以及染色体对象的外轮廓分割(MaskSegmentation)任务,将图像中的每个疑似染色体的候选区域比较“粗”地提取出来;
[0026] 第二阶段,对所提取的候选区域进行染色体坐标定位、外轮廓分割、以及染色体类别预测。
[0027] 由于染色体图像的质量与样本的染色质量有关,同时受光照影响严重,图像中存在较多杂质,对比度较差,且染色体内明暗相间的带纹使得目标内部灰度分布不均匀。因此必须对染色体图像进行预处理,为后期分析处理做准备。
[0028] 本发明的形态学操作,主要目的是减少图像由于染色体带纹引起的目标内部灰度差异;直方图归一处理,用于改善图像的灰度分布。
[0029] 本发明通过交替训练阶段一和阶段二的方式,解决网络训练过程中正负样本不平衡的问题,使得模型能够快速收敛;除外,二阶段的模型设计能够使得网络以端到端(end-to-end)的方式,从而快速确定图像的目标区域,得到输入图像中所有染色体的分割结果,提高了模型的分割效率。
[0030] 本发明改变了以往直接对预处理过的图像进行分割,分割效果清晰,最大程度上减少了分割带来的误差,工序简洁、合理,可向外大规模推广应用,部署简单。
[0031] 作为优选技术措施:
[0032] 所述第二步,包括以下步骤:
[0033] 该步骤是为了保证输入进深度学习模型的图片中确实是包括了1个细胞完整的46条(健康情况)中期染色体;即图片中至少含有所需分割的全部染色体对象(ROI);
[0034] 图像预处理算法如下:
[0035] a)直方图统计,找到最大值,找到下降梯度大于0.99的值,两者相减即可使用阈值去除背景;定义k表示图像的灰度级数,直方图各个灰度级出现的次数为nk,则直方图相邻灰度级间的梯度可定义为:
[0036]
[0037] 求出Gi>0.99时i的最大值T0
[0038] 则分割图像的目标阈值:
[0039] T=k-1-2×T0
[0040] b)对染色体进行边缘处理,外围轮廓区域均值小于染色体均值的2/3即为可删除边缘;
[0041] c)直方图匹配,对染色体同时做直方图匹配,使染色体的明暗程度统一到一个固定的区间,同时增强条带信息;
[0042] 人工对预处理后的中期分裂相图像进行人工标记,标记图像中感兴趣的染色体区域。
[0043] 本发明工序简洁、合理,可向外大规模推广应用,部署简单,方案切实可行。
[0044] 作为优选技术措施:
[0045] 所述第四步,具体包括以下步骤:
[0046] S1,建立模型结构:主干网络模型框架基于MaskR-CNN网络结构,能够解决实例分割(Instance Segmentation)的问题,即同时完成染色体对象的定位检测(Object Detection)以及染色体对象的外轮廓分割(MaskSegmentation)任务;
[0047] S2,通过类似FasterR-CNN框架的两阶段(two-stage)策略,网络模型主要由两个阶段组成:第一个阶段是候选区域提名模块(RegionProposal),目的是将图像中的每个疑似染色体的候选区域比较“粗”地提取出来;
[0048] 第二个阶段是对候选区域分别进行定位(Detection)、分割(Segmentation)、以及分类(Classification)任务;该阶段采用了三个独立且并行的子网络,目的是同时对阶段一所提取的候选区域进行染色体坐标定位、外轮廓分割、以及染色体类别预测;
[0049] 本发明通过交替训练阶段一和阶段二的方式,能够解决网络训练过程中正负样本不平衡的问题,使得模型能够快速收敛;除外,二阶段的模型设计能够使得网络以端到端(end-to-end)的方式,只通过卷积层和全连接层等网络层即可得到输入图像中所有染色体的分割结果,提高了模型的预测效率;本模型的第一阶段的预测深度为:hs层,本模型的第二阶段的预测深度为:hs2层。
[0050] S3,模型第一阶段候选区域提名网络(RegionProposalNetwork)采用的是基于ResNet的骨架结构,利用ResNet优秀的特征抽取,为预测候选区域的坐标和类别提供支撑
[0051] ResNet通过使用残差学习ResidualLeaming的方式,极大地提高模型抽取特征的有效性,而且能够在避免过拟合训练样本集的情况下,构建深层次的网络,提高模型的准确率;在最后卷积得到的特征图上,采用两路卷积分别输出候选区域的坐标位置信息与二分类类别信息;其中,坐标位置信息是采用基于“锚点”(Anchor)的预测方法,即在染色体图像上选定若干个锚点,预测的位置坐标指的是相对于这些锚点的位置偏移量;若需要得到每个候选区域矩形框在整幅图像内的全局坐标,则能够根据预先确定的锚点的全局坐标加上预测的偏移量即可;
[0052] S4,模型第二阶段检测、分类、分割并行模块采用的是3个独立的子网络头(Head)来分别处理来自第一阶段的各个候选区域,并针对每个候选区域给出其中包含的染色体的精确坐标信息、类别信息、以及外轮廓分割信息;
[0053] S5,训练该模型的损失函数(LossFunction)按照第一阶段和第二阶段的任务分别能够总结为分类损失函数(交叉熵Cross-Entropy函数)、位置回归损失函数(缓和的L1范数Smooth-L1函数)、以及分割损失函数(交叉熵Cross-Entropy函数);
[0054] 深度学习模型的训练,使用随机梯度下降(SGD)优化器进行模型训练,学习率设置为0.02,每经过10000次迭代就减少为十分之一,SGD的权重衰减系数设置为0.0001,动量Momentum设置为0.9;总迭代次数为100000次,批量训练的样本大小(Batchsize)设置为4。
[0055] 所述S3,第一阶段模型的输入为:经过权利要求1所述的前三步骤处理好的染色体图像;
[0056] 该第一阶段模型的输出有3个:
[0057] 1)经过ResNet多层卷积操作得到的特征图;
[0058] 2)基于特征图上每个像素点卷积得到的染色体候选区域的坐标位置(矩形框的4个位置信息,即矩形框左上顶点的位置x,y和矩形框的宽w和高h);
[0059] 3)基于特征图上每个像素点卷积得到的候选区域的二分类类别信息(判断候选矩形框内部是否为染色体,即给出该候选区域包含染色体的概率p);
[0060] 本模型的深度为:hs层。
[0061] 作为优选技术措施:
[0062] 所述S4,该阶段处理S3的输出时,主要经过如下几个部分:
[0063] 1)基于S3的输出,需要先按照候选区域矩形框进行非极大值抑制(Non-MaximumSuppresion),去除预测的矩形框重复、重叠情况;去除重叠情况时所使用的阈值(IoU)设置为th_IoU,即若有两个矩形框之间重叠区域占2个总矩形框面积的比例(IoU)高于th_IoU时,则认为这两个矩形框对应于同一个预测区域,将只保留其中第一个候选矩形框,去除剩下的一个矩形框;该NMS步骤将对S3输出的所有候选区域进行遍历,去除其中重叠的矩形框;
[0064] 2)针对剩下来的非重叠的候选矩形框,按照其对应的预测包含染色体的概率p由高到低进行排序,挑选前m个置信度较高的候选区域作为实际有效的候选区域;这里设置的有效候选区域数量为m,m一般取1000;
[0065] 3)根据有效的候选区域的坐标信息,在S3步骤输出的特征图上对应位置抽取固定大小的局部特征图,即为专对应于该候选区域的局部特征;由于第二阶段各个子网络头模型需要固定尺寸的输入特征(例如7x7大小),然而每个预测得到的候选区域矩形框大小不一,使得截取出来的局部特征的大小也不一致,因此需要对每个局部特征做尺度归一化处理。
[0066] 本发明工序简洁、合理,可向外大规模推广应用,部署简单,方案切实可行。
[0067] 作为优选技术措施:
[0068] 还包括:4)构建3个独立的子网络头模型:
[0069] a.检测、分类、分割子网络共用相同的特征;为了获取该公用特征,在获得步骤3的输出特征图(k*k大小,特征通道数为C)后,将其输入至一个ResNet-50模型,并将该ResNet网络的第九层(名为“res5”)特征取出作为共用的特征向量
[0070] b.对于检测和分类子网络,对特征图“res5”接着做全局平均池化池化(Global Average Pooling),得到2048维度的向量,然后经过1个全连接(FC)层(全连接层神经元参数数量为m),再分别经过1个全连接层得到分类任务的输出和位置检测任务的输出;其中,分类任务的输出经过SoftMax层得到的是染色体24+1个类别(含背景)的概率;位置检测任务的输出是用于回归的相对于锚点的矩形框坐标及大小信息;其中全连接层的神经元数m一般设置为2048;
[0071] c.对于外轮廓分割子网络,对特征图“res5”首先用转置卷积操作(卷积核尺寸为2x2,步长为2)将kxk大小的特征图卷积成2kx2k大小,特征通道数为C2;再利用一个普通卷积操作(卷积核为1x1)得到特征通道数为24的卷积结果,针对每个特征通道应用Sigmoid激活函数即可得到24个类别的外轮廓分割结果;其中,k一般设置为7,特征通道数C2一般设置为256。
[0072] 本发明工序简洁、合理,可向外大规模推广应用,部署简单,方案切实可行。
[0073] 作为优选技术措施:
[0074] 对每个局部特征做尺度归一化处理:
[0075] 采用RoIAlign(感兴趣区域对齐)操作将不同大小的特征图通过不量化(Quantization)直接池化(Pooling)成固定尺寸kxk大小的特征图(k一般取7);其具体的做法是,
[0076] 首先,将预测的候选区域矩形框(坐标(x,y),大小(h,w))在映射到特征图大小时(以(x/16,y/16)为例)时候不采用取整操作,而是保留小数并且采用双线性插值(bilinearinterpolation)方法求出特征图上该实数坐标(x/16,y/16)的特征值;
[0077] 得到该局部特征图(大小为(h/16,w/16))后,需要进一步池化成kxk大小的特征图;
[0078] 这一步需要划分k*k个子区域(bin),每个子区域对应的大小为((h/16)/k,(w/16)/k);
[0079] 对每个子区域进行池化操作(最大池化或者平均池化)即可抽取出1个对应的特征值;最终获得的k*k个特征值即为RoIAlign的结果。
[0080] 本发明工序简洁、合理,可向外大规模推广应用,部署简单,方案切实可行。
[0081] 作为优选技术措施:
[0082] 所述S5,1)其中,第一阶段候选区域提名网络RPN以及第二阶段的检测、分类子网络头都是采用分类损失函数与位置回归损失函数所组成的联合损失函数;其定义的表达式如下:
[0083]
[0084] 其中,i是某个锚点的编号,pi是该锚点对应的候选矩形区域的预测概率, 是第i个锚点的真值, 则该锚点确实对应一个染色体, 则该锚点对应背景;ti是一个代表了4个参数化的候选矩形框的位置和大小, 代表的是该锚点确实对应染色体时矩形框的真实位置和大小;该损失函数中Ncls和Nreg分别对应参与分类损失和回归损失的锚点的数目,分别用于归一化分类损失函数和回归损失函数;λ是平衡这两个损失函数的权重;这里一般设置参数的大小如下:Ncls=256,Nreg=2400,λ=10;
[0085] 用于分类的Lcls损失函数是基于二分类的交叉熵的函数,其定义的表达式如下:
[0086]
[0087] 用于回归矩形框坐标和大小的Lreg损失函数是基于Smooth-L1的函数,该函数仅仅在当前 时有效,即只针对包含染色体对象的锚点进行坐标和大小的回归;其损失函数定义的表达式如下:
[0088]
[0089] 其对应的Smooth-L1函数的数学表达式如下:
[0090]
[0091] 对于参数化编码的候选矩形框的位置,其数学表达式如下:
[0092]
[0093]
[0094]
[0095]
[0096] 其中,x,y,w,和h是预测的候选矩形框的坐标及大小(宽、高),而下标a,上标*分别对应锚点和真值的矩形框坐标和大小;整个染色体候选矩形框的预测过程能够看作是将锚点的矩形框向真实包含染色体的矩形框回归的过程;
[0097] 2)第二阶段中预测候选框ROI中具体包含的是哪一类别的染色体所用到的损失函数是24类别的交叉熵损失函数,其定义的数学表达式如下:
[0098]
[0099] 其中,exp(x)为exponential的缩写,即为指数函数ex;
[0100] x为分类头网络输出的结果向量,Ncls为需要预测的分类总类别数;对于染色体的类型分类,x维度为24维,Ncls=24;j为计数下标,用于累加x向量中每个元素x[j];
[0101] t为真实的金标准标签,对于类别分类,其值在0-23之间,代表1号染色体至Y染色体;整个函数是对概率值取了负对数,便于求解其最小值;对数中的分式解释意义,以类别预测为例:预测的所有类别结果x[j],j=1,2,...,24中,金标准标签t对应的类别的概率;
[0102] 3)第二阶段中预测外轮廓Mask中所用到的损失函数是逐像素的二分类交叉熵函数;其数学表达式为与1)中介绍的二分类交叉熵函数一致;在计算该损失函数时,针对每个候选矩形框,对输出的24个预测Mask图中只选取对应类别的Mask图进行计算,忽略其他无关类别的Mask,这样能够有效避免不同类别间重叠区域的归属问题。
[0103] 本发明工序简洁、合理,可向外大规模推广应用,部署简单,方案切实可行。
[0104] 作为优选技术措施:
[0105] 还包括第五步,对染色体识别结果建立评价系统,
[0106] 评价指标选取为:准确率accuracy,敏感度sensitivity与特异度specificity,精确度precision与召回率recall,以及F1指数;假设分类目标只有两类,计为正例positive和负例negtive分别是:
[0107] 1)TP:被正确地划分为正例的个数,即实际为正例且被深度学习模型划分为正例的实例数;
[0108] 2)FP:被错误地划分为正例的个数,即实际为负例但被深度学习模型划分为正例的实例数;
[0109] 3)FN:被错误地划分为负例的个数,即实际为正例但被深度学习模型划分为负例的实例数
[0110] 4)TN:被正确地划分为负例的个数,即实际为负例且被深度学习模型划分为负例的实例数;
[0111] 针对每个被检测出来的染色体(包括最小包围矩形框的坐标、大小;该染色体的外轮廓),求取矩形框中被分割为染色体的部分与真实染色体标记的重叠情况;对于每个像素而言,这个计算就是判断该矩形框中每个像素的归属情况,要么属于前景(染色体),要么属于背景;若都能正确划分,则染色体就能被正确地分割出来;因此针对矩形框中每个像素点,统计如上所述的4个指标TP,FP,FN和TN,并计算如下的5个指标:
[0112]
[0113]
[0114]
[0115]
[0116]
[0117]
[0118] 这5个评价指标的范围是0-1之间;分数越高,代表分类效果越好。
[0119] 建立合理的指标评价系统,能够及时了解本发明的识别效果,进而能够及时对发明进行改进。
[0120] 与现有技术相比,本发明具有以下有益效果:
[0121] 本发明染色体图像切割主要基于连通域分割和骨架提取的方式进行分割,通过连通域分析提取独立的单条染色体后,剩下的交叉染色体进行骨架提取和骨架分析寻找可能的分割点,通过分割点实现交叉染色体的分割;改变了以往直接对预处理过的图像进行分割,分割效果清晰,最大程度上减少了分割带来的误差,工序简洁、合理,可向外大规模推广应用,部署简单。

具体实施方式

[0122] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
[0123] 相反,本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步,为了使公众对本发明有更好的了解,在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也能够完全理解本发明。
[0124] 一种染色体核型图像切割方法,主要基于连通域分割和骨架提取的方式进行分割,通过连通域分析提取独立的单条染色体后,剩下的交叉染色体进行骨架提取和骨架分析寻找可能的分割点,通过分割点实现交叉染色体的分割;
[0125] 其包括以下情形:
[0126] (1)单条染色体与交叉染色体的分离;计算出平均染色体面积与单条染色体最大面积,然后通过对染色体前景部分进行连通域分析,提取出各个连通域的图像,进行闭操作与中值滤波后分析骨架,根据骨架的不同将该连通域分别归类为单条染色体与交叉染色体;
[0127] (2)粘连交叉染色体的分割;对于交叉染色体再进行连通域分析,通过骨架分析操作寻找切割点进行切割,切割出的染色体放入单条染色体类别中,其他染色体等待进一步自动切割;
[0128] (3)交叉染色体的进一步切割;对于剩余的交叉染色体,利用分离重叠染色体的方法进行进一步切割,然后对结果进行保存。
[0129] 本发明染色体图像切割主要基于连通域分割和骨架提取的方式进行分割,通过连通域分析提取独立的单条染色体后,剩下的交叉染色体进行骨架提取和骨架分析寻找可能的分割点,通过分割点实现交叉染色体的分割;改变了以往直接对预处理过的图像进行分割,分割效果清晰,最大程度上减少了分割带来的误差,工序简洁、合理,可向外大规模推广应用,部署简单。
[0130] 连通域分割主要是连通区域标记,通过对二值图像中白色像素的标记,让每个单独的连通区域形成一个被标识的块,进一步的能够获取这些块几何参数;所述几何参数为块的轮廓或外接矩形或质心或不变矩;
[0131] 骨架提取,即二值图像细化,将一个连通区域细化成一个像素的宽度,用于特征提取和目标拓扑表示。
[0132] 本发明切割方法具体实施例:
[0133] 切割方法包括以下步骤:
[0134] 第一步,采集已经染色的染色体图像;
[0135] 第二步,对染色体图像中包含染色体感兴趣区域(ROI)进行定位;确保图片中至少含有所需分割的全部染色体对象(ROI);
[0136] 第三步,对染色体进行基本的图像处理;
[0137] a)将非染色体的对象,用基本的形态学操作图像处理算法进行去除,获得尽可能只包括染色体的图像;
[0138] b)图像的灰度、对比度采用直方图归一化图像处理手段进行增强,染色体内部的条带清晰可辨;
[0139] 背景色能够采用白色,其背景区域的灰度值在255;本领域技术人员可根据实际需要,选择其他背景色;
[0140] c)训练深度网络前,对图像进行旋转、翻转,进行数据增强操作以扩充样本;
[0141] 对所有输入图像进行归一化处理,使得图像输入尽可能标准一致,网络训练更容易收敛;
[0142] 第四步,建立两阶段深度学习模型;
[0143] 第一阶段,完成染色体对象的定位检测(Object Detection)以及染色体对象的外轮廓分割(Mask Segmentation)任务,将图像中的每个疑似染色体的候选区域比较“粗”地提取出来;
[0144] 第二阶段,对所提取的候选区域进行染色体坐标定位、外轮廓分割、以及染色体类别预测。
[0145] 由于染色体图像的质量与样本的染色质量有关,同时受光照影响严重,图像中存在较多杂质,对比度较差,且染色体内明暗相间的带纹使得目标内部灰度分布不均匀。因此必须对染色体图像进行预处理,为后期分析处理做准备。
[0146] 本发明的形态学操作,主要目的是减少图像由于染色体带纹引起的目标内部灰度差异;直方图归一处理,用于改善图像的灰度分布。
[0147] 本发明通过交替训练阶段一和阶段二的方式,解决网络训练过程中正负样本不平衡的问题,使得模型能够快速收敛;除外,二阶段的模型设计能够使得网络以端到端(end-to-end)的方式,从而快速确定图像的目标区域,得到输入图像中所有染色体的分割结果,提高了模型的分割效率。
[0148] 本发明改变了以往直接对预处理过的图像进行分割,分割效果清晰,最大程度上减少了分割带来的误差,工序简洁、合理,可向外大规模推广应用,部署简单。
[0149] 本发明第二步一种具体实施例:
[0150] 所述第二步,包括以下步骤:
[0151] 该步骤是为了保证输入进深度学习模型的图片中确实是包括了1个细胞完整的46条(健康情况)中期染色体;即图片中至少含有所需分割的全部染色体对象(ROI);
[0152] 图像预处理算法如下:
[0153] a)直方图统计,找到最大值,找到下降梯度大于0.99的值,两者相减即可使用阈值去除背景;定义k表示图像的灰度级数,直方图各个灰度级出现的次数为nk,则直方图相邻灰度级间的梯度可定义为:
[0154]
[0155] 求出Gi>0.99时i的最大值T0
[0156] 则分割图像的目标阈值:
[0157] T=k-1-2×T0
[0158] b)对染色体进行边缘处理,外围轮廓区域均值小于染色体均值的2/3即为可删除边缘;
[0159] c)直方图匹配,对染色体同时做直方图匹配,使染色体的明暗程度统一到一个固定的区间,同时增强条带信息;
[0160] 人工对预处理后的中期分裂相图像进行人工标记,标记图像中感兴趣的染色体区域。
[0161] 本发明第四步一种具体实施例:
[0162] 所述第四步,具体包括以下步骤:
[0163] S1,建立模型结构:主干网络模型框架基于MaskR-CNN网络结构,能够解决实例分割(Instance Segmentation)的问题,即同时完成染色体对象的定位检测(Object Detection)以及染色体对象的外轮廓分割(MaskSegmentation)任务;
[0164] S2,通过类似FasterR-CNN框架的两阶段(two-stage)策略,网络模型主要由两个阶段组成:第一个阶段是候选区域提名模块(RegionProposal),目的是将图像中的每个疑似染色体的候选区域比较“粗”地提取出来;
[0165] 第二个阶段是对候选区域分别进行定位(Detection)、分割(Segmentation)、以及分类(Classification)任务;该阶段采用了三个独立且并行的子网络,目的是同时对阶段一所提取的候选区域进行染色体坐标定位、外轮廓分割、以及染色体类别预测;
[0166] 本发明通过交替训练阶段一和阶段二的方式,能够解决网络训练过程中正负样本不平衡的问题,使得模型能够快速收敛;除外,二阶段的模型设计能够使得网络以端到端(end-to-end)的方式,只通过卷积层和全连接层等网络层即可得到输入图像中所有染色体的分割结果,提高了模型的预测效率;本模型的第一阶段的预测深度为:hs层,本模型的第二阶段的预测深度为:hs2层。
[0167] S3,模型第一阶段候选区域提名网络(RegionProposalNetwork)采用的是基于ResNet的骨架结构,利用ResNet优秀的特征抽取能力,为预测候选区域的坐标和类别提供支撑;
[0168] ResNet通过使用残差学习ResidualLeaming的方式,极大地提高模型抽取特征的有效性,而且能够在避免过拟合训练样本集的情况下,构建深层次的网络,提高模型的准确率;在最后卷积得到的特征图上,采用两路卷积分别输出候选区域的坐标位置信息与二分类类别信息;其中,坐标位置信息是采用基于“锚点”(Anchor)的预测方法,即在染色体图像上选定若干个锚点,预测的位置坐标指的是相对于这些锚点的位置偏移量;若需要得到每个候选区域矩形框在整幅图像内的全局坐标,则能够根据预先确定的锚点的全局坐标加上预测的偏移量即可;
[0169] S4,模型第二阶段检测、分类、分割并行模块采用的是3个独立的子网络头(Head)来分别处理来自第一阶段的各个候选区域,并针对每个候选区域给出其中包含的染色体的精确坐标信息、类别信息、以及外轮廓分割信息;
[0170] S5,训练该模型的损失函数(LossFunction)按照第一阶段和第二阶段的任务分别能够总结为分类损失函数(交叉熵Cross-Entropy函数)、位置回归损失函数(缓和的L1范数Smooth-L1函数)、以及分割损失函数(交叉熵Cross-Entropy函数);
[0171] 深度学习模型的训练,使用随机梯度下降(SGD)优化器进行模型训练,学习率设置为0.02,每经过10000次迭代就减少为十分之一,SGD的权重衰减系数设置为0.0001,动量Momentum设置为0.9;总迭代次数为100000次,批量训练的样本大小(Batchsize)设置为4。
[0172] 本发明S3一种具体实施例:
[0173] 所述S3,第一阶段模型的输入为:经过权利要求1所述的前三步骤处理好的染色体图像;
[0174] 该第一阶段模型的输出有3个:
[0175] 1)经过ResNet多层卷积操作得到的特征图;
[0176] 2)基于特征图上每个像素点卷积得到的染色体候选区域的坐标位置(矩形框的4个位置信息,即矩形框左上顶点的位置x,y和矩形框的宽w和高h);
[0177] 3)基于特征图上每个像素点卷积得到的候选区域的二分类类别信息(判断候选矩形框内部是否为染色体,即给出该候选区域包含染色体的概率p);
[0178] 本模型的深度为:hs层。
[0179] 本发明S4一种具体实施例:
[0180] 所述S4,该阶段处理S3的输出时,主要经过如下几个部分:
[0181] 1)基于S3的输出,需要先按照候选区域矩形框进行非极大值抑制(Non-MaximumSuppresion),去除预测的矩形框重复、重叠情况;去除重叠情况时所使用的阈值(IoU)设置为th_IoU,即若有两个矩形框之间重叠区域占2个总矩形框面积的比例(IoU)高于th_IoU时,则认为这两个矩形框对应于同一个预测区域,将只保留其中第一个候选矩形框,去除剩下的一个矩形框;该NMS步骤将对S3输出的所有候选区域进行遍历,去除其中重叠的矩形框;
[0182] 2)针对剩下来的非重叠的候选矩形框,按照其对应的预测包含染色体的概率p由高到低进行排序,挑选前m个置信度较高的候选区域作为实际有效的候选区域;这里设置的有效候选区域数量为m,m一般取1000;
[0183] 3)根据有效的候选区域的坐标信息,在S3步骤输出的特征图上对应位置抽取固定大小的局部特征图,即为专门对应于该候选区域的局部特征;由于第二阶段各个子网络头模型需要固定尺寸的输入特征(例如7x7大小),然而每个预测得到的候选区域矩形框大小不一,使得截取出来的局部特征的大小也不一致,因此需要对每个局部特征做尺度归一化处理。
[0184] 4)构建3个独立的子网络头模型:
[0185] a.检测、分类、分割子网络共用相同的特征;为了获取该公用特征,在获得步骤3的输出特征图(k*k大小,特征通道数为C)后,将其输入至一个ResNet-50模型,并将该ResNet网络的第九层(名为“res5”)特征取出作为共用的特征向量;
[0186] b.对于检测和分类子网络,对特征图“res5”接着做全局平均池化池化(Global Average Pooling),得到2048维度的向量,然后经过1个全连接(FC)层(全连接层神经元参数数量为m),再分别经过1个全连接层得到分类任务的输出和位置检测任务的输出;其中,分类任务的输出经过SoftMax层得到的是染色体24+1个类别(含背景)的概率;位置检测任务的输出是用于回归的相对于锚点的矩形框坐标及大小信息;其中全连接层的神经元数m一般设置为2048;
[0187] c.对于外轮廓分割子网络,对特征图“res5”首先用转置卷积操作(卷积核尺寸为2x2,步长为2)将kxk大小的特征图卷积成2kx2k大小,特征通道数为C2;再利用一个普通卷积操作(卷积核为1x1)得到特征通道数为24的卷积结果,针对每个特征通道应用Sigmoid激活函数即可得到24个类别的外轮廓分割结果;其中,k一般设置为7,特征通道数C2一般设置为256。
[0188] 本发明归一化处理一种具体实施例:
[0189] 对每个局部特征做尺度归一化处理:
[0190] 采用RoIAlign(感兴趣区域对齐)操作将不同大小的特征图通过不量化(Quantization)直接池化(Pooling)成固定尺寸kxk大小的特征图(k一般取7);其具体的做法是,
[0191] 首先,将预测的候选区域矩形框(坐标(x,y),大小(h,w))在映射到特征图大小时(以(x/16,y/16)为例)时候不采用取整操作,而是保留小数并且采用双线性插值(bilinearinterpolation)方法求出特征图上该实数坐标(x/16,y/16)的特征值;
[0192] 得到该局部特征图(大小为(h/16,w/16))后,需要进一步池化成kxk大小的特征图;
[0193] 这一步需要划分k*k个子区域(bin),每个子区域对应的大小为((h/16)/k,(w/16)/k);
[0194] 对每个子区域进行池化操作(最大池化或者平均池化)即可抽取出1个对应的特征值;最终获得的k*k个特征值即为RoIAlign的结果。
[0195] 本发明S5一种具体实施例:
[0196] 所述S5,1)其中,第一阶段候选区域提名网络RPN以及第二阶段的检测、分类子网络头都是采用分类损失函数与位置回归损失函数所组成的联合损失函数;其定义的表达式如下:
[0197]
[0198] 其中,i是某个锚点的编号,pi是该锚点对应的候选矩形区域的预测概率, 是第i个锚点的真值, 则该锚点确实对应一个染色体, 则该锚点对应背景;ti是一个代表了4个参数化的候选矩形框的位置和大小, 代表的是该锚点确实对应染色体时矩形框的真实位置和大小;该损失函数中Ncls和Nreg分别对应参与分类损失和回归损失的锚点的数目,分别用于归一化分类损失函数和回归损失函数;λ是平衡这两个损失函数的权重;这里一般设置参数的大小如下:Ncls=256,Nreg=2400,λ=10;
[0199] 用于分类的Lcls损失函数是基于二分类的交叉熵的函数,其定义的表达式如下:
[0200]
[0201] 用于回归矩形框坐标和大小的Lreg损失函数是基于Smooth-L1的函数,该函数仅仅在当前 时有效,即只针对包含染色体对象的锚点进行坐标和大小的回归;其损失函数定义的表达式如下:
[0202]
[0203] 其对应的Smooth-L1函数的数学表达式如下:
[0204]
[0205] 对于参数化编码的候选矩形框的位置,其数学表达式如下:
[0206]
[0207]
[0208]
[0209]
[0210] 其中,x,y,w,和h是预测的候选矩形框的坐标及大小(宽、高),而下标a,上标*分别对应锚点和真值的矩形框坐标和大小;整个染色体候选矩形框的预测过程能够看作是将锚点的矩形框向真实包含染色体的矩形框回归的过程;
[0211] 2)第二阶段中预测候选框ROI中具体包含的是哪一类别的染色体所用到的损失函数是24类别的交叉熵损失函数,其定义的数学表达式如下:
[0212]
[0213] 其中,exp(x)为exponential的缩写,即为指数函数ex;
[0214] x为分类头网络输出的结果向量,Ncls为需要预测的分类总类别数;对于染色体的类型分类,x维度为24维,Ncls=24;j为计数下标,用于累加x向量中每个元素x[j];
[0215] t为真实的金标准标签,对于类别分类,其值在0-23之间,代表1号染色体至Y染色体;整个函数是对概率值取了负对数,便于求解其最小值;对数中的分式解释意义,以类别预测为例:预测的所有类别结果x[j],j=1,2,...,24中,金标准标签t对应的类别的概率;
[0216] 3)第二阶段中预测外轮廓Mask中所用到的损失函数是逐像素的二分类交叉熵函数;其数学表达式为与1)中介绍的二分类交叉熵函数一致;在计算该损失函数时,针对每个候选矩形框,对输出的24个预测Mask图中只选取对应类别的Mask图进行计算,忽略其他无关类别的Mask,这样能够有效避免不同类别间重叠区域的归属问题。
[0217] 本发明增加评价系统一种具体实施例:
[0218] 还包括第五步,对染色体识别结果建立评价系统,
[0219] 评价指标选取为:准确率accuracy,敏感度sensitivity与特异度specificity,精确度precision与召回率recall,以及F1指数;假设分类目标只有两类,计为正例positive和负例negtive分别是:
[0220] 1)TP:被正确地划分为正例的个数,即实际为正例且被深度学习模型划分为正例的实例数;
[0221] 2)FP:被错误地划分为正例的个数,即实际为负例但被深度学习模型划分为正例的实例数;
[0222] 3)FN:被错误地划分为负例的个数,即实际为正例但被深度学习模型划分为负例的实例数
[0223] 4)TN:被正确地划分为负例的个数,即实际为负例且被深度学习模型划分为负例的实例数;
[0224] 针对每个被检测出来的染色体(包括最小包围矩形框的坐标、大小;该染色体的外轮廓),求取矩形框中被分割为染色体的部分与真实染色体标记的重叠情况;对于每个像素而言,这个计算就是判断该矩形框中每个像素的归属情况,要么属于前景(染色体),要么属于背景;若都能正确划分,则染色体就能被正确地分割出来;因此针对矩形框中每个像素点,统计如上所述的4个指标TP,FP,FN和TN,并计算如下的5个指标:
[0225]
[0226]
[0227]
[0228]
[0229]
[0230]
[0231] 这5个评价指标的范围是0-1之间;分数越高,代表分类效果越好。
[0232] 以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈