技术领域
[0001] 本
发明涉及医疗领域，尤其涉及一种基于深度学习的
宫颈癌组织病理学图像分析方法及设备。
背景技术
[0002] 宫颈癌是常见的妇科
恶性肿瘤之一，就目前而言，宫颈癌组织病理学显微图像的
计算机辅助诊断研究主要集中于使用经典图像特征提取方法和
机器学习分类方法对宫颈组织病理学图片进行
图像分割和病理异常筛查，鲜有研究针对宫颈癌组织病理学图片的分化程度进行计算机辅助诊断研究。
[0003]
现有技术根据使用
计算机视觉方法对仅有单个宫颈癌细胞的组织病理学图像进行特征提取，然后使用传统机器学习方法对提取的特征进一步进行分类。如图1所示，该方法由上至下共包含五个步骤：
[0004] (1)数据预处理：将彩色组织病理学图像变成灰度图像，图像大小不变，进行图像增强，滤除噪声干扰，强化图像边缘信息。
[0005] (2)细胞图像分割：分别进行两次图像分割，以区别细胞和细胞核，转换为二值图像后，采用基于
阈值分割的
算法实现
[0006] (3)特征值提取：在对图像进行阈值处理的
基础上，采用8连通链码对细胞和细胞核进行形态学特征提取，提取的特征有周长、面积、圆度、矩形度、核质比等，之后对特征值进行标准化。
[0007] (4)机器学习方法(
人工神经网络或者
支持向量机)学习功能部分：在对细胞的特征值进行提取和标准化后，对所测得的标准特征值进行学习，训练分类器参数权值，使得反向误差e达到所要求的既定值。
[0008] (5)机器学习方法分类部分：此部分是系统最重要的部分，以前的各个部分都是此部分的准备，在经过一系列的参数学习后，已经学习得到了使得最终分类准确率较高的分类权值。最后能够对用于测试的细胞图像数据进行准确的分类。
[0009] 然而该方法只能选择噪声较小、清晰度高的单个细胞组织病理学图片进行处理，无法对完整组织病理学显微切片图像直接进行处理，需要人工对单个细胞图像进行提取；该方法选用了27个人工设计的形态学特征作为机器学习的输入值，这种方法可
迁移性差，容易在学习中产生过拟合现象；且只能单个细胞的细胞种类进行分类，无法全局地诊断病人的癌症分化程度，从而辅助判断病人的癌症病情。
发明内容
[0010] 本发明所要解决的技术问题是：针对现有技术存在的问题，本发明提供一种基于深度学习的宫颈癌组织病理学图像分析方法及设备，能够对一张拥有多细胞的组织病理学图片进行分类，通过对宫颈癌组织病理学图像分化程度的分类，可以判断癌症的恶性程度，从而帮助医生更好地制定医疗计划，对癌症进行及时有效的
治疗。
[0011] 本发明提供的一种基于深度学习的宫颈癌组织病理学图像分析方法，包括：
[0012] 步骤一，获取宫颈癌组织病理学图像，并为每张图像设置图像标签；
[0013] 步骤二，基于用于训练的图像对分类器进行训练，得到训练好的分类器，所述分类器包括两个
卷积神经网络和全连接层一，所述全连接层一的输入端连接所述两个卷积神经网络的输出端，对分类器进行训练的方法包括：基于用于训练的图像分别对两个卷积神经网络进行训练，得到训练好的两个卷积神经网络；固定训练好的两个卷积神经网络的参数，基于用于训练的图像对全连接层一进行训练，得到训练好的全连接层一；
[0014] 步骤三，将待测试的图像输入到训练好的分类器中，两个卷积神经网络分别从图像中提取出
特征向量，将输出的特征向量f1和f2拼接在一起输入到全连接层一，输出特征向量f3，分类结果由特征向量f3中数值最大的元素决定。
[0015] 进一步，分类器中的两个卷积神经网络的后面分别连接有全连接层二和全连接层三，此时全连接层一的输入端连接全连接层二和全连接层三的输出端，步骤二中在训练两个卷积神经网络的同时还对全连接层二和全连接层三进行训练。
[0016] 进一步，步骤一还包括：将每一张获取的图像xi分割成16张大小相等的子图zij，使用镜像边缘填充将子图填充成长和宽相等的图片z′ij，对于每一张图片z′ij，进行图片旋转0°、90°、180°和270°操作，以及
水平翻转、垂直翻转和通道翻转操作，i＝1，2，…，n，j＝1，
2...，16，n是图像总数。
[0017] 进一步，步骤二中对分类器的训练方法具体包括：分别设定两个卷积神经网络及全连接层二和全连接层三的超参数；导入从ImageNet上下载的模型参数到两个卷积神经网络中；导入用于训练的图像对两个卷积神经网络及全连接层二和全连接层三进行训练，得到训练好的两个卷积神经网络及全连接层二和全连接层三；重新设置两个卷积神经网络及全连接层二和全连接层三的超参数并固定；导入用于训练的图像对全连接层一进行训练，得到训练好的全连接层一。
[0018] 进一步，还包括步骤四，对分类器进行性能评估，评估指标包括准确率accuracy，精确率precision，召回率recall和F1测度，各指标的计算公式如下：
[0019]
[0020]
[0021]
[0022]
[0023] 其中，TP是被训练好的卷积神经网络预测为正的正样本的数量，FP是被训练好的卷积神经网络预测为正的负样本的数量，FN是被训练好的卷积神经网络预测为负的正样本的数量，TN是被训练好的卷积神经网络预测为负的负样本的数量。
[0024] 进一步，所述两个卷积神经网络分别为VGG16和Inception-V3。
[0025] 本发明另一方面提供的一种基于深度学习的宫颈癌组织病理学图像分析设备，包括：
[0026] 图像获取装置，用于获取宫颈癌组织病理学图像，并为每张图像设置图像标签；
[0027] 分类器训练装置，用于基于用于训练的图像对分类器进行训练，得到训练好的分类器，所述分类器包括两个卷积神经网络和全连接层一，所述全连接层一的输入端连接所述两个卷积神经网络的输出端，对分类器进行训练的方法包括：基于用于训练的图像分别对两个卷积神经网络进行训练，得到训练好的两个卷积神经网络；固定训练好的两个卷积神经网络的参数，基于用于训练的图像对全连接层一进行训练，得到训练好的全连接层一；
[0028] 分类结果输出装置，用于将待测试的图像输入到训练好的分类器中，两个卷积神经网络分别从图像中提取出特征向量，将输出的特征向量f1和f2拼接在一起输入到全连接层一，输出特征向量f3，分类结果由特征向量f3中数值最大的元素决定。
[0029] 进一步，分类器中的两个卷积神经网络的后面分别连接有全连接层二和全连接层三，此时全连接层一的输入端连接全连接层二和全连接层三的输出端，分类器训练装置在训练两个卷积神经网络的同时还对全连接层二和全连接层三进行训练。
[0030] 进一步，还包括分类器性能评估装置，用于对分类器进行性能评估，评估指标包括准确率accuracy，精确率precision，召回率recall和F1测度，各指标的计算公式如下：
[0031]
[0032]
[0033]
[0034]
[0035] 其中，TP是被训练好的卷积神经网络预测为正的正样本的数量，FP是被训练好的卷积神经网络预测为正的负样本的数量，FN是被训练好的卷积神经网络预测为负的正样本的数量，TN是被训练好的卷积神经网络预测为负的负样本的数量。
[0036] 本发明另一方面提供的一种计算机可读存储介质，其上存储有
计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的方法的步骤。
[0037] 与现有技术相比，本发明加强了宫颈癌组织病理学图片分类的智能程度，能够自动地对医生采集的原始的组织病理切片显微图片的分化程度进行分类识别，辅助医生进行诊断。
附图说明
[0038] 本发明将通过例子并参照附图的方式说明，其中：
[0039] 图1为现有技术中对宫颈癌组织病理学图像进行分类的方法
流程图；
[0040] 图2为本发明
实施例的图像数据增强示意图；
[0041] 图3为本发明实施例的宫颈癌组织病理学图像分析方法示意图；
[0042] 图4为本发明实施例训练的分类器的F1-测度的散点图；
[0043] 图5为本发明实施例成功分类的宫颈癌组织病理学图像。
具体实施方式
[0044] 本
说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
[0045] 本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
[0046] 本发明提供的基于深度学习的宫颈癌组织病理学图像分析方法的具体方案如下：
[0047] 一、样本数据获取与增强
[0048] 宫颈癌
组织切片拍摄的组织病理学显微图像均由中国医科大学病理科制备，记录肿瘤病理类型及分化程度、肿瘤大小。采用Leica BOND-MAXTM全自动免疫组织化学
染色剂(Leica公司)进行免疫组化染色。把AQP-1单克隆
抗体(abcam公司，上海)原液稀释1:300工作液，注入稀释开放
试剂瓶中。把VEGF多克隆抗体(abcam公司，上海)原液稀释为1:50工作液。之后利用
抗原修复液ER1修复20min。脱蜡、暴露抗原决定簇、孵育I抗、封闭、DAB
氧化显色、苏木素复染脱水等过程使用计算机全自动完成，随后进行人工封片。每张切片随机选取3个充满宫颈癌组织的高倍镜事业(×400)，由NIS-Elements F 3.2
图像采集软件进行图像采集。
[0049] 由于现有的宫颈癌的组织病理学显微图像数据量总共只有307张，容易产生过拟合，同时，宫颈癌的组织病理学显微图像具有旋转不变性，因此，我们可以使用旋转和镜像的方法对其进行数据增强，如图2所示。对于每一张样本图像xi，i＝1，2，...，n，n是一个样本集X中的图像总数，我们将其分割成16张大小相等的子图zij，j＝1，2...，16之后，使用镜像边缘填充将子图填充成长和宽相等的图片z′ij，对于每一张图片z′ij，我们进行两种数据增强操作，其一是对图片旋转0°、90°、180°、270°操作，其二是对图像进行水平翻转、垂直翻转、通道翻转操作，这样每一张子图z′ij可以生产16张增强后图片，图片标签仍为原样本图像xi的标签。每一张样本图像xi数据增强后得到256图片，原数据集大小为307，数据增强后数据集大小扩增至78592，在一个具体实施例中，用于训练的数据集大小为45824。本发明实施例中数据集扩增后结果见表1，AQP、HIF和VEGF代表三种不同的宫颈癌病理切片染色方式。在一些实施例中，可以用K-means分割方法或者Mask-RCNN对组织病理学图像进行预
像素级分割，从而去除图像中的无用信息。
[0050] 表1宫颈癌组织病理学显微图像数据集
[0051]
[0052]
[0053] 二、分类器训练
[0054] 基于用于训练的图像对分类器进行训练，得到训练好的分类器，所述分类器包括两个卷积神经网络和全连接层一，全连接层一的输入端连接两个卷积神经网络的输出端，全连接层即为普通的
深度神经网络(DNN)。对分类器进行训练的方法包括：基于用于训练的图像分别对两个卷积神经网络进行训练，得到训练好的两个卷积神经网络；固定训练好的两个卷积神经网络的参数，基于用于训练的图像对全连接层一进行训练，得到训练好的全连接层一。
[0055] 在本发明的实施例中，将经过数据增强后的图像分割成训练集、验证集和测试集，将训练集图片和对应经过二值化的样本标签(高、中、低分化程度)输入到分类器中进行训练，输出1×3的用于分类的特征向量：
[0056] yi＝[yi，1 yi，2 yi，3] (1)
[0057] 输出的特征向量的每一个元素对应输入图片可能处于高、中、低分化程度的概率值，最终输出为对应元素概率值最大的分化程度。
[0058] 在搭建卷积神经网络模型的过程中，可以采用迁移学习(Transfer Learning)的方法，迁移学习方法可以抑制过拟合现象，同时能提高小数据量条件训练下分类器的性能。本发明实施例通过导入其他预训练模型的参数实现迁移学习。
[0059] 在本发明的具体实施例中，选取了VGG16和Inception-V3两种卷积神经网络的模型，在其他实施例中，也可以选取其他类型的神经网络，如用深度残差神经网络(ResNet)代替传统的VGG卷积神经网络，提升模型复杂度，提高特征提取能
力。在训练前，本发明实施例先导入模型预训练的参数，预训练参数由ImageNet数据集预训练得到，预训练的参数通常在再次训练的过程中不能改变或者只能进行fine-tune，本发明实施例采用fine-tune的方法，对VGG16的后8层进行学习率为0.0001的fine-tune，对Inception-V3的后249层进行学习率为0.0001的fine-tune。
[0060] 优选地，为了使训练过程顺利进行，可以在每一个卷积神经网络模型后面加入全连接层，如图3所示。将卷积神经网络输出的特征图谱扁平化处理后即可输入其后的全连接层进行处理，扁平化处理的作用为将卷积神经网络提取的特征展开成为一个一维的特征向量。在一些实施例中，可以在卷积神经网络模型后面的全连接层之中插入批归一化层和Drop-out层来抑制梯度消失、梯度爆炸和过拟合问题，Drop-out率为0.5，最后全连接层输出到Softmax层进行分类，目标损失函数选择交叉熵函数，优化器使用的是AdamOptimizer，学习速率为0.0005，训练过程中选用的batch size(批的大小，即一次性输入图片的数量)为64，训练epochs(训练集中所有图片都被输入到神经网络训练的过程即为one epoch，可以理解为使用训练集中所有图片进行训练的次数)为80。最后，保存使验证集准确率最高的模型参数检查点，作为两个卷积神经网络的最后模型参数。
[0061] 对全连接层进行训练后，我们对原卷积神经网络模型进行Fine-tune操作，使用小的学习速率对预训练的参数进行训练。将VGG16,Inception-v3结构的卷积神经网络训练完成后，输出1×3的特征向量fVGG16，fInception-v3即为深度学习方法提取的特征向量，最后将这两个特征向量拼接在一起，再次输入一个新的全连接神经网络中，从而输出最终的分类结果，而在使用该新的全连接神经网络前，同样需要利用训练集图片对该全连接神经网络进行训练。
[0062] 具体地，本发明实施例对分类器进行训练的方法包括：
[0063] 分别设定训练卷积神经网络VGG16、Inception-V3和其后对应全连接层即全连接层二和全连接层三的超参数，超参数如表2所示。
[0064] 表2训练前设定的超参数
[0065]learning rate fine-tune learning rate epochs batch size drop-out rate
0.0005 0.0001 80 64 0.5
[0066] 导入从ImageNet上下载的模型参数到VGG16和Inception-V3模型中。
[0067] 导入用于训练的图像对VGG16和Inception-V3神经网络及全连接层二和全连接层三进行训练，得到训练好的两个卷积神经网络及全连接层二和全连接层三。
[0068] 训练结束后，重新设置两个卷积神经网络及全连接层二和全连接层三的超参数并固定，重新设置的超参数如表3所示。
[0069] 表3训练结束后重新设置的超参数
[0070]learning rate fine-tunelearning rate epochs batch size drop-out rate
0.0 0.000 80 64 0.5
[0071] 导入用于训练的图像对全连接层一进行训练，得到训练好的全连接层一。
[0072] 三、分类器测试
[0073] 将待测试的图像输入到训练好的分类器中，VGG16和Inception-V3卷积神经网络分别从图像中提取出特征向量，将输出的特征向量f1和f2拼接在一起输入到全连接层一进行进一步特征
降维，输出一个1×3的特征向量f3用于最后的分类，分类结果由特征向量f3中数值最大的元素决定。
[0074] 四、分类器性能评估
[0075] 机器学习领域中，对分类器性能的评估是一个重要的工作，而其评价指标往往有如下几点：准确率(accuracy)，精确率(precision)，召回率(recall)和F1-测度。其中，准确率是对于给定的测试数据集，分类器正确分类的样本数与总样本数之比，精确率反映了被分类器判定为正样本中真正为正样本的比重，召回率反映了被正确判定的正例(指分类正确的样本)占总共正样本的总量的比重，F1-测度则是综合考虑精确率与召回率的一个指标，四种指标的计算公式如下：
[0076]
[0077]
[0078]
[0079]
[0080] 其中，TP(True Positive)是被训练好的卷积神经网络预测为正的正样本的数量，FP(False Positive)是被训练好的卷积神经网络预测为正的负样本的数量，FN(False Negative)是被训练好的卷积神经网络预测为负的正样本的数量，TN(True Negative)是被训练好的卷积神经网络预测为负的负样本的数量。在本发明的多类别(本发明将宫颈癌分化分为高中低三个阶段，每个阶段视为一个类别)统计中，此时研究的类别的样本即为正样本，其他类别的样本均为负样本。
[0081] 本发明实施例的分类器性能评估结果如表4所示。由表4可知，最后对于低分化程度的宫颈癌组织病理学图片的分类准确率可以达到96.05％，中分化可以达到58.68％，高分化可以达到85.39％。
[0082] 表4分类器性能评估结果
[0083]
[0084] 图4为本发明实施例训练的分类器的F1-测度的散点图，F1-测度可以代表分类器的性能，F1-测度值越高，分类器的鲁棒性越强。
[0085] 图5展示了分类器成功分类的宫颈癌组织病理学图像，低分化程度的宫颈癌组织病理学图像的细胞形状十分不规则，细胞结构难以分辨，中分化程度图像中的细胞排列不规则，但是基本保留了细胞结构，高分化程度图像中的细胞排列整齐紧凑，形状相对饱满和规则。由于中分化程度的组织病理学图像的特征不够明显，特征居于低分化与高分化之间，所以易被混淆，分类准确率相较于其他两类低。
[0086] 本发明另一方面还提供了一种基于深度学习的宫颈癌组织病理学图像分析设备，包括图像获取装置、分类器训练装置和分类结果输出装置，优选地，还包括分类器性能评估装置，各装置与上述分析方法的步骤一一对应。
[0087] 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序指令相关的
硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读
存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
[0088] 本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
