技术领域
[0001] 本
发明涉及CNN及图像分类识别技术领域，尤其涉及基于CNN和影像组学特征融合的乳腺癌组织病理学分级方法。
背景技术
[0002] 乳腺癌作为女性常见的癌症，是第二个最容易引起女性死亡的
疾病。全球乳腺癌发病率自20世纪70年代末开始一直呈上升趋势，而因乳腺癌死亡的病人不在少数。乳腺钼靶X线摄影检查技术是目前判别乳腺疾病的首选和最简便、最可靠的无创性检测手段，并且
分辨率高，有助于早期发现乳腺癌。
[0003] 近年来，随着
大数据和
高性能计算的发展，CNN(
卷积神经网络)在
计算机视觉领域取得了显著性的成绩，在自然图像分类上的识别率已超过人类识别
水平。CNN通过多层卷积和
池化提取图像特征，然后通过反向传播
算法进行参数更新，改变了以往人工设计特征受人们经验的局限性。
[0004] 乳腺癌的组织病理学分级(SBR分级)主要是通过癌细胞有丝分裂的指数、乳腺腺管的差异以及癌细胞核的异型性三个方面的图像形态学特性联合进行评估，乳腺癌的组织病理学分级和患者的
预后具有重要的关系，在同一临床分期内，患者的5年生存率随着组织病理学分级的提高而下降。而对乳腺癌SBR分级进行判别主要是通过在
显微镜下观察患者病理切片的癌细胞分化情况，目前医生尚不能直接从常规的钼靶图像进行分级判别。
发明内容
[0005] 针对上述问题，本发明提出了基于CNN和影像组学特征融合的乳腺癌组织病理学分级方法，可以通过直接对患者的乳腺钼靶图像进行分析，通过将人工设计的影像组学特征和CNN自动提取的图像高层语义特征在新添加的全连接层上进行特征融合，训练特征融合后的CNN模型从而得出患者所处的乳腺癌组织病理学等级，为进一步的疾病判别和预后分析提供依据。
[0006] 为了实现上述目的，本发明采用以下技术方案：
[0007] 基于CNN和影像组学特征融合的乳腺癌组织病理学分级方法，包括以下步骤：
[0008] 步骤1：对乳腺钼靶图像
肿瘤区域进行提取，在提取的钼靶肿瘤区域上进行灰度、纹理和小波特征的计算，通过上述计算共提取180维影像组学
特征向量；将提取的乳腺钼靶图像肿瘤区域制作成相同大小的乳腺肿瘤区域钼靶图像样本，将图像样本划分为训练集、验证集和测试集；
[0009] 步骤2：对提取的180维影像组学特征向量，采用LASSO logistic回归模型进行特征筛选，利用筛选后的影像组学特征以进行特征融合；
[0010] 步骤3：采用预训练的CNN模型进行迁移学习，训练CNN分级模型，在CNN分级模型的原有
基础上添加新的全连接层，在新的全连接层上将CNN分级模型全连接层之前的输出和筛选后的影像组学特征进行特征融合，并在CNN分级模型参数的基础上进行再训练，更新融合后的CNN分级模型参数，根据模型在验证集上的分级效果对融合后的CNN分级模型参数进行调整，得到特征融合的CNN模型，用于对乳腺钼靶图像进行乳腺癌组织病理学分级。
[0011] 进一步地，在所述步骤3之后还包括：利用测试集对得到特征融合的CNN模型验证模型分级准确率。
[0012] 进一步地，所述步骤1包括：
[0013] 步骤1.1：对乳腺钼靶图像肿瘤区域进行ROI提取，得到ROI图像，计算ROI图像的14个灰度特征、22个纹理特征和144个小波特征，共提取180维影像组学特征向量；
[0014] 步骤1.2：通过数据增强方法扩充ROI图像的规模；
[0015] 步骤1.3：将数据规模扩充后的ROI图像统一缩放到相同大小以适应CNN模型的输入要求。
[0016] 进一步地，所述步骤3包括：步骤3.1：将训练集中乳腺肿瘤区域钼靶图像样本作为CNN模型的输入，在ImageNet自然图像数据集上预训练的CNN模型上进行迁移学习，训练CNN分级模型；
步骤3.2：在CNN分级模型的原有基础上添加一个新的全连接层，在新的全连接层上将CNN分级模型全连接层之前的乳腺肿瘤区域钼靶图像高层语义特征输出与采用LASSO logistic回归模型筛选的影像组学特征进行特征融合，并在CNN分级模型参数的基础上进行再训练，更新融合后的CNN分级模型参数，根据模型在验证集上的分级效果对融合后的CNN分级模型参数进行调整，得到特征融合的CNN模型。
[0017] 与
现有技术相比，本发明具有的有益效果：本发明提出通过构建特征融合的CNN模型判断钼靶影像的乳腺癌组织病理学等级，利用钼靶肿瘤区域提取的灰度特征、纹理特征和小波特征，通过LASSO logistic回归模型进行特征筛选，选出与乳腺癌组织病理学等级相关性大的特征，再通过将CNN提取的高层语义特征和筛选出的影像组学特征在网络新添加的全连接层进行特征融合，而拟合得到特征融合的CNN模型用来识别乳腺癌组织病理学等级。本发明能够直接对患者扫描的乳腺钼靶图像进行分析判断患者所处的乳腺癌组织病理学等级，在保证判别
精度的同时进一步缩短了判别时间。
附图说明
[0018] 图1为本发明
实施例的基于CNN和影像组学特征融合的乳腺癌组织病理学分级方法的基本
流程图。
[0019] 图2为本发明另一实施例的基于CNN和影像组学特征融合的乳腺癌组织病理学分级方法的基本流程图。
[0020] 图3为本发明实施例的基于CNN和影像组学特征融合的乳腺癌组织病理学分级方法的不同投照体位的钼靶图像。
具体实施方式
[0021] 下面结合附图和具体的实施例对本发明做进一步的解释说明：
[0022] 实施例一：
[0023] 如图1所示，本发明的一种基于CNN和影像组学特征融合的乳腺癌组织病理学分级方法，包括以下步骤：
[0024] 步骤S101：对乳腺钼靶图像肿瘤区域进行提取，在提取的钼靶肿瘤区域上进行灰度、纹理和小波特征的计算，通过上述计算共提取180维影像组学特征向量；将提取的乳腺钼靶图像肿瘤区域制作成相同大小的乳腺肿瘤区域钼靶图像样本，将图像样本划分为训练集、验证集和测试集。
[0025] 步骤S102：对提取的180维影像组学特征向量，采用LASSO logistic回归模型进行特征筛选，利用筛选后的影像组学特征以进行特征融合。
[0026] 步骤S103：采用预训练的CNN模型进行迁移学习，训练CNN分级模型，在CNN分级模型的原有基础上添加新的全连接层，在新的全连接层上将CNN分级模型全连接层之前的输出和筛选后的影像组学特征进行特征融合，并在CNN分级模型参数的基础上进行再训练，得到融合后的CNN模型，根据模型在验证集上的分级效果对融合后的CNN分级模型参数进行调整，得到特征融合的CNN模型，用于对乳腺钼靶图像进行乳腺癌组织病理学分级。
[0027] 实施例二：
[0028] 如图2所示，本发明的另一种基于CNN和影像组学特征融合的乳腺癌组织病理学分级方法，包括以下步骤：
[0029] 步骤S201：对乳腺钼靶图像肿瘤区域进行提取，在提取的钼靶肿瘤区域上进行灰度、纹理和小波特征的计算，通过上述计算共提取180维影像组学特征向量；将提取的乳腺钼靶图像肿瘤区域制作成相同大小的乳腺肿瘤区域钼靶图像样本，将图像样本划分为训练集、验证集和测试集。
[0030] 所述步骤S201包括：
[0031] 步骤S2011：对乳腺钼靶图像肿瘤区域进行ROI提取，得到ROI图像，计算ROI图像的14个灰度特征、22个纹理特征和144个小波特征，共提取180维影像组学特征向量；
[0032] 所述灰度特征为灰度最大值、最小值、均值、中值、方差、峰态、
能量、熵、绝对方差均值、歪斜度、标准差、均匀度、灰度值域、均方根共14个特征(参见Aerts H J W L,Velazquez E R,Leijenaar R T H,et al.Decoding tumour phenotype by noninvasive imaging using a quantitative radiomics approach[J].Nature communications,2014,5:4006)；
[0033] 所述纹理特征为基于灰度共生矩阵衍生出的9维特征，即能量、
对比度、熵、同质性、相关性、方差、和平均、差异性、自相关(参见Weszka J S,Dyer C R,Rosenfeld A.A comparative study of texture measures for terrain classification[J].IEEE transactions on Systems,Man,and Cybernetics,1976(4):269-285)和基于灰度游程矩阵衍生出的13维特征，即Short Run Emphasis、Long Run Emphasis、Gray-Level Nonuniformity、Run-Length Nonuniformity、Run Percentage、Low Gray-Level Run Emphasis、High Gray-Level Run Emphasis、Short Run Low Gray-Level Emphasis、Short Run High Gray-Level Emphasis、Long Run Low Gray-Level Emphasis、Long Run High Gray-Level Emphasis、Gray-Level Variance、Run-Length Variance(参见Galloway M M.Texture analysis using grey level run lengths[J].NASA STI/Recon Technical Report N,1974,75；Chu A,Sehgal C M,Greenleaf J F.Use of gray value distribution of run lengths for texture analysis[J].Pattern Recognition Letters,1990,11(6):415-419)的共22维特征；
[0034] 所述小波特征为在4个小波分量上分别计算灰度特征和纹理特征，共144个特征。
[0035] 步骤S2012：通过数据增强方法扩充ROI图像的规模；作为一种可实施方式，可以通过随机平移、旋转、翻转以及多尺度缩放的数据增强方法扩充ROI图像的规模；
[0036] 步骤S2013：将数据规模扩充后的ROI图像统一缩放到相同大小以适应CNN模型的输入要求。
[0037] 步骤S202：对提取的180维影像组学特征向量，采用LASSO logistic回归模型进行特征筛选，选出与乳腺癌组织病理学等级相关性大的特征，利用筛选后的影像组学特征以进行特征融合。
[0038] LASSO回归是在最小二乘拟合的基础上加入L1正则化项来提高线性回归模型的精度，它的惩罚函数是回归系数的绝对值，这可使一些参数估计结果等于零，因此有助于特征选择。组织病理学分级是一个二元的分类问题，Logistic回归分析是二元分类或者一对多分类常用的广义线性模型，它将简单线性回归的响应归一化到0和1，因此可将LASSO回归模型中的线性回归替代为logistic回归来挑选二元分类的特征。LASSO logistic回归优化的目标函数如下：其中，n是样本的个数，Xi是一个m×n大小的原始数据，即每个样本有m个特征，yi是每个样本对应的响应值，ω是线性回归系数，b是线性回归的截断值，λ是用来控制回归系数稀疏度的非负正则化参数。将提取的影像组学特征输入LASSO logistic回归模型可以进行影像组学特征筛选。
[0039] 步骤S203：采用预训练的CNN模型进行迁移学习，训练CNN分级模型，在CNN分级模型的原有基础上添加新的全连接层，在新的全连接层上将CNN分级模型全连接层之前的输出和筛选后的影像组学特征进行特征融合，并在CNN分级模型参数的基础上进行再训练，更新融合后的CNN分级模型参数，根据模型在验证集上的分级效果对融合后的CNN分级模型参数进行调整，得到特征融合的CNN模型，用于对乳腺钼靶图像进行乳腺癌组织病理学分级。
[0040] 所述步骤S203包括：
[0041] 步骤S2031：将训练集中乳腺肿瘤区域钼靶图像样本作为CNN模型的输入，在ImageNet自然图像数据集上预训练的CNN模型上进行迁移学习，训练CNN分级模型；
[0042] 步骤S2032：在CNN分级模型的原有基础上添加一个新的全连接层，在新的全连接层上将CNN分级模型全连接层之前的乳腺肿瘤区域钼靶图像高层语义特征输出与采用LASSO logistic回归模型筛选的影像组学特征进行特征融合，并在CNN分级模型参数的基础上进行再训练，更新融合后的CNN分级模型参数，根据模型在验证集上的分级效果对融合后的CNN分级模型参数进行调整，得到特征融合的CNN模型。
[0043] 步骤S204：利用测试集对得到的特征融合的CNN模型验证模型分级准确率。
[0044] 作为一种可实施方式，使用的乳腺钼靶图像数据集共有204个病例，每个病例包含轴位(craniocaudal,CC)图像和侧斜位(mediolateral oblique,MLO)图像，如图3所示，图3中(a)部分为轴位钼靶图像，图3中(b)部分为测斜位钼靶图像。钼靶图像存储采用标准的DICOM格式，其分辨率(宽×高)有3328×4096和2560×3328两种。所有钼靶图像中的肿瘤区域都是经医院专业的放射科医生勾画，并且所有的病例都配有医院病理科的准确诊断结果以确定其病理学等级。通过对不同的乳腺癌钼靶影像组织病理学分级算法在收集的乳腺钼靶图像数据集进行试验，采用分类准确率和AUC值对分类性能进行定量评价，结果如表1所示。本发明实施例的基于CNN和影像组学特征融合的乳腺癌组织病理学分级方法相比GoogLeNet(参见Szegedy C,Liu W,Jia Y,et al.Going deeper with convolutions[C].IEEE Conference on Computer Vision and Pattern Recognition,2015:1-9)和传统的
随机森林分类器的分类效果有了显著提升，分类准确率达到0.7500，AUC值达到0.8051。表1乳腺癌钼靶影像病理学分级算法分类性能
分类算法 分类准确率 AUC
GoogLeNet 0.7031 0.7049
随机森林 0.6029 0.6618
特征融合算法 0.7500 0.8051
[0045] 以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
