技术领域
[0001] 本
发明涉及一种基于深度学习的前列腺癌自动检测和分类系统，属于
图像处理和医学技术领域。
背景技术
[0002] 前列腺癌是最常见的男性
恶性肿瘤，发病率为欧美国家男性恶性肿瘤的第一位，死亡率仅次于
肺癌占第二位。我国的前列腺发病率明显低于欧美国家，但是近年以来也有逐渐增加的趋势，尤其是在高龄人群。早期前列腺癌可以有效的得到
治疗和控制，早期前列腺癌的诊断能够有效的降低死亡率。因此，准确的诊断前列腺癌可以很大程度的提高前列腺癌在早期的发现率。
[0003] 核
磁共振成像(MRI)检查以非侵入式检查、扫描图像多样化、软组织结构清晰等优点成为前列腺癌诊断的一项重要方法。MRI成像包括T2加权成像(T2Weighted Imaging，T2WI)、弥散加权成像(Diffusion Weighted Imaging，DWI)、表面扩散系数图(Apparent Diffusion Coefficient，ADC)。其中T2WI图像提供了较为清晰的组织对比，DWI图像提供了组织中
水分子扩散受限程度，在DWI图像中b值为扩散敏感系数，是DWI中一个重要的参数。ADC图则是由不同b值的DWI图计算后处理获得。这三个序列的图像均能在一定程度反应前列腺癌病灶特征，对前列腺癌判别有着重要的意义。
[0004] 近年来，由于前列腺癌的发病率增加，MRI影像的数量也随之增加，MRI图像具有扫描序列多、结构复杂等特点，医生在诊断时需要结合多个序列图像进行诊断，这个过程耗时耗
力，而且诊断结果会因为医生经验水平的不同受到较大影响。基于
卷积神经网络(CNN)的深度学习方法在
计算机视觉领域已经获得了广泛的应用，可以实现高
精度的图像分类、
图像分割以及目标检测等任务。因此，结合CNN进行前列腺癌的检测和分类能够有效的减轻医生的工作负荷，极大的提升医生的工作效率。
[0005] 目前基于深度学习的前列腺癌诊断方法主要有两类，一类是将整个MRI影像送入一个CNN中获取整个MRI影像的良恶性二分类结果，这种做法仅实现了对病例的定性诊断没有精准
定位病灶
位置，同时还由于输入的冗余信息过多导致精度的不理想；另一类方法是利用encoder-decoder的CNN模型获取病灶的分割结果并直接通过是否分割出病灶实现病例的良恶性二分类，这种方式会存在
假阳性比率较高的
缺陷，同时也无法确认病灶分割结果是否满足病灶在前列腺的器官范围内。另外目前的一些诊断方法只利用到了T2WI图像，忽略了其它序列如ADC与DWI图像水分子扩散受限程度的特征，该特征对判别前列腺恶性肿瘤有着重要价值。因此有必要提出一种集合前列腺器官信息、病灶信息、病例分类于一体的多参数MRI前列腺癌自动检测和分类方法。
发明内容
[0006] 本发明的目的是：利用多参数MRI图像对前列腺癌的病灶区域进行自动检测和分类，以帮助医生精确快速的诊断前列腺癌并精准定位病灶区域。
[0007] 为了达到上述目的，本发明的技术方案是提供了一种基于深度学习前列腺癌自动检测和分类系统，其特征在于，包括基于深度学习的方法实现前列腺病灶区域自动检测的自动检测模
块以及利用
机器学习或者分类网络实现对于自动检测模块检测出的前列腺病灶区域进行自动分类的自动分类模块，其中：
[0008] 自动检测模块包括：
[0009]
数据采集单元，用于采集包含正常样本和病变样本的多参数MRI影像数据，多参数MRI影像数据包括T2WI图像、ADC图像和DWI图像；
[0010] 标注单元，用于针对多参数MRI图像的特点进行原始数据标注，利用标注在T2WI图像上的器官感兴趣区域和标注在ADC图像和DWI图像上的病灶感兴趣区域生成掩码图作为模型评价的金标准；
[0011] 影像
数据库，用于存储原始的多参数MRI影像数据和标注单元得到的标注结果；
[0012]
图像配准单元，用于将ADC图像和DWI图像配准到T2WI图像上，保证在T2WI图像上标注的器官金标准适配到ADC图像和DWI图像上；
[0013] 图像标准化单元，用于对多参数MRI影像数据做标准化处理；
[0014] 图像增强单元，增强多参数MRI影像数据，以解决数据样本
不平衡和数据样本不足的问题，保证癌变样本和正常样本的数据量平衡；
[0015] 前列腺器官分割模型，用于将前列腺器官区域从图像中分割出来，前列腺器官分割模型的输入为T2WI图像，输出维度选择前列腺的中央带、外周带和背景三个维度，选择encoder-decoder结构的网络作为前列腺器官分割模型的分割网络，对分割网络输出采用softmax将分割网络输出结果转化为概率，对于每个
像素选择该像素的三个输出概率中最大值的分类作为像素分类；
[0016] 结果后处理单元，采用图形学的方法优化前列腺器官分割模型输出的器官分割结果以及前列腺异常区域分割单元获得的前列腺异常区域分割结果，并采用插值法将前列腺器官分割模型得到的器官分割结果或前列腺异常区域分割结果重
采样至输入数据原始尺寸得到最终的器官分割结果或前列腺异常区域分割结果；
[0017] 前列腺异常区域分割单元，获取b值为0到2000s/mm2的一个或多个b值的DWI图像、ADC图像、经过结果后处理单元得到的T2WI图像的器官分割结果，将器官分割结果映射到经过图像配准单元配准后的ADC图像和DWI图像中，得到所有序列图像的器官感兴趣区域，并通过拼接的方法将多个图像联合作为异常区域分割模型的输入，异常区域分割模型采用预训练的encoder-decoder编码解码网络获得前列腺异常区域分割结果；
[0018] 自动分类模块的输入数据为一个或多个b值的DWI图像、ADC图像和T2WI图像，选择经由前列腺异常区域分割单元及结果后处理单元得到的前列腺异常区域分割结果映射到经由图像配准单元配准后的ADC图像和DWI图像中，进行感兴趣区域提取，对于经过前列腺异常区域分割单元及结果后处理单元处理后分割结果为无异常区域的图像，在前列腺范围内随机剪裁得到相同尺寸的感兴趣区域，并通过拼接的方法将多个图像联合输入特征提取器，利用分类器对特征提取器提取到的特征进行良恶性二分类，得到良恶性的判别结果后，对结果为阳性的病例输入前列腺异常区域分割单元及结果后处理单元进行感兴趣区域提取作为病灶检测结果并将其输出，辅助医生进行病灶的定位诊断。
[0019] 优选地，所述数据采集单元采集的数据经过脱敏处理删除患者个人信息。
[0020] 优选地，所述标注单元在所述T2WI图像中进行前列腺器官边界标注，所述标注单元在所述ADC图像和DWI图像上进行病灶边界标注。同时利用多参数MRI图像进行良恶性分类标签标注。
[0021] 优选地，所述图像标准化单元对所述MRI图像做图像标准化、灰度值标准化和空间标准化处理，其中，灰度值标准化用于将采集到的MRI图像的灰度值归一化到统一范围内；空间标准化用于将MRI图像重采样为统一尺寸。
[0022] 优选地，所述前列腺异常区域分割单元直接从扫描设备上获取相应b值的DWI图像，或者通过没有扩散加权的DWI图像推算出相应b值的DWI图像，其中，没有扩散加权的DWI图像的b值为0s/mm2，推算公式为：S(b)＝S(0)e-b×ADC，式中，S(0)表示没有扩散加权的DWI图像，S(b)表示推算得到的相应b值的DWI图像，ADC表示表观扩散系数。
[0023] 优选地，所述自动分类模块的特征提取器采用深度卷积神经网络CNN。
[0024] 优选地，所述自动分类模块的分类器输入为神经网络特征提取器所得特征和影像组学特征融合后的特征
[0025] 不同于传统的前列腺癌分类方法使用整个MRI区域或者前列腺器官作为分类网络的输入数据，本方法使用异常区域分割来进一步限制分类网络的输入，通过这样的方法来降低分类模型的假阳性率，提升模型的分类精度，同时结合分类结果，输出检测出的病灶区域，辅助医生进行前列腺癌的自动确认和诊断，提升医生的工作效率。
附图说明
[0026] 图1为本发明基于深度学习前列腺癌自动检测和分类方法总结构
框架图；
[0027] 图2为本发明基于深度学习前列腺癌自动检测和分类方法图像预处理方法示意图；
[0028] 图3为本发明基于深度学习前列腺癌自动检测和分类方法前列腺器官分割方法示意图；
[0029] 图4为本发明基于深度学习前列腺癌自动检测和分类方法前列腺异常区域分割方法示意图；
[0030] 图5为本发明基于深度学习前列腺癌自动检测和分类方法前列腺癌自动判别及检测方法示意图。
具体实施方式
[0031] 下面结合具体
实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或
修改，这些等价形式同样落于本
申请所附
权利要求书所限定的范围。
[0032] 以下以对前列腺癌进行自动检测和分类的具体方法为例来对本发明提供的一种基于深度学习前列腺癌自动检测和分类系统的进行具体说明，包括以下步骤：
[0033] S1数据的采集和标注，主要包括以下步骤：
[0034] S1-1、数据采集：采集包含正常样本和病变样本的多参数MRI影像数据，具体的采集图像包含T2WI、ADC和DWI图像。所有的数据都经过脱敏处理删除患者个人信息。
[0035] S1-2、标注：精准的数据标注是
算法模型有效性的重要保证，针对多参数MRI图像的特点进行原始数据标注能够提高算法模型的准确率。T2WI图像中器官边界最为明显，因此在T2WI图像上进行前列腺器官边界标注。ADC和DWI是临床医生常用的诊断图像，因此在ADC和DWI图像上进行病灶边界标注。同时利用多参数MRI图像进行良恶性分类标签标注。
[0036] 图像标注可以由计算机或者人工完成，人工完成时可以包括同一等级或者不同等级的至少两个专家。当专家标注结果出现差异时，由同一等级的专家进行商讨，或者由更高等级的专家进行修正。标注的器官感兴趣区域(以下简称为器官ROI)和病灶感兴趣区域(以下简称为病灶ROI)生成掩码图作为模型评价的金标准。
[0037] S1-3、生成影像数据库：原始的多参数MRI影像数据和标注结果共同形成前列腺癌影像数据库。
[0038] S2、影像数据预处理，其流程如图2所示，主要包括图像配准、图像标准化和图像增强三个步骤：
[0039] S2-1、图像配准：在临床诊断中医生会结合不同序列的图像信息综合进行诊断，本发明所提出的方法借鉴了该思路。对不同的图像做定量分析时首先要解决的就是不同图像的严格对齐问题。使用仿射变换或3D欧拉变换等方式将ADC图像和DWI图像配准到T2WI图像上，保证在T2WI图像上标注的器官金标准可以适配到ADC图像和DWI图像上。
[0040] S2-2、图像标准化：由于前列腺MRI图像本身的复杂性，使得原始的MRI图像无法直接用于模型训练和预测，需要首对MRI图像做标准化处理。具体的标准化包括图像标准化、灰度值标准化和空间标准化。其中图像标准化包括但不限于直方图均衡和异常值去除，灰度值标准化将采集到的MRI图像的灰度值归一化到统一范围内，如[0,1]或者[0,255]。空间标准化，将图像重采样为统一尺寸，为了避免标准化后导致严重的图像失真，采用插值法重采样图像。
[0041] S2-3、图像增强：数据增强主要为了解决数据样本不平衡和数据样本不足的问题。由于影像数据库中收集到的MRI影像数据为医院前列腺临床数据，很难保证癌变样本和正常样本的数据量平衡，因此采用
过采样或欠采样的方式平衡数据集样本。为了提升模型的泛化能力，避免模型过拟合，通过随机变换的方式扩大模型
训练数据集，具体方法包括但不限于随机旋转、翻转、扭曲、平移、剪裁、添加噪声等
数据处理方法中的一种或多种。
[0042] S3前列腺器官分割，获得器官分割结果，方法流程如图3所示，主要步骤包括MRI图像选择、网络设置和分割结果后处理：
[0043] S3-1、MRI扫描图像选择：在T2WI、ADC、DWI几个序列图像中T2WI图像的前列腺的器官边界最为清晰，中央带和外周带分明，且前列腺器官的专家标注也在T2WI图像上，因此选择T2WI图像作为前列腺器官分割模型的输入。
[0044] S3-2、前列腺器官分割模型中分割网络的设置：为了满足前列腺器官分割的目标要求，选择encoder-decoder结构的网络作为分割网络(包括但不限于UNet，SegNet，SegAN等模型)，分割网络经由预训练得到。输出维度选择前列腺的中央带、外周带和背景三个维度作为输出，对网络输出采用softmax将网络输出结果转化为概率，对于每个像素选择该像素的三个输出概率中最大值的分类作为像素分类。
[0045] S3-3、结果后处理：采用图形学的方法优化S3-2输出的分割结果，并采用插值法将分割网络模型得到的分割结果重采样至输入数据原始尺寸获得最终的器官分割结果，具体的图形学的优化方法包括去噪点、填充空洞和平滑边界。
[0046] S4前列腺异常区域分割，方法流程如图4所示，主要步骤包括MRI图像选择、器官ROI区域提取、网络设置和结果后处理：
[0047] S4-1、MRI图像选择：在临床诊断中ADC和DWI图像是医生进行诊断查找病灶的主要依据。其中DWI中b值的选择对结果影响较大，高b值能够提高肿瘤病变与良性组织的
对比度，但随着b值的增加，会导致图像失真增加等问题，多b值的DWI图像既可以突出病灶区域，又可以保持较高的
信噪比，尤其是使用
覆盖b值范围较大的多个DWI图像，能够充分考虑低、中、高b值的影响，提高模型的检测精度。
[0048] 不同b值的DWI图像有两种获取方式：一种是直接从扫描设备上获取相应b值的图像，另一种是通过没有扩散加权(b＝0s/mm2)的DWI图像推算出，具体公式如下：
[0049] S(b)＝S(0)e-b×ADC
[0050] 式中，S(0)表示没有扩散加权的DWI图像，S(b)表示推算得到的相应b值的DWI图像，ADC表示表观扩散系数。具体的，选用b值为0到2000s/mm2的一个或多个b值的DWI图像、ADC图像、T2WI图像作为模型的输入数据。
[0051] S4-2、器官ROI提取：由于异常区域面积相比较于整个MRI图像只占很小的比例，选用整张MRI图像用于分割任务会导致严重的像素级别的样本不平衡，因而需要进行器官ROI区域提取。具体的将步骤S3-3得到的器官分割结果映射到配准后的ADC图像和DWI图像中，得到所有序列图像的器官ROI区域，并通过拼接的方法将多个图像联合作为异常区域分割模型的输入。
[0052] S4-3、网络设置：将步骤S4-2得到的结果输入预训练的encoder-decoder编码解码网络中，获得前列腺异常区域分割结果。
[0053] S4-4、结果后处理：对步骤S4-3得到的分割结果采用图形学的方法进行优化，并采用插值法将分割网络模型得到的分割结果重采样至输入数据原始尺寸。具体的图形学的优化方法包括去噪点、填充空洞和平滑边界。
[0054] S5前列腺癌自动判别及检测：
[0055] 仅通过前列腺病灶检测模型获取的有无病灶结果作为病例良恶性的判断会带来假阳性比例高，检测精度低的缺陷，因此本发明进一步优化模型，将前列腺异常区域的检测结果进一步输入分类模型进行病例良恶性分类以提高诊断精准度，同时结合分类结果，输出病灶区域的检测结果，帮助医生快速定位。方法流程如图5所示，具体包括如下步骤：
[0056] S5-1、MRI图像选择：同步骤S4-1，选择一个或多个b值的DWI图像、ADC图像和T2WI图像作为模型的输入数据。
[0057] S5-2、ROI区域提取：选择步骤S4-4得到的前列腺异常区域分割结果映射到配准后的ADC和DWI图像中，并且依据分类模型的数据输入的尺寸需求进行ROI区域提取，对于分割结果为无异常区域的图像，在前列腺范围内随机剪裁得到相同尺寸的ROI区域，并通过拼接的方法将多个图像联合作为前列腺癌判别模型的输入
[0058] S5-3、特征提取：为了获取用于分类的
特征向量，采用深度卷积神经网络CNN作为特征提取器，通过预训练的网络模型获得卷积神经网络特征向量，为了提高特征向量的表征能力，增加影像组学特征向量，并和卷积神经网络特征向量进行特征融合。
[0059] S5-4、良恶性分类：为了提高分类精确度，选择分类器对提取到的特征进行良恶性二分类，具体的分类方法可以为深度学习的方法或者机器学习的方法，其中机器学习方法包括但不限于SVM、XGBoost、Lightgbm等分类器。
[0060] S5-5、检测结果输出：得到良恶性的判别结果后，对结果为阳性的病例，进一步的将步骤S4-4得到的前列腺异常区域分割结果进行ROI区域提取作为病灶检测结果并将其输出，辅助医生进行病灶的定位诊断。
