首页 / 专利库 / 电子零件及设备 / 激子扩散长度 / 一种基于三维深度学习模型的脑出血分类、定位与预测方法

一种基于三维深度学习模型的脑出血分类、定位与预测方法

阅读:322发布:2020-05-17

专利汇可以提供一种基于三维深度学习模型的脑出血分类、定位与预测方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于三维 深度学习 模型的脑出血分类、 定位 与预测方法,通过表面重建法对二维CT图像进行三维立体建模,得到三维CT图像;然后使用三维 卷积神经网络 对三维CT图像进行特征提取,并通过SVM分类器对提取的特征进行分类,从而对CT图像中是否含有出血点进行分类和判断;将分类器判断为含有出血点的三维CT图像重新进行切片,通过目标检测网络对切片后的二维CT图像的出血点 位置 进行精确定位;将患者的身体特征信息进行压缩编码作为三维条件式生成对抗网络的生成条件,将生成条件融入随机噪声,通过使用该对抗网络模型中的三维生成器,根据患者身体指标输出三维CT图像,从而对患者脑部血 块 随时间推移扩散或被人体吸收情况进行预测。,下面是一种基于三维深度学习模型的脑出血分类、定位与预测方法专利的具体信息内容。

1.一种基于三维深度学习模型的脑出血分类、定位与预测方法,其特征在于:该方法包括以下步骤:
第一步:通过CT断层扫描获取患者的原始脑部二维CT图像集,所述图像集为切片得到的一系列断层图像,采用表面重建法进行三维CT图像的建模,得到三维CT图像;
第二步:搭建三维卷积神经网络即特征提取模型,对三维CT图像进行特征提取;使用支撑向量机(Support Vector Machine,SVM)分类器对提取的特征进行分类,从而对三维CT图像中是否含有出血点进行判断;
第三步:搭建目标检测网络,将第二步中SVM分类器判断为脑出血的三维CT图像进行切片,重新得到二维CT图像集,并将其作为目标检测网络的输入;以目标检测网络的损失函数值最小为目标进行优化,输出出血点的中心位置坐标以及出血点的预测边框的宽度和高度,对CT图像中出现脑出血的位置进行定位与绘制;
第四步:将患者的基本信息和发病时间作为生成条件,所述基本信息包括:年龄、性别、血压、血糖;根据三维生成器、三维判别器和三维分类器搭建三维条件式生成对抗网络;将第二步中SVM分类器判断为脑出血的三维CT图像输入所述对抗网络中的三维判别器,通过所述对抗网络中的三维生成器结合生成条件输出预测的三维CT图像,对患者脑部血随时间推移扩散或被人体吸收情况进行预测。
2.根据权利要求1所述的一种基于三维深度学习模型的脑出血分类、定位与预测方法,其特征在于:第一步所述三维CT图像的建模方法如下:
(1.1)将二维CT图像集中的每张二维CT图像通过平移、旋转和缩放进行仿射变换,表示如下:
Presult(yk)=T×Poriginal(xk)
其中,T为仿射变换矩阵,Poriginal为原始二维CT图像,Presult为仿射变换后的二维CT图像;k为图像中像素点的个数,xk为仿射变换前图像中第k个像素点的灰度值,yk为仿射变换后图像中第k个像素点的灰度值;
(1.2)对经过仿射变换后CT图像质量的损失进行补偿,补偿公式如下:
其中,S为补偿强度;
(1.3)根据补偿损失后的二维CT图像轮廓匹配原始断层图像,采用插值法在补偿损失后的相邻两个二维CT图像之间进行插值,生成断层图像之间缺失的图像;采用三面片法完成表面重建,从而完成对二维CT图像的三维重建,获得三维CT图像。
3.根据权利要求2所述的一种基于三维深度学习模型的脑出血分类、定位与预测方法,其特征在于:第二步所述三维卷积神经网络包括三维卷积层、三维池化层和全连接层,通过三维卷积神经网络对三维CT图像进行特征提取,使用SVM分类器对提取的特征进行分类,方法如下:
(2.1)将三维CT图像输入三维卷积层,三维卷积层对三维CT图像的特征进行提取,得到三维特征图,所述三维特征图代表输入三维CT图像的整体信息,三维卷积层计算公式如下:
其中, 和 分别表示第L层的第I个和第L-1层的第M个三维卷积特征
块; 为第L-1层的三维卷积核; 为 在坐标(x,y,z)上的元素;
为 在经过三维卷积核 卷积后
在坐标(x-j,y-k,z-l)上的值,(j,k,l)表示三维卷积核的尺寸; 为添加的偏置项,Activation表示经过卷积后采用的非线性激活函数;
(2.2)通过三维池化层降低三维特征图分辨率,并且去除冗余信息;选用最大池化层,通过增大步长的方式,对三维特征图的长度、高度和宽度进行尺寸压缩,得到降维后的三维特征图;
最大池化层的卷积核大小为J1×K1×L1,池化层卷积步长设置为SL×SW×SH;则:
Laf=(Lbe-J1)/SL+1
Waf=(Wbe-K1)/SW+1
Haf=(Hbe-L1)/SH+1
其中,Lbe、Wbe、Hbe分别为池化前特征图的长度、宽度和高度,Laf、Waf、Haf分别为池化后特征图的长度、宽度和高度;
(2.3)交叉堆叠N个卷积层和N个池化层,根据步骤(2.1)~(2.2)所述方法对输入的三维CT图像进行N次三维卷积以及三维池化处理,输出三维特征图;其中,根据图像的大小选择卷积和池化的层数;
(2.4)在最后一个池化层后引入两个连续的全连接层,通过全连接层对步骤(2.3)输出的三维图像特征进行整合,获取高级特征信息;得到高级三维特征图;全连接层的计算公式如下:
Dense1=Activation×(B1+W1Fin)
Dense2=Activation×(B2+W2Dense1)
其中,将经过三维卷积和三维池化后的特征图重构为一维特征向量Fin,作为第一个全连接层的输入;W1、W2分别为第一个和第二个全连接层的权重矩阵;B1、B2分别为第一个和第二个全连接层的偏置项;Dense1、Dense2分别表示第一个和第二个全连接层的输出;
(2.5)将步骤(2.4)获取的特征信息作为三维卷积神经网络的输出,完成三维卷积神经网络对三维CT图像的特征提取;使用SVM分类器做非线性映射,将三维卷积神经网络输出的特征信息利用内积核函数映射到高维空间,搜索最优分离超平面,并最大化分类边界,从而对三维CT图像中是否含有出血点进行判断;所述最优分离超平面是指分类面不但将正反两类正确分开,并且使分类间隔最大。
4.根据权利要求3所述的一种基于三维深度学习模型的脑出血分类、定位与预测方法,其特征在于:第三步所述搭建目标检测网络,对出血点的位置进行定位;方法如下:
(3.1)将SVM分类器判断为脑出血的三维CT图像进行切片,重新得到二维CT图像,并将其作为目标检测网络的输入;
(3.2)将输入目标检测网络的二维CT图像分为S×S个单元格,记每一个单元格为一个子图,每一个子图设置B个滑动窗口对待检测目标即出血点进行检测,每一个滑动窗口都由五个参数进行表示:
(LX,LY,LW,LH,LC)
其中,(LX,LY)表示滑动窗口的中心位置的横坐标和纵坐标;(LH,LW)表示滑动窗口的长度和宽度;LC为置信度,表示当前滑动窗口是否包含出血点及其预测准确性的估计概率,LC的计算公式为:
LC=PO×PIOU   (1)
其中,PO表示滑动窗口包含出血点的概率,PIOU表示滑动窗口与真实检测对象区域的重叠面积,其单位是像素;若滑动窗口中包含出血点,则PO=1,否则PO=0;针对每个子图,分别选择该子图所包含的滑动窗口中最大的PIOU,代入式(1)计算该子图是否包含出血点的置信度;
(3.3)定义目标检测网络的损失函数,以损失函数值最小为优化目标进行网络优化;判断每个子图中含有出血点的置信度,当置信度高于设定阈值时,则判断该子图含有出血点,否则判断为无出血点;从含有出血点的所有子图中选择置信度最大的子图,输出该置信度最大的子图中出血点的中心位置坐标以及出血点的预测边框的高度和宽度;阈值的大小决定了目标检测网络判断出血点的灵敏度;当损失函数优化到最小时,目标检测网络优化结束;
所述目标检测网络的损失函数定义如下:
Losstotal=Losscoord+Lossconf+Lossclass   (2)
式中,Losstotal表示目标检测的损失函数;Losscoord为预测边框坐标的损失函数,代表预测边框和实际边框的均方误差值;Lossconf表示所有子图的滑动窗口置信度误差的损失函数;Lossclass表示分类误差;
(3.4)将步骤(3.1)所述二维CT图像输入优化后的目标检测网络,输出出血点的中心位置坐标以及出血点的预测边框的高度和宽度,进而对出血点的位置进行定位与绘制。
5.根据权利要求4所述的一种基于三维深度学习模型的脑出血分类、定位与预测方法,其特征在于:步骤(3.3)所述损失函数Losscoord、Lossconf、Lossclass定义如下:
(3.3.1)定义预测边框坐标的损失函数为:
式中,Iij表示在第i个子图的第j个滑动窗口中是否含有出血点目标;S2表示一张脑部CT图像中需要进行检测子图的数目;B表示每个子图中滑动窗口的数目;λcoord为坐标误差的权重系数;Xij和Yij分别表示第i个子图中第j个滑动窗口的中心点横坐标与纵坐标;Wij和Hij为预测边框的宽度和长度; 分别表示第i个子图真实出血点的滑动窗口的中心点横纵坐标以及预测边框的宽度和长度;
(3.3.2)定义所有子图的滑动窗口置信度误差的损失函数为:
其中,Lossconf为所有子图的滑动窗口中含有出血点的概率所带来的置信度误差;λnoobj为权重系数; 表示第i个子图含有出血点的真实置信度值, 表示第i个子图含有出血点的预测置信度;
(3.3.3)定义所有子图的滑动窗口所带来的分类误差的损失函数为:
式中,Lossclass为所有子图的滑动窗口所带来的分类误差;classes表示预测的类别,即有/无出血点;pi(C)表示真实图像的第i个子图为第C个类别的概率值; 表示预测图像中第i个子图为第C个类别的概率;通过最小化pi(C)与 之间的均方误差值,使得目标检测网络对每个子图的分类准确度达到最高。
6.根据权利要求1-5任一所述的一种基于三维深度学习模型的脑出血分类、定位与预测方法,其特征在于:第四步所述将患者的基本信息和发病时间作为生成条件,所述基本信息包括:年龄、性别、血压、血糖;根据三维生成器、三维判别器和三维分类器搭建三维条件式生成对抗网络;将第二步中SVM分类器判断为脑出血的三维CT图像输入所述对抗网络中的三维判别器,通过三维条件式生成对抗网络中的三维生成器结合生成条件输出预测的三维CT图像,对患者脑部血块随时间推移扩散或被人体吸收情况进行预测;方法如下:
(4.1)对患者的发病时间、年龄、性别、血压、血糖进行压缩编码,将编码结果作为三维条件式生成对抗网络的生成条件,并将生成条件记为GT;
(4.2)三维生成器G根据输入的随机噪声以及生成条件,生成服从真实数据概率分布的新样本;所述真实数据是指三维CT图像;所述随机噪声服从正态分布或均匀分布;
(4.3)将SVM分类器判断为脑出血的三维CT图像和三维生成器G生成的新样本分别输入三维判别器D,三维判别器D判断输入样本是由三维生成器G生成的新样本还是真实数据样本;
(4.4)根据真实数据样本与生成样本训练三维判别器D,使三维判别器D对输入数据来源的判别准确率最大化,同时,结合生成条件训练三维生成器G,使三维判别器D对输入数据来源于真实数据或生成数据的判别准确率最小化,使三维生成器G输出具备真实病理特征的三维CT图像;提取三维判别器D中间隐含层的特征图输入至三维分类器C,并根据输入的特征图训练三维分类器C的损失函数达到最小值,从而使三维生成器G输出图像满足生成条件;设置训练次数为Nsum;
(4.5)当达到训练次数后,对抗网络模型达到纳什均衡,模型训练结束;最终使得融合了生成条件的随机噪声通过三维生成器G后,生成新样本的分布等于真实数据样本的概率分布;通过三维生成器G输出具备真实病理特征并且满足生成条件的三维CT图像,根据三维生成器G输出的预测三维CT图像,结合原始三维CT图像对患者脑部血块随时间扩散或被人体吸收情况的预测。
7.根据权利要求6所述的一种基于三维深度学习模型的脑出血分类、定位与预测方法,其特征在于:通过优化三维条件式生成对抗网络的图像质量损失函数,使得融合了生成条件的随机噪声通过三维生成器G后,生成新样本的分布等于真实数据样本的概率分布;
三维条件式生成对抗网络的图像质量损失函数定义如下:
其中,E(·)表示计算的期望值;pdata(x)表示真实数据的分布,x为服从pdata(x)分布的一个采样点;pz(z)表示随机噪声分布,采用正态分布或均匀分布,z为服从pz(z)分布的一个采样点;G(z|GT)表示随机噪声和生成条件进行融合后通过三维生成器G生成的数据;D(G(z|GT))和D(x)分别表示生成数据和真实数据通过三维判别器D的输出值。
8.根据权利要求7所述的一种基于三维深度学习模型的脑出血分类、定位与预测方法,其特征在于:三维分类器C的损失函数定义如下:
其中,n表示生成条件的的数量,C(G(z|GT))和C(x)分别表示生成数据和真实数据通过三维分类器C的输出值;分别计算C(G(z|GT))和C(x)与生成条件GT之间的均方误差(Mean Square Error,MSE)。
9.根据权利要求8所述的一种基于三维深度学习模型的脑出血分类、定位与预测方法,其特征在于:将三维分类器和三维判别器共享特征提取模型参数。
10.根据权利要求4或5所述的一种基于三维深度学习模型的脑出血分类、定位与预测方法,其特征在于:目标检测网络的输出维度为:S×S×(B×5+C);其中,S×S为每个图像的子图总数;B为每个子图用于预测目标的滑动窗口数量;每个滑动窗口由5个参数来表示,C为预测的类别总数。

说明书全文

一种基于三维深度学习模型的脑出血分类、定位与预测方法

技术领域

[0001] 本发明属于深度学习技术领域,尤其涉及一种基于三维深度学习模型的脑出血分类、定位与预测方法。

背景技术

[0002] 脑出血属于脑血管类疾病,主要是由非外脑性实质内血管破裂引起的出血所导致,其中导致脑出血的原因有很多种,例如高血压,高血脂,糖尿病以及其他的心血管疾病,如果发现和治疗不及时,约有70%的病人会因此患上肢体功能不全等严重影响正常生活的后遗症,由此这个危害的比例应当引起全社会人员的关注。
[0003] 目前判断人脑出血点的方法往往通过对患者进行头颅CT检查,这也是目前脑科中非常重要和常用的检测手段之一,但目前从CT图像判断人脑是否出血以及对出血点的定位,都需要十分有经验的医师进行诊断,但是通过人为的方式来诊断病情,往往会由于人的主观性,从而对患者病情误诊的情况也时有发生。

发明内容

[0004] 发明目的:针对以上问题,本发明提出了一种基于三维深度学习的方式,通过对二维CT图像进行三维立体建模获得三维CT图像,利用三维卷积神经网络、目标检测网络、三维条件式生成对抗网络,快速、准确的判断患者是否患有脑出血,并且可以对出血点进行精确定位,根据患者的身体指标,生成三维CT图像,从而预测患者的病情发展。
[0005] 技术方案:为实现本发明的目的,本发明所采用的技术方案是:一种基于三维深度学习模型的脑出血分类、定位与预测方法,包括以下步骤:
[0006] 第一步:通过CT断层扫描获取患者的原始脑部二维CT图像集,所述图像集为切片得到的一系列断层图像,采用表面重建法进行三维CT图像的建模,得到三维CT图像;
[0007] 第二步:搭建三维卷积神经网络即特征提取模型,对三维CT图像进行特征提取;使用支撑向量机(Support Vector Machine,SVM)分类器对提取的特征进行分类,从而对三维CT图像中是否含有出血点进行判断;
[0008] 第三步:搭建目标检测网络;将第二步中SVM分类器判断为脑出血的三维CT图像进行切片,重新得到二维CT图像集,并将其作为目标检测网络的输入;以目标检测网络的损失函数值最小为目标进行优化,输出出血点的中心位置坐标以及出血点的预测边框的宽度和高度,对CT图像中出现脑出血的位置进行定位与绘制;
[0009] 第四步:将患者的基本信息和发病时间作为生成条件,所述基本信息包括:年龄、性别、血压、血糖;根据三维生成器、三维判别器和三维分类器搭建三维条件式生成对抗网络;将第二步中SVM分类器判断为脑出血的三维CT图像输入所述对抗网络中的三维判别器,通过三维条件式生成对抗网络中的三维生成器结合生成条件输出预测的三维CT图像,对患者脑部血随时间推移扩散或被人体吸收情况进行预测。
[0010] 进一步,第一步所述三维CT图像的建模方法如下:
[0011] (1.1)将二维CT图像集中的每张二维CT图像通过平移、旋转和缩放进行仿射变换,表示如下:
[0012] Presult(yk)=T×Poriginal(xk)
[0013] 其中,T为仿射变换矩阵,Poriginal为原始二维CT图像,Presult为仿射变换后的二维CT图像;k为图像中像素点的个数,xk为仿射变换前图像中第k个像素点的灰度值,yk为仿射变换后图像中第k个像素点的灰度值;
[0014] (1.2)对经过仿射变换后CT图像质量的损失进行补偿,补偿公式如下:
[0015]
[0016] 其中,S为补偿强度;
[0017] (1.3)根据补偿损失后的二维CT图像轮廓匹配原始断层图像,采用插值法在补偿损失后的相邻两个二维CT图像之间进行插值,生成断层图像之间缺失的图像,以满足表面重建的需要;采用三面片法完成表面重建,从而完成对二维CT图像的三维重建,获得三维CT图像。
[0018] 进一步,第二步所述三维卷积神经网络包括三维卷积层、三维池化层和全连接层,通过三维卷积神经网络对三维CT图像进行特征提取,方法如下:
[0019] (2.1)由于传统的二维卷积层只能提取单张CT图像的平面特征,而三维卷积层却能保证三维CT图像的空间结构信息不丢失,充分利用了三维特征,增强了特征的表达能;将三维CT图像输入三维卷积层,三维卷积层对三维CT图像的特征进行提取,得到三维特征图,所述三维特征图代表输入三维CT图像的整体信息,三维卷积层计算公式如下:
[0020]
[0021] 其中, 和 分别表示第L层的第I个和第L-1层的第M个三维卷积特征块; 为第L-1层的三维卷积核; 为 在坐标(x,y,z)上的元素;
为 在经过三维卷积核 卷积后
在坐标(x-j,y-k,z-l)上的值,(j,k,l)表示三维卷积核的尺寸; 为添加的偏置项,Activation表示经过卷积后采用的非线性激活函数;
[0022] (2.2)通过三维池化层降低三维特征图分辨率,并且去除冗余信息;选用最大池化层,通过增大步长的方式,对三维特征图的长度、高度和宽度进行尺寸压缩,得到降维后的三维特征图;
[0023] 最大池化层的卷积核大小为J1×K1×L1,池化层卷积步长设置为SL×SW×SH;则:
[0024] Laf=(Lbe-J1)/SL+1
[0025] Waf=(Wbe-K1)/SW+1
[0026] Haf=(Hbe-L1)/SH+1
[0027] 其中,Lbe、Wbe、Hbe分别为池化前特征图的长度、宽度和高度,Laf、Waf、Haf分别为池化后特征图的长度、宽度和高度;
[0028] (2.3)交叉堆叠N个卷积层和N个池化层,根据步骤(2.1)~(2.2)所述方法对输入的三维CT图像进行N次三维卷积以及三维池化处理,输出三维特征图;其中,根据图像的大小选择卷积和池化的层数;
[0029] (2.4)在最后一个池化层后引入两个连续的全连接层,通过全连接层对步骤(2.3)输出的三维图像特征进行整合,获取高级特征信息;得到高级三维特征图;全连接层的计算公式如下:
[0030] Dense1=Activation×(B1+W1Fin)
[0031] Dense2=Activation×(B2+W2Dense1)
[0032] 其中,将经过三维卷积和三维池化后的特征图重构为一维特征向量Fin,作为第一个全连接层的输入;W1、W2分别为第一个和第二个全连接层的权重矩阵;B1、B2分别为第一个和第二个全连接层的偏置项;Dense1、Dense2分别表示第一个和第二个全连接层的输出;
[0033] (2.5)将步骤(2.4)获取的特征信息作为三维卷积神经网络的输出,完成三维卷积神经网络对三维CT图像的特征提取;使用SVM分类器做非线性映射,将三维卷积神经网络输出的特征信息利用内积核函数映射到高维空间,搜索最优分离超平面,并最大化分类边界,从而对三维CT图像中是否含有出血点进行判断;所述最优分离超平面是指分类面不但将正反两类正确分开,并且使分类间隔最大。
[0034] 进一步,第三步所述搭建目标检测网络,对出血点的位置进行定位;方法如下:
[0035] (3.1)将SVM分类器判断为脑出血的三维CT图像进行切片,重新得到二维CT图像,并将其作为目标检测网络的输入;
[0036] (3.2)将输入目标检测网络的二维CT图像分为S×S个单元格,记每一个单元格为一个子图,每一个子图设置B个滑动窗口对待检测目标即出血点进行检测,每一个滑动窗口都由五个参数进行表示:
[0037] (LX,LY,LW,LH,LC)
[0038] 其中,(LX,LY)表示滑动窗口的中心位置的横坐标和纵坐标;(LH,LW)表示滑动窗口的长度和宽度;LC为置信度,表示当前滑动窗口是否包含出血点及其预测准确性的估计概率,LC的计算公式为:
[0039] LC=PO×PIOU   (1)
[0040] 其中,PO表示滑动窗口包含出血点的概率,PIOU表示滑动窗口与真实检测对象区域的重叠面积,其单位是像素;若滑动窗口中包含出血点,则PO=1,否则PO=0;针对每个子图,分别选择该子图所包含的滑动窗口中最大的PIOU,代入式(1)计算该子图是否包含出血点的置信度;
[0041] (3.3)定义目标检测网络的损失函数,以损失函数值最小为优化目标进行网络优化;判断每个子图中含有出血点的置信度,当置信度高于设定阈值时,则判断该子图含有出血点,否则判断为无出血点;从含有出血点的所有子图中选择置信度最大的子图,输出该置信度最大的子图中出血点的中心位置坐标以及出血点的预测边框的高度和宽度;阈值的大小决定了目标检测网络判断出血点的灵敏度;当损失函数优化到最小时,目标检测网络优化结束;
[0042] 所述目标检测网络的损失函数定义如下:
[0043] Losstotal=Losscoord+Lossconf+Lossclass   (2)
[0044] 式中,Losstotal表示目标检测的损失函数;Losscoord为预测边框坐标的损失函数,代表预测边框和实际边框的均方误差值;Lossconf表示所有子图的滑动窗口置信度误差的损失函数;Lossclass表示分类误差;
[0045] (3.4)将步骤(3.1)所述二维CT图像输入优化后的目标检测网络,输出出血点的中心位置坐标以及出血点的预测边框的高度和宽度,进而对出血点的位置进行定位与绘制。
[0046] 进一步,步骤(3.3)所述损失函数Losscoord、Lossconf、Lossclass定义如下:
[0047] (3.3.1)定义预测边框坐标的损失函数为:
[0048]
[0049] 式中,Iij表示在第i个子图的第j个滑动窗口中是否含有出血点目标;S2表示一张脑部CT图像中需要进行检测子图的数目;B表示每个子图中滑动窗口的数目;λcoord为坐标误差的权重系数;Xij和Yij分别表示第i个子图中第j个滑动窗口的中心点横坐标与纵坐标;Wij和Hij为预测边框的宽度和长度; 分别表示第i个子图真实出血点的滑动窗口的中心点横纵坐标以及预测边框的宽度和长度;
[0050] (3.3.2)定义所有子图的滑动窗口置信度误差的损失函数为:
[0051]
[0052] 其中,Lossconf为所有子图的滑动窗口中含有出血点的概率所带来的置信度误差;λnoobj为权重系数; 表示第i个子图含有出血点的真实置信度值, 表示第i个子图含有出血点的预测置信度;
[0053] (3.3.3)定义所有子图的滑动窗口所带来的分类误差的损失函数为:
[0054]
[0055] 式中,Lossclass为所有子图的滑动窗口所带来的分类误差;classes表示预测的类别,即有/无出血点;pi(C)表示真实图像的第i个子图为第C个类别的概率值; 表示预测图像中第i个子图为第C个类别的概率;通过最小化pi(C)与 之间的均方误差值,使得目标检测网络对每个子图的分类准确度达到最高。
[0056] 进一步,第四步所述将患者的基本信息和发病时间作为生成条件,所述基本信息包括:年龄、性别、血压、血糖;根据三维生成器、三维判别器和三维分类器搭建三维条件式生成对抗网络;将第二步中SVM分类器判断为脑出血的三维CT图像输入所述对抗网络中的三维判别器,通过三维条件式生成对抗网络中的三维生成器结合生成条件输出预测的三维CT图像,对患者脑部血块随时间推移扩散或被人体吸收情况进行预测;方法如下:
[0057] (4.1)对患者的发病时间、年龄、性别、血压、血糖进行压缩编码,将编码结果作为三维条件式生成对抗网络的生成条件,并将生成条件记为GT;
[0058] (4.2)三维生成器G根据输入的随机噪声以及生成条件,生成服从真实数据概率分布的新样本;所述真实数据是指三维CT图像;所述随机噪声服从正态分布或均匀分布;
[0059] (4.3)将SVM分类器判断为脑出血的三维CT图像和三维生成器G生成的新样本分别输入三维判别器D,三维判别器D判断输入样本是由三维生成器G生成的新样本还是真实数据样本;
[0060] (4.4)根据真实数据样本与生成样本训练三维判别器D,使三维判别器D对输入数据来源的判别准确率最大化,同时,结合生成条件训练三维生成器G,使三维判别器D对输入数据来源于真实数据或生成数据的判别准确率最小化,使三维生成器G输出具备真实病理特征的三维CT图像;提取三维判别器D中间隐含层的特征图输入至三维分类器C,并根据输入的特征图训练三维分类器C的损失函数达到最小值,从而使三维生成器G输出图像满足生成条件;设置训练次数为Nsum;
[0061] (4.5)当达到训练次数后,对抗网络模型达到纳什均衡,模型训练结束;最终使得融合了生成条件的随机噪声通过三维生成器G后,生成新样本的分布等于真实数据样本的概率分布;通过三维生成器G输出具备真实病理特征并且满足生成条件的三维CT图像,根据三维生成器G输出的预测三维CT图像,结合原始三维CT图像对患者脑部血块随时间扩散或被人体吸收情况的预测。
[0062] 进一步,通过优化三维条件式生成对抗网络的图像质量损失函数,使得融合了生成条件的随机噪声通过三维生成器G后,生成新样本的分布等于真实数据样本的概率分布;
[0063] 三维条件式生成对抗网络的图像质量损失函数定义如下:
[0064]
[0065] 其中,E(·)表示计算的期望值;pdata(x)表示真实数据的分布,x为服从pdata(x)分布的一个采样点;pz(z)表示随机噪声分布,采用正态分布或均匀分布,z为服从pz(z)分布的一个采样点;G(z|GT)表示随机噪声和生成条件进行融合后通过三维生成器G生成的数据;D(G(z|GT))和D(x)分别表示生成数据和真实数据通过三维判别器D的输出值。
[0066] 进一步,三维分类器C的损失函数定义如下:
[0067]
[0068] 其中,n表示生成条件的的数量,C(G(z|GT))和C(x)分别表示生成数据和真实数据通过三维分类器C的输出值;分别计算C(G(z|GT))和C(x)与生成条件GT之间的均方误差(Mean Square Error,MSE)。
[0069] 进一步,由于三维判别器和三维分类器都包含特征提取的部分,因此通过将三维分类器和三维判别器共享特征提取模型参数的方式减少整体的计算量。
[0070] 进一步,目标检测网络的输出维度为:S×S×(B×5+C);其中,S×S为每个图像的子图总数;B为每个子图用于预测目标的滑动窗口数量;每个滑动窗口由5个参数来表示,C为预测的类别总数。
[0071] 有益效果:与现有技术相比,本发明的技术方案具有以下有益的技术效果:
[0072] 本发明利用深度学习的技术,通过对二维CT图像进行三维建模,考虑到CT图像空间结构上的联系,可以更加快速、准确的判断患者是否患有脑出血,并且可以对出血点进行精确定位,最后利用患者的身体指标,生成CT图像,从而预测患者未来几天病情的发展。附图说明
[0073] 图1是本发明的方法流程图
[0074] 图2是本发明的三维卷积神经网络模型示意图;
[0075] 图3是本发明的目标检测网络对出血点的定位过程示意图;
[0076] 图4是本发明的三维条件式生成对抗网络模型示意图。

具体实施方式

[0077] 下面结合附图和实施例对本发明的技术方案作进一步的说明。
[0078] 本发明所述的一种基于三维深度学习模型的脑出血分类、定位与预测方法,流程如图1所示,包括以下步骤:
[0079] 第一步:通过CT断层扫描获取患者的原始脑部二维CT图像集,所述图像集为切片得到的一系列断层图像,采用表面重建法进行三维CT图像的建模,得到三维CT图像;方法如下:
[0080] (1.1)将二维CT图像集中的每张二维CT图像通过平移、旋转和缩放进行仿射变换,表示如下:
[0081] Presult(yk)=T×Poriginal(xk)
[0082] 其中,T为仿射变换矩阵,Poriginal为原始二维CT图像,Presult为仿射变换后的二维CT图像;k为图像中像素点的个数,xk为仿射变换前图像中第k个像素点的灰度值,yk为仿射变换后图像中第k个像素点的灰度值;
[0083] (1.2)对经过仿射变换后CT图像质量的损失进行补偿,补偿公式如下:
[0084]
[0085] 其中,S为补偿强度;
[0086] (1.3)根据补偿损失后的二维CT图像轮廓匹配原始断层图像,采用插值法在补偿损失后的相邻两个二维CT图像之间进行插值,生成断层图像之间缺失的图像,以满足表面重建的需要;采用三角面片法完成表面重建,从而完成对二维CT图像的三维重建,获得三维CT图像。
[0087] 第二步:搭建三维卷积神经网络即特征提取模型,对三维CT图像进行特征提取;使用支撑向量机(Support Vector Machine,SVM)分类器对提取的特征进行分类,从而对三维CT图像中是否含有出血点进行判断;特征提取模型如图2所示;其中,所述三维卷积神经网络包括三维卷积层、三维池化层和全连接层,通过三维卷积神经网络对三维CT图像进行特征提取,方法如下:
[0088] (2.1)由于传统的二维卷积层只能提取单张CT图像的平面特征,而三维卷积层却能保证三维CT图像的空间结构信息不丢失,充分利用了三维特征,增强了特征的表达能力;将三维CT图像输入三维卷积层,三维卷积层对三维CT图像的特征进行提取,得到三维特征图,所述三维特征图代表输入三维CT图像的整体信息,三维卷积层计算公式如下:
[0089]
[0090] 其中, 和 分别表示第L层的第I个和第L-1层的第M个三维卷积特征块; 为第L-1层的三维卷积核; 为 在坐标(x,y,z)上的元
素; 为 在经过三维卷积核 卷积后
在坐标(x-j,y-k,z-l)上的值,(j,k,l)表示三维卷积核的尺寸; 为添加的偏置项,Activation表示经过卷积后采用的非线性激活函数;
[0091] (2.2)通过三维池化层降低三维特征图分辨率,并且去除冗余信息;选用最大池化层,通过增大步长的方式,对三维特征图的长度、高度和宽度进行尺寸压缩,得到降维后的三维特征图;
[0092] 最大池化层的卷积核大小为J1×K1×L1,池化层卷积步长设置为SL×SW×SH;则:
[0093] Laf=(Lbe-J1)/SL+1
[0094] Waf=(Wbe-K1)/SW+1
[0095] Haf=(Hbe-L1)/SH+1
[0096] 其中,Lbe、Wbe、Hbe分别为池化前特征图的长度、宽度和高度,Laf、Waf、Haf分别为池化后特征图的长度、宽度和高度;
[0097] (2.3)交叉堆叠N个卷积层和N个池化层,根据步骤(2.1)~(2.2)所述方法对输入的三维CT图像进行N次三维卷积以及三维池化处理,输出三维特征图;其中,根据图像的大小选择卷积和池化的层数;
[0098] (2.4)在最后一个池化层后引入两个连续的全连接层,通过全连接层对步骤(2.3)输出的三维图像特征进行整合,获取高级特征信息;得到高级三维特征图;全连接层的计算公式如下:
[0099] Dense1=Activation×(B1+W1Fin)
[0100] Dense2=Activation×(B2+W2Dense1)
[0101] 其中,将经过三维卷积和三维池化后的特征图重构为一维特征向量Fin,作为第一个全连接层的输入;W1、W2分别为第一个和第二个全连接层的权重矩阵;B1、B2分别为第一个和第二个全连接层的偏置项;Dense1、Dense2分别表示第一个和第二个全连接层的输出;
[0102] (2.5)将步骤(2.4)获取的特征信息作为三维卷积神经网络的输出,完成三维卷积神经网络对三维CT图像的特征提取;使用SVM分类器做非线性映射,将三维卷积神经网络输出的特征信息利用内积核函数映射到高维空间,搜索最优分离超平面,并最大化分类边界,从而对三维CT图像中是否含有出血点进行判断;所述最优分离超平面是指分类面不但将正反两类正确分开,并且使分类间隔最大。
[0103] 第三步:搭建目标检测网络;将第二步中SVM分类器判断为脑出血的三维CT图像进行切片,重新得到二维CT图像集,并将其作为目标检测网络的输入;以目标检测网络的损失函数值最小为目标进行优化,输出出血点的中心位置坐标以及出血点的预测边框的宽度和高度,对CT图像中出现脑出血的位置进行定位与绘制;目标检测网络模型效果如附图3所示;所述搭建目标检测网络,对出血点的位置进行定位;方法如下:
[0104] (3.1)将SVM分类器判断为脑出血的三维CT图像进行切片,重新得到二维CT图像,并将其作为目标检测网络的输入;
[0105] (3.2)将输入目标检测网络的二维CT图像分为S×S个单元格,记每一个单元格为一个子图,每一个子图设置B个滑动窗口对待检测目标即出血点进行检测,每一个滑动窗口都由五个参数进行表示:
[0106] (LX,LY,LW,LH,LC)
[0107] 其中,B设置为2;(LX,LY)表示滑动窗口的中心位置的横坐标和纵坐标;(LH,LW)表示滑动窗口的长度和宽度;LC为置信度,表示当前滑动窗口是否包含出血点及其预测准确性的估计概率,LC的计算公式为:
[0108] LC=PO×PIOU   (1)
[0109] 其中,PO表示滑动窗口包含出血点的概率,PIOU表示滑动窗口与真实检测对象区域的重叠面积,其单位是像素;若滑动窗口中包含出血点,则PO=1,否则PO=0;针对每个子图,分别选择该子图所包含的滑动窗口中最大的PIOU,代入式(1)计算该子图是否包含出血点的置信度;
[0110] (3.3)定义目标检测网络的损失函数,以损失函数值最小为优化目标进行网络优化;判断每个子图中含有出血点的置信度,当置信度高于设定阈值时,则判断该子图含有出血点,否则判断为无出血点;从含有出血点的所有子图中选择置信度最大的子图,输出该置信度最大的子图中出血点的中心位置坐标以及出血点的预测边框的高度和宽度;阈值的大小决定了目标检测网络判断出血点的灵敏度;当损失函数优化到最小时,目标检测网络优化结束;
[0111] 所述目标检测网络的损失函数定义如下:
[0112] Losstotal=Losscoord+Lossconf+Lossclass   (2)
[0113] 式中,Losstotal表示目标检测的损失函数;Losscoord为预测边框坐标的损失函数,代表预测边框和实际边框的均方误差值;Lossconf表示所有子图的滑动窗口置信度误差的损失函数;Lossclass表示分类误差;
[0114] 所述损失函数Losscoord、Lossconf、Lossclass定义如下:
[0115] (3.3.1)定义预测边框坐标的损失函数为:
[0116]
[0117] 式中,Iij表示在第i个子图的第j个滑动窗口中是否含有出血点目标;S2表示一张脑部CT图像中需要进行检测子图的数目;B表示每个子图中滑动窗口的数目;λcoord为坐标误差的权重系数;Xij和Yij分别表示第i个子图中第j个滑动窗口的中心点横坐标与纵坐标;Wij和Hij为预测边框的宽度和长度; 分别表示第i个子图真实出血点的滑动窗口的中心点横纵坐标以及预测边框的宽度和长度;
[0118] (3.3.2)定义所有子图的滑动窗口置信度误差的损失函数为:
[0119]
[0120] 其中,Lossconf为所有子图的滑动窗口中含有出血点的概率所带来的置信度误差;λnoobj为权重系数; 表示第i个子图含有出血点的真实置信度值, 表示第i个子图含有出血点的预测置信度;
[0121] (3.3.3)定义所有子图的滑动窗口所带来的分类误差的损失函数为:
[0122]
[0123] 式中,Lossclass为所有子图的滑动窗口所带来的分类误差;classes表示预测的类别,即有/无出血点,类别总数为2;pi(C)表示真实图像的第i个子图为第C个类别的概率值;表示预测图像中第i个子图为第C个类别的概率;通过最小化pi(C)与 之间的均
方误差值,使得目标检测网络对每个子图的分类准确度达到最高;
[0124] (3.4)将步骤(3.1)所述二维CT图像输入优化后的目标检测网络,输出出血点的中心位置坐标以及出血点的预测边框的高度和宽度,进而对出血点的位置进行定位与绘制。
[0125] 目标检测网络的输出维度为:S×S×(B×5+C);其中,S×S为每个图像的子图总数;B为每个子图用于预测目标的滑动窗口数量;每个滑动窗口由5个参数来表示,C为预测的类别总数。
[0126] 第四步:将患者的基本信息和发病时间作为生成条件,所述基本信息包括:年龄、性别、血压、血糖;根据三维生成器、三维判别器和三维分类器搭建三维条件式生成对抗网络;将第二步中SVM分类器判断为脑出血的三维CT图像输入所述对抗网络中的三维判别器,通过所述对抗网络中的三维生成器结合生成条件输出预测的三维CT图像,对患者脑部血块随时间推移扩散或被人体吸收情况进行预测;模型结构如附图4所示;具体方法如下:
[0127] (4.1)对患者的发病时间、年龄、性别、血压、血糖进行压缩编码,将编码结果作为三维条件式生成对抗网络的生成条件,并将生成条件记为GT;
[0128] (4.2)三维生成器G根据输入的随机噪声以及生成条件,生成服从真实数据概率分布的新样本;所述真实数据是指三维CT图像;所述随机噪声服从正态分布或均匀分布;
[0129] (4.3)将SVM分类器判断为脑出血的三维CT图像和三维生成器G生成的新样本分别输入三维判别器D,三维判别器D判断输入样本是由三维生成器G生成的新样本还是真实数据样本;
[0130] (4.4)根据真实数据样本与生成样本训练三维判别器D,使三维判别器D对输入数据来源的判别准确率最大化,同时,结合生成条件训练三维生成器G,使三维判别器D对输入数据来源于真实数据或生成数据的判别准确率最小化,使三维生成器G输出具备真实病理特征的三维CT图像;提取三维判别器D中间隐含层的特征图输入至三维分类器C,并根据输入的特征图训练三维分类器C的损失函数达到最小值,从而使三维生成器G输出图像满足生成条件;设置训练次数为Nsum;
[0131] 通过优化三维条件式生成对抗网络的图像质量损失函数,使得融合了生成条件的随机噪声通过三维生成器G后,生成新样本的分布等于真实数据样本的概率分布;
[0132] 三维条件式生成对抗网络的图像质量损失函数定义如下:
[0133]
[0134] 其中,E(·)表示计算的期望值;pdata(x)表示真实数据的分布,x为服从pdata(x)分布的一个采样点;pz(z)表示随机噪声分布,采用正态分布或均匀分布,z为服从pz(z)分布的一个采样点;G(z|GT)表示随机噪声和生成条件进行融合后通过三维生成器G生成的数据;D(G(z|GT))和D(x)分别表示生成数据和真实数据通过三维判别器D的输出值。
[0135] 三维分类器C的损失函数定义如下:
[0136]
[0137] 其中,n表示生成条件的的数量,C(G(z|GT))和C(x)分别表示生成数据和真实数据通过三维分类器C的输出值;分别计算C(G(z|GT))和C(x)与生成条件GT之间的均方误差(Mean Square Error,MSE)。
[0138] 通过将三维分类器和三维判别器共享特征提取模型参数的方式减少整体的计算量。
[0139] (4.5)当达到训练次数后,对抗网络模型达到纳什均衡,模型训练结束;最终使得融合了生成条件的随机噪声通过三维生成器G后,生成新样本的分布等于真实数据样本的概率分布;通过三维生成器G输出具备真实病理特征并且满足生成条件的三维CT图像,根据三维生成器G输出的预测三维CT图像,结合原始三维CT图像对患者脑部血块随时间扩散或被人体吸收情况的预测。
[0140] 本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨的情况下,还可以做出很多变形,这些均属于本发明的保护之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈