技术领域
[0001] 本
发明涉及医学
图像分析技术领域，具体涉及一种基于时空循环注意力机制的CT淋巴结检测系统。
背景技术
[0002] 在将
深度学习模型应用到医学图像分析领域时，鉴于医学图像特殊的成像特点，模型往往受到医学分析目标的不同大小、形状、尺度、成像
质量、背景组织器官等情况的影响，分析准确性有待提高。
[0003] 视觉注意力机制可以模仿人眼对视觉信息特有的关注机制，能够对感兴趣区域进行准确
定位，进一步克服无关信息对模型的影响。有鉴于此，本发明将传统的面向自然图像的深度视觉注意力模型应用到淋巴结CT序列图像中，对淋巴结进行真
假阳性分类，以提高深度学习方法在病灶检测方面的准确度。
发明内容
[0004] 本发明的目的是针对上述不足，提出了一种基于循环注意力机制，根据CT图像呈现序列化特点，基于高斯核函数和混合
密度网络，融合空间向、切片向两个维度的视觉注意力过程的CT淋巴结检测系统。
[0005] 本发明具体采用如下技术方案：
[0006] 一种基于时空循环注意力机制的CT淋巴结检测系统，包括训练样本提取模
块、深层特征提取网络、特征嵌入网络和时空循环注意力目标检测模块，检测过程包括以下步骤：
[0007] 步骤一：利用训练样本提取模块对获取到的淋巴结dcm格式文件及对应的淋巴结标注
位置坐标信息，采用python中的pydicom模块对每个淋巴结
抽取出长度为L，宽为W、高为H的CT切片图像块序列Ii(i＝1,2,...,L)，
[0008] 步骤二：基于深层特征提取网络，利用由自然图像预训练好的VGG-16模型对每一淋巴结的CT切片图像块序列提取出其对应的高层空间特征图谱序列，记为{X0,...,XL}；
[0009] 步骤三：构建特征嵌入网络，对输入的高层特征图谱序列进行
降维，输出特征图谱Ai；
[0010] 步骤四：
构建时空循环注意力
框架，基于循环神经网络和高斯核函数，执行空间注意力机制，获得空间注意力结果
[0011] 步骤五：对步骤四获得的空间注意力结果 实施时间注意力机制，得到时空注意力特征
[0012] 步骤六：综合步骤五得到的时空注意力特征 利用步骤四已构建的循环神经网络预测出此循环注意力
迭代步的淋巴结阳性得分
[0013] 步骤七：构建模型的损失函数，重复T次步骤四至步骤六，利用梯度反向传播
算法，对模型进行有监督训练；
[0014] 步骤八：重复步骤三至七，对模型进行迭代训练，直至训练结束，得到训练好的模型；
[0015] 步骤九：输入待检测的淋巴结CT序列，进行模型推理过程，将最后一次循环注意力输出的阳性得分 作为CT淋巴结检测结果。
[0016] 优选地，所述步骤四具体包括以下步骤：
[0017] 步骤4.1：构建两层长短时循环记忆网络；
[0018] 步骤4.2：构造特征图谱的编码过程，对长短时循环记忆网络的状态进行初始化；
[0019] 步骤4.3：利用一发射网络，预测出在特征图谱范围内的空间注意力位置；
[0020] 步骤4.4：基于二维高斯核函数，构造出注意力矩阵l(t)；
[0021] 步骤4.5：l(t)与Ai逐元素相乘，并求和，获得空间注意力结果特征[0022] 优选地，在步骤4.1中，循环神经网络是基于两层结构的长短时循环记忆网络构建，
隐藏层表达式由如式(1)所示，
[0023]
[0024] 其中： 对应的Rrecur(·)展开为式(2)：
[0025]
[0026] 其中，it，ft，ot分别代表输入
门，遗忘门和输出门；ct，ht分别表示细胞状态和隐藏层状态； 表示第t步注意力机制输入到长短时循环记忆网络的
特征向量； 为一个由可训练参数构成的仿射变换，a＝d+E，b＝4d；d为it,ft,ot,gt,ct和ht对应的相同向量维数，E为输入特征降维后的维数，将上述Rrecur(·)中的 替换成 后得到 对应的Rrecur(·)。
[0027] 优选地，所述步骤4.2具体包括如下步骤：
[0028] 步骤4.2.1：构造与(1)式相同结构的一新的双层长短时循环记忆网络；
[0029] 步骤4.2.2：将步骤3中每个淋巴结CT切片序列正中心位置处对应的特征图谱Amid，按照空间邻域进行划分；具体将8×8×200按相邻四个位置为一组，总共分成16个2×2×200个子特征块；
[0030] 步骤4.2.3:对将该16个子特征块按照从外向内顺
时针顺序依次输入到新的双层长短时循环记忆网络中，经过16次循环，获取最后时刻LSTM第二层对应的细胞状态 用来初始化步骤4.1中的长短时循环记忆网络第二层细胞状态
[0031] 优选地，所述步骤4.3具体包括如下步骤：
[0032] 步骤4.3.1：将长短时循环记忆网络的第一层隐藏层输出特征向量 和循环注意力迭代步中切片序列中心对应的特征结果 进行
串联，得到
[0033] 步骤4.3.2：将 输入到由一层全连接层构成的发射网络，对下一循环迭代步空间注意力位置进行回归，由式(3)所示：
[0034]
[0035] 其中： 表示为t+1时刻预测的注意力位置坐标，此处将高斯核函数方差 设为固定值0.1，故 只对应两个输出结点。
[0036] 优选地，所述步骤4.4中，在得到注意力位置坐标 之后，利用二维高斯核函数和softmax构建注意力模板矩阵，具体为式(4)所示，
[0037]
[0038] 其中， 为Ai范围内归一化到区间[0,1]的离散的等间隔位置坐标；C为高斯归一化常数，为固定值10。
[0039] 优选地，所述步骤五具体包括以下步骤：
[0040] 步骤5.1：构建混合密度网络，根据预测切片方向的注意力位置
[0041] 步骤5.2：基于高斯混合分布，获得注意力权重向量l′(t)；
[0042] 步骤5.3：将l′(t)与输入特征 逐元素相乘并相加，获得时间注意力结果特征[0043] 优选地，所述步骤5.1中，具体包括以下步骤：
[0044] 步骤5.1.1：将每个淋巴结对应的序列特征 等分成左、右两半部分，即[0045] 步骤5.1.2：由一层全连接隐藏层构成混合密度网络，用以回归时间注意力位置坐标及混合高斯函数参数，采用式(5)表示：
[0046]
[0047] 其中， 表示 的左半部或右半部； 表示混合密度网络的训练参数，C表示序列左半部和右半部对应的高斯混合模型的分量数，σ为sigmoid函数；
[0048] 步骤5.1.3：对左半部和右半部各自回归系数 均按的规则分配该系数到混合高斯模型中；
[0049] 步骤5.1.4：采用式(6)将μLeft限制在[0,0.5)，将μRight限制在(0.5,1]内。
[0050] μLeft←μLeft×0.5,μRight←0.5×(1+μRight) (6)
[0051] 优选地，所述步骤5.2中，具体包括以下步骤：
[0052] 步骤5 .2 .1：利用softmax，归一化各高斯分量的系数 即并将所有高斯分量的方差 固定为0.1；
[0053] 步骤5.2.2：综合左、右半部切片特征向量导出的混合高斯模型参数依照式(7)获得对应的时间注意力权重向量
[0054]
[0055] 其中，Ν为高斯混合密度函数：
[0056]
[0057]
[0058] 优选地，在步骤七中，模型有监督训练的目标函数经过以下步骤获得：
[0059] 步骤7.1：构建分类损失函数；考察所有循环注意力迭代步对应的交叉熵损失函数，由式(9)给出：
[0060]
[0061] 其中：yi， 分别为真实和预测的淋巴结阳性得分，为总的循环注意力迭代次数；
[0062] 步骤7.2：构建空间注意力机制预测位置的惩罚项，具体包括如下两步：
[0063] 步骤7.2.1：构建位置“集中”约束项，依照淋巴结位于切片中心位置处这一先验信息，基于Batch Normalization，将预测的空间注意力位置约束到特征图谱中心周围，由式(10)给出：
[0064]
[0065] 其中，
[0066]
[0067] 其中，β，γ为Batch Normalization引入的可训练参数；d为发射网络的输出维数；m为批样本容量；
[0068] 步骤7.2.2：构建位置“发散”约束项；通过整个循环注意力过程中预测的各个位置对均匀分布的交叉熵损失函数进行构造，具体如式(11)所示：
[0069]
[0070] 其中，pUnif～Uniform(0,K2)表示分布在特征图谱空间范围内的均匀分布；常量Const置为1；
[0071] 步骤7.3：构建时间注意力机制预测位置的惩罚项；对预测位置施加“集中”约束项，对混合密度网络同样引入Batch Normalization层，并最小化式(10)，使得切片方向左、右半部关注位置
[0072] 步骤7.4：构建模型最终的整体损失函数，如式(12)所示：
[0073]
[0074] 本发明具有如下有益效果：
[0075] 本发明采用循环注意力机制，对淋巴结CT图像高层空间特征进行加权提取，能够自适应处理3D病灶
体素信息，无需引入而外的位置标签信息。发明是基于高斯核函数，模型规模较小，整体可导，方便利用反向传播算法训练。对淋巴结检测结果较为理想，具有很好的技术价值和应用前景。
附图说明
[0077] 图2为本发明各部分结构图；
[0078] 图3为特征图谱编码序列示意图；
[0079] 图4为对称的混合密度网络MDN结构图；
[0080] 图5为循环神经网络在训练阶段时的正向，反向传播示意图；
[0081] 图6为实施空间注意力机制实例图；
[0082] 图7为实施时间注意力机制实例图；
[0083] 图8为本发明与基准模型的FROCs和AUC对比图；
[0084] 图9为本发明与其他模型的性能对比图。
具体实施方式
[0085] 下面结合附图和具体
实施例对本发明的具体实施方式做进一步说明：
[0086] 为克服不同淋巴结病灶区域及复杂背景对检测结果的影响，该系统采用循环注意力机制，根据CT图像呈现序列化特点，基于高斯核函数和混合密度网络，模型融合空间向、切片向两个维度的视觉注意力过程。此外，利用病灶区域位置的先验分布，对预测的时空注意力位置进行了约束。
[0087] 结合附图，一种基于时空循环注意力机制的CT淋巴结检测系统，包括训练样本提取模块、深层特征提取网络、特征嵌入网络和时空循环注意力目标检测模块，检测过程包括以下步骤：
[0088] 步骤一：利用训练样本提取模块对获取到的淋巴结dcm格式文件及对应的淋巴结标注位置坐标信息，采用python中的pydicom模块对每个淋巴结抽取出长度为L，宽为W、高为H的CT切片图像块序列Ii(i＝1,2,...,L)，
[0089] 采用的数据集为TCIA(The Cancer Imaging Archive)提供的CT淋巴结数据集，其中包含有90个病人的389个纵膈淋巴结以及与之对应的3208例假阳性样本，86个病人的595个
腹腔淋巴结以及与其对应的3484例假阳性样本。根据CT淋巴结的先验统计信息，抽取的每个淋巴结对应的CT切片序列长度L＝9，即以每个淋巴结中心为对称轴，前向和后向分别抽取四个相邻切片组成序列。且此处固定W＝H＝32，在空间域中，图像块的中心即对应于CT淋巴结标注的位置坐标。
[0090] 步骤二：基于深层特征提取网络，利用由自然图像预训练好的VGG-16模型对每一淋巴结的CT切片图像块序列提取出其对应的高层空间特征图谱序列，记为{X0,...,XL}；
[0091] 预训练CNN模型选用基于ImageNet数据集训练的Inception-V3模型。且高层特征选取其倒数第二层卷积层，提取到的特征维数为8×8×1280。
[0092] 步骤三：构建特征嵌入网络，对输入的高层特征图谱序列进行降维，输出特征图谱Ai；
[0093] 构建的特征嵌入网络由一层全连接层构成，即1×1卷积，且输出维度置为200。单个特征图谱的降维过程由(13)式表示。
[0094] Ai＝tanh(WEmXi+b) (13)
[0095] 其中： 为训练参数。 为降维后的特征图谱，E＝200，K＝8。
[0096] 步骤四：构建时空循环注意力框架，基于循环神经网络和高斯核函数，执行空间注意力机制，获得空间注意力结果
[0097] 步骤四具体包括以下步骤：
[0098] 步骤4.1：构建两层长短时循环记忆网络(Long Short-Term Memory,LSTM)；
[0099] 在步骤4.1中，循环神经网络是基于两层结构的长短时循环记忆网络构建，隐藏层表达式由如式(1)所示，
[0100]
[0101] 其中： 对应的Rrecur(·)展开为式(2)：
[0102]
[0103] 其中，it，ft，ot分别代表输入门，遗忘门和输出门；ct，ht分别表示细胞状态和隐藏层状态； 表示第t步注意力机制输入到长短时循环记忆网络的特征向量； 为一个由可训练参数构成的仿射变换，a＝d+E，b＝4d；d为it,ft,ot,gt,ct和ht对应的相同向量维数，E为输入特征降维后的维数，将上述Rrecur(·)中的 替换成 后得到 对应的Rrecur(·)
[0104] 步骤4.2：构造特征图谱的编码过程，对长短时循环记忆网络的状态进行初始化；
[0105] 步骤4.2具体包括如下步骤：
[0106] 步骤4.2.1：构造与(1)式相同结构的一新的双层长短时循环记忆网络；
[0107] 步骤4.2.2：将步骤3中每个淋巴结CT切片序列正中心位置处对应的特征图谱Amid，按照空间邻域进行划分；具体将8×8×200按相邻四个位置为一组，总共分成16个2×2×200个子特征块；
[0108] 步骤4.2.3:对将该16个子特征块按照从外向内顺时针顺序依次输入到新的双层长短时循环记忆网络中，经过16次循环，获取最后时刻LSTM第二层对应的细胞状态 用来初始化步骤4.1中的长短时循环记忆网络第二层细胞状态
[0109] 步骤4.3：利用一发射网络，预测出在特征图谱范围内的空间注意力位置；
[0110] 步骤4.3具体包括如下步骤：
[0111] 步骤4.3.1：将长短时循环记忆网络的第一层隐藏层输出特征向量 和循环注意力迭代步中切片序列中心对应的特征结果 进行串联，得到 此处，令
[0112] 步骤4.3.2：将 输入到由一层全连接层构成的发射网络，对下一循环迭代步空间注意力位置进行回归，由式(3)所示：
[0113]
[0114] 其中： 表示为t+1时刻预测的注意力位置坐标，此处将高斯核函数方差 设为固定值0.1，故 只对应两个输出结点。
[0115] 步骤4.4：基于二维高斯核函数，构造出注意力矩阵l(t)；
[0116] 步骤4.4中，在得到注意力位置坐标 之后，利用二维高斯核函数和softmax构建注意力模板矩阵，具体为式(4)所示，
[0117]
[0118] 其中， 为Ai范围内归一化到区间[0,1]的离散的等间隔位置坐标；C为高斯归一化常数，为固定值10。
[0119] 步骤4.5：l(t)与Ai逐元素相乘，并求和，获得空间注意力结果特征[0120] 步骤五：对步骤四获得的空间注意力结果 实施时间注意力机制，得到时空注意力特征
[0121] 步骤五具体包括以下步骤：
[0122] 步骤5.1：构建混合密度网络，根据预测切片方向的注意力位置
[0123] 步骤5.1中，具体包括以下步骤：
[0124] 步骤5.1.1：将每个淋巴结对应的序列特征 等分成左、右两半部分，即[0125] 步骤5.1.2：由一层全连接隐藏层构成混合密度网络(Mixture Density Networks,MDN)，用以回归时间注意力位置坐标及混合高斯函数参数，采用式(5)表示：
[0126]
[0127] 其中， 表示 的左半部或右半部； 表示混合密度网络的训练参数，C表示序列左半部和右半部对应的高斯混合模型的分量数，σ为sigmoid函数；
[0128] 步骤5.1.3：对左半部和右半部各自回归系数 均按的规则分配该系数到混合高斯模型中；
[0129] 步骤5.1.4：采用式(6)将μLeft限制在[0,0.5)，将μRight限制在(0.5,1]内。
[0130] μLeft←μLeft×0.5,μRight←0.5×(1+μRight) (6)
[0131] 步骤5.2：基于高斯混合分布，获得注意力权重向量l′(t)；
[0132] 步骤5.2中，具体包括以下步骤：
[0133] 步骤5 .2 .1：利用softmax，归一化各高斯分量的系数 即并将所有高斯分量的方差 固定为0.1；
[0134] 步骤5.2.2：综合左、右半部切片特征向量导出的混合高斯模型参数依照式(7)获得对应的时间注意力权重向量
[0135]
[0136] 其中，Ν为高斯混合密度函数：
[0137]
[0138]
[0139] 步骤5.3：将l′(t)与输入特征 逐元素相乘并相加，获得时间注意力结果特征[0140] 步骤六：综合步骤五得到的时空注意力特征 利用步骤四已构建的循环神经网络预测出此循环注意力迭代步的淋巴结阳性得分
[0141] 步骤七：构建模型的损失函数，重复T次步骤四至步骤六，利用梯度反向传播算法，对模型进行有监督训练；
[0142] 在步骤七中，模型有监督训练的目标函数经过以下步骤获得：
[0143] 步骤7.1：构建分类损失函数；考察所有循环注意力迭代步对应的交叉熵损失函数，由式(9)给出：
[0144]
[0145] 其中：yi， 分别为真实和预测的淋巴结阳性得分，为总的循环注意力迭代次数；
[0146] 步骤7.2：构建空间注意力机制预测位置的惩罚项，具体包括如下两步：
[0147] 步骤7.2.1：构建位置“集中”约束项，依照淋巴结位于切片中心位置处这一先验信息，基于Batch Normalization，将预测的空间注意力位置约束到特征图谱中心周围，由式(10)给出：
[0148]
[0149] 其中，
[0150]
[0151] 其中，β，γ为Batch Normalization引入的可训练参数；d为发射网络的输出维数；m为批样本容量；
[0152] 步骤7.2.2：构建位置“发散”约束项；通过整个循环注意力过程中预测的各个位置对均匀分布的交叉熵损失函数进行构造，具体如式(11)所示：
[0153]
[0154] 其中，pUnif～Uniform(0,K2)表示分布在特征图谱空间范围内的均匀分布；常量Const置为1；
[0155] 步骤7.3：构建时间注意力机制预测位置的惩罚项；对预测位置施加“集中”约束项，对混合密度网络同样引入Batch Normalization层，并最小化式(10)，使得切片方向左、右半部关注位置
[0156] 步骤7.4：构建模型最终的整体损失函数，如式(12)所示：
[0157]
[0158] 步骤八：重复步骤三至七，对模型进行迭代训练，直至训练结束，得到训练好的模型；
[0159]
训练数据由真假阳性样本按等比例构成，模型在测试时采用3次交叉验证。模型的各超参数按如下数值进行设置：①式(12)中，λ1＝1，λ2＝0.5；②循环注意力机制每次循环次数T＝8。③式(5)中的序列左半部和右半部对应的高斯混合模型的分量数C＝1，即总的分量数为3，分别对应序列左、中、右三个子部分。④训练批样本容量为20，初始学习率置为0.1，每25次周期降低0.1，总共200次训练周期。
[0160] 步骤九：输入待检测的淋巴结CT序列，进行模型推理过程，将最后一次循环注意力输出的阳性得分 作为CT淋巴结检测结果。
[0161] 图6为实施空间注意力机制实例图。可以看出，在空间注意力位置约束项及其合理的超参数设置下，注意力位置较为准确的落入到淋巴结边界附近。
[0162] 图7为实施时间注意力机制实例图。图中：前两例对应真阳性结节，后两例为假阳性。底部条形图为模型对序列中各切片预测的自适应权值。在时间注意力位置约束项的作用下，模型能够较为准确地自适应定位到不同结节大小对应的切片边界。从而提取出与淋巴结相关的上下文特征信息。
[0163] 图8为本发明与基准模型的FROCs和AUC对比图。此处基准模型为未采用循环注意力机制的双层LSTM模型。为公平对比，其结构与步骤4.1中的LSTM一致。Sequence＝1代表基准模型只抽取淋巴结中心切片，循环次数T＝1模型从而退
化成经典的CNN结构。Sequence＝1即代表基准模型循环九次。从图中可以看出，本发明对应的FROCs和AUC表现均为最佳。
[0164] 图9为本发明与其他模型的性能对比图。表中：带有“*-H”的符号表示输入图像尺寸对应为高
分辨率(256×256)；“*-L”代表低分辨率(64×64)；“*-RI”表示模型从头开始训练；“*-TL”为模型参数从ImageNet数据集中迁移而来。从表格中可以看出，按照AUC和TPR/3FP为性能度量标准，本发明对胸腔及腹腔淋巴结的分类准确率均为最高。
[0165] 当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，
本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。
