一种多模态超声图像前列腺癌分类方法、装置及相关组件
| 专利类型 | 发明公开 | 法律事件 | 公开; 实质审查; |
| 专利有效性 | 实质审查 | 当前状态 | 实质审查 |
| 申请号 | CN202410647361.9 | 申请日 | 2024-05-23 |
| 公开(公告)号 | CN118570529A | 公开(公告)日 | 2024-08-30 |
| 申请人 | 深圳大学; | 申请人类型 | 学校 |
| 发明人 | 王毅; 吴泓; | 第一发明人 | 王毅 |
| 权利人 | 深圳大学 | 权利人类型 | 学校 |
| 当前权利人 | 深圳大学 | 当前权利人类型 | 学校 |
| 省份 | 当前专利权人所在省份：广东省 | 城市 | 当前专利权人所在城市：广东省深圳市 |
| 具体地址 | 当前专利权人所在详细地址：广东省深圳市南山区粤海街道南海大道3688号 | 邮编 | 当前专利权人邮编：518000 |
| 主IPC国际分类 | G06V10/764 | 所有IPC国际分类 | G06V10/764 ; G06V10/774 ; G06V10/26 ; G16H30/00 |
| 专利引用数量 | 0 | 专利被引用数量 | 0 |
| 专利权利要求数量 | 10 | 专利文献类型 | A |
| 专利代理机构 | 深圳市精英专利事务所 | 专利代理人 | 李珂; |
| 摘要 | 本 发明 实施例 提供了一种多模态超声图像 前列腺癌 分类方法、装置及相关组件，该分类方法通过两个 编码器 分别对灰度弹性图像和B超图像进行特征提取，将提取到的特征输入至混合注意 力 模 块 进行特征权重校正，从而对输出特征进行分类和分割，从而得到分类结果和分割结果，再对分类结果和分割结果进行监督。本实施例的分类方法使用了混合注意力模块对两个图像进行特征权重校正，以及使用了分割模块对输出特征进行分割，从而对分类结果和分割结果进行监督，使得最终的分类结果更准确，从而提高了前列腺癌的识别精确率。 | ||
| 权利要求 | 1.一种多模态超声图像前列腺癌分类方法，其特征在于，包括： |
||
| 说明书全文 | 一种多模态超声图像前列腺癌分类方法、装置及相关组件技术领域[0001] 本发明涉及前列腺癌图像分类技术领域，尤其涉及一种多模态超声图像前列腺癌分类方法、装置及相关组件。 背景技术[0002] 前列腺癌(Prostate Cancer，PCa)是一种常见的癌症，根据病理表现将前列腺癌分为临床显著性前列腺癌(clinically significant PCa，csPca)和临床非显著性前列腺癌(clinically insignificantPCa，cisPCa)。由于csPCa预后较差，需要及时干预和治疗，在现有技术中，通常通过前列腺活检来诊断前列腺癌，前列腺活检可检出csPCa，但医护人员无法准确判断哪些患者是csPCa的高危人群，仅依靠提高活检率来保证csPCa的检测，必然会导致很多不必要的活检，从而导致过度检测良性前列腺肥大或cisPCa，增加患者的痛苦和负担，造成医疗资源的极大浪费。 [0003] 因此，任何疑似PCa的患者在活检前都应进行多参数磁共振成像(mp‑MRI)检查或经直肠超声检查以识别csPCa患者，但mp‑MRI的和经直肠超声的检查方法操作复杂且成本昂贵。于是，技术人员通过使用图像分类方法对csPCa图像进行分类以识别csPCa患者，但现有的图像分类方法识别精确率低，而且，目前尚没有基于深度学习技术，利用多模态超声图像的进行临床显著性前列腺癌分类的研究。 发明内容[0004] 本发明实施例提供了一种多模态超声图像前列腺癌分类方法、装置及相关组件，旨在解决现有的图像分类方法识别精确率低的问题。 [0005] 第一方面，本发明实施例提供了一种多模态超声图像前列腺癌分类方法，包括： [0006] 获取包含超声弹性图像和B超图像的数据集，并对所述超声弹性图像进行预处理，得到灰度弹性图像； [0008] 对所述输出特征进行平均池化处理和全连接层处理，得到分类结果； [0009] 利用分割模块对所述输出特征进行分割，得到分割结果； [0010] 对所述分类结果和分割结果进行监督。 [0011] 第二方面，本发明实施例提供了一种多模态超声图像前列腺癌分类装置，用于实现如前所述的多模态超声图像前列腺癌分类方法，包括： [0012] 获取单元，用于获取包含超声弹性图像和B超图像的数据集，并对所述超声弹性图像进行预处理，得到灰度弹性图像； [0013] 提取单元，用于利用两个编码器分别对所述灰度弹性图像和B超图像进行特征提取，并利用混合注意力模块对提取的特征进行特征权重校正，得到输出特征； [0014] 分类单元，用于对所述输出特征进行平均池化处理和全连接层处理，得到分类结果； [0015] 分割单元，用于利用分割模块对所述输出特征进行分割，得到分割结果； [0016] 修正单元，用于利用原型修正模块对所述输出特征进行原型修正和激活，得到伪标签； [0017] 监督单元，用于对所述分类结果和分割结果进行监督。 [0018] 第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前所述的多模态超声图像前列腺癌分类方法。 [0019] 第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的多模态超声图像前列腺癌分类方法。 [0020] 本发明实施例提供了一种多模态超声图像前列腺癌分类方法、装置及相关组件，该分类方法通过两个编码器分别对灰度弹性图像和B超图像进行特征提取，将提取到的特征输入至混合注意力模块进行特征权重校正，从而对输出特征进行分类和分割，得到分类结果和分割结果，再对分类结果和分割结果进行监督。本实施例的分类方法使用了混合注意力模块对两个图像进行特征权重校正，以及使用分割模块对输出特征进行分割，从而对分类结果和分割结果进行监督，使得最终的分类结果更准确，从而提高了前列腺癌的识别精确率。附图说明 [0021] 为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。 [0022] 图1为本发明实施例提供的一种多模态超声图像前列腺癌分类方法的流程示意图； [0023] 图2为本发明实施例提供的一种多模态超声图像前列腺癌分类方法的子流程示意图； [0024] 图3为本发明实施例提供的一种多模态超声图像前列腺癌分类方法的另一子流程示意图； [0025] 图4为本发明实施例提供的混合注意力模块的原理图； [0026] 图5为本发明另一实施例提供的一种多模态超声图像前列腺癌分类方法的流程示意图； [0027] 图6为本发明另一实施例提供的一种多模态超声图像前列腺癌分类方法的子流程示意图； [0028] 图7为本发明实施例提供的原型修正模块的原理图； [0029] 图8为本发明实施例提供的一种多模态超声图像前列腺癌分类方法的的逻辑示意图； [0030] 图9为本发明实施例提供的一种多模态超声图像前列腺癌分类装置的示意性框图。 具体实施方式[0031] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。 [0032] 应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。 [0033] 还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。 [0034] 还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。 [0035] 请参阅图1，本发明实施例提供一种多模态超声图像前列腺癌分类方法，包括步骤S10‑S50： [0036] S10、获取包含超声弹性图像和B超图像的数据集，并对所述超声弹性图像进行预处理，得到灰度弹性图像； [0037] 本步骤中，多模态超声图像包括超声弹性图像和B超图像，其中，超声弹性图像是一种包含纯弹性图像的信息和B超图像的信息的图像，超声弹性图像是通过剪切波弹性成像得到，剪切波弹性成像是一种用于评估组织弹性或硬度的技术，通过向组织施加外部的剪切波，然后观察剪切波的传播速度和形态的变化，得到超声弹性图像，从而推断组织的弹性特性。为了使分类结果更准确，需要使用纯弹性图像进行后续的实施处理，即通过对超声弹性图像进行预处理，以获取其中的纯弹性图像的信息，从而将纯弹性图像经过灰度重建，得到灰度弹性图像。 [0038] 在一实施例中，如图2所示，步骤S10包括S11‑S13： [0039] S11、选择预定尺寸的超声弹性图像和B超图像并进行归一化； [0040] S12、将所述超声弹性图像减去所述B超图像，得到纯弹性图像； [0042] 本步骤中，根据数据集选择预定尺寸的超声弹性图像和B超图像进行缩放，并对两种图像的数据分布进行归一化，然后对超声弹性图像进行预处理，具体处理过程为：将超声弹性图像减去对应的B超图像，得到纯弹性图像，然后将纯弹性图像与颜色棒进行色度匹配，以使纯弹性图像的色彩一致，再将色度匹配后的纯弹性图像转为灰度图生成重建后的灰度弹性图像，将得到的灰度弹性图像和B超图像用于后续实施过程。 [0043] S20、利用两个编码器分别对所述灰度弹性图像和B超图像进行特征提取，并利用混合注意力模块对提取的特征进行特征权重校正，得到输出特征； [0044] 本步骤中，编码器设置有两个且分别为用于处理所述灰度弹性图像的灰度编码器和用于处理所述B超图像的B超编码器，且每一个所述编码器包括对应的多个Block，具体的，灰度编码器和B超编码器均采用ResNet50网络，为使分类结果更好，优选采用两个不共享权重的3D ResNet50网络分别对灰度弹性图像和B超图像进行特征提取，这两个3D ResNet50网络均包括4个Block，这4个Block一一对应，且每个Block均包含卷积操作、激活操作、标准化操作以及池化操作。 [0045] 在具体的实施过程中，将其中一个3D ResNet50网络对灰度弹性图像进行特征提取，该3D ResNet50网络的每个Block提取的特征为弹性提取特征，另一个3D ResNet50网络对B超图像进行特征提取，该3D ResNet50网络中每个Block提取的特征为B超提取特征，每个Blcok提取的特征(即弹性提取特征和B超提取特征)都会进入注意力模块进行特征权重校正，然后加上输入混合注意力模块前的特征进行融合后，再进入下一个Block，从而得到对应Block的输出特征。在第一个Block经混合注意力模块处理并输出时，输出的特征的通道数量为64且图像(灰度弹性图像和B超图像)的尺寸变为原来图像的1/4，之后经过的每个Block，通道数量增加到原来的两倍且图像尺寸缩小为原来图像的1/2。 [0046] 在一实施例中，如图3所示，步骤S20包括S21‑S24： [0047] S21、将所述灰度编码器中每一Block的弹性提取特征以及所述B超编码器中对应每一Block的B超提取特征输入至自适应空间注意力模块得到弹性输出特征； [0049] S23、将所述B超编码器中每一Block的B超提取特征输入至维度注意力模块进行加权融合，并与所述弹性输出特征进行拼接，并进行卷积和激活，得到B超输出特征； [0050] S24、将所述B超输出特征与所述B超编码器中对应Block的B超提取特征融合，并输入到所述B超编码器的下一Block。 [0051] 本步骤中，混合注意力模块包括自适应空间注意力模块和维度注意力模块，其中，自适应空间注意力模块包括3个卷积块，每个卷积块包括卷积操作、激活操作以及标准化操作，维度注意力模块包括全连接层和激活操作。 [0052] 在步骤S21中，如图4所示(图4中， 表示像素乘法， 表示拼接， 表示像素加法)，引入了自适应空间注意力模块，通过像素乘法计算对应Block的弹性提取特征FE和B超提取特征FX的逐元素积，将逐元素积分别与对应的弹性提取特征FE和B超提取特征FX进行拼接，得到弹性拼接结果和B超拼接结果，并将弹性拼接结果和B超拼接结果均通过卷积块和激活后输出，将两个输出进行拼接后再次进行激活生成注意力权重图(包括弹性权重图和B超权重图)，将弹性权重图的注意力权值与弹性提取特征FE通过像素乘法进行融合并输出，以及将B超权重图的注意力权值与B超提取特征FX通过像素乘法进行融合并输出，将两个输出通过像素加法进行融合，得到弹性输出特征。 [0053] 在步骤S22中，将灰度编码器当前Block经过步骤S21得到的弹性输出特征与当前Block的弹性提取特征通过像素加法融合，将融合后的结果输入到下一Block中，再次执行步骤S21，直至将所有Block的弹性提取特征进行校正并输出。 [0054] 在步骤S23中，如图4所示，引入了维度注意力模块来加强3D ResNet50网络对B超提取特征FX的利用，利用维度注意力对B超提取特征FX进行重新加权并输出，将重新加权后H的输出与B超提取特征FX通过像素乘法进行融合，得到B超融合特征。具体来说，FX∈R×W×T×C 可以看作是C个B超提取特征的立方体，对于每个立方体，沿着三个不同的维度对其进H H W W T T 行平均池化，得到三个向量F∈R，F ∈R和F ∈R，采用挤压‑激励的方式计算注意力得分sD： [0055] sD＝σ(FC(FD)),D∈{H,W,T} [0056] 其中，FC为全连接层，σ为激活操作，H,W,T为三个不同的维度，D属于三个维度中的D一个，F为三个不同维度的向量； [0057] 根据注意力得分sD对B超提取特征FX进行重新加权并输出，将重新加权后的输出与B超提取特征FX通过像素乘法进行融合，得到B超融合特征，将B超融合特征与弹性输出特征进行拼接，然后通过卷积块和激活操作，得到B超输出特征。 [0058] 在步骤S24中，将B超编码器当前Block经过步骤S23后得到的B超输出特征与当前Block的B超提取特征融合，将融合后的结果输入到下一Block中，再次执行步骤S23，直至将所有Block的B超提取特征进行校正并输出。 [0059] 总结来说，如图4和图8所示，两个3D ResNet50网络均包括4个Block，其中一个3D ResNet50网络包括依次连接的Block1、Block2、Block3、Block4(Block4为最后一个)，用来处理B超图像，另一个3D ResNet50网络包括依次连接的Block5、Block6、Block7、Block8(Block8为最后一个)，用于处理灰度弹性图像，其中，Block1与Block5对应，Block2与Block6对应，Block3与Block7对应，Block4与Block8对应。 [0060] 首先，将经Block1提取的弹性提取特征FX以及Block5提取的B超提取特征FE，输入到混合注意力模块，得到第一个弹性输出特征和第一个B超输出特征，然后将Block1提取的弹性提取特征与第一个弹性输出特征相加并输入到Block2，以及将Block5提取的B超提取特征与第一个B超输出特征相加并输入到Block6；Block2提取的弹性提取特征以及Block6提取的B超提取特征，输入到混合注意力模块，得到第二个弹性输出特征和第二个B超输出特征，然后将Block2提取的弹性提取特征与第二个弹性输出特征相加，并输入到Block3，以及将Block6提取的B超提取特征与第二个B超输出特征相加，并输入到block7，以此类推。 [0061] S30、对所述输出特征进行平均池化处理和全连接层处理，得到分类结果； [0062] 前述步骤得到的输出特征包括最后一个Block输出的弹性输出特征和B超输出特征，本步骤中只需使用最后一个Block输出的B超输出特征进行平均池化处理和全连接层处理，使其进行准确地分类，并生成分类结果，通过分类结果提高前列腺癌的识别精确率。 [0063] 在一实施例中，步骤S30包括： [0064] 对最后一个Block的B超输出特征进行平均池化处理和全连接层处理，得到分类结果。 [0065] 本步骤中，主要针对B超编码器最后一个Block的输出特征(也即第四个B超输出特征)进行平均池化处理和全连接层处理，通过对最后一个Block的B超输出特征进行平均池化处理，可以将两个输出特征中的空间信息进行压缩和汇总，得到更高层次的特征表示，通过全连接层处理，将这些特征映射到类别空间，以得到更准确的分类结果。 [0066] S40、利用分割模块对所述输出特征进行分割，得到分割结果； [0067] 本步骤为帮助两个编码器能够提取到更有辨识性的特征，添加了分割任务，通过分割模块对B超输出特征进行分割，从而得到分割结果。 [0068] 在一实施例中，步骤S40包括： [0069] 利用解码器对最后一个Block的B超输出特征进行解码，得到分割结果； [0070] 本步骤中，通过一个具有跳过连接的3D U‑Net解码器作为分割模块来执行分割任务，以帮助3D ResNet50网络提取更多的特征用以得到更准确的分类结果。其中，3D U‑Net解码器包括4个解码模块，每个解码模块包含两个卷积块，每个卷积块包含卷积操作、激活操作和标准化操作。最后一个Block的B超输出特征经过每个解码模块后均得到解码特征，而在将最后一个Block的B超输出特征输入解码模块前需要经过转置卷积上采样到原来图像尺寸的2倍，并使用跳跃连接将解码特征与对应尺寸的图像拼接，经过4个解码模块后，图像恢复至原尺寸，并得到分割结果，其中，分割结果包括有标注数据的分割结果和无标注数据的分割结果。 [0071] S50、对所述分类结果和分割结果进行监督。 [0072] 本步骤中，分割结果是对分类结果的进一步优化，为了使分类结果更准确，优选对两个结果进行监督，从而得到最终的分类结果。 [0073] 在一实施例中，如图5所示，步骤S50包括S51‑S55： [0074] S51、利用原型修正模块对最后一个Block的B超输出特征进行原型修正和激活生成伪标签； [0075] S52、对于所述数据集中包含临床显著性前列腺癌的数据，确定所述数据中有标注数据和无标注数据； [0076] S53、对于无标注数据，使用所述伪标签对无标注数据的分割结果进行监督； [0077] S54、对于有标注数据，使用掩膜对有标注数据的分割结果进行监督； [0078] S55、对于所述对数据集中不包含临床显著性前列腺癌的数据，采用零进行监督。 [0079] 本步骤为对分割结果的监督过程，对于分割结果，使用掩膜和伪标签进行监督。在具体实施过程中，样本分为正样本和负样本，样本即为灰度弹性图像和B超图像，然后在图像上标出掩膜，标出的掩膜为分割标签，但由于掩膜数量较少，得到的csPCa数据的特征原型(即支持原型)不够全面，故引入了原型修正模块来修正特征原型。具体的，将包含csPCa的数据作为正样本，对于包含csPCa的数据，将带掩码的数据集(也即有标注数据)称为支持集(Xsupport，Ysupport)，其中，Ysupport表示对应的掩膜，Xsupport表示灰度弹性图像和B超图像，将不带掩码的数据集(也即无标注数据)称为查询集(Mquery)。对于有标注数据，使用掩膜对有标注数据的分割结果进行监督，对于无标注数据，由于其无掩膜(即不带掩码)，可通过伪标签对无标注数据的分割结果进行监督，伪标签的获取在后续步骤具体说明。将不包含临床显著性前列腺癌的数据作为负样本，将其表示为(Xneg)，并采用0进行监督，以便在训练过程中将这些数据正确地分类为负例，从而提高分割结果的准确性和可靠性。 [0080] 在一实施例中，如图6所示，步骤S51包括步骤S511‑S515： [0081] S511、针对基于所述有标注数据经最后一个Block的B超输出特征，通过平均池化得到支持原型； [0082] S512、针对基于所述无标注数据经最后一个Block的B超输出特征，得到查询特征； [0083] S513、计算所述支持原型与查询特征之间的相似度，并进行激活得到相似度图； [0084] S514、将所述相似度图与所述查询特征融合，并将融合结果与所述支持原型融合，得到融合原型； [0085] S515、对所述融合原型迭代多次后，再计算与所述查询特征之间的相似度，得到伪标签。 [0086] 本步骤为伪标签的生成过程，对于无标注数据，解码器也需要监督信号进行监督，所以通过伪标签作为监督信号进行监督。在实施过程中，可采用原型匹配的方法生成伪标签，但由于支持原型的局限，故引入了原型修正模块对最后一个Block的B超输出特征进行原型修正和激活，以获得质量更好的伪标签。具体的，如图7所示，使用掩膜(Ysupport)对最后一个Block的B超输出特征进行平均池化操作(MAP)： [0087] [0088] [0089] 其中，K表示Xsupport的个数，fθ表示编码器， 是B超输出特征，PS表示得到的支持集的支持原型； [0090] 无标注数据经过最后一个Block的B超输出特征为查询特征，按下式计算查询特征Fquery与支持原型PS之间的余弦相似度，并进行激活，从而获取相似度图Mquery： [0091] Mquery＝σ(sim(fθ(Fquery),PS)) [0092] 其中，σ为激活操作，sim()为余弦相似函数； [0093] 由于支持集的数量非常少，支持原型PS表示的特征并不全面，故引入了一个原型修正模块，原型修正模块不包含需要训练的参数，仅包含余弦相似度计算、像素乘法、像素加法以及softmax操作，所以在不引入额外训练参数的情况下原型修正模块能够完善支持原型PS，将相似度图Mquery和查询特征Fquery进行掩膜平均池化(MAP)并融合生成查询原型Pq，并将查询原型Pq通过像素加法与支持原型PS融合，得到融合原型Pf，融合原型Pf的过程如下式表示： [0094] [0095] 该过程可重复多次，从而对支持原型进行多次迭代融合； [0096] 最后，计算多次迭代融合后的融合原型和查询特征之间的相似度，再进行激活，得到伪标签，通过伪标签对无标注数据进行监督。 [0097] 在具体实施例中，无论是进行分类任务或是进行分割任务，在任务过程中，均有损失，对于分类任务，损失函数Lcls定义为： [0098] [0099] 其中， 为编码器的分类预测，Ycls为数据的分类标签； [0100] 对于分割任务中的支持集，最小化交叉熵损失函数Lseg_support定义为： [0101] [0102] 其中， 为Xsupport的预测概率图； [0103] 对于分割任务中不包含csPCa的数据，由于其不包含csPCa区域，则采用零进行监督，损失函数Lseg_neg定义为： [0104] [0105] 对于分割任务中的查询集，对所有相似度图进行排序并选择相似度图中的前100个点作为伪标签，其中，一半的伪标签从前序相似度图中选择，另一半的伪标签从后序相似度图中选择，最小化像素级的交叉熵损失函数Lseg_query定义为： [0106] [0107] 其中，P表示选择前序相似度图中伪标签的集合，jP为前序相似度图中当前相似度图的伪标签，N表示选择后序相似度图中伪标签的集合，jN为后序相似度图中当前相似度图的伪标签； [0108] 使用分类损失Lcls和分割损失Lsetg的和来训练网络： [0109] L＝Lcls+Lsetg_support+α·Lseg_query+β·Lseg_neg [0110] 其中，α和β是权重系数。 [0111] 所述对所述分类结果和分割结果进行监督，还包括： [0112] 使用分类标签对所述分类结果进行监督。 [0113] 本步骤中，对于分类任务来说，所有数据属于有标注数据，针对分类结果采用分类标签进行监督，分类标签通过活检得到。 [0114] 整个分类方法的逻辑示意图如图8所示。 [0115] 在具体实施过程中，训练在PyTorch上实现，并使用具有48G内存的NVIDIA RTX8000 GPU，采用随机梯度下降优化器对编码器进行200次优化，优化时初始学习率为0.9 0.0001，并采用学习策略(1‑epoch/200) 进行优化，其中，epoch为迭代次数。为了解决类不平衡问题，将批的大小设置为2，每个批包含一个正样本和一个负样本，α和β分别设置为 0.001和0.1，将训练完成的模型用于多模态超声图像前列腺癌进行分类。 [0116] 本发明实施例还提供一种多模态超声图像前列腺癌分类装置，该装置用于执行前述多模态超声图像前列腺癌分类方法的任一实施例。具体地，请参阅图9，图9是本发明实施例提供的一种多模态超声图像前列腺癌分类装置的示意性框图。该多模态超声图像前列腺癌分类装置600包括： [0117] 获取单元610，用于获取包含超声弹性图像和B超图像的数据集，并对所述超声弹性图像进行预处理，得到灰度弹性图像； [0118] 在一实施例中，获取单元610包括： [0119] 选择单元，用于选择预定尺寸的超声弹性图像和B超图像并进行归一化； [0120] 减去单元，用于将所述超声弹性图像减去所述B超图像，得到纯弹性图像； [0121] 匹配单元，用于利用颜色棒与所述纯弹性图像进行色度匹配，并将所述纯弹性图像转为灰度图，得到灰度弹性图像。 [0122] 提取单元620，用于利用两个编码器分别对所述灰度弹性图像和B超图像进行特征提取，并利用混合注意力模块对提取的特征进行特征权重校正，得到输出特征； [0123] 在一实施例中，提取单元620包括： [0124] 第一输入单元，用于将所述灰度编码器中每一Block的弹性提取特征以及所述B超编码器中对应每一Block的B超提取特征输入至自适应空间注意力模块得到弹性输出特征； [0125] 第一融合单元，用于将所述弹性输出特征与所述灰度编码器中对应Block的弹性提取特征通过像素加法融合，并输入到所述灰度编码器的下一Block； [0126] 第二输入单元，用于将所述B超编码器中每一Block的B超提取特征输入至维度注意力模块进行加权融合，并与所述弹性输出特征进行拼接，并进行卷积和激活，得到B超输出特征； [0127] 第二融合单元，用于将所述B超输出特征与所述B超编码器中对应Block的B超提取特征融合，并输入到所述B超编码器的下一Block。 [0128] 分类单元630，用于对所述输出特征进行平均池化处理和全连接层处理，得到分类结果。 [0129] 在一实施例中，分类单元630包括： [0130] 处理单元，用于对最后一个Block的B超输出特征进行平均池化处理和全连接层处理，得到分类结果。 [0131] 分割单元640，用于利用分割模块对所述输出特征进行分割，得到分割结果； [0132] 在一实施例中，分割单元640包括： [0133] 解码单元，用于利用解码器对最后一个Block的B超输出特征进行解码，得到分割结果。 [0134] 在一实施例中，监督单元650包括： [0135] 修正激活单元，用于利用原型修正模块对最后一个Block的B超输出特征进行原型修正和激活生成伪标签； [0136] 数据确定单元，用于对于所述数据集中包含临床显著性前列腺癌的数据，确定所述数据中有标注数据和无标注数据； [0137] 第一监督单元，用于对于无标注数据，使用所述伪标签对无标注数据的分割结果进行监督； [0138] 第二监督单元，用于对于有标注数据，使用掩膜对有标注数据的分割结果进行监督； [0139] 第三监督单元，用于对于所述对数据集中不包含临床显著性前列腺癌的数据，采用零进行监督。 [0140] 在一实施例中，修正激活单元包括： [0141] 平均池化单元，用于针对基于所述有标注数据经最后一个Block的B超输出特征，通过掩膜平均池化得到支持原型； [0142] 查询特征获取单元，用于针对基于所述无标注数据经最后一个Block的B超输出特征，得到查询特征； [0143] 第一计算单元，用于计算所述支持原型与查询特征之间的相似度，并进行激活得到相似度图； [0144] 融合单元，用于将所述相似度图与所述查询特征融合，并将融合结果与所述支持原型融合，得到融合原型； [0145] 第二计算单元，用于对所述融合原型迭代多次后，再计算与所述查询特征之间的相似度，得到伪标签。 [0146] 监督单元650还包括： [0147] 第四监督单元，使用分类标签对所述分类结果进行监督。 [0148] 本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述实施例所述的多模态超声图像前列腺癌分类方法。 [0149] 本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施例所述的多模态超声图像前列腺癌分类方法。 [0150] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。 |
||
QQ群二维码
意见反馈
意见反馈