数字病理图像染色归一化方法、电子装置及存储介质
阅读：944发布：2021-06-06
专利汇可以提供数字病理图像染色归一化方法、电子装置及存储介质专利检索，专利查询，专利分析的服务。并且本 发明 涉及 图像处理 技术领域，提供一种数字病理图像的 染色 归一化方法，其中的方法包括：将数字病理切片图像进行数据解析，生成RGB图像I(x，y)，对所述RGB图像I(x，y)进行HSD变换，将所述RGB图像转换为HSD图像；利用所述HSD图片训练深度卷积高斯混合模型来提取求解不同 风 格图像的高斯混合模型；通过训练好的DCGMM对待检测组织病理HE染色数字病理图像进行染色归一化。利用本发明能够有效提高染色归一化的有效性和 稳定性 。，下面是数字病理图像染色归一化方法、电子装置及存储介质专利的具体信息内容。
1.一种数字病理图像的染色归一化方法，应用于数字病理图像的处理，其特征在于，包括如下步骤：
S110：对预存的数字病理切片图像进行数据解析，生成RGB图像I(x，y)，
其中，IR为RGB图像中的R通道的二维矩阵，IG为RGB图像中G通道的二维矩阵，IB为RGB图像中B通道的二维矩阵；
S120：根据预设的转换规则对所述RGB图像I(x，y)进行HSD变换，将所述RGB图像转换为HSD图像；
S130：利用所述HSD图像持续训练深度卷积高斯混合模型来提取求解不同风格图像的高斯混合模型，直至得到最优的深度卷积高斯混合模型；
S140：通过所述最优的深度卷积高斯混合模型对待检测组织病理HE染色数字病理图像进行染色归一化。
2.根据权利要求1所述的数字病理图像的染色归一化方法，其特征在于，所述转换规则为：
其中，所述H、S、D为图像在HSD空间下的不同
通道。
3.根据权利要求1所述的数字病理图像的染色归一化方法，其特征在于，利用所述HSD图像训练深度卷积高斯混合模型来提取求解不同风格图像的高斯混合模型的过程包括：
通过卷积神经网络提取后验概率的向量γ；其中，所述向量γ为一个值处于(0，1)之间的k维向量；
获取所述HSD图像的像素点X＝{x1，x2，...，xp}，计算所述HSD图像中的像素点x1，x2，...，xp由第k个高斯分布生成的概率：
所述zk为具有均值μ＝[μ1，..，μk]，协方
2
差∑＝σI的颜色的分布；
结合所述概率从向量γ以及HSD图像中求解πk，∑k，μk，持续训练深度卷积高斯混合模型，以利用梯度下降算法不断更新所述πk，∑k，μk。
4.根据权利要求3所述的数字病理图像的染色归一化方法，其特征在于，所述卷积神经网络包括卷积层、批处理层、激活层、池化层及Upsampling层。
5.根据权利要求3所述的数字病理图像的染色归一化方法，其特征在于，在结合所述概率从向量γ以及HSD图像中求解πk，∑k，μk，反复训练深度卷积高斯混合模型过程中，包括：
所述深度卷积高斯混合模型通过网络的正向传播得到gamma，通过gamma求解πk，∑k，μk。
6.根据权利要求3所述的数字病理图像的染色归一化方法，其特征在于，不断更新所述πk，∑k，μk过程中，利用对数似然函数持续更新直至得到πk，∑k，μk使得所述对数似然函数最大，所述对数似然函数为：
7.根据权利要求1所述的数字病理图像的染色归一化方法，其特征在于，通过最优的深度卷积高斯混合模型对待检测组织病理HE染色数字病理图像进行染色归一化的过程包括：
在待检测组织病理HE染色数字病理图像上应用所述最优的深度卷积高斯混合模型，所述最优的深度卷积高斯混合模型自动计算待检测图像中每个像素所属的类别，并根据每个像素所属类别分别对原图和待测试图像中同一类别的区域进行H、S、D的转换，完成染色归一化。
8.根据权利要求7所述的数字病理图像的染色归一化方法，其特征在于，所述H、S、D的转换至少包括平均值、白化和色彩变换。
9.一种电子装置，其特征在于，该电子装置包括：存储器、处理器及存储在所述存储器中的数字病理图像的染色归一化程序，所述数字病理图像的染色归一化程序被所述处理器执行时实行如权利要求1-8中任一项所述的数字病理图像的染色归一化方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有数字病理图像的染色归一化程序，所述数字病理图像的染色归一化程序被处理器执行时，实现如权利要求1至8中任一项所述的数字病理图像的染色归一化方法的步骤。
数字病理图像染色归一化方法、电子装置及存储介质
技术领域
背景技术
[0002] 由于肾脏疾病的种类繁多，病因及发病机制复杂，许多肾脏疾病的临床表现与肾脏的组织学改变并不完全一致，其治疗方案及病情的发展结果也差别极大。目前，肾脏病理检查结果已经成为肾脏疾病诊断的金指标。病理医生在进行肾穿活检时，需要凭肉眼以及经验观测得到一些重要的医学指标，现拟通过人工智能辅助病理医生进行阅片工作。然而，不同技术员在进行制片染色过程中无法保证每批量产出的玻片都呈同样的颜色分布，这会对AI模型产生较大的干扰，造成预测结果的波动。
[0003] 目前，图像经过特征块切割后，切割生成的特征块大小不一。这时，就需要采取归一化的操作来统一特征块图像的尺寸，现有的染色归一化通常通过对抗生成网络，变分自动编码器等方法实现，这种方法虽然能够进行风格迁移，但皆容易产生不可控的噪声点，有可能改变图像结构，所以亟需一种更稳定更自然的染色归一化方法。
发明内容
[0004] 本发明提供一种数字病理图像染色归一化方法、系统、电子装置及存储介质，其主要目的在于解决目前现有染色归一化通过对抗生成网络，变分自动编码器等方法实现，虽然能够进行风格迁移，但皆容易产生不可控的噪声点，有可能改变图像结构的问题，有效提高染色归一化图像的稳定性。
[0005] 为实现上述目的，本发明提供一种数字病理图像染色归一化方法，应用于数字病理图像，包括如下步骤：
[0006] S110：对预存的数字病理切片图像进行数据解析，生成RGB图像I(x，y)，[0007] 其中，IR为RGB图像中的R通道的二维矩阵，IG为RGB 图像中G通道的二维矩阵，IB为RGB图像中B通道的二维矩阵；
[0008] S120：根据预设的转换规则对所述RGB图像I(x，y)进行HSD变换，将所述RGB图像转换为HSD图像；
[0009] S130：利用所述HSD图像持续训练深度卷积高斯混合模型来提取求解不同风格图像的高斯混合模型，，直至得到最优的深度卷积高斯混合模型；
[0010] S140：通过所述最优的深度卷积高斯混合模型对待检测组织病理HE染色数字病理图像进行染色归一化。
[0011] 优选地，所述转换规则为：
[0012] 其中，所述H、S、D为图像在HSD 空间下的不同通道。
[0013] 优选地，利用所述HSD图像训练深度卷积高斯混合模型来提取求解不同风格图像的高斯混合模型的过程包括：
[0016] 所述zk为具有均值μ＝[μ1，..，μk]，协方差∑＝σ2I的颜色的分布；
[0018] 优选地，所述卷积神经网络包括卷积层、批处理层、激活层、池化层、及 Upsampling层。
[0019] 优选地，在结合所述概率从向量γ以及HSD图像中求解πk，∑k，μk，反复训练深度卷积高斯混合模型过程中，包括：
[0020] 所述深度卷积高斯混合模型通过网络的正向传播得到gamma，通过 gamma求解πk，∑k，μk。
[0021] 优选地，不断更新所述πk，∑k，μk过程中，利用对数似然函数持续更新直至得到πk，∑k，μk使得所述对数似然函数最大，所述对数似然函数为：
[0022]
[0023] 优选地，通过最优的深度卷积高斯混合模型对待检测组织病理HE染色数字病理图像进行染色归一化的过程包括：
[0024] 在待检测组织病理HE染色数字病理图像上应用所述最优的深度卷积高斯混合模型，所述最优的深度卷积高斯混合模型自动计算待检测图像中每个像素所属的类别，并根据每个像素所属类别分别对原图和待测试图像中同一类别的区域进行H、S、D的转换，完成染色归一化。
[0025] 优选地，所述H、S、D的转换至少包括平均值、白化和色彩变换。
[0026] 为实现上述数字病理图像染色归一化方法，本发明提供一种电子装置，该电子装置包括：存储器、处理器及存储在所述存储器中的数字病理图像的染色归一化程序，所述数字病理图像的染色归一化程序被所述处理器执行时实行如上任一项所述的数字病理图像的染色归一化方法的步骤。
[0027] 此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有数字病理图像的染色归一化程序，所述数字病理图像的染色归一化程序被处理器执行时，实现如上任一项所述的数字病理图像的染色归一化方法的步骤。
[0028] 本发明提出的数字病理图像染色归一化方法、电子装置及计算机可读存储介质，通过将数字病理切片图像进行数据解析，生成RGB图像I(x，y)，根据转换规则对所述RGB图像I(x，y)进行HSD变换，再将所述RGB图像转换为HSD图像，利用所述HSD图像持续训练深度卷积高斯混合模型来提取求解不同风格图像的高斯混合模型，进而通过深度卷积高斯混合模型对待检测组织病理HE染色数字病理图像进行染色归一化，有效提高染色归一化的有效性和稳定性。
[0029] 为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。
附图说明
[0031] 图2为本发明数字病理图像染色归一化方法实施例的RGB图像生成示意图：
[0033] 图4为根据本发明实施例的电子装置的结构示意图；
[0034] 本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0035] 应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0036] 目前图像经过特征块切割后，切割生成的特征块大小不一。这时，就需要采取归一化的操作来统一特征块图像的尺寸，现有的染色归一化通常通过对抗生成网络，变分自动编码器等方法实现，这种方法虽然能够进行风格迁移，但皆容易产生不可控的噪声点，有可能改变图像结构，为了避免染色过程中无法保证每批量产出的玻片都呈同样的颜色分布，这会对AI模型产生较大的干扰，造成预测结果的波动的情况，所以本发明提供数字病理图像染色归一化方法，通过DCGMM结合深度卷积神经网络，增强模型的可解释性，提高训练的稳定性，以在保留结构信息的前提下进行风格迁移，为医学诊断的精确性提供了保证。
[0037] 图1为本发明数字病理图像染色归一化方法的流程图，在本实施例中，数字病理图像染色归一化方法包括如下步骤：
[0038] S110：对预存的数字病理切片图像进行数据解析，生成RGB图像I(x，y)，[0039] 其中，IR为RGB图像中的R通道的二维矩阵，IG为RGB 图像中G通道的二维矩阵，IB为RGB图像中B通道的二维矩阵；
[0040] 预存的数字病理切片图像可以是通过切片扫描仪将病理切片扫描到计算机中进行存储生成数字病理切片图像，也可以是从病理切片数据库中提取的数字病理切片图像。将这些用作训练素材的数字病理切片图像读入opencv图像处理库，在opencv图像处理库中生成RGB空间的彩色图像，即RGB图像；
[0041] 图2为本发明数字病理图像染色归一化方法实施例的RGB图像生成示意图。如图2所示，左边的病理切片最终被处理为右边的RGB空间的彩色图像。
[0042] S120：根据预设的转换规则对步骤S110生成的RGB图像I(x，y)进行HSD 变换，将RGB图像转换为HSD图像；其中，HSD变换为RGB图像转换为 HSD图像的变换过程，RGB图像、HSD图像均为特定格式的图像。
[0043] 由于RGB图像中，颜色(chromatic)与强度(intensity)的混合信息妨碍了染色识别的标准化，而HSD图像不会妨碍染色识别标准化，因此，在进行图片训练前，需要先将RGB图像转换为HSD图像；
[0044] 其中，转换的规则为：
[0045] 其中IR代表了RGB图像中的R通道的二维矩阵IG代表RGB图像中G通道的二维矩阵，IS代表S通道的二维矩阵；
[0046] S130：利用HSD图像持续训练深度卷积高斯混合模型来提取求解不同风格图像的高斯混合模型，直至得出最优解，得到最优的深度卷积高斯混合模型；
[0047] GMM(Gaussian Mixture Model，高斯混合模型)，
[0048] 图像的本质是三维矩阵，图像中一些物体的特征(如细胞、组织、基液对应的颜色，形态特征等)都可以由一个单一的高斯模型或多个单一高斯模型混合进行表达。GMM就是用高斯概率密度函数精确地量化某一事物，将一类对象分解为若干的基于高斯概率密度函数(正态分布曲线)形成的模型。对于病理图像，每个通道中的灰度分布值一般为多峰，通过将直方图的多峰特性看作为多个高斯分布的叠加，能够进行图像分割，区分图像中每个点所属的类别，为求解不同风格染色图像的GMM(Gaussian mixture model高斯混合模型)，需要求解πk，∑k，μk，传统方法中，通过EM(Expectation-Maximization algorithm， EM，最大期望值)算法对GMM的参数进行求解，首先，执行E-step进行后验概率γ的提取，然后利用提取的γ执行M-step计算求得使对数似然函数最大的πk，∑k，μk。
[0049] 本发明中，通过深度卷积神经网络完成E-step中对γ的提取，并将M-step 的求解看为一个最优化问题，求使得求得使负的对数似然函数最小的πk，∑k，μk，即将负的对数似然函数看为Loss，求解最优化问题。
[0050] 具体的，原图中的每个像素点为某一类的概率值p(x)，
[0051]
[0052] 其中πk为取第k个高斯分布的概率，N代表具有均值μk和协方差矩阵∑k 的多元正态分布。在针对组织病理HE染色(hematoxylin-eosin staining，苏木精-伊红染色法，简称HE染色)数字病理图像的GMM求解中，p(x)为当前图像中的某一点所代表的类别，上述公式表示对于图像中的每个点x，都可以表示为由k个高斯混合模型的叠加，于是需要通过神经网络代替传统的E- step进行参数γ的计算，然后，通过现有的γ对μ和∑进行估算，求解图像中每个点对应的类别。
[0053] S131：通过卷积神经网络提取后验概率的向量γ，通过归化操作将HSD图像中每个像素点转化为一个值处于(0，1)之间的k维向量γ，该值代表了3种类别分别对应的概率值，即将输入图像按组织结构分离为不同的通道；在本发明中设置k＝3，分别对应图像中的3种类别，分别对应细胞核，组织，背景3 个区域；该规划操作一般包括：卷积、池化、非线性激活函数等；
[0054] S132：获取图像的像素点X＝{x1，x2，...，xp}，该图像中的像素点 x1，x2，...，xp由第k个高斯分布生成的概率为：
[0055]
[0056] 其中，隐变量z代表了具有均值μ＝[μ1，..，μk]，协方差∑＝σ2I的颜色的分布；
[0057] S133：结合概率从向量γ以及HSD图像中求解πk，∑k，μk，反复训练深度卷积高斯混合模型。
[0058] 具体的，深度卷积高斯混合模型(DCGMM)通过网络的正向传播得到 gamma，再通过gamma求解πk，∑k，μk，然后计算对数似然函数，接着通过最小化对数似然函数，利用梯度下降算法来更新πk，∑k，μk；使得负对数似然函数越小越好，即持续更新直至得到πk，∑k，μk使得对数似然函数最大；其中，gamma为后验概率；
[0059] 计算求得使公式(2)中的对数似然函数最小的πk，∑k，μk，其计算详情如下所示：
[0060] for i＝1，2，...，k and j＝1，2..，p：
[0061] μi＝E(xi|argmax(γj)＝i)
[0062] ∑i＝E[(xj-E[xj])(xj-E[xj])T)|argmax(γj)＝i]
[0063]
[0064] z＝N(μ，∈·∑)
[0065] 结合公式(1)，其对数似然函数为：
[0066]
[0067] S134：基于深度学习卷积神经网络反复训练深度卷积高斯混合模型 (DCGMM)，直至得到最优的深度卷积高斯混合模型，使DCGMM能够根据当前图片预测当前图片的各个像素点所属GMM中哪一个单一高斯模型，然后通过将待转变像素点的HSD转换为模板图像的HSD值，从而完成风格迁移，比如判断当前像素属于哪一类(背景、细胞、组织)。
[0068] 在通过卷积神经网络提取后验概率的向量γ，基于深度学习卷积神经网络反复训练深度卷积高斯混合模型过程中，所运用的神经网络层包括：卷积层、批处理层、激活层、池化层及Upsampling层；
[0069] 卷积层原理为：
[0070] Fcon(I)＝I·W+b (4)
[0071] 公式(4)中，图像I大小为(H*W*C)，W表示卷积层中卷积核和滤波器的权重，b表示偏置项。卷积层基于kemel，提取图像关键特征。
[0072] 除正常卷积外，为增加神经网络的感受野(Reception Field)，空洞卷积 (Dilated Convolution，Convdilated)也被使用在网络的中间层，该卷积层增加了一个超参数膨胀率(Dilation Rate)，代表了卷积核filter的间隔数量，相比于最大池化层(MaxPooling Layer)，空洞卷积可以保留内部数据结构，避免使用池化层造成信息损失的前提下，增大了感受野；
[0073] 批处理层原理为：
[0074]
[0075] FBN-recale＝γ*FBN-normaliza+β(6)
[0076] I为输入的特征图像，公式(5)对I做标准化处理，E(I)和Var(I)分别为I的均值和方差；公式(6)进行缩放变换，γ和β分别为缩放因子和偏移量。批处理可以防止梯度爆炸和梯度消失，加快模型收敛速度；
[0077] 激活层原理为：
[0078] FReLU＝max(α×I，I) (7)
[0079] 公式(7)表示，当I为正数时，不做任何变换，当I为负数时以一定概率输出。ReLU层使卷积操作获得非线性，使模型可以拟合复杂的实际结果；
[0080] 池化层原理为：
[0081]
[0082] 最大池化对输入张量进行降采样，选取每个区域的最大值，经过最大池化，减小张量维度；
[0083] UpSampling层原理为：
[0084] 通过采用双线性插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素，来达到放大特征图尺寸的目的；
[0085] 网络经过上采样及下采样步骤后，经过最后一层Softmax激活层，假设有一个数组V共含j个元素，Vi表示V中的第i个元素，其计算方法如下：
[0086]
[0087] 经过激活函数激活后，即输出了与输入图像长宽保持一致的特征向量γ。
[0088] 本实施例中数字病理图像染色归一化方法，通过将数字病理切片图像进行数据解析，生成RGB图像I(x，y)，根据转换规则对RGB图像I(x，y)进行HSD 变换，再将RGB图像转换为HSD图像，利用HSD图像持续训练深度卷积高斯混合模型来提取求解不同风格图像的高斯混合模型，进而通过深度卷积高斯混合模型对待检测组织病理HE染色数字病理图像进行染色归一化，有效提高染色归一化的有效性和稳定性。
[0089] S140：通过最优的深度卷积高斯混合模型对待检测组织病理HE染色数字病理图像进行染色归一化。
[0090] 在训练好DCGMM之后，在待测试图像上应用DCGMM，DCGMM自动计算待检测图像中每个像素所属的类别，根据每个像素所属类别分别对原图和待测试图像中同一类别的区域进行H、S、D的转换，完成染色归一化。
[0091] 其中，转换包括改变平均值，白化和色彩变换；色彩变化变换是指通过奇异值分解(SVD)对白化高斯分布进行缩放以获得与模板图像相同的协方差矩阵。
[0092] 图3为本发明实施例的数字病理图像染色归一化方法中涉及的数字病理图像染色归一化系统的框架图。如图3所示，本实施例涉及的数字病理图像染色归一化系统包括RGB单元、HSD单元、卷积神经网络单元；
[0093] RGB单元用于将通过切片扫描仪将病理切片扫描到计算机中进行存储生成数字病理切片图像，使将数字病理切片图像读入opencv图像处理库，在 opencv图像处理库中生成RGB空间的彩色图像，即RGB图像I(x，y)，
[0094] 其中IR代表了RGB图像中的R通道的二维矩阵IG代表RGB图像中G通道的二维矩阵，IS代表S通道的二维矩阵；
[0095] HSD单元用于将RGB图像I(x，y)进行HSD变换，将RGB图像转换为 HSD图像，其中，转换的规则为：
[0096] 卷积神经网络单元包括E-step模块和M-step模块，由众多神经网络层组成；
[0097] E-step模块用于通过深度卷积神经网络完成E-step中对γ的提取，具体的，通过卷积神经网络提取后验概率的向量γ，通过归化操作将HSD图像中每个像素点转化为一个值处于(0，1)之间的k维向量γ，该值代表了3种类别分别对应的概率值，即将输入图像按组织结构分离为不同的通道；在本发明中设置 k＝3，分别对应图像中的3种类别，分别对应细胞核，组织，背景3个区域；该规划操作一般包括：卷积、池化、非线性激活函数等；
[0098] 该M-step模块用于获取图像的像素点X＝{x1，x2，...，xp}，该图像中的像素点x1，x2，...，xp由第k个高斯分布生成的概率为：
[0099]
[0100] 其中，隐变量z代表了具有均值μ＝[μ1，..，μk]，协方差∑＝σ2I的颜色的分布；
[0101] S133：结合概率从向量γ以及HSD图像中求解πk，∑k，μk，反复训练深度卷积高斯混合模型。
[0102] 具体的，深度卷积高斯混合模型(DCGMM)通过网络的正向传播得到 gamma，再通过gamma求解πk，∑k，μk，然后计算对数似然函数，接着通过最小化对数似然函数，利用梯度下降算法来更新πk，∑k，μk；使得负对数似然函数越小越好，即持续更新直至得到πk，∑k，μk使得对数似然函数最大；其中，gamma为后验概率；
[0103] 计算求得使公式(2)中的对数似然函数最小的πk，∑k，μk，其计算详情如下所示：
[0104] for i＝1，2，...，k and j＝1，2..，p：
[0105] μi＝E(xi|argmax(γj)＝i)
[0106] ∑i＝E[(xj-E[xj])(xj-E[xj])T)|argmax(γj)＝i]
[0107]
[0108] z＝N(μ，∈·∑)
[0109] 结合公式(1)，其对数似然函数为：
[0110]
[0111] 神经网络层包括卷积层、批处理层、激活层、池化层及Upsampling层，其中，卷积层原理为：
[0112] Fcon(I)＝I·W+b
[0113] 该公式中，图像I大小为(H*W*C)，W表示卷积层中卷积核和滤波器的权重，b表示偏置项。卷积层基于kernel，提取图像关键特征。
[0114] 除正常卷积外，为增加神经网络的感受野(Reception Field)，空洞卷积 (Dilated Convolution，Convdilated)也被使用在网络的中间层，该卷积层增加了一个超参数膨胀率(Dilation Rate)，代表了卷积核filter的间隔数量，相比于最大池化层(MaxPooling Layer)，空洞卷积可以保留内部数据结构，避免使用池化层造成信息损失的前提下，增大了感受野；
[0115] 批处理层原理为：
[0116]
[0117] FBN-recale＝γ*FBN-normalizati+β
[0118] I为输入的特征图像，公式 对I做标准化处理，E(I)和Var(I)分别为I的均值和方差；公式FBN-recale＝γ* FBN-normaliz+β进行缩放变换，γ和β分别为缩放因子和偏移量。批处理可以防止梯度爆炸和梯度消失，加快模型收敛速度；
[0119] 激活层原理为：
[0120] FReLU＝max(α×I，I)
[0121] 该公式表示，当I为正数时，不做任何变换，当I为负数时以一定概率输出。ReLU层使卷积操作获得非线性，使模型可以拟合复杂的实际结果；
[0122] 池化层原理为：
[0123]
[0124] 最大池化对输入张量进行降采样，选取每个区域的最大值，经过最大池化，减小张量维度；
[0125] UpSampling层原理为：
[0126] 通过采用双线性插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素，来达到放大特征图尺寸的目的；
[0127] 网络经过上采样及下采样步骤后，经过最后一层Softmax激活层，假设有一个数组V共含j个元素，Vi表示V中的第i个元素，其计算方法如下：
[0128]
[0129] 经过激活函数激活后，即输出了与输入图像长宽保持一致的特征向量γ。
[0130] 图4为根据本发明实施例的电子装置示意图，在本实施例中，电子装置 40可以是服务器、平板计算机、便携计算机、桌上型计算机等具有运算功能的终端设备。
[0132] 电子装置40可以是平板电脑、台式电脑、智能手机，但不限于此。
[0133] 存储器42包括至少一种类型的可读存储介质。至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中，该可读存储介质可以是该电子装置40的内部存储单元，例如该电子装置40的硬盘。在另一些实施例中，该可读存储介质也可以是该电子装置40的外部存储器，例如该电子装置40上配备的插接式硬盘，智能存储卡 (Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
[0134] 在本实施例中，该存储器42的可读存储介质通常用于存储安装于该电子装置40的计算机程序43等。
[0135] 处理器41在一些实施例中可以是一中央处理器(Central Processing Unit， CPU)，微处理器或其他数据处理芯片，用于运行存储器42中存储的程序代码或处理数据，例如数字病理图像染色归一化程序43等。
[0136] 网络接口可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该电子装置40与其他电子设备之间建立通信连接。
[0137] 通信总线用于实现这些组件之间的连接通信。
[0138] 图4仅示出了具有组件41-43的电子装置40，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
[0139] 在图4所示的装置实施例中，作为一种计算机存储介质的存储器42中可以包括操作系统、以及数字病理图像染色归一化程序43；处理器41执行存储器42中存储的数字病理图像染色归一化程序43时实现如下步骤：
[0140] S110：通过切片扫描仪将病理切片扫描到计算机中进行存储生成数字病理切片图像，对数字病理切片图像进行数据解析，生成RGB图像I(x，y)， 其中，IR为RGB图像中的R通道的二维矩阵，IG为RGB 图像中G通道的二维矩阵，IB为RGB图像中B通道的二维矩阵；
[0141] S120：根据预设的转换规则对RGB图像I(x，y)进行HSD变换，将RGB 图像转换为HSD图像；
[0142] S130：利用HSD图像持续训练深度卷积高斯混合模型来提取求解不同风格图像的高斯混合模型，直至得出最优解，得到最优的深度卷积高斯混合模型；
[0143] S140：通过最优的深度卷积高斯混合模型对待检测组织病理HE染色数字病理图像进行染色归一化。
[0144] 此外，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质中包括数字病理图像染色归一化程序，该基于数字病理图像染色归一化程序被处理器执行时实现如下操作：
[0145] S110：通过切片扫描仪将病理切片扫描到计算机中进行存储生成数字病理切片图像，对数字病理切片图像进行数据解析，生成RGB图像I(x，y)，
[0146] 其中，IR为RGB图像中的R通道的二维矩阵，IG为RGB 图像中G通道的二维矩阵，IB为RGB图像中B通道的二维矩阵；
[0147] S120：根据预设的转换规则对RGB图像I(x，y)进行HSD变换，将RGB 图像转换为HSD图像；
[0148] S130：利用HSD图像持续训练深度卷积高斯混合模型来提取求解不同风格图像的高斯混合模型，直至得出最优解，得到最优的深度卷积高斯混合模型；
[0149] S140：通过最优的深度卷积高斯混合模型对待检测组织病理HE染色数字病理图像进行染色归一化。
[0150] 该转换规则为：
[0151] H、S、D为图像在HSD空间下的不同通道。
[0152] 通过卷积神经网络提取后验概率的向量γ，其中，向量γ为一个值处于(0，1) 之间的k维向量；
[0153] 获取HSD图像的像素点X＝{x1，x2，...，xp}，计算HSD图像中的像素点 x1，x2，...，xp由第k个高斯分布生成的概率：
[0154] zk为具有均值μ＝[μ1，..，μk]，协方差∑＝σ2I的颜色的分布；
[0155] 结合概率从向量γ以及HSD图像中求解πk，∑k，μk，持续训练深度卷积高斯混合模型，以利用梯度下降算法不断更新πk，∑k，μk。
[0156] 卷积神经网络包括卷积层、批处理层、激活层、池化层、及Upsampling 层。
[0157] 在结合概率从向量γ以及HSD图像中求解πk，∑k，μk，反复训练深度卷积高斯混合模型过程中，包括：
[0158] 深度卷积高斯混合模型通过网络的正向传播得到gamma，通过gamma求解πk，∑k，μk。
[0159] 不断更新πk，∑k，μk过程中，利用对数似然函数持续更新直至得到πk，∑k，μk使得对数似然函数最大。
[0160] 通过深度卷积高斯混合模型对待检测组织病理HE染色数字病理图像进行染色归一化的过程包括：
[0161] 在待测试图片上应用训练完成的深度卷积高斯混合模型，深度卷积高斯混合模型自动计算待检测图像中每个像素所属的类别，并根据每个像素所属类别分别对原图和待测试图像中同一类别的区域进行H、S、D的转换，完成染色归一化；
[0162] H、S、D的转换至少包括平均值、白化和色彩变换。
[0163] 本发明之计算机可读存储介质的具体实施方式与上述数字病理图像染色归一化方法、电子装置的具体实施方式大致相同，在此不再赘述。
[0164] 需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种高效低温密闭履带式污泥干化机及其工作方法 | 2020-05-23 | 0 |
| 考虑运行工况和信息简化的风电机组传动链状态监测方法 | 2020-11-04 | 2 |
| 一种环网柜拨动开关的机械寿命实验装置 | 2021-06-25 | 0 |
| 评估模型解释工具的方法和装置 | 2022-09-14 | 1 |
| 客车 | 2021-09-10 | 1 |
| 一种精确分离的石油气液水分离装置 | 2022-11-08 | 1 |
| 一种燃气灶具 | 2020-06-30 | 2 |
| 铝合金时效炉 | 2021-01-29 | 1 |
| 一种集成拨钮的空调出风口结构及机动车 | 2022-06-06 | 1 |
| 敷有薄膜太阳能电池组件的风力发电机组 | 2021-01-16 | 1 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
风热门专利
QQ群二维码
意见反馈
意见反馈