技术领域
[0001] 本
发明属于计算显微成像领域和智能医疗检测领域，具体涉及一种基于深度学习的白细胞大视场图像检测系统及方法。
背景技术
[0002] 血液分析是医学领域常用的临床检查手段之一，包括
白细胞计数及分类、红细胞计数、血小板计数、血红蛋白计数等。其中，白细胞计数与
炎症关系密切，被认为是早期
疾病诊断的重要预测指标。多项研究表明，白细胞计数与心
血管疾病、2型糖尿病等疾病呈正相关；此外，白细胞和红细胞的比例也具有一定的医学价值。因此，白细胞计数具有重要的医学意义。
[0003] 白细胞计数可采用流式细胞仪自动计数，或者由医务工作者借助
显微镜手动计数两种方式。流式细胞仪对细胞检测效率高，但不能分析细胞形态，所以显微镜检查仍然是一种重要的医疗检测手段。为了提高诊断的准确性，通常需要对大面积样本区域进行检查，即要求显微镜能够实现大视场成像、高
分辨率成像。
[0004] 传统的显微镜受衍射的限制，分辨率主要取决于显微物镜的NA(数值孔径)，NA值越大的显微镜分辨率越高。然而，高NA值的物镜视场范围小，不利于观察样本全貌。为获取大视场显微图像，常规显微镜主要采用机械扫描拼合等方法，这些方法往往要求有精密的机械扫描装置，成本较高。
[0005] 傅里叶叠层显微成像技术通过可编程LED阵列改变照明波阵面的
角度，扫描物体的傅里叶
频谱信息，再从傅里叶域中还原高分辨率图像。由于傅里叶叠层显微成像技术不需要高相干
光源、移动部件和具有高动态范围的探测器，在满足大视场和高分辨率的同时，极大地降低了制造成本，成为大视场显微镜检查的理想手段。
[0006] 但是，和传统的显微镜类似，基于傅里叠层成像技术的显微镜缺乏相应的系统支持，不能实现智能检测，只能依靠医务工作者肉眼检测，不仅费时，而且误检率受检查者主观状态影响大。
发明内容
[0007] 本发明的目的在于，为克服
现有技术问题，提供了一种基于深度学习的白细胞大视场图像检测系统及方法，能够满足高分辨率与大视场相结合的要求，实现使用低倍镜获得更高的
对比度和分辨率的效果，降低了系统的制造成本；同时，利用专
门设计的
卷积神经网络智能识别白细胞，并分别对视场内的白细胞和红细胞进行计数，实现白细胞检测、白细胞分类、白细胞计数、红细胞计数等多种功能，帮助检查者快速且准确得到分析结果。
[0008] 本发明目的通过下述技术方案来实现：
[0009] 一种基于深度学习的白细胞大视场图像检测方法，所述图像检测方法至少包括如下步骤：S1：建立
数据库步骤，采集低分辨率样本图像，并重建生成高分辨率的重建图像，对生成的图像进行标注并储存至数据库中；S2：训练卷积神经网络模型步骤，对步骤S1所采集的数据库以6:2:2的比例划分训练集、验证集和测试集，用测试集、验证集和
训练数据集、调整网络超参数和检验模型，直至获得一个损失函数收敛的模型；S3：待测样本采集并完成白细胞检测步骤，基于步骤S2中训练好的卷积神经网络模型完成待测样本图像中的白细胞标注，并完成与预设标准值的比较，实现待测样本情况判断。
[0010] 根据一个优选的实施方式，所述步骤S3具体包括：采集待测样本的低分辨率图像，重建高分辨率图像，并以重建后的待测样本图像作为步骤S2中训练完成的卷积神经网络模型的输入，并由卷积神经网络模型输出待测样本中的白细胞
定位、类别、数目，及红细胞数目、白/红细胞占比数值，并与预先储存的标准值进行比较，判断该样品是否存在异常。
[0011] 根据一个优选的实施方式，所述步骤S1和步骤S3中，对低分辨率图像进行重建生成高分辨率图像具体包括如下步骤：步骤a：对低分辨率图像进行去噪预处理步骤；步骤b，选择垂直入射的低分辨率图像进行插值处理，并将经过插值处理后的图像作为样本初始的高分辨率光强图像，
相位初始设为零；然后对其做傅里叶变换得到初始的高分辨率频谱，并开始
迭代；步骤c，不同入射角度在频域里对应不同的孔径，针对某一个入射角度，在步骤b中获得的高分辨率频谱里截取相对应的子孔径频谱，通过逆傅里叶变换得到待更新的复振幅分布；把待更新的复振幅分布的强度值替换为该入射角所采集的低分辨率图像的强度值，相位信息保持不变；步骤d，利用傅里叶变换求出更新后子孔径的频谱,并用该低分辨率频谱去更新高分辨率频谱中相应的频谱成分；步骤e，重复步骤c和步骤d直至全部入射角度都完成过一次更新，并当所有入射角度完成更新后，重复步骤e，直至代价函数收敛，从而获得待检测的高分辨率图像。
[0012] 根据一个优选的实施方式，所述步骤a中，对低分辨率图像进行去噪预处理步骤，具体包括：在低分辨率
图像采集过程中，对图像采集显微镜进行遮光处理，在补光LED完全熄灭的状态下采集暗场图像；将LED阵列编程，依次点亮每个LED，采集不同入射角度下对应的样本低分辨率强度图像；根据所采集的暗场图像，计算出噪声
阈值，对每张图像进行噪声处理，使图像中低于该噪声阈值的灰度值为零，减轻噪声的影响。
[0013] 一种基于深度学习的白细胞大视场图像检测系统，所述图像检测系统至少包括图像采集模
块、图像重建模块和智能检测模块，所述图像采集模块与所述图像重建模块相连，所述图像重建模块与所述智能检测模块相连，所述智能检测模块基于图像重建模块完成的重建图像实现待识别对象的分析和判断；其中，所述智能检测模块包括：数据库，所述数据库存储有标注好的白细胞的傅里叶叠层显微重建图像；卷积神经网络模型，所述卷积神经网络模型为基于数据库以6:2:2的比例划分的训练集、验证集和测试集而获得的一个损失函数收敛的模型，其中测试集和验证集用于训练数据集和调整网络超参数，测试集用于检验模型；且由所述卷积神经网络模型完成对图像重建模块发送的待检测样本的图像进行白细胞标注；数据分析单元，所述数据分析单元基于待测样本图像中的白细胞标注，并完成与预设标准值的比较，实现待测样本情况判断。
[0014] 根据一个优选的实施方式，所述述卷积神经网络模型进行待检测样本的图像标注包括：由卷积神经网络模型输出待测样本图像中的白细胞定位、类别、数目，及红细胞数目、白/红细胞占比数值。
[0015] 根据一个优选的实施方式，所述图像重建模块包括图像预处理单元和频谱迭代单元；其中，所述图像预处理单元用于实现对低分辨率图像进行去噪预处理，具体包括：在低分辨率图像采集过程中，对图像采集显微镜进行遮光处理，在补光LED完全熄灭的状态下采集暗场图像；将LED阵列编程，依次点亮每个LED，采集不同入射角度下对应的样本低分辨率强度图像；根据所采集的暗场图像，计算出噪声阈值，对每张图像进行噪声处理，使图像中低于该噪声阈值的灰度值为零，减轻噪声的影响。
[0016] 根据一个优选的实施方式，所述频谱迭代单元被配置为采用如下处理步骤进行迭代处理并获得高分辨率的重建图像；步骤b：选择垂直入射的低分辨率图像进行插值处理，并将经过插值处理后的图像作为样本初始的高分辨率光强图像，相位初始设为零；然后对其做傅里叶变换得到初始的高分辨率频谱，并开始迭代；步骤c：不同入射角度在频域里对应不同的孔径，针对某一个入射角度，在步骤b中获得的高分辨率频谱里截取相对应的子孔径频谱，通过逆傅里叶变换得到待更新的复振幅分布；把待更新的复振幅分布的强度值替换为该入射角所采集的低分辨率图像的强度值，相位信息保持不变；步骤d：利用傅里叶变换求出更新后子孔径的频谱,并用该低分辨率频谱去更新高分辨率频谱中相应的频谱成分；步骤e：重复步骤c和步骤d直至全部入射角度都完成过一次更新，并当所有入射角度完成更新后，重复步骤e，直至代价函数收敛，从而获得待检测的高分辨率图像。
[0017] 根据一个优选的实施方式，所述图像采集模块包括LED阵列、显微镜、数字
照相机和图像采集卡，通过所述LED阵列完成对所述显微镜的采集目标的照明，并由所述显微镜完成待采集目标的成像，同时由所述数字照相机和图像采集卡对不同入射角度下对应的样本低分辨率强度图像
采样，获取计算机可以直接处理的数字图像数据。
[0018] 根据一个优选的实施方式，所述显微镜为低倍率物镜成像结构，具有调焦和聚光的结构，并配有可承载待观察的样本的载物台。
[0019] 前述本发明主方案及其各进一步选择方案可以自由组合以形成多个方案，均为本发明可采用并要求保护的方案；且本发明，(各非冲突选择)选择之间以及和其他选择之间也可以自由组合。本领域技术人员在了解本发明方案后根据现有技术和公知常识可明了有多种组合，均为本发明所要保护的技术方案，在此不做穷举。
[0020] 本发明的有益效果：
[0021] (1)本发明系统或方法通过低倍镜即实现了高分辨图像的采集，同时满足了大视场的要求，更符合显微镜检查的实际需要。
[0022] (2)本发明系统或方法不仅能够智能检测白细胞，并能对其进行计数和形态分析，输出相应的分析结果，节约了人
力和检查时间，提高了检查效率。
[0023] (3)本发明系统使用的低倍显微镜和LED照明光源均为常见部件，与安装了高倍物镜的显微系统和采用机械扫描装置的显微系统相比造价低廉，更有利于系统的推广使用。
附图说明
[0024] 图1是本发明系统的结构示意图；
[0025] 图2是本发明系统的工作流程示意图；
[0026] 图3是本发明方法中基于傅里叶叠层成像理论的样本图像采集和重建
流程图；
[0027] 图4是本发明分支卷积神经网络结构图；
[0028] 图5是采用本发明卷积神经网络模型进行白细胞和红细胞标注的标注示意图。
具体实施方式
[0029] 以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本
说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下
实施例及实施例中的特征可以相互组合。
[0030] 需要说明的是，为使本发明实施例的目的、技术方案和优点更加清楚，下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
[0031] 因此，以下对本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的
选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0032] 在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“
水平”、“内”、“外”等指示的方位或
位置关系为该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0033] 此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
[0034] 在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0035] 另外，本发明要指出的是，本发明中，如未特别写出具体涉及的结构、连接关系、位置关系、动力来源关系等，则本发明涉及的结构、连接关系、位置关系、动力来源关系等均为本领域技术人员在现有技术的
基础上，可以不经过创造性劳动可以得知的。
[0036] 实施例1：
[0037] 参考图1和图2所示，本发明公开了一种基于深度学习的白细胞大视场图像检测系统，所述图像检测系统至少包括图像采集模块、图像重建模块和智能检测模块。所述图像采集模块用于实现样本图像的低分辨率图像采集。所述图像重建模块用于实现高分辨率图像的重建。所述智能检测模块用于实现基于高分辨率的重建图像实现其中白细胞异常情况的分析和判断。
[0038] 本实施例中，待检测样本为人血涂片，检测对象为白细胞。数据库中储存已标注的白细胞和红细胞图像集，并以此为训练集训练卷积神经网络。检测所用的卷积神经网络为专门针对本系统设计的神经网络模型。
[0039] 优选地，所述图像采集模块与所述图像重建模块相连，所述图像重建模块与所述智能检测模块相连，所述智能检测模块基于图像重建模块完成的重建图像实现待识别对象的分析和判断。
[0040] 优选地，所述图像采集模块包括LED阵列、显微镜、数字照相机和图像采集卡。
[0041] 优选地，通过所述LED阵列完成对所述显微镜的采集目标的照明。并由所述显微镜完成待采集目标的成像。同时由所述数字照相机和图像采集卡对不同入射角度下对应的样本低分辨率强度图像采样，获取计算机可以直接处理的数字图像数据。
[0042] 优选地，所述LED阵列可以是可编程的LED阵列。光源
波长为629nm，阵列中每个相邻的LED之间的距离为8.128mm。光源到样本的距离可以设置为98mm。所述数字相机的
传感器的分辨率可以为2160*2560。
[0043] 进一步地，所述显微镜为低倍率物镜成像结构，具有调焦和聚光的结构，并配有可承载待观察的样本的载物台。例如，所述显微镜为4倍镜结构，其相应的数值孔径为0.13。
[0044] 优选地，所述图像重建模块包括图像预处理单元和频谱迭代单元。
[0045] 其中，所述图像预处理单元用于实现对低分辨率图像进行去噪预处理，具体包括：首先，在低分辨率图像采集过程中，对图像采集显微镜进行遮光处理，在补光LED完全熄灭的状态下采集暗场图像。然后，将LED阵列编程，依次点亮每个LED，采集不同入射角度下对应的样本低分辨率强度图像。最后，根据所采集的暗场图像，计算出噪声阈值，对每张图像进行噪声处理，使图像中低于该噪声阈值的灰度值为零，减轻噪声的影响。
[0046] 所述频谱迭代单元被配置为采用如下处理步骤进行迭代处理并获得高分辨率的重建图像。具体包括：
[0047] 步骤b：选择垂直入射的低分辨率图像进行插值处理，并将经过插值处理后的图像作为样本初始的高分辨率光强图像，相位初始设为零；然后对其做傅里叶变换得到初始的高分辨率频谱，并开始迭代；
[0048] 步骤c：不同入射角度在频域里对应不同的孔径，针对某一个入射角度，在步骤b中获得的高分辨率频谱里截取相对应的子孔径频谱，通过逆傅里叶变换得到待更新的复振幅分布；把待更新的复振幅分布的强度值替换为该入射角所采集的低分辨率图像的强度值，相位信息保持不变；
[0049] 步骤d：利用傅里叶变换求出更新后子孔径的频谱,并用该低分辨率频谱去更新高分辨率频谱中相应的频谱成分；步骤e：重复步骤c和步骤d直至全部入射角度都完成过一次更新，并当所有入射角度完成更新后，重复步骤e，直至代价函数收敛，从而获得待检测的高分辨率图像。
[0050] 优选地，其中，所述智能检测模块包括：数据库、卷积神经网络模型和数据分析单元。
[0051] 优选地，所述数据库存储有标注好的白细胞的傅里叶叠层显微重建图像，用于为卷积神经网络模型的训练和测试提供原始数据。
[0052] 优选地，所述卷积神经网络模型被配置为基于数据库以6:2:2的比例划分的训练集、验证集和测试集而获得的一个损失函数收敛的模型。其中测试集和验证集用于训练数据集和调整网络超参数，测试集用于检验模型性能。
[0053] 优选地，参考图4所示，所述卷积神经网络模型具有两个分支结构：检测分支和计数分支。两个分支网络共用前端的卷积层提取特征。其中，检测分支在提取特征后加入RPN网络，生成若干候选区域；再经过ROI
池化，将所有候选区域的特征映射到相同的维度；最后经过分类器，获得白细胞的类别分数和坐标估计。计数分支通过1*1卷积和线性插值上采样融合多层特征，在融合特征的基础上，使用卷积
层压缩特征通道数，进一步拟合
密度图。
[0054] 进一步地，由训练完成的卷积神经网络模型完成对图像重建模块发送的待检测样本的图像进行白细胞标注。
[0055] 具体地，所述述卷积神经网络模型进行待检测样本的图像标注包括：由卷积神经网络模型输出待测样本图像中的白细胞定位、类别、数目，及红细胞数目、白/红细胞占比数值。
[0056] 优选地，参考图5所示，图中示出了白细胞和红细胞的标注示意图。三幅图像从左向右依次为细胞原图像、红细胞密度图像、白细胞标注图像。在本实施例中，红细胞的标注需要在原图像中标定红细胞的中心点，通过高斯变换将该中心点转换成一块数值之和为1的区域，未被标注的区域数值为0。经过变换生成的图像称为红细胞高斯密度图，图中所有
像素点数值之和即为原图像中红细胞个数总和。白细胞的标注则用一个与细胞大小相同的矩形框表征该细胞，记录该矩形框的四角坐标作为真值。
[0057] 优选地，所述数据分析单元基于待测样本图像中的白细胞标注，并完成与预设标准值的比较，实现待测样本白细胞是否出现异常的判断。
[0058] 实施例2
[0059] 在实施例1的基础上，本发明还公开了一种基于深度学习的白细胞大视场图像检测方法。
[0060] 优选地，所述图像检测方法至少包括如下步骤：
[0061] 步骤S1：建立数据库步骤。采集低分辨率样本图像，并重建生成高分辨率的重建图像，对生成的图像进行标注并储存至数据库中。
[0062] 优选地，步骤S1中对生成图像的标注具体包括：对于白细胞，实现检测、分类和计数功能。即是，需标注出白细胞的大小、位置和具体类别(中性粒细胞、嗜酸性粒细胞、嗜
碱性粒细胞、淋巴细胞和单核细胞)；对于红细胞，要求实现计数功能。即是，只需标注出红细胞的位置。
[0063] 步骤S2：训练卷积神经网络模型步骤，对步骤S1所采集的数据库以6:2:2的比例划分训练集、验证集和测试集，用测试集、验证集和训练数据集、调整网络超参数和检验模型性能，直至获得一个损失函数收敛的模型。
[0064] 步骤S3：待测样本采集并完成白细胞检测步骤，基于步骤S2中训练好的卷积神经网络模型完成待测样本图像中的白细胞标注。并完成与预设标准值的比较，实现待测样本情况判断。
[0065] 优选地，所述步骤S3具体包括：采集待测样本的低分辨率图像，重建高分辨率图像。并以重建后的待测样本图像作为步骤S2中训练完成的卷积神经网络模型的输入，并由卷积神经网络模型输出待测样本中的白细胞定位、类别、数目，及红细胞数目、白/红细胞占比数值。并与预先储存的标准值进行比较，判断该样品是否存在异常。
[0066] 优选地，参考图3所示。所述步骤S1和步骤S3中，对低分辨率图像进行重建生成高分辨率图像具体包括如下步骤。
[0067] 步骤a：对低分辨率图像进行去噪预处理步骤。
[0068] 优选地，所述步骤a中，对低分辨率图像进行去噪预处理步骤，具体包括：首先，在低分辨率图像采集过程中，对图像采集显微镜进行遮光处理，在补光LED完全熄灭的状态下采集暗场图像。然后，将LED阵列编程，依次点亮每个LED，采集不同入射角度下对应的样本低分辨率强度图像。最后，根据所采集的暗场图像，计算出噪声阈值，对每张图像进行噪声处理，使图像中低于该噪声阈值的灰度值为零，从而减轻噪声的影响。
[0069] 步骤b，选择垂直入射的低分辨率图像进行插值处理，并将经过插值处理后的图像作为样本初始的高分辨率光强图像，相位初始设为零；然后对其做傅里叶变换得到初始的高分辨率频谱，并开始迭代。
[0070] 步骤c，不同入射角度在频域里对应不同的孔径，针对某一个入射角度，在步骤b中获得的高分辨率频谱里截取相对应的子孔径频谱，通过逆傅里叶变换得到待更新的复振幅分布；把待更新的复振幅分布的强度值替换为该入射角所采集的低分辨率图像的强度值，相位信息保持不变。
[0071] 步骤d，利用傅里叶变换求出更新后子孔径的频谱,并用该低分辨率频谱去更新高分辨率频谱中相应的频谱成分。
[0072] 步骤e，重复步骤c和步骤d直至全部入射角度都完成过一次更新，并当所有入射角度完成更新后，重复步骤e，直至代价函数收敛，从而获得待检测的高分辨率图像。
[0073] 前述本发明基本例及其各进一步选择例可以自由组合以形成多个实施例，均为本发明可采用并要求保护的实施例。本发明方案中，各选择例，与其他任何基本例和选择例都可以进行任意组合。本领域技术人员可知有众多组合。
[0074] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何
修改、等同替换和改进等，均应包含在本发明的保护范围之内。
