技术领域
[0001] 本
发明涉及
生物显微成像技术领域，尤其涉及一种基于深度学习的无波前探测器自适应点扫描成像方法及装置。
背景技术
[0002] 针对点扫描显微成像系统应用的自适应光学技术按波前探测方式分可分为有波前探测器的直接波前探测技术和无波前探测器的间接波前探测技术。直接波前探测技术因引入波前
传感器增加了光学系统的成本及系统设计的复杂度，且对
光源能量要求很高。而间接波前探测技术不需要引入波前传感器，无这些缺点。间接波前探测技术主要有基于模型的模式法等及无模型的随机搜索
算法。模式法等基于模型的算法矫正速度快，但矫正范围小。随机搜索算法矫正范围大，但矫正速度慢，样品容易受光毒性等影响。因此，以上方法均不能在较低的系统设计成本下同时获得较高的像差矫正速度与较好的像差矫正效果。
发明内容
[0003] 本发明
实施例提供了一种基于深度学习的无波前探测器自适应点扫描成像方法及装置，可以提升生物立体显微成像的成像分辨
力与
对比度，缩短像差自适应矫正的时间，提高点扫描显微成像系统的成像深度。
[0004] 为了解决上述技术问题，本发明实施例提供了一种基于深度学习的无波前探测器自适应点扫描成像方法，包括：
[0005] 采集激光的第一聚焦光斑光强分布信息；
[0006] 将所述第一聚焦光斑光强分布信息输入至预设的学习模型中，输出第一像差泽尼克系数；
[0007] 将由所述第一像差泽尼克系数构成的第一波前
相位分布加载到光路中，从而采集得到第二聚焦光斑光强分布信息；
[0008] 将所述第二聚焦光斑光强分布信息输入至预设的学习模型中，输出第二像差泽尼克系数；
[0009] 将由所述第一像差泽尼克系数与所述第二像差泽尼克系数之和构成的第二波前相位分布加载至光路中。
[0010] 进一步的，所述预设的学习模型通过以下方式构建：
[0011] 获取多个像差泽尼克系数，分别将所述多个像差泽尼克系数构成的波前相位分布加载到光路中，从而采集得到多组聚焦光斑光强分布信息；
[0012] 以所述多个像差泽尼克系数和所述多组聚焦光斑光强分布信息作为训练集，以聚焦光斑光强分布信息作为输入，以像差泽尼克系数作为输出，采用
卷积神经网络进行训练，构建学习模型。
[0013] 进一步的，所述学习模型以输出的泽尼克系数与实际泽尼克系数的均方误差为目标函数，并通过随机梯度下降算法最小化所述目标函数。
[0014] 进一步的，所述实际泽尼克系数通过像差表征公式得到，所述像差表征公式为：
[0015] 其中，r，θ为光瞳面的归一化极坐标，i为泽尼克多项式阶数，ψ(r,θ)为波前相位分布函数，Zi(r,θ)为第i阶泽尼克基函数，ai为第i阶泽尼克像差的系数。
[0016] 进一步的，所述预设的学习模型采用卷积神经网络；
[0017] 所述卷积神经网络包括5个卷积层和3个全连接层；
[0018] 所述5个卷积层依次顺序连接，在第1个卷积层和第5个卷积层后面分别紧连一个
池化层，两个池化层后面均紧连一个丢掉层；
[0019] 所述5个卷积层的卷积核大小均为3×3，所述5个卷积层的激活函数均为线性整流函数；
[0020] 所述5个卷积层后面顺序连接3个全连接层，第1、2个全连接层的激活函数为线性整流函数，第3个全连接层的激活函数为线性激活函数。
[0021] 进一步的，所述训练集中的像差泽尼克系数和聚焦光斑光强分布信息，通过多种激光光强进行获取。
[0022] 进一步的，所述训练集中的像差泽尼克系数为因变量，所述聚焦光斑光强分布信息为自变量。
[0023] 进一步的，所述采集激光的第一聚焦光斑光强分布信息，是通过图像传感器进行采集。
[0024] 进一步的，所述将由所述第一像差泽尼克系数与所述第二像差泽尼克系数之和构成的第二波前相位分布加载至光路中，具体为：
[0025] 通过
变形镜或空间光
调制器将所述第一像差泽尼克系数与所述第二像差泽尼克系数之和构成的第二波前相位分布加载至光路中。
[0026] 相应地，本发明还提供一种基于深度学习的无波前探测器自适应点扫描成像装置，包括：
[0027] 第一光强信息采集模
块，用于采集激光的第一聚焦光斑光强分布信息；
[0028] 第一像差泽尼克系数获取模块，用于将所述第一聚焦光斑光强分布信息输入至预设的学习模型中，输出第一像差泽尼克系数；
[0029] 第二光强信息采集模块，用于聚焦光斑光强分布信息获取模块，用于将由所述第一像差泽尼克系数构成的第一波前相位分布加载到光路中，从而采集得到第二聚焦光斑光强分布信息；
[0030] 第二像差泽尼克系数获取模块，用于将所述第二聚焦光斑光强分布信息输入至预设的学习模型中，输出第二像差泽尼克系数；
[0031] 成像模块，用于将由所述第一像差泽尼克系数与所述第二像差泽尼克系数之和构成的第二波前相位分布加载至光路中。
[0032] 实施本发明实施例，具有如下有益效果：
[0033] 本发明实施例提供的基于深度学习的无波前探测器自适应点扫描成像方法，通过采集激光的第一聚焦光斑光强分布信息，将第一聚焦光斑光强分布信息输入至预设的学习模型中，输出第一像差泽尼克系数，然后将由第一像差泽尼克系数构成的第一波前相位分布加载到光路中，从而采集得到第二聚焦光斑光强分布信息，再将第二聚焦光斑光强分布信息输入至预设的学习模型中，输出第二像差泽尼克系数，最后将由第一像差泽尼克系数与第二像差泽尼克系数之和构成的第二波前相位分布加载至光路中，就可以提升生物立体显微成像的成像分辨力与对比度，缩短像差自适应矫正的时间，提高点扫描显微成像系统的成像深度。
附图说明
[0034] 图1是本发明提供的基于深度学习的无波前探测器自适应点扫描成像方法的第一实施例的流程示意图；
[0035] 图2是本发明提供的深度学习训练光路示意图；
[0036] 图3是本发明提供的成像光路示意图；
[0037] 图4是本发明提供的基于深度学习的无波前探测器自适应点扫描成像装置的第二实施例的结构示意图；
[0039] a、
激光器；b、第一整形扩束透镜；c、第二整形扩束透镜；d、变形镜；e、聚焦透镜；f、阵列探测器；
[0040] 1、激光器；2、
准直扩束系统；3、分束镜；4、XY扫描振镜；5、扫描透镜；6、管镜；7、变形镜；8、显微物镜；9、载物台；10、收集透镜；11、阵列探测器。
具体实施方式
[0041] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0042] 为了解决共焦
显微镜或其他点扫描成像技术在深层样品成像时折射率失配引起的波前相位畸变问题，获得更大的像差矫正范围、更快的像差矫正速度、更好的像差矫正效果，本发明提出一种基于深度学习的无波前探测器自适应点扫描成像方法，其具体实施方案如下：
[0043] 由于波前相位分布可以被表示为一系列泽尼克基函数之和，所以波前探测的问题就可以转化为求解像差泽尼克系数的问题，本发明也将以此展开说明。
[0044] 请参见图1，是本发明提供的基于深度学习的无波前探测器自适应点扫描成像方法的一种实施例的流程示意图。如图1所示，该方法包括步骤S1-S5，各步骤具体如下：
[0045] 步骤S1：采集激光的第一聚焦光斑光强分布信息。
[0046] 在本发明实施例中，采集方式包括图像传感器、阵列探测器如CCD探测光斑光强分布信息，但不限于为其他能够采集得到光斑光强分布信息的方式。
[0047] 步骤S2：将所述第一聚焦光斑光强分布信息输入至预设的学习模型中，输出第一像差泽尼克系数。
[0048] 请参见图2，图2是本发明提供的深度学习训练光路示意图，作为本发明的优选实施例，所述预设的学习模型通过以下方式构建：
[0049] 获取多个像差泽尼克系数，分别将所述多个像差泽尼克系数构成的波前相位分布加载到光路中，从而采集得到多组聚焦光斑光强分布信息；以所述多个像差泽尼克系数和所述多组聚焦光斑光强分布信息作为训练集，以聚焦光斑光强分布信息作为输入，以像差泽尼克系数作为输出，采用卷积神经网络进行训练，构建学习模型。
[0050] 其中，所述训练集中的像差泽尼克系数为因变量，所述聚焦光斑光强分布信息为自变量。
[0051] 需要说明的是，所述学习模型以输出的泽尼克系数与实际泽尼克系数的均方误差为目标函数，并通过随机梯度下降算法最小化所述目标函数。
[0052] 在本实施例中，所述实际泽尼克系数通过像差表征公式得到，所述像差表征公式为：
[0053] 其中，r，θ为光瞳面的归一化极坐标，i为泽尼克多项式阶数，ψ(r,θ)为波前相位分布函数，Zi(r,θ)为第i阶泽尼克基函数，ai为第i阶泽尼克像差的系数，i的选取依据实际情况而定，本实施例选用5-36阶泽尼克基函数之和表示像差。
[0054] 进一步的，本发明采用的卷积神经网络包括5个卷积层和3个全连接层，所述5个卷积层依次顺序连接，在第1个卷积层和第5个卷积层后面分别紧连一个池化层，两个池化层后面均紧连一个丢掉层，所述5个卷积层的卷积核大小均为3×3，所述5个卷积层的激活函数均为线性整流函数(RELU)，所述5个卷积层后面顺序连接3个全连接层，第1、2个全连接层的激活函数为线性整流函数(RELU)，第3个全连接层的激活函数为线性激活函数(LINEAR)。
[0055] 为了提高训练集的可靠性，可在多种激光光强下进行训练集数据的采集。
[0056] 并且，训练过程中起波前相位调制的变形镜也可用空间光调制器代替。
[0057] 具体的，激光器a发射激光经由第一整形扩束透镜b和第二整形扩束透镜c后出射为平行光，平行光接收变形镜d的波前相位调制后被聚焦透镜e聚焦，由阵列探测器f探测光斑形状。该光路中变形镜d也可用空间光调制器等其它具有波前相位调制功能的光学元件代替。
[0058] 实验过程中，生成一组随机数作为5-36阶泽尼克多项式的系数，由本发明内容中的像差表征公式计算波前相位分布，将其加载至变形镜中对平面光波进行调制，光波受调制后其聚焦光斑光强分布会改变，由阵列探测器探测。
训练数据集由阵列探测器探测到的光斑光强分布信息及对应的像差泽尼克系数构成。其中光斑光强分布信息为卷积神经网络的
输入层，像差泽尼克系数为卷积神经网络的
输出层。
[0059] 步骤S3：将由所述第一像差泽尼克系数构成的第一波前相位分布加载到光路中，从而采集得到第二聚焦光斑光强分布信息。
[0060] 步骤S4：将所述第二聚焦光斑光强分布信息输入至预设的学习模型中，输出第二像差泽尼克系数。
[0061] 步骤S5：将由所述第一像差泽尼克系数与所述第二像差泽尼克系数之和构成的第二波前相位分布加载至光路中。
[0062] 需要说明的是，将由像差泽尼克系数构成的波前相位分布加载到光路中，可以是变形镜进行操作的，还可以是空间光调制器进行操作，但不限于为其它具有波前相位调制功能的光学元件。
[0063] 优选的，通过重复步骤S1-S5进行
迭代运算，可以提高矫正效果。
[0064] 请参见图3，图3为本发明提供的成像光路示意图，为了更好的说明本发明实施例的工作原理，以下通过具体实施例加以说明：
[0065] 激光器1出射激光经由准直扩束系统2出射为平行光，光由分光镜3反射后由扫描振镜4反射至扫描透镜5，经聚焦光波经管镜6出射为平行光，光由变形镜7反射，经显微物镜8聚焦于放置在载物台9上的样品，含样品信息的光原路返回至变形镜7受到变形镜7的波前相位调制(像差矫正)后继续原路返回至分束镜3，从分束镜3出射的光波由收集透镜10聚焦后聚焦光斑光强分布被阵列探测器11接收。
[0066] 深度学习训练过程，由图3所示光路获得由光斑光强分布作为输入、对应像差泽尼克系数作为输出的训练数据集。采用卷积神经网络建立像差泽尼克系数与聚焦光斑光强分布之间的映射关系。
[0067] 在实际成像过程中，变形镜7起到像差矫正的作用。由阵列探测器记录点扫描成像过程中的聚焦光斑光强分布，在
层析成像过程中，每层可随机选取某一扫描点的聚焦光斑光强分布，将其输入至训练好的学习模型，按发明内容中的自适应像差矫正过程计算重构相位的泽尼克系数，由变形镜生成对应的波前相位分布进行像差补偿，完成矫正。
[0068] 综上所述，本发明实施例提供的基于深度学习的无波前探测器自适应点扫描成像方法，通过采集激光的第一聚焦光斑光强分布信息，将第一聚焦光斑光强分布信息输入至预设的学习模型中，输出第一像差泽尼克系数，然后将由第一像差泽尼克系数构成的第一波前相位分布加载到光路中，从而采集得到第二聚焦光斑光强分布信息，再将第二聚焦光斑光强分布信息输入至预设的学习模型中，输出第二像差泽尼克系数，最后将由第一像差泽尼克系数与第二像差泽尼克系数之和构成的第二波前相位分布加载至光路中，就可以提升生物立体显微成像的成像分辨力与对比度，缩短像差自适应矫正的时间，提高点扫描显微成像系统的成像深度。
[0069] 第二实施例：
[0070] 请参见图4，是本发明提供的一种基于深度学习的无波前探测器自适应点扫描成像装置的第二实施例的结构示意图。该装置包括：第一光强信息采集模块201、第一像差泽尼克系数获取模块202、第二光强信息采集模块203、第二像差泽尼克系数获取模块204、成像模块205。
[0071] 第一光强信息采集模块201，用于采集激光的第一聚焦光斑光强分布信息；
[0072] 第一像差泽尼克系数获取模块202，用于将所述第一聚焦光斑光强分布信息输入至预设的学习模型中，输出第一像差泽尼克系数；
[0073] 第二光强信息采集模块203，用于聚焦光斑光强分布信息获取模块，用于将由所述第一像差泽尼克系数构成的第一波前相位分布加载到光路中，从而采集得到第二聚焦光斑光强分布信息；
[0074] 第二像差泽尼克系数获取模块204，用于将所述第二聚焦光斑光强分布信息输入至预设的学习模型中，输出第二像差泽尼克系数；
[0075] 成像模块205，用于将由所述第一像差泽尼克系数与所述第二像差泽尼克系数之和构成的第二波前相位分布加载至光路中。
[0076] 本实施例更详细的工作原理和流程可以但不限于参见第一实施例的基于深度学习的无波前探测器自适应点扫描成像方法。
[0077] 由上可见，本发明能够提升生物立体显微成像的成像分辨力与对比度，缩短像差自适应矫正的时间，提高点扫描显微成像系统的成像深度。
[0078] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过
计算机程序来指令相关的
硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
[0079] 以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
