通过包含激光扫描显微镜的测量装置测量三维样品的方法
及该测量装置
技术领域
[0001] 本
发明涉及一种以具有三维测量空间且包含激光扫描显微镜的测量系统进行样品的三维测量的方法。本发明还涉及这种测量系统。
背景技术
[0002] 根据技术发展
水平，现存许多三维成像装置(CT，MRI，
超声波，多种激光扫描方法，例如共焦显微镜、双
光子显微镜、三维双光子显微镜、旋转盘共焦显微镜、
原子力显微镜)。这些装置通常连接到常规计算机构造，即，由测量产生的三维(3D)信息作为二维(2D)投影显示在监视器上。医学上，信息的
生物学应用快速
感知和快速决策较重要，因为生物样品通常具有短的寿命，或者测量的现象可仅在有限时间周期内观察到。在这种样品的情况下，客观事实是：经常通过执行外科手术交互或实验而改变检查样品。在一些实例中，使用立体显示以增强对所获数据的观察，然而，观察与对样品进行的测量和物理交互时间上是分开的。
[0003] 生物样品的三维测量可由三维(3D)激光扫描显微镜执行，其通过逐点扫描样品来实施测量。3D激光扫描技术在分析生物样品，尤其在成像三维生物结构和追踪这种结构不同时间量程上的变换方面非常重要。
[0004] 通常使用的3D激光扫描显微镜为共焦显微镜或双光子显微镜。在共焦显微镜技术中，小孔布置在检测器之前以滤除由显微镜物镜的焦平面之外的任何其它平面反射的光。因此，可成像位于样品(例如，生物样本)中不同深度的平面。
[0005] 双光子激光扫描显微镜使用较低
能量的激光光，其中一量子事件中需要两个光子激发
荧光团(flourophore)，导致荧光光子的发射，其然后由检测器检测。接近同时吸收两个光子的可能性极低，需要高通量的激发光子，因此
双光子激发实际上仅在
激光束的焦斑(即，通常具有约300nm x300nm x1000nm的尺寸的小椭圆体体积)中发生。通常，飞秒脉冲激光用于提供双光子激发所需的光子通量，同时保持平均激光束强度足够低。
[0006] 当应用上述技术之一时，3D扫描可通过例如由步进
马达移动样品台来执行，然而，这在使用浸没样本室或在用微
电极在生物样本上执行电记录时难以实施。因此，在分析生物样本的情况下，通常优选移动激光束的焦斑而不是移动样本。这可通过偏转激光束以扫描焦平面(XY平面)的不同点以及通过由例如压电
定位器沿物镜的光轴(Z轴)移动物镜以改变焦平面的深度来实现。存在几个已知技术用于在激光束进入物镜之前例如通过偏转安装在检流计
扫描仪上的反射镜或通过声光偏转器来偏转激光束。
[0007] 另一可能性在于使用所谓的全息显微术，其中期望的二维或
三维扫描效果通过使用空间光
调制器(SLM)实现(Volodymyr Nikolenko,Brendon O.Watson,Roberto Araya,Alan Woodruff,Darcy S.Peterka and Rafael Yuste,2008,Frontiers in Neuronal Circuits)。可与先前系统结合使用的用于执行3D扫描的新技术是所谓的
时空复用显微镜，即，空间脉冲分离(Adrian Cheng,J Tiago Peyman Golshani,Katsushi Arisaka,Carlos Portera-Cailliau,2011,Nature Methods)。在该方法中，单个激光脉冲由分束器分为多于一个的部分，每一个子脉冲以不同的时间延迟聚焦在不同的平面，因为每一个子脉冲穿过将子脉冲成像至不同焦平面的不同成像系统。为了空间扫描，时间顺序上冲击的子脉冲由快速光子计数检测器分开。
[0008] 检流计扫描仪
和声光偏转器是极快的装置，因此移动焦斑至期望的XY平面
位置以及在该位置通过检测器获得测量数据可在少于1μs内进行。然而，由于显微镜物镜的迟钝，Z定位耗费实质上更多的时间，致使3D扫描为漫长的操作。
[0009] 为了实现本领域通常接受的
信号噪声比，且假设平均物镜和平均样品大小，测量可花费许多分钟(例如，以优选具有大于光学
分辨率的分辨率的双光子显微镜扫描512 x512 x 200个
像素的体积，测量可花费5-20分钟)。然而，在生物样品中发生的快速生理反应为ms量级(例如，动作电位，突触
信号传输)。扫描显微镜的测量时间可通过仅沿相关区域、曲线、点测量而省略样品的其它部分而减少。这种技术例如公开在WO2010/007452中。
然而，该技术与相似技术的应用首先需要空间选择3D样品的一部分。
[0010] 从 现 有 技 术 ( 参 见，Katona et al.:Roller Coaster Scaning reveals spontaneous triggering of dendiritc spikes in CA1 interneurons.PNAS,February1,2011,vol.108,no.5)已知一种技术，其中，在垂直于激光扫描显微镜的光轴的平面中扫描样品，2D部分依次显示给用户，其模拟沿着光轴的向前或向后运动。用户必须选择2D部分上要测量的构造(区域、曲线、点)。
[0011] 已知方法具有一些缺点：首先，难以在具有复杂空间结构的典型生物物体中定向其本身，如多种神经细胞类型的情况。该问题尤其在物体垂直于扫描平面时以及在物体彼此邻近时出现，在该情况中，难以追踪连续物体并区分相邻平面之间的分离物体(参见，例如，
电子显微镜重建程序)。该情形在
质量差、信号噪声比低的图像需要分析或物体的连续性和不同必须在这种图像中确定时进一步恶化。
[0012] 另一缺点在于，因为样品的局部永久变化位置而常常没有足够的时间观察2D部分。例如，如果用户在3D中预选择理想上所需的几百个测量点，则该工艺将需要长时间，使得样品甚至在完成选择之前便失去其原始位置以致在开始时选择的点不再在正确位置。
发明内容
[0013] 本发明的目的在于提供一种使用激光扫描显微镜分析三维样品的方法和测量系统，其克服了
现有技术有关的问题。
[0014] 已认识到，如果激光扫描显微镜(或其它物理操作装置)的测量空间由三维
虚拟现实装置显示，并且实时连接提供在测量空间与三维虚拟空间之间，则上述缺点可得到克服，因为三维观察对于进行测量的用户而言更自然，甚至具有较
低信号噪声比的质量更差的图像也可更好地解译，并且连续性和不同可更易于确定。
[0015] 因此，本发明的目的通过以具有三维测量空间且包含激光扫描显微镜的测量系统进行样品的三维测量的方法实现，该方法的特征在于：
[0016] -为测量系统提供三维虚拟现实装置；
[0017] -利用三维虚拟现实装置产生测量空间的三维虚拟空间；
[0018] -允许在虚拟空间中选择操作；
[0019] -在测量空间和虚拟空间之间提供实时的单向或双向连接，使得在虚拟空间中选择的操作在测量空间中进行，以及在测量空间中测量的数据在虚拟空间中显示。
[0020] 上述目的进一步通过提供用于样品的三维测量的测量系统来实现，该测量系统具有三维测量空间且包含激光扫描显微镜。该测量系统的特征在于，包含显示测量空间的三维虚拟空间的三维虚拟现实装置，且在激光扫描显微镜和三维虚拟现实装置之间提供实时的单向或双向连接。
[0021] 本发明的有利
实施例限定在从属
权利要求中。
附图说明
[0022] 从附图和示例性实施例可知本发明的进一步细节。
[0023] 图1为根据本发明的示例性测量系统的示意图；
[0024] 图2a为根据本发明的测量系统的另一优选实施例的示意图；
[0025] 图2b为根据本发明的测量系统的又另一优选实施例的示意图；
[0026] 图2c为根据本发明的测量系统的再一个优选实施例的示意图。
具体实施方式
[0027] 图1为根据本发明的测量系统10的示意图。测量系统10具有三维测量空间12，其中安置了示意性示出的样品14。测量空间12是物理操作可在样品14上进行的空间区域。在物理操作下，意图进行物理参数的测量以及物理相互作用。因此，测量空间12是其中可测量样品14的物理参数或可与样品14物理上相互作用的测量系统10的空间区域。在本发明的上下文中，物理参数理解为包含物理、化学、光化学、生物学等参数，其可由任意类型的测量设备测量，而物理相互作用理解为表示任何类型的物理、化学、光化学、生物学等相互作用(其主要意图在于产生样品14的物理参数的变化)，以及放置任何类型的工具或设备在样品14中的过程。
[0028] 测量系统10包含激光扫描显微镜16，为了简化，该激光扫描显微镜的测量空间(即，在其中可以显微镜测量的空间区域)没有与测量系统的10的测量空间12区分开。应注意，两个测量空间12通常重合，因为显微镜16的测量空间由测量系统10的测量空间12包含，另外，测量系统10的测量空间12通常不超过显微镜16的测量空间，因为任何其它测量或相互作用按常规在可由显微镜16扫描的空间区域中进行。此外，应注意，测量空间12是相对于显微镜16的样品台定义的，因此可设想显微镜16的焦点通过移动样品台而相对于样品14移动，测量空间还可关于由通过移动样品台到多个位置而简单偏转激光束所扫描的放大。
[0029] 测量系统10还包括一些类型的三维虚拟现实(VR)装置18，其产生测量空间12的三维虚拟空间12'。从诸如立体显示器和
自动立体显示器的技术已知多种VR装置18。立体显示器的构思在于分别为用户11的右眼和左眼显示右侧图像和左侧图像，人类大脑将它们感知为单个3D图像。如果右侧图像和左侧图像没有以分开的方式分别投射到用户11的右眼和左眼，那么两个图像通常由具有不同物理特性的两个光束(例如，蓝光和红光，
正交偏振光束等)投射。在该情况下，显示需要主动或被动用户装置11a(通常为眼镜)，用于分开右侧和左侧图像。主动用户装置11a例如可为交替快
门式眼镜，而被动用户装置11b例如可为偏振3D眼镜。
[0030] 自动立体显示器不需要任何类型的用户装置11a，因为在该情况下，显示形成为使得用户11用右眼仅看见右侧图像，用左眼仅看见左侧图像。例如，这是
视差控制显示如何作用的。
[0031] 在上述显示的情况中，优选使用头部位置
跟踪，例如通过应用WO2005/116809中所公开的技术。这样，
指定给用户11的两眼的两个图像可根据用户11的眼睛的位置而由三维显示器成像，因此显示的虚拟空间12'不呈现为扭曲的。
[0032] 除了立体显示器外，例如还可使用其它的VR装置18，使得产生虚拟空间12'作为实像，其在空间上与测量空间12不同。这种显示器例如为全息显示器(参见WO9834411)，以及用激光束将3D图像投射到空气中的3D激光投射器。
[0033] 在由任意VR装置18产生的虚拟空间12'中，由测量系统10测量的样品14的测量点还由VR装置18显示。这可通过首先3D扫描放置在激光扫描显微镜16的测量空间12中的样品14来完成。这里，物镜允许用户11观察整个可仅相对较慢地被扫描的样品14，且允许用户11识别并选择其中关注的区域用于执行进一步地测量或相互作用。VR装置18在虚拟空间12'中显示扫描的样品14的虚拟图像，即，VR装置18为用户11显示虚拟样品14'。
[0034] 3D扫描整个样品14可例如通过在垂直于或横向于激光扫描显微镜16的光轴t的多个平面中扫描样品14以及在虚拟空间12'中通过VR装置18显示扫描的平面来实现。
[0035] 还可通过应用一些投射(通常是最大强度投射)像雾一样(like a fog)在虚拟空间12'中显示扫描的样品14的3D阵列。为了这种实时显示，通常需要许多图解计算，这优选在计算机的GPU或图形
加速器中进行。
[0036] 在另一优选实施例中，扫描的样品14在合适的计算之后在虚拟空间12'中作为空间表面元件显示，一个或多个模拟
光源被采用以增加三维效果。
[0037] 用户11可选择在虚拟空间12'中显示的虚拟样品14'上的操作。测量系统10优选包含3D输入装置20，用于选择操作。从现有技术已知这种输入装置20，例如，臂形式的3D定点设备、
照相机识别姿势控制、由红外照相机检测的手边的主动/被动标记器或手持装置(例如，WO2005/116809中公开的标记器)等。扫描系统10可包括一个或多个3D输入装置20(标记器)，应用的标记器可有不同类型，例如，笔、手套、球、针等。在根据本发明的扫描系统10的优选实施例中，以六个
自由度绝对定位的笔状3D标记器(参见WO2005/116809)用作输入装置20。3D标记器可在虚拟空间12'中显示为常规
光标(cursor)。上述头部
位置跟踪的应用具有以下优点：使得可在虚拟空间12'中显示虚拟光标，从而与3D标记器的实际空间位置(即，在移动标记器时由用户11感知的位置)准确重合。
[0038] 扫描系统10容许测量空间12与虚拟空间12'之间的实时连接。这意味着在虚拟空间12'中选择的操作在测量空间12中进行，在测量空间12中测量的数据显示在虚拟空间12'中。
[0039] 这种操作可为(优选通过3D输入装置20)选择虚拟空间12'中样品14的虚像中的虚拟构造22'，虚拟构造22'由一个或多个点和/或曲线和/或区域构成，以及指挥激光扫描显微镜16扫描测量空间12中对应于虚拟构造22'的真实构造22。为了进行这些，测量系统10的控制系统24(通常为计算机或计算机上运行的控制程序)计算测量空间12中对应于虚拟构造22'的真实构造22的坐标，以及控制激光扫描显微镜16以沿着对应于所选择的虚拟构造22'的真实构造22或在其中扫描样品14。这涉及沿着真实构造22或在其中移动激光扫描显微镜16的焦点，这可通过偏转激光束及改变焦深和/或通过移动显微镜16的物镜和/或移动样品台来执行。可实行通过激光扫描显微镜16扫描样品14的指定点或沿样品14的指定曲线或在样品14的指定区域中扫描，例如如WO2010/007452或WO2010/055362或WO2010/055361中所公开的。
[0040] 在扫描真实构造22期间，由显微镜16获得的测量数据可由VR装置18在虚拟空间12'中实时显示，因此，用户11从选择的扫描操作的执行获得实时反馈。
[0041] 用户还可借助3D输入装置20将虚拟标记21'放置在虚拟空间12'中，利用该标记，用户可任意选择操作。例如，虚拟标记21'可因任何原因涉及测量空间12中的相应标记点21的特定特性或者选择/标记。
[0042] 优选地，用户11不仅仅能够选择要由测量系统10中的激光扫描显微镜16执行的操作。优选地，测量系统10还包含一个或多个其它物理操作装置26，用于在测量空间12中执行物理操作，例如执行物理相互作用或物理参数的测量。例如，适合的操作装置26可用于在显微镜12的测量空间12中应用机械或激光操纵，或者可用于控制对样品14的化学品或其它物质的局部供应/添加或在样品14中局部释放物质。例如，用户11在虚拟空间12'中选择的操作可为选择刺激点，操作装置26可用于执行刺激。该刺激例如可通过光学刺激实现，通过激起化学或电子响应或通过注入化学
试剂。
[0043] 测量系统10的用于执行物理相互作用的操作装置26可为
机器人外科手术装置，例如刀、激光
切除装置、
超声波凝结器、激光凝结器、微
注射器、
真空吸引装置、光缆、
电刺激器等，或者要插入样品14中的测量装置，例如，电极、用于膜片钳技术(patchclamp technique)的微移液管、
内窥镜装置或
电泳测量头。操作装置26可适合用于在细胞或轴突(axon)水平执行定向的激光显微外科手术。
[0044] 操作装置26还可用于执行多种特定测量。特定测量通常是变窄并因此在时间上加速的3D测量工艺，并且可在较小的空间区域中，或沿着子表面或曲线，或在单个点处进行。例如，在膜片钳测量的情况中，还可以以较高速度追踪细胞的放电模式(firing pattern)。这种测量常结合成包括应用刺激物和分析响应的协议。刺激物可为激起电刺激反应的电极，或感官刺激物，离子
电渗疗法或物质的局部光化学释放，光敏
蛋白质的光刺激，或各种局部震动。
[0045] 优选地，VR装置18还以某一形式在虚拟空间12'中显示操作装置26，例如，操作装置26的执行物理相互作用的工具28由虚拟空间12'中的虚拟工具28'表示。还可设想操作装置26不具有具体的相互作用工具28(例如，在光刺激装置的情况中)，尽管这样，仍可确定相互作用点29为与样品14相互作用的点，并且其可通过VR装置18以虚拟相互作用点29'的形式显示。
[0046] 优选地，用户11还可借助3D输入装置选择操作装置26的操作，例如，可选择虚拟构造22'，从而沿着对应于选择的虚拟构造22'的真实构造22或在其中移动操作装置26的相互作用点29。优选地，用户11可借助输入装置20的光标抓住虚拟工具28'或虚拟相互作用点29'，并可将其拖至虚拟样品14'的期望点，从而指挥操作装置26在测量空间12的相应点处执行物理操作。
[0047] 优选地，测量系统10的控制系统24还控制操作装置26，即，控制系统24将虚拟空间12'中所选择的操作作为可由操作装置26执行的命令传至操作装置26。
[0048] 当由操作装置26执行选择的操作时，还可提供测量数据(例如，电极可测量细胞膜的电位)，其可由VR装置18实时显示在虚拟空间12'中。
[0049] 如果测量系统10用于执行复杂操作，则会发生测量系统10比用户11解释数据更快地提供数据。还可能的是，控制操作本身(例如，测量/外科手术)需要许多决定、相互作用，其不能由单个人处理。对于这种情况，优选的是提供用于多用户11的测量系统10。这可通过使用能够为多个用户11提供虚拟现实的VR装置18或可提供给各用户11的分开的VR装置18来实现，从而显示虚拟空间12'。后面的实施例示于图2a中。两个分开的VR装置18为两个用户11产生测量空间12的两个分开的虚拟空间12'，优选每个用户11可独立地使用提供给指定VR装置18的3D输入装置20选择操作。控制系统24优选将在两个虚拟空间12'中选择的操作译为命令，其根据选择的操作控制激光扫描显微镜16和任何可选的操作装置26的相互作用工具28。有利的是：在多用户测量系统10中在用户11之间分配显微镜16的控制和操作装置26的相互作用工具28的控制。例如，在图2a示出的实施例中，第一用户11在第二用户控制操作装置26时控制激光扫描显微镜16。然而，还可设想的是，利用测量需要比用户11观察结果充分少的时间的事实，两个用户11分时控制相同的测量设备(显微镜16和操作装置26)。例如，分时可应用在目标为在样品14体积内的大量细胞上执行一些检查时，在该情况下，多个用户11可同时执行检查，因此分享工作。
[0050] 还可设想工作分享的相
反面，如图2b所示。如果用分开的测量设备(显微镜16和操作装置26)测量样品14的不同部分或方面，则由这些提供的数据可由单个VR装置18显示，因此允许用户11基于多于一个的同步信息作出决定并控制更多类型或更复杂的相互作用和操作。该技术可应用于例如
视网膜细胞以及处理视网膜图像的头部的相对侧的视觉皮质的同时3D测量。
[0051] 一个或多个VR装置18与显微镜16以及其它的一个或多个可选操作装置26之间的连接可为通过局部或全局网络的直接连接，全局网络包含因特网。例如，在某一科学领域具有特殊经验的用户11可从世界的遥远位置分析样品14或控制执行在样品14上的测量。在远程连接的情况下，还可允许多用户11
访问相同的测量系统10，或允许单个用户11控制多于一个的测量系统10(见图2c)。
[0052] 可如下使用根据本发明的测量系统10。
[0053] 用户11将样品放置在激光扫描显微镜16的测量空间12中，并利用显微镜16对样品14进行3D扫描。这例如可通过沿着垂直于光轴t的多个平面扫描样品14来执行。在此之后，VR装置18以虚拟样品14'的形式在虚拟空间12'中显示扫描的样品14。用户11可优选借助于可为3D标记器形式的输入装置20操纵虚拟空间12'中的虚拟样品14'。例如，用户11可抓住虚拟样品14'，空间旋转它，移动它，放大它或减小其尺寸，选择要由显微镜16或可选地由属于测量系统10的其它操作装置26实行的虚拟样品14'上的操作。对于要由显微镜16实行的操作，用户11优选借助于3D标记器选择由一个或多个点和/或曲线和/或区域构成的虚拟构造22'。测量系统10计算测量空间12中对应的真实构造22的坐标，并且基于计算的坐标，控制系统24控制激光扫描显微镜16以沿着对应于选择的虚拟构造22'的真实构造22或在其中扫描样品14。测量的数据可由测量系统10的VR装置18实时显示在虚拟空间12'中，基于此，用户11甚至可在测量期间进行干预。因此，在测量空间12与虚拟空间12'之间有实时连接。用户11优选不仅在虚拟空间12'中控制激光扫描显微镜16，而且控制如前所述的属于测量系统10的其它物理操作装置26。控制系统24提供为在测量空间12中由操作装置26实行在虚拟空间12'中选择的操作，同时，测量系统10的VR装置18显示在测量空间12中由操作装置26和/或激光扫描显微镜16测量的数据。因此，在该情况中，测量空间12与虚拟空间12'之间也有实时连接，因此用户11甚至可在执行选择的操作期间进行实时干预，并可更改测量或选择进一步的测量。
[0054] 在优选实施例中，测量系统10以一个或多个
频率同时(在同一时间)或接近同时运行。在该情况中，测量(双光子荧光强度、
荧光寿命、传输信号、二次谐波发生(SHG)信号、偏振信号等)可以一个或多个频率进行，同时物理操作(分子的光化活化、
光激发的化学物质或生物物质、蛋白质的光活化、切除等)以一个或多个不同频率同时或接近同时进行。由于应用不同的频率，同时物理操作和测量不会互相干扰，可在3D虚拟现实环境中跟踪并显示二者。
[0055] 在3D虚拟现实中显示测量和其它物理操作极大地增强了控制激光扫描显微镜16和其它物理操作装置26的有效性，因为用户11可容易且自然地感知呈现给用户11的虚拟现实环境形式的虚拟空间12'的概要或很放大的信息，因此用户11可执行3D操作必需的3D选择，以及以自然的方式进行对其的控制。由根据本发明的测量系统10和方法帮助完成的最重要任务是：
[0056] -3D数据结构的观察和理解；
[0057] -样品14和/或视点的取向以及导航；
[0058] -测量构造(平面、曲线、体积)的选择以及在其中设定多种参数；
[0059] -控制特定高速测量
算法(参见，例如WO2010/055361、WO2010/007452)以及为此目的在样品14的测量平面12中执行选择；
[0060] -通过其它操作装置26选择和控制其它操作；
[0061] -在虚拟空间12'中示出位置特定测量数据；
[0062] -检查相互作用的效果。
[0063] 本发明允许通过在相应虚拟空间12'中运行的合适3D输入装置20(标记器)实时选择测量空间12中测量的精确空间位置，以及允许其连续变化。因此，激光扫描显微镜16需要仅反复扫描充分较小的体积，因为测量限制在对应于手动选择的虚拟构造22'的真实构造22中。该方法允许以比每次扫描整个样品14更高的速度执行检查。用户11甚至可接着借助于测量系统10移动物体(例如，跟随沿着神经细胞的轴突传输的带有标签的粒子的轨迹)。
[0064] 在进行特殊测量或通过操作装置26如上所述执行相互作用时，精确的3D取向在临床应用和科学研究中至关重要。
[0065] 本发明的另一优点在于：在虚拟空间12'中显示物体(例如，在神经细胞的情况中)类似于后解剖重建(post anatomic reconstruction)但实时增强了方案(formula)的解译，因此例如在神经细胞的情况中帮助识别从测量的观点来看是重要的轴突、树突、树突段或轴突段。虚拟现实环境(VR环境)还提供快速且自然的方式来选择要测量的结构，例如，可显示要测量的轴突以及经由VR装置18的3D输入装置20快速设定3D中的各种测量特性。通过沿着选择的虚拟构造22'更新仅3D图像点，可选择并设定3D中的合适测量协议，即，限定在哪测量以及测量多久。除了控制显微镜16的测量，还可经由测量系统10控制在测量空间12中由显微镜16执行的光化学刺激、机械的激光操纵，以及多种化学复合物和物质的局部附加(注入)。反应、测量点、曲线、区域(即，由用户11选择的真实构造22)可以以位置特定方式显示在虚拟空间12'中(例如，通过在与测量点链接的3D标志上显示2D瞬态，或者通过应用
颜色编码显示测量的真实构造22的活动图)，因此可更好地图解结果的空间性。
[0066] 应认识到的是，在不脱离由所附权利要求确定的保护范围的情况下，上述实施例的多种
修改对本领域技术人员而言是显而易见的。
