首页 / 专利分类库 / 光学 / 数字成像系统及方法

数字成像系统及方法

申请号 CN202080077802.6 申请日 2020-11-23 公开(公告)号 CN114667470B 公开(公告)日 2024-05-14
申请人 豪洛捷公司; 发明人 B·F·亨特; J·D·施特吕芬; S·H·迈尔;
摘要 本 发明 涉及一种用于使用具有物镜的相机获取分布在贴附到载片的表面的试样内的物体的图像的系统及方法,所述试样具有相对于所述载片表面的不均匀高度,所述物镜具有与所述载片的所述表面形成非 正交 角 的光轴,所述方法包含:获取所述试样的第一线性部分的第一多个图像;评估在所述第一多个图像中捕获的所述试样的所述线性部分内的物体的焦点;及获取所述第一线性部分或所述试样的不同于所述第一线性部分的第二线性部分的第二多个图像,其中在所述第二多个图像的获取期间,基于在所述第一多个图像中捕获的所述物体的所述所评估焦点而使所述物镜相对于所述载片表面的高度变化。
权利要求

1.一种用于使用具有物镜的相机获取分布在贴附到载片的表面的试样内的物体的图像的方法,所述物镜具有与所述载片的所述表面形成非正交的光轴,所述试样具有相对于所述载片表面的不均匀高度,所述方法包括:
获取所述试样的第一线性部分的第一多个图像;
评估在所述第一多个图像中捕获的所述试样的所述第一线性部分内的物体的焦点,其包括确定离焦物体的总数目是否超过阈值数目以及确定所述试样沿所述第一线性部分的最佳聚焦高度;
计算所述试样沿所述第一线性部分的所述最佳聚焦高度的z聚焦高度曲线;
如果所述第一多个图像中的离焦物体的所述总数目超过所述阈值数目,则对所述试样的所述第一线性部分重新成像以获取第二多个图像,其中所述物镜相对于所述载片表面的高度在所述第二多个图像的获取期间基于所述z聚焦高度曲线而变化;和如果所述第一多个图像中的离焦物体的所述总数目不超过所述阈值数目,则获取直接邻近所述第一线性部分的所述试样的第二线性部分的第二多个图像,其中所述物镜相对于所述载片表面的高度在所述第二多个图像的获取期间基于所述z聚焦高度曲线而变化。
2.根据权利要求1所述的方法,其中所述物镜相对于所述载片表面的高度在所述第一多个图像的获取期间是恒定的。
3.根据权利要求1或2所述的方法,其中评估在所述第一多个图像中捕获的所述物体的所述焦点包括:确定所述离焦物体相对于所述载片表面的相应高度。
4.根据权利要求3所述的方法,其中评估所述第一多个图像中的所述物体的所述焦点包括:确定相应离焦物体在所述第一多个图像的获取期间是否相对于所述载片表面位于所述物镜的对焦范围之外的高度处。
5.根据权利要求3所述的方法,其中评估所述第一多个图像中的所述物体的所述焦点包括:确定相应离焦物体在所述第一多个图像中的获取期间是否相对于所述载片表面位于分别高于所述物镜的对焦范围的最大高度或低于所述对焦范围的最小高度的高度处。
6.根据权利要求1或2所述的方法,其中评估所述第一多个图像中的所述物体的所述焦点包含:确定所述第一线性部分内的离焦物体的相应位置
7.根据权利要求1或2所述的方法,其中使所述相机及所述载片中的一者或两者在所述图像的获取期间相对于另一者横向移动。
8.根据权利要求7所述的方法,其中依据所述相机相对于相应线性部分的纵向位置的线性位置通过移动所述载片以增加及/或降低所述载片表面相对于所述相机的高度而使所述物镜相对于所述载片表面的所述高度变化。
9.根据权利要求7所述的方法,其中依据所述相机相对于相应第一或第二线性部分的纵向位置的线性位置通过移动所述相机以增加及/或降低所述相机相对于所述载片表面的高度而使所述物镜相对于所述载片表面的所述高度变化。
10.根据权利要求1所述的方法,其中获取所述第二线性部分的所述第二多个图像,所述方法进一步包括
评估在所述第二多个图像中捕获的所述物体的焦点,其包括确定离焦物体的总数目是否超过阈值数目以及确定所述试样沿下一个线性部分的最佳聚焦高度;
计算所述试样沿所述第二线性部分的所述最佳聚焦高度的第二z聚焦高度曲线;及获取第三线性部分的第三多个图像,所述第三线性部分与所述第二线性部分直接相邻,其中所述物镜相对于所述载片表面的高度在所述第三多个图像的获取期间基于所述第二z聚焦高度曲线而变化。
11.一种用于使用具有物镜的相机获取分布在贴附到载片的表面的试样内的物体的图像的方法,所述物镜具有与所述载片的所述表面形成非正交角的光轴,所述试样具有相对于所述载片表面的不均匀高度,所述方法包括:
(a)获取所述试样的线性部分的第一多个图像;
(b)评估在所述第一多个图像中捕获的所述试样的所述线性部分内的所述物体的焦点,其包括确定离焦物体的总数目是否超过阈值数目以及确定所述试样沿所述线性部分的最佳聚焦高度;
(c)计算所述试样沿所述线性部分的所述最佳聚焦高度的z聚焦高度曲线;
(d)如果所述第一多个图像中的离焦物体的所述总数目超过所述阈值数目,则对所述试样的所述线性部分重新成像以获取第二多个图像,其中所述物镜相对于所述载片表面的高度在所述第二多个图像的获取期间基于所述z聚焦高度曲线而变化;和如果所述第一多个图像中的离焦物体的所述总数目不超过所述阈值数目,则获取直接邻近所述线性部分的所述试样的不同线性部分的第二多个图像,其中所述物镜相对于所述载片表面的高度在所述第二多个图像的获取期间基于所述z聚焦高度曲线而变化;及
(e)重复(a)到(d)直到已获取整个所述试样的图像。
12.根据权利要求11所述的方法,其中评估所述第一多个图像中的所述物体的所述焦点包括:确定相应离焦物体在所述第一多个图像中的获取期间是否相对于所述载片表面位于分别高于所述物镜的对焦范围的最大高度或低于所述对焦范围的最小高度的高度处。
13.根据权利要求11所述的方法,其中评估所述第一多个图像中的所述物体的所述焦点包含:确定相应线性部分内的离焦物体的相应位置。
14.根据权利要求11所述的方法,其中使所述相机及所述载片中的一者在相应第一及第二多个图像的获取期间相对于另一者横向移动。
15.根据权利要求14所述的方法,其中依据所述相机相对于相应线性部分的纵向位置的线性位置通过移动所述载片以增加及/或降低所述载片表面相对于所述相机的高度而使所述物镜相对于所述载片表面的所述高度变化。
16.根据权利要求14所述的方法,其中依据所述相机相对于相应线性部分的纵向位置的线性位置通过移动所述相机以增加及/或降低所述相机相对于所述载片表面的高度而使所述物镜相对于所述载片表面的所述高度变化。
17.一种用于获取分布在贴附到载片的表面的试样内的物体的图像的系统,所述试样具有相对于所述载片表面的不均匀高度,所述系统包括:
相机,其具有物镜,所述物镜具有光轴,其中所述相机经定位使得所述光轴与所述载片的所述表面形成非正交角;及
图像处理器,其与所述相机操作地耦合,其中所述图像处理器经配置以接收由所述相机获取的所述试样的第一线性部分的第一多个图像;
评估在所述第一多个图像中捕获的所述试样的所述第一线性部分内的物体的焦点,其包括确定离焦物体的总数目是否超过阈值数目以及确定所述试样沿所述第一线性部分的最佳聚焦高度;
计算所述试样沿所述第一线性部分的所述最佳聚焦高度的z聚焦高度曲线;
如果所述第一多个图像中的离焦物体的所述总数目超过所述阈值数目,则致使所述相机对所述试样的所述第一线性部分重新成像以获取第二多个图像,其中所述物镜相对于所述载片表面的高度在所述第二多个图像的获取期间基于所述z聚焦高度曲线而变化;和如果所述第一多个图像中的离焦物体的所述总数目不超过所述阈值数目,则致使所述相机获取直接邻近所述第一线性部分的所述试样的第二线性部分的第二多个图像,其中所述物镜相对于所述载片表面的高度在所述第二多个图像的获取期间基于所述z聚焦高度曲线而变化。
18.根据权利要求17所述的系统,其中所述物镜相对于所述载片表面的高度在所述第一多个图像的获取期间是恒定的。
19.根据权利要求17或18所述的系统,其中所述图像处理器至少部分地通过确定所述离焦物体相对于所述载片表面的相应高度而评估在所述第一多个图像中捕获的所述物体的所述焦点。
20.根据权利要求19所述的系统,其中所述图像处理器至少部分地通过确定相应离焦物体在所述第一多个图像中的获取期间是否相对于所述载片表面位于所述物镜的对焦范围之外的高度处而评估所述第一多个图像中的所述物体的所述焦点。
21.根据权利要求19所述的系统,其中所述图像处理器至少部分地通过确定相应离焦物体在所述第一多个图像中的获取期间是否相对于所述载片表面位于分别高于所述物镜的对焦范围的最大高度或低于所述对焦范围的最小高度的高度处而评估所述第一多个图像中的所述物体的所述焦点。
22.根据权利要求17或18所述的系统,其中所述图像处理器至少部分地通过确定所述第一线性部分内的离焦物体的相应位置而评估所述第一多个图像中的所述物体的所述焦点。
23.根据权利要求17或18所述的系统,其中所述相机及所述载片中的一者或两者经配置以在所述图像的获取期间相对于另一者横向移动。
24.根据权利要求23所述的系统,其中通过依据所述相机相对于相应线性部分的纵向位置的线性位置增加及/或降低所述载片表面相对于所述相机的高度而使所述物镜相对于所述载片表面的所述高度变化。
25.根据权利要求23所述的系统,其中通过依据所述相机相对于相应第一或第二线性部分的纵向位置的线性位置增加及/或降低所述相机相对于所述载片表面的高度而使所述物镜相对于所述载片表面的所述高度变化。
26.根据权利要求17或18所述的系统,其中获取所述第一线性部分的所述第二多个图像,所述图像处理器进一步经配置以
评估在所述第二多个图像中捕获的所述物体的焦点,其包括确定离焦物体的总数目是否超过阈值数目以及确定所述试样沿下一个线性部分的最佳聚焦高度;
计算所述试样沿所述第二线性部分的所述最佳聚焦高度的第二z聚焦高度曲线;及致使所述相机获取第三线性部分的第三多个图像,所述第三线性部分与所述第二线性部分直接相邻,其中所述物镜相对于所述载片表面的高度在所述第三多个图像的获取期间基于所述第二z聚焦高度曲线而变化。

说明书全文

数字成像系统及方法

[0001] 相关申请案数据
[0002] 本申请案根据35 U.S.C.§119主张2019年11月25日提出申请的美国临时专利申请案第62/940,163号的权益,所述美国临时专利申请案以其全文引用的方式并入本申请案中。

技术领域

[0003] 本公开一般来说涉及用于获取贴附到载片的表面的试样,例如具有超过成像器的景深的厚度的细胞学(细胞)试样的数字图像的系统及方法。
[0004] 以引用方式并入
[0005] 本文中出于任何目的所识别的所有美国及PCT专利及公开案以其全文引用的方式并入。

背景技术

[0006] 细胞学是生物学的分支,涉及对细胞的形成、结构及功能的研究。当应用于实验室环境中时,细胞学家、细胞学技术员及其它医学专业人员基于对患者的细胞的样本的视觉检查做出患者的健康状况的医学诊断,此样本在本文中称为“细胞学”试样。典型细胞学技术是“巴氏抹片检查(pap smear)”测试,其中从妇女的子宫颈刮取细胞并对所述细胞进行分析以便检测异常细胞的存在,所述异常细胞是宫颈癌发病的前兆。细胞学技术还用于检测人类身体的其它部位中的异常细胞及疾病
[0007] 广泛采用细胞学技术,这是因为收集用于分析的细胞样本与传统手术病理学程序(例如活检)通常具有较小侵入性,借此使用具有弹簧加压的可平移探针的专活检针、固定插管等等从患者切除固体组织样本,本文中称为“病理”试样。可通过各种技术,举例来说包含通过刮取或擦拭一区,或者通过使用针从胸腔、膀胱、椎管或其它适合区抽吸身体液体来从患者获得细胞样本。所获取细胞样本通常放置在防腐溶液中且随后从所述溶液提取并转移到载玻片。将固定剂施加到细胞样本以确保细胞在载玻片上保持就位,以促进后续染色及检查。
[0008] 通常,可期望载片上的细胞具有适当空间分布,使得可检查个别细胞。单个细胞层通常是优选的。因此,从含有许多细胞(例如,数万个)的液体样本制备细胞学试样通常需要首先通过机械分散、液体剪切或其它技术来将细胞彼此分离,使得薄的细胞单层可被收集并沉积在载片上。以此方式,细胞学技术员可更轻而易举地觉察出患者样本中任何异常细胞的存在。还能够对细胞进行计数以确保已评估充分数目个细胞。
[0009] 美国专利第5,143,627号、第5,240,606号、第5,269,918号、第5,282,978号、第6,562,299号、第6,572,824号及第7,579,190号中揭示用于从液体样本容器产生薄的细胞单层且接着将此薄层转移到有利于视觉检查的“试样载片”的特定方法及设备。根据这些专利中揭示的一种方法,使用插入到容器中的旋转样本收集器来分散悬浮在防腐液体中且存储于样本容器中的患者的细胞。将受控真空施加到样本收集器以通过其筛滤器吸出液体,直到抵靠过滤器收集所期望数量及空间分布的细胞。此后,从样本容器移除样本收集器,并将过滤器部分压在载玻片上以与所收集的大体上相同的空间分布将所收集细胞转移到载片。
根据这些专利中的一或多者的教示制造的设备已在商业上获得成功,例如 2000处理器(从患者样本一次处理一个试样载片)及 5000处理器(从患者样本批量处理试样载片),所述设备由位于萨诸塞州马尔伯勒(Marlborough)的豪洛捷公司(Hologic,Inc.)制造及销售。进一步参考美国专利第7,556,777号及第7,771,662号。
[0010] 一旦已制备试样载片,便可由细胞学技术员通常在放大情况下且利用或不利用各种照射源来在视觉上检验试样。另外或替代地,使用自动载片成像系统来辅助进行细胞学检验程序。举例来说,自动载片成像系统可捕获固定到载片的细胞学试样内的所有或大体上所有个别细胞的图像,并使用图像处理技术来执行细胞的初步评估,以便指导细胞学技术员对载片上的潜在地最相关的细胞进行仔细检验。此类成像系统的实例揭示于美国专利第7,587,078号、第6,665,060号、第7,006,674号、第7,369,304号及第7,590,492号中。无论是通过在放大情况下检验实际试样载片还是检验试样的经放大图像,试样通常由细胞学技术员分类为“正常”或“异常”,其中异常样本通常归属于由贝塞斯达(Bethesda)子宫颈/阴道细胞学诊断报告系统所界定的主要类别中的一者中。
[0011] 然而,存在与用于获取生物学试样的数字图像的先前系统及方法相关联的若干个缺点。举例来说,先前系统及方法由于在扫描整个试样时停止及聚焦所需的时间而经历缓慢获取时间。此外,并不停下来聚焦的那些先前系统及方法通常提供跨越试样的仅单个聚焦平面。包含细胞学及病理学试样两者的生物学试样实际是三维的(即,具有深度)。因此,归因于获得生物学试样的数字图像所需的高放大率及焦点孔径,图像的景深是极其有限的。因此,焦平面中景深外部的试样的部分将是离焦的或在图像中是不可见的。为了在试样的多个不同深度处获得焦点对准数字图像,必须例如通过移动试样或相机或者通过调整聚焦透镜来调整聚焦平面。然而,这需要对每一聚焦平面的试样进行额外扫描,或需要周期性地停下来重新聚焦,这进一步减慢获取时间。
[0012] 现有技术成像系统的许多前述问题由揭示并描述于PCT申请公开案WO 2020/091965A2(2019年10月9日提出申请的PCT/US19/55458)中的成像系统及方法处理及解决。
揭示于WO 2020/091965A2中的成像系统及方法的关键方面在下文描述并论述,且包含用以捕获试样内不同深度处的细胞的图像的能,所述试样与具有透镜物镜的相机的单个扫描遍次焦点对准,所述透镜物镜相对于载片表面倾斜以捕获焦点范围内包含试样的整个厚度的图像。然而,与一些试样载片一起出现且未在WO 2020/091965A2中处理的特定问题是,当试样的厚度,即,试样相对于载片表面的高度,归因于举例来说非均匀盖玻片或原始载片制备的其它方面而不均匀时。当此发生时,试样中细胞中的一些细胞—可能大量细胞将在焦点范围之外。因此,对揭示于WO 2020/091965A2中的成像系统及技术的进一步改良对于解决离焦细胞的此问题将是有用的。
发明内容
[0013] 根据所揭示发明的第一方面,揭示一种用于使用具有物镜的相机获取分布在贴附到载片的表面的试样内的物体的图像的方法,所述物镜具有与所述载片的所述表面形成非正交的光轴,所述试样具有相对于所述载片表面的不均匀高度,其中所述方法包含:(i)获取所述试样的第一线性部分的第一多个图像;(ii)评估在所述第一多个图像中捕获的所述试样的所述线性部分内的物体的焦点;及(iii)获取所述第一线性部分或所述试样的不同于所述第一线性部分的第二线性部分的第二多个图像,其中在所述第二多个图像的获取期间,基于在所述第一多个图像中捕获的所述物体的所述所评估焦点而使所述物镜相对于所述载片表面的高度变化。任选地,所述物镜相对于所述载片表面的高度在所述第一多个图像的获取期间可为大体上恒定的。任选地,所述第二线性部分直接邻近于所述第一线性部分。
[0014] 在各种实施例中,评估在所述第一多个图像中捕获的所述物体的所述焦点包含:确定离焦物体的总数目是否超过阈值数目,且接着:(i)如果所述第一多个图像中的离焦物体的所述总数目超过所述阈值数目,那么获取所述第一线性部分的所述第二多个图像,或(ii)如果所述第一多个图像中的离焦物体的所述总数目未超过所述阈值数目,那么获取所述第二线性部分的所述第二多个图像。
[0015] 在各种实施例中,评估在所述第一多个图像中捕获的所述物体的所述焦点包含:确定所述离焦物体相对于所述载片表面的相应高度,及所述相应离焦物体在所述第一多个图像中的获取期间是否相对于所述载片表面位于所述物镜的对焦范围之外的高度处。优选地,评估所述第一多个图像中的所述物体的所述焦点包含:确定所述相应离焦物体在所述第一多个图像的获取期间是否相对于所述载片表面位于分别高于所述物镜的对焦范围的最大高度或低于所述对焦范围的最小高度的高度处。
[0016] 在各种实施例中,评估所述第一多个图像中的所述物体的所述焦点包含:确定所述第一线性部分内的离焦物体的相应位置
[0017] 在各种实施例中,在所述图像的获取期间,所述相机及所述载片中的一者或两者相对于另一者移动,其中通过依据所述相机相对于所述相应第一或第二线性部分的纵向位置的线性位置增加及/或降低所述相机相对于所述载片表面的高度而使所述物镜相对于所述载片表面的所述高度变化。显而易见地,可在所述图像的获取期间,通过相对于所述相机垂直地移动所述载片或相对于所述载片垂直地移动所述相机或者此两者而使所述物镜相对于所述载片表面的所述高度变化。
[0018] 在各种实施例中,当获取所述第一线性部分的所述第二多个图像时,所述方法进一步包含:评估在所述第二多个图像中捕获的所述物体的焦点,及获取所述第二线性部分的第三多个图像,其中在所述第三多个图像的获取期间,基于在所述第二多个图像中捕获的所述物体的所述所评估焦点而使所述物镜相对于所述载片表面的所述高度变化。
[0019] 根据本文中所揭示的发明的另一方面,一种用于使用具有物镜的相机获取分布在贴附到载片的表面的试样内的物体的图像的方法,所述物镜具有与所述载片的所述表面形成非正交角的光轴,所述试样具有相对于所述载片表面的不均匀高度,所述方法包含:(a)获取所述试样的线性部分的第一多个图像;(b)评估在所述第一多个图像中捕获的所述物体的焦点;(c)获取所述试样的所述同一线性部分或不同线性部分的第二多个图像,其中在所述第二多个图像的获取期间,基于在所述第一多个图像中捕获的所述物体的所述所评估焦点而使所述物镜相对于所述载片表面的高度变化;及(d)重复(a)到(c)直到已获取大体上整个所述试样的图像。当从所述试样的所述不同线性部分获得所述第二多个图像时,此不同线性部分可直接邻近于获取所述第一多个图像的所述线性部分。
[0020] 在各种实施例中,评估在所述第一多个图像中捕获的所述物体的所述焦点可包含:确定离焦物体的总数目是否超过阈值数目。
[0021] 在优选实施例中,评估所述第一多个图像中的所述物体的所述焦点包含:确定所述相应离焦物体在所述第一多个图像中的获取期间是否相对于所述载片表面位于分别高于所述物镜的对焦范围的最大高度或低于所述对焦范围的最小高度的高度处,以及确定所述相应线性部分内的所述离焦物体的相应位置。
[0022] 在优选实施例中,在所述相应第一及第二多个图像的获取期间,使所述相机及所述载片中的一者或两者相对于另一者横向移动,其中通过依据所述相机相对于所述相应线性部分的纵向位置的线性位置增加及/或降低所述相机相对于所述载片表面的高度而使所述物镜相对于所述载片表面的所述高度变化。再次,可在所述图像的获取期间通过相对于所述相机垂直地移动所述载片或相对于所述载片垂直地移动所述相机或者此两者而使所述物镜相对于所述载片表面的所述高度变化。
[0023] 根据所揭示发明的另一方面,提供一种用于获取分布在贴附到载片的表面的试样内的物体的图像的系统,所述试样具有相对于所述载片表面的不均匀高度,所述系统包含具有物镜的相机,所述物镜具有光轴,其中所述相机经定位使得所述光轴与所述载片的所述表面形成非正交角。所述系统进一步包含与所述相机操作地耦合的图像处理器,其中所述图像处理器经配置以:接收由所述相机获取的所述试样的第一线性部分的第一多个图像;评估在所述第一多个图像中捕获的所述试样的所述线性部分内的物体的焦点;及致使所述相机获取所述第一线性部分或所述试样的不同于所述第一线性部分的第二线性部分的第二多个图像,其中在所述第二多个图像的获取期间,基于在所述第一多个图像中捕获的所述物体的所述所评估焦点而使所述物镜相对于所述载片表面的高度变化。
[0024] 在一个实施例中,在所述第一多个图像的获取期间,所述物镜相对于所述载片表面的高度是大体上恒定的。
[0025] 在一个实施例中,所述图像处理器至少部分地通过确定离焦物体的总数目是否超过阈值数目而评估在所述第一多个图像中捕获的所述物体的所述焦点。
[0026] 在一个实施例中,所述图像处理器至少部分地通过确定所述离焦物体相对于所述载片表面的相应高度而评估在所述第一多个图像中捕获的所述物体的所述焦点。
[0027] 在一个实施例中,所述图像处理器至少部分地通过确定所述相应离焦物体在所述第一多个图像中的获取期间是否相对于所述载片表面位于所述物镜的对焦范围之外的高度处而评估所述第一多个图像中的所述物体的所述焦点。
[0028] 在一个实施例中,所述图像处理器至少部分地通过确定所述相应离焦物体在所述第一多个图像中的获取期间是否相对于所述载片表面位于分别高于所述物镜的对焦范围的最大高度或低于所述对焦范围的最小高度的高度处而评估所述第一多个图像中的所述物体的所述焦点。
[0029] 在一个实施例中,所述图像处理器至少部分地通过确定所述第一线性部分内的离焦物体的相应位置而评估所述第一多个图像中的所述物体的所述焦点。
[0030] 在各种实施例中,所述相机及所述载片中的一者或两者优选地经配置以在所述图像的获取期间相对于另一者横向移动。
[0031] 不加限制地,在一个实施例中,通过依据所述相机相对于所述相应线性部分的纵向位置的线性位置增加及/或降低所述载片表面相对于所述相机的高度而使所述物镜相对于所述载片表面的所述高度变化。在同一或另一实施例中,通过依据所述相机相对于所述相应第一或第二线性部分的纵向位置的线性位置增加及/或降低所述相机相对于所述载片表面的高度而使所述物镜相对于所述载片表面的所述高度变化。
[0032] 可获取所述第一或第二线性部分的所述第二多个图像。在一个实施例中,获取所述第一线性部分的所述第二多个图像,所述图像处理器进一步经配置以:评估在所述第二多个图像中捕获的所述物体的焦点;及致使所述相机获取所述第二线性部分的第三多个图像,其中在所述第三多个图像的获取期间,基于在所述第二多个图像中捕获的所述物体的所述所评估焦点而使所述物镜相对于所述载片表面的所述高度变化。不加限制地,所述第二线性部分可直接邻近于所述第一线性部分。
[0033] 鉴于附图,将依据随后的详细描述而明了所揭示实施例的其它及进一步方面及特征。

附图说明

[0034] 参考附图更详细描述实施例的前述内容及其它方面,其中相似参考编号是指相似元件,且只要相关,相似元件的描述应可适用于所有经描述实施例,且其中:
[0035] 图1展示供在自动数字成像系统中使用的试样载片;
[0036] 图2是图1的载片的试样区的横截面;
[0037] 图3是细胞内含物的相对高度的研究的结果的表;
[0038] 图4A及4B分别是描绘跨越试样的细胞内含物的相对高度的3D聚焦图及热图;
[0039] 图5是图解说明根据一个实施例的由数字成像器使用以扫描试样载片的蛇形扫描图案的示意图。
[0040] 图6是图解说明成像器相对于载片的倾斜角的示意图;
[0041] 图7是描绘焦点合并操作的图表;
[0042] 图8A到8C是试样区的横截面图,其描绘细胞路径、由体积扫描覆盖的区,及由具有Z曲线跟随的体积扫描覆盖的区;
[0043] 图9A及9B是分别在不具有Z曲线跟随及具有Z曲线跟随的情形下获取的试样的图像;及
[0044] 图10是用于使用Z曲线跟随获取试样的图像的方法的流程图

具体实施方式

[0045] 数字全载片成像(WSI)系统的出现被设定为彻底改变病理学及细胞学领域。快速获得高质量全载片图像的能力将是成功临床工作流程中的至关重要的步骤,尤其对于如巴氏(Pap)测试等高体积筛查应用来说。液基细胞载片在视觉上向检视者呈现近乎单层,但细胞本质上是3维的。归因于紧密排列的材料的焦深可与高倍显微镜物镜的景深(DOF)相比高一个数量级,这些载片对于WSI可为具有挑战性的。出于此原因,与组织病理的组织载片相比,对细胞载片进行成像是更具挑战性的。归因于跨越载片细胞光斑区域的曲率,具有膜盖玻片的载片还可添加到扫描深度要求。如此,细胞学试样中的所关注物体与试样所贴附到的载玻片之间的距离可相对于显微镜物镜的DOF极大地变化。大多数当前WSI系统需要重复扫描以覆盖多个焦平面,以便获取质量图像,从而极大地增加成像时间。如此,有效地获得细胞载片的高聚焦质量图像是具挑战性的。本文中揭示用于有效地扫描此类载片以获得高质量焦点对准图像的系统及方法。
[0046] 参考图1,展示显微镜载片102的示范性实施例。显微镜载片102是具有载片识别区112、试样区114及框标116的矩形玻璃板110(或其它适合材料)。显微镜载片102可为约75mm乘25mm或其它适合大小的标准大小显微镜载片。显微镜载片102可具有用以促进载片102的处置及定位的斜角。试样区114可为具有最多大约22mm的直径的圆。可对显微镜载片102上的整个试样区114进行成像。载片识别区112在长度上可为最多大约25mm到28mm。载片识别部分112可印刷有条形码、ID号码及/或其它信息。试样区114被保留为载玻片102的通透区。
成像器可将框标116用作载片102上的参考点以确定载片102的位置及/或定向及其相对于成像器的特征。包含分布在三维体积内的多个物体的试样119贴附到载片102,通常贴附于试样区114内,但在一些情形中,试样可延伸于试样区114外部。试样119的三维体积具有长度(l)、宽度(w)及厚度或深度(d)。厚度(d)相对于载片102的表面界定z轴。试样119可为任何适合试样,例如其中物体是细胞的细胞学试样、其中物体是组织结构的固体组织样本等。
[0047] 如图1中所描绘,盖玻片115可用于覆盖试样区114中的试样119。试样盖玻片115是足够透明的以通过盖玻片115获取试样119的图像。换句话说,盖玻片115不阻碍成像器通过盖玻片115获取图像。盖玻片115起到如下作用:保存试样119并保护其不被污染及不污染其它物体,且还将试样119固持为扁平的并固持就位。盖玻片115具有厚度117。
[0048] 如图2中所展示,安置于载玻片110与盖玻片115之间的试样119具有厚度120。细胞122以各种深度或z轴位置分散于整个试样层。试样可具有在整个试样内超过用于获取试样中的物体(例如细胞122)的图像的光学器件的景深的厚度。这可尤其发生在其中收集个别细胞的液基细胞学试样中。放置于试样119的顶部上方的盖玻片115可由玻璃或塑料制成,且利用薄粘合剂层粘附到载片110。已观察到,细胞倾向于漂浮在粘合剂中,这致使所述细胞上升到玻璃110上面。此外,盖玻片115并非始终完全扁平的且通常展现起伏、小丘及凹处。这致使粘合剂的厚度不一致,这又致使细胞距玻璃衬底110且因此距物镜的距离发生变化,有时超过景深可适应的距离。本文中揭示用于有效地扫描细胞载片、解决将既定视场中比物镜的景深厚的试样数字化的问题的数字成像方法及系统。
[0049] 由于细胞可悬浮在封固剂中且还可堆积,因此细胞载片固有地是3维的。由于显微镜物镜具有此小景深(DOF),因此在单个图像中可无法焦点对准地捕获所有细胞。实际上,个别细胞可比单个DOF厚。具有NA 0.75的40X显微镜物镜具有小于2微米的景深。归因于跨越细胞光斑区域的曲率,具有柔性膜(塑料)盖玻片的细胞载片可需要甚至更多扫描(即,图像获取)深度。为了捕获细胞载片(例如ThinPrep载片)上的所有细胞的质量图像,需要宽得多的聚焦范围。
[0050] 在一个实例中,在具有数字相机(豪洛捷ThinPrep整合式成像器)的计算机控制的显微镜上扫描23个ThinPrep Pap载片以采集细胞制备深度数据。首先,使用计算机驱动的XY载台扫描细胞光斑区。在每一位置处,捕获Z高度的宽范围(>40微米)处的图像堆叠。将每个图像细分成小区域(35微米正方形)且针对Z堆叠中的每个层级评估布伦纳(Brenner)焦点分数度量。确定所述图的最优焦点。通过聚焦于载片上印刷的框标上,整个载玻片平面经确定且从焦点数据减去所述整个载玻片平面以确定细胞内含物的相对高度。
[0051] 图3中的表呈现从这23个载片获得的数据的总结。所述表展示,对于具有玻璃盖玻片的载片,ThinPrep载片的平均细胞深度是11.09微米,且对于具有膜盖玻片的载片,ThinPrep载片的平均细胞深度是23.6微米。在一些情形中,细胞深度可大于40微米。应注意,即使利用玻璃盖玻片,但载片内的细胞高度的局部变化达到显微镜物镜的景深的多达7倍。形成并再检测针对每一载片的曲面聚焦图。图4A及4B中展示针对膜盖玻片载片的实例,其展示在细胞光斑区域的广度内的曲率效应。特定来说,对于图4A及4B中所展示的实例,试样的中间部分中的细胞较接近于载玻片,而围绕试样的边缘的细胞较接近于盖玻片。
[0052] 如图5中所描绘,在成像期间,通过XY载片载台来移动载片102,以在整个试样区114内(或者,例如如果实际试样119覆盖与试样区114不同的区且先前确定了实际试样119的边界,那么在整个实际试样119的预定区内)扫描相机的视场。XY载片载台在来回蛇形路径中移动载片102以在每一遍次上捕获试样119的扫描带、行或线性部分的微图像。为了捕获扫描带,XY载片载台连续移动载片102,且相机由XY载片载台触发以在根据载台编码器位置到达每一触发点时捕获图像。使用极高速度相机使得载片与相机之间的相对移动是连续的。以此类高速度,沿着载片的线性部分获取图像可称为“扫描”行。使用蛇形路径(使得每一后继扫描带的开始接近于先前扫描带的结尾)来使扫描整个试样119所需的时间最小化。
当沿着扫描带移动载片102时,相机捕获试样119的微图像。也就是说,成像器根据扫描图案捕获覆盖整个试样区的多个图像,例如图5中所描绘的一个图像。扫描图案包含由图5中的平箭头130表示的多个线性部分。试样被细分成由图5中的正方形表示的多个聚焦区带
132。如此,沿着其获取图像的每一线性部分130包含多个聚焦区带132。每一线性部分130可包含30到70个聚焦区带132。在另一实例中,当载片102保持静止时,沿着扫描图案移动相机,而非移动载片102。不管移动载片102还是移动相机,载片102相对于相机移动。
[0053] 大多数当前WSI系统一次扫描单个焦平面。典型扫描器在1分钟内完成15x 15mm扫描。以此速率,扫描圆形ThinPrep细胞光斑区域到14个焦平面的深度将花费至少26分钟。为了大幅增加载片数字化器的吞吐量,一些系统被设计为在物镜与载玻片之间具有倾斜角。利用此方法,景深可用于同时将各自位于略微不同深度处的相异层数字化。接着,所述层可在称为焦点合并的操作中叠并成单个复合聚焦层,所述操作涉及选择展现最佳聚焦的层(或层的部分)并将那些聚焦良好的区域压合在一起。利用此方法,载片可在物镜下连续移动,而不停下来进行聚焦。各种层被数字化且被合并,并且可构造本质上执行获取后聚焦的系统。此系统的唯一限制是物镜的景深,这又转变为可被成像的试样的最大厚度。此系统的明显优点是,无需停止及聚焦。
[0054] 使用倾斜平面体积扫描方法显著减少用于扫描全部细胞内含物区的获取时间。ThinPrep Pap载片可在大约2.5分钟内完成。如图6中所展示,成像光学器件及相机202相对于载片102倾斜。相机框架的一个边缘处的图像区域比相机框架的另一边缘处的区域获取更接近于载玻片的图像。在一个实例中,48毫弧度的倾斜角及0.5mm的载片处的图像宽度提供0.5x sin(0.048)的扫描深度,即24微米。
[0055] 如图6中最佳地展示,物镜的光轴204在扫描方向上(参见图5)相对于载片102的平面的正交直线以倾斜角206倾斜。换句话说,在载片的表面处的相机及光学器件的所得光轴204并不正交于载片102的平面。如WO 2020/091965A2中更详细地描述,倾斜角206允许成像器获得载片102上的试样119的体积图像(即,延伸到试样119的深度中的图像)。换句话说,微图像包含载片102上的不同试样119深度处的特征的焦点对准图像,而非在以试样119的正交角拍摄的图像的情形中的仅单个焦平面。成像站可经配置以获取微图像,其中微图像中的每一者包含下伏于载片102的表面的载片102的深度的至少一部分。如果盖玻片115用于载片102上,那么成像站可经配置以获取微图像,其中微图像中的每一者包含盖玻片115的深度的至少一部分。
[0056] 当相机连续移动时,其经触发以每当已移动其自身宽度的1/14时获得新图像。使用极高速度(>100fps)相机。这些重叠图像可经分割且重新组装以获得14个焦平面图像,如图7中所展示且如WO 2020/091965中更详细地描述。为了最优化存储空间,通过从各种平面选择焦点对准像素来将焦平面组合成单个经延伸景深图像。使用GPU硬件加速实时地进行图像处理。
[0057] 虽然盖玻片并非完全扁平的,但其扁平度的变化本质上是逐步的。这意指盖玻片可在载片的中心中形成隆起,或者可能由跨越载片表面的多个波形成,但盖玻片与下伏玻璃之间的距离中不存在突然改变。举例来说,图8A中展示完全扁平盖玻片115,而图8B及8C中展示具有波形或不平表面的盖玻片。
[0058] 此缓慢改变的间隙允许获取后聚焦的成像系统具有比由光学器件单独提供的有效景深大得多的有效景深。基本上,当通常使用光栅来回图案(如图5中所展示)来扫描载片时,在每一遍次结束时(在反转扫描的方向以询问下一行或扫描带之前),在焦点合并操作期间分析所收集层并确定最优焦点。随着生物学材料跟随起伏盖玻片向上漂移,在先前扫描带中找到最佳焦点的层可用于预测用于待扫描的下一扫描带的最佳焦点图案。在焦点合并期间找到所关注个别物体且说明其深度。接着使用每一行来预测用于下一行的最佳焦点。
[0059] 在扫描带的结尾处检测到离焦区域后,可以那些离焦区域现在是焦点对准的不同高度重新扫描所述扫描带。可接着使用所得聚焦高度来通知下一扫描带,这又使重新扫描扫描带所需的次数最小化。
[0060] 此系统的优点是可凭借不必停止及聚焦、通常还不必返回并重新扫描离焦区域的事实而实现高得多的吞吐量(较低扫描时间)。替代地,所述系统仅来回扫描,直到其已数字化(及焦点合并)整个试样。在穿梭的同时,物镜根据从先前扫描带所给出的聚焦图上下驱动,所有设计均为使所关注物体保持在景深内,使得尽管所关注物体距载玻片表面的距离是变化的,但其全部为焦点对准的。
[0061] 为了处置在具有膜盖玻片的载片上发现的较大总细胞深度范围,可在Z轴上驱动成像光学器件以跟随曲率,如图8A到8C中所展示。细胞路径802起伏且通常倾斜。使用如上文所描述的倾斜相机的体积扫描提供比在单个焦深处进行的扫描更厚的扫描区域804,但无法提供细胞路径802的底部部分806及顶部部分808的焦点对准图像。具有Z曲线跟随810的体积扫描捕获试样的整个细胞路径802。相机视场的大小的区中的局部细胞深度是在倾斜平面扫描深度内,但在较长距离内,焦深的较大变化可为必要的。
[0062] 曲线跟随扫描方法使局部聚焦误差最小化,从而提供较高质量WSI图像。用于形成图9A及9B中的图像的载片具有40微米以上的Z焦深。图9A中展示不具有Z曲线跟随的体积扫描。图9B中展示具有Z曲线跟随的体积扫描。图9B中的图像比图9A中的图像更清晰且更焦点对准。
[0063] 现参考图10,将描述用于获取分布在贴附到载片的表面的试样内的物体的图像的方法500。特定来说,对于具有相对于载片表面的不均匀高度且具有超过光学器件的景深的厚度的试样,使用具有Z曲线跟随的体积扫描来获取图像。在方法500的第一步骤502中,对试样载片上的离散位置进行取样以确定初始聚焦高度(Z)。接下来,在步骤504中,使用在步骤502中针对第一线性部分中的每一聚焦区带确定的初始聚焦高度,沿着试样的第一线性部分获取数个图像。初始聚焦高度沿着第一线性部分保持恒定,这意指在步骤504中,物镜相对于载片表面的高度在试样的第一线性部分中的图像的获取期间是大体上恒定的。试样的每一行或线性部分包含多个聚焦区带。
[0064] 举例来说,参考图5,沿着线性部分的每一正方形可为聚焦区带。待由成像器扫描的每一线性部分可包含举例来说30到70个聚焦区带。替代地,可使用在步骤502中取样的离散位置而非使用步骤504中的大体上恒定聚焦高度来确定用于第一线性部分的z曲线,且可通过跟随所述z曲线来获取沿着第一线性部分的图像。如此,在沿着第一线性部分获取图像期间,物镜沿着z轴根据z曲线相对于载片上下移动。
[0065] 接下来,在步骤506中,对于刚被扫描过的线性部分中的每一聚焦区带,通过评估图像中捕获的物体是否为焦点对准的来确定最佳焦点。所述评估包含:确定离焦物体是否在试样中相对于载片表面位于物镜的对焦范围之外的高度处。所述评估还可包含:基于离焦物体。沿着试样的线性部分的相对位置而识别所述离焦物体。也就是说,对于沿着线性部分的每一聚焦区带,评估图像以确定哪一焦平面具有最佳焦点。如图7中所描绘,使用倾斜角图像获取,一次在12个焦平面中捕获图像。举例来说,如果发现最佳焦点在最上或最下焦平面(焦平面1或12)中,那么可需要分别上下移动物镜相对于载片的z轴位置,以便获得具有更好焦点的图像。另外,如果最佳焦点发现于最上或最下焦平面中,那么可需要在试样的下一邻近线性部分中的图像获取期间分别上下移动物镜相对于载片的z轴位置。
[0066] 如果太多物体是离焦的(即,离焦物体的数目超过预定阈值数目),那么在步骤508中调整离焦物体中的每一者的聚焦高度(Z),且根据新的聚焦高度曲线重新扫描线性部分。当相机跟随聚焦高度曲线时,通过依据相机沿着试样的线性部分的相对位置增加及/或降低相机相对于载片表面的高度而使物镜相对于载片表面的z轴位置变化。物镜相对于载片的z轴位置可沿着试样的线性部分从一个聚焦区带改变到下一聚焦区带。在一个实施例中,载片110上下移动,而物镜的z轴位置保持静止。在替代实施例中,物镜上下移动,而载片的z轴位置保持恒定。
[0067] 如果大多数或所有聚焦区带是焦点对准的,那么在步骤510中,基于当前行中的每一聚焦区带的最佳焦点而计算每一聚焦区带的接下来的值。用于下一行的聚焦区带中的一些聚焦区带可向上移动(即,使得z位置较接近于盖玻片且较远离载玻片),以追踪较接近于盖玻片的所关注物体,而聚焦区带中的一些聚焦区带可针对下一行向下移动以追踪较接近于载玻片的所关注物体。接下来,在步骤512中,使用在步骤510中计算的聚焦曲线来扫描下一线性部分。针对试样中的每一线性部分重复步骤506到512,直到获得整个试样的图像。也就是说,在获取针对试样的每一线性部分的图像之后,评估那些图像中的物体的焦点(步骤506)。基于所述评估,确定用于试样的下一线性部分的聚焦曲线(步骤510)且将所述聚焦曲线用于获取直接邻近于刚被扫描过的线性部分的下一线性部分中的物体的图像(步骤
512)。替代地,如果焦点评估显示,太多物体是离焦的,那么调整聚焦曲线并使用经调整的聚焦曲线再次扫描同一线性部分(步骤508)。
[0068] 虽然已展示及描述特定实施例,但将理解,以上描述并不打算限制这些实施例的范围,且此揭示内容是仅出于解释及图解说明目的而提供的。因此,可对所揭示实施例做出各种改变及修改而不背离所附权利要求书的范围。
QQ群二维码
意见反馈