首页 / 专利库 / 摄影 / 照相机 / 视网膜连拍成像期间的动态照明

视网膜连拍成像期间的动态照明

阅读:856发布:2020-05-08

专利汇可以提供视网膜连拍成像期间的动态照明专利检索,专利查询,专利分析的服务。并且一种用于 视网膜 图像的技术包括配置动态照明器以用照明图案照明视网膜。在用照明图案照明的同时,捕获视网膜的图像 帧 。 迭代 配置和捕获,以顺序地重新配置动态照明器,来用多个不同的照明图案照明视网膜并捕获多个图像帧,这些图像帧各自用不同的照明图案中的一个来照明。图像帧被组合成合成视网膜图像。,下面是视网膜连拍成像期间的动态照明专利的具体信息内容。

1.一种对视网膜成像的方法,包括:
配置动态照明器以用照明图案照明所述视网膜;
在用所述照明图案照明的同时,捕获所述视网膜的图像
迭代所述配置和所述捕获,以顺序地重新配置所述动态照明器,以用多个不同的照明图案照明所述视网膜并捕获多个图像帧,所述多个图像帧包括所述图像帧,其中图像帧中的每一个图像帧用所述不同的照明图案中的一个照明图案来照明;以及
将图像帧的至少子集组合成合成视网膜图像。
2.根据权利要求1所述的方法,其中,捕获所述多个图像帧包括通过瞳孔在单个成像窗口期间捕获图像帧的连拍,其中所述单个成像窗口被配置有在眼睛的虹膜由于所述不同的照明图案而基本闭合之前完成所述连拍的持续时间。
3.根据权利要求2所述的方法,其中,所述单个成像窗口包括小于500毫秒的持续时间。
4.根据权利要求2所述的方法,其中,所述多个图像帧包括大于或等于16帧。
5.根据权利要求2所述的方法,进一步包括:
分析图像帧中的每一个图像帧以识别被认为包括不可接受的图像伪影的缺陷区域或被认为可接受的可用区域;以及
注释图像帧以指示所述缺陷区域或所述可用区域,
其中,组合图像帧包括组合所述可用区域。
6.根据权利要求5所述的方法,其中,所述不可接受的图像伪影包括来自所述不同的照明图案中的一个或多个照明图案的膜反射。
7.根据权利要求5所述的方法,其中,组合图像帧包括应用忽略或减弱所述缺陷区域的权重。
8.根据权利要求5所述的方法,进一步包括:
基于所述分析确定所述视网膜的任何感兴趣区域是否以不足的质量成像;以及响应于确定所述视网膜的感兴趣区域以不足的质量成像,
配置所述动态照明器以用附加的照明图案照明所述视网膜,所述附加的照明图案减少以不足的质量成像的感兴趣区域中的图像伪影;以及
在所述单个成像窗口关闭之前,在用所述附加的照明图案照明所述视网膜的同时,获取一个或多个附加的图像帧。
9.根据权利要求1所述的方法,其中,组合图像帧包括对图像帧进行平均。
10.根据权利要求1所述的方法,进一步包括:
在组合图像帧之前对准图像帧。
11.根据权利要求1所述的方法,进一步包括:
在捕获图像帧的一次或多次迭代之间改变图像传感器设置。
12.根据权利要求1所述的方法,其中,顺序地重新配置所述动态照明器以用所述多个不同的照明图案照明视网膜包括以下中的一个或多个:
改变所述动态照明器在环形区域周围的照明位置,以从所述不同的照明图案中的一个或多个照明图案之间的不同角度或径向位置照明所述视网膜;
在所述不同的照明图案中的一个或多个照明图案之间改变亮度
在所述不同的照明图案中的一个或多个照明图案之间改变照明波长;或者在所述不同的照明图案中的一个或多个照明图案之间改变照明持续时间。
13.一种视网膜成像系统,包括:
视网膜照相机
动态照明器;
光学中继系统,所述光学中继系统用于在所述视网膜照相机、所述动态照明器和所述视网膜之间光学地中继光;以及
控制器,所述控制器被耦接以控制所述视网膜照相机和所述动态照明器,所述控制器包括当被运行时使所述视网膜成像系统执行操作的逻辑,所述操作包括:
配置所述动态照明器以用照明图案照明所述视网膜;
在用所述照明图案照明的同时,捕获所述视网膜的图像帧;
迭代所述配置和所述捕获,以顺序地重新配置所述动态照明器,以用多个不同的照明图案照明所述视网膜并捕获多个图像帧,所述多个图像帧包括所述图像帧,所述多个图像帧中的每一个图像帧用所述不同的照明图案中的一个照明图案来照明;以及将图像帧的至少子集组合成合成视网膜图像。
14.根据权利要求13所述的视网膜成像系统,其中,所述动态照明器包括动态径向照明器,所述动态径向照明器具有环绕所述视网膜的视场(FOV)的环形区域,并且从所述环形区域发射所述不同的照明图案。
15.根据权利要求14所述的视网膜成像系统,其中,所述动态径向照明器包括:
动态掩模,所述动态掩模被耦接以生成在所述环形区域周围的所述不同的照明图案;
光源,所述光源用于照明所述动态掩模的背侧;以及
透镜,所述透镜被布置在所述光源和所述动态掩模之间。
16.根据权利要求15所述的视网膜成像系统,其中,所述动态掩模包括以下中的一个:
可旋转不透明掩模,所述可旋转不透明掩模具有使来自所述光源的光通过的一个或多个孔,或者
空间光调制器
17.根据权利要求15所述的视网膜成像系统,其中,所述透镜包括轴锥透镜,并且所述光源包括激光源。
18.根据权利要求14所述的视网膜成像系统,其中,所述动态径向照明器包括围绕所述环形区域布置的多个分立光源。
19.根据权利要求18所述的视网膜成像系统,其中,所述分立光源包括多个不同波长的发光二极管
20.根据权利要求18所述的视网膜成像系统,其中,所述分立光源以不同的角度位置和不同的径向位置围绕所述环形区域布置。
21.根据权利要求18所述的视网膜成像系统,其中,所述分立光源中的一个或多个被偏振膜或微透镜覆盖
22.根据权利要求13所述的视网膜成像系统,其中,在虹膜由于所述不同的照明图案而基本闭合之前,通过瞳孔在单个成像窗口期间作为图像帧的连拍捕获所述多个图像帧。
23.根据权利要求22所述的视网膜成像系统,其中,所述控制器包括进一步的逻辑,当所述进一步的逻辑被运行时,使得所述视网膜成像系统执行进一步的操作,所述进一步的操作包括:
分析图像帧中的每一个图像帧以识别被认为包括不可接受的图像伪影的缺陷区域或被认为可接受的可用区域;以及
注释图像帧以指示所述缺陷区域或所述可用区域,
其中,组合图像帧包括组合所述可用区域。
24.根据权利要求23所述的视网膜成像系统,其中,组合图像帧包括应用忽略或减弱所述缺陷区域的权重。
25.根据权利要求13所述的视网膜成像系统,其中,所述控制器包括进一步的逻辑,当所述进一步的逻辑被运行时,使得所述视网膜成像系统执行进一步的操作,所述进一步的操作包括:
在捕获图像帧的一次或多次迭代之间改变所述视网膜照相机的设置,其中,所述设置包括曝光时间或增益中的一个或多个。
26.根据权利要求13所述的视网膜成像系统,其中,所述动态照明器包括被布置在所述视网膜照相机的成像路径的周边内的至少一个点光源,所述至少一个点光源用于生成所述不同的照明图案中的一个或多个照明图案。
27.根据权利要求13所述的视网膜成像系统,其中,所述动态照明器包括被布置在所述视网膜照相机的成像路径的周边外的至少一个点光源,所述至少一个点光源用于生成所述不同的照明图案中的一个或多个照明图案。

说明书全文

视网膜连拍成像期间的动态照明

[0001] 相关申请的交叉引用
[0002] 本申请要求于2017年8月14日提交的美国临时申请第62/545,234号的权益,该申请通过引用整体结合于此。

技术领域

[0003] 本公开一般涉及成像技术,并且尤其涉及视网膜成像。

背景技术

[0004] 视网膜成像是用于许多视网膜疾病筛查、现场诊断和进展监视的基本眼睛检查的一部分。高保真度视网膜图像对于准确筛查、诊断和监视是重要的。通过瞳孔的眼睛的后内表面(即视网膜)明亮照明提高了图像保真度,同时经常产生光学像差或图像伪影,诸如透镜眩光。透镜眩光是这样的现象,其中由于内部反射、各种内部边界处的折射率改变、缺陷或其他原因,光散射离开透镜系统的内部组件。这种散射光在视网膜图像中显示为透镜眩光,这对图像质量是有害。照明越亮,透镜眩光就越明显,这破坏了提高图像保真度的目标。其他图像伪影可能由于膜反射或与瞳孔的未对准引起的虹膜反射而产生。
附图说明
[0005] 参考以下附图描述本发明的非限制性和非穷尽性实施例,其中除非另有说明,否则在各个视图中,相同的附图标记指代相同的部件。并非必须标记元素的所有实例,以免在适当的地方混淆附图。附图不一定是按比例绘制的,而是强调说明所描述的原理。
[0006] 图1A示出了根据本公开的实施例的使用动态照明器的视网膜连拍(burst)成像系统。
[0007] 图1B示出了根据本公开的实施例的动态照明器的主视图。
[0008] 图2A-图2D示出了根据本公开的实施例的用不同的照明图案捕获的视网膜的图像
[0009] 图3是示出根据本公开的实施例的使用动态照明器的视网膜连拍成像系统的操作过程的流程图
[0010] 图4A-图4E示出了根据本公开的实施例的示范性动态径向照明器。
[0011] 图5是示出根据本公开的实施例的使用动态照明器的示范性视网膜成像系统的图。
[0012] 图6是根据本公开的实施例的包括集成图像信号处理器的视网膜照相机的功能框图
[0013] 图7是示出根据本公开的实施例的包括集成图像信号处理器的视网膜照相机的图像处理的框流程图。

具体实施方式

[0014] 本文描述了用于使用动态照明以减少照明伪影的视网膜连拍成像的系统、装置和操作方法的实施例。在以下描述中,阐述了许多具体细节以提供对实施例的透彻理解。然而,相关领域的技术人员将认识到,本文描述的技术可以在没有具体细节中的一个或多个的情况下实践,或者用其他方法、组件、材料等实践。在其他情况下,没有详细示出或描述公知的结构、材料或操作,以避免模糊某些方面。
[0015] 在整个说明书中,对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此,在整个本说明书中,短语“在一个实施例中”或“在实施例中”在不同地方的出现不一定全部指同一实施例。另外,特定特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。
[0016] 高保真视网膜图像对于筛查、诊断和监测许多视网膜疾病是重要的。为此,减少或消除遮挡或以其他方式对视网膜图像的部分有害的图像伪影的实例(例如,有害的角膜反射等)是期望的。本文描述的实施例组合用不同照明图案(illumination pattern)照明的多个视网膜图像帧,以减少合成视网膜图像中图像伪影的发生率。
[0017] 图1A示出了根据本公开的实施例的视网膜连拍成像系统100。成像系统100的所示出的实施例包括能够捕获视网膜125的连拍图像帧的动态照明器105、视网膜照相机110、控制器115和光学中继系统120。
[0018] 光学中继系统120用于将来自动态照明器105的光引导(例如,传递)通过瞳孔130以照明视网膜125,同时将视网膜125的成像光引导(例如,反射)到视网膜照相机110。在所示出的实施例中,光学中继系统120是分束器。然而,应当理解的是,光学中继系统120可以用许多和各种光学元件(例如,透镜、反射表面等),诸如图5中示出的光学中继系统来实施。
[0019] 控制器115耦接到视网膜照相机110和动态照明器105,以编排它们的操作。控制器115可以包括在微控制器上执行的软件/固件逻辑、硬件逻辑(例如,专用集成电路、现场可编程阵列等),或者软件和硬件逻辑的组合。尽管图1A将控制器115示出为不同的功能元件,但是由控制器115执行的逻辑功能可以跨多个硬件元件分散。例如,下面描述的图像处理功能中的一些可以作为集成信号处理器(integrated signal processor,ISP)集成到视网膜照相机110中,或者在视网膜照相机110外部的分立微处理器上执行。另外,控制器115可以包括集成或附接的存储器,用于缓冲/存储图像帧和合成视网膜图像。控制器115可以进一步包括输入/输出(I/O端口)、通信系统、用户接口等。
[0020] 视网膜照相机110可以使用多种成像技术来实施,所述成像技术诸如互补金属化物半导体(complementary metal-oxide-semiconductor,CMOS)图像传感器、电荷耦合器件(charged-coupled device,CCD)图像传感器等。在一个实施例中,视网膜照相机110包括机载存储器缓冲器和ISP,如结合图6所讨论的那样。
[0021] 在操作期间,控制器115操作动态照明器105和视网膜照相机110,以在单个成像窗口期间通过瞳孔130捕获视网膜125的图像帧的连拍。动态照明器105是动态的,因为其照明图案不是静态的;而是可以在图像帧之间改变(例如,响应于控制器115而改变)。在一些实施例中,单个成像窗口是在虹膜135由于从动态照明器105输出的照明图案而基本关闭之前,通过瞳孔130对视网膜125成像可用的时间量。在各种实施例中,单个成像窗口对应于小于500毫秒的持续时间。在其他实施例中,单个成像窗口对应于小于200毫秒的持续时间。在一个实施例中,单个成像窗口大约为100ms。在其他实施例中,单个成像窗口可以更长,持续长达5秒。在捕获成像连拍或单个成像窗口内的图像帧中的一个或多个之间,控制器115重新配置动态照明器105以输出不同的照明图案。在一个实施例中,不同的照明图案从视网膜125的视场(FOV)周围的不同角度位置照明视网膜125。当然,不同的照明图案可以包括动态照明器105的其他重新配置,如下所讨论的那样。这些不同的照明图案导致图像伪影出现在图像帧的不同区域中。因此,通过获取用不同照明图案照明的多个不同图像帧,可以生成高质量的合成视网膜图像,其中很少合成视网膜图像区域或没有合成视网膜图像区域被图像伪影遮挡。图像伪影可能由由于动态照明器105与瞳孔130的未对准而导致的虹膜135的反射、眼睛101的角膜的反射、透镜眩光等引起。
[0022] 图1B示出了根据本公开的实施例的示例动态径向照明器150的主视图。动态径向照明器150代表动态照明器105的示范性实施方式,其中照明位置在环形区域155周围径向布置。因此,动态径向照明器150代表径向实施方式;然而,应当理解的是,动态照明器105可以用能够实现动态地改变照明的其他配置(径向的或其他)来实施。
[0023] 如图1B所示,动态径向照明器150包括十二个分立的照明位置1至12,每个照明位置具有在视网膜125的FOV周围的不同角度位置。在操作期间,视网膜照相机110和动态径向照明器150可以由控制器115操作以在从每个照明位置1至12分离地照明视网膜125的同时获取一个或多个图像帧。在其他实施例中,在每个图像帧启用照明位置1至12的组。这些分组照明位置可以是在环形区域155周围的连续位置或非连续照明位置。
[0024] 图2A-图2D示出了根据本公开的实施例,用四种不同的照明图案捕获的视网膜125的四个图像帧。例如,图2A示出了视网膜125的示例图像帧205,该示例图像帧205在图像的右上象限中具有图像伪影225。图像伪影225可以是角膜反射、由于虹膜135引起的反射或遮挡、透镜眩光或其他。由此,图像帧205的右上象限可以被认为是具有不可接受的图像伪影的缺陷区域,而不包括显著图像伪影的、图像帧205的其他三个象限可以被认为是合成视网膜图像的可用区域。相应地,包括图像伪影230的、图像帧210的右下象限可以被认为是缺陷区域;包括图像伪影235的、图像帧215的左下象限可以被认为是缺陷区域;并且图像帧220的左下象限和左上象限(包括图像伪影240的部分)可以被认为是缺陷区域。应当理解的是,图像伪影可以出现在图像帧中的任何地方(包括中心区域),而不仅仅是如图2A-图2D所示出的沿着周边出现。尽管图2A-图2D示出了被分成象限的图像帧,但是图像帧可以被分割成具有各种不同形状的任意数量的区域。在一个实施例中,缺陷区域可以限于图像伪影本身的大小和形状。没有显著图像伪影的区域可以被认为是组合成合成视网膜图像可接受的可用区域。通过对准和裁剪视网膜图像205、210、215和220,并且在组合可用区域的同时忽略或减弱缺陷区域,可以获取覆盖视网膜125的整个感兴趣区域或FOV的单个、高质量、无缺陷的合成视网膜图像。
[0025] 如上所提及的那样,图像伪影225-240可能由于各种原因而发生。在角膜反射的情况下,图像伪影倾向于出现在图像帧的与照明位置相反的一侧上。因此,如果图像伪影230是由角膜反射引起的,那么可能视网膜125从照明位置10-12和1被照明。在这种情形下,在从其他位置照明的同时对视网膜125进行重新成像可以获得可用或基本无缺陷的右下象限图像。
[0026] 在由于虹膜135引起反射或遮阻的情况下,当从照明位置1-4照明时,动态照明器105可能已经与瞳孔130未对准。如图所示,这种未对准可能导致图像帧205的右上象限中的有害反射。为了校正这种图像缺陷,可以使用与图像帧205的右上象限中的缺陷区域相对的照明位置7-10来对视网膜125重新成像。
[0027] 图3是示出根据本公开的实施例的视网膜成像系统100的操作的过程300的流程图。过程中的一些或全部在过程300中出现的顺序不应被认为是限制性的。相反,受益于本公开的本领域普通技术人员将理解,过程块中的一些可以以未示出的各种顺序执行,或者甚至并行执行。
[0028] 在过程块305中,由控制器115启动视网膜成像连拍。在一个实施例中,响应于用户输入(例如,按钮按压)触发启动。在又一实施例中,可以基于凝视跟踪系统(例如,虹膜/瞳孔跟踪照相机)自动触发启动,当眼睛101的凝视与光学中继系统120充分对准时,该凝视跟踪系统触发视网膜成像连拍。
[0029] 在过程块310中,选择动态照明器105的初始照明图案和/或视网膜照相机110的初始传感器设置。这些初始设置可以是默认设置,或者可以由控制器115基于来自视网膜照相机110的实时反馈动态地选择。例如,眼睛101的环境条件或特征可以更改初始照明图案和传感器设置的选择。
[0030] 在过程块315中,启用动态照明器105以发射如先前选择的照明图案,该照明图案为视网膜照相机110成像提供光照。一旦动态照明器105被启用,单个成像窗口连同迭代动态照明和图像捕获一起开始。在过程块320中,视网膜照相机110用当前选择的传感器设置捕获视网膜125的图像帧。如果要获取附加的图像帧(判定块325),则过程300在过程块315和320处重新照明和捕获下一图像帧之前,继续到过程块330(在那里可以调整照明图案),以及过程块335(在那里可以调整图像传感器设置)。
[0031] 在单个成像窗口期间捕获的图像帧的数量可以是四个或更多个图像帧。在各种实施例中,在单个成像窗口期间可以捕获16个帧、24个帧、48个帧或者甚至多于48个帧。可以在每个图像帧之间或者在图像帧的组之间调整照明图案和/或相机设置,使得用相同的照明图案和/或相同的图像传感器设置来获取多个图像帧。在过程块330中调整照明图案可以包括改变环形区域155周围的照明位置以从不同角度或径向位置照明视网膜125、改变照明的亮度、改变照明波长(例如,在红、绿、蓝、红外、白光或其他波长之间改变)、改变图像帧之间的照明持续时间或其他照明器设置中的一个或多个。在过程块335中调整图像传感器设置可以包括改变增益设置、曝光持续时间、光圈设置或其他传感器设置中的一个或多个。
[0032] 一旦确定已经获取了所有初始图像帧(判定块325),则过程300继续到过程块340。在过程块340中,可选地分析捕获的图像帧,以识别被认为包括不可接受的图像伪影的缺陷区域(或被认为可接受的可用区域)。可选地照此对这些区域(缺陷区域或可用区域)进行注释。
[0033] 在判定块345中,确定在单个成像窗口到期之前是否应该获取附加的图像帧。在一个实施例中,此确定基于过程块340中的分析和注释。因此,在一个实施例中,控制器115确定视网膜125的任何感兴趣区域是否已经以不足的质量成像。如果任何感兴趣区域已经以不足的质量成像,则过程300返回到过程块330,以用减少在以不足的质量成像的感兴趣区域中的图像伪影的一个或多个附加的照明图案重新配置动态照明器105,并且一个或多个附加的图像帧被获取(过程块320)。在一个实施例中,这些附加的图像帧也是在单个成像窗口关闭之前获取的。
[0034] 一旦所有感兴趣的区域已经以足够的质量成像,并且因此被认为是可用的(或者单个成像窗口到期),过程300就退出迭代循环。然后,图像帧彼此对准并被裁剪成公共视网膜FOV(过程块350)、被组合(过程块355)、并被保存为合成视网膜图像(过程块360)。在各种实施例中,图像帧可以以多种不同的方式来组合(例如,堆叠、缝合等)。在一个实施例中,权重被应用于图像帧的缺陷可用区域,以忽略或以其他方式减弱缺陷区域,从而给予可用区域更大的权重。在另一实施例中,图像帧被平均,同时假设任何特定像素的良好图像将超过该像素的缺陷图像。在一个实施例中,仅组合可用区域。
[0035] 用于组合图像帧的连拍的图像堆叠技术可以包括对图像帧进行相位相关以确定平移偏移的初始步骤。一旦确定,图像帧在相反方向上移位该量以校正偏移,并且边缘被零填充(过程块350)。然后,利用以下三种示例方法(或其他方法)中的任何一种,对准图像的堆叠可以被合成为具有更有利的信噪比(signal-to-noise ratio,SNR)的单个图像(过程块355)。
[0036] 平均:具有相同x/y坐标的所有非零填充的像素跨堆叠中的所有图像被平均。在一个实施例中,使用增量平均化算法,使得不必同时在存储器中保持整个堆叠。
[0037] 西格玛限幅平均(Sigma-clipped Averaging):此技术类似于平均,除了计算每个像素堆叠(具有相同图像空间坐标的所有像素)的标准偏差并拒绝异常值。异常值的分界点是平均值+/-标准偏差的某个乘法因子,或固定标准偏差值的某个乘法因子(其对应于给定照相机设定中噪声的预定标准偏差)。例如,2.1以上的值可以用作乘法因子。这是增量算法,但是期望两遍或更多遍——一遍用于从堆叠计算平均值和标准偏差图像,以及另一遍用于计算对异常值进行限幅的增量平均。
[0038] 可以用在确定分界点时的非线性逻辑来提高西格玛限幅平均的性能。例如,如果只有两种情况:有透镜眩光和没有透镜眩光,那么对于每个像素而言跨堆叠的亮度分布应该是双模的。较低模式对应于真值,而较高模式对应于透镜眩光。在这种情况下,可能希望限幅于模式之间的中点以上,以便拒绝包含透镜眩光的大多数样本。好策略的选择取决于实际系统中的噪声特性。
[0039] 中位数:使用具有相同x/y坐标的所有非零填充的像素的中位数值。这不是增量算法,并且在合成时使用所有图像帧。
[0040] 图4A-图4E示出了根据本公开的实施例的示范性动态径向照明器。图4A-图4E中示出的动态径向照明器代表图1A中示出的动态照明器105的可能实施方式。
[0041] 图4A示出了包括光源410、透镜415和动态掩模420的动态径向照明器。光源410可以被实施为由透镜415准直(或者仅仅减少光发散)的点源。在一个实施例中,光源410是发光二极管(light emitting diode,LED)。动态掩模420包括可重新定位的孔425,以在光源410从其背侧照明时通过照明光。孔425的位置可以从中心430径向移动或者围绕中心430成角度移动。在一个实施例中,动态掩模420是具有一个或多个孔425的可旋转不透明掩模,这些孔通过旋转掩模420来重新定位。在其他实施例中,动态掩模420可以是空间光调制器(spatial light modulator,SLM)(诸如具有偏振器的液晶显示器(liquid crystal display,LCD)或电色可调光窗口),其能够在控制器115的影响下重新定位孔425。在其他实施例中,动态掩模420可以是前侧照明的并且可重新定位的孔425由可重新定位的反射元件代替。
[0042] 图4B示出了包括光源440、轴锥透镜445和动态掩模420的动态径向照明器435。动态径向照明器435类似于动态径向照明器405,除了光源440是被轴锥透镜445转换成用于照明动态掩模420的背侧的光环的激光源。
[0043] 图4C示出了动态径向照明器450,其包括围绕环形区域460(例如,环形基板)布置的多个分立光源455。环形区域460被定位成环绕(encircle)视网膜125的FOV,并且不同的照明图案从环形区域460发射。可以通过让用户观看通过环形区域460的中心而物理地环绕FOV,或者使用光学中继系统在视网膜125的FOV周围对环形区域460进行成像而光学地环绕该FOV。这同样地可适用于本文描述的其他动态照明器。
[0044] 分立光源455耦接到控制器115,用于单独控制和照明。分立光源455中的单独一个可以被照明用于点光源照明。可替代地,分立光源455中多个选择的分立光源可以同时被照明。在一个实施例中,分立光源455是LED。LED可以全部是相同的颜色、多种不同的颜色(各自是单色的或各自是宽光谱的)。另外,LED可以发射可见波段和/或红外(infrared,IR)波段的光。
[0045] 图4D示出了动态径向照明器470,其中分立光源475是多色的,并且以变化的角度位置和径向位置两者在环形区域460周围布置。尽管图4D示出了具有三种不同颜色或波长的分立光源475,但是在其他实施例中,可以使用可见或红外光谱的更多或更少的颜色/波长。类似地,对于分立光源475,其他实施例可以包括多于或少于三个径向位置。在其他实施例中,分立光源475中的一个或多个可以覆盖有偏振器(线性的或圆的)。例如,分立光源475的一部分可以包括平或左圆偏振膜,而其他部分可以包括垂直或右圆偏振膜。在一个实施例中,微透镜可以布置在分立光源475上。
[0046] 图4E示出了另一示例动态径向照明器480,其中分立光源485以变化的角度位置和径向位置两者在环形区域460周围布置。动态径向照明器480具有与照明器470相似的配置。在各种实施例中,分立光源485可以是白色LED、红外LED、或白色LED和红外LED的组合。另外,分立光源485可以被不透明并且限制每个分立光源485的照明光圈的大小和形状的照明挡板覆盖。在一个实施例中,照明挡板还可以限制从每个分立光源485发射的单独光锥的发散度。光挡板还可以用于确保从每个分立光源485发射的光锥的分割和隔离,并减少或防止分立光源485之间的交叉污染。当然,照明挡板可以包括在以上讨论的动态径向照明器中的任何一个上。
[0047] 图5是示出根据本公开的实施例的使用动态照明器的示范性视网膜成像系统500的图。视网膜成像系统500是视网膜成像系统100的一种可能实施方式。视网膜成像系统500的示出的实施例包括动态径向照明器505、视网膜照相机510、控制器115、用户接口515、显示器520以及包括透镜525和分束器530的光学中继系统。系统500以与结合系统100和过程300描述的相同的方式操作。
[0048] 动态照明器505的中心部分535物理地定位在视网膜125的FOV周围的光路中。在一些实施例中,动态照明器505的环形区域作为阻挡件操作以在到达视网膜照相机510之前阻挡许多离轴有害反射。视网膜图像被传递通过中心部分535到视网膜照相机510。除了减少由于来自角膜的有害反射造成的图像伪影之外,使用在动态照明器505的环形区域周围的多个照明位置还用于增加系统500的眼盒(eyebox)。眼盒是空间中的、眼睛101可以被定位和成像的区域。在一些实施例中,动态照明器505的分立光源(例如,点光源)中的全部或一些被布置在从视网膜125延伸到视网膜照相机510的成像路径的周边外(例如,其外围)。在其他实施例中,动态照明器505的分立光源中的一个或多个被布置在到视网膜照相机510的成像路径的周边内。
[0049] 在一个实施例中,中心部分630涂覆有一个或多个光学膜(例如,二向色涂层),以基本上穿过具有900nm以下的波长的光,同时基本上反射900nm以上的光,从而有利于使用红外(IR)凝视跟踪。在一个实施例中,虹膜照相机(未示出)被横向布置以帮助IR凝视跟踪。虹膜照相机可以操作来通过跟踪或成像眼睛101的虹膜和/或瞳孔来跟踪眼睛101的总体运动,诸如眨眼和凝视跟踪。
[0050] 分束器530被定位成使视网膜图像的光的一部分穿过到视网膜照相机510,同时将从显示器520输出的显示光反射到眼睛101。显示灯可以包括固定目标或其他视觉刺激,以在成像期间帮助视网膜对准。在一些实施例中,相比于反射性,分束器530更具透射性。在一个实施例中,分束器530具有大约90%的透射和10%的反射。可以实施其他反射率/透射率比。透镜525遍及系统500被提供,以在光路中提供图像和光聚焦。用户接口515提供用于开始连拍图像捕获的机构。在一个实施例中,用户接口515是按钮。
[0051] 图6是根据本公开的实施例的包括集成图像信号处理器的视网膜照相机600的功能框图。视网膜照相机600是视网膜照相机110(或510)的一种可能的实施方式。视网膜照相机600的示出的实施例包括二维传感器阵列605、数据转换电路610、存储器缓冲器615、集成图像信号处理器(ISP)620和输出端口625。
[0052] 在操作期间,二维图像数据(例如视网膜图像)由传感器阵列605获取,并由数据转换电路610从模拟域转换到数字域。图像数据可以以高帧速率(例如,每秒24、48、60、240、1000帧)获取,并存储在存储器缓冲器615中。ISP 620对缓冲的视网膜图像帧进行操作,以识别可用区域或缺陷区域、注释图像帧中的感兴趣区域、和/或将可用区域组合成高质量的合成视网膜图像。因此,在一个实施例中,上面描述的图像处理任务中的一些可以从控制器
115外接到ISP 620。ISP 620可以被认为是控制器115的逻辑子组件。
[0053] 图7是示出根据本公开的实施例的由视网膜照相机600进行的图像处理的框流程图,该视网膜照相机600利用具有集成的ISP 620的益处来获取高质量的合成视网膜图像。如图所示,视网膜125的图像帧705A-705C由传感器阵列605以高帧速率获取、由数据转换电路610转换成数字域、并被缓冲到存储器缓冲器615中。图像分析器710由ISP 620运行,以分析缓冲的视网膜图像705(一种预处理),来确定图像帧805的哪些部分具有足够的质量以及哪些部分由于不可接受的图像伪影而具有不足的质量。例如,图像分析器710可以分析图像帧705以获得模糊部分、不具有足够的对比度以便有用的、被洗掉的、和/或包括不可接受的角膜或虹膜反射或透镜眩光的部分。被认为不可接受的图像部分被标示为不可接受(例如,被标记或注释),而被认为可接受的图像部分被如此标示。然后,图像帧由图像配准/裁剪模块715彼此配准(例如,像素对像素的对准)、裁剪成公共FOV、并且然后由堆叠模块720组合成单个合成视网膜图像725。堆叠模块720可以组合图像以生成高动态范围图像。在其他实施例中,图像帧705被简单地组合,而没有对单独图像帧进行分析和/或注释。
[0054] 上面解释的过程是在计算机软件和硬件方面进行描述的。所描述的技术可以构成体现在有形或非暂时性机器(例如,计算机)可读存储介质内的机器可执行指令,当由机器运行时,这些指令将使该机器执行所描述的操作。此外,这些过程可以体现在硬件内,所述硬件诸如专用集成电路(application specific integrated circuit,“ASIC”)或其他。
[0055] 有形的机器可读存储介质包括以机器(例如,计算机、网络设备、个人数字助理、制造工具、具有一组一个或多个处理器的任何设备等)可访问的非暂时性形式提供(即,存储)信息的任何机制。例如,机器可读存储介质包括可记录/不可记录介质(例如,只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁盘存储介质、光存储介质、闪存设备等)。
[0056] 本发明所示出的实施例的以上描述(包括摘要中描述的内容)并不旨在是穷举性的或将本发明限制于所公开的精确形式。尽管本文为了说明的目的描述了本发明的具体实施例和示例,但是如相关领域的技术人员将认识到的那样,在本发明的范围内各种修改是可能的。
[0057] 根据以上详细描述,可以对本发明进行这些修改。所附权利要求中使用的术语不应被解释为将本发明限制于说明书中公开的具体实施例。相反,本发明的范围将完全由所附权利要求来确定,这些权利要求将根据权利要求解释的既定理论来解释。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈