一种基于眼底成像技术的目标跟踪控制系统及其方法
阅读：723发布：2024-02-11
专利汇可以提供一种基于眼底成像技术的目标跟踪控制系统及其方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于 眼底 成像技术的目标 跟踪 控制系统及其方法，该控制系统包括主系统和辅系统；所述主系统，用于以成像影像为依据计算眼底 位置 随时间的变换关系，得到眼底运动 信号 ；通过所述主系统建立并标定所述眼底运动信号与所述辅系统的激光控制臂的参数之间的空间坐标位置变换关系，将所述眼底运动信号的值转换为所述辅系统的激光控制臂的参数。采用本发明，通过对主系统进行实时稳像，能够动态补偿随机的眼底运动，从而在成像系统中呈现视觉上稳定的眼底动态影像，以便于为临床操作选择病理区和方便手术操作人员能够精确 定位 辅系统欲打击的眼底位置。，下面是一种基于眼底成像技术的目标跟踪控制系统及其方法专利的具体信息内容。
1.一种基于眼底成像技术的目标跟踪控制系统，包括主系统和辅系统；其特征在于，所述主系统，用于以成像影像为依据计算眼底位置随时间的变换关系，得到眼底运动信号；通过所述主系统建立并标定所述眼底运动信号与所述辅系统的激光控制臂的参数之间的空间坐标变换关系，将所述眼底运动信号的值转换为所述辅系统的激光控制臂的参数值。
2.根据权利要求1所述基于眼底成像技术的目标跟踪控制系统，其特征在于，眼底运动信号(xi，yi，θi)与所述辅系统的激光控制臂的参数(Xi，Yi)之间的空间坐标变换关系，具体为：
(Xi，Yi)＝g(x，y，θ；X，Y)(xi，yi，θi) (1)
其中：g(x，y，θ；X，Y)为空间坐标变换关系；(xi，yi)为从主系统成像影像图像中获取的眼底运动的平移量，θi为眼底运动的旋转量；(Xi，Yi)为辅系统的激光控制臂的平移量。
3.根据权利要求1所述基于眼底成像技术的目标跟踪控制系统，其特征在于，依据主系统标定眼底运动信号与辅系统的激光控制臂的参数之间的空间坐标变换关系的过程为：
a、设定眼底运动信号的原始位置(x＝0，y＝0，θ＝0)和激光控制臂的参数也设置在零位置(X＝0，Y＝0)；记录一组眼底图像作为参考图像f0，并记录辅系统中聚焦激光束在眼底的位置；
b、分别改变主系统的参考图像的x、y，旋转方向调整一个运动刻度k，记录主系统在新的图像fk相对于参考图像的位置(xk，yk，θk)；并调整辅系统的激光控制臂，将聚焦激光束调整到零位置情况下同样的眼底位置，得到一个激光控制臂的参数(Xk，Yk)；
c、循环步骤b，遍历主系统的光学系统允许的平移量x、y和旋转角θ的运动刻度，得到矩阵关系：
G[X Y]＝[x y θ] (2)
其中：矩阵G[X Y]为实测的从主系统到辅系统的空间变换关系；X＝[X1X2 … XK]T，Y＝[Y1 Y2 … YK]T，x＝[x1 x2 … xK]T，y＝[y1 y2 … yK]T，θ＝[θ1 θ2 … θK]T。
4.根据权利要求1所述基于眼底成像技术的目标跟踪控制系统，其特征在于，所述的主系统为眼底相机、线扫描眼底相机LSO、共焦扫描眼底相机cSLO、自适应光学眼底相机、自适应光学LSO、自适应光学SLO相机中的任一个。
5.一种基于眼底成像技术的目标跟踪控制方法，其特征在于，包括如下步骤：
A、在集成有辅系统的眼底成像系统中，利用所述主系统，以成像影像为依据计算眼底位置随时间的变换关系，得到眼底运动信号；
B、通过所述主系统建立并标定所述眼底运动信号与所述辅系统的激光控制臂的参数之间的空间坐标变换关系，将所述眼底运动信号的值转换为所述辅系统的激光控制臂的参数。
6.根据权利要求5所述基于眼底成像技术的目标跟踪控制方法，其特征在于，步骤B所述眼底运动信号(xi，yi，θi)与辅系统的激光控制臂的参数(Xi，Yi)之间的空间坐标变换关系，具体为：
(Xi，Yi)＝g(x，y，θ；X，Y)(xi，yi，θi) (1)
其中：g(x，y，θ；X，Y)为空间坐标变换关系；(xi，yi)为从主系统成像影像图像中获取的眼底运动的平移量，θi为眼底运动的旋转量；(Xi，Yi)为辅系统的激光控制臂的平移量。
7.根据权利要求5所述基于眼底成像技术的目标跟踪控制系统，其特征在于，依据主系统标定眼底运动信号与辅系统的激光控制臂的参数之间的空间坐标变换关系的过程为：
B1、设定眼底运动信号的原始位置(x＝0，y＝0，θ＝0)和激光控制臂的参数也设置在零位置(X＝0，Y＝0)；记录一组眼底图像作为参考图像f0，并记录辅系统中聚焦激光束在眼底的位置；
B2、分别改变主系统的参考图像的x、y，旋转方向调整一个运动刻度k，记录主系统在新的图像fk相对于参考图像的位置(xk，yk，θk)；并调整辅系统的激光控制臂，将聚焦激光束调整到零位置情况下同样的眼底位置，得到一个激光控制臂的参数(Xk，Yk)；
B3、循环步骤B2，遍历主系统的光学系统允许的平移量x、y和旋转角θ的运动刻度，得到矩阵关系：
G[X Y]＝[x y θ] (2)
其中：矩阵G[X Y]为实测的从主系统到辅系统的空间变换关系；X＝[X1X2 … XK]T，Y＝T T T T
[Y1 Y2 … YK]，x＝[x1 x2 … xK]，y＝[y1 y2 … yK]，θ＝[θ1 θ2 … θK]。
一种基于眼底成像技术的目标跟踪控制系统及其方法
技术领域
背景技术
[0002] 现有基于图像系统的眼底激光束控制系统中，通常有一个用于眼底横向成像的主成像系统(简称主系统)，比如传统的眼底相机(Fundus Camera)、线扫描眼底相机(Line Scan Ophthalmoscope，LSO)，共焦扫描眼底相机(Confocal Scanning Light Ophthalmoscope，cSLO)，自适应光学眼底相机 (flood-illuminated adaptive optics retinal imaging)，自适应光学LSO (AO-LSO)，或者自适应光学SLO(AO-SLO)。然后在主系统的导航下，集成一个辅成像系统(简称辅系统)。辅系统可用于将一个聚焦的激光束投射到眼底做眼底/视网膜激光治疗，也可以将该聚焦激光束以扫描的工作方式在眼底纵向穿透(垂直于眼底的切面)成像，比如OCT成像，还也可以用于其他目的。
[0003] 以上所述的主系统，通常包含至少三个重要功能：(1)通过记录的眼底图像为临床工作者提供眼底病理区信息；(2)允许临床工作者以主系统的图像作为一个参考基准，在主系统的图像上选择辅系统欲操作的病理区； (3)以主系统作为导航，通过主系统动态图像捕捉眼底运动信号，然后将主系统的眼底运动信号通过特定的空间变换关系转化到辅系统的激光控制臂，使得辅系统能根据主系统的眼底运动信号动态调整激光控制臂的参数，将辅系统的聚焦激光束投递到指定的眼底位置。但上述现有技术存在如下两个明显的缺陷：
[0004] 1)由于眼球的随机运动，主系统成像系统的眼底动态影像(图像和视频)往往也是随时间在随机漂移并且经常伴随着旋转。这种随机漂移的动态影像给手术操作人员在主系统上选择病理区带来诸多不便。由于病理区的位置一样飘忽不定，比如在眼底治疗进行激光打击的过程中，这种情况难以让手术操作人员精确定位辅系统欲打击的眼底位置。
[0005] 2)上述现有主系统眼底横向成像系统，图像帧频通常在25～30帧/秒。现有计算眼底运动信号的算法通常以帧为单位，比如每一帧图像，应用互相关(Cross Correlation)算法可给出一组(x，y，θ)，其中(x，y)是平移量，θ是旋转量。但是，眼球和头部运动导致眼底图像的运动频谱往往覆盖着相当大的范围。基于现有普通以25～30Hz帧频的主系统的图像处理的现有算法，难以捕捉到较高频率的眼底运动，从而无法足够精确控制辅系统激光臂的空间位置，导致了辅系统激光束落到指定眼底位置的空间精度较差。
发明内容
[0006] 有鉴于此，本发明的主要目的在于提供一种基于眼底成像技术的目标跟踪控制系统及其方法，通过对主系统进行实时稳像，动态补偿随机的眼底运动，从而在成像系统中呈现视觉上稳定的眼底动态影像，以便于为临床操作选择病理区和方便手术操作人员能够精确定位辅系统欲打击的眼底位置。
[0007] 为达到上述目的，本发明的技术方案如下：
[0008] 一种基于眼底成像技术的目标跟踪控制系统，包括主系统和辅系统；所述主系统，用于以成像影像为依据计算眼底位置随时间的变换关系，得到眼底运动信号；通过所述主系统建立并标定所述眼底运动信号与所述辅系统的激光控制臂的参数之间的空间坐标变换关系，将所述眼底运动信号的值转换为所述辅系统的激光控制臂的参数值。
[0009] 其中：眼底运动信号(xi，yi，θi)与所述辅系统的激光控制臂的参数(Xi， Yi)之间的空间坐标变换关系，具体为：
[0010] (Xi，Yi)＝g(x，y，θ；X，Y)(xi，yi，θi) (1)
[0011] 其中：g(x，y，θ；X，Y)为空间坐标变换关系；(xi，yi)为从主系统成像影像图像中获取的眼底运动的平移量，θi为眼底运动的旋转量；(Xi， Yi)为辅系统的激光控制臂的平移量。
[0012] 依据主系统标定眼底运动信号与辅系统的激光控制臂的参数之间的空间坐标变换关系的过程为：
[0013] a、设定眼底运动信号的原始位置(x＝0，y＝0，θ＝0)和激光控制臂的参数也设置在零位置(X＝0，Y＝0)；记录一组眼底图像作为参考图像f0，并记录辅系统中聚焦激光束在眼底的位置；
[0014] b、分别改变主系统的参考图像的x、y，旋转方向调整一个运动刻度k，记录主系统在新的图像fk相对于参考图像的位置(xk，yk，θk)；并调整辅系统的激光控制臂，将聚焦激光束调整到零位置情况下同样的眼底位置，得到一个激光控制臂的参数(Xk，Yk)；
[0015] c、循环步骤b，遍历主系统的光学系统允许的平移量x、y和旋转角θ的运动刻度，得到矩阵关系：
[0016] G[X Y]＝[x y θ] (2)
[0017] 其中：矩阵G[X Y]为实测的从主系统到辅系统的空间变换关系；X＝[X1 X2…XK]T，Y＝[Y1Y2…YK]T，x＝[x1x2…xK]T，y＝[y1y2…yK]T，θ＝[θ1θ2…θK]T。
[0018] 所述的主系统为眼底相机、线扫描眼底相机LSO、共焦扫描眼底相机 cSLO、自适应光学眼底相机、自适应光学LSO、自适应光学SLO相机中的任一个。
[0019] 一种基于眼底成像技术的目标跟踪控制方法，包括如下步骤：
[0020] A、在集成有辅系统的眼底成像系统中，利用所述主系统，以成像影像为依据计算眼底位置随时间的变换关系，得到眼底运动信号；
[0021] B、通过所述主系统建立并标定所述眼底运动信号与所述辅系统的激光控制臂的参数之间的空间坐标变换关系，将所述眼底运动信号的值转换为所述辅系统的激光控制臂的参数。
[0022] 其中，步骤B所述眼底运动信号(xi，yi，θi)与辅系统的激光控制臂的参数(Xi，Yi)之间的空间坐标变换关系，具体为：
[0023] (Xi，Yi)＝g(x，y，θ；X，Y)(xi，yi，θi) (1)
[0024] 其中：g(x，y，θ；X，Y)为空间坐标变换关系；(xi，yi)为从主系统成像影像图像中获取的眼底运动的平移量，θi为眼底运动的旋转量；(Xi， Yi)为辅系统的激光控制臂的平移量。
[0025] 依据主系统标定眼底运动信号与辅系统的激光控制臂的参数之间的空间坐标变换关系的过程为：
[0026] B1、设定眼底运动信号的原始位置(x＝0，y＝0，θ＝0)和激光控制臂的参数也设置在零位置(X＝0，Y＝0)；记录一组眼底图像作为参考图像f0，并记录辅系统中聚焦激光束在眼底的位置；
[0027] B2、分别改变主系统的参考图像的x、y，旋转方向调整一个运动刻度k，记录主系统在新的图像fk相对于参考图像的位置(xk，yk，θk)；并调整辅系统的激光控制臂，将聚焦激光束调整到零位置情况下同样的眼底位置，得到一个激光控制臂的参数(Xk，Yk)；
[0028] B3、循环步骤B2，遍历主系统的光学系统允许的平移量x、y和旋转角θ的运动刻度，得到矩阵关系：
[0029] G[X Y]＝[x y θ] (2)
[0030] 其中：矩阵G[X Y]为实测的从主系统到辅系统的空间变换关系；X＝[X1 X2…XK]T，Y＝[Y1Y2…YK]T，x＝[x1x2…xK]T，y＝[y1y2…yK]T，θ＝[θ1θ2…θK]T。
[0031] 本发明基于眼底成像技术的目标跟踪控制系统及其方法，具有如下有益效果：
[0032] 1)采用本发明，通过在主系统中应用实时稳像方法，动态补偿随机眼底运动，在成像系统上提供视觉上稳定的眼底动态视频，方便操作人员高效、精确完成病理区的选择，进行激光打击参数(如光斑大小、空间位置、相邻时间/空间间隔、曝光时间等)的设定或者OCT扫描区域的精确定位。
[0033] 2)采用本发明，可以在某些眼底成像系统比如非扫描的主系统眼底相机中，在没有大幅度提高眼底激光辐射量的情况下，适当提高(2倍或者3 倍)图像帧频来捕捉更高频率的眼底运动信息。在另外一些成像系统比如扫描成像系统中，可以通过倍频方式来捕捉更高频率的眼底运动信息。更高的采样频率带来的效果是更短的时间延迟，更高的辅系统激光束空间控制精度。
[0034] 3)应用本发明，还能够在激光打击的应用中，提供离线病理区编辑方法，允许用户从已有的病人眼底图数据库生成一张主系统参考图。在该参考图中选择和编辑激光打击参数，然后把这张带病理区参数的参考图像导入主控软件，使得接下来的眼底激光打击按照设定的参数手动、半自动、或者全自动进行。
[0035] 4)本发明的技术，还支持结合不同的主系统光学成像系统，实现同样的辅系统眼底激光打击或者OCT成像。所述的光学成像系统中，可应用(包括但不限于)如下产品：工业的眼底相机(Fundus Camera)、线扫描眼底相机(Line Scan Ophthalmoscope，LSO)、共焦扫描眼底相机(Confocal Scanning Light Ophthalmoscope，cSLO)、自适应光学眼底相机(flood-illuminated adaptive optics retinal imaging)，自适应光学LSO(AO-LSO)、自适应光学 SLO(AO-SLO)相机，上述相机均可与本发明完全兼容。利用本发明的辅系统进行激光束控制，可以进行高精度的眼底激光单点打击或阵列打击；也可以利用本发明的辅系统，用于进行OCT扫描，也可以用于其他的光机电系统应用。附图说明
[0036] 图1为本发明实施例集成了眼底激光治疗功能的眼底成像系统示意图；
[0037] 图2为使用两个可以在正交运动轴方向上单独运动的倾斜镜实现光斑在二维平面上的运动示意图；
[0038] 图3为使用一个带两个正交运动轴的倾斜镜实现光斑在二维平面上的运动示意图；
[0039] 图4为一个模块1得到的一个眼底SLO图像示意图；
[0040] 图5为一个从模块1得到的一个眼底AO-SLO图像示意图；
[0041] 图6为以帧位单位从图像中计算眼底的运动量(xi，yi，θi)的过程示意图；
[0042] 图7为一个在图1所示实施例基础上用于精确标定空间(坐标)变换关系g(x，y，θ；X，Y)的光学系统示意图；
[0043] 图8为根据现有工程样机实测得到的一组主、辅系统的空间变换关系；
[0044] 图9为本发明实施例采用倍频技术提高降低眼底计算的时间延迟示意图；
[0045] 图10为本发明实施例一个控制精度和采样时间间隔的示意图；
[0046] 图11为根据图6得到的(xi，yi，θi)把非扫描的图像f1,f2,…,f“n 拉直”到参考面f0的示意图；
[0047] 图12为根据图9得到的扫描模式的(xi,m，yi,m，θi,m)将扫描的图像f“k 拉直”到参考面f0的示意图。
具体实施方式
[0048] 下面结合附图及本发明的实施例对本发明作进一步详细的说明。
[0049] 图1为本发明实施例集成了眼底激光治疗功能的眼底成像系统示意图。该眼底成像系统的光学结构部分类似于德国OD-OS Global的Navalis眼底激光治疗系统。
[0050] 如图1所示，模块1为眼底成像系统即主系统，模块2为治疗激光控制系统即辅系统，模块3为聚焦透镜，模块4为眼底即视网膜。
[0051] 上述模块1中，成像光源11可以是单色光也可以是白光，经过准直透镜12后被分光镜13部分反射到中继成像光源和治疗光源的分光镜25然后进入眼底4。从眼底反射回来的光部分透射过分光镜25和分光镜13进入聚焦透镜14，最后被眼底相机15接收。所述眼底相机数据被主控机16接收、显示并保存，具体地，所述主控机16可以是一个PC或者平板电脑等。
[0052] 上述模块2中，瞄准光源21和治疗光源22经过特定的光学装置从同一个空间位置进入治疗光系统即辅系统。这两个光源通常受到主控机器16的控制包括开关状态、输出功率等参数。瞄准光的功率通常比较低，通过眼底相机的实时图像为手术操作者提供一个欲打击的眼底参考位置，然后启动治疗激光将较大功率的激光输送到这个瞄准光显示的参考位置。这个过程目前通常称为光凝(photocoagulation)。可以理解，由于在不同的工程实施场景，瞄准光和治疗光往往不在同一个眼底空间位置，这种误差和多种因素有关，我们在下文中继续进行描述。
[0053] 模块2的光源经过光斑大小控制装置23，中继到光斑位置控制装置24，再经过分光镜25，最后聚焦到眼底4。
[0054] 如上所述，装置23用于控制光斑在眼底上的大小，通常为50微米～1000 微米的尺寸。装置24通常是一对一维的倾斜镜或者一个二维的倾斜镜，用于控制光斑在眼底的横向空间位置。光斑的开关状态通过主机控制。
[0055] 为了实现二维横向空间位置的控制，装置24通常使用两个可以在正交运动轴方向上单独运动的倾斜镜，如图2，或者一个带两个正交运动轴的倾斜镜，如图3。
[0056] 图1中模块1可以是一个眼底相机(Fundus Camera)，也可以用线扫描眼底相机(Line Scan Ophthalmoscope，LSO)、共焦扫描眼底相机(Confocal Scanning Light Ophthalmoscope，cSLO)、自适应光学眼底相机 (flood-illuminated adaptive optics retinal imaging)、自适应光学LSO (AO-LSO)、自适应光学SLO(AO-SLO)中的任意一类光学系统替代，最终目的是获取一个眼底横向动态图。所述自适应光学眼底相机、自适应光学LSO、自适应光学SLO的工作原理和传统眼底相机(Fundus Camera)、 LSO、cSLO类似，主要区别在于前者集成了自适应光学技术用于实时补偿眼球象差从而提高系统光学分辨率到单细胞的水平。
[0057] 模块2显示的是一个眼底激光治疗系统，用于让聚焦激光束对眼底实现单点或者阵列打击。模块2也可以是一个类似OCT的眼底扫描成像系统，在这种情况下，图2或者图3的扫描镜一方面用于周期规则扫描实现OCT 的B-scan和C-scan，然后在B-scan或者C-scan上叠加从模块1反馈过来的眼底位置信息，使得B-scan和C-scan可以跟踪眼底位置。
[0058] 图4为一个模块1得到的一个眼底SLO图像示意图。在该实施例中，模块1用的是传统广角SLO。
[0059] 图5为一个从模块1得到的一个眼底AO-SLO图像示意图。在该实施例中模块1用的是自适应光学SLO。
[0060] 如图5所示，图像中的白点是眼底感光细胞，中间的弯曲黑色阴影是血管阴影。图5所示相当于对图4的白色方框位置进行局部光学放大。
[0061] 如上所述，为了精确控制辅系统的激光臂使得聚焦激光束落到眼底的指定空间位置，首先需要通过主系统，以成像影像(图像或视频)为依据计算眼底位置随时间的变化关系。现有的计算眼底运动信号的算法通常以帧位单位，对于每一帧图像，采用互相关(Cross Correlation)算法可给出一组(x， y，θ)，其中(x，y)是平移量，θ是旋转量。请参考图6。
[0062] 图6为以帧位单位从图像中计算眼底的运动量(xi，yi，θi)的过程示意图。
[0063] 如图6所示，假设第一幅图像f0是主系统参考图像，f0可以是时间顺序上紧挨着图6的当前帧f1的前一帧，也可以是之前获得的任意单帧图像或者处理过的同一个病人相近眼底位置的图像。在接下来的时间顺序里(1，2，…， n)，主系统连续收到n帧图像。常用方法是以f0作为基准，然后把fi(i＝1， 2，3，…，n)和f0逐个做互相关，获得每一帧图像fi相对于f0的空间位置(xi，yi，θi)，其中(xi，yi)是平移量，θi是旋转量。这些(xi，yi，θi) 就代表了眼底随时间的变化，因为这里的下角标i代表时间序列。从图6的示意图可以看到，如果我们定义每帧图像的图像中心坐标和正交点划线的中心重合，那么眼底位置随时间就产生漂移，比如圆圈位置代表着黄斑区的位置就是随着时间在漂移。显然，f1相对于参考面f0有相对运动量(x1，y1，θ1)，f2相对于参考面f0有相对运动量(x2，y2，θ2)，fn相对于参考面f0有相对运动量(xn，yn，θn)等。
[0064] 一般情况下，一个典型的主系统成像系统的帧频是25Hz，也就是说，如果以图6所示的图像的帧作为单位，主系统的算法每间隔40毫秒输出一组(xi，yi，θi)。
[0065] 视临床需求不同，根据主系统和辅系统特定的光学设计，两者可以有不同的放大倍数，不同的旋转方向等。显然，主系统和辅系统应该指向同一个眼底位置，不管辅系统是用于激光打击还是类似于OCT的眼底成像。
[0066] 结合图1和图6可见，图6表现了图1中模块1获得的眼底图像随时间的变化的过程。如图6所示，眼底的运动信号，可从任何一个当前帧图像fi相对于参考图像f0的相对位移获得，即眼底的运动信号(xi，yi，θi)。
[0067] 假设模块2的目的是将激光束动态锁定到图6所示的圆圈位置，由于眼底的随机运动，那么，在f1，f2，…，fn的不同时刻，模块2的激光控制臂需要根据(xi，yi，θi)的信息调整控制臂参数，使模块2的聚焦激光束能跟踪图6的圆圈位置。
[0068] 但是，从图1可以看出，模块1和模块2采用的是非共路光学 (non-common path optics)设计。并且控制模块2激光臂的参数通常是电压值或者电流值或者数字控制方式，而模块1得到的(xi，yi，θi)通常是图像的像素值和角度(或者弧度)。为了达到从模块1的(xi，yi，θi)值转换成模块2激光控制臂的参数(电压或者电流，或者其他数字控制方式)实现动态精准地把模块2的聚焦激光束投射到图6的各个圆圈位置，本发明实施例中，建立了一个从模块1到模块2的空间(坐标)变换关系。
[0069] 如上所述的模块1到模块2的空间(坐标)变换关系可以用以下数学关系式表达：
[0070] (Xi，Yi)＝g(x，y，θ；X，Y)(xi，yi，θi) (1)
[0071] 式(1)中，g(x，y，θ；X，Y)就是这里所述的空间(坐标)变换关系，目的是将模块1的(xi，yi，θi)转换成辅系统激光控制臂的参数(Xi， Yi)。
[0072] 图7为一个在图1所示实施例基础上用于精确标定空间(坐标)变换关系g(x，y，θ；X，Y)的光学系统示意图。
[0073] 在本实施例中，图7的眼底位置可以用一个模拟眼替代真眼。该模拟眼有3个独立的运动自由度，即平移量x，y和旋转角θ。可以把模拟眼安装在一个能够在2维空间平移的机构，然后整个机构安装在一个旋转台上，实现模拟眼3个独立的运动自由度。当然，也可以通过其它方式实现模拟眼3个独立的运动自由度。
[0074] 参考图7，本发明采用的精确标定空间(坐标)变换关系g(x，y，θ； X，Y)的方法如下，设模拟眼在原始位置时(x＝0，y＝0，θ＝0)，激光控制臂的参数也设置在零位置(X＝0，Y＝0)。这时，记录一组眼底图像作为参考图像，比如f0，同时，记录模块2聚焦激光束在眼底的位置。然后分别在模拟眼的x，y，旋转方向调整一个运动刻度k，记录模块1在新的图像fk相对于参考图像的位置(xk，yk，θk)。同时，用手动或者自动的方式，调整模块2的激光控制臂，将聚焦激光束调整到零位置情况下同样的模拟眼眼底位置，这样，即可得到一个激光控制臂的参数(Xk，Yk)。
[0075] 不断改变模拟眼的位置，循环采用上述标定方法，一旦遍历了所有光学系统允许的模拟眼x、y，和旋转角运动刻度，即可得到如下的矩阵关系，
[0076] G[X Y]＝[x y θ] (2)
[0077] 式(2)中，矩阵G就是实测的从模块1到模块2的空间变换关系。
[0078] 其中，X＝[X1X2…XK]T，Y＝[Y1Y2…YK]T，x＝[x1x2…xK]T，y＝[y1y2… yK]T，θ＝[θ1θ2…θK]T。
[0079] 图8为根据现有工程样机实测得到的一组主辅系统的空间变换关系。
[0080] 如图8所示，具体过程与图7所示的方法类似，这里不再赘述。但图8 所示的简要结果，显示了主系统、辅系统在x方向和y方向有不一样的光学放大倍数，并且控制轴旋转90度。
[0081] 实际应用(控制)场景中，系统首先知道的是从模块1得到的如图6所示的(xi，yi，θi)，然后转换成模块2的激光臂控制参数(Xi，Yi)。所以，式(2)的矩阵G需要求逆，以实现以式(1)的计算，显然可以得到：
[0082] g(x，y，θ；X，Y)＝(GTG)-1GT (3)
[0083] 假设(GTG)-1存在。在(GTG)存在奇异值的情况下，可以用奇异值分解的方法实现式(3)的计算。
[0084] 由于眼球和头部运动导致眼底图像的运动频谱往往覆盖着相当大的范围。基于普通的25～30Hz帧频的主系统图像系统的现有算法，很难捕捉到较高频率的眼底运动，因而无法高精确的控制辅系统激光臂的空间位置，导致了辅系统激光束落到指定眼底位置的空间精度较差。为了提高主系统捕捉眼底运动的空间精度，本发明实施例中采用了如下两种方法：
[0085] 方法一：在没有或者没必要大幅度提高主系统眼底激光辐射量的情况下，适当提高传统非扫描眼底相机的图像帧频(如2～4倍)来捕捉更高频率的眼底运动信息。一个例子是，将图像帧频提高4倍到100Hz，那么主系统的算法每间隔10毫秒即可输出一组(xi，yi，θi)。这样，通过提高主系统眼底计算的采样频率，从而降低辅系统从眼动到激光臂开始反应之间的时间延迟，带来的效果是提高激光臂控制辅系统聚焦激光束在眼底的空间精度。
[0086] 上述实施例中，可以采用的图像采集设备是华睿科技的A5131M/CU210 工业面阵相机。该相机可以达到每秒捕捉210帧1280x1024像素的图像。
[0087] 方法二：在另一些成像系统比如扫描成像系统中，可以通过倍频方式来捕捉更高频率的眼底运动信息。扫描成像系统中，图像通过“点->线->面”形成，比如SLO或者AO-SLO或者通过“线->面”形成比如LSO或者AO-LSO。在这两种情况里，可以控制图像采集装置或者线阵相机使得每一帧的图像按照每根扫描线的先后到达顺序划分成多个亚帧元，如图9所示。
[0088] 图9中，假设SLO/LSO的图像帧频仍然是25Hz(相较于图6所示的情况，主系统并没有增加激光曝光量)，但是，由于方法二所述的扫描系统灵活性，本发明从技术上已经实现了把一个完整的帧划分成多个亚帧元。假设图9中的M＝20，那么，亚贞元到达主控机器的时间顺序是：
[0089]
[0090] 这种情况同样适用于任何一帧图像，比如第k帧。
[0091]
[0092] 图9为本发明实施例采用倍频技术提高降低眼底计算的时间延迟示意图。
[0093] 参考图9，主系统要在每一帧图像，按照每个亚帧元到达主控机器的时间顺序，计算M组亚帧元的眼底运动信号：
[0094] (xi,1，yi,1，θi,1)，(xi,2，yi,2，θi,2)，…,(xi,M，yi,M，θi,M)[0095] 同样，上述M组亚帧元的眼底运动信号的结果按照式(1)的关系转换到辅系统的激光控制臂，可得到：
[0096] (Xi,m，Yi,m)＝g(x，y，θ；X，Y)(xi,m，yi,m，θi,m) (4)
[0097] 其中，m＝1，2，3，…，M。
[0098] 相较于式(1)，上式(4)将辅系统激光控制臂的更新频率提高了M倍。如果前者是25Hz的话，在不增加曝光量的情况下，图9对应的倍频情况即可把激光控制臂的调整频率提高到25*M Hz，从而大幅度提高辅系统激光控制臂控制聚焦激光束在眼底的空间精度。
[0099] 显然，上述的方法一和方法二，原理上都是通过同样的手段来提高辅系统激光控制臂的控制精度，也就是提高采样频率。
[0100] 图10为本发明实施例一个控制精度和采样时间间隔的示意图。
[0101] 如图10所示，对比了两种采样间隔的情况，细虚线的短时间间隔Δt和长时间间隔的ΔT。这里假设图中的曲线是眼底运动轨迹随时间的变化关系 (为描述简单起见，仅仅用了y方向)。
[0102] 在图10中，在长采样间隔ΔT的情况下，假设眼动在i时刻发生。由于需要采样间隔ΔT，记录i时刻眼动的图像数据到i+1时刻才出现。即使假设计算(xi，yi，θi)和治疗光控制臂的机械响应是瞬间完成，导致的结果是用i时刻数据来补偿i+1时刻的眼动，所以产生的补偿误差比较大。
[0103] 在图10中，在短采样间隔Δt的情况下，假设眼动在j时刻发生。同样系统用j时刻数据来补偿j+1时刻的眼动，但是，由于j和j+1时间间隔较短，所以产生的补偿误差相对小的多。
[0104] 对于上述两种方法中的方法一，非扫描系统中25Hz对应100Hz的情况。 25Hz就是用40毫秒之前的数据去补偿当前的眼动。一般情况下，40毫秒之内产生100～200微米的眼动比较普遍，所以，这种低帧频的方法至少带有 100～200微米的误差，也就是说，激光臂控制精度较差。但是，在100Hz 的情况下，就是用10毫秒之前的数据去补偿当前的眼动。一般情况下，10 毫秒之内产生30～40微米的眼动比较普遍，所以，这种高帧频的方法可以将误差控制到40～50微米的精度，也就是说，激光臂控制精度比较高。
[0105] 对于上述两种方法中的方法二，扫描系统中，如果亚帧元数量M是20，那么系统的采样频率即可提高到500Hz。对应500Hz的情况，就是用2毫秒之前的数据去补偿当前的眼动。一般情况下，2毫秒之内产生4～5微米的眼动比较普遍，当然，考虑到计算延迟以及激光控制臂的机械电子延迟，最终这种高倍频的方法可以把误差控制到15～20微米的精度，也就是说，激光臂控制精度在扫描倍频的情况下可以得到一个或者更多数量级的提高。
[0106] 如上所述，本发明的另一个内容是利用主系统获得的对应任何一帧图像的眼底位置信息，比如非扫描模式的(xi，yi，θi)或者扫描模式的(xi,m， yi,m，θi,m)，将(xi，yi，θi)或者(xi,m，yi,m，θi,m)运用于原始图像，将该帧图像“拉直”(dewarping)到参考帧图像的位置。体现在动态影像(视频) 中，这种“拉直”(dewarping)的等效效果相当于采用了稳像技术，在视觉上将动态飘忽的图像稳定住了。
[0107] 图11为根据图6得到的(xi，yi，θi)把非扫描的图像(即目标图像) f1,f2,…,f“n 拉直”到参考面f0的示意图。
[0108] 如图11所示，在非扫描成像系统中，采用图像“拉直”技术，将目标图像f1,f2,…,fn“拉直”到参考面f0。其中，虚粗方框代表到参考面f0在目标图像f1,f2,…,fn的位置。“拉直”的目的，是将眼底图像的特征，比如图中f1, f2,…,fn的圆圈，拉回到参考面f0圆圈的位置。达到的视觉效果是，使眼底图像特征不再随时间漂移，因此将目标图像稳定住了。显然，这种基于数字“拉直”的方法会产生“拉直”图像的边缘在随机的忽现忽隐，也就是图11中虚粗方框和图像不重叠的部分。
[0109] 图12为根据图9得到的扫描模式的(xi,m，yi,m，θi,m)将扫描的图像f“k 拉直”到参考面f0的示意图。相比图11所示的“拉直”方法，本实施例中的方法显然更加精细，体现在：不仅可以把整帧图像拉回到参考面的位置，还可以“拉直”图像内部的扭曲。图像内部的扭曲在扫描系统里比较常见。同样，这种基于数字“拉直”的方法会产生“拉直”图像的边缘在随机的忽现忽隐，也就是图12中的黑边部分。
[0110] 尽管稳定的主系统影像(图像和视频)在以上数字跟踪的情况下，会出现黑边现象，但是，图像的可见部分相对于参考图像仍然是稳定的。这种数字稳像技术为临床操作者选择病理区提供更大的方便，也为手术操作人员能够精确定位辅系统欲打击的眼底位置提供了技术支持。
[0111] 需要指出的是，主系统是扫描的情况下，也可以不用倍频的方式，而直接用式(1)的情况。这种技术已经在海德堡工程(Heidelberg Engineering) 的产品Spectralis以及卡尔蔡司(Zeiss)的产品Cirrus得到广泛的应用。
[0112] 从以上可见，本发明的方案涵盖了从智能眼底激光成像、手术治疗、成像稳像技术到稳像控制的技术，但是，本质的区别在于，上述技术中的主系统集成了业界最先进的数字稳像技术和倍频技术，因而从这些相关的系统得到的眼底运动信号(xi，yi，θi)或者(xi,m，yi,m，θi,m)可以更加精确地控制辅系统聚焦激光束在眼底的位置。
[0113] 而本发明的实施例采用“开环”的控制模式，因此，本发明实施例中的眼底运动信号(xi，yi，θi)或者(xi,m，yi,m，θi,m)仅从主系统图像计算得到，其计算结果不需要再次反馈到主系统光学系统。采用该开环控制模式的相关光学系统，一个显著的优势是，在简化光学系统的情况下，有效降低产品的成本，并且可通过采用本发明的技术，能够有效弥补因简化光学系统硬件(包括闭环控制的信号反馈及运算装置)而导致的控制精度随之降低的问题。
[0114] 以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种自动调高激光焊接装置及其控制方法 | 2020-05-08 | 263 |
| 信息的传输方法及装置、存储介质和电子装置 | 2020-05-08 | 977 |
| 一种在车联网中基于联盟博弈算法的D2D资源分配方法 | 2020-05-08 | 967 |
| 一种用于消防车辆自组网多车组网救援的控制系统 | 2020-05-11 | 112 |
| 皮秒激光驱动的超快X射线动态成像方法 | 2020-05-08 | 474 |
| 优化网络利用 | 2020-05-08 | 469 |
| 多光机投影图像的校正方法、装置和多光机投影仪 | 2020-05-11 | 648 |
| 一种车险线上智能核保与影像处理方法 | 2020-05-08 | 227 |
| 一种信息技术工程用配线架 | 2020-05-08 | 851 |
| 一种组装式展示柜上下外侧控制开关 | 2020-05-08 | 535 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈