确定光学系统的可互换部件的情境信息
阅读：1049发布：2020-06-04
专利汇可以提供确定光学系统的可互换部件的情境信息专利检索，专利查询，专利分析的服务。并且获得至少一个图像，该至少一个图像显示了光学系统(100)的至少一个可互换部件(111-116)的外视图。基于至少一个图像确定至少一个可互换部件(111-116)的情境信息。，下面是确定光学系统的可互换部件的情境信息专利的具体信息内容。
1.一种方法，包括：
-获得至少一个图像，所述至少一个图像反映光学系统(100)的至少一个可互换部件(111-116、300、750)的外视图，以及
-基于所述至少一个图像确定所述至少一个可互换部件(111-116、300、750)的情境信息，
其中使用图像处理算法和/或机器学习算法，例如使用人工神经网络和可选的支持向量机，确定所述情境信息。
2.根据权利要求1所述的方法，
其中基于参考图像数据训练所述机器学习算法，所述参考图像数据反映在不同姿态和/或环境条件下的所述至少一个可互换部件。
3.根据权利要求1或2所述的方法，
其中所述至少一个可互换部件包括可互换物镜(300、750)，
其中所述至少一个图像可选地反映所述可互换物镜(300、750)的前侧(302)。
4.根据权利要求3所述的方法，还包括：
-在所述至少一个图像中确定所述前侧(302)的中心(301)，以及
-在从所述前侧(302)的中心(301)出发的径向方向上确定所述至少一个图像的对比度轮廓(309)，
其中使用所述对比度轮廓(309)确定所述情境信息。
5.根据前述权利要求中的任一项所述的方法，
其中使用作为所述至少一个可互换部件的外视图的参考的多个CAD模型(700)确定所述情境信息。
6.根据权利要求5所述的方法，还包括：
-识别所述至少一个图像中的边缘，
其中使用在所识别的边缘和所述多个CAD模型(700)之间的比较确定所述情境信息。
7.根据前述权利要求中任一项所述的方法，还包括：
-识别所述至少一个图像中的机器可读字符(305)，
其中使用由所述机器可读字符(305)编码的信息确定所述情境信息。
8.根据前述权利要求中的任一项所述的方法，
其中所述至少一个图像以预先限定的姿态(171)反映所述至少一个可互换部件(111-
116、300、750)。
9.根据前述权利要求中任一项所述的方法，还包括：
-通过便携式装置的相机(170)捕获所述至少一个图像，以及
-确定姿态(171)和/或环境条件，所述至少一个图像以所述姿态(171)和/或所述环境条件反映所述至少一个可互换部件，
其中基于所确定的姿态(171)和/或所确定的环境条件，确定所述情境信息。
10.根据前述权利要求中的任一项所述的方法，
其中所述至少一个可互换部件(111-116、300、750)选自以下的组：可互换物镜；台插入件；照明模块；检偏器；沃拉斯顿(诺马斯基)棱镜，支架；和滤光器插入件。
11.根据前述权利要求中的任一项所述的方法，
其中确定所述情境信息包括：
-基于所述至少一个图像确定所述至少一个可互换部件(111-116、300、750)的类型，以及
-访问数据库，并且基于所述至少一个可互换部件的类型确定所述至少一个可互换部件(111-116、300、750)的操作参数。
12.根据前述权利要求中的任一项所述的方法，
其中确定所述情境信息包括：
-识别所述至少一个图像中的异常。
13.根据前述权利要求中任一项所述的方法，还包括：
-通过关于光学系统以固定方式布置的相机来捕获所述至少一个图像。
14.根据权利要求1-12中任一项所述的方法，还包括：
-通过关于光学系统以可移动方式布置的相机捕获所述至少一个图像。
15.根据权利要求14所述的方法，还包括：
-基于通行穿过所述光学系统(100)的成像光学单元的光，通过相机来捕获测量图像。
16.根据前述权利要求中的任一项所述的方法，
其中所述情境信息表明所述至少一个可互换部件的几何尺寸，
其中所述方法还包括：
-基于所述情境信息：识别在所述光学系统(100)的所述至少一个可互换部件和其他部件之间的可能碰撞。
17.一种装置(100、179)，所述装置包括至少一个处理器(150)，所述至少一个处理器配置为实行以下步骤：
-获得至少一个图像，所述至少一个图像反映光学系统(100)的至少一个可互换部件(111-116、300、750)的外视图，以及
-基于所述至少一个图像确定所述至少一个可互换部件(111-116、300、750)的情境信息，
其中使用图像处理算法和/或机器学习算法，例如使用人工神经网络和可选的支持向量机，确定所述情境信息。
18.根据权利要求17所述的装置(100、179)，
其中所述至少一个处理器配置为实行如权利要求1-16中任一项所述的方法。
确定光学系统的可互换部件的情境信息
技术领域
[0001] 本发明的各种实施例总体上涉及包括一个或多个可互换部件的光学系统。本发明的各种实施例特别是涉及确定光学系统的一个或多个可互换部件的情境信息的技术，该技术基于反映一个或多个可互换部件的外视图的一个或多个图像。
背景技术
[0002] 当改变显微镜系统的可互换部件时，通常可期望的是，获得关于显微镜系统的目前操作状态的知识，即确定一个或多个操作参数。对于显微镜系统的校正操作，通常可期望的是，获得与所使用的可互换部件相关联的情境信息。这样的情境信息的示例对于操作显微镜系统是有用的，该示例例如包括在可互换部件是可互换物镜时的可用放大率、可互换部件的传输行为、或容差。
[0003] 在参考实现方式中，必须手动地输入指示一个或多个操作参数的这样的情境信息。在这种情况下，对于购买电子装置，直观操作者控制理念变得越来越重要。特别是，出于各种原因，显微镜系统可以从更好的自动化中获益：
[0004] 在复杂“高端”的显微镜支架(例如激光扫描显微镜(LSM))的情况中，综合机动化是可期望的，这也是通常使用大量可移动的部件和辅助的部件的原因。为了可以按用户友好的方式操作LSM，将多个可互换部件自动地引入到光束路径中或自动地从光束路径中移除，或者打开光源/光路或使光源/光路可用。由于显微镜支架处的许多组合可能性和客户界面，可期望捕获所使用的可互换部件以及可互换部件的状态/位置作为情境信息。
[0005] 进一步的应用涉及在光学显微镜中使用手动支架进行数字记录。为了可以稍后测量记录，记录的缩放应该可用作情境信息，即放大率、检测器孔径和图像校正。
[0006] 在基于目镜的记录(同样这包含将具有相机的便携式装置——例如手机或智能手机——附接到立体显微镜或总体上附接到显微镜支架)的情况下，使用与物镜有关的情境信息，以便能够以基于图像的方式对通过相机捕获的图像实行测量或校正。因此，在便携式装置处可靠地、自动地捕获情境信息是可期望的，以便稍后可以在图像处理程序中实行绝对测量。同时，便携式装置的附件也已经可用于双目镜、瞄准镜和望远镜。
[0007] 在这种情况下，现有技术公开了在具有可互换部件的光学系统中以自动化方式确定情境信息的各种解决方案。在这种情况下，例如将情境信息在可互换部件的数据储存单元和控制装置之间传输。例如，这样的传输可以通过无线收发机来实现，参见DE 10 2005 010 479 A1。其他传输技术利用磁学或电容，参见DE 102 45 170 A1。其他传输技术利用滑动接触件。作为示例，可以在参考实现方式中通过近场通信(NFC)确定情境信息。自动部件识别(ACR)的技术也是已知的。
[0009] 这样的参考技术进一步是基于被修改的可互换的部件。这些修改会导致对产品价格产生不利影响的成本，并且不得不增加时间支出来进行管理。并非所有可互换部件可以使得进行随后转换/修改。手动输入到系统数据库中还意味着附加的费用，或构成易于出错的操作者控制理念。
发明内容
[0010] 因此，需要改进技术，以确定光学系统的可互换部件的情境信息。特别地，需要这样的技术，使得消除或减轻上文所提及的至少一个限制和缺点。
[0012] 方法包括获得至少一个图像。至少一个图像反映光学系统的至少一个可互换部件的外视图。该方法还包括基于至少一个图像确定至少一个可互换部件的情境信息。
[0013] 作为示例，该方法可以包括捕获至少一个图像。图像可以通过相机来捕获。图像可以包括大量像素。作为示例，图像可以在可见光谱下记录。作为示例，图像可以通过便携式装置的相机(例如智能手机相机或手机相机)来捕获。因此，相机可以关于可互换部件具有变化的姿态。在例如不同照明情景等的变化的环境条件下可以使用相机。因此，该方法还可以包括：确定姿态和/或环境条件，至少一个图像以该姿态和/或环境条件反映至少一个可互换部件。这可以使得情境信息能够被更准确地确定，例如因为可以补偿变化的姿态和/或变化的环境条件。
[0014] 然而，图像还可以通过相机来捕获，该相机具有关于光学系统的至少一个可互换部件的预先限定的距离和取向(姿态)。例如，相机可以与光学系统固定地安装。因此，至少一个图像因而可以以预先限定的姿态反映至少一个可互换部件。
[0015] 作为示例，图像可以包括在结合状态下的至少一个可互换部件的外视图，即将可互换部件与光学系统的一个或多个其他可互换部件和/或基础部件结合在一起进行成像。例如，在操作光学系统之前，即例如直接在借助于光学系统实行测量之前或直接在通过光学系统实行图像记录之前的时间情境下，可以捕获至少一个图像。
[0016] 在这种情况下，本文所描述的技术可以应用于各种类型的光学系统。示例包括光学显微镜(诸如LSM)、望远镜等。
[0017] 情境信息可以具有各种信息内容。在一个示例中，情境信息可以表明至少一个可互换部件的类型，例如批号或序列号。例如，情境信息的其他示例包括可互换部件的几何性质，以便避免碰撞。情境信息还可以表明至少一个可互换部件的一个或多个操作参数。在这种情况下，例如可以基于至少一个可互换部件的类型确定一个或多个操作参数。例如，与确定情境信息相关联，该方法具体地还可以包括情境信息：基于至少一个图像确定至少一个可互换部件的类型；以及访问数据库且基于至少一个可互换部件的类型确定至少一个可互换部件的操作参数。在这种情况下，数据库可以是例如在光学系统的存储器中、或用户的便携式终端的存储器中储存的本地数据库。然而，数据库还可以是例如经由网络存取的中央数据库。
[0018] 操作参数的示例(其可以通过情境信息来指示)例如包括可互换部件的几何尺寸、例如与相应的可互换部件的改变相关的操作指令等。如果可互换部件是物镜，操作参数可以例如表示可互换物镜的孔径或放大率或者由可互换物镜带来的像差。
[0019] 作为示例，情境信息还可以表明关于至少一个可互换部件的外视图的异常。作为示例，该方法还可以包括：识别至少一个图像中的异常。作为示例，异常可以涉及例如划痕、污染物、损坏、不正确的定位等。
[0020] 本文中所描述的技术可以用于各种类型的可互换部件。作为示例，至少一个可互换部件可以从以下的组合来选择：可互换物镜；台插入件；台，照明模块；检偏器支架；沃拉斯顿(诺马斯基)棱镜；偏振滤光器；透镜；光栅；用户专用的附接件；微操纵器；透射光臂；以及滤光器插入件。
[0021] 作为示例，情境信息可以表示此类可互换部件的位置。作为示例，情境信息可以表明透射光臂是向下摆动还是向上摆动。例如，情境信息可以指示台插入件的位置。情境信息还可以指示可互换部件的几何尺寸。然后可以例如基于情境信息识别光学系统的可互换部件和其他部件之间可能的碰撞。这样的碰撞识别可以向光学系统的用户输出适当的警告，使得可以避免碰撞。例如，碰撞识别必须确定可互换部件的外轮廓的轨迹，所述外轮廓基于几何尺寸来确定。作为示例，然后可以沿着轨迹确定与一个或多个其他部件的重叠。
[0022] 台插入件可以配置为在光学系统的束路径中固定样品物体。作为示例，台插入件可以配置为使反射光几何体或透射光几何体成为可能。因此，照明模块可以配置为使对由台插入件固定的样品物体的照明成为可能。检偏器和滤光器插入件可以分别提供关于光学系统的光的束路径的具体滤光功能。检偏器可以是偏振器，其可以用于微分干涉对比(DIC)。偏振器可以布置在物镜下方的照明中。检偏器可以实施为滑动件。支架可以用作光学系统的基础部件并且使得能够固定一个或多个可互换部件。作为示例，支架可以用于将手机相机或一些其他相机相对于光学系统的目镜固定到显微镜。这是可选的。
[0023] 还可以间接地确定情境信息。作为示例，关于可互换部件，通过至少一个图像，可以检测可互换部件的锁定元件——例如下垂物或销——是否布置在指定位置。可以在图像中成像锁定元件。那么，不一定要通过至少一个图像反映可互换部件的中心区域；因为锁定元件的位置，然而可以确定可互换部件的情境信息。总体上，不必完整反映可互换部件的外视图。
[0024] 基于至少一个图像确定的情境信息可以实现各种效应。作为示例，可以确定情境信息而不用复杂地修改可互换部件。特别是，基于生成电信号且在可互换部件中保持数据储存单元可用的复杂硬件解决方案可以被避免。这降低了复杂度，然而这能够可靠地确定情境信息。易于出错的输入情境信息的手动解决方案是非必要的。
[0025] 在本文所描述的各种示例中，情境信息——例如特别是至少一个可互换部件的类型——可以基于至少一个图像以各种方式来确定。作为示例，可以使用计算机实现的机器学习算法确定情境信息。作为示例，可以使用人工神经网络(ANN)确定情境信息。在此可以使用各种类型的ANN，例如卷积神经网络(CNNs)。参见Krizhevsky、A.Sutskever、I.和Hinton、G.E.的《深度卷积神经网络的图像网络的分类”ImageNet Classification with DeepConvolutional Neural Networks)(NIPS 2012)”。CNN典型地包含通过原则上任何期望但先前限定的网络架构来处理输入(例如2D或3D矩阵形式的图像)，该网络架构由各种类型的层(例如卷积层、池化层、正则化层、激活层等)构成，其中前一个层的输出作为后一个层的输入。
[0026] 在这种情况下，与机器学习和ANN相关联的各种技术可以用于本文所描述的各种示例中。取决于应用，可以使用机器学习技术，特别是还有(但不是排他地)用于分类、回归、分割、检测、定位的ANN等。作为示例，ANN期望一个或多个记录的图像作为输入并且产生种类(例如可互换部件的类型、状态等)作为输出，该ANN可以用于分类。然后可以基于种类确定情境信息。在这种情况下，可以更新训练所使用的ANN，或者在进一步训练中可以改善已经训练的ANN。参见，例如，Reyes、Caicedo、Camargo的“植物识别的精细调谐深度卷积网络(Fine-tuning Deep Convolutional Networks for Plant Recognition)，(CLEF 2015)”。作为其他示例，为了分类，ANN可以用于由以下进程提取特征：首先在特定层处切断ANN，并且对应的激活用作特征(或特征向量)。然后通过下游分类算法，例如通过支持向量机(SVM)，基于由ANN提取的这些特征可以实现分类。参见例如Razavian、Azizpour、Sullivan、Carlsson的“现成的CNN特征：识别的令人惊叹的基线(CNN Features off-the-shelf：an Astounding Baseline for Recognition)(CVPR-研讨会2014)”。替代地，从图像的特征提取还可以不需要ANN来实行，例如通过专门研发的提取算法来实行。由这样的算法提取的特征的示例包括例如可互换部件的外部几何形状，可互换部件的特征边缘、投影或对比度轮廓，色彩，反射率，纹理、尺寸，以及相对于周围部件的布置等等。
[0027] 作为示例，还可以采用回归技术。这可能包含确定例如可互换部件在连续的结果空间中的位置。这意味着例如可以连续地或准连续地指示可互换部件在参考坐标系中的位置。其他示例将确定浸没液体的瓶子的填充水平。
[0028] 可以基于已知的可互换部件的参考图像数据(在各个情况下由图像数据和要学习的相关联情境信息(诸如成像的可互换部件的类型)来构成)来训练机器学习方法。这样的技术可以使得能够以灵活地方式识别新的可互换部件或其他可互换部件或许多不同的可互换部件。此外，可以补偿可变的姿态和/或环境条件。
[0029] 特别地，通过诸如ANN的机器学习算法，还可以识别至少一个图像中关于至少一个可互换部件的异常。作为示例，借助于通过机器学习算法的模型预期的至少一个可互换部件的特征相对于通过至少一个图像反映的特征的局部偏差，可以识别异常。以这种方式，例如可以识别光学系统的错误操作，例如因为已经错误地将可互换的部件插入到光学系统的支架中。还可以识别对可互换部件的损坏。
[0030] 如果至少一个可互换部件包括可互换物镜，则例如至少一个图像可以反映可互换物镜的前侧。前侧可以包括例如前透镜。可以相对于光束路径横向地限定前透镜。
[0031] 这样的技术是基于这样洞察：特别是可互换物镜的前侧可以是可互换物镜的对应类型的特性。因此，可以例如基于可互换物镜的前侧的具体特征来特别可靠地确定情境信息。这样的特征可以包括例如前透镜的范围、前侧的高度轮廓等。其他特征是前侧的径向对比度轮廓。
[0032] 可以例如通过在支架处结合的相机捕获前侧的图像。
[0033] 例如，具体地可以在至少一个图像中确定前侧的中心并且然后在从前侧的中心出发的径向方向上确定至少一个图像的对比度轮廓。然后可以使用对比度轮廓确定情境信息。
[0034] 例如，前侧的中心可以与前透镜的中心一致。这样的径向对比度轮廓可以特别地表示为对应的可互换物镜的唯一的“指纹”。据此，可以可靠地确定可互换物镜的类型。
[0036] 确定情境信息的其他技术是基于CAD模型的用途(计算机辅助设计，CAD)。例如，可以使用多个CAD模型确定情境信息，作为至少一个部件的外视图的参考。CAD模型可以特别地表示可互换部件的外视图的边缘，也就是说例如对应于轮廓曲线图或技术线形绘图。在这种情况下，各种CAD模型可以与不同候选的可互换部件相关联。这可以意味着可以实行在至少一个图像和各种CAD模型之间的对应性的比较，其中情境信息然后可以基于进行比较的对应程度来确定。具有最高对应程度的候选可互换部件则是所使用的可互换部件。
[0037] 在与CAD模型相关联的情况中，可以期望在至少一个图像中识别至少一个可互换部件的外视图的边缘。这些边缘特征然后能够特别良好地与CAD模型进行比较。可以例如通过为了边缘识别而施加于至少一个图像的高通滤波器或带通滤波器来识别边缘。然后可以使用边缘和贝塔之间的比较来确定情境信息。
[0038] 上文所描述的这样的技术是基于例如使用ANN或CAD模型来对至少一个可互换部件的结构特征的分析，该结构特征反映在外视图中。在其他的示例中，然而，还可以在至少一个图像中识别机器可读字符。可以在至少一个可互换部件的外壳上施加机器可读字符作为标志。机器可读字符的示例包括例如QR码或条形码或者字母数字类型名称等，然后可以使用由机器可读字符编码的信息确定情境信息。
[0039] 例如，这样的技术尤其使得甚至在不需要使用分类算法的情况下可靠地确定情境信息成为可能。此外，这样的技术可以用于直接从至少一个图像中而不是额外地访问数据库来确定具有特别大信息深度的情境信息。作为示例，由机器可读字符编码的信息确定情境信息不仅可以编码至少一个可互换部件的类型，而且还可以编码一个或多个操作参数，诸如孔径和放大率(在可互换物镜的情况下)等。在这种情况下额外地访问数据库则不是必要。在其他的示例中，即使当使用机器可读字符时，也可以访问数据库。
[0040] 在其他示例中，装置包括至少一个处理器。至少一个处理器配置为获得至少一个图像。至少一个图像反映光学系统的至少一个可互换部件的外视图。至少一个处理器还配置为基于至少一个图像确定至少一个可互换部件的情境信息。
[0041] 对于这样的装置，可以实现与如上所描述的方法可以实现的效果相当的效果。
[0042] 计算机程序产品包括可以由至少一个处理器执行的程序代码。执行程序代码使得至少一个处理器实行方法。该方法包括获得至少一个图像。至少一个图像反映光学系统的至少一个可互换部件的外视图。该方法还包括基于至少一个图像确定至少一个可互换部件的情境信息。
[0043] 计算机程序包括可以由至少一个处理器执行的程序代码。执行程序代码使得至少一个处理器实行方法。该方法包括获得至少一个图像。至少一个图像反映光学系统的至少一个可互换部件的外视图。该方法还包括基于至少一个图像确定至少一个可互换部件的情境信息。
[0045] 图1示意性图示了根据各种示例的光学系统，其包括基础部件和多个可互换部件。
[0046] 图2是一个示例性方法的流程图。
[0047] 图3图示了根据各种示例的可互换物镜的纵向侧的外视图。
[0048] 图4图示了根据各种示例的可互换物镜的前侧的外视图。
[0049] 图5图示了根据各种示例的可互换物镜的前侧的外视图。
[0050] 图6图示了根据各种示例的可互换物镜的前侧的外视图。
[0051] 图7图示了根据各种示例的从可互换物镜的前侧中心出发的径向对比度轮廓。
[0052] 图8示意性图示了根据各种示例的台插入件的外视图和相关联的CAD模型。
具体实施方式
[0053] 上文所描述的本发明的性质、特征和优点以及实现它们的方式通过与结合附图更加详细地解释的示例性实施例的以下描述相关联，将变得更加清楚且更容易理解。
[0054] 下面基于参考附图的优选实施例更详细地解释本发明。附图中，相同的附图标记表示相同或相似的元件。附图是本发明的不同实施例的示意性表示。附图中图示的元件不必按比例进行描绘。当然，附图中图示的各种元件使得它们的功能和总体目的对于本领域技术人员是可理解的。附图中所图示的在功能性单元和元件之间的连接和耦接还可以实现为间接连接或耦接。还可以用有线或无线的方式来实现连接或耦接。功能性单元可以实现为硬件、软件或者硬件和软件的组合。
[0055] 因此，确定光学系统的可互换部件的情境信息的技术被确定。情境信息例如可以表明光学系统的相应的可互换部件，即表明例如类型、序列号和/或批号等。情境信息还可以表明可互换部件的一个或多个操作参数，例如——在可互换物镜的情况下——孔径和/或放大率。在滤光器插入件作为可互换部件的情况中，情境信息例如可以表明滤光器的具体性质，例如相位对比、过滤的频率范围等。情境信息还可以包含操作可互换部件的操作指令。情境信息还可以表明异常，例如损坏和划痕等。
[0056] 在本文所描述的各种示例中，可以基于一个或多个图像确定可互换部件的情境信息，该一个或多个图像反映对应的可互换部件的外视图。为此，可以从所述的一个或多个图像中提取在外视图中再现的具体特征。这样的特征可以是所使用的可互换部件的特性。作为示例，可以仍然通过访问数据库确定情境信息。数据库可以包括在可互换部件的类型(其可以基于提取的特征来确定)以及相应的可互换部件的具体操作参数之间的分配。
[0057] 各种示例因此涉及基于相机识别可互换部件，诸如物镜、台插入件、DIC滑动件(微分干涉对比的插入件)等。所描述的技术可以找到应用的光学系统包括例如双目镜、瞄准镜、望远镜、显微镜、LSM和其他光学装置等。
[0058] 为了确定情境信息，例如通过图像处理可以直接评估总体特征，例如形状、反射、亮度分布等，可以使用与可互换部件的CAD模型的比较，或者可以采用机器学习方法。还可以识别具体的机器可读字符，诸如标志、条形码、QR码、图形字符等。可以在相应的可互换部件上施加所述的机器可读字符。
[0060] 显微镜的可互换部件、支架、双目镜等可以通过便携式用户终端——例如智能手机——的相机来识别。在这种情况下，最初智能手机识别光学系统——例如显微镜——和所使用的可互换部件。例如通过目镜适配器，智能手机随后可以记录显微镜图像。智能手机因此可以用于确定可互换部件；后来，智能手机那么可以用作光学系统的相机，也就是说可以通过智能手机的相机且基于已经通行穿过光学系统的成像光学单元的光来捕获测量图像。测量图像因此可以利用光学系统的成像性质。例如，测量图像可以用放大的方式反映在台插入件上布置的样品对象。例如，成像光学单元可以包括物镜。测量图像可以利用光学系统的具体光学性质，例如放大率、样品照明等。关于测量图像，然后可以基于情境信息正确地确定比例等。因此，在对应的情境信息的范围内，可以采用操作参数，诸如光学规范——例如放大率、视场等，使得可以例如出于测量的目的随后使用测量图像。
[0061] 替代在智能手机中使用情境信息或额外地，还可以例如用无线方式将数据传输到光学系统的控制器。在这样的情况下，智能手机因此可以用于确定可互换部件。然后，智能手机可以将数据传输到光学系统的控制器和/或一些其他评估单元，例如相机或计算机。
[0062] 在如上提及的这样的示例中，静态相机还可以用于捕获将可互换部件成像的图像，具有相机的智能手机然后可以捕获测量图像。静态相机因此可以关于光学系统用固定的方式来布置。
[0063] 从上文显而易见的是，可以实现各种应用。具体而言，在本文所描述的各种示例中，例如至少一个图像可以反映要通过静态相机捕获的可互换部件，该静态相机因此可以关于光学系统用固定的方式来布置。在本文所描述的各种示例中，然而，至少一个图像还可以反映要通过移动相机(例如智能手机的相机)捕获的可互换部件。移动相机因此关于光学系统用可移动的方式来布置。移动相机可以具有关于可互换部件可变的姿态。可以出现变化的环境条件。在一些示例中，然后可以通过相同移动相机且通过光学系统捕获测量图像。为此，作为示例，移动相机可以附接到光学系统的目镜。在本文所描述的各种示例中，至少一个图像的原始数据可以反映可互换部件，或者从至少一个图像导出的其他数据(例如情境信息)可以用无线方式由移动相机传输到其他单元，例如网络计算机。然而，还可以由具有移动相机的装置直接地使用情境信息，特别是如果将移动相机分配到智能手机且测量图像随后通过智能手机来捕获，则这样的实现方式例如可以是可期望的。
[0064] 在本文所描述的技术中，因此不必在可互换部件处提供具体硬件(诸如NFC芯片或ACR环)，并且如果适当的话不必实行电气化。此外，通过提供对应的有源硬件来更新现有的可互换部件，以提供情境信息的对应的自动确定，这是不必要的。可以不必更改可互换部件。这可以使得特别有利地实现本文中所描述的技术成为可能。本文中所描述的技术的复杂度还可以相对较低。作为示例，提供大量的小部件可以是不必要的。与手动解决方案相比，可以用自动的方式实行本文所描述的技术。这简化了用户交互并且还避免错误操作的实例。此外，本文所描述的技术还用在这样的应用领域中，在该应用领域中例如可以通过电数据传输确定情境信息。这例如可以是具有纯机械系统的情况，诸如手动常规显微镜、双目镜或望远镜。
[0065] 图1图示了关于一个示例性光学系统100的各方面。图1的示例图示了包括例如支架的基础部件101的模块光学系统。基础部件101配置为用可释放的方式固定两个可互换部件111-116。在第一位置181处，可互换部件111-113之一可以用可释放的方式固定(图1中，可互换部件112布置在束路径130中)。在第二位置182处，可互换部件114-116之一可以用可释放的方式固定(例如图1中，可互换部件115用可释放的方式固定在束路径130中)。图1中，用竖直箭头图示可互换部件111-116的交换。
[0066] 在位置181、182处相对于基础部件101和可互换部件111-116限定束路径130。例如，在基础部件101中可以附接针对光131的多像素检测器，该光131沿着束路径130被引导。可以经由目镜适配器固定智能手机相机。在位置181处固定的可互换部件111-113可以实现改变束路径130的不同物镜(“物镜转轮”)。在位置182处固定的可互换部件114-116可以实现为样品保持件，该样品保持件实施为在束路径130中固定样本物体。在那种情况下，光131可以沿着束路径130从样品物体传输到基础部件101中的检测器。
[0067] 这样的配置仅是示例性的，并且光学系统100的其他实现方式也是可能的。例如，还可以提供其他可互换部件，例如滤光器插入件等。
[0068] 在图1的示例中，同样提供相机170，其配置为捕获光学系统100的图像。特别地，相机170配置为捕获图像，该图像包括可互换部件的外视图111-113、114-116的外视图或反映可互换部件的外视图111-113、114-116的外视图。图1图示了关于可互换部件111-113、114-116的相机170的姿态171。例如，如果将相机170固定到基础部件101，则所述姿态可以在各种示例中以固定的方式中限定。在其他示例中——如图1所图示，相机170还可以关于光学系统100可移动，也就是说取决于定位实现关于可互换部件111-113、114-116的不同姿态
171。如果相机170是便携式装置179(例如智能手机)的部分，则这可以是这种情况。总体上，不同的环境条件还可以出现在这样的情况中。
171。如果相机170是便携式装置179(例如智能手机)的部分，则这可以是这种情况。总体上，不同的环境条件还可以出现在这样的情况中。
[0069] 光学系统100还包括例如处理器或微控制器的控制单元150。控制单元150配置为控制光学系统100的操作。
[0070] 图2是一个示例性方法的流程图。1001包含捕获一个或多个图像。一个或多个图像反映光学系统的至少一个可互换部件的外视图。这意味着一个或多个图像可以反映光学系统的一个或多个可互换部件的外表面的至少一部分。
[0071] 然后，1002包含确定一个或多个可互换部件的情境信息。这可以例如由光学系统的控制单元来实行，或者在便携式装置(例如智能手机)的计算单元上实行。这还可以由网络计算机或基于云的计算机来实行。
[0072] 基于1001中捕获的一个图像或多个图像确定情境信息。情境信息例如可以表明一个或多个可互换部件的类型。作为示例，情境信息可以指示一个或多个可互换部件的一个或多个操作参数。
[0073] 如果例如由便携式装置的处理器确定情境信息，则方法还可以包括与光学系统的控制单元就情境信息进行通信。
[0074] 1002中，各种技术可以用于基于至少一个图像来确定情境信息。参考图3图示了确定情境信息的一个示例性技术。
[0075] 图3图示了关于可互换物镜300的外视图的各方面。图3示出了一个示例性可互换物镜300的侧视图。图3图示了特别是关于机器可读字符350的方面。在图3的示例中由条形码实现机器可读字符350，将该机器可读字符350附在可互换物镜300的外表面上。可以在包括可互换物镜300的外视图的图像中识别条形码，并且然后可以使用由条形码编码的信息确定情境信息。在图3的示例中，条形码350在可互换物镜300的前侧302附近布置，并且以关于可互换物镜300的中心轴301偏移的方式布置。
[0076] 特别地，在包括使用机器可读字符350的这样的技术的情况下，作为独立可互换部件的特性的信息可以由机器可读字符进行编码。这意味着不同的可互换部件——例如还有相同类型的可互换部件——可以使用可编码不同信息项(不同序列号)的机器可读字符。单独情境信息的其他示例包括：最后一次维护的日期；适配的单独光学参数；像差等。
[0077] 还可以使用除了条形码之外的机器可读字符，例如QR码或ShotCode。还可以随后将机器可读字符施加在可互换部件上。例如与基于附接的NFC芯片的参考系统比较，避免了复杂硬件适配。
[0078] 然而，在图3的示例中，机器可读字符350横向地附接到可互换物镜300，附接机器可读字符的其他技术也是可想到的。作为示例，机器可读字符350可以附接在可互换物镜300的前侧302上。这图示在图4中。
[0079] 作为示例，还可以实行文本识别来代替条形码。从工厂中，一些可互换物镜侧向刻有模型名称、序列号、光学性质等。这样的文本可以用于基于对应的图像确定情境信息。除了可互换物镜的类型，然后同样可以读取其他指示的信息，例如由附加刻印所施加的信息。
[0080] 有时可期望的是，实行确定情境信息的不同技术，以代替这种基于机器可读字符确定情境信息。确定情境信息的其他技术的一个示例是基于由一个或多个图像反映的可互换部件的外视图的提取特征。作为示例，例如，从图3和图4显而易见的是，可互换物镜300的外视图具有特点的特征，诸如几何体和对比度轮廓。例如通过计算机实现算法——例如机器学习算法(例如分类、回归、定位、分割、检测等)——可以识别这样的特征，并且基于该算法可以确定情境信息。作为示例，ANN可以用作分类算法。在这种情况下，可以基于参考图像数据训练分类算法，该参考图像数据反映例如在不同典型姿态和环境条件下的对应的可互换部件。环境条件的示例包括例如照明、成像的可互换部件的部件被其他部件的遮蔽、污物、图像噪声等。因此，还可以使得基于具有可变姿态和/或环境条件的图像确定分类信息成为可能。
[0081] 在基于可互换部件的外观对可互换部件的这样的识别的情况下，例如通过附有机器可读字符更改可互换部件可以是不必要的。可例如仅基于由相机捕获的图像来确定可互换部件的类型。这使得不易于出错的特别简单操作成为可能。在这种情况下，可互换物镜300的前侧302特别是有特性的，并且因此适合于识别可互换部件的类型。
[0082] 图5和图6示意性图示了不同可互换物镜300的前侧302。作为示例，根据图5中的示例的可互换物镜300可以具有相对较小的孔径开口，使得前透镜还具有小尺寸；而根据图6中的示例的可互换物镜300具有相对较大的孔径开口，并且因此具有较大前透镜。如果图像反映可互换物镜300的前侧302，这可以用于特别可靠地确定情境信息。这可以是可能的，因为在不同可互换物镜300之间的差异可以特别可靠地实现。
[0083] 为了获得具有可互换部件的前侧302或总体上外视图的图像，例如相机170在已知的、固定的位置处附接到光学系统100，因此可以在对应的相机图像中预先限定物镜300的姿态。替代地，还可以使用校准、自动检测或手动方法，以在图像中定位物镜。作为照明，可以使用环境光，但是还可以采用有源照明(例如可控制的LED阵列)。
[0084] 来自图像处理和机器学习的领域的方法然后可以用于基于图像信息区分不同的可互换部件111-116、300。在这种情况下，以下体现对应的流程图：
[0085] (I)训练(创建分类模型)
[0086] 记录训练样本：记录旨在稍后区分的可互换部件111-116的图像。在这种情况下，环境条件应该以与它们随后还可以在识别期间发生类似的方式进行变化。也就是说，如果使用环境光，则LED照明应该变化。
[0087] ROI定位：对于每个图像而言，使用通过自动检测算法进行相机定位的现有知识或通过手动方法，确定该图像中成像的可互换部件的——例如由物镜300的半径和前侧302的中心确定的——位置(关注区域，ROI)。该步骤是可选的；对于ANN，特别是还可以使用下一步骤的完整图像。
[0088] 特征提取：从ROI中将允许区分各种物镜模型的特征自动地提取，该ROI例如是以俯视图示出了可互换物镜300的图像部分。为每个图像生成对应的“特征向量”。
[0089] 学习分类算法：基于训练样本学习分类算法，即将相应的特征向量映射到物镜模型上的数学模型。此外，还可以附随地记录具有不适合的图像信息(例如过曝光图像)的输入图像或未知的物镜模型的拒绝种类。
[0090] (II)测试(旨在由创建的分类模型识别的物镜)
[0091] 记录相机图像：记录待识别的可互换部件的图像。
[0092] ROI定位：如在I中实行。
[0093] 特征提取：如在I中实行。
[0094] 应用分类算法：应用训练的分类算法以便于将先前提取的特征向量映射到物镜模型上。取决于分类算法，在训练中所见的全部物镜模型上的概率分布也可以被输出。
[0095] 下文概述上文提及的流程图的两个具体实现方式。这些是示例——上文提及的观点完全可以使用来自机器学习的领域的其他方法来解决。示例仅示意性呈现可互换物镜的前侧302的图像，但是还可以应用于其他可互换部件或其他视图。
[0096] 在一个可能的实现方式中，如下实行特征提取：
[0097] 将前侧302的ROI的图像转换到以中心301为中心的极坐标的图像中。
[0098] 然后确定径向对比度轮廓。这在图7中说明。
[0099] 图7图示了关于径向对比度轮廓309的各方面(图5中还描绘了径向方向340)。图7图示了两个不同的可互换物镜300的示例性对比度轮廓309(实线和虚线)。从图7显而易见的是，径向对比度轮廓309在特性上有区别，也就是说具有诸如极大值、极小值、停滞等的特性特征。
[0100] 通过关于例如极坐标图像的角轴确定中值投影，创建平均的径向对比度轮廓309。这导致一维“指纹”，其包括对于相对于前侧302的任意距离在所有角度上的中值对比度。这利用前侧302的外观是径向对称的事实。中值确定中值对比度，其相对于划痕、反射等是稳健的。
[0101] 根据1D指纹，纹理特征的向量被提取，该向量由以下构成：(i)指纹的全部像素的强度值和(ii)指纹的Haralick特征。参见Robert M.Haralick、K.Sam Shanmugam、Its′hak Dinstein的“图像分类的纹理特征(TexturalFeatures for Image Classification)关于系统、人类和控制学的IEEE会刊(TSMC)的1973年第3卷第6期，第610-621页”。
[0102] 特征提取之后是例如通过SVM进行特征的分类。参见Christopher M.Bishop的“模式识别和机器学习(Pattern Recognition and Machine Learning)，Springer，2006年”。
[0103] 在其他可能的实现方式，通过使用ANN来实现特征提取。在这种情况下，ANN可以以各种方式来使用。作为示例，ANN可以用于分类、回归、分割、检测和/或定位。ANN可以实行分组成不同种类。在这种情况下，不同种类可以指示例如比较抽象的不同特征，然后基于对应的特征向量，下游分类算法(例如SVM)可以用于确定情境信息——例如可互换物镜的类型。然而，替代地，ANN还可以实行分组成比较具体的种类，例如已经与可互换物镜的类型相关。
[0104] 上文的描述已经给出了基于识别可互换物镜300的类型确定对应的可互换物镜的情境信息的各种技术。总体上，然而，本文所描述的技术还可以用于其他可互换部件，例如用于支架、保持框或台插入件、滤光器插入件(诸如DIC滑动件、检偏器和台插入件)。
[0105] 关于台插入件，还可以使用ANN来实现特征提取。在这种情况下，ANN可以以各种方式来使用。作为示例，ANN可以用于分类、回归、分割、检测和/或定位。ANN可以实行分组成不同种类。在这种情况下，不同种类可以指示例如比较抽象的不同特征，然后基于对应的特征向量，下游分类算法(例如SVM)可以用于确定情境信息——例如台插入件的类型。然而，替代地，ANN还可以实行分组成比较具体的种类，例如已经与台插入件的类型相关。
[0106] 图8图示了与台插入件相关的各方面。图8描绘了三个保持框模型750的示例及其作为CAD模型的2D俯视图线框模型700。下文中的描述给出了一个示例性技术，该技术使得通过将图像数据与CAD模型进行比较来确定情境信息。
[0107] 识别可互换部件111-116的类型并且因此情境信息的其他技术因此是与现有电子模型，特别是CAD模型的比较。为此，例如首先相机用于从上方和/或从侧面记录可互换部件111-116、300的外视图的一个或多个图像。然后，作为参考的现有电子CAD模型700可以与记录的图像比较，以便于标识图像中可以见到的物镜模型。
[0108] 存在在CAD模型700和图像之间进行指定比较的大量现有方法：在Ulrich Wiedemann、Steger的“在单目图像中基于CAD识别3D物体(CAD-based recognition of 3D objects inmonocularimages)，(ICRA 2009)”中，例如使用已知的CAD模型700从图像估计物体的3D姿态。
[0109] 然而，在许多情况下，在(i)从相机图像计算出的边缘图像和(ii)从CAD模型700计算出的2D线框投影之间的比较是足够的。例如通过倒角匹配来实行比较，该倒角匹配来自Barrow、Tenenbaum、Bolles、Wolf的“参数化对应和倒角匹配：图像匹配的两个新技术(Parametric correspondence andchamfer matching：Two new techniques for image matching)(IJCAI 1977)”，并且具有最小匹配误差的CAD模型700然后对应于图像中成像的可互换部件111-116、300。相机的姿态可以是已知的；因此，要在图像中识别的可互换部件的位置通常也是已知的。这可以作为附加的限制来影响该比较，这显著地减少了搜索空间并且由此提高了方法的稳健性。
[0110] 在图像和CAD模型700之间的比较中，然而，应该注意确保总体上只有结构信息(例如线框模型的形式)用于识别，因为诸如反射行为的表面性质典型地取决于处理并且不必储存在CAD模型中。
[0111] 总之，上文的描述已经给出确定光学系统的一个或多个可互换部件的情境信息的技术。在这种情况下，可以从表示可互换部件的外视图的图像中识别可互换部件。然后可以基于可互换部件的识别的类型来确定情境信息。可互换部件的这样的基于图像的识别或者情境信息的确定使得对于可互换部件做出特别少更改或没有做出更改成为可能。特别地，可以不必将诸如NFC芯片的电子部件集成到可互换部件中。此外，可以确定具有特别大量的信息内容的情境信息。作为示例，情境信息可以表明错误的使用，诸如对应的可互换部件的不正确定位、或对部件的毁坏，诸如划痕。作为示例，还可以从包括可互换部件的外视图的图像中确定这样的异常。
[0112] 关于用于捕获包括可互换部件的外视图的图像的技术，本文所描述的技术可以是灵活的。作为示例，一个或多个固定安装的概览相机可以用于识别不同可互换部件。为此还可以提供有源照明，例如通过发光二极管。因此，可以实现可再现的照明条件，这关于准确度和稳健性可以是有利的。可以使用移动相机来代替固定安装的相机。在这种情况下，相机的姿态可以是可变的。适当的机器学习技术那么可以使得对可变的姿态进行补偿成为可能。作为示例，为此可以确定可变的姿态。因此，替代地或附加地，还可以确定并且补偿可变的环境条件，例如反映可互换部件的图像中的遮蔽、图像伪影、不同的环境条件等。
[0113] 更不用说，上文所描述的实施例和本发明的各方面的特征可以彼此组合。特别地，在不会背离本发明的范围的情况下，特征可以不仅用在所描述的组合中，而且用在其他组合中或者它们自身上。
[0114] 作为示例，上文的说明已经给出基于至少一个图像确定情境信息的技术。在这种情况下，对应的逻辑可以例如布置在光学系统的控制单元中。替代地或附加地，对应的逻辑还可以例如布置在经由通信网络连接的分离的装置中，例如作为示例的智能手机或计算机。如果确定情境信息使得数据库访问成为必需的，那么还可以使用云计算技术。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种快速建模的方法 | 2020-05-08 | 741 |
| 一种信号分类的方法和设备 | 2020-05-12 | 210 |
| 一种复合材料异形壳的纤维路径与几何形状一体化设计方法 | 2020-05-12 | 399 |
| 用于求取车辆的车灯的状态的方法和设备 | 2020-05-08 | 170 |
| 片上网络处理系统和片上网络数据处理方法 | 2020-05-11 | 897 |
| 基于ANN的程序检测方法和检测系统及应用 | 2020-05-12 | 494 |
| 基于人工神经网络的视觉测试系统 | 2020-05-14 | 734 |
| 用于矫正诊断的牙科影像分析方法及利用其的装置 | 2020-05-08 | 732 |
| 一种传感元件与忆阻器结合的多模态智能传感器 | 2020-05-11 | 508 |
| 一种基于神经网络诊断卒中后构音障碍声调错误的方法及其诊断装置 | 2020-05-12 | 638 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈