测量方法及执行该测量方法的装置 |
|||||||
| 申请号 | CN201280068981.2 | 申请日 | 2012-12-03 | 公开(公告)号 | CN104205006A | 公开(公告)日 | 2014-12-10 |
| 申请人 | 视瑞尔技术公司; | 发明人 | 杰拉尔德·菲特雷尔; | ||||
| 摘要 | 本 发明 涉及一种测量方法，其中通过依靠显示设备预先确定的照明，利用在 光源 图像的平面上的照明光的强度分布，标记物体的第一 位置 ，所述显示设备特别是全息或 自动立体显示 设备，以及所述物体特别是显示设备的观察者；并且其中在摄像机的 坐标系 中确定物体的第一位置相对于第二位置的相对位置。 | ||||||
| 权利要求 | 1.一种测量方法，其特征在于， |
||||||
| 说明书全文 | 测量方法及执行该测量方法的装置[0001] 本发明涉及一种测量方法以及用于执行该测量方法的装置。 [0002] 给予观察者真实空间——即三维——感知的显示设备正变得越来越受欢迎。 [0004] 允许观察者观察而无需附加的辅助工具的显示设备也是已知的。典型地，对于这些显示设备，例如，自动立体显示设备(autostereoscopic display device)或全息显示设备(holographic display device)，需要关于相对于显示设备观察者所处的地方的信息。 [0005] 以往，为了这一目的，使用两个记录显示设备的前面空间的摄影机。连接到摄影机的估算单元识别显示设备的观察者的脸并且特别是能确定观察者的眼睛瞳孔的相对于摄影机(camera)位置的位置。在这种情况下，相对于显示设备的摄影机的记录方向(recording direction)以固定的方式(fixed way)被预先确定，从而可以从相对于摄像机的眼睛瞳孔的位置确定相对于显示设备的眼睛瞳孔的位置。在装置的运输期间，可能发生的是，相对于显示设备的摄像机的位置以及特别是方向被改变。因此，不再能够准确地或者正确地确定相对于显示设备的眼睛瞳孔的位置，并且设备的重新校准是必要的。 [0006] 此外，可以三维地测量物体的专用装置是已知的。通常，在这些装置的实例中，用激光在物体上产生线。然后，用摄像机记录用这些线照明的物体的图像，并从线的变形(distortion)计算该物体的形状且将其存储为数字模型。然而，为了给观察者提供检验这一数字模型的可能性，另一个数字显示设备是额外必要的。 [0007] 针对这一背景，因此本发明的目的是提供一种测量方法和具有减小了设备支出的装置。 [0009] 因此，对该目的的解决方案包括在测量方法中，其中，通过依靠显示设备的预先确定的照明，利用在光源图像的平面上的照明光的强度分布，标记物体的第一位置，并且其中在摄像机的坐标系中确定物体的第一位置相对于第二位置的相对位置。 [0010] 本发明是基于这样的构思：将显示设备本身用作确定相对于物体的第二位置的物体的第一位置的相对位置的装置。由于通过显示设备本身预先确定对于图像信息的显示的照明，因此可能确定物体的第一位置的位置以及，依靠摄像机的坐标系中相对于第一位置的第二位置的相对位置，还确定在显示设备的坐标系中物体的第二位置的位置。 [0011] 因此，摄像机的校准，即其相对于显示设备的坐标系的位置和方向的确定，可以省略。 [0012] 通过使用全息显示设备，可以通过相干光束的相长干涉或相消干涉产生在光源图像的平面上的照明光的强度分布。以这种方式，随着物体与显示设备的距离的变化而强烈改变的照明光的强度分布以受控的方式实现。 [0013] 自动立体显示设备可由比全息显示设备更简单的模块组成。具体地，自动立体显示设备不需要产生具有大的相干长度的光以便呈现三维场景的光源。因此，自动立体显示设备的使用可以使该方法更简单。 [0014] 当显示设备旨在与观察者交互时，标记显示设备的观察者的第一位置尤其是有利的。但是，标记无生命物体的第一位置也是可能的，从而它可以被测量或可以有意地照明为具有纹理。 [0015] 根据测量方法的第一改进中，光源图像的平面中的照明光的强度分布包括一个衍射级的光源图像。 [0016] 显示设备通常具有含预先确定光栅的光的空间调制器。空间调制器的光栅可以用于作为一种具有预先确定的光栅周期的天然衍射光栅，使得在光源图像的平面中的照明光的强度分布可以包括一个衍射级的光源图像。可以想到使用第0衍射级的光源图像，即非衍射光源图像。然而，也可以使用更高的衍射级。例如为了提高测量方法的精度，由于可以检测出多个光源图像，也可以针对生成强度分布使用多个衍射级。由于预先确定的光栅周期，可以非常精确地预先确定强度分布中的最大值和/或最小值的间隔。可能的是，非常精确地预先确定第一位置相对于第二位置的相对位置的确定的精度。 [0017] 根据测量方法的另一种配置，第二位置是观察者的眼睛瞳孔，并且在摄像机的坐标系统中确定第一位置相对于观察者的眼睛瞳孔的相对位置。观察者的眼睛瞳孔是观察者的脸上非常显眼的点或区域。它们因此可以通过连接到摄像机的评价逻辑相对简单地确认。另外，相对于观察者的眼睛瞳孔的位置的第一位置的相对位置的确定可以使随观察者的眼睛的瞳孔的位置变化的控制成为可能。特别是，在物理地面上不能以其他方式被区分的观察者可受益于这一点。 [0019] 在旨在允许观察者的真正三维感知而无需辅助装置(例如偏光眼镜或快门眼镜)的显示装置的情况下，如下可能是有利的：不仅要确定第一位置相对于第二位置的相对位置，还要使得它们直接重合。以这种方式，例如播放电影的场景时，能够仅故意照亮观察者的脸部的可预先确定的区域。以这种方式，计算三维呈现的计算费用可被减小。 [0020] 根据测量方法的另一改进，要显示给观察者的图像被用作光源图像的平面中的照明光的强度分布或作为光源图像。 [0021] 使用显示给观察者的图像可使执行测量方法成为可能，即使当它被用来作为观察者的显示装置。当涉及呈现三维场景的显示装置时，该呈现可以适合于观察者的不同位置。 [0022] 根据测量方法的另一配置，该物体的第二位置是以显示设备的预先确定的照明通过第二光源图像的平面中的照明光的第二强度分布进行界定。 [0023] 物体的第一位置与第二位置之间的距离可以以这种方式在显示设备的坐标系中是已知的，以及因此相对于显示设备的摄像机的位置和方向可以从摄像机的坐标系中的第一位置与第二位置的相对距离而确定。 [0024] 在第二光源图像的平面中的照明光的第二强度分布可以具有衍射级的光源图像。使用衍射级作为光源图像可以有如下优点：它们的距离，或底层的衍射角(underlying diffraction angle)，可由显示设备的光栅以固定方法而预先确定。该方法的再现性因此可以提高。 [0025] 此外，根据测定方法的一个示例性实施例，使可预先确定的图案形成于物体上，特别是在观察者的脸部，通过照明光的第一和第二强度分布，将该图案的图像用摄像机记录，以及检查该图案的所记录的图像与可预先确定的图案的差异。 [0026] 通过确定与可预先确定的图案的差异，可以想到确定物体的形状。也可能确定该物体是否对应于预先确定的物体或不同的物体。 [0027] 根据测量方法的另一改进，第一衍射级被用作第一光源图像以及不同的衍射级被用作第二光源图像。 [0028] 将定义的衍射级用作光源图像可以具有如下优势：它们的距离可以由显示设备的光栅以固定的方式预先确定，从而使所测量的相对位置可以归结为绝对位置。衍射图案是由显示设备的光栅或显示设备的可控空间光调制器的光栅、所用光的一个或多个波长、以及到照射面的距离(即到照明物体的距离)而给出。 [0029] 根据测量方法的另一配置，使用经校准的物体。经校准的物体是指具有足够准确已知形状的物体。根据摄像机的坐标系中的经校准的物体的第二位置与物体的第一位置的相对位置的确定，可以相对于显示设备的坐标系以更高的精度确定摄像机的位置和方向。 [0030] 此外，根据测定方法的一个示例性实施例，摄像机的坐标系根据摄像机的坐标系中的第一位置相对于第二位置的相对位置来相对于显示设备的坐标系被校准。 [0031] 摄像机的坐标系的校准可以使得能够避免连续测定相对位置，因为显示设备的坐标系中的物体的第二位置的位置也可以确定而不必通过预先确定的照明标记该物体的第一位置。当摄像机的方位和/或位置已经改变，校准只需要在相对大的距离上进行。校准可能，特别是，在该装置的传输之后是必要的。在预定的时间间隔进行校准是可以设想到的。然而，也可设想到只响应于观察者的明确要求而进行校准。 [0032] 根据测量方法的另一改进，摄像机被设置在相对于显示设备的预先确定的距离和/或预先确定的方向上，以及显示设备的坐标系中的第二位置的位置可根据摄像机的坐标系中的第一位置相对于第二位置的相对位置而确定。以这种方式，尤其是物体的形状可被确定。 [0033] 根据该测定方法的另一配置，第一光源图像和第二光源图像由显示设备的光学系统和由具有第一可见光波长和/或第二可见光波长和/或第三可见光波长和/或红外波长的光的可控空间光调制器的预先确定的照明产生，以及摄像机和/或另外的摄像机上设有一个过滤器，它基本上仅仅是针对第一可见光波长和/或第二可见光的波长和/或第三可见光波长和/或红外波长的光是透射的。 [0034] 通过具有限定波长的光和对应过滤器的使用，信号噪声比可得到改善。特别地，环境光对测量结果的影响可以减小。针对红外波长的光是透射的过滤器的使用可以是有利的，尤其是当记录观察者时。例如，当摄像机的过滤器仅透射红外波长的光时，观察者的眼睛瞳孔的位置有可能更简单地被确定。 [0035] 通常情况下，采用此处描述的类型的显示设备，观察者是由3种波长的光形成的有色光源图像显示。通过使用所有3种波长，测量的准确性可以得到改善。 [0036] 此外，根据测量方法的另一示例性实施例，第一位置相对于第二位置的相对位置在第二摄像机的第二坐标系中确定。 [0037] 通过使用第二摄像机，除了关于物体第一位置和物体第二位置所在方向的信息，还有可能获得关于第一和第二物体与显示设备之间的距离的信息。进一步的摄像机有可能进一步提高空间分辨率。 [0038] 根据测定方法的另一示例性实施例，通过依靠显示设备——特别是全息或自动立体显示设备——的预先确定的照明，利用在光源图像的平面上的照明光的强度分布，标记显示装置的观察者的第一位置，显示给观察者的图像的观察窗被用作光源图像的平面中的照明光的强度分布或用作光源的图像，在摄像机的坐标系中确定第一位置相对于观察者的眼睛瞳孔的相对位置，并且通过预先确定的照明的变化，使第一位置与观察者的脸部的预先确定的区域相重合，特别是与观察者的眼睛瞳孔相重合。该测量方法可以针对两个眼睛瞳孔进行。可以针对每个眼睛的瞳孔为观察者提供特定的图像信息。以这种方式，例如，可以赋予特别好的景深印象。另外，观察窗可以连续地跟踪至眼睛的位置，这样有可能避免眼睛瞳孔获得(pickup)更高的衍射级光图像。 [0039] 另一方面，上述的目的是通过用于执行测量方法的装置实现的，其中该装置包括：显示设备，摄像机和用于确定摄像机的坐标系中的第一位置的位置的评估单元。 [0040] 关联于这种显示设备，特别是关联于全息显示设备或自动立体显示设备的优点，已在关于根据本发明的方法的上文中描述。 [0042] CCD传感器可以具有特别大的动态范围，也就是记录图像区域的非常明亮和非常暗区域二者。 [0043] 作为选择，摄像机还可以包括CMOS(金属氧化物半导体元件)传感器。在一般情况下，CMOS传感器具有比CCD传感器更大的动态范围，CCD传感器通常具有与CMOS传感器相比更高的位深(bit depth)。CMOS传感器通常还可以记录长波长的红外光。 [0044] 摄像机还可以是彩色摄像机。通过另外使用颜色信息，相对位置确定的准确度能进一步提高。 [0045] 此外，根据装置的一个示例性实施例，该装置包括光源和光学系统，以及光源图像的平面的照明光的的强度分布可以用光源和光学系统产生。 [0046] 根据本发明，借助成像于或投射到物体上的照明光的强度分布，该物体的第一位置与物体的第二位置的可靠的相对位置可以在摄像机的坐标系中确定，第二位置是观察者的眼睛瞳孔。 [0047] 根据优选实施例，可以使用至少一个窄的带通滤波器，这样信号噪声比可以增加。三带通滤波器的透射特性显示在图5中。在这种情况下，透射率被绘制为所使用的光的波长的函数。透射可以以这样一种方式被优化，这样它针对多个窄带光谱范围分别起作用。因此，可以使用相应的光谱窗，例如为(457±3)nm，(532±3)nm，(640±3)nm和/或(780±5)nm。这样的光谱过滤器现在已经是大规模的产品，其使用的主要领域是在荧光光学显微镜或物体的颜色分隔的三维呈现中。也可以使用仅仅一个红外线波长，例如780nm，以被用作一个不可见的部件。这是因为，780nm的波长的光仅在高强度下才能被看到。因此，可以在近红外范围内或在红外范围内使用窄的光谱窗。环境光可以通过例如>200的因子被抑制。 [0048] 有利的是，还有可能，例如，借助于根据本发明的测量方法的额外的子系统，使用红外线扫描(即线光栅(line raster))。 [0049] 眼睛的位置的检测或确定可借助CMOS阵列或CMOS线而执行。在这种情况下的视网膜扫描构成跟踪眼睛位置的快速可能性。这可以通过使用产生预先确定的空间相关性的近红外LED来实现。因此，眼或瞳孔的位置可以与预定义的或预先确定的照明函数(illumination function)相关。 [0050] 根据这方面的第一示例性实施例，可以使用多个光源，其中光在不同方向上发射。因此，有可能从不同的方向照射多个观察者的头部和眼睛。不同的照明方向，可例如通过接通和关断不同方向的光源，来接通和关断。这可以顺序地或同时进行，例如在用具有基本相同的波长的光照明的情况下按顺序进行。如果使用不同波长的照明光，这也可以同时进行。 [0051] 根据这方面的另一个示例性实施例，可以使用扫描方案。在这种情况下，一个扫描(光栅)可以例如在一个方向或在两个，三个或更多个不同的方向进行。每个一维扫描(即沿一个基本上直线的光束的各个栅格)给出增加的视网膜反射信号。这里还有，使用窄带光谱滤波器将扫描仪的光源与环境光分离，从而增加检测信号的信号噪声比。 [0052] 眼睛位置的评价或确定可例如在两个不同的方向依次进行。因此，当使用CMOS线检测器时，眼睛的或眼睛瞳孔的x和y位置可例如在1/1000秒内确定。 [0053] 此外可以实施不同的扫描方式。例如，可以进行全局扫描，例如在x和y方向上或在交叉方向上。也可以实施角度依赖性的扫描。此外，可以使用α和β角扫描以确定角度扫描线的方向依赖性部分。多个扫描方法可以被组合，以减少或排除在该位置确定中可能的不确定性。 [0054] 除了这一点，扫描区域可被定义或建立。该扫描区域可能实质上小于整体扫描区域。因此，该扫描可在这些减少的扫描区域中进行，以使扫描速度和眼睛检测可以更迅速地进行。 [0055] 具体地，在一个示例性实施例中，布置在x方向上或者在水平方向上的线扫描仪，可以设置在显示设备和线性检测器的一侧，或一种(二维)检测矩阵可以布置在显示设备的另一侧。而且可以将线扫描仪和检测器提供在显示设备的两侧。类似的布置可以被设置在显示设备的上侧和下侧，例如以实施y扫描。 [0056] 例如可以执行一个具有成本效益的方案，其中：DOE(衍射光学元件)布置在IR-LED(红外发光二极管)和一维扫描镜的前面，IR-LED和一维扫描镜被布置在也包含所有的电子驱动的标准IC(集成电路)封装件中，以驱动小扫描镜。 [0057] 该检测原理也可以与HMD(头戴式显示器，适合于观察者的头部的显示器)一起使用。 [0058] 如果，例如，使用一维或二维的CMOS检测器阵列，这里，可以再次选择受限制的扫描范围，使得信号可以从受限制的扫描范围进行检测，并以增加的重复率读出。为此，例如，可使用用于查找观察者的头部的模块，其仅检测观察者的头部的位置。观察者的头部的这些位置数据可以用于选择的扫描范围，例如通过使用两个一维扫描仪。 [0059] 例如，25毫米×25毫米或甚至基本上更小的小区域可以被使用，该区域大致集中在眼睛瞳孔的中间。该区域或者该表面被一维或二维的线扫描照明。快速光电检测二极管可以布置在显示设备的边缘。这些检测器可以例如被提供有窄带滤波器，其被调谐至照明波长，例如近红外光的发光二极管。因此，快速子系统从而产生，其可在显示装置中使用，特别是当显示设备被配置成直接观看装置，HMD或移动显示器或平板的形式。光电检测器或光电二极管也可以具有专门调整的角度依赖的方向特性，其特别地检测来自预先确定的空间区域或跟踪区域的光。同样以这种方式，不是来自扫描范围或检测范围的光的量可以减小。 [0060] 根据该装置的另一改进中，该装置包括一个过滤器，其布置在所述第一摄像机的前面，并且基本上仅对于第一可见光波长和/或第二可见光波长和/或第三可见光波长和/或红外波长的光是透射的。 [0061] 相关的优点已经在关于根据本发明的方法的上文中描述了。 [0063] 图1显示了根据本发明的测量方法的示例性实施例的流程图， [0064] 图2显示了用于执行根据本发明的示例性实施例的测量方法的装置，[0065] 图3显示了相对于照明光的光源图像的观察者的眼睛在光源图像的平面上的位置，在本示例性实施例中光源图像的平面布置为平行于可控空间光调制器的表面，[0066] 图4示出了用于执行根据本发明的测量方法的装置和观察者眼睛的平面图，以及[0067] 图5以图示法示出了三带通滤波器的透射特性。 [0068] 图1以图示的方法示出了根据本发明的测量方法的示例性实施例的流程图。 [0069] 在第一步骤1中，通过借助显示设备的预先确定的照明照射物体，并且通过光源图像的平面中的照明光的强度分布标记物体的第一位置。 [0070] 在第二步骤2中，在摄像机的坐标系中确定物体的第一位置与第二位置的相对位置。 [0071] 图2示出了根据本发明的装置3的示例性实施例。装置3包括显示设备4，摄像机5和评估单元6，显示设备包括：光源7，光的空间调制器8和光学系统9。 [0072] 如果小范围的光源被扩展到了大面积，这在图2中表示为7，那么具有至少在一个方向上的聚焦作用的光学系统至少在一个方向上产生光源图像，其例如位于靠近平面13。如果7是发光面，那么在13处具有与发光面的平面波的频谱成比例的强度分布。空间调制器可以在这种情况下引入衍射增宽。 [0073] 光的空间调制器8也被称为术语“空间光调制器”，或简称SLM，以及其用于给光施加空间调制。通常情况下，SLM调制光的强度。然而，调制相位的SLM也是已知的，并且另外可以想象用SLM同时调制相位和强度。 [0074] 在所示的示例性实施例中，显示设备4由评估单元6通过连接件10驱动，以及该显示装置4照射物体11的照明经预先确定。在本例中，物体11是显示设备4的观察者。通过预先确定的照明，照明光12的强度分布在光源图像的平面13中产生，并且从而标记物体11的第一位置。 [0075] 在一般情况下，在平面13中通过显示设备所产生的强度分布可以比图2中的要小。它可以，例如，包含观察窗，其具有10mm×10mm的尺寸，甚至仅仅直径为3mm。 [0076] 使用摄像机5，记录在光源图像的平面13内的照明光12的强度分布以及使用摄像机5记录该物体的第一位置。摄像机5同样地记录物体11的第二位置，此处为观察者的眼睛瞳孔14。根据通过连接件15由摄像机5提供的数据，然后评估单元6确定摄像机5的坐标系中物体11的第一位置与第二位置的相对位置。 [0077] 图3示出了观察者眼睛16和17的位置，其脸部(图3中未示出)由显示设备(图3中未示出)、特别是全息或自动立体显示设备所照明。在用显示设备照明观察者期间，该照明光的强度分布常常具有多个衍射级18-30的光源图像。图3示出了通过二维编码方法获得的并被表示为黑色的圆形区域的衍射级18-30。非衍射光源图像18被表示为第0衍射级的光源图像。包括非衍射光源图像18并一直延伸到最接近的更高衍射级的顶棚采光光源图像19-22的区域，被称为观察窗31。观察窗31被概括为图3中的椭圆。进一步远离观察窗31的光源图像可以，例如，通过可控的空间调制器的像素的余弦延伸的切趾曲线降低它们的强度，如WO2009/156191 A1中所描述的那样。如果，如图3所示，观察窗31与眼16的位置相重合，那么将其它光源图像可以被抑制到这样的程度：它们对于另一只眼睛17不再是可感知的。所以，这可以甚至在眼睛的运动的事件中完成，照明通常是连续地适应于眼睛的位置。被加以考虑的眼球运动由在图3中的四个短箭头所示。 [0078] 图4示出了根据本发明的装置32的另一示例性实施例。该装置32包括一显示设备33，两个摄像机34,35和评估单元36。两个摄像机34，35相对于显示设备33的方向和定位以固定的方式通过安装被预先确定。换句话说，两个照相机34、35的坐标系被校准。 [0079] 观察者所处的该装置32前面的空间通过两个摄像机34，35记录，观察者的脸部借助于摄像机图像识别。眼睛瞳孔37，38的位置在各摄像机34，35的经校准的坐标系中被确定。以这种方式，首先，针对眼瞳37，从摄像机34，35的位置延伸出并指向眼睛瞳孔37的方向的两个方向矢量39，40被获得。从跨越两个方向矢量39，40的直线的交叉点处，然后可以确定从显示设备33到眼睛瞳孔37的距离，或眼睛瞳孔37和显示设备33之间的相对位置。对第二只眼睛瞳孔37进行相同的步骤。 [0080] 在装置32的运输期间，可能发生的是，照相机34，35的位置，或它们相对于显示设备33的方向被无意地改变。其坐标系因此相对于显示设备33不再是校准的。 [0081] 在物体(参见图3)上产生的光源图像的距离可以由显示设备33的本地象素光栅(native pixel raster)以固定的方式预先确定，例如，作为可控空间光调制器的傅立叶变换，特别是当使用根据WO2006/066919 A1的显示设备时，或根据本发明的测量方法被应用于公开于WO2006/066919 A1中的显示设备时。对于设备32的校准，多个衍射级18-30的光源图像，即光源图像光栅，可以由相应的照相机34，35记录，以及该物体的位置可以从摄像机34，35的各坐标系中的光源图像的相对位置确定。由于光源图像相对于显示设备33的位置是已知的，该装置因此可以被重新校准。 |
||||||
QQ群二维码
意见反馈
意见反馈