3D飞行时间相机和方法专利检索-量子阱激光与光电专利检索查询-专利查询网

3D飞行时间相机和方法

阅读：727发布：2023-02-04

专利汇可以提供3D飞行时间相机和方法专利检索，专利查询，专利分析的服务。并且本发明公开了3D飞行时间相机和方法。本发明涉及用于获取关于场景的信息的3D飞行时间相机和对应的方法，具体地，用于获取场景的深度图像、关于参考信号和场景的入射辐射之间的相移的信息、或关于场景的环境信息。为了提高帧率，所提出的相机包括辐射源(12)，该辐射源(12)生成并发射电磁辐射 (13)以用于照明场景(2)，辐射检测器(14)，该辐射检测器(14)检测从场景(2)反射的电磁辐射(15a，15b)，辐射检测器(14)包括一个或多个像素 (16)，具体地，像素阵列，其中，一个或多个像素单独检测从场景反射的电磁辐射，其中，像素包括两个或更多个检测单元(161-1，161-2，...)，每个检测单元检测两个或更多个样本的样本集的样本，以及评估单元(18)，该评估单元(18)评估两个或更多个检测单元的样本集，并且，从样本集生成与场景相关的信息，其中，所述评估单元包括整流单元(20)，该整流单元(20)通过利用预定整流操作符来对样本集的样本的子集进行整流，该预定整流操作符定义了由特定像素的两个不同的检测单元所检测到的样本之间的相关度，以及信息值计算器(22)，该信息值计算器(22)从整流的样本的子集和样本集的剩余样本确定与场景相关的信息的信息值。，下面是3D飞行时间相机和方法专利的具体信息内容。

权利要求

1.一种用于获取关于场景的信息的3D飞行时间相机，具体地，该相机用于获取场景的深度图像、关于参考信号和场景的入射辐射之间的相移的信息、或关于所述场景的环境信息，所述相机包括：
-辐射源(12)，该辐射源(12)生成并发射电磁辐射(13)，以用于照明所述场景(2)，-辐射检测器(14)，该辐射检测器(14)检测从所述场景(2)反射的电磁辐射(15a，
15b)，所述辐射检测器(14)包括一个或多个像素(16)，具体地，像素阵列，其中，所述一个或多个像素单独检测从所述场景反射的电磁辐射，其中，一像素包括两个或更多个检测单元(161-1，161-2，...)，每个检测单元检测两个或更多个样本的样本集中的样本，以及-评估单元(18)，该评估单元(18)评估所述两个或更多个检测单元的所述样本集，并且，从所述样本集生成与场景相关的信息，其中，所述评估单元包括
-整流单元(20)，该整流单元(20)通过利用预定整流操作符来对所述样本集中的样本的子集进行整流，所述预定整流操作符定义了由特定像素的两个不同的检测单元所检测到的样本之间的相关度，以及
-信息值计算器(22)，该信息值计算器(22)从所述整流的样本的子集和所述样本集中的剩余样本确定所述与场景相关的信息的信息值。
2.根据权利要求1所述的3D飞行时间相机，
其中，所述辐射检测器(14)适用于对入射电磁辐射和参考信号的相关函数进行抽样，其中，样本集包括针对所述入射电磁辐射和所述参考信号之间的不同相移，具体地针对等距相移，的所述相关函数的两个或更多个样本。
3.根据权利要求1所述的3D飞行时间相机，
其中，所述辐射检测器(14)针对每个像素包括传感器元件(40)和切换器(41)，该传感器元件(40)将入射电磁辐射转换成电子，该切换器(41)与所述辐射源同步并将所述电子分到所述两个或更多个检测单元。
4.根据权利要求3所述的3D飞行时间相机，
其中，所述检测单元(161-1，161-2)中的每一个包括存储电子的量子阱(42，44)、将所存储的电子转换成电压信号的转换器(44、45)、放大所述电压信号的放大器(46、47)，以及将所述电压信号数字化的模拟-数字转换器(48、49)。
5.根据前述权利要求中的任一项所述的3D飞行时间相机，
其中，所述整流单元(20)适用于对所述样本集的所有样本进行整流，具体地，除了由用于检测所述样本集的样本的所述两个或更多个检测单元中的一个所检测到的样本以外。
6.根据前述权利要求中的任一项所述的3D飞行时间相机，
其中，所述整流操作符表示到由特定像素的两个不同的检测单元所检测到的样本对的多项式拟合，具体地，度为0、1或2的多项式拟合。
7.根据前述权利要求中的任一项所述的3D飞行时间相机，
还包括整流操作符生成器(24)，该整流操作符生成器(24)通过将具体地度为0、1或
2的多项式拟合拟合到由特定像素的两个不同的检测单元所检测到的样本对来生成所述整流操作符，具体地，拟合到所述场景的本质上静止的区域的样本。
8.根据权利要求2和7所述的3D飞行时间相机，
其中，所述整流操作符生成器(24)适用于通过将具体地度为0、1或2的多项式拟合拟合到由特定像素的两个不同的检测单元针对相同的抽样模式所检测到的样本对来生成所述整流操作符。
9.根据前述权利要求中的任一项所述的3D飞行时间相机，
其中，所述整流单元(20)适用于利用像素各自的整流操作符来进行对由像素的除了一个检测单元之外的所有检测单元所检测到的样本的整流，或利用相同的整流操作符来进行对所有像素的样本的整流。
10.根据前述权利要求中的任一项所述的3D飞行时间相机，
其中，所述辐射源(12)可操作用于发射从1nm到1cm的波长范围内的电磁辐射(13)，具体地，发射红外线、可见光或紫外线光。
11.根据前述权利要求中的任一项所述的3D飞行时间相机，
其中，所述评估单元(18)可操作用于生成与场景相关的关于所述场景(2)的一个或多个对象(4a，4b)的距离、所述场景的一个或多个对象(4a，4b)的反射率(29)和/或非调制辐射(6)的强度的信息，具体地，包括由所述场景所反射的环境光和辐射源的非调制光。
12.根据前述权利要求中的任一项所述的3D飞行时间相机，
其中，所述辐射源(12)可操作用于连续发射电磁辐射(13)，并且其中，所述信息值计算器(20)可操作用于基于从所述场景所反射的光的相位信息来确定所述信息值，从而从相同像素信号的至少两个后续样本的所述集来对所述样本进行修改。
13.根据前述权利要求中的任一项所述的3D飞行时间相机，
其中，所述辐射源(12)可操作为发射辐射脉冲，并且其中，所述信息值计算器(20)可操作用于基于来自相同像素信号的至少两个后续样本的所述集的所述样本的强度信息来确定所述信息值。
14.根据前述权利要求中的任一项所述的3D飞行时间相机，
还包括控制单元(26)，该控制单元(26)临时禁用所述相机，以由所述检测单元测量不同的量，具体地，通过控制所述辐射源(12)、所述检测单元(161-1，161-2，...)的抽样模式、在所述辐射源和所述检测单元之间的同步，以及/或入射到辐射检测器处的辐射的辐射路径。
15.一种用于获取关于场景的信息的3D飞行时间方法，具体地，用于获取场景的深度图像、关于参考信号和场景的入射辐射之间的相移的信息、或关于所述场景的环境信息，所述方法包括如下步骤：
-生成并发射电磁辐射(13)，以用于照明所述场景(2)，
-由包括一个或多个像素(16)，具体地，像素阵列，的辐射检测器(14)检测从所述场景(2)反射的电磁辐射(15a，15b)，其中，所述一个或多个像素单独检测从所述场景反射的电磁辐射，其中，像素包括两个或更多个检测单元，每个检测单元检测两个或更多个样本的样本集中的样本，
-评估所述两个或更多个检测单元的所述样本集，并且，从所述样本集生成与场景相关的信息，其中，所述评估步骤包括如下子步骤：
-通过利用预定整流操作符来对所述样本集中的样本的子集进行整流，该预定整流操作符定义了由特定像素的两个不同的检测单元所检测到的样本之间的相关度，以及-从所述整流的样本的子集和所述样本集的剩余样本确定所述与场景相关的信息的信息值。
16.一种用于在获取关于场景的信息的3D飞行时间相机中使用的处理器，具体地，用于获取场景的深度图像、关于参考信号和场景的入射辐射之间的相移的信息、或关于所述场景的环境信息，所述3D飞行时间相机包括辐射源(12)，该辐射源(12)生成并发射电磁辐射(13)，以用于照明所述场景(2)，以及辐射检测器(14)，该辐射检测器(14)检测从所述场景(2)反射的电磁辐射(15a，15b)，所述辐射检测器(14)包括一个或多个像素(16)，具体地，像素阵列，其中，所述一个或多个像素单独检测从所述场景反射的电磁辐射，其中，像素包括两个或更多个检测单元，每个检测单元检测两个或更多个样本的样本集中的样本，所述处理器可操作用于评估所述两个或更多个检测单元的所述样本集并从所述样本集生成与场景相关的信息，其中，所述处理器包括
-整流单元(20)，该整流单元(20)通过利用预定整流操作符来对所述样本集中的样本的子集进行整流，该预定整流操作符定义了由特定像素的两个不同的检测单元所检测到的样本之间的相关度，以及
-信息值计算器(22)，该信息值计算器(22)从所述整流的样本的子集和所述样本集的剩余样本确定所述与场景相关的信息的信息值。
17.一种用于在获取关于场景的信息的3D飞行时间方法中所使用的处理方法，具体地，用于获取场景的深度图像、关于参考信号和场景的入射辐射之间的相移的信息、或关于所述场景的环境信息，所述3D飞行时间方法包括生成并发射电磁辐射(13)以用于照明所述场景(2)的步骤，以及由包括一个或多个像素(16)，具体地，像素阵列，的辐射检测器(14)检测从所述场景(2)反射的电磁辐射(15a，15b)的步骤，其中，所述一个或多个像素单独检测从所述场景反射的电磁辐射，其中，像素包括两个或更多个检测单元，每个检测单元检测两个或更多个样本的样本集中的样本，所述处理方法可操作用于评估所述两个或更多个检测单元的所述样本集，并且，从所述样本集生成与场景相关的信息，其中，所述处理方法包括如下步骤：
-通过利用预定整流操作符来对所述样本集中的样本的子集进行整流，该预定整流操作符定义了由特定像素的两个不同的检测单元所检测到的样本之间的相关度，以及-从所述整流的样本的子集和所述样本集的剩余样本确定所述与场景相关的信息的信息值。
18.一种计算机程序，该计算机程序包括程序代码装置，当所述计算机程序被在计算机上执行时，所述程序代码装置致使所述计算机执行根据权利要求17所述的所述方法的步骤。
19.一种计算机可读非暂存性介质，指令被存储在该介质上，当指令被在计算机上执行时，致使所述计算机执行根据权利要求17中所述的方法的步骤。

说明书全文

3D飞行时间相机和方法

技术领域

[0001] 本发明涉及用于获取关于场景的信息(具体地，用于获取场景的深度图像、关于参考信号和场景的入射辐射之间的相移的信息、或关于场景的环境信息)的3D飞行时间(3D time-of-flight)相机和对应的3D飞行时间方法。另外，本发明涉及用于在这种3D飞行时间相机和方法中所使用的处理器和对应的处理方法。另外，本发明涉及用于将这种处理方法实现在计算机上的计算机程序和存储这种计算机程序的计算机可读非暂存性介质。

背景技术

[0002] 3D飞行时间(ToF)相机通过确定辐射(优选地为光)从源到对象并返回到相机所需的时间来获得深度图像。这通常通过断续地照亮场景并将时间窗口(严格地讲，窗口的序列)的卷积应用到反向散射的入射光信号来实现。连续波ToF相机利用周期性调制的光源来照亮场景，并且，测量相对于射出信号的反光散射信号的相移。该相移与飞行时间成正比，因此，其包括距离信息。通常，三个量是未知的并必须针对每个像素单独确定：对象的距离、其反射率和环境光的强度。因此，为了确定这些未知量一个或多个(取决于未知量的数目)测量是必须的，例如，在三个未知量的情形中，至少需要三个测量。

[0003] 在Schwarte、R.、Heinol、H.G.、Xu、Z.、Hartmann、K.在Casasent D.P.(ed.)光学照相器工程师(SPIE)会议系列vol.2588、第126页至第134页(1995)的New active3D vision system based on rf-modulation interferometry of incoherent light和Spirig、T.、Seitz、P.、Heitger、F.在IEEE J.量子电子学31第1705页至第1708页(1995)的The lock-in CCD.Two-dimensional synchronous detection of light中，描述了一种连续波ToF 传感器(PMD)传感器。

[0004] 在如下文献中可找到有关ToF相机的一般技术的更多信息：Elkhalili、O.、Schrey、O.、Ulfig、W.、Brockherde、W.、Hosticka、B.J.、Mengel、P.、Listl、L. 的 A 64x8pixel 3-D CMOS time-of flight image sensor for car
safety applications (2006) 、http://www.canesta.com/assets/
pdf/technicalpapaers/CVPR_Submission TOF.pdf 中的 A time-of-flight depth
sensor-System description、Oggier、T.、Lehmann、M.、Kaufmann、R.、Schweizeer、M.、Richter、M.、Metzler、P.、Lang、G.、Lustenberger、F.、Blanc、N.在SPIE 2003会议集第534页至第545页2003中的An all-solid-state optical range camera for 3D
real-time imaging with sub-centimeter depth resolution (2004)、以及Ringbeck、T.、Hagebeuker、B.在2007年7月9日至12日在ETH苏黎世举办的的光3-D测量技术分会：
范围成像I中的A 3D time-of-flight camera for object detection。

[0005] 许多已知的TOF相机(例如，如在以上引用的Ringbeck、T.和其他的公开中所描述的)使用特殊的传感器，该特殊的传感器针对每个像素利用两个量子阱(quantum well)来检测信号的相关函数，该检测信号用电子参考信号来表示所检测的辐射(具体地，光)。入射光子生成电子，这些电子由转换器分到该两个量子阱、转换成电压、被放大并作为两个数字值(还称为“样本”)给出。转换器与光源同步，因此，两个数字值对应于彼此相移180°的相关函数的两个样本。通过将参考信号延迟某个角度Θ，传感器能够对相关函数的任意点进行抽样。通常，Θ被选作{0°、90°、180°、270°}，通过量子阱A和B二者所获得的数据分别对应于Θ和Θ+180°。这给出了八个样本A_0、A_90、A_180、A_270，并同时获得了B_180、B_270、B_0和B_90。因此，每个点Θ被抽样两次(例如，A_0和B_0)。其原因在于需要补偿传感器的不均一，因为量子阱A和B以及其放大路径并不均等地响应辐射。然后，对八个样本的平均被使用，以获得相移的一个值，并从中获得距离的一个值。

发明内容

[0006] 本发明的目的是提供3D飞行时间相机和对应的3D飞行时间方法，通过该相机和方法，可从更少的样本中获得关于场景的所希望的信息，这导致提高的帧率和使能实时应用。本发明的另一目的是提供处理器、对应的处理方法，以及对应的用于实现所述处理方法的计算机程序和计算机可读非暂存性介质。

[0007] 根据本发明的一个方面，提供了一种用于获取关于场景的信息的3D飞行时间相机，具体地，该相机用于获取场景的深度图像、关于参考信号和场景的入射辐射之间的相移的信息、或关于所述场景的环境信息，所述相机包括：

[0008] -辐射源，该辐射源生成并发射电磁辐射，以用于照明所述场景，

[0009] -辐射检测器，该辐射检测器检测从所述场景反射的电磁辐射，所述辐射检测器包括一个或多个像素，具体地，像素阵列，其中，所述一个或多个像素单独检测从所述场景反射的电磁辐射，其中，像素包括两个或更多个检测单元，每个检测单元检测两个或更多个样本的样本集的样本，以及

[0010] -评估单元，该评估单元评估所述两个或更多个检测单元的所述样本集，并且，从所述样本集生成与场景相关的信息，其中，所述评估单元包括

[0011] -整流单元，该整流单元通过利用预定整流操作符来对所述样本集的样本的子集进行整流，该预定整流操作符定义了由特定像素的两个不同的检测单元所检测到的样本之间的相关度，以及

[0012] -信息值计算器，该信息值计算器从整流样本的所述子集和所述样本集的剩余样本确定所述与场景相关的信息的信息值。

[0013] 根据本发明的另一方面，提供了一种用于在获取关于场景的信息的3D飞行时间相机中使用的处理器，具体地，用于获取场景的深度图像、关于参考信号和场景的入射辐射之间的相移的信息、或关于所述场景的环境信息，所述3D飞行时间相机包括辐射源，该辐射源生成并发射电磁辐射，以用于照明所述场景，以及辐射检测器，该辐射检测器检测从所述场景反射的电磁辐射，所述辐射检测器包括一个或多个像素，具体地，像素阵列，其中，所述一个或多个像素单独检测从所述场景反射的电磁辐射，其中，像素包括两个或更多个检测单元，每个检测单元检测两个或更多个样本的样本集的样本，所述处理器操作用于评估所述两个或更多个检测单元的所述样本集并从所述样本集生成与场景相关的信息，其中，所述处理器包括

[0014] -整流单元，该整流单元通过利用预定整流操作符来对所述样本集的样本的子集进行整流，该预定整流操作符定义了由特定像素的两个不同的检测单元所检测到的样本之间的相关度，以及

[0015] -信息值计算器，该信息值计算器从整流样本的所述子集和所述样本集的剩余样本确定所述与场景相关的信息的信息值。

[0016] 根据本发明的又一方面，提供了用于获取场景的深度图像的3D飞行时间方法和处理方法。根据另外的方面，提供了一种计算机程序，该计算机程序包括程序装置，当所述计算机程序被在计算机上执行时，所述程序代码装置导致计算机执行根据本发明的处理方法的步骤，还提供了一种计算机可读非暂存性介质，指令存储在该介质上，当该指令被在计算机上执行时，导致所述计算机执行根据本发明的处理方法的步骤。

[0017] 发明的另外的优选实施例被定义在从属权利要求中。应当理解，所要求权利的方法、要求权利的计算机程序和要求权利的计算机可读介质具有与要求权利的3D飞行时间相机和定义在从属权利要求中的类似和/或相同的优选实施例。

[0018] 本发明基于利用异质参数(inhomogeneity parameters)的想法，例如，从隐式的实时估计中所获得，由整流操作符来表示以用于对相关函数的所获得样本的校正的异质参数。因此，像素的不同检测单元(也称为抽头(tag))的不同特征曲线的影响被补偿。因此，不再需要惯常所使用的平均技术。这使能用更少的样本并无另外的系统错误的情况下对与场景相关的信息的计算，例如，用于确定场景的对象的距离的相移。另外，例如，这使能针对每个像素的预定数目的原始样本的每个集合的多个独立深度图的计算，从而导致提升的帧率。

[0019] 根据发明，检测单元的样本集被评估，以生成所希望的与场景相关的信息。出于该目的，所述样本集的样本子集被形成，并且，通过利用预定的整流操作符，该子集的样本被整流，该预定的整流操作符定义由特定像素的两个不同的检测单元所检测到的样本之间的相关度。然后，所述与场景相关的信息的信息值被从已整流的样本的所述子集和样本集的剩余样本中确定，优选地，从已获得子集的样本的相同样本集的已整流的样本的所述子集和样本集的剩余样本中确定。

[0020] 优选地，本发明被应用于获取场景的深度图像。针对这类应用，所述评估单元操作用于生成与场景相关的关于场景的一个或多个对象的距离的信息、场景的一个或多个对象的反射率和/或非调制辐射的强度(包括环境辐射，具体地，环境光)，即，所述与场景相关的信息可以是距离信息、反射率信息和/或背景辐射的强度信息。

[0021] 但是，发明还可被应用于其他应用，例如，用于获取关于相移的信息或关于场景的环境信息。这种其他应用包括荧光寿命成像(FLIM)，例如，多抽头FLIM，其中样本的相移利用显微镜被测量，以及，用以估计环境参数(例如，温度、氧浓度等)的应用。利用压敏涂料(PSP)的应用也可从发明中受益。

[0022] 虽然通常很宽范围的电磁辐射可利用发明，即，发明可被用在利用各种不同辐射的各种不同应用中，但是，发明有限地被应用于红外线、可见光或紫外线光。一般而言，辐射源和辐射检测器被相应地适配于所使用的辐射类型。如果需要，合适的转换器(在检测器中或与检测器一起)可被用于将所检测到的辐射转换成优选的波长范围，以用于进一步的处理和评估。附图说明

[0023] 参照此处之后所描述的实施例，本发明的这些和其他方面将很显然，并且本发明的这些和其他方面将在以下详细说明。在以下的附图中

[0024] 图1示出了根据本发明的3D ToF相机的示意图，

[0025] 图2示出了用于在这种3D ToF相机中使用的根据本发明的辐射检测器的实施例的示意图，

[0026] 图3示出了由这种辐射检测器所获得的三帧样本，

[0027] 图4A和图4B示出了根据本发明的方法的关键步骤，

[0028] 图5示出了图示在数帧上绘制的两个检测单元的输出的时间进展的示图，

[0029] 图6示出了图示与检测单元的多个输出样本相适应的曲线的示图，

[0030] 图7示出了哪些样本可被组合，以用于确定场景相关的信息的信息值，

[0031] 图8A至图8C示出了根据本发明的方法的另外的实施例，

[0032] 图9示出了包括两个检测单元的像素的示意图，以及

[0033] 图10示出了用于描述本发明的模型的示意图。

具体实施方式

[0034] 在图1中示出了根据本发明的3D ToF相机10的一般布局的示意图。这种相机10通常用于获得关于场景2的信息。这种信息可具体地包括用于生成场景的深度图像的信息、关于场景的相移的信息、或关于场景的环境信息。作为示例，以下的描述将集中于对深度图像的获得，具体地，集中于对距离信息的获取，该距离信息关于在图1中所示的实施例中的场景2的一个或多个对象(背景对象4a和前景对象4b)距离相机10的距离。除了场景2的一个或多个对象4的反射率和非调制辐射(其包括环境光和由辐射源所发射出的非调制光)6的强度以外，该距离信息是将要确定的能够生成场景2的深度图像的三个未知因素中的一个。

[0035] 相机10包括生成并发射电磁辐射13以用于照亮所述场景2的辐射源12以及检测从所述场景2反射的电磁辐射15的辐射检测器14。在本实施例中，辐射源12由源控制器(或驱动器)11控制，该源控制器(或驱动器)11在其他实施例中可被包括在源12中。
所述辐射检测器14包括一个或多个像素16，具体地，包括像素的二维阵列，其中，所述一个或多个像素16单独检测从所述场景2(更精确地，从场景的对象4a、4b)所反射的电磁辐射
15a、15b。如以下将详细说明的，所述像素中的每一个包括两个或更多个检测单元，该检测单元中的每一个检测两个或更多个样本的样本集的样本。

[0036] 辐射检测器14包括装置，该装置导致所测量的像素信号取决于入射辐射光和参考信号之间的时间延迟。该能力是ToF系统的重要组件。针对脉冲ToF系统，这可以使所测量的强度的变化，其由快门(其可以是检测器的一部分(例如，电子快门)或体现为位于检测器14和场景2之间的另外原件(例如，物理快门))所导致。在连续波ToF系统中，这种时间延迟被解释为在入射辐射信号和电子参考信号之间的相移。从该时间延迟，可以测量从源12到对象4a并从该对象到检测器14所需的辐射时间。类似地，可测量从源12到对象4b并从该对象到检测器14的时间。在深度成像中，假定在照射对象4a和4b以及其
光学响应之间不存在延迟。因此，从辐射的已知速度(其为光在周围环境中的速度)和辐射经由对象4a和4b覆盖从源12到检测器14的距离所需的所测量的时间，可计算对象的
距离。

[0037] 在FILM(荧光寿命成像)应用中，对象的距离是已知的(或可忽略的、或另外测量的)，但是响应延迟(在光分别碰到对象4a和4b以及由检测器14所检测到的由这些对象发射光之间的延迟)是未知的并必须测量的。取决于对象的特点(很可能由染料修改)，该时间延迟提供关于环境参数(例如，本地氧浓度、温度等)的信息。此处应当注意，从对象
4a和4b所反射的辐射通常不会被混合到单个像素上，而是光学确保在对象空间中的不同点由不同的像素成像。如果两个对象由单个像素成像，则该像素测量导致伪影(artifact)(飞行像素)的错误值，本发明并不涉及这方面。例如，前景中的对象和背景中的对象之间的深度边缘可导致这种伪影：在边缘处所测量的深度植通常既不被估计为前景，也不估计为背景深度，而是其他的。

[0038] 具体地，为了形成用于照亮场景2的辐射光束13和/或将所反射的辐射15聚焦在辐射检测器14上，还可设置诸如光透镜、聚焦原件等之类的可选装置。例如，如在图1中所示，光透镜17和基带滤波器可被设置在辐射检测器14的前方，以用于收集所反射的辐射并用于仅使所反射的辐射通过具有与照射辐射13相同波长的检测器14。

[0039] 优选地，红外光被用于照明并用于检测，但是，根据本发明，还可使用可见光、或UV光、或其他电磁辐射。一般而言，所使用的辐射被从波长范围在0.1nm和1cm之间中选择，具体地，在10nm和1mm之间选择。

[0040] 所发射出的辐射可被持续射出(例如，被正弦调制)，或可被脉冲化。通常的情形是使用突发模式，其中，辐射源被持续驱动(例如，用正弦激励函数)，但该驱动仅在获取样本期间进行。在其他时候，其被切换至关断，以允许辐射源冷却并将平均强度保持在最低处(出于眼睛安全的原因)。因此，在大的时间尺度上，其实际上不是真正连续的。

[0041] 在任意情形中，检测器和对所获得的像素的后续处理被随后适当地适应。从市场上作为利用脉冲辐射的示例的各种类型的3D ToF相机(例如，Z-Cam(3DV系统，以色列))和作为利用连续辐射的示例的PMDCamCube(PMD技术，德国)或Swissranger SR4000(梅萨成像，瑞士)来看，连续发射辐射原理和脉冲辐射原理二者在3D ToF相机的使用中通常是已知的。如Buettgen，B.；Mechat，M.-A.E.；Lustenberger，F.&Seitz、P.在IEEE TRANSACTIONS ON CIRCUITES AND SYSTEMS I-REGULAR PAPERS，IEEE-INST ELECTRICAL ELECTRICAL ELECTRONICS ENGINEERS INC，{2007}，{54}，{2109-2119}的“Pesudonoise optical modulation for real-time 3D imaging with minimum interference”中所描述的，还可使用非周期性辐射。当使用脉冲辐射时，可从所反射的辐射的强度来获得深度信息，而当使用连续辐射时，可从所反射的辐射中的相位差来获得深度信息。由于这些原理通常是已知的，因袭，此处不再提供进一步的细节。

[0042] 相机10还包括评估单元18，该评估单元18评估辐射检测器14的所述两个或更多个检测单元的所述样本集并从所述样本集生成与场景相关的信息。如上所述，所述与场景相关的信息可以是深度信息、相移信息、环境信息等。此处，将集中于将深度信息的生成作为示例。但是，以下参照图所说明的本发明和元件也可类似地或相同地应用于其他信息的生成。

[0043] 在实施例中，可实现为处理器(例如，可编程微处理器或计算机)或专用硬件的评估单元18包括整流单元20，该整流单元20通常针对每个像素的两个或更多个检测单元中的每一个利用预定的整流操作符来对样本集的样本子集进行整流，该整流操作符定义了由特定像素的两个不同的检测单元所检测到的样本之间的相关。另外，评估单元18包括信息值计算器22，该信息值计算器22通常针对每个像素从已整流的样本的所述子集和样本集的剩余样本来确定所述与场景相关的信息的信息值。

[0044] 在实施例中，相机10还包括整流操作符生成器24，该整流操作符生成器通过将多项式拟合(具体地，度为0、1或2)拟合到由特定像素的两个不同的检测单元所检测到的样本对(具体地，场景的本质上静止的区域的样本)中来生成所述整流操作符。优选地，所述整流操作符生成器24通过将多项式拟合(具体地，度为0、1或2)拟合到由特定像素的两个不同的检测单元针对相同的抽样模式所检测到的样本对来生成所述整流操作符。以下将详细说明整流操作的生成。

[0045] 另外，在实施例中，设置了控制单元26，该控制单元26具体地通过控制所述辐射源12、检测单元的抽样模式、辐射源和检测单元之间的同步和/或入射到辐射检测器处的辐射的辐射路径来临时禁用相机10，以由所述检测单元测量不同的量。在最一般的情形中，所述控制单元26能够控制相机10的所有元件。

[0046] 如上所述，3D飞行时间(ToF)相机通过确定所发射的电磁辐射从源到对象再返回到相机所需的时间来获得深度图像。已经开发了基于相位(连续波)和基于脉冲的ToF系统。基于脉冲的ToF系统发射众多离散辐射脉冲，并且，测量时间t直到相机检测到反相漫射的脉冲为止。连续波ToF相机利用周期性调制的光源来照射场景，并且，测量反相漫射信号相对于所发射的信号的相移。该相移与飞行时间t成正比。

[0047] 时间t与辐射从源到对象再返回到相机所经过的距离成正比。如果辐射源位于相机附近，则对象的距离z可被计算为：

[0048]

[0049] 并且

[0050]

[0051] 是所测量的相移，c是光速，并且v是光源的调制频率。

[0052] 连续波方法和基于脉冲的ToF方法二者都在某时间窗期间测量入射辐射。为了测量这些入射辐射，ToF系统使用带有像素的辐射检测器，每个像素通常具有至少两个不同的检测单元，利用参考信号，该检测单元的敏感度可随着时间变化。为了确保测量处理的高效，如在图2(其描绘了包括众多像素161、162、163、...的辐射检测器14)中所示，众多这种检测单元161-1、161-2、...、161-M通常被组合在像素161中，但是，利用这种检测单元中的一个的像素也是可行的。每个像素的检测单元数将被表示为M。ToF传感器(即，辐射检测器14)通常包括众多这种像素16，但是，仅利用单个像素的传感器也是可行的。

[0053] 通常，所发射的辐射信号和参考信号是周期性的，但是，也示出了利用非周期性信号的系统。如果使用周期性信号，则参考信号和光信号的基频通常被设置为相同值(零拍(homodyne)ToF系统)，但是，也存在利用不同频率的系统(外差(heterodyne)ToF系统)。

[0054] 通过将在等同的基频处所驱动的参考信号和辐射源信号同步，由单个检测单元所确定的值对应于参考信号和辐射源信号的互相关函数的样本。通过在两个信号之间引入另外的可控相移θ，可以在各种角度θ处对互相关函数进行抽样。

[0055] ToF系统由每个检测单元对众多N个样本(此处称为“样本集”)进行抽样。足够数量的样本能够使得计算所成像的场景的未知量。因此，例一如，在参考信号和光源信号之间的相移可被确定，其使能对对象距离的计算(参见方程(1))。

[0056] N应当等于或大于将要估计的未知量的数量。例如，在用于测量深度图的典型设置中，除了相移以外，幅度a1和非调制光的强度a0也是未知的。因此，至少必须有三个样本来确定它们。通常，由于未知量的更简单的数字重构和更好的噪声性能，选择N＝4。

[0057] 在以下，将描述用于重构描述场景的信息(具体地，在深度成像中所获得的深度信息)的示例。矩形参考函数和正弦光源的相关函数I可被推导为

[0058]

[0059] 通过应用四个延迟

[0060] θ＝{0°、90°、180°、270°}

[0061] 可确定相关函数的四个样本(I1、...I4)。从这些样本中，未知量可被计算为[0062]

[0063]

[0064]

[0065] 利用方程(1)，可从中计算距离z。这针对每个像素被单独完成，其使能对密集的深度图的计算。

[0066] 如上所述，ToF传感器通常利用包括众多M检测单元的像素。由于这些检测单元中的每一个获得不同的样本，因此，可并行获得M个样本。以下，这种对M个样本的并行获得将被称为子帧。

[0067] 如果N＞M，则多个子帧是必须的。一般而言，获得L个子帧并用于对未知量的计算。这种L个子帧的集合建立了如在图3中所示的帧f。如果N＞＝M，则理论上L＝(N/M)四舍五入个子帧是足够的。如果N＜M，Mused＝min(M，N)个检测单元将是获得所有所需样本所必须的，并且，L＝1个子帧将足够。

[0068] 但是，当今的ToF系统遭受不同检测单元的异质特点：每个检测单元的特征曲线是不同的，即，针对每个检测单元，具体的理论测量值c(例如，相关函数Ii的样本)所给出的测量值的量是不同的。直接使用这种由具有不同特征曲线的检测单元所测量的原始数据将导致在重构未知的场景参数(诸如，相移 )中的重大错误。

[0069] 一种防止这种错误的方法是用单独分开的M检测单元中的每一个来执行N测量中的每一个(即，L＝M)。然后，在所有检测单元M上计算算术平均，并且，将其用于对未知量的重构。该方法能够抵消特征曲线的不同。但是，仅可补偿至线性次序的不同。另外，要注意，L＞＝M个子帧是重构未知量所需的数据所必须的。因此，即便是带有许多并行检测单元(更大的M)的复杂传感器也不能使能更快的获得处理。

[0070] 接下来，应说明一般所使用的平均技术的示例。例如，所使用的传感器通过PMD技术针对每个像素利用M＝2个检测单元。为了获得N＝4个相关函数I的样本，L＝(4/2)四舍五入＝2个子帧将足够。为了防止上述错误，获得L＝4个子帧，导致八个所测量的值。针对θ＝{0°、90°、180°、270°}和名为A和B的抽头(“检测单元”)，这些所测
量的值(“样本”)称为A0、B0、A90、B90、A180、B180、A270、B270(下标表示所选的相移θ(用度数[°]表示))。此处，由检测单元A所获得的样本A0、A90、A180、A270形成第一样本集，而由检测单元B所获得的样本B0、B90、B180、B270形成第二样本集。

[0071] 然后，中间量可被计算为

[0072] I0＝(A0+B0)/2，

[0073] I90＝(A90+B90)/2，

[0074] I180＝(A180+B180)/2，

[0075] I270＝(A270+B270)/2，

[0076] 其对应于对原始数据进行算术平均。这些中间量被用于利用方程(2)(例如，来计算相移 a0和a1。

[0077] 应当注意，本发明应用于多抽头传感器(M＞1)。其应用于基于相位和基于脉冲的ToF。其应用于深度成像、FLIM、以及所有其他用这种传感器执行的应用。由于发明改善了传感器原始数据，因此，其是独立于应用的。

[0078] 一般而言，本发明潜在的问题可按照以下明确地表达：每个检测单元m(m∈{1，...，M})在每个获取处理(子帧)1(1∈{1，...，M})中测量某抽样模式
n(n∈{1，...，N})、(理论)值cn，m(样本)，并且，确定输出值dn，m。实践中，无法完美地实现该处理。其可被模型化为非线性失真：

[0079] cn，m→nonlinn，m→dn，m (2.1)

[0080] 本发明提出按如下来校正输出数据dn，m

[0081] cn，m→nonlinn，m→dn，m→correctn，m→d’n，m

[0082] d’n，m是cn，m已校正的测量值。所提出的校正获得如下益处：已校正的输出值d’n，m仅取决于理论(输入)值cn，m，并且，其不再取决于检测单元m或测量所使用的抽样模式n。因此

[0083] cn1，m1＝cn2，m2＝＞d’n1，m1＝d'n2，m2， (3)

[0084] 针对所有n1、n2∈{1，...，N}和m1、m2∈{1，...，M}。

[0085] 用于确定合适的校正的一种可能是执行对ToF系统的明示的校准。这需要装置来生成被很好定义的输入cn，m并测量系统的输出dn，m。校正correctn，m可随后被例如实现为查找表或适当的参数化方程，其以如下方式被定义：其确保针对每个输入cn，m，已校正的输出d’n，m对应于设计者的预期。

[0086] 这种明示的校准需要相机在受控的环境中并需要使用特殊硬件。另一个问题是特征曲线nonlinn，m在时间上不稳定。反之，它们例如由于温度依赖性而变化。因此，明示的校准不是用于执行所提出的校正的好的选择。

[0087] 在本发明的实施例中提出了对特征曲线nonlinn，m执行隐式的的校准，而非明示的校准。这意味着每个信道被以如下方式校正：其满足方程(3)，而非明示地知道cn，m。叙述性地将其明确地表达意味着两个未校正的输出值dn1，m1和dn2，m2的关系被分析(n1、n2∈{1，...，N}和m1、m2∈{1，...，M})，而非利用未校正的输出值。这使能对整流操作符r的定义，该整流操作符r对值进行校正以确保d’n1，m1＝d’n2，m2。由于该问题被证据不足地说明，仅校正一个值就够了，保持第二值未校正(例如，d'n2，m2＝dn2，m2)。

[0088] 在不失一般性的条件下，m＝1被选作检测单元，其保持未校正。所有其他检测单元针对每个可能的抽样模式n利用整流操作符rn，m被校正：

[0089] d′n，m＝rn，m(dn，m)＝rn，m(nonlinn，m(cn，m))

[0090] rn，m(dn，m)＝d’n，m＝dn，m，

[0091] 如果m＝1(没有校正)，则针对每个n∈{1，...，N}，即，d’n，l＝dn，l＝nonlinn，l(cn，1)，并且

[0092] d′n，m＝rn，m(dn，m)＝rn，m(nonlinn，m(cn，m))＝rn，l(nonlinn，l(cn，l))＝d’n，l，[0093] 针对每个可能的cn，l，并且，cn，m＝cn，l，n∈{1，...，N}，

[0094] 如果m≠1(在所有其他情形中校正) (4)

[0095] 这意味着存在(M-1)*N个独立重要的和N个非重要的整流操作符rn，m。整流操作符力图针对每个抽样模式(n)补偿由不同的检测单元(m)所导致的误差。要注意，该定义仅隐式地定义了rn，m。以下将显示rn，m是如何构造的。

[0096] 在本发明的又一实施例中，提出了使用用于ToF数据增强的算法。其可被分为两个“主要”例程，如图4所示的校准例程和整流例程。校准例程涉及如下问题：选择合适的原始数据、准备用于计算r的数据(如果可能的话，包括对硬件的操纵)、以及r的生成。

[0097] 在图4A中示意性地示出的整流例程100涉及如下问题：执行(S10)对数据的整流(即，执行整流操作符：d'n，m＝rn，m(dn，m))、计算(S12)多个所处理的数据集(例如，深度图)、以及可选地执行(S14)进一步的处理(例如，对之前步骤的多个集合进行平均、计算具有高质量的单个集合)。

[0098] 在图4B中示意性地示出的校准例程200的目标是生成可用于对ToF数据的整流的函数r。其可被分为三个子例程，具体地，原始数据选择(S20)、数据准备(S22)和生成r(S24)。

[0099] 子例程原始数据选择(S20)去除可能干扰生成r的处理的原始数据样本。这是通过检测错误测量并将数据注释为不可用于进一步处理来完成的。对错误测量的检测可特别包括：

[0100] -对曝光不足或曝光过度的测量的检测(例如，通过对数据施加阈值：数据＜通常测量范围的5％或＞通常测量范围的95％被注释为不可用的，其中，阈值不是固定的，取决于给定的ToF系统，其他阈值也是合适的)，

[0101] -使用在之前所获得的校准数据(例如，包括关于通常饱和的检测单元(类似于热像素)的信息的地图、曝光不足的检测单元(类似于黑像素)、通常曝光不足或饱和的检测单元(类似于闪烁像素))，

[0102] -使用在之前运行整流例程中所收集的知识(例如，发现检测单元针对r的生成给出不定的结果，其仅当发生之前运行的整流例程时才可用)，

[0103] -使用由ToF系统的其他组件所生成的可靠图(例如，由制造商固件或第三方库所计算)，

[0104] -使用信息来检测时间数据的不连续性

[0105] -使用信息来检测运动伪影，以及

[0106] -使用指示生成r的处理的可能的干扰的ToF系统的进一步信息(例如，外部传感器，例如，检测温度冲击的温度传感器、或检测系统的物理冲击的加速计、或内部传感器，例如，检测对系统的激活以用于抑制环境光)。

[0107] 被注释为不可用的数据随后仅被从进一步的处理中排除。另一选择是从可用数据集中删除数据，并且，仅使用剩余数据作为以下处理的输入。

[0108] 准备数据的子例程(S22)目标在于准备用于生成r的以下处理的数据。该准备工作可被描述为回答以下问题：“针对给定的理论输入cn，m和测量dn，m(由在抽样模式n中的检测单元m所测量)，如果已经出现了相同的理论输入cn，l＝cn，m，在相同抽样模式中的检*测单元1将已经测量了什么(作为dn，l)？”，即，针对给定的cn，m、dn，m(m≠1)，找到dn，l＝nonlinn，l(cn，m)。

[0109] 这是重要的，因为在当前的ToF系统中，不同的检测单元m通常不同时运行相同的抽样模式n。即，如果数据必须由运行相同抽样模式n的不同检测单元m获得，则该数据通常在不同的子帧1中获得。由于子帧被连续获得，因此，场景内容可能已经变化，所以在该典型的情形中以下通常是正确的：

[0110] cn，m≠cn，l。

[0111] 出于该原因，d*n，l不是直接可测量的，而是得估计或构造。当找到该值时，(dn，m，*dn，l)对被给出到下一模块以用于生成r。

[0112] 一种估计d*n，l的可能是假定在收集原始数据所用的时间间隔期间场景并不变化(即，由各自像素所成像的场景内容是静止的)。然后，可以假定

[0113] cn，m＝cn，l

[0114] ＝＞dn，l＝nonlinn，l(cn，l)＝nonlinn，l(cn，m)＝d*n，l

[0115] 因此，可找到(dn，m，d*n，l)对。

[0116] 对“静止场景”的假定可通过在原始数据选择模块中的合适过滤来确保。例如，在某些帧的范围内，丢弃所有其绝对时间梯度超过预定义阈值的原始数据值可确保在该计算中仅(本地)使用静止场景。

[0117] 许多应用(例如，在野外监测、医学ToF成像或游戏中)产生包括在若干分钟的时间间隔上针对每个像素足够静止的子序列的数据。因此，该策略将是成功的。

[0118] 存在ToF应用，其中，由于直到收集到足够的数据以生成足够好的整流操作符r所需的时间，等待静止的子序列可能是缺点。在静止序列非常稀少的应用中特别是这种情形，例如，在汽车领域，ToF系统可对可能运动若干小时的外面的场景进行成像。

[0119] 在这种情形中，构造d*n，l将是有优点的。这可通过例如利用度为Q(Q≥1)的多项式来时间插值而完成。例如，Q＝1将是线性插值。作为示例，将利用图5来说明。该图示出了在帧数f上所绘制的输出dn，l和dn，m的引间进展。实线表示dn，l和dn，m的可能的时间进展。圆圈表示在每帧中对这些量的测量。即便dn，l和dn，m在相同帧中获得，他们也不是在精确相同的时间处获得(参照图3)。

[0120] 令t1是两次获取之间的差，而t0是两个连续帧的时间距离。通过在dn，l，f＝i和dn，*l，f＝j+1之间线性插值，这将dn，l给出为：

[0121] d*n，l＝dn，l，f＝i+(t1/t0)(dn，l，f＝i+1-dn，l，f＝i)

[0122] 因此，再一次，可找到(dn，m，d*n，l)对。

[0123] ToF系统的设计者通常知道时间常数t0和t1。如果不知道，则可基于给定的硬件进行估计，例如，t1＝0.5＝t0。如果不可能，则应当利用以上所说明的使用静止场景的策略。

[0124] 接下来，将说明简化的模型和整流。在方程(2.1)中所说明的所假定的潜在物理模型能够针对每个抽样模式(n)对由不同的检测单元(m)单独导致的误差进行建模。在某些情境中，将该模型简化可能是有优点的。例如，如果针对给定的ToF系统，不同的检测单元示出独立于抽样模式的误差，则其可简化为

[0125] cn，m→nonlinm→dn，m (2.2)

[0126] 这导致简化的整流操作符rm(与方程(4)相比)：

[0127] d′n，m＝rm(dn，m)＝rm(nonlinm(cn，m))

[0128] rm(dn，m)＝d’n，m＝dn，m，

[0129] 如果m＝1(无校正)，则针对每个n∈{1，...，N}，即，d’n，l＝dn，l＝nonlinl(cn，l)

[0130] d′n，m＝rm(dn，m)＝rm(nonlinm(cn，m))＝rl(nonlinl(cn，l))＝d'n，l

[0131] 针对每个可能的cn，l，并且cn，m＝cn，l，n∈{1，...，N}，

[0132] 如果m≠1(在所有其他情形中校正)。 (5)

[0133] 接下来，将描述基于硬件控制的校准策略。之前的基于静止或运动场景的校准策略完全是被动方法：它们能够与通过现成的ToF系统所获得的数据一起工作。在以下，将说明其他的方法，其融合了所使用的ToF系统的操作模式的部分修改。这些方法的目标是临时地禁止系统，以由每个检测单元测量不同的量cn，m。因此，在单个子帧1中由不同的检测单元m1和m2所获得的两个获得物cn1，m1和cn2，m2是相等的：

[0134] cn1，m1＝cn2，m2，n1、n2∈{1，...，N}，m1、m2∈{1，...，M}，

[0135] 如果二者同时获得(相同的1)。

[0136] 针对简化模型的假定是正确的(参见方程(2.2))的ToF系统中，这特别意味着

[0137] cn，m＝cn，l

[0138] ＝＞dn，l＝nonlinm(cn，l)＝nonlinm(cn，m)＝d*n，l

[0139] 因此，可以容易地找到(dn，m，d*n，l)对，而无需时间插值或对静止子序列的检测。

[0140] 用于临时地禁用ToF系统以测量不同量cn，m的可能的方法包括用于操纵光源的方法、用于操纵检测单元的抽样模式的方法、以及用于操纵辐射源和检测单元之间的同步的方法。

[0141] 操纵光源的方法目标在于禁用调制，即，利用光源来发射非调制辐射、或防止光源发射辐射。后者可例如通过如下方法来获得：切断光源、或例如利用快门来物理地阻止所生成的辐射照亮场景。如果使用非调制辐射，则持续使用不同的强度对快速收集构造r(这将在以下说明)所必须的数据可能是有益的。如果不使用辐射，则通常变化的场景内容确保不同数据样本的收集以构造r。但是，针对该选择，需要有环境光(在大多数情形中是这样的，但是不是所有应用都这样)。

[0142] 特别感兴趣于利用在光源被切断的时间间隔期间所收集的数据，因为当今的ToF系统通常使用突发模式(burst mode)来运行其辐射源。突发模式意味着辐射源不是持续运行的，而是切换接通和关断交替进行的。该切换的原因是其允许发射平均值保持为低(提供眼睛安全)，而发射峰值为高，因此导致更好的活动光与环境光(在活动阶段)的比率，并且，辐射源(例如，LED)被允许冷却，其使能在活动阶段的更高的驱动电流。

[0143] 操纵检测单元的抽样模式的方法目标在于将每个检测单元设置在相同的抽样状态中。这包括将所有检测单元设置到相同的抽样模式n中、或确保对检测单元的抽样能力的禁用，即，干扰检测单元的解调处理。这包括用于切断检测单元的能力以改变其敏感度的方法。具体地，敏感度可被设置为具体值。对不同敏感值的持续使用对于快速收集构造r所需的数据是有益的。如果使用单个敏感值，通常变化的场景内容确保对不同数据样本的收集以构造r。

[0144] 用于操纵辐射源和检测单元之间的同步的方法目标在于由检测单元禁用对入射调制辐射的适当抽样。这包括用于变更控制辐射源的信号和控制检测单元的信号之间的相位的方法。其还包括用以变更一个或另一个信号的频率(即，错误调谐信号的频率)的方法。

[0145] 所有方法必须仅运行很短的时间，优选的是，在对用于生成关于场景的信息(例如，用于获得深度图)的数据样本的获取之间、在特定阶段(例如，在激活ToF系统之后短时间(引导时间))期间。

[0146] 可组合所呈现的不同的方法。例如，为了使能对构造r所需的数据的快速收集，将传感器的敏感度设置为恒定值并变更辐射源(调制的或非调制的)的强度可以是有益的组合。

[0147] 接下来，将描述用于构造r的例程(S24)。整流操作符r被用于校正由ToF系统所执行的测量(参见方程(4))。理想情况下，以下是有效的：

[0148] rn，m(dn，m)＝d*n，l。 (6)

[0149] 可以从在准备数据步骤(S22)中所收集的多个P＝{(dn，m，d*n，l)i}对(集合)中构造r。构造应当生成整流操作符r，针对大多数说收集的集合P的对而言，方程(6)是正确的。构造应当是鲁棒的，并且，其应当将P一般化。从这个意义上来看，鲁棒意味着某些错误对不应当降低所构造的r的质量。将P一般化意味着错过的对不应当影响所构造的r的空穴(hole)。

[0150] 为了确保所生成的r正针对每个可能的dn，m执行好的校正，P应当包括在可能数据的整个范围上分布的数据，即，在P中的dn，m对应当理想地均一分布。为了有效地收集满足该条件的数据并由此使能对r的快速生成，可使用诸如变更辐射源的强度或变更检测单元的敏感度的方法(参见以上关于基于硬件控制的校准策略的说明)。

[0151] 生成r的一种可能是拟合数据集P，即，在{(dn，m)i}上拟合{(d*n，m)i}。作为拟合函数，可使用例如任意度g的多项式。更大的g增加了重构处理的质量，但是需要P中的更多对和更高的运算功率。(对于大多数ToF系统而言，g＝0、1或2将是合适的。)

[0152] 作为拟合程序，例如可使用“最小二乘法”。为了确保鲁棒的拟合处理，可使用诸如RANSAC或“最小平均平方”的方法(从一般的文献可知)。其在图6中被示出。

[0153] 虽然希望鲁棒和一般化的整流操作符，但是，没有这些属性的函数也可能在某些应用中给出好的结果(例如，简单的将要校正的误差、用于计算校正的低可用运算功率)。例如，这种校正可以是查找表：令L为向量：L＝{l1，l2，...lv}，v＝可能的dn，m的数目(通*
常，由于ToF系统有限的数字分辨率，其为有限的)。针对每对集合P，设置L(dn，m)＝dn，l。
*
然后，r可被设置为L：rn，m(dn，m)＝L(dn，m)＝dn，l。

[0154] 如所述，非线性的特点可随着时间变化(例如，由于温度变化)。因此，r应当适应于这些变化，而非显示静止的行为。一种确保r是灵活的的可能是限制用于构造r的P中的对的数量。一种可能是在每次添加新对时，删除P中最旧的对。

[0155] 如果(暂时)不需要时间适应性(例如，因为已知ToF系统的足够的稳定性)，(暂时)禁用对应的例程以节约运算资源、功率等可以是有益的。

[0156] 整流例程100(参见图4A)利用r来执行对数据的整流，并且，处理该已整流的数据。如在方程(4)中所描述的，按照如下来利用整流参数r以执行整流

[0157] d’n，m＝rn，m(dn，m)＝dn，m，如果m＝1(无校正)，针对每个n∈{1，...，N}[0158] d’n，m＝rn，m(dn，m)，针对每个n∈{1，...，N}，如果m≠1(在所有其他情形中校正)。

[0159] 接下来，将说明对已整流数据的处理。已整流的数据大多没有由不同的非线性放大路径所导致的系统误差。因此，其可被直接处理，即，不执行如上所述并在已知方法中所执行的平均技术。这使能对来自一帧的所测量数据的更加独立的处理数据的运算。例如，在深度成像中，可以在更高频(其给出提高的帧率)处生成深度图，其为本发明的主要优点之一。这应当通过使用示例来说明，该示例示出了对于利用PMD技术的相机可使帧率翻倍。

[0160] 由PMD技术所使用的传感器例如针对每个像素利用M＝2个检测单元。为了获得相关函数I的N＝4个样本，L＝2个子帧将是足够的。利用平均技术，L＝4个子帧是必须的。反之，利用所提出的数据值整流方法，L＝2的样本实际上足够了。

[0161] 相关函数的每个样本对应于某个延迟θ：

[0162] θ＝{0°、90°、180°、270°}

[0163] 因此，针对N＝4个抽样模式中的每一个，一个延迟θ被抽样：

[0164] n＝1：θ＝0°

[0165] n＝2：θ＝90°

[0166] n＝3：θ＝180°

[0167] n＝4：θ＝270°

[0168] 相机并行地获得两个样本，其被执行四次：

[0169] l＝1：d1，1，d3，2

[0170] l＝2：d2，1，d4，2

[0171] l＝3：d3，1，d1，2

[0172] l＝4：d4，1，d2，2

[0173] 利用以上所使用的术语，其对应于：

[0174] l＝1：d1，1＝A0 d3，2＝B180

[0175] l＝2：d2，1＝A90 d4，2＝B270

[0176] l＝3：d3，1＝A180 d1，2＝B0

[0177] l＝4：d4，1＝A270 d2，2＝B90

[0178] 此处，由检测单元A所获得的样本d1，1、d2，1、d3，1、d4，1(A0、A90、A180、A270)形成第一样本集，而由检测单元B所获得的样本d1，2、d2，2、d3，2、d4，2(B0、B90、B180、B270)形成第二样本集。

[0179] 作为示例，整流操作符r从如下(现场的)序列中生成：

[0180] a)单独地针对每个像素、每个检测单元而后每个抽样模式，通过进行预选和精细化，静止子序列被搜索。

[0181] a1)在预选步骤中，时间步骤t1的时间梯度的平方低于阈值ζ的所有样本被接受：

[0182] 接受dn，m，t1，如果(dn，m，t1-dn，m，t0)2＜ζ

[0183] dn，m，t0和dn，m，t1是一个像素的一个原始信道的时间步骤t0和t1(t0＜t1)处所获得的两个连续值。阈值ζ例如被设置为样本最大值的10％。

[0184] a2)在接下来的精细化步骤中，如果由相同像素而非其他检测单元和抽样模式在时间步骤t1中所获得的所有样本在预选步骤中被接受，则接受时间步骤t1的样本。丢弃所有其他的样本。

[0185] b)针对每个像素，每个抽样模式n以及m＝2，线性函数(度为1的多项式)(7)利用最小二乘拟合被在{(dn，2)i}上拟合到{(dn，l)i}，其给出整流操作符rn，2(8)。

[0186] dn，l＝pn，m+qn，m*dn，m，m＝2，n∈{1，...，N} (7)

[0187] rn，2(dn，m)＝pn，m+qn，m*dn，m. (8)

[0188] 此处，pn，m是偏移，而qn，m是整流操作符rn，m的斜率。

[0189] 在图6中，给出了在某抽样模式n和对应的线性拟合(用实线表示)中所获得的所收集的数据的典型图。不要求计算m＝1时的整流操作符，因为这些样本基本未校正。

[0190] 整流处理对数据进行校正。用检测单元m＝1(检测单元A)所获得的是数据基本未校正：

[0191] d’1，1＝r1，1(d1，1)，如果m＝1(基本未校正)，针对每个n∈{1，...，N}[0192] d’2，1＝r2，1(d2，1)＝d2，1

[0193] d’3，1＝r3，1(d3，1)＝d3，1

[0194] d’4，1＝r4，1(d4，1)＝d4，1

[0195] d’1，2＝r1，2(d1，2)＝p1，2+q1，2*d1，2

[0196] d’2，2＝r2，2(d2，2)＝p2，2+q2，2*d2，2

[0197] d’3，2＝r3，2(d3，2)＝p3，2+q3，2*d3，2

[0198] d’4，2＝r4，2(d4，2)＝p4，2+q4，2*d4，2

[0199] 此处，基本未校正(即，未校正)的样本d1，1、d2，1、d3，1、d4，1(A0、A90、A180、A270)形成第一样本子集，而将要校正的样本d1，2、d2，2、d3，2、d4，2(B0、B90、B180、B270)形成第二样本子集。此处，应当注意，一般而言，子集还可包括来自不同的样本集(即，用不同的检测单元所获得)的样本，并且，多于一个子集的样本(具体地，如果像素包括多于两个检测单元)被按上述校正。

[0200] 从这八个样本中，可利用方程(2)来计算两个独立的相位图像(给出两个独立的深度图)：

[0201]

[0202] 对应于

[0203] Φ2＝arctan[(d’4，1-d’2，2)/(d’3，1-d’1，2)]

[0204] 对应于

[0205] 所有计算所使用的数据在子帧(1)1和2中获得，而所有用于计算的数据在子帧3和4中获得。因此，相位图像二者表示对场景状态的不同和独立的估计。

[0206] 接下来，应说明用于交织帧的示例。通过利用已交织的子帧，相同的相机甚至使能对四个相位图像的计算。这还融合了对之前获得的帧的两个校正测量：用d’4，1表示之前的图像d’4，1，p，用d’2，2表示之前的图像d’2，2，p。则：

[0207]

[0208] 对应于

[0209]

[0210] 对应于

[0211]

[0212] 对应于

[0213]

[0214] 对应于

[0215] 此处，如在图7中所示，相位图像的时间顺序是因此，可从单个帧的数据中计算四个相位图像。但是，应当注意，此处的相位图像并不是完全独立的，因为它们利用部分相同的数据。

[0216] 所处理的数据可被用于进一步的处理。例如，所计算的相位图像可被用于进行平均，以生成单个相位图像

[0217] (假定对相位反折(wrap)的合适处理)，

[0218] 其可被用于计算具有增加的准确性的深度图：与利用上述对原始数据进行平均的技术所计算的深度图相比，该深度图将显示更少的系统误差。

[0219] 在以上，已经详细说明了校正和整流例程。在以下，将说明对两个例程的执行的合适控制的问题。

[0220] 整流例程需要之前所生成的整流操作符r。如果整流例程是未知的，例如，由于之前没有发生对执行例程的运行(例如，由于系统刚被初始化)，则如下做法可能是有益的：利用在上次运行系统时所计算并存储的参数来估计r、或利用所估计的(例如，针对类似的ToF系统(相同的相机类型)所计算的)参数来估计r、或利用类似的操作状态(例如，相
同的曝光时间)来估计r、或利用环境条件(例如，相同的温度)来估计r。

[0221] 如果没有r的初始化或没有r的可靠初始化可被载入，则禁止对整流例程的执行可能是有益的。在该情形中，ToF系统仍旧能够利用上述平均技术在更低的帧率处提供数据。

[0222] 如在图8A至图8C中所示，校准和整流例程可连续运行或并行运行。校准例程可被临时常规地(即，在某时段之后)或非常规地运行，例如，被某事件触发。这种事件可以是对环境参数的变化的检测(例如，温度，如果发现温度漂移影响系统的非线性)、或对非不当校准的检测(例如，不同的所计算的相位图像之间的差异)。

[0223] 整流例程可与校准例程并行启动、或在某时间后启动、或在初始化ToF系统之后的某事件处启动。后者可帮助确保整流操作符r已经到达足够的质量。

[0224] 整流操作符r可针对检测器的每个像素单独计算。其可变化，并且，每当ToF系统的内部或外部参数(例如，曝光时间、帧率、温度、操作电压)变化时，应当可能被重启。但是，不计算并应用各自整流操作符以节约计算资源和时间可能是有益的。这适用于如下的情形：在ToF系统中，不同的像素或不同的内部或外部参数仅导致各自整流操作符r的可忽略的差异。

[0225] 所提出的校正具有若干优点：

[0226] a)上述平均技术不再是必须的。利用更少的获得(仅需L＝(N/M)四舍五入，而非L≥M子帧)，独立的所重构的值的生成是可行的。这使得能够从相同量的所测量的原始数据获得更高的处理数据的输出帧率。例如，在深度成像的情形中，所提出的方法使能针对每帧的对多个独立深度图的计算。

[0227] b)针对场景信息每个所生成的图(例如，深度图)使用更少子帧，减少了运动伪影(因为在对必要数据的完全获得期间，场景变化得更少)。

[0228] c)通过利用交织子帧，针对每个所获得的子帧，可生成所处理数据的帧(因此，针对每帧，仅需L＝1个子帧，其使能对帧率的进一步提升)。这种帧不再是独立的，因为它们具有与下一帧50％的重叠。另外，该方法(交织帧)还可利用上述平均技术被应用(即，没有所提出的校正也是可能的)，但是，随后帧将更加不独立(即，具有更大的重叠，例如，75％的重叠)。

[0229] d)针对每个所处理的帧，仅需要L＝(N/M)四舍五入个子帧(而非利用上述平均的L＝M)意味着增加M可实际在速度和减少运动伪影反面带来益处。换言之：对于诸如潜在的4-抽头检测器(即，利用M＝4个检测单元)之类的未来传感器而言，所提出的校
正是重要的，因为如果没有本发明，未来的4-抽头传感器将具有与2-抽头传感器相同的速度，即，它们将不带来任何速度益处。

[0230] e)如果利用相同的数据来计算，与那些利用平均技术所生成的帧相比，所提出的校正提升了所处理的帧的质量。即，无需提升的帧率，其带来了更好的数据质量(未校准的处理帧的具体的更低的系统错误)。

[0231] 简化的示例应当示出对本发明的应用。许多ToF系统使用特殊的传感器，该特殊的传感器针对每个像素利用两个量子阱来测量所检测的光信号与电子参考信号的相关函数。如在图9中所示，作为示例，示出了包括两个检测单元161-1和161-2的单个像素161，入射光子30在光敏元件40中生成电子31。电子31被切换器41分成两个量子阱42、43(此处，还成为量子阱A和B)、由转换元件转换成电压44、45、由放大器放大为46、47、由数字器数字化为48、48、并且，作为两个数字值32、33给出。切换器41与光源(图1中的12)同步，因此，两个数字值32、33对应于将相关函数彼此移位180°的两个样本。通过将参考信号延迟某个角度θ，传感器(即，检测单元)能够对相关函数的任意点进行抽样。通常，θ被选为{0°、90°、180°、270°}，通过量子阱A和B二者所获得的数据分别对应于θ和θ+180°。这给出了8个样本：A0、A90、A180、A270)并同时获得B180、B270、B0、B90。

[0232] 应当注意，每个点θ被抽样两次(例如，A0和B0)。该原因在于需要补偿传感器的异质性。量子阱A和B一级它们的放大路径并不等同地回应光。这在图10中被示出，图10示意性地示出了设置由如在图1和图9中具体使用的参考符号的本发明的模型。

[0233] 如果存在关于场景的某些知识，则利用在每个集中的两个样本的检测是可行的，例如，如果非调制光的强度是已知的(即，存在两个是未知的，具体地，在获得深度图像的情形中的相移和幅度)。即，例如，在荧光寿命成像(FLIM)的情形中，非深度成像(利用显微镜来测量样本的相移)的ToF应用估计环境参数(温度、氧浓度)等。在本申请中，通常不存在环境光，并且，光源的特点(具体地，非调制辐射的强度)是公知的。原则上讲，本发明还可被应用于FLIM应用。

[0234] 针对某些应用，利用多于三个样本还可以是具有优点的。例如，在FLIM应用中，其使能对多个混合相位的分离。在深度成像中，其使能对辐射源的更高谐频(harmonics)的校正。但是，一般而言，对于集合中的样本数而言，没有上限。

[0235] 发明优选地利用具有多个优选地布置为阵列的像素的检测器。但是，在某些应用中，可使用仅具有单个像素的检测器。在该情形中，3D ToF系统实际上被理解为仅传递(一维的)深度信息但在其他两个方向上不传递信息的相机。

[0236] 任意类型的电磁辐射可被用在根据本发明的设备和方法中。这不仅包括可见光谱，例如，x-射线、紫外线、兆赫、微波和无线电。针对绝大部分类型的辐射(具体地，除了紫外线、红外线和可见光以外)，应当使用修改后的检测器(具体地，非纯硅，其例如包括转换器(X-射线到可见光)或微天线(例如，用于兆赫辐射))。

[0237] 优选地，评估单元操作用于生成与场景相关的关于如下内容的信息：场景的一个或多个对象的距离、场景的一个或多个对象的反射率和/或环境辐射(具体地，环境光)的强度。但是，通过利用本发明，还可生成其他与场景相关的信息。

[0238] 例如，非常原始的ToF传感器(即，检测器)可识别对象进入某深度范围，而不显示地计算器深度(例如，通过比较传感器的原始数据和预定义的阈值)。这种系统也可利用本发明。

[0239] 另外，本发明可被用在FLIM应用中。这种FILM设置通常是基于荧光显微镜的，该荧光显微镜利用辐射源(例如，激光或LED)来照明带有某波长的电磁辐射的样本。样本包括能够发荧光的物质(例如，染料)，这意味着这些物质能够吸收某波长(优选地，对应于光源的波长)的光，并且，在某时间延迟之后，发射另一波长的光。由于该衰减是量子处理，因此，所述时间延迟由衰减时间定义，该衰减时间最可能是用于多个荧光颗粒的衰减时间。-18
衰减时间可在若干小时到微微微秒(10 s)的范围中。通常，FLIM所用的衰减时间在1ms到1ns的范围中。在FILM设置中，光源是可控的，并且，检测器能够执行使能对该衰减时间的运算的测量。例如，连续波ToF检测器可被用于测量入射荧光和光源信号之间的相移，其使能对衰减时间的运算。如果适用包括众多像素的检测器，则这种对衰减时间的测量可被空间解决。存在特殊的染料，其衰减时间取决于环境参数。例如，存在带有取决于本地氧浓度、温度、压力等的衰减时间的染料。通过在样本中或样本附近适用这种染料，对这些环境参数的测量变得可行。但是，应当注意，可存在不利用ToF技术的FLIM的设置。

[0240] 发明的另一应用领域是压敏涂料(PSP)。压敏涂料例如被用于空气动力学实验，用于远程测量模型表面上的气压。原理与FLIM非常类似：样本被涂有包含染料的物质，该染料具有取决于本地气压的衰减时间。通过测量衰减时间，可以估计本地压力，其对于空气动力学实验是很重要的。PSP所用的典型衰减时间在1ms到1ns的范围内。但是，应当注意，可存在不利用ToF技术的PSP的设置。

[0241] 所提出的解决方案可被应用于通过各种飞行时间相机所获得的出局，其包括基于脉冲的和连续波系统。总之，本发明能够利用多个检测单元使ToF相机的帧率提高因子2或更大，而无需修改硬件并不引入另外的系统错误。动作模糊被减少，因为针对每个深度图的有效获取时间减少了。这还降低动态动作伪影。如果利用本发明(其针对所处理的数据的独立图的生成使能等于M的加速)，则与当前的传感器相比，未来的带有更多抽头的ToF传感器具有优点。

[0242] 在图和前述描述中，已经详细示出并描述了发明，但是，这种示出和描述要被看做是阐释性的或示例性的，而非限制性的。发明并不限于所公开的实施例。从对图、公开和所附权利要求的学习，实践所要求权利的发明的本领域技术人员可理解并产生对所公开的实施例的其他变更。

[0243] 在权利要求中，字“包括”并不排除其他元件或步骤，并且，不确定冠词“一”或“一个”并不排除多个。单个元件或其他单元可完成在权利要求中所述的若干项目的功能。某些措施被在相互不同的从属权利要求中叙述的事实并不指示这些措施的组合不能被用于使之有优点。

[0244] 计算机程序可被存储/分布在合适的非暂存性介质上，诸如，光存储介质或与其他硬件一起提供或作为其他硬件的一部分的固态介质，但是，该计算机程序还可以以其他形式被分布，诸如，经由因特网或其他有线或无线的电信系统。

[0245] 在权利要求中的任意参考符号不应当被理解为限制范围。

标题	发布/更新时间	阅读量
一种复合量子阱外延片	2020-05-11	668
microLED多量子阱层生长方法	2020-05-11	221
一种量子阱混杂方法	2020-05-11	77
非平面锗量子阱装置	2020-05-12	113
深量子阱电吸收调制器	2020-05-12	407
量子放大的p型量子阱红外探测器	2020-05-13	338
一种稀铋半导体量子阱	2020-05-11	235
多量子阱器件	2020-05-11	1010
一种量子阱半导体激光外延结构及量子阱激光器	2020-05-13	368
硅锗量子阱发光二极管	2020-05-11	159

3D飞行时间相机和方法

3D飞行时间相机和方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：