具有运动识别的光飞行时间照相机 |
|||||||
| 申请号 | CN201380063711.7 | 申请日 | 2013-12-11 | 公开(公告)号 | CN104919332B | 公开(公告)日 | 2017-04-05 |
| 申请人 | PMD技术股份公司; | 发明人 | 罗伯特·兰格; | ||||
| 摘要 | 一种用于操作具有光飞行时间 传感器 (22)的光飞行时间 照相机 (1)的方法，该光飞行时间传感器具有包括至少两个积分 节点 (Ga、Gb)的光飞行时间 像素 的阵列，其中所述光飞行时间传感器(22)和照明装置(15)在3D模式下是利用调制 信号 来操作的，并且距离值(d)是由聚集在积分节点(Ga、Gb)上的电荷(q)来确定的，在节能模式下利用 控制信号 来操作光飞行时间传感器(22)用于识别运动，该控制信号的 频率 小于用于在3D模式下确定距离的调制信号的最小频率，其中根据在积分节点(Ga、Gb)上的差值(A‑B)来确定物体运动。 | ||||||
| 权利要求 | 1.一种用于操作具有光飞行时间传感器(22)的光飞行时间照相机(1)的方法，该光飞行时间传感器具有包括至少两个积分节点(Ga、Gb)的光飞行时间像素的阵列，其中所述光飞行时间传感器(22)和照明装置(15)在3D模式下是利用调制信号来操作的，并且距离值(d)是由聚集在积分节点(Ga、Gb)上的电荷(q)来确定的，其特征在于，在节能模式下利用控制信号来操作光飞行时间传感器(22)用于识别运动，该控制信号的频率小于用于在3D模式下确定距离的调制信号的最小频率，其中根据在积分节点(Ga、Gb)上的差值(A-B)来确定物体运动。 |
||||||
| 说明书全文 | 具有运动识别的光飞行时间照相机技术领域背景技术[0002] 光飞行时间照相机尤其涉及光飞行时间照相机系统或者TOF照相机系统，所述光飞行时间照相机系统或者TOF照相机系统从发射和接收的射线的相位移获取飞行时间信息。具有光子混合探测器(PMD)的PMD照相机尤其适合于作为光飞行时间照相机或者TOF照相机，如所述PMD照相机还在申请EP1777747B1、US6587186B2和DE19704496C2中被描述并且例如可从公司“易福门电子有限公司”或者“PMD技术有限公司”作为帧接收器O3D或者作为CamCube或PMD[影像]CamBoardNano得到。PMD照相机尤其允许光源和探测器灵活布置，该光源和探测器不仅可以设置在一个壳体中而且可以分开设置。 发明内容[0003] 本发明的任务在于，在监控任务方面改善光飞行时间照相机的应用范围。 [0005] 特别有利地可设定一种用于操作具有光飞行时间传感器的光飞行时间照相机的方法，该光飞行时间传感器具有包括至少两个积分节点的光飞行时间像素的阵列，其中该光飞行时间传感器和照明装置在3D模式下是利用调制信号来操作的，并且距离值是由聚集在积分节点上的电荷来确定的，在节能模式下利用控制信号来操作光飞行时间传感器用于识别运动，该控制信号的频率小于用于在3D模式下确定距离的调制信号的最小频率，其中根据在积分节点上的差值来确定物体运动。 [0006] 所述方法具有如下优点，即光飞行时间照相机可以利用同一个传感器在不同的识别模式下操作。除了纯距离测量之外，在节能模式下可以仅基于由运动的物体产生的亮度差别来识别这样的运动。 [0007] 优选地设定，在节能模式下将差值与阈值进行比较并且将超出阈值识别为物体运动。 [0009] 特别有利的是，一旦在节能模式下识别出物体运动，就从节能模式转换到3D模式。 [0010] 节能模式在此尤其可以如此构成，使得光飞行时间照相机的照明装置未被激活并且运动识别仅依据存在的周围环境光来实施。此外也可想到，照明装置在节能模式下利用比在3D模式下更小的功率操作。此外，照明装置在节能模式下也不必强制调制，而是可以利用恒定光操作。如果照明装置在节能模式期间应当被进一步调制，则有利的是，照明装置的调制频率明显高于控制信号的频率，光飞行时间传感器利用该控制信号来操作。 [0011] 优选地，在节能模式下控制信号的频率小于用于在3D模式下确定距离的调制信号的最小频率的10％。该工作方法一方面具有如下优点，即当照明装置以对应于3D模式的调制频率操作时，该照明装置不进一步干扰将亮度信号分成两个A通道和B通道。另一方面，通过控制信号的较低时钟频率得到在亮度变化时在两个积分节点之间的较大信号差。 [0012] 在一种优选的设计方案中设定，在节能模式下以小于200Hz并且尤其小于50Hz的速率检测差值。如果应用允许的话，通过降低检测速率可以节约进一步的能量。在要求低的特定应用中也可想到1Hz的或者还要更长的检测速率。 [0014] 接下来根据实施例参照附图进一步阐述本发明。 [0015] 其中示意性地示出： [0016] 图1示出光飞行时间照相机系统； [0017] 图2示出以光子学方式产生的载流子的调制的积分； [0018] 图3示出PMD像素的横截面； [0019] 图4示出对光飞行时间照相机系统的在时间上的驱控； [0020] 图5示出TOF传感器的一种典型操作； [0021] 图6示出根据本发明的对用于检测运动的光飞行时间传感器的在时间上的驱控； [0022] 图7示出可能的通道和差分图像的实例； [0023] 图8示出一种根据本发明的对于每个通道具有两个时钟脉冲的驱控； [0024] 图9示出一个具有唤醒模式的光飞行时间照相机的实施例。 具体实施方式[0025] 在接下来对优选实施方式的描述中，相同的附图标记标示相同或类似的部件。 [0026] 图1示出利用光飞行时间照相机来光学测量距离的测量情况，该光飞行时间照相机例如由DE19704496C2已知。 [0027] 光飞行时间照相机系统1包括具有照明光源12和配属于该照明光源的光束成形光学器件15的发射单元或者照明模块10以及具有接收用光学器件25和光飞行时间传感器22的接收单元、光飞行时间照相机或者TOF照相机20。光飞行时间传感器22具有光飞行时间像素的阵列并且尤其构成为PMD传感器。为了改善成像特性，接收用光学器件25典型地包括多个光学元件。发射单元10的光束成形光学器件15优选构成为反射器。不过也可以使用衍射元件或者由反射元件和衍射元件构成的组合。 [0028] 该布置结构的测量原理主要基于，由发射的和接收的光的相位移出发可以确定发射的和反射的光的飞行时间。为了该目的，光源12和光飞行时间传感器22经由一个调制器30被共同加载特定的调制频率或者具有第一相位a的调制信号。光源12根据调制频率发射具有相位a的已调幅的信号。该信号或者电磁辐射在示出的情形下被物体40反射并且基于经过的路程相应地以第二相位b移过相位地入射到光飞行时间传感器22上。在光飞行时间传感器22中，调制器30的第一相位a的信号与接收到的具有取决于飞行时间的第二相位b的信号混合，其中，由合成的信号确定相位移或者说物体距离d。 [0029] 为了更精确地确定第二相位b并且因此确定物体距离d，可以设定，使借以操作光飞行时间传感器22的相位a改变预定的相位移 同等效果地也可以设定，使借以驱动照明装置的相位有针对性地移动。 [0030] 测量相位的原理在图2中示意性示出。上面的曲线示出调制信号随时间变化的走向，在此无相位移地利用该调制信号驱控照明装置12和光飞行时间传感器22。被物体40反射的光b按照该光的光飞行时间tL移过相位地入射到光飞行时间传感器22上。光飞行时间传感器22将以光子学方式产生的电荷q在第一半调制周期期间聚集在第一积分节点Ga中并在第二半个周期中聚集在第二积分节点Gb中。电荷典型地在多个调制周期期间聚集或积分。由在第一和第二门Ga、Gb中聚集的电荷qa、qb的比例能够确定相位移并且因此确定物体的距离。 [0031] 如由DE19704496C2已经已知的那样，例如通过所谓的IQ(同相位-正交)法可以确定被物体反射的光的相位移并且因此确定距离。为了确定距离，两次测量优选以调制信号的移动了90°的相位来实施、也就是例如 和 其中由在这些相位中确定的电荷差Δq(0°)、Δq(90°)可以经由已知的反正切关系来确定反射光的相位移。 [0032] [0033] 此外为了改善精度，其它的测量可以以例如移动了180°的相位来实施。 [0034] [0035] 当然也可想到具有多于四个相位及其多倍和相应调整的评价的测量。 [0036] 图3示出一种光子混合探测器的像素的横截面，该光子混合探测器例如由DE19704496C2已知。调制光门Gam、G0、Gbm形成PMD像素的光敏区域。根据施加到调制门Gam、G0、Gbm上的电压，以光子学方式产生的电荷q转向一个或另一个与门或者积分节点Ga、Gb。 [0037] 图3b示出电势变化曲线，其中，电荷q朝向第一积分节点Ga流下，而电势按照图3c使电荷q朝向第二积分节点Gb流动。电势按照施加的调制信号预设。按照使用情况，调制频率优选在1至100MHz的范围内。在调制频率例如为1MHz时得到一微秒的周期持续时间，从而调制电势相应地每隔500纳秒就变换。 [0038] 此外，在图3a中示出读取单元400，该读取单元必要时已经可以是构成为CMOS的PMD光飞行时间传感器的组成部分。构成为电容或者二极管的积分节点Ga、Gb在多个调制周期上积分以光子学方式产生的电荷。然后施加到门Ga、Gb上的电压例如可以按已知的方式经由读取单元400高阻抗地被截取。积分时间优选可这样选择，使得为了期待的光量，光飞行时间传感器或者积分节点和/或感光区域未处于饱和。 [0039] 此外已知其它的飞行时间原理，在这些原理中，感光区域例如具有遮光器(Shutter)，并且光飞行时间经由在由遮光器预定的积分时间内聚集的载流子确定。 [0040] 所述TOF传感器的突出之处在于以下的共同点：1.传感器具有感光区域和不感光区域。2.传感器具有如下装置，该装置将光学生成的信号从感光区域通过电控制参数、例如电流、电压或者电荷移动到不同的存储区域(一个、两个或多个)。3.这些获得的信号必要时可以在缓存之后或者在缓存期间也已经被进一步处理。一个实例是通过在PMD传感器中的SBI电路(抑制背景照明)的差分成像。 [0041] 通常，将这样的解调传感器用于ToF-3D距离测量，不过也可想到其它的应用，如荧光寿命显微术(FLIM)。但是在任何情况下，传感器用于(类似于锁定放大器)以振幅和相位来确定一定频率的光学信号。 [0042] 图4示出一种通常用于TOF传感器的、并且尤其是用于按照图2的PMD传感器的典型的时间测定(Timing)。在此基于如下考虑，即电荷信号被按照积分节点Ga、Gb分成A通道和B通道。两个通道A、B的调制以180°的相位移来进行。对于在100MHz至20MHz之间的典型的调制频率，调制的周期时间在10ns至50ns之间。 [0043] 图5示出TOF传感器的典型操作，其中，在TOF距离测量之间，在测量间歇中读取积分节点。上面的曲线示意性示出多个调制段，在这些调制段中，照明装置以不同的相位操作并且TOF传感器将以光子学方式产生的载流子在A通道和B通道或者相应的积分节点Ga、Gb中聚集或者解调。 [0044] 按照应用情况，调制段或者距离测量的持续时间tE可以例如在200μs至10ms之间变化。在测量间歇中读取积分节点Ga、Gb，其中读取时间tR例如在500μs至1ms之间变化。 [0045] 为了拍摄3D图像而需要至少两个差分相位图(A通道减去B通道)。不过典型地拍摄具有不同相位 的四个相位图。 [0046] 但是按照本发明设定，在不同的操作模式下驱控光飞行时间传感器，以便例如也能够节约能量并且尤其能够提供用于监控任务的准备模式。光飞行时间像素的分离特性用于拍摄场景的差分图像。这在最简单的情形下通过如下方式实现，即在图像拍摄的第一半中积分到节点A上并且在图像拍摄的第二半中积分到节点B上。该工作方法不强制局限于PMD传感器，而是原则上也可用于其它的TOF传感器。该原理同样可以在具有超过两个存储节点/获取节点的传感器中使用。 [0047] 尤其有利的是，按照本发明的方法可以独立于光飞行时间照相机系统的照明装置来操作。如果周围环境足够明亮，那么对于按照本发明的运动识别而言不需要额外的光。在需要时可以将光飞行时间照相机系统的照明装置22接通。 [0048] 图6示出多个这样的差分图像拍摄的上一级的时间测定、调制驱控和读取。不同于高频驱控A节点和B节点，在示出的情况下对于在检测时间tE之内的纯图像拍摄，A节点和B节点分别仅响应一次。这两个节点然后在检测时间tE之后被读取(读取/Readout R)并且被互相比较或者说形成差值A-B。 [0049] 检测时间tE必要时可以按照当时的光强改变。也可以设定，检测时间tE的长度在相继的检测周期内变化。优选使用持续长于1ms的检测时间tE。也可以取决于应用在检测时段之间对间歇时段tP进行调整。例如如果希望运动检测具有20Hz的帧速率或者图像速率，那么例如可以选择10ms的检测时间tE和40ms的间歇时间tP，从而可以总体上每50ms、也就是以20Hz来检测差分图像。因此，在节能模式下，光飞行时间传感器不以常见的高频调制信号来驱控，而是以低频控制信号或者说开关信号来驱控，其中，在示出的实例中在每个门Ga、Gb的检测时段tE之内仅驱控一次。 [0050] 在检测时间tE期间在第一半的检测时间tE/2内将控制信号或者电势施加在第一门Ga上并且在第二半tE/2中将控制信号施加在第二门Gb上，从而在光飞行时间传感器22的感光区域中以光子学方式产生的电荷q在检测时间的第一半中流向第一门或者积分节点Ga，而在第二半中流向第二积分节点Gb并且在那里累积。在随后的间歇tP中，在两个门Ga、Gb上累积的电荷被读取R并且电荷差Δq或者相应的电学参数ΔU、ΔI被确定。帧速率1/tF或者帧长度tF由检测时间tE和间歇时间tP之和得出。 [0051] 在图7中示例性地依据运动的和不运动的手示出由差值出发的运动识别的基本构思。如果在要成像的场景内不存在运动，那么节点A和节点B的图像是相同的。在忽略所有噪音参数的情况下，差分成像趋于零。如果在拍摄图像期间存在运动，那么在像素的A节点中或者A存储器中存储有不同于在B节点或者B存储器中的图像。差分成像“A-B”得出不等于“零”的差分图像。 [0052] 针对单个的光飞行时间像素，“其它的图像”是指在物体运动时物体亮度改变并且因此光流和在像素中以光子学方式产生的载流子的量改变。如果物体不运动，那么物体亮度保持不变。对称驱控的积分节点Ga、Gb因此累积同样多的载流子并且在两个积分节点Ga、Gb之间的差值是零。在物体运动时，亮度值变化，从而对称驱控的积分节点Ga、Gb累积不同的电荷量并且差值不等于零。 [0053] 如在图8中示例性所示的那样，当电荷积分在检测时间之内多次在积分节点Ga、Gb之间变化时，亮度变化的识别原则上也起作用。但是随着时钟速率或者控制信号的频率的增加，结果是在两个积分节点之间的电荷差减小，从而控制信号在节能模式下的时钟频率应当优选保持小于在3D模式下的调制频率。 [0054] 如果差分图像或差值超过特定应用的阈值，则这会被识别为运动。为了评价，例如可以将所有检测到的、可能作为电压值而存在的差值求和。如果超过预设的阈电压，则这可以被识别为用于运动的信号。 [0055] 最终，在提出的评价中不必要的是，评价单元或者图像检测装置从累积在积分节点Ga、Gb上的载流子出发生成2D图像。仅关注光飞行时间像素的积分节点Ga、Gb的电荷差对于识别运动就足够了。 [0056] 该方法能够用于整个图像传感器或者也可以用于传感器的部分区域。因此尤其可以设定，对特别重要的或者优选的区域、所谓的感兴趣区域进行监控。也可以使用子采样模式，在该子采样模式下例如仅每N行读取一行和/或每N列读取一列。也可想到，为了特别重要的监控而提高图像检测的时钟速率、例如提高到超过每秒50个图像。 [0057] 所述方法可以采用激活的照明装置或者无源地使用。如果存在足够的周围环境的照明，那么无需激活的照明装置也可以识别运动。 [0058] 在激活的照明装置的情况下，可以对该照明装置进行HF调制、但并非必须进行该调制。重要的是确保所述激活的照明装置在第一拍摄半部(A)期间具有与在第二拍摄半部(B)期间相同的强度。否则适于校准。 [0059] 一种可能的应用是将3D照相机从节能模式或者说低功耗模式或待机模式唤醒至激活的操作模式，例如为了在移动终端设备中经由3D照相机进行应用如手势操作。这种工作方法在图9中示例性地示出。在节能模式下针对运动而监控周围环境。对此例如可以将激活的、调制的照明装置解除激活或者可以以小的功率来操作该照明装置，此外也可以设定，相比于常规操作，测量间歇以更大的时间间隔来操作。如果识别出手势，那么光飞行时间照相机切换到3D拍摄模式 [0060] 此外可以设定，在不使用3D照相机时、也就是说当在预设的时间段内未识别出活动、手势、距离变化等时，那么3D照相机转换到节能模式。 [0061] 除了至此描述的使用调制驱控之外，也可以将单独驱控用于A通道和B通道的读取切换(复位/保持)，以便拍摄差分图像。 [0062] 附图标记列表 [0063] 10 发射单元 [0064] 12 照明光源 [0065] 15 光束成形光学器件 [0066] 20 接收单元、TOF照相机 [0067] 22 光飞行时间传感器 [0068] 24 光飞行时间像素 [0069] 25 接收用光学器件 [0070] 30 调制器 [0071] 40 物体 [0072] 400 读取单元 [0073] Gam、G0、Gbm 调制光子门 [0074] Ga、Gb 积分节点 [0075] q 电荷 [0076] qa、qb 在积分节点Ga、Gb上的电荷 |
||||||
QQ群二维码
意见反馈
意见反馈