改进型光学测距摄象机

申请号 CN96196420.0 申请日 1996-06-20 公开(公告)号 CN1194056A 公开(公告)日 1998-09-23
申请人 3DV系统有限公司; 发明人 G·雅哈; G·I·伊丹;
摘要 生成指示景物目标距离的图像的装置,包括:调制 辐射 光源 (40),具有第一调制功能(60)并将光辐射导向景物;检测器(22),检测景物反射回的、经过第二调制功能(62)调制的光辐射,并且根据检测到的调制光辐射产生对应于景物区域距离的 信号 ;处理器(24),接收来自检测器的信号,并依据此信号形成能够指示摄像机与目标间距离的、具有 亮度 值分布的图像; 控制器 (46),根据处理器形成的图像亮度值分布调节第一和第二调制功能中的至少一个。
权利要求

1.一种生成指示距景物目标的距离的图像的装置,包括:
调制辐射光源,具有第一调制功能并将光辐射导向景物;
检测器,检测景物反射回的、经过第二调制功能调制的光辐射,并 且根据检测到的调制光辐射产生对应于景物区域距离的信号
处理器,接收来自检测器的信号,并依据此信号形成能够指示摄像 机与目标间距离的、具有亮度值分布的图像;
控制器,根据处理器形成的图象的亮度值分布调节第一和第二调制 功能中的至少一个。
2.根据权利要求1的装置,其中第二调制功能相对于第一调制功能 在时间上有一定的延时,控制器调节延时。
3.根据权利要求1的装置,其中第一和第二调制功能包括各自的特 征持续时间不同的脉冲,控制器调节至少一个脉冲的持续时间。
4.根据权利要求3的装置,其中第一和第二调制功能包括特征持续 时间基本相等的脉冲,控制器调节第一和第二调制功能的脉冲持续时 间。
5.根据权利要求1的装置,包括一个识别景物中感兴趣目标的图像 分析仪,其中控制器根据摄像机与感兴趣目标间的距离调节至少一个 调制功能。
6.根据权利要求1的装置,包括一个确定摄像机与感兴趣目标间的 距离的测距仪,其中控制器根据测距仪确定的距离调节至少一个调制 功能。
7.根据权利要求1的装置,其中控制器调节至少一个调制功能,这 样检测器只检测在距摄像机的距离处于感兴趣距离范围内的景物区域 反射回的光辐射。
8.根据权利要求7的装置,包括一个图像处理器,接收处理器形成 的、感兴趣距离范围内的景物区域的第一幅图像,合并第一幅图像和 第二幅图像,产生复合图像。
9.根据权利要求1的装置,其中检测器检测景物中两个感兴趣目标 反射回的光辐射,控制器调节至少一个调制功能,以便使对应于两个 目标的图像部分具有基本相同的亮度值。
10.根据权利要求1的装置,其中检测器包括:
检测器调制器,接收景物反射回的光辐射,并依据第二调制功能对 其调制;和
检测器阵列,包括多个检测器单元,这些单元检测检测器调制器调 制后的光辐射,并依据检测到的调制光辐射生成对应于景物区域距离 的信号。
11.根据权利要求10的装置,其中检测器调制器包括具有多个光 单元的光阀单元阵列。
12.根据权利要求11的装置,其中入射到第一检测单元的光辐射受 第一光阀单元调制,入射到第二检测单元的光辐射受第二光阀单元调 制,其中第二调制功能包括不同的、分别施加给第一和第二光阀单元 的第一和第二调制子功能。
13.根据上述任一权利要求的装置,其中检测器包括彩色滤波器, 处理器形成的图像是彩色图像。
14.一种生成指示距景物目标的距离的图像的装置,包括:
调制辐射光源,具有第一调制功能并将光辐射导向景物;
检测器,包括具有第二调制功能的检测器调制器,和包括多个检测 器单元的检测器阵列,其中检测器检测景物中的多个空间平行段反射 回的光辐射,并且依据检测到的调制光辐射产生对应于景物区域距离 的信号;和
处理器,形成至少包括部分空间段的、具有能够指示摄像机与目标 间距离的亮度值分布的图像;
其中多个空间段中的任一个都具有相对于装置的、由检测器调制器 确定的距离边界,和
其中多个空间段中的至少一个具有与至少一个其它空间段的边界 不同的距离边界。
15.根据权利要求14的装置,其中检测器调制器包括具有多个光阀 单元的光阀阵列。
16.根据权利要求11或15的装置,其中光阀单元阵列包括液晶阵 列。
17.根据权利要求11或15的装置,其中光阀单元阵列包括微通道 阵列。
18.根据权利要求17的装置,其中微通道阵列包括微通道板和多个 邻近板的可切换电极
19.根据权利要求18的装置,其中微通道阵列包括光阴极,其中电 极包括在光阴极上的导电、透光材料。
20.根据权利要求19的装置,其中导电、透光材料包括铟化物 (ITO)。
21.根据权利要求11或15的装置,其中光阀单元阵列包括线光阀 阵列。
22.根据权利要求15的装置,其中每个光阀单元对应于多个空间段 中的一个,其中多个空间段中的一个的距离范围由相应的光阀单元确 定。
23.根据权利要求15的装置,其中多个光阀单元中的每一个对应于 一个或多个检测器单元构成的组。
24.根据权利要求15的装置,其中检测器调制器包括依据第二调制 功能控制光阀单元的切换网络。
25.根据权利要求24的装置,其中第二调制功能的应用使光阀单元 顺序地开启和闭合。
26.根据权利要求24或25的装置,其中第二调制功能包括多个非 一致脉冲,每个脉冲使相应的光阀单元开启和闭合。
27.根据权利要求23的装置,其中一个或多个检测器单元构成的独 立组中的每一组包括一行检测器阵列单元。
28.根据权利要求27的装置,其中一个或多个检测器单元构成的独 立组中的每一组包括一组检测器阵列单元的相邻行。
29.根据权利要求14的装置,其中光源在景物中产生线照明光,其 中检测器接收相应的反射线光辐射。
30.根据权利要求29的装置,包括使线照明光扫描景物的扫描装 置。
31.根据权利要求29或30的装置,其中检测器调制器反射线反射 光辐射,以便使之顺序地在多个检测器单元行中的每一行上驻留一段 时间。
32.根据权利要求31的装置,其中多个阵列行中的每一行对应于多 个空间段中的一段,其中多个空间段中的一段的距离范围由线反射光 辐射驻留在相应行上的时间确定。
33.根据权利要求31的装置,其中线反射光辐射驻留在多个行中的 每一行上的时间由第二调制功能确定。
34.根据权利要求14的装置,包括依据处理器形成的图像的亮度值 分布调节第一和第二调制功能中的至少一个的控制器。
35.根据权利要求14的装置,其中检测器包括彩色滤波器。
36.一种生成指示景物目标距离的扩展图像的系统,包括:
根据权利要求14生成图像的装置,形成多幅连续景物图像,多幅 图像中至少有一幅包括一个或多个至少没有包括在一幅其它图像中的 景物区域;和
图像处理器,合并多幅图像,形成指示景物目标距离的扩展图像。
37.根据权利要求36的系统,包括相对于景物横向移动装置的设 备。
38.根据权利要求37的系统,其中装置按照已知的、与装置相对于 景物的移动速率有关的比例关系生成景物图像。
39.根据权利要求37或38的系统,其中移动装置的设备包括在其 上安装装置的移动平台。
40.根据权利要求39的系统,其中移动平台包括飞机。
41.根据权利要求36的系统,包括使装置的视场扫描景物的扫描光 学部件。
42.一种生成指示景物目标距离的图像的装置,包括:
调制辐射光源,将光辐射导引向景物;
远心光学部件,接收和对准景物反射回的光辐射;
调制器,调制对准后的光辐射;
检测器,检测由调制校准后的光辐射形成的图像;和
处理器,依据检测到的图像的亮度分布,形成指示装置与目标间距 离的亮度值分布,
其中光源和检测器是相互瞄准的,和
其中调制景物反射回的对准光辐射的调制器不调制光源射出的、指 向景物的光辐射。
43.一种生成指示景物目标距离的图像的装置,包括:
调制辐射光源,具有第一调制功能并将光辐射导向景物;
第一检测器,检测景物反射回的、经过第二调制功能调制的光辐 射,并且根据检测到的调制光辐射产生对应于景物区域距离的信号;
第二检测器,与第一检测器相互瞄准,检测景物反射回的、未经第 二调制功能调制的光辐射,并且根据检测到的光辐射产生对应于景物 区域反射回的光强的信号;
处理器,接收来自第一和第二检测器的信号,并依据此信号形成具 有指示景物目标距离的亮度值分布的图像;
44.根据权利要求43的装置,其中光源与第一和第二检测器相互瞄 准。
45.一种机器人导引系统,包括:
根据权利要求1、14、42或43中任何一个生成指示景物目标距 离的图像的装置;和
机器人,利用装置指示的目标距离导引其在景物目标上活动。
46.一种确定工件尺寸的系统,包括:
根据权利要求1、14、42或43中任何一个生成指示工件区域距 离的工件图像的装置;和
计算机,利用图像和指示出的距离确定工件的尺寸。
47.根据权利要求49的系统,其中计算机对比工件尺寸和标准尺 寸。
48.根据权利要求49的系统,其中计算机利用尺寸确定工件的体 积。
49.一种制作工件三维模型的系统,包括:
根据权利要求46确定工件尺寸的系统;和
快速建模装置,接收尺寸确定系统确定的尺寸,并依据尺寸制作三 维模型。
50.根据权利要求49的系统,其中快速建模装置从生成工件图像的 装置接收图像信息,并将图像信息应用到三维模型表面。
51.根据权利要求50的系统,其中图像信息包括彩色信息。
52.一种车辆导引系统,包括:
根据权利要求1、14、42或43中任何一个生成指示沿车辆的运 动方向、在其前方的景物目标距离的图像的装置;和
处理器,利用图像和指示的距离,识别景物中的危险物体。
53.一种内窥镜成象系统,包括:
内窥镜,具有插入目标体内的远端和与光学装置耦接的近端;和
图像生成装置,根据权利要求1、14、42或43中任何一个,与 内窥镜的近端耦接,以便通过内窥镜将光辐射导入体内,并检测从那 里反射回的光辐射。
54.一种生成景物触知(tactile)图像的系统,包括:
测距摄像机,产生景物中多点目标的距离信息;和
触知探针的可寻址矩阵,与目标体的表面接触,探针中的每一个分 别依据多个景物点目标中的一个点目标的距离在表面上施加压
55.根据权利要求54的系统,其中测距摄像机包括根据权利要求 1、14、42或43中任何一个的装置。
56.一种调制电子流的微通道阵列装置,包括:
微通道板,电子通过它加速;和
多个邻近微通道板的可切换电极,电极中的每一个在板的相应区域 调制电子的加速度。
57.根据权利要求56的装置,其中微通道阵列包括光阴极,接收经 微通道板加速的电子,并产生对应于电子的光子,其中电极包括镀在 光阴极上的导电、透光材料。
58.根据权利要求57的装置,其中导电、透光材料包括铟锡氧化物。
59.一种形成景物图像的摄像机系统,包括:
阳极,依据从景物入射到其上的光辐射,产生电子流;
微通道阵列装置,根据权利要求58,依据电子流,接收、调制并 产生光子;和
检测器,接收光子并形成与其对应的景物图像。
60.一种生成指示景物目标距离的图像的方法,包括:
根据第一调制功能,调制由辐射光源射出的光辐射,将光辐射指向 景物;
根据第二调制功能调节从景物反射回的光辐射;
检测反射回的光辐射,并依据检测到的光辐射生成对应于景物区域 距离的信号;
形成具有指示景物目标距离的亮度值分布的图像;和
依据图像的亮度值分布调节第一和第二调制功能中的至少一个。
61.根据权利要求60的方法,其中调节至少一个调制功能包括相对 于第一调制功能延迟第二调制功能。
62.根据权利要求60的方法,其中第一和第二调制功能包括脉冲, 调节至少一个调制功能包括调节至少一个脉冲的持续时间。
63.根据权利要求62的方法,其中第一调制功能脉冲的持续时间基 本长于第二调制功能脉冲的持续时间。
64.根据权利要求60的方法,包括:
识别景物中的至少一个感兴趣目标;和
利用图像的亮度值分布确定目标距离。
65.根据权利要求64的方法,其中调节至少一个调制功能包括依据 与至少一个目标间的距离调节调制功能。
66.根据权利要求65的方法,其中依据与至少一个目标间的距离调 节调制功能包括:
界定包括距至少一个目标的距离的距离范围;和
调节调制功能,这样检测反射光辐射包括检测处于距离范围内的、 一个或多个景物区域反射回的光辐射。
67.根据权利要求66的方法,其中识别至少一个感兴趣目标包括在 至少一个目标上定位多个点,其中界定距离范围包括界定多个局部距 离范围,每一个局部距离范围包括多个点中的一个点。
68.根据权利要求66的方法,其中调节调制功能包括调节功能,这 样不会检测到位于界定距离范围外部的景物目标和区域反射回的光辐 射。
69.根据权利要求66的方法,其中调节调制功能包括调节功能,这 样位于界定距离范围外部的景物目标和区域反射回的光辐射具有基本 恒定的亮度值分布。
70.根据权利要求66的方法,包括形成第一幅二维图像,图像包括 从距离范围内部的一个或多个景物区域检测到的光辐射,并且把第一 幅二维图像和独立获得的第二幅二维图像复合,形成复合图像。
71.根据权利要求70的方法,包括确定第一幅二维图像中的预定区 域的位置,其中对第一幅二维图像和独立获得的第二幅二维图像的复 合包括将第二幅图像插入预定区域。
72.根据权利要求71的方法,其中在预定区域插入第二幅图像包括 调节第二幅图像的比例使之与预定区域适合。
73.根据权利要求60的方法,其中检测光辐射包括检测景物中的、 距离基本上不同的两个感兴趣目标反射回的光辐射,和
其中调节至少一个调制功能包括调节调制功能使两个目标具有基 本相同的亮度值。
74.一种生成指示景物目标距离的图像的方法,包括:
根据第一调制功能调制辐射光源射出的光辐射,并将光辐射导向景 物;
在景物中界定多个平行空间段,每个段都具有距离边界;
检测每一个平行空间段反射回的光辐射,并依据检测到的光辐射产 生对应于景物目标距离的信号;和
形成具有指示景物目标距离的亮度值分布的图像,
其中界定多个空间段包括界定多个空间段中的每一段的距离边 界,和
其中多个空间段中至少有一段的距离边界与至少一个其它空间段 的距离边界不同。
75.根据权利要求74的方法,其中多个空间段中第一段的距离边界 与相邻的、第二空间段的距离边界重叠。
76.根据权利要求74的方法,其中界定具有距离边界的多个空间段 包括根据各自的调制功能调制每一个空间段反射回的光辐射。
77.根据权利要求74的方法,其中检测光辐射包括积聚并读取光辐 射产生的光电电荷,其中界定多个空间段包括在再次积聚和读取电荷 之前的、已知的预定时间间隔内清除每一段上的、光辐射产生的光电 电荷。
78.根据权利要求74的方法,其中将光辐射导引向景物包括产生线 光辐射并用线光辐射扫描景物。
79.根据权利要求74的方法,其中界定多个空间段包括界定相邻空 间段矩阵,其中矩阵中至少有一段的距离边界与至少一个其它段不 同,和
其中形成图像包括合并矩阵内的空间段,并生成距离边界基本等于 矩阵中的各段的单位距离边界的扩展段。
80.一种生成指示景物目标距离的扩展图像的方法,包括:
根据权利要求74,生成第一幅景物图像;
相对于景物,横向扫描空间段;
以与生成第一幅图像相同的方式,生成第二幅景物图像;和
对准并合并第一幅图像和第二幅图像,生成扩展图像。
81.根据权利要求60或74的方法,其中形成具有指示目标距离的 亮度值分布的图像包括归一化亮度值分布。
82.根据权利要求81的方法,其中归一化亮度值分布包括修正其分 布以便调节目标的发射率。
83.根据权利要求81的方法,其中归一化亮度值分布包括修正不同 目标距离的分布。
84.根据权利要求60或74的方法,其中检测光辐射包括根据颜色 对光辐射滤波,其中形成图像包括形成彩色图像。
85.一种生成复合图像的方法,包括叠加在独立获取的背景图像上 的感兴趣目标,所述方法包括:
生成包括感兴趣目标的第一幅景物图像,第一幅图像指示景物目标 距离;
确定第一幅图像指示的目标距离;
界定至少包括一个目标距离的距离范围;
从第一幅图像中除去距离范围外部的目标,形成滤波图像;和
把滤波图像叠加在背景图像上。
86.生成复合景物图像的方法,包括插入复合图像中的选定区域的 预定插入图像,方法包括:
标记景物区域;
生成包括标记区域的第一幅景物图像,第一幅图像中指示景物目标 距离;
确定第一幅图像中的区域边界的位置和与区域间的距离,如第一幅 图像所示;
根据与区域间的距离,调节插入图像的比例使之与区域边界适合; 和
把调节后的插入图像叠加在第一幅图像的区域上,形成复合图像。
87.根据权利要求86的方法,包括:
识别第一幅图像中的感兴趣目标,其中距感兴趣目标的距离小于距 区域的距离;
滤波第一幅图像,以便形成感兴趣目标的滤波图像;和
把感兴趣目标的滤波图像叠加在区域中的插入图像上。
88.根据权利要求85-87的方法,其中根据权利要求60的方法生 成指示目标距离的第一幅景物图像。

说明书全文

发明领域:

本发明总地涉及用于产生三维图像的系统,具体地讲是涉及能够捕 获景物中的图像并且可以判定到景物中的目标以及目标的各个部分的 距离。

发明背景:

已知有各种技术可以用于产生景物的三维图像,即包括景深信息或 距离信息的图像。典型的方法是飞行时间测量法,相位检测法和三 测量法。这些技术通常需要,例如用激光束对图像进行扫描,逐点地 获取景深数据。然而,在许多应用中期望同时获得整幅图像的景深信 息或距离信息。

美国专利5,200,793,在此引用作为参考,描述了一种距离检 测的阵列摄象机,包括一个光源和一个CCD或其它检测器阵列。光电 调制器调制由光源发出的目标景物的照明光线以及由景物反射回到检 测器阵列的光线,这样,照明光线和检测到的光线具有相同的调制模 式。当调制频率发生变化时,计算机分析阵列中每个象素上的光强变 化,以便判定从摄象机到由象素成象的景物部分的距离。

S.Christie等,在Measurement Science and Technology 6(1995 年9月)中的第1301-1308页中,该文献在此引用作为参考,描述了一 种二维测距传感器系统。该系统包括照明感兴趣景物的激光器和获取 景物图像的控增强CCD摄象机。激光器经调制产生预期长度的照明 脉冲,摄象机经门选通控制使其在相同长度的时间内接收来自景物的 光线。摄象机门选通脉冲与照明脉冲同步,或者延迟一些。在门选通 脉冲期间,CCD阵列的每个象素接收到的累计光强是摄象机到由象 素成象的景物部分的距离的函数,计算机分析整个阵列接收到的光 强,由此生成距离信息。

距离门选通摄象机在本领域是熟知的。这种摄象机通常包括一个与 用于照明景物的脉冲光源或频闪光源一起使用的门选通检测器阵列。 例如,可以通过与门选通照明装置耦合来控制阵列的门选通,例如由 Imco Electro-optics Ltd.,Essex,U.K.制造的增强透镜系统,或者 利用本领域中公知的其它方法。检测器阵列的门选通定时相对于光源 有一定的延时,这样只能捕获到距摄象机的距离处于期望范围内的目 标。摄象机不能判定在一定范围内的各种目标或不同位置

发明概述:

本发明的目的是提供一种改进的测距摄象机,它可以基本上同时地 从景物中的各个象素获得景深信息。

在本发明的一些方面中,测距摄象机同时产生景物的亮度图像和距 离图像,两种图像是相互配准的。

在本发明的一个方面中,测距摄象机产生景物的三维图像。

在本发明的其它方面中,测距摄象机输出与摄象机到景物中的一个 或多个目标的距离有关的信息。该距离信息可以用来过滤和/或进一步 处理摄象机获取的图像,或者作为摄象机自身的反馈信息,使之为了 进一步的选择和/或更高的精度而调节其距离-检测功能。

在本发明的优选实施方案中,测距摄象机包括用于照明感兴趣景物 的光源和用于检测由景物中的目标反射回的辐射强度的检测器阵列, 优选的是CCD阵列,在由本发明申请申请人提交的题为“光学测距 摄象机”的第一PCT专利申请中给出了相应的描述,该申请也给予了 本申请的受让人,其内容在此引用作为参考。例如,可以利用机械或 液晶调制辐射源,光阀以预定的已知周期阻断和接通光源。以类 似的方式调制反射光,这样优选地在预定的已知周期内阻断和接通到 达检测器阵列的光辐射,该周期可以与阻断和接通辐射光源的时间周 期相同,更加优选地是与之不同。然后,处理到达检测器阵列并在那 里被检测的辐射强度,以便确定从摄象机到景物中的目标的距离。

在本发明的一些优选实施方案中,如上所述,可以利用一个或多个 机械或液晶光阀调制辐射光源和反射辐射,还可以以类似的方式使用 在本领域中众知的其它类型辐射调制器。由此,在本发明的一些优选 实施方案中,利用一个或多个电光调制器例如,KDP晶体调制器,调 制光源辐射或检测的辐射。另外,在本发明的一些方面,可以通过向 光源驱动电路提供适宜的波形来电调制辐射光源。此外,还可以利用 本领域众知的复位/读出技术调制反射辐射,其中检测器阵列首先复 位,即基本上完全清除阵列的单元中所积累的电荷,然后,经过一段 已知的预定延迟,读出并测量在单元中积累的电荷。

辐射光源优选地包括一个激光器,但还可以包括适宜的其它类型的 光源。

在本发明的一些优选实施方案中,测距摄象机可以包括一个远心光 路系统,在由本申请人提交的题为“远心光学测距摄象机”的第二PCT 专利申请中给出了相应的描述,该申请也给予了本申请的受让人,其 内容在此引用作为参考。优选地,反射辐射由适宜的聚集光学装置接 收,由电光调制器调制,例如KDP晶体调制器。更加优选地是光源辐 射和反射辐射与公共光轴对准。在一个这样的优选实施方案中,光源 辐射和反射辐射由公用电光调制器调制,而在其它的优选实施方案 中,它们分别由不同的调制器调制。

在本发明的优选实施方案中,辐射光源由第一波形调制,反射辐射 由第二波形调制。调节第一和第二波形的形状以及波形间的延迟以便 给出检测器阵列中的各个单元检测到的光强与摄象机到由象素成象的 目标的距离之间的预期的函数关系。

优选地是,调节第一和第二波形的形状以及波形间的延迟以便定义 距离“窗口”,即从摄象机到目标的距离的一定范围,据此可以确定 目标的距离。利用第一和第二波形分别调制辐射光源和反射辐射,摄 象机可以只获得窗口内目标的图像。通过适当地调节距离窗口,可以 简化对辐射进行检测以便确定从摄象机到窗口内目标的距离的处理过 程,和/或提高其精度。优选地是,还对窗口进行调节以便使摄象机对 于与感兴趣的景物部分相对应的在距摄象机的一定距离范围内的目标 的动态范围最大化。

在本发明的优选实施方案中,第一和第二波形应当保证在检测器阵 列的一场或一中能够多次阻断和接通光源辐射和/或反射辐射。优选 地是,第一和第二波形包括多个脉冲,其中第二波形中的每一个脉冲 以预定的,通常是恒定的,延迟跟随第一波形中的相应脉冲。考虑到 标准视频场信号的持续时间为16毫秒,第一和第二波形的脉冲持续时 间通常小于1毫秒,能够在一帧或一场的时间内包含几十或几百个这 样的脉冲将是非常好的。这种多脉冲调制功能对于增加由摄象机生成 的图像的信噪比是十分有帮助的。

在本发明的一些优选实施方案中,可以自适应地调节窗口以便获得 一个或多个感兴趣目标的图像。优选地是,通过利用持续时间相对较 长的波形调制光源和反射辐射来初始定义第一窗口,它覆盖一个距摄 象机的较大的距离范围。在这个窗口内获得感兴趣目标的图像,并判 定距至少一个目标的距离。然后定义第二窗口,它至少包含一个目标, 优选地覆盖一个比第一窗口窄的距离范围。以这种方式,获取第二幅 图像,降低了非感兴趣目标的数目,可以更加精确地确定距至少一个 感兴趣目标的距离。

优选地是,自适应地调节窗口使之跟踪至少一个感兴趣的目标。随 着摄象机距目标的距离变化,调制波形随之变化,这样目标保持在由 窗口覆盖的距离范围内。

另外,利用探测光束可以初始确定距感兴趣目标的距离,例如激光 测距仪或本领域众知的其它类型的测距仪。然后调节窗口使目标处于 它所覆盖的距离范围内。

在本发明的优选实施方案中,不能获得距摄象机的距离处于窗口之 外的景物部分的图像,或者说这一部分的图像与景物中的感兴趣目标 图像是分离的。然后,本发明用于,例如,从更远的背景中分辨出一 个或多个感兴趣的目标。在一些优选实施方案中,感兴趣的目标图像 与其它图像,例如利用本领域中众知的技术得到的计算机处理或计算 机生成的图像,合并以便形成预期的混合图像。

在本发明的一些优选实施方案中,检测器阵列是二维矩阵阵列, 例如CCD阵列,一个或多个光调制器调制到达阵列的反射光线,这样, 不同的调制波形分别对应于阵列的不同行或相邻行构成的组。以这种 方式,不同的距离窗口,即选择的不同距离范围,对应于不同行或相 邻行构成的组。每个行或相邻行组将产生包含关于和与线相交的目标 有关的景深信息的景物线图像。为了产生整幅图像,包括覆盖大范围 的景深信息,阵列的视场通常在景物上扫描,获取并组合多线图像, 如下所述。

在一些优选实施方案中,以CCD阵列为基准安置液晶光阀阵列, 以便分别调制到达CCD阵列的每一行或连续相邻行组的反射光线。优 选地是,驱动液晶阵列使得阵列的连续行或连续相邻行组在连续的时 间周期内暴露在反射光下的时间相同。这样,每个连续行或连续相邻 行组接收景物中的位于连续距离窗口内的目标所反射的光线,并且用 来确定摄象机到这种目标的距离。

更加优选地是,驱动液晶阵列使得CCD阵列的第一行,靠近其第 一边缘,接收来自相对地靠近摄象机的第一距离窗口的光线,CCD阵 列的最后一行,靠近与第一边缘相对的第二边缘,接收来自相对地远 离摄象机的最后距离窗口的光线。阵列的每个连续行,在第一和最后 行之间,接收来自连续距离窗口的光线,所有的距离窗口基本上连续 地覆盖了第一和最后距离窗口之间的距离,优选地是以基本相等的间 隔。

另外,在本发明的其它优选实施方案中,以CCD阵列为基准适当 地安置和操作液晶光阀阵列,以便分别调制到达CCD阵列中的各个象 素或相邻象素组的反射光线,这样,每个象素或相邻象素组具有自己 的距离窗口。优选地,光阀阵列以自适应方式工作,这样,每个距离 窗口跟踪距景物中的感兴趣目标上的目标点的距离,其图像由各自的 象素或象素组获得。由此,可以调节与各个象素或象素组对应的距离 窗口使之包含并产生距目标点的距离的精确读数,同时减少图像干 扰。

在本发明的一些优选实施方案中,其中每个象素具有自己的距离窗 口,相邻象素组组织在一起以“超-象素”方式工作。每个这样的超- 象素包括,例如,三乘三的九个象素,由景物基本上沿公共光轴反射 回来的光线在其上成象。光阀阵列的工作方式如下,每九个象素接收 沿着公共光轴来自各个距离窗口的光线。以这种方式,可以捕获景物 的完整图像,包括以预期的距离分辨率得到的景深信息,尽管牺牲了 横向分辨率。任意大小的超-象素,例如1*2象素,2*2象素或4*4象 素,可以用来在距离和横向分辨率之间实现最佳的折衷。

应当注意的是,尽管参照液晶光阀阵列描述了上述实施方案,但在 本发明的其它优选实施方案中,可以把其它类型的光调制阵列由于该 目的,例如,门选通可寻址微通道阵列,或者电光或声光调制器阵列。

在本发明的一些优选实施方案中,其中不同的距离窗口顺序地对应 于检测器阵列的不同行,如上所述,每一行形成景物部分的线图像, 阵列的视场以“推-扫”(“push-broom”)模式扫描景物。换句话 说,摄象机优选地相对于景物横向移动,使得每一行形成的线图像以 基本上垂直于行的纵向的方向扫描景物。摄象机沿着连续的平行线从 检测器阵列的每一行获得线图像序列

另外,摄象机的视场可以进行扫描,或者景物中的目标可以相对于 摄象机横向移动,以便起到相同的效果。

优选地是,由摄象机完成的图像获取与检测器阵列对景物的传输或 者扫描同步,这样在摄象机获取的图像序列中的任意位置上由阵列的 任意行(除第一行之外)成象的景物部分基本上与在序列中的前一位 置由阵列的前一行成象的景物部分相同,除了处于不同的距离窗口之 外。以这种方式,可以获得景物的完整三维图像,因为对于景物中的 每一目标点,反射光的强度都是在很宽的距离范围内作为距摄象机的 距离的函数而测量的。

在本发明的其它优选实施方案中,摄象机包括扫描光学装置,它可 以聚焦和调制景物的线图像,这样,可以依次地把线图像投射到检测 器阵列的每一行上。由此,存在一个与阵列的每一行对应的连续距离 窗口,该窗口由线图像驻留在行上的持续时间定义。到与线图像相交 的景物目标的距离,位于一个连续距离窗口内,由上述的方法确定。 扫描光学装置可以包括高速光-机械扫描仪,声光或电光调制器,或者 本领中众知的其它类型扫描仪。

在本发明的一些优选实施方案中,摄象机可以包括三个具有辅助彩 色滤光片的检测器阵列,优选的是本领域众知的红,绿和蓝三种颜色, 由此可以获得景物的彩色图像。另外,摄象机可以只包括一个或两个 具有本领域众知的且安装于其上的一个或多个条形或颗粒形彩色滤光 片的检测器阵列,以便获取彩色图像。由此,关于阵列中的每个象素, 可以获得图像亮度信息,颜色信息和景深信息。

在本发明的一些优选实施方案中,可以把维亮度和/或彩色图像与 三维距离图像(即每个象素的距离信息)相互配准,并叠加起来为摄 象机使用者生成和表示出景深图像。可以利用任何本领域中众知的方 法产生这种景深图像,例如在二维照片上画出等距离线,或者利用伪 彩色指示单色图像中的距离,或者利用计算机生成的等角投影的方 法。

在本发明的一些优选实施方案中,摄象机安装在移动平台上,例如 飞机上,以便获得飞机飞行时所经过的大地的地形图像,或者安装在 海运平台上,或者在下或者在水面上,或者安装在空运平台上。优 选地是,摄象机工作在“推-扫”模式,如上所述摄象机对图像的获取 与移动平台对地的速度同步。摄象机获取的图像优选地用来测绘平台 下的特征和目标,还可以用来计算该特征和目标的三维容量。在本发 明的其它优选实施方案中,摄象机安装在机器人上或与机器人有关的 装置上,该装置在预期的任务中利用摄象机提供的三维图像信息指引 其行动。

另外,在本发明的一些优选实施方案中,摄象机可以用于生产过程 的质量保证或质量控制,例如确定制品工件的多种尺寸并验证它是否 符合标准。类似地,通过测量存储在容器中的体材料或商品的外形轮 廓,其体积是已知的或利用摄象机可以测量的,可以确定材料或商品 的体积。

在本发明的其它优选实施方案中,摄象机通常用在模扫描仪中, 用于获取感兴趣目标的三维图像。优选地是,图像是彩色图像。在一 个这样的优选实施方案中,这些三维图像与系统一起用于快速三维模 型建模,如本领域中众知的,以便复制感兴趣目标的一个或多个三维 拷贝或模型,包括表面颜色的复制。

在本发明的其它优选实施方案中,摄象机安装在车辆上,用于避撞 系统,例如通过识别潜在的障碍物并判断出车辆与障碍物间的距离。

在本发明的其它优选实施方案中,上述的测距摄象机与内窥镜一起 使用,以便获得患者体内的感兴趣区域的图像。

在本发明的另一个优选实施方案中,摄象机与盲人使用的传感器矩 阵相连。例如,传感器矩阵可以包括多个压在盲人皮肤上的探针,例 如在他或她的前额上,其中每个探针施加到皮肤上的压比例于盲人 与由摄象机观察到的在景物中的相应点上的目标之间的距离。优选地 是,盲人控制摄象机的距离窗口,这样,由探针施加的压力范围对应 于预期的距盲人的距离范围。

因此根据本发明的优选实施方案,提供了一种装置,用于生成指示 距景物目标的距离的图像,包括:

辐射调制光源,具有第一调制功能,并将光辐射指向景物;

检测器,检测景物反射回来的,经第二调制功能调制的光辐射,并 响应于检测到的调制光辐射,生成与距景物区域的距离相应的信号;

处理器,接收来自检测器的信号并根据信号形成图像,该图像具有 指示目标与设备间的距离的光强值分布;和

控制器,改变第一和第二调制功能中的至少一个,以便响应处理器 形成的图像的光强值分布。

此外,根据本发明的优选实施方案,提供了一种装置,用于生成指 示距景物目标的距离的图像,包括:

辐射调制光源,具有第一调制功能,并将光辐射指向景物;

检测器,包括一个具有第二调制功能的检测器调制器,和一个检测 器阵列,该阵列包括数个检测器单元,其中检测器检测景物中的数个 平行空间区域反射回来的光辐射,并响应于检测到的光辐射,生成与 距景物该区域的距离相应的信号;和

处理器,用于形成图像,该图像至少包括所述数个空间区域中的一 些并具有指示目标与设备间的距离的光强值分布;

其中,数个空间区域中的每一个都具有相对于设备的由检测器调制 器确定的距离边界,和

其中,数个空间区域中的至少一个具有与至少一个其它空间区域的 边界不同的距离边界。

根据本发明的优选实施方案,还提供了一种系统,用于生成指示距 景物目标的距离的分布图像,包括:

用于生成上述图像的装置,该装置形成景物的数个连续图像,数个 图像中至少有一个包括一个或多个没有包含在至少一个其它图像中的 景物区域;和

图像处理器,它把数个图像合并成分布图像,用以指示到景物目标 的距离。

根据本发明的优选实施方案,还提供了一种装置,用于生成指示距 景物目标的距离的图像,包括:

辐射调制光源,将光辐射指向景物;

远心光学装置,接收和准直由景物反射的光辐射;

调制器,调制校准的光辐射;

检测器,检测由调制的准光辐射形成的图像;和

处理器,响应于检测到的图像的光强分布,形成具有指示目标与设 备间距离的光强值分布的图像,

其中,光源和检测器是轴线对准的,和

其中,对景物反射的校准光辐射进行调制的调制器不对光源直接指 向景物的光辐射进行调制。

根据本发明的优选实施方案,还提供了一种装置,用于生成指示距 景物目标距离的图像,包括:

辐射调制光源,具有第一调制功能,并将光辐射指向景物;

第一检测器,检测景物反射回来的经第二调制功能调制的光辐射, 并响应于检测到的调制光辐射,生成与到景物区域的距离相对应的信 号;

第二检测器,与第一检测器轴线对准,检测景物反射回来的未经第 二调制功能调制的光辐射,并响应于检测到的光辐射,生成与景物区 域反射回来的光强相对应的信号;

处理器,接收来自第一和第二检测器的信号并根据信号生成图像, 该图像具有指示目标与设备间的距离的光强值分布。

根据本发明的优选实施方案,还提供了一种指引机器人的系统,包 括一个能够生成指示距景物目标距离的图像的装置,如上所述,和一 个机器人,它利用导引装置指示的距目标的距离,按照景物中的目标 行动。

根据本发明的另一个优选实施方案,还提供了一种判定工件尺寸的 系统,包括一个生成工件图像的装置,用以指示距工件区域的距离, 和一个利用图像和指示距离来判定工件尺寸的计算机。优选地,计算 机比较工件尺寸和标准尺寸。另外,计算机还根据确定的尺寸来确定 工件的体积。

根据本发明的另一个优选实施方案,还提供了生成工件三维模型的 系统,它包括判定工件尺寸的系统,如上所述,以及快速建模装置, 该装置接收尺寸判定系统确定的尺寸,并根据尺寸生成三维模型。优 选地是,快速建模装置从产生工件图像的装置接收图像信息的图象信 息,更加优选地是包括颜色信息,并将图像信息施加到三维模型的表 面。

根据本发明的优选实施方案,还提供了一种车辆导引系统,它包括 产生图像的装置,该图像指示出与沿着其运动方向、在其前方的景物 中的目标之间的距离,如上所述,以及一个处理器,该处理器利用图 像和示出的距离来识别景物中的危险。

根据本发明的优选实施方案,还提供了内窥镜成象系统,它包括具 有用于插入目标体内的远端和用于连接光学装置的近端的内窥镜,和 生成图像的装置,如上所述,该装置与内窥镜的近端相连,以便导引 光辐射通过内窥镜进入体内,并检测那里反射的光辐射。

根据本发明的优选实施方案,还提供了产生景物触知(tactile) 图像的系统,它包括产生包含景物中的多个目标点距离信息在内的景 物图像的测距摄像机,如上所述,和与目标体表面相接触的触知探头 的可寻址矩阵,每个探头根据与景物中的多个目标点中的各个目标点 间的距离向表面施加一定的压力。

根据本发明的优选实施方案,还提供了调制电子流的微通道阵列装 置,包括:

微通道板,利用它可以对电子进行加速;和

数个邻近微通道板的可切换电极,每个电极在板的相应位置上调制 电子的加速度。

优选地是,微通道阵列包括光电阴极,它接收经微通道板加速的电 子并产生响应电子的光子,其中电极包括在光电阴极上的导电透光 材料。

根据本发明的优选实施方案,还提供了生成景物图像的摄像机系 统,包括:

光电阳极,它响应由景物入射到其上的光辐射、产生电子流;

微通道阵列装置,如上所述,它响应电子流、调制和产生光子;和

检测器,接收光子并产生相应的景物图像。

根据本发明的优选实施方案,还提供了一种产生指示景物目标距离 的图像的方法,包括:

根据第一调制功能调制辐射光源射出的光辐射,并将辐射指向景 物;

根据第二调制功能调制景物反射回的光辐射;

检测反射光辐射、并响应于检测到的光辐射而产生与距景物区域的 距离相对应的信号;

形成具有亮度值分布的、指示景物目标距离的图像;和

响应于图像的亮度值分布,改变第一和第二调制功能中的至少一 个。

此外,根据本发明的优选实施方案,还提供了一种产生指示景物目 标距离的图像的方法,包括:

根据第一调制功能调制辐射光源射出的光辐射,并将光辐射指向景 物;

在景物中界定数个平行空间部分,每个部分都具有距离边界;

检测每个平行空间部分反射回的光辐射、并响应于检测到的光辐射 产生对应于景物区域距离的信号;

形成具有亮度值分布的、指示景物目标距离的图像,

其中,对数个空间部分的界定包括对数个部分中的每一个的距离边 界的界定,和

其中,数个空间部分中至少有一个的距离边界与至少一个其它的空 间部分的距离边界不同。

根据本发明的优选实施方案,还提供了一种生成指示景物目标距离 的扩展图像的方法,包括:

根据上述的方法,生成景物的第一幅图像;

相对于景物,横向扫描空间部分;

以生成第一幅图像相同的方式生成第二幅图像;和

配准并合并第一幅图像和第二幅图像,产生扩展图像。

根据本发明的优选实施方案,还提供了一种生成包括叠加在独立获 得的背景图像上的感兴趣目标在内的复合图像的方法,包括:

生成第一幅包括感兴趣目标在内的景物图像,第一幅图像指示出景 物目标距离;

判定由第一幅图像指示出的、距目标的距离;

界定包括距至少一个目标的距离在内的距离范围;

从第一幅图像中去除距离范围之外的目标,从而形成滤波图像;和

把滤波图像叠加在背景图像上。

根据本发明的优选实施方案,还提供了一种生成景物复合图像的方 法,包括插入到复合图像预定区域的预定的嵌入图像,方法包括:

在景物中标识区域;

生成包括标识区域在内的第一幅图像,第一幅图像指示出景物目标 距离;

判定第一幅图像中的区域边界的位置和到区域的距离,如第一幅图 像所示;

根据到区域的距离,调节嵌入图像的比例使之配合区域边界;和

把调节后的嵌入图像叠加到第一幅图像中的区域,形成复合图像。

优选地是,该方法还包括:在第一幅图像中识别感兴趣目标,其中 距感兴趣目标的距离小于距区域的距离;对第一幅图像进行滤波,以 便形成感兴趣目标的滤波图像;把感兴趣目标的滤波图像叠加到区域 内的嵌入图像上。

通过下述的优选实施方案详述,并结合附图将更加全面地理解本发 明。

附图简述

图1是根据本发明优选实施方案的光学测距摄象机简图;

图2A是根据本发明优选实施方案的远心光学测距摄象机简图;

图2B是根据本发明的替换优选实施方案的远心光学测距摄象机简 图;

图2C是根据本发明优选实施方案的包括两个检测器阵列的另一种 光学测距摄象机简图;

图3是根据本发明优选实施方案,显示出示例了与图1或图2B的 摄象机一起使用的调制方案的波形简图;

图4是根据本发明优选实施方案,由测距摄象机成象的景物简图;

图5是根据本发明优选实施方案,通过将图3所示的波形施加到图 1或图2B中的摄像机而获得的距离相关图像滤波函数的简图;

图6A是根据本发明的另一个优选实施方案,示例了与图1或图2B 中的摄像机一起使用的、替代调制方案的波形的简图;

图6B是通过将图6A所示的波形施加到图1或图2B中的摄像机而 获得的距离相关图像滤波函数的简图;

图7是根据本发明的优选实施方案,自适应光学测距摄像机系统的 简图;

图8A是根据本发明的优选实施方案,生成复合视频图像的光学测 距摄像机系统的简图;

图8B是图8A的系统生成的视频图像的简图;

图9是根据本发明的另一个优选实施方案,生成复合视频图像的光 学测距摄像机系统的简图;

图10是根据本发明的优选实施方案,光学测距线成像摄像机的简 图;

图11是根据本发明的优选实施方案,优选地在图10的摄像机中使 用的、光阀阵列的剖面简图;

图12A是根据本发明的优选实施方案,示例了与图10中的摄像机 一起使用的、调制方案的波形的简图;

图12B是根据本发明的优选实施方案,通过将图11A所示的波形 施加到图10中的摄像机而获得的距离相关图像滤波函数序列的简图;

图13是根据本发明的优选实施方案,利用图10的线成像摄像机的 地形成像系统简图;

图14是根据本发明的另一个优选实施方案,利用图10的线成像摄 像机的图像扫描系统简图;

图15是根据本发明的另一个优选实施方案,光学测距线成像摄像 机的简图;

图16是根据本发明的优选实施方案,与图10的线成像摄像机中的 检测器阵列一起使用的、彩色带状滤波器的简图;

图17A是根据本发明的另一个优选实施方案,彩色测距摄像机的 简图;

图17B是根据本发明的优选实施方案,在图17A的摄像机中用来 产生多距离窗口的检测器的部分简图;

优选实施方案详述

现参照图1,该图根据本发明的优选实施方案示例了光学测距摄像 机20,如在此引用作为参考的、上面提到的第二个PCT申请所述。 摄像机20包括检测器阵列22,优选地是CCD阵列,例如Eastman Kodak,Rochester,New York制造的KAF 0400 CCD阵列,EG&G Reticon,Sunnyvale,California制造的HS 0512J CCD阵列。CCD22 产生的信号由视频处理器24处理,该处理器优选地产生由摄像机成象 的景物26的三维数字图像,或维视频图像,它指示出感兴趣目标的距 离,下面将详细讨论。

摄像机20还包括光学组件28,它对从景物26接收到的光线进行 调制。组件28包括入射光圈30、汇聚透镜32、光调制器34、聚焦 透镜36和出射光圈38。优选地是,光圈30和汇聚透镜32构成远心 光学系统,由此,透镜32将从景物26接收到的光线瞄准调制器34。 光调制器34优选地包括电光调制器,例如KDP晶体或本领域众知的 其它适宜材料,另外还可以包括本领域众知的其它类型的光调制器, 例如声光调制器、液晶光阀或高速机械光阀。应当清除的是,为了简 化说明,这里只是简略地示出了组件28,实际上摄像机20包括额外 的透镜和/或其它本领域众知的光学元件。

摄像机20还包括光源40,优选地包括大功率激光二极管,例如 Opto Power Corporation,City of Industry,California制造的OPC- 1003-813激光二极管,和本领域众知的适用光学元件,以便利用激 光二极管产生基本均匀的景物照明。另外,光源40可以包括任何其它 类型的激光器或非相干光源,例如频闪灯。驱动电路42为光源40提 供输入功率。光调制器44,可以是与调制器34相同的类型,与光源 40共同调制对景物26的照明。另外,驱动电路42还向光源提供经适 当调制的输入功率,以便在不需要额外调制器44的条件下对景物照明 进行调制。

控制器46通过控制调制器44和/或电路42来调节对景物26的照 明调制,以及通过控制调制器34来调制由景物反射回来的、入射到阵 列22上的光辐射。优选地是,控制器46与视频处理器24通信,这样 可以自适应地调制照明和反射光辐射,下面将详细描述。

图2A展示了本发明的替代优选实施方案,包括远心光学测距摄像 机50,如在此引用作为参考的第二PCT申请所述。摄像机50包括检 测器阵列22、光学组件28和光源40。摄像机50通常与摄像机20相 似,但是其主要差别是在于在摄像机50中公共调制器52对光源40射 出的照明光和从景物26反射回到阵列22上的光辐射均进行调制。优 选地,调制器52包括KDP晶体,或者任何其它适宜类型的调制器, 如上所述。光源40射出的照明光经投射透镜54准直后,通过合束器 58平行对准光轴56。

调制器52可以用来向照明光和反射光辐射提供公共调制波形。然 而在本发明的优选实施方案中,调制器52由控制器46驱动提供多种 波形,优选地是提供给照明光的第一波形和提供给反射光辐射的第二 波形,下面将详细描述。

应当理解的是,当分别施加第一和第二波形时,通常调制器52将 不加区分地透射照明光和反射光辐射。优选地是,由此,视频处理器 24控制阵列22,以便使阵列只响应调制器52根据第二波形而透射的 光辐射并产生信号。这样,例如在阵列22包含CCD阵列的本发明优 选实施方案中,如上所述,视频处理器24优选地与第二波形同步地启 动阵列的电子光阀,如本领域所众知的。类似地,驱动电路42优选地 与第一波形同步地驱动光源40。

图2B展示了本发明的另一个优选实施方案,包括远心光学测距摄 像机59。摄像机59与示于图2A的摄像机50相似,只是摄像机59包 括对景物26的照明光进行调制的调制器44,该调制器与调制反射光 辐射的调制器52是独立的。这样,施加给摄像机20的调制波形将等 价地施加给远心摄像机59,并具有相似的结果,下面将详细描述。

图2C展示了本发明的另一个优选实施方案,包括具有两个检测器 阵列22和65的远心光学测距摄像机64。检测器阵列22接收景物26 反射回来的、并经过调制器52调制的光辐射,与图2B和上述的其它 优选实施方案中描述的检测器阵列基本类似。然而,阵列65接收景物 26反射回来的、在景物反射后未经调制的光辐射。利用分束器66,阵 列65与阵列22平行对准。由此,成象透镜67和出射光圈68在阵列 65上形成了景物26的非调制图像,该图像优选地基本上与形成在阵列 22上的(调制)图像配准

如在上面的摄像机59中提到的,施加给摄像机20的调制波形将等 价地施加给远心摄像机64,对于阵列22接收的图像具有相似的结果。 下面还将描述阵列65接收的非调制图像的用途。

尽管图1、2A、2B和2C所示的优选实施方案包括远心成象单 元,应当理解的是本发明的原理可以类似地用来制作非远心光学测距 摄像机,如上述的第一PCT申请所显示和描述的。

图3简略地示例了用于驱动图1所示的调制器44和34以便分别调 制景物26的照明光和其反射光辐射的波形60和62。优选地波形均为 所示的矩形脉冲。当每个波形处于高值时,各自的调制器允许光线通 过。当每个波形处于低值时,调制器阻断光线。优选地是,波形60和 62保持使各自的调制器导通的高值的持续周期为T,其中调制器34 的导通时间相对于调制器44滞后时间τ。

尽管图3的波形是矩形脉冲,还可以使用其它的波形,下面将描述 这样的例子。应当理解的是图3的脉冲形状仅仅是为了说明的简化而 理想化的,但是为实现本发明,这样的理想化脉冲形状并不是必需的。

图4是利用图1所示的摄像机20对景物70进行成象的简图,其中 摄像机受图3所示的波形控制。景物70包含数个目标,包括第一目标 72、第二目标74和第三目标76,距摄像机20的距离分别为D1、D2 和D3。当目标72、74和76由摄像机20内的光源40照明时,它们 通常向摄像机反射回光线,该光线经光学组件28汇聚并聚焦到检测器 阵列22上。假定调制器34和44工作在CW模式,即始终保持导通状 态,各个目标反射回的光线将在检测器阵列的一个或多个单元上产生 各自的、基本恒定的照射光,各个目标的图像聚焦在检测器阵列上。 照射光的亮度通常是、尤其是各个目标距摄像机的距离以及目标辐射 光谱的函数。响应于这些基本恒定的照射光,检测器阵列22的单元产 生各自的原始信号值S1、S2和S3。

然而,当调制器34和44由波形62和60驱动时,由于光源40射 出的光线到达各个目标并返回摄像机20所需的的传输时间不同,响应 于目标72、74和76反射的光线、由阵列22产生的信号与原始信号 不同。传输时间通常用ti=2Di/c表示,其中c是光速,下标i是指景物 70中的第i个目标。如图3所示,对T和τ的一种选择界定了一个距离 窗口78,分别由最小和最大距离Dmin和Dmax界定,其中Dmin=(τ -T)c/2,Dmax=(τ+T)c/2,除非τ<T,这种情况下Dmin=0。 当调制器34和44都如所示的方式工作时,来自窗口78外部的目标, 例如目标76的光将因为D3>Dmax而被调制器舍弃,因此阵列22将不 会产生响应于这种目标的具体信号。

此外,如图5所示,由阵列22响应于窗口78内部的目标,例如目 标72或74,而生成的信号Ii的强度与目标距摄像机的距离基本上呈 线性关系。分别响应于目标72和74的信号I1和I2通过下面的公式而 归一化:

Ii=Ii/Siτf(1) 其中Ii是第i个目标产生的非归一化信号,f是对阵列22进行采样而 使用的适宜的场频率或帧频率。

当保持调制器34和44瞬时开启时,利用检测器阵列22获得原始 信号值Si如上所述。另外,如图2C所示,摄像机64中的检测器阵列 65可以用于获取这些原始信号。对照射到阵列22上的光线进行调制, 如上所述,以便获得距离信息,而照射到阵列65上的光线基本上未进 行调制(除了对光源40进行调制的情况之外)。这样,可以同时获得 距离响应信号Ii和原始信号Si。

然而,在本发明的一些优选实施方案中,其中T和τ基本上小于场 或帧周期1/f,图3所示的波形可以在单场或单帧内顺序地重复多次。 这种情况下,非归一化信号通常将比例于单场或单帧内波形的重复次 数而增加,通常这种增加将提高摄像机捕获的图像的信噪比。如本领 域众知的,如果N是波形在单场内重复的次数,信噪比的提高通常在 N的均方根和N之间的范围内,这取决于噪声是源噪声为主还是电路 噪声为主。因为T和τ通常均小于1毫秒,波形可以优选地在持续时间 大约为16毫秒的单个视频场内重复1000次(或更多),使信噪比提 高因子为30或更高。

归一化信号对距摄像机20的距离的线性函数依赖关系是改变照明 波形60与反射光辐射调制波形62间的叠盖范围的结果,在对波形60 进行有效地延时2Di/c之后,该延时时间是由照明光源40射出的光线 到达各个目标后再返回摄像机所必需的。该函数在目标位于距离 Di=τc/2处时具有最大值,还具有比例于T的宽度(Dmax-Dmin)。 这样可以根据响应于目标而产生的归一化信号判定摄像机20距窗口 78内目标的距离。由窗口中心附近的目标72产生的归一化信号I1将大 于位于距摄像机更远处的目标74产生的信号I2。

尽管如上所述波形60和62具有相等的持续时间T,这些波形可 以分别具有不同的持续时间T60和T62。例如,可以延长T60或T62 以便产生更强的信号I1和I2。结果,然而,归一化信号对目标距离的 函数关系将不再是图5所示的三角形,而是梯形,这样窗口中心部分 的距离差异将无法区分。因此,在本发明的优选实施方案中,波形60 和62的持续时间是相同的。这种判定目标距离的方法还描述于上述 的、在此引用作为参考的PCT专利申请。如这些PCT专利申请所述, 其它调制波形可以类似地用于驱动调制器34和44,但是参照图3所 示的矩形脉冲波形,可以十分容易地解释归一化信号与目标距离的一 般依赖关系和在此描述的摄像机20的应用。

还应理解的是,尽管波形60和62显示为理想的矩形,但是在实际 应用中,光源提供的波形以及调制器34和44调制后的反射光辐射通 常将分别具有有限的上升时间和有限的下降时间,例如下图6A所示。 结果,响应函数的拐角将是圆滑的,而不是图5所示的锐角。然而, 在使用其它非理想波形时,可以同样地应用本发明的原理。

从上述讨论还应理解的是,窗口78的中心位置可以通过改变τ来 控制,窗口的宽度可以通过改变T来控制。优选地是,当在景物中识 别感兴趣目标时,或者自动地或者按照摄像机操作人的命令通过控制 器46自适应地控制τ,以便使感兴趣目标保持在窗口中心附近,在该 位置上目标产生的归一化信号将达到最大值。

此外,T优选地由控制器46控制,以便限制窗口78的宽度使其 只包括包含感兴趣目标在内的、一定的目标距离范围。如图5所示, 通过增加归一化信号与距离间的依赖关系的斜率,对T的限制可以用 来提高目标距离判定的精度,这样处于不同距离上的目标在归一化信 号上的差异将增大。通过从阵列22获得的图像中去除非感兴趣目标, 例如图4中的目标76,限制T还可以用于减少图像的“聚集”。

在本发明的一些优选实施方案中,τ和T受控制器46的控制以便 优化目标的动态范围和摄像机的距离检测。例如,当景物包含几个距 摄象机距离不同的感兴趣的目标时,τ和T可被控制以将窗口  的中 心移到距摄象机最远的目标处附近如本领域众知的,由目标反射回的 光线在阵列22上产生的辐照度通常按照摄像机距目标的距离的三次或 四次幂减少。由此,响应于最远处信号而产生的(非归一化)信号通 常将是最弱的信号,将窗口中心移到最远目标处将有助于使信号的动 态范围最大。类似地,如果一个目标的反射率低于另一个目标或所有 目标,可以把低反射率目标作为窗口中心以便增强信号的动态范围。

图6A是示例了替代优选实施方案的时序图,其中波形60用于调 制照明光,波形62用于调制反射光辐射,它们一般是比图3中的理想 矩形脉冲更接近于实际调制波形的梯形脉冲。此外,波形60的持续时 间T60基本上比波形62的持续时间T62长。

图6B简单地示例了当摄像机20根据图6A的波形工作时,从目标 72、74和76接收到的归一化信号强度Ii,如图4所示。距离小于Dmin 的目标的归一化信号基本上为零,如上所述。对于距离大于Dmid直到 Dmax的目标,例如在距离D3处的目标76,归一化信号基本上为一。 Dmid在很大程度上取决于T62以及波形60和62的上升时间。Dmax 在很大程度上取决于时间τ和T60之和。优选地是,Dmax大于摄像机 与景物中的、最远处的主要目标间的距离。另外,Dmax的选取应保 证Dmax>c/f,其中如前面所标注的,c是光速,f是摄像机20的场 或帧速率,这样所有距离大于Dmid的目标将产生基本上等于1的归一 化信号。

由此,在Dmin和Dmid之间的感兴趣距离范围内,归一化信号是 单调递增函数,据此,根据本发明的原理可以分别判定目标72和74 的距离D1和D2。优选地忽略距离范围之外的目标。通过调节T62可 以增加或减少该范围。应当理解的是,对于感兴趣距离范围内的目标, 归一化信号的每一个值对应唯一的目标,这与图5所示的函数不同, 其中位于0和1之间的归一化信号的确定值对应着两个不同的目标距 离。在图5所示的方案中,必需采用其它方法将这两个距离相互区分 开,例如对采样不同的距离窗口而获得的结果进行比较。

图7展示了本发明优选实施方案,其中摄像机20从景物70内的距 离窗口获取三维图像信息,其中窗口的中心距离及其宽度是自适应受 控的。优选地是,首先,调制器34和44工作于CW模式时,摄像机 20接收二维图像数据,如上所述。图形数据由图像分析仪80接收,该 仪器识别景物70内的目标并通过操作台82和视频显示器84向操作人 显示视频图像。图像分析仪80和操作台82优选地包括一台或多台用 于图像处理的数字计算机,如本领域所众知的。优选地通过使用跟踪 球、鼠标或其它本领域众知的定点输入装置,通过操作台82,向图像 分析仪80和/或独立的系统控制器86指示目标,操作人可以识别出景 物70中的至少一个目标,例如目标72。

一旦识别出感兴趣目标,系统控制器86拾取关于目标72的初始距 离范围读数。如图7所示,通过将本领域众知的距离测距仪88,例如 激光距离测距仪,瞄准目标72并接收距离范围读数来获取这种初始距 离范围读数。系统控制器86利用初始距离范围读数判定τ和T的适宜 值,以便产生预期的距离窗口,优选地是以目标72的距离为中心。

在本发明的另一个优选实施方案中,不必使用距离测距仪88,系 统控制器86就可以获取初始距离范围读数。优选地,利用控制器46 控制调制器34和44,以便通过使用较大的T值,产生以目标72的估 计距离为中心的宽窗口口。如果估计目标72的距离不是很方便,τ值 可以在一定的范围内扫描以便在不同的距离上产生多个窗口口,直到 找到初始距离范围为止。此后,优选地降低T值,以便使窗口口更加 接近于包括目标72和任何其它感兴趣目标在内的距离范围,这样能够 以优化的精度和减少的图像干扰判定这些目标的距离,如上所述。

尽管在上述的优选实施方案中,通过操作人以交互方式初始识别感 兴趣目标,而在本发明的其它优选实施方案中,图像分析仪80根据程 序化的图像特征可以自动地识别感兴趣目标。例如,采用图像分析方 法和/或本领域众知的自动目标识别方法,可以对图像分析仪进行编程 使其可以识别出车辆、人或建筑物。这些识别标记传递给系统控制器 86,系统控制器控制距离测距仪88和/或摄像机20跟踪并判定到识别 目标的距离。

然而,至少识别一个感兴趣目标,并获得其初始距离范围,此后图 像分析仪80优选地继续跟踪目标及其距摄像机20的距离。系统控制 器86自适应地调节τ和T,以便使窗口口78处于预定的宽度,并基本 上以目标为中心。

图8A和8B简略地示例了本发明的优选实施方案,其中摄像机20 与本领域众知的图像处理器90一起使用,以便生成预期的复合图像。

复合图像通常用于娱乐业,例如新闻广播,人为地将感兴趣目标, 通常是利用视频摄像机其图象的人物,插入到独立获取的背景的前 面。人物或其它感兴趣目标的图像背景通常必需是已知的,具有特定 颜色的,通常为蓝色。在获得人物或其它感兴趣目标的图像之后,进 行色调-键控,即识别出图像中的具有特定颜色的所有象素,然后独 立获得的背景图像逐象素地替换色彩-标识象素。这种色调键控方法 要求人物或其它感兴趣目标后面的预定颜色背景是固定的,以及人物 或其它感兴趣目标基本上不包括任何预定的色彩。

然而,如图8A所示,摄像机20可以有选择地获取窗口口96内的 人物92和94的图像,而把距离较远的建筑物98排除在获得的图像之 外。优选地是,调节τ和T使得阵列22产生的、响应于人物92和94 的图像的归一化信号基本相等,人物94距摄像机20的距离远于人物 92。这种归一化信号的等值有助于更加精确地判断人物94的距离,还 有助于产生更加宜于观看的图像,这是因为更加清楚地重建了人物92 和94。

如图8B所示,图像处理器90从摄像机20接收独立获得的图像, 并把它与背景100复合,从而在显示器102上产生所需的、合并视频 图像,或者,类似地,记录和/或传输这种合并视频图像。不需要固定 的背景或色调-键控。背景100可以是真实的、独立获取的图像,或 者是合成的计算机生成图像,或者是真实图像和人造图像的结合体。

图9简略地示例了另一个本发明的优选实施方案,其中摄像机20 和图像处理器90与广告板104一起用来产生复合图像,其中所需的图 片,例如广告信息,人工地放置在广告板上的图像中。这种优选实施 方案优选地用在国际体育广播中,例如在不同的国家中产生针对特定 听众的广告。

由此,如图所示,摄像机20捕获包括目标106和广告板104在内 的图像,并分别判定距目标和广告板的距离,如上所述。另外,图像 处理器90还利用本领域众知的图像分析方法,识别出广告板104的边 界并判定广告板相对于摄像机20的位置和方向。边界108优选地包括 易识别特征,例如反射带,红外反射材料带或红外LED行或者其它灯 组成的行。另外,广告板104可以是色调-键控的,以便于图像处理 器90精确地判定位置和方向。然后,在对图像或消息的大小和视角进 行适当地调节之后,图像处理器把所需的图像或消息插入从摄像机20 接收到的图像中的广告板104中。目标106的图像叠加在广告板中的 图像或消息上。

图10是根据本发明另一个优选实施方案的测距、线成象摄像机110 的简略表示图。摄像机110的使用方式可以类似与本领域众知的线性 阵列成象装置,例如线阵列CCD摄像机和扫描仪。这种装置通常产生 目标或景物的窄线部分图像(无景深信息)。装置的视场光学地或机 械地在目标或景物上扫描,并把多个产生的图像合并成单个二维图 像。正如下面所述,优选地是,视场扫描、线成象摄像机110扫描目 标或图像,以便生成包括三维信息在内的图像。

如图10所示,摄像机110包括检测器阵列112,优选地是与摄像 机20中的阵列22相似的CCD阵列。阵列112包括数个检测单元的平 行行114。视频处理器116为阵列112提供驱动信号,并从那里接收 图像响应视频信号。类似于摄像机20,线成象摄像机110显示为对景 物26进行成象,景物由驱动电路42通过调制器44驱动的光源40照 明。

摄像机110中的光学组件118包括汇聚透镜120、线光阀阵列122 和成象透镜124。光阀阵列122包括数个长而窄的光阀单元130、 132、134、…136,并优选地安装在基本上与检测器阵列112所在的 平面平行的平面上,单元130-136的指向基本平行于行114。控制 器126利用集成切换网络128控制线光阀阵列122,该网络优选地在 控制器126的控制下以预定的顺序开启各个光阀单元130-136。另 外,控制器126还控制驱动电路42和调制器44,如上面参照摄像机 20中的控制器46所描述的,并控制和接收来自视频处理器116的数 据。

优选地是,光阀阵列122是液晶光阀阵列,或者是门选通微通道单 元阵列,或者是电光或声光调制单元阵列。

例如,图11示例了本发明的优选实施方案,其中光阀阵列1 22包 括门选通微通道单元阵列,以部分剖面图的形式显示。阵列122包括 镀在第一玻璃板138上的光阳极板137、微通道板139、和镀在第二 玻璃板145上的光阴极板143,集成切换网络128叠加在光阴极板上。 光阳极137和光阴极143可以包括任何本领域众知的适宜材料,例如 磷光体。切换网络128优选地包括数个导电、透光电极,例如镀在光 阴极143表面上的ITO条(铟化物)。应当理解的是,尽管为了 示例的清楚,图中所示的玻璃板138和145以及微通道板139都是分 离的,而在实际应用中,这些单元通常是紧压在一起的,位于一个真 空模中,如本领域所众知的。

微通道板139优选地与本领域众知的传统微通道板类似,其差别在 于组成光阀单元130、132、134、…136的、板内的不同微通道组在 相应电极的控制下可以独立地切换或选通。电极通过网络128独立地、 可切换地与负高压源相连,优选地是在-200VDC左右,这是本领域 众知的。

光阀阵列1 22的操作,如图11所示,将通过下例得到理解。打在 光阳极137上的电子在微通道板139的附近产生光电子。当对应于单 元130的一个电极147与负高压相连时,在单元130附近区域产生的 光电子通过由单元130组成的板139中的微通道而得到加速,在微通 道中还会产生二次电子,如本领域众知的。然后,这些电子通过电极 147,打到光阴极143上,由此,在单元130附近的阴极区域产生光子。 假定其余的电极141未与负高压相连,这种过程将基本上不会在任何 一个其它单元132、134、…136上发生。由此,光阀单元130充分地 开启,而其余光阀单元充分地闭合。光阀单元132、134、…136优选 地以类似的顺序、随着单元130而顺序地开启。

汇聚透镜120把景物26反射回的光线映射在光阀阵列122上,该 阵列以下述的方式调制光线。然后,成象透镜124把来自光阀阵列的 调制光线聚焦在检测器阵列112上。优选地是,光学组件118是这样 构造和对准的,即光阀阵列122中的每个单元130-136成象在检测 器阵列112的一行114上,或者成象在相邻行组114上,这取决于单 元130-136相对于行114的数目和尺寸。尽管在图10中,成象透镜 124以近似于单位放大的比例将光阀阵列122映射到检测器阵列112 上,应当理解的是通过适当地选择和对准成象透镜124可以选取任何 适宜的放大比例,这取决于光阀阵列122、检测器阵列112与它们各 自的单元130-136和行114的相对尺寸。此外,如果光阀阵列122 和光阀单元130-136的尺寸可以小得与检测器阵列112和行114的 尺寸相匹配,光阀阵列122可以直接安置在检测器阵列112附近,并 直接接触与其耦合,这样,就不必插入成象透镜124,简化了光学组 件118。

图12A是时序图,根据本发明的优选实施方案,它简略地示例了 施加给摄像机110中的调制器44和光阀阵列122的切换和调制脉冲 140。调制器44和光阀单元122在持续时间为T的矩形脉冲波形的作 用下初始开启,允许光线从中通过。当调制器44和单元130关闭时, 基本上相同的调制波形施加给单元132。当单元132关闭时,单元134 开启,沿着阵列122以这样的顺序进行下去直到最后一个单元136开 启。如上所述,当每个光阀单元130-136开启时,检测器阵列112 的相应行114或行组就暴露在景物26反射回的光线之下。

如图12B所示,示于图12A的调制图案140产生一系列连续的、 相互叠盖的、由光阀单元130-136限定的距离窗口142。检测器阵 列112的每一行114或行组只接收景物26中的、位于由相应光阀单元 130-136定义的窗口口内部的目标反射回的光线。如上面参照图3、 4和5或者6A和6B所描述的,可以确定窗口口142的宽度和各自的 中心距离,以及归一化信号强度。距离窗口142间的相互叠盖可以用 来解决距离模糊的问题,例如根据图5的方案,当感兴趣目标只包含 在单一距离窗口内时,就能遇到上述问题。

应当理解的是,调制图案140和最后的窗口口142是以示例的方式 显示在这里的,利用可以类似地使用任何适宜的调制图案。例如,施 加到调制器44上的调制波形可以类似于图6A所示的、并参照图形进 行了描述的波形60。施加到光阀单元130-136的波形可以类似于图 6A所示的波形62,并相应地按照图12A所示的方式使用。在这种情 况下,可以定义一系列相互叠盖的距离窗口,类似于图6B所示的距离 窗口。

此外,应当理解的是施加给连续光阀单元的调制脉冲在时间上可以 是叠盖的,这样相应的距离窗口与它们各自的相邻窗口具有更大的叠 盖。另外,可以在调制脉冲间引入一定的延时,以便使距离窗口分离 开。此外,施加给连续光阀单元130-136的波形不必都具有相同的 持续时间,但是,例如其持续时间可以沿着阵列、从一个单元到另一 个单元地逐渐增加,这样在距摄像机110较远的距离上,距离窗口较 宽。

应当理解的是,线成象摄像机110捕获的各帧图像包括图像段阵 列。各个图像段基本上与其相邻段横向接触,捕获不同距离窗口内的 目标。由此,在两个图像段边界上的目标通常在两个图像段内具有不 同的归一化亮度值,或者是在两个图像段中的一个上出现,而在另一 个上不出现。由此,在本发明的优选实施方案中,如通过与传统的、 本领域众知的线阵列成象装置相比较而在前面提到的,图像段光学或 机械地扫描过景物,这样至少在一图像段中可以捕获到景物中的感兴 趣目标,该图像段具有包含感兴趣目标的距离窗口。

图13简略地示例了在用于三维勘测成象的机载系统146中线成象 摄像机110的使用。系统146包括摄像机110,它安装得相对于飞机 148是下视的,其指向应保证光阀单元130-136的长度方向与飞机的 航向基本垂直。摄像机110捕获景物150的图像,它通常包括建筑物 152和154、植物156和地形特征158。

如图13所示,阵列122中的各个光阀单元130、132、134、…136 定义了各自的图像段160、162、164、…166。优选地,图像段具有 基本相同的角宽度、或图像段厚度,由阵列122中的光阀单元的高度 定义,还具有景深基本相同的距离窗口,例如,如图12B所示。为了 示例的清晰,图13只包括了少量的图像段,尽管在实际应用中可以使 用任意数目的图像段,直至达到阵列122中的行114的数目。

当飞机148飞过景物150时,图像段160-166以“推-扫” (“push-broom”)模式扫描过景物,这样各个图像段将逐行地捕获 位于各个距离窗口内部的景物目标的、完整的二维图像。对于位于任 意图像段窗口口内的目标距摄像机110的距离,例如图像段166中的 建筑152,可以利用其归一化信号强度而精确地确定,如上所述。如 果需要,可以自适应地调节距离窗口以便适应景物中的高度变化,例 如地形特征158的坡度。优选地是,飞机148的高度和对地速度是已 知的、可控制的,更优选地是恒定的,这样从摄像机110接收线图形 的图像处理器170可以把线图形和距离信息一起组合成景物150的完 整三维图像。

更优选地是,检测器阵列112的扫描速率与对地速度同步,这样, 例如在摄像机110捕获的一场或一帧中的图像段160所捕获的景物面 积由后续场或帧中的图像段162捕获。由此,视频处理器194和辅助 图像采集系统可以方便而精确地对准多个图像段和相应的景深窗口 口。

在本发明的一些优选实施方案中,摄像机110获取的线图像和距离 信息用在三维照相测量法中,以便判定图像特征的横向尺寸和高度, 例如建筑物152和154,和地形特征158。这些尺寸和高度可以用在 精确的地形图和大地勘测中。类似地,它们可以用来计算特征的体积, 例如建筑物152,通常很难从传统的照片和视频图像推导出。

应当理解的是,尽管图13显示了安装在飞机148上的摄像机110, 还可以描述其它类似的本发明优选实施方案,其中摄像机安装在其它 形式的机载平台上,或者在太空或海洋平台上。例如,摄像机可以安 装在海面船只或海下船只上以便测量水下或海底特征。

图14简略地显示了本发明的替代优选实施方案,其中摄像机110 以固定的方式安装,并产生景物172的多个包括目标174、176和178 的距离信息在内的线图像段160-166。安装在转轴182上的反射镜 180在景物172上扫描线图像,这样类似于参照图13而在上面描述的 方式,图像处理器170可以获取景物的完整三维图像。优选地,转轴 182由检流计、多边形扫描仪或本领域众知的其它装置转动。

图15仍显示了本发明的另一个优选实施方案,其中线成象摄像机 190可以快速地获取景物26的三维图像。摄像机190包括含有多个行 193的检测器阵列192,优选地是CCD阵列,类似于摄像机110中的 阵列112,和与阵列192耦合的、类似于视频处理器116的视频处理 器194。

如上面优选实施方案所述,驱动电路42驱动光源40为景物26照 明,而调制器44根据所需的调制波形交替地开启和关闭照明光束196 的通路。柱形透镜198聚焦光束196,以便在景物26上产生狭窄的线 照明200,其中照明线200的长轴垂直于图15的平面并且基本上平行 于阵列192中的行193。扫描达204,例如本领域众知的检流计装 置,转动扫描反射镜202,使照明线200垂直地扫描过景物26。例如, 利用由伺服马达适当地转动的多边形反射镜也可以类似地实现这种扫 描。

景物26反射回的光线经过光学组件210的汇聚和扫描,最后聚焦 在阵列192上。组件210包括入射光圈212、汇聚透镜214、光调制 器216、聚焦透镜218和出射光圈220。调制器216优选地包括声光 晶体,它在控制器222的驱动下使从景物26接收到的图像光束224发 生偏转,以便使光束垂直地扫描过阵列192。应当理解的是图像光束 224包括与照明线200相似的窄线反射光。

控制器222还控制和接收来自视频处理器194的图像数据,如参照 图10示出的控制器126所作的描述,并控制驱动器42、调制器44和 检流计204。

优选地是,当照明光束196垂直扫描过景物26时,调制器44反复 地开启、闭合,这样照明线200可以照明水平段序列。对于每个这样 的段,调制器216优选地使图像光束224顺序地扫描过阵列192中的 所有行193,从最顶端的行开始,到最低端的行结束。由此,图像光 束224以基本相同的驻留时间顺序地驻留在各个类193上,该驻留时 间在功能上等于图3和12A所示的调制波形的持续时间T。类似地, 如图12A所示,光束224到达各个行193的时间相对于照明光束196 有一定的延时,该延时基本上等于在阵列的前一行上的累计驻留时 间。

应当理解的是,对于由照明线200在调制器44开启时所处的位置 界定的、景物26的每个段,摄像机190形成包括距离信息在内的、景 物的线图像。段内的距离信息被捕获在连续的距离窗口内,每个窗口 对应于阵列192的不同行193。当马达204和反射镜202使光束196 扫描过全部景物26时,摄像机190形成全部景物的完整三维图像。

在本发明的优选实施方案中,摄像机190以推扫模式扫描景物,例 如通过把摄像机固定在飞机148上,以替换图13中所示的摄像机110, 或者把摄像机固定在一些其它适宜类型的平台上。在这种情况下,不 需要马达204,因为照明线200可以随着飞机的移动对景物进行扫描。 然而,因为在摄像机190的单场或帧中获取的所有距离窗口处于同一 图像段内(与摄像机110不同),可以简化把摄像机产生的各个线图 像记录到复合三维图像中的过程。反射镜202优选地可以用光束混合 器替换,例如图2所示的光束混合器58,这样可以对准光束混合器196 和和反射光束224。

上述的本发明优选实施方案通常可以用来产生单色或彩色图像。利 用可见光、红外光或紫外光照明感兴趣目标,采用适当的光学装置、 调制器和检测器控制和接收光辐射,就可以产生单色图像。

此外,本发明的原理可以通过使用其它类型的光辐射来类似地产生 三维图像。例如,利用声学传感器和/或辐射器阵列,例如本领域众知 的麦克或压电晶体,可以产生声学图像,例如声纳或声波图像, 并且根据本发明可以判断图像中目标的景深信息。对于海下声学成 象,可以优选地使用本领域众知的声学透镜,代替图1和2A-C中的 光学透镜32和36。

图16示例了根据本发明的优选实施方案,为了在摄像机110中产 生彩色图像而对检测器阵列112做的修改。阵列112上覆盖了彩色条 形滤波器230,包括多个条形232,每个条形基本上覆盖阵列112的 单个、独立列,且垂直于行114。条形232交替地透过各种颜色的光 线,优选的顺序是红、绿、蓝、绿、红、绿、等等,如本领域众知的。 由此,阵列112中的行114中的相邻的象素交替地暴露在红、绿或蓝 光之下(优选地是,照明光源40产生的光线是白光)。来自邻近象素 的信号优选地合并在一起产生局部亮度和色调信息。

由此,摄像机110产生的多个线图像中的每一个通常除亮度信息和 景深信息之外,还包括彩色信息。然后,例如,如参照图13或图14 所作的描述,优选地对这些彩色线图像进行扫描和合并,最后产生三 维彩色图像。

类似地,图1的摄像机20中的、或者图2A的摄像机50中的、或 者图2B的摄像机59中的检测器阵列22可以包括图16所示的彩色条 形滤波器或者本领域众知的彩色镶嵌滤光镜。另外,具有适当的分色 镜的三个CCD检测器阵列,例如本领域众知的二向色棱镜组件,可以 用来替换摄像机20、摄像机50、摄像机59或下述的摄像机240中的 阵列22,以便产生RGBD(红-绿-蓝-景深)图像,即包括景深信 息的彩色图像。

此外,在本发明的优选实施方案中,任何上述的光学测距摄像机产 生产生的三维图像信息融合在一起,并用来增强摄像机获取的二维亮 度图像。类似地,二维亮度图像可以用来锐化或增强三维图像。应当 理解的是二维和三维图像本质上是相互对应的,因为它们都来自同一 检测器阵列。由此,例如,利用本领域众知的图像滤波法,可以把二 维和三维图像中的图像信息合并在一起,以便锐化或平滑图像中的边 缘,和/或校正邻近该边缘的图像颜色。

图17A简略地示例了针对象素的测距摄像机240,根据本发明的 另一个优选实施方案。摄像机240包括检测器矩阵阵列241,它包括 数个与图10所示的、摄像机110中的阵列112类似的检测器单元242。 摄像机240还包括光学组件243,它包括液晶光阀阵列244,以及透 镜120和124,与摄像机110中的一样。示于图17A的、摄像机240 的其它元件在结构和功能上基本上与摄像机110中的类似。

光阀阵列244包括数个光阀单元246。适当地对准组件243,并把 它安置在检测器阵列142附近,这样每个光阀单元246将分别调制由 景物26反射的、到达阵列241中的每个检测器单元242或相邻检测器 单元组的光线。光阀阵列244受控制器126控制,这样不同的光阀单 元246可以在相同或不同的时刻开启和关闭。由此,每个检测器单元 242或单元组具有其各自的距离窗口,这取决于对相应的光阀单元所作 的调制。

光阀阵列244可以优选地工作在自适应状态,这样,每个距离窗口 可以跟踪景物26中的点目标距离,其图像由各自的检测器单元242或 单元组获取。可以调节每个这样的距离窗口使其包含和产生点目标距 离的精确读数,同时降低图像的干扰。

如图17B所示,在使用摄像机240的本发明优选实施方案中,阵 列241中的相邻检测器单元242组组织在一起,以“超象素”250的 形式共同工作。每个这样的超象素可以包括,例如,3×3的九象素 组,景物26反射回的光线通过光学组件243,基本上沿着公共轴成象 在超象素上。光阀阵列244的工作方式如下,超象素250中的每九个 单元沿着公共轴接收来自不同距离窗口的光线。在图17B中,这些窗 口编号为W1到W9,并且对应于光阀单元246以及顺序开启和闭合 的九个检测器单元,根据图12A所示的调制波形。

以这种方式,在摄像机240的单场或帧内可以以期望的距离分辨 率,获得包括景深信息在内的、景物的完整图像,尽管牺牲了横向分 辨率。任何期望尺寸的超象素,例如,1×2象素、2×2象素或4 ×4象素,可以用来实现景物目标距离的最佳收敛。

在本发明的一些优选实施方案中,上述的测距摄像机,例如摄像机 20,安装或者连接在机器人上,该机器人在预定的任务,利用摄像机 提供的三维图像信息导引其行动。

在本发明的其它优选实施方案中,摄像机20、50或110用于制造 过程的质量保障或质量控制,例如,判定生产工件的多种尺寸以及确 认尺寸是否符合标准。类似地,通过测量体材料的外轮廓,可以确定 材料的体积。存储在容器中的物品的体积可以以类似的方法判定,容 器的尺寸也是已知的或者可以利用摄像机进行测量。

在本发明的其它优选实施方案中,摄像机20、50或110用在模块 扫描仪中,以便获取感兴趣目标的三维图像。优选地是,图像是彩色 图像。在一个这样的实施方案中,这些三维图像与本领域众知的、用 于快速三维原型建模的系统一起用来重建包括颜色重建在内的、感兴 趣目标的一个或多个三维副本或模型。

在本发明的其它优选实施方案中,例如,摄像机20安装在汽车上, 用于避撞系统。优选地是,摄像机20作为图像分析系统的一部分,该 系统识别出可能的危险物体,并利用摄像机的输出信息判定车辆距危 险物体的距离。

在本发明的其它优选实施方案中,上述的测距摄像机,例如摄像机 20或50,与内窥镜一起使用,以便获取患者体内的感兴趣区域的三维 图像。

在本发明的其它优选实施方案中,摄像机20或摄像机50与供盲人 使用的传感器矩阵相连。传感器矩阵包括多个可以压靠在盲人皮肤上 的探针,例如他或她的前额上,其中各个探针施加到皮肤上的压力比 例于由摄像机获取的、景物中相应点上的目标与人之间的距离。优选 地是,盲人控制摄像机的距离窗口,这样,探针施加的压力范围对应 于预期的、与人之间的距离范围。

应当理解的是上述的优选实施方案是以示例的方式说明的,发明的 全部范围只受权利要求的限制。

权利要求书

按照条约第19条的修改

1.一种生成指示距景物目标的距离的图像的装置,包括:

调制辐射光源,具有第一调制功能并将光辐射导向景物,这样光源 射出的部分光辐射由景物中的点目标反射,并到达装置;

检测器,检测景物反射回的、经过第二调制功能调制的光辐射,并 且根据部分反射光辐射产生信号,这一部分反射光辐射与特定的信号 有关、且决定于景物点目标与装置间的距离;

处理器,接收来自检测器的信号,并依据此信号形成能够指示摄像 机与目标间距离的、具有亮度值分布的图像;

控制器,根据处理器形成的图像的亮度值分布调节第一和第二调制 功能中的至少一个。

2.根据权利要求1的装置,其中第二调制功能相对于第一调制功能 在时间上有一定的延时,控制器调节延时。

3.根据权利要求1的装置,其中第一和第二调制功能包括特征持续 时间不同的脉冲,控制器调节至少一个脉冲的持续时间。

4.根据权利要求3的装置,其中第一和第二调制功能包括特征持续 时间基本相等的脉冲,控制器调节第一和第二调制功能的脉冲持续时 间。

5.根据权利要求1的装置,包括一个识别景物中感兴趣目标的图像 分析仪,其中控制器根据摄像机与感兴趣目标间的距离调节至少一个 调制功能。

6.根据权利要求1的装置,包括一个确定该装置与感兴趣目标间的 距离的测距仪,其中控制器根据测距仪确定的距离调节至少一个调制 功能。

7.根据权利要求1的装置,其中控制器调节至少一个调制功能,这 样检测器只检测在距摄像机的距离处于感兴趣距离范围内的景物区域 反射回的光辐射。

8.根据权利要求7的装置,包括一个图像处理器,接收处理器形成 的、在感兴趣距离范围内的景物区域的第一幅图像,合并第一幅图像 和第二幅图像,产生复合图像。

9.根据权利要求1的装置,其中检测器检测景物中两个感兴趣目标 反射回的光辐射,控制器调节至少一个调制功能,以便使对应于两个 目标的图像部分具有基本相同的亮度值。

10.根据权利要求1的装置,其中检测器包括:

检测器调制器,接收景物反射回的光辐射,并依据第二调制功能对 其调制;和

检测器阵列,包括多个检测器单元,这些单元检测检测器调制器调 制后的光辐射,并依据检测到的调制光辐射生成对应于景物区域距离 的信号。

11.根据权利要求10的装置,其中检测器调制器包括具有多个光阀 单元的光阀单元阵列。

12.根据权利要求11的装置,其中入射到第一检测单元的光辐射受 第一光阀单元调制,入射到第二检测单元的光辐射受第二光阀单元调 制,其中第二调制功能包括不同的、分别施加给第一和第二光阀单元 的第一和第二调制子功能。

13.根据上述任一权利要求的装置,其中检测器包括彩色滤波器, 处理器形成的图像是彩色图像。

14.一种生成指示景物目标距离的图像的装置,包括:

调制辐射光源,具有第一调制功能并将光辐射导向景物;

检测器,包括具有第二调制功能的检测器调制器,和包括多个检测 器单元的检测器阵列,其中检测器检测景物中的多个空间平行段反射 回的光辐射,并且依据检测到的光辐射产生对应于景物区域距离的信 号;和

处理器,形成至少包括部分空间段的、具有能够指示摄像机与目标 间距离的亮度值分布的图像;

其中多个空间段中的任一个都具有相对于装置的、由检测器调制器 确定的距离边界,和

其中多个空间段中的至少一个具有与至少一个其它空间段的边界 不同的距离边界。

15.根据权利要求14的装置,其中检测器调制器包括具有多个光阀 单元的光阀阵列。

16.根据权利要求11或15的装置,其中光阀单元阵列包括液晶阵 列。

17.根据权利要求11或15的装置,其中光阀单元阵列包括微通道 阵列。

18.根据权利要求17的装置,其中微通道阵列包括微通道板和多个 邻近该板的可切换电极。

19.根据权利要求18的装置,其中微通道阵列包括光阴极,其中电 极包括镀在光阴极上的导电、透光材料。

20.根据权利要求19的装置,其中导电、透光材料包括铟锡氧化物。

21.根据权利要求11或15的装置,其中光阀单元阵列包括线光阀 阵列。

22.根据权利要求15的装置,其中每个光阀单元对应于多个空间段 中的一个,其中多个空间段中的一个的距离范围由相应的光阀单元确 定。

23.根据权利要求15的装置,其中多个光阀单元中的每一个对应于 一个或多个检测器单元构成的组。

24.根据权利要求15的装置,其中检测器调制器包括依据第二调制 功能控制光阀单元的切换网络。

25.根据权利要求24的装置,其中第二调制功能的应用使光阀单元 顺序地开启和闭合。

26.根据权利要求24或25的装置,其中第二调制功能包括多个非 一致脉冲,每个脉冲使相应的光阀单元开启和闭合。

27.根据权利要求23的装置,其中一个或多个检测器单元构成的独 立组中的每一组包括一行检测器阵列单元。

28.根据权利要求27的装置,其中一个或多个检测器单元构成的独 立组中的每一组包括一组检测器阵列单元的相邻行。

29.根据权利要求14的装置,其中光源在景物中产生线照明光,其 中检测器接收相应的反射线光辐射。

30.根据权利要求29的装置,包括使线照明光扫描景物的扫描装 置。

31.根据权利要求29或30的装置,其中检测器调制器使线反射光 辐射偏转,以便使之顺序地在多个检测器单元行中的每一行上驻留一 段时间。

32.根据权利要求31的装置,其中多个阵列行中的每一行对应于多 个空间段中的一段,其中多个空间段中的一段的距离范围由线反射光 辐射驻留在相应行上的时间确定。

33.根据权利要求31的装置,其中包括线反射光辐射驻留在多个行 中的每一行上的时间由第二调制功能确定。

34.根据权利要求14的装置,包括依据处理器形成的图像亮度值分 布调节第一和第二调制功能中的至少一个的控制器。

35.根据权利要求14的装置,其中检测器包括彩色滤波器。

36.一种生成指示景物目标距离的扩展图像的系统,包括:

根据权利要求14生成图像的装置,形成多幅连续景物图像,多幅 图像中至少有一幅包括一个或多个至少没有包括在一幅其它图像中的 景物区域;和

图像处理器,合并多幅图像,形成指示景物目标距离的扩展图像。

37.根据权利要求36的系统,包括相对于景物横向移动装置的设 备。

38.根据权利要求37的系统,其中装置按照已知的、与装置相对于 景物的移动速率有关的比例关系生成景物图像。

39.根据权利要求37或38的系统,其中移动装置的设备包括在其 上安装装置的移动平台。

40.根据权利要求39的系统,其中移动平台包括飞机。

41.根据权利要求36的系统,包括使装置的视场扫描景物的扫描光 学部件。

42.一种生成指示景物目标距离的图像的装置,包括:

调制辐射光源,将光辐射导引向景物;

远心光学部件,接收和对准景物反射回的光辐射;

调制器,调制对准后的光辐射;

检测器,检测由调制校准后的光辐射形成的图像;和

处理器,依据检测到的图像亮度分布,形成指示装置与目标间距离 的亮度值分布,

其中光源和检测器是相互瞄准的,和

其中调制景物反射回的对准光辐射的调制器不调制光源射出的、指 向景物的光辐射。

43.一种生成指示景物目标距离的图像的装置,包括:

调制辐射光源,具有第一调制功能并将光辐射导向景物;

第一检测器,检测景物反射回的、经过第二调制功能调制的光辐 射,并且根据检测到的调制光辐射产生对应于景物区域距离的信号;

第二检测器,与第一检测器相互瞄准,检测景物反射回的、未经第 二调制功能调制的光辐射,并且根据检测到的光辐射产生对应于景物 区域反射回的光强的信号;

处理器,接收来自第一和第二检测器的信号,并依据此信号形成具 有指示景物目标距离的亮度值分布的图像;

44.根据权利要求43的装置,其中光源与第一和第二检测器相互瞄 准。

45.一种机器人导引系统,包括:

根据权利要求1、14、42或43中任何一个生成指示景物目标距 离的图像的装置;和

机器人,利用装置指示的目标距离导引其在景物目标上活动。

46.一种确定工件尺寸的系统,包括:

根据权利要求1、14、42或43中任何一个生成指示工件区域距 离的工件图像的装置;和

计算机,利用图像和指示出的距离确定工件的尺寸。

47.根据权利要求46的系统,其中计算机对比工件尺寸和标准尺 寸。

48.根据权利要求46的系统,其中计算机利用尺寸确定工件的体 积。

49.一种制作工件三维模型的系统,包括:

根据权利要求46确定工件尺寸的系统;和

快速建模装置,接收尺寸确定系统确定的尺寸,并依据尺寸制作三 维模型。

50.根据权利要求49的系统,其中快速建模装置从生成工件图像的 装置接收图像信息,并将图像信息应用到三维模型表面。

51.根据权利要求50的系统,其中图像信息包括彩色信息。

52.一种车辆导引系统,包括:

根据权利要求1、14、42或43中任何一个生成指示沿车辆的运 动方向、在其前方的景物目标距离的图像的装置;和

处理器,利用图像和指示的距离,识别景物中的危险物体。

53.一种内窥镜成象系统,包括:

内窥镜,具有插入目标体内的远端和与光学装置耦接的近端;和

根据权利要求1、14、42或43中任何一个的图像生成装置,与 内窥镜的近端耦接,以便通过内窥镜将光辐射导入体内,并检测从那 里反射回的光辐射。

54.一种调制电子流的微通道阵列装置,包括:

微通道板,电子通过它加速;和

多个邻近微通道板的可切换电极,电极中的每一个在板的相应区域 调制电子的加速度。

55.根据权利要求54的装置,其中微通道阵列包括光阴极,接收经 微通道板加速的电子,并产生对应于电子的光子,其中电极包括镀在 光阴极上的导电、透光材料。

56.根据权利要求55的装置,其中导电、透光材料包括铟锡氧化物。

57.一种形成景物图像的摄像机系统,包括:

光阳极,依据从景物入射到其上的光辐射,产生电子流;

微通道阵列装置,根据权利要求55或56,响应电子流,接收、调 制并产生光子;和

检测器,接收光子并形成与其对应的景物图像。

58.一种生成指示景物目标距离的图像的方法,包括:

根据第一调制功能,调制由辐射光源射出的光辐射,将光辐射指向 景物;

检测反射回的光辐射,并依据检测到的光辐射生成对应于景物区域 距离的信号;

形成具有指示景物目标距离的亮度值分布的图像;和

依据图像的亮度值分布调节第一和第二调制功能中的至少一个。

59.根据权利要求58的方法,其中调节至少一个调制功能包括相对 于第一调制功能延迟第二调制功能。

60.根据权利要求58的方法,其中第一和第二调制功能包括脉冲, 调节至少一个调制功能包括调节至少一个脉冲的持续时间。

61.根据权利要求60的方法,其中第一调制功能脉冲的持续时间基 本长于第二调制功能脉冲的持续时间。

62.根据权利要求58的方法,包括:

识别景物中的至少一个感兴趣目标;和

利用图像的亮度值分布确定目标距离。

63.根据权利要求62的方法,其中调节至少一个调制功能包括依据 与至少一个目标间的距离调节调制功能。

64.根据权利要求63的方法,其中依据与至少一个目标间的距离调 节调制功能包括:

界定包括至少一个目标距离的距离范围;和

调节调制功能,这样检测反射光辐射包括检测处于距离范围内的、 一个或多个景物区域反射回的光辐射。

65.根据权利要求64的方法,其中识别至少一个感兴趣目标包括在 至少一个目标上定位多个点,其中界定距离范围包括界定多个局部距 离范围,每一个局部距离范围包括多个点中的一个点。

66.根据权利要求64的方法,其中调节调制功能包括调节功能,这 样不会检测到位于界定距离范围外部的景物目标和区域反射回的光辐 射。

67.根据权利要求64的方法,其中调节调制功能包括调节功能,这 样位于界定距离范围外部的景物目标和区域反射回的光辐射具有基本 恒定的亮度值分布。

68.根据权利要求64的方法,包括形成第一幅二维图像,图像包括 从距离范围内部的一个或多个景物区域检测到的光辐射,并且把第一 幅二维图像和独立获得的或者人工生成的第二幅二维图像复合,形成 复合图像。

69.根据权利要求68的方法,包括确定第一幅二维图像中的预定区 域的位置,其中把第一幅二维图像和独立获得的第二幅二维图像复合 包括将第二幅图像插入预定区域。

70.根据权利要求69的方法,其中在预定区域插入第二幅图像包括 调节第二幅图像的比例使之与预定区域适合。

71.根据权利要求58的方法,其中检测光辐射包括检测景物中的、 距离基本上不同的两个感兴趣目标反射回的光辐射,和

其中调节至少一个调制功能包括调节调制功能使两个目标具有基 本相同的亮度值。

72.一种生成指示景物目标距离的图像的方法,包括:

根据第一调制功能调制辐射光源射出的光辐射,并将光辐射导向景 物;

在景物中界定多个平行空间段,每个段都具有距离边界;

检测每一个平行空间段反射回的光辐射,并依据检测到的光辐射产 生对应于景物目标距离的信号;和

形成具有指示景物目标距离的亮度值分布的图像,

其中界定多个空间段包括界定多个空间段中的每一段的距离边 界,和

其中多个空间段中至少有一段的距离边界与至少一个其它空间段 的距离边界不同。

73.根据权利要求72的方法,其中多个空间段中第一段的距离边界 与相邻的、第二空间段的距离边界重叠。

74.根据权利要求72的方法,其中界定具有距离边界的多个空间段 包括根据各自的调制功能调制每一个空间段反射回的光辐射。

75.根据权利要求72的方法,其中检测光辐射包括积聚并读取光辐 射产生的光电电荷,其中界定多个空间段包括在再次积聚和读取电荷 之前的、已知的预定时间间隔内清除每一段上的、光辐射产生的光电 电荷。

76.根据权利要求72的方法,其中将光辐射导引向景物包括产生线 光辐射并用线光辐射扫描景物。

77.据权利要求72的方法,其中界定多个空间段包括界定相邻空间 段矩阵,其中矩阵中至少有一段的距离边界与至少一个其它段不同, 和

其中形成图像包括合并矩阵内的空间段,并生成距离边界基本等于 矩阵中的段的单位距离边界的扩展段。

78.一种生成指示景物目标距离的扩展图像的方法,包括:

根据权利要求72,生成第一幅景物图像;

相对于景物,横向扫描空间段;

以与生成第一幅图像相同的方式,生成第二幅景物图像;和

对准并复合第一幅图像和第二幅图像,生成扩展图像。

79.根据权利要求58或72的方法,其中形成具有指示目标距离的 亮度值分布的图像包括归一化亮度值分布。

80.根据权利要求79的方法,其中归一化亮度值分布包括修正其分 布以便调节目标的发射率。

81.根据权利要求79的方法,其中归一化亮度值分布包括修正不同 目标距离的分布。

82.根据权利要求58或72的方法,其中检测光辐射包括根据颜色 对光辐射滤波,其中形成图像包括形成彩色图像。

83.一种生成复合图像的方法,包括叠加在独立获取的背景图像上 的感兴趣目标,方法包括:

生成包括感兴趣目标的第一幅景物图像,第一幅图像指示景物目标 距离;

确定第一幅图像指示的目标距离;

界定至少包括一个目标距离的距离范围;

从第一幅图像中除去距离范围外部的目标,形成滤波图像;和

把滤波图像叠加在背景图像上。

84.一种生成复合景物图像的方法,包括插入复合图像中的选定区 域的预定插入图像,方法包括:

标记景物区域;

生成包括标记区域的第一幅景物图像,第一幅图像指示景物目标距 离;

确定第一幅图像中的区域边界的位置和与区域间的距离,如第一幅 图像所示;

根据与区域间的距离,调节插入图像的比例使之与区域边界吻合; 和

把调节后的插入图像叠加在第一幅图像的区域上,形成复合图像。

85.根据权利要求84的方法,包括:

识别第一幅图像中的感兴趣目标,其中距感兴趣目标的距离小于距 区域的距离;

滤波第一幅图像,以便形成感兴趣目标的滤波图像;和

把感兴趣目标的滤波图像叠加在区域中的插入图像上。

86.根据权利要求83-85的方法,其中根据权利要求60的方法生 成指示目标距离的第一幅景物图像。

QQ群二维码
意见反馈