立体选通成像系统和方法 |
|||||||
| 申请号 | CN201380036736.8 | 申请日 | 2013-04-04 | 公开(公告)号 | CN104470757B | 公开(公告)日 | 2017-05-17 |
| 申请人 | 布莱特瓦维森有限公司; | 发明人 | 约阿夫·格劳尔; 奥弗·大卫; 伊亚尔·列维; 亚阿拉·大卫; 海姆·加滕; 艾伦·克雷勃伊姆; 莎伦·利夫希茨; 奥伦·谢赫; | ||||
| 摘要 | 本文提供了一种用于改善捕获场景图像及从其获得的数据的系统。该系统包括：被配置为基于预定的选通参数以特定的方向利用脉冲光照射场景的 光源 ；被配置为捕获场景图像的两个或两个以上的捕获设备，捕获设备中的每一个从不同的空间 位置 捕获场景图像，其中，至少一个捕获与脉冲光同步，以便于针对同步的捕获产生场景的立体融合选通图像；以及被配置为通过使用从选通图像获得的数据和选通参数来改善捕获的计算机处理器。在另一个 实施例 中，不存在光源且至少一个 传感器 被配置为应用多次曝光用于单次读取，以产生用于改善捕获的增强的图像。 | ||||||
| 权利要求 | 1.一种捕获场景的图像的方法，包括： |
||||||
| 说明书全文 | 立体选通成像系统和方法[0001] 背景1.技术领域 [0002] 本发明涉及成像和测距系统的领域，更具体地，涉及在白天、夜间和恶劣天气条件下通过主动选通成像进行立体成像。 [0003] 2.相关技术讨论 [0004] 立体成像被汽车制造商广泛用于高级驾驶辅助系统(ADAS)功能，诸如夜视支持、交通信号识别、物体识别、车道线识别等等。立体成像与单个相机相比，提供了两个主要优势：至少两个不同的场景图像(由车辆中的不同位置处的相机捕获，且每个相机可具有不同光电特性，诸如视场、敏感度，等)，以及第二个优势是通过三角测量呈现三维信息(即，测距能力、立体观测)。 [0005] 题为“stereo camera for a motor vehicle”、欧洲专利号为EP 1,831,718 B1的专利描述了基于至少两个相机的设备，该至少两个相机彼此间关于至少一个性能而不相同，该至少一个性能诸如光敏感度、像素尺寸、滤色器阵列等。此外，前述设备实施了ADAS功能，诸如夜视支持和/或交通信号识别和/或物体识别和/或道路边界识别和/或车道线识别等等。然而，前述设备解决不了若干重要的方面，诸如对于用于夜视支持的专用近红外(NIR)光源的需求，解决不了机动车辆的外部安装，以及解决不了由于车辆光源(如，前大灯、夜视支持的NIR光源等)与大气中的微粒(诸如雨、雪、冰雹等)相互作用产生的后向散射。此外，前述设备并未简化安装相机的要求(需要如通过三角测量获得的三维信息)。 [0006] 被动立体(即，基于三角测量的三维信息)深度信息的精度可以通过等式(1)估计出。 [0007] [0008] 其中，Δd是深度信息估计，d是深度，l是基线的长度(即，相机之间的距离)，h是图像平面与通过两个相机的中央投影的中心的平面之间的距离，以及Δx是差距(即，从每个相机的中心到所察看的场景中的所投影的特定点的距离和)。该深度信息估计限制基于每个被动立体的系统，即在较长的观看距离和在基线被限制于短的长度时。 [0009] 简述 [0010] 根据本发明的一些实施例，提供了一种用于改善捕获场景的图像的过程和从其中获得数据的系统，所述系统包括：光源，所述光源被配置为基于预定的选通参数利用脉冲光以特定的方向照射场景；两个或两个以上的捕获设备，所述两个或两个以上的捕获设备被配置为捕获场景的图像，捕获设备中的每个捕获设备从不同的空间位置捕获图像，其中至少一个捕获是与脉冲光同步的，以便于针对同步的捕获产生场景的立体融合选通图像；以及计算机处理器，所述计算机处理器被配置为，通过使用从选通图像和选通参数获得的数据改善捕获。 [0011] 本发明的这些方面和/或优势、其他的和/或另外的方面和/或优势是：如下文详细描述中所述的；根据详细描述可推知的；和/或通过本发明的实践可学习到的。 [0013] 根据结合附图所进行的关于本发明的实施方案的详细描述，将较容易理解本发明，其中： [0014] 图1是根据本发明的一些实施例在车辆中安装的立体选通成像系统的大概的顶视图说明； [0015] 图2描述的是根据本发明的一些实施例的立体选通成像系统框图； [0016] 图3和图4描述的是根据本发明的一些实施例的立体选通成像系统景深(DOF)的实施例的示意性实例； [0017] 图5描述的是根据本发明的一些实施例的立体选通成像单脉冲串时序。 [0018] 详细描述 [0019] 在详细阐述本发明的至少一个实施例之前，要理解的是本发明并不将其应用限于在以下描述中所阐述的或在附图中所示出的元素的构成和布置的细节。本发明可应用于其他的实施例或以不同的方式进行实践或被执行。而且，要理解的是，本文所采用的术语和措辞是出于描述的目的，而不应被认为是限制。 [0020] 本领域所熟知的优选的选通成像系统被描述于美国专利号为7,733,464B2题为“vehicle mounted night vision imaging system and method”的专利。光源脉冲(在自由空间中)被定义为： 其中在下面的索引中定义了参数。选通相机开通时间(在自由空间中)被定义为 选通相机关闭时间(在自由空间 中)被定义为 其中c是光速，R0、R最小和R最大是特定的距离。选通成像被用于以通过T激光、TII和T关闭的时间同步的距离函数创建敏感度。 [0021] 后文单个的“选通(Gate)”(即，在至少单个光源脉冲照射之后至少单个相机/传感器曝光每个单个读数)利用如以上所定义的特定的T激光、TII和T关闭时序。后文“选通(Gate)”/“选通参数(Gate parameter)”(即，在单个光源脉冲照射的至少单个序列之后单个相机/传感器曝光且在单个光源脉冲照射之后单个相机/传感器曝光结束序列的单个读数)利用每个连续的如以上所定义的特定的T激光、TII和T关闭时序。后文景深(“片(Slice)”)利用至少单个选通或选通提供所察看的场景的特定的累积的图像。 [0022] 一种用于在白天条件下、夜间条件和恶劣的可见条件立体选通成像和测距系统。此外，基于具有关于积累的目标的自动警报机构条件的选择性的景深(“片”)和/或实时立体成像特性，实现具有低误检的高概率目标检测(即，任何类型的物体，诸如小汽车、摩托车、行人等)。立体选通成像系统可以是手持式的、装配在静态平台的和/或移动的平台的。 立体选通成像系统甚至可以用于水下平台、地面平台或空中平台。用于本文中的立体选通成像系统的优选平台是车辆。 [0024] 传感器参数包括以下中的至少一个：TII、T关闭、增益、曝光持续时间、曝光频率、曝光的上升时间/下降时间、累积脉冲的极化、和曝光的占空比。这些参数可用于整个传感器/相机阵列或可用于传感器/相机阵列的部件。 [0025] 图1和图2说明的是汽车装配的立体选通成像和测距系统60，其可至少包括非可见光谱中的单一的选通(脉冲)光源10(如，由LED发射的NIR和/或激光源)，以便照射例如车辆20的前方的环境50。此外，立体选通成像和测距系统还可包括至少两个相机/传感器40，而其中至少一个相机/传感器适用于图像选通。立体选通成像相机可以内部地位于车辆中的镜子后面、由雨刷清洗的区域。选通相机/传感器可以是增强型的CCD、增强型的CMOS(其中CCD/CMOS被耦合到图像增强器)、电子倍增CCD、电子轰击的CMOS、混合FPA(CCD或CMOS，其中相机具有两个主要部件：读取集成电路和成像基板)、雪崩光电二极管FPA等。优选的选通相机/传感器可以是基于选通互补金属氧化物半导体(GCMOS)，其中选通机构/方法是在CMOS像素级完成的(即，单到多像素按照单一像素读取来曝光)。此外，通过像素多次曝光/选通累加的信号必须克服像素读取噪声。第二相机/传感器可以是选通的和/或非选通的和/或与选通的相机/传感器关于至少一个性能不同，诸如曝光/选通时序、敏感度、光谱响应、极化响应、动态距离、分辨率等。立体选通成像和测距系统60还可以包括系统控制30和司机人机界面(HMI)70，诸如视觉的和/或触觉的和/或声音的系统自动警报，诸如行人检测警报、骑车人检测警报。 [0026] 在优选的示例性的实施例的一个变体中，立体选通成像(即，至少一个相机/传感器和/或至少一个选通光源)可以以按成一体的体积内部地装配在机动车辆上诸如：在车辆格栅中和/或在独立的车辆用前照灯旁边和/或在综合的车辆用前照灯旁边和/或在至少一个车辆后视镜中。另外的安装方法可以是将立体选通成像分成子组件，其中每个子组件可以位于车辆上的不同地方，诸如前文所述(如，至少一个相机/传感器在一个位置，和/或至少一个选通光源在另一个位置)。即使在这些外部安装中，选通成像相机/传感器也不受选通区域(即，T关闭)引起的后向散射的影响。此外，车辆挡风玻璃可以透射少于NIR光谱中的40％，这就要求成像系统补偿这部分损耗。外部安装(即，在挡风玻璃外面)提供了令人满意的解决方案来用于低光谱透射。 [0027] 热成像相机/传感器基于发射的辐射来感测(冷却的和未冷却的，诸如，InSb、HgCdTe、V2O5、非晶硅等)，由于在所需光谱中的低到无的辐射的传输，其不能被放置在标准的车辆挡风玻璃后面。外部安装的立体选通成像包含：至少单一选通成像相机/传感器、至少单一选通的光源和至少单一热成像相机/传感器，其提供了理想的配置，不关注由选通相机/光源引起的后向散射和所有使用的波长(即，400-14,000nm)中的高光谱传输。 [0028] 图2示出的是关于所公开的实施例的立体选通成像和测距系统60的内部模块。因此，立体选通成像相机40包括至少两个相机：相机#1——选通相机/传感器72和相机#2 74。选通相机/传感器光学模块71适于操作和检测的电磁波长类似于由选通光源10提供的电磁波长。选通相机/传感器光学模块71还适于将入射光聚焦于相机#1——选通相机/传感器72的光敏感区域。选通相机/传感器光学模块71还适于过滤特定波长的光谱，这可由带通滤波器来实现，和/或适于过滤各种光偏振。相机/传感器光模块73适于操作和检测的电磁波长类似于由选通光源10所提供的电磁波长和/或也在可见光谱(即，450-650nm)中的电磁波长。相机/传感器光模块73还适于将入射光聚焦于相机#2——相机/传感器74的光敏感区域。选通相机/传感器光模块73可包括特定波长的光谱滤波，这可由带通滤波器来实现，和/或包括光偏振滤波器。而且，相机#1——选通相机/传感器72适于且能够检测电磁调制——包括适于检测源自选通的或调制的光源10的电磁信号的同步机构。立体选通成像相机40还包括图像和信号处理77、立体选通成像控制30(可以与选通成像相机40分开放置)、和电气接口35，该电气接口适于与机动车辆通信总线83接口。立体选通成像控制30提供相机的选通/曝光(经由控制75和76)与选通光源10(经由触发和控制90脉冲)的选通同步，且(经由 78)提供系统参数到图像和信号处理77。提供到图像和信号处理77的系统参数可包括车辆参数(如，车辆速度、雨刷操作等)和/或其他参数(每帧脉冲/曝光的次数、相机/传感器增益、时序，等)。图像和信号处理77可将来自相机/传感器72和/或相机/传感器74的图像和/或经由视频输入85来自外部传感器的其他的图像结合(融合)。图像和信号处理77还可提供实时图像处理(计算机视觉)，诸如ADAS特性(如，行人检测、车道线偏离警报、交通信号识别、物体距离估计，等)。提供了另外的接口，诸如经由车辆通信总线35的ADAS特性输出、司机HMI 70的数据接口87和立体选通成像系统的视频输出86。视频输出86可使ADAS特性重叠凸显(如，用于警报矩形交界的行人检测、用于车道线检测警报的重叠线，等)。电源79(其由车辆供电装置84供电)提供了选通立体成像相机40和控制39所需的电压。 [0029] 在另一个实施例中，诸如基于视觉的HMI 70可包括，基于几何因素和/或选通成像(即，基于立体选通成像相机40和选通光源10中的至少一个的特定的选通/曝光时序)，对相机FOV中的图像目标的距离估计。此外，立体选通图像的视觉显示可以是基于车辆20的速度；其中所述显示的立体图像针对较高的速度(例如超过每小时50km)放大和针对较小的速度(例如低于每小时50km)缩小。 [0030] 图2还示出了，不可见光谱(即，750-2,000nm)中的至少单一选通光源10包括光源光学模块82，其适于投影和/或过滤光偏振。光源光学模块82还可以适于使光漫射(如，全息漫射器、光学透镜等)和投影一个或多个现场照明(FOI)。选通光源10还包括提供脉冲照明或提供调制照明的脉冲和/或调制光源81(如，LED、激光、闪光灯，等)。选通光源10可包括，如本领域普通技术人员所理解的，基于电气方法(如，热电冷却器)、和/或适当的机械方法、和/或任何光学方法的，光源波长控制器80，和用于稳定照明波长的设备。选通光源10还包括光源控制器88和经由车辆供电装置84供电的电源89。光源控制器88适于驱动脉冲的或调制的照明，其适于控制光源波长控制器80和接收来自立体选通成像控制30的触发信号。选通光源10还可包括与车辆通信总线83的通信接口35，其适于控制和/或提供内置测试状态。 [0031] 图3示出的是立体选通相机40的累积的被察看的场景。立体选通相机40包括至少单一选通相机/传感器72和至少第二相机/传感器74。选通相机/传感器72可吸收投射的选通(脉冲)光源10在选通相机/传感器FOV150中的能量。选通相机/传感器72可吸收全部景深(通过130和100描绘的)的能量。选通相机/传感器72还可累积来自不可见选通光源10(即，基于T激光、TII和T关闭的不同时序)的至少单一选择地照射的场景景深(“片”)140(通过130、100和110描绘的)反射。相机/传感器74可以是在不可见选通光源10的光谱中非选通(即，不与选通光源10同步)敏感的。相机/传感器74可以吸收提供全部FOV170累积的图像的选通光源10反射。在这种方法(配置)中，相机/传感器74利用光源10照射以提供增强的图像(即，在较长的距离更好的SNR)。相机/传感器74可以是在可见光谱(即，可不感测不可见选通光源10)中非选通(即，不与选通光源10同步)敏感的。相机/传感器74可吸收环境光，诸如：源自车辆 20前照灯、周围路灯和任何其他的照明方法。在该方法中，系统60具有两类范围：第一范围和第二范围，该第一范围产生所述立体融合图像到车辆20前照灯图案，该第二范围产生车辆20前照灯图案上方的单视场选通图像。 [0032] 图4示出的是立体选通相机40累积的被察看的场景(即，基于累积图像)。立体选通相机40包括至少两个选通相机/传感器72和74。选通相机/传感器72可吸收投射的选通(脉冲)光源10在选通相机/传感器FOV150和170中的能量。每个选通相机/传感器(72或74)彼此间同步且与选通光源10同步。每个选通相机/传感器(72或74)可吸收全部景深(分别由130和100描绘的或通过160和100描绘的)的能量。每个选通相机/传感器(72或74)还可累积来自不可见选通光源10的至少单一选择照射的场景景深(“片”)140(通过130、100和110描绘的)或180(通过160、190和110描绘的)反射。 [0033] 此外，提供每个选通的相机/传感器(72和74)所需的特定的时序的“直截了当”的方式可以包括：通过添加额外的选通光源和/或通过为单一选通光源增加更多的光脉冲来增加选通光源10的总的占空比(即，特定时间周期内的脉冲数)。该方法可增加向立体选通成像系统操作相同频谱的其他视觉系统的图像浮散。 [0034] 其他的优选方法提供了与提供给单一选通相机配置类似的占空比，但是提供了用于每个选通相机/传感器的不同DOF的选项。图5示出的是用于至少两个选通相机/传感器的立体选通成像单一脉冲串时序。该系统激光脉冲持续时间T激光(在时序示意图上部用L指示)被定义为T激光＝max(T激光(1),T激光(2))，其中 是与选通相机/传感器#1相关的脉冲持续时间，且 是与选通相机/传感器#2相关的 脉冲持续时间。用于两个选通相机/传感器72和74的同步时序包括以下DOF选项： [0035] ·选项1：TII(1)≠TII(2)和T关闭(1)≠T关闭(2)，用于每个选通相机/传感器的DOF是不同的，且用于每个选通相机/传感器的DOF开始范围(距离)是不同的。 [0036] ·选项2：TII(1)＝TII(2)和T关闭(1)≠T关闭(2)，用于每个选通相机/传感器的DOF是相同的，且用于每个选通相机/传感器的DOF开始范围(距离)是不同的。 [0037] ·选项3：TII(1)≠TII(2)和T关闭(1)＝T关闭(2)，用于每个选通相机/传感器的DOF是不同的，且用于每个选通相机/传感器的DOF开始范围(距离)是相同的。 [0038] 选项4：TII(1)＝TII(2)和T关闭(1)＝T关闭(2)，用于每个选通相机/传感器的DOF是相同的，且用于每个选通相机/传感器的DOF开始范围(距离)是相同的。 [0039] TII(1)，TII(2)曝光时间在时序示意图中部和下用G指示。TR(1)，TR(2)是每个相机/传感器和选通光源10直到下一个脉冲串循环开始的弛豫时间。 [0040] 下表提供的是关于不同的选择累积的DOF(“片”)的选通立体成像系统时序的两个示例。 [0041] [0042] 立体选通成像相机FOV和/或选通光源可以在操作期间根据被观察场景而移动。例如，在所察看的道路是向上的场景中，立体选通系统可以旋转向上，而对于向右弯曲道路，选通系统可以以与道路弯曲相似的角度旋转向右。立体选通成像可以通过机械构造、机电引擎、光电构造等来进行控制。 [0043] 存在的问题是捕获光调制的或脉冲光源目标(诸如，交通信号中的或车辆照明中的脉冲宽度调制LED等)的单一图像(单一帧的读取)。立体选通成像系统提供了通过捕获光调制的或脉冲光源目标的解决方案。该技术可以利用至少一个系统选通相机而不需要选通光源。通过“锁定”调制频率(如，打开特定选通并探测与外部光源目标的调制频率直接相关的信号)和/或通过系统选通相机以每帧读取不同长度的时间曝光(即，不“知道”光源目标的调制频率)多次选通。至少单一选通相机/传感器将具有特定的曝光参数，该参数可包括每帧读取每次曝光之间的至少单一参数的变化；曝光持续时间或到下一曝光的曝光延迟。除了特定的曝光参数，还可包括每次每个帧的曝光量。 [0044] 这种立体选通成像系统可克服在高强度环境光级(如，在白天、在夜间入射车辆的高或低前照灯等)期间由选通相机的短选通(即，曝光时间\光累积)引起的成像传感器图像浮散的问题，其直接与降低每帧读取的选通数和/或使选通长度时间变窄和/或降低选通相机增益相关。例如，启用帧到连续帧之间的110dB的动态范围，其中，第一帧具有50纳秒的单一曝光，连续帧具有16毫秒的单一曝光。 [0045] 优选地，立体选通成像中的至少单一选通相机是使用CMOS技术生产的，该CMOS技术符合车辆环境；高温存储和操作(50摄氏度以上)、敏感度不因为太阳辐射而被损坏、不由于对相机的恒定的静态图像投影而引起的烧伤效应。 [0046] 优选地，光谱滤波器被引入至少一个立体选通成像相机的前方以减少在白天、夜间和其他环境光条件下的环境光累积。 [0047] 优选地，偏振滤波器被引入至少一个立体选通成像相机的前方以减少在白天、夜间和其他环境光条件下来自高偏振光的环境光累积和/或以提供被察看的场景的其他的信息层(即，偏振；旨在测量关于整个场景的光场的矢量属性的信息，以提供关于表面特征、形状、阴影、和粗糙度的信息)。 [0048] 另一个优选的方法提供的是，利用通过对在单一相机帧读取中选通光源的单一脉冲的多次曝光而反射回到至少一个系统相机的同步选通光源，进行直接飞行时间(TOF)测距和成像的能力。 |
||||||
QQ群二维码
意见反馈
意见反馈