스테레오 게이트된 영상 시스템 및 방법

스테레오 게이트된 영상 시스템 및 방법{STEREO GATED IMAGING SYSTEM AND METHOD}

본 발명은 영상 및 거리측정 시스템 분야, 더욱 상세하게는 주간, 야간 및 악천후에서 액티브 게이트된 영상에 의한 스테레오 영상에 관한 것이다.

스테레오 영상은 자동차 제조업체에 의해 야간 시계 지원, 교통 신호 인식, 물체 인식, 차선 인식 등 첨단 운전자 보조 시스템(Advance Driver Assistance Systems; ADAS)에서 널리 이용된다. 스테레오 영상은 단일 카메라에 2개의 주요 이점: 적어도 2개의 다른 장면 이미지 (즉, 차량의 다른 위치에 있는 카메라에 의해 캡쳐되는 것으로, 각 카메라는 서로 다른 시야, 민감도 등과 같은 전기적-광학적 특성을 가질 수 있음) 및 삼각측량을 통한 삼차원 정보 (즉, 거리측정 능력, 스테레오스코피)를 제공한다.

유럽특허 EP 1,831,718 B1 (발명의 명칭: "자동차용 스테레오 카메라”)에는 광감도, 픽셀 크기, 컬러 필터 어레이와 같은 특성 중 적어도 하나의 특성이 서로 다른 두 개 이상의 카메라를 기반으로 하는 장치가 기술되어 있다. 게다가, 상기 장치는 야간 시계 지원 및/또는 교통 신호 인식 및/또는 물체 인식 및/또는 도로 경계 인식 및/또는 차선 인식 등과 같은 ADAS 기능을 제공한다. 그러나, 상기 장치는 나이트 시계 지원을 위한 전용 근적외선 (NIR) 광원의 필요성과 같은 매우 중요한 측면을 나타내고 있지 않으며, 자동차의 외부 설치에 대한 언급도 없고, 또한 차량 자체의 광원 (예를 들면, 전방 헤드램프, 야간 시계 지원 NIR 광원 등)이 비, 눈 우박 등과 같은 대기에서 입자와 상호작용하여 후방 산란을 일으키는 현상을 개시하고 있지 않다. 더욱이, 상기 장� �는 카메라의 설치 요건이 단순하지 않다 (예를 들면, 삼각측량에 의한 3-차원 정보가 필요함).

패시브 스테레오스코피 (즉, 삼각측량을 기반으로 한 3-차원 정보) 깊이 정보의 정확도는 공식 (1)에 의해 추정될 수 있다.

상기 식에서 Δd는 깊이 정보 추정치 인데 반해, d는 깊이를 나타내고, l은 베이스라인의 길이 (즉, 카메라 사이의 거리)를 나타내고, h는 영상 평면과 두 대의 카메라의 중심 투영의 중앙을 지나는 평면 사이의 거리를 나타내고, Δx는 상이도 (예를 들면, 보이는 장면에서 각 카메라의 중앙에서부터 투영된 특정 지점 까지의 거리의 합)를 나타낸다. 이러한 깊이 정보 추정은 베이스라인이 짧은 거리로 제한될 때, 모든 패시브 스테레오스코피 기반 시스템을, 즉 멀리 보이는 거리로 제한한다.

본 발명의 일부 구현예에 따르면, 장면의 영상의 캡쳐 프로세스를 개선하기 위한 시스템 및 그로부터의 데이터가 제공되고, 상기 시스템은:

기설정된 게이팅 파라미터에 기반하여 특정 방향으로 펄스 광을 이용하여 장면을 조사하기 위해 구성된 광원;

장면의 영상을 캡쳐하기 위해 구성되고 서로 다른 공간에 위치하는 2 이상의 캡쳐 장치; 및

게이트된 영상 및 게이팅 파라미터로부터 데이터를 사용하여 상기 캡쳐를 개선하기 위해 구성된 컴퓨터 프로세서를 포함하고,

여기서 적어도 하나의 캡쳐는 동기화된 캡쳐를 위한 장면에 대해 스테레오스코픽 융합 게이트된 영상이 생성될 수 있도록 펄스광으로 동기화된다.

이러한 본 발명의 추가 및/또는 다른 측면 및/또는 이점은 하기의 발명의 상세한 설명에 기술되어 있으며, 상세한 설명에 기재된 본 발명의 실시예에 의해 이해 및/또는 추론될 수 있다.

본 발명은 하기의 첨부된 도면과 함께 발명의 상세한 설명에 의해 더 쉽게 이해될 수 있다:
도 1은 본 발명의 일 실시예에 따른 차량에 설치된 스테레오 게이트된 영상 시스템의 평면도를 나타낸다;
도 2는 본 발명의 일 실시예에 따른 스테레오 게이트된 영상 시스템의 블록 다이어그램을 나타낸다;
도 3 및 도 4는 본 발명의 일 실시예에 따른 스테레오 게이트된 영상 시스템의 피사계 심도(Depth-Of-Field; DOF)에 대한 개략적 예를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 스테레오 게이트된 영상의 단일 버스트 타이밍을 나타낸다.

본 발명의 하나 이상의 실시예를 상세하게 설명하기에 앞서, 본 발명은 하기의 상세한 설명에 설명되거나 도면에 도시된 구성의 배열에 그의 적용이 제한되는 것으로 이해되어서는 안된다. 본 발명은 다른 구현예로 적용가능하며 다양한 방식으로 실시되거나 수행될 수 있다. 또한 본 명세서에 사용된 문장 및 용어는 발명을 설명하기 위한 것으로 이해되어야 하며 발명을 제한하는 것으로 간주되어서는 안된다.

본 기술분야에 공지된 바람직한 게이트된 영상 시스템은 US 특허 공보 제7,733,464호 (발명의 명칭: "차량에 장착된 야간 시계 영상 시스템 및 방법")에 기술되어 있다. (자유 공간에서) 광원 펄스는 다음과 같이 정의 되며,

상기 식에서 각 파라미터는 하기에 정의되어 있다.

(자유 공간에서) 게이트된 카메라 ON 시간은 다음과 같이 정의된다:

(자유 공간에서) 게이트된 카메라 OFF 시간은 다음과 같이 정의되고,

상기 식에서 c는 빛의 속도를 나타내고, R ₀ , R _min 및 R _max 는 특정 범위를 나타낸다. T _Laser , T _II 및 T _off 의 시간 동기화에 의한 범위의 기능으로 민감도가 생성될 수 있도록 게이트된 영상이 이용된다. 이하에서 "게이트(Gate)" (즉, 1개의 판독 당 적어도 1개의 카메라/센서 노출에 따른 적어도 하나의 광원 펄스 조사)는 상기 정의된 특정 T _Laser , T _II 및 T _off 타이밍을 이용한다. 이하에서 "게이팅(Gating)"/"게이팅 파라미터" (단일의 카메라/센서 노출에 따른 광원 펄스 조사 및 센서 판독의 시퀀스를 종료하는 단일의 카메라/센서 노출에 따른 광원 펄스 조명에 대한 적어도 하나의 시퀀스)는 상기 정의된 T _Laser , T _II 및 T _off 타이밍에 대한 각각의 시퀀스를 이용한다. 이하에서 피사계 심도("슬라이스")는 보이는 장면에 대한 특정 누적된 영상을 제공하는 적어도 단일의 게이트 또는 게이팅을 이용한다.

스테레오 게이트된 영상 및 거리측정 시스템은 주간, 야간 및 저시계 조건에서 이용하기 위한 것이다. 게다가, 누적된 타겟에 대해 자동 알람 장치를 이용한 실시간 선택적 피사계 심도(“슬라이스”) 및/또는 스테레오 영상 특징을 기반으로 하여 타겟 (즉, 자동차, 오토바이, 보행자 등과 같은 임의의 물체) 감지가 낮은 오인율과 높은 감지 능력을 갖도록 한다. 스테레오 게이트된 영상 시스템은 고정 및/또는 이동 플랫폼에 탑재되어 조작될 수 있다. 스테레오 게이트된 영상 시스템은 심지어 지상 플랫폼, 공중 플랫폼 또는 수중용 플랫폼에서도 사용될 수 있다. 본 명세서에 따른 스테레오 게이트된 영상 시스템을 위한 바람직한 플랫폼은 차량이다.

조명 파라미터는 T _Laser , 펄스의 진폭, 펄스의 주기, 펄스의 파장, 펄스의 파형, 펄스의 위상, 및 펄스의 듀티 사이클(duty cycle) 중 적어도 하나를 포함한다.

센서 파라미터는 T _II , T _off , 게인(gain), 노출 주기, 노출 빈도, 노출의 증가/감소 시간, 누적된 펄스의 편광, 및 노출의 듀티 사이클 중 적어도 하나를 포함한다. 상기 파라미터는 전체 센서/카메라 어레이에 적용되거나 센서/카메라 어레이의 일부에 적용될 수 있다.

도 1과 도 2는 조명하기 위한, 예를 들면 차량(20)의 전방부(59) 환경을 조명하기 위한 비-가시 스펙트럼 (예를 들면, LED 및/또는 레이저원에 의한 NIR) 내에 적어도 하나의 게이트된(펄스된) 광원을 포함하는 스테레오 게이트된 영상 및 거리추적 시스템(60)이 탑재된 차량을 나타낸다. 또한, 스테레오 게이트된 영상 및 거리추적 시스템은 적어도 2개의 카메라/센서(40)를 포함하며, 그 중 적어도 1개의 카메라/센서는 영상 게이트에 적용된다. 스테레오 게이트된 영상 카메라는 윈드실드 와이퍼(windshield wiper)로 닦이는 영역에서 미러 뒤쪽의 차량 내부에 위치될 수 있다. 게이티드 카메라/센서는 강화된-CCD, 강화된-CMOS (상기 CCD/CMOS는 영상 증폭기에 결합된다), 전자 증가 CCD, 전자 충격된 CMOS, 하이브리드 FPA (카메라가 2개의 주요 요소: Read-Out Integrated Circuit 및 영상 기판을 갖는 CCD 또는 CMOS), 애벌런치 광-다이오드 FPA 등 일 수 있다. 바람직한 게이트된 카메라/센서는 게이팅 매카니즘/방법이 CMOS 픽셀 수준에 따라 이루어지는 (즉, 하나의 픽셀 판독에 대한 단일 내지 다중의 픽셀 노출) GCMOS (Gated Complementary Metal Oxide Semiconductor)을 기반으로 할 수 있다. 게다가 픽셀 다중 노출/게이팅에 의해 누적된 시그널은 픽셀 판독 노이즈를 억제해야 한다. 제2의 카메라/센서는 게이트되거나 및/또는 비게이트되고 및/또는 노출/게이팅 타이밍, 민감도, 스펙트럼 반응, 편광 반응, 동적 범위, 해상도 등과 같은 적어도 하나의 특성이 게이트된 카메라/센서와 다른 것일 수 있다. 스테레오 게이티트된 영상 및 거리측정 시스템(60)은 시스템 제어(30)와 보행자 감지 경고, 자전거 탑승자 감지 경고와 같은 시스템 자동 경고를 위한 시각 및/또는 촉각 및/또는 소리와 같은 운전자용 인간-기계 인터페이스(Human Machine Interface; HMI)(70)를 더욱 포함할 수 있다.

상기 바람직한 예시적인 구현예에 대한 일 변형예로서, 상기 스테레오 게이트된 영상 (즉, 적어도 1개의 카메라/센서 및/또는 적어도 1개의 게이트된 광원)은 자동차 그릴 내에 일체형으로 및/또는 분리된 자동차헤드램프 및/또는 고정된 자동차 헤드램프 및/또는 적어도 하나의 자동차 사이드 미러로서 차량 외부에 장착될 수 있다. 다른 설치 방법으로서, 스테레오 게이트된 영상은 상기 기술된 차량의 다른 곳에 위치하는 서브 어샘블리로 (예를 들면, 적어도 하나의 카메라/센서는 한 위치로 및/또는 적어도 하나의 광원은 다른 위치로) 분리될 수 있다. 이와 같은 외부 설치의 경우에도 게이트된 영상 카메라/센서는 또한 게이팅 영역 (즉, T _off )으로 인한 후방산란에 영향을 받지 않는다. 게다가 차량의 윈드실드는 NIR 스펙트럼을 40% 미만으로 통과시키기 때문에 이러한 손실을 보상할 수 있는 영상 시스템이 요구될 수 있다. 외부 장착 (예를 들면, 차량 윈드실드의 부재)은 이런 낮은 스펙트럼 투과율에 대한 적절한 해결책을 제공한다.

방출된 복사 감지를 기반으로 하는 열화상 카메라/센서 (InSb, HgCdTe, V ₂ O ₅ , 비정질 실리콘 등과 같은 냉각 및 비냉각)은 요구되는 스펙트럼대의 방사선 투과가 낮거나 없기 때문에 표준 차량 윈드쉴드의 후면에 위치될 수 없다. 적어도 단일의 게이트된 영상 카메라/센서, 적어도 단일의 게이트된 광원 및 적어도 단일의 열화상 카메라/센서로 이루어지고 외부에 장착된 (즉, 표준 차량 윈드실드의 후면은 아님) 스테레오 게이트된 영상 시스템은 사용되는 모든 파장 (예를 들면, 400-14,000nm)에서 게이트된 카메라/광원 및 높은 스펙트럼 투과로 인해 후방산란에 영향을 받지 않는 이상적인 구성을 제공한다.

도 2는 개시된 구현에에 관한 스테레오 게이트된 영상 및 위치측정 시스템(60)의 내부 모듈을 나타낸다. 따라서, 스테레오 게이트된 영상 카메라(40)는 적어도 2개의 카메라: 카메라 #1-게이트된 카메라/센서(72) 및 카메라 #2(74)를 포함한다. 게이트된 카메라/센서 광학 모듈(71)은 게이트된 광원(10)으로 제공되는 것과 유사한 전자기적 파장을 감지하기에 적합하다. 게이트된 카메라/센서 광학 모듈(71)은 입사되는 광을 카메라 #1-게이트된 카메라/센서(72)의 광감도 영역으로 포커싱하기에 더욱 적합하다. 게이트된 카메라/센서 광학 모듈(71)은 대역 통과 필터에 의해 수행되어 다양한 광 편광을 필터링할 수 있기 때문에, 특정 파장 스펙트럼을 필터하기에 더욱 적합하다. 카메라/센서 광학 모듈(73)은 게이트된 광원(10)에 의해 제공되어 및/또는 가시영역 (예를 들면, 450-650nm)에 존재하는 것들과 유사한 전자기적 파장을 감지하기에 적합하다. 카메라/센서 광학 모듈(73)은 입사되는 빛을 카메라 #2-카메라/센서(74)의 광감지 영역에 포커싱하기에 더욱 적합하다. 게이트된 카메라/센서 광학 모듈(73)은 대역 통과 필터에 의해 수행되고 및/또는 광 편광을 포함하기 때문에, 특정 파장 스펙트럼을 필터링할 수 있다. 더욱이, 카메라 #1-게이트된 카메라/센서(72)은 게이트되거나 변조된 광원(10)으로부터 발생하는, 전자기적 신호를 감지하기에 적합한 동기화 장치를 포함함으로써, 전자기적 변조를 가능하게 한다. 또한 스테레오 게이트된 영상 카메라(40)는 영상 및 신호 처리부(77), 스테레오 게이트된 영상 제어부(30) (게이트된 영상 카메라(40)와는 별도로 위치될 수 있음), 차량 통신 버스(83)와 상호작용 하기에 적합한 전자적 인터페이스(35)를 포함한다. 스테레오 게이트된 영상 제어(30)는 트리거링 및 컨트롤(90)을 통해 게이트된 광원(10) 펄스로 카메라 게이팅/노출의 게이팅 동기화 (제어 75 및 76에 의함)를 제공하고, 영상 및 신호 처리부(77)에 시스템 파라미터(78에 의함)를 제공한다. 영상 및 신호 처리부(77)에 제공되는 시스템 파라미터는 차량의 파라미터 (예를 들면, 차량 속도, 와이퍼 작동 등) 및/또는 그 밖의 파라미터 (예를 들면, 프레임 당 펄스/노출의 횟수, 카메라/센서 게인, 타이밍 등)를 포함할 수 있다. 영상 및 신호 처리부(77)는 카메라/센서(72) 및/또는 카메라/센서(74)로부터의 영상 및/또는 (85) 내의 비디오를 통한 외부 센서로부터의 추가적인 영상을 결합(융합)할 수 있다. 또한 영상 및 신호 처리부(77)는 ADAS 특징 (예를 들면, 보행자 감지, 신호 위반 경고, 교통 신호 인식, 물체 범위 추정 등)과 같은 실시간 영상처리 (컴퓨터 비전)를 제공한다. 차량 통신 버스(35)를 통한 ADAS 특징 출력, 운전자 HMI(70)으로의 데이터 인터페이스(87), 스테레오 게이트된 영상 시스템의 영상 출력(85)과 같은 추가적 인터페이스가 제공된다. 비디오 출력(85)은 ADAS 특징 오버레이를 하이라이트팅 (예를 들면, 직사각형 외곽선으로 보행자 감지 경고, 차선 감지 경고를 위한 오버레이 선)을 가질 수 있다. (차량 전기 공급부(84)를 통해 공급되는) 전원 공급(79)은 게이트된 스테레오 영상 카메라(40)와 제어부(39)에 필요한 전압을 공급한다.

다른 구현예에서, 시각을 기반으로 하는 HMI(70)는 기하학적 고려를 기반으로 한 카메라 FOV 및/또는 게이트된 영상 (예를 들면, 스테레오 게이트된 영상 카메라(40)와 게이트된 광원(10) 중 어느 하나의 특정 게이팅/노출 타이밍) 내의 영상 타겟에 대한 범위 추정을 포함할 수 있다. 게다가, 스테레오 게이트된 영상의 시각적 디스플레이는 차량(20)의 가속도을 기초로 하여, 빠른 속도 (예를 들면, 50km/h 초과)에서는 확대되고 느린 속도 (예를 들면, 50km/h 미만)에서는 축소될 수 있다.

도 2는 또한 편광을 투영하거나 및/또는 필터링하기에 적합한, 광원 광학 모듈(82)을 포함하는 비 가시 스펙트럼 (즉, 750-2,000nm)에 해당하는 적어도 하나의 게이티드 광원(10)을 나타낸다. 또한, 광원 광학 모듈(82)은 빛을 분산시키고 (예를 들면, 홀로그래픽 확산기, 광학 렌즈 등) 하나 또는 그 이상의 FOI(Field Of illumination)를 투영시키기에 적합할 수 있다. 또한 게이트된 광원(10)은 펄스 조명을 제공하거나 변조된 조명을 제공하기 위한 펄스 및/또는 변조 광원(81) (예를 들면, LED, 레이저, 플래시 램프 등)을 포함한다. 게이트된 광원(10)은 전기적 방법 (예를 들면, 열전 냉각 장치) 및/또는 적합한 기계적 방법 및/또는 그 밖의 광학적 방법을 기반으로 하는 광원 파장 조절장치(80)와 본 기술분야의 통상의 지식을 가진 자에게 이해되는 조명 파장 안정화 장치를 포함할 수 있다. 또한 게이트된 광원(10)은 광원 제어장치(88) 및 차량 전기 공급(84)을 통해 공급되는 전원 공급부(89)를 포함한다. 광원 제어장치(88)는 펄스 또는 변조된 조명을 조절하고, 광원 파장 제어장치(80)를 조절하거나 스테레오 게이트된 영상 조절장치(30)로부터의 트리거 신호를 수신할 수 있다. 게이트된 광원(10)은 내장 테스트(built in test) 상태를 제어하고 및/또는 제공하기에 적합한 차량 통신 버스(83)와의 통신 인터페이스(35)를 포함할 수 있다.

도 3은 스테레오 게이트된 카메라(40)에 누적된 보이는 경관을 나타낸다. 스테레오 게이트된 카메라(40)는 적어도 하나의 게이트된 카메라/센서(72) 및 적어도 하나의 제2의 카메라/센서(74)를 포함한다. 게이트된 카메라/센서(72)는 게이트된 카메라/센서 FOV(150)에 투영되고 게이트된 (펄스된) 광원(10)의 에너지를 흡수할 수 있다. 게이트된 카메라/센서(72)는 전역 피사계 심도(130과 100으로 나타냄)의 에너지를 흡수할 수 있다. 또한 게이트된 카메라/센서(72)는 비-가시 게이트된 광원(10) (즉, T _Laser , T _II , T _off 의 다른 타이밍을 기반으로 함)으로부터의 적어도 1개의 선택적으로 조명된 장면 피사계 심도 ("슬라이스")(140) (130, 100 및 110으로 나타냄)의 반사를 누적시킬 수 있다. 카메라/센서(74)는 비-가시 게이트된 광원(10)의 스펙트럼에 민감한 비-게이트된 (예를 들면, 게이트된 광원(10)에 동기화되지 않음) 것일 수 있다. 카메라/센서(74)는 전역 FOV(170) 누적 영상을 제공하는 게이트된 광원(10) 반사를 흡수할 수 있다. 본 방법(구성)에서 카메라/센서(74)는 광원(10) 조사를 이용하여 강화된 영상 (예를 들면, 먼 거리에서 더 나은 SNR)을 제공할 수 있다. 카메라/센서(74)는 가시 스펙트럼에 민감한 (비-가시 게이트된 광원(10)을 감지할 수 없음) 비-게이트된 (예를 들면, 게이트 광원(10)에 동기화하지 않음) 것일 수 있다. 카메라/센서(74)는 차량(20) 헤드라이트, 주변 가로등 및 그 밖의 조명등으로부터의 발생하는 주변광을 흡수 할 수 있다. 본 방법에서 시스템(60)은 두 가지의 범위: 차량(20) 헤드라이트 패턴까지 상기 스테레오스코픽 융합 영상을 형성하는 제1범위 및 차량(20) 헤드라이트 패턴 위의 모노스코픽 게이트된 영상을 형성하는 제2범위를 가진다.

도 4는 스테레오 게이트된 카메라(40)에 누적되어 보이는 경관 (즉, 누적된 영상을 기반으로 함)을 나타낸다. 스테레오 게이트된 카메라(40)는 적어도 2개의 게이트된 카메라/센서(72 및 74)를 포함한다. 게이트된 카메라/센서(72)는 게이트된 카메라/센서 FOV(150 및 170)에 투영된 게이트된(펄스된) 광원(10)의 에너지를 흡수 할 수 있다. 각 게이트된 카메라/센서(72 또는 74)는 상호 간에 그리고 게이트된 광원(10)과 동기화된다. 각 게이티트된 카메라/센서(72 또는 74)는 전역 FOV(각각 130 및 100로 표시되거나 160과 100으로 표시됨) 에너지를 흡수 할 수 있다. 또한 각 게이트된 카메라/센서(72 또는 74)는 비-가시 게이트된 광원(10)으로부터의 적어도 하나의 선택적으로 조명된 장면 FOV ("슬라이스") (140) (130, 100 및 110으로 나타냄) 또는 180 (160, 190 및 110으로 나타냄)을 누적할 수 있다.

게다가, 각 게이트된 카메라/센서(72 및 74)에 요구되는 특정 타이밍을 제공하기 위한 '직진형(straight forward)' 접근은 부가적인 게이트된 광원(10)을 추가하고 및/또는 단일의 게이트된 광원에 대한 더 많은 광 펄스를 추가함으로써 게이트된 광원(10)의 전체 듀티 사이클 (예를 들면, 일정 시간 동안의 펄스 횟수)의 증가를 포함한다. 상기 접근법은 스테레오 게이트된 영상 시스템을 향하는 동일한 스펙트럼을 사용하는 다른 비전 시스템에 블루밍을 증가시킬 수 있다.

다른 바람직한 방법은 단일의 게이트된 카메라 구성과 유사한 듀티 사이클을 제공하는 반면, 각 게이트된 카메라/센서에 대한 다른 DOF 옵션을 제공한다. 도 5는 적어도 2개의 게이트된 카메라/센서를 위한 스테레오 게이트된 영상 버스트 타이밍을 나타낸다. 시스템의 레이저 펄스 지속시간인 T _Laser (타이밍 도식 상단의 L을 나타냄)은

·옵션 1: T _II(1) ≠T _II(2) 이고 T _Off(1) ≠T _Off(2) 인 경우, 각 게이트된 카메라/센서의 DOF는 다르며 각 게이트된 카메라/센서 시작 범위 (거리)의 DOF는 다르다.

·옵션 2: T _II(1) =T _II(2) 이고 T _Off(1) ≠T _Off(2) 인 경우, 각 게이트된 카메라/센서의 DOF는 동일하며 각 게이트된 카메라/센서 시작 범위 (거리)의 DOF는 다르다.

·옵션 3: T _II(1) ≠T _II(2) 이고 T _Off(1) =T _Off(2) 인 경우, 각 게이트된 카메라/센서의 DOF는 다르며 각 게이트된 카메라/센서 시작 범위 (거리)의 DOF는 동일하다.

·옵션 4: T _II(1) =T _II(2) 이고 T _Off(1) =T _Off(2) 인 경우, 각 게이트된 카메라/센서의 DOF는 동일하며 각 게이트된 카메라/센서 시작 범위 (거리)의 DOF는 동일하다.

T _II(1) , T _II(2) 노출 시간은 타이밍 도식의 중간과 하부에 있는 G로 나타내었다. T _R(1) , T _R(2) 는 다음 버스트 사이클이 시작될 때까지의 각 카메라/센서와 게이트된 광원(10)의 이완(relaxation) 시간을 나타낸다.

하기의 표는 다른 선택적으로 누적된 DOF("슬라이스")를 위한한 게이트된 스테레오 영상 시스템의 타이밍에 대한 2개의 예를 제공한다.

스테레오 게이트된 영상 카메라 FOV 및/또는 게이트된 광원은 보이는 장면에 작용하여 작동되는 동안 움직일 수 있다. 예를 들면, 보이는 도로가 오르막길인 경우, 스테레오 게이트된 시스템은 위쪽으로 회전할 수 있고, 우회전 도로의 경우, 게이트된 시스템은 도로의 커브와 동일한 각도로 우회전할 수 있다. 스테레오 게이트된 영상 회전은 기계적 구조물, 전기-기계적 엔진, 전기-광학적 구조물 등을 통해 제어될 수 있다.

광변조 또는 펄스된 광원 타겟 (예를 들면, 교통 신호 또는 차량 조명 등에 이용되는 펄스 폭 변조 LED)의 단일 영상 (단일 프레임 판독)을 캡쳐해야 하는 문제가 여전히 존재한다. 상기 게이트된 영상 시스템은 이러한 광변조 또는 펄스된 광원 타겟을 캡쳐함으로써 해결책을 제공한다. 본 기술은 게이트된 광원이 불필요한 적어도 1개의 시스템의 게이트된 카메라를 이용할 수 있다. 변조 주파수를 “잠금” (예를 들면, 특정 게이트를 개방하고 외부 광원 표적의 변조 주파수와 직접적으로 관련된 신호를 탐색함)에 의해 및/또는 매 판독시 마다 다른 길이의 시간 노출을 갖는 (예를 들면, 광원 표적의 주파수 변조를 “인식”함이 없이) 시스템 게이트된 카메라 다중 게이트에 의해, 최소 1개의 게이트된 카메라/센서는 프레임 판독 당 각 노출 사이의 적어도 하나의 파라미터; 노출 지속시간 또는 다음 노출까지의 노출 지연의 변경을 포함할 수 있다. 게다가, 특정 노출 파라미터는 각 프레임 마다 노출량을 포함할 수 있다.

상기 스테레오 게이트된 영상 시스템은 판독 프레임당 게이트 수를 줄이거나 및/또는 게이트 길이 시간을 단축시키거나 및/또는 게이트된 카메라의 게인 값을 낮추는 것과 직접적으로 관련된 게이트된 카메라의 짧은 게이트 (예를 들면, 노출 시간/광의 누적)에 의해 강한 주변광 수준 (예를 들면, 주간 동안, 야간 동안 차량에 입사되는 높거나 낮은 전방 헤드라이트) 동안 영상 센서 블루밍 문제를 해결할 수 있다. 예를 들면 제1프레임이 50nsec의 단일 노출을 갖고 연속하는 프레임이 16msec의 단일 노출을 갖는 경우 상기 프레임과 상기 연속하는 프레임 사이에 110dB의 동력 범위를 가능하게 한다.

바람직하게는, 스테레오 게이트된 영상에서 적어도 단일의 게이트된 카메라는 차량 환경; 고온(섭씨 50도 이상)에서의 저장과 보존 가능하도록 CMOS 기술로 생성되고, 태양광으로 인해 민감도가 손상되지 않으며, 카메라에 지속적인 정적 영상 투영으로 인해 열화가 일어나지 않는다.

바람직하게는, 스펙트럼 필터가 주간, 야간 및 기타 주변 광 조건에서 주변의 광 누적을 줄이기 위하여 적어도 하나의 스테레오 게이트 영상의 전방부에 도입된다.

바람직하게는, 편광 필터가 주간, 야간 및 기타 강한 편광으로부터의 주변 광 조건에서 주변 광 누적을 감소시키고 및/또는 보이는 장면에 대한 정보 (예를 들면, 편광측정; 표면 특징, 형상, 음영 및 거칠기에 대한 정보를 제공하기 위하여 장면을 통한 시각적 필드의 벡터 성질에 대한 정보를 측정함으로써 구함)를 갖는 다른 층을 제공하기 위하여 적어도 하나의 스테레오 게이트된 영상 카메라의 전방부에 도입될 수 있다.

다른 바람직한 방법은 단일 카메라 프레임 판독시 게이트된 광원의 단일 펄스를 위한 다중 노출을 통해 적어도 1개의 시스템 카메라로 다시 반사된 동기화된 게이트 광원으로 직접 TOF(Time Of Flight) 거리측정 및 영상을 수행하는 능력을 제공한다.

본 발명이 제한된 수의 실시예에 대하여 설명 하였지만, 이들은 본 발명의 범위를 제한하는 것으로 해석되어서는 안되며, 오히려 바람직한 실시예들 중 예시로서. 다른 가능한 변형, 수정 및 응용은 본 발명의 범위 내에 있다.