어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치{METHOD AND DEVICE FOR THE DISTORTION-FREE DISPLAY OF AN AREA SURROUNDING A VEHICLE}
본 발명은 어느 한 차량의, 특히 카메라 서라운드 뷰 시스템을 장착한 도로용 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법과 장치에 관한 것이다.
오늘날 차량에는 차량을 운전할 때 운전자를 지원하는 운전자 지원 시스템이 점점 더 많이 장착되고 있다. 이 운전자 지원 시스템에는 차량의 운전자에게 차량의 차량 주변을 알려줄 수 있도록 하는 카메라 서라운드 뷰 시스템이 구성품으로서 포함되어 있다. 이러한 카메라 서라운드 뷰 시스템에는 카메라 영상을 제공하는 차량 카메라가 한 대 이상 장착되어 있으며, 이 영상을 카메라 서라운드 뷰의 데이터 처리장치가 차량 주변의 주변 영상과 결합한다. 이때 차량 주변의 영상은 디스플레이 장치에 표시된다. 기존의 카메라 기반 운전자 지원 시스템은 카메라 시스템의 질감 정보를 정적인 2차원의 기본 표면이나 정적인 3차원의 셀 표면과 같은 정적인 투영 표면에 투영한다. 하지만 이러한 시스템에는 중대한 단점이 있는 바, 즉 질감 재투영 표면이 정적이고 따라서 이 재투영 표면이 카메라 시스템의 실제 주변과 일치하거나 비슷하지 않기 때문에 카메라 주변의 대상이 심하게 왜곡된다는 단점이 있다. 이러한 단점으로 인해 왜곡된 대상이 표시되어, 방해가 되는 인위적인 영상이 나타난다.
그러므로 본 발명의 과제는 차량의 차량 주변을 왜곡 없이 표시하여 그러한 왜곡된 인위적 영상이 표시되는 것을 억제하는 방법과 장치를 고안하는 것이다.
본 발명에서 이러한 과제는 청구항 1에 기술한 특징을 지닌 카메라 서라운드 뷰 시스템에 의해 해결된다. 그러므로 본 발명은 이 첫 번째 특징에 따라 차량용 카메라 서라운드 뷰 시스템을 고안하는 것으로서, 이 카메라 서라운드 뷰 시스템에는 카메라 영상을 제공하는 차량 카메라가 최소한 한 대 부착되어 있으며, 디스플레이 장치에 표시되는 서라운드 뷰 영상이나 주변 영상을 만들기 위해 데이터 처리장치가 이 카메라 영상을 처리하는 바, 이때 데이터 처리장치는 차량 카메라가 포착하는 질감을 차량 주변과 유사한 조절할 수 있는, 차량의 차량 센서가 제공하는 센서 데이터를 기반으로 계산한 재투영면에 다시 투영한다. 본 발명에 따른 카메라 서라운드 뷰 시스템을 실현할 수 있는 어느 한 모델 형태에서는 차량의 차량 주변을 차량 센서가 제공한 센서 데이터가 정확하게 표시한다. 본 발명에 따른 카메라 서라운드 뷰 시스템을 실현할 수 있는 또 다른 모델 형태에서는 센서 데이터에 주차 간격 데이터, 레이더 데이터, 라이다 데이터, 카메라 데이터, 레이저 스캔 데이터 및/또는 동작 데이터가 포함되어 있다. 본 발명에 따른 카메라 서라운드 뷰 시스템을 실현할 수 있는 또 다른 모델 형태에서는 조절할 수 있는 재투영면에 동적으로 변경할 수 있는 격자가 있다. 본 발명에 따른 카메라 서라운드 뷰 시스템을 실현할 수 있는 또 다른 모델 형태에서는 재투영면의 격자가 제공된 센서 데이터에 따라 동적으로 변경될 수 있다. 본 발명에 따른 카메라 서라운드 뷰 시스템을 실현할 수 있는 또 다른 모델 형태에서는 재투영면의 격자는 3차원 격자이다. 더 나아가 본 발명은 청구항 7에 기술한 특징을 지닌 운전자 지원 시스템을 고안하는 것이다. 그러므로 본 발명은 이 두 번째 특징에 따라 차량용 카메라 서라운드 뷰 시스템이 내장된 운전자 지원 시스템을 고안하는 것으로서, 이 카메라 서라운드 뷰 시스템에는 카메라 영상을 제공하는 차량 카메라가 최소한 한 대 부착되어 있으며, 디스플레이 장치에 표시되는 서라운드 뷰 영상을 만들기 위해 데이터 처리장치가 이 카메라 영상을 처리하는 바, 이때 데이터 처리장치는 차량 카메라가 포착하는 질감을 차량 주변과 유사한 조절할 수 있는, 차량의 차량 센서가 제공하는 센서 데이터를 기반으로 계산한 재투영면에 다시 투영한다. 더 나아가 본 발명은 청구항 8에 기술한 특징을 지닌, 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법을 고안하는 것이다. 따라서 본 발명은 다음의 단계를 지닌, 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법을 고안하는 것이다: 차량의 차량 카메라에 의한 차량 주변의 카메라 영상 촬영, 차량 주변의 주변 영상을 생성하기 위해, 촬영된 카메라 영상의 처리 및 차량 카메라가 포착하는 질감을 차량 주변과 유사한 조절할 수 있는, 차량 센서가 제공하는 센서 데이터를 기반으로 계산하는 재투영면에 다시 투영. 본 발명에 따른 방법을 실현할 수 있는 다른 모델 형태는 하위 청구항에 기술되어 있다. 이제 이하에서 차량의 차량 주변을 왜곡 없이 표시하기 위해, 본 발명에 따른 장치와 발명에 따른 방법을 실현할 수 있는 모델 형태를 첨부한 도면을 이용하여 더 상세히 설명하겠다.
여기서 이 도면은 다음과 같다.
도면 1은 본 발명에 따른 카메라 서라운드 뷰 시스템의 예시 모델을 표시하기 위한 블록 다이어그램이다;
도면 2는 차량의 차량 주변을 왜곡 없이 표시하기 위한, 본 발명에 따른 방법의 예시 모델을 표시하는 흐름도이다;
도면 3은 본 발명이 선호하는 모델이다.
도면 1에서 알 수 있는 바와 같이 표시한 예에서 카메라 서라운드 뷰 시스템 1에는 여러 구성품이 장착되어 있다. 도시한 예시 모델에서 카메라 서라운드 뷰 시스템 1에는 카메라 영상을 제공하는 차량 카메라 2가 최소한 한 대 있는 바, 이 영상을 카메라 서라운드 뷰 시스템 1의 데이터 처리장치 3이 차량의 서라운드 뷰 영상 또는 주변 영상으로 처리한다. 데이터 처리장치 3이 만든 서라운드 뷰 영상 또는 차량 주변 영상이 디스플레이 장치 4에 표시된다. 데이터 처리장치 3은 차량의 차량 센서 5가 제공하는 센서 데이터를 기반으로 조절할 수 있는 재투영면을 계산한다. 카메라 서라운드 뷰 시스템 1의 차량 카메라 2가 포착한 질감은 차량 주변과 유사한 조절할 수 있는 이 계산한 재투영면에 다시 투영되는 바, 이러한 재투영에 의해 왜곡 또는 왜곡된 인위적 영상이 최소화되거나 제거된다. 도면 1에 도시한 센서 5는 예를 들어 주차 간격 제어장치 또는 주차 간격 조절장치의 센서이다. 또한 차량에 장착된 센서는 레이더 센서, 라이다 센서일 수 있다. 가능한 또 다른 모델 형태에서는 조절할 수 있는 재투영면을 계산하기 위해 차량의 다른 카메라 2가, 특히 스테레오 카메라나 모노 카메라가 센서 데이터를 제공한다. 가능한 또 다른 모델 형태에서는 이러한 센서 데이터를 차량의 레이저 스캔 시스템이 제공한다. 가능한 또 다른 모델 형태에서는 재투영면을 계산하기 위해 데이터 처리장치 3이 동작 데이터나 구조 데이터도 이용한다. 차량 센서 5가 제공한 센서 데이터는 높은 정확도로 차량 주변 또는 차량 주변 내의 대상을 나타낸다. 이러한 대상이란 예를 들어 차량의 인근에 위치한, 예컨대 주변 5미터 이내에 있는 다른 차량이기도 하다. 이러한 대상이란 또한 차량에서 5미터 이내 떨어진 인근을 지나는 보행자이기도 한다. 특히 데이터 처리장치 3이 센서 데이터를 기반으로 계산한 재투영면에는 동적으로 변경할 수 있는 격자 또는 그물망이 있다. 실현할 수 있는 한 모델 형태에서 재투영면의 이 격자는 제공된 센서 데이터에 따라 동적으로 변경된다. 특히 재투영면의 격자는 3차원 격자이다. 이 3차원 격자에서는 특히 중요한 것은 차량 주변을 표시하는 데 사용되는 격자 기반의 주변 모델이다. 격자 기반의 주변 모델은 차량의 주변을 셀 단위로 나누고 각 셀에 그 주변을 기술하는 특정을 저장하는 것에 기반을 두고 있다. 소위 말하는 점유 격자에서는 예를 들어 각 셀에 대해 "통행 가능"과 점유됨"으로의 분류가 저장되어 있다. 통행 가능성 외에 다른 특징을 이용한 분류도, 예를 들어 반사된 레이더 에너지도 저장될 수 있다. 이러한 격자의 장점은 양호한 압축 가능성 외에 스테레오 카메라나 레이더, 라이다 또는 초음파와 같은 여러 상이한 센서의 융합도 가능하게 하는 높은 추상화 정도이다. 셀을 "통행 가능"과 "점유됨"으로 분류하는 것에 추가하거나 또는 분류하는 대신 각 격자 셀에 대해, 특히 장애물이나 또는 대상을 나타내는 "점유된 셀"에 대해 특징으로서 높이 값을 저장할 수 있다. 높이 정보는 추가 자원을 적게 사용하면서 저장되고. 주변 모델을 효율적으로 저장하고 전송할 수 있도록 한다. 특히 위에서 기술한 바와 같이 높이 정보를 점유 격자의 각 격자 � �에 귀속시킴으로써 이제 차량 주변에 대한 3차원 점유 지도가 생성되며, 이 지도를 본 발명의 범위 내에서 유용하게 사용할 수 있다. 이때 이 3차원 점유 지도는 조절할 수 있는 재투영면으로 이용될 수 있는 바, 이 투영면에 차량 카메라가 포착한 질감이 다시 투영되기 때문이다. 이때 이 질감을 3차원 점유 지도나 3차원 격자 셀에 직접 투영하는 것을 선호한다. 데이터 처리장치 3이 계산한 재투영면은 정적인 면이 아니라 동적인 면이며, 차량 센서 5가 제공하는 현재의 센서 데이터에 맞추어 이 면을 조절할 수 있다. 실현할 수 있는 한 모델 형태에서는 이 차량 센서 5가 전방 모노 카메라거나 스테레오 카메라일 수 있다. 또한 센서 장치 5는 데이터를 제공하는 라이다 시스템의 형태나 또는 주변의 레이더 데이터를 데이터 처리장치 3에 전송하는 레이더 시스템의 형태를 띨 수 있다. 데이터 처리장치 3에는 센서 데이터를 처리하여 거기서 재투영면을 실시간으로 계산하는 마이크로 프로세서가 하나 이상 장착되어 있을 수 있다. 차량 카메라 2가 포착한 질감은 차량 주변과 유사한, 계산한 이 재투영면에 투영되거나 또는 다시 투영된다. 차량 카메라 2의 디스플레이는 변화할 수 있다. 실현할 수 있는 한 모델 형태에서는 차량에 차량의 다른 네 면에 차량 카메라 2를 네 대 장착한다. 여기서 이 차량은 도로용 차량, 특히 화물차나 승용차인 것이 좋다. 위에서 언급한 인위적 영상을 줄이거나 제거하기 위해, 본 발명에 따른 카메라 서라운드 뷰 시스템 1을 사용하여 카메라 시스템의 카메라 2에 의해 포착된 주변의 질감을 조절할 수 있는 재투영면을 통해 다시 투영한다. 따라서 본 발명에 따른 카메라 서라운드 뷰 시스템 1에 의해 표시된 차량 주변의 영상 품질이 현저하게 개선된다. 따라서 차량 주변에 있는 대상이, 예를 들어 근처에 주차해 있는 차량이나 근처에 있는 사람이 정적인 재투영면을 사용하는 시스템에서보다 적게 왜곡되어 나타난다. 도면 2는 차량의 차량 주변을 왜곡 없이 표시하기 위한, 본 발명에 따른 방법의 모델 형태를 표시하기 위한 흐름도이다. 첫 번째 단계 S1에서 차량 주변의 카메라 영상이 차량의 차량 카메라 2에 의해 만들어진다. 예를 들어 카메라 영상은 차량의 상이한 면에 부착되어 있는 여러 대의 차량 카메라 2에 의해 만들어진다. 그 다음 만들어진 카메라 영상을 단계 S2에서 처리하여 차량 주변의 주변 영상을 생성한다. 실현할 수 있는 한 모델 형태에서는 만들어진 카메라 영상을 도면 1에 도시되어 있는 바와 같은 데이터 처리장치 3이 처리한다. 주변 영상을 적절하게 생성하기 위해서는 카메라 영상을 실시간으로 처리하는 것이 좋다. 그 다음의 단계 S3에서는 먼저 제공된 센서 데이터를 기반으로 하여 재투영면을 계산한 후 차량 카메라가 포착한 질감을 조절할 수 있는 이 계산한 재투영면에 다시 투영한다. 조절할 수 있는 이 재투영면은 동적으로 변할 수 있는 격자의 형태를 띠는 바, 이 격자는 제공된 센서 데이터에 따라 동적으로 변한다. 이 격자는 특히 3차원 격자이다. 실현할 수 있는 한 모델 형태에서 도면 2에 도시한 방법은 마이크로 프로세서에 의해 실행될 수 있는 컴퓨터 명령이 포함되어 있는 컴퓨터 프로그램에 의해 구현될 수 있다. 실현할 수 있는 한 모델 형태에서 이 프로그램은 데이터 매체나 프로그램 메모리에 저장된다. 도면 3은 본 발명이 선호하는 모델 형태이다. 도면에서 조절할 수 있는 재투영면은 동적으로 변할 수 있는 격자이다. 이때 이 격자는 4개의 구역으로, 즉 "좌측 영역"(SektL), "우측 영역"(SektR), "전방 영역"(SektV) 및 "후방 영역"(SektH)으로 이루어져 있다. 이 영역 각각은 재투영 거리에서 개별적으로 변할 수 있다. 이를 위해 4개의 매개변수가, 즉 "좌측 거리"(DistL), "우측 거리"(DistR), "후방 거리"(DistH) 및 "전방 거리"(DistV)이 있다. 따라서 각 영역을 대상이나 장애물과 차량 (6) 사이의 거리에 맞추어 개별적으로 설정할 수 있다. 이에 대한 예시를 도면 3에 도시한 바, 여기서는 동적 격자가 영역 형태로나 또는 영역을 기준으로 하여 어떤 정의된 시작 거리(직선)에서 센서에 의해 측정한 대상 거리(점선)까지로 변경된다. |
