카메라 영상의 반사광 제거 장치 및 방법

카메라 영상의 반사광 제어 장치 및 방법{Apparatus and method for removing reflected light of camera image}

본 발명은 카메라 영상의 반사광 제어 장치 및 방법에 관한 것으로, 더욱 상세하게는 차량의 윈드쉴드(windshield) 내측에 구비되는 전방 카메라로부터 촬영되는 영상에서 윈드쉴드에 의한 반사광을 제거하는 장치 및 방법에 관한 것이다.

외부의 빛은 윈드쉴드를 통과해 차량 내부로 입사되게 되며, 외부에서 차량 내부로 입사되는 빛은 대쉬보드에 반사되어 윈드쉴드에 나타날 수 있다.

한편, 차량의 전방을 촬영하는 카메라는 윈드쉴드 내측에 구비되어, 차량 내부에서 윈드쉴드를 통과하여 전방의 영상을 촬영하게 된다. 따라서, 윈드쉴드에 반사광이 나타나게 되면, 윈드쉴드에 나타난 반사광까지 그대로 촬영되어 카메라를 통해 촬영되는 영상에 반사광이 나타나게 된다. 물론, 흐린 날씨에는 반사광이 약하게 나타날 수 있으나, 햇빛이 강한 날씨에는 반사광에 의해 촬영 영상 상에서 실제 외부의 상황이 제대로 나타나지 않을 수 있다.

이 경우, 해당 촬영 영상을 차선인지시스템 등에 적용하는 경우에는 반사광으로 인해 인식률이 떨어지거나, 잘못 인식되는 경우가 발생하게 된다.

본 발명의 목적은, 차량의 윈드쉴드 내측에 구비되는 전방 카메라로부터 촬영되는 영상에서 윈드쉴드에 의한 반사광을 제거하여 전방 영상의 인식 오류를 최소화하도록 하는 카메라 영상의 반사광 제어 장치 및 방법을 제공함에 있다.

본 발명의 다른 목적은, 카메라와 윈드쉴드의 필터 중 어느 하나를 온/오프시키며 촬영된 영상들의 차영상을 보정하는 것으로서 보다 쉽게 카메라 영상의 반사광을 제거하는 것이 가능하도록 한 카메라 영상의 반사광 제어 장치 및 방법을 제공함에 있다.

상기의 목적을 달성하기 위한 본 발명에 따른 카메라 영상의 반사광 제어 장치는, 차량의 윈드쉴드 및 카메라 렌즈에 각각 배치되어 반사광을 통과시키는 필터 중 어느 하나와 연결되어, 연결된 필터의 온 또는 오프 동작을 제어하는 제어신호를 일정 주기마다 상기 필터 제어부에 연결된 필터로 출력하는 필터 제어부, 상기 필터 제어부로부터의 제어신호에 따라 상기 필터 제어부에 연결된 필터가 온 또는 오프되는 동안 상기 차량의 윈드쉴드 방향으로 설치된 카메라를 통해 촬영된 영상을 획득하는 영상 획득부, 상기 카메라를 통해 촬영된 영상 중 상기 필터 제어부에 연결된 필터가 오프된 상태에서 촬영된 일반 영상에서 상기 필터 제어부에 연결된 필터가 온 된 상태에서 촬영된 반사 영상을 차감하여 차영상을 생성하는 차영상 생성부, 및 상기 차영상의 블러드 영상을 토대로 상기 차영상에서 상기 반사 영상에 해당되는 영역의 밝기 레벨을 보정하여 최종영상을 획득하는 차영상 보정부를 포함하는 것을 특징으로 한다.

상기 차영상 보정부는, 상기 블러드 영상으로부터 밝기 레벨을 검출하여 상기 차영상에서 상기 반사 영상에 해당되는 영역의 밝기 레벨을 보정하는 것을 특징으로 한다.

상기 차영상 보정부는, 상기 차영상에서 상기 반사 영상에 해당되는 영역에 대하여 홀 메움(hole filling)하는 것을 특징으로 한다.

상기 차영상 보정부는, 상기 반사 영상으로부터 에지 영역을 검출하고, 검출된 상기 에지 영역에 근거하여 상기 차영상에서 상기 반사 영상에 해당되는 영역을 인식하는 것을 특징으로 한다.

한편, 상기의 목적을 달성하기 위한 본 발명에 따른 카메라 영상의 반사광 제어 방법은, 차량의 윈드쉴드 및 카메라 렌즈에 각각 배치되어 반사광을 통과시키는 필터들 중 어느 하나의 필터에 대한 온 또는 오프 동작을 제어하는 제어신호를 일정 주기마다 출력하는 단계, 상기 제어신호에 따라 상기 필터들 중 어느 하나의 필터가 온 또는 오프되는 동안 상기 차량의 윈드쉴드 방향으로 설치된 카메라를 통해 촬영된 영상을 획득하는 단계, 한 주기 동안 상기 카메라를 통해 촬영된 영상 중 상기 필터들 중 어느 하나의 필터가 오프된 상태에서 촬영된 일반 영상에서 상기 필터들 중 어느 하나의 필터가 온 된 상태에서 촬영된 반사 영상을 차감하여 차영상을 생성하는 단계, 및 상기 차영상의 블러드 영상을 토대로 상기 차영상에서 상기 반사 영상에 해당되는 영역의 밝기 레벨을 보정하여 최종영상을 획득하는 단계를 포함하는 것을 특징으로 한다.

상기 최종영상을 획득하는 단계는, 상기 블러드 영상으로부터 밝기 레벨을 검출하여 상기 반사 영상에 해당되는 영역에 대한 밝기 레벨을 보정하는 단계를 포함하는 것을 특징으로 한다.

상기 최종영상을 획득하는 단계는, 상기 차영상에서 상기 반사 영상에 해당되는 영역에 대하여 홀 메움(hole filling)하는 단계를 포함하는 것을 특징으로 한다.

상기 최종영상을 획득하는 단계는, 상기 반사 영상으로부터 에지 영역을 검출하는 단계를 포함하며, 검출된 상기 에지 영역에 근거하여 상기 차영상에서 상기 반사 영상에 해당되는 영역을 인식하는 것을 특징으로 한다.

본 발명에 따르면, 차량의 윈드쉴드 내측에 구비되는 전방 카메라와 윈드쉴드에 배치된 필터 중 어느 하나를 온/오프시키며 촬영된 영상들의 차영상을 보정하는 것으로서, 보다 쉽게 카메라 영상에서 윈드쉴드에 의한 반사광을 제거할 수 있으며, 카메라 영상의 반사광을 제거함으로써 해당 영상을 통한 인식 오류를 최소화할 수 있는 이점이 있다.

또한, 본 발명은 반사광을 최소화하기 위한 가림막이 필요치 않으므로 이를 제거함으로써 운전자가 보다 넓은 시야를 확보할 수 있으며, 가림막으로 인한 윈드쉴드 또는 루프 등의 디자인에 제약이 없어 차량 제조 시에 보다 다양한 디자인을 적용할 수 있는 이점이 있다.

도 1은 본 발명에 따른 카메라 영상의 반사광 제어 장치가 적용된 차량을 도시한 도이다.
도 2는 본 발명에 따른 카메라 영상의 반사광 제어 장치의 구성을 도시한 블록도이다.
도 3 내지 도 9는 본 발명에 따른 카메라 영상의 반사광 제어 장치의 동작을 설명하는데 참조되는 예시도이다.
도 10은 본 발명에 따른 카메라 영상의 반사광 제어 방법에 대한 영상 획득 동작의 흐름을 도시한 순서도이다.
도 11은 본 발명에 따른 카메라 영상의 반사광 제어 방법에 대한 동작 흐름을 도시한 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.

도 1은 본 발명에 따른 카메라 영상의 반사광 제어 장치가 적용된 차량을 도시한 도이다.

도 1에 도시된 바와 같이, 본 발명에 따른 카메라 영상의 반사광 제어 장치(이하, '반사광 제어 장치'라 칭한다.)(100)를 통해 카메라(5)를 통해 촬영되는 영상의 반사광을 제거하기 위해서, 사전에 차량(1)의 윈드쉴드(windshield)(3)와 카메라(5)의 렌즈에 필터가 배치된다. 여기서, 차량(1)의 윈드쉴드(3)에 배치된 필터(이하, '제1 필터'라 칭한다.) 및 카메라(5)의 렌즈에 배치된 필터(이하, '제2 필터'라 칭한다.)는 윈드쉴드(3)상의 반사광을 검출하기 위한 편광필터(polarizing filter)인 것이 바람직하다.

반사광 제어 장치(100)는 제1 필터 또는 제2 필터에 연결되어, 제1 필터 또는 제2 필터의 온/오프 동작을 제어하며 카메라(5)를 통해 촬영된 영상을 획득한다. 바람직하게, 반사광 제어 장치(100)는 제2 필터의 온/오프 동작을 제어하는 것으로 하나, 이에 한정되는 것은 아니다. 다만, 이하의 실시예에서는 제2 필터의 온/오프 동작을 제어하는 것을 예로 하여 설명한다.

이때, 반사광 제어 장치(100)는 필터를 오프(off) 시킨 상태에서 일반영상을 획득하고, 일정주기마다 필터를 온(on) 시켜서 일반영상에 대응하는 반사 영상을 획득하게 된다. 따라서, 반사광 제어 장치(100)는 일반 영상과 반사 영상을 통해 카메라(5)에 의해 촬영된 영상의 반사광을 제거하게 된다.

이에, 반사광 제어 장치(100)에 대한 구체적인 구성 설명은 도 2를 참조하도록 한다.

도 2는 본 발명에 따른 카메라 영상의 반사광 제어 장치의 구성을 도시한 블록도이다.

도 2를 참조하면, 본 발명에 따른 반사광 제어 장치(100)는 제어부(110), 필터 제어부(120), 영상 획득부(130), 차영상 생성부(140), 차영상 보정부(150), 최종영상 처리부(160) 및 저장부(170)를 포함한다. 이때, 제어부(110)는 반사광 제어 장치(100)의 각 부의 동작을 제어한다.

필터 제어부(120)는 제2 필터와 연결되어, 제2 필터로 제어신호를 출력한다. 이때, 필터 제어부(120)에 의해 출력되는 제어신호는 제2 필터의 온/오프 동작을 제어하는 신호이다.

한편, 필터 제어부(120)는 기 설정된 주기에 따라 제2 필터의 동작을 온/오프 시킨다. 이때, 필터 제어부(120)는 평상시는 제2 필터를 오프 시키고, 기 설정된 주기마다 한 번씩 제2 필터를 온 시키도록 한다.

예를 들어, 필터 제어부(120)는 제1 주기가 시작하는 시점에 제2 필터를 오프 시키고, 제1 주기의 종료 시점에 도달하면 제2 필터를 온 시킨다. 다시 제2 주기가 시작하면 제2 필터를 오프 시키고, 제2 주기의 종료 시점에 도달하면 제2 필터를 온 시킨다.

따라서, 제2 필터는 기 설정된 주기마다 한 번씩 온 되어, 편광만을 통과시키게 된다.

영상 획득부(130)는 차량에 구비된 카메라를 통해 촬영되는 영상을 획득한다. 여기서, 카메라는 차량의 윈드쉴드 방향으로 설치된 것으로 한다. 이때, 영상 획득부(130)는 제2 필터의 온/오프 동작에 따라 일반 영상과 반사 영상을 획득하게 되는데, 제2 필터가 온 된 상태에서는 일반 영상을, 필터가 오프 된 상태에서는 반사 영상을 획득하게 된다.

차영상 생성부(140)는 카메라를 통해 촬영된 일반 영상과 반사 영상을 이용하여 차영상을 생성한다. 이때, 차영상 생성부(140)는 한 주기 동안 카메라를 통해 촬영된 영상 중 제2 필터가 오프된 상태에서 촬영된 일반 영상에서 제2 필터가 온 된 상태에서 촬영된 반사 영상을 차감하여 차영상을 생성한다.

차영상 보정부(150)는 차영상 생성부(140)에 의해 생성된 차영상을 보정하여 최종영상을 획득한다. 이때, 차영상 보정부(150)는 차영상을 보정하는데 참고가 되는 참고 영상으로서, 차영상에 대한 블러드 영상을 생성한다. 차영상 보정부(150)는 차영상의 블러드 영상으로부터 밝기 레벨을 검출하여 차영상의 밝기 레벨을 보정한다.

물론, 차영상 보정부(150)는 차영상 전체의 밝기 레벨을 보정하는 것이 아니라, 차영상에서 반사 영상에 해당되는 영역을 보정한다. 이 경우, 차영상 보정부(150)는 반사 영상의 에지를 검출하고, 반사 영상의 에지 정보에 근거하여 차영상에서 반사 영상에 해당되는 영역을 감지한다. 따라서, 차영상 보정부(150)는 차영상에서 반사 영상의 에지(edge)의 내부 영역을 보정하는 것으로 최종영상을 획득하게 된다.

한편, 차영상 보정부(150)는 반사 영상의 에지의 내부 영역에 대하여 홀 메움(hole filling)을 추가로 수행할 수 있다.

최종영상 처리부(160)는 차영상 보정부(150)에 의해 획득된 최종영상을 저장부(170)에 저장하거나, 카메라 촬영 영상을 기반으로 하는 시스템에 제공할 수 있다.

도 3 내지 도 9는 본 발명에 따른 카메라 영상의 반사광 제어 장치의 동작을 설명하는데 참조되는 예시도이다.

먼저, 도 3은 차량 전방의 실제 모습을 나타낸 것이고, 도 4는 차량 내측에 구비된 카메라를 통해 촬영된 전방 영상을 나타낸 것으로, 제2 필터가 오프 된 상태에서 촬영한 일반 영상이다. 도 4에 도시된 영상은 차량 전방의 실제 모습과 유사하긴 하나, 카메라가 윈드쉴드를 통해 전방의 모습을 촬영하기 때문에 윈드쉴드상의 반사광이 그대로 촬영 영상에 나타나게 된다.

이 경우, 운전자가 전방 상황을 확인하는 데는 크게 문제가 되지 않으나, 전방 카메라의 영상을 기반으로 동작하는 센서 등에서 반사광이 포함된 영상을 이용하는 경우 인식률이 저하될 수 있게 된다.

도 5는 도 4와 마찬가지로 차량 내측에 구비된 카메라를 통해 촬영된 전방 영상을 나타낸 것으로, 도 5는 제2 필터가 온 된 상태에서 촬영한 반사 영상이다. 다시 말해, 제2 필터가 온 되면 다른 빛은 제1 필터 및 제2 필터에 의해 차단되고, 윈드쉴드에 반사된 빛만 통과되기 때문에, 이 경우 카메라에 의해 촬영된 영상은 윈드쉴드의 반사광만을 포함하게 된다.

도 6은 도 4의 일반 영상에서 도 5의 반사 영상을 제거한 차영상을 나타낸 것이다. 도 7은 도 6의 차영상을 블러링(blurring) 한 블러드 영상을 나타낸 것이다. 도 7의 블러드 영상은 반사 영상에 해당하는 영역에 대한 밝기 레벨이 나머지 영역에 대한 밝기 레벨과 명확하게 차이가 나기 때문에, 블러드 영상의 밝기 레벨 정보를 검출하여 차영상을 보정하는데 적용한다.

도 8은 도 5의 반사 영상으로부터 검출된 에지 영역을 나타낸 것이다. 도 8에 도시된 반사 영상의 에지는 추후 차영상 보정 시 홀 메움을 하는데 적용된다.

도 9는 도 6의 차영상에서 도 8의 에지 영역에 대해 도 7의 블러드 영상에서 추출된 밝기 레벨에 따라 밝기를 보정하고, 홀 메움을 수행하여 획득된 최종영상을 나타낸 것이다. 도 9에 도시된 바와 같이, 도 4의 일반 영상에 비해 반사광이 많이 제거되었음을 확인할 수 있다.

이 경우, 카메라를 통해 촬영된 전방 영상에서 반사광을 최대한 제거함으로써 전방 영상을 이용하는 센싱장치에 적용 시 인식오류 및 오차를 최소화할 수 있다.

상기와 같이 구성되는 본 발명에 따른 카메라 영상의 반사광 제어 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.

도 10은 본 발명에 따른 카메라 영상의 반사광 제어 방법에 대한 영상 획득 동작의 흐름을 도시한 순서도이다.

도 10을 참조하면, 본 발명에 따른 반사광 제어 장치는 차량의 전방 영상을 촬영하기 위해 차량 내부에서 윈드쉴드를 향하도록 배치된 카메라를 온(ON) 시킨다(S100).

이때, 반사광 제어 장치는 카메라에 배치된 제2 필터로 오프 제어신호를 출력하여, 제2 필터를 오프 시킨다(S110). 이 경우, 반사광 제어 장치는 제2 필터가 오프 된 상태이므로, 카메라를 통해 일반 영상을 획득하게 된다(S120).

반사광 제어 장치는 일정 시간(Δt)이 경과하기 전까지는 제2 필터를 오프 상태로 유지하고, 일정 시간이 경과하면(S130), 제2 필터로 온 제어신호를 출력하여, 제2 필터를 온 시킨다(S140).

이 경우, 반사광 제어 장치는 제2 필터가 온 된 상태이므로, 카메라를 통해 반사 영상을 획득하게 된다(S150).

도 11은 본 발명에 따른 카메라 영상의 반사광 제어 방법에 대한 동작 흐름을 도시한 순서도이다.

도 11을 참조하면, 본 발명에 따른 반사광 제어 장치는 도 10에서 카메라를 통해 촬영된 일반영상 및 반사영상을 획득한다(S200).

이후, 반사광 제어 장치는 일반영상에서 반사영상을 제거하여 차영상을 획득하고(S210), 차영상의 보정을 위해 반사영상의 에지를 검출한다(S220).

또한, 반사광 제어 장치는 차영상의 블러드 영상을 생성하고, 차영상의 블러드 영상으로부터 밝기 레벨을 검출한다(S240). 이때, 반사광 제어 장치는 'S240' 과정에서 검출된 밝기 레벨을 근거로 차영상을 보정한다(S250).

'S250' 과정은 차영상에서 반사 영상의 에지 영역에 해당되는 영역을 보정하는 것으로, 차영상에서 해당 영역의 밝기 레벨을 조정한다. 또한, 반사광 제어 장치는 차영상에서 해당 영역에 홀 메움을 수행한다. 이로써, 반사광 제어 장치는 카메라 영상에서 반사광을 제거한 최종영상을 획득하게 된다(S260).

이상과 같이 본 발명에 의한 카메라 영상의 반사광 제어 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.

1: 차량 3: 윈드쉴드
5: 카메라 7: 필터
100: 반사광 제어 장치 110: 제어부
120: 필터 제어부 130: 영상 획득부
140: 차영상 생성부 150: 차영상 보정부
160: 최종영상 처리부 170: 저장부