영상 정보에 기반한 승객 감지 시스템 및 이의 방법{Passenger Sensing System based on image information and Method Thereof}
본 발명은 영상 정보에 기반한 승객 감지 시스템 및 이의 방법에 관한 것으로서, 더욱 상세하게는, 영상 정보를 이용하여 차량 내의 승객을 감지하는 승객 감지 시스템 및 이의 방법에 관한 것이다.
최근, 축전 용량 방식을 이용하여 차량에 탑승한 승객을 인식하는 축전 용량형 승객 감지 장치가 개발된 바 있다. 이 축전 용량형 승객 감지 장치는 도 1에 도시된 바와 같이, 시트 하부에 구비되어, 상판(Antenna)과 하판(Guard)으로 이루어진 축전판과 차체 그라운드(Ground) 사이에 생기는 축전 용량의 차이를 이용하여 성인 또는 유아인지를 판단한다. 이러한 축전 용량형 승객 인식 장치는 공기의 유전율(C_공기)과 인체의 60%가 수분으로 이루어진 사람의 유전율(C_사람)이 다른 점에 착안하여, 승객을 인식하는 장치이다. 즉, 축전판 사이에 사람이 있으면, 축전용량이 변화하고, 이 변화한 축전 용량에 기초하여 승객의 탑승 여부 및 성인 또는 유아 여부를 판단한다. 도 2는 도 1에 도시된 축전 용량형 승객 감지 장치를 일례를 보여주는 블록도이다. 도 2를 참조하면, 기존의 축전 용량형 승객 감지 장치는 크게 센싱부(20)와 제어 유닛(20)으로 구성된다. 센싱부(20)는 시트 쿠션의 아래에 구비되어, 교류 형태의 입력 전원을 인가받는 축전판(22)과 이 축전판(22)과 동일한 평면상에 배치되는 그라운드 전원 인가받는 그라운드 판(24)으로 구성된다. 제어 유닛(30)은 외부 전원을 인가받아서 상기 축전판(22)에 교류 형태의 입력 전원을 인가하고, 상기 그라운드 판(24)에 그라운드 전원을 인가한다. 이러한 제어 유닛(30)은 상기 축전판(22)과 그라운드판(24)에 입력 전원과 그라운든 전원을 각각 인가함에 따라 이들 전극들(22, 24) 사이에 형성되는 축전 용량의 변화를 감지하여, 승객을 감지한다. 도 3은 도 2에 도시된 승객 감지 장치의 동작 감지 원리를 설명하기 위한 도면으로서, 여기서, 도 3의 (b)는 도 2에 도시된 절단선 I-I'에 따라 절단한 단면도이다. 먼저, 도 3을 참조하면, 센싱부(20)는 축전판(22)과 그라운드판(24)의 2가지 전극이 하나의 면에 배치되는 형태로 구성되며, 제어 유닛(30)에서는 축전판에 교류 파형을 가하여 축전판(22)과 그라운드판(24) 사이의 축전 용량을 측정하고, 측정된 축전 용량에 따라 무게값을 산출하여 승객의 존재 여부 및 승객의 연령을 판단하게 된다. 도 4는 도 3에 도시된 기존의 승객 감지 장치의 문제점을 설명하기 위한 도면이다. 도 4에 도시된 바와 같이 기존의 승객 감지 장치의 센싱부(20)는 2개의 전극(+, - 극)이 하나의 평면에 놓인 구조로 되어 있다. 그런데, 이러한 구조의 단점은 가벼운 도전체로 이루어진 물체가 양극판에 걸쳐지게 놓여지게 되면, 사람이 아니라 물체임에도 불구하고, 제어 유닛이 이를 성인으로 오인식하는 문제점이 있다. 예컨대, 호일에 쌓여 있는 물체를 올려놓는 경우, 성인으로 오인식한다. 또한 무게만을 측정하기 때문에 승객의 정확한 앉은 키 및 자세 등 보다 다양한 승객 정보를 확보하는데 어려움이 있다. 즉, 이러한 무게 정보만으로는 차량 내에 설치된 다양한 차량 관리 시스템을 보다 효율적으로 제어하는데 한계가 있다.
따라서, 본 발명의 목적은 정확하고, 동시에 다양한 승객 정보를 확보할 수 있는 승객 감지 시스템을 제공하는 데 있다. 본 발명의 다른 목적은 상기 시스템을 이용하여 승객 감지 방법을 제공하는 데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 승객 감지 시스템은, 차량의 실내 환경을 제어하는 차량 관리 시스템에서 활용하기 위하여, 승객 감지 정보를 생성하는 것으로서, 차량 내부의 상부에 장착되어, 상기 차량 내부를 촬영하는 카메라와, 상기 카메라에 의해 촬영된 영상 이미지로부터 상기 차량에 탑승한 승객의 머리 패턴을 추출하는 영상 처리부 및 상기 추출된 머리 패턴을 이용하여 승객의 탑승 여부 정보, 차량 내의 승객 위치 정보, 차량 내의 승객의 앉은 키 정보 및 승객의 연령 정보를 포함하는 상기 승객 감지 정보를 생성하는 승객 감지부를 포함한다. 본 발명의 실시예에서, 상기 승객 감지부는 상기 영상 이미지에 나타나는 머리 패턴의 개수를 분석하여 상기 승객의 탑승 여부 정보를 생성한다. 또한 본 발명의 실시예에서, 상기 승객 감지부는 상기 머리 패턴에 대응하는 상기 영상 이미지 내의 픽셀 좌표를 이용하여 차량 내의 승객 위치 정보를 생성한다. 또한 본 발명의 실시예에서, 상기 카메라는 상기 차량 내 승객의 머리까지의 거리값을 감지하는 거리 센서를 더 포함한다. 또한 본 발명의 실시예에서, 상기 승객 감지부는 상기 카메라로부터 차량 좌석까지의 기 설정된 거리값과 상기 승객의 머리까지의 거리값 간의 차이값을 차량 내의 승객의 앉은 키 정보로서 생성한다. 또한 본 발명의 실시예에서, 상기 승객 감지부는 상기 앉은 키 정보를 이용하여 상기 승객의 연령 정보를 생성한다. 또한 본 발명의 실시예에서, 상기 승객 감지부는 상기 영상 이미지에 나타나는 상기 머리 패턴의 크기값을 이용하여 상기 승객의 연령 정보를 생성한다. 상기 차량 관리 시스템은 에어백 전개를 제어하는 차량용 에어백 제어 유닛, 에어컨의 풍향 및 세기를 제어하는 차량용 에어컨 제어 유닛 및 블랙 박스 제어 유닛을 포함한다. 본 발명의 다른 일면에 따른 승객 감지 방법은 차량 내부의 상부에 장착된 카메라를 통해 상기 차량 내부를 촬영하는 단계와, 상기 카메라에 의해 촬영된 영상 이미지로부터 상기 차량에 탑승한 승객의 머리 패턴을 추출하는 단계 및 상기 추출된 머리 패턴을 이용하여 승객의 탑승 여부 정보, 차량 내의 승객 위치 정보, 차량 내의 승객의 앉은 키 정보 및 승객의 연령 정보를 포함하는 승객 감지 정보를 획득하는 단계를 포함한다.
본 발명의 의하면, 승객 탑승 여부, 승객의 수, 위치 및 승객의 앉은 키와 같은 다양한 승객 정보를 획득함으로써, 이러한 다양한 승객 정보에 이용하여 에어백 시스템, 에어컨 시스템, 블랙 박스 등과 같은 운전자에게 안전 및 편의를 제공하는 다양한 차량 제어 시스템을 보다 효율적으로 운용할 수 있는 장점을 제공한다.
도 1은 일반적인 축전 용량 방식을 이용하여 축전 용량형 승객 감지 장치의 개념을 보여주는 도면이다.
도 2는 도 1에 도시된 축전 용량형 승객 감지 장치를 일례를 보여주는 블록도이다.
도 3은 도 2에 도시된 승객 감지 장치의 동작 감지 원리를 설명하기 위한 도면이다.
도 4는 도 3에 도시된 기존의 승객 감지 장치의 문제점을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 승객 감지 시스템의 블록도이다.
도 6은 도 5에 도시된 카메라가 차량 실내의 설치위치를 보여주는 도면이다.
도 7은 도 5에 도시된 승객 감지부에 의해 차량 내의 승객의 앉은 키 정보와 승객의 연령 정보의 측정 원리를 보여주는 도면이다.
도 8은 도 5에 도시된 승객 감지 시스템에 의해 생성된 승객 감지 정보를 제공받기 위해, 상기 승객 감지 시스템과 각종 차량용 전장 유닛 간의 네트워크 연결을 보여주는 도면이다.
도 9는 본 발명의 일실시예에 따른 승객 감지 방법을 보여주는 순서도이다.
본 발명의 실시 예에서는, 차량 실내를 관리할 수 있는 방안이 개시된다. 구체적으로, 본 발명의 실시 예에서는, 차량 내의 상부에 장착된 카메라를 통해 획득한 영상 정보를 이용하여 승객의 탑승 여부, 승객의 앉은 키, 승객의 위치 등을 포함하는 다양한 승객 정보들을 정확하게 판별할 수 있는 방안이 개시된다. 이하, 첨부된 도면을 참조하여 본 발명의 일실시예에 대해 상세히 설명하기로 한다. 도 5는 본 발명의 실시예에 따른 승객 감지 시스템의 블록도이다. 도 5를 참조하면, 본 발명의 실시예에 따른 승객 감지 시스템(100)은 차량의 실내 환경을 제어하는 차량 관리 시스템에서 활용하기 위한 다양한 승객 감지 정보를 생성한다. 이러한 승객 감지 정보는 특별히 한정하는 것은 아니지만, 차량 관리 유닛으로서, 에어백 전개를 제어하는 차량용 에어백 제어 유닛, 에어컨의 풍향 및 세기를 제어하는 차량용 에어컨 제어 유닛 및 블랙 박스 제어 유닛 등으로 제공되어, 운행 및 차량 실내 환경을 안전하고, 효율적으로 제어하는 데 활용될 수 있다. 이러한 차량 관리 시스템으로 승객 감지 정보를 제공하는 승객 감지 시스템(100)은 카메라(110), 영상 처리부(120), 승객 감지부(130)를 포함한다. 카메라(110)는 도 6에 도시된 바와 같이, 차량 내의 상부에 설치되어, 차량 내부를 촬영하는 구성으로서, 렌즈와, 이미지 센서 및 이들을 제어하는 제어 유닛을 포함하는 모듈 형태로 구현될 수 있다. 이러한 모듈형태로 구현된 카메라(110)는 추가적으로 상기 제어 유닛에 의해 제어되는 거리 센서(도시되지 않음)를 더 포함하며, 이 거리 센서에 의해 자신으로부터 앞좌석 승객의 머리 및/또는 뒷좌석의 승객의 머리까지의 거리를 감지할 수 있다. 이러한 거리값을 정확하게 측정하기 위해서는, 차량 주행 과정에서 발생하는 진동에 거리 센서의 움직임이 영향을 받지 않아야 한다. 따라서, 도면에서 상세히 도시되지는 않았으나, 댐퍼와 같은 진동 흡수 부재를 통해 차량 내의 상측에 장착될 수 있다. 영상 처리부(120)는 카메라(110)에 의해 촬영된 영상 이미지로부터 상기 차량에 탑승한 승객의 머리 패턴을 추출하는 구성으로서, 상기 영상 이미지는 프레임 단위로 구성되며, 각 프레인 단위에서 나타나는 머리 패턴을 분석한다. 예컨대, 영상 처리 분야에서 사용되는, 얼굴 검색 알고리즘의 일종인 아다부스트 기법을 이용하여 영상 이미지로부터 머리 패턴을 추출한다. 즉, 각 영상 이미지는 매트릭스 형태로 배열된 다수의 픽셀로 구성되고, 각 픽셀들은 0~255의 계조로 표현될 수 있다. 0 계조를 화이트로 가정하고, 255조 계조를 블랙으로 가정할 때, 승객의 머리 패턴을 구성하는 픽셀들은 255 계조 또는 255 계조에 근접한 값들로 분포할 것이다. 머리 패턴의 계조 범위를 정의하는 기준 계조를 설정하고, 이 기준 계조 이상의 값을 갖는 픽셀들을 머리 패턴을 구성하는 패턴으로 추출한다. 승객 감지부(130)는 상기 영상 처리부(120)에 의해 추출된 머리 패턴을 이용하여 승객의 탑승 여부 정보, 차량 내의 승객 위치 정보, 차량 내의 승객의 앉은 키 정보 및 승객의 연령 정보를 포함하는 승객 감지 정보를 생성한다. 이하, 승객 감지부에 의해 승객 감지 정보를 생성하는 방법을 설명하기로 한다. 우선 승객의 탑승 여부 정보는 영상 이미지에서 기준 계조 이상을 갖는 픽셀들의 분포를 통해 머리 패턴의 존재 여부를 확인하고, 이러한 머리 패턴이 존재하면, 차량 내에 승객이 탑승한 것으로 판별한다. 동시에 머리 패턴의 개수를 카운팅 하여, 승객 수 또한 판별할 수 있다. 다음으로, 차량 내의 승객 위치 정보를 처리하는 과정은 다음과 같다. 우선, 전체 영상 이미지 내에서 중심 픽셀 좌표를 원점 좌표로 설정한다. 설정된 원점 좌표로부터 머리 패턴을 구성하는 픽셀들 중 임의 픽셀에 해당하는 픽셀 좌표까지의 거리를 계산하고, 이 계산된 결과를 차량 내의 승객 위치 정보로 생성한다. 다음으로, 차량 내의 승객의 앉은 키 정보를 획득하는 과정은 아래의 도 7을 참조하여 설명하기로 한다. 도 7은 도 5에 도시된 승객 감지부에 의해 차량 내의 승객의 앉은 키 정보와 승객의 연령 정보의 측정 원리를 보여주는 도면이다. 도 7을 참조하면, 승객의 앉은 키 정보를 측정하는 방법은 상술한 영상 이미지로부터 추출된 머리 패턴의 좌표 정보와 차량의 상부에 장착된 카메라와 승객의 머리까지의 거리 정보를 이용하여 측정한다. 구체적으로, 앞좌석은 앉은 승객의 앉은 키 측정 과정에서, 앞좌석과 카메라(110) 까지의 거리 A는 변동되지 않는 값으로서, 설계자에 의해 사전에 측정된다. 카메라(110)와 앞좌석의 승객 머리까지의 거리 B를 계산하는 데, 이 거리는 카메라(110)에 구비된 거리 센서를 통해 획득된다. 이어, 거리 A와 거리 B의 차이값(A - B)을 산출하고, 이 산출된 차이 값(A - B)이 특정 기준 값을 넘으면 성인으로 판단하고, 이하일 경우에는 유아로 판단하여, 승객의 연령 정보를 판별한다. 위의 방식과 유사하게, 뒷 좌석과 카메라(110) 까지의 거리 C는 변동되지 않는 값으로서, 설계자에 의해 사전에 측정된다. 이때, 측정된 거리 C는 벡터 값으로 변환되어 저장된다. 카메라(110)와 뒷좌석의 승객 머리까지의 거리 D는 카메라(110) 내에 구비된 거리 센서를 통해 측정한다. 이때, 영상 이미지에 내에서 뒷좌석 승객의 머리 패턴의 픽셀좌표가 함께 고려된다. 즉, 거리 D는 방향 성분이 부여된 벡터값으로 표현된다. 이어, 벡터 형태로 표현된 거리 C와 벡터 형태로 표현된 거리 D를 벡터 계산하여 벡터 형태로 표현되는 E값을 계산한다. 계산된 벡터 형태의 E값은 절대치를 적용하여 길이 값으로만 표현되는 E값을 계산한다. 최종적으로 계산된 E값은 뒷좌석 승객의 앉은 키 정보로 획득된다. 이후, 획득한 E값이 특정 기준 값을 넘으면 성인으로 판단, 이하일 경우에는 유아로 판단하여, 그 판단 결과를 승객의 연령정보로서 생성한다. 이상 설명한 바와 같이, 승객 감지부(130)를 통해 획득된 각종 승객 감지 정보 즉, 승객의 탑승 여부 정보, 차량 내의 승객 위치 정보, 차량 내의 승객의 앉은 키 정보 및 승객의 연령 정보들은 차량 내의 실내 환경을 제어하는 각종 차량용 전장 유닛에 전달되어 활용된다. 도 8은 도 5에 도시된 승객 감지 시스템에 의해 생성된 승객 감지 정보를 제공받기 위해, 상기 승객 감지 시스템과 각종 차량용 전장 유닛 간의 네트워크 연결을 보여주는 도면이다. 도 8을 참조하면, 각종 차량용 전장 유닛은 승객 감지 시스템(100)에 의해 생성된 승객 감지 정보를 제공받기 위해, 특별히 한정하는 것은 아니지만, 버스 라인 토폴로지 형태로 네트워킹 되거나, 차량 CAN 방식으로 네트워킹될 수 있다. 차량용 전장 유닛은 차량의 실내 환경 및 안전운전을 도모할 수 있는 차량 내에 설치된 모든 차량용 전장 유닛을 포함할 수 있으며, 특별히 한정하는 것은 아니지만, 도 8에 도시된 바와 같이, 에어백 제어유닛, 에어컨 제어유닛, 블랙박스 제어유닛 및 저장 유닛 등이 있을 수 있다. 적용 예로서, 에어백 제어 유닛(200)은 승객의 탑승 여부 정보, 차량 내의 승객 위치 정보, 차량 내의 승객의 앉은 키 정보 및 승객의 연령 정보들을 종합적으로 고려하여, 에어백 전개시 압력조절을 통해 더욱 안전하고 정확한 에어백 전개 동작을 수행할 수 있다. 다른 적용 에어컨 제어 유닛(300)은 승객의 탑승 여부 정보, 차량 내의 승객 위치 정보, 차량 내의 승객의 앉은 키 정보 및 승객의 연령 정보들을 전달받아서, 에어컨의 풍향과 온도를 자체조절해 주는 기능구현을 할 수 있게 된다. 또 다른 적용 예로서, 상기와 같이 영상 정보를 이용하여 판별된 승객 감지 정보는 차량 내에 구비된 저장 유닛(400)에 저장되어, 차량의 실내 블랙 박스(500)의 기능에 유용하게 활용될 수 있다. 도 9는 본 발명의 일실시예에 따른 승객 감지 방법을 보여주는 순서도이다. 도 9를 참조하면, 차량 내부의 상부에 장착된 카메라를 통해 상기 차량 내부를 촬영한다(S910). 이어, 상기 카메라에 의해 촬영된 영상 이미지로부터 상기 차량에 탑승한 승객의 머리 패턴을 추출하고(S920), 상기 추출된 머리 패턴을 이용하여 승객의 탑승 여부 정보, 차량 내의 승객 위치 정보, 차량 내의 승객의 앉은 키 정보 및 승객의 연령 정보를 포함하는 승객 감지 정보를 획득한다(S930). 획득된 승객 감지 정보는 차량 내의 각종 전장 유닛에 제공되어, 해당 유닛의 고유 기능에 수행하는데 유용한 정보로 활용될 수 있게 된다. 이상 설명한 바와 같이, 본 발명에서는 차량 내의 상부에 장착된 카메라를 통해 획득한 영상 정보를 이용하여 승객의 탑승 여부, 승객의 앉은 키, 승객의 위치 등을 포함하는 다양한 승객 감지 정보가 획득된다. 본 발명에 의하면, 승객 탑승 여부, 승객의 수, 위치 및 승객의 앉은 키와 같은 다양한 승객 감지 정보를 획득함으로써, 이러한 다양한 승객 정보에 이용하여 에어백 시스템, 에어컨 시스템, 블랙 박스 등과 같은 운전자에게 안전 및 편의를 제공하는 다양한 차량 제어 시스템을 보다 효율적으로 운용할 수 있는 장점을 제공한다. 한편, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
|
