객체 추적 기반의 객체 영상 제공 방법{OBJECT IMAGE PROVIDED METHOD BASED ON OBJECT TRACKING}
아래의 설명은 객체 추적 기반의 객체 영상 제공 방법에 관한 것으로 구체적으로는 방송 서비스를 통해 제공되는 영상 내에 사용자가 원하는 관심 객체에 대한 추가적인 부가 영상을 제공하는 방법에 관한 것이다.
종래의 객체 추적 기술은 특정 공간을 촬영하는 고정식 카메라 또는 이동식 카메라를 통해 영상을 획득한 후, 획득한 영상 내에 객체의 위치를 분석하여 영상 내에 객체를 추적하였다. 여기서, 객체 추적 기술은 컴퓨터 비전 학계에서 활발히 연구되는 주제로, 주로 실내 외 주로 실내 외 CCTV를 이용한 보안 서비스, 스포츠 경기 분야 내 경기 분석을 위한 서비스로 활용되고 있다. 최근에 발표된 객체 추적의 시스템은 실내에서 이루어지는 스포츠 경기의 공간 내 천장에 두 대의 고정식 카메라를 설치하고, 천장에 설치된 고정식 카메라를 통해 스포츠 경기에 출전하는 선수를 검출하였다. 또한, 시스템은 검출된 선수가 속한 팀에 대한 공통 정보를 식별한 후, 실시간으로 각 선수에 대한 위치를 추적한 영상을 획득한다. 이 때, 시스템에서 영상을 획득하는 고정식 카메라는 저해상도의 전역 영상을 수집하는 것으로써, 객체에 대한 보다 자세한 정보를 획득하고자 하는 경우에는 이동식 카메라를 연동하는 방법도 사용되고 있다. 여기서, 이동식 카메라에 대한 대표적인 카메라는 PTZ 카메라로, 객체에 따라 카메라의 초점을 이동시켜, 고화질의 영상 획득이 가능하며, 뿐만 아니라, 해당 객체에 집중된 영상 수집이 가능하다. 그리고, 사용자는 위의 시스템에 따라 고정식 카메라 또는 이동식 카메라를 통해 획득된 영상에 대한 방송 서비스를 제공받을 수 있다. 그러나, 사용자는 고정식 카메라 또는 이동식 카메라를 통해 획득된 영상에 대하여 방송사에서 편집된 영상을 제공받거나 또는 실시간으로 영상을 제공받더라도, 사용자가 원하는 특정 부분에 대한 영상을 제공받기 어렵다. 다시 말해, 이동식 카메라를 통해 특정 객체에 집중된 영상이 수집된다고 하더라도, 기존에 제공되는 방송 서비스에 따른 프레임의 일정 구성으로 제공될 뿐, 사용자가 원하는 시점에서의 영상 제공이 불가능하다. 또한, 이동식 카메라는 객체만을 위한 영상을 얻기 위해, 사람이 직접 촬영을 하여야 하므로, 비용과 노력이 많이 들고 관심 인물의 수가 늘어나면 서비스 제공에 한계가 있다. 따라서, 자동화된 추적 기반의 카메라 연동 제어를 통한 객체 추적 영상 서비스 및 사용자가 원하는 시점에서의 영상을 제공하는 서비스가 필요하다.
본 발명은 복수의 고정 카메라를 이용해 실시간으로 관심 객체를 추적하고, 추적한 관심 객체의 위치에 따라 복수의 PTZ 카메라를 통해 관심 객체에 대한 고해상도의 줌인된 영상을 획득하는 객체 영상 제공 방법을 제공할 수 있다. 본 발명은 방송 서비스를 통해 사용자에게 영상을 제공함에 있어, 사용자가 관심이 있는 인물에 초점이 맞춰진 다양한 각도의 영상들에 대하여 선택적으로 제공받는 객체 영상 제공 방법을 제공할 수 있다.
일실시예에 따른 객체 영상 제공 방법은 특정 공간에 설치된 복수의 고정 카메라들로부터 상기 특정 공간 내에 위치한 관심 객체를 포함하는 전역 영상을 수집하는 단계; 상기 수집한 전역 영상에 포함된 관심 객체를 분석하여 상기 고정 카메라들에 대한 관심 객체의 좌표를 결정하는 단계; 상기 결정된 관심 객체의 좌표를 상기 특정 공간 내에 일정 영역을 촬영하는 추적 카메라의 좌표로 변환하는 단계; 및 상기 추적 카메라로부터 변환된 좌표에 위치한 관심 객체를 포함하는 부가 영상을 수집하는 단계를 포함할 수 있다. 일실시예에 따른 관심 객체의 좌표를 결정하는 단계는 객체 추적 기법을 이용하여 상기 고정 카메라들 각각으로부터 수집한 상기 전역 영상에 포함된 관심 객체를 분석할 수 있다. 일실시예에 따른 객체 추적 기법은 상기 전역 영상에 포함된 관심 객체에 대한 컬러 히스토그램을 적용하여 전역 영상 내 관심 객체의 위치를 추적할 수 있다. 일실시예에 따른 관심 객체의 좌표를 결정하는 단계는 상기 고정 카메라들 간의 상대적인 위치 관계를 고려하여 상기 고정 카메라들에 적용 가능한 공통 좌표계에 따른 관심 객체의 좌표를 결정할 수 있다. 일실시예에 따른 추적 카메라의 좌표로 변환하는 단계는 상기 고정 카메라들과 추적 카메라 간의 공간적인 위치 관계를 고려하여 관심 객체의 좌표를 추적 카메라의 좌표로 변환할 수 있다. 일실시예에 따른 부가 영상을 수집하는 단계는 상기 변환된 좌표를 포함하는 일정 영역을 촬영하도록 제어된 추적 카메라로부터 상기 특정 공간 내 상기 좌표에 위치한 관심 객체를 추적하여 부가 영상을 수집할 수 있다. 일실시예에 따른 추적 카메라는 상기 특정 공간 내에 설치된 위치에 따라 추적 카메라 간에 촬영 각도 및 촬영 범위가 상이하게 설정될 수 있다. 일실시예에 따른 부가 영상은 상기 전역 영상에 포함된 관심 객체의 움직임에 대응하여 상기 추적 카메라의 Pan-Tilt-Zoom 기능을 통해 집중 촬영된 영상일 수 있다. 일실시예에 따른 객체 영상 제공 방법은 상기 고정 카메라들 및 추적 카메라 간의 연동 관계를 고려하여 전역 영상과 부가 영상을 매핑하는 단계; 및 사용자에 의해 디스플레이에 표시된 상기 전역 영상이 선택된 경우, 선택된 전역 영상에 매핑된 부가 영상을 디스플레이에 표시하는 단계를 더 포함할 수 있다. 일실시예에 따른 객체 영상 제공 방법은 고정 카메라 및 추적 카메라를 이용하여 특정 공간에 대한 전역 영상 및 부가 영상을 수집하는 단계; 상기 수집한 전역 영상 및 부가 영상을 포함하는 방송 영상을 디스플레이에 표시하는 단계; 사용자로부터 디스플레이에 표시된 상기 방송 영상 내에 관심 객체를 선택 받는 단계; 및 상기 선택된 방송 영상 내에 관심 객체를 분석하여 상기 방송 영상을 구성하는 전역 영상에 매핑된 부가 영상을 디스플레이에 표시하는 단계를 포함할 수 있다. 일실시예에 따른 전역 영상 및 부가 영상을 획득하는 단계는 상기 특정 공간에 설치된 복수의 고정 카메라들로부터 상기 특정 공간 내에 위치한 관심 객체를 포함하는 전역 영상을 수집하는 단계; 상기 수집한 전역 영상에 포함된 관심 객체를 분석하여 상기 고정 카메라들에 대한 관심 객체의 좌표를 결정하는 단계; 상기 결정된 관심 객체의 좌표를 상기 특정 공간 내에 일정 영역을 촬영하는 추적 카메라의 좌표로 변환하는 단계; 및 상기 추적 카메라로부터 변환된 좌표에 위치한 관심 객체를 포함하는 부가 영상을 수집하는 단계를 포함할 수 있다. 일실시예에 따른 관심 객체의 좌표를 결정하는 단계는, 상기 전역 영상에 포함된 관심 객체에 대한 컬러 히스토그램을 적용하는 객체 추적 기법을 이용하여 전역 영상 내 관심 객체의 위치를 추적할 수 있다. 일실시예에 따른 관심 객체의 좌표를 결정하는 단계는 상기 고정 카메라들 간의 상대적인 위치 관계를 고려하여 상기 고정 카메라들에 적용 가능한 공통 좌표계에 따른 관심 객체의 좌표를 결정할 수 있다. 일실시예에 따른 추적 카메라의 좌표로 변환하는 단계는 상기 고정 카메라들과 추적 카메라 간의 공간적인 위치 관계를 고려하여 관심 객체의 좌표를 추적 카메라의 좌표로 변환할 수 있다. 일실시예에 따른 부가 영상을 수집하는 단계는 상기 변환된 좌표를 포함하는 일정 영역을 촬영하도록 제어된 추적 카메라로부터 상기 특정 공간 내 상기 좌표에 위치한 관심 객체를 추적하여 부가 영상을 수집할 수 있다.
본 발명의 일실시예에 따른 객체 영상 제공 방법은 복수의 고정 카메라를 통해 추적된 관심 객체의 위치에 따라 복수의 PTZ 카메라를 통해 관심 객체에 대한 고해상도의 줌인된 영상을 획득함으로써, 사용자가 관심이 있는 인물에 초점이 맞춰진 다양한 각도의 영상들에 대하여 선택적으로 제공받는 객체 영상 제공 방법을 제공할 수 있다.
도 1은 일실시예에 따른 전체 구성도이다.
도 2는 일실시예에 따른 고정 카메라로부터 수집된 전역 영상으로부터 관심 객체의 좌표를 결정하는 동작을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 추적 카메라를 통해 관심 객체를 포함하는 부가 영상을 수집하는 동작을 설명하기 위한 도면이다.
도 4는 일실시예에 따른 고정 카메라를 통해 수집된 전역 영상으로부터 관심 객체를 추적하는 객체 추적 기법에 대한 흐름도이다.
도 5는 일실시예에 따른 객체 영상 제공 방법을 설명하기 위한 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 도 1은 일실시예에 따른 전체 구성도이다. 도 1을 참고하면, 객체 영상 제공 서버(101)는 방송 제작자에 의해 획득화된 컨텐츠에 의존하는 영상 서비스에서 벗어나 사용자의 선택에 따라 컨텐츠 내 관심 있는 인물에 대한 영상을 부가적으로 제공할 수 있다. 이를 위해, 객체 영상 제공 서버(101)는 특정 공간에 설치된 복수의 고정 카메라들(102)로부터 특정 공간 내에 위치한 관심 객체를 포함하는 전역 영상(108)을 수집할 수 있다. 여기서, 특정 공간은 목적에 따라 사람들이 이용할 수 있는 공간 또는 감시가 필요한 공간 등을 포함할 수 있다. 일례로, 특정 공간은 스포츠 경기장, 보안 구역, 주차장 등으로 목적에 따라 사용 가능한 공간일 수 있다. 그리고, 복수의 고정 카메라들(102)은 특정 공간의 천장에 설치되어, 각 고정 카메라(102)에 설정된 화각에 따른 풀프레임(Full Frame)을 기준으로 특정 공간을 전반적으로 촬영할 수 있는 카메라일 수 있다. 또한, 복수의 고정 카메라들(102)은 특정 공간에 설치된 위치 및 각도에 따라 위에서 아래를 바라보는 형태로, 특정 공간에 대한 전역 영상(108)을 수집할 수 있다. 또한, 특정 공간에는 이동하거나 고정된 복수의 객체가 존재할 수 있으며, 그 중에서 이동되는 객체에 대한 관심 객체로 정의할 수 있다. 일례로 관심 객체는 스포츠 경기에 출전하는 선수, 관람객, 심판 등으로 특정 공간에서 이동이 가능한 객체를 의미할 수 있다. 일례로, 객체 영상 제공 서버(101)는 고정 카메라들(103)을 이용해 촬영한 전역 영상을 분석하여 전역 영상에 등장하는 인물과 관련된 관심 객체를 추적할 수 있다. 객체 영상 제공 서버(101)는 고정 카메라들(102)을 이용해 수집된 전역 영상(108)에 포함된 관심 객체(106), (107)를 분석하여 고정 카메라들에 대한 관심 객체(106), (107)의 좌표를 결정할 수 있다. 여기서, 객체 영상 제공 서버(101)는 객체 추적 기법을 이용하여 고정 카메라들 각각으로부터 수집한 상기 전역 영상에 포함된 관심 객체를 분석함으로써, 고정 카메라들(102)에 대한 관심 객체(106), (107)의 좌표를 결정할 수 있다. 객체 추적 기법은 전역 영상에 포함된 관심 객체에 대한 컬러 히스토그램을 적용하여 전역 영상 내 관심 객체의 위치를 추적하는 기법으로 구체적인 사항은 도 4를 통해 설명하도록 한다. 객체 영상 제공 서버(101)는 결정된 관심 객체(106), (107)의 좌표에 따른 특정 공간 내에 다양한 위치에 설치된 추적 카메라들(103)과 연동하여, 각각의 관심 객체(106), (107)에 대한 다양한 각도를 갖는 부가 영상을 수집할 수 있다. 여기서, 추적 카메라들(103)은 Pan-Tilt-Zoom(PTZ) 카메라일 수 있다. 여기서, 객체 영상 제공 서버(101)는 결정된 관심 객체의 좌표를 특정 공간 내에 일정 영역을 촬영하는 추적 카메라들(103)의 좌표로 변환할 수 있다. 그리고, 객체 영상 제공 서버(101)는 고정 카메라들(102)에 대한 관심 객체의 좌표에 따른 추적 카메라들(103)과의 연동을 위해, 결정된 관심 객체의 좌표를 상기 특정 공간 내에 일정 영역을 촬영하는 추적 카메라들(103)의 좌표로 변환할 수 있다. 상세하게, 추적 카메라들(103)은 특정 공간의 지면과 직각 관계로 설치되어 사람의 시선과 동일한 방향으로 관심 객체를 포함하는 영상을 수집하는 반면, 고정 카메라들(102)은 위에서 아래로 내려다보는 방향으로 영상을 수집할 수 있다. 즉, 고정 카메라들(102)과 추적 카메라들(103)은 서로 다른 방향에서 영상을 수집함에 따라, 관심 객체의 위치를 추적함에 있어, 서로 다른 좌표를 나타낼 수 있다. 결국, 고정 카메라들(102)을 통해 획득한 영상 내 관심 객체의 위치와 추적 카메라들(103)을 통해 획득 가능한 영상 내 관심 객체의 위치를 서로 다를 수 있다. 따라서, 고정 카메라들(102)과 추적 카메라들(103)에서 사용되는 좌표를 통일시키기 위하여, 객체 영상 제공 서버(101)는 i) 고정 카메라들 간의 상대적인 위치 관계를 고려하여 상기 고정 카메라들에 적용 가능한 공통 좌표계에 따른 관심 객체의 좌표를 결정하고, ii) 고정 카메라들과 추적 카메라 간의 공간적인 위치 관계를 고려하여 관심 객체의 좌표를 추적 카메라의 좌표로 변환함으로써, 고정 카메라들(102)과 추적 카메라들(103)을 연동시킬 수 있다. 여기서, 추적 카메라의 좌표로 변환한다는 것은 고정 카메라들(102)과 추적 카메라들(103) 에서 공유할 수 있는 공통 좌표계로 관심 객체의 좌표를 변환한다는 것을 의미할 수 있다. 그리고, 객체 영상 제공 서버(101)는 고정 카메라들(102)과 추적 카메라들(103) 간에 공유되는 좌표에 따라 추적 카메라들(103)가 해당 좌표를 가리킬 수 있도록 추적 카메라들(103)의 위치를 제어할 수 있다. 이 때, 객체 영상 제공 서버(101)는 변환된 좌표를 고려하여 인접하여 위치한 추적 카메라들(103)를 제어하여 객체에 대한 부가 영상을 획득할 수 있다. 이후, 객체 영상 제공 서버(101)는 각각의 관심 객체에 대한 부가 영상을 구분하여 메모리 내에 저장할 수 있다. 일례로, 객체 영상 제공 서버(101)는 관심 객체 1(106)을 촬영한 부가 영상과 관심 객체 2(107)를 촬영한 부가 영상을 구분하여 메모리에 저장할 수 있다. 여기서, 도 1을 살펴보면, 객체 영상 제공 서버(101)는 객체 추적기(104)를 통해 결정된 고정 카메라들에 대한 관심 객체(106), (107)의 좌표를 결정할 수 있다. 그리고, 객체 추적기(104)는 결정된 고정 카메라들에 대한 관심 객체(106), (107)의 좌표를 추적 카메라의 좌표로 변환한 후, 추적 카메라 제어기(105)로 변환된 좌표를 전달할 수 있다. 추적 카메라 제어기(105)는 변환된 좌표를 이용하여 특정 공간에 설치된 복수의 추적 카메라들(103) 각각에 대한 위치를 제어함으로써, 위치가 제어된 각각의 추적 카메라들(103)로부터 부가 영상을 수집할 수 있다. 다시 말해, 객체 영상 제공 서버(101)는 도 1에 도시된 바와 같이 별도로 존재하는 객체 추적기(104) 및 추적 카메라 제어기(105)를 통해 관심 객체에 대한 정보를 획득하는 것과 같이 표현되어 있으나, 이는 상황에 따라 객체 영상 제공 서버(101) 내에 포함된 구성으로 존재할 수 있으며, 이에 따라 객체 영상 제공 서버(101)에서 내부적으로 동작할 수 있다. 이후, 객체 영상 제공 서버(101)는 전역 영상을 기반으로 시간적인 흐름에 따라 부가 영상을 매핑할 수 있다. 그리고, 객체 영상 제공 서버(101)는 IP망을 통해 IP 기반의 사용자 단말로 방송 컨텐츠를 제공할 수 있다. 여기서, 방송 컨텐츠는 고정 카메라 및 추적 카메라를 통해 획득한 전역 영상 및 부가 영상을 포함할 수 있으며, 방송 컨텐츠를 실시간으로 제공 가능한 영상 또는 미리 편집된 영상일 수 있다. 다시 말해, 방송 컨텐츠는 전역 영상 및 부가 영상을 기반으로 방송 제작자에 의해 편집된 영상으로써, 고정 카메라 및 이동 카메라를 통해 다시점의 영상이 조합된 방송 화면일 수 있다. 이 때, 방송 컨텐츠는 편집된 영상에 따른 각각의 시간 흐름에 따라 장면 내 포함된 관심 객체에 대응하는 부가 영상이 매핑된 상태일 수 있다. 그리고, 사용자는 객체 영상 제공 서버(101)로부터 제공된 방송 컨텐츠를 기반으로 영상 내 관심 객체를 선택함으로써, 관심 객체에 초점이 맞춰진 영상들 중 선택된 영상에 대한 보다 다양한 각도의 영상을 제공받을 수 있다. 결국, 사용자는 일반적인 방송 서비스로 제공되는 방송 컨텐츠를 제외하고, 부가적으로 자신이 원하는 인물을 방송 컨텐츠 내에서 선택함으로써, 선택된 인물에 대해 추적 카메라를 통해 촬영된 부가 영상을 추가적으로 시청할 수 있다. 또한, 부가 영상을 수집함에 있어, 고정 카메라를 통해 획득한 관심 객체의 좌표에 따라 자동으로 추적 카메라를 이용해 부가 영상을 획득함에 따라 영상 제작 시 별도의 사람에 의한 개입이 적고 관심 객체와 카메라 수의 확장이 자유로울 수 있다. 결론적으로, 객체 영상 제공 서버는 기존의 방송 컨텐츠 제작자가 일방적으로 제공하는 방송 컨텐츠에 객체 추적 및 PTZ 카메라에 대한 자동 제어 기술을 적용함으로써, 사용자가 개입하여 관심 있는 인물 객체 별로 부가 영상을 선택적으로 볼 수 있도록 하는 자동화 기법을 제안할 수 있다. 도 2는 일실시예에 따른 고정 카메라로부터 수집된 전역 영상으로부터 관심 객체의 좌표를 결정하는 동작을 설명하기 위한 도면이다. 도 2를 참고하면, 객체 영상 제공 서버는 관심 객체의 좌표를 특정 공간 내에 일정 영역을 촬영하는 추적 카메라들의 좌표로 변환할 수 있다. 그리고, 객체 영상 제공 서버는 고정 카메라들에 대한 관심 객체의 좌표에 따른 추적 카메라들과의 연동을 위해, 결정된 관심 객체의 좌표를 상기 특정 공간 내에 일정 영역을 촬영하는 추적 카메라들의 좌표로 변환할 수 있다. 즉, 객체 영상 제공 서버는 고정 카메라들과 추적 카메라들에서 공유할 수 있는 공통 좌표계로 관심 객체의 좌표를 변환할 수 있다. 도 2의 (a)를 살펴보면, 객체 영상 제공 서버는 특정 공간 내에 다수 개로 설치된 고정 카메라를 이용하여 특정 공간에 포함된 관심 객체에 대한 전역 영상을 실시간으로 수집할 수 있다. 여기서, 고정 카메라들 각각은 특정 공간 내 설치된 위치 및 각도에 따라 서로 다른 범위를 갖는 전역 영상을 수집할 수 있다. 각각의 고정 카메라들로부터 수집된 전역 영상 각각은 특정 공간에 대하여 중복된 영역을 포함할 수 있다. 다시 말해, 도 2의 (b)에서 보는 것과 같이 고정 카메라 1로부터 수집한 전역 영상 1과 고정 카메라 2로부터 수집한 전역 영상 2는 일정 부분에 대한 중복된 영상을 포함할 수 있다. 그리고, 전역 영상 1에 포함된 관심 객체의 좌표와 전역 영상 2에 포함된 관심 객체의 좌표는 서로 다른 좌표값을 나타낼 수 있다. 즉, 고정 카메라 1과 고정 카메라 2는 서로 동일한 공간으로부터 전역 영상을 획득하지만, 위치 및 각도에 따라 같은 공간 내 서로 다른 좌표를 갖는 전역 영상을 획득할 수 있다. 이에 대하여, 도 2의 (c)와 같이 객체 영상 제공 서버는 전역 영상 1 및 전역 영상 2에 대한 객체 추적 기법을 적용하여 관심 객체의 위치를 공통의 좌표계로 변환함으로써, 고정 카메라 및 추적 카메라에서 공통으로 사용 가능한 좌표계를 생성할 수 있다. 여기서, 객체 추적 기법은 전역 영상에 포함된 관심 객체에 대한 컬러 히스토그램을 적용하여 전역 영상 내 관심 객체의 위치를 추적하는 기법을 의미할 수 있다. 일례로, 객체 추적 기법은 주어진 전역 영상에 대하여 Mean Shift, Kalman Filter 및 Particle Filter 중 적어도 하나의 기법을 이용하여 객체의 위치를 추적할 수 있다. 이 때, Mean Shift는 어떤 데이터 분포의 peak 또는 무게중심을 찾아 전역 영상 내 관심 객체의 위치를 추적하는 기법이고, Kalman Filter는 전역 영상 내에 스토캐스틱 모델과 측정값을 이용하여 상태 변수를 찾아내는 최적에 해당하는 객체 위치를 추적하는 기법이며, 마지막으로, Particle Filter는 컬러 히스토그램을 이용하여 추적 대상이 되는 객체에 대한 정보를 추출하여 객체의 위치를 추적하는 기법일 수 있다. 결국, 객체 영상 제공 서버는 다수의 전역 카메라로부터 넓은 영역을 커버하는 하나로 통합된 전역 영상 및 통합 좌표계를 생성하고 고정식 카메라로부터 얻어진 전역 영상들을 이용해 관심 객체를 검출 및 추적할 수 있다. 그리고, 객체 영상 제공 서버는 객체 추적 기법을 이용해 추적된 좌표를 특정 공간 곳곳에 배치된 다수의 추적 카메라를 전송하고, 추적 카메라가 전송된 좌표를 가리킬 있도록 추적 카메라의 위치를 제어할 수 있다. 즉, 객체 영상 제공 서버는 고정 카메라를 기반으로 추적 카메라를 연동 및 제어하는 기술을 활용하여 자동으로 관심 객체에 대한 고해상도로 줌인된 추적 카메라의 부가 영상을 획득할 수 있다. 즉, 객체 영상 제공 서버는 통합 좌표계 상의 관심 객체 별 추적 위치를 기반으로 관심 객체 별로 할당된 추적 카메라들을 제어하여 관심 객체에 대한 다양한 각도에서 촬영된 관심 객체 별 부가 영상을 획득할 수 있다. 그리고, 관심 객체에 따라 각각 획득한 부가 영상은 관심 객체 별로 구분되어 객체 영상 제공 서버의 메모리에 저장될 수 있다. 객체 영상 제공 서버는 시간의 흐름에 따라 부가 영상을 순차적으로 메모리에 저장할 수 있다. 도 3은 일실시예에 따른 추적 카메라를 통해 관심 객체를 포함하는 부가 영상을 수집하는 동작을 설명하기 위한 도면이다. 도 3을 참고하면, 객체 영상 제공 서버는 고정 카메라 및 추적 카메라를 이용하여 특정 공간 내에 존재하는 관심 객체에 대한 전역 영상 및 부가 영상을 수집할 수 있다. 구체적으로, 객체 영상 제공 서버는 객체 추적 기법을 적용하여 관심 객체의 위치를 공통의 좌표계로 변환함으로써, 고정 카메라 및 추적 카메라에서 공통으로 사용 가능한 좌표계를 생성할 수 있다. 그리고, 객체 영상 제공 서버는 생성된 좌표계를 기반으로 특정 공간 내에 포함된 관심 객체의 위치 즉, 좌표를 결정할 수 있다. 그리고, 도 3의 (a) 및 (b)와 같이 객체 영상 제공 서버는 관심 객체 1 및 관심 객체 2에 매핑된 서로 다른 추적 카메라를 통해 관심 객체 별로 서로 다른 각도에서의 집중 촬영된 영상을 획득할 수 있다. 즉, 하나의 관심 객체를 촬영하는 다수의 추적 카메라에 대한 부가 영상들이 있을 때, 각 카메라가 설치된 위치에 따라 객체의 모습을 담을 수 있는 범위가 다르다. 결국, 고정 카메라는 특정 공간 곳곳에 배치된 추적 카메라와 호모그래피를 이용해 공통의 좌표계를 공유할 수 있다. 그리고, 고정 카메라와 공유하고 있는 좌표계를 기반으로 관심 객체의 좌표를 제공받은 경우, 추적 카메라는 제공된 좌표에 따라 해당 좌표를 가리킬 수 있도록 위치가 연동 및 제어될 수 있으며, 연동 및 제어된 각각의 추적 카메라를 해당 좌표에 따라 추적되는 관심 객체의 영상을 수집할 수 있다. 즉, 추적 카메라는 고정 카메라를 통해 실시간으로 추적되는 관심 객체에 대응하여 자동적으로 고정 카메라를 통해 추적된 관심 객체를 집중적으로 촬영할 수 있다. 본 발명에서 제안하는 객체 영상 제공 방법은 다수의 고정 카메라를 이용해 다수의 관심 객체를 추적하고, 관심 객체 별로 지정된 추적 카메라의 그룹으로 관심 객체의 좌표를 전달함으로써, 고정 카메라와 추적 카메라 간의 연동제어를 통해 추적 카메라로 관심 객체를 따라가며 관심 객체가 정확하게 부각된 부가 영상을 획득할 수 있다. 그리고, 객체 영상 제공 방법은 관심 객체 별로 부가 영상을 구분하여 저장한 후, 사용자의 수요에 따라 방송 컨텐츠에 대한 부가 서비스로 부가 영상을 제공하는 방법을 제안할 수 있다. 또한, 본 발명에서 제안하는 객체 영상 제공 방법은 실시간으로 객체가 향하는 방향과 자세가 달라질 때, 각 추적 카메라가 다양한 각도로 촬영한 영상들 중 사용자가 원하는 영상을 선택하여 볼 수 있다. 도 4는 일실시예에 따른 고정 카메라를 통해 수집된 전역 영상으로부터 관심 객체를 추적하는 객체 추적 기법에 대한 흐름도이다. 도 4를 참고하면, 객체 영상 제공 장치는 특정된 객체 추적 기법에 의존하지는 않으나, 도 3을 통해 언급된 Mean Shift, Kalman Filter 및 Particle Filter에 대한 3가지 객체 추적 기법 중 Particle Filter를 이용한 추적 기법을 사용할 수 있다. 구체적으로, Particle Filter 기반의 객체 추적 기법은 도 4에 도시된 것과 같은 흐름을 통해 동작할 수 있다. 구체적으로, Particle Filter 기반의 객체 추적 기법은 Haar 검출기로 영상 내에 존재하는 객체를 검출하고 컬러 히스토그램을 이용하여 영상 내 추적 대상이 되는 관심 객체에 대한 정보를 추출할 수 있다. 그리고, Particle Filter 기반의 객체 추적 기법은 추출된 관심 객체에 대한 정보를 기반으로 관심 객체의 위치값에 대한 후보들을 생성할 수 있다. Particle Filter 기반의 객체 추적 기법은 생성된 후보들에 대하여 수많은 Particle들을 임의의 위치로 뿌린 후 전역 영상을 기준으로 각각의 후보들에 대한 확률값을 업데이트할 수 있다. 이렇게 계산된 각 Particle의 확률은 가중치 계산에 이용될 수 있다. 그리고, Particle Filter 기반의 객체 추적 기법은 추적 위치를 결정하는 에너지 조건을 최대한 만족시키도록 각각의 후보들에 대하여 추적 대상인 관심 객체인지 아닌지를 결정하는 Classifier를 구할 수 있다. 그리고, Particle Filter 기반의 객체 추적 기법은 얻어진 Classifier 들을 이용해 앞에서 수행한 Particle에 대한 확률값 계산, 가중치 계산, 에너지 최적화를 통한 Classifier 구하는 과정을 객체 위치가 특정값에 수렴할 때까지 반복 계산할 수 있다. 이 때, 초기 Classifier 들은 Training 과정을 이용해 사전에 계산되거나 임의의 Classifier로 초기화할 수 있다. 이 후, 객체 영상 제공 서버는 Particle Filter 기반의 객체 추적 기법에 따른 추적 결과를 이용하여 다수의 고정 카메라의 전역 영상들로부터 얻어진 하나의 통합된 전역 영상을 생성하고, 통합 좌표계로 변환할 수 있다. 여기서, 추적된 관심 객체에 대한 식별 정보는 관심 객체에 대한 인물의 얼굴 인식이나 선수의 경우 등번호 인식 기법 등을 이용해 객체 인식을 하거나 방송 컨텐츠를 생성하는 과정에서 사전 정보로 지정될 수 있다. 또한, 통합 좌표계 상에서 관심 객체의 추적 위치 정보는 다수의 추적 카메라들과 연동 제어를 수행하도록 전달되고, 추적 진행 상황을 파악할 수 있도록 카메라 출력 화면으로도 전달될 수 있다. 그리고, 관심 객체를 추적한 위치 정보는 객체 영상 제공 서버의 데이터베이스(Data Base, DB)에 저장함으로, 방송 이후 참고할 수 있도록 관리할 수 있다. 결국, 객체 영상 제공 서버는 방송 컨텐츠에 대한 객체 영상 서비스를 제공할 수 있다. 여기서, 영상 객체 서비스는 객체 추적 기반의 다중 카메라(고정 카메라 및 추적 카메라)에 대한 연동 제어할 수 있으며, 이에 따라 여러 관심 객체 별 다양한 각도를 갖는 부가 영상을 제공할 수 있다. 도 5는 일실시예에 따른 객체 영상 제공 방법을 설명하기 위한 흐름도이다. 객체 영상 제공 서버는 고정 카메라와 추적 카메라를 연동하여 제어함으로써, 관심 객체 별로 다각도의 부가 영상을 획득하기 위한 동작을 수행할 수 있다. 그리고, 이를 위해 객체 영상 제공 서버는 다음의 단계를 동작할 수 있다. 단계(501)에서 객체 영상 제공 서버는 복수의 고정 카메라들로부터 수집한 전역 영상들에 대한 왜곡을 보정할 수 있다. 구체적으로, 객체 영상 제공 서버는 특정 공간에 설치된 복수의 고정 카메라들로부터 특정 공간 내에 위치한 관심 객체를 포함하는 전역 영상을 수집할 수 있다. 일례로, 객체 영상 제공 서버는 고정 카메라 1부터 고정 카메라 N으로부터 특정 공간 내에 위치한 관심 객체를 포함하는 전역 영상을 수집할 수 있다. 그리고, 객체 영상 제공 서버는 수집한 전역 영상 내에 존재하는 왜곡을 보정할 수 있다. 단계(502)에서 객체 영상 제공 서버는 고정 카메라들로부터 수집한 전역 영상 내에 포함된 관심 객체를 검출할 수 있다. 객체 영상 제공 서버는 객체 추적 기법을 이용하여 전역 영상 내에 포함된 관심 객체를 검출할 수 있다. 다시 말해, 여러 대의 고정 카메라로부터 촬영된 전역 영상이 입력되면, 객체 영상 제공 서버는 입력된 전역 영상에 대하여 Mean Shift나 Kalman Filter나 Particle Filter를 기반으로 관심 객체의 위치를 계산할 수 있다. 단계(503)에서 객체 영상 제공 서버는 객체 추적 기법을 통해 계산된 관심 객체의 좌표를 기반으로 전역 영상의 각 프레임 내에 위치한 관심 객체의 위치를 추적할 수 있다. 단계(504)에서 객체 영상 제공 서버는 고정 카메라들과 추적 카메라들 간에 연동 제어를 위하여 고정 카메라들과 추적 카메라들에서 공통으로 사용 가능한 통합 좌표계를 생성할 수 있다. 구체적으로, 단계(505)에서 객체 영상 제공 서버는 고정 카메라들 간의 상대적인 위치 관계에 따른 호모그래피를 계산할 수 있다. 그리고, 단계(506)에서 객체 영상 제공 서버는 공통 좌표계에 대한 정의를 설정할 수 있다. 여기서, 공통 좌표계에 대한 정의를 설정한다는 것은 전역 영상을 통해 검출된 관심 객체에 대해 지적된 추적 카메라에 대한 좌표를 정의한다는 것을 의미할 수 있으며, 상대적인 위치 관계는 특정 공간에 설치된 고정 카메라 간의 위치 관계를 의미할 수 있다. 단계(507)에서 객체 영상 제공 서버는 고정 카메라들과 추적 카메라 간의 공간적인 위치 관계를 고려하여 관심 객체의 좌표를 추적 카메라의 좌표로 변환할 수 있다. 결국, 객체 영상 제공 서버는 오프라인을 통해 동작하는 단계(505) 내지 단계(507)을 기반으로 단계(504)에 따른 고정 카메라들과 추적 카메라들에서 공통으로 사용 가능한 통합 좌표계를 생성할 수 있다. 즉, 객체 영상 제공 서버는 여러 대의 고정 카메라를 이용해 얻어진 관심 객체의 위치를 공통의 좌표계로 변환할 수 있다. 단계(508)에서 객체 영상 제공 서버는 통합 좌표계를 기반으로 관심 객체를 추적하기 위한 추적 카메라의 좌표를 기반으로 추적 카메라에 대한 조절값을 계산할 수 있다. 즉, 객체 영상 제공 서버는 관심 객체의 좌표에 대응하여 추적 카메라가 해당 좌표를 가리킬 수 있도록 추적 카메라에 대한 조절값을 계산할 수 있다. 이 때, 객체 영상 제공 서버는 오프라인을 통해 고정 카메라와 추적 카메라 간에 공간적인 위치 관계에 따른 호모그래피를 계산함으로써, 추적 카메라에 대한 조절값을 계산할 수 있다. 여기서, 공간적인 위치 관계는 특정 공간에 설치된 고정 카메라와 추적 카메라의 공간에 따른 위치 관계를 의미하는 것으로써, 일례로, 고정 카메라는 특정 공간의 천장에 설치되고, 추적 카메라는 특정 공간의 지면에 설치됨에 따라 객체 영상 제공 서버는 천장과 지면에 따른 공간적인 위치 관계를 고려할 수 있다. 즉, 객체 영상 제공 서버는 고정 카메라와 추적 카메라 간의 관계를 정의하기 위해 호모그래피와 같은 방법을 이용하여 고정 카메라에서 보는 관심 객체의 좌표를 추적 카메라의 좌표로 변환할 수 있다. 단계(509)에서 객체 영상 제공 서버는 계산된 추적 카메라의 조절값에 따라 추적 카메라와 고정 카메라를 연동하여 제어할 수 있다. 단계(510)에서 객체 영상 제공 서버는 단계(404) 내지 단계(409)를 수행하는 과정을 통해 관심 객체에 대한 추적 카메라에서 촬영된 부가 영상이 자동적으로 서버 내 메모리에 저장될 수 있다. 그리고, 상술한 일련의 과정을 통해 생성된 관심 객체에 대한 전역 영상 및 부가 영상은 방송 컨텐츠와 함께 저장되어 사용자가 시청 단말에서 원하는 인물 객체를 선택할 때, 기존 방송과 같은 시간대로 객체에 대한 부가적인 영상으로 제공될 수 있다. 본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 객체 영상 제공 서버
102: 고정 카메라들
103: 추적 카메라들
104: 객체 추적기
105: 추적 카메라 제어기
106, 107: 관심 객체
108: 전역 영상 |
