정보 처리장치 및 그 제어방법

정보 처리장치 및 그 제어방법{INFORMATION PROCESSING APPARATUS AND METHOD OF CONTROLLING THE SAME}

본 발명은, 촬상 화상으로부터 촬상장치의 위치 및 자세를 추정하기 위한 화상 데이터 베이스를 생성하는 정보 처리장치 및 정보 처리장치의 제어방법에 관한 것이다.

최근, 현실 공간과 가상 공간을 위화감이 없게 융합시켜 제시하는 복합 현실감(mixed reality)(이하, MR로 기재한다) 기술의 연구가 활발하다. 그러나, MR 기술 중에서도, 현실 공간에 가상 공간을 중첩시켜 제시하는 확장 현실감(augmented reality)(이하, AR로 기재한다) 기술이 주목을 모으고 있다. MR 기술과 AR 기술에 있어서 중요한 과제의 한개는, 현실 공간과 가상 공간 사이의 얼라인먼트를 어떻게 실시간으로 정확하게 행할지이며, 이 과제에 대해 많은 노력이 투입되어 왔다. MR 및 AR에 있어서의 얼라인먼트의 문제는, 비디오 시쓰루(see-through) 방식에 있어서는 씬 내부에 있어서의(즉 씬 내부에 규정되는 기준 좌표계에 있어서의) 촬상장치의 위치 및 자세를 구하는 문제가 된다.

비디오 시쓰루 방식에 있어서의 얼라인먼트를 실현하는 방법의 대표예로서, 씬 내부에 형상정보의 기지의 인공적 지표를 배치하고, 지표를 촬상장치에 의해 촬영해서 인식하고, 기준 좌표계에 있어서의 촬상장치의 위치 및 자세를 구하는 수법이 있다. 기준 좌표계에 있어서의 촬상장치의 위치 및 자세는, 촬상장치가 촬영한 화상 내에 있어서의 지표의 투영 위치(화상 좌표)와, 기지의 정보인 지표의 기준 좌표계에 있어서의 3차원 좌표 사이의 대응으로부터 구해진다.

또한, 비디오 시쓰루 방식에 있어서의 얼라인먼트를 실현하는 방법으로서, 인공적인 지표를 사용하지 않고, 씬 내부에 원래 존재하는 특징(이하, 자연 특징)을 이용하는 얼라인먼트의 연구도 활발히 행해지고 있다. "T. Drummond and R. Cipolla: "Real-time visual tracking of complex structures", IEEE Trans. on Pattern Analysis and Machine Intelligence, vol.24, no.7, pp. 932-946, 2002(이하, 문헌 D1)와 "AI Comport, E. Marchand, and F. Chaumette: "A real-time tracker for markerless augmented reality", Proc. The Second Int'l Symp. on Mixed and Augmented Reality(ISMAR03), pp. 36-45, 2003(이하, D2)」에서는, 화상 내부의 엣지와 관찰 대상의 3차원 모델의 대응을 기초로 촬상장치의 위치 및 자세를 구하는 방법이 개시되어 있다. 3차원 모델에 대응하는 엣지(대응점)의 검출에 오검출이 발생하면 촬상장치의 위치 및 자세의 정밀도가 저하하여, MR 및 AR의 얼라인먼트의 정밀도가 저하한다. 따라서, D1 및 D2에서는, 로버스트 추정수법의 한개인 M 추정기를 사용하여, 가중 오차 최소화를 행함으로써 오검출의 영향을 배제하고 있다.

한편, "G. Simon, AW Fitzgibbon, and A. Zisserman: "Markerless tracking using planar structures in the scene", Proc. Int'l Symp. on Augmented Reality 2000(ISAR2000), pp.120-128, 2000(이하, D3)」와 "I. Gordon and DG Lowe: "Scene modelling, recognition and tracking with invariant features", Proc. The Third Int'l Symp. on Mixed and Augmented Reality(ISMAR04), pp.110-119, 2004(이하, D4)"에서는, 화상 위에서의 엣지가 아니고, 해리스(Harris) 오퍼레이터, 모라벡(Moravec) 오퍼레이터 등에 의해 검출되는 점 특징을 사용해서 촬상장치의 위치 및 자세를 구하는 방법이 개시되어 있다. 점 특징을 이용하는 경우에도, 엣지를 이용하는 경우와 마찬가지로, 오검출의 문제가 발생한다. 따라서, D3 및 D4에서는, RANSAC(RANdom SAmple Consensus) 알고리즘에 의해 오검출된 점 특징을 배제하고 있다. RANSAC을 사용한 오검출 배제에서는, 랜덤하게 선출된 대응점을 사용해서 촬상장치의 위치 및 자세를 추정하고, 그 추정값에 동의하는 대응점의 수가 가장 많은 경우의 대응점의 집합에 포함되지 않는 대응점이 오검출로서 배제된다.

D1 내지 4에 기재된 카메라 위치 및 자세 추정수법은, 이동하는 물체가 카메라 화상에 캡처되지 않는 환경(이하, 정지 환경)을 전제로 한 수법이다. D1 내지 D3에서는, 프레임 사이에서의 대응점 추적에 의해 카메라 위치 및 자세 추정을 행하기 때문에, 추적하고 있는 점이 실제 환경 내에서 이동한 경우에는, 추정 정밀도가 저하해 버린다. 또한, 시간 변화에 따라 위치 및 자세가 변화되는 물체(이하, 이동 물체)에 의해 추적하고 있는 점이 은폐됨으로써 추적가능한 점의 수가 감소하거나, 추적의 오대응이 증대함으로써, 추정 정밀도가 저하해 버린다.

또한, D4에서는, 촬영한 화상군 전체로부터 선택된 일부분의 화상군을 화상 데이터베이스에 등록해 두고, 현재의 화상에 대한 상대 위치 및 자세의 추정 오차가 초소가 되는 화상을 화상 데이터베이스로부터 선택해서 이용함으로써 카메라 위치 및 자세의 추정을 행한다. 여기에서, 사람이나 차 등이 통과하거나, 물이 흐르고 있는 것 등의 환경에서 데이터베이스를 구축하는 경우를 생각한다. 이 경우, 이동 물체가 캡처되는 화상이 데이터베이스에 등록되기 때문에, 화상 데이터베이스에 등록된 화상과 현재 프레임 사이에서, 환경 내부의 물체를 정확하게 관련시키는 것이 불가능하게 된다. 그 때문에, 화상에 이동 물체가 캡처되는 동적 환경에서는, 화상 데이터베이스를 참조하는 카메라 위치 및 자세 추정을 행하는 것이 곤란하게 된다.

한편, 종래, 화상 처리기술 및 카메라에 탑재된 가속도 센서 등의 이용에 의해, 화상에 캡처된 이동 물체의 영역 추정을 행하는 기술이 개발되고 있다. 그렇지만, 종래에는, 화상에 캡처된 이동 물체의 영역은, 데이터베이스에 카메라 화상을 등록할지 여부를 판단하는데 이용할 수 없었다. 또한, 이동 물체의 위치 및 자세를 계측하는 기능이 있는 경우에는, 그 계측 기능의 계측 결과를 이용해서 화상 내부의 이동 물체의 영역을 추정하는 것이 가능하다. 그렇지만, 종래에는, 이동 물체가 나타나는 영역의 정보를, 데이터베이스에 카메라 화상을 등록할 것인지 여부를 판단하는데 이용하지 않았다.

본 발명의 일 실시형태에 따르면, 촬상장치의 위치 및 자세 추정에 있어서 부적절한 화상이 참조되는 것을 방지하여, 촬상장치의 위치 및 자세 추정의 안정성을 향상시키는 정보 처리장치와 그 제어방법이 제공된다.

본 발명의 일면에 따르면, 촬상장치에 의해 촬영된 화상을 취득하도록 구성된 취득부와, 상기 취득부에 의해 취득된 화상에 관련되는 위치 및 자세 추정에 영향을 미치는 요인의 발생을 검출하도록 구성된 검출부와, 상기 검출부에 의해 검출된 요인에 근거하여, 상기 화상을 등록할 것인지 아닌지를 판단하도록 구성된 판단부와, 상기 판단부에 의해 등록될 것으로 판단된 화상군을 사용하여, 상기 취득부에 의해 취득된 화상으로부터 상기 촬상장치의 위치 및 자세를 추정하기 위한 화상 데이터베이스를 구축하도록 구성된 구축부를 구비한 정보 처리장치가 제공된다.

본 발명의 또 다른 일면에 따르면, 촬상장치에 의해 촬영된 카메라 화상을 취득하도록 구성된 취득부와, 상기 카메라 화상의 위치 및 자세 추정에 악영향을 미치는 영역을 검출하도록 구성된 검출부와, 상기 취득부에 의해 취득된 카메라 화상군을 사용하여, 카메라 화상으로부터 상기 촬상장치의 위치 및 자세를 추정하는데 사용되는 화상 데이터베이스를 구축하도록 구성된 구축부를 구비하고, 상기 구축부는, 상기 화상 데이터베이스에 등록되어 있는 카메라 화상군의 상기 검출부에 의해 검출된 영역을 제외한 부분을 사용해서 실제 환경의 3차원의 구조를 재구성하고, 상기 카메라 화상군의 각 카메라 화상을, 상기 3차원의 구조에 근거한 3차원 정보에 관련시켜 격납하는 정보 처리장치가 제공된다.

본 발명의 또 다른 일면에 따르면, 촬상장치에 의해 촬영된 화상을 취득하는 단계와, 상기 취득된 화상에 관련되는 위치 및 자세 추정에 영향을 미치는 요인의 발생을 검출하는 단계와, 상기 검출된 요인에 근거하여, 상기 화상을 등록할 것인지 아닌지를 판단하는 단계와, 등록될 것으로 판단된 화상군을 사용하여, 상기 취득된 화상으로부터 상기 촬상장치의 위치 및 자세를 추정하기 위한 화상 데이터베이스를 구축하는 단계를 포함하는 정보 처리장치의 제어방법이 제공된다.

본 발명의 또 다른 일면에 따르면, 촬상장치에 의해 촬영된 카메라 화상을 취득하는 단계와, 상기 카메라 화상의 위치 및 자세 추정에 악영향을 미치는 영역을 검출하는 단계와, 취득된 카메라 화상군을 사용하여, 카메라 화상으로부터 상기 촬상장치의 위치 및 자세를 추정하는데 사용되는 화상 데이터베이스를 구축하는 단계를 포함하고, 상기 화상 데이터베이스의 구축에서는, 상기 화상 데이터베이스에 등록되어 있는 상기 카메라 화상군의 위치 및 자세 추정에 악영향을 미치는 영역을 제외한 부분을 사용해서 실제 환경의 3차원의 구조를 재구성하고, 상기 카메라 화상군의 각 카메라 화상을, 상기 3차원의 구조에 근거한 3차원 정보에 관련시켜 격납하는, 정보 처리장치의 제어방법이 제공된다.

본 발명의 또 다른 특징은 (첨부도면을 참조하여 주어지는) 이하의 실시형태의 상세한 설명으로부터 명백해질 것이다.

도 1은, 제1 실시형태에 따른 정보 처리장치(100)의 구성 예를 나타낸 블록도다.
도 2a 및 2b는, 제1 실시형태에 따른 등록 판단을 설명하는 도면이다.
도 3은, 제1 실시형태에 따른 위치 및 자세 계측방법의 처리 절차를 나타낸 흐름도다.
도 4는, 제2실시형태에 따른 위치 및 자세 계측방법의 처리 절차를 나타낸 흐름도다.
도 5a 내지 도 5d는, 제2실시형태에 따른 등록 판단을 설명하는 도면이다.
도 6a 및 도 6b는, 변형예에 따른 등록 판단을 설명하는 도면이다.
도 7a 및 도 7b는, 변형예에 따른 등록 판단을 설명하는 도면이다.
도 8은, 정보 처리장치(100)의 하드웨어 구성 예를 나타낸 블록도다.

이하, 첨부도면을 참조해서 본 발명의 바람직한 실시형태의 몇개를 설명한다.

<제1 실시형태>

도 1은, 제1 실시형태에 따른 정보 처리장치(100)의 구성 예를 나타낸 블록도다. 정보 처리장치(100)는, 화상 취득부(101), 검출부(102), 화상 등록부(103), 화상 데이터베이스(104), 재구성부(105), 위치 및 자세 추정부(106) 및 MR 화상 생성부(107)를 갖는다. 관찰자는 촬상부(180)를 유지하고 있고, 촬상부(180)에 의해 얻어지는 화상(카메라 화상)에는 실제 환경이 나타난다.

제1 실시형태의 정보 처리장치(100)는, 촬상부(180)(카메라)에 의해 촬영된 화상(카메라 화상)을 사용하여, 촬상부(180)의 위치 및 자세를 추정하기 위한 화상 데이터베이스(104)를 생성한다. 화상 데이터베이스(104)의 생성에서는, 우선, 검출부(102)가 화상 취득부(101)에 의해 취득된 화상(카메라 화상)에 관해 위치 및 자세 추정에 영향을 미치는 요인의 발생을 검출한다. 본 실시형태의 검출부(102)는, 상기한 요인으로서, 취득된 화상에 존재하는 소정의 이동 물체의 영역(예를 들면, 사람의 손의 영역)을 검출한다. 화상 등록부(103)는, 검출부(102)에 의한 요인의 검출 결과에 근거하여, 입력된 카메라 화상을 화상 데이터베이스(104)에 등록할 것인지 아닌지를 판단한다. 이에 따라, 위치 및 자세의 추정에 부적절한 카메라 화상의 등록이 회피되고, 위치 및 자세의 추정에 적합한 카메라 화상을 사용하여 화상 데이터베이스(104)가 생성된다. 또한, MR 화상의 생성에서는, 순차적으로 입력되는 카메라 화상으로부터, 위치 및 자세 추정부(106)가 화상 데이터베이스(104)를 참조해서 촬상부(180)의 실제 환경에 대한 위치 및 자세를 추정한다. MR 화상 생성부(107)는, 카메라 화상과, 위치 및 자세 추정부(106)에 의해 추정된 촬상부(180)의 위치 및 자세에 근거하여 MR 화상을 생성한다.

이때, 제1실시형태에서는, 스테레오 화상처리에 의해 추정된 휘도 구배의 3차원 분포의 투영을 이용한 얼라인먼트 수법을 사용하는 것으로 가정한다. 또한, 제1실시형태에서는, 상기한 소정의 이동 물체로서, 사람의 손이 검출된다. 즉, 검출부(102)는, 관찰자가 유지한 촬상부(180)로부터 얻어지는 카메라 화상에 이동 물체로서 캡처된 (관찰자의) 손을 검출한다. 이때, 제1실시형태에서는 이동 물체로서 관찰자의 손을 사용하지만, 이것에 한정되는 것은 아니다. 예를 들면, 사람의 다리나 발, 전자기기 케이블, 주변에 존재하는 다른 사람 등이 소정의 이동 물체로서 검출되어도 된다. 이와 달리, 미리 결정된 물체를 이동 물체로서 검출하는 것에 덧붙여, 혹은 이 대신에, 동화상으로서 순차적으로 입력되는 카메라 화상으로부터 실제로 움직이고 있는 물체를 검출하여, 이것을 이동 물체로서 사용해도 된다.

화상 취득부(101)는, 예를 들어 비디오 캡처 보드, IEEE1394 인터페이스 보드, USB 포트 등에 의해 실현되고, 촬상부(180)로부터 카메라 화상을 취득한다. 화상 취득부(101)에 있어서, 제1 화상 취득부(101a)는, 화상 데이터베이스(104)를 위한 초기화용 카메라 화상을 취득하고, 촬상부(180)로부터 제2 화상 취득부(101b)는 MR 어플리케이션에 의해 사용하기 위한 카메라 화상을 취득한다. 이때, 초기화용 카메라 화상은, 그 화상을 촬영한 촬상부(180)의 위치 및 자세가 기지인 촬영 화상이며, 촬상부(180)로부터 취득되거나, 이와 같은 종류의 촬영 화상을 기억하는 기억장치(미도시)로부터 취득되어도 된다. 또한, 기능 구성 상의 관점에서, 제1 화상 취득부(101a) 및 제2 화상 취득부(101b)의 2개의 블록으로 나누어서 나타내었지만, 이들 기능을 실현하기 위해서 별개의 하드웨어가 사용될 필요는 없다.

검출부(102)는, 화상 취득부(101)가 취득한 카메라 화상으로부터 이동 물체를 검출하고, 그 검출 결과를 화상 등록부(103)에 공급한다. 제1 검출부(102a)는 제1 화상 취득부(101a)가 취득한 카메라 화상 내부의 이동 물체의 영역(이하, 이동 물체 영역)을 검출하고, 제2 검출부(102b)는 제2 화상 취득부(101b)가 취득한 카메라 화상 내부의 이동 물체 영역을 검출한다. 이때, 기능 구성 상의 관점에서, 제1 검출부(102a) 및 제2 검출부(102b)의 2개의 블록으로 나누어서 나타내었지만, 이들 기능을 실현하기 위해서 별개의 하드웨어가 사용될 필요는 없다.

화상 등록부(103)는, 화상 선택부(121)와 등록 판단부(122)를 포함한다. 화상 선택부(121)는, 제1 화상 취득부(101a)에 의해 취득된 카메라 화상으로부터, 제1 검출부(102a)에 의한 이동 물체 영역의 검출 결과에 근거하여 초기화용의 카메라 화상을 선택한다(선택 판단). 선택된 초기화용의 카메라 화상은 화상 데이터베이스(104)에 등록된다. 등록 판단부(122)는, MR 어플리케이션의 실행중에 화상 취득부(101)로부터 순차적으로 입력되는 카메라 화상을, 제2 검출부(102b)에 의한 이동 물체 영역의 검출 결과에 근거하여, 화상 데이터베이스(104)에 등록할 것인지 아닌지를 판단한다(등록 판단). 등록하는 것으로 판단된 카메라 화상은 화상 데이터베이스(104)에 등록된다. 이때, 기능 구성상의 관점에서, 화상 선택부(121)와 등록 판단부(122)의 2개의 블록으로 나누어서 나타내었지만, 이들 기능을 실현하기 위해서 별개의 하드웨어가 사용될 필요는 없다. 촬상부(180)는 제1 화상 취득부(101a) 및 제2 화상 취득부(101b)에 접속되어 있다. 표시부(190)는 MR 화상 생성부(107)에 접속되어 있다.

이상의 구성에 대해, 더욱 상세하게 설명한다. 관찰자는 촬상부(180)를 유지하고, 촬상부(180)로부터 얻어지는 카메라 화상에는 실제 환경이 캡처되고, 경우에 따라서는 관찰자의 손이 캡처된다. 제1 화상 취득부(101a) 및 제2 화상 취득부(101b)가 취득한 카메라 화상은, 각각 제1 검출부(102a) 및 제2 검출부(102b)에 입력된다. 제1 검출부(102a)와 제2 검출부(102b)는, 입력된 카메라 화상으로부터 이동 물체 영역을 검출한다.

제1 검출부(102a) 및 제2 검출부(102b)는, 카메라 화상에 캡처된 움직일 수 있는 특정한 물체의 영역을 이동 물체 영역으로서 검출한다. 본 실시형태에서는, 특정한 물체로서 "손"이 검출된다. 관찰자의 손은 실제 환경의 물체의 앞에 있는 것으로 가정한다. 이때, 본 실시형태에서는, 손의 영역은, 기억부(미도시)에 미리 설정된 손의 색의 정의에 근거하여 검출되는 것으로 가정한다. 예를 들면, 관찰자의 손을 미리 촬영해 두고, 손의 색을 나타내는 색 영역을 설정한 후, 카메라 화상 내부의 화소의 임계값처리에 의해 손의 영역을 추정할 수 있다. 물론, 손의 영역의 취득 방법은 이것에 한정되는 것은 아니고, 손목이나 손가락에 장착된 위치 센서서의 정보를 기초로, 타원 피팅(ellipse fitting)에 의해 추정하는 것 등, 공지의 어느 수법이 사용될 수 있다.

화상 선택부(121)는, 제1 화상 취득부(101a)에 의해 취득된 초기 카메라 화상군으로부터, 제1 검출부(102a)가 검출한 이동 물체 영역에 근거하여 화상 데이터베이스(104)에 등록할 초기화용 카메라 화상을 선택한다(선택 판단). 이때, 본 실시형태에서는, 이동 물체 영역은 (관찰자의) 손의 캡처된 영역이다. 선택되는 초기화용 카메라 화상은 1매의 화상이거나, 복수매의 화상이어도 된다. 본 실시형태에서는, 1매의 초기화용 카메라 화상이 선택되는 것으로 가정한다(복수매의 초기화용 카메라 화상이 선택되는 예는 제2실시형태에서 설명한다). 등록 판단부(122)는, 초기화용 카메라 화상의 등록후에, 제2 화상 취득부(101b)가 순차적으로 취득한 카메라 화상을, 제2 검출부(102b)가 검출한 이동 물체 영역에 근거하여, 화상 데이터베이스(104)에 등록할 것인지 아닌지의 판단(등록 판단)을 행한다.

이때, 본 실시형태에서는, 화상 선택부(121)의 선택 판단 및 등록 판단부(122)의 등록 판단의 판단 조건으로서, 카메라 화상으로부터 검출된 이동 물체 영역의 크기가 고려된다. 또한, 카메라 화상에 있어서의 휘도 구배도 선택 판단 및 등록 판단의 판단 조건으로 사용된다. 따라서, 본 실시형태의 제1 검출부(102a) 및 제2 검출부(102b)는 카메라 화상으로부터 휘도 구배도 검출한다.

재구성부(105)는, 화상 데이터베이스(104)에 유지된 카메라 화상군을 통합하여, 실제 환경의 3차원의 구조를 추정하고, 재구성에 의해 3차원의 구조 데이터를 생성한다. 3차원의 구조 데이터는, 점의 좌표 위치 및 점의 색을 갖는 점 군 데이터이다. 여기에서, 점의 좌표 위치는, 실제 환경중의 특정한 위치 및 자세가 좌표계의 기준으로서 정의되는 3차원의 좌표값이다. 3차원의 구조의 추정은, 화상 데이터베이스(104)에 유지된 카메라 화상을 통합해서 처리하여, SfM(Structure from Motion) 등의 단일의 3차원 모델을 구축하는 방법에 의해 실현된다. 화상 데이터베이스(104)에는, 재구성부(105)에 의해 생성된 3차원 정보(3차원의 구조 데이터)가 관련되는 카메라 화상군이 등록 화상군으로서 격납된다. 이렇게 해서, 화상 데이터베이스(104)의 등록 화상군의 각각의 카메라 화상과, 촬상부(180)의 위치 및 자세 정보(촬영 위치 및 자세라고도 한다)가 관련된다.

위치 및 자세 추정부(106)는, 제2 화상 취득부(101b)에 의해 취득된 카메라 화상을 화상 데이터베이스(104)에 격납되어 있는 등록 화상군과 비교하여, 촬상부(180)의 촬영 위치 및 자세를 추정한다. 촬영 위치 및 자세의 추정은, 화상들 사이에서의 매칭에 의해, 가장 유사도 레벨이 높은 화상의 위치/자세 정보에 근거해서 행해진다.

MR 화상 생성부(107)는, 제2 화상 취득부(101b)에 의해 순차적으로 얻어지는 카메라 화상에 대하여, 위치 및 자세 추정부(106)에 의해 얻어진 촬상부(180)의 촬영 위치 및 자세의 추정값에 근거하여 가상 물체 데이터를 묘화함으로써 MR 화상을 생성한다. 생성된 MR 화상은, 표시부(190)에 송신되어, 표시된다. 표시부(190)는, 헤드마운트 디스플레이, 헤드 업 디스플레이, 모바일 디스플레이 등으로 구성되고, MR 화상 생성부(107)가 생성한 MR 화상을 관찰자에게 제시한다.

다음에, 제1 실시형태에 있어서의 MR 화상 생성 처리에 대해 설명한다. 도 2a 및 도 2b는 화상 등록부(103)가 행하는 초기 화상의 선택과 카메라 화상의 등록을 설명하는 도면이다. 도 3은, 제1 실시형태에 있어서의 MR 화상 생성 처리의 절차를 나타낸 흐름도이다. 스텝 S300 내지 S303은, 주로 화상 선택부(121)에 의한 초기화 동작이다. 스텝 S304 내지 S309는, MR 어플리케이션의 동작중에 실행되는 카메라 화상의 등록(화상 데이터베이스(104)의 갱신) 및 MR 화상의 생성 처리이다. 스텝 S304 내지 S309의 처리는, 촬상부(180)로부터 순차적으로 입력되는 카메라 화상(영상)에 대해 반복하여 실행된다. 이하, 제1 실시형태에 있어서 MR 화상 생성의 처리 절차에 대해, 도 1, 도 2a 및 도 2b, 도 3을 사용하여 설명한다.

스텝 S300에 있어서, 제1 화상 취득부(101a)가 초기화용의 카메라 화상군을 취득한다. 다음에, 스텝 S301에 있어서, 제1 검출부(102a)가, 스텝 S300에서 취득된 카메라 화상군의 각 카메라 화상에 대해 이동 물체 영역과 휘도 구배의 검출을 행한다. 제1 실시형태에 있어서의 이동 물체는 관찰자의 손이므로, 제1 검출부(102a)는 초기화용의 카메라 화상군의 각 화상으로부터 관찰자의 손의 영역을 이동 물체 영역으로서 검출한다. 스텝 S302에 있어서, 화상 선택부(121)는, 스텝 S301에서 검출된 이동 물체 영역과 휘도 구배에 근거하여, 스텝 S300에서 취득된 초기화용의 카메라 화상군으로부터 화상 데이터베이스(104)에 등록할 단일의 화상을 초기화용 카메라 화상으로서 선택한다. 본 실시형태에서는, 화상 선택부(121)는, 화상 내부에 (관찰자의) 손의 영역이 존재하지 않고 휘도 구배의 개수가 일정수 이상인 1매의 화상을 선택한다.

도 2a는, 본 실시형태에 있어서 초기화시에 데이터베이스에 등록할 단일 화상을 선택하는 상황의 예이다. 카메라 화상 200 및 카메라 화상 201은, 이들 화상에 손이 캡처되어 있다(이동 물체 영역이 존재한다)고 판단되었기 때문에, 단일 화상으로서 선택되지 않는다. 카메라 화상 202는, 이 화상에서 손의 영역이 검출되지 않지만, 검출된 휘도 구배의 수가 적기 때문에 단일 화상으로서 선택되지 않고 있다. 카메라 화상 203은, 관찰자의 손의 영역이 존재하지 않고 휘도 구배가 일정수 이상 더 포함되기 때문에, 단일 화상으로서 선택된다. 이렇게 해서, 단일 화상의 선택이 종료하면, 처리는 스텝 S303으로 처리를 진행한다. 스텝 S303에 있어서, 화상 등록부(103)는, 스텝 S302에서 선택된 단일 화상을 사용해서 화상 데이터베이스(104)를 생성한다. 더욱 구체적으로는, 화상 등록부(103)는, 단일 화상을 화상 데이터베이스에 등록하고, 등록된 단일 화상의 촬영 위치 및 자세를 기준의 위치 및 자세로서 등록한다.

이상과 같이 해서 스텝 S300 내지 S303의 초기화처리를 종료하면, 처리는 스텝 S304로 진행한다. 스텝 S304 내지 S309에서는, 촬상부(180)로부터 순차적으로 취득되는 카메라 화상(본 실시형태에서는 동화상의 각 프레임)을 사용해서 화상 데이터베이스(104)가 갱신되고, 취득된 각 카메라 화상에 관련되는 촬상부(180)의 위치 및 자세가 취득되어, MR 화상이 생성된다.

우선, 스텝 S304에 있어서, 제2 화상 취득부(101b)는 촬상부(180)로부터 카메라 화상을 취득한다. 다음에, 스텝 S305에 있어서, 제2 검출부(102b)는, 스텝 S304에서 취득된 각각의 카메라 화상에 대한 이동 물체 영역(본 실시형태에서는 손의 영역)과 휘도 구배를 검출한다. 그리고, 스텝 S306에 있어서, 등록 판단부(122)는, 스텝 S304에서 취득된 카메라 화상이 화상 데이터베이스(104)에 등록되는지 아닌지를 판단한다. 화상이 등록되는 것으로 판단된 경우에는 처리는 스텝 S307로 진행하고, 화상이 등록되지 않는다고 판단된 경우에는 처리는 스텝 S308로 진행한다.

스텝 S306의 등록 판단에서는, 스텝 S305에 있어서 손의 영역이 검출되지 않고, 그 안에 포함된 휘도 구배의 수가 일정수 이상인 경우에, 카메라 화상을 화상 데이터베이스(104)에 등록할 것으로 판단한다. 물론, 등록 판단을 위한 조건은 이것에 한정되는 것은 아니다. 예를 들면, 카메라 화상에 있어서 추정되는 손의 영역의 크기의 화상 전체에 대한 비율이 일정값 미만이며, 포함된 휘도 구배의 수가 일정수 이상인 화상을 화상 데이터베이스(104)에 등록하도록 하는 구성을 채용해도 된다. 이때, 손의 영역을 포함하는 카메라 화상을 등록하는 경우에는, 카메라 화상의 각 화소가 손의 영역인지 아닌지를 나타내는 정보가 부여된다. 또는, 각 화소가 손의 영역일 확률의 정보가 카메라 화상에 부여되도록 하는 구성을 채용해도 된다.

더구나, 초기화시에 등록된 화상(스텝 S302에서 선택된 화상)과의 유사도 레벨이 높은 화상이 등록되면, 데이터베이스의 화상 매수가 방대해져 버린다. 따라서, 유사도 레벨이 매우 높은 화상(소정의 임계값의 유사도 레벨을 초과하는 화상)이 등록되지 않도록 하는 구성을 채용해도 된다.

도 2b는, 본 실시형태에 있어서 카메라 화상을 화상 데이터베이스(104)에 등록할 것인지 아닌지의 등록 판단의 일례를 설명하는 도면이다. 카메라 화상 210은, 검출된 손 영역이 크기 때문에 등록되지 않는다. 카메라 화상 211은, 손 영역이 작고, 휘도 구배의 수가 일정수 이상이기 때문에 등록된다. 카메라 화상 212는, 손 영역은 작지만, 휘도 구배의 수가 일정수 미만이기 때문에 등록되지 않는다. 카메라 화상 213은, 초기화시에 등록된 카메라 화상 203(도 2a)과의 유사도 레벨이 임계값 이상이기 때문에 등록되지 않는다. 카메라 화상 214는, 손 영역이 없고, 휘도 구배의 수가 일정수 이상이기 때문에 등록된다. 이렇게, 화상 선택부(121)의 선택 판단을 위한 판단 조건과 등록 판단부(122)의 등록 판단을 위한 판단 조건은 서로 다르고, 초기화용 카메라 화상으로서 적합한 화상과 화상 데이터베이스의 갱신에 적합한 화상이 선택 및 등록된다.

스텝 S307에 있어서, 화상 등록부(103)는, 스텝 S303에서 취득된 카메라 화상을 화상 데이터베이스(104)에 등록하고, 재구성부(105)를 사용해서 화상 데이터베이스(104)를 갱신한다. 화상 데이터베이스(104)의 갱신에서는, 우선, 재구성부(105)가, 초기화처리에 의해 등록된 화상(스텝 S303에서 등록된 화상)의 촬영 위치 및 자세를 기준으로 하여, 화상 데이터베이스(104)에 있어서의 기타의 등록 화상의 촬영 위치 및 자세를 추정한다. 다음에, 기타의 등록 화상에 대해 각 화상의 촬영 위치 및 자세의 등록이 행해진다. 기타의 등록 화상의 촬영 위치 및 자세의 추정 방법에서는, 예를 들면, 데이터베이스 내의 화상군에서 SfM법에 의해 화상의 촬영 위치 및 자세의 최적화 계산을 행하여, 기타의 등록 화상의 촬영 위치 및 자세가 추정된다.

다음에, 스텝 S308에 있어서, 위치 및 자세 추정부(106)는, 스텝 S304에서 취득된 카메라 화상으로부터 카메라 위치 및 자세를 추정한다. 카메라 위치 및 자세의 추정 방법은 예를 들면 다음과 같다. 우선, 위치 및 자세 추정부(106)는, 화상 데이터베이스(104)의 등록 화상군으로부터 현재 프레임의 카메라 화상과 가장 유사도 레벨이 높은 1매의 화상을 선택한다. 다음에, 위치 및 자세 추정부(106)는, 현재 프레임의 카메라 화상과 화상 데이터베이스(104)로부터 선택된 등록 화상(현재 프레임과 가장 유사도 레벨이 높은 등록 화상)의 2매의 화상 사이에 있어서의 화상 특징을 관련시키고, 양자의 상대 위치 및 자세의 변화량을 추정한다. 그리고, 위치 및 자세 추정부(106)는, 추정된 상대 위치 및 자세의 변화량과, 선택된 화상에 대해 등록된 촬영 위치 및 자세에 근거하여, 촬상부(180)의 위치 및 자세(카메라 위치 및 자세)를 추정한다.

단, 현재 프레임과 선택된 화상 사이의 화상 특징을 관련시키는데 있어서, 이동 물체의 영역으로부터 추출된 화상 특징을 관련시키면, 추정 오차가 커진다. 이 때문에, 화상 특징을 관련시키는 것은, 이동 물체 영역 이외의 영역을 사용해서 행해진다. 본 실시형태에서는, 이동 물체는 관찰자의 손이므로, 손의 영역 이외의 화상 영역에 있어서 추출된 화상 특징들 사이의 관련시킴에 의해, 현재 프레임과 선택된 화상 사이의 상대 위치 및 자세의 변화량이 추정된다. 이때, 각 화소가 손의 영역일 확률의 정보가 부여되어 있는 경우에는, 유사도 레벨에 확률의 정보를 도입하여, 화상 특징의 대응들의 관련시킴의 평가를 확률을 사용한 가중 계산에 의해 행한다. 이렇게, 데이터베이스에 등록된 화상의 각 화소가 이동 물체일 확률을 나타내는 값을 설정하고, 이것을 사용함으로써 얼라인먼트의 안정성을 향상시킬 수 있다.

스텝 S309에 있어서, MR 화상 생성부(107)는, 스텝 S308에서 얻어진 카메라 위치 및 자세의 추정값에 근거하여 가상 물체를 카메라 화상(현재 프레임)과 합성함으로써 MR 화상을 생성한다.

이상과 같이, 제1실시형태에서는, 화상 위에 이동 물체가 존재하는 영역을 검출하고, 이동 물체 영역이 차지하는 화상의 비율에 근거하여, 화상의 등록 여부에 대한 판단을 행한다. 이에 따라, 촬상부(180)에 의해 얻어지는 카메라 화상에 이동 물체가 존재해도, 고정밀도의 화상 데이터베이스를 작성하여, 고정밀도의 안정된 카메라 위치 및 자세 추정을 행할 수 있다. 즉, 제1 실시형태에 따르면, 화상처리 결과에 근거하여 화상 등록 여부에 대한 판단을 행함으로써, 고정밀도의 화상 데이터베이스를 작성할 수 있어, 카메라 위치 및 자세의 고정밀도의 안정된 추정을 행할 수 있다.

이때, 전술한 실시형태에서는, 이동 물체 영역과 휘도 구배를 사용했지만, 휘도 구배 대신에 또는 이것에 덧붙여 카메라 화상에 포함되어 있는 특징의 수가 사용되어도 된다. 예를 들면, 검출부(102)는, 카메라 화상으로부터 특징점의 검출을 더 행하고, 화상 등록부(103)는 특징점의 수가 어떤 임계값 이상인 것으로 검출되는 사실을 선택 판단이나 등록 판단의 판단 조건의 한개로서 사용해도 된다. 이때, 특징점의 검출에는, 해리스 오퍼레이터 등의 화상 필터를 이용할 수 있지만, 특징점의 검출 방법은 이것에 한정되는 것은 아니다. 예를 들면, 인위적으로 환경에 설치한 표식(예를 들면, 컬러 볼 등)을 색 정보에 근거하여 검출하는 수법 등의 공지의 어느 수법이어도 된다. 또한, 화상 데이터베이스(104)에 등록되어 있는 카메라 화상과 판단 대상의 카메라 화상 사이에서 특징점을 관련시키고, 일정수 이상의 대응점들의 쌍의 취득을 등록 판단에 대한 조건으로 해도 된다.

<제2실시형태>

제2실시형태에서는, 초기화용 물체로서 형상이 기지인 물체(기지의 형상 물체)를 사용한 화상 데이터베이스의 초기화와, 스테레오 화상처리에 의해 추정된 휘도 구배의 3차원 분포의 투영을 이용한 얼라인먼트 수법을 사용하는 경우에 대해 설명한다. 제2실시형태에서는, 제1 실시형태와 마찬가지로, 관찰자가 유지한 촬상부(180)로부터 얻어지는 카메라 화상에 관찰자의 손이 캡처되어 있는 경우에, 카메라의 실제 환경에서 위치 및 자세를 구하는 위치 및 자세 계측방법에 대해 설명한다.

본 실시형태의 정보 처리장치(100)의 구성은, 제1 실시형태(도 1)와 유사하므로, 도 1의 블록도를 재사용해서 설명한다. 이하, 제2실시형태에 대해, 주로 제1 실시형태와 다른 부분에 대해 설명한다.

관찰자는 촬상부(180)를 유지하고 있고, 제1 화상 취득부(101a)는 촬상부(180)로부터 초기화용의 카메라 화상군을 취득한다. 카메라 화상군에는, 이동 물체로서 관찰자의 손이 캡처되어 있는 화상과, 기지의 형상 물체가 캡처되어 있는 화상이 포함되어 있다. 정보 처리장치(100)에 있어서, 제1 검출부(102a)는, 제1 화상 취득부(101a)가 취득한 초기화용의 카메라 화상군의 각 카메라 화상에서, 이동 물체 영역(손의 영역) 및 기지의 형상 물체의 영역을 검출한다. 손의 영역의 취득 방법은 제1 실시형태와 같다. 또한, 본 실시형태에 있어서, 기지의 형상 물체는 2차원의 평면 마커(marker)이며, 기억부(미도시)에 미리 설정된 형상의 정의에 근거하여 검출된다. 예를 들면, 검출부(102)는, 종래의 마커 검출방법(예를 들면, "Kato Hirokazu: "ARToolKit: Library for Vision-based Augmented Reality", Technology Research Report of the Institute of Electronics, Information and Communication Engineers, Japan, Institute of Electronics, Information and Communication Engineers, February 14, 2002, Issue 101, Number 652, p.79-86(이하, D5)"에 기재된 수법)을 사용하여, 초기화용의 카메라 화상군의 각 카메라 화상으로부터 기지의 형상 물체의 영역을 추정할 수 있다.

화상 선택부(121)는, 제1 검출부(102a)의 검출 결과에 근거하여 화상 데이터베이스(104)에 등록할 초기화용의 카메라 화상을 선택한다. 즉, 화상 선택부(121)는, 복수의 카메라 화상으로부터, 이동 물체 영역(손이 캡처된 영역) 및 기지의 형상 물체의 영역의 분포에 근거하여, 화상 데이터베이스(104)에 등록할 1매 또는 복수의 카메라 화상을 선택한다. 이때, 본 실시형태에서는, 관찰자의 손은 실제 환경의 물체이고 기지의 형상 물체의 앞에 있는 것으로 가정한다.

MR 어플리케이션에 있어서, 제2 검출부(102b)는, 제2 화상 취득부(101b)가 취득한 카메라 화상으로부터 카메라 화상 내의 이동 물체 영역과 휘도 구배를 검출한다. 등록 판단부(122)는, 제2 검출부(102b)에 의한 이동 물체 영역과 휘도 구배의 검출 결과에 근거하여, 카메라 화상을 화상 데이터베이스(104)에 등록할 것인지 아닌지의 판단(등록 판단)을 행한다. 이상과 같이, 화상 선택부(121)에서는, 이동 물체 영역(손이 캡처된 영역) 및 기지의 형상 물체의 영역의 분포에 근거하여, 화상 데이터베이스(104)의 초기 화상으로서 선택할 것인지 아닌지를 판단한다. 예를 들면, 화상 선택부(121)에서는, 이동 물체 영역의 크기가 소정값 이하이며, 기지의 형상 물체의 영역이 소정값 이상인 것을 선택 판단의 판단 조건에 포함시킨다. 한편, 등록 판단부(122)에서는, 이동 물체 영역을 등록 판단의 판단 조건에 포함시키지만, 기지의 형상 물체의 영역의 크기는 판단 조건에 포함시키지 않는다.

다음에, 제2실시형태에 따른 MR 화상 생성 처리의 절차에 대해 설명한다. 도 4는, 제2실시형태에 따른 MR 화상 생성 처리의 절차를 나타낸 흐름도다. 스텝 S400 내지 S403은, 주로 화상 선택부(121)에 의한 초기화 동작이다. 스텝 S404 내지 S409는, MR 어플리케이션의 동작중에 실행되는 카메라 화상의 등록(화상 데이터베이스(104)의 갱신) 및 MR 화상의 생성 처리이다. 스텝 S404 내지 S409의 처리는, 촬상부(180)로부터 순차적으로 입력되는 카메라 화상(영상)에 대해 반복하여 실행된다. 또한, 도 5a 내지 도 5d는, 제2실시형태에 따른 화상 선택부(121)의 선택 판단 및 등록 판단부(122)의 등록 판단을 설명하는 도면이다.

스텝 S400에 있어서, 제1 화상 취득부(101a)가 초기화용 카메라 화상군을 취득한다. 다음에, 스텝 S401에 있어서, 제1 검출부(102a)는, 카메라 화상에 있어서의 기지의 형상 물체의 영역 및 이동 물체 영역의 검출을 행한다. 본 실시형태에 있어서의 이동 물체는 관찰자의 손이므로, 제1 검출부(102a)는 제1 화상 취득부(101a)에 의해 취득된 초기화용의 카메라 화상군의 각 카메라 화상에 있는 관찰자의 손의 영역을 검출한다.

스텝 S402에 있어서, 화상 선택부(121)는, 초기화용의 카메라 화상군으로부터 화상 데이터베이스(104)에 등록된 초기화용의 카메라 화상을 선택한다. 이때, 선택 판단의 기준은, 기지의 형상 물체의 영역 및 이동 물체의 영역의 검출 결과에 근거하여 설정된다. 예를 들면, 이동 물체 영역이 일정 크기 이하이고, 기지의 형상 물체 영역과 이동 물체 영역의 중복 영역이 일정값 이하인 것을 선택 판단의 조건으로 한다. 이때, 스텝 S402에서는, 1매 또는 복수매의 카메라 화상이 초기화용의 카메라 화상으로 선택된다.

도 5a, 도 5b 및 도 5c는, 제2실시형태에 있어서의 초기화용 카메라 화상의 선택 판단을 설명하는 도면이다. 도 5a에 표시된 카메라 화상 500, 501, 502 및 503은, 제1 화상 취득부(101a)에 의해 취득된 초기화용 카메라 화상군이다. 도 5b는, 도 5a에 도시된 카메라 화상 500, 501, 502 및 503으로부터 이동 물체의 영역(손 영역) 및 기지의 형상 물체의 영역을 검출한 결과이다. 도면에 나타낸 예에서는, 카메라 화상 501, 502 및 503에 있어서 손 영역(551) 및 기지의 형상 물체의 영역(552)이 검출되어 있다. 도 5c는 도 5a에 도시된 카메라 화상 500, 501, 502 및 503에 대해 선택 판단을 행한 결과이다. 본 예에서는, 카메라 화상 500은 기지의 형상 물체가 검출되지 않기 때문에 초기화용 카메라 화상으로 선택되지 않는다. 카메라 화상 501은, 기지의 형상 물체와 손 영역의 중복 영역이 일정값 이상이기 때문에 초기화용 카메라 화상으로 선택되지 않는다. 카메라 화상 502와 카메라 화상 503은 초기화용 카메라 화상으로서 선택된다. 화상 데이터베이스(104)에 등록할 초기화용 카메라 화상의 선택이 종료하면, 처리는 스텝 S403으로 진행한다.

스텝 S403에서는, 화상 등록부(103)가, 스텝 S402에서 화상 선택부(121)가 선택한 초기화용 카메라 화상을 사용해서 화상 데이터베이스(104)를 생성한다. 구체적으로는, 화상 등록부(103)는, 스텝 S402에서 선택된 초기화용 카메라 화상을 화상 데이터베이스(104)에 등록하고, 등록한 초기화용 카메라 화상의 촬영 위치 및 자세를 기준의 위치 및 자세로서 등록한다. 여기에서, 등록된 초기화용 카메라 화상이 1매인 경우에는, 이 화상의 촬영 위치 및 자세를 기준의 위치 및 자세로서 등록한다. 또한, 등록된 초기화용 카메라 화상이 2매 이상인 경우에는, 이들 화상으로부터 1매의 화상을 선택하여, 기준의 위치 및 자세로서 등록한다. 복수의 초기화용 카메라 화상으로부터 1매의 카메라 화상을 선택하는 방법으로서는, 예를 들면, 기지의 형상 물체가 가장 크게 나타나는 화상을 선택하는 방법이 존재한다. 물론, 휘도 구배 등, 스텝 S402에서는 사용되지 않은 조건이 사용되어도 된다. 화상 데이터베이스(104)가 생성되면, 처리는 스텝 S404로 진행한다.

스텝 S404에 있어서, 제2 화상 취득부(101b)는 촬상부(180)로부터 카메라 화상을 취득한다. 다음에, 스텝 S405에 있어서, 제2 검출부(102b)는, 제2 화상 취득부(101b)가 취득한 카메라 화상으로부터 이동 물체 영역(본 실시형태에서는, 손 영역)을 검출한다. 또한, 스텝 S406에 있어서, 등록 판단부(122)는, 스텝 S404에서 취득한 카메라 화상을 화상 데이터베이스(104)에 등록할 것인지 아닌지에 대한 등록 판단을 행한다. 등록 판단은, 예를 들면, 제2 검출부(102b)에 의한 이동 물체 영역과 휘도 구배의 검출 결과에 근거해서 행해진다. 예를 들면, 등록 판단의 판단 조건으로서, 이동 물체 영역이 일정량 이하이고, 휘도 구배의 개수가 일정값 이상인 것을 들 수 있다. 도 5d는, 제2실시형태에 있어서의 등록 판단의 예를 나타낸 도면이다. 이 예에서는, 카메라 화상 510은 이동 물체 영역이 일정량보다 크기 때문에 등록되지 않는다. 카메라 화상 511은 이동 물체 영역이 일정량 이하이고 휘도 구배의 개수가 일정값 이상이기 때문에 등록된다. 카메라 화상 512는, 이동 물체 영역은 일정량 이하이고 휘도 구배의 개수가 일정값 미만이기 때문에 등록되지 않는다. 카메라 화상 513은, 이동 물체 영역이 일정량 이하이고 휘도 구배의 개수가 일정값 이상이기 때문에 등록된다. 본 예의 경우, 등록 판단의 판단 조건에 기지의 형상 물체의 유무는 포함되지 않는다.

이상에서 설명한 것과 같이, 제2실시형태에서는, 화상 위에 초기화용의 기지의 형상 물체 및 이동 물체가 존재하는 영역을 검출하고, 이들 검출 결과를 기초로 화상 등록 판단을 행함으로써, 고정밀도의 화상 데이터베이스를 작성할 수 있다. 더구나, 그 결과, 고정밀도의 안정된 카메라 위치 및 자세 추정을 행할 수 있다.

이상과 같이, 제1 및 제2실시형태에 따르면, 카메라 화상에 있어서의 이동 물체 영역의 비율을 계산해서 카메라 화상 등록 판단을 행함으로써, 이동 물체가 크게 캡처된 카메라 화상의 데이터베이스 등록이 방지되어, 카메라 위치 및 자세 추정의 안정성이 향상된다. 또한, 카메라 화상들 사이의 상대 위치 및 자세 계산의 정밀도를 향상시킬 수 있는 동시에, 계산 시간의 단축을 행할 수 있다. 또한, 이동 물체의 위치 및 자세를 계측하는 구성(손목이나 손가락에 부착된 위치 센서)이 있는 경우에, 이 구성으로부터 얻어지는 정보를 이용함으로써, 이동 물체가 크게 캡처된 카메라 화상의 화상 데이터베이스(104)에의 등록을 방지할 수 있다. 그 결과, 카메라 위치 및 자세 추정의 안정성을 향상시킬 수 있다.

<변형예 1>

제1 실시형태 및 제2실시형태에서는, 화상 등록부(103)에 있어서의 선택 판단 및 등록 판단의 판단 조건은 이동 물체 영역(이동 물체가 캡처되어 있는 영역)을 고려한 것이었다. 그렇지만, 화상 데이터베이스(104)의 구축에 악영향을 미치는 요인의 고려하면, 판단 조건은 이것에 한정되는 것은 아니고, 다른 유용한 기준이 존재한다.

예를 들면, 도 6a 및 도 6b에 나타낸 것과 같이, 화상의 블러량(blur amount)의 추정(블러량 추정) 결과에 근거하여 화상 등록 판단을 행하도록 하는 구성을 취해도 된다. 이 구성에 따르면, 초기화시, 및 MR 어플리케이션의 동작시에, 카메라 화상에 블러링(blurring)이 발생할 때 등과 같은 경우에 있어서도, 적절히 화상 데이터베이스를 구축할 수 있어, 카메라 위치 및 자세 추정을 안정화/고정밀도화할 수 있다. 이 경우, 선택 판단 및 등록 판단의 조건의 한개로서, 예를 들면, 블러량 추정의 결과로서 얻어지는 블러량의 크기가 임계값 이하인 것을 포함시킬 수 있다. 이때, 블러량 추정에 대해서는, 예를 들면, "Hashimoto Shoichi, Saito Hideo: "Restoration of Shift Variant Blurred Image Estimating the Parameter Distribution of PSF", Institute of Electronics, Information and Communication Engineers Academic Journal D Vol. J77-D2 No. 4 pp. 719-728, 1994(이하, D6)"에 기재된 수법 등의 주지의 방법을 사용할 수 있다. 또한, 블러량의 추정은, 예를 들면, 검출부(102)에 있어서 실시되도록 하는 구성을 채용해도 된다.

이때, 카메라 화상의 화상처리에 의해 검출되는 블러의 종류로서는, 카메라의 움직임으로 인해 발생하는 모션 블러, 카메라의 포커스 어긋남에 의해 발생하는 디포커스 블러 등이 존재한다. 더구나, 카메라의 물리적인 운동의 속도가 블러량과 비례한다고 상정하여, 가속도 센서나 각속도 센서의 신호에 근거한 블러량 추정을 이용할 수도 있다.

도 6a는, 화상 선택부(121)에 있어서 행해지는 초기화용 카메라 화상의 선택 판단을 설명하는 도면이다. 또한, 도 6b는, 등록 판단부(122)에 있어서 행해지는 카메라 화상의 등록 판단을 설명하는 도면이다. 도 6a에서는, 카메라 화상 600, 601 및 602는, 추정된 블러량이 일정값 이상이거나 이동 물체 영역이 일정량 이상이기 때문에, 초기화용 카메라 화상으로 선택되지 않는다. 카메라 화상 603은, 추정된 블러량이 일정값 미만이고 이동 물체 영역도 검출되지 않기 때문에 초기화용 카메라 화상으로 선택되어, 화상 데이터베이스(104)에 등록된다. 도 6b는, 이동 물체 영역(손 영역)이 일정량 이하인 것, 블러량이 일정값 미만인 것과, 휘도 구배의 개수가 일정값 이상인 것을 기준으로 한 경우의 등록 판단의 예이다. 이들 전체 조건을 만족하는 카메라 화상 611 만이 화상 데이터베이스(104)에 등록되고, 카메라 화상 610, 612, 613 및 614는 등록되지 않는다.

또한, 강우 등으로 인해 렌즈에 액체가 부착된 경우 등과 같이 실제 환경이 정확하게 캡처될 수 없을 때, 이와 같은 카메라 화상이 화상 데이터베이스(104)에 등록되면 위치 및 자세 추정에 악영향이 발생한다. 도 7a 및 도 7b에 나타낸 것과 같이, 렌즈에 부착된 액체를 고려한 선택 판단 및 등록 판단을 행함으로써 초기화시, 및 어플리케이션 동작중에, 렌즈에 액체가 부착되는 경우에도, 카메라 위치 및 자세 추정을 안정화/고정밀도화할 수 있다. 이 경우, 예를 들면, 렌즈의 액체 부착 영역의 분포를 추정하고, 그 추정 결과인 액체 부착 영역의 크기가 임계값 이하인 것을, 선택 판단 및 등록 판단의 판단 조건의 한개로 한다. 렌즈의 액체 부착 영역의 분포의 추정을 위해, 예를 들면, "Miyahara Takayuki, Tamatsu Yukimasa, Kurihata Hiroyuki, Takahashi Tomokazu, Mekada Yoshito, Ide Ichiro, Murase Hiroshi: "Rainfall Recognition for Various Conditions Using an In-vehicle Camera Image for Driver Assistance", DENSO Technical Review, Vol.12, No.1, pp. 50-57, 2007(이하, D7)"에 기재된 수법 등의 주지의 기술을 사용할 수 있다. 이때, 렌즈의 액체 부착 영역의 분포의 추정은 검출부(102)에 의해 행해진다.

도 7a는, 화상 선택부(121)에 있어서 행해진 선택 판단의 상태를 나타낸 것이고, 도 7b는, 등록 판단부(122)에 있어서 행해진 등록 판단의 상태를 나타낸 것이다. 도 7a에서는, 카메라 화상 700, 701 및 702는 추정된 액체 부착 영역이 일정값 이상이기 때문에, 초기화용 카메라 화상으로서 선택되지 않고, 화상 데이터베이스(104)에는 등록되지 않는다. 한편, 카메라 화상 703은 액체 부착 영역이 일정값 미만이기 때문에, 화상 데이터베이스(104)에 등록된다. 또한, 도 7b에서는, 카메라 화상 710, 712, 713 및 714는 추정된 액체 부착 영역이 일정값 이상이기 때문에, 화상 데이터베이스(104)에 등록되지 않는다. 한편, 카메라 화상 711은 액체 부착 영역이 일정값 미만이기 때문에, 화상 데이터베이스(104)에 등록된다.

또한, 카메라의 위치 및 자세가 다르면, 경면 반사 물체는, 동일한 물체를 촬영해도, 그것의 외관이 일치하지 않는다고 하는 특성이 있기 때문에, 화상 데이터베이스(104)의 구축에 악영향을 미치는 경우가 있다. 따라서, 카메라 화상 내에 있어서의 경면 반사 물체의 영역을 고려한 선택 판단이나 등록 판단을 행함으로써, 거울이나 글래스 면이 존재하는 환경에 있어서도, 카메라 위치 및 자세 추정의 안정화/고정밀도화를 할 수 있다. 이 경우, 예를 들면, 경면 반사 물체의 영역의 크기가 임계값 이하인 것을 선택 판단 및 등록 판단의 판단 조건의 한 개로 하여, 카메라 화상의 등록을 행한다. 예를 들어, 사각형의 디스플레이인 경우에, 미리 결정한 색의 테이프를 주변을 둘러싸도록 부축하고, 카메라 화상으로부터 사각형을 검출함으로써, 경면 반사 물체의 영역의 검출이 실현된다. 카메라 화상으로부터 사각형을 검출하는 방법으로서는, 사각형 검출법 등의 주지의 기술을 사용할 수 있다.

이상과 같이, 변형예 1에 따르면, 화상 블러링이 발생하는 환경에 있어서도, 카메라 위치 및 자세 추정의 안정성을 향상시킬 수 있다. 또한, 카메라의 렌즈에 액체가 부착되는 환경에 있어서도, 카메라 위치 및 자세 추정의 안정성을 향상시킬 수 있다. 더구나, 경면 반사 물체가 존재하는 환경에 있어서도, 카메라 위치 및 자세 추정의 안정성을 향상시킬 수 있다. 이때, 선택 판단이나 등록 판단의 기준으로서, 전술한 블러량이나 렌즈의 액체 부착 영역 등을 적절히 조합하여도 된다는 것은 말할 필요도 없다.

<변형예 2>

제1 및 제2실시형태에서는, 화상 데이터베이스(104)에 카메라 화상을 등록할 때에는, 어떠한 종류의 판단 기준을 설치함으로써, 각 화상을 등록할 것인지 아닌지의 판단(선택 판단 및 등록 판단)을 행하고 있지만, 이것에 한정되는 것은 아니다. 예를 들면, 모든 카메라 화상을 화상 데이터베이스(104)에 등록하고, 등록된 카메라 화상의 각 화소를 위치 및 자세 추정 처리에 사용할 것인지 아닌지의 판단을 행하도록 하는 구성을 채용해도 된다. 예를 들면, 제1 실시형태에 있어서 이동 물체 영역을 포함하는 카메라 화상이 화상 데이터베이스(104)에 등록되어 있는 경우, 데이터베이스 갱신 처리(도 3의 S307) 및 카메라 위치 및 자세 추정 처리(S308)의 계산 대상으로부터, 이동 물체 영역으로 판단된 화소를 제외한다. 이에 따라, 초기화처리의 시간이 단축 가능한 동시에, 데이터베이스 갱신 작업을 효율화할 수 있다.

이상과 같이, 변형예 2에 따르면, 카메라 위치 및 자세 추정을 행할 때의 초기화처리를 고속화할 수 있는 동시에, 데이터베이스에 등록된 화상을 취득하기 위한 시간을 단축할 수 있다.

<제3실시형태>

제1 및 제2실시형태의 정보 처리장치(100)(도 1)를 구성하는 각 부의 일부 혹은 모든 기능이 하드웨어로 실현되거나 소프트웨어로 실현되어도 된다. 예를 들면, 하드웨어로서 구현된 컴퓨터에 소정의 소프트웨어를 실행하게 함으로써, 이 컴퓨터는 상기 실시형태에서 설명한 정보 처리장치(100)의 각 부를 실현하여, 전술한 동작을 행하게 된다. 도 8은 정보 처리장치(100)의 하드웨어 구성 예를 나타낸 블록도다.

CPU(801)은, RAM(802)이나 R0M(803)에 격납되어 있는 프로그램이나 데이터를 사용하여, 컴퓨터 전체의 제어를 행하는 동시에, 상기 각 실시형태에서 정보 처리장치(100)가 행하는 것으로서 설명한 각 처리를 실행한다. RAM(802)은, 외부 기억장치(807)나 기억매체 드라이브(808)로부터 로드된 프로그램 및 데이터를 일시적으로 기억하기 위한 영역을 갖는다. 더구나, RAM(802)은, I/F(인터페이스)(809)를 거쳐서 외부 장치로부터 수신한 데이터를 일시적으로 기억하기 위한 에어리어를 갖는다. 외부 장치는, 예를 들면, 촬상부(180)이다.

또한, RAM(802)은, CPU(801)이 각 처리를 실행할 때에 사용하는 워크 에어리어도 갖는다. 즉, RAM(802)은 각종 에어리어를 적절히 제공할 수 있다. R0M(803)에는, 컴퓨터의 설정 데이터, 부트 프로그램 등이 격납되어 있다. 키보드(804) 및 마우스(805)는, 조작 입력장치의 일례이며, 유저의 조작에 따른 각종 지시를 CPU(801)에 입력한다. 표시장치(806)는, 디스플레이에 의해 구성되고, CPU(801)에 의한 처리 결과를 화상, 문자 등으로 표시할 수 있다. 표시장치(806)는 표시부(190)로서 기능해도 된다.

외부 기억장치(807)는, 하드디스크 드라이브 장치로 대표되는 대용량 정보 기억장치이다. 외부 기억장치(807)에는, OS(오퍼레이팅 시스템)이나, 정보 처리장치가 행하는 것으로서 설명한 상기한 각 처리를 CPU(801)에게 실행시키기 위한 프로그램과 데이터가 격납되어 있다. 대응하는 프로그램에는, 정보 처리장치의 구성에 각각 대응하는 프로그램이 포함되어 있다. 또한, 이 데이터에는, 상기한 설명에 있어서 기지의 정보로서 설명한 것이 포함되어 있다. 외부 기억장치(807)에 보존되어 있는 프로그램 및 데이터는, CPU(801)에 의한 제어에 따라 적절히 RAM(802)에 로드된다. CPU(801)은 이 로드된 프로그램과 데이터를 사용해서 처리를 실행함으로써, 정보 처리장치가 행하는 것으로서 전술한 각 처리를 실행한다.

기억매체 드라이브(808)는, CD-ROM이나 DVD-ROM 등의 기억매체에 기록된 프로그램 및 데이터를 판독하고, 대응하는 기억매체에 프로그램 및 데이터를 기록한다. 이때, 외부 기억장치(807)에 보존되어 있는 것으로서 설명한 프로그램 및 데이터의 일부 혹은 전부를 이 기억매체에 기록하고 있어도 된다. 기억매체 드라이브(808)가 기억매체로부터 판독한 프로그램 및 데이터는 외부 기억장치(807)나 RAM(802)에 출력된다.

I/F(809)는, 촬상부(180)를 접속하기 위한 아날로그 비디오 포트 혹은 IEEE 1394 등의 디지털 입출력 포트, 합성 화상을 표시장치(806)에 출력하기 위한 DVI 포트 등으로 구성된다. I/F(809)를 거쳐 수신한 데이터는, RAM(802)이나 외부 기억장치(807)에 입력된다. 이때, 도 1에 나타낸 화상 취득부(101)의 기능의 일부는 I/F(809)에 의해 실현된다. 참조번호 810은 상기한 각 부를 연결하는 버스이다.

이상과 같이, 상기 실시형태에 따르면, 촬상장치의 위치 및 자세 추정에 있어서 부적절한 화상이 참조되는 것이 방지되어, 촬상장치의 위치 및 자세 추정의 안정성이 향상된다.

본 발명의 실시형태는, 본 발명의 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체('비일시적인 컴퓨터 판독가능한 기억매체'로서 더 상세히 언급해도 된다)에 기록된 컴퓨터 실행가능한 명령(예를 들어, 1개 이상의 프로그램)을 판독하여 실행하거나 및/또는 전술한 실시예(들)의 1개 이상의 기능을 수행하는 1개 이상의 회로(예를 들어, 주문형 반도체 회로(ASIC)를 포함하는 시스템 또는 장치의 컴퓨터나, 예를 들면, 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체로부터 컴퓨터 실행가능한 명령을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 구현될 수도 있다. 컴퓨터는, 1개 이상의 중앙처리장치(CPU), 마이크로 처리장치(MPU) 또는 기타 회로를 구비하고, 별개의 컴퓨터들의 네트워 크 또는 별개의 컴퓨터 프로세서들을 구비해도 된다. 컴퓨터 실행가능한 명령은, 예를 들어, 기억매체의 네트워크로부터 컴퓨터로 주어져도 된다. 기록매체는, 예를 들면, 1개 이상의 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템의 스토리지, 광 디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 또는 블루레이 디스크(BD) ^TM 등), 플래시 메모리소자, 메모리 카드 등을 구비해도 된다.

본 발명은, 상기한 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실행가능하다. 또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.

예시적인 실시형태들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시형태에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.