가상 환경에서의 사용자 모션 예측 방법 및 장치{Method for predicting human motion in virtual environment and apparatus thereof}

본 발명의 실시 예들은, 가상 환경에서 사용자의 모션을 예측하기 위한 방법 및 장치에 관한 것이다.

모션 추적(motion tracking) 장치는, 가상 환경에서 사용자의 모션을 감지하고, 사용자와 가상 환경 간의 상호 작용을 위한 도구로 활용된다.

도 1은 사용자와 가상 환경 간의 상호 작용을 위한 가상 환경 시스템을 설명하기 위한 예시도이다.

사용자(100)는, 로코모션 인터페이스 장치(25) 상에서 이동하며, 스크린(24)에 투사되는 가상 현실 장면에 따라 특정 방향으로 이동하거나 특정한 동작(action)을 취한다. 로코모션 인터페이스 장치(25)는, 사용자가 현실 세계의 제한된 공간 내에 머무를 수 있도록 구동된다. 예를 들어, 로코모션 인터페이스 장치(25)는, 모션 추적 장치(미도시)로부터 수신되는 사용자의 이동 방향 정보를 기반으로, 사용자가 이동하는 방향의 반대 방향으로 구동함으로써, 사용자가 현실 세계의 일정한 위치에 머무르도록 할 수 있다.

모션 추적 장치는, 다수의 센서로부터 수신되는 정보를 기반으로 사용자의 모션을 추적한다. 모션 추적 장치는, 모션 추적의 정확성을 향상시키고, 로코모션 인터페이스 장치(25)에서 요구되는 정보들을 제공하기 위하여 모션 모델(motion mode)을 사용한다.

대부분의 경우, 사용자의 최근의 모션 그 자체는, 하나의 동작에서 다음 동작으로의 전이를 예측하는 모션 모델에 충분한 정보를 제공하지 못한다. 예를 들어, 사용자가 똑바로 걸어가다가 갑자기 정지하거나 갑자기 진행 방향을 변경하는 것은 이전의 모션들로부터 예측하기 어렵다.

본 발명의 실시 예들은, 가상 현실의 상황 정보를 고려하여 다음 시점에 가능한 사용자의 자세를 미리 예측할 수 있는 방안을 제공한다.

본 발명의 일 실시 예에 따른 가상 환경에서 사용자의 모션을 예측하기 위한 장치는, 적어도 하나의 센서 데이터 및 미리 학습된 모션 모델을 기반으로 현재 시점의 사용자의 자세를 추정하는 모션 추적 모듈; 및 상기 모션 모델, 상기 추정된 현재 시점의 사용자의 자세 및 다음 시점의 가상 환경 상황 정보를 기반으로, 상기 다음 시점에 가능한 사용자의 자세의 집합을 예측하는 모션 모델 모듈을 포함한다.

일 실시 예에서, 상기 모션 모델은, 현재 시점의 가상 환경 상황 정보, 이전 시점의 사용자의 자세 및 현재 시점의 사용자의 자세에 대한 정보를 포함할 수 있다. 여기서, 상기 현재 시점의 가상 환경 상황 정보는, 상기 현재 시점의 가상 환경에 존재하는 객체 및 상기 현재 시점의 가상 환경에서 발생한 이벤트에 관한 정보 중 적어도 하나를 포함할 수 있다.

일 실시 예에서, 상기 다음 시점의 가상 환경 상황 정보는, 상기 다음 시점의 가상 환경에 존재하는 객체 및 상기 다음 시점의 가상 환경에서 발생한 이벤트에 관한 정보 중 적어도 하나를 포함할 수 있다.

일 실시 예에서, 상기 객체에 관한 정보는, 상기 사용자와 해당 객체 간의 거리, 해당 객체의 유형 및 상기 사용자를 기준으로 한 해당 객체의 가시성에 관한 정보 중 적어도 하나를 포함할 수 있다.

일 실시 예에서, 상기 이벤트에 관한 정보는, 해당 이벤트의 유형 및 상기 사용자를 기준으로 해당 이벤트가 발생한 방향에 관한 정보 중 적어도 하나를 포함할 수 있다.

일 실시 예에서, 상기 사용자 모션 예측 장치는, 상기 가상 환경을 제어하며, 현재 시점의 가상 환경 상황 정보 및 상기 추정된 현재 시점의 사용자의 자세를 기반으로, 상기 다음 시점의 가상 환경 상황 정보를 생성하여 상기 모션 모델 모듈에 제공하는 가상 환경 제어 모듈을 더 포함할 수 있다.

일 실시 예에서, 상기 사용자는, 로코모션 인터페이스 장치 상에서 이동하며, 상기 사용자 모션 예측 장치는, 상기 현재 시점의 사용자의 자세 및 상기 다음 시점의 사용자의 자세를 기반으로 상기 로코모션 인터페이스 장치를 제어하는 로코모션 인터페이스 제어 모듈을 더 포함할 수 있다.

일 실시 예에서, 상기 로코모션 인터페이스 제어 모듈은, 상기 사용자의 속도를 더 고러하여 상기 로코모션 인터페이스 장치를 제어할 수 있다.

본 발명의 일 실시 예에 따른 가상 환경에서 사용자의 모션을 예측하기 위한 방법은, 적어도 하나의 센서 데이터 및 미리 학습된 모션 모델을 기반으로 현재 시점의 사용자의 자세를 추정하는 단계; 및 상기 모션 모델, 상기 추정된 현재 시점의 사용자의 자세 및 다음 시점의 가상 환경 상황 정보를 기반으로, 상기 다음 시점에 가능한 사용자의 자세의 집합을 예측하는 단계를 포함한다.

일 실시 예에서, 상기 방법은, 현재 시점의 가상 환경 상황 정보, 이전 시점의 사용자의 자세 및 현재 시점의 사용자의 자세에 대한 정보를 기반으로 상기 모션 모델을 구축하는 단계를 더 포함할 수 있다.

일 실시 예에서, 상기 방법은, 현재 시점의 가상 환경 상황 정보 및 상기 추정된 현재 시점의 사용자의 자세를 기반으로, 상기 다음 시점의 가상 환경 상황 정보를 생성하는 단계를 더 포함할 수 있다.

본 발명의 실시 예들에 따르면, 로코모션 인터페이스 장치와의 상호 작용이 안정적으로 이루어질 수 있다.

본 발명의 실시 예들에 따르면, 가상 환경의 몰입감을 극대화할 수 있다.

본 발명의 실시 예들은, 훈련 및 엔터테인먼트 등의 목적 하에, 사용자와 상호 작용이 가능한 가상 현실 환경에서 사용자 모션을 추적하기 위한 시스템의 일부분으로 활용될 수 있다.

도 1은 사용자와 가상 환경 간의 상호 작용을 위한 가상 환경 시스템을 설명하기 위한 예시도,
도 2는 본 발명의 일 실시 예에 따른 사용자 모션 예측 장치를 설명하기 위한 블록도,
도 3은 종래 기술에 의한 모션 모델 네트워크를 설명하기 위한 예시도,
도 4의 (a) 및 도 4의 (b)는 본 발명의 일 실시 예에 따른 모션 모델 네트워크를 설명하기 위한 예시도,
도 5의 (a) 내지 도 7의 (b)는 본 발명의 실시 예들에 따라 가상 환경 상황 정보를 고려하여 다음 시점에 가능한 사용자의 자세의 집합을 예측하는 과정을 설명하기 위한 예시도,
도 8은 본 발명의 일 실시 예에 따른 사용자 모션 예측 방법을 설명하기 위한 흐름도.

이하에서, 본 발명의 실시 예들을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

이하, 첨부되는 도면을 참조하여 본 발명의 실시 예들을 설명한다.

도 2는 본 발명의 일 실시 예에 따른 사용자 모션 예측 장치를 설명하기 위한 블록도이다.

센서 데이터 수집 모듈(210)은, 모션 추적에 필요한 센서 데이터들을 수집한다. 본 발명의 실시 예들은, 도 1에 도시된 가상 환경 시스템에 적용될 수 있다. 따라서, 센서 데이터 수집 모듈(210)은, 적어도 하나의 깊이 카메라(21b, 21c, 21d) 및 사용자(100) 신체에 부착된 적어도 하나의 모션 센서(21a)로부터 모션 추적에 필요한 센서 데이터들을 수집할 수 있다.

센서 데이터 수집 모듈(210)은, 수집된 센서 데이터들에 대한 시간 동기화 및 전처리를 수행할 수 있으며, 수행된 결과를 모션 추적 모듈(220)에 전달할 수 있다.

모션 추적 모듈(220)은, 센서 데이터 수집 모듈(210)로부터 수신되는 센서 데이터들과 모션 모델로부터 얻어진 가능한 자세의 집합 정보를 기반으로, 현재 시점의 사용자의 자세를 추정한다.

모션 모델은, 사용자에 대하여 미리 학습된 모델로서, 스켈레톤 모델일 수 있다. 그리고, 추정된 현재 시점의 사용자의 자세는, 스켈레톤(skeleton) 모델의 관절 각도에 의하여 표현될 수 있다.

모션 모델은, 다양한 방법을 이용하여 생성될 수 있다. 예를 들어, 모션 모델은, 사용자의 신체에 마커(marker)를 부착하고 부착된 마커들의 위치를 추적하는 방법을 이용하여 생성되거나, 마커 없이 깊이 카메라를 이용하는 마커프리(marker-free) 기법을 이용하여 생성될 수 있다.

상기 현재 시점의 사용자의 자세는, 다양한 방법을 이용하여 추정될 수 있다. 예를 들어, 사용자의 자세에 대한 초기 추측(initial guess)을 수행하고, 추측된 사용자의 자세를 이용하여 3D 실루엣을 구축할 수 있다. 그리고, 구축된 3D 실루엣을 관측 값(예를 들어, 깊이 영상으로부터 획득된 3D 포인트 클라우드)과 비교할 수 있다. 그리고, 자세 파라미터들(예를 들어, 관절 각도들)을 변화시키면서 에러(불일치)를 측정하고, 에러가 최소화되는 자세를 현재 시점의 사용자의 자세로 추정할 수 있다.

여기서, 초기 추측의 결과가 좋을수록 더 빠른 추정을 수행할 수 있고, 더 적은 에러를 갖는 사용자의 자세를 추정할 수 있다. 이는 초기 추측에 모션 모델이 이용되는 경우, 모션 모델의 성능이 중요함을 의미한다.

모션 모델 모듈(230)은, 모션 모델을 저장하며, 모션 추적 모듈(220)에서 추정된 현재 시점의 사용자의 자세 이후에 올 수 있는 자세, 즉 다음 시점에 사용자가 취할 수 있는 자세의 집합을 예측한다.

상기 예측은, 미리 학습된 모델(즉, 모션 모델), 추정된 현재 시점의 사용자의 자세, 센서 데이터로부터 추출되는 다른 피처들 및 가상 환경 상황 정보 중 적어도 하나에 기반하여 이루어질 수 있다.

센서 데이터로부터 추출되는 다른 피처들이란, 예를 들어 관절 위치들로부터 계산된 선형 속도(linear velocity) 및 가속도, 관절 각도들로부터 계산된 각속도 및 가속도, 다수 관절들에 대하여 계산된 대칭 정도(symmetry measures), 다수 관절들로부터 연장되어 형성되는 체적 중 적어도 하나일 수 있다.

가상 환경 상황 정보는, 사용자에게 시연되는 가상 환경에 존재하는 오브젝트 및 이벤트에 대한 정보를 포함한다. 이와 관련하여서는, 관련되는 도면을 참조하여 후술한다.

한편, 논문(DJ Fleet, "Motion Models for People Tracking", in Visual Analysis of Humans: Looking at People, TB Moeslund, A. Hilton, V. Kruger and L. Sigal, Eds., Springer, 2011, pp. 171-198.)에서는, <수학식 1>과 같이, 휴먼 포즈 추적을 베이시안 필터링 문제로 수식화 하였다.

여기서, x _t 는 시점(t)에서의 자세, z _t 는 시점(t)에서의 관측 값(예를 들어, 깊이 영상 또는 포인트 클라우드(point cloud)), z _{1 :t-1} 은 시점(1)으로부터 시점(t-1)까지의 관측 값들의 집합을 의미한다. 각 변수 간의 연관 관계는 도 3에 도시하였다.

p(x _t | x _{t -1} )은, 1차 마르코프 프로세스(a first order markov process)로 모델링된 모션 모델에 대한 통상적인 표현으로, 현재 시점(t)의 자세(x _t )는 이전 시점(t-1)에 관측된 자세(x _{t -1} )에 의존한다는 의미를 갖는다.

그러나, 이전 시점(t-1)에 관측된 자세(x _{t -1} )만으로는 현재 시점(t)의 자세를 추정하기에 불충분할 수 있다.

단지 사용자의 모션에 대한 정보만을 이용하여 모션 모델을 구축하는 경우에 비하여, 가상 환경의 상황 정보를 더 고려하는 경우 성능이 향상된 모션 모델을 구축할 수 있다.

이에, 본 발명의 실시 예들에서는, 가상 환경의 상황 정보를 더 고려하여 성능이 향상된 모션 모델을 구축한다. 상기 모션 모델은, 훈련을 통하여, 모션 모델 모듈(230)에 의하여 구축될 수 있다. 모션 모델 모듈(230)은, 이전 시점의 사용자의 자세, 현재 시점의 사용자의 자세 및 현재 시점의 가상 환경 상황 정보를 기반으로 모션 모델을 구축할 수 있다. 예를 들어, 모션 모델 모듈(230)은, 현재 시점의 가상 환경 상황 정보들 변수(벡터로 표현될 수 있음)로 구성하고, 상기 변수와 이전 시점의 사용자의 자세 및 현재 시점의 사용자의 자세를 포함하는 모션 모델을 생성할 수 있다.

가상 환경의 상황 정보를 이용하는 경우, 모션 모델은 <수학식 2>에서와 같이, p(x _t | x _{t -1} , c _t )로 표현될 수 있다.

여기서, c _t 는 시점(t)에서의 가상 환경 상황 정보를 나타낸다. <수학식 2>는, 서로 다른 시점에서의 변수들이 서로 독립적이라는 가정하에 가상 환경 상황 정보(c)를 이용하는 예를 나타낸다. 연속하는 시간(t-1, t, t+1)에서의 변수들(가상 환경 상황 정보(c), 자세(x) 및 관측 값(z))의 연관 관계를 도 4의 (a)에 도시하였다.

만약, 사용자의 동작과 가상 환경 상황 정보와의 상호 작용(예를 들어, 사용자의 동작에 따라 가상 환경 시나리오가 변경되면, 시점(t+1)의 가상 환경 상황 정보(c _{t +1} )는 시점(t)의 관측 값(x _t )에 의존함)이 일어나는 경우, 연속하는 시간에서의 가상 환경 상황 정보들은 의존성을 나타낸다. 예를 들어, 시점(t)에서의 가상 환경 상황 정보(c _t )는, 이전 시점(t-1)에서의 가상 환경 상황 정보(c _{t -1} )에 의존한다. 이러한 변수들 간의 의존 관계를 도 4의 (b)에 도시하였다.

한편, 가상 환경 상황 정보를 나타내는 벡터(c _t )는 가상 환경에 존재하는 오브젝트 및 이벤트에 대한 다양한 정보를 포함할 수 있다. 상기 정보는 예를 들어, 오브젝트의 존재 여부, 오브젝트와의 거리, 특정 이벤트의 발생 유무, 특정 이벤트의 종류 및 특정 이벤트가 발생한 위치 등에 관한 정보일 수 있다.

한편, <표 1>에는, 본 발명의 일 실시 예에 따른 모션 추적 장치의 각 모듈 간에 전송되는 데이터의 예를 나타내었다.

모션 모델 모듈(230)은, <표 1>에 나타낸 바와 같이, 가상 환경 제어 모듈(240)로부터 수신되는 가상 환경 상황 정보를 고려하여 다음 시점에 가능한 사용자의 자세의 집합을 예측할 수 있다. 다시 말해, 모션 모델 모듈(230)은, 현재 시점의 가상 환경 상황 정보를 모션 모델의 파라미터로 적용하여 다음 시점에 가능한 사용자의 자세의 집합을 예측할 수 있다.

일 예로서, 사용자에 의한 오브젝트의 가시성이 다음 시점에 가능한 사용자의 자세의 집합을 예측하는 데 이용될 수 있다. 예를 들어, 사용자의 시야에 보이지 않다가 갑자기 보이게 될 오브젝트의 존재는, 사용자가 특정 방향으로 이동하도록 할 확률을 높일 수 있다. 예를 들어, 도 5의 (a)에 도시된 바와 같이, 닫혀진 문 뒤에 숨어 있는 적(adversary)은 현재 시점에서 사용자에게 가시성이 없다. 만약, 도 5의 (b)에 도시된 바와 같이, 다음 시점의 가상 환경 상황 정보가 상기 문이 열리는 것이라면, 다음 시점에 상기 적은 사용자에게 가시화된다. 따라서, 사용자는 적이 있는 방향의 반대 방향으로 이동하거나, 적의 공격을 피하는 움직임을 취할 확률이 높다. 따라서, 모션 모델 모듈(230)은, 이러한 가상 환경 상황 정보를 모션 모델의 파라미터로 적용하여 다음 시점에 가능한 사용자의 자세의 집합을 예측할 수 있다.

일 예로서, 장애물의 존재 또는 장애물과의 거리가 다음 시점에 가능한 사용자의 자세의 집합을 예측하는 데 이용될 수 있다. 예를 들어, 도 6의 (a)에 도시된 바와 같이, 현재 시점에 사용자가 이동하고 있는 방향에 장애물이 놓여있고, 현재 시점에서 사용자와 해당 장애물과의 거리가 충분히 멀다고 가정한다. 만약, 도 6의 (b)에 도시된 바와 같이, 다음 시점의 가상 환경 상황 정보가 사용자와 장애물과의 거리가 매우 가깝게 되는 것이라면, 이러한 장애물의 존재는 사용자의 이동 방향에 영향을 줄 수 있다. 즉, 사용자는 해당 장애물과의 충돌을 피하기 위하여 이동 방향을 변경할 확률이 높다. 따라서, 모션 모델 모듈(230)은, 이러한 가상 환경 상황 정보를 모션 모델의 파라미터로 적용하여 다음 시점에 가능한 사용자의 자세의 집합을 예측할 수 있다.

일 예로서, 특정 이벤트의 발생이 다음 시점에 가능한 사용자의 자세의 집합을 예측하는 데 이용될 수 있다. 예를 들어, 도 7의 (a)에 도시된 바와 같이, 현재 시점에 사용자 주변에 아무런 이벤트도 발생하고 있지 않은 상태를 가정한다. 만약, 도 7의 (b)에 도시된 바와 같이, 다음 시점의 가상 환경 상황 정보가 전방에 위치하는 특정 오브젝트로부터 비프음이 발생하는 것이라면, 해당 비프음은 사용자의 이동 방향에 영향을 줄 수 있다. 즉, 사용자는 해당 비프음이 발생하는 오브젝트를 향하여 이동 방향을 변경할 확률이 높다. 따라서, 모션 모델 모듈(230)은, 이러한 가상 환경 상황 정보를 모션 모델의 파라미터로 적용하여 다음 시점에 가능한 사용자의 자세의 집합을 예측할 수 있다.

가상 환경 제어 모듈(240)은, 스크린(24)에 투사되는 가상 환경을 제어한다. 예를 들어, 가상 환경 제어 모듈(240)은, 사물 및 인물 등의 오브젝트의 등장, 소멸, 움직임 등의 이벤트와 해당 오브젝트들의 상태(예를 들어, 문의 열림 상태 또는 닫힘 상태)를 제어한다.

로코모션 인터페이스 제어 모듈(250)은, 로코모션 인터페이스 장치(25)의 구동을 제어한다. 로코모션 인터페이스 제어 모듈(250)은, 추정된 현재 시점의 사용자의 자세, 이동 방향, 속도 및 가능한 다음 시점의 자세의 집합을 기반으로, 로코모션 인터페이스 장치를 제어할 수 있다. 사용자의 이동 방향 및 속도 정보는, 별도의 측정 장치로부터 수신될 수 있다.

도 8은 본 발명의 일 실시 예에 따른 사용자 모션 예측 방법을 설명하기 위한 흐름도이다.

단계(801)에서, 사용자 모션 예측 장치는, 센서 데이터들을 획득한다. 상기 센서 데이터들은, 모션 추적에 필요한 데이터들로서, 예를 들어 사용자를 촬영하는 적어도 하나의 깊이 카메라 및 사용자의 신체에 부착된 적어도 하나의 모션 센서들로부터 수신될 수 있다.

단계(803)에서, 사용자 모션 예측 장치는, 현재 시점의 사용자의 자세를 추정한다. 현재 시점의 사용자의 자세는, 미리 학습된 모션 모델 및 수집된 센서 데이터들을 기반으로 추정될 수 있다.

단계(805)에서, 사용자 모션 예측 장치는, 다음 시점의 사용자의 자세를 예측한다. 사용자 모션 예측 장치는, 다음 시점의 사용자의 자세를 예측하기 위하여 모션 모델, 현재 시점의 사용자의 자세, 센서 데이터로부터 추출되는 피처들 및 가상 환경 상황 정보 중 적어도 하나를 이용할 수 있다.

단계(807)에서, 사용자 모션 예측 장치는, 예측된 다음 시점의 자세의 집합을 기반으로 로코모션 인터페이스 장치를 제어한다. 예를 들어, 예측된 다음 시점의 자세의 집합이 전방으로 이동하는 것을 나타낸다면, 사용자 모션 예측 장치는, 로코모션 인터페이스 장치를 후방으로 구동한다.

이상에서 설명된 본 발명의 실시 예들은 임의의 다양한 방법으로 구현될 수 있다. 예를 들어, 본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 그 조합을 이용하여 구현될 수 있다. 소프트웨어로 구현되는 경우에, 다양한 운영 체제 또는 플랫폼을 이용하는 하나 이상의 프로세서 상에서 실행되는 소프트웨어로서 구현될 수 있다. 추가적으로, 그러한 소프트웨어는 다수의 적합한 프로그래밍 언어들 중에서 임의의 것을 사용하여 작성될 수 있고, 또한 프레임워크 또는 가상 머신에서 실행 가능한 기계어 코드 또는 중간 코드로 컴파일 될 수 있다.

또한, 본 발명의 실시 예들이 하나 이상의 프로세서 상에서 실행되는 경우 이상에서 논의된 본 발명의 다양한 실시 예들을 구현하는 방법을 수행하기 위한 하나 이상의 프로그램이 기록된 프로세서 판독 가능 매체(예를 들어, 메모리, 플로피 디스크, 하드 디스크, 콤팩트 디스크, 광학 디스크 또는 자기 테이프 등)로 구현될 수 있다.