얼굴 애니메이션 시스템 및 방법{SYSTEM AND METHOD OF FACE ANIMATION}

아래의 실시예들은 가상 공간에서 아바타 얼굴에 사용자의 표정을 실시간으로 재현하는 얼굴 애니메이션 시스템 및 방법에 관한 것이다.

최근 3D 그래픽스 기술 및 관련 하드웨어 기술의 발달로 3차원 게임, 영화, 콘텐츠 제작 등 다양한 응용 분야에서 사람을 실감나게 제작하는 기술로 아바타(avatar) 제작 기술이 이용되고 있다.

아바타 제작 시에 얼굴은 아바타로 제작하고자 하는 사람의 특성과 다양한 정보를 표현하는 매우 중요한 요소이다. 특히, 인간의 얼굴은 사람이 가장 민감하게 인식하는 신체 부위 중의 하나로, 아주 작은 표정의 변화 또는 주름과 같은 미묘한 차이가 인체의 다른 부위에 비하여 섬세하게 인식될 수 있다.

본 발명의 일 실시예에 따른 얼굴 애니메이션 시스템은 촬영된 영상으로부터 사용자의 얼굴에 대한 표정 변화를 감지할 수 있는 표정 특징점을 추적하는 추적 모듈; 미리 저장된 3D 모션 캡쳐 데이터들로부터 추출된 제1 맵핑 특징(mapping feature) 및 상기 표정 특징점으로부터 추출된 제2 맵핑 특징을 이용하여 상기 사용자의 얼굴에 대한 표정 변화를 재구성하는 통합 모듈; 상기 표정 특징점의 좌표를 상기 사용자의 얼굴에 대응되는 아바타(avatar)를 제어하기 위한 페이스 메쉬(face mesh) 상의 제어 좌표로 전환하는 전환 모듈; 및 상기 제어 좌표를 이용하여 상기 아바타에 상기 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성하는 변형 모듈을 포함한다.

상기 추적 모듈은 상기 촬영된 영상으로부터 상기 사용자의 얼굴에 대한 관심 영역(Region Of Interest; ROI)을 설정하는 설정부; 상기 관심 영역 중 상기 표정 특징점을 인식하여 그 위치를 지정하는 표정 특징점 개인화부; 및 상기 표정 특징점의 움직임을 추적하는 추적부를 포함할 수 있다.

상기 통합 모듈은 상기 제1 맵핑 특징을 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들로 매칭시키는 매칭부; 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들과 상기 제2 맵핑 특징 간의 유사도(correspondence)를 이용하여 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들 중 적어도 하나의 모션 캡쳐 데이터를 선택하는 선택부; 및 상기 적어도 하나의 모션 캡쳐 데이터 및 상기 미리 저장된 3D 모션 캡쳐 데이터들을 이용하여 상기 사용자의 얼굴에 대한 표정 변화를 재구성하는 재구성부를 포함할 수 있다.

상기 매칭부는 복수의 얼굴 표정들을 나타내는 벡터 형태의 상기 3D 모션 캡쳐 데이터들을 저장하는 3D 움직임 데이터베이스(3D Motion Database); 및 상기 3D 모션 캡쳐 데이터들로부터 추출된 상기 제1 맵핑 특징을 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들로 매칭시키는 매칭 수단을 포함할 수 있다.

상기 선택부는 상기 표정 특징점으로부터 상기 제2 맵핑 특징들을 추출하는 추출 수단; 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들과 상기 제2 맵핑 특징 간의 유사도(correspondence)를 산출하는 유사도 산출 수단; 및 상기 유사도를 이용하여 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들 중 적어도 하나의 모션 캡쳐 데이터를 선택하는 선택 수단을 포함할 수 있다.

상기 전환(expression transfer) 모듈은 상기 페이스 메쉬의 정점들 및 상기 표정 특징점들을 이용하여 상기 표정 특징점들과 상기 제어 좌표 간의 대응 관계를 설정하는 설정부; 및 상기 대응 관계에 기초하여 상기 표정 특징점들의 좌표를 상기 페이스 메쉬 상의 제어 좌표로 변환하는 변환부를 포함할 수 있다.

상기 변형(face deformation) 모듈은 상기 아바타에 사실적인 표정을 표현하기 위한 복수의 표정 정보를 포함하는 3D 아바타 포즈 데이터베이스; 상기 복수의 표정 정보 및 상기 제어 좌표를 이용하여 상기 아바타에 상기 사용자의 표정 변화가 나타나도록 하는 얼굴 변형부; 및 상기 아바타의 얼굴과 결합되는 상기 사용자의 목 부분을 표현하는 목 변형부를 포함할 수 있다.

상기 얼굴 변형부는 상기 제어 좌표를 기초로 상기 아바타에 대한 상기 복수의 표정 정보를 표현할 수 있는 포즈 벡터(pose vector)를 생성하는 생성 수단; 상기 아바타의 미세한 표정, 주름 및 움직임을 표현하기 위하여 상기 포즈 벡터에 적용되는 가중치를 산출하는 산출 수단; 및 상기 복수의 표정 정보로부터 계산된 상기 사용자의 표정 변화에 대한 보정치 및 상기 가중치를 이용하여 상기 아바타의 표정을 보간하는 보간 수단을 포함할 수 있다.

상기 아바타의 얼굴과 상기 목 부분의 연결 지점을 고정시킴으로써 상기 연결 지점을 끊김 없이(seamless) 표현하는 결합부를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 얼굴 애니메이션 방법은 촬영된 영상으로부터 사용자의 얼굴에 대한 표정 변화를 감지할 수 있는 표정 특징점을 추적하는 단계; 미리 저장된 3D 모션 캡쳐 데이터들로부터 추출된 제1 맵핑 특징(mapping feature) 및 상기 표정 특징점으로부터 추출된 제2 맵핑 특징을 이용하여 상기 사용자의 얼굴에 대한 표정 변화를 재구성하는 단계; 상기 표정 특징점의 좌표를 상기 사용자의 얼굴에 대응되는 아바타(avatar)를 제어하기 위한 페이스 메쉬(face mesh) 상의 제어 좌표로 전환하는 단계; 및 상기 제어 좌표를 이용하여 상기 아바타에 상기 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성하는 단계를 포함한다.

상기 표정 특징점을 추적하는 단계는 상기 촬영된 영상으로부터 상기 사용자의 얼굴에 대한 관심 영역(Region Of Interest; ROI)을 설정하는 단계; 상기 관심 영역 중 상기 표정 특징점을 인식하여 그 위치를 지정하는 단계; 및 상기 표정 특징점의 움직임을 추적하는 단계를 포함할 수 있다.

상기 사용자의 얼굴에 대한 표정 변화를 재구성하는 단계는 상기 제1 맵핑 특징을 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들로 매칭시키는 단계; 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들과 상기 제2 맵핑 특징 간의 유사도(correspondence)를 이용하여 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들 중 적어도 하나의 모션 캡쳐 데이터를 선택하는 단계; 및 상기 적어도 하나의 모션 캡쳐 데이터 및 상기 미리 저장된 3D 모션 캡쳐 데이터들을 이용하여 상기 사용자의 얼굴에 대한 표정 변화를 재구성하는 단계를 포함할 수 있다.

상기 제1 맵핑 특징을 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들로 매칭시키는 단계는 복수의 얼굴 표정들을 나타내는 벡터 형태의 상기 3D 모션 캡쳐 데이터들을 저장하는 단계; 및 상기 3D 모션 캡쳐 데이터들로부터 추출된 상기 제1 맵핑 특징을 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들로 매칭시키는 단계를 포함할 수 있다.

상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들 중 적어도 하나의 모션 캡쳐 데이터를 선택하는 단계는 상기 표정 특징점으로부터 상기 제2 맵핑 특징들을 추출하는 단계; 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들과 상기 제2 맵핑 특징 간의 유사도(correspondence)를 산출하는 단계; 및 상기 유사도를 이용하여 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들 중 적어도 하나의 모션 캡쳐 데이터를 선택하는 단계를 포함할 수 있다.

상기 페이스 메쉬(face mesh) 상의 제어 좌표로 전환하는 단계는 상기 페이스 메쉬의 정점들 및 상기 표정 특징점들을 이용하여 상기 표정 특징점들과 상기 제어 좌표 간의 대응 관계를 설정하는 단계; 및 상기 대응 관계에 기초하여 상기 표정 특징점들의 좌표를 상기 페이스 메쉬 상의 제어 좌표로 변환하는 단계를 포함할 수 있다.

상기 제어 좌표를 이용하여 상기 아바타에 상기 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성하는 단계는 상기 아바타에 사실적인 표정을 표현하기 위한 복수의 표정 정보를 저장하는 단계; 상기 복수의 표정 정보 및 상기 제어 좌표를 이용하여 상기 아바타에 상기 사용자의 표정 변화가 나타나도록 하는 단계; 및 상기 아바타의 얼굴과 결합되는 상기 사용자의 목 부분을 표현하는 단계를 포함할 수 있다.

상기 아바타에 상기 사용자의 표정 변화가 나타나도록 하는 단계는 상기 제어 좌표를 기초로 상기 아바타에 대한 상기 복수의 표정 정보를 표현할 수 있는 포즈 벡터(pose vector)를 생성하는 단계; 상기 아바타의 미세한 표정, 주름 및 움직임을 표현하기 위하여 상기 포즈 벡터에 적용되는 가중치를 산출하는 단계; 및 상기 복수의 표정 정보로부터 계산된 상기 사용자의 표정 변화에 대한 보정치 및 상기 가중치를 이용하여 상기 아바타의 표정을 보간(interpolate)하는 단계를 포함할 수 있다.

상기 아바타의 얼굴과 상기 목 부분의 연결 지점을 고정시킴으로써 상기 연결 지점을 끊김 없이(seamless) 표현하는 단계를 더 포함할 수 있다.

본 발명의 일 측면에 따르면, 사용자의 얼굴에 대한 표정 변화를 감지할 수 있는 표정 특징점을 추적함으로써 사용자의 얼굴에 마커(marker)를 붙일 필요가 없이, 한 대의 촬영 장치(예를 들어, 웹 캠(Web Cam))만을 이용해 고품질을 얼굴 애니메이션을 생성할 수 있다.

본 발명의 일 측면에 따르면, 사용자의 얼굴에 대한 표정 특징점의 좌표를 아바타를 제어하기 위한 페이스 메쉬 상의 제어 좌표로 전환시킴으로써 사용자의 표정을 실시간으로 추적하고, 실시간으로 사실적인 표정을 아바타(Avatar)에 표현할 수 있다.

본 발명의 일 측면에 따르면, 아바타의 얼굴과 목 부분의 연결 지점을 고정시킴으로써 아바타의 얼굴과 목을 끊김 없이(seamless) 자연스럽게 표현할 수 있다.

본 발명의 일 측면에 따르면, 제어점 기반 얼굴 변형(Face Deformation) 알고리즘을 이용함으로써 표정 특징점으로 추적(Tracking)된 정보의 손실 없이 얼굴 표면을 부드럽게 변형시킬 수 있다.

또한, 본 발명의 일 측면에 따르면, 아바타의 주요 표정으로 구성된 아바타 포즈 데이터베이스(Avatar Pose Database)를 기반으로 아바타의 고유한 표정을 반영할 수 있는 다양한 애니메이션 방법을 이용함으로써 고유한 표정 정보(예를 들어, 주름, 얼굴의 떨림과 같은 미세한 차이점)가 표현된 사실적인 얼굴 애니메이션을 구성할 수 있다.

도 1은 본 발명의 일 실시예에 따른 얼굴 애니메이션 시스템(100)의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 추적 모듈(200)의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 통합 모듈(300)의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 전환 모듈(400)의 블록도이다.
도 5는 본 발명의 일 실시예에 따른 변형 모듈(500)의 블록도이다.
도 6은 본 발명의 일 실시예에 따른 3D 움직임 데이터베이스에 저장되는 3D 모션 캡쳐 데이터들을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 제어 좌표를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 얼굴 애니메이션 방법을 나타낸 플로우 차트이다.
도 9는 본 발명의 일 실시예에 따른 표정 특징점을 추적하는 방법을 나타낸 플로우 차트이다.
도 10은 본 발명의 일 실시예에 따른 사용자의 얼굴에 대한 표정 변화를 재구성하는 방법을 나타낸 플로우 차트이다.
도 11은 본 발명의 일 실시예에 따른 표정 특징점의 좌표를 페이스 메쉬(face mesh) 상의 제어 좌표로 전환하는 방법을 나타낸 플로우 차트이다.
도 12는 본 발명의 일 실시예에 따른 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성하는 방법을 나타낸 플로우 차트이다.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 일실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일 실시예에 따른 얼굴 애니메이션 시스템(100)의 블록도이다.

도 1을 참조하면, 얼굴 애니메이션 시스템(100)은 추적(tracking) 모듈(110), 통합(synthesis) 모듈(130), 전환(transfer) 모듈(150) 및 변형(deformation) 모듈(170)을 포함한다.

추적(tracking) 모듈(110)은 사용자의 표정 및 머리 부분(Head Pose)을 추적하는 모듈로서, 촬영된 영상으로부터 사용자의 얼굴에 대한 표정 변화를 감지할 수 있는 표정 특징점을 추적한다.

추적 모듈(110)은 촬영된 영상에 대하여 마커(marker)가 없이도 표정 변화를 감지할 수 있도록 표정 특징점에 대한 포인트 초기화(point initializing)를 수행하는 부분과 표정 특징점에 의해 사용자의 얼굴의 움직임을 추적하는 부분으로 나눌 수 있다.

추적 모듈(110)에 대하여는 아래의 도 2를 통해 후술한다.

통합(synthesis) 모듈(130)은 미리 저장된 3D 모션 캡쳐 데이터들로부터 추출된 제1 맵핑 특징(mapping feature) 및 표정 특징점으로부터 추출된 제2 맵핑 특징을 이용하여 사용자의 얼굴에 대한 표정 변화를 재구성한다.

즉, 통합 모듈(130)은 추적 모듈(110)로부터 추적된 저차원의 비전 데이터(vision data)인 표정 특징점을 고해상도의 얼굴 모션 캡쳐 데이터로 재구성하다. 통합 모듈(130)은 크게 온-라인에서 수행되는 부분과 오프-라인에서 수행되는 부분으로 나눌 수 있다.

통합 모듈(130) 중 온-라인에서 수행되는 부분은 얼굴 애니메이션 시스템(100)에 촬영된 영상이 입력될 때마다 그 기능을 수행할 수 있다.

오프-라인에서 수행되는 부분은 예를 들어, 얼굴 애니메이션 시스템(100)의 메모리 등에 내장(embedded)되어 수행될 수 있다.

통합 모듈(130)에 대하여는 아래의 도 3을 통해 후술한다.

전환(transfer) 모듈(150)은 표정 특징점의 좌표를 사용자의 얼굴에 대응되는 아바타(avatar)를 제어하기 위한 페이스 메쉬(face mesh) 상의 제어 좌표로 전환한다.

전환 모듈(150)에 대하여는 아래의 도 4를 통해 후술한다.

변형(deformation) 모듈(170)은 제어 좌표를 이용하여 아바타에 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성한다.

변형 모듈(170)은 3D 얼굴 애니메이션을 구성할 때, 얼굴을 나타내기 위한 부분과 목 부분을 포함하는 나머지 머리 부분(Head pose)을 나타내기 위한 부분으로 나눌 수 있다.

변형 모듈(170)에 대하여는 아래의 도 5를 통해 후술한다.

도 2는 본 발명의 일 실시예에 따른 추적 모듈(200)의 블록도이다.

도 2를 참조하면, 추적 모듈(200)은 설정부(210), 표정 특징점 개인화부(230) 및 추적부(250)를 포함한다.

설정부(210)는 웹 캠 등을 통해 촬영된 2D 영상으로부터 사용자의 얼굴에 대한 관심 영역(Region Of Interest; ROI)을 설정할 수 있다. 즉, 설정부(210)는 촬영된 영상으로부터 사용자의 얼굴의 위치와 크기를 검출하여 얼굴에 대한 관심 영역을 설정한다.

표정 특징점 개인화부(230)는 관심 영역 중 표정 특징점을 인식하여 그 위치를 지정할 수 있다.

표정 특징점은 사용자의 얼굴에 대한 표정 변화를 감지할 수 있는, 즉 표정에 영향을 미치는 복수 개의 포인트(point)를 나타내며 예를 들어, 눈, 눈썹, 코, 입, 귀 등이 해당될 수 있다.

표정 특징점 개인화부(230)는 설정부(210)에 의해 설정된 관심 영역(ROI)을 바탕으로 사용자의 표정 변화를 감지, 추적할 수 있는 표정 특징점을 인식하여 그 위치를 지정할 수 있다.

표정 특징점 개인화부(230)는 표정 특징점을 인식하여 그 위치를 지정하기 위해 예를 들어, 여러 사람의 얼굴 패턴을 학습하여 얼굴의 주요 특징점들을 자동으로 찾는 Active appearance model 또는 Active shape model 등을 이용할 수 있다.

상술한 설정부(210) 및 표정 특징점 개인화부(230)는 촬영된 영상에 대하여 마커(marker)가 없이도 표정 변화를 감지할 수 있도록 표정 특징점에 대한 포인트 초기화(point initializing)를 수행할 수 있다.

추적부(250)는 촬영된 영상으로부터 표정 특징점 및 머리 움직임을 추적할 수 있다. 여기서, 머리 움직임은 머리의 좌, 우 기울임(roll), 머리의 상, 하 회전(pitch) 및 머리의 좌, 우 회전(yaw)을 포함할 수 있다.

추적부(250)는 표정 특징점 및 머리 움직임을 추적을 위하여 형상(shape)을 이용하는 형상 기반 추적 방법 또는 텍스쳐(texture)를 이용하는 텍스쳐 기반 추적 방법을 이용할 수 있다.

형상 기반 추적 방법은 촬영된 영상으로부터 얼굴 내의 표정 특징점들을 추적하는 방법이다.

텍스쳐 기반 추적 방법은 얼굴 영역으로부터 추출된 텍스쳐를 그대로 사용하거나 혹은 특정 필터(filter)를 적용시킨 기술자(describer)를 만들어 얼굴의 전반적인 표정을 추적하는 방법이다.

추적부(250)는 형상 기반 추적 방법 또는 텍스쳐 기반 추적 방법 중 어느 하나를 이용하거나, 두 가지 모두를 이용할 수 있다.

도 3은 본 발명의 일 실시예에 따른 통합 모듈(300)의 블록도이다. 도 3을 참조하면, 통합 모듈(300)은 매칭부(310), 선택부(330) 및 재구성부(350)를 포함한다.

매칭부(310)는 제1 맵핑 특징을 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들로 매칭시킬 수 있다. 제1 맵핑 특징은 3D 움직임 데이터베이스(313) 등에 미리 저장된 3D 모션 캡쳐 데이터들로부터 추출된 것이다.

매칭부(310)는 통합 모듈(300) 중 전술한 오프 라인에서 수행되는 부분에 해당한다.

매칭부(310)는 3D 움직임 데이터베이스(3D Motion Database)(313) 및 매칭 수단(316)을 포함할 수 있다.

3D 움직임 데이터베이스(313)는 복수의 얼굴 표정들을 나타내는 벡터 형태의 3D 모션 캡쳐 데이터들을 저장할 수 있다.

3D 움직임 데이터베이스(313)에 저장된 3D 모션 캡쳐 데이터들은 저해상도의 비전 데이터로부터 추출된 맵핑 특징(mapping feature)들로서, 웹 캡 등을 통해 촬영된 저해상도의 비전 데이터(vision data)와 고해상도의 모션 캡쳐 데이터 간의 유사도(correspondence)를 측정하는데 이용하기 위한 것이다.

3D 움직임 데이터베이스(313)에 저장된 3D 모션 캡쳐 데이터들은 입을 벌린 크기, 입이 옆으로 찢어진 길이, 입 끝을 내리거나 올리는 등과 같이 다양한 복수의 얼굴 표정들을 나타내는 벡터 형태의 3D 모션 캡쳐 데이터들일 수 있다.

3D 움직임 데이터베이스(313)에 저장된 3D 모션 캡쳐 데이터들은 예를 들어, 도 6과 같은 형태로 획득될 수 있다.

매칭 수단(316)은 3D 모션 캡쳐 데이터들로부터 추출된 제1 맵핑 특징을 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들로 매칭(matching)시킬 수 있다.

일반적으로 웹 캠 등을 통해 촬영된 영상은 노이즈(noise)가 포함된 영상일 수 있다. 또한, 촬영된 영상의 표정 특징점으로부터 추출된 제2 맵핑 특징과 3D 움직임 데이터베이스(313)에 저장된 3D 모션 캡쳐 데이터들로부터 추출된 제1 맵핑 특징들은 1:1로 매칭이 안될 수 있다.

따라서, 매칭 수단(316)은 노이즈가 포함된 영상을 깨끗한 영상으로 바꿔줌과 동시에 또한, 도 6에 나타낸 것과 같이 의미 없는 점들로 이루어진 정보들을 입을 벌린 웃는 얼굴, 화나거나 찡그린 얼굴 등의 의미 있는 얼굴 표정을 나타내는 의미론적(semantic)인 정보들로 매칭시킬 수 있다.

선택부(330)는 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들과 제2 맵핑 특징 간의 유사도(correspondence)를 이용하여 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들 중 적어도 하나의 모션 캡쳐 데이터를 선택할 수 있다.

선택부(330) 및 재구성부(350)는 통합 모듈(300) 중 전술한 온-라인에서 수행되는 부분으로서, 촬영된 영상이 얼굴 애니메이션 시스템에 입력될 때마다 그 기능을 수행한다.

예를 들어, 선택부(330)가 추적 모듈(110)로부터 '사용자가 입을 활짝 벌리고 웃고 있는 모습이 담긴 영상'에 대한 표정 특징점들을 수신했다고 가정하자.

선택부(330)는 '사용자가 입을 활짝 벌리고 웃고 있는 모습이 담긴 영상'에 대한 표정 특징점들로부터 제2 맵핑 특징을 추출할 수 있다.

그리고, 선택부(330)는 매칭부(310)에 저장된 정보들(의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들)과 제2 맵핑 특징 간의 유사도(correspondence)를 이용하여 상술한 영상(사용자가 입을 활짝 벌리고 웃고 있는 모습)과 동일하거나 유사한 얼굴 표정을 나타내는 적어도 하나의 모션 캡쳐 데이터를 선택함으로써 제2 맵핑 특징들의 의미를 해석할 수 있다.

선택부(330)는 추출 수단(333), 유사도 산출 수단(336) 및 선택 수단(339)를 포함할 수 있다.

추출 수단(333)은 표정 특징점으로부터 제2 맵핑 특징들을 추출하고, 저장할 수 있다.

유사도 산출 수단(336)은 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들과 제2 맵핑 특징 간의 유사도(correspondence)를 산출할 수 있다.

선택 수단(339)은 유사도 산출 수단(336)에서 산출된 유사도를 이용하여 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들 중 적어도 하나의 모션 캡쳐 데이터를 선택할 수 있다.

재구성부(350)는 최종적으로 선택된 적어도 하나의 모션 캡쳐 데이터 및 미리 저장된 3D 모션 캡쳐 데이터들을 이용하여 사용자의 얼굴에 대한 표정 변화를 재구성할 수 있다.

도 4는 본 발명의 일 실시예에 따른 전환 모듈(400)의 블록도이다.

도 4를 참조하면, 전환 모듈(400)은 설정부(410) 및 변환부(430)를 포함할 수 있다.

설정부(410)는 페이스 메쉬의 정점들 및 표정 특징점들을 이용하여 표정 특징점들과 제어 좌표 간의 대응 관계를 설정할 수 있다. 즉, 설정부(410)는 페이스 메쉬의 정점들 및 표정 특징점들을 대응시키기 위한 기준을 잡아주는 역할을 한다.

여기서, 페이스 메쉬(face mesh)는 사용자의 얼굴에 대응되는 아바타(avatar)를 제어하기 위해 구성한 메쉬이다.

설정부(410)는 페이스 메쉬의 정점들 중 애니메이션을 제어하기 위해 선택된 정점들(여기서는 제어 좌표들)이 표정 특징점들과 서로 1:1 매칭이 되도록 같은 개수의 점과 형태로 모델링 한 후, 각 정점들을 라벨링(labeling)할 수 있다.

설정부(410)는 표정 특징점들과 제어 좌표들 중 미간과 코에 지정된 세 개의 정점을 이용하여 표정 특징점과 제어 좌표들 간의 대응 관계를 설정하는 변환 매트릭스(Transformation Matrix)를 생성할 수 있다.

설정부(410)는 변환 매트릭스를 이용하여 특징점들을 global affine transformation하여 페이스 메쉬 상의 좌표로 이동시킬 수 있다.

변환부(430)는 대응 관계에 기초하여 표정 특징점들의 좌표를 페이스 메쉬 상의 제어 좌표로 변환할 수 있다. 즉, 변환부(430)는 설정부(410)에서 잡아준 기준을 중심으로 표정 특징점들의 좌표에 의해 나타난 사용자의 얼굴 표정을 아바타에 나타내기 위해 페이스 메쉬 상의 제어 좌표로 변환할 수 있다.

변환부(430)는 각 점들의 대응 관계를 통해 표정 특징점과 제어 좌표 간의 맵핑 함수(F)를 정의하고, 임의의 영상 프레임에 대한 정점의 위치를 맵핑 함수를 통해 계산함으로써 표정 특징점들의 좌표를 페이스 메쉬 상의 제어 좌표로 변환할 수 있다.

표정 특징점과 제어 좌표 간의 맵핑 함수로는 예를 들어, Radial Basis Function을 이용할 수 있다.

페이스 메쉬 상에 나타나는 제어 좌표에 대하여는 도 7을 참조한다.

도 5는 본 발명의 일 실시예에 따른 변형 모듈(500)의 블록도이다. 도 5를 참조하면, 변형 모듈(500)은 3D 아바타 포즈 데이터베이스(510), 얼굴 변형부(530) 및 목 변형부(550)를 포함한다. 또한, 변형 모듈(500)은 결합부(570)를 더 포함할 수 있다.

3D 아바타 포즈 데이터베이스(510)는 아바타에 사실적인 표정을 표현하기 위한 아바타의 주요 표정으로 구성되는 복수의 표정 정보를 포함할 수 있다.

3D 아바타 포즈 데이터베이스(510)는 아바타의 각 표정 별 메쉬(Mi)와 각 표정을 표현하는 포즈 벡터(Pi)를 포함할 수 있다. 이때 표정 별 메쉬(Mi)는 3D SCAN 또는 사람의 수작업을 통해 제작될 수 있다. 또한, 각 표정을 표현하는 포즈 벡터(Pi)는 아바타의 표정을 대표하는 정점들의 집합(Ci), 혹은 이들 정점들 간의 연결로 이루어진 그래프로 구성될 수 있다.

변형 모듈(500)은 각 포즈 별로 애니메이션 제어점에 기반한 얼굴 메쉬 변형의 결과 M _a (P _i )를 계산할 수 있다.

또한, 변형 모듈(500)은 애니메이션 제어점에 기반한 얼굴 메쉬 변형의 에러를 측정하기 위하여 주어진 포즈 벡터(P _i )에서의 아바타의 각 표정 별 메쉬(M _i )와 얼굴 메쉬 변형의 결과 Ma(P _i )의 차이, 즉 사용자의 표정 변화에 대한 보정치(D _i )는 D _i = |M _a (P _i ) - M _i |와 같이 계산할 수 있다.

변형 모듈(500)은 애니메이션 제어점에 기반한 얼굴 메쉬 변형의 오차를 포즈 별로 사전에 계산하여 사용자의 표정 변화에 대한 보정치(Di)로 저장할 수 있다.

여기서, 저장된 사용자의 표정 변화에 대한 보정치(Di)는 이후 보간 수단(539)에서 이용될 수 있다.

본 발명의 일 실시예에 따른 변형 모듈(500)은 전술한 바와 같이 아바타에 사용자의 얼굴 부분을 나타내기 위한 얼굴 변형부(530)과 목 부분을 포함하는 나머지 머리 부분(Head pose)을 나타내기 위한 목 변형부(550)를 포함할 수 있다.

얼굴 변형부(530)는 복수의 표정 정보 및 제어 좌표를 이용하여 아바타에 사용자의 표정 변화가 나타나도록 할 수 있다.

얼굴 변형부(530)는 아바타에 사용자의 다양한 표정 변화가 나타나도록 하기 위하여 예를 들어, 애니메이션 제어점에 기반한 방법 및 Data Driven 애니메이션 방법이 결합된 방법을 이용할 수 있다.

얼굴 변형부(530)는 생성 수단(533), 산출 수단(536) 및 보간 수단(539)을 포함할 수 있다.

생성 수단(533)은 제어 좌표(C _in )를 기초로 아바타에 대한 복수의 표정 정보를 표현할 수 있는 포즈 벡터(pose vector)(P _in )를 생성할 수 있다. 아바타에 대한 복수의 표정 정보를 표현할 수 있는 포즈 벡터 (P _in )는 상술한 표정을 표현하는 포즈 벡터인 Pi의 Weighted Sum으로 표현될 수 있다.

즉, P _in = ∑ W _i *P _i 와 같이 나타낼 수 있다.

여기서, W _i 는 아바타의 미세한 표정, 주름 및 움직임을 표현하기 위하여 포즈 벡터(P _in )에 적용되는 가중치이다.

제어 좌표(C _in )는 도 7과 같은 형태로 나타날 수 있다.

산출 수단(536)은 아바타의 미세한 표정, 주름 및 움직임을 표현하기 위하여 포즈 벡터(P _in )에 적용되는 가중치(W _i )를 산출할 수 있다.

가중치(W _i )는 입력 포즈에 대한 3D 아바타 포즈 데이터베이스(510)의 포즈 공간(Pose Space)에서의 위치를 나타낸다.

보간 수단(539)은 복수의 표정 정보로부터 계산된 사용자의 표정 변화에 대한 보정치(D _i ) 및 가중치(W _i )를 이용하여 아바타의 표정을 보간(interpolate)할 수 있다.

보간 수단(539)은 가중치(W _i )를 이용하여 아바타의 포즈 공간에서의 사용자의 표정 변화에 대한 보정치(Di)를 블렌딩(Blending)하여 입력 포즈에 대한 미세한 변화를 보간할 수 있다.

또한, 얼굴 변형부(530)는 제어 좌표(C _in )을 이용하여 Smoothness 제한 기반 메쉬 최적화 알고리즘을 이용하여 제어 좌표의 위치를 최대한 반영하면서 메쉬를 부드럽게 변형하는 얼굴 메쉬 변형 방법에 의해 초기 변형 메쉬인 M _a (C _in )을 계산할 수 있다.

목 변형부(550)는 아바타의 얼굴과 결합되는 사용자의 목 부분을 표현할 수 있다.

목 변형부(550)는 아바타의 얼굴과 결합되는 사용자의 목 부분을 포함하는 나머지 머리 부분(Head pose)을 나타내기 위하여 목 관절(joint)의 3 Rotation 값을 이용하여 목 관절에 대한 관절체 변형(Articulated Deformation)을 수행할 수 있다.

이 때, 관절체 변형에는 얼굴 애니메이션 알고리즘이 아닌 일반적인 골격 기반 변형(Skeletal based Deformation) 알고리즘을 이용할 수 있다.

결합부(570)는 아바타의 얼굴과 목 부분의 연결 지점의 좌표를 고정시킴으로써 연결 지점을 끊김 없이(seamless) 표현할 수 있다.

결합부(570)는 관절체 변형과 얼굴 변형 간의 경계 부분을 자연스럽게 표현하기 위하여 아바타의 얼굴과 목 부분의 연결 지점의 정점(vertex)을 움직이지 않도록 고정하고, 관절체 변형을 위한 골격 기반 변형의 가중치를 '1'로 정의하여 메쉬 변형을 수행한다.

도 6은 본 발명의 일 실시예에 따른 3D 움직임 데이터베이스에 저장되는 3D 모션 캡쳐 데이터들을 나타낸 도면이다.

도 6을 참조하면, 3D 움직임 데이터베이스는 복수의 얼굴 표정들을 나타내는 벡터 형태의 3D 모션 캡쳐 데이터들을 저장할 수 있다.

3D 움직임 데이터베이스는 610과 같이 검은 점으로 나타난 정점들에 대한 벡터 형태의 3D 모션 캡쳐 데이터일 수 있다.

여기에 저장된 벡터 형태의 3D 모션 캡쳐 데이터들은 매칭 수단(316)에 의해 의미를 갖는 데이터들로 매칭되어 비전 데이터로부터 추적된 표정 특징점들에게 의미를 제공하게 된다.

도 7은 본 발명의 일 실시예에 따른 제어 좌표(C _i )를 나타낸 도면이다.

도 7을 참조하면, 제어 좌표(C _i )는 다양한 형태의 얼굴 표정들에 대한 제어 좌표(710)로서, 예를 들어, 희로애락을 나타내는 웃거나, 울거나, 찡그리거나, 화내거나 시무룩하거나, 무표정한 얼굴 표정들을 나타내기 위한 제어 좌표일 수 있다.

제어 좌표를 이용하여 사용자의 얼굴에 대응되는 아바타(avatar)의 다양한 표정들을 제어할 수 있다.

도 8은 본 발명의 일 실시예에 따른 얼굴 애니메이션 방법을 나타낸 플로우 차트이다.

도 8을 참조하면, 얼굴 애니메이션 시스템은 촬영된 영상으로부터 사용자의 얼굴에 대한 표정 변화를 감지할 수 있는 표정 특징점을 추적한다(810).

얼굴 애니메이션 시스템은 미리 저장된 3D 모션 캡쳐 데이터들로부터 추출된 제1 매핑 특징(mapping feature) 및 표정 특징점으로부터 추출된 제2 매핑 특징을 이용하여 사용자의 얼굴에 대한 표정 변화를 재구성한다(830).

얼굴 애니메이션 시스템은 표정 특징점의 좌표를 사용자의 얼굴에 대응되는 아바타(avatar)를 제어하기 위한 페이스 메쉬(face mesh) 상의 제어 좌표로 전환하고(850), 제어 좌표를 이용하여 아바타에 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성한다(870).

도 9 내지 도 11에 대하여는 도 2 내지 도 4에 대한 설명을 참조하기로 한다.

도 12는 본 발명의 일 실시예에 따른 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성하는 방법을 나타낸 플로우 차트이다.

도 12를 참조하면, 얼굴 애니메이션 시스템의 변형 모듈은 아바타에 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성하기 위하여 아바타에 사실적인 표정을 표현하기 위한 복수의 표정 정보를 저장할 수 있다(1210).

변형 모듈은 복수의 표정 정보 및 제어 좌표를 이용하여 아바타에 사용자의 표정 변화가 나타나도록 할 수 있다.

변형 모듈은 사용자의 표정 변화가 나타나도록 하기 위하여 제어 좌표를 기초로 아바타에 대한 복수의 표정 정보를 표현할 수 있는 포즈 벡터(pose vector)를 생성하고(1220), 아바타의 미세한 표정, 주름 및 움직임을 표현하기 위하여 포즈 벡터에 적용되는 가중치(W _i )를 산출할 수 있다(1230).

변형 모듈은 복수의 표정 정보로부터 계산된 상기 사용자의 표정 변화에 대한 보정치 및 상기 가중치를 이용하여 상기 아바타의 표정을 보간(interpolate)할 수 있다(1240).

변형 모듈은 아바타의 얼굴과 결합되는 사용자의 목 부분을 표현할 수 있으며(1250), 아바타의 얼굴과 목 부분의 연결 지점의 정점(vertex)을 고정시킴으로써 연결 지점을 끊김 없이(seamless) 표현할 수 있다(1260).

상술한 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

110 : 추적 모듈
130 : 통합 모듈
150 : 전환 모듈
170 : 변형 모듈