애니메이션 채팅 시스템 및 그 방법{Chatting system using animated avatars and method thereof}

본 발명은 컴퓨터 네트워크를 이용한 채팅 시스템에 관한 것으로서, 특히 3차원 얼굴 애니메이션 기술에 의한 채팅 시스템 및 그 방법에 관한 것이다.

인터넷 사용자들이 급증함에 따라, 컴퓨터 네트워크를 이용한 채팅 이용자들이 기하급수적으로 증가하고 있다. 그런데, 이와같은 채팅 이용자들은 단순한 텍스트 기반의 채팅에 만족하지 아니하고, 점차 멀티미디어 채팅을 위한 서비스를 강력히 요구하고 있다. 이에 따라, 멀티미디어 자원 중 하나인 애니메이션 기능에 3차원 얼굴 애니메이션 기술을 도입한 새로운 방식의 채팅 시스템이 제안되고 있다.

이와 같은 새로운 방식의 기존의 채팅 시스템으로는 미국 마이크로소프트사의 미국특허(미국특허번호 5880731, "Use of avatars with automatic gesturing and bounded interaction in on-line chat session", 1995)가 있다. 상기한 바와 같은 기존의 채팅 시스템은 2차원의 비트맵 이미지들로부터 사용자가 자신이 원하는 아바타(avatar)를 선정하고, 비트맵 데이터 시퀀스를 이용하여 스크립트(script) 방식으로 정의된 애니메이션을 실행시키는 방식이다.

기존의 방식에 의하면, 다음과 같은 문제점이 있다. 첫째, 기존의 방식에서는 사용자들이 채팅 사업자가 제공하는 아바타들 중에서 자신을 대표하는 모델을 선정하는데, 여러 사용자들이 동일한 아바타를 선정함으로써 아바타에 의해 사용자들이 식별되지 않는 경우도 있다. 둘째, 기존의 방식에서는 아바타의 표정이 바뀜에 따라 비트맵 데이터 시퀀스를 전송하여야 하므로, 전송시간이 많이 걸린다. 셋째, 기존 방식에서는 2차원 비트맵 데이터 시퀀스를 사용하여 애니메이션함으로써 정교한 애니메이션을 제공하기 어렵다.

본 발명은 상기의 문제점을 해결하기 위하여 창작된 것으로서, 사용자 자신을 대표하는 얼굴 모델을 사용자가 스스로 자유롭게 만들어 자신만의 임의의 얼굴 모델을 이용하여 채팅에 참여할 수 있고, 3차원 얼굴 애니메이션을 도입하되 데이터 전송속도나 대역폭에 제한을 적게 받는 애니메이션 채팅 시스템 및 그 방법을 제공함을 목적으로 한다.

도 1은 본 발명에 의한 애니메이션 채팅 시스템을 포함한 일반적인 채팅 시스템의 개략적인 구성도이다.

도 2는 본 발명에 의한 애니메이션 채팅 시스템의 일실시예에서의 채팅 클라이언트의 구성도이다.

도 3은 본 발명에 의한 애니메이션 채팅 시스템의 일실시예에서의 채팅 서버의 구성도이다.

도 4a 내지 도 4e는 도 2의 얼굴모델 생성기에서 3차원 얼굴 모델을 생성하는 과정을 설명하기 위한 도면들이다.

도 5는 도 2의 표정생성기에서 표정 입력 사용자 인터페이스 화면을 예시한 도면이다.

도 6은 본 발명에 의한 애니메에션 채팅시 채팅 클라이언트의 화면을 예시한 도면이다.

도 7a 및 도 7b는 본 발명에 의한 1대1 애니메이션 채팅시 채팅 클라이언트 화면을 예시한 도면이다.

상기 목적을 달성하기 위하여 본 발명에 의한 애니메이션 채팅 시스템의 일실시예는 네트워크; 상기 네트워크에 접속되고, 채팅 세션에 참가할 때 사용자를 표현하는 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 상기 네트워크를 통해 전송하고, 채팅 세션에 참가한 이후에는 표정에 관한 패러미터를 상기 네트워크를 통해 전송하고, 상기 네트워크를 통해 전송된 다른 사용자를 표현하는 얼굴 모델의 3차원 꼭지점 위치정보, 텍스쳐 이미지 데이터 및 표정에 관한 패러미터를 사용하여 다른 사용자의 얼굴을 합성하여 사용자에게 디스플레이하는 다수의 채팅 클라이언트; 및 상기 네트워크에 접속되고, 채팅 세션에 참가하는 채팅 클라이언트들로부터 상기 네트워크를 통해 얼굴 모델의 3차원 꼭지점 위치정보, 텍스쳐 이미지 데이터 및 표정에 관한 패러미터를 전송받고, 같은 채팅 세션 내에 있는 모든 채팅 클라이언트들에 전송하여 채팅세션을 관리하는 채팅 서버를 포함한다.

상기 애니메이션 채팅 시스템의 일실시예에서 상기 채팅 클라이언트는 사용자를 표현하는 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 항목으로 하여 저장한 얼굴 모델 데이터베이스; 표정에 관한 패러미터를 항목으로 하여 저장한 표정 데이터베이스; 상기 채팅 서버로부터 전송받은 얼굴 모델의 3차원 꼭지점 위치정보, 텍스쳐 이미지 데이터 및 표정에 관한 패러미터를 이용하여 채팅 세션 내에 있는 사용자들을 표현하는 얼굴 모델의 표정을 애니메이션하는 얼굴 합성기; 및 상기 네트워크를 통해 상기 채팅 서버와의 정보교환을 관리하는 네트워크 관리자를 구비함을 특징으로 한다.

또한, 상기 채팅 클라이언트는 기저장된 기본 얼굴모델 위치정보 및 사용자로부터 입력받은 2차원 얼굴 이미지를 이용하여 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 생성하는 얼굴모델 생성기; 및 사용자로부터 표정에 관한 자료를 입력받기 위한 표정 입력 사용자 인터페이스를 구비하고, 입력받은 표정에 관한 자료에 의해 표정에 관한 패러미터를 생성하는 표정 생성기를 더 구비함을 특징으로 한다.

상기 다른 목적을 달성하기 위하여, 본 발명에 의한 네트워크에 연결된 채팅 서버 및 다수의 채팅 클라이언트를 구비한 채팅 시스템에서 3차원 얼굴모델을 애니메이션하기 위한 데이터를 전송하는 방법의 일실시예는 (a) 채팅 세션에 접속하기 위한 채팅 클라이언트가 사용자를 대표하는 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 상기 채팅 서버로 전송하는 단계; (b) 상기 채팅 서버가 채팅 세션 내의 다른 모든 채팅 클라이언트들에 상기 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 전송하고, 상기 채팅 세션에 접속하기 위한 채팅 클라이언트에 채팅 세션 내의 다른 모든 채팅 클라이언트들의 사용자들을 대표하는 얼굴 모델들의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 전송하는 단계; (c) 채팅 세션에 접속이 이루어지면, 각 채팅 클라이언트는 상기 채팅 서버를 통해 다른 채팅 클라이언트로 표정에 관한 패러미터를 반복적으로 전송함으로써, 각 채팅 클라이언트가 각 사용자들을 표현하는 얼굴 모델의 표정을 애니메이션하도록 하는 단계를 포함한다.

상기 3차원 얼굴모델을 애니메이션하기 위한 데이터를 전송하는 방법의 일실시예에 있어서, 상기 (c) 단계는 (c1) 각 채팅 클라이언트에 구비된 표정 데이터베이스의 내용에서 각 사용자가 원하는 표정에 관한 패러미터를 찾아 채팅 서버로 전송하는 단계; (c2) 채팅 서버가 채팅 세션 내의 다른 모든 채팅 클라이언트들에 상기 표정에 관한 패러미터를 전송하는 단계; 및 (c3) 각 채팅 클라이언트는 상기 표정에 관한 패러미터를 전송받고, 미리 전송받은 채팅 세션 내의 사용자들을 대표하는 얼굴 모델들의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 이용하여 각 사용자들을 표현하는 얼굴 모델의 표정을 애니메이션하도록 하는 단계를 포함함을 특징으로 한다.

상기 3차원 얼굴모델을 애니메이션하기 위한 데이터를 전송하는 방법의 일실시예에 있어서, 상기 (c) 단계는 (c1) 각 채팅 클라이언트에 구비된 표정 데이터베이스의 각 항목에 대응하는 기본어휘를 채팅 문자열에 포함시켜 채팅 서버로 전송하는 단계; (c2) 채팅 서버가 채팅 세션 내의 다른 모든 채팅 클라이언트들에 상기 채팅 문자열을 전송하는 단계; 및 (c3) 각 채팅 클라이언트는 전송받은 채팅 문자열에 포함된 기본어휘 추출한 후 추출된 기본어휘를 키로 하여 표정 데이터베이스에서 대응하는 표정에 관한 패러미터를 조회하고, 미리 전송받은 채팅 세션 내의 사용자들을 대표하는 얼굴 모델들의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 이용하여 각 사용자들을 표현하는 얼굴 모델의 표정을 애니메이션하도록 하는 단계를 포함함을 특징으로 한다.

이하에서 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

도 1에 의하면, 본 발명에 의한 애니메이션 채팅 시스템의 일실시예는 네트워크, 다수의 채팅 클라이언트 및 채팅 서버를 포함하여 구성된다.

네트워크는 일반적인 온라인 네트워크 또는 공중전화교환망(PSTN)으로 이루어진다.

각 채팅 클라이언트는 네트워크를 통해 채팅 서버에 접속되고, 채팅 세션에 최초 참가할 때에는 그 채팅 클라이언트의 사용자를 표현하는 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 네트워크를 통해 채팅 서버에 전송하고, 채팅 세션에 참가한 이후에는 표정에 관한 패러미터를 네트워크를 통해 전송한다. 각 채팅 클라이언트는 네트워크를 통해 전송된 다른 사용자를 표현하는 얼굴 모델의 3차원 꼭지점 위치정보, 텍스쳐 이미지 데이터 및 표정에 관한 패러미터를 사용하여 다른 사용자의 얼굴을 합성하여 사용자에게 디스플레이한다.

채팅 서버는 네트워크를 통해 다수의 채팅 클라이언트에 접속되고, 채팅 세션에 참가하는 채팅 클라이언트들로부터 네트워크를 통해 얼굴 모델의 3차원 꼭지점 위치정보, 텍스쳐 이미지 데이터 및 표정에 관한 패러미터를 전송받고, 이들을 같은 채팅 세션 내에 있는 모든 채팅 클라이언트들에 전송함으로써 채팅세션을 관리한다.

도 2에 의하면, 도 1의 각 채팅 클라이언트는 얼굴 모델 생성기(23), 얼굴 모델 데이터베이스(20), 얼굴 모델 관리자(26), 표정 생성기(24), 표정 데이터베이스(21), 표정 관리자(27), 얼굴 합성기(25) 및 네트워크 관리자(22)를 구비한다.

얼굴 모델 생성기(23)는 미리 저장된 기본 얼굴모델 위치정보(geometry) 및 사용자로부터 입력받은 2차원 얼굴 이미지를 이용하여 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 생성한다. 즉, 얼굴 모델 생성기(23)는 사용자로부터 임의의 2차원 얼굴 이미지 1장(얼굴 정면) 또는 2장(얼굴 정면, 얼굴 측면) 또는 3장(얼굴 정면, 얼굴 좌측면, 얼굴 우측면)을 입력장치(28)를 통해 입력받고, 이들을 이용하여 기본 얼굴 모델의 위치정보를 변형하여 새로운 얼굴 모델을 생성한다.

얼굴 모델 데이터베이스(20)는 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 항목으로 하여 저장한 데이터베이스이다.

얼굴 모델 관리자(26)은 얼굴 모델 생성기(23)에 의해 생성된 새로운 얼굴 모델을 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 항목으로 하여 데이터베이스화하고, 이에 대한 편집, 삽입, 조회 기능을 제공한다. 또한, 얼굴 모델 관리자(26)는 채팅 서버(30)로부터 네트워크 관리자(22)를 통해 전송받았거나 얼굴 모델 데이터베이스(20)에서 조회한 얼굴 모델의 3차원 꼭지점 위치정보 및 텍스쳐 이미지 데이터를 얼굴 합성기(25)에 전달한다.

표정 생성기(24)는 사용자로부터 표정에 관한 자료를 입력장치(28)로부터 입력받기 위한 표정 입력 사용자 인터페이스를 구비하고, 입력받은 표정에 관한 자료에 의해 사용자 자신만의 개성을 지닌 표정에 관한 패러미터를 생성한다. 표정 생성기(24)에서 생성하는 패러미터는 얼굴 동작 코딩 시스템(Facial Action Coding System : FACS)의 동작 단위(Action Unit : AU) 방식에 따른 패러미터임이 바람직하다.

표정 데이터베이스(21)는 표정에 관한 패러미터를 항목으로 하여 저장한 데이터베이스이다.

표정 관리자(27)는 기본 표정들과 함께 표정 생성기(24)에 의해 생성된 표정 패러미터를 항목으로 하여 데이터베이스화하고, 이에 대한 편집, 삽입, 조회 기능을 제공한다. 한편, 표정 관리자(27)는 사람의 감정을 표현하는 기본 어휘와 표정 데이터베이스(21) 간의 상관관계를 이용하여 또한, 표정 관리자(27)는 채팅 서버(30)로부터 네트워크 관리자(22)전송받았거나 표정 데이터베이스(21)에서 조회한 표정에 관한 패러미터를 얼굴 합성기(25)로 전달한다.

얼굴 합성기(25)는 얼굴 모델 관리자(26) 및 표정 관리자(27)로부터 전달받은 얼굴 모델들의의 3차원 꼭지점 위치정보, 텍스쳐 이미지 데이터 및 표정에 관한 패러미터를 이용하여 채팅 세션 내에 있는 사용자들을 표현하는 얼굴 모델의 표정을 애니메이션한다.

네트워크 관리자(22)는 네트워크를 통해 채팅 서버(30)와의 정보교환을 관리한다.

도면에는 도시되어 있지 않지만, 본 발명에 의한 애니메이션 채팅 시스템의 일실시예에 포함된 각 채팅 클라이언트는 필요한 경우(특히, 1:1 채팅의 경우) 음성도 같이 들을 수 있도록, 텍스트 데이터를 음성으로 변환하는 텍스트/음성 변환기(Text To Speech : TTS) 및 텍스트/음성 변환기에 의해 변환된 음성에 따라 채팅 세션 내에 있는 사용자들을 표현하는 얼굴 모델의 입술형태를 변환시키는 립싱크부를 더 구비할 수 있다.

도 3에 의하면, 채팅 서버(30)는 네트워크 관리자(31) 및 채팅 세션 관리자(32)를 구비한다.

네트워크 관리자(31)는 채팅 세션에 참가하는 채팅 클라이언트들로부터 네트워크를 통해 얼굴 모델의 3차원 꼭지점 위치정보, 텍스쳐 이미지 데이터 및 표정에 관한 패러미터를 전송받고, 이들을 같은 채팅 세션 내에 있는 모든 채팅 클라이언트들에 전송한다. 그리고, 채팅 세션 관리자(32)는 채팅 세션에 참가하고자 하는 채팅 클라이언트와의 채팅 세션의 설정/해제 등을 관리한다.

이하에서, 도 1 내지 도 3에 도시된 채팅 시스템에서 본 발명에 의한 3차원 얼굴모델을 애니메이션하기 위한 데이터 전송과정의 일실시예를 설명한다.

네트워크에 연결된 채팅 서버 및 다수의 채팅 클라이언트를 구비한 채팅 시스템에서 3차원 얼굴모델을 애니메이션하기 위한 데이터를 전송하는 방법에 있어서,

먼저, 각 채팅 클라이언트에서 얼굴 모델 생성기(23)는 미리 저장된 기본 얼굴모델 위치정보(geometry) 및 사용자로부터 입력받은 2차원 얼굴 이미지를 이용하여 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 생성하고, 얼굴 모델 관리자(26)는 생성된 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 항목으로 하는 얼굴 모델 데이터베이스(20)를 구성한다.

이때, 기본 얼굴모델의 위치정보는 도 4a에 도시된 3차원 기본 얼굴 와이어프레임(wireframe), 도 4b에 도시된 기본 얼굴 정면 윤곽선 및 기본 얼굴 측면 윤곽선 등을 포함한다. 한편, 도 4c는 도 4b의 기본 얼굴 정면 윤곽선을 사용자로부터 입력받은 임의의 2차원 정면 얼굴 이미지에 정합시킨 도면이고, 도 4d는 기본 얼굴 측면 윤곽선을 사용자로부터 입력받은 2차원 측면 얼굴 이미지에 정합시킨 도면이다. 그리고, 도 4e는 도 4c 및 도 4d의 이미지들과 도 4a의 기본 얼굴 와이어프레임을 이용하여 3차원 얼굴을 합성한 결과를 도시한 것이다.

또한, 각 채팅 클라이언트에서 표정 생성기(24)는 사용자로부터 표정에 관한 자료를 입력장치(28)로부터 입력받기 위하여 도 5에 예시된 바와 같은 표정 입력 사용자 인터페이스를 구비하고, 입력받은 표정에 관한 자료에 의해 표정에 관한 패러미터를 생성하고, 표정 관리자(27)는 표정에 관한 패러미터를 항목으로 하는 표정 데이터베이스(21)를 구성한다.

이후, 채팅 세션에 접속하기 위한 채팅 클라이언트는 그 사용자를 대표하는 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 채팅 서버로 전송한다. 그러면, 채팅 서버는 채팅 세션 내의 다른 모든 채팅 클라이언트들에 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 전송하고, 채팅 세션에 접속하고자 하는 채팅 클라이언트에 채팅 세션 내의 다른 모든 채팅 클라이언트들의 사용자들을 대표하는 얼굴 모델들의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 전송한다.

채팅 세션에 접속이 이루어지면, 각 채팅 클라이언트는 채팅 서버를 통해 다른 채팅 클라이언트로 표정에 관한 패러미터를 반복적으로 전송함으로써, 각 채팅 클라이언트가 도 6에 도시된 바와 같이 각 사용자들을 표현하는 얼굴 모델의 표정을 애니메이션하도록 한다.

각 채팅 클라이언트에서 표정 변화를 위해 인터페이스하는 과정은 다음과 같은 세가지 방법들 중에서 한 가지 이상의 방법들을 중복하여 사용할 수 있다.

첫째 방법에서는, 각 채팅 클라이언트에 구비된 표정 데이터베이스의 내용에서 각 사용자가 원하는 표정에 관한 패러미터를 찾아 채팅 서버로 전송하면, 채팅 서버가 채팅 세션 내의 다른 모든 채팅 클라이언트들에 그 표정에 관한 패러미터를 전송한다. 그러면, 각 채팅 클라이언트는 그 표정에 관한 패러미터를 전송받고, 미리 전송받은 채팅 세션 내의 사용자들을 대표하는 얼굴 모델들의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 이용하여 각 사용자들을 표현하는 얼굴 모델의 표정을 애니메이션한다.

둘째 방법에서는, 각 채팅 클라이언트에 구비된 표정 데이터베이스의 각 항목에 대응하는 기본어휘를 채팅 문자열에 포함시켜 채팅 서버로 전송하면, 채팅 서버가 채팅 세션 내의 다른 모든 채팅 클라이언트들에 그 채팅 문자열을 전송한다. 그러면, 각 채팅 클라이언트는 전송받은 채팅 문자열에서 감정을 표현하는 기본어휘를 추출하고 추출된 기본어휘를 키(key)로 하여 표정 데이터베이스(21)에서 대응하는 표정에 관한 패러미터를 조회한다. 이후, 미리 전송받은 채팅 세션 내의 사용자들을 대표하는 얼굴 모델들의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터에 조회된 표정에 관한 패러미터를 이용하여 각 사용자들을 표현하는 얼굴 모델의 표정을 애니메이션한다.

셋째 방법에서는 표정들 간의 감정적 상관관계를 통한 강도(intensity) 변화를 이용하여 표정변화를 애니메이션하도록 한다.

이와 같은 3가지 방법들이 모두 포함되는 경우에는 첫번째 방법이 가장 높은 우선순위를 갖도록하는 것이 바람직하다.

한편, 도 7a 및 도 7b에 도시된 바와 같은 1:1 채팅의 경우, 3차원 얼굴 모델의 표정 애니메이션과 함께 텍스트/음성 변환기를 이용하여 음성도 같이 들을 수도 있으며, 립싱크부를 구비하여 채팅 세션 내에 있는 상대방 사용자 얼굴 모델의 입술형태를 발성에 대응하여 변환시킬 수 있다.

본 발명에 의하면, 텍스트만으로는 의미전달이 어려움 경우 3차원 얼굴 애니메이션을 통하여 좀 더 분명하게 의미전달을 할 수 있으며, 3차원 얼굴 애니메이션을 위해 최초 세션 형성 이후에는 표정에 관한 패러미터만을 전송함으로써 네트워크 및 시스템의 부하를 줄일 수 있다.