3차원 얼굴 형상 재구성 방법{Method for reconstructing three dimensional facial shape}

본 발명은, 3차원 얼굴 형상 재구성 방법에 관한 것으로서, 촬영된 동영상의 일부 프레임 속의 얼굴 영상으로부터 촬영된 인물의 3차원 얼굴 형상을 재구성하는 3차원 얼굴 형상 재구성 방법에 관한 것이다.

최근, 출입 통제기, ATM (Automated Teller Machine), CCTV(Closed Circuit TV) 감시장치 등 다양한 분야에서, 외부에 설치된 카메라를 통해 촬영된 영상을 이용하여 용의자 수사에 활용하려는 시도가 있다.

이러한 용의자 수사 등에 활용하기 위해, 촬영된 영상 또는 동영상의 일부 프레임으로부터 3차원 얼굴 형상을 자동으로 생성해내는 기술이 개발되고 있으나, 이러한 기술들은 대부분 해당 영상 또는 동영상 프레임의 해상도에 의해 3차원 얼굴 형상의 복원 결과가 크게 좌우된다. 따라서, 영상 또는 동영상 프레임의 해상도가 낮을 경우에는 3차원 얼굴 형상의 복원 결과가 매우 저해상도로 도출되어 얼굴 인증 또는 용의자 수사 등에 활용하기 어렵고, 촬영된 영상 또는 동영상 프레임 상에서 인물의 얼굴만이 클로즈업되어 고해상도로 촬영된 경우에 한해 얼굴 인증 또는 용의자 수사 등에 활용할 수 있는 수준의 3차원 얼굴 형상을 확보할 수 있어서 그 활용범위가 매우 제한적이다.

일반적으로 출입 통제기, ATM 및 CCTV 감시 장치 등에 설치된 카메라의 경우, 고화질의 영상을 획득하기 어렵고, 일반적인 상황에서 촬영되는 영상 또는 동영상 프레임에서 인물의 얼굴이 전체 영상에서 차지하는 비율이 크지 않으므로 얼굴 영역은 저해상도로 표현되는 경우가 많기 때문에, 촬영된 영상을 통해 용의자 수사 등에 활용하는 데에 어려움이 있었다.

이처럼 종래의 3차원 얼굴 형상 복원 기술은 특수한 촬상 조건, 즉, 인물의 얼굴이 클로즈업 되어 촬영된 영상에만 용의자 수사에 효과적으로 활용될 수 있으며, 일반적인 상황에서 촬영되는 영상은 활용하기 어렵다라는 한계를 갖는다.

본 발명이 이루고자 하는 기술적 과제는, 얼굴 정면 영상을 포함하는 동영상으로부터 해당 동영상 내의 얼굴 정면 영상보다 높은 해상도의 고해상도 얼굴 영상을 획득하여, 이를 기초로 3차원 얼굴 형상을 재구성할 수 있는 병렬 처리 장치 및 방법을 제공하는 데에 있다.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 3차원 얼굴 형상 재구성 방법은 얼굴 정면 영상을 포함하는 복수의 프레임들 중 3차원 복원에 이용할 대상 프레임을 지정받는 단계; 복수의 프레임들 각각의 얼굴 영역 및 얼굴 영역 내의 적어도 하나 이상의 특징 부분 영역을 인식하는 단계; 복수의 프레임들 중에서 지정받은 대상 프레임 외의 나머지 프레임들의 얼굴 영역 및 특징 부분 영역과 대상 프레임의 얼굴 영역과 특징 부분 영역이 서로 일치하도록 나머지 프레임들을 워핑(warping)하는 워핑 단계; 대상 프레임 및 워핑된 나머지 프레임들의 얼굴 영역들을 얼굴 정면 영상보다 높은 고해상도에 대응되는 크기로 확대하는 확대 단계; 확대된 대상 프레임 및 나머지 프레임들의 얼굴 영역들을 각각 복수의 단위 패치들로 분할하는 단계; 및 대상 프레임의 단위 패치와 나머지 프레임들의 단위 패치들 간의 유사도를 기초로 대상 프레임의 얼굴 영역을 구성하는 모든 화소들을 변환하여, 3차원 얼굴 형상 재구성을 위한 고해상도 얼굴 영상을 획득하는 고해상도 영상 획득 단계를 포함한다.

상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 3차원 얼굴 형상 재구성 기능을 포함하는 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체는, 얼굴 정면 영상을 포함하는 복수의 프레임들 중 3차원 복원에 이용할 대상 프레임을 지정받는 기능; 복수의 프레임들 각각의 얼굴 영역 및 얼굴 영역 내의 적어도 하나 이상의 특징 부분 영역을 인식하는 기능; 복수의 프레임들 중에서 지정받은 대상 프레임 외의 나머지 프레임들의 얼굴 영역 및 특징 부분 영역과 대상 프레임의 얼굴 영역과 특징 부분 영역이 서로 일치하도록 나머지 프레임들을 워핑(warping)하는 기능; 대상 프레임 및 워핑된 나머지 프레임들의 얼굴 영역들을 얼굴 정면 영상보다 높은 고해상도에 대응되는 크기로 확대하는 기능; 확대된 대상 프레임 및 나머지 프레임들의 얼굴 영역들을 각각 복수의 단위 패치들로 분할하는 기능; 및 대상 프레임의 단위 패치와 나머지 프레임들의 단위 패치들 간의 유사도를 기초로 대상 프레임의 얼굴 영역을 구성하는 모든 화소들을 변환하여, 3차원 얼굴 형상 재구성을 위한 고해상도 얼굴 영상을 획득하는 기능을 포함하는 프로그램을 수록한다.

본 발명에 따르면, 인물의 정면 얼굴 영상이 담긴 짧은 분량의 동영상으로부터 인물 얼굴의 삼차원 형상을 고해상도로 복원할 수 있게 된다.

더불어, 방범용 CCTV 감시 서비스에 있어서, CCTV 카메라에 촬영된 용의자의 얼굴을 3차원 형상으로 자동 생성하는 서비스를 제공할 수 있다.

나아가, 일반 사용자들의 동영상으로부터 특정 인물의 삼차원 얼굴을 기반으로 하는 고화질의 디지털 아바타를 자동으로 생성하어 여러가지 IT/스마트폰 관련 어플리케이션들(가상현실, 증강현실, 게임, 애니메이션 제작)등에 활용할 수 있을 것이다.

도 1는 본 발명의 바람직한 일 실시예에 따른 데이터베이스 관리 시스템의 이중화된 구성을 도시한 블록도이다.
도 2a 내지 2b는 본 발명의 바람직한 일 실시예에 따른 데이터베이스 관리 시스템에서 동기적 이중화를 위한 병렬 처리 과정을 예시한 흐름도들이다
도 3a 내지 3c는 본 발명의 바람직한 일 실시예에 따라 동기적 이중화된 데이터베이스 관리 시스템에서 교착 상태에 빠질 수 있는 상황을 예시하고, 이러한 상황에서 교착 상태를 해결하기 위한 처리 과정을 예시한 도면들이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. 또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다.

상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하거나 간략하게 설명하는 것으로 한다.

한편 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.

도 1a는 본 발명의 바람직한 일 실시예에 따른 3차원 얼굴 형상 재구성 방법을 도시한 흐름도이며, 도 1b 내지 1c들은 각각 도 1a에 도시된 3차원 얼굴 형상 재구성 방법에서 사용되는 종래의 알고리즘을 예시한다.

도 1a을 참조하면, 얼굴 정면 영상을 포함하는 복수의 프레임들을 입력받아(S101), 입력받은 복수의 프레임들 중에서 3차원 복원에 이용할 대상 프레임(target frame)을 사용자 등으로부터 지정받거나(S102), 종래의 얼굴 인식 알고리즘을 통해 자동으로 추출할 수 있다. 이때의 복수의 프레임들은 도 2a에 도시된 예와 같이, 얼굴 정면 영상을 포함하는 동영상의 일부분을 구성하는 연속하는 프레임들이 이에 해당될 수 있다.

그리고, S101 단계에서 입력받은 복수의 프레임들 각각의 얼굴 영역 및 얼굴 영역 내의 적어도 하나 이상의 특징 부분 영역을 인식한다(S103). 이때에 얼굴 영역 내의 특징 부분 영역은 얼굴 내의 눈, 코, 입, 귀, 눈썹, 수염 등과 같이 얼굴 형상을 결정하는 주요 기하학적 특징 부분을 가리키며, 이러한 얼굴 영역과 특징 부분 영역의 인식은 Stasm 방법 등 종래의 특징점 추출 연산 또는 기타 얼굴 인식 알고리즘을 통해 구현할 수 있다.

도 1b는 S103 단계의 얼굴 영역 및 특징 부분 영역을 인식한 예를 보여주기 위해, 동영상 중 얼굴 정면 영상을 포함하는 연속하는 일부 프레임들에 대하여 Stasm 방법을 통해 얼굴 영역 및 특징 부분 영역을 추출한 결과를 예시한다.

본 실시예에서는 복수의 프레임들 각각의 얼굴 영역 및 얼굴 영역 내의 특징 부분 영역을 인식한 예로 Stasm 방법 및 도 1b를 예시하고 있으나, 이는 설명의 편의를 위한 하나의 실시예에 불과하며, 본 발명은 이에 한정되지 않는다고 할 것이다.

S103 단계에서 추출된 각 프레임별 얼굴 영역 및 특징 부분 영역을 기초로 복수의 프레임들 중 대상 프레임을 제외한 나머지 프레임들을 대상 프레임에 맞게 워핑(warping)한다(S104). 여기에서 워핑(warping)이란, 영상 전체에 대해 비균일하도록 영상 내의 특정 부분 영역의 상대적인 위치가 변하도록 뒤틀거나 해당 특정 부분 영역의 크기를 조절하는 기하학적 영상 처리를 의미하며, 본 실시예에서는, 나머지 프레임들 각각의 얼굴 영역 및 특징 부분 영역의 상대적인 위치가 대상 프레임의 얼굴 영역 및 특징 부분 영역의 상대적인 위치와 일치하도록 나머지 프레임들 각각을 변형하는 것을 의미한다.

S102 단계에서 지정된 대상 프레임 및 S104 단계에서 워핑된 나머지 프레임들의 얼굴 영역을 사용자가 원하는 해상도 즉, S101 단계에서 입력된 얼굴 정면 영상보다 높은 고해상도에 대응되는 크기로 확대한다(S105). 이때 얼굴 영역의 확대 방법으로는, 단순 보간법을 사용하는 것이 일반적이나, 본 발명은 이에 국한되지 않는다고 할 것이다.

S105 단계에서 확대된 대상 프레임 및 나머지 프레임들의 얼굴 영역을 각각 복수의 단위 패치들로 분할한다(S106).

S106 단계에서 분할된 단위 패치 단위로, 대상 프레임과 나머지 프레임들 간의 유사도를 계산한다(S107). 즉, 대상 프레임의 단위 패치 각각에 대하여, 대상 프레임의 단위 패치와 이러한 대상 프레임의 단위 패치에 대응하는 나머지 프레임들의 단위 패치들 간의 유사도를 계산한다.

S107 단계에서 계산된 유사도를 기초로 대상 프레임의 얼굴 영역을 구성하는 모든 화소들을 변환하여, 고해상도의 얼굴 영상을 획득한다(S108). 이 과정을 통해 S105 단계에서 단순보간법에 의해 흐릿하게 확대된 대상 프레임의 얼굴 영역을 사용자가 원하는 해상도에 맞도록 선명하게 변환할 수 있다.

이때에, 유사도를 이용하여 대상 프레임의 얼굴 영역의 화소들을 변환하는 방법으로는 유사도를 가중치로 적용하여 대상 프레임의 얼굴 영역의 화소값들을 조정할 수 있다. 구체적인 조정방법은, 시뮬레이션 결과에 따라, 유사도를 가중치로 적용했을 때, 보다 정확하게 조정된 화소값이 도출될 수 있는 연산들이 적용될 수 있으며, 본 발명은 이러한 조정 방법 자체를 한정하는 것은 아니며, 다양한 이미지 처리 연산이 조정 방법으로 적용될 수 있을 것이다.

본 실시예에서는 S107 단계에서 단위 패치 단위로 유사도를 계산하고 있으므로, S108 단계에서 대상 프레임의 얼굴 영역의 화소값을 조정함에 있어서, 단위 패치 단위로 동일한 가중치가 적용될 수 있으며, 이러한 각 화소별 화소값 조정 과정을 대상 프레임의 얼굴 영역을 구성하는 모든 화소들에 대하여 반복수행하여, 고해상도의 얼굴 영상을 획득할 수 있다.

마지막으로, S108 단계에서 획득된 고해상도 얼굴 영상을 기초로 3차원 얼굴 형상을 재구성한다(S109).

도 1c는 S109 단계의 3차원 얼굴 형상 재구성 과정을 예시한 도면이다.

도 1c를 참조하면, S108 단계에서 획득된 고해상도 얼굴 영상을 2차원 입력 영상으로 하여(S110), 2차원 입력 영상 내에서 특징점을 지정받아(S111), 3차원 얼굴 형상의 기본 모델들이 내장된 Face deformer(112)를 통해 2차원 입력 영상과 3차원 기본 모델의 특징점 정합 및 선형 조합으로 3차원 얼굴 형상(113)을 생성할 수 있다.

본 실시예에서는 고해상도 얼굴 영상을 기초로 3차원 얼굴 형상을 재구성하는 예로 도 1c에 도시된 알고리즘을 예시하고 있으나, 이는 설명의 편의를 위한 하나의 실시예에 불과하며, 본 발명은 이에 한정되지 않는다고 할 것이다.

도 2a 내지 2c는 본 발명의 바람직한 일 실시예에 따라 3차원 얼굴 형상을 재구성하는 과정을 설명하기 위한 도면들이다.

도 2a는 동영상 중 얼굴의 정면 영상을 포함하는 일부분(약 5초 분량)의 연속하는 약 30개의 프레임들 중 일부(12개)를 예시한 것으로, 이들은 모두 3차원 복원에 적합하지 않은 낮은 해상도(예컨대, 117*80)를 가지며, 사용자는 이들 프레임 중에서 하나를 선택하여 3차원 복원에 이용할 대상 프레임(target frame)으로 지정할 수 있으며, 임의로 또는 소정의 알고리즘에 따라 대상 프레임이 선택되도록 구현될 수도 있을 것이며, 본 발명은 이를 한정하지 않는다.

도 2b는 도 2a에 도시된 복수의 프레임들을 기초로 고해상도의 얼굴 영상을 획득하는 과정의 흐름을 예시한 도면으로, 이하의 실시예에서, 설명의 편의를 위해, 복수의 프레임들 중 대상 프레임(target frame) 외의 나머지 프레임들은 "데이터베이스 프레임(database frame)"으로 칭한다.

먼저, 대상 프레임(target frame)과 데이터베이스 프레임(database frame)내의 얼굴 영역 및 특징 부분 영역을 소정의 알고리즘을 통해 인식하고(S201), 데이터베이스 프레임 내의 얼굴 영역 및 특징 부분 영역을 대상 프레임의 얼굴 영역 및 특징 부분 영역과 일치하도록 워핑(warping) 처리한다(S202).

그리고, 대상 프레임(target frame)과 데이터베이스 프레임(database frame)의 얼굴 영역들을 사용자가 원하는 해상도에 대응하는 크기로 단순 보간법을 이용하여 확대한다(S203).

S203 단계에서 확대된 대상 프레임(target frame)과 데이터베이스 프레임(database frame)의 얼굴 영역들을 일정 패치 단위로 분할한다(S204).

대상 프레임(target frame)과 데이터베이스 프레임(database frame)의 동일 위치의 패치들 간의 유사도(Sn)을 계산한다(S205).

본 실시예에 따른 3차원 얼굴 형상 재구성 방법의 기본 가정은 대상 프레임(target frame)의 고해상도 화소 정보가 데이터베이스 프레임(database frame)들에 내재되어 있다는 것이다. 이때, 어떤 데이터베이스 프레임이 혹은 데이터베이스 프레임의 어떤 화소가 대상 프레임의 화소를 고해상도로 복원하는데에 얼마만큼의 기여도를 갖는지 평가하기가 어렵다는 점이 문제된다. 본 실시예에서는 이하에서 기술된 바와 같이, 대상 프레임(target frame)과 데이터베이스 프레임(database frame)간의 패치 유사도를 구하고 유사도가 높을수록 대상 프레임(target frame)에서 필요한 고해상도 화소정보를 많이 포함하고 있다고 간주하여, 이러한 유사도를 고해상도 복원을 위한 처리 연산의 가중치(weighting factor)로 활용한다.

여기에서 Sn은 대상 프레임의 패치(P1)과 이에 대응되는 n번째 데이터 프레임의 패치(Pn)간의 유사도를 나타내며, Sn은 수학식 1에 의해 계산될 수 있다.

S205 단계에서 계산된 유사도(Sn)로부터 수학식 2에 따라 가중치(weighting factor, W _n )을 계산하고, 계산된 가중치를 이용하여 이하의 수학식 3에 따라 대상 프레임의 패치에 속한 픽셀(pixel)를 고해상도로 복원한 픽셀밝기값(I _s )로 조정하고, 이러한 픽셀밝기값 조정 과정을 대상 프레임의 얼굴 영역에 포함되는 모든 픽셀에 대하여 반복하여 수행함으로써, 대상 프레임의 2차원 고해상도 (Super resolution) 영상을 획득한다(S206).

이처럼 유사도에 따라 가중치를 결정하는 경우에, 결과적으로 유사도가 높은 데이터베이스 프레임(database frame)의 패치의 픽셀들은 대상 프레임(target frame)의 패치의 고해상도 화소값(픽셀밝기값, I _s )에 대해 높은 기여율을 갖게 된다, 이러한 패치 연산을 대상 프레임(target frame)의 얼굴 영상을 구성하는 전체 화소에 대해 수행하게 되면, 고해상도의 얼굴 영상을 복원할 수 있게 된다.

도 2c는 도 2a에 도시된 복수의 프레임들을 기초로 대상 프레임과 데이터베이스 프레임 간의 유사도를 계산하고, 이를 기초로 고해상도의 얼굴 영상을 획득하는 구체적인 과정을 예시한 도면으로, 본 실시예에서, P0는 대상 프레임의 패치이며, P1~Pn은 대상 프레임을 제외한 나머지 프레임들 중 1~n번째 나머지 프레임인 데이터베이스 프레임의 패치를 가리킨다.

도 2d는 도 2b 내지 2c에 도시된 연산과정을 통해 획득된 고해상도(super resolution, 예컨대, 329*218)의 2차원 얼굴 영상을 예시하고, 도 2e는 이러한 고해상도의 2차원 얼굴 영상을 기초로 복원한 3차원 얼굴 형상을 복수의 각도에서 조명한 결과를 예시한다.

이처럼, 본 실시예에 따른 3차원 얼굴 형상 재구성 방법에 따르면, 얼굴 정면 영상을 포함하는 복수의 연속하는 프레임들 중 대상 프레임과 대상 프레임을 제외한 나머지 프레임들 간의 단위 패치별 유사도를 가중치로 적용하여 고해상도 얼굴 영상을 획득하고, 이를 기초로 3차원 얼굴 형상을 재구성함으로써, 얼굴 정면 영상이 담긴 짧은 분량의 동영상으로부터도 3차원 얼굴 형상을 고해상도로 복원할 수 있게 된다. 이는 특히, 감시용 CCTV 동영상에 적용할 경우에 범죄 용의자의 얼굴을 3차원적으로 선명하게 재구성할 수 있어 용의자 검거에 유용하게 활용할 수 있다.

본 발명에 따른 3차원 얼굴 형상 재구성 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.