가상화 환경에서 NUI 및 NUX를 시뮬레이션하는 방법 및 장치{Apparatus and method for simulating NUI and NUX in virtualized environment}

본 발명은 가상화 환경에서 NUI 및 NUX를 시뮬레이션하는 방법에 관한 것으로, 특히 가상화 환경 내에서 가상화 캐릭터의 동작을 감지함으로써, NUI 및 NUX를 시뮬레이션할 수 있는 방법에 관한 것이다.

미래적인 인터페이스 방식인 NUI(Natural User Interface)는 키보드나 마우스 같은 부가적인 장치없이 사람의 신체기관으로 직접 시스템과 상호작용할 수 있다. NUI라는 용어는 Steve Mann이 1970년대에 최초로 제시한 것으로, 그는 CLI(Command Line Interface)와 GUI(Graphical User Interface)의 대안적인 인터페이스 방식으로 현실세계를 그대로 반영하는 인터페이스를 묘사하기 위해 NUI의 용어를 고안하고, 같은 개념으로 DUI(Direct User Interface), MFC(Metaphor-Free Computing)이라는 용어도 함께 소개하였다. 또한, 이때 이미 NUI에 대한 프로토타입들이 개발되었으며, 1979년에 MIT Lab에서 진행된 Put that there프로젝트에서는 손가락으로 화면에 포인팅을 하고 음성으로 명령을 내려 시스템과 상호작용하는 프로토타입을 개발하였다. 이후, 2002년 영화 '마이너리티 리포트'에서 주인공이 손 동작으로 3D화면에 여러 데이터들을 조작하는 장면을 통해 NUI가 주목받기 시작했고, 2007년 애플의 아이폰이 큰 성공을 거두면서, 멀티터치 기술이 대중화되었다. 최근에는, 키넥트가 세상에 공개되면서 그동안 영화에서만 볼 수 있었던 제스쳐 인터페이스 방식이 상용화되었고, NUI라는 용어도 함께 확산 되기 시작하였다. 이제는 스마트폰에도 제스처 기능이 도입되는 등 NUI는 연구는 빠르게 진행되고 있다.

이와 같이, NUI는 이름에 Natural이란 단어가 있듯이, 사람에게 내재된 자연스러운 행동을 기반으로 동작하기 때문에 학습비용이 매우 낮다. 따라서, 과거에 전문가들만 사용했던 CLI나 어느 정도 학습을 해야 능숙하게 사용할 수 있는 GUI와 비교했을 때 매우 손쉽게 사용할 수 있는 장점이 있다.

또한, GUI로 대변되는 WIMP(Window-Icon-Menu-Pointer) 방식은 조작을 위한 위젯이 필요하고, 위젯들을 표시하기 위해서는 크기가 제한된 화면 상에 공간을 할당해야 하며, 실제 조작을 하기 위해 포인팅-클릭 작업을 반복적으로 해야하는 불필요한 노력이 필요하다. 반면, NUI는 마우스나 키보드와 같은 간접적인 입력장치를 이용하지 않고, 센서나 카메라를 이용해 신체를 바로 입력장치로 사용하여 콘텐츠를 직접적으로 조작하기 때문에 사용자 입장에서는 출력되는 정보 외에는 인터페이스가 보이지 않는다. 따라서, 사용자는 기술을 직접 지배하고 조작한다는 느낌을 받게되어 UX(User eXperience)가 향상될 수 있다.

한편, 이하에서 인용되는 선행기술 문헌에는 멀티미디어 콘텐츠 제어를 위한 사용자 경험 기반 동작 인식 기술을 제안하고 있다. 하지만, 선행기술 문헌이 제시하고 있는 NUI를 실제 환경에서 구현할 경우 시간과 공간의 제약이 발생하고, NUI 구축에 많은 비용이 발생하고, 실제 환경에서 설치된 NUI는 인식오류나 설정변경으로 인해 거리 및 방향을 조정하기 위해서는 추가적인 비용이 발생하는 치명적인 단점이 존재한다.

이와 같은 관점에서, 실제환경에서 고비용의 동작감지센서를 설치하지 않고, 가상화 환경에서 시뮬레이터를 통해 다양한 종류의 NUI 및 NUX를 구현할 수 있는 기술적 수단이 필요하다는 사실을 알 수 있다.

따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 가상화 환경에서 시뮬레이터를 통해 동작감지객체를 이용하여 가상 캐릭터의 동작을 인식하여 NUI 명령을 수행하고, NUI 명령을 수행하기 위한 NUX 설정을 시뮬레이션할 수 있는 방법에 관한 것이다.

본 발명이 해결하고자 하는 두 번째 과제는 가상화 환경에서 동작감지객체를 이용하여 가상 캐릭터의 동작을 인식하여 NUI 명령을 수행하고, NUI 명령을 수행하기 위한 NUX 설정을 시뮬레이션할 수 있는 장치에 관한 것이다.

또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.

본 발명은 상기 첫 번째 과제를 달성하기 위하여, 가상화 환경에서 사용자가 시스템과 직접 상호작용할 수 있는 NUI(Natural User Interface)를 구현하는 방법에 있어서, 시뮬레이터(simulator)가 상기 가상화 환경 내에 위치하는 가상화 캐릭터에 대한 명령을 입력받는 단계; 상기 시뮬레이터가 상기 가상화 환경 내에 위치하는 동작감지객체를 이용하여 상기 명령에 따른 상기 가상화 캐릭터의 패턴을 인식하는 단계; 및 상기 시뮬레이터가 상기 가상화 캐릭터의 패턴과 상기 NUI 명령의 맵핑정보를 이용하여 상기 인식된 패턴에 대한 상기 NUI 명령을 출력하는 단계를 포함하되, 상기 동작감지객체가 상기 가상화 환경 내에서 물리적인 상관관계에 기초하여 상기 가상화 캐릭터의 몸동작 및 음성을 인식함으로써, 상기 출력된 NUI 명령을 수행하기 위한 NUX(Natural User eXperience) 설정을 시뮬레이션(simulation) 하는 것을 특징으로 하는 방법을 제공한다.

본 발명의 일 실시예에 의하면, 상기 동작감지객체는 3D 센서, 2D 카메라, 및 마이크로 구성되며, 상기 가상화 캐릭터의 패턴을 인식하는 단계는, 상기 명령에 따른 가상화 캐릭터의 몸동작 및 음성을 상기 동작감지객체를 이용하여 인식함으로써, 객체 데이터인 깊이 데이터, 색상 데이터, 및 음향 데이터를 각각 획득하는 단계; 및 상기 획득한 객체 데이터의 조합으로부터 상기 가상화 캐릭터의 세부 동작을 구분할 수 있는 요소기술 모듈을 이용하여 상기 가상화 캐릭터의 패턴을 인식하는 단계를 포함하되, 상기 요소기술 모듈은, 상기 깊이 데이터 및 색상 데이터를 통해 상기 가상화 캐릭터의 몸동작 패턴 및 상기 가상화 캐릭터의 얼굴 패턴을 인식하고, 상기 깊이 데이터를 통해 상기 가상화 캐릭터의 손동작 패턴을 인식하며, 상기 음향 데이터를 통해 상기 가상화 캐릭터의 음성을 인식하는 것을 특징으로 하는 방법일 수 있다.

또한, 상기 인식된 패턴은, 상기 각각의 요소기술 모듈의 인식 결과로서 인식 결과 표시 창에 각각 출력하며, 상기 각각의 요소기술 모듈 중 상기 패턴 인식에 오류가 발생할 경우, 상기 오류가 발생한 요소기술 모듈의 상기 인식 결과 창에 오류 메시지를 발생시킴으로써, 상기 동작감지객체의 세부 설정을 재조정하도록 유도하는 것을 특징으로 하는 방법일 수 있다.

본 발명의 다른 실시예에 의하면, 상기 가상화 캐릭터에 대한 명령을 입력하는 단계는, 상기 가상화 환경 내에 위치하는 가상화 캐릭터에 대하여 캐릭터 조정 모듈을 통해 몸동작, 얼굴 표정, 및 음성을 입력하는 단계를 포함하는 방법일 수 있다.

본 발명의 또 다른 실시예에 의하면, 상기 가상화 캐릭터 및 상기 동작감지객체는 상기 가상화 환경 내에서 위치 조정이 가능하도록 배치되는 것을 특징으로 하는 방법일 수 있다.

본 발명의 또 다른 실시예에 의하면, 상기 맵핑정보는, 상기 가상화 캐릭터에 대한 하나의 패턴과 하나의 NUI 명령이 대응되도록 맵핑 또는 상기 가상화 캐릭터에 대한 복수 개의 패턴조합과 하나의 NUI 명령이 대응되도록 맵핑하는 것을 특징으로 하는 방법일 수 있다.

본 발명의 상기 두 번째 과제를 달성하기 위하여, 가상화 환경에서 사용자가 시스템과 직접 상호작용할 수 있는 NUI를 구현하는 장치에 있어서, 상기 가상화 환경 내에 위치하는 가상화 캐릭터에 대한 명령을 입력받는 입력부; 상기 가상화 환경 내에 위치하는 동작감지객체를 이용하여 상기 명령에 따른 상기 가상화 캐릭터의 패턴을 인식하고, 상기 가상화 캐릭터의 패턴과 상기 NUI 명령의 맵핑정보를 이용하여 상기 인식된 패턴을 검색하는 처리부; 및 상기 검색된 패턴에 대한 상기 NUI 명령을 출력하는 출력부를 포함하되, 상기 동작감지객체가 상기 가상화 환경 내에서 물리적인 상관관계에 기초하여 상기 가상화 캐릭터의 몸동작 및 음성을 인식함으로써, 상기 출력된 NUI 명령을 수행하기 위한 NUX 설정을 시뮬레이션하는 것을 특징으로 하는 장치를 제공한다.

본 발명의 일 실시예에 의하면, 상기 처리부는, 상기 명령에 따른 가상화 캐릭터의 몸동작 및 음성을 상기 동작감지객체를 이용하여 인식함으로써, 객체 데이터인 깊이 데이터, 색상 데이터, 및 음향 데이터를 각각 획득하고, 상기 획득한 객체 데이터의 조합으로부터 상기 가상화 캐릭터의 세부 동작을 구분할 수 있는 요소기술 모듈을 이용하여 상기 가상화 캐릭터의 패턴을 인식하되, 상기 요소기술 모듈은, 상기 깊이 데이터 및 색상 데이터를 통해 상기 가상화 캐릭터의 몸동작 패턴 및 상기 가상화 캐릭터의 얼굴 패턴을 인식하고, 상기 깊이 데이터를 통해 상기 가상화 캐릭터의 손동작 패턴을 인식하며, 상기 음향 데이터를 통해 상기 가상화 캐릭터의 음성을 인식하는 것을 특징으로 하는 장치일 수 있다.

또한, 상기 인식된 패턴은, 상기 각각의 요소기술 모듈의 인식 결과로서 인식 결과 표시 창에 각각 출력하며, 상기 각각의 요소기술 모듈 중 상기 패턴 인식에 오류가 발생할 경우, 상기 오류가 발생한 요소기술 모듈의 상기 인식 결과 창에 오류 메시지를 발생시킴으로써, 상기 동작감지객체의 세부 설정을 재조정하도록 유도하는 것을 특징으로 하는 장치일 수 있다.

본 발명의 다른 실시예에 의하면, 상기 입력부는, 상기 가상화 환경 내에 위치하는 가상화 캐릭터에 대하여 캐릭터 조정 모듈을 통해 몸동작, 얼굴 표정, 및 음성을 입력하는 것을 특징으로 하는 장치일 수 있다.

본 발명의 또 다른 실시예에 의하면, 상기 맵핑정보는, 상기 가상화 캐릭터에 대한 하나의 패턴과 하나의 NUI 명령이 대응되도록 맵핑 또는 상기 가상화 캐릭터에 대한 복수 개의 패턴조합과 하나의 NUI 명령이 대응되도록 맵핑하는 것을 특징으로 하는 장치일 수 있다.

본 발명에 따르면, 가상화 환경에서 가상화 캐릭터를 조정하고, 배치된 동작감지객체를 이용하여 패턴을 인식하여 NUI 명령을 출력함으로써, 출력된 NUI 명령을 수행하기 위한 NUX 설정을 시뮬레이션할 수 있는 효과가 있다.

또한, 본 발명에 따르면, 동작감지객체를 통해 객체 데이터를 획득하여 객체 데이터의 조합으로부터 가상화 캐릭터의 패턴을 인식할 수 있는 효과가 있다.

나아가, 가상화 캐릭터에 대한 패턴 인식 결과를 인식 결과 표시 창에 출력하며, 인식 오류 발생시 오류 메시지를 발생시킴으로써, 동작감지객체의 세부 설정을 재조정하도록 유도할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 가상화 환경에서 NUI를 구현하는 방법을 도시한 흐름도이다.
도 2는 본 발명의 다른 실시예에 따른 가상화 캐릭터의 동작에 따라 동작을 감지할 수 있는 동작감지객체를 표로 도시한 도면이다.
도 3은 본 발명의 다른 실시예에 따른 요소기술 모듈에 따라 사용할 수 있는 객체 데이터를 표로 도시한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 인식 결과 표시 창을 도시한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 패턴 인식 오류 발생시 오류 메시지를 출력하는 방법을 도시한 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 동작 인식 패턴과 NUI 명령을 맵핑한 테이블을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 가상화 환경에서 NUI를 구현하는 장치를 도시한 블럭도이다.
도 8은 본 발명의 다른 실시예에 따른 가상화 환경에서 NUI를 구현하고 NUI 명령을 수행할 수 있는 NUX를 제공하는 과정을 도시한 도면이다.
도 9는 본 발명의 다른 실시예에 따른 시뮬레이터의 화면 구성과 시뮬레이터를 통해 개발할 수 있는 응용 서비스를 도시한 도면이다.
도 10은 본 발명의 다른 실시예에 따른 NUI 명령 해석 결과 표시 창을 도시한 도면이다.

본 발명의 실시예들을 설명하기에 앞서, 기존의 NUI 구현 방법에서 발생하는 문제점들을 검토한 후, 이들 문제점을 해결하기 위해 본 발명의 실시예들이 채택하고 있는 기술적 수단을 개괄적으로 소개하도록 한다.

종래의 일반적인 UI(User Interface)는 사용자가 키보드나 마우스와 같은 별도의 입력장치를 사용하여 컴퓨터에 신호를 전달하는 개념인 것에 반해, NUI(Natural User Interface)는 사용자가 별도의 입력장치를 조작할 필요 없이 특정 공간에 배치된 센서가 사용자의 몸동작과 손동작, 얼굴, 및 음성 등을 인식함으로써, 컴퓨터와 상호작용할 수 있는 개념이며, NUI는 이름에 Natural이란 단어가 있듯이, 사람에게 내재된 자연스러운 행동을 기반으로 동작하기 때문에 학습비용이 매우 낮다. 따라서, 과거에 전문가들만 사용했던 CLI나 어느 정도 학습을 해야 능숙하게 사용할 수 있는 GUI와 비교했을 때 매우 손쉽게 사용할 수 있는 장점이 있다. 하지만, NUI는 사람의 동작을 감지할 수 있는 동작감지센서 구축에 많이 비용이 소모되고, 동작감지센서가 사람의 동작을 감지할 수 있는 최적의 위치 및 방향을 설정하기 위해서는 수차례의 시행착오로 인해 불필요한 시간소모가 발생하는 치명적인 단점이 존재한다.

따라서, 시뮬레이터를 통해 가상화 환경에서 다양한 종류의 NUI 및 NUX를 구현함으로써, 고비용의 동작감지센서를 실제 환경에 설치하지 않고서도 시뮬레이터를 통해 동작감지센서가 사람의 동작을 가장 잘 감지할 수 있는 할 수 있는 최적의 위치 및 방향을 미리 시뮬레이션할 수 있는 기술적 수단을 제안하고자 한다.

이하에서는 도면을 참조하여 본 발명의 실시예들을 구체적으로 설명하도록 한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.

도 1은 본 발명의 일 실시예에 따른 가상화 환경에서 NUI를 구현하는 방법을 도시한 흐름도로서, 가상화 환경에서 사용자가 시스템과 직접 상호작용할 수 있는 NUI(Natural User Interface)를 구현하는 방법에 있어서, 시뮬레이터(simulator)가 상기 가상화 환경 내에 위치하는 가상화 캐릭터에 대한 명령을 입력받고, 상기 시뮬레이터가 상기 가상화 환경 내에 위치하는 동작감지객체를 이용하여 상기 명령에 따른 상기 가상화 캐릭터의 패턴을 인식하며, 상기 시뮬레이터가 상기 가상화 캐릭터의 패턴과 상기 NUI 명령의 맵핑정보를 이용하여 상기 인식된 패턴에 대한 상기 NUI 명령을 출력하는 단계를 포함하되, 상기 동작감지객체가 상기 가상화 환경 내에서 물리적인 상관관계에 기초하여 상기 가상화 캐릭터의 몸동작 및 음성을 인식함으로써, 상기 출력된 NUI 명령 을 수행하기 위한 NUX(Natural User eXperience) 설정을 시뮬레이션(simulation) 한다.

보다 구체적으로, S110 단계에서, 시뮬레이터가 상기 가상화 환경 내에 위치하는 가상화 캐릭터에 대한 명령을 입력받는다. 다시 말해, 상기 가상화 환경 내에 위치하는 가상화 캐릭터에 대하여 캐릭터 조정 모듈을 통해 몸동작, 얼굴 표정, 및 음성을 입력할 수 있다. 여기서, 상기 몸동작 및 얼굴 표정은 시뮬레이터에 미리 저장된 몸동작 및 얼굴 표정을 불러와 입력하거나 상기 캐릭터 조정 모듈을 통해 실시간으로 직접 조정할 수 있다. 또한, 상기 음성은 시뮬레이터에 미리 저장된 음성을 불러와 입력할 수 있고, 실시간으로 마이크를 통해 녹음하여 입력할 수 있다.

S120 단계에서, 상기 시뮬레이터가 상기 가상화 환경 내에 위치하는 동작감지객체를 이용하여 상기 명령에 따른 상기 가상화 캐릭터의 패턴을 인식한다.

보다 구체적으로, 상기 동작감지객체는 3D 센서, 2D 카메라, 마이크로 구성되며, 상기 가상화 캐릭터의 패턴을 인식하는 것은, 상기 명령에 따른 가상화 캐릭터의 몸동작 및 음성을 상기 동작감지객체를 이용하여 인식함으로써, 객체 데이터인 깊이 데이터, 색상 데이터, 및 음향 데이터를 각각 획득하며, 상기 획득한 객체 데이터의 조합으로부터 상기 가상화 캐릭터의 세부 동작을 구분할 수 있는 요소기술 모듈을 이용하여 상기 가상화 캐릭터의 패턴을 인식하는 단계를 포함하되, 상기 요소기술 모듈은, 상기 깊이 데이터 및 색상 데이터를 통해 상기 가상화 캐릭터의 몸동작 패턴 및 상기 가상화 캐릭터의 얼굴 패턴을 인식하고, 상기 깊이 데이터를 통해 상기 가상화 캐릭터의 손동작 패턴을 인식하며, 상기 음향 데이터를 통해 상기 가상화 캐릭터의 음 성을 인식할 수 있다. 여기서, 상기 동작감지객체는 이하에서 도 2를 통해 상세하게 설명하도록 한다.

도 2는 본 발명의 다른 실시예에 따른 가상화 캐릭터의 동작에 따라 동작을 감지할 수 있는 동작감지객체를 표로 도시한 도면이다.

보다 구체적으로, 상기 동작감지객체(22)는 시뮬레이터에서 상기 가상화 캐릭터의 동작 및 음성을 감지하기 위한 3D 센서, 2D 카메라, 및 원거리 마이크를 객체화한 것으로 몸동작, 손동작, 얼굴, 및 음성 등 상기 가상화 캐릭터의 세부동작을 감지할 수 있다. 여기서, 상기 가상화 캐릭터 동작(21) 중 몸동작은 동작감지객체(22) 중 3D 센서 및 2D 카메라를 이용하여 감지하고, 상기 가상화 캐릭터 동작(21) 중 손동작은 동작감지객체(22) 중 3D 센서를 이용하여 감지하고, 상기 가상화 캐릭터 동작(21) 중 얼굴은 동작감지객체(22) 중 3D 센서 및 2D 카메라를 이용하여 감지하며, 상기 가상화 캐릭터 동작(21) 중 음성은 동작감지객체(22) 중 원거리 마이크를 이용하여 감지할 수 있다. 여기서, 3D 센서를 통해 깊이 데이터를 입력받고, 2D 카메라를 통해 색상 데이터를 입력받으며, 상기 원거리 마이크를 통해 음향 데이터를 입력받을 수 있다.

이제, 상기 획득한 객체 데이터의 조합으로부터 상기 가상화 캐릭터의 세부 동작을 구분할 수 있는 요소기술 모듈을 이용하여 상기 가상화 캐릭터의 패턴을 인식할 수 있다. 여기서, 상기 요소기술 모듈은 이하에서 도 3을 통해 상세하게 설명하도록 한다.

도 3은 본 발명의 다른 실시예에 따른 요소기술 모듈에 따라 사용할 수 있는 객체 데이터를 표로 도시한 도면이다.

보다 구체적으로, 도 2에서 입력받은 객체 데이터(32)인 깊이 데이터 및 색상 데이터는 요소기술 모듈(31)인 몸동작 인식 모듈을 통해 상기 가상화 캐릭터의 몸동작 패턴 및 얼굴 패턴을 인식하고, 객체 데이터(32)인 깊이 데이터는 요소기술 모듈(31)인 손동작 인식 모듈을 통해 상기 가상화 캐릭터의 손동작 패턴을 인식하며, 객체 데이터(32)인 음향 데이터는 요소기술 모듈(31)인 음성 인식 모듈을 통해 상기 가상화 캐릭터의 음성 패턴을 인식할 수 있다.

상기 몸동작 인식 모듈 및 상기 손동작 인식 모듈은 사람의 제스처를 인식하는 모듈일 수 있다. 여기서, 상기 몸동작 및 상기 손동작 인식을 위해서는 우선 사람의 몸을 상기 2D 카메라 혹은 깊이 인식 카메라인 상기 3D 카메라 등을 통해 매 순간 촬영하여 얻은 색상 영상(color images)인 상기 색상 데이터 혹은 깊이 영상(depth images)인 상기 깊이 데이터를 얻을 수 있다. 상기 깊이 데이터 및 상기 색상 데이터에서 영상 처리(image processing)를 통해 사람의 형상을 추출한 후 이를 부피 모델(volumetric model) 혹은 뼈대 모델(skeletal model)로 표현할 수 있다. 이후, 모델링 된 데이터는 기존에 축적된 제스처 데이터베이스와 비교하기 위한 패턴 매칭(pattern matching)을 통해 사람이 어떤 제스처를 수행했는지 파악할 수 있다.

또한, 상기 얼굴 인식 모듈은 사람의 얼굴에서 특징을 추출하여 신원을 파악하는 모듈일 수 있다. 여기서, 상기 얼굴 인식을 위해서는 먼저 사람의 얼굴을 상기 2D 카메라로 촬영한 영상으로부터 눈, 코, 광대뼈, 턱 등의 상대적 위치, 크기, 모양 등을 분석한 데이터를 얻을 수 있으며, 상기 분석한 데이터를 기존의 얼굴 정보 데이터베이스와 비교하기 위한 패턴 매칭을 통해 신원을 인식할 수 있다. 또는, 깊이 인식 카메라인 상기 3D 카메라를 통해 눈구멍(eye sockets), 코, 턱 등의 표면으로부터 윤곽 정보를 분석함으로써 신원을 인식할 수 있다.

또한, 상기 음성 인식 모듈은 사람의 음성 신호로부터 단어를 추출하는 모듈일 수 있다. 음성 인식을 위해서는 먼저 상기 마이크를 통해 입력된 아날로그 음성 신호를 표본화(sampling) 및 양자화(quantizing) 등을 통해 디지털 신호로 변환하며, 상기 변환된 디지털 신호는 템플릿 매칭(template matching) 기법을 통해 음소(phonemes)와 비교함으로써, 어떤 음소를 발음하였는지 파악할 수 있다. 이후, 상기 파악한 음소는 조합하여 어떤 단어인지를 파악할 수 있다.

이후, 상기 각각의 요소기술 모듈(31)의 인식결과로서 인식 결과 표시 창에 각각 출력할 수 있다. 여기서, 상기 요소기술 모듈은 이하에서 도 4를 통해 상세하게 설명하도록 한다.

도 4는 본 발명의 다른 실시예에 따른 인식 결과 표시 창을 도시한 도면으로서, 상기 각각의 요소기술 모듈의 인식 결과로서 인식 결과 표시 창에 각각 출력할 수 있다.

보다 구체적으로, 상기 각각의 인식 결과 표시 창은 상기 각각의 요소기술 모듈에서 상기 가상화 캐릭터의 몸동작, 손동작, 얼굴, 및 음성 등의 패턴을 인식한 결과를 출력할 수 있다. 상기 인식 결과 표시 창은 상기 요소기술 모듈이 추가적으로 선택될 때마다 상기 인식 결과 표시 창은 상기 추가된 요소기술 모듈에 맵핑되어 추가될 수 있다.

도 4는 몸동작, 손동작, 얼굴, 및 음성 인식 등의 요소기술 모듈에 따라 해당하는 인식 결과 표시 창이다. 여기서, 몸동작 인식 결과 표시 창(41)은 상기 가상화 캐릭터의 각 관절의 움직임을 3D 뼈대 모델을 통해 보여주며, 현재 가상화 캐릭터가 수행하고 있는 몸동작을 텍스트로 출력할 수 있다. 또한, 손동작 인식 결과 표시 창(42)은 가상화 캐릭터의 손 관절의 움직임을 3D 뼈대 모델을 통해 출력하며, 현재 가상화 캐릭터의 손이 수행하고 있는 손동작을 텍스트로 출력할 수 있다. 또한, 얼굴 인식 결과 표시 창(43)은 가상화 캐릭터의 얼굴 부분을 2D 이미지로 출력하며, 해당 가상화 캐릭터의 나이, 성별 및 이목구비의 형태를 텍스트로 출력할 수 있다. 또한, 음성 인식 결과 표시 창(44)은 해당 가상화 캐릭터가 수행하고 있는 음성을 음파 그래프로 출력하며, 인식된 음성을 텍스트로 출력할 수 있다.

한편, 상기 동작감지객체를 이용하여 가상 캐릭터의 패턴인식에 오류가 발생할 경우 상기 인식 결과 표시 창에 오류 메시지를 출력할 수 있다. 상기 오류 메시지를 출력하는 과정은 이하에서 도 5를 통해 설명하도록 한다.

도 5는 본 발명의 다른 실시예에 따른 패턴 인식 오류 발생시 오류 메시지를 출력하는 방법을 도시한 흐름도이다.

보다 구체적으로, 상기 가상화 환경에서 동작감지객체가 적절히 배치되지 않아 NUI 명령어 인식이 정상적으로 이루어지지 못하는 경우, 상기의 문제점을 해결할 수 있도록 상기 동작감지객체의 위치를 변경하거나 사용자의 움직임의 변화를 유도하는 안내 메시지나 경고가 시뮬레이터를 통해 구현될 수 있다.

S510 단계에서, 가상화 환경에 배치된 동작감지객체를 통해 패턴 인식이 정상적으로 수행되지 않는 가상화 캐릭터가 하나라도 존재하는지 확인하여 패턴인식에 실패한 가상화 캐릭터가 존재할 경우 S520 단계로 진행할 수 있다.

S520 단계에서, S510 단계에서 패턴인식에 실패한 가상화 캐릭터를 하이라이트 그래픽 효과로 강조하여 패턴인식을 정상적으로 수행중인 가상화 캐릭터와 구분할 수 있다.

S530 단계에서, 상기 패턴인식 실패의 원인이 되는 오류가 발생한 요소기술 모듈의 상기 인식 결과 창에 오류 메시지를 발생시킬 수 있다. 예를 들어, 상기 가상화 캐릭터에 대한 몸동작 인식에 실패할 경우 몸동작 인식을 할 수 있는 몸동작 인식모듈에 대한 결과 창인 몸동작 인식 결과 표시 창에 오류 메시지를 출력할 수 있다. 이후, 상기 가상화 캐릭터 및 상기 동작감지객체를 상기 가상화 환경 내에서 위치 조정함으써, 상기 가상화 환경에 배치된 상기 동작감지객체의 세부 설정을 재조정하도록 유도할 수 있다.

이제 다시 도 1로 S120 단계 이후를 설명하도록 한다.

S130 단계에서, 상기 시뮬레이터가 상기 가상화 캐릭터의 패턴과 상기 NUI 명령의 맵핑정보를 이용하여 상기 인식된 패턴에 대한 상기 NUI 명령을 출력한다.

S130 단계는 이하에서 도 6을 통해 상세하게 설명하도록 한다.

도 6은 본 발명의 다른 실시예에 따른 동작 인식 패턴과 NUI 명령을 맵핑한 테이블을 도시한 도면으로서, 상기 가상화 캐릭터에 대한 하나의 패턴과 하나의 NUI 명령이 대응되도록 맵핑 또는 상기 가상화 캐릭터에 대한 복수 개의 패턴조합과 하나의 NUI 명령이 대응되도록 맵핑할 수 있다.

보다 구체적으로, 예를 들어 동작 인식 패턴(55)이 몸동작 인식 모듈을 통해 '왼쪽 혹은 오른쪽 팔 위로 들기'의 패턴이 감지되고, 손동작 인식 모듈을 통해 '오른손 손가락 두 개 펴기'의 패턴이 감지되며, 음성 인식 모듈을 통해 '커피'의 음성패턴이 감지될 경우 상기의 세 가지 동작 패턴들은 도 6의 테이블을 통해 NUI 명령(60)의 '커피 2잔 주문'과 맵핑되어 있으므로, NUI 명령(60)으로 '커피 2잔 주문'이 출력될 수 있다. 또한, 예를 들어 동작 인식 패턴(55)이 몸동작 인식 모듈을 통해 '양팔을 위아래로 젓기'의 패턴이 감지될 경우 NUI 명령(60)의 '게임 캐릭터 비행'과 맵핑되어 있으므로, NUI 명령(60)으로 '게임 캐릭터 비행'이 출력될 수 있다.]

이후, 상기 출력된 NUI 명령을 수행하기 위한 NUX(Natural User eXperience) 설정을 시뮬레이션할 수 있다. 다시 말해, 상기 NUX 기기 객체는 빔프로젝터, 지향성 스피커 등 가상화 환경 내에 위치하는 가상화 캐릭터에게 NUX를 제공할 수 있는 다양한 NUX 기기를 시뮬레이션할 수 있다. 상기 NUX 기기 객체는 서비스 콘텐츠에서 출력하는 시각 및 청각적 NUX를 시뮬레이션하며, 시뮬레이션 사용자는 시뮬레이터를 통해 가상화 환경 내에 원하는 위치에 상기 NUX 기기 객체를 배치하거나 방향을 조정할 수 있다.

도 7은 본 발명의 일 실시예에 따른 가상화 환경에서 NUI를 구현하는 장치를 도시한 블럭도로서, NUI 및 NUX 시뮬레이션 장치(75)는 앞서 기술한 도 1 내지 도 6의 각 과정에 대응하는 구성을 포함한다. 따라서, 여기서는 설명의 중복을 피하기 위해 하드웨어 장치를 중심으로 그 기능을 약술하도록 한다.

가상화 환경에서 사용자가 시스템과 직접 상호작용할 수 있는 NUI를 구현하는 장치에 있어서, 입력부(76)는 시뮬레이터가 상기 가상화 환경 내에 위치하는 가상화 캐릭터에 대한 명령을 입력받는다.

처리부(77)는 상기 시뮬레이터가 상기 가상화 환경 내에 위치하는 동작감지객체를 이용하여 상기 명령에 따른 상기 가상화 캐릭터의 패턴을 인식하고, 상기 가상화 캐릭터의 패턴과 상기 NUI 명령의 맵핑정보를 이용하여 상기 인식된 패턴을 검색한다.

출력부(78)는 상기 검색된 패턴에 대한 상기 NUI 명령을 출력한다.

또한, 상기 동작감지객체가 상기 가상화 환경 내에서 물리적인 상관관계에 기초하여 상기 가상화 캐릭터의 몸동작 및 음성을 인식함으로써, 상기 출력된 NUI 명령을 수행하기 위한 NUX 설정을 시뮬레이션한다.

또한, 처리부(77)는, 상기 명령에 따른 가상화 캐릭터의 몸동작 및 음성을 상기 동작감지객체를 이용하여 인식함으로써, 객체 데이터인 깊이 데이터, 색상 데이터, 및 음향 데이터를 각각 획득하고, 상기 획득한 객체 데이터의 조합으로부터 상기 가상화 캐릭터의 세부 동작을 구분할 수 있는 요소기술 모듈을 이용하여 상기 가상화 캐릭터의 패턴을 인식하되, 상기 요소기술 모듈은, 상기 깊이 데이터 및 색상 데이터를 통해 상기 가상화 캐릭터의 몸동작 패턴 및 상기 가상화 캐릭터의 얼굴 패턴을 인식하고, 상기 깊이 데이터를 통해 상기 가상화 캐릭터의 손동작 패턴을 인식하며, 상기 음향 데이터를 통해 상기 가상화 캐릭터의 음성을 인식한다.

또한, 상기 인식된 패턴은, 상기 각각의 요소기술 모듈의 인식 결과로서 인식 결과 표시 창에 각각 출력하며, 상기 각각의 요소기술 모듈 중 상기 패턴 인식에 오류가 발생할 경우, 상기 오류가 발생한 요소기술 모듈의 상기 인식 결과 창에 오류 메시지를 발생시킴으로써, 상기 동작감지객체의 세부 설정을 재조정하도록 유도할 수 있다.

또한, 입력부(76)는, 상기 가상화 환경 내에 위치하는 가상화 캐릭터에 대하여 캐릭터 조정 모듈을 통해 몸동작, 얼굴 표정, 및 음성을 입력할 수 있다.

또한, 상기 맵핑정보는, 상기 가상화 캐릭터에 대한 하나의 패턴과 하나의 NUI 명령이 대응되도록 맵핑 또는 상기 가상화 캐릭터에 대한 복수 개의 패턴조합과 하나의 NUI 명령이 대응되도록 맵핑할 수 있다.

도 8은 본 발명의 다른 실시예에 따른 가상화 환경에서 NUI를 구현하고 NUI 명령을 수행할 수 있는 NUX를 제공하는 과정을 도시한 도면으로서, 도 8의 각 과정은 앞서 기술한 도 1 내지 도 6의 각 과정에 대응하는 구성을 포함한다. 따라서, 여기서는 설명의 중복을 피하기 위해 각 과정의 이해를 돕기 위한 간략한 설명을 중심으로 그 기능을 약술하도록 한다.

시뮬레이터 사용자(52)는 시뮬레이터(51)를 통해 가상화 캐릭터(54), 동작감지객체(22), 및 NUX 기기 객체(57)를 3D 가상화 환경 내에 배치하거나 가상화 캐릭터(54)를 인식하는 요소기술 모듈(31)을 설정함으로써, 가상화 환경인 소환현실 공간을 구축할 수 있다.

서비스 콘텐츠 개발자(58)는 시뮬레이터(51)에서 출력되는 가상화 캐릭터(54)의 특정 패턴에 대응하는 NUI 명령 테이블(56)을 구축함으로써, NUI 및 NUX 기반 서비스 콘텐츠를 개발할 수 있다.

동작감지객체(22)는 3D 센서, 2D 카메라, 원거리 마이크 등 가상 캐릭터(54)의 동작을 감지할 수 있는 다양한 NUI 기기를 시뮬레이션할 수 있다. 시뮬레이션 사용자(52)는 시뮬레이터(51)를 통해 가상화 환경 내에 원하는 위치에 동작감지객체(22)를 배치하거나 방향을 조정할 수 있다. 또한, 가상화 캐릭터(54)의 동작은 여러 종류의 동작감지객체(22)에서 감지할 수 있다.

요소기술 모듈(31)은 가상화 환경 내에 배치된 다양한 동작감지객체(22)가 가상화 캐릭터(54)를 감지한 데이터를 복합적으로 활용하여 가상화 캐릭터(54)의 몸동작, 손동작, 얼굴, 및 음성 등을 인식할 수 있다.

NUX 기기 객체(57)는 빔프로젝터, 지향성 스피커 등 가상화 캐릭터(54)에게 NUX를 제공할 수 있는 다양한 NUX 기기를 시뮬레이션할 수 있다. NUX 기기 객체(57)는 서비스 콘텐츠(59)에서 출력하는 시각 및 청각적 NUX를 시뮬레이션할 수 있다. 여기서, 시뮬레이션 사용자(52)는 시뮬레이터(51)를 통해 가상화 환경 내에 원하는 위치에 NUX 기기 객체(57)를 배치하거나 방향을 조정할 수 있다.

서비스 콘텐츠(59)는 실제 환경의 사람에게 가상화 환경 기반의 서비스를 제공하기 위한 콘텐츠일 수 있다. 서비스 콘텐츠(59)는 사람의 동작을 인식한 패턴을 통해 NUI 명령을 입력받고, 상기 NUI 명령에 대응하는 NUX를 사람에게 제공하기 위한 다양한 서비스를 포함하는 개념이다. 따라서, 서비스 콘텐츠 개발자(58)는 외부 애플리케이션에서 서비스 콘텐츠(59)를 개발한 후 시뮬레이터(51)와 연동할 수 있다.

또한, 시뮬레이터(51)는 실제 사람 대신 가상화 캐릭터(54)를 대상으로 서비스 콘텐츠(59)의 기능을 시뮬레이션할 수 있다. 상기 시뮬레이션을 가능하게 하기 위해 서비스 콘텐츠 인터페이스는 시뮬레이터(51)가 인식한 가상화 캐릭터(54)의 인식 패턴(55)을 서비스 콘텐츠(59)에 전달하고, 서비스 콘텐츠(59)의 시각 및 청각적 출력 내용을 시뮬레이터(51)로 전달할 수 있다. 여기서, 시각적 출력 내용은 빔프로젝터 객체와 같이 가상화 캐릭터(54)에게 영상을 보여줄 수 있는 객체(57)를 통해 출력하며, 청각적 출력 내용은 지향성 스피커와 같이 가상화 캐릭터(54)에게 음향을 들려줄 수 있는 객체(57)를 통해 출력할 수 있다.

또한, 서비스 콘텐츠 개발자(58)는 서비스 콘텐츠(59) 개발 시, 시뮬레이터(51)가 전달하는 다양한 인식 패턴(55) 중, 사용하고자 하는 패턴과 대응하는 NUI 명령(60)을 정의하기 위해 NUI 명령 테이블(56)을 구축할 수 있다. 이때, NUI 명령 테이블(56)에서 하나의 NUI 명령(60)에 두 개 이상의 인식 패턴(55)을 조합함으로써, 다양한 NUI 명령(60)을 활용할 수 있다. 서비스 콘텐츠(59)에서 NUI 명령(60)을 수행함으로써, 발생하는 시각 및 청각적 NUX 결과는 빔프로젝터와 지향성 스피커와 같은 NUX 기기 객체(57)를 통해 가상화 캐릭터(54) 및 시뮬레이터 사용자(52)가 확인할 수 있다.

또한, NUX 기기 객체(57)는 서로 다른 서비스 콘텐츠(59)의 출력 내용을 출력할 수 있다. 따라서, 여러 가지 서비스 콘텐츠(59)를 하나의 가상화 환경인 소환현실 공간에서 제공함으로써, 스마트 인테리어, 스마트 카페, 스마트 홈 등 다양한 응용 서비스를 개발할 수 있다.

도 9는 본 발명의 다른 실시예에 따른 시뮬레이터의 화면 구성과 시뮬레이터를 통해 개발할 수 있는 응용 서비스를 도시한 도면으로서, 도 9의 각 화면 구성은 앞서 기술한 도 1 내지 도 6의 각 과정에 대응하는 구성을 포함한다. 따라서, 여기서는 설명의 중복을 피하기 위해 각 화면 구성의 이해를 돕기 위한 간략한 설명을 중심으로 그 기능을 약술하도록 한다.

3D 공간 창(83)은 시뮬레이터의 사용자에게 가상의 소환현실을 구축할 수 있는 공간을 3D로 가시화할 수 있다. 사용자는 3D 공간 창(83)을 통해 공간 객체, 가상 캐릭터, NUI 및 NUX 기기 객체 등을 배치하거나 조정할 수 있다. 또한, 사용자는 서비스 콘텐츠의 시각적 출력 내용을 3D 공간 창(83) 내에 배치된 NUX 기기 객체를 통해 확인할 수 있다.

공간 객체 리스트 창(86)은 가상의 물리적인 소환현실 공간을 구축하기 위해 벽 및 각종 가구를 포함하는 객체 목록을 나타낼 수 있다. 사용자는 공간 객체 리스트 창(86)에서 배치하고자 하는 공간 객체를 선택한 후 3D 공간 창(83)을 통해 원하는 위치에 배치할 수 있다.

NUI 및 NUX 기기 객체 리스트 창(84)은 가상 캐릭터의 몸동작, 손동작, 얼굴, 및 음성 등을 인식하거나 가상 캐릭터에게 콘텐츠를 제공하기 위한 3D 센서, 2D 카메라, 원거리 마이크, 빔프로젝터, 지향성 스피커 등의 NUI 및 NUX 기기 객체 목록을 나타낼 수 있다. 사용자는 NUI 및 NUX 기기 객체 리스트 창(84)에서 배치하고자 하는 NUI 및 NUX 기기 객체를 선택한 후 3D 공간 창(83)을 통해 원하는 위치에 배치할 수 있다.

가상 캐릭터 객체 리스트 창(87)은 가상화 환경인 가상 소환현실 공간에서 실제 사람의 행동을 시뮬레이션하기 위한 가상화 캐릭터 목록을 나타낼 수 있다. 사용자는 가상 캐릭터 객체 리스트 창(87)에서 배치하고자 하는 가상화 캐릭터 객체를 선택한 후 3D 공간 창(83)을 통해 원하는 위치에 배치할 수 있다.

요소기술 모듈 리스트 창(85)은 가상화 캐릭터의 몸동작, 손동작, 얼굴, 및 음성 등을 인식하기 위한 모듈 목록을 나타낼 수 있다. 사용자는 요소기술 모듈 리스트 창(85)에서 설정하고자 하는 요소기술 모듈을 선택한 후 객체 속성 창(81)에서 각 요소기술 모듈의 설정을 조정할 수 있다.

각 요소기술별 인식 결과 표시 창(88)은 각 요소기술 모듈에서 가상화 캐릭터의 몸동작, 손동작, 얼굴, 및 음성 등의 패턴을 인식한 결과를 가시화할 수 있다. 각 요소기술별 인식 결과 표시 창(88)에서는 요소기술 모듈이 추가적으로 선택될 때마다 각 요소기술별 인식 결과 표시 창(88)에도 해당 요소기술 모듈의 인식 결과 화면이 추가될 수 있다. 인식 결과 화면은 몸동작 인식과 손동작 인식, 얼굴 인식, 음성 인식 등의 요소기술 모듈에 따라 해당하는 결과 화면을 나타낼 수 있다. 여기서, 각 요소기술별 인식 결과 표시 창(88)은 여러 개의 NUI 기기 객체가 3D 가상 공간 내에 존재하는 가상화 캐릭터를 제대로 감지하지 못할 경우 시뮬레이터 사용자에게 경고 메시지를 표시할 수 있다. 몸동작 인식 결과 표시 창의 경우 가상 공간 내에 배치된 모든 3D 센서 객체 및 2D 카메라 객체를 통틀어 모든 가상 캐릭터 중 하나라도 몸 전체를 감지하지 못할 경우 해당 창 위에 경고 메시지를 표시할 수 있고, 손동작 인식 결과 표시 창의 경우 가상 공간 내에 배치된 모든 3D 센서 객체를 통틀어 모든 가상 캐릭터의 양손 중 하나라도 제대로 감지하지 못할 경우 해당 창 위에 경고 메시지를 표시할 수 있고, 얼굴 인식 결과 표시 창의 경우 가상 공간 내에 배치된 모든 3D 센서 객체 및 2D 카메라 객체를 통틀어 모든 가상 캐릭터의 얼굴 중 하나라도 제대로 감지하지 못할 경우 해당 창 위에 경고 메시지를 표시할 수 있으며, 음성 인식 결과 표시 창의 경우 가상 공간 내에 배치된 모든 원거리 마이크를 통틀어 모든 가상 캐릭터의 음성 중 하나라도 제대로 � ��지하지 못할 경우 해당 창 위에 경고 메시지를 표시할 수 있다. 또한, 경고 대상 가상 캐릭터는 3D 공간 창(83)에서 하이라이트 그래픽 효과를 통해 강조함으로써, 시뮬레이터 사용자로 하여금 어떤 가상 캐릭터가 제대로 감지되지 않는지 확인할 수 있도록 한다. 이후, 사용자는 기존에 배치한 NUI 기기 객체의 위치 및 방향을 조정하거나 해당 기기 객체를 추가적 배치함으로써 3D 가상 공간 내에 존재하는 모든 가상 캐릭터를 올바르게 감지하도록 할 수 있다.

2D 카메라 및 3D 카메라 기준 시점 표시 창(90)은 NUI 및 NUX 기기 객체 중 2D 카메라와 3D 센서가 배치되었을 경우 각 기기에서 공간을 촬영하는 시점을 실시간으로 가시화할 수 있다. 2D 카메라 및 3D 카메라 기준 시점 표시 창(90)에서는 2D 카메라 객체 또는 3D 센서 객체가 추가적으로 배치될 때마다 2D 카메라 및 3D 카메라 기준 시점 표시 창(90)에도 해당 기기의 촬영 시점이 추가될 수 있다. 시뮬레이터 사용자는 2D 카메라 및 3D 카메라 기준 시점 표시 창(90)을 통해 2D 카메라 객체 또는 3D 센서 객체가 가상 캐릭터를 올바르게 인식할 수 있는 위치에 배치되었는지 여부를 직관적으로 확인할 수 있다.

배치된 객체 리스트 창(82)은 공간에 배치된 모든 공간 객체, NUI 기기 객체, NUX 기기 객체, 및 가상 캐릭터 객체의 목록을 나타낼 수 있다. 배치된 객체 리스트 창(82)에는 3D 가상 공간 창(83)에 공간 객체, NUI 기기 객체, NUX 기기 객체, 및 가상 캐릭터 객체가 추가될 때마다 각 객체의 이름이 추가될 수 있다. 여기서, 배치된 객체 리스트 창(82)에서 하나의 객체를 클릭하면 객체 속성 창(81)에서 해당 객체의 속성을 조정할 수 있다. 또한, 객체 속성 창(81)에서 객체의 속성을 조정하면 해당 변경 사항의 실시간 반영 사항을 3D 공간 창(83)에서 확인할 수 있다.

객체 속성 창(81)은 특정 객체 혹은 요소기술 모듈의 속성을 조정할 수 있다. 배치된 객체 리스트 창(82)에서 속성을 조정하고자 하는 객체를 선택하면 해당 객체의 조정 가능한 속성 목록이 객체 속성 창(81)에 나타나며, 사용자는 조정 가능한 속성 목록 중 조정하고자 하는 속성을 선택한 후 해당 속성의 값을 변경할 수 있다.

가상 캐릭터 몸동작 리스트 창(94), 가상 캐릭터 손동작 리스트 창(93), 및 가상 캐릭터 음성 리스트 창(92) 등은 공간에 배치된 각각 가상 캐릭터가 수행할 수 있는 몸동작, 손동작, 및 음성의 목록을 나타낼 수 있다. 여기서, 가상 캐릭터의 얼굴은 가상 캐릭터 객체 리스트 창(87)에서 선택하는 가상 캐릭터에 따라 결정될 수 있으며, NUI를 작동시키는 것은 사람의 몸 자체이므로 가상 캐릭터를 실제 사람과 같이 시뮬레이션하는 기능을 제공한다. 또한, 배치된 객체 리스트 창(82)에서 행동 또는 음성을 수행하고자 하는 가상 캐릭터를 클릭하여 선택한 후 가상 캐릭터 행동 또는 음성 리스트에서 원하는 항목을 클릭함으로써 미리 준비된 가상 캐릭터의 행동 또는 음성을 시뮬레이션할 수 있다.

서비스 콘텐츠 리스트 창(91)은 가상의 빔프로젝터 및 지향성 스피커 등의 출력 기기에서 출력 가능하도록 외부 애플리케이션에서 개발한 콘텐츠의 목록을 나타낼 수 있다. 여기서, 사용자는 개발하고자 하는 응용 서비스의 특성에 맞도록 각 NUX 기기 객체에 자유롭게 서비스 콘텐츠를 지정할 수 있으며, 배치된 객체 리스트 창(82)에서 빔프로젝터나 지향성 스피커 중 하나를 선택한 후 서비스 콘텐츠 리스트 창(91)에서 지정하고자 하는 서비스 콘텐츠를 선택하면 해당 NUX 기기 객체에서 출력할 서비스 콘텐츠가 지정할 수 있다. 또한, 서비스 콘텐츠를 추가적으로 지정할 때마다 각 서비스 콘텐츠별 NUI 명령 해석 결과 표시 창(89)에 해당 서비스 콘텐츠의 NUI 명령 해석 결과 창(89)이 추가될 수 있다.

각 서비스 콘텐츠별 NUI 명령 해석 결과 표시 창(89)은 각 요소기술 모듈에서 인식한 동작 패턴을 각 서비스 콘텐츠의 NUI 명령 테이블에 존재하는 NUI 명령으로 해석한 결과를 가시화할 수 있다. 각 서비스 콘텐츠별 NUI 명령 해석 결과 표시 창은 이하에서 도 10을 통해 상세하게 설명하도록 한다.

도 10은 본 발명의 다른 실시예에 따른 NUI 명령 해석 결과 표시 창을 도시한 도면으로서, 각 요소기술 모듈에서 인식한 동작 패턴이 복합적으로 하나의 NUI 명령에 대응될 수 있으므로 몸동작, 손동작, 얼굴, 및 음성 등에서 인식된 패턴을 모두 가시화할 수 있으며, 서비스 콘텐츠의 특정 NUI 명령을 수행하기 위해서는 가상 캐릭터가 몸동작, 손동작, 얼굴, 및 음성 등 네 가지 동작의 특정 패턴을 모두 만족해야 한다.

예를 들어, 도 10에서 서비스 콘텐츠 이름이 증강현실 기반 메뉴인 NUI 명령 해석 결과 표시 창(71)을 보면, 몸동작 인식 패턴으로 '오른팔 위로 들기'가 인식되고, 손동작 인식 패턴으로 '손가락 2개 펴기'가 인식되고, 얼굴 인식 패턴으로 '눈: 길고 작음'가 인식되고, '코: 넓고 김', 입: 크고 얇음', 및 '턱 선: 길고 동그람'이 인식되어 상기 인식된 패턴의 조합에 대응되는 NUI 명령으로 '손님#03이 커피 2잔 주문'이 출력됨을 알 수 있다. 서비스 콘텐츠 이름이 증강현실 기반 웹 서핑인 NUI 명령 해석 결과 표시 창(72)과 서비스 콘텐츠 이름이 증강현실 기반 라이브 공연인 NUI 명령 해석 결과 표시 창(73)은 해당 서비스 콘텐츠로 인식된 패턴이 없으므로 인식결과는 없는 것을 알 수 있다.

시뮬레이터를 통해 개발한 응용 서비스는 그대로 하나의 파일로 저장할 수 있다. 저장된 파일은 추후 본 시뮬레이터에서 불러옴으로써 저장 당시의 응용 서비스를 복원시킬 수 있다.

한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

22 : 동작감지객체 58 : 서비스 콘텐츠 개발자
31 : 요소기술 모듈 59 : 서비스 콘텐츠
51 : 시뮬레이터 75 : NUI 및 NUX 시뮬레이션 장치
52 : 시뮬레이터 사용자 76 : 입력부
53 : 가상 캐릭터 조정 모듈 77 : 처리부
56 : NUI 명령 테이블 78 : 출력부
57 : NUX 기기 객체