멀티모달 사용자 인터페이스를 이용한 대화형 전시 시스템 {INTERACTIVE EXHIBITION SYSTEM USING MULTI-MODAL USER INTERFACE}

본 발명은 멀티모달 사용자 인터페이스(Multi-Modal User Interface)를 이용한 대화형 전시 시스템(Interactive Exhibition System)에 관한 것으로, 보다 상세하게는 PC 카메라와 봉을 이용하여 사용자의 시선과 행동을 인식하여 다양한 각도에서 전시물을 관람할 수 있도록 한 대화형 전시 시스템에 관한 것이다.

오늘날, 많은 박물관들이 대화형 전시 시스템을 사용하고 있다. 따라서 방문객들의 행동을 반영한 시스템을 구축하여 사용자들이 대화형 전시 시스템을 편리하게 이용하도록 돕는 것이 필요로 하게 되었다.

대부분의 대화형 전시 시스템은 컴퓨터 시스템에 의존하고 있으므로, 주된 관심사는 HCI(Human-Computer Interaction : 인간과 컴퓨터의 상호작용), 특히 시스템 이용법을 쉽게 익힐 수 있고 사용하기 간편한 새로운 멀티모달(Non-Conventional Multi-Modal) 사용자 인터페이스에 있다.

이러한 인터페이스는 대화형 전시 시스템을 방문하는 사용자들이 따로 컴퓨터 사용법을 익혀야 하는 번거로움을 대신해 주어 시스템을 좀 더 효율적으로 이용할 수 있도록 도와준다. 즉, 대화형 전시 시스템이 박물관 방문객들의 행동을 반영하도록 설계되므로 매우 유용하다. 이것이 바로 멀티모달 사용자 인터페이스를 사용한 대화형 전시 시스템에 대한 연구가 이루어지는 가장 큰 이유이다.

현재 HMD(Head Mounted Display : 머리부착형 화면표시장치), 데이터 글러브(Data Gloves) 및 CAVE(Cave Automated Virtual Environment) 등과 같은 장비들이 가상 현실 프로그램에서 사용되고 있다. 이 장비들은 입체적인 관점을 통해 실제와 같은 3차원 화면들을 만들어 내어 사용자들에게 깊은 매력을 선사한다. 그러나 그리 상용화되어 있지 않아서 박물관에 설치되기에는 적합하지 않다. 또한 일반인이 사용하기에는 복잡하고 가격이 비싸다는 단점을 가지고 있다.

지금까지 시선 추적에 대한 많은 연구들이 수행되어 왔다. 이러한 연구들은 시선의 위치를 추적하는데 주안점을 두고 있다.

템플릿 매칭(Template Matching) 방법은 초기의 템플릿과 시간이 경과한 후의 템플릿 영상을 비교하여 얼굴의 변형된 부분을 알아낸다 [ ALYuile, DSCohen and PWHalinan, Feature extraction from face using deformable template, Proceedings of IEEE Computer Society Conference On Computer Vision and Pattern Recognition, pp.104-109, 1989 ].

위치선정 방법은 시선이 위치하는 곳이 어딘지를 알아낸다 [ JKKo, N.Kim and RSRamakrishna, Facial Feature Tracking for Eye-Head Controlled Human Computer Inteface, IEEE TENCON, 1999 ].

눈동자 조절 시스템(Eye-head Controlled System)과 시선 추적 시스템은 비번 테크롤러지에 기반한다. 또한, 컬러 기반 방법은 시선의 범위를 줄여준다. 이 방법은 얼굴 표면의 색을 조사하여 비슷한 색의 분포를 가지는 영역을 가려낸다 [ J.Yang and A.Waibel, A Real-time Face Tracker, Proceedings of the Third IEEE Workshop on Applications of Computer Vision, pp.142-147, 1996, RogerioSchmidt Feris, Teofilo Emidio de Campos, Roberto Marcondes Cesar Junior Detection and Tracking of Facial Feature in Video Sequences, Lecture Notes in Artificial Intelligence, vol.1793, pp.197-206, April 2000 ]. 이 방법을 통해 좀더 나은 결과를 도출해내기 위해서는 동일한 사람에 대해 같은 조명을 주어 실행하는 것이 좋다. 대부분의 시선 추적 방법은 얼굴의 특징을 도출해 내는 과정을 가진다. 이 방법은 방문객들이 대화형 전시 시스템을 좀 더 쉽고 간편하게 사용하는 데 있어 큰 도움을 주기 때문에 시스템의 핵심적인 부분이다. 시선추적 방법은 이 뿐만이 아니라, 가상 현실(VR : Virtua1 Reality), 실감형 현실(AR : Augmented Rea1ity), 또한 그 밖의 다양한 컴퓨팅 환경에도 적용할 수 있다.

행동 인식 시스템은 봉 추적 기술에 기초한다. 봉의 정확한 위치를 파악해 내기 위해 마그네틱 센서를 이용하는 방법이 있지만 비용이 상당하다. 그러므로 비용이 적게 들면서 간편한 새로운 기술이 필요하다.

우선 적외선 LED를 봉의 끝에 장착하여 적외선 카메라를 통해 봉의 움직임을 인식하기 위해 사용하는 방법이 있다[ JYChung, NKKim, GJKim and CMPark, A Low Cost Real-Time Motion Tracking System for VR Application, International Conference on Virtual Systems and Multimedia 2001, 2001 ].

PC 카메라와 컬러 기반 봉을 이용하는 것도 다른 방법이 될 수 있다. 복잡하게 만들어진 도구가 아닌, 간단한 구조의 봉을 삼차원 포인팅 도구로 사용하여 누구나 쉽게 다룰 수 있게 하며, 저가의 PC 카메라를 이용한 눈의 시선 정보 인식은 사물을 둘러보고, 쉽게 포인팅할 수 있게 깊이 정보를 파악하게 해준다.

본 발명은 상기 문제점을 해결하기 위하여 3DOF(Degree Of Freedom)을 제공하는 컬러 기반 봉과 PC 카메라를 이용하여 박물관 등의 방문객들이 쉽게 즐길 수 있도록 직관적이고 간편하며 저렴한 대화형 전시 시스템을 제공하는 것을 목적으로 한다.

도 1은 본 발명에 따른 전시 시스템의 구조를 도시한 도면,

도 2는 시선 추적을 위한 이미지 처리 과정을 도시한 도면,

도 3은 시선 추적의 범위를 도시한 도면,

도 4는 본 발명에 따른 봉(Baton)을 도시한 도면,

도 5는 각각 봉두, 헤드 색의 표준 공급 산정, 헤드 인증을 도시한 도면,

도 6은 행동 인식의 작동 범위를 도시한 도면,

도 7은 3D GUI 툴킷의 기본 구조를 도시한 도면,

도 8은 3D 윈도우 시스템에서 윈도우 관리자의 관리를 도시한 도면,

도 9는 사용자의 초점에 의해 스크린 상에서 목적물이 변화하는 모델뷰어를 도시한 도면,

도 10은 본 발명의 성능 측정을 위한 작동 연습의 예를 도시한 도면,

도 11은 각각 3D 마우스와 봉을 이용한 작업 시간을 도시한 그래프,

도 12는 본 발명을 디지털 박물관에 적용한 경우를 도시한 도면.

본 발명은 상기 목적의 달성을 위해, 컴퓨터 스크린에 전시물을 디스플레이하는 대화형 전시 시스템에 있어서, 레드볼(Red Ball)과 블루밴드(Blue Band)를 가진 봉; 및 상기 스크린의 상부에 장착되어 상기 봉을 들고 있는 사용자의 이미지를 촬영하는 카메라;를 구비하고, 상기 카메라가 제공한 이미지에서 상기 사용자의 눈의 위치 및 명암을 분석하여 시선의 방향을 계산하는 시선 추적 모듈과, 상기 이미지에서 상기 봉의 수평 및 수직 위치를 인식하고 상기 이미지에 나타난 레드볼의 크기를 이용하여 상기 스크린과 상기 봉과의 거리를 계산함으로써 상기 봉의 움직임을 추적하는 행동 인식 모듈을 포함하는 3D 입력 모듈; 및 상기 3D 입력 모듈로부터 상기 시선의 방향 및 상기 봉의 움직임을 입력 받아 그에 따라 전시물의 디스플레이 상태를 변경하는 3D GUI 툴킷;을 포함하는 컴퓨터를 구비하는 것을 특징으로 하는 멀티모달 사용자 인터페이스를 이용한 대화형 전시 시스템을 제공한다.

상기와 같이, 본 발명에 따른 대화형 전시 시스템은 PC 카메라와 봉을 구비하여, 사용자의 시선을 추적하고 행동을 인식한다. 특히, 봉은 사용자의 행동을 인식하기 위한 것으로서, 사용자들의 행동을 표현할 수 있도록 디자인되어야 한다. 사용자의 행동은 인터페이스에 의해 인식된다. 사용자가 스크린 상에서 전시품을 다양한 각도로 보길 원하는 경우, 스크린 상의 물체를 회전시키면 된다. 사용자는 인터페이스 상에서 보고자 하는 사물을 회전시키기 위해 봉을 잡고 원을 그리는 행동을 하면 된다. 또한 사용자는 물체를 확대시키거나 축소시키는 명령을 위한 도구로서 이 봉을 사용할 수 있다. 물체의 크기를 확대하기 위하여 봉을 당기면 되고, 반대로 축소하기 위해서는 봉을 밀면 되는 것이다. 봉은 또한 물체를 선택하거나 프로세스를 실행하는 것과 같은 간편한 대화형 업무를 수행할 수 있도록 고안되어 있어, 메뉴에서 물체를 선택하기 위해서는 봉을 가지고 드로잉을 하는 것만으로 쉽게 실행할 수 있다. PC 카메라는 사용자의 시선과 봉의 움직임을 인식하기 위해 사용된다.

시선 추적 기술과 행동 인식 기술은 독립적으로 사용될 수도 있고, 사용자는 시선 추적과 봉을 조합하여 시스템에 명령을 내릴 수도 있다. 이러한 대화 방법은 3차원 공간에서 인간과 컴퓨가 대화한다는 관점에서 3D 대화라고 불린다. 툴킷은 PC 카메라와 봉을 사용하여 이와 같은 대화형 전시 시스템을 만들고자 하는 프로그래머를 위해 API(Application Program Interface)를 제공한다. 상기 대화 방법과 인터페이스는 디지털 박물관에 적용될 수 있다. 최근에 많은 박물관들이 비디오나3차원 그래픽 영상물과 같은 멀티미디어 전시품을 박물관에 배치하고 있다. 이것은 이러한 박물관들이 멀티미디어 컴퓨터 시스템을 갖추고 있음을 의미한다. 이와 같은 사실을 통해 우리는 기존의 박물관 방문객들이 컴퓨터에 대한 지식이 없이도 박물관에 설치된 컴퓨터 시스템을 다룰 수 있도록 해야 한다는 것을 알 수 있다. 방문객들이 시스템을 간편하고 쉽게 사용할 수 있는 방법을 제공하기 위해 대화 방법이 이용된다.

도 1은 대화 방법이 디지털 박물관에 어떻게 적용되는지를 보여 준다. 즉, 3D GUI(Graphical User Interface) 툴킷을 이용하여 대화형 전시 시스템과 같은 응용 프로그램을 구축할 수 있다.

먼저, 3D 입력 모듈(110)은 시선 추적 모듈(111)과 행동 인식 모듈(112)로 이루어진다. 3D 입력 모듈(110)은 PC 카메라로부터 전달된 정보를 분석하여 스크린 상에 비치는 물체를 보는 시선의 방향을 알아내고, 사용자가 들고 있는 봉의 3차원적 위치를 계산하여 봉의 움직임을 추적한다.

3D GUI 툴킷(120)은 응용 프로그램을 위한 API를 제공한다. 이들 API는 3D 입력 모듈로부터 시선과 봉의 3차원적 위치를 얻어 낸다. 그러므로, 프로그래머는 3D 입력 모듈을 조절하는 API를 이용하여 박물관에 사용되는 대화형 전시 시스템과 같은 응용 프로그램을 개발할 수 있다. 툴킷은 3D 위짓(122)과 3D 윈도우 관리자(121)로 구성된다. 위짓(Widget)이란 본래 X-Windows 시스템의 Xtoolkit에서 GUI를 구성하는 부품의 이름 지칭하는 용어이다. 예를 들어, 각종 버튼이나 스크롤바 등 부품이 윈도우로써 독립해 있는 것을 위짓이라고 한다.

마지막으로, 응용 프로그램(130)은 3D GUI 툴킷(120)을 이용하여 개발된다. 상기에서 언급한 바와 같이 박물관 방문객들이 그들의 눈과 봉을 이용하여 스크린 상의 전시품을 보고 다룰 수 있는 대화형 전시 시스템의 개발이 그 예가 될 것이다.

3D 입력 모듈

3D 입력 모듈(110)은 도 1에서와 같이 시선 추적 모듈(111)과 행동 인식 모듈(112)로 이루어진다.

시선 추적 모듈(111)은 입력 센서로 PC 카메라를 이용한다. PC 카메라가 얼굴의 이미지를 제공하면, 시선 추적 모듈은 눈의 위치와 명암을 분석하여 시선의 방향을 알아 낸다.

도 2는 이미지 처리 과정을 도시한 것이다. 먼저, 카메라에서 넘어온 RGB 이미지의 사이트는 연산 과정을 줄일 수 있도록 조정된다. 그리고 나서 이미지는 검정과 흰색의 이미지로 변환되며, 변환 과정에서 도출된 초기값은 이미지를 단순화하는 데 사용된다. 눈은 단순화된 이미지의 가장 어두운 부분이다. 시선 추적 방법은 눈의 가로 세로의 비율과 위치값을 포함하는 초기값을 가지고 연산한다. 눈이 보통 얼굴의 상단에 위치한다는 사실을 이용해 시선 추적 연산의 속도를 증가시킬 수 있다.

도 3은 시선 추적의 범위와 파라미터의 위치를 도시한 도면으로, 시선의 방향(Dir)과 눈의 위치(Pos)가 x, y, d로 표시되어 있다. x는 수평거리, y는 수직 거리를 나타낸다. 사용자 시선의 중앙이 (x, y)에 있고, d가 카메라와 사용자 사이의 거리인 z 값을 가진다고 가정하면, Dir과 POS는 도 3처럼 정의할 수 있다. 여기서 FOV는 카메라의 시계(Field Of View)이다.

도 4는 본 발명에서 제안하는 봉을 도시한 것으로, 레드볼(Red Ball : 410)이라고 불리는 머리와 블루밴드(Blue Band : 420)라 불리는 기둥으로 이루어 진다. 행동 인식 모듈(112)은 색의 패턴을 이용하여 봉의 위치를 인식하며, 레드볼과 블루밴드를 조화시켜 사용한다. 이것은 2차원 위치를 제공하는데, 이를 x, y라 하자. 깊이에 대한 정보인 z 값은 레드볼의 크기를 계산하여 얻을 수 있다.

본 발명에서는 봉의 레드볼을 인식하기 위해 색기반 방법을 사용한다. 먼저 RGB 값이 정규화되는데, 이 과정은 레드볼의 정규화된 값이 R/(R+G+B), G/(R+G+B), B/(R+G+B)로 계산되는 것을 의미한다. 그리고 나서 이 값은 사물의 색을 알아내기 위하여 이용된다. RGB 값은 미리 정의되어 있지 않으므로 측정의 과정이 필요하다. 이것은 색의 평균값과 편향값이 계산되고 정규화된 색의 분포값이 계산되는 일종의 계산 과정이다. 이 값은 행동 인식 모듈이 레드볼을 추적할 때 사용된다.

도 5는 색의 정규화된 분포가 레드볼 값에 의해 계산되는 과정을 도시한 것이다. 입력받은 영상 이미지의 각 피셀값을 색의 정규 분포내의 확률을 계산하여, 미리 정의된 임계치 이상 확률을 가진 픽셀값만을 걸러내어 전체 이미지내에서 레드볼 이미지만 걸러내게 된다. 이렇게 얻어진 레드볼 이미지에서 레드볼의 크기와 위치를 얻어내게 된다.

일단 봉의 레드볼이 인식되면, 시스템은 볼의 위치인 x, y, z를 계산한다. 도 6은 레드볼의 움직임이 인터페이스에 의해 인식되는 영역인 작동 범위를 도시한 것으로, 작동 영역 밖의 움직임은 무시된다. 위치에 대한 정보를 나타내는 x, y, z의 값은 정규화되며 그 범위는 -1≤x≤1, -1≤y≤1 그리고 O≤z≤1로 설정된다. PC 카메라는 스크린의 중앙에 놓이는데, 레드볼이 작동 범위 영역 내에 있을 때만 레드볼의 움직임을 인식한다. 아래의 수학식 1은 레드볼의 x와 z 값을 계산한 것이다.

z' : 작동 범위에서 레드볼의 z 값

r _b : 레드볼의 반지름 (r _min ≤r _b ≤r _max )

r _min : 레드볼의 최소 반지름 (z = 1일 때)

r _max : 레드볼의 최대 반지름 (z = 0일 때)

x' : 작동 범위에서 레드볼의 x 값

x _b : 스크린에서의 레드볼의 x 값 (O≤x _b ≤1)

FOV : 카메라의 시계 (Field Of View of the camera)

레드볼의 y 값도 이와 유사하게 계산할 수 있다. 이런 식으로 작동 범위 내에서 봉의 움직이 추적되고 스크린에 투사된다.

3D GUI 툴킷 (3D Graphic User Interface Toolkit)

3D GUI 툴킷(120)은 대화형 전시 시스템을 개발하고자 하는 응용 프로그래머들을 위해 제공되는 것으로, 도 7에 그 기본 구조가 도시되어 있다. 이 툴킷은 3D 입력 수단에서 얻어진 데이터를 다루는 API(Application Program Interface)를 제공한다. 툴킷은 기본 3D 위짓(Widget)과 기본 위짓, 시각화 위짓 등으로 이루어진다. 가장 기본적인 위짓은 기본 위짓(Basic Widget : 710)으로, 이는 도 7에서 보는 바와 같이 다른 위짓들의 기본적인 특징을 제공하는데, 구체적으로는 라벨(720)과 버튼(730)과 같은 간편한 GUI 컴포넌트들이 제공된다. 이 컴포넌트들은 3차원 형식으로 나타내며 선택과 회전과 같은 3차원 포인팅도 가능하다.

3D(3차원) 윈도우 시스템은 기본 3D 위짓에서 확장될 수 있다. 이 시스템은 3차원으로 볼 수 있는 윈도우 창을 제공한다. 도 8에서 볼 수 있는 것과 같이 윈도우 관리자는 여러 개의 창을 띄우고, 3차원의 형식으로 윈도우를 정렬한다. 윈도우 관리자는 사용자의 시선의 움직임에 따라서 작동 윈도우를 변화시킨다. 만약에 사용자의 눈이 다른 윈도우를 바라보고 있으면 PC 카메라는 이 움직임을 감지하고 이전의 창은 비활성화된다. 이러한 과정은 도 8에 도시되어 있다. 윈도우(750)와 윈도우 관리자(760)와 같은 위짓은 3차원 윈도우 시스템을 이용한다.

모델뷰어(Model Viewer) 위짓(740) 또한 시선의 움직임을 추적하여 스크린에 물체를 변화시킨다. 도 9는 사용자의 초점에 의해 스크린 상에서 목적물이 변화하는 모델뷰어를 도시한 것으로, 만약에 사용자가 아래를 보거나 사물의 밑바닥을 향하고 있으면 모델뷰어는 시점을 바꾸어 도 9에 도시된 바와 같이 바닥을 보여 준다.

3D 대화 방법

이하에서는, 본 발명에 따른 대화형 전시 시스템에서 채용하고 있는 3D 대화 방법을 설명한다.

시선은 기본 대화 방법 중 하나로 시선 추적 시스템의 기본이 된다. 예를 들어 모델뷰어 위짓은 시선의 움직임에 따라서 사물의 위치와 방향을 바꾼다. 사용자가 사물을 다른 방향에서 보기를 원할 경우, PC 카메라는 시선의 움직임을 추적하며 시스템은 관점에 따라 사물을 보여준다.

다른 기본 대화 방법은 봉을 이용하는 것이다. 사용자는 봉을 이용하여 다양한 행동을 표현할 수 있다. 행동은 박물관 안에서나 전시관에서 사용자의 행동을 반영할 수 있도록 자연스러워야 한다. 이하에서는 스크린에서 실행할 수 있는 3차원 연산이 어떤 것이 있는지 알아보고 연산의 결과를 나열한다.

① 선택

이 동작은 마우스의 클릭에 해당하며, 사용자가 사물에 포인터를 놓고 1초 정도 기다리면 사물이 선택된다.

② 취소

이 동작은 선택 동작을 취소시키며, 클릭된 마우스에서 손을 떼는 것과 같다. 사용자가 빨리 사물에서 포인터를 떼면, 이전의 선택은 취소가 된다.

③ 실행

이 동작은 마우스의 더블 클릭에 해당하며, 명령어를 수행하거나 선택된 사물을 동작시키는 것을 의미한다. 사용자는 봉을 수직으로 흔든다. 봉을 빠르게 올렸다 내리는 것은 레드볼의 y 값을 변화시킨다.

④ 회전

이 동작은 마우스를 드래깅하는 것에 해당하며, 스크린 상에 선택된 물체를 회전시켜 보여준다. 회전은 작동 범위의 중앙에 대하여 봉의 위치를 계산하는 것에 의해 수행된다.

⑤ 확대와 축소

이 동작은 스크린 상에서 이미지를 확대하거나 축소하여 보여준다. 사용자는 확대 동작을 통하여 사물을 더 자세히 볼 수 있고, 축소 동작을 실행시킴으로서사물의 전체적 모양을 볼 수도 있다. 확대 동작을 실행하기 위해서는 봉을 밀고, 축소 동작을 위해서는 봉을 잡아당기면 된다. 즉, 사용자는 확대와 축소 동작을 위해 z 축을 따라 봉을 움직이면 되는 것이다.

상기와 같은 새로운 대화 방법은 새 응용 프로그램이 만들어질 때마다 다르게 설계되고 구현될 수 있으며, 툴킷에 있는 함수를 이용하여 이러한 방법을 구현한다.

실험

본 발명에서 제안하는 시스템의 성능을 측정하기 위해 다음과 같은 실험이 수행되었다. 스크린에 각각 노란색과 빨간색인 두 개의 원뿔(cone)이 있다. 도 10과 같이, 사용자로 하여금 노란 원뿔을 빨간 원뿔 쪽으로 이동하도록 하였다. 이 과정은 사물의 선택, 이동, 회전으로 이루어진다.

상기 작업을 완성하는 데 걸리는 시간을 측정한 결과가 도 11과 아래 표 1에 나타나 있다. 도 11a 및 도 11b는 각각 3D(3차원) 마우스와 봉을 이용하여 작업을 마치는데 걸리는 수행 시간을 도시한 그래프이고, 표 1은 평균 수행 시간을 나타낸다. 여기서, 노란 원뿔을 선택하는 데 걸리는 시간은 T+S, 이 노란 원뿔을 빨간 원뿔의 위치로 옮기는 데 걸리는 시간은 T, 노란 원뿔과 빨간 원뿔이 일치하도록 노란 원뿔을 회전하는 데 걸리는 시간은 R로 표시되었다. 이 작업은 3차원 마우스와 본 발명에 따른 시스템에 대해 각각 20 회씩 수행되었다.

이 실험의 결과는 본 발명에 따른 봉을 사용했을 때 사물을 옮기고 회전시키는 데 걸리는 시간이 거의 3D 마우스 만큼이라는 것을 보여준다. 봉이 사용되었을 때, 수행 시간이 다소 불규칙적이며, 평균 수행이 약간 더 오래 걸리기는 하다. 그러나, 봉을 이용하여 사물을 이동시키는 과정은, 3D 마우스와 비교해 볼 때, 수행 시간은 비슷한 반면 실행이 간편하다는 장점이 있다.

본 발명의 적용 사례

본 발명에 따른 대화형 전시 시스템은 많은 분야에 적용될 수 있다. 많은 박물관들이 디지털화되면서 많은 전시품들이 컴퓨터를 이용해 전시되고 있다. 반면에, 박물관을 방문하는 사람들은 효율적으로 컴퓨터를 사용하지 못하므로, 본 발명에 따른 대화형 전시 시스템은 디지털 박물관에 매우 적합하다.

도 12는 본 발명에 따른 대화형 전시 시스템을 디지털 박물관에 적용한 실시예를 도시한 것이다. 박물관 방문객(1210)은 전시품을 관람하고 관련된 정보를 찾아 보기 위해 스크린(1240) 앞에 서 있다. PC 카메라(1230)는 스크린의 꼭대기에 장착되어 있다. 방문객들은 봉(1220)을 잡고 스크린에 있는 사물을 바라보며 봉을 움직인다. 이 봉을 이용하여 스크린 상의 사물을 선택하고 회전하며 실행할 수 있으며, 확대와 축소도 할 수 있다.

또 다른 예로, 고대 한국에서 개발된 악기인 양도위(Yangdowi)를 대화형 전시 시스템을 사용하여 재현할 수 있다. 이 악기는 현존하지 않으므로 우리는 이것을 직접 다룰 수 없다. 그러나 기록에 근거하여 3차원 디지털 모델의 형태로 이 악기를 재현할 수 있다.

본 발명에 따른 대화형 전시 시스템을 이용하면, 이것을 보고 동작시킬 수 있다. PC 카메라가 시선의 움직임을 따라가면 3차원 모델이 시선의 움직임을 따라 변형되고 보여 진다. 악기의 3차원 모델을 회전시키고 다루어 보기 위해 봉을 사용할 수 있다. 또한, 봉을 사용해 악기와 관련된 더 많은 정보도 찾아볼 수 있다. 사용자의 행동은 선택, 취소, 실행, 회전, 확대, 축소가 될 수 있을 것이다. 이 시스템은 양도위에 대한 기초적인 지식을 설명해주는 만화 세션을 보여줄 수도 있으며, 악기의 구조나 작동법 등도 보여줄 수 있다. 따라서, 사용자는 3차원 모델에 의해 제공되는 하이퍼링크와 메뉴를 통해 더 자세한 정보를 찾을 수 있다.

본 발명에 따르면, 인간과 컴퓨터와의 상호작용을 간단하고 직관적인 방법으로 제시하여 간편한 대화형 전시 시스템을 구현할 수 있으므로, 3D 마우스를 사용한 시스템과는 달리 사용자에게 컴퓨터에 대한 사전 지식이 없어도 쉽게 사용할 수 있다.

또한, 스크린에 3차원 영상을 보여주기 위해 어떤 특별한 장비도 요구되지않는다. 사용자의 시선의 움직임과 봉만으로 3차원 영상을 보여주고 다루는데 필요한 GUI 동작을 수행할 수 있다.

더욱이, 본 발명에 따른 봉은, 봉의 정확한 위치 파악을 위해 마그네틱 센서를 이용하는 방법이나 3D 마우스에 비해 저렴하면서, 속도 면에서 볼 때 3D 마우스에 많이 뒤지지 않으므로 대화형 전시 시스템에 사용하기에 효율적이다.