컴퓨팅 장치용 투사식 사용자 인터페이스를 제공하기 위한 방법 및 장치{Method and Apparatus for providing projected user interface for computing device}

본 발명은 퍼베이시브(pervasive) 컴퓨팅 장치와 같은 컴퓨팅 장치를 위해사용자 인터페이스를 투사하기 위한 방법 및 장치에 관한 것으로서, 더 구체적으로는, 사용자 입력 디스플레이 및 사용자 출력 디스플레이를 투사하기 위한 방법 및 장치에 관한 것이다.

PDA, 포켓 PC(개인용 컴퓨터), 타블렛 PC 및 스마트 카메라/PDA 전화와 같은 퍼베이시브 컴퓨팅 장치들은 꾸준히 대중성을 얻고 있다. 칩 기술은 이들 장치가 작지만 기능적으로는 강력해지는 것을 가능케 하였다. 그러나, 장치들의 크기 축소로 인하여 키보드용 공간이 거의 없으며, 대부분은 매우 작은 디스플레이를 포함한다.

이들 퍼베이시브 컴퓨팅 장치들의 사용성 및 휴대성을 향상시키기 위한 시도로서 입력용 가상 키보드 이미지 및/또는 사용자 출력용 가상 디스플레이의 추가가 제안되었다. 예를 들어, 미국특허번호 제6,323,942호는 가상 키보드를 개시한다. 또한, 미국특허번호 제6,266,048호는 PDA용 가상 디스플레이/키보드를 개시하며, 이는 퍼베이시브 컴퓨팅 장치의 크기로 인해 유발되는 제약에 대한 해법을 제공한다. 키보드 이미지가 사용자에 근접한 표면에 투사되고, 디스플레이 이미지가 가상 키보드 이미지와 투사 장치사이의 동일한 표면상에 투사된다. 이는 키보드 이미지 및 디스플레이 모두의 크기를 증가시킬 수 있지만, 양쪽 이미지를 동일한 표면상에 배치하는 것은 사용자가 사용자 출력 디스플레이를 읽기 위해 아래쪽으로 쳐다보아야 한다는 점에서 사용자를 불편하게 한다. 이는 습관상의 컴퓨터 스크린 배치가 아니며, 사용자는 새로운 배치에 익숙해져야만 한다. 미국특허번호 제6,266,048의 시스템은 키보드용 이미지를 위해 제1 투사기와 디스플레이를 위한 제2 투사기를 또한 이용한다.

상기 접근 방식은 최적으로 인간공학적이고 경제적인 가상 입력 및 출력을 산출하는 시스템을 제공하지 못한다. 따라서, 이러한 제약 및 기타 다른 제약들을 극복하는 개선된 가상 입출력 시스템에 대한 필요성이 존재한다.

도 1은 본 발명의 일실시예에 따라 사용자 입력 디스플레이와 사용자 출력 디스플레이를 별개의 표면상에 투사하는 퍼베이시브 컴퓨팅 장치를 예시하는 도면이다.

도 2는 본 발명의 실시예에 따른 퍼베이시브 컴퓨팅 장치내의 거울 시스템, 마이크로 프로젝터 및 그 결과의 분할 이미지를 예시하는 도면이다.

도 3은 본 발명의 일실시예에 따라, 사용자 입력 디스플레이 및 키 피드백을 투사하는 퍼베이시브 컴퓨팅 장치를 예시하는 도면이다.

도 4는 본 발명의 일실시예에 따라, 사용자 앞의 단일 표면상에 사용자 입력 디스플레이 및 사용자 출력 디스플레이를 투사하는 퍼베이시브 컴퓨팅 장치를 예시하는 도면이다.

본 발명은 퍼베이시브(pervasive) 컴퓨팅 장치와 같은 컴퓨팅 장치를 위해 사용자 인터페이스를 투사하기 위한 방법 및 장치, 더 구체적으로는, 사용자 입력 디스플레이 및 사용자 출력 디스플레이를 투사하기 위한 방법 및 장치를 제공한다.

예를 들어, 본 발명의 제1 측면에 따르면, 컴퓨팅 장치용 사용자 인터페이스를 제공하기 위한 기술은 다음의 단계를 포함한다. 사용자 입력 디스플레이가 제1 표면상에 컴퓨팅 장치의 프로젝터로부터 투사되고, 사용자 출력 디스플레이는 제2 표면상에 컴퓨팅 장치의 프로젝터로부터 투사된다. 제1 표면과 제2 표면은 상이한 평면상에 위치한다.

유익하게, 상기 기술은 사용자 입력 디스플레이가 사용자 출력 디스플레와 상이한 표면상에 투사되는 것을 가능케 한다. 이는 단일의 투사 이미지를 사용자 입력 디스플레이와 사용자 출력 디스플레이로 분할하는 컴퓨팅 장치의 거울 시스템의 사용을 통해 달성된다. 사용자 입력 디스플레이는 사용자와 컴퓨팅 장치사이의 편평한 수평면상에 투사되는 반면에, 사용자 출력 디스플레이는 컴퓨팅 장치 뒤쪽의 수직면상에 투사될 수 있다. 이는 사용자에게 컴퓨팅 장치가 사용될 때 여전히편안하고 통상적인 위치에 있도록 하면서 입력 및 출력 디스플레이 모두의 크기 확대라는 장점을 유지할 수 있도록 해준다.

본 발명의 제2 측면에 따르면, 컴퓨팅 장치용 사용자 인터페이스를 제공하기 위한 기술은 다음의 단계를 포함한다. 사용자 입력 디스플레이가 컴퓨팅 장치의 프로젝터로부터 표면으로 투사되고, 사용자 출력 디스플레이는 프로젝터로부터 동일한 표면상으로 투사된다. 단일 프로젝터가 사용자 입력 디스플레이 및 출력 디스플레이 모두를 위해 사용된다. 또한, 사용자 입력 디스플레이 또는 가상 키보드 이미지상에서 키스트로크가 검출되면 타이핑(typing) 피드백이 발산될 수 있다. 이러한 피드백은 오디오 및/또는 가상 포맷으로 이루어질 수 있다.

본 발명의 전술한 목적, 특징 및 장점은 예시적인 실시예에 대한 이하의 상세한 설명을 첨부된 도면과 함께 판독할 때 자명해질 것이다.

이하에 후술되는 바와 같이, 본 발명은 컴퓨팅 장치용 사용자 인터페이스를 투사하기 위한 장치 및 기법을 소개한다. 퍼베이시브 컴퓨팅 장치의 단일 프로젝터를 이용하여 사용자 입력 디스플레이는 제1 표면상에 투사되고 사용자 출력 디스플레이는 제2 표면상에 투사될 수 있다. 사용자 입력 디스플레이는 바람직하게는 가상 키보드 이미지이다. 가상 키보드는 키보드를 닮았으며, 키스트로크 검출 시스템의 지원을 통해 키보드와 동일한 기능을 수행하는 표면상의 투사 이미지이다. 실시예들은 "퍼베이시브(pervasive)" 컴퓨팅 장치를 언급하지만, 본 발명이 반드시 이에 제한되는 것은 아니며, 가상 입/출력 장치의 사용을 통해 이익을 얻을 수 있는 다른 컴퓨팅 장치들에도 구현될 수 있다.

도 1을 우선 참조하면, 도면은 본 발명의 실시예에 따라 별개의 표면상에 사용자 입력 디스플레이와 사용자 출력 디스플레이를 투사하는 퍼베이시브 컴퓨팅 장치를 예시한다. 퍼베이시브 컴퓨팅 장치(101)은 퍼베이시브 컴퓨팅 장치(101)과 사용자 사이에 있는, 퍼베이시브 컴퓨팅 장치(101) 앞의 제1 표면상에 가상 키보드 이미지(105)를 투사한다. 사용자 출력 디스플레이 이미지(104)는 퍼베이시브 컴퓨팅 장치(101)의 뒤편에 편평 가상 표면(103)상으로 투사된다. 제1 표면은 바람직하게는 제2 표면과 수직인 평면상에 위치한다. 단일의 마이크로 프로젝터(102)가 거울 시스템(도시되어 있지 않지만 도 2를 참조하여 상세히 설명됨)과 사용되어 사용자 출력 디스플레이 이미지(104)를 뒤쪽으로 반사하고 가상 키보드 이미지(105)를 사용자의 앞에 투사한다. 상이한 표면상에 2개의 이미지를 생성하기 위해 복수개의 프로젝터 시스템이 사용될 수 도 있다. 가상 키보드 이미지(105)는 또한 가상 스크래치 패드 또는 다른 포인팅 장치를 포함할 수 있다. 여러개의 마이크로 프로젝터중 하나의 예는 텍사스 인스트루먼트사(Texas Instruments)의 디지털 마이크로 미러 디스플레이(Digital Micro mirror Display:DMD)를 이용하는 프로젝션 시스템이다.

이제, 도 2를 참조하면, 상기 도면은 본 발명의 실시예에 따른 퍼베이시브 컴퓨팅 장치내의 거울 시스템, 마이크로 프로젝터 및 그 결과의 분할 이미지를 예시한다. 거울 시스템 및 마이크로 프로젝터는 컴퓨팅 장치에 통합될 수 있음을 이해할 것이다. 마이크로 프로젝터(102)로부터의 이미지는 그의 낮은 부분(202)에 있는 가상 키보드 이미지(105)와, 그의 높은 부분에 있는 사용자 출력 디스플레이이미지(104)를 포함한다. 거울 시스템의 낮은쪽 거울(204)은 윗부분(203)을 포착하여 그것을 위쪽 거울(201)에 반사하고, 이는 사용자 출력 디스플레이(104)를 후면(103)상에 투사한다. 낮은 부분(202)은, 거울 시스템(201, 204)으로부터의 간섭없이, 퍼베이시브 컴퓨팅 장치(101)의 앞에 투사된다.

동작에 있어서, 가상 키보드 이미지(105)를 갖는 투사 이미지의 낮은 부분(202)은 키스트로크 검출 시스템(미도시됨)상에 겹쳐 놓인다. 이러한 키스트로크 검출 시스템은 본 기술 분야에 공지된 것으로서 미국특허번호 제6,266,048호에 개시되어 있으며, 이는 본 명세서의 일부로서 참조된다. 이 시스템은 가상 키보드 이미지(105)가 투사되는 표면과 실질적으로 평행하게, 가상 키보드 이미지(105)의 전역에 퍼베이시브 컴퓨팅 장치(101)로부터 발산되는 레이점 빔과 관련된다. 레이저 빔이 가상 키보드 이미지(105)의 가상 키 위에서 차단될 때, 이러한 차단은 센서에 의해 검출되고, 입력은 퍼베이시브 컴퓨팅 장치에 의한 처리를 위해 생성된다. 그러나, 본 발명이 특정의 키스트로크 검출 시스템과 사용되도록 국한되는 것은 아님을 이해할 것이다.

가상 키보드 이미지(105)는 양호한 인간공학을 위한 사각형의 물리적 키보드를 시뮬레이션한다. 투사 이미지의 윗부분(203)은 컴퓨터 스크린상에 통상적으로 디스플레이되는 이미지와 동일하다. 또한, 위부분(203)은 사용자가 전통적인 컴퓨터 스크린으로 작업하는 경우에 쳐다보는 위치내에 있다. 단일 프로젝터를 사용하는 장점에 부가하여, 거울 시스템은 퍼베이시브 컴퓨팅 장치와 가상 디스플레이 표면사이에 짧은 거리만이 존재하는 경우에도 커다란 이미지가 산출될 수 있도록 또한 설계된다. 투사 이미지의 크기는 마이크로 프로젝터(102)에서 낮은쪽 거울(203), 높은쪽 거울(201) 및 가상 디스플레이 표면(103)에 이르는 전체 거리에 따라 달라진다. 거울 시스템의 폴딩 효과(folding effect)로 인하여, 이렇게 투사된 이미지의 크기는 이미지가 마이크로 프로젝터로부터 디스플레이 표면으로 직접 투사되는 경우보다 크다. 프로젝터와 거울 시스템간의 거리가 조정가능하다면 투사 이미지를 더 크게 확대하는 것도 가능하다.

도 3을 참조하면, 본 발명의 실시예에 따라 사용자 입력 디스플레이이와 키스트로크 피드백을 투사하는 퍼베이시브 컴퓨팅 장치가 도시되어 있다. 본 발명의 부가적인 개선은 키 스크로크가 키스트로크 검출 시스템에 의해 검출될 때 타이핑 피드백을 추가한 것이다. 이러한 피드백은 구성가능한 오디오 클릭 또는 가상 키보드 이미지(105) 또는 사용자 출력 디스플레이(104)중 하나 위의 가상 디스플레이일 수 있다. 실제 키의 결여로 인하여 사용자가 키 스트로크가 시스템에 입력되었는지 여부가 불확실하기 때문에 사용자에게 키(105)가 입력되었음을 알려주는 것은 필요하다. 이러한 가상 및/또는 가청 피드백은 사용자가 소정의 입력이 생성되었는지 여부를 신속하게 인식할 수 있도록 해준다. 가청 피드백은 퍼베이시브 장치(101)로부터 나오는 삑소리(beep) 또는 클릭의 형태일 수 있다. 가상 피드백은 가상 키보드 이미지(105)위의 키(106)의 색상 또는 모양을 바꾸는 것일 수 있다. 키(106)의 모양을 바꾸는 것은 도 3에 도시된 바와 같이 키를 확대하는 것을 포함한다. 가상 피드백은 또한 사용자 출력 디스플레이(104)위에 표시 심볼을 디스플레이하는 것을 포함한다. 본 발명은 키스트로크 피드백을 제공하기 위해 사용되는특정 유형의 메커니즘에 국한되는 것이 아님을 이해할 것이다.

이러한 피드백 기술은 소프트웨어 어플리케이션으로서 퍼베이시브 컴퓨팅 장치(101)내에 통합될 수 있다. 피드백 메커니즘은 또한 전술한 기능을 제공하기 위해 구성가능한 회로 또는 제어기에 의해 구현될 수도 있다.

도 4를 참조하면, 사용자 앞의 단일 표면상에 사용자 입력 디스플레이와 사용자 출력 디스플레이를 투사하는 퍼베이시브 컴퓨팅 장치가 도시되어 있다. 이 실시예는 정면 투사 시스템이다. 유익하게, 본 발명의 구성은 단일 프로젝터를 이용한다. 가상 키보드 이미지(105)는 사용자에게 근접하여 투사되고 사용자 출력 디스플레이 이미지(104)는 가상 키보드 이미지(105)와 퍼베이시브 컴퓨팅 장치(101) 사이에 투사된다. 정면 투사 시스템은 가상 키보드 이미지(105)와 상이한 평면인 별개의 표면상에 사용자 출력 디스플레이 이미지(104)를 투사할 수도 있다. 예를 들어, 퍼베이시브 컴퓨팅 장치(101)과 가상 키보드 이미지(105)는 사용자의 앞에 존재하면서, 사용자 출력 디스플레이 이미지(104)가 프레젠테이션 목적을 위해 사용자의 뒤쪽 벽에 디스플레이될 수 있다. 이러한 경우에, 퍼베이시브 컴퓨팅 장치(101)은 사용자가 출력 디스플레이 이미지(104)의 투사 경로에 있지 않도록 삼각대(tripod)에 의해 올려질 수 있다. 키스트로크 검출 시스템과 타이핑 피드백 또한 상기 시스템에 적용될 수 있다.

따라서, 전술한 바와 같이, 본 발명은 퍼베이시브 컴퓨팅 장치와 같은 컴퓨팅 장치를 위한 인터페이스를 투사하기 위한 장치 및 방법, 좀더 구체적으로는, 사용자 입력 디스플레이 및 사용자 출력 디스플레이를 투사하기 위한 장치 및 방법을 제공한다. 본 발명의 일 측면에 따르면, 사용자 입력 디스플레이와 사용자 출력 디스플레이는 상이한 표면상에 투사된다. 본 발명의 다른 특징으로는 단일 프로젝터의 이용과 키스트로크가 가상 키보드 이미지상에서 검출될 때 피드백의 방사이다. 투사식 사용자 인터페이스를 제공하기 위한 본 발명의 장치 및 방법은 PDA, 포켓 PC, 타블렛 PC, 스마트 카메라/PDA 전화와 같은 다수의 어플리케이션들에 적용될 수 있다.

본 발명의 실시예가 첨부된 도면을 참조하여 설명되었지만, 본 발명은 전술한 실시예에 국한되는 것이 아니며, 본 발명의 정신 및 범위를 벗어나지 않고 기타 다양한 변화 및 변경이 당업자에 의해 이루어질 수 있음을 이해하여야 할 것이다.