증강현실 컴퓨터 장치 {AUGMENTED REALITY COMPUTER DEVICE}

본 발명은 증강현실 컴퓨터 장치에 관한 것으로 핸드폰,내비게이션, 휴대용 게임기 umpc(ultra mobile PC) 등과 같은 소형 컴퓨터의 출력 영상을 증강현실 기술을 사용하여 대형 컴퓨터의 화면처럼 안경 형태의 디스플레이 화면에 크게 표시해 줌으로써 사용자는 소형 컴퓨터의 작은 화면대신 대형 컴퓨터의 넓은 화면으로 작업이나 게임을 할 수 있는 장치이다. 증강 현실 기술은 카메라로 촬영한 실사 영상 위에 컴퓨터에의해 생성된 그래픽 이미지 등을 합성하여 출력하는 기술이다. 이때 두 그래픽 이미지를 단순히 실사영상 위의 일정한 고정된 위치에 합성하는 것이 아니라 그래픽 이미지가 마치 실재하는 물체처럼 보이게 합성하는 것이 특징이다. 예를 들어서 특정 마크가 부착된 모자를 쓰고 카메라 앞에 사람이 서있다면 카메라로 촬영한 영상에서 모자에 부착된 마크를 검출하여 그 마크 위치에 괴물얼굴을 합성하는 것 등이 있다. 이때 사람이 고개를 흔들면 합성된 괴물의 얼굴도 흔들려서 마치 진짜 괴물이 살아있는 듯한 느낌을 주게 된다. 마크는 보통 흰 여백에 검정 사각형 형태로 한다. 카메라로 촬영한 영상에서 마크의 사각형을 검출하여 사각형의 크기와 찌그러진 형태로부터 카메라와 사각형 사이의 3차원 상대 위치를 산출한다. 그리고 괴물 얼굴의 3차원 그래픽 영상을 마크 위치로 평행이동,회전이동하여 사람 얼굴위에 합성한다. 이와 같은 3차원 그래픽 영상을 화면에 표시하는 것은 3차원 게임에 사용되는 공지기술이다. 현재 핸드폰의 성능이 점차 높아짐에 따라 데스크탑 컴퓨터용 프로그램과 게임도 핸드폰에서 사용하게되는 추세이다. 그리고 이동 중에도 인터넷에 접속할 수 있는 기술(와이브로)이 개발되어 장차 핸드폰으로 장소에 구애됨 없이 인터넷에 접속하여 작업,게임 또는 웹서핑 등을 할 수 있을 것으로 예상된다. 즉 핸드폰으로 기존의 데스크탑에서 했던 모든 작업이 가능하게 될 것으로 예상된다. 그러나 핸드폰과 같은 소형 컴퓨터의 화면은 데스크탑 컴퓨터의 모니터에 비해서 매우 작아서 데스크탑에서 작업하던 프로그램의 출력 영상을 그대로 핸드폰 화면에 출력할 수 없다는 단점이 있다.

본 발명은 상기한 기존의 소형 컴퓨터의 작은 화면에 데스크탑 컴퓨터의 출력 영상과 같이 복잡하고 자세한 화면을 출력하면 소형 컴퓨터의 화면이 작아서 내용을 알아보기 어렵다는 문제를 해결하는 것을 목적으로 한다.

본 발명은 상기한 목적을 달성하기 위하여 안경형 디스플레이(head mount display, near eye display)에 착용자의 시선 방향을 촬영하도록 부착된 카메라로 사람의 시선이 향하는 방향을 촬영한 영상 위에 소형 컴퓨터의 화면을 증강현실 기술을 이용하여 합성하여 안경 형태의 디스플레이에 출력함으로써 소형 컴퓨터의 화면이 커진 것 같은 효과를 줄 수 있는 장치를 제공한다.

본 발명에 의한 증강현실 컴퓨터 장치를 사용하면 핸드폰과 같은 소형 컴퓨터의 가볍고 공간을 적게 차지하고 휴대가 편리하다는 장점을 유지하면서 데스크탑 컴퓨터의 대형 화면을 사용할 수 있어서 언제 어디서나 복잡한 화면의 프로그램을 실행시켜서 작업을 하거나 게임을 즐길 수 있다. 또한 작업중인 화면을 소형 컴퓨터 화면에는 출력하지 않고 안경형 디스플레이에만 출력하여 다른 사람이 화면을 볼 수 없게 함으로써 작업의 보안성도 유지할 수 있다. 그리고 3차원 게임을 하는 경우 안 경형 디스플레이의 좌우 눈 앞의 화면에 각각 3차원 그래픽 게임 영상의 좌우 영상을 출력함으로써 3차원 영상을 즐길 수 있다. 또한 증강 현실 기술을 이용하여 외부 영상과 소형 컴퓨터 화면의 영상이 합성되어 안경형 디스플레이에 출력되기 때문에 외부 환경에서 일어나는 위급한 상황도 즉시 감지할 수 있으므로 응급시에 안경형 디스플레이를 벗지 않고도 적절히 대응을 할 수 있다.

실시예1

본 발명에의한 증강 현실 컴퓨터 장치는 마크를 포함하는 소형 컴퓨터를 촬영하는 카메라부, 상기 카메라부에의해 촬영된 영상 이미지를 영상처리하여 마크와 카메라 사이의 3차원 상대 위치를 산출하는 이미지처리부, 카메라부에서 촬영한 영상에 이미지 처리부에서 산출된 마크의 위치정보를 사용하여 소형 컴퓨터 화면을 확대하여 마크 위치에 합성하는 영상 합성부, 영상 합성부에서 합성한 합성 영상을 출력하는 안경형 디스플레이부를 포함하는 것을 특징으로 한다. 이때 합성 영상을 출력하는 안경형 디스플레이를 착용한 사용자의 시선 방향을 촬영하는 카메라부가 안경형 디스플레이에 일체형으로 부착되는 것이 바람직하다. 그리고 마크는 소형 컴퓨터의 특징점으로 구성하는 것이 바람직하다. 예를 들면 소형 컴퓨터의 작은 사각형 화면 또는 사각형 본체의 네 꼭지점 또는 소형 컴퓨터의 작은 화면에 출력되는 사각형 마크 등이 될 수 있다.

도1은 본 발명에의한 증강현실 컴퓨터 장치의 구성을 나타낸 것이다. 도1에서 소형 컴퓨터인 핸드폰의 작은 화면(mo)을 안경형 디스플레이(ds)의 바깥 면에 안경형 디스플레이 착용자의 시선방향을 촬영하는 좌우측의 2개의 카메라(ca1,ca2)로 촬영하여 본체(con)에 촬영한 영상(cd)을 전달한다.(한개의 카메라만 사용해도 무방하다) 본체의 영상 처리 프로그램은 촬영한 이미지(cd)에서 소형 컴퓨터의 모니터를 이루는 사각형(mo) 또는 소형 컴퓨터의 본체의 특징점을 검출하여 사각형의 크기와 찌그러진 정도를 통해 카메라와 사각형 사이의 3차원 상대 위치를 측정한다. (3차원 상대 위치가 아니라 단순히 2차원 위치만 검출해도 무방하다.예를 들면 소형 컴퓨터에 특별한 패턴의 마크를 부착하고 그 위치를 영상인식을 통해 산출할 수 있다.)

카메라와 사각형 사이의 상대위치를 측정하는 수학 공식은 퍼스펙티브 n점 문제(perspective n point problem) 로 알려져 있는 공지 기술이다. 이 방법은 상 대위치가 알려진 n개의 점을 촬영하여 촬영된 n개의 점으로부터 카메라와 점 사이의 상대 위치를 구하는 문제이다. 이에 대한 설명은

http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/MARBLE/high/pia/solvi ng . htm

에서 찾을 수 있다. 사각형의 꼭지점을 특징점으로 하는 것은 위의 퍼스펙티브 n점 문제의 특별한 경우인 퍼스펙티브 4점 문제이다.

또는 좌우측 카메라 영상을 비교하여 스테레오 이미지 분석을 통해 사각형(또는 소형 컴퓨터의 위치)을 검출해도 무방하다. 또한 소형 컴퓨터에 적외선 LED를 부착하 고 촬영한 이미지에서 그 LED를 검출함으로써 LED 를 특징점으로 사용해도 무방하다. 즉 사각형 검출 방법에는 어떠한 제한도 없다. 그리고 본체(con)는 소형 컴퓨터로부터 소형 컴퓨터에서 실행되는 프로그램의 화면정보(md)를 전달 받는다.(컴퓨터 화면을 빔 프로젝터에 전달하는 것처럼 전달 받는다.) 본체(con)와 소형 컴퓨터를 일체형으로 해도 무방하다. 그러면 본체에 포함되는 마이크로 콘트롤러,컴퓨터 또는 디지털 시그널 프로세서(DSP)는 소형 컴퓨터의 화면에 출력되어야 할 영상을 카메라로 촬영한 영상 위에 확대,평행이동,아핀 변환등을 한 후 합성하여 안경형 디스플레이(ds)에 전달한다. 이때 두 영상을 합성할 때 안경형 디스플레이를 착용한 사용자가 합성된 영상을 보았을 경우 합성된 소형 컴퓨터의 화면(amo)이 마치 실제 소형 컴퓨터 화면이 있는 위치에서 확대된 것처럼 보이도록 합성하는 것이 바람직하다. 즉 안경형 디스플레이를 착용한 사용자가 소형 컴퓨터를 들고 흔들면 그 소형 컴퓨터의 모니터(mo)에 부착된 확대 합성된 디스플레이 영상(amo)도 마치 소형 컴퓨터에 부착된 물리적인 큰 디스플레이 인 것처럼 같이 흔들리게 영상을 합성한다. 도1에는 합성된 소형 컴퓨터의 화면(amo)이 실제 소형 컴퓨터 화면(mo)에 확대 부착된 것으로 표시되어있다. 즉 사용자는 소형 컴퓨터 화면(mo)대신 확대된 큰 화면(amo)를 안경형 디스플레이(ds)를 통해 보게 된다. 화재나 사고 발생시에는 소형 컴퓨터를 아래로 내리면 시야에서 큰 합성 화면(amo)도 내려가므로 주변 환경을 보고 즉시 대피할 수 있다. (이에 비해 기존 안경형 디스플레이에 컴퓨터 화면을 출력하는 경우 시야 전체에 컴퓨터 화면이 출력되기 때문에 주변을 보려면 안경형 디스플레이를 벗어야 하는 불편함이 있다.)카메라로 촬영한 영상에서 소형 컴퓨터 의 위치를 찾기 쉽게 하기 위하여 소형 컴퓨터의 모니터(mo)에 특징점을 나타내는 적당한 마크를 출력하거나 소형 컴퓨터에 적외선 led 와 같은 마크를 부착해도 무방하다. 또한 데스크 탑 컴퓨터에 사용되는 키보드와 마우스 그리고 스타일러스 펜등의 영상을 합성하는 것도 무방하다. 이때 합성된 키보드 영상을 손가락으로 누르면 이미지 처리부에서는 촬영된 좌우측 카메라의 스테레오 이미지에서 손의 움직임을 검출하여 키 입력이 되게 하고, 합성된 마우스를 손으로 움직이면 마우스 포인터가 이동하게 하는 것이 바람직하다. 또한 합성된 영상의 스타일러스 펜을 움직여서 글씨를 쓰거나 그림을 그리면 합성 영상으로 그 글씨나 그림이 표시되게 하는 것이 바람직하다.

실시예2

도2에는 이미지 처리부에서 소형 컴퓨터의 화면을 인식하기 쉽도록 소형 컴퓨터의 화면(mo)에 중심이 일치하는 두 사각형으로된 마크(mk1,mk2,mk3)를 출력한 모습이다. 이미지 처리부에서는 촬영된 이미지에서 이러한 마크(mk1,mk2,mk3)를 인식하여 소형 컴퓨터와 카메라 사이의 3차원 상대 위치를 산출한다. 마크는 3개의 부분으로 나뉘어져 있다. 제1마크(mk1)는 중심에 사각형 구멍이 있는 도너츠 모양의 검정 사각형이고 ,제2마크(mk2)는 제1마크와 중심이 일치하는 작은 검정 사각형이다. 제3마크(mk3)는 다른 두 마크(mk1,mk2)의 아래쪽에 위치하여 전체 마크의 아래 방향을 나타낸다. 이미지 처리부에서는 촬영된 이미지에서 사각형 속에 중심이 일치하는 작은 사각형이 있는 영역을 검출한 후 그 주변에 제3 마크가 있는지를 조사함으로써 전체 마크의 위치와 방향을 알 수 있다. 또한 마크 영역에서 경계선 검출을 한 후 허프 변환으로 직선을 구해서 제1마크의 네 변을 구할 수 있다. 그러면 네 변의 교점으로부터 제1마크의 네 꼭지점을 구할 수 있다. 이때 제1마크의 크기(네 변의 길이)는 정해져 있으므로 퍼스펙티브n점 문제(perspective n point problem) 의 공식을 이용하여 카메라와 마크 사이의 3차원 상대 위치를 산출 할 수 있다. 여기서 설명한 마크(mk1,mk2,mk3)는 하나의 예일 뿐 실제로는 주변 환경으로부터 쉽게 구별하여 인식할 수 있는 형태라면 어떠한 도형을 마크로 사용해도 무방하다. 예를 들어서 화면 전체에 수직선으로 된 빗살 무늬나 흑백 사각형이 번갈아 배치된 체스판 형태의 무늬라도 무방하다.

실시예3

도3은 실시예2의 사각형 마크를 변형한 예이다.

도3에서 사각형 마크(mk1)의 기준점을 나타내기 위해 도너츠 모양의 사각형(mk1)의 한 변의 형태(mk4)를 다르게 형성했다. 즉 실시예2의 mk3 의 역할을 본 실시예 에서는 mk4 가 하게 된다.

실시예4

소형 컴퓨터의 디스플레이의 사각형 테두리를 마크로 사용할 수도 있다. 이 경우 영상 처리부에서는 소형 컴퓨터의 3d 모델 정보를 이용하여 촬영된 영상에서 소형 컴퓨터를 인식할 수도 있고 두 개의 스테레오 카메라(ca1,ca2) 영상을 분석해서 소형 컴퓨터를 인식할 수도 있다.

도1은 본 발명의 구성도

도2는 소형 컴퓨터 화면에 마크가 출력되는 모습

도3은 소형 컴퓨터 화면에 변형된 마크가 출력되는 모습

<도면 주요부호의 설명>

amo : 확대 합성된 소형 컴퓨터의 디스플레이 영상

ca1,ca2 : 카메라 ds : 안경형 디스플레이

con : 본체 mo : 소형 컴퓨터 디스플레이

md : 소형 컴퓨터 디스플레이 영상 정보

cd : 카메라로 촬영한 영상 정보

ar : 합성된 영상 정보

mk1,mk2,mk3,mk4 : 화면에 출력되는 마크