비접촉식 안경형 안구인식 장치 및 방법

비접촉식 안경형 안구인식 장치 및 방법{Apparatus and method of contactless eye recognition with glasses}

본 발명은 비접촉식 안경형 안구인식 장치 및 방법에 관한 것으로, 더욱 상세하게는 안면부에 직접적으로 접촉되지 않고 안구의 움직임 및 눈꺼풀의 깜빡임을 인식할 수 있는 비접촉식 안경형 안구인식 장치 및 방법에 관한 것이다.

인체의 평형 기능은 전정계，시각계 및 고유 감각계 의 기능이 상호 작용되어 나타나는 것으로 복잡하게 얽혀 있어 직접적인 관찰이 어렵다. 이로 인해 전정계 의 반응을 분석할 때, 자극에 따른 안구의 운동 (전정 안반사)을 평가함으로써 보다 쉽게 평형 장애를 이해하고 전정 기관의 기능 장애를 평가할 수 있다. 안구 운동을 측정하는 방법들로는 전기 안진 검사법(EOG, Electrooculography), 사진을 이용하는 방법(Photographic method), 자기장을 이용하는 방법 (SSC, Sclera search coil method), 및 영상을 이용하는 방법 (Video method)등이 있다.

한국 공개특허 제 10-2010-0061772호에 제시된 바와 같이 전기 안진 검사법은 눈을 감은 상태에서도 측정이 가능하여 현재까지 임상에서 전정 안반사의 정량적 측정이나 다른 목적의 안구 운동을 검사하는데 널리 이용되고 있다. 그러나, 실험 전 보정이 요구되고 전극을 부착해야 하는 번거로움 등의 단점이 있다.

또한, 컴퓨터의 처리 속도 향상과 진보된 신호처리기술을 기반으로 영상을 이용한 안구 운동 측정법(VOG, videooculography)이 있다. 안구 운동 측정법(VOG, videooculography)은 사진을 이용한 방법과 같이 직접적으로 안구 영상을 관찰하기 때문에 생체 전위를 이용하는 전기 안진기(EOG)나 자기장을 이용하는 방법(SSC, Sclera search coil method)과는 달리 직류 변동(drift)이나 실험실 주변의 전자기파(EMI, electoromagnetic interference) 에 의한 잡음 특성, 그리고 다른 전기 생리 신호에 의한 영향을 받지 않고, 비관혈적(non-invasive)이고 보정이 용이하다는 장점을 가지고 있다. 또한, Frenzel 안경과 동일한 기능을 가지고 안구 운동 자체를 관찰하는 방식을 취하므로 영상의 형태로 자료의 저장도 가능하여, 환자 치료와 교육에 도움을 줄 수 있다. 영상을 이용하여 3차원 안구 운동을 실시간으로 측정하는데 있어 일반적으로 이용하는 방법은 안구의 중 점을 찾고 중점을 기준으로 하여 회전 운동을 측정하는 것이다. 동공 중점을 찾는 대표적인 방법은 동공 영 상의 무게 중심점 (COG, center of gravity)을 찾는 것으로 hot & pepper noise에 강할 뿐만 아니라 빠르고 정확하게 안구의 수평과 수직 위치를 찾는다. 그러나, 눈꺼풀, 속눈썹, 혹은 광원에 의한 각막 반사(comeal reflections) 에 의해 동공의 중심을 찾는 과정에서 오차가 발생한다. 이러한 문제를 해결하고자 변형 템플렛(deformable template)방법이나 곡률(curvature)을 이용한 방법 등을 이용하여 동공을 완전한 원으로 보지 않고 타원으로 확장하여 잡음에 대한 영향을 상당히 줄였으나 계산량이 많고 계산 과정이 복 잡하며 실시간으로 처리하는 데는 어려움이 따른다.

상기와 같은 문제점을 해결하기 위해 본 발명은 사람의 자의적인 안구운동을 비접촉 방법으로 측정 가능한 비접촉식 안경형 안구인식 장치 및 방법을 제안한다.

본 발명이 해결하고자 하는 기술적 과제는 사용자의 안면부에 직접적으로 접촉하지 않고 안구의 움직임 및 눈꺼풀의 깜빡임을 인식할 수 있는 비접촉식 안경형 안구인식 장치 및 방법을 제공하는데 목적이 있다.

본 발명이 해결하고자 하는 다른 기술적 과제는 안구의 움직임 및 눈꺼풀의 깜빡임을 인식하여 안구의 움직임만으로 전자기기를 제어하거나 사용자의 졸음을 인식할 수 있는 비접촉식 안경형 안구인식 장치 및 방법을 제공하는데 목적이 있다.

상기와 같은 문제점을 해결하기 위해 본 발명은, 착용 가능한 안경부재, 상기 안경부재의 렌즈에 부착될 수 있는 투명전극을 포함하며, 한 쌍으로 형성되는 전극부재 안구의 움직임 및 눈꺼풀의 깜빡임의 특징에 대한 특징신호가 저장되는 저장부 및 상기 전극부재에서 측정되는 정정용량의 변화와 상기 저장부에 저장된 특징신호를 비교하여 안구의 움직임 및 눈꺼풀의 깜빡임을 결정하는 제어부를 포함하는 비접촉식 안경형 안구인식 장치를 제공한다.

상기 안경부재는, 사용자의 코와 접촉되어 상기 안경부재가 흘러내리는 것을 방지하기 위한 코받침을 포함하며, 상기 코받침은 전기 전도성 폼(form)으로 형성되어 상기 사용자의 코에 접지(ground)될 수 있다.

상기 전극부재는, 상기 안경부재의 일측 착용자 방향 렌즈면의 상단 및 하단에 형성되는 한 쌍의 상하 전극부재,상기 안경부재의 타측 착용자 방향 렌즈면의 좌측단과 우측단에 형성되는 한 쌍의 좌우 전극부재 및 상기 전극부재로 전달되는 외부잡음을 제거하기 위한 쉴드 전극부재 를 포함할 수 있다.

상기 쉴드 전극부재는 상기 안경부재의 착용자의 반대방향 렌즈면에 형성될 수 있다. 상기 전극부재는, 상기 렌즈에 부착 가능한 투명한 접착필름 상에 투명전극이 형성될 수 있다.

상기 투명전극은, 전도성 고분자, 그래핀(Graphene), 탄소나노듀브(CNT), 산화인듐(ITO), 금속산화물 나노와이어 및 전도성 섬유로 형성될 수 있다.

상기 전극부재는, 상기 안구와 용량성 결합(capacitive coupling)되어 형성될 수 있다.

상기 제어부는, 상기 전극부재의 정정용량 변화의 신호를 전달받기 위한 수신모듈, 상기 전달된 정전용량 변화의 신호를 1차적으로 증폭하기 위한 제 1 증폭모듈, 상기 1차적으로 증폭된 정전용량 변화의 신호의 노이즈(noise)를 제거하기 위한 필터모듈, 상기 필터링된 정전용량 변화의 신호를 2차적으로 증폭하기 위한 제 2 증폭모듈, 상기 2차적으로 증폭된 신호를 기초로 신호에 따른 특징을 추출하기 위한 특징추출모듈, 상기 증폭된 신호를 기초로 추출된 각각의 특징을 상기 저장부에 저장된 특징신호와 비교하여 상기 안구의 움직임 및 눈꺼풀의 깜빡임을 결정하는 판단모듈를 포함할 수 있다.

상기 제어부에서 결정된 안구의 움직임 및 눈꺼풀의 깜빡임을 기초로 동작될 수 있는 전자기기를 더 포함할 수 있다.

상기 제 1 증폭모듈은, 차동증폭기로 구성될 수 있다.

상기 전극부재는, 상기 렌즈의 상단 및 하단의 쌍에서 상기 안구의 깜빡임을 인식하며, 상기 렌즈의 일단 및 타단의 쌍에서 상기 안구의 움직임을 인식할 수 있다.

또한 본 발명은, 사용자의 안구의 움직임 및 눈꺼풀의 깜빡임에 의해 변화된 정전용량의 신호를 생성하는 단계, 상기 생성된 신호를 차동증폭기를 통해 1차적으로 증폭시키는 단계, 상기 1차적으로 증폭된 신호에 포함된 노이즈(noise)를 제거하는 단계, 상기 노이즈(noise)가 제거된 신호를 2차적으로 증폭시키는 단계, 상기 2차적으로 증폭된 신호의 특징을 추출하는 단계 및 상기 추출된 특징신호와 미리 저장된 특징신호와 비교하여 상기 안구의 움직임 및 눈꺼풀의 깜빡임을 결정하는 단계를 포함할 수 있다.

상기 노이즈를 제거하는 단계는, 원하는 주파수만을 통과시키는 단계를 포함할 수 있다.

상기 차동증폭기는, 고입력 임피던스 연산증폭기(high input impedance operational amplifier)일 수 있다.

상기 인식된 안구의 움직임 및 눈꺼풀의 깜빡임을 통해 사용자의 졸음을 판단하는 단계를 더 포함할 수 있다.

상기 인식된 안구의 움직임 및 눈꺼풀의 깜빡임을 통해 사용자 전자기기를 제어하는 단계를 더 포함할 수 있다.

본 발명은, 외부장비를 최소화하여 기존의 안경에 쉽게 부착 가능하여, 간단한 방법으로 사용자의 안구의 움직임 및 눈꺼풀의 깜빡임을 측정하는 것이 가능하다.

또한, 사용자와의 직접적인 접촉이 필요없어 접촉의 분리로 인해 측정시 발생하는 오류를 감소시킬 수 있으며, 투명전극을 통해 사용자의 시야를 방해하지 않고 사용자의 안구의 움직임 및 눈꺼풀의 깜빡임을 측정하는 것이 가능하다.

도 1은 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 장치를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 장치의 렌즈 및 전극부재를 도시한 단면도이다.
도 3은 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 장치의 제어부를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 방법을 도시한 순서도이다.

이하에서 첨부된 도면들을 참조하여 본 발명에 따른 비접촉식 안경형 안구인식 장치 및 방법에 대해 상세하게 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당해 기술분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 발명은, 착용 가능한 안경부재, 상기 안경부재의 렌즈에 부착될 수 있는 투명전극을 포함하며, 한 쌍으로 형성되는 전극부재, 안구의 움직임 및 눈꺼풀의 깜빡임의 특징에 대한 특징신호가 저장되는 저장부 및 상기 전극부재에서 측정되는 정정용량의 변화와 상기 저장부에 저장된 특징신호를 비교하여 안구의 움직임 및 눈꺼풀의 깜빡임을 결정하는 제어부를 포함하는 비접촉식 안경형 안구인식 장치를 제공한다.

이하, 도면을 참조하여 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 장치를 더욱 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 장치를 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 장치의 렌즈 및 전극부재를 도시한 단면도이다.

도 1 및 도 2를 참조하면, 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 장치(10)는 안경부재(100), 전극부재(200), 제어부(300), 저장부(400) 및 전자기기(500)를 포함할 수 있다.

안경부재(100)는 일반적으로 사용하고 있는 렌즈(110)를 포함하는 안경, 선글라스 및 고글 등이 될 수 있으며, 상기 안경부재(100)는 사용자의 코와 접촉되어 상기 안경부재(100)가 흘러내리는 것을 방지하기 위한 코받침(120)을 포함할 수 있다.

전극부재(200)는 상기 안경부재(100)의 렌즈(110a, 110b)에 부착 가능하며, 전기 전도성을 나타내는 물질로 구성되며, 특히 투명한 재질로 형성되어 사용자의 시야를 방해하지 않도록 구성된다. 이를 위해 전극부재(200)는 투명전극(210)으로 형성될 수 있으며, 상기 투명전극(210)은 전도성 고분자, 그래핀(Graphene), 탄소나노듀브(CNT), 산화인듐(ITO), 금속산화물 나노와이어 및 전도성 섬유로 형성될 수 있으나, 이에 제한되지 않는다.

또한, 상기 투명전극(210)은 상기 안경부재(100)에 부착될 수 있도록 부착 가능한 투명한 접착필름 상에 형성될 수 있으며, 예를 들어, 투명한 접착필름은 폴리에틸렌 필름일 수 있으나, 이에 제한되지 않으며, 투명하며 접착 가능한 필름은 모두 사용할 수 있다.

도 2를 참조하면, 특히, 상하 전극부재(200a)는 우측 렌즈(110a)의 착용자 방향의 렌즈면 상단 및 하단에 부착되어, 이는 안구의 상하 움직임 및 눈꺼풀의 깜빡임을 인식하는 수단으로 사용된다.

또한, 좌우 전극부재(200b)는 좌측 렌즈(110b)의 착용자 방향의 렌즈면 우측단 및 좌측단에 부착되어, 이는 안구의 좌우 움직임을 인식하는 수단으로 사용된다. 상기 상하 전극부재(200a) 및 좌우 전극부재(200b)는 우측 렌즈(110a) 및 좌측 렌즈(110b) 어디든 부착 가능하다.

더욱이, 쉴드 전극부재(200c)는 우측 렌즈(110a) 및 좌측 렌즈(110b)의 착용자 반대방향의 렌즈면에 부착될 수 있으며, 상기 상하 전극부재(200a) 및 좌우 전극부재(200b)에 전달되는 외부 잡음을 제거할 수 있다.

전극부재(200)는 눈꺼풀의 깜빡임 또는 안구의 움직임에 따라 정전용량이 변화되며 이를 측정하여 신호를 생성할 수 있다.

상기 안경부재(100)의 코받침(120)은 접지(ground)를 위해 사용자의 코와 접촉되며, 상기 코받침(120)은 전기 전도성 폼(form)으로 형성되어 사용자의 착용감을 우수하게 한다.

도 3은 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 장치의 제어부를 도시한 도면이다.

도 1 및 도 2와 함께 도 3을 추가적으로 참조하면, 제어부(300)는 수신모듈(310), 제 1 증폭모듈(320), 필터모듈(330), 제 2 증폭모듈(340), 특징추출모듈(350) 및 판단모듈(360)를 포함할 수 있다.

상기 수신모듈(310)는 상기 전극부재(200)에서 생성된 정정용량 변화의 신호를 전달받을 수 있다.

제 1 증폭모듈(320)는 상기 수신모듈(310)에 전달된 정정용량 변화의 신호를 전달받아 이를 증폭하기 위한 수단이다. 제 1 증폭모듈(320)는 사용자의 안구와 전극부재(200) 사이의 높은 임피던스를 극복하기 위하여 고입력 임피던스 연산증폭기(high input impedance operational amplifier)를 사용하여 수신모듈(310)에 전달된 정정용량 변화의 신호를 1차적으로 증폭시킬 수 있다.

필터모듈(330)는 제 1 증폭모듈(320)에서 증폭된 정정용량 변화의 신호에 포함된 노이즈(noise)를 제거하기 위한 수단일 수 있다. 이를 위해 상기 필터모듈(330)는 고역통과필터(HPF) 및 저역통과필터(LPF)가 결합되어 원하는 신호만 필터링 할 수 있다.

제 2 증폭모듈(340)는 상기 필터모듈(330)에서 필터링된 정정용량 변화의 신호를 2차적으로 증폭시킬 수 있다. 상기 전극부재(200)에서 생성된 정정용량 변화는 매우 작은 수치일 수 있으며, 이를 위해 2번의 증폭회로를 통해 증폭된다.

특징추출모듈(350)는 상기 제 2 증폭모듈(340)에서 증폭된 정정용량 변화의 신호를 분석하기 위한 수단이다. 특징추출모듈(350)는 2차적으로 증폭된 정전용량 변화의 신호를 분석하여 정정용량 변화의 신호에 포함된 눈꺼풀의 깜빡임 및 안구의 움직임에 연관된 특징신호를 검출할 수 있다.

판단모듈(360)은 상기 특징추출모듈(350)에서 검출된 특징신호를 저장부(400)에 미리 저장된 특징신호의 데이터 베이스와 비교하여 안구의 움직임 및 눈꺼풀의 깜빡임을 결정할 수 있다.

저장부(400)는 안구 동작에 관한 데이터, 즉, 안구의 응시 위치 및 안구의 이동 속도 중 적어도 하나에 관한 정보를 포함할 수 있다. 또한, 눈의 깜박임에 관한 데이터는 눈의 깜박임의 속도 및 눈의 깜박임의 횟수 중 적어도 하나에 관한 정보를 포함할 수 있다.

저장부(400)는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 하드 디스크 드라이브 등으로 구현될 수 있다. 프로그램 코드 및 데이터는 분리형 저장 매체에 존재할 수 있고, 필요할 때, 제어부(300) 상으로 로드 또는 설치될 수 있다. 여기서 분리형 저장 매체는 CD-ROM, PC-CARD, 메모리 카드, 플로피 디스크, 자기 테이프, 및 네트워크 컴포넌트를 포함할 수 있다.

전자기기(500)는 사용자의 안구의 동작 및 사용자의 눈의 깜박임을 감지하고, 전자기기(500)와 연결된 복수의 디바이스들은 감지된 안구 동작 및 눈꺼풀의 깜박임 정보에 기초하여 자신의 동작을 각각 제어할 수 있다. 디바이스는, 예를 들어, TV, 스마트폰, 태블릿 PC 및 PC를 포함할 수 있다. 또한, 디바이스는, 예를 들어, 노트북 컴퓨터(laptop computer), 전자북 단말기, 스마트 TV, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션을 포함할 수 있으나, 이에 제한되지 않는다. 또한, 상기 전자기기(500)는 눈꺼풀의 깜박임 정보를 기초로 사용자의 졸음 여부를 판단하고 이를 알리는 동작이 가능하다.

또한 본 발명은, 사용자의 안구의 움직임 및 눈꺼풀의 깜빡임에 의해 변화된 정전용량의 신호를 생성하는 단계, 상기 생성된 신호를 차동증폭기를 통해 1차적으로 증폭시키는 단계, 상기 1차적으로 증폭된 신호에 포함된 노이즈(noise)를 제거하는 단계, 상기 노이즈(noise)가 제거된 신호를 2차적으로 증폭시키는 단계, 상기 2차적으로 증폭된 신호의 특징을 추출하는 단계 및 상기 추출된 특징신호와 미리 저장된 특징신호와 비교하여 상기 안구의 움직임 및 눈꺼풀의 깜빡임을 결정하는 단계를 포함하는 비접촉식 안경형 안구인식 방법을 제공한다.

이하, 도면을 참조하여 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 방법을 더욱 상세하게 설명한다.

도 4는 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 방법을 도시한 순서도이다.

도 4를 참조하면, 먼저 사용자의 안구의 움직임 및 눈꺼풀의 깜빡임에 의해 변화된 정전용량의 신호를 생성한다(S100). 이때, 상기 변화된 정전용량의 신호를 생성하는 단계는, 안구의 움직임 및 눈꺼풀의 깜빡임에 따라 정전용량의 변화를 발생시키는 것으로 수행된다. 렌즈의 상부 및 하부에 부착된 투명전극은 안구의 상하 움직임 및 눈꺼풀의 깜빡임에 따라 정전용량이 변화되며, 렌즈의 좌측 및 우측에 부착된 투명전극은 안구의 좌우 움직임에 따라 정전용량이 변화되어 이를 측정함으로써 수행된다.

다음으로, 상기 생성된 신호를 차동증폭기를 통해 1차적으로 증폭시킨다(S110). 이때, 투명전극과 안구 사이의 높은 임피던스를 극복하기 위하여 고입력 임피던스 연산증폭기(high input impedance operational amplifier)를 사용하여 단계(S100)에서 생성된 정정용량 변화의 신호를 1차적으로 증폭시킨다.

다음으로, 상기 1차적으로 증폭된 신호에 포함된 노이즈(noise)를 제거한다(S120). 상기 1차적으로 증폭된 신호는 안구의 움직임 및 눈꺼풀의 깜빡임에 따라 변화된 정전용량 신호뿐만 아니라 증폭 또는 외부의 환경에 따라 발생된 노이즈(noise)를 포함하고 있기 때문에 고역통과필터(HPF) 및 저역통과필터(LPF)를 결합하여 원하는 신호만 필터링한다.

다음으로, 상기 노이즈(noise)가 제거된 신호를 2차적으로 증폭시킨다(S130). 상기 단계(S100)에서 생성된 신호는 단계(S110)에 의해 1차적으로 증폭되었으나, 상기 1차적으로 증폭된 신호는 다른 기기에 적용하기에 미약한 신호일 수 있기 때문에 상기 노이즈(noise)가 제거된 신호를 2차적으로 증폭시킨다.

다음으로, 상기 2차적으로 증폭된 신호의 특징을 추출한다(S140). 상기 2차적으로 증폭된 신호는 다른 연산을 하기에 충분한 크기로 증폭되어 있으며, 상기 2차적으로 증폭된 신호에서 안구의 움직임 및 눈꺼풀의 깜빡임에 따른 특징신호를 추출한다.

상기 추출된 특징신호와 미리 저장된 특징신호와 비교하여 상기 안구의 움직임 및 눈꺼풀의 깜빡임을 결정한다(S150). 미리 저장된 특징신호는 안구의 움직임에 따른 특징신호 및 눈꺼풀의 깜빡임에 따른 특징신호의 정보이며, 특히, 안구 동작에 관한 데이터, 즉, 안구의 응시 위치 및 안구의 이동 속도 중 적어도 하나에 관한 정보를 포함할 수 있다. 또한, 눈의 깜박임에 관한 데이터는 눈의 깜박임의 속도 및 눈의 깜박임의 횟수 중 적어도 하나에 관한 정보를 포함할 수 있다.

100: 안경부재
110: 렌즈
110a: 우측 렌즈
110b: 좌측렌즈
120: 코받침
200: 전극부재
200a: 상하 전극부재
200b: 좌우 전극부재
200c: 쉴드전극부재
210: 투명전극
300: 제어부
310: 수신모듈
320: 제 1 증폭모듈
330: 필터모듈
340: 제 2 증폭모듈
350: 특징추출모듈
360: 판단모듈
400: 저장부
500: 전자기기