시각장애인용 보조 장치 및 그 제어 방법{ASSIST APPARATUS FOR VISUALLY HANDICAPPED PERSON AND CONTROL METHOD THEREOF}
본 발명은 시각장애인용 보조 장치 및 그 제어 방법에 관한 기술에 속한다.
시각장애인은 시력에 문제가 존재하여 전방을 식별하지 못하는 사람을 의미한다. 상기 시각장애인은 지팡이와 같은 물건에 의지하여 전방을 감지할 수 밖에 없다. 특히 상기 지팡이의 경우에는 상기 시각장애인의 전방에 장애물이 존재하는지의 여부만을 알려줄 뿐이다. 따라서, 상기 지팡이를 이용하는 시각장애인은 상기 장애물의 유무만을 알 수 있으므로, 그 이외의 판단은 하지 못한다. 따라서, 시각장애인이 전방을 보다 효율적으로 감지하여, 능동적으로 전방을 판단하는 방법을 제공하는 기술이 필요한 실정이다.
본 발명의 일 실시예는 생성된 3D 데이터에 포함된 거리 값을 높이 값으로 변환하여, 상기 높이 값으로 상기 돌기부를 돌출시키거나 응축시켜 시각장애인과 같은 사용자가 상기 돌기부를 촉각으로 인지하여, 전방의 장애물을 능동적으로 회피할 수 있는 시각장애인용 보조 장치 및 그 제어 방법을 제공한다.
본 발명의 일 실시예에 따른 시각장애인용 보조 장치는 전방의 지형에 대한 거리 값을 포함하는 깊이 영상을 취득하는 센서부를 포함하는 영상 취득부;와 상기 영상 취득부가 지표면에 대해 기울어진 각도를 검출하는 중력 센서;와 평면판에 형성되어 돌출하는 돌기부;와 모터를 구동하여 상기 돌기부를 돌출시키거나 응축시키는 모터 드라이브;와 상기 중력 센서로부터 수신한 상기 각도와 상기 영상 취득부로부터 수신한 상기 깊이 영상을 이용하여 3D 데이터를 생성하고, 상기 3D 데이터에 포함된 거리 값을 높이 값으로 변환하고, 상기 높이 값으로 상기 돌기부를 돌출시키거나 응축시키도록 상기 모터 드라이브를 제어하는 프로세서를 포함할 수 있다. 본 발명의 일 실시예에 따른 시각장애인용 보조 장치의 제어 방법은 영상 취득부에 포함된 센서부를 통하여 전방의 지형에 대한 거리 값을 포함하는 깊이 영상을 취득하는 과정; 중력 센서를 통하여 상기 영상 취득부가 지표면에 대해 기울어진 각도를 검출하는 과정; 상기 중력 센서로부터 수신한 상기 각도와 상기 영상 취득부로부터 수신한 상기 깊이 영상을 이용하여 3D 데이터를 생성하는 과정; 상기 3D 데이터에 포함된 거리 값을 높이 값으로 변환하는 과정; 상기 높이 값으로 상기 돌기부를 돌출시키거나 응축시키도록 상기 모터 드라이브를 제어하는 과정을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 생성된 3D 데이터에 포함된 거리 값을 높이 값으로 변환하여, 상기 높이 값으로 상기 돌기부를 돌출시키거나 응축시켜 시각장애인과 같은 사용자가 상기 돌기부를 촉각으로 인지하여, 전방의 장애물을 능동적으로 회피할 수 있는 이점이 있다. 본 발명의 일 실시예에 따르면, 전방에 장애물이 다가올수록 복수개의 돌기부를 돌출시켜 시각장애인과 같은 사용자가 상기 장애물을 감지할 수 있는 이점이 있다. 본 발명의 일 실시예에 따르면, 전방의 장애물이 가까워질수록 복수개의 돌기부를 순차적으로 돌출시켜 시각장애인과 같은 사용자가 상기 장애물이 점점 가까워짐을 감지할 수 있는 이점이 있다. 본 발명의 다른 실시예에 따르면, 상기 센서부에 수평하게 부착되어 상기 센서부의 지표면에 대해 기울어진 각도를 일정하게 유지시키는 상기 서보 모터를 더 포함할 수 있다. 본 발명의 다른 실시예에 따르면, 시각장애인과 같은 사용자가 시각장애인용 보조 장치를 휴대하고 보행할 시, 보행으로 인하여 상기 시각장애인용 보조 장치가 아래 위로 흔들리는 경우에도, 상기 시각장애인용 보조 장치에 포함된 상기 센서부가 미리 설정된 각도의 범위 내로 일정하게 위치시킬 수 있는 이점이 있다. 본 발명의 다른 실시예에 따르면, 시각장애인과 같은 사용자가 보행시에도, 상기 센서부의 위치가 일정하게 유지됨으로써, 상기 센서부의 센싱의 정확도가 향상될 수 있는 이점이 있다. 본 발명의 또 다른 실시예에 따르면, 상기 프로세서는 상기 장애물에 의해 가려진 영역에 대한 깊이 영상을 생성하거나, 상기 센서부의 화각의 범위 밖에 대한 깊이 영상을 생성할 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 시각장애인용 보조 장치의 예시도이다.
도 2는 본 발명의 일 실시예에 따른 시각장애인용 보조 장치의 예시도이다.
도 3은 본 발명의 일 실시예에 따른 시각장애인용 보조 장치의 돌기부에 대한 예시도이다.
도 4 내지 도 8은 본 발명의 일 실시예에 따른 시각장애인용 보조 장치의 예시도이다.
도 9는 본 발명의 다른 실시예에 따른 시각장애인용 보조 장치의 예시도이다.
도 10 내지 도 11은 본 발명의 또 다른 실시예에 따른 시각장애인용 보조 장치의 예시도이다.
도 12는 본 발명의 일 실시예에 따른 시각장애인용 보조 장치의 제어 방법에 관한 순서도이다.
본 발명의 일 실시예에 따른 시각장애인용 보조 장치는 전방의 지형에 대한 거리 값을 포함하는 깊이 영상을 취득하는 센서부를 포함하는 영상 취득부(100);와 상기 영상 취득부가 지표면에 대해 기울어진 각도를 검출하는 중력 센서(140);와 평면판에 형성되어 돌출하는 돌기부(320);와 모터를 구동하여 상기 돌기부를 돌출시키거나 응축시키는 모터 드라이브(310);와 상기 중력 센서로부터 수신한 상기 각도와 상기 영상 취득부로부터 수신한 상기 깊이 영상을 이용하여 3D 데이터를 생성하고, 상기 3D 데이터에 포함된 거리 값을 높이 값으로 변환하고, 상기 높이 값으로 상기 돌기부를 돌출시키거나 응축시키도록 상기 모터 드라이브를 제어하는 프로세서(200)를 포함할 수 있다. 도 1 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 시각장애인용 보조 장치를 설명하고자 한다. 상기 영상 취득부(100)는 전방의 지형(400)에 대한 거리 값을 포함하는 깊이 영상을 취득할 수 있다. 이때, 상기 영상 취득부(100)는 3D 센서 또는 스테레오 카메라 중에서 적어도 하나로 형성된 센서부(120)를 포함할 수 있다. 상기 3D센서는 렌즈에서 전자기파를 발사한 뒤 재수신하여 전방의 지형을 감지하는 수단을 의미할 수 있다. 예를 들어, 상기 3D 센서에서 발사되는 상기 전자기파는 적외선일 수 있다. 이때, 상기 3D 센서는 상기 영상 취득부(100)의 전방에 위치한 지형에 대한 3차원의 거리 값을 생성할 수 있다. 그리고, 상기 3D 센서는 상기 3차원의 상기 거리 값으로 상기 깊이 영상을 생성할 수 있다. 이때, 상기 깊이(depth) 영상은 상기 영상 취득부(100)의 전방에 위치한 지형에 대한 3차원의 거리 값으로 표현된 이미지일 수 있다. 아울러, 상기 스테레오 카메라는 렌즈를 통해 촬영한 이미지를 통하여 전방의 지형을 감지하는 수단을 의미할 수 있다. 이때, 상기 스테레오 카메라도 상기 이미지를 분석하여 상기 영상 취득부(100)의 전방에 위치한 지형에 대한 3차원의 거리 값을 생성할 수 있다. 그리고, 상기 스테레오 카메라도 상기 3차원의 상기 거리 값으로 상기 깊이 영상을 생성할 수 있다. 따라서, 상기 3D 센서 또는 상기 스테레오 카메라 중에서 적어도 하나로 형성된 상기 센서부(120)를 포함한 상기 영상 취득부(100)는 전방의 지형에 대한 거리 값을 포함하는 깊이 영상을 취득할 수 있다. 이때, 상기 센서부(120)의 전면에는 렌즈(110)가 형성될 수도 있다. 그리고, 상기 렌즈(110)는 복수개일 수 있다. 아울러 상기 센서부(120)의 전면은 세로보다 가로가 더 길게 형성되어 상기 복수의 렌즈들(112, 114, 116)을 가로로 각각 전면에 위치시킬 수 있다. 따라서, 상기 센서부(120)의 전면에 형성된 상기 렌즈(110)를 통하여, 상기 센서부(120)는 상기 영상 취득부(100)의 전면의 지형을 감지할 수 있다. 상기 연결부(130)는 상기 센서부(120)와 상기 지지대(150)를 연결시킬 수 있다. 즉, 상기 연결부(130)는 상기 센서부(120)의 후면에 부착될 수 있다. 그리고, 상기 연결부(130)는 상기 지지대(150)의 전면에 부착될 수 있다. 따라서, 상기 연결부(130)는 상기 센서부(120)와 상기 지지대(150)의 일면에 각각 부착되어, 상기 상기 센서부(120)와 상기 지지대(150)를 연결할 수 있다. 상기 지지대(150)는 평면판으로 형성될 수 있다. 그리고 상기 지지대(150)의 전면은 상기 연결부(130)에 부착될 수 있다. 아울러, 상기 지지대(150)의 후면은 시각장애인과 같은 사용자의 전면에 접할 수 있다. 따라서, 상기 지지대(150)의 후면이 상기 사용자의 전면에 접하게 되면, 상기 지지대(150)와 연결된 상기 센서부(120)는 상기 사용자의 전면에 위치한 지형을 감지할 수 있게 된다. 상기 중력 센서(140)는 상기 영상 취득부(100)가 지표면에 대해 기울어진 각도를 검출할 수 있다. 이때, 상기 중력 센서(140)는 상기 연결부(130)의 상단에 부착될 수 있다. 따라서, 상기 영상 취득부(100)가 지표면에 대하여 기울어지게 되면, 상기 중력 센서(140)도 동일하게 기울어지게 된다. 이때, 상기 중력 센서(140)는 지표면에 대해 기울어진 각도를 추출할 수 있다. 그리고, 상기 중력 센서(140)는 상기 연결부(130)의 상단에 부착되어 있으므로, 상기 추출된 각도는 상기 영상 취득부(100)의 지표면에 대해 기울어진 각도가 될 수 있다. 따라서, 상기 중력 센서(140)는 상기 영상 취득부(100)가 지표면에 대해 기울어진 각도를 검출할 수 있다. 상기 지팡이(300)는 상기 시각장애인과 같은 사용자가 땅을 지지하는 막대기로 형성될 수 있다. 그리고 상기 지팡이(300)는 손잡이를 포함할 수 있다. 그리고, 상기 손잡이에 모터 드라이브(310)와 돌기부(320)가 형성된 평면판(330)이 포함될 수 있다. 상기 모터 드라이브(310)는 모터를 구동하여 상기 돌기부(320)를 돌출시키거나 응축시킬 수 있다. 그리고 상기 돌기부(320)는 상기 평면판(330)에 형성되어 돌출하거나 응축할 수 있다. 도 3을 참조하면, 상기 돌기부(320)는 복수개일 수 있다. 그리고, 상기 복수개의 돌기부(320)는 상기 평면판(330)에 2차원으로 배치될 수 있다. 이때, 상기 평면판(330)는 상기 시각장애인과 같은 사용자(500)의 손가락의 지문이 형성된 영역의 크기와 유사한 크기로 형성될 수 있다. 따라서, 상기 복수개의 돌기부들(320)이 돌출되거나 응축하면, 상기 사용자는 상기 손가락을 통하여 상기 복수개의 돌기부들(320)의 돌출 또는 응축을 감지할 수 있다. 도 2를 참조하면, 상기 사용자는 상기 지팡이(300)의 손잡이를 손으로 잡고, 손가락 중 하나 예를 들어 엄지 손가락을 상기 평면판(330)에 위치시킬 수 있다. 이때, 상기 사용자는 상기 지팡이(300)를 잡으면서 동시에 상기 복수개의 돌기부들(320)의 돌출 또는 응축을 감지할 수 있다. 상기 프로세서(200)는 상기 중력 센서(140)로부터 수신한 상기 각도와 상기 영상 취득부(100)로부터 수신한 상기 깊이 영상을 이용하여 3D 데이터를 생성할 수 있다. 이때, 상기 프로세서(200)는 상기 영상 취득부(100)가 기울어진 각도를 상기 깊이 영상에 대응하여 상기 3D 데이터를 생성할 수 있다. 상기 깊이 영상은 상기 영상 취득부(100)가 기울어진 경우에 생성될 수 있다. 따라서, 상기 3D 데이터를 생성하는 경우, 상기 깊이 영상이 기울어진 정도를 고려할 필요가 있다. 따라서, 상기 프로세서(200)는 상기 영상 취득부(100)가 지표면에 대하여 기울어진 정도를 고려하여 상기 3D 데이터를 생성할 수 있다. 그러므로, 생성된 상기 3D 데이터는 상기 영상 취득부(100)가 기울어진 정도가 고려된 정확도가 높은 데이터일 수 있다. 그리고, 상기 프로세서(200)는 상기 3D 데이터에 포함된 거리 값을 높이 값으로 변환할 수 있다. 상기 3D 데이터는 상기 영상 취득부(100)로부터 상기 지형(400)까지의 거리 값이 3차원으로 형성된 데이터일 수 있다. 따라서 상기 거리 값은 상기 시각장애인과 같은 사용자(500)로부터 장애물과 같은 상기 지형(400)까지의 거리일 수 있다. 따라서, 상기 3D 데이터는 상기 사용자로부터 상기 장애물까지의 거리 값이 3차원으로 형성된 데이터일 수 있다. 이때, 상기 프로세서(200)는 상기 3D 데이터에 포함된 거리 값을 상기 돌기부(320)가 돌출하는 높이 값으로 변환할 수 있다. 예를 들어, 상기 프로세서(200)는 상기 장애물까지의 상기 거리 값이 작을수록, 상기 돌기부(320)가 돌출하는 상기 높이 값을 크게할 수 있다. 그리고, 상기 프로세서(200)는 상기 높이 값을 포함하는 모터 제어 신호를 생성할 수 있다. 즉 상기 모터 제어 신호는 상기 돌기부(320)가 돌출하는 높이 값이 포함될 수 있다. 그리고, 상기 프로세서(200)는 상기 모터 제어 신호를 상기 모터 드라이브(310)로 전송할 수 있다. 이때, 상기 모터 드라이브(310)는 상기 모터 제어 신호를 수신할 수 있다. 그리고, 상기 모터 드라이브(310)는 상기 모터 제어 신호에 포함된 상기 높이 값으로 모터를 구동하여 상기 돌기부(320)를 돌출시키거나 응축시킬 수 있다. 따라서, 상기 프로세서(200)는 상기 높이 값으로 상기 돌기부(320)를 돌출시키거나 응축시키도록 상기 모터 드라이브(310)를 제어할 수 잇다. 예를 들어, 도 4를 참조하면, 상기 프로세서(200)는 상기 모터 드라이브(310)에 상기 높이 값이 포함된 상기 모터 제어 신호를 전송하여 상기 돌기부(320)를 돌출시키거나 응축시킬 수 있다. 상기 프로세서(200)는 예를 들어, 상기 장애물까지의 상기 거리 값이 작을수록, 상기 돌기부(320)가 돌출하는 상기 높이 값을 크게하는 상기 모터 제어 신호를 상기 모터 드라이브(310)로 전송할 수 있다. 도 4a를 참조하면, 상기 장애물(400)과 상기 영상 취득부(100) 사이의 상기 거리 값은 L1일 수 있다. 한편, 도 5a를 참조하면, 상기 장애물(400)과 상기 영상 취득부(100) 사이의 상기 거리 값은 L2일 수 있다. 이때 상기 L1이 상기 L2보다 더 길다. 따라서, 상기 L1에 대응하는 상기 돌기부가 돌출하는 상기 높이 값(h1)보다 상기 L2에 대응하는 높이 값(h2)를 더 높게 제어할 수 있다. 예를 들어, 도 4b를 참조하면 상기 평면판(330)에 형성된 상기 돌기부(320)는 도 3에서 설명한 바와 같이 복수개일 수 있다. 그리고 상기 복수개의 돌기부들(320)은 x행과 y열로 배열될 수 있다. 예를 들어, 상기 복수개의 돌기부들(320)은 x1, x2, x3행과 y1, y2, y3, y4열로 배열될 수 있다. 이때, 상기 프로세서(200)는 상기 거리 값이 작을수록, 상기 x행 중에서 상기 장애물(400)에 가까이에 형성된 x행에 형성된 돌기부를 먼저 돌출시킬 수도 있다. 예를 들어, 도 4b와 같이, 상기 프로세서(200)는 도 4a에서 상기 장애물(400)이 상기 영상 취득부(100)가 가까워질 수록 상기 장애물(400)에 가장 가까이 형성된 x1행의 돌기부를 먼저 돌출시킬 수 있다. 그리고, 예를 들어, 도 5b와 같이, 상기 프로세서(200)는 도 5a에서 상기 장애물(400)과 상기 영상 취득부(100)사이의 상기 거리 값이 도 4a보다 더 작은(가까운) 경우 x1행에 형성된 돌기부뿐만 아니라 x2행에 형성된 돌기부도 순차적으로 돌출시킬 수 있다. 즉, 상기 프로세서(200)는 상기 장애물(400)과 상기 영상 취득부(100)사이의 상기 거리 값이 점점 가까워질수록, 상기 장애물(400)에 가장 가까이 형성된 복수의 돌기부들을 순차적으로 돌출시킬 수 있다. 따라서, 시각장애인과 같은 상기 사용자는 전방에 장애물이 다가오기 시작할 때, 상기 장애물에서 가까운 돌기부가 돌출됨을 감지하여 상기 장애물을 인지하기 시작할 수 있다. 그리고, 상기 장애물이 점점 더 가까워지는 경우, 상기 장애물에서 가장 가까운 돌기부뿐만 아니라 그 다음 돌기부가 돌출됨을 감지하여, 상기 장애물이 점점 더 가까워짐을 감지할 수 있다. 따라서, 본 발명의 일 실시예에 따르면, 전방에 장애물이 다가올수록 복수개의 돌기부를 돌출시켜 시각장애인과 같은 사용자가 상기 장애물을 감지할 수 있는 이점이 있다. 아울러, 본 발명의 일 실시예에 따르면, 전방의 장애물이 가까워질수록 복수개의 돌기부를 순차적으로 돌출시켜 시각장애인과 같은 사용자가 상기 장애물이 점점 가까워짐을 감지할 수 있는 이점이 있다. 그리고, 상기 프로세서(200)는 상기 영상 취득부(100)의 화각의 일측에 상기 장애물(400)이 감지되면, 복수개의 돌기부들 중에서 상기 화각의 일측에 대응하는 돌기부들을 먼저 돌출시킬 수 있다. 예를 들어, 도 6a에서는, 상기 영상 취득부(100)의 화각(610)의 좌측(612)에 상기 장애물(400)의 감지가 시작되고 있다. 이때, 상기 프로세서(200)는 상기 화각(610)의 좌측(612)에 대응하는 상기 평면판(330)의 좌측인 y1열의 돌기부들을 도 6b와 같이 먼저 돌출시킬 수 있다. 따라서, 상기 장애물이 좌측에서 가까워지는 경우, 상기 프로세서(200)는 좌측에 형성된 상기 돌기부들을 먼저 돌출시킬 수 있다. 그러므로, 시각장애인과 같은 사용자는 좌측에 형성된 상기 돌기부들이 먼저 돌출됨을 감지하여, 자신의 좌측에서 장애물이 접근하고 있음을 인지할 수 있다. 다른 예를 들어, 도 6a에서는, 상기 영상 취득부(100)의 화각(620)의 모두에 상기 장애물(400)의 감지가 시작되고 있다. 이때, 상기 프로세서(200)는 상기 화각(620)의 모두에 대응하는 상기 평면판(330)의 모든 측인 y1열, y2열, y3열의 돌기부들을 도 7b와 같이 돌출시킬 수 있다. 따라서, 상기 장애물이 정면에서 가까워지는 경우, 상기 프로세서(200)는 모든 측에 형성된 상기 돌기부들을 돌출시킬 수 있다. 그러므로, 시각장애인과 같은 사용자는 모든 측에 형성된 상기 돌기부들이 돌출됨을 감지하여, 자신의 정면에서 장애물이 접근하고 있음을 인지할 수 있다. 다른 예를 들어, 도 8a에서는, 상기 영상 취득부(100)의 화각(630)의 우측(634)에 상기 장애물(400)의 감지가 시작되고 있다. 이때, 상기 프로세서(200)는 상기 화각(630)의 우측(634)에 대응하는 상기 평면판(330)의 우측인 y3열의 돌기부들을 도 8b와 같이 먼저 돌출시킬 수 있다. 따라서, 상기 장애물이 우측에서 가까워지는 경우, 상기 프로세서(200)는 우측에 형성된 상기 돌기부들을 먼저 돌출시킬 수 있다. 그러므로, 시각장애인과 같은 사용자는 우측에 형성된 상기 돌기부들이 먼저 돌출됨을 감지하여, 자신의 우측에서 장애물이 접근하고 있음을 인지할 수 있다. 따라서, 본 발명의 일 실시예에 따르면, 생성된 3D 데이터에 포함된 거리 값을 높이 값으로 변환하여, 상기 높이 값으로 상기 돌기부를 돌출시키거나 응축시켜 시각장애인과 같은 사용자가 상기 돌기부를 촉각으로 인지하여, 전방의 장애물을 능동적으로 회피할 수 있는 이점이 있다. 본 발명의 다른 실시예는 상기 센서부에 수평하게 부착되어 상기 센서부의 상기 각도를 조절하는 서보 모터(Servo motor, 130)를 더 포함할 수 있다. 상기 서보 모터는 상기 센서부의 지표면에 대해 기울어진 각도를 일정하게 유지시키는 모터를 의미할 수 있다. 도 9a를 참조하면, 상기 서보 모터(130)는 상기 영상 취득부(100)에 포함된 상기 센서부(120)에 수평하게 부착될 수 있다. 그리고 상기 서보 모터(130)는 상기 지지대(150)에도 부착될 수 있다. 따라서 상기 서보 모터(130)의 일측은 상기 센서부(120)에 수평하게 부착되고, 동시에 상기 서보 모터(130)의 타측은 상기 지지대(150)에 부착될 수 있다. 그리고, 상기 서보 모터(130)에는 모터가 형성될 수 있다. 따라서, 상기 서보 모터(130)는 상기 모터를 구동하여 상기 센서부(120)의 각도를 변경시킬 수 있다. 이때, 도 1을 다시 참조하면, 상기 서보 모터(130)의 상단에는 상기 센서부가 지표면에 대해 기울어진 각도를 검출하는 중력 센서(140)가 부착될 수 있다. 그리고, 상기 프로세서(200)는 상기 중력 센서(140)로부터 상기 센서부(120)가 지표면에 대해 기울어진 각도에 관한 데이터를 수신할 수 있다. 그리고, 상기 프로세서(200)는 상기 수신된 각도가 미리 설정된 각도의 범위 밖에 있는 경우, 상기 센서부(120)가 미리 설정된 각도의 범위 내로 위치하도록 상기 서버 모터(130)를 제어하여 구동시킬 수 있다. 예를 들어, 도 9a를 참조하면, 상기 중력 센서(140)는 상기 센서부(120)가 상기 지표면(710)에 대해 기울어진(710에서 712까지) 각도(A1, 714)를 검출할 수 있다. 만약, 시각장애인과 같은 상기 사용자가 도 9b와 같이 몸을 전방으로 기울이는 경우, 상기 영상 취득부(100)에 포함된 상기 센서부(120)도 아래로 기울어지게 된다(상기 센서부는 122에 위치함). 이때, 상기 중력 센서(140)는 상기 센서부(120)가 지표면(710)에 대해 기울어진 각도를 검출할 수 있다. 예를 들어, 도 9b와 같이, 상기 검출된 각도는 상기 지표면(710)에서 상기 센서부가 기울어진 위치(716)까지의 A1 과 A2가 합쳐진 각도일 수 있다. 상기 검출된 각도(A1+A2)는 예를 들어, 45도(degree)일 수 있다. 이때, 상기 프로세서(200)는 상기 검출된 각도를 상기 중력 센서(140)로부터 수신할 수 있다. 그리고, 상기 프로세서(200)는 상기 수신된 각도가 미리 설정된 각도의 범위 밖에 있는 경우, 상기 센서부(120)가 미리 설정된 각도의 범위 내로 위치하도록 상기 서버 모터(130)를 제어하여 구동시킬 수 있다. 그런데 상기 미리 설정된 각도의 범위는 15도(A1)일 수 있다. 따라서, 상기 프로세서(200)는 상기 센서부(120)가 15도(A1)와 같은 상기 미리 설정된 각도의 범위 내로 위치하도록 상기 서버 모터(130)를 제어할 수 있다. 이때, 상기 프로세서(200)는 모터 제어 신호를 생성하여 상기 서버 모터(130)에 전송할 수 있다. 예를 들어, 상기 프로세서(200)는 상기 센서부(120)를 30도(A2)만틈 상향(720)으로 위치시키는 명령을 포함하는 상기 모터 제어 신호를 생성하여 상기 서버 모터(130)에 전송할 수 있다. 그리고, 상기 서버 모터(130)는 상기 모터 제어 신호를 수신할 수 있다. 그리고, 상기 서버모터(130)는 수신한 상기 모터 제어 신호에 따라 상기 모터를 구동하여 상기 센서부(120)의 각도를 변경할 수 있다. 예를 들어, 상기 서버 모터(130)는 상기 모터를 구동하여 상기 센서부(120)의 각도를 30도(A2)만틈 상향(720)으로 변경시킬 수 있다. 따라서, 상기 센서부(120)는 122 위치에서 121 위치로 상향으로 각도가 변경될 수 있다. 그러므로 상기 센서부(120)는 상기 미리 설정된 각도의 범위 내로 위치할 수 있다. 따라서, 본 발명의 다른 실시예에 따르면, 상기 센서부에 수평하게 부착되어 상기 센서부의 지표면에 대해 기울어진 각도를 일정하게 유지시키는 상기 서보 모터를 더 포함할 수 있다. 그러므로, 본 발명의 다른 실시예에 따르면, 시각장애인과 같은 사용자가 시각장애인용 보조 장치를 휴대하고 보행할 시, 보행으로 인하여 상기 시각장애인용 보조 장치가 아래 위로 흔들리는 경우에도, 상기 시각장애인용 보조 장치에 포함된 상기 센서부가 미리 설정된 각도의 범위 내로 일정하게 위치시킬 수 있는 이점이 있다. 따라서, 본 발명의 다른 실시예에 따르면, 시각장애인과 같은 사용자가 보행시에도, 상기 센서부의 위치가 일정하게 유지됨으로써, 상기 센서부의 센싱의 정확도가 향상될 수 있는 이점이 있다. 본 발명의 또 다른 실시예에 따르면, 상기 프로세서는 상기 장애물에 의해 가려진 영역에 대한 깊이 영상을 생성하거나, 상기 센서부의 화각의 범위 밖에 대한 깊이 영상을 생성할 수 있다. 도 10과 도 11을 참조하여, 본 발명의 또 다른 실시예를 설명하고자 한다. 도 10과 도 11을 참조하면, 상기 영상 취득부(100)에는 상기 센서부(120)가 포함될 수 있다. 상기 센서부(120)는 도 1에서 설명한 바와 같이, 3D 센서 또는 스테레오 카메라 중에서 적어도 하나로 형성될 수 있다. 그런데, 도 10과 같이, 전방에 장애물(400)이 존재하는 경우, 상기 장애물(400)의 뒤에 위치하는 영역(810)은 감지할 수 없다. 따라서, 상기 센서부(120)는 상기 영역(810)에 대한 상기 깊이 영상에 대한 데이터를 직접 생성하여, 감지되지 못한 상기 영역(810)을 센서부(120)의 높이와 화각 내의 장애물(400)의 최고 높이에 비례하여 표현할 수 있다. 아울러, 상기 센서부(120)에 포함된 상기 3D 센서 또는 스테레오 카메라는 각각의 화각을 가질 수 있다. 상기 화각이란 상기 3D 센서 또는 스테레오 카메라에 의해 감지될 수 있는 최대의 각도를 의미할 수 있다. 예를 들어, 도 10과 같이, 상기 센서부(120)의 화각은 802에서 804까지의 A3 만큼의 각도(800)일 수 있다. 따라서, 도 10의 예에 의한 상기 센서부(120)는 상기 A3 각도와 같은 상기 화각으로 상기 깊이 영상을 생성할 수 있다. 다른 예를 들어, 도 11과 같이, 상기 센서부(120)의 화각은 822에서 824까지의 A3 만큼의 각도(820)일 수 있다. 따라서, 도 11의 예에 의한 상기 센서부(120)는 상기 A3 각도와 같은 상기 화각으로 상기 깊이 영상을 생성할 수 있다. 이때, 도 11의 경우, 상기 화각의 범위 밖은 감지될 수 없다. 즉, 상기 화각(820)에 의해 상기 822의 상단의 영역(830)과 상기 824의 하단의 영역(832)은 감지될 수 없다. 따라서, 상기 프로세서(200)는 상기 센서부의 화각의 범위 밖에 대한 하단의 영역(832)에 해당하는 깊이 영상에 관한 데이터를 직접 생성하여, 감지되지 못한 상기 영역(830, 832)을 화각의 하단 영역(832)의 형태의 장애물이 있는 것으로 표현할 수 있다. 따라서, 본 발명의 또 다른 실시예에 따르면, 상기 프로세서는 상기 장애물에 의해 가려진 영역에 대한 깊이 영상을 생성하거나, 상기 센서부의 화각의 범위 밖에 대한 깊이 영상을 생성할 수 있는 이점이 있다. 본 발명의 일 실시예에 따른 시각장애인용 보조 장치의 제어 방법은 영상 취득부에 포함된 센서부를 통하여 전방의 지형에 대한 거리 값을 포함하는 깊이 영상을 취득하는 과정(1210); 중력 센서를 통하여 상기 영상 취득부가 지표면에 대해 기울어진 각도를 검출하는 과정(1220); 상기 중력 센서로부터 수신한 상기 각도와 상기 영상 취득부로부터 수신한 상기 깊이 영상을 이용하여 3D 데이터를 생성하는 과정(1230); 상기 3D 데이터에 포함된 거리 값을 높이 값으로 변환하는 과정(1240); 상기 높이 값으로 상기 돌기부를 돌출시키거나 응축시키도록 상기 모터 드라이브를 제어하는 과정(1250)을 포함할 수 있다. 도 12를 참조하여 본 발명의 일 실시예에 따른 시각장애인용 보조 장치의 제어 방법을 설명하고자 한다. 먼저, 영상 취득부에 포함된 센서부를 통하여 전방의 지형에 대한 거리 값을 포함하는 깊이 영상을 취득할 수 있다(1210). 상기 영상 취득부(100)는 전방의 지형(400)에 대한 거리 값을 포함하는 깊이 영상을 취득할 수 있다. 이때, 상기 영상 취득부(100)는 3D 센서 또는 스테레오 카메라 중에서 적어도 하나로 형성된 센서부(120)를 포함할 수 있다. 따라서, 상기 3D 센서 또는 상기 스테레오 카메라 중에서 적어도 하나로 형성된 상기 센서부(120)를 포함한 상기 영상 취득부(100)는 전방의 지형에 대한 거리 값을 포함하는 깊이 영상을 취득할 수 있다. 이때, 상기 센서부(120)의 전면에는 렌즈(110)가 형성될 수도 있다. 그리고, 상기 렌즈(110)는 복수개일 수 있다. 아울러 상기 센서부(120)의 전면은 세로보다 가로가 더 길게 형성되어 상기 복수의 렌즈들(112, 114, 116)을 가로로 각각 전면에 위치시킬 수 있다. 따라서, 상기 센서부(120)의 전면에 형성된 상기 렌즈(110)를 통하여, 상기 센서부(120)는 상기 영상 취득부(100)의 전면의 지형을 감지할 수 있다. 다음으로, 중력 센서를 통하여 상기 영상 취득부가 지표면에 대해 기울어진 각도를 검출할 수 있다(1220). 상기 중력 센서(140)는 상기 영상 취득부(100)가 지표면에 대해 기울어진 각도를 검출할 수 있다. 이때, 상기 중력 센서(140)는 상기 연결부(130)의 상단에 부착될 수 있다. 따라서, 상기 영상 취득부(100)가 지표면에 대하여 기울어지게 되면, 상기 중력 센서(140)도 동일하게 기울어지게 된다. 이때, 상기 중력 센서(140)는 지표면에 대해 기울어진 각도를 추출할 수 있다. 그리고, 상기 중력 센서(140)는 상기 연결부(130)의 상단에 부착되어 있으므로, 상기 추출된 각도는 상기 영상 취득부(100)의 지표면에 대해 기울어진 각도가 될 수 있다. 따라서, 상기 중력 센서(140)는 상기 영상 취득부(100)가 지표면에 대해 기울어진 각도를 검출할 수 있다. 다음으로, 상기 중력 센서로부터 수신한 상기 각도와 상기 영상 취득부로부터 수신한 상기 깊이 영상을 이용하여 3D 데이터를 생성할 수 있다(1230). 상기 프로세서(200)는 상기 중력 센서(140)로부터 수신한 상기 각도와 상기 영상 취득부(100)로부터 수신한 상기 깊이 영상을 이용하여 3D 데이터를 생성할 수 있다. 이때, 상기 프로세서(200)는 상기 영상 취득부(100)가 기울어진 각도를 상기 깊이 영상에 대응하여 상기 3D 데이터를 생성할 수 있다. 상기 깊이 영상은 상기 영상 취득부(100)가 기울어진 경우에 생성될 수 있다. 따라서, 상기 3D 데이터를 생성하는 경우, 상기 깊이 영상이 기울어진 정도를 고려할 필요가 있다. 따라서, 상기 프로세서(200)는 상기 영상 취득부(100)가 지표면에 대하여 기울어진 정도를 고려하여 상기 3D 데이터를 생성할 수 있다. 그러므로, 생성된 상기 3D 데이터는 상기 영상 취득부(100)가 기울어진 정도가 고려된 정확도가 높은 데이터일 수 있다. 다음으로, 상기 3D 데이터에 포함된 거리 값을 높이 값으로 변환할 수 있다(1240). 상기 프로세서(200)는 상기 3D 데이터에 포함된 거리 값을 높이 값으로 변환할 수 있다. 상기 3D 데이터는 상기 영상 취득부(100)로부터 상기 지형(400)까지의 거리 값이 3차원으로 형성된 데이터일 수 있다. 따라서 상기 거리 값은 상기 시각장애인과 같은 사용자(500)로부터 장애물과 같은 상기 지형(400)까지의 거리일 수 있다. 따라서, 상기 3D 데이터는 상기 사용자로부터 상기 장애물까지의 거리 값이 3차원으로 형성된 데이터일 수 있다. 다음으로, 상기 높이 값으로 상기 돌기부를 돌출시키거나 응축시키도록 상기 모터 드라이브를 제어할 수 있다(1250). 이때, 상기 프로세서(200)는 상기 3D 데이터에 포함된 거리 값을 상기 돌기부(320)가 돌출하는 높이 값으로 변환할 수 있다. 예를 들어, 상기 프로세서(200)는 상기 장애물까지의 상기 거리 값이 작을수록, 상기 돌기부(320)가 돌출하는 상기 높이 값을 크게할 수 있다. 그리고, 상기 프로세서(200)는 상기 높이 값을 포함하는 모터 제어 신호를 생성할 수 있다. 즉 상기 모터 제어 신호는 상기 돌기부(320)가 돌출하는 높이 값이 포함될 수 있다. 그리고, 상기 프로세서(200)는 상기 모터 제어 신호를 상기 모터 드라이브(310)로 전송할 수 있다. 이때, 상기 모터 드라이브(310)는 상기 모터 제어 신호를 수신할 수 있다. 그리고, 상기 모터 드라이브(310)는 상기 모터 제어 신호에 포함된 상기 높이 값으로 모터를 구동하여 상기 돌기부(320)를 돌출시키거나 응축시킬 수 있다. 따라서, 상기 프로세서(200)는 상기 높이 값으로 상기 돌기부(320)를 돌출시키거나 응축시키도록 상기 모터 드라이브(310)를 제어할 수 잇다. 상기 프로세서(200)는 상기 장애물까지의 상기 거리 값이 작을수록, 상기 돌기부(320)가 돌출하는 상기 높이 값을 크게하는 상기 모터 제어 신호를 상기 모터 드라이브(310)로 전송할 수 있다. 그리고, 상기 프로세서(200)는 상기 영상 취득부(100)의 화각의 일측에 상기 장애물(400)이 감지되면, 복수개의 돌기부들 중에서 상기 화각의 일측에 대응하는 돌기부들을 먼저 돌출시킬 수도 있다. 본 발명의 다른 실시예에 따른 시각장애인용 보조 장치의 제어 방법은 서보 모터를 제어하여 상기 센서부의 지표면에 대해 기울어진 각도를 일정하게 유지시키는 과정(1260)을 더 포함 할 수 있다. 상기 서보 모터(130)에는 모터가 형성될 수 있다. 따라서, 상기 서보 모터(130)는 상기 모터를 구동하여 상기 센서부(120)의 각도를 변경시킬 수 있다. 상기 프로세서(200)는 상기 중력 센서(140)로부터 상기 센서부(120)가 지표면에 대해 기울어진 각도에 관한 데이터를 수신할 수 있다. 그리고, 상기 프로세서(200)는 상기 수신된 각도가 미리 설정된 각도의 범위 밖에 있는 경우, 상기 센서부(120)가 미리 설정된 각도의 범위 내로 위치하도록 상기 서버 모터(130)를 제어하여 구동시킬 수 있다. 본 발명의 다른 실시예에 따른 시각장애인용 보조 장치의 제어 방법은 상기 장애물에 의해 가려진 영역에 대한 깊이 영상을 생성하거나, 상기 센서부의 화각의 범위 밖에 대한 깊이 영상을 생성하는 과정(1270)을 더 포함할 수 있다. 상기 영상 취득부(100)에는 상기 센서부(120)가 포함될 수 있다. 상기 센서부(120)는 3D 센서 또는 스테레오 카메라 중에서 적어도 하나로 형성될 수 있다. 그런데, 전방에 장애물이 존재하는 경우, 상기 장애물의 뒤에 위치하는 영역은 감지할 수 없다. 따라서, 상기 센서부(120)는 상기 영역에 대한 상기 깊이 영상에 대한 데이터를 직접 생성하여, 감지되지 못한 상기 영역을 표현 할 수 있다. 아울러, 상기 센서부(120)에 포함된 상기 3D 센서 또는 스테레오 카메라는 각각의 화각을 가질 수 있다. 이때, 상기 프로세서(200)는 상기 센서부의 화각의 범위 밖에 대한 깊이 영상에 관한 데이터를 직접 생성하여, 감지되는 못한 상기 영역을 표현 할 수 있다.
100 : 영상 취득부
110 : 렌즈
120 : 센서부
130 : 연결부
140 : 중력 센서
150 : 지지대
200 : 프로세서
300 : 지팡이
310 : 모터 드라이브
320 : 돌기부
330 : 평면판 |
