로봇의 화상/음성 채팅 방법 및 장치{Method and device for proactive robot video and audio chatting}

도 1은 본 발명의 일실시예에 따른 로봇의 화상/음성 채팅 장치를 설명하기 위한 시스템 구성을 나타낸 블록 구성도.

도 2는 본 발명의 일실시예에 따른 로봇의 내부 구성 요소를 나타낸 블록 구성도.

도 3은 본 발명의 일실시예에 따른 채팅서버의 구성을 나타낸 블록 구성도.

도 4는 본 발명의 일실시예에 따른 로봇이 채팅 사용자의 얼굴 및 위치를 추적하고 이를 기반으로 상기 로봇의 팬틸트 카메라 및 휠구동부를 실행하는 흐름을 나타낸 순서도.

<도면의 주요부분에 대한 부호의 간단한 설명>

10 : 로봇 11 : 팬틸트 카메라

12 : 모니터 13 : 스피커

14 : 휠구동부 15 : 사용자얼굴 추적모듈

16 : 채팅모듈 17 : 사용자위치 추적모듈

18 : 마이크 20 : 채팅서버

21 : 로봇정보 관리모듈 22 : 로봇연결 관리모듈

23 : 채팅목록 관리모듈 24 : 데이터전달모듈

30 : 통신망

본 발명은 로봇의 화상/음성 채팅 방법 및 장치에 관한 것으로서, 더욱 상세하게는 로봇과 채팅서버가 통신망을 통해 연결된 환경에서 네트워크에 연결된 로봇들 간에 실시간으로 그리고 능동적으로 화상/음성 채팅할 수 있도록 서비스하는 로봇 화상/음성 채팅 방법 및 장치에 관한 것이다.

1990년대 이후 주로 제조업 분야에서 사용되는 산업용 로봇보다는 일반 가정이나 공공 기관 등에서 이용할 수 있는 지능형 로봇에 관심이 집중되고 있다. 산업용 로봇은 정해진 일을 정확하게 수행하는 반면, 지능형 로봇은 사용자의 상태 및 주변 환경을 파악하고 해당 상황에 적절한 행동을 수행해야 한다.

지능형 로봇이 사용자의 주변 환경을 파악하고 해당 상황에 적절한 행동을 판단하기 위해서는 컴퓨터 비전, 음성 인식, 자연어 처리, 로봇 위치 인식 기술, 로봇 주행 기술, 인공 지능, 각종 센서 기술, 고도화된 액추에이션 기술 등 수많은 기술들이 필요하게 되며, 이러한 기술적 난제로 인해 지능형 로봇이 상용화되기에는 많은 문제점을 안고 있다.

이러한 문제를 극복하기 위해 최근에는, 로봇에 네트워크 기능을 부여하고 네트워크 상에 연결된 다양한 컨텐츠를 로봇이 실행하게 하는 서비스 로봇들이 속속 출시되고 있다. 서비스 로봇은 지능형 로봇처럼 주변환경을 인식하여 스스로 판단하고 행동하는 대신, 네트워크 상의 컨텐츠를 가져와 사용자에게 제공하는 이동하는 컴퓨터 형태의 서비스를 제공한다. 이러한 컨텐츠에는 뉴스, 날씨, 일정, 알람, 로봇 메일 등 다양하게 존재한다.

즉, 로봇에 네트워크 기능을 부여하고 이 로봇으로 하여금 네트워크 상에 연결된 다양한 컨텐츠를 실행도록 구성하여 사용자로 하여금 손쉽게 한 서비스 로봇에 접근할 수 있도록 구성하였다. 서비스 로봇은 지능형 로봇처럼 주변환경을 인식하여 스스로 판단하고 행동하는 대신, 네트워크 상의 컨텐츠를 가져와 사용자에게 제공하는 이동하는 컴퓨터 형태의 서비스를 제공한다.

로봇에서 제공되는 컨텐츠로는 뉴스, 날씨, 일정, 로봇 메일 등 다양하게 존재한다. 뉴스는 최근 뉴스, 정치/경제/사회/문화/스포츠 등의 섹션 뉴스 등이 있으며, 날씨의 경우 오늘 날씨, 내일 날씨, 일주일 날씨, 지역 날씨 등이 있다. 일정 관리 컨텐츠의 경우 알람, 중요 일정 정보 알림 등이 있으며, 로봇 메일의 경우 웹에서 작성한 동작과 텍스트를 포함한 로봇 전용 메일을 해당 로봇에게 전달하여 로봇이 음성과 동작으로 해당 메일을 읽어주는 기능이다.

그러나, 서비스 로봇에 구성된 화상채팅시스템은 컴퓨터를 이용하여 채팅서버에 접속하고 컴퓨터에 연결된 카메라 영상과 텍스트를 송수신한다. 이러한 시스템은 사용자가 컴퓨터에 설치된 카메라 영역 내에 들어와서 컴퓨터 자판을 이용하 여 텍스트를 이용하는 수동적인 방법이므로 이를 개선하여 사용자를 자유롭게 할 필요성이 있다.

한편, 종래에는 사용자가 카메라 밖으로 움직이는 경우에는 사용자의 모습을 제대로 표시하지 못하였다. 또한, 사용자가 다른 곳으로 이동하는 경우 더 이상 채팅을 진행할 수 없게 되는 문제점이 있다.

본 발명은 전술한 종래기술의 문제점을 해결하고 전술한 필요성을 충족시키기 위하여 제안된 것으로서 그 목적은 화상 채팅 컨텐츠를 로봇에 적용하고 로봇이 채팅하는 로봇 사용자의 움직임이나 위치 변화를 감지하여 상기 사용자 얼굴이 카메라 영상에서 벗어나지 않도록 구성한 능동적인 화상 채팅 시스템을 제공하는 데에 있는 것이다.

본 발명의 또 다른 목적은 본 발명은 상술한 기존의 수동적 화상채팅시스템의 단점을 개선하기 위한 것으로, 다수의 로봇 간의 상호 능동적으로 화상 및 음성 채팅할 수 있도록 구성한 로봇의 화상/음성 채팅 방법 및 장치를 제공하는 데에 있는 것이다.

본 발명의 로봇의 화상/음성 채팅 장치는 다수의 로봇 간의 능동적 화상 및 음성 채팅을 위한 방법 및 장치에 관한 것으로서, 로봇이 채팅서버와 연결된 후 채 팅서버로부터 채팅방 목록을 수신하고 새로운 채팅방을 생성하거나 기존에 생성된 채팅방에 참가할 수 있도록 채팅방 목록을 디스플레이하는 채팅모듈과, 사용자 얼굴이 영상의 정해진 영역 안으로 배치되도록 팬틸트를 조절하며, 사용자의 영상을 획득하는 팬틸트 카메라와, 팬틸트 카메라가 획득한 영상을 이용하여 채팅하는 사용자의 얼굴 위치를 추적하고, 사용자 얼굴이 팬틸트 카메라 영상의 정해진 영역 안으로 오도록 상기 팬틸트 카메라의 팬틸트를 조절하도록 하는 사용자얼굴 추적모듈과, 동력과 상기 동력에 의해 움직이는 휠에 의해 로봇을 전후좌우로 이동시킬 수 있는 휠구동부와, 사용자얼굴 추적모듈에서 추적된 얼굴 크기 정보를 이용하고 사용자얼굴있는 사용자얼굴 추적모듈로부터 얼굴에 대한 정보를 얻고 팬틸트 카메라로부터 사용자의 체격에 대한 정보를 이용하여 체격 및 얼굴크기를 종합적으로 판단하여 만일 사용자가 정해진 거리 이상 멀어진 것으로 판단되면 휠구동부를 이용하여 로봇을 사용자에게 접근하도록 하는 사용자위치 추적모듈을 포함하여 구성된다.

또한, 본 발명의 로봇의 화상/음성 채팅 방법은 다수의 로봇과 상기 로봇들과 인터넷과 같은 통신망을 통해 연결된 채팅서버로 구성된 로봇의 화상/음성 채팅 방법으로서, 상기 로봇 내에서 영상을 획득하는 팬틸트 카메라가 전면의 영상을 획득하는 영상획득단계와, 상기 로봇 내에 구성된 사용자얼굴 추적모듈이 상기 카메라 영상을 분석하고 얼굴을 추적하는 얼굴 추적단계와, 사용자얼굴 추적모듈은 사용자의 얼굴이 정해진 영역 안에 존재하는지 의 여부를 판단하는 제1 판단단계와, 상기 제1 판단단계에서의 판단결과 정해진 영역 안에 존재하지 않으면 카메라 팬틸 트를 조절하여 상기 사용자의 얼굴이 상기 팬틸트 카메라의 기설정된 영역 안에 배치되도록 하는 단계를 포함하여 구성된다.

상술한 본 발명의 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 구성에 대하여 보다 상세하게 개시하기로 한다.

도 1은 본 발명의 일실시예에 따른 로봇의 화상/음성 채팅 장치를 설명하기 위한 시스템 구성을 나타낸 블록 구성도이다.

도 1을 참조하여 보면, 본 발명은 다수의 로봇(10)과 상기 로봇들과 인터넷과 같은 통신망(30)으로 연결된 채팅서버(20)로 구성된다. 로봇(10)은 유무선 통신망(30)을 통해 채팅서버(20)와 연결하고 채팅서버(20)에 연결된 다른 로봇(10)들과 화상채팅을 수행할 수 있게 된다.

도 2는 본 발명의 일실시예에 따른 로봇의 내부 구성 요소를 나타낸 블록 구성도이다.

도 2를 참조하여 보면, 로봇(10)은 팬틸트가 가능한 팬틸트 카메라(11), 정지화상 또는 동영상을 표시할 수 있으며, 입력을 수용할 수 있도록 터치 스크린 기능을 갖는 모니터(12), 음성을 입력할 수 있는 마이크(18), 음성을 출력할 수 있는 스피커(13), 로봇(10) 이동을 위한 휠구동부(14), 사용자얼굴 추적모듈(15), 사용자위치 추적모듈(17) 및 채팅모듈(16)로 구성된다.

로봇(10)이 채팅서버(20)와 연결한 후, 채팅모듈(16)은 채팅서버(20)로부터 채팅방 목록을 수신한다. 로봇(10)은 상기 통신망(30)을 통해 스스로 채널을 형성하고 새로운 채팅방을 생성하거나, 기존에 생성된 채팅방에 참가할 수 있다. 채팅모듈(16)은 로봇(10)이 채팅방에 참가할 수 있도록 목록을 디스플레이하거나, 또는 자동으로 사용자의 선택없이 임의의 채팅방에 참가할 수 있다.

채팅방에 참가하면 채팅방에 참가한 다른 로봇(10)과 서로 화상 및 음성 채팅을 하게 된다. 채팅은 마이크(18)를 통해 음성을 입력하고 스피커(13)를 통해 상대방 로봇에 연결된 사용자의 목소리를 출력한다.

채팅 중 상기 로봇(10) 내의 사용자얼굴 추적모듈(15)은 상기 로봇의 팬틸트 카메라(11)가 획득한 영상을 이용하여 채팅하는 사용자의 얼굴 위치를 추적하고, 상기 사용자의 얼굴이 팬틸트 카메라(11) 화면의 정해진 영역 밖으로 나갔을 경우 상기 사용자 얼굴이 카메라(11) 영상의 정해진 영역 안으로 오도록 상기 로봇(10)에 설치된 카메라(11)의 팬틸트를 조절한다. 그 팬틸트 카메라(11)의 팬틸트를 조정하는 과정은 후술하는 도 4를 참조하여 보다 상세하게 기술하기로 한다.

사용자얼굴 추적모듈(15)과 함께 사용자위치 추적모듈(17)은 사용자얼굴 추적모듈(15)로부터 얼굴영상의 크기에 대한 정보를 얻고 또한, 팬틸트 카메라(11)로부터 사용자의 체격에 대한 정보를 이용하여 사용자의 위치를 추적하고, 체격 및 얼굴크기를 종합적으로 판단하여 만일 사용자가 정해진 거리 이상 멀어진 것으로 판단되면 상기 로봇(10)에 구성된 동력에 의해 그 동력을 전달받아 구동되는 휠에 의해 로봇(10)을 전후좌우로 움직이는 휠구동부(14)을 이용하여 상기 로봇(10)을 해당 사용자에게 접근하도록 한다.

도 3은 본 발명의 일실시예에 따른 채팅서버의 구성을 나타낸 블록 구성도이다.

도 3을 참조하여 보면, 상기 채팅서버(20)는 등록된 로봇의 정보를 관리하는 로봇정보 관리모듈(21), 현재 채팅서버(20)와 연결되었거나 연결이 종료된 로봇의 정보를 관리하는 로봇연결 관리모듈(22), 생성된 채팅방의 목록과 해당 채팅방에 참여하고 있는 로봇(10)들의 정보를 관리하는 채팅목록 관리모듈(23), 로봇(10)이 사설망과 같은 곳에 위치하여 로봇(10)간에 직접 영상이나 음성을 송수신할 수 없는 경우 상기 영상 및 음성 정보를 대신 전달해주는 데이터전달모듈(24)로 구성된다.

도 3의 동작에 대하여 보다 상세하게 설명하기로 한다. 먼저, 채팅서버(20)에 미리 가입한 로봇(10)만 채팅방에 참여할 수 있도록 구성한다. 상기 로봇(10)이 상기 채팅서버(20)에 가입시 해당 로봇(10)의 이름, 로봇 사용자 이름 등의 기본 정보를 등록하게 되고 이를 상기 채팅서버(20) 내의 로봇정보 관리모듈(21)이 관리하게 된다. 즉, 서버에 저장된 로봇(10)의 기본 정보를 로봇정보 관리모듈(21)과 공유하게 된다. 이와 같이 가입된 로봇(10)은 통신망을 통한 채널을 설정시에 해당 로봇(10)의 이름과 대응하는 통신망 상의 로봇이 인식 가능한 ID를 부여받는다. 이와 같은 아이디는 통신망(30)에서 부여하는 ID의 자원에 따라 고정형으로 부여할 수도 있고 그 사설망 또는 인터넷망에서 부여하는 자원의 크기에 대응하여 유동형으로 부여할 수도 있다. 예컨대, 통신망(30)의 ID 자원이 많은 경우에는 고정형으로 하고, ID 자원이 적은 경우에는 유동형으로 한다.

상기 로봇(10)이 채팅서버(20)에 접속하면 접속된 로봇 및 그 사용자의 정보를 로봇 정보관리 모듈에서 가져와서 해당 접속된 로봇이 접속되었음을 인지하고 기록하게 된다. 그리고, 접속중에 정상적 혹은 네트워크 문제로 인해 비정상적으로 접속이 종료되었을 경우, 상기 로봇(10)이 참여하고 있는 채팅방에서 상기 로봇(10)을 제거해야 하며, 이를 상기 채팅서버(20)의 로봇연결 관리모듈(22)에서 수행한다. 즉, 채팅서버(20)의 로봇연결 관리모듈(22)이 판단하여 정상적인 접속 종료 또는 비정상적인 접속 종료인 경우면, 종료로 인해 접속이 종료된 로봇(10)의 모든 세션을 닫고 만약, 채널도 연결 상태인 경우면 채널의 접속도 끊는다.

또한, 로봇(10)이 새로운 채팅방을 생성하거나 상기 로봇(10)이 생성한 채팅방을 삭제한 경우, 채팅방에 로봇(10)이 참여하거나 나가는 경우 등을 처리하는 모듈이 상기 채팅서버(20) 내의 채팅목록 관리모듈(23)이다. 예컨대, 채팅방에 들어온 경우에는 해당 로봇(10)이 채팅방과 연결될 수 있도록 세션을 연결하고 로봇정보 관리모듈(21)로부터 해당 채팅방을 들어온 로봇(10)에 대한 정보를 읽어와서 이를 다른 로봇(10)의 모니터(12)에 표시한다. 이때, 모니터(12)에 표시되는 항목은 로봇의 이름 및/또는 사용자의 이름 등을 표시할 수 있다. 해당 로봇(10)이 채팅에 참여하였음을 채팅목록 관리모듈(23)에 텍스트 형태로 저장한다. 또한, 마찬가지로 채팅방 생성에 대한 정보로 채팅방을 생성한 로봇 및/또는 사용자의 이름을 표시하고 텍스트 형태로 저장한다. 예컨대, 텍스트에 저장되는 항목은 접속한 로봇의 이름, 로봇 사용자의 이름 및 접속한 시간과 접속을 종료한 시간 등이며, 만약 해당 로봇이 방을 개설한 경우면 방을 개설한 시간이 저장되고, 또한, 방을 맨 마지막으 로 나가는 로봇의 경우에는 방이 해체된 시간 정보 등을 기록한다. 이와 같이 채팅 중에 해당 로봇(10)이 채팅방을 나가면 채팅방과 연결된 세션을 닫고, 해당 로봇(10)이 채팅방을 나갔음을 채팅목록 관리모듈(23)이 텍스트 형태로 저장한다.

만약, 하드드라이브 또는 NAND 메모리 등의 고용량 메모리를 장착한 경우면, 사용자의 설정에 따라 동영상만의 형태로 저장할 수도 있으며, 음성 채팅만을 음성파일 형태로 저장할 수 있다. 또한, 동영상과 대응하는 음성파일을 같이 하나의 파일로 묶어 저장할 수도 있다.

상기 로봇(10)들이 통신망(30) 중 인터넷망과 같은 범용망을 통해 연결된 경우에는 로봇(10)과 로봇(10) 간에 1:1로 연결되도록 제어할 수 있다. 그러나, 사설망을 통해 연결된 경우 또는 1:1 연결이 제한받는 경우에는 다른 로봇(10)과 직접적으로 영상/음성 데이터를 송수신할 수 없게 된다. 이와 같은 경우, 상기 로봇(10)들은 채팅서버(20)에 상기 영상/음성/텍스트 등의 콘텐츠 데이터를 전달하고 채팅서버(20)는 해당 채팅방에 참여한 모든 로봇에게 상기 영상/음성/텍스트 등의 콘텐츠 데이터를 전달하게 된다. 즉, 데이터 전달 모듈(24)은 영상/음성/텍스트 등의 콘텐츠를 채팅서버(20)로 전송하거나 채팅서버(20)로부터 또는 전송받는 것은 제어한다.

상기 로봇(10)들이 통신망(30) 중 사설망을 통해 연결된 경우에는 다른 로봇(10)과 직접적으로 영상/음성 데이터를 송수신할 수 없게 된다. 이와 같은 경우, 상기 로봇(10)들은 채팅서버(20)에 상기 영상/음성/텍스트 등의 콘텐츠 데이터를 전달하고 채팅서버(20)는 해당 채팅방에 참여한 모든 로봇에게 상기 영상/음성/텍 스트 등의 콘텐츠 데이터를 전달하게 된다. 즉, 데이터 전달 모듈(24)은 영상/음성/텍스트 등의 콘텐츠를 채팅서버(20)로 전송하거나 채팅서버(20)로부터 또는 전송받는 것은 제어한다.

도 4는 본 발명의 일실시예에 따른 로봇이 채팅 사용자의 얼굴 및 위치를 추적하고 이를 기반으로 상기 로봇의 팬틸트 카메라 및 휠구동부를 실행하는 흐름을 나타낸 순서도이다.

채팅이 시작되면(S100), 상기 로봇(10) 내의 팬틸트 카메라(11)는 전면의 영상을 획득한다(S101).

상기 로봇(10) 내의 사용자얼굴 추적모듈(15)은 상기 카메라 영상을 분석하고 얼굴 색, 머리 색, 눈, 코, 귀 등의 위치를 기반으로 사용자의 얼굴을 추적하게 된다(S102).

사용자얼굴 추적모듈(15)은 사용자의 얼굴이 정해진 영역 안에 존재하는지 의 여부를 판단한다(S103).

S103에서의 판단결과 정해진 영역 안에 존재하지 않으면 카메라 팬틸트(11)를 조절하고(S104), S101로 리턴하여 전술한 단계를 반복함으로써, 사용자의 얼굴이 팬틸트 카메라(11)의 기설정된 영역 안에 배치되도록 한다. 한편, S103에서의 판단결과 정해진 영역 안에 존재하는 경우면 S101로 리턴한다.

한편, 사용자위치 추적모듈(17)은 팬틸트 카메라(11)로부터 획득한 정보를 이용하여 사용자의 체격을 분석하고, 또한, 사용자얼굴 추적모듈(15)에서 획득한 얼굴의 크기 등을 분석하여 사용자의 위치 및 로봇과 사용자간의 거리를 추적하게 된다(S105).

사용자위치 추적모듈(17)은 S105에서 추적한 결과를 이용하여 사용자가 로봇(10)으로부터 일정거리 내에 존재하는 지의 여부를 판단한다(S106).

S106에서 판단하여 정해진 거리 안에 존재하지 않으면 로봇 휠구동부(14)을 작동하여 상기 사용자에게 접근하도록 한다(S107). 이 접근 방법에는 다양한 방법을 사용할 수 있으며, 예컨대 사용자가 팬틸트 카메라(11)에 잡히지 않는 경우면 이전 데이터들을 조합하여 사용자가 최초의 시점에서는 팬틸트 카메라(11)의 중앙에서 위치하다가 사용자를 놓치기 전 시점에서 팬틸트 카메라(11)의 우측에서 관측되었다면 우측으로 진행하게 된다. 그리고, 사용자가 팬틸트 카메라(11)에 잡히지만, 그 얼굴이나 체격이 일정크기 이하인 경우면 멀리 있는 것으로 간주하여 사용자에게 접근하는 방향으로 이동하게 된다.

한편, S106에서 판단하여 정해진 거리 안에 존재하는 경우면 S101로 리턴한다.

이상에서 설명한 바와 같이 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 한정하는 것이 아니다.

따라서 본 발명은 로봇이 사용자의 움직임을 인식하여 사용자를 추적할 수 있으므로 다수의 로봇 사용자가 정지된 동작으로 화상채팅을 하는 것이 아니라 자유롭게 움직이면서 로봇을 통해 능동적으로 화상 및 음성 채팅을 할 수 있는 효과가 있다.

또한, 본 발명은 사설망 또는 일반 인터넷망 모두에서 로봇을 이용하여 채팅을 서비스할 수 있도록 구성한 효과가 있다.