디지털 오디오 캡션데이터 입력방법{A loading method of digital audio caption data}

본 발명은 다양한 캡션의 편집과 불러오기를 가능하게 하고 액정화면과 같이제한된 공간의 표시영역에 적합한 위지윅(WYSIWYG : What You See Is What You Get)기능을 수행할 수 있으며 간편한 원터치 캡션지정 알고리즘을 가지는 디지털 오디오데이터의 캡션데이터를 입력하는 방법에 관한 것이다.

현존하는 디지털 오디오 데이터 파일은 원칙적으로 음성 및 음악에 대한 정보만을 포함하게 된다.

그러나 디지털 오디오 재생장치 소프트웨어 사용자가 음성 및 음악에 대한 정보 외에 사용자에 의해 정의 될 수 있는 캡션정보를 하나의 디지털 데이터 데이터 파일에 저장할 수 있다.

디지털 오디오 데이터의 일종인 MP3 데이터 파일은 앞의 헤더부와 본체와 보조데이터부의 구조를 가지게 되는데 캡션 데이터는 상기 보조데이터부에 저장시킬수 있다.

MP3 형식으로 만들어진 음성 데이터는 그 비트열이 프레임(frame)단위로 구성된다. AAU는 MP3 데이터에 있어서 음악/음성을 구성하는 최소 단위이다.

프레임단위로 구성된 디지털 오디오 데이터는 MP3형식 이외에도 모든 DVD 표준과 MPEG표준의 오디오 부분이 포함된다.

DVD표준에는 DVD-비디오, DVD-ROM, DVD-R, DVD-RW, DVD-RAM, DVD-오디오, DVDX 등이 존재하는데, 여기에 저장되는 모든 오디오 데이터는 MPEG-2규격의 오디오 표준 또는 돌비의 AC-3오디오 표준을 이용한다.

각 오디오 표준은 전부 프레임구조를 가지고 있는 디지털 오디오 데이터이다.

디지털 오디오 데이터 상에 캡션데이터를 입력시키는 소프트 웨어는 캡션이표시되는 위치를 프레임 번호로 나타낼 수 있기 때문에, 프레임 단위로 데이터의 비트열이 구성된 모든 디지털 오디오 데이터에 적용될 수 있다.

일예로, 도 1에서 나타내고 있는 바와 같이, "안녕하십니까! 주식회사 고려미디어입니다"(또는 "Hello! This is Korea Media")라는 음성을 녹음한다고 할 때대략 1,000개의 AAU 프레임이 필요하게 되며 약 4초 정도의 시간동안 재생된다.

이때, 중요한 각 어절마다 AAU번호가 부여되어 캡션을 수행하게 된다.

본 발명 출원인에 의해 앞서 출원된 디지털 오디오 재생장치 및 그 소프트웨어(MP-CAP)를 이용하여 상기의 디지털 오디오 데이터와 캡션자막 데이터를 재생할때 현재 출력되는 소리가 몇번째 프레임인지 항상 파악하고 있도록 설계되고 있다.

따라서, 재생되는 음성이 0번 프레임일 경우, 저장된 캡션 데이터 증에 0번 을 지정하고 있는 캡션내용인 "안녕하십니까!"(또는 "Hello!")를 바로 화면상에 표시하게 된다. 계속해서 음성이 재생되어 400번 프레임에 도달할 경우, 이번에는 "주식회사"(또는 "This")라는 음성이 곧 출력될 것이기 때문에 거기에 맞게 400번 프레임에서 지정하고 있는 캡션내용인 "주식회사"(또는 "This")가 화면에 표시되게 된다.

그러나 상기와 같은 캡션화면 출력방식에서는 디지털 오디오 데이터로부터 음성 및 음악을 재생출력 시킬 때 그 음성 또는 음악소리에 맞는 캡션이 시작되는시간이나 프레임 번호를 쉽게 알아낼 수 없다는 문제점이 있다.

즉 도 2에서 참고되는 바와 같이, 재생되는 총 1,000개의 AAU 프레임 중에서"주식회사"(또는 "This")라는 어절이 시작하는 프레임이 400번이고 "고려미디어"(또는 "is")라는 어절이 550번 프레임에서 시작한다는 사실을 쉽게 알아내기 힘들다는 것이다.

현재까지 개발된 디지털 오디오 데이터 상의 캡션입력 솔루션은 미리 캡션할 문자들을 일정하게 나누어 그것을 텍스트 문서로 작성한 후, 해당 음악 또는 음성을 재생하는 도중에 '박자맞추기'식으로 입력된 캡션이 나오는 시점의 대략적인 프레임이나 시간정보를 캡션문자에 지정한다는 것이다.

본 발명의 목적은 다양한 캡션의 편집과 불러오기를 가능하게 하고 액정화면과 같이 제한된 공간의 표시영역에 적합한 위지윅(WYSIWYG)기능을 수행할 수 있으며 간편한 원터치 캡션지정 알고리즘을 가지는 디지털 오디오 데이터의 캡션데이터 입출력제어 방법을 제공하는데 있다.

도 1은 디지털 오디오 캡션 플레이어에서 어절단위 인식을 위한 프레임의 구조도이다.

도 2는 도 1의 어절단위 인식에 따른 문제점을 설명하기 위한 도면이다.

도 3은 본 발명의 디지털 오디오 캡션데이터 입력과정을 설명하는 흐름도이다.

도 4는 본 발명의 디지털 오디오 캡션데이터 입력을 위한 주입력/제어부 화면이다.

도 5는 본 발명의 디지털 오디오 캡션데이터 입력을 위한 캡션 입력/정리부화면이다.

도 6은 본 발명에 의해 미리 작성된 캡션데이터의 불러오기 화면이다.

도 7은 도6의 캡션 불러오기를 통해 불러온 캡션데이터의 확인 및 편집화면이다.

도 8은 본 발명의 실행에 따른 캡션표시창의 내용확인 및 디지털 오디오 데이터 상에서의 음악/음성 데이터 불러오기 화면이다.

도 9는 본 발명의 실행에 따른 디지털 오디오 데이터 상에서의 음악/음성 데이터 불러오기 화면이다.

도 10은 본 발명에 따른 디지털 오디오의 재생시작 및 캡션시작위치 지정화면이다.

도 11a 및 도 11b는 본 발명의 디지털 오디오 캡션 위치변경 및 선택과정읕설명하기 위한 화면이다.

※도면의 주요부분에 대한 부호의 설명※

31 : 모뎀부 32 : 통신인터페이스부

33 : 내부자막어학 학습데이터메모리부

34 : 코덱부 35 : 앰프부

37 : LCD드라이버 38 : LCD화면 표시부

39 : DSP/CPU 41 : 외부자막어학 학습데이터메모리부

42 : 스위치부

상기 목적을 달성하기 위한 본 발명은 디지털 오디오 장치에 캡션데이터를 입력시키기 위해, 먼저 캡션데이터 입력을 위한 캡션 표시화면의 크기를 결정하고캡션적재 어부를 판단하는 단계와; 상기 캡션적재 판단단계에서 캡션이 적재되어 있으면 바로 캡션어절 끊김 여부를 판단하고, 캡션이 적재되어 있지 않으면 캡션입력 요구여부를 판단하여 캡션입력 요구시에는 캡션을 수동으로 입력하고 캡션입력비요구시에는 캡션어절 끊김 여부를 판단하는 단계와; 상기 캡션어절 끊김 여부 판단단계에서 어절 끊김이 있으면 캡션을 재편집하고 어절 끊김이 없으면 표시화면 구분 오류캡션의 존재여부를 판단하는 단계와; 상기 단계에서 오류캡션이 있으면 표시화면 구분에 맞추어 캡션데이터의 재편집을 수행하고 오류캡션이 없으면 화면구분자 단위로 캡션단위와 캡션단위 목록을 표시한 후 프레임 데이터 적재여부를 판단하는 단계와; 상기 단계에서 프레임 데이터 적재요구시에는 프레임 데이터를 적재한 후 동기화시킬 캡션단위를 선택하여 프레임 데이터를 재생하고 그 재생내용에 맞추어 캡션단위에 동기 프레임번호를 지정한 다음 캡션단위중 프레임번호 수정여부를 판단하는 단계와; 상기 단계에서 프레임번호 수정요구가 있으면 수정할 프레임번호의 캡션단위를 선택하여 프레임 데이터 내에서 수정할 위치로 재생시점을이동시켜 프레임데이터를 재생하는 것으로 재생내용에 맞추어 캡션단위에 동기 프레임번호를 수정 지정하고 캡션단위중 프레임번호의 수정이 필요하지 않으면 모든프레임번호의 지정을 완료하고 저장하는 단계; 를 포함하는 과정을 수행하는 것을특징으로 한다.

첨부한 도면을 참고로 하여 본 발명을 설명하면 다음과 같다.

도 3은 본 발명의 디지털 오디오 캡션데이터 입력과정을 설명하기 위한 흐름도이다.

여기에서 참고되는 바와 같이, 캡션데이터 입력모드가 선택되면 제1단계에서는 캡션데이터 입력을 위해 캡션 표시화면의 크기가 결정되었는가 여부를 판단하여화면 크기가 결정되어 있지 않으면 캡션출력화면 크기를 설정한다.

상기 제1단계의 캡션표시화면 크기 결정후 제2단계에서는 캡션적재여부를 판단한다.

상기 캡션적재 여부판단결과 적재되어 있지 않으면 캡션입력 여부를 판단하여 캡션입력 조건이면 캡션을 수동으로 입력하고 캡션입력 조건이 아니면 캡션을 적재하는 제3단계를 수행한다.

상기 제2단계의 수행결과 캡션이 적재되어 있거나 제3단계를 수행한 후에는 캡션중 어절이 중간에 끊어졌는가 여부를 판단하는 제4단계를 수행한다.

상기 제4단계의 수행결과 캡션어절 끊김이 있으면 캡션을 재편집한 후 다시어절 끊김 여부를 판단하고, 캡션어절 끊김이 없으면 표시화면 구분이 잘못된 캡션이 있는가 여부를 판단하는 제5단계를 수행한다.

상기 제5단계의 수행결과 표시화면이 잘못된 캡션이 존재하면 표시화면 구분이 맞도록 캡션을 재편집하여 캡션 끊김 존재여부 판단을 위한 제4단계를 재 수행한다.

한편, 제5단계의 실행결과 표시화면 구분이 잘못된 캡션이 존재하지 않으면화면 구분자 단위로 캡션단위를 생성하고 캡션단위 목록을 표시하고 프레임 데이터적재여부를 판단하는 제6단계를 수행한다.

상기 제6단계에서 프레임 데이터 적재가 없으면 프레임 데이터를 적재한 후동기화시킬 캡션단위를 선택하고, 상기 제6단계에서 프레임 데이터 적재이면 바로동기화시킬 캡션단위를 선택한 다음, 프레임 데이터를 재생하고 재생내용에 맞추어캡션단위에 동기 프레임번호를 지정한 후 캡션단위중 프레임번호 수정여부를 판단하는 제7단계를 수행한다.

상기 제7단계의 판단결과 캡션단위중 프레임번호 수정이 필요하면 수정할 프레임번호의 캡션단위를 선택하고 프레임 데이터 내에서 수정할 위치로 재생시점을이동시키고 프레임데이터를 재생하여 재생내용에 맞추어 캡션단위에 동기 프레임번호를 지정한 후 프레임번호 수정여부를 재판단하고, 상기 제7단계의 판단결과 캡션단위중 프레임번호 수정이 필요하지 않으면 모든 프레임번호 지정이 완료된 캡션을 저장하고 완료하는 제8단계를 수행하는 것으로, 일련의 캡션 데이터 입력을 완료한다.

상기와 같은 본 발명의 캡션데이터 입력실행이 컴퓨터 상에서 실행되는 과정을 화면을 참고로 하여 설명하면 다음과 같다.

본 발명의 프로그램 화면구성은 2개의 구성요소로 이루어지는데, 그 하나는도 5에서 나타내고 있는 주 입력/제어부 화면이고, 다른 하나는 도 6에서 나타내고있는 캡션 입력/정리부 화면이다.

이러한 프로그램 화면 구조는 다양한 캡션의 불러오기 및 편집이 가능하고,컴퓨터 모니터나 TV 모니터 또는 액정화면과 같은 제한된 공간의 표시영역에 맞는위지윅을 가능하게 하며, 간편한 원터치(1-touch)캡션 지정 알고리즘을 가진다.

또한 상기 프로그램은 정확한 캡션 시작 위치지정을 위한 느린 재생 기능과,표시될 표시화면 크기의 변경 기능과, 입력된 캡션의 실시간 확인 기능을 얻을 수있으며, 효과적인 캡션입력을 위한 디지털 오디오 데이터의 시각적인 처리효과를 기대할 수 있다.

본 발명의 소프트웨어를 이용한 상기의 캡션 입력과정을 따르는 것으로 구현되는 캡션입력 알고리즘 및 그 실행과정을 화면을 통해 파악해 보면 다음과 같다.

먼저, 도 4의 화면상에서 하단의 자막편집 버튼을 클릭한다. 이에 따라 도 6과 같은 캡션 입력/정리부의 화면이 나타나게 된다.

이러한 도 5의 캡션 입력/정리부 화면상에서 상단의 자막 불러오기 버튼을 누르게 되면 이는 캡션데이터의 직접입력이 아닌 미리 작성된 캡션 데이터를 불러오는 것으로 판단한다.

상기의 자막 불러오기 버튼의 클릭에 의해 도 6과 같은 미리 작성된 캡션 불러오기 화면이 뜬다.

여기에서 TXT형식의 캡션1 파일을 지정하고 열기버튼을 클릭하면 도 7과 같은 캡션확인 및 편집화면이 나타나게 된다.

여기에서, 캡션 표시창은 사용자가 설정한 표시될 표시화면의 크기(예를 들면 액정화면의 가로x 세로)를 그대로 반영한다. 즉, 캡션 표시창에 한 줄당 표시되는 문자수는 표시될 표시화면의 한 줄에 표시되는 문자수와 같으며, 표시화면에 한번에 나타낼 수 있는 라인 수만큼 캡션 표시창에 화면 구분선이 표시된다.

따라서, 사용자는 단번에 캡션이 표시화면에 어떻게 나타날 수 있는지 확인할 수 있게 되는 것이다.

표시화면의 가로/세로 표시가능 문자/줄 수가 변할 경우, 사용자는 변경된 수치대로 캡션표시창의 크기를 재 설정할 수 있다. 즉, 위지윅 기능을 실행시킬 수있는 것이다.

사용자는 캡션이 어색하거나 잘못 줄이 바뀐 부분들을 문서편집기 다루듯이편집할 수 있다.

본 발명의 예에서는 한 줄에 총 20자의 영문자가 표시되며, 한 화면에 총 4개의 줄이 표시되도록 설정하였다.

사용자는 임의로 액정화면의 표시가능한 문자 및 줄수를 설정할 수 있는데,이것을 통해 다양한 종류의 표시장치에서 제대로 캡션이 표시될 수 있도록 할 수 있게 되는 것이다.

편집이 다 끝나면 닫기버튼을 누르는 것으로 도 5에서 보이고 있는 주 입력/제어부 화면으로 복귀시키게 된다.

한편, 도 8은 캡션표시창의 내용확인 및 디지털 오디오 데이터 음악/음성 데이터 불러오기 화면을 나타내고 있다.

여기의 캡션 표시창에는 앞서 표시화면(액정화면)의 표시가능문자 및 줄 수에 맞게 각 화면단위, 즉, 특정칼라(예를 들면 초록색)의 구분자가 구획한 문자들로 구성된 캡션단위들을 확인할 수 있으며, 각 캡션단위는 선택시 좌측의 액정화면에 표시내용이 정확하게 나타난다. 이들 각 캡션단위는 아직 제대로 표시되어야 할시점이 정해지지 않고 있다.

다음 도 9는 디지털 오디오 데이터의 음악/음성 데이터 불러오기 화면으로써, 이 화면에서 디지털 오디오 데이터 파일을 선택해서 열기버튼을 누르는 상태를보여주고 있다.

이러한 열기버튼의 누름동작에 따라 도 10과 같은 재생시작 및 캡션시간 위치지정 화면이 나타나게 된다.

이때 재생버튼을 클릭하는 것으로 음악/음성의 재생이 시작되면, 사용자는 느린 재생이나 화면에 나타나는 음성의 파형과 같은 시각적인 정보를 이용하여 'Now this is...'이라고 선택된 캡션의 음성이 들리기 시작하는 시점을 탐색하게 된다.

도10에서는 이를 예시적으로 52번 프레임이라고 정하고 있다.

이에 따라 52번 프레임에 도달하게 되면, 사용자는 화면좌측의 위치변경버튼을 클릭하여 선택된 'Now this is...'캡션이 52번 프레임에서 시작됨을 지정하게 되며, 이렇게 지정된 캡션은 도 11a에서 나타내고 있는 것처럼 우측 캡션 표시창에해당 프레임 번호인 52라는 숫자가 기록되고 다음 캡션이 선택되어서 좌측에 정확히 표시된다.

사용자는 새로 선택된 캡션에 해당하는 음성/음악이 시작하는 시점에서 위치변경을 눌러주면 2번째의 캡션의 시작 프레임 번호가 지정되어 다음 캡션이 자동으로 선택되는 식으로 원하는 캡션위치, 예를 들면 도 11의 1624번지 또는 그 이상 번지의 캡션위치를 표시하게 된다.

이런 방식으로 선택된 캡션을 디지털 오디오 데이터에서 음성/음악이 재생되는 동안에 해당 지점에서 간단한 버튼 조작을 통해 캡션 시작지점을 지정하여 캡션데이터를 작성할 수 있게 되는 것이다.

이상과 같은 본 발명은 MP3를 포함하는 디지털 오디오 데이터의 저장 공간에캡션정보를 독자적인 방식으로 입력 저장하여 휴대용 디지털 오디오 플레이어에서캡션이 포함된 디지털 오디오 데이터를 재생하였을 경우 본체의 액정화면에 재생되는 음성 또는 음악에 일치되어 캡션자막이 표시되게 되는 특유의 효과를 가져온다.