WYSIWYG 방식의 멀티미디어 프로세서{Multimedia processor of WYSIWYG base}

기존의 기술은 멀티미디어 저작 시스템의 기능상 분류로는 저작 시스템을 이루는 도구들은 기능적으로 멀티미디어 데이터 수집 및 편집 도구, 멀티미디어 데이터를 의미 있는 장면 혹은 문서로 결합시키는 도구, 멀티미디어 타이틀 변환 도구 등으로 분류할 수 있다.

멀티미디어 데이터 수집 도구로는 스캐너, 사운드 샘플러(sampler), 비디오 카메라, 비디오 레코더 등의 장비와 필요한 소프트웨어가 있다. 수집된 멀티미디어 데이터는 편집도구를 통해 사용자의 의도에 맞도록 변형된다. 멀티미디어 응용 물들의 기본적인 단위는 클립이라고 불리는데, 편집 도구는 이러한 클립들을 작성하는 데 사용되며 텍스트 편집기, 그래픽 편집기, 애니메이션 편집기, 오디오, 비디오 편집기 등이 있다.

멀티미디어 데이터 결합 도구의 기능은 편집 도구에서 만들어진 클립들을 공간과 시간적으로 저작자의 의도에 맞게 나열함으로써 멀티미디어 문서나 장면을 제작하는 것이다.

멀티미디어 타이틀이란 일반 사용자가 멀티미디어 시스템에 넣어서 돌려 볼 수 있는 소프트웨어를 의미하며 문자, 그래픽, 이미지, 오디오, 비디오 등과 같은 여러 가지 미디어들을 사용함으로써 정보의 전달효과가 높다. 앞서 나타낸 과정들을 거쳐 완성된 타이틀은 인터넷, 인트라넷, CD, DVD 등으로 전달할 수 있다.

프로그래밍 모델에 따른 저작 도구의 분류는 멀티미디어 저작도구에 널리 사용되는 프로그래밍 모델에는 흐름도 방식, 책 방식 및 시간선 방식이 있다.

흐름도 방식에서는 타이틀의 기본구조가 흐름도로 표현되며, 저작자는 흐름도를 구성하는 도구 아이콘들을 저작할 타이틀의 시나리오에 따라 흐름선에 삽입하여 흐름도를 구성하고, 실행제어 흐름이 그 아이콘을 만났을 때 실행할 내용을 그 아이콘의 대화상자를 통해 기술한다. 책 방식은 타이틀을 여러 페이지로 구성된 책이라 보고 각 페이지에 나타날 미디어들을 기술한다. 타이틀의 제어흐름이나 사용자의 입력에 대한 동작 등은 스크립트 언어로 표현한다. 시간선 방식은 가로축으로 여러 채널을 시작점을 맞추어 나열한 다음 타이틀이 왼쪽부터 오른쪽으로 실행된다고 보고 각 시점에 실연할 미디어들을 각 채널의 해당 시점에 위치시켜 저작한다.

멀티미디어 타이틀은 실시간 또는 저장된 멀티미디어 데이터를 처리하여 가장 효과적으로 필요로 하는 정보를 얻을 수 있도록 한다. 이러한 멀티미디어 데이터를 표현하기 위해서는 멀티미디어 객체들의 시간 및 공간적인 정보를 효율적으로 처리할 수 있는 적절한 동기화 기법이 필요하다. 멀티미디어에서의 동기화란 미디어 객체들의 재생에 있어서 미디어간 시간관계, 시간 종속적인 미디어의 재생시간에 대한 정보와 함께 공간적인 요소를 나타낼 수 있는 미디어간 공간 관계 또는 공간상에서의 레이아웃 구조에 대한 정보를 의미한다.

멀티미디어 타이틀을 살펴보면 미디어 객체들간의 시간 및 공간적인 동기화는 상호 긴밀히 연관되어 있기 때문에 지금까지의 저작 시스템의 멀티미디어 편집 구조는 각 미디어를 종합적으로 명시하고 처리하는 개괄적인 편집 방식이 주를 이루고 있으며 시간 및 공간 동기화 정보가 분리되어있어 시간에 따라 공간 레이아웃을 변경시킬 수 없는 정적인 속성을 가지고 있었다. 또한 연속 미디어의 경우 사용자의 저작의도와 일치하는 미디어간 관계와 미디어 자체의 재생시간을 연출하는데 많은 시행착오를 거쳐야 했다. 이러한 저작 도구상의 멀티미디어 편집의 어려움은 저작자가 자신의 저작 시나리오가 제대로 반영이 되었는지 바로 확인할 수 없다는 점에 있다.

본 발명은 재생 중 연출 편집이 가능한 WYSIWYG 저작 방식 시스템(Play and Edit Style based on WYSIWYG)을 제안하고 있다. 제안된 저작 방식을 통해 실행 시간에 사용자의 입력을 받아들여 동적인 프리젠테이션을 효과적으로 처리할 수 있다. 즉 저작자가 WYSIWYG방식으로 편집된 멀티미디어를 즉시 보고 들으면서 시간적인 관계와 공간적인 관계를 확인하고 수정함으로 원하는 시나리오를 보다 쉽고 직관적으로 편집할 수 있다.

도 1는 [도1] 전체적인 구성

도 2는 [도2] 전체적인 동작 원리

도 3은 [도3] 편집 수정의 세부 동작 원리

도 4는 [도 4] 미디어 리스트와 DPC관계

도 5는 [도5] 타임라인과 공간과의 관계

도 6는 [도6]시간의 흐름에 따른 미디어간의 시간 및 공간 관계의 시나리오

도 7는 [도7] 데이터 삽입의 세부적인 동작원리

도 8는 [도8] 비디오 클립핑

도 9는 [도9] 오디오 클립핑

도 10는 [도10] 이미지 클립핑

도 11는 [도11] 카메라 캡쳐

도 12는 [도12]저작 예제의 편집된 화면

도 13는 [도13]완성된 멀티미디어 타이틀 재생 화면

상기 목표(WISIWYG BASE)를 달성하기 위하여 본 발명은 [도1]과 같이 크게 시간 흐름창, 공간편집 창, 미디어 객체 툴바, 자료실 창으로 구성되어 있다. 한 장면에 속한 시간 흐름판의 타임라인 상에 저작자가 지정한 지점에 아이콘으로 되어있는 미디어 객체들을 장면에 가져다 놓고 재생해보면서 다시 필요한 연출 편집을 하는 방식으로 타이틀을 저작한다.

[도1]-1의 시간 흐름창은, 타임라인 상에서 원하는 시간 즉 시점을 지정하고 지정된 시점에 삽입된 미디어들을 관리한다.

시간 흐름 창은 저작자가 타이틀을 재생하는 중 원하는 미디움의 연출 편집을 할 수 있도록 하는 인터페이스이다. 재생 중에 시간 흐름판의 타임라인 상의 원하는 지점에서 미디어 객체의 추가나 변경을 통한 타이틀 상에 연출된 지점을 기록하고 관리한다.

[도1]-2의 자료실은, 비디오, 오디오, 이미지, 실시간 카메라등과 같은 멀티미디어 데이터를 준비하여 제공하는 창이다. 미디어 객체창에서 사용자가 머릿속에 그리고 있는 데이터들을 준비하도록 하여 필요 시 자료실을 통해 객체를 추가한다.

[도1]-3의 미디어 객체창은 자료가 준비 되지 않았을때 미리 템플릿을 만들어 줄 수 있는 틀을 제공한다. 만약 이미지가 데이터가 자료실에 준비 되지 않았을 경우 샘플 이미지 객체를 추가 해 주어 차후 삽입될 이미지의 자리를 대신해 준다. 만약 차후 이미지 데이터가 자료실에 추가 되었을 경우 자료실의 이미지를 드래그 해서 샘플 이미지 객체 자리에 놓는 다면 바로 연결될 수 있다. [도1]-4의 공간 편집 창은, 사용자가 머릿속에 그리고 있는 시나리오를 시각적으로 반영하는 곳이다. 이곳에서 [도1]-1의 원하는 시점과 [도1]-2의 원하는 자료를 선택하고 그 객체를 삽입하게 된다. 공간 편집 창에서 데이터 추가, 수정, 삭제가 가능하다.

[도2]와 같이 전체적인 동작원리는 3단계로 이루어진다. [도2]-100 1단계는 데이터를 준비하는 과정이다. 사용자가 머릿속에 그려진 시나리오에 필요한 데이터를 준비하게 되는 과정이다. 데이터 준비 단계에서는 실질적으로 [도1]-200 의 자료실에 사용자가 머릿속에 그리고 있는 시나리오에 필요한 멀티미디어 데이터들을 채우는 작업이다. 모든 원천 자료는 자료실에 존재하며 작업중간에 추가 적으로 필요한 데이터들 역시 자료실에 삽입 뒤 사용한다. 이것은 데이터의 유효영역을 한곳에 집중 시킴으로써 사용자들의 혼동을 막고 쉽게 자료를 접근할 수 있도록 하는 것이다. [도2]-200 2단계는 1단계에서 준비된 데이터를 사용자 시나리오 대로 편집하며 확인하는 과정이다. [도2]-300 3단계는 2단계에서 편집된 멀티미디어 타이틀을 수정하는 과정이다. 이 단계에서 수정이 필요하다면 2단계로 돌아가 다시 수정 편집을 할 수 있다. [도2]-200 2단계와 [도2]-300 3단계의 피드백은 멀티미디어를 즉시 보고 들으면서 시간적인 관계와 공간적인 관계를 확인하고 수정함으로써 원하는 시나리오를 쉽게 저작할 수 있다.

1 항, [도2]에서 준비된 데이터를 편집 및 수정의 세부 동작 원리는 [도3]-210과 같이 우선 시간 흐름창[도1]의 원하는 시점(시간)을 선택하고 [도3]-220 준비된 멀티미디어 데이터를 추가한다.

[도3]-220의 각 미디어 객체의 재생 시간은 전체 타이틀의 재생 시간 안에 사용자가 그 객체를 가져다 놓은 지점부터 시작하여 삭제하는 지점까지의 구간을 갖는다. 즉, 모든 미디어 객체는 사용자가 원하는 지점에서 추가되고 삭제될 것이며, 이에 전체 타이틀의 시간상에 해당하는 재생 구간을 가질 것이다. 따라서 미디어 객체 간의 상대적인 시간 관계는 사용자의 저작 오류 없이 올바르게 같은 시점 상에서 동작하게 된다. 이때, 각 미디어 객체들은 시간 종속적인 미디어와 독립적인 미디어로 구분할 수 있는데, 시간에 종속적인 비디오와 오디오 객체는 사용자가 미리 설정한대로 재생될 구간이 결정된다. 위의 미디어 객체들은 타이틀 상에 사용자가 원하는 지점에서 연출 공간에 가져다 놓으면 재생이 시작되고 재생이 끝나더라도 사용자가 지정한 끝 지점 행동에 따라 사라지거나 반복, 혹은 마지막 장면이지속이 된다. 즉 공간 연출에 종속적인 재생시간을 갖는다. [도3]-220의 미디어 객체들은 DPC(Dynamic Presentation Context)와 SPC(Static Presentation Context)가 존재하는데 SPC는 미디움의 고유한 정적인 정보 즉 동영상의 경우 프레임 정보 등을 가지고 있다. 즉 저작자가 타이틀의 연출 작업을 보다 빠르게 수행하기 위해 전체 프리젠테이션 속도를 높이면 해당 미디어 객체들의 PC(Presentatin Context)에 자동적으로 반영이 되어 미디어 속도가 조절된다. DPC의 경우 동적인 정보 즉 미디움의 공간적 위치, 크기 등의 정보가 저장된다.

[도3]의 객체가 생성되어 공간에 배치되게 되면 DPC가 추가 되고 DPC의 정보를 갱신한다. DPC의 정보를 통해 시점별 미디움의 위치와 크기가 동적으로 구현된다.

[도 5]의 타임라인 즉 시간 흐름창에 시점이 3개가 존재 한다면 [도 4]에서 처럼 시점 세곳의 모든 미디어 들의 미디어 리스트가 존재하게 된다. 만약 [도5]에서 시점을 변화하여 2번째 시점으로 이동된다면 [도4]에서 2번의 DPC 정보를 읽고 화면을 갱신하여 미디어 들의 위치나 크기와 같은 동적인 정보가 변화된다. 즉 공간에 미디어들의 시점별 위치와 동적인 변화는 [도 4]의 미디어 리스트에 있는 각 미디어의 DPC에 의해 보여지게 되는 것이다. [도3]-310의 3단계과정의 수정전에 내부적으로 일어 나는 과정이다. 만약 어떤 미디움을 수정 하려고 한다면 그 미디움이 어떤 시간적 개념의 시점에서 존재하는 것인지 검색을 해야한다. 유효한 시점이 검색되면 [도4]에서 그 시점에 포함되는 미디어 DPC를 찾고 그 정보를 수정된 정보로 변경한다.

[도5]의 미리보기를 통해 즉시 편집의 확인이 가능하며 확인 하는 중 수정해야할 부분이 생긴다면 즉시 중단하고 수정할 수 있다. 다시 말해 편집하는 공간에서 바로 확인 과정이 일어 날수 있고 확인하는 공간에서 다시 수정을 할 수 있도록 되어 있다. 이것이 바로 재생 중 연출 편집 방식이다(WYSIWYG). 멀티미디어 타이틀의 재생중 연출 편집 방식은 저작자가 실시간으로 재생을 보고 들으면서 편집을 할 수 있어야 한다. 따라서 타이틀 상에 연출되는 미디어의 시-공간 연출이 전체 타이틀에 즉시 반영되어야만 재생되어질 수 있다. 이때 재생과 연출 편집이 개별적인 화면상에서 이루어진다면 저작자가 연출 시나리오를 확인하고 수정하는데 많은 불편한 점이 생긴다. 즉, 각 미디어의 재생시간과 이에 따른 공간적인 레이아웃의 동적인 변화, 연출 중인 다른 미디어와의 병렬 혹은 순차적인 관계 등을 저작자의 의도대로 편집하기 위해서는 많은 시행착오를 거쳐야만 한다. 더욱이 연속 미디어의 특정한 재생 내용에 맞추어 다른 미디어들의 재생이 요구될 때 이러한 미디어 간의 정확한 동기화는 재생 시간을 일일이 확인하며 연출을 해야 하는 번거로움이 있었다. 이에 저작자가 실시간으로 자신의 연출 시나리오대로 멀티미디어 타이틀을 저작하기 위해 재생되는 멀티미디어 문서를 확인하면서 필요한 연출 편집 작업을 할 수 있도록 시간 및 공간 동기화 편집 창을 통합하여 시간의 흐름에 따른 공간 편집을 하도록 한다. 공간 연출 상에 시간 개념의 도입에 따라 공간적인 레이아웃 변화의 동적인 확장을 표현하는데 있어 공간적으로 레이아웃이 설정된 각 미디움의 재생 시간은 전체 타임라인 상에 자신의 재생 구간(duration)으로 대치된다. 모든 미디어 객체는 사용자가 원하는 지점에서 추가되고 삭제될 것이며, 이에 전체 프리젠테이션 시간상에 해당하는 재생 시간을 가질 것이다. 이러한 방식으로 저작자의 연출 지점의 설정에 따라 각 미디어 간의 상대적인 시간관계의 표현도 가능해진다. 재생 중에 연출 편집이 이루어지기 때문에 시간 관계의 비논리성은 나타날 수 없다. 여기서 "보면서 편집하는 WYSIWYG 방식" 의 새로운 멀티미디어 편집 방식을 제안한다.

[도6]은 사용자 머릿속의 시나리오를 그대로 반영해 편집한 그림이다. 시간흐름창의 글로벌 시간축을 기준으로 여러 미디움이 어떤 시점에 존재하고 제거 되는지 나타낸다.

[도7] 데이터 삽입의 세부적인 동작원리

[도8]와 같이 비디오 클립핑은 동영상의 시작시점과 끝 시점을 선택해 원하는 부분만을 보여 줄 수 있도록 하고 만약 원하는 부분의 재생이 끝난다면 반복, 첫장면에서 멈춤, 끝장면에서 멈춤, 사라짐등의 기능을 제공한다.

2 항, [도3]-220 데이터 삽입의 세부적인 동작원리에 클립핑이 있다.

[도3]-220의 데이터 삽입의 세부적인 동작원리는 준비된 비디오,오디오,이미지,카메라 등의 데이터 중에서도 정말 필요한 부분만을 추출하여 즉시 삽입하는 과정이며 이것을 클립핑이라고 한다. 사용자가 준비한 데이터중 자신의 운동회를 촬영한 동영상 파일을 가지고 있다고 한다면 실제적으로 사용자는 자신이 담긴 일부분의 운동회 장면을 원하는 경우가 많다. 하지만 원하는 부분을 추출하여 파일로 다시 만들기란 쉽지가 않다. 여기서 WYSIWYG 방식의 개념이 들어 가게 되는데 그것은 데이터를 편집하는 과정중 삽입하는 과정에 즉시 데이터의 클립핑까지 동시에일어 난다는 것이다. 사용자는 원하는 시점의 위치에 이미지,오디오,동영상,실시간 카메라.. 등의 데이터를 삽입하고 동시에 그 데이터의 필요한 부분만을 선택함으로써 기존 방식의 편집전 데이터를 준비하는 어렵고 번거롭던 과정에서 벗어나게 된다. [도9]의 오디오 클립핑의 경우 비디오와 같이 원하는 부분만을 들을 수 있고 원본 사운드파일의 소리와 좌우 발란스도 사용자가 임의대로 반영해 변경할 수 있다. [도10]의 이미지 클립핑은 원본 이미지에서 사용자가 자신의 특정 부분만을 잘라 보여 주고 싶을 때 사용된다.

3 항, 카메라 캡쳐는 데이터를 준비하는 과정에서 자신의 사진 혹은 자신의 모습이 담긴 동영상등이 필요할때가 있다. 하지만 만약 준비되지 않았을 경우 즉시 자신의 모니터 위에 달린 PC 카메라를 통해 자신의 모습을 동영상 파일로 만들거나 사진을 찍어 이미지 파일로 만들 수 있다. 데이터의 준비단계의 클립핑 기능과 실시간으로 카메라 캡쳐를 통해 WYSIWYG 방식으로 즉시 원하는 데이터를 만들고 필요한 데이터를 손쉽게 준비할 수 있다. [도12] 사용자 편집이 완료된 그림이고 [도13]은 편집된 화면을 미리보기를 통해 확인하여 완료된 그림이다.

저작자가 WYSIWYG방식으로 편집된 멀티미디어를 즉시 보고 들으면서 시간적인 관계와 공간적인 관계를 확인하고 수정함으로 원하는 시나리오를 보다 쉽고 직관적으로 편집할 수 있다. 이 방식의 가장 큰 장점은 기존의 편집 방식보다 확연히 쉽고 빠르게 편집 할 수 있다는 점이다. 요즘은 일반사용자의 연령층이 보다 넓어 져 있으므로 주부나 학생 또한 멀티미디어 편집에 관심을 가진다. 이에 넓은 연령층이 쉽게 멀티미디어를 편집할 수 있는 WYSIWYG방식의 멀티미디어 편집 프로세서의 발명은 멀티미디어 편집에 쉽게 다가 갈수 있도록 할 것이다.