权利要求

계층적 부호화 환경에서 ＰＯＣＳ 기반의 에러 은닉 방법{METHOD FOR CONCEALMENT BASED POCS IN MULTI-LAYERED VIDEO CODING}

도 1 은 종래의 손실된 블록의 주변 경계 값을 이용한 에러 은닉 방법에 대한 설명도,

도 2 는 본 발명에 따른 계층적 부호화 환경에서 POCS 기반의 에러 은닉 방법에 대한 제 1 실시예 흐름도,

도 3 은 본 발명이 적용되는 계층적 부호화 방법에 대한 일실시예 설명도,

도 4 는 본 발명이 적용되는 계층별 주파수 영역에 대한 일실시예 설명도,

도 5 는 본 발명에 따른 기본계층과 향상계층 간의 상관도 측정 방법에 대한 일실시예 설명도,

도 6 은 본 발명에 따른 계층적 부호화 환경에서 POCS 기반의 에러 은닉 방법에 대한 제 2 실시예 흐름도,

도 7 은 본 발명에 따른 POCS 알고리즘에 대한 일실시예 설명도,

도 8 은 POCS 알고리즘의 초기치 문제에 대한 일실시예 설명도,

도 9 및 도 10 은 본 발명에 따른 도 7의 POCS 알고리즘에 대한 일실시예 상세 설명도이다.

* 도면의 주요 부분에 대한 부호 설명

302: 기본계층 304: 향상계층

본 발명은 계층적 부호화 환경에서 POCS 기반의 에러 은닉 방법에 관한 것으로, 더욱 상세하게는 계층적 부호화를 통해 얻어진 제 1 계층에 에러가 발생하면 제 1 계층과 상관도를 가지는 제 2 계층에서 유사한 영상블록(이웃블록)을 찾고 그 찾은 이웃블록과 대응되는 제 1 계층에서의 영상블록(초기블록)을 에러가 발생한 영상블록과 교체한 후, POCS(Projections Onto Convex Set) 알고리즘을 반복적으로 수행함으로써, 전송 에러에 대해서 추가적인 정보에 의존하지 않고 이전에 수신된 에러가 없는 영상정보를 이용하여 손실되거나 에러가 발생한 영상 블록을 단말 측에서 독립적으로 은닉할 수 있게 하는, 계층적 부호화 환경에서 POCS 기반의 에러 은닉 방법에 관한 것이다.

일반적인 에러 은닉(Error Concealment) 방법은 전송에러가 발생한 경우에 종단 간의 전송 지연에 대한 QoS(Quality of Service)를 만족시키기 위함이다. 에러 은닉 방법은 영상 정보를 완벽하게 보호할 수 없는 경우 즉, 에러 정정 능력을 벗어나는 경우에, 에러에 대한 화질 열화 및 에러 전파를 최소화하기 위해서 사용된다.

종래의 에러 은닉 기술은 에러 검출 전처리 과정이 처리된 후에 수행되며, 주변 매크로블록 정보들을 사용하여 공간적인 영역에서 손실된 블록들을 보상하는 기술 또는 시간적 영역에서 보상하는 기술이 있다. 이하, 이러한 종래기술에 대한 설명과 문제점을 함께 살펴보기로 한다.

먼저, 공간적인 영역에서의 에러 은닉 방법은 에러 없이 수신된 주변 매크로 블록들이 공간 방향 영역에 손실된 매크로블록을 은닉하기 위한 후보들로 사용된다. 이러한 에러 은닉 방법은 JPEG와 같은 정지영상 부호화 방법에서 손실된 영역을 은닉하는데 사용될 수 있으며, MC(Motion Compensation)/DCT(Discrete Cosine Transform) 동영상 부호화 방법에서는 화면 내의 모드를 부호화하는 경우나 물체의 움직임이 커서 시간 방향의 에러 은닉의 오차가 발생할 경우에 사용될 수 있다. 이러한 공간영역 에러 은닉 방법 중에서 대표적인 방법으로는 공간 예측 은닉 방법 또는 주파수 영역에서의 에러 은닉 방법 등이 있다.

공간 예측 은닉 방법은 선형 방정식을 사용하여 손실된 영역을 은닉한다. 이때, 공간영역에서 보간(Interpolation)을 수행하므로 각도(Angle) 및 에지(Edge) 성분이 매크로블록의 주변 블록들로부터 연속적으로 보장된다. 그러나 주변 경계 영상 정보로부터 멀어질수록 에러 은닉에 대한 오차가 커진다는 문제점이 있었다.

주파수 영역에서의 에러 은닉 방법은 DCT와 같은 주파수 영역에서 주변 매크로블록들과의 상관성을 이용하여 에러 은닉을 수행한다. 이러한 에러 은닉 방법으로는 기본적으로 주변 블록의 DCT 계수의 선형 보간, 다항식 보간을 통한 에러 은닉 방법 등이 있으며, 주파수 영역에서 주변 블록들과의 연속적인 점을 에러 은닉 의 정확성 측정치로 사용하여 에러를 은닉하는 방법도 있다. 그러나 주파수 영역의 에러 은닉 방법은 DCT된 블록의 고주파 성분이 인접한 주변 블록과의 상관성이 떨어진다는 문제점이 있었다. 따라서, 주파수 영역의 에러 은닉 방법은 DC 성분만을 사용하는 것이 일반적이다.

도 1 은 종래의 손실된 블록의 주변 경계 값을 이용한 에러 은닉 방법에 대한 설명도이다.

주변 경계 값을 이용한 에러 은닉 방법은, 도 1에 도시된 바와 같이, 손실된 블록(Y _{(x, y)} )의 한 화소의 값을 주변 4개의 블록(Y ₁ , Y ₂ , Y ₃ , Y ₄ )의 가장자리 값의 가중 합으로 표현하는 방법이다.

다른 종래의 에러 은닉 기술은 시간 방향에서의 에러를 은닉하는 기술인데, 이는 움직임 보상 방법을 사용하는 부호화 방법에서 사용된다. 이러한 에러 은닉 방법은 에러 없이 수신된 주변 매크로블록의 움직임 벡터 정보들을 사용하여 에러 은닉을 수행함으로써, 프레임 율이 높고 움직임 보상 에러가 적은 경우에 에러 은닉 효율이 증가한다.

하지만, 이러한 시간 방향에서의 에러 은닉 기술은 ATM 망과 같은 초고속 통신망에 비해 상대적으로 전송 대역폭(64kbps-128kbps, 옥외 이동통신)이 작아 사용되는 프레임 율이 낮은 경우에, 또는 영상 내에 물체의 수가 많아 움직임이 많거나 갑자기 장면 변화가 발생하는 경우에는 화질이 떨어진다는 문제점이 있었다.

또 다른 에러 은닉 기술은 에러 은닉 정확성 측정치를 사용하여 공간 방향 에러 은닉 방법, 시간 방향 에러 은닉 방법, 시공간 에러 은닉 방법을 선택적으로 사용하는 기술인데, 이러한 시공간 에러 은닉 기술의 예로 "Max Chien" 방법 또는 "Wen-Jung" 방법을 살펴보면 다음과 같다.

먼저, "Max Chien" 방법은 손실 영역의 시간 방향에 대한 정확도 측정치를 상, 하 매크로블록들의 방향성 등을 이용하여 구한 후, 구한 값을 이용하여 측정치가 특정 임계치보다 큰 경우에는 시간 영역 에러 은닉을 수행하고 작은 경우에는 공간 방향 에러 은닉을 수행한다.

다음으로, "Wen-Jung" 방법은 주변 매크로블록들을 사용하여 시간, 공간 방향에서 AID(Average Intersample Difference within a block), AIDB(Average Intersample Difference across the block Boundaries), AMD(Average Mean Difference), AVD(Average Variance Difference) 측정치의 가중치 합으로 이루어진 정확도 측정치를 사용하여 에러 은닉을 수행한다. 이때, 에러 은닉에 사용되는 주변 매크로블록의 선정은 에러 은닉 성능에 큰 영향을 끼친다. 이러한 "Wen-Jung" 방법은 인접 매크로블록, 공간적으로 에러 은닉된 매크로블록들을 선정하여 사용한다. 만약, 후보들이 선정되면 후보 매크로블록들의 평균값, 중간값, 후보 자체 값, 움직임 보상된 값, 움직임 보상된 평균값, 움직임 보상된 중간값 등 8개의 경우에 대해서 정확성 측정치를 구하여 최대의 가장자리 값을 가지도록 에러를 은닉한다.

앞서 설명한 에러 은닉 기술은 무선 채널에서의 다양한 에러를 은닉하는데, 다양한 에러 중에서 버스트 에러(Burst Error)는 현재 활성화되고 있는 무선 채널에서 중요한 요소로 작용하고 있다. 이러한 버스트 에러는 정보를 다시 복구하기 불가능할 정도로 정보 손실을 가져다주기 때문에, 무선 채널을 통한 비디오 전송을 위해서는 버스트 에러가 미치는 영향을 최소화해야 한다.

특히, 단일 계층 부호화 환경에서는 에러가 발생한 영상블록과 유사한 블록을 찾는 대상이 하나의 계층에 있는 주변블록(에러가 발생한 블록과 동일한 계층에 있는 주변 블록)에 국한된다는 문제점이 있으며, 또한, 앞서 설명한 버스트 에러를 완전하게 은닉하지는 못한다는 문제점이 있었다.

본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 계층적 부호화를 통해 얻어진 제 1 계층에 에러가 발생하면 제 1 계층과 상관도를 가지는 제 2 계층에서 유사한 영상블록(이웃블록)을 찾고 그 찾은 이웃블록과 대응되는 제 1 계층에서의 영상블록(초기블록)을 에러가 발생한 영상블록과 교체한 후, POCS(Projections Onto Convex Set) 알고리즘을 반복적으로 수행함으로써, 전송 에러에 대해서 추가적인 정보에 의존하지 않고 이전에 수신된 에러가 없는 영상정보를 이용하여 손실되거나 에러가 발생한 영상 블록을 단말 측에서 독립적으로 은닉할 수 있게 하는, 계층적 부호화 환경에서 POCS 기반의 에러 은닉 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명은, 계층적 부호화 환경에서 POCS(Projections Onto Convex Set) 기반의 에러 은닉 방법에 있어서, 공간영역에서 에러가 발생한 제 1 계층의 영상블록과 상관도를 가지는 제 2 계층의 영상블록(이하, "기준블록"이라 함)을 찾는 기준블록 발견 단계; 상기 공간영역에서 상기 기준블록과 인접한 영상블록(이하, "이웃블록"이라 함) 간의 유사도를 측정하는 유사도 측정 단계; 상기 측정한 이웃블록의 유사도 중에서 유사 오차가 최소인 이웃블록을 찾고, 상기 찾은 이웃블록과 상관도를 가지는 제 1 계층에서의 영상블록을 초기블록으로 설정하는 초기블록 설정 단계; 상기 에러가 발생한 제 1 계층의 영상블록을 상기 설정한 초기블록으로 교체하는 블록 교체 단계; 및 상기 교체한 초기블록과 해당 이웃블록을 포함하는 영상블록(이하, "POCS 초기블록"이라 함)을 기초로 POCS 알고리즘을 반복적으로 수행하여 상기 에러가 발생한 제 1 계층의 영상블록을 은닉하되, 상기 POCS 알고리즘에서 고주파 성분 제거를 위한 윈도우 크기는 영상 분산값에 따라 결정되는 에러 은닉 단계를 포함한다.

한편, 본 발명은, 계층적 부호화 환경에서 POCS 기반의 에러 은닉 방법에 있어서, 공간영역에서 에러가 발생한 제 1 계층의 영상블록과 상관도를 가지는 제 2 계층의 영상블록(이하, "기준블록"이라 함)을 찾는 기준블록 발견 단계; 상기 기준블록과 인접한 영상블록(이하, "이웃블록"이라 함)을 포함하는 공간영역을 DCT 영역으로 변환하는 영역 변환 단계; 상기 변환한 DCT 영역에서 상기 기준블록과 이웃블록 간의 유사도를 측정하는 유사도 측정 단계; 상기 측정한 이웃블록의 유사도 중에서 유사 오차가 최소인 이웃블록을 찾고, 상기 찾은 이웃블록과 상관도를 가지는 제 1 계층에서의 영상블록을 초기블록으로 설정하는 초기블록 설정 단계; 상기 에러가 발생한 제 1 계층의 영상블록을 상기 설정한 초기블록으로 교체하는 블록 교체 단계; 상기 교체한 초기블록과 해당 이웃블록을 포함하는 영상블록(이하, "POCS 초기블록"이라 함)을 상기 공간영역으로 역변환하는 영역 역변환 단계; 및 상기 POCS 초기블록을 기초로 POCS 알고리즘을 반복적으로 수행하여 상기 에러가 발생한 제 1 계층의 영상블록을 은닉하되, 상기 POCS 알고리즘에서 고주파 성분 제거를 위한 윈도우 크기는 영상 분산값에 따라 결정되는 에러 은닉 단계를 포함한다.

이처럼, 본 발명은 전송 에러에 대해서 추가적인 정보에 의존하지 않고 이전에 수신된 에러가 없는 영상정보를 이용하여 손실되거나 에러가 발생한 영상 블록을 단말 측에서 독립적으로 은닉할 수 있게 한다.

이를 위해서, 본 발명은 계층적 부호화를 통해 얻어진 제 1 계층에 에러가 발생하면 제 1 계층과 상관도를 가지는 제 2 계층에서 유사한 영상블록(이웃블록)을 찾고 그 영상블록과 대응되는 제 1 계층에서의 영상블록(초기블록)을 에러가 발생한 영상블록과 교체한 후, POCS 알고리즘을 반복적으로 수행함으로써, 에러를 은닉하는 것이다.

상술한 목적, 특징 및 장점은 첨부된
도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 2 는 본 발명에 따른 계층적 부호화 환경에서 POCS 기반의 에러 은닉 방법에 대한 제 1 실시예 흐름도이다. 이하, 도 2를 참조하여 살펴보면 다음과 같다.

먼저, 공간영역에서 에러가 발생한 기본계층(Base Layer)의 영상블록과 상관도를 가지는 향상계층(Enhancement Layer)의 영상블록(이하, "기준블록"이라 함)을 찾고 기준블록과 인접한 영상블록(이하, "이웃블록"이라 함)의 공간영역을 DCT 영역으로 변환한다(202).

"202" 과정에서 변환된 DCT 영역에서 주변블록(이웃블록)의 위치에 따른 번호를 k로 나타내며 총 8개의 이웃블록 중에서 k가 0인 블록(204)에 대해서 기준블록과 인접한 영상블록(이웃블록) 간의 유사도(

)를 공간영역에서 측정한다(206). k가 8 미만임을 확인하여(208) 8 미만인 경우에 k를 하나씩 증가시킨다(210). 이후, "206" 과정부터 반복수행하여 차례대로 총 8개 이웃블록의 유사도( )를 측정한다.

"206 내지 210" 과정에서 유사도 측정이 완료된 후(k가 8 이상인 경우)에, 총 8개의 이웃블록의 유사도 중에서 유사 오차가 최소인 이웃블록을 찾고(212), 상기 찾은 이웃블록과 상관도를 가지는 기본계층에서의 영상블록을 초기블록으로 설정한다.

여기서, "212" 과정에서 찾은 향상계층에서의 이웃블록과 기본계층에서의 영상블록은 I 프레임(Intra Frame)인 경우에 상관도를 가진다. I 프레임으로 부호화하는 과정에서 기본계층과 향상계층이 서로 상관도를 가지기 때문에, 이러한 상관도를 이용하여 초기블록으로 설정가능하다.

그리고 에러가 발생한 기본계층의 영상블록을 상기 설정된 초기블록으로 교체하고(214) 교체된 초기블록과 인접한 영상블록의 영역을 공간영역으로 역변환한다(216).

이후, 교체된 초기블록과 이웃블록을 포함하는 영상블록(이하, "POCS 초기블록"이라 함)을 기초로 하여 POCS(Projections Onto Convex Set) 알고리즘을 반복적으로 수행한다(218).

이하, 본 발명에 따른 계층적 부호화, 기본계층과 향상계층 간의 상관도 측정을 각각 설명하기로 한다.

도 3 은 본 발명이 적용되는 계층적 부호화 방법에 대한 일실시예 설명도이다.

본 발명이 적용되는 계층적 부호화 방법은, 도 3에 도시된 바와 같이, 영상을 효율적으로 전송하거나 재현하기 위해서 하나의 기본계층(302)과 여러 향상계층(304)을 제공한다. 기본계층은 입력된 기준영상에 대한 기본 해상도를 위한 계층이며, 향상계층은 기본 해상도와 더불어 고해상도의 영상을 위한 추가적인 정보를 제공한다. 이러한 계층적 부호화 방법은 무선 환경에서 발생하는 연집 에러(Burst Error)를 분산한다. 이는 기존의 CGI(Coefficient Grouping and Interleaving) 방법을 사용하지 않고도 에러에 대한 내성성을 높이기 위함이다.

종래의 POCS 방법에서 초기치를 얻는 방법은 단일 계층 부호화로 인해 한 계 층의 이웃블록에만 초기치를 얻을 수 있었다. 하지만, 하나의 기본계층에서 다수의 향상계층으로 영상 정보를 전송하는 계층 부호화에서 POCS 방법을 사용하면 기본계층에서 손실된 블록을 복구하기 위한 초기블록을 기본계층의 이웃 블록뿐만 아니라 여러 향상계층에서도 얻을 수 있게 됨으로써 더욱 유사한 블록을 초기블록으로 이용할 수 있다.

도 4 는 본 발명이 적용되는 계층별 주파수 영역에 대한 일실시예 설명도이다.

도 4에 도시된 바와 같이, 계층별 주파수 영역은 저주파 성분과 고주파 성분으로 이루어진다. 여기에서 저주파 성분은 공간영역 확장성 측면에서 볼 때 기본계층에 대응되고, 향상계층은 고주파 성분 영역에 대응된다.

우선, 본 발명에 따른 에러 은닉 방법은 전체 신호의 주파수 영역의 스펙트럼이 유사하다면 저주파 영역과 고주파 영역에서 스펙트럼의 모양이 유사하다고 가정한다. 본 발명은 주파수 영역의 이러한 유사도를 이용하여 기본계층의 블록이 손실되었을 때 손실된 블록에 대응되는 향상계층에서의 블록에서 이웃 블록과의 주파수 성분의 유사도를 측정하여 최소 오차를 가지는 블록을 구하고 이러한 블록과 같은 위치에 있는 기본계층의 블록을 초기치로 사용한다. 또는 반대의 경우에서도 같은 방법으로 구현할 수 있다. 즉, 다음과 같은 경우에 적용이 가능하다.

영상은 그 특성상 시간 영역, 공간영역, DCT 영역 사이에서 상관관계를 가지므로, 이러한 상관관계를 고려하여 설명하기로 한다.

도 5 는 본 발명에 따른 기본계층과 향상계층 간의 상관도 측정 방법에 대한 일실시예 설명도이다.

도 5에 도시된 바와 같이, 기본계층과 향상계층 간의 상관도 측정 방법은 각 계층의 영상을 8×8 크기를 갖는 여러 블록으로 나눈 후, 손상된 블록으로 가정한 블록을 기준 블록으로 대각선 방향을 포함한 상, 하, 좌, 우의 8개 블록과의 유사도를 측정한다. 또한, 향상계층의 영상을 16×16 크기를 갖는 여러 블록으로 나눈 후, 총 8개의 블록과의 유사도를 측정한다.

유사도를 측정하는 경우에 블록 정합 알고리즘(block matching algorithm)에서의 공간영역의 유사도 측정과 달리 기준 블록과 이웃 블록의 DCT 영역에서 유사도를 측정한다. 이는 저주파 영역을 가지는 기본계층, 고주파 영역을 가지는 향상계층의 상관도를 분석하여 본 발명에 따른 에러 은닉 방법의 타당성을 제시하기 위함이다.

총 8개의 블록을 DCT 영역으로 변환하여 유사도를 측정한다. 기준 블록과 유사한 블록을 찾아내는 판단 기준인 유사도는 차의 제곱 합(SSD: Sum of Squared Difference)의 평균을 이용한다.

기본계층 영상은 각각의 좌표에 대한 기준 블록과 이웃 블록 간의 유사도를 측정한다. 또한, 향상계층은 기본계층과 같은 방법으로 블록 간의 유사도를 측정하였다. 이때, 각각의 계층에서 동일한 좌표를 가지는 기준 블록에 대한 유사도 측정의 결과인 유사성이 최대인 블록의 좌표가 하기의 [표 1]에 나타나 있다.

[표 1]은 각각의 계층에서 하나의 블록당

와 (8 개의 주변 블록에 대한)의 평균값을 구하고 구한 평균값을 와 같은 형태로 나타나 있다. 부터 까지 오름 순으로 정렬한 후 정렬된 순서에 따른 기준으로 쌍을 정렬한다.

상기의 [표 1]에서 두 실험 영상에 대한

는 에서 가장 작은 값을 의미하고 같은 쌍에 있는 는 와 같은 좌표에 위치하는 SSD값이 된다. 대부분의 다른 SSD쌍에서도 동일한 형태를 가진다. 즉, 와 의 평균값이 동일하게 오름차순으로 나타난다.

따라서, 기본계층과 향상계층 사이에 높은 상관도가 있다. 본 발명은 이러한 기본계층과 향상계층과의 상관성을 이용하여 향상계층에서의 블록이 손실되는 경우에 기본계층의 정보로 에러를 은닉하거나 기본계층에서의 블록 손실 시 향상계층의 정보로 에러를 은닉한다.

한편, 본 발명에 따른 계층적 부호화 환경에서 POCS 기반의 에러 은닉 방법의 다른 실시예와 관련된 공간영역과 DCT 영역에서의 유사도(SSD)를 비교하기로 한다.

"Parseval"의 정리는, 하기의 [수학식 1]에 나타낸 바와 같이, 시간영역(Time Domain)에서의 총 파워(Total Power)와 주파수 영역(Frequency Domain)에서의 총 에너지는 같다는 원리를 나타낸다.

여기서,

는 시간영역의 신호함수를 나타내고, 는 의 푸리에 변환 함수를 나타낸다.

공간영역과 DCT 영역에서 향상계층은 기본영상과 향상영상 간의 차로 인해 생기는 오차 신호이므로 "Parseval"의 정리에 의해 하기의 [수학식 2]로부터 [수학식 4]를 얻을 수 있다.

여기서,

는 현재 블록의 화소의 값, 는 주변 블록의 화소의 값을 나타낸다.

[수학식 2]에서 주변 블록의 위치에 따라

값이 0, +8, -8이 될 수 있다. 즉, 도 5에서 현재 블록의 왼쪽 상단의 블록에서는 = -8, = -8이 된다. [수학식 2]에서 으로 치환하고, [수학식 2]를 DCT 하면 하기의 [수학식 3]과 같은 식이 성립한다.

여기서,

을 나타낸다.

[수학식 4]는 공간영역에서의 차 신호

의 에너지의 합이 주파수 영역에서의 차 신호 의 에너지의 합과 같다는 것을 나타낸다.

이하, "Parseval"의 정리를 이용하여 공간영역에서의 블록 간 상관도를 계산해 보기로 한다. 이는, 본 발명에 따른 계층적 부호화 환경에서 POCS 기반의 에러 은닉 방법에 대한 제 2 실시예의 타당성을 증명하기 위함이다.

하기의 [표 2]는 DCT 영역에서의 상관도 분석과 동일한 방법으로 공간영역에서의 계층 간의 상관도를 분석한 결과이다. 하기의 [표 2]는 총 6개의 실험 영상을 사용하여 각 계층 간의 SSD 평균값을 구하였으며, 기본계층의 평균

을 오름차순으로 정렬하여 그 값을 쌍의 기준으로 나타내었다.

상기의 [표 2]에 나타난 유사도 측정 결과는 DCT 영역에서 측정한 결과와 유사한 결과로 나타난다. 전체적으로

와 의 평균값이 동일하게 오름차순으로 정렬되어 있으며 최소 값을 가지는 평균 은 DCT 영역에서 얻은 값과 동일하다. 이후, 동일한 좌표를 가지는 블록을 POCS의 초기블록으로 설정한다.

따라서, 본 발명의 다른 실시예는 DCT 변환을 사용하여 DCT 영역에서 유사도를 측정하지 않고 공간영역에서의 기본계층과 향상계층 간의 상관도를 측정한다.

도 6 은 본 발명에 따른 계층적 부호화 환경에서 POCS 기반의 에러 은닉 방법에 대한 제 2 실시예 흐름도이다. 이하, 본 발명에 따른 다른 실시예를 도 6을 참조하여 살펴보면 다음과 같다.

먼저, 공간영역에서 에러가 발생한 기본계층의 영상블록과 상관도를 가지는 향상계층의 영상블록(이하, "기준블록"이라 함)을 찾는다.

그리고 기준블록과 주변블록(이웃블록)의 위치에 따른 번호를 k로 나타내며 총 8개의 이웃블록 중에서 k가 0인 블록(602)에 대해서 기준블록과 인접한 영상블록(이하, "이웃블록"이라 함) 간의 유사도(

)를 공간영역에서 측정한다(604). 이후, k가 8 미만인지를 확인하여(606) 8 미만인 경우에 k를 하나씩 증가시킨다(608). 이후, "604" 과정을 반복수행하여 차례대로 총 8개 이웃블록의 유사도( )를 측정한다.

상기와 같이 유사도 측정이 완료된 후에, 총 8개의 이웃블록의 유사도 중에서 유사 오차가 최소인 이웃블록을 찾고(610), 상기 찾은 이웃블록과 상관도를 가지는 기본계층에서의 영상블록을 초기블록으로 설정한다.

여기서, "610" 과정에서 찾은 향상계층에서의 이웃블록과 기본계층에서의 영상블록이 프레임에 관계없이 상관도를 가진다. 예를 들어, I 프레임(Intra Frame), P 프레임(Predicted Frame), B 프레임(Bidirectional Frame) 등의 부호화 과정에서도 기본계층과 향상계층이 서로 상관도를 가지기 때문에, 이러한 상관도를 이용하여 초기블록으로 설정가능하다.

한편, 에러가 발생한 기본계층의 영상블록을 설정된 초기블록으로 교체하고(612) 교체된 초기블록과 이웃블록을 포함하는 영상블록(이하, "POCS 초기블록"이라 함)을 기초로 POCS 알고리즘을 반복적으로 수행한다(614).

"610" 과정에서 기준블록과 최소의 차이를 가지는 이웃블록이 복수인 경우에, 에지 성분의 영상 내용에 가중치를 두어 에지 성분이 있는 이웃블록을 초기블록으로 설정한다.

도 7 은 본 발명에 따른 POCS 알고리즘에 대한 일실시예 설명도이다.

영상 복원에서의 응용에서는 이웃 블록의 밝기와 손상된 블록의 단순화 변수와 같이 미리 알고 있는 정보를 가지고 볼록 집합(Convex Set)을 구성할 수 있다. 손상된 정보의 벡터를 볼록 집합(Convex Set)에 투영하고 하나의 근으로 수렴함으로써 손상된 정보를 얻을 수 있다. 이하, 본 발명에서 이용되는 POCS 알고리즘을 살펴보면 다음과 같다.

본 발명에 따른 POCS 알고리즘은, 도 7에 도시된 바와 같이, 초기블록과 이웃블록을 포함하는 영상블록(POCS 초기블록)(702)을 DCT 변환한다(704).

그러면, DCT 영역으로 변환된 영상블록에서 윈도우를 이용하여 고주파 영역을 제거한다(706). 고주파 성분이 제거된 영상블록의 DCT 영역을 공간영역으로 역변환한 후(708), 역변환된 영상블록 중에서 초기블록의 좌표에 해당하는 영상블록을 획득하여 POCS 초기블록의 초기블록을 획득된 영상블록으로 교체한다(710).

상기 초기블록 교체 과정(710)에서 교체된 초기블록을 기초로 DCT 영역 변환 과정부터 반복 수행한다.

POCS 알고리즘은 반복적인 과정을 가지는 알고리즘이다. 시스템은 초기치를 가지고 시작하여 알고 있는 계수를 가지고 반복적인 과정을 거치면서 블록을 갱신하게 된다. 이러한 POCS 알고리즘은 공간영역 또는 변환영역의 계수들과 관련성이 있다. 또한, 손상된 블록의 초기치에 따라 반복횟수에 영향을 끼칠 수 있다.

도 8 은 POCS 알고리즘의 초기치 문제에 대한 일실시예 설명도이다.

예를 들어, 이웃 블록이 255 밝기 값을 가지고 손상된 블록의 초기치를 0으로 두었다면 반복적인 POCS 알고리즘을 수행하더라도, 도 8에 도시된 바와 같이, 손상된 블록의 밝기 값은 255를 얻지 못한다.

하지만, [표 2]에서 설명한 대로 계층적 부호화를 통해 얻어진 기본계층과 향상계층 간의 유사성을 이용하여 원 영상과 유사한 초기블록을 얻을 수 있으므로 에러를 은닉할 수 있다.

도 9 및 도 10 은 본 발명에 따른 도 7의 POCS 알고리즘에 대한 일실시예 상세 설명도이다.

POCS의 알고리즘에서의 초기블록과 이웃블록을 포함하는 영상블록(POCS 초기블록)은 초기블록과 주위블록을 포함하는 L×L 크기의 블록이다. 예를 들어, POCS 초기블록은, 도 9에 도시된 바와 같이, 8×8의 크기를 가지는 초기블록과 인접한 8개의 이웃블록을 합하여 총 24×24의 크기를 가진다.

도 10에 도시된 바와 같이, 이러한 POCS 초기블록을 DCT 변환을 하고 주파수 제거 윈도우 사이즈에 의해 고주파 영역을 제거하게 된다.

이후, 고주파 영역이 제거된 POCS 초기블록을 역 DCT 변환을 하고 초기블록의 위치의 화소 정보들을 POCS 초기 L×L 블록의 초기블록 위치에 채우게 된다. 이러한 POCS 과정은 수렴이 이루어질 때까지 반복하게 된다.

POCS 알고리즘에서 DCT 계수 선택을 위한 윈도우의 크기를 조정함으로써 POCS 순환횟수를 최적화한다. POCS 알고리즘을 이용하여 순환하는 경우에 경계 조건 중 하나는 인접한 블록의 경계에서 급격한 변화 즉, 고주파 성분이 존재하지 않는 것을 특징으로 한다. 이러한 경계 조건을 이용하여 DCT 계수 중 저주파 영역의 계수만 선택하고 고주파 성분은 0으로 바꿔서 순환을 하게 된다.

여기서, 고주파 성분을 제거하는 것과 관련된 계수에 따라 POCS 알고리즘을 이용하여 반속 수행한 결과의 차이가 있다. 따라서, 본 발명에 따른 POCS 알고리즘은 손실된 블록과 이웃블록 간의 분산 등의 정보를 이용하여 적응적으로 계수 선택 윈도우의 크기를 결정한다. 영상의 복잡도 즉, 영상의 분산 값으로 윈도우의 크기를 판단하여, 분산 값이 작은 경우에는 윈도우 크기를 크게 하여 고주파 성분을 적게 제거하고, 분산 값이 큰 경우에는 윈도우 크기를 작게 하여 고주파 성분을 많이 제거한다.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

상기와 같은 본 발명은, 무선 수신 환경에서 H.264 기반 비디오 전송 시 효과적인 SVC(Scalable Video Coding) 기법을 이용하여 전송 에러에 대해서는 추가적인 정보에 의존하지 않고 이전에 수신된 에러가 없는 영상 정보를 이용함으로써, 손실되거나 에러가 발생한 영상 블록을 단말기에서 독립적으로 은닉할 수 있게 하는 효과가 있다.

또한, 본 발명은, 계층적 부호화를 통해 얻어진 제 1 계층에 에러가 발생하면 제 1 계층과 상관도를 가지는 제 2 계층에서 유사한 영상블록을 찾음으로써, 다른 계층의 이웃블록을 이용하여 에러를 은닉할 수 있으며, 특히, 무선 환경에서의 버스트 에러를 효율적으로 은닉할 수 있게 하는 효과가 있다.