공간적 에지 검출을 이용한 인트라 예측 모드 구성 방법{METHOD OF CONSTITUTING INTRA PREDICTION MODE USING SPATIAL EDGE DETECTION}

본 발명은 인트라 예측 모드 구성 방법에 관한 것으로 더욱 상세하게는 H.264 부호화 표준의 인트라 예측 모드에 있어서, 대상 블록과 인접하는 인접 블록으로부터 획득하는 에지의 크기 및 방향을 이용하여 상기 대상 블록에 대한 상기 인트라 예측 모드를 재구성함으로써, MPM(Most Probable Mode)를 극대화하고 이를 통해 인트라 예측 모드 부호화에 사용되는 비트율을 최소화할 수 잇는 인트라 예측 모두 구성 방법에 관한 것이다.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제고유번호: 2007-S-005-01, 연구과제명: AV코덱 고도화를 통한 리치미디어 방송 기술개발(Development of Richmedia Broadcasting Technologies through Advanced Audio and Video Codec Technologies)].

현재, 그리고 미래의 통신 환경은 유선과 무선의 영역 구분이나, 지역과 국가의 구분을 초월할 만큼 급변하고 있으며, 특히 영상과 음성은 물론 사용자가 필 요로 하는 다양한 정보를 실시간으로 또는 종합적으로 제공하는 방향으로 구축되는 추세이다. 동영상을 디지털 데이터로 가공하여 실시간으로 전송하고 이를 수신하여 디스플레이 하는 디지털 텔레비전 시스템과 실시간으로 전송되는 동영상을 개인 휴대 단말기에서 디스플레이 하는 이동 통신망의 구현이 상용화되고 있다.

이러한 상용화 과정에서 아날로그 영상 신호를 양자화, 가변장부호화 등 특수한 디지털 처리를 한 다음, 이를 디지털 정보에 포함하여 송신하고, 수신되는 단말기에서 이를 디코딩함으로써 빠른 전송 속도와 보다 풍부한 정보량을 송수신할 수 있도록 하는 동영상 압축 기술의 발달이 핵심적인 역할을 한다. 동영상 압축의 효율성을 증대시키기 위하여 인트라 예측 모드(Intra Prediction Mode) 방식, 인터 예측 모드(Inter Prediction Mode) 방식 등이 제안되어 실현되고 있다. 특히, 인트라 예측 모드는 시간적 상관성을 이용하지 않고 순수하게 영상 프레임 내의 자체 정보만을 이용하여 예측하는 방법이다. 정확한 예측을 할수록 코딩하고자 하는 원 블록과의 중복성(redundancy)이 커지며, 실제 전송할 때에는 원 블록에서 중복성을 제거하여 전송하고자 하는 데이터양을 최소화함으로써 압축률을 향상시킬 수 있다.

H.264 부호화 표준은 이전과는 다른 여러 부호화 도구들을 사용함으로써, 부호화 효율을 크게 향상시키고 있다. 새롭게 사용되고 있는 부호화 도구들 중 하나인 인트라 예측 부호화는 인트라 블록을 부호화함에 있어 공간적 상관도를 이용하여 부호화 대상 블록을 예측한 후, 잔차(residual) 신호만을 부호화하는 기술이다.

이러한 인트라 예측에는 4*4 블록단위의 인트라 예측, 8*8 블록단위의 인트라 예측, 및 16*16 블록단위의 인트라 예측이 있다. 4*4 블록단위의 인트라 예측 및 8*8 블록단위의 인트라 예측에는 9개의 예측 모드가 사용되고, 16*6 블록단위의 인트라 예측에는 4개의 예측 모드가 사용되며, 잔차 신호와 함께 예측에 사용되는 상기 예측 모드를 정보와 함께 부호화한다.

4*4 블록단위의 인트라 예측에 있어서, 9개의 인트라 예측 모드 중 고려하는 비용 함수에서의 비용값이 최소가 되는 예측 모드를 선정하여 상기 예측 모드에 의한 예측 블록을 생성하고, 부호화 대상 블록과 예측 블록과의 잔차 신호 및 상시 사용된 예측 모드를 부호화할 수 있다. 8*8 블록단위의 인트라 예측에서도 상기 예측 방법이 사용될 수 있다.

4*4 인트라 블록 및 8*8 인트라 블록의 부호화 과정에 사용되는 예측 모드는 부호화 과정에서 주변 블록들의 예측 모드로부터 예측되는데, 만일 주변 블록으로부터 예측한 인트라 모드가 현재 부호화 블록의 인트라 예측 모드와 동일한 경우, 이를 MPM(Most Probable Mode)라 한다.

상기의 경우, 예측값과 동일하다는 1비트(bit)의 플래그(flag) 비트만을 부호화한다. 그러나, 현재 부호화 블록의 예측 모드가 주변 블록으로부터 예측한 예측 모드와 다른 경우에는 예측값과 다르다는 정보를 포함하는 1비트의 플래그와 9개의 예측 모드 중 주변으로부터 예측 모드를 제외한 나머지 8개 중 사용되는 예측 모드를 나타내는 3비트를 부호화한다. 따라서, 엔트로피 부호화 전 하나의 블록에 대해서 예측 모드를 위한 비트는 1비트 또는 4비트는 갖게 된다.

H.264 부호화 표준에서 인트라 예측 모드에 할당되는 번호는 입력 영상 또는 부호화 대상 블록에 관계없이 동일한 값을 사용하며, 각 예측 모드 번호는 통계적 으로 발생 빈도가 높은 확률을 갖는 예측 모드에 낮은 번호를 할당하고, 반대로 통계적으로 발생 빈도가 낮은 예측 모드에 높은 번호를 할당하고 있다.

이는 인트라 예측 모드의 부호화 과정에서 대상 블록의 예측 모드를 상측 및 좌측의 인트라 예측 모드들 중 작은 값으로 예측함으로써, 확률적으로 예측 정확도(MPM)를 늘리기 위해서이다.

이와 같이, H.264 부호화에 사용되는 종래의 기술은 입력 영상 또는 입력 블록의 특성을 고려하지 않고 동일한 예측 모드 번호를 할당, 즉, 모든 영상 또는 모든 블록에 대해서 각 예측 모드가 동일한 확률적 대소 관계를 갖는다고 가정하기 때문에 영상에 따라 부호화 효율에 큰 편차가 발생한다는 단점이 있다.

본 발명의 해결하고자 하는 과제는, H.264 부호화 표준의 인트라 예측 모드에 있어서, 대상 블록과 인접하는 인접 블록으로부터 획득하는 에지의 크기 및 방향을 이용하여 상기 대상 블록에 대한 상기 인트라 예측 모드를 재구성함으로써, MPM(Most Probable Mode)를 극대화하고 이를 통해 인트라 예측 모드 부호화에 사용되는 비트율을 최소화할 수 있는 인트라 예측 모두 구성 방법을 제공하는 것이다.

상기 해결하고자 하는 과제의 해결을 위하여, 본 발명의 일실시예에 따른 인트라 예측 모드 구성 방법은, 대상 블록과 인접하는 하나 이상의 인접 블록이 포함하는 각각의 에지(edge)에 대한 크기를 산출하는 단계; 상기 하나 이상의 인접 블록이 포함하는 상기 각 에지에 대한 방향을 산출하는 단계; 상기 각 에지에 대한 크기 및 방향을 이용하여 상기 대상 블록에 대한 주요 에지를 설정하는 단계; 및 상기 주요 에지의 크기 및 방향을 통해 상기 대상 블록에 대한 인트라 예측 모드를 재구성하는 단계를 포함한다.

또한, 본 발명의 일실시예에 따르면, 상기 주요 에지의 크기 및 방향을 통해 상기 대상 블록에 대한 인트라 예측 모드를 재구성하는 단계는, 상기 주요 에지의 크기를 선정된(predetermined) 임계값과 비교하는 단계; 및 상기 비교 결과, 상기 주요 에지의 크기가 상기 임계값보다 작은 경우, 상기 인트라 예측 모드 중 DC 예측 모드를 0번 모드, 버티컬(Vertical) 예측 모드를 1번 모드, 호리즌 탈(Horizontal) 예측 모드를 2번 모드, 다이아고날 다운 레프트(Diagonal down left) 예측 모드를 3번 모드, 다이아고날 다운 라이트(Diagonal down right) 예측 모드를 4번 모드, 버티컬 라이트(Vertical right) 예측 모드를 5번 모드, 호리즌탈 다운(Horizontal down) 예측 모드를 6번 모드, 버티컬 레프트(Vertical left) 예측 모드를 7번 모드, 및 호리즌탈 업(Horizontal up) 예측 모드를 8번 모드로 재구성하는 단계를 포함한다.

또한, 본 발명의 일실시예에 따르면, 상기 주요 에지의 크기 및 방향을 통해 상기 대상 블록에 대한 인트라 예측 모드를 재구성하는 단계는, 상기 주요 에지의 크기를 선정된(predetermined) 임계값과 비교하는 단계; 및 상기 비교 결과, 상기 주요 에지의 크기가 상기 임계값 이상이고 상기 주요 에지의 방향이 버티컬(Vertical) 방향인 경우, 상기 인트라 예측 모드 중 버티컬(Vertical) 예측 모드를 0번 모드, 호리즌탈(Horizontal) 예측 모드를 8번 모드, DC 예측 모드를 1번 모드, 다이아고날 다운 레프트(Diagonal down left) 예측 모드를 5번 모드, 다이아고날 다운 라이트(Diagonal down right) 예측 모드를 4번 모드, 버티컬 라이트(Vertical right) 예측 모드를 3번 모드, 호리즌탈 다운(Horizontal down) 예측 모드를 6번 모드, 버티컬 레프트(Vertical left) 예측 모드를 2번 모드, 및 호리즌탈 업(Horizontal up) 예측 모드를 7번 모드로 재구성하는 단계를 포함한다.

또한, 본 발명의 일시시예에 따르면, 상기 주요 에지의 크기 및 방향을 통해 상기 대상 블록에 대한 인트라 예측 모드를 재구성하는 단계는, 상기 주요 에지의 크기를 선정된(predetermined) 임계값과 비교하는 단계; 및 상기 비교 결과, 상기 주요 에지의 크기가 상기 임계값 이상이고 상기 주요 에지의 방향이 호리즌탈(Horizontal) 방향인 경우, 상기 인트라 예측 모드 중 버티컬(Vertical) 예측 모드를 8번 모드, 호리즌탈(Horizontal) 예측 모드를 0번 모드, DC 예측 모드를 1번 모드, 다이아고날 다운 레프트(Diagonal down left) 예측 모드를 4번 모드, 다이아고날 다운 라이트(Diagonal down right) 예측 모드를 5번 모드, 버티컬 라이트(Vertical right) 예측 모드를 7번 모드, 호리즌탈 다운(Horizontal down) 예측 모드를 2번 모드, 버티컬 레프트(Vertical left) 예측 모드를 6번 모드, 및 호리즌탈 업(Horizontal up) 예측 모드를 3번 모드로 재구성하는 단계를 포함한다.

또한, 본 발명의 일실시예에 따르면, 상기 주요 에지의 크기 및 방향을 통해 상기 대상 블록에 대한 인트라 예측 모드를 재구성하는 단계는, 상기 주요 에지의 크기를 선정된(predetermined) 임계값과 비교하는 단계; 및 상기 비교 결과, 상기 주요 에지의 크기가 상기 임계값 이상이고 상기 주요 에지의 방향이 다이아고날 다운 레프트(Diagonal down left) 방향인 경우, 상기 인트라 예측 모드 중 버티컬(Vertical) 예측 모드를 4번 모드, 호리즌탈(Horizontal) 예측 모드를 5번 모드, DC 예측 모드를 1번 모드, 다이아고날 다운 레프트(Diagonal down left) 예측 모드를 0번 모드, 다이아고날 다운 라이트(Diagonal down right) 예측 모드를 8번 모드, 버티컬 라이트(Vertical right) 예측 모드를 7번 모드, 호리즌탈 다운(Horizontal down) 예측 모드를 6번 모드, 버티컬 레프트(Vertical left) 예측 모드를 2번 모드, 및 호리즌탈 업(Horizontal up) 예측 모드를 3번 모드로 재구성하는 단계를 포함한다.

또한, 본 발명의 일실시예에 따르면, 상기 주요 에지의 크기 및 방향을 통해 상기 대상 블록에 대한 인트라 예측 모드를 재구성하는 단계는, 상기 주요 에지의 크기를 선정된(predetermined) 임계값과 비교하는 단계; 및 상기 비교 결과, 상기 주요 에지의 크기가 상기 임계값 이상이고 상기 주요 에지의 방향이 다이아고날 다운 라이트(Diagonal down right) 방향인 경우, 상기 인트라 예측 모드 중 버티컬(Vertical) 예측 모드를 4번 모드, 호리즌탈(Horizontal) 예측 모드를 5번 모드, DC 예측 모드를 1번 모드, 다이아고날 다운 레프트(Diagonal down left) 예측 모드를 8번 모드, 다이아고날 다운 라이트(Diagonal down right) 예측 모드를 0번 모드, 버티컬 라이트(Vertical right) 예측 모드를 3번 모드, 호리즌탈 다운(Horizontal down) 예측 모드를 2번 모드, 버티컬 레프트(Vertical left) 예측 모드를 6번 모드, 및 호리즌탈 업(Horizontal up) 예측 모드를 7번 모드로 재구성하는 단계를 포함한다.

또한, 본 발명의 일실시예에 따르면, 상기 주요 에지의 크기 및 방향을 통해 상기 대상 블록에 대한 인트라 예측 모드를 재구성하는 단계는, 상기 주요 에지의 크기를 선정된(predetermined) 임계값과 비교하는 단계; 및 상기 비교 결과, 상기 주요 에지의 크기가 상기 임계값 이상이고 상기 주요 에지의 방향이 버티컬 라이트(Vertical right) 방향인 경우, 상기 인트라 예측 모드 중 버티컬(Vertical) 예측 모드를 2번 모드, 호리즌탈(Horizontal) 예측 모드를 6번 모드, DC 예측 모드를 1번 모드, 다이아고날 다운 레프트(Diagonal down left) 예측 모드를 7번 모드, 다이아고날 다운 라이트(Diagonal down right) 예측 모드를 3번 모드, 버티컬 라이 트(Vertical right) 예측 모드를 0번 모드, 호리즌탈 다운(Horizontal down) 예측 모드를 4번 모드, 버티컬 레프트(Vertical left) 예측 모드를 5번 모드, 및 호리즌탈 업(Horizontal up) 예측 모드를 8번 모드로 재구성하는 단계를 포함한다.

또한, 본 발명의 일실시예에 따르면, 상기 주요 에지의 크기 및 방향을 통해 상기 대상 블록에 대한 인트라 예측 모드를 재구성하는 단계는, 상기 주요 에지의 크기를 선정된(predetermined) 임계값과 비교하는 단계; 및 상기 비교 결과, 상기 주요 에지의 크기가 상기 임계값 이상이고 상기 주요 에지의 방향이 호리즌탈 다운(Horizontal down)방향인 경우, 상기 인트라 예측 모드 중 버티컬(Vertical) 예측 모드를 6번 모드, 호리즌탈(Horizontal) 예측 모드를 2번 모드, DC 예측 모드를 1번 모드, 다이아고날 다운 레프트(Diagonal down left) 예측 모드를 7번 모드, 다이아고날 다운 라이트(Diagonal down right) 예측 모드를 3번 모드, 버티컬 라이트(Vertical right) 예측 모드를 4번 모드, 호리즌탈 다운(Horizontal down) 예측 모드를 0번 모드, 버티컬 레프트(Vertical left) 예측 모드를 8번 모드, 및 호리즌탈 업(Horizontal up) 예측 모드를 5번 모드로 재구성하는 단계를 포함한다.

또한, 본 발명의 일실시예에 따르면, 상기 주요 에지의 크기 및 방향을 통해 상기 대상 블록에 대한 인트라 예측 모드를 재구성하는 단계는, 상기 주요 에지의 크기를 선정된(predetermined) 임계값과 비교하는 단계; 및 상기 비교 결과, 상기 주요 에지의 크기가 상기 임계값 이상이고 상기 주요 에지의 방향이 버티컬 레프트(Vertical left) 방향인 경우, 상기 인트라 예측 모드 중 버티컬(Vertical) 예측 모드를 2번 모드, 호리즌탈(Horizontal) 예측 모드를 6번 모드, DC 예측 모드를 1 번 모드, 다이아고날 다운 레프트(Diagonal down left) 예측 모드를 3번 모드, 다이아고날 다운 라이트(Diagonal down right) 예측 모드를 7번 모드, 버티컬 라이트(Vertical right) 예측 모드를 5번 모드, 호리즌탈 다운(Horizontal down) 예측 모드를 8번 모드, 버티컬 레프트(Vertical left) 예측 모드를 0번 모드, 및 호리즌탈 업(Horizontal up) 예측 모드를 4번 모드로 재구성하는 단계를 포함한다.

또한, 본 발명의 일실시예에 따르면, 상기 주요 에지의 크기 및 방향을 통해 상기 대상 블록에 대한 인트라 예측 모드를 재구성하는 단계는, 상기 주요 에지의 크기를 선정된(predetermined) 임계값과 비교하는 단계; 및 상기 비교 결과, 상기 주요 에지의 크기가 상기 임계값 이상이고 상기 주요 에지의 방향이 호리즌탈 업(Horizontal up) 방향인 경우, 상기 인트라 예측 모드 중 버티컬(Vertical) 예측 모드를 7번 모드, 호리즌탈(Horizontal) 예측 모드를 3번 모드, DC 예측 모드를 1번 모드, 다이아고날 다운 레프트(Diagonal down left) 예측 모드를 2번 모드, 다이아고날 다운 라이트(Diagonal down right) 예측 모드를 6번 모드, 버티컬 라이트(Vertical right) 예측 모드를 8번 모드, 호리즌탈 다운(Horizontal down) 예측 모드를 4번 모드, 버티컬 레프트(Vertical left) 예측 모드를 5번 모드, 및 호리즌탈 업(Horizontal up) 예측 모드를 0번 모드로 재구성하는 단계를 포함한다.

본 발명의 인트라 예측 모드 구성 방법에 따르면, H.264 부호화 표준의 인트라 예측 모드에 있어서, 대상 블록과 인접하는 인접 블록으로부터 획득하는 에지의 크기 및 방향을 이용하여 상기 대상 블록에 대한 상기 인트라 예측 모드를 재구성 함으로써, MPM(Most Probable Mode)를 극대화하고 이를 통해 인트라 예측 모드 부호화에 사용되는 비트율을 최소화할 수 있는 효과를 얻을 수 있다.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

본 발명에 따른 인트라 예측 모드 구성 방법은 H.264 부호화를 수행하는 H.264 부호화기(encoder)를 통해 구현될 수 있다. H.264 국제표준에서는 동영상 신호를 부호화할 때, 공간적 유사성을 이용하여 인트라(Intra) 부호화 하는 방법과 시간적 차이에 따라 영상 프레임의 유사성을 이용하여 인터(Inter) 부호화 하는 방법이 사용된다.

H.264 부호화기는 크게 예측부, 변환 및 양자화부, 엔트로피 코딩부로 구성된다. 예측부는 인트라 예측(intra prediction)과 인터 예측(inter prediction)을 수행한다. 상기 예측부는 인트라 예측에서는 이미 디코딩이 수행된 픽쳐 내에서 예측하고자 하는 블록에 인접한 블록의 픽셀 데이터를 이용하여 예측을 수행한다. 또한 상기 예측부는 인터 예측에서는 이미 디코딩이 수행되고 디블로킹 필터링이 수행되어 버퍼에 저장되어 있는 기준 픽처를 이용하여 현재 픽처의 블록 예측을 수행한다.

변환 및 양자화부는 상기 예측부에서 수행하여 얻은 예측 샘플을 변환하고 양자화하여 압축한다. 엔트로피 코딩부는 양자화된 동영상 데이터에 대해 소정의 방식에 따라 부호화를 수행하여 비트스트림(Bit stream)으로 만들어 NAL로 전송한다.

부호화 방법에 있어서, 통상적으로 H263+ 나 MPEG-2/4 등에서는 16x16의 화소들로 구성된 매크로 블록 단위로 8x8 블록에 대하여 부호화를 진행하지만, H.264에서는 16x16 인 매크로 블록과 4x4 부블록에 대하여 부호화를 진행한다.

인트라 부호화 방법은 16x16 매크로 블록과 4x4 블록들에 대한 인접 화소들에 의한 방향성에 기인하여 얻게 되는 예측 값과의 차이 값(SAD:Sum of Absolute Difference)을 산출하여 부호화함으로써 효율을 증가시키는 방법이다.

이러한 인트라 예측에는 4x4 블록 단위의 예측, 8x8 블록 단위의 예측, 및 16x16 블록 단위의 예측이 있다. 4x4 블록 단위의 예측 및 8x8 블록 단위의 예측에는 9개의 예측 모드가 사용되고, 16x16 블록 단위의 예측에는 4개의 예측 모드가 사용되며, 잔차(residual) 신호와 함께 예측에 사용된 상기 예측 모드를 정보화 함께 부호화한다. 즉, 공간 영역에 대한 다수의 예측 모드를 사용함으로써, 실제 부호화 대상인 잔차 신호를 최소화하여 압축 효율을 향상시킬 수 있다.

본 발명에 따른 인트라 예측 모드 구성 방법은 4x4 블록 단위의 예측 및 8x8 블록 단위의 예측 모두에 적용이 가능하다. 다만, 본 명세서에서는 설명의 편의를 위하여, 4x4 블록 단위의 인트라 예측 모드 구성에 대하여 설명하기로 한다. 8x8 블록 단위의 예측 모드의 경우 블록의 크기에서만 차이가 있을 뿐, 후술하는 4x4 블록 단위의 인트라 예측 모드 구성과 동일한 방법으로 구현될 수 있다.

도 1은 본 발명의 일실시예에 따른 4x4 블록의 인트라 예측에 사용되는 9가지의 예측 모드를 도시한 도면이다.

4x4 블록의 인트라 예측은 대상 블록의 주변 화소인 A ~ M 을 이용하여 예측 블록을 만들어 내고, 이렇게 만들어진 각 예측 블록과 원본 블록간의 SAD(Sum of Absolute Difference)를 산출하여, 9가지의 모드 중에서 가장 작은 SAD를 갖는 모드를 최적의 예측 모드로 선택한다.

버티컬(Vertical) 예측 모드(110)는 수직 방향의 예측 모드로, 상측 4개의 화소들(A,B,C,D)을 수직 방향으로 투영하여 해당 블록에 포함된 각 화소들의 화소 값을 예측하는 모드이다. 이와 마찬가지로 호리즌탈(Horizontal) 예측 모드(120)는 수평 방향의 예측 모드, DC 예측 모드(120)는 방향이 없는 DC 모드, 다이아고날 다운 레프트(Diagonal down left) 예측 모드(140)는 좌측 대각선 방향의 예측 모드, 다이아고날 다운 라이트(Diagonal down right) 예측 모드(150)는 우측 대각선 방향의 예측 모드, 버티컬 라이트(Vertical right) 예측 모드(160)는 우측 수직 방향의 예측 모드, 호리즌탈 다운(Horizontal down) 예측 모드(170)는 수평 아랫 방향의 예측 모드, 버티컬 레프트(Vertical left) 예측 모드(180)는 좌측 수직 방향의 예측 모드, 호리즌탈 업(Horizontal up) 예측 모드(190)는 수평 윗 방향의 예측 모드를 각각 나타낸다.

상기 각각의 예측 모드에는 발생 빈도가 높은 순서대로 번호가 부여되는데, 버티컬(Vertical) 예측 모드(110)에는 0번, 호리즌탈(Horizontal) 예측 모드(120)에는 1번, DC 예측 모드(120)에는 2번, 다이아고날 다운 레프트(Diagonal down left) 예측 모드(140)에는 3번, 다이아고날 다운 라이트(Diagonal down right) 예측 모드(150)에는 4번, 버티컬 라이트(Vertical right) 예측 모드(160)에는 5번, 호리즌탈 다운(Horizontal down) 예측 모드(170)에는 6번, 버티컬 레프트(Vertical left) 예측 모드(180)에는 7번, 및 호리즌탈 업(Horizontal up) 예측 모드(190)에는 8번이 각각 부여된다.

이러한 각 인트라 예측 모드에 할당되는 번호는 입력 영상 또는 부호화 대상 블록에 관계 없이 동일한 값이 사용되고 있고, 각 예측 모드 번호는 통계적으로 발생 빈도가 높은 확률을 갖는 예측 모드에 낮은 번호가 할당되고, 반대로 통계적으로 발생 빈도가 낮은 예측 모드에 높은 번호가 할당된다. 이는 인트라 예측 모드의 부호화 과정에서 대상 블록의 예측 모드를 상측 및 좌측의 인트라 예측 모드들 중 작은 값으로 예측함으로써, 확률적으로 예측 정확도(MPM)를 증가시키기 위함이다.

도 2는 본 발명의 일실시예에 따른 인트라 예측 부호화의 일례를 도시한 도면이다.

대상 블록(210)에 대한 인트라 예측 부호화에 있어서, 대상 블록(210) 좌측에 인접하는 좌측 인접 블록(220) 및 대상 블록(210)의 상측에 인접하는 상측 인접 블록(230)의 예측 모드로부터 대상 블록(210)의 인트라 예측 모드를 결정할 수 있다.

예를 들어, 좌측 인접 블록(220)의 인트라 예측 모드가 4번의 다이아고날 다운 라이트(Diagonal down right) 예측 모드이고, 상측 인접 블록(230)의 인트라 예측 모드가 3번의 다이아고날 다운 레프트(Diagonal down left) 예측 모드인 경우, H.264 부호화기는 대상 블록(210)의 인트라 예측 모드를 3번의 다이아고날 다운 레프트(Diagonal down left) 예측 모드로 결정한다.

즉, H.264 부호화기는 좌측 인접 블록(220)과 상측 인접 블록(230)의 인트라 예측 모드가 서로 상이할 경우, 보다 낮은 번호의 인트라 예측 모드를 갖는 인접 블록의 인트라 예측 모드를 대상 블록(210)의 인트라 예측 모드로 결정할 수 있다.

물론, 좌측 인접 블록(220)과 상측 인접 블록(230)의 인트라 예측 모드가 서로 동일한 경우, H.264 부호화기는 좌측 인접 블록(220)과 상측 인접 블록(230)의 인트라 예측 모드로 대상 블록(210)의 인트라 예측 모드를 설정할 수 있다.

상기 예와 같이, 대상 블록(210)의 인트라 예측 모드가 상측 인접 블록(230)의 인트라 예측 모드에 따라 3번의 다이아고날 다운 레프트(Diagonal down left) 예측 모드로 설정되는 경우, H.264 부호화기는 상기와 같이 주변의 인접 블록들로부터 예측한 인트라 예측 모드와 대상 블록(210)에서 연산한 인트라 예측 모드를 서로 비교한다.

H.264 부호화기는 상기 비교 결과, 인접 블록들로부터 예측한 인트라 예측 모드와 대상 블록(210)에서 연산한 인트라 예측 모드가 서로 동일한 경우, 상기 두 개의 값이 서로 동일하다는 1 비트(bit)의 플래그(flag)만을 부호화한다. 이러한 경우를 MPM(Most Probable Mode)라 한다.

그러나, 상기 비교 결과, 인접 블록들로부터 예측한 인트라 예측 모드와 대상 블록(210)에서 연산한 인트라 예측 모드가 서로 다른 경우, H.264 부호화기는 상기 예측한 값과 상기 연산한 값이 서로 다르다는 정보에 대한 1 비트의 플래그와 9개의 인트라 예측 모드 중 주변의 인접 블록들로부터 예측한 인트라 예측 모드를 제외한 나머지 8개의 인트라 예측 모드에 대한 3 비트를 부호화한다.

따라서, H.264 부호화기는 엔트로피 부호화 전 단계에서 하나의 대상 블록에 대하여 인트라 예측을 수행하는 비트 수는 1 비트 또는 4 비트가 된다. 물론, 인트라 예측의 수행 결과 MPM의 경우를 증가시켜 1 비트만을 부호화하도록 하는 것이 더욱 바람직한 결과임은 자명하다. 이에, 본 발명에서는 MPM의 경우를 더욱 더 증가시켜 인트라 예측 모드 부호화에 사용되는 비트율을 감소시킬 수 있는 인트라 예측 모드 구성 방법을 제안한다.

도 3은 본 발명의 일실시예에 따른 인트라 예측 모드 구성 방법의 흐름을 도시한 순서도이다.

본 발명의 일실시예에 따른 인트라 예측 모드 구성 방법은 H.264 부호화기를 통해 구현될 수 있다. 도 3을 통해 설명하는 인트라 예측 모드 구성 방법은 대상 블록 및 인접 블록이 각각 9개의 에지를 포함하는 4*4 블록이고, 하나 이상의 인접 블록은 상기 대상 블록의 좌측에 위치하는 제1 인접 블록, 상기 대상 블록의 좌상측에 위치하는 제2 인접 블록, 및 상기 대상 블록의 상측에 위치하는 제3 인접 블록인 경우를 예로 들어 설명한다.

상기 H.264 부호화기는 대상 블록과 인접하는 하나 이상의 인접 블록이 포함하는 각각의 에지(edge)에 대한 크기를 산출한다(단계(311)). 상기 H.264 부호화기는 대상 블록과 인접하는 하나 이상의 인접 블록이 포함하는 각각의 에지(edge)에 대한 방향을 산출한다(단계(312)). 이는 도 4를 참조하여 설명한다.

도 4는 본 발명의 일실시예에 따른 인트라 예측 모드 구성 방법에 사용되는 대상 블록 및 하나 이상의 인접 블록을 도시한 도면이다.

대상 블록(410)의 인트라 예측 부호화를 수행하기 위하여, H.264 부호화기는 대상 블록(410)의 좌측에 위치하는 제1 인접 블록(420), 대상 블록(410)의 좌상측에 위치하는 제2 인접 블록(430), 및 대상 블록(410)의 상측에 위치하는 제3 인접 블록(440)이 포함하는 각 에지의 크기를 연산한다.

제1 인접 블록(420), 제2 인접 블록(430), 및 제3 인접 블록(440)은 각각 9개의 에지를 포함한다. 도 3에 도시된 바와 같이, 제1 인접 블록(420) 포함하는 9개의 에지는 사각형으로 표시되었고, 제2 인접 블록(430)이 포함하는 9개의 에지는 별로 표시되었으며, 제3 인접 블록(440)이 포함하는 9개의 에지는 삼각형으로 표시되었다. 상기 각 에지는 각 인접 블록의 반화소 위치로 구현될 수 있다.

상기 H.264 부호화기는 상기 각 인접 블록이 포함하는 각 에지와 인접하는 서브 블록의 값과 X 방향 미분기 마스크와의 컨볼루션(convolution)을 통해 X방향 컨볼루션 값을 산출하고, 상기 각 인접 블록이 포함하는 각 에지와 인접하는 서브 블록의 값과 Y 방향 미분기 마스크와의 컨볼루션을 통해 Y 방향 컨볼루션 값을 산출한다.

상기 X 방향 미분기 마스크는

상기 H.264 부호화기는 각 에지에서의 상기 X 방향 컨볼루션 값의 절대값 및 상기 Y 방향 컨볼루션 값의 절대값의 합을 통해 상기 각 에지의 크기를 산출한다. 예를 들어, 제3 인접 블록(440)이 포함하는 제3-1 에지(445)의 크기를 산출하는 경우, 상기 H.264 부호화기는 제3-1 에지(445)와 인접하는 서브 블록 a(441), 서브 블록 b(442), 서브 블록 c(443), 및 서브 블록 d(444)의 값에 대하여 산출한 상기 X 방향 컨볼루션 값의 절대값 및 상기 Y 방향 컨볼루션 값의 절대값의 합을 연산함으로써, 제3-1 에지(445)의 크기를 산출할 수 있다.

또한, 상기 H.264 부호화기는 상기 산출한 각 에지에서의 상기 X 방향 컨볼루션 값 및 상기 Y 방향 컨볼루션 값을 이용하여 상기 각 에지에 대한 방향을 산출한다. 즉, 상기 H.264 부호화기는 상기 Y 방향 컨볼루션 값을 상기 X 방향 컨볼루션 값으로 나눈 값에 아크탄젠트(tan ^-1 )를 취하여 상기 각 에지의 방향을 산출할 수 있다.

도 4를 통해 설명한 상기 각 에지에 대한 크기 및 방향은 수학식 1을 통해 구현될 수 있다.

[수학식 1]

에지 크기 = |dx| + |dy|

에지 방향 = tan ^-1 (dy/dx)

수학식 1에서, dx는 에지와 인접하는 서브 블록들과 X 방향 미분기 마스크와의 컨볼루션이고, dy는 에지와 인접하는 서브 블록들과 Y 방향 미분기 마스크와의 컨볼루션을 의미한다.

수학식 1에서 에지의 방향은 실제 적용에 있어서 각 예측모드에서의 예측방향(0°, 22.5°, 45°,..., 157.5°)에 대한 tan ^-1 ()의 값을 미리 구해놓음으로 간단한 비교연산만을 통해 구할 수 있는데, 이는 정확한 에지의 방향이 아닌 8개의 예측모드들에 대한 방향만을 고려하기 때문이다.

다시 도 3에서, H.264 부호화기는 상기 각 에지에 대한 크기 및 방향을 이용하여 상기 대상 블록에 대한 주요 에지를 설정한다(단계(313)). 즉, H.264 부호화기는 수학식 1을 이용하여 최대 27개 위치에서의 에지의 크기 및 방향을 산출하면, 각 방향에서의 에지 크기의 합을 구하고 그 합이 최대가 되는 에지를 주요 에지로 설정한다. H.264 부호화기는 상기 각 에지의 방향 중 동일한 방향을 갖는 에지 간의 크기 합을 상기 각 방향에 대하여 산출하고, 상기 각 방향에 대한 에지 간의 크기 합 중, 가장 큰 크기 합을 갖는 제1 방향에 대한 에지 간의 크기 합을 크기 및 상기 제1방향을 갖는 에지를 주요 에지로 설정한다.

H.264 부호화기는 상기 주요 에지의 크기 및 방향을 통해 상기 대상 블록에 대한 인트라 예측 모드를 재구성한다(단계(314)). 즉, H.264 부호화기는 상기 주요 에지의 크기를 선정된(predetermined) 임계값과 비교한다. 상기 임계값은 당업자의 판단에 따라 다양한 값으로 설정될 수 있다.

H.264 부호화기는 상기 주요 에지의 크기와 상기 임계값의 비교 결과와 상기 주요 에지의 방향에 따라 다양한 방법으로 상기 인트라 예측 모드를 재구성할 수 있다. 즉, H.264 부호화기는 인트라 예측 모드의 부호화 과정에서 해당 예측 모드에 대한 예측 정확도를 증가시키기 위해, 대상 블록에 인접한 주변 블록의 에지 정보를 이용하여 상기 대상 블록에 대한 인트라 예측 모드 번호를 확률에 따라 재구성함으로써 예측 정확도를 높임으로써 인트라예측모드의 부호화 비트를 감소시킬 수 있다. 이는 도 5를 참조하여 설명한다.

도 5는 본 발명의 일실시예에 따라 재구성된 인트라 예측 모드의 번호를 도시한 도면이다.

H.264 부호화기는 상기 비교 결과 상기 주요 에지의 크기가 상기 임계값보다 작은 경우, 도 5의 타입 0으로 도시된 바와 같이, DC 예측 모드를 0번 모드, 버티컬(Vertical) 예측 모드를 1번 모드, 호리즌탈(Horizontal) 예측 모드를 2번 모드, 다이아고날 다운 레프트(Diagonal down left) 예측 모드를 3번 모드, 다이아고날 다운 라이트(Diagonal down right) 예측 모드를 4번 모드, 버티컬 라이트(Vertical right) 예측 모드를 5번 모드, 호리즌탈 다운(Horizontal down) 예측 모드를 6번 모드, 버티컬 레프트(Vertical left) 예측 모드를 7번 모드, 및 호리즌탈 업(Horizontal up) 예측 모드를 8번 모드로 재구성할 수 있다.

또한, H.264 부호화기는 상기 비교 결과 상기 주요 에지의 크기가 상기 임계값 이상이고 상기 주요 에지의 방향이 버티컬(Vertical) 방향인 경우, 도 5의 타입 1로 도시된 바와 같이, 상기 인트라 예측 모드 중 버티컬(Vertical) 예측 모드를 0번 모드, 호리즌탈(Horizontal) 예측 모드를 8번 모드, DC 예측 모드를 1번 모드, 다이아고날 다운 레프트(Diagonal down left) 예측 모드를 5번 모드, 다이아고날 다운 라이트(Diagonal down right) 예측 모드를 4번 모드, 버티컬 라이트(Vertical right) 예측 모드를 3번 모드, 호리즌탈 다운(Horizontal down) 예측 모드를 6번 모드, 버티컬 레프트(Vertical left) 예측 모드를 2번 모드, 및 호리즌탈 업(Horizontal up) 예측 모드를 7번 모드로 재구성할 수 있다.

또한, H.264 부호화기는 상기 비교 결과, 상기 주요 에지의 크기가 상기 임계값 이상이고 상기 주요 에지의 방향이 호리즌탈(Horizontal) 방향인 경우, 도 5의 타입 2로 도시된 바와 같이, 상기 인트라 예측 모드 중 버티컬(Vertical) 예측 모드를 8번 모드, 호리즌탈(Horizontal) 예측 모드를 0번 모드, DC 예측 모드를 1번 모드, 다이아고날 다운 레프트(Diagonal down left) 예측 모드를 4번 모드, 다이아고날 다운 라이트(Diagonal down right) 예측 모드를 5번 모드, 버티컬 라이트(Vertical right) 예측 모드를 7번 모드, 호리즌탈 다운(Horizontal down) 예측 모드를 2번 모드, 버티컬 레프트(Vertical left) 예측 모드를 6번 모드, 및 호리즌탈 업(Horizontal up) 예측 모드를 3번 모드로 재구성할 수 있다.

또한, H.264 부호화기는 상기 비교 결과, 상기 주요 에지의 크기가 상기 임계값 이상이고 상기 주요 에지의 방향이 다이아고날 다운 레프트(Diagonal down left) 방향인 경우, 도 5의 타입 3으로 도시된 바와 같이, 상기 인트라 예측 모드 중 버티컬(Vertical) 예측 모드를 4번 모드, 호리즌탈(Horizontal) 예측 모드를 5번 모드, DC 예측 모드를 1번 모드, 다이아고날 다운 레프트(Diagonal down left) 예측 모드를 0번 모드, 다이아고날 다운 라이트(Diagonal down right) 예측 모드를 8번 모드, 버티컬 라이트(Vertical right) 예측 모드를 7번 모드, 호리즌탈 다 운(Horizontal down) 예측 모드를 6번 모드, 버티컬 레프트(Vertical left) 예측 모드를 2번 모드, 및 호리즌탈 업(Horizontal up) 예측 모드를 3번 모드로 재구성

또한, H.264 부호화기는 상기 비교 결과, 상기 주요 에지의 크기가 상기 임계값 이상이고 상기 주요 에지의 방향이 다이아고날 다운 라이트(Diagonal down right) 방향인 경우, 도 5의 타입 4로 도시된 바와 같이, 상기 인트라 예측 모드 중 버티컬(Vertical) 예측 모드를 4번 모드, 호리즌탈(Horizontal) 예측 모드를 5번 모드, DC 예측 모드를 1번 모드, 다이아고날 다운 레프트(Diagonal down left) 예측 모드를 8번 모드, 다이아고날 다운 라이트(Diagonal down right) 예측 모드를 0번 모드, 버티컬 라이트(Vertical right) 예측 모드를 3번 모드, 호리즌탈 다운(Horizontal down) 예측 모드를 2번 모드, 버티컬 레프트(Vertical left) 예측 모드를 6번 모드, 및 호리즌탈 업(Horizontal up) 예측 모드를 7번 모드로 재구성할 수 있다.

또한, H.264 부호화기는 상기 비교 결과, 상기 주요 에지의 크기가 상기 임계값 이상이고 상기 주요 에지의 방향이 버티컬 라이트(Vertical right) 방향인 경우, 도 5의 타입 5로 도시된 바와 같이, 상기 인트라 예측 모드 중 버티컬(Vertical) 예측 모드를 2번 모드, 호리즌탈(Horizontal) 예측 모드를 6번 모드, DC 예측 모드를 1번 모드, 다이아고날 다운 레프트(Diagonal down left) 예측 모드를 7번 모드, 다이아고날 다운 라이트(Diagonal down right) 예측 모드를 3번 모드, 버티컬 라이트(Vertical right) 예측 모드를 0번 모드, 호리즌탈 다운(Horizontal down) 예측 모드를 4번 모드, 버티컬 레프트(Vertical left) 예측 모드를 5번 모드, 및 호리즌탈 업(Horizontal up) 예측 모드를 8번 모드로 재구성할 수 있다.

또한, H.264 부호화기는 상기 비교 결과, 상기 주요 에지의 크기가 상기 임계값 이상이고 상기 주요 에지의 방향이 호리즌탈 다운(Horizontal down)방향인 경우, 도 5의 타입 6으로 도시된 바와 같이, 상기 인트라 예측 모드 중 버티컬(Vertical) 예측 모드를 6번 모드, 호리즌탈(Horizontal) 예측 모드를 2번 모드, DC 예측 모드를 1번 모드, 다이아고날 다운 레프트(Diagonal down left) 예측 모드를 7번 모드, 다이아고날 다운 라이트(Diagonal down right) 예측 모드를 3번 모드, 버티컬 라이트(Vertical right) 예측 모드를 4번 모드, 호리즌탈 다운(Horizontal down) 예측 모드를 0번 모드, 버티컬 레프트(Vertical left) 예측 모드를 8번 모드, 및 호리즌탈 업(Horizontal up) 예측 모드를 5번 모드로 재구성할 수 있다.

또한, H.264 부호화기는 상기 비교 결과, 상기 주요 에지의 크기가 상기 임계값 이상이고 상기 주요 에지의 방향이 버티컬 레프트(Vertical left) 방향인 경우, 도 5의 타입 7로 도시된 바와 같이, 상기 인트라 예측 모드 중 버티컬(Vertical) 예측 모드를 2번 모드, 호리즌탈(Horizontal) 예측 모드를 6번 모드, DC 예측 모드를 1번 모드, 다이아고날 다운 레프트(Diagonal down left) 예측 모드를 3번 모드, 다이아고날 다운 라이트(Diagonal down right) 예측 모드를 7번 모드, 버티컬 라이트(Vertical right) 예측 모드를 5번 모드, 호리즌탈 다운(Horizontal down) 예측 모드를 8번 모드, 버티컬 레프트(Vertical left) 예측 모드를 0번 모드, 및 호리즌탈 업(Horizontal up) 예측 모드를 4번 모드로 재구성할 수 있다.

또한, H.264 부호화기는 상기 비교 결과, 상기 주요 에지의 크기가 상기 임계값 이상이고 상기 주요 에지의 방향이 호리즌탈 업(Horizontal up) 방향인 경우, 도 5의 타입 8로 도시된 바와 같이, 상기 인트라 예측 모드 중 버티컬(Vertical) 예측 모드를 7번 모드, 호리즌탈(Horizontal) 예측 모드를 3번 모드, DC 예측 모드를 1번 모드, 다이아고날 다운 레프트(Diagonal down left) 예측 모드를 2번 모드, 다이아고날 다운 라이트(Diagonal down right) 예측 모드를 6번 모드, 버티컬 라이트(Vertical right) 예측 모드를 8번 모드, 호리즌탈 다운(Horizontal down) 예측 모드를 4번 모드, 버티컬 레프트(Vertical left) 예측 모드를 5번 모드, 및 호리즌탈 업(Horizontal up) 예측 모드를 0번 모드로 재구성할 수 있다.

이와 같이, H.264 부호화기는 주요 에지의 크기가 임계값보다 작은 경우에는 대상 블록을 평탄한 영역으로 고려하여, 이러한 경우에는 DC 예측에서 확률상 최적의 예측이 이루어진다고 고려한다. 따라서, DC 인트라 예측 모드의 번호를 가장 낮은 0의 값으로 할당하며 이외의 예측모드는 이전과 동일한 순서로 번호를 부여할 수 있다.

또한, H.264 부호화기는 주요 에지의 크기가 임계값보다 큰 경우에는, 대상 블록 내에 에지가 포함된 것으로 고려하며, 이러한 경우에는 주요 에지의 방향에 따라 서로 다른 인트라 예측모드를 부여한다. 상기 과정에서 주요 에지의 방향과 유사한 방향을 가질수록 예측 모드에는 낮은 번호를 할당할 수 있다.

즉, 주요 에지의 방향이 버티컬(Vertical) 예측 모드, 호리즌탈(Horizontal) 예측 모드, 다이아고날 다운 레프트(Diagonal down left) 예측 모드, 다이아고날 다운 라이트(Diagonal down right) 예측 모드, 버티컬 라이트(Vertical right) 예측 모드, 호리즌탈 다운(Horizontal down) 예측 모드, 버티컬 레프트(Vertical left) 예측 모드, 및 호리즌탈 업(Horizontal up) 예측 모드인 경우에 대하여, 각각 타입 1, 타입 2, 타입 3, 타입 4, 타입 5, 타입 6, 타입 7, 및 타입 8의 인트라 예측 모드로 각각 재구성할 수 있다.

이와 같이, 대상 블록의 주변에 위치하는 인접 블록이 포함하는 에지들에 대한 주요 에지의 크기 및 방향을 구려하여 인트라 예측 모드를 재구성하여 상기 대상 블록을 인트라 예측 부호화함으로써, MPM의 수를 증가시키고, 이를 통해 인트라 예측 모드의 부호화 효율을 향상시킬 수 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

도 1은 본 발명의 일실시예에 따른 4x4 블록의 인트라 예측에 사용되는 9가지의 예측 모드를 도시한 도면.

도 2는 본 발명의 일실시예에 따른 인트라 예측 부호화의 일례를 도시한 도면.

도 3은 본 발명의 일실시예에 따른 인트라 예측 모드 구성 방법의 흐름을 도시한 순서도.

도 4는 본 발명의 일실시예에 따른 인트라 예측 모드 구성 방법에 사용되는 대상 블록 및 하나 이상의 인접 블록을 도시한 도면.

도 5는 본 발명의 일실시예에 따라 재구성된 인트라 예측 모드의 번호를 도시한 도면.

<도면의 주요 부분에 대한 부호의 설명>

단계(311): 대상 블록과 인접하는 인접 블록의 에지 크기 산출 단계

단계(312): 대상 블록과 인접하는 인접 블록의 에지 방향 산출 단계

단계(313): 대상 블록에 대한 주요 에지 설정 단계

단계(314): 대상 블록에 대한 인트라 예측 모드 재구성 단계