고효율 비디오 부호화의 계층적 부호화 구조를 위한 비트율 제어 기법 {Rate Control for Hierarchical Coding Structure in High Efficiency Video Coding(HEVC)}

본 발명이 속하는 기술분야는 고효율 비디오 부호화의 비트율 제어를 연구하는 분야이다.

비트율 제어에 관한 종래의 기술은 다음과 같다. 기존의 H.264/AVC 비디오 표준 참조소프트웨어인 JM(Joint Model)에서의 기법은 저지연 환경에서의 효과적인 비트율 제어에 초점을 맞추어 IPPP 구조에 적합하도록 제안되어 있으며, IBBB 구조로 사용될 시 B 프레임을 비참조 프레임으로 고려하지 않았다. 이를 위해, 계층적 부호화 구조에 대한 비트율 제어 알고리즘이 제안되었지만 기존의 알고리즘을 간략히 확장한 것으로 P 프레임들의 QP를 2차 율-왜곡 모델을 이용하여 결정한 후 P 프레임의 부호화 결과와 현재 시간계층을 이용하여 I와 B 프레임의 QP를 결정하는 방식을 사용하므로 B 프레임의 수가 증가함에 따라서 정확한 비트율 제어가 어렵다. 따라서, 계층적 부호화 구조의 특성을 반영한 정확한 비트율 구조의 도입이 필요하다.

본 발명은 고효율 비디오 부호화에 있어 효율적인 비트율 제어 기법에 관한 것이다. 본 발명에서는 계층적 부호화 구조에서 모든 시간계층과 프레임 타입에 대해 2차 비트율-왜곡 모델을 적용함으로써 각 시간계층과 프레임 타입의 특성이 반영된 QP를 결정하는 기법을 통하여 효율적인 비트율 제어 성능을 갖는 HM 코덱에 활용하고자 한다.

1. 고효율 비디오 부호화에 있어서, 계층적 부호화 구조를 고려하여 각 시간계층에서의 프레임 타입에 따라 나타나는 율-왜곡 특성을 이용하고, 이를 2차 율-왜곡 모델에 확장 적용하는 비트율 제어 기법.

2. 고효율 비디오 부호화에 있어서, 계층적 부호화 구조를 고려하여 낮은 시간계층과 I 프레임에 대한 높은 가중치를 고려한 첫 I 프레임에 대한 목표 비트량을 이용한 bpp를 이용하여 QP를 결정하는 방법.

3. 고효율 비디오 부호화에 있어서, 계층적 부호화 구조를 고려하여 각 시간계층에서 I 프레임을 제외한 첫 프레임에 대해 첫 I 프레임의 QP와 현재 시간계층의 레벨값을 이용하여 더 낮은 QP를 결정하는 방법.

4. 고효율 비디오 부호화에 있어서, 계층적 부호화 구조를 고려하여 각 시간계층에서 첫 프레임 이후의 프레임에 대해 같은 프레임 타입을 갖는 첫 프레임의 실제 발생 비트량과 현재 프레임의 목표 비트량의 비율을 이용하여 첫 프레임 대비 적절한 QP를 결정시 UHD 비디오에 적절하게 반영하기 위해, 비트 비율을 통한 첫 프레임 QP 대비 QP 변화량을 기존보다 작은 적절한 범위 내로 제한하는 방법.

5. 고효율 비디오 부호화에 있어서, 계층적 부호화 구조를 고려하여 기존의 2차 율-왜곡 모델을 시간계층과 프레임 타입을 반영하기 위해, 각 시간계층에서 같은 프레임 타입의 이전 프레임의 실제 발생된 율-왜곡 특성을 이용하여 2차 율-왜곡 모델의 파라미터를 갱신을 하고 현재 프레임의 예측된 왜곡값과 목표 비트량을 적용하여 QP를 결정하는 방법.

6. 5에 있어서, 현재 프레임의 화질 대비 같은 시간계층, 그리고 같은 프레임 타입의 이전 프레임 간의 급격한 화질 변화를 방지하기 위해, 이전 프레임의 QP값에 대해

7. 1에 있어서, 고효율 비디오 부호화에 있어서, 계층적 부호화 구조를 고려하여 각 시간계층에서의 프레임 타입에 따라 나타나는 율-왜곡 특성을 이용하기 위하여, 이를 2 차 율-왜곡 모델에 확장 적용하는 비트율 제어 기법을 구현한 소프트웨어.

8. 고효율 비디오 부호화에 있어서, 주어진 프레임 단위의 목표 비트량을 프레임 내 포함된 LCU에 대해 효율적으로 분배하여 사용하기 위해, 현재 부호화하고자 하는 LCU의 예측된 왜곡값과 이전 부호화된 LCU들의 평균 왜곡값, 그리고 프레임 내에 부호화되지 않고 남은 LCU의 수를 고려하여 LCU의 목표 비트량을 도출하고 이를 2차 RD 모델에 적용하여 현재 LCU의 QP를 결정하는 방법.

상기와 같이 이루어지는 본 발명은 고효율 비디오 부호화에 있어서, 계층적 부호화 구조를 위한 고정 비트율 제어를 가능하게 한다. 저지연의 특성을 갖는 실시간 응용분야 외의 방송 및 저장 매체 응용 분야 등에서 고효율 부호화 특성을 가지는 계층적 부호화 구조에 활용할 수 있다.

도 1은 본 발명의 계층적 부호화 구조의 비트할당 순서도
도 2는 계층적 부호화 구조의 각 시간계층 내에서 같은 프레임 타입을 가지는 두 번째 프레임의 QP 초기화 과정 순서도
도 3은 본 발명의 일 실시예이다.

비트율 제어 기법(Rate Control)은 비디오 비트스트림과 같은 가변 비트율 데이터를 방송환경과 같은 고정 비트율(Constant Bitrate: CBR) 채널을 통해 전송하기 위한 기법이다. 특히, 디지털방송, 인터넷 등 고해상도 비디오 서비스가 보편화됨에 따라 초고해상도(UHD: Ultra High Definition) 비디오가 새로운 서비스로 부각되고 있으며 이를 위해 차세대 비디오 부호화 국제 표준인 고효율 비디오 부호화 기법(HEVC, High Efficiency Video Coding)의 표준화가 진행 중이다. 고효율 비디오 부호화 표준화의 검증을 위한 참조소프트웨어 HM(HEVC test Model)에는 아직 CBR 부호화를 위한 비트율 제어를 제공하고 있지 않으며, 추후 비트율 제어 모듈이 추가될 것으로 예상된다. 이를 위해 본 발명에서는 방송 및 저장 응용 등에서 사용될 수 있도록 주기적으로 I 프레임을 삽입하는 것을 특징으로 하는 역방향 예측이 허용되는 계층적 부호화 구조의 UHDTV용 비디오 비트율 제어 기법을 제안한다. 기존의 비트율 제어 알고리즘은 UHD급의 초고해상도 비디오의 CBR 부호화에 적합하지 않으며, HM의 부호화 효율에 따른 특성을 반영한 알고리즘을 제안한다. 즉, 계층적 부호화 구조에서 각 시간계층과 프레임 타입에 따른 율-왜곡 특성을 고려한 비트량 할당 방법을 이용하여 이를 통해 양자화 파라미터(QP)값을 조절하는 비트율 제어 기법을 제안한다. 또한, 고효율 비디오 부호화에서는 UHD 비디오의 효율적인 부호화를 위해 기존의 16x16 크기의 매크로블록을 확장한 다양한 블록 크기를 갖는 CU(Coding Unit) 구조를 정의하고 있다. CU는 적용 범위에 따라 최대 블록 크기와 최대 깊이 정보를 이용하여 16x16 이상의 블록 크기도 지원 가능한데 부호화 시 사용할 수 있는 최대 블록 크기를 LCU(Largest Coding Unit)라고 하고 다양한 비디오 신호 특성에 따라 LCU크기를 조절하여 부호화 할 수 있다. 따라서, 비트율 제어를 위한 기본단위를 프레임 및 LCU로 제안한다.

본 발명을 통하여 계층적 부호화 구조에서의 각 시간계층과 프레임 타입에 따른 특성을 반영한 효율적인 비트율 제어가 가능할 것으로 기대된다. 또한 본 발명은 HM 코덱에 적절하게 적용할 수 있을 것으로 기대된다.

비트율 제어에 관한 종래의 기술은 다음과 같다. 기존의 H.264/AVC 비디오 표준 참조소프트웨어인 JM(Joint Model)에서의 기법은 저지연 환경에서의 효과적인 비트율 제어에 초점을 맞추어 IPPP 구조에 적합하도록 제안되어 있으며, IBBB 구조로 사용될 시 B 프레임을 비참조 프레임으로 고려하지 않았다. 이를 위해, 계층적 부호화 구조에 대한 비트율 제어 알고리즘이 제안되었지만 기존의 알고리즘을 간략히 확장한 것으로 P 프레임들의 QP를 2차 율-왜곡 모델을 이용하여 결정한 후 P 프레임의 부호화 결과와 현재 시간계층을 이용하여 I와 B 프레임의 QP를 결정하는 방식을 사용하므로 B 프레임의 수가 증가함에 따라서 정확한 비트율 제어가 어렵다. 따라서, 계층적 부호화 구조의 특성을 반영한 정확한 비트율 구조의 도입이 필요하다.

따라서, 본 발명은 상기의 문제점을 개선하기 위하여 기존의 비디오 압축 표준인 H.264/AVC의 JM에서 사용하는 2차 율-왜곡 모델을 확장하여, 계층적 부호화 구조를 위한 모든 시간계층과 프레임 타입들의 특성을 이용하여 정확한 비트율 제어 기법을 제공한다. 즉, 본 발명에서는 P 프레임에 대해서만 적용하였던 2차 율-왜곡 모델을 각 시간계층에서의 모든 프레임 타입들에 대해 적용하여 계층적 부호화 구조에 적합한 프레임 QP 결정 기법을 제공한다.

또한, 고효율 비디오 부호화에 있어 UHD 비디오의 효율적인 부호화를 위해 기존의 16x16 크기의 매크로블록(MB)를 확장한 다양한 블록 크기를 갖는 CU 구조를 정의하고 있으며 적용 범위에 따라 최대 블록 크기와 최대 깊이 정보를 이용하여 표현 가능하다. 기본 부호화 단위가 변화함에 따라 발생하는 부호화 특성에 알맞도록 비트율 제어를 수행하는 기본단위를 LCU로 설정하여 보다 정확한 비트율 제어 기법을 제공한다.

본 발명은 상기 목적을 달성하기 위한 계층적 부호화 구조의 각 시간계층에서의 율-왜곡 특성을 이용하고, 2차 율-왜곡 모델을 확장한 정확한 비트율-제어 기법에 관한 것이다. 이하 본 발명의 일 실시 예에 관하여 첨부 도면을 참조하면서 상세히 설명한다.

도 1은 본 발명의 전체적인 비트율 제어 구조를 나타내고 있다. 도 2은 본 발명의 비트할당 순서도를 나타내고 있다. 양방향 예측을 허용하는 임의접근을 위해, I 프레임이 1.1초 이내로 주기적으로 삽입(201)되도록 고효율 비디오 부호화 표준에서 정의하고 있으며, 고효율 부호화를 위한 계층적 부호화 구조가 가능하도록 GOP(Group Of Picture) 단위(202)로 구성된다. 먼저, GOP 내에 존재하는 프레임들에 대한 비트할당을 위해 주어진 목표 비트량(101)을 프레임율로 나눈 한 프레임에 대한 평균 비트량을 GOP 내에 존재하는 프레임 수만큼 고려하여 현재 GOP에 대한 비트(203)를 할당한다. 할당된 GOP의 비트량을 부호화되는 GOP 내의 프레임들에 대해 다시 비트할당(204)한다. 이 때, 버퍼 상태(102)와 각 시간계층에서의 프레임에 대한 가중치를 고려하여 프레임의 목표 비트량(103)을 할당한다. 버퍼 상태는 현재의 버퍼 상태를 목표 버퍼 상태로 도달하기 위해 필요한 비트량을 고려하고, 프레임간의 가중치는 계층적 부호화 구조가 갖는 각 시간계층과 프레임 타입에 따라 달리 적용하여 GOP 내의 프레임들에 대해 비트할당하게 되는데, 시간계층이 낮을수록 더 높은 가중치를 가지며 부호화 효율을 위해 높은 시간계층일수록 낮은 가중치를 적용한다.

GOP 내의 부호화하고자 하는 프레임의 목표 비트량을 설정하면, 이를 이용하여 현재 프레임의 QP값을 설정(104)한다. 즉, 시퀀스의 첫 I 프레임(205)의 QP 값은 계층적 부호화 구조의 부호화 효율을 고려하여, 평균 비트량이 아닌 각 시간계층과 프레임 타입에 대한 가중치가 고려된 프레임의 목표 비트량을 시퀀스의 해상도로 나눈 bpp(bits per pixel)와 매핑된다. 이와 같은 기법은 참조 프레임으로 사용되는 I 프레임의 화질을 높여 전체적인 화질에 영향을 준다. 이 때, bpp와 QP 간의 매핑 관계는 실제 HM을 이용한 각 시퀀스에 대해 도출한 값으로 예측한 목표 비트량과 유사하게 비트를 발생시킬 수 있는 기법이다.

또한, 이와 같이 각 시간계층에 존재하는 첫 프레임 타입(206)에 대해서도 QP 값 결정시에 초기화가 필요하다. 그러나, 첫 I 프레임을 제외한 각 시간계층에 존재하는 첫 프레임에 대해서는 참조할 정보가 충분하지 않기 때문에, QP 초기화가 어렵다. 따라서, 앞서 기술한 첫 I 프레임의 QP값을 이용하여 간단히 QP값을 결정한다. CBR 부호화 기법에서는 일정한 비트율을 가지는 채널대역폭으로 비트스트림을 전송하는 부호기 버퍼와 이를 수신하는 복호기 버퍼가 넘치거나 비어버리는 것을 방지하기 위해 프레임 간의 발생 비트량을 적절하게 평활화한다. 따라서, 기존의 계층적 부호화 구조와 달리 시간계층이 높아짐에 따라 첫 I 프레임의 QP값에 시간계층 레벨 값만큼을 감소시킨 QP를 선택한다. 이에 따라, 고정 QP 할당 방식 대비 화질 열화 현상이 나타나고 이는 CBR 부호화 기법과 동반되는 한계점이다.

이와 같이 각 시간계층에 존재하는 각 프레임 타입에 대한 첫 프레임의 QP와 실제 발생 비트량을 이용하여 도 3와 같이 각 시간계층에서의 두 번째 프레임(207)의 QP를 결정한다. 각 시간계층에서의 두 번째 프레임이기 때문에, 이용할 수 있는 정보가 존재한다. 따라서, 현재 두 번째 프레임의 목표 비트량이 같은 시간계층 내에서 같은 첫 번째 프레임의 실제 발생량(301)보다 큰지 작은지의 여부(302)에 따라서 첫 번째 프레임의 QP(303)보다 증가시킬 것인지, 감소시킬 것인지(304)를 결정한다.

각 시간계층에 존재하는 두 번째 프레임 이후의 프레임들에 대해서는 앞서 발생된 실제 발생량과 QP간의 관계를 이용하여, 2차 율-왜곡 모델을 이용하여 QP를 결정한다. 종래기술에서는 저지연 환경을 고려한 IPPP 구조에서의 비트율 제어를 고려하여 P 프레임에 대해서만, 2차 율-왜곡 모델을 이용하여 QP를 결정하였다. 본 발명에서는 아래 식과 같이, 2차 율-왜곡 모델을 계층적 부호화 구조에 적절하도록 시간계층 l, 프레임 타입 t에 대해 확장하여 모든 프레임 타입에 대해 적용하여 QP값을 결정한다.

즉, 앞서 발생된 현재 프레임과 같은 시간계층 내에 같은 프레임 타입을 갖는 프레임들의 실제 발생 비트량(105), 왜곡값(106), QP들을 이용하여 위 식 2차 율-왜곡 모델의 파라미터 X ₁ ^l,t , X ₂ ^l,t 를 갱신(107)하고 갱신된 2차 율-왜곡 모델에 현재 프레임의 목표 비트량과 예측된 왜곡값을 적용하여 다음 식과 같이 QP를 결정한다.

이와 같은 기법을 통해, 계층적 부호화 구조내의 각 시간계층에서의 프레임 타입에 따라 발생되는 비트량과 QP간의 관계를 반영하여 결정된 QP를 부호화에 사용함으로써 모든 프레임들에 대해 정확한 비트율 제어가 가능하다.

이와 같은 기법에 의해 각 프레임들에 QP가 결정되면 현재 프레임에 대한부호화(108)이 진행되는데, 이때 프레임 내부에 포함된 CU들에 대한 QP값을 결정한다. 본 발명에서는 고효율 비디오 부호화에서 최대 크기의 부호화 단위인 LCU 단위로 QP값을 결정한다.

프레임 내의 부호화하고자 하는 l 번째 LCU의 목표 비트량 b _l 은 프레임 레벨에서 할당된 남은 비트량 T _r 을 기반으로 프레임 내의 LCU 간의 예측된 MAD 가중치를 이용하여 다음 식과 같이 할당한다.

이 때, 현재 부호화하는 프레임의 l-1번째까지의 평균 왜곡값 MAD _mean 은 다음 식과 같이 평균값으로 구한다.

현재 부호화하는 LCU를 위한 QP 결정 방법은 앞서 기술한 프레임 단위의 기법과 동일하게 2차 율-왜곡 모델을 이용(109)하고 위의 식에서 도출한 LCU의 목표 비트량 b _l 을 적용하여 현재 LCU의 QP를 결정한다.

이전 부호화된 LCU의 수가 2개 이하(110)인 경우 축적한 데이터가 없기 때문에 2차 율-왜곡 모델에 의해 결정하지 않고 프레임 레벨에서 예측한 QP를 사용(111)한다.

추가로, 현재 프레임 내에 부호화되지 않고 남은 LCU에 대해 남은 비트 할당량을 모두 소진한 경우(112), 바로 이전의 LCU의 QP값보다 높은 QP값을 할당(113)해준다.

상기와 같이 이루어지는 본 발명은 고효율 비디오 부호화에 있어서, 계층적 부호화 구조를 위한 고정 비트율 제어를 가능하게 한다. 저지연의 특성을 갖는 실시간 응용분야 외의 방송 및 저장 매체 응용 분야 등에서 고효율 부호화 특성을 가지는 계층적 부호화 구조에 활용할 수 있다.