首页 / 专利库 / 广播 / 帧内预测 / 비디오 부호화에서의 화면간/화면내 예측 부호화 방법

비디오 부호화에서의 화면간/화면내 예측 부호화 방법

阅读:397发布:2022-11-30

专利汇可以提供비디오 부호화에서의 화면간/화면내 예측 부호화 방법专利检索,专利查询,专利分析的服务。并且An inter/intra-frame predictive encoding method for video coding is provided to efficiency perform predictive encoding by decreasing the number of motion vectors to be encoded and load for predicting motion. An encoded block unit is expanded to more than one super macroblock comprising a bigger size than a 16x16 macroblock(S101). Each super macroblock is divided into sub brocks having various sizes(S102). Internet-frame prediction for the divided sub blocks is performed(S106). One of the predictions is selected and encoded as a predictive encoding(S107).,下面是비디오 부호화에서의 화면간/화면내 예측 부호화 방법专利的具体信息内容。

  • 비디오 부호화에서의 화면간 예측 부호화 방법에 있어서,
    부호화 블록 단위를 16×16 매크로 블록보다 큰 크기로 이루어진 적어도 하나의 수퍼 매크로 블록으로 확장하고, 각 수퍼 매크로 블록을 다양한 크기의 하위 블록들로 분할하며, 각 수퍼 매크로 블록을 비롯한 분할된 하위 블록들에 대해 화면간 예측을 수행한 후, 그 중 어느 하나를 화면간 예측 부호화 결과로 선택하여 부호화하는 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법.
  • 제1 항에 있어서,
    각 수퍼 매크로 블록을 비롯한 분할된 하위 블록들을 통한 잔차 신호에 대하여 변환 및 양자화를 수행한 후, 그 결과를 엔트로피 부호화하는 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법.
  • 제1 항에 있어서,
    상기 수퍼 매크로 블록의 크기는 16×16 매크로 블록의 크기보다 큰 가로 및 세로 길이가 2의 거듭제곱으로 정의되는 정사각형이며, 이를 분할한 하위 블록은 정사각형 및 직사각형을 포함하는 2의 거듭제곱으로 정의되는 블록으로 이루어진 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법.
  • 비디오 부호화에서의 화면간 예측 부호화 방법에 있어서,
    입력 화면을 부호화 단위 블록으로 분할하고, 상기 분할된 각 부호화 단위 블록에 대해 움직임 예측을 위한 적어도 하나의 움직임 모델을 선택적으로 적용하여 예측 부호화를 수행한 후, 그 중 어느 하나를 화면간 예측 결과로 선택하여 부호화하는 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법.
  • 제4 항에 있어서,
    상기 부호화 단위 블록은 매크로 블록 또는 16×16 매크로 블록보다 큰 크기의 수퍼 매크로 블록인 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법.
  • 제4 항에 있어서,
    상기 움직임 모델은 파라미터로 모형화 된 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법.
  • 제4 항에 있어서,
    상기 움직임 모델은 병진 움직임 모델, 의사(擬似)(Affine) 움직임 모델, 이중선형(Bilinear) 움직임 모델 또는 투시(Perspective) 움직임 모델 중 적어도 하나를 포함하는 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법.
  • 제4 항에 있어서,
    상기 움직임 모델을 적용한 예측 부호화 과정은,
    움직임 모델 파라미터를 추정하고, 상기 추정된 움직임 모델 파라미터를 이용하여 참조 화면으로부터 움직임 예측을 수행하고, 그 잔차 신호를 변환하여 변환 계수를 양자화한 후, 상기 움직임 모델 파라미터와 양자화된 변환계수에 대해 엔트로피 부호화를 수행하는 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법.
  • 비디오 부호화에서의 화면간 예측 부호화 방법에 있어서,
    (a) 입력 화면을 미리 정의된 수퍼 매크로 블록 단위로 확장하는 단계;
    (b) 각 수퍼 매크로 블록을 다양한 크기의 하위 블록들로 분할하는 단계; 및
    (c) 각 수퍼 매크로 블록 단위로 상기 분할된 하위 블록들에 대해 참조 영상 으로부터 움직임 예측을 수행한 후, 최적의 블록 모드를 결정하고 이를 통해 구해진 잔차 신호와 움직임 벡터를 부호화하는 단계를 포함하는 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법.
  • 비디오 부호화에서의 화면간 예측 부호화 방법에 있어서,
    (a') 부호화 대상 블록에 대해 움직임 모델을 선택하여 움직임 모델 파라미터를 획득하는 단계;
    (b') 상기 획득된 움직임 모델 파라미터를 이용하여 참조 화면으로부터 움직임 보상 블록 픽셀을 생성하는 단계;
    (c') 상기 생성된 움직임 보상 블록 픽셀값과 현재 부호화 하고자 하는 블록의 픽셀값의 잔차 신호를 구하는 단계;
    (d') 상기 단계(b') 및 단계(c')를 선택 가능한 움직임 모델에 대해 수행하고, 현재 부호화하고자 하는 블록에 대한 움직임 모델을 최종 결정하는 단계; 및
    (e') 상기 최종 선택된 움직임 모델을 이용하여 화면간 움직임 예측 부호화를 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법.
  • 제10 항에 있어서,
    상기 단계(d')에서, 상기 움직임 모델 최종 결정은 율-왜곡 비용을 고려하여 결정하는 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법.
  • 제9 항 또는 제10 항에 있어서,
    상기 단계(a) 또는 단계(a') 이전에 부호화를 위한 화면 순서 및 블록 순서를 초기화하는 단계를 더 포함하는 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법.
  • 비디오 부호화에서의 화면내 예측 부호화 방법에 있어서,
    부호화 블록 단위를 16×16 매크로 블록보다 큰 크기로 이루어진 적어도 하나의 수퍼 매크로 블록으로 확장하고, 각 수퍼 매크로 블록을 다양한 크기의 하위 블록들로 분할하며, 각 수퍼 매크로 블록을 비롯한 분할된 하위 블록들에 대해 화면내 예측을 수행한 후, 그 결과를 비교하여 더 유리한 부호화 결과를 선택하여 최종 부호화하는 것을 특징으로 하는 비디오 부호화에 있어서 화면내 예측 부호화 방법.
  • 제13 항에 있어서,
    각 수퍼 매크로 블록을 비롯한 분할된 하위 블록들에 대해 화면내 예측 부호화는 방향성 예측을 수행하고, 율-왜곡 비용을 가장 적게 발생시키는 방향성 예측 모드를 최적의 최종 화면내 예측으로 하여 부호화하는 것을 특징으로 하는 비디오 부호화에서의 화면내 예측 부호화 방법.
  • 비디오 부호화에서의 화면간 예측 부호화 방법에 있어서,
    부호화 블록 단위를 16×16 매크로 블록보다 큰 크기로 이루어진 적어도 하나의 수퍼 매크로 블록으로 확장하고, 각 수퍼 매크로 블록을 다양한 크기의 하위 블록들로 분할하며, 각 수퍼 매크로 블록을 비롯한 분할된 하위 블록들에 대해 화면내 예측을 수행한 후, 그 결과를 부호화 할 화면내 예측 결과와 부호화 할 화면간 예측 결과를 비교하여 더 유리한 예측을 선택하여 최종 부호화하는 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법.
  • 비디오 부호화에서의 화면간 예측 부호화 방법에 있어서,
    (a") 부호화하고자 하는 화면을 입력하는 단계;
    (b") 입력된 화면을 부호화 단위 블록으로 분할하는 단계;
    (c") 현재의 입력 화면이 화면간 예측 부호화를 수행할 것인지를 판별하는 단계;
    (d") 현재의 입력 화면이 화면간 예측이 아닌 경우 화면내 예측 부호화를 수행하는 단계;
    (e") 현재의 입력 화면이 화면간 예측인 경우에는 입력 화면에서 부호화되는 단위 블록의 순서를 초기화하는 단계;
    (f") 부호화하고자 하는 단위 블록에 움직임 예측을 수행하기 위해 적용할 움직임 모델을 하나 선택한 후 움직임 예측을 수행하는 단계;
    (g") 상기 선택된 움직임 예측 결과를 이용하여 예측 부호화를 수행하는 단계;
    (h") 상기 단계(g")에서의 예측 부호화 결과 및 율-왜곡 비용값을 저장하는 단계;
    (i") 상기 적용 움직임 모델이 최종 모델인지 판단하여, 최종 움직임 모델이면 최적의 움직임 모델을 결정하고, 해당 부호화 결과를 최종 선택하는 단계;
    (j") 상기 적용 움직임 모델이 최종 모델이 아니면, 상기 단계(f")로 리턴하는 단계;
    (k") 현재 단위 블록이 현재의 입력 화면에서 최종 블록인지를 판별하는 단계; 및
    (l") 현재 단위 블록이 현재의 입력 화면에서 최종 블록이면, 현재의 입력 화면이 최종 화면인지 판별하여, 최종 화면이 될 때까지 상기 단계(a") 내지 단계(k")를 반복 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법.
  • 제16 항에 있어서,
    상기 단계(f")에서, 상기 움직임 모델을 적용하여 움직임 예측 수행 시 움직임 모델 파라미터를 추정하는 단계를 더 포함하는 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법.
  • 제1 항 내지 제17 항 중 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  • 说明书全文

    비디오 부호화에서의 화면간/화면내 예측 부호화 방법{METHOD OF INTER-FRAME/INTRA BLOCK PREDICTIVE CODING IN VIDEO CODING}

    본 발명은 비디오 부호화에서 수퍼 매크로 블록 또는 움직임 모델을 이용한 예측 부호화 방법에 관한 것으로, 기존의 16×16 픽셀 단위의 매크로 블록 이상으로 확장하고 하위 블록의 크기를 다양한 크기로 분할한 후, 예측 부호화함으로써 부호화 효율을 더욱 향상시킬 수 있으며, 이를 기존의 블록 매칭을 이용한 부호화 방식뿐만 아니라 움직임 모델 기반의 픽셀 와핑을 이용하여 예측 정확도를 크게 향상시킴으로써 발생 잔차 신호의 양을 줄여 부호화 효율을 더욱 개선할 수 있도록 한 비디오 부호화에서의 화면간/화면내 예측 부호화 방법에 관한 것이다.

    일반적으로, ISO/IEC와 ITU-T에서 공동으로 표준화한 비디오 압축 부호화에 기술인 ISO/IEC 14496-10(MPEG-4 Advanced Video Coding) 또는 H.264 및 ISO/IEC 14496-10 Amendment 3(MPEG-4 Scalable Video Coding), SMPTE 표준인 VC-1, 이밖에 Audio Video coding Standard(AVS) 규격 등은 비디오 데이터 압축 효율에 있어 많 은 진전을 이루었다.

    이러한 비디오 압축 효율의 향상 요인은 여러 가지가 있을 수 있으나 특히, 기존의 비디오 부호화 표준들(MPEG-1 Video, MPEG-2 Video, MPEG-4 Part 2 Visual, H.261, H.263 등)이 부호화하고자 하는 화면의 크기를 매크로 블록(16×16) 단위로 분할한 후 이를 예측 부호화하는 것과는 달리, 매크로 블록을 16×16, 16×8, 8×16, 8×8, 8×4, 4×8 및 4×4 단위로 더욱 세분화하여 분할하고 이들 하위 블록에 대해 예측 부호화를 수행하고 율-왜곡 비용의 관점에서 비용 최소화를 발생시키는 블록을 최적의 블록모드로 하여 부호화한다.

    이렇게 함으로써 미세한 움직임이나 복잡한 영상의 움직임 예측을 보다 효과적으로 수행하여 발생되는 잔차 신호를 크게 줄임으로써 압축 효율을 크게 향상할 수 있었다.

    도 1은 종래 기술의 H.264|AVC 부호화기에서 화면간 예측 부호화를 위한 16×16 매크로 블록 단위 블록의 분할 블록 타입을 나타낸 도면으로서, H.264에서 사용되는 7가지의 움직임 예측 블록 분할 타입을 나타낸다.

    도 1을 참조하면, 주로 작은 크기의 블록들(8×8, 8×4, 4×8 및 4×4)은 영상 내의 움직임 영역이 작거나 미세한 움직임의 경우 예측 성능의 큰 향상을 제공한다.

    반면에 크기가 큰 블록들(16×16, 16×8 및 8×16)은 영상 픽셀 값이 균질한 영역이나 움직임이 적은 영역 또는 병진 운동이 존재하는 움직임 영역 등에서 움직임 예측 부호화 시에 주로 선택되는 경향을 띤다. 이와 같이 움직임 예측에 큰 블 록을 사용하는 것은 그만큼 부호화 시에 움직임 벡터 발생량이 줄어 부호화 효율을 증가시키는 요인이 된다.

    결론적으로, 움직임 예측 부호화 시에 다양한 블록의 크기를 사용하여 움직임 예측 부호화를 수행하고, 이 중 하기의 수학식 1과 같이 율-왜곡 비용을 가장 적게 발생시키는 블록이 최적의 부호화 최종 블록모드로 결정된다.

    여기서, c와 r은 현재 블록과 참조 블록을 의미하고, D는 두 블록간의 왜곡도를 나타낸다. λ MODE 는 라그랑지안 승수(Lagrangian Multiplier)이다. 또한, MODE는 예측 부호화에 사용되는 율-왜곡 최적화를 수행하는 모든 블록모드(또는 크기)를 의미한다.

    예컨대, 영상의 균질 영역이 많은 부분을 차지할 경우나 움직임이 일어나지 않는 영역의 부분이 많은 경우 매크로 블록(16×16)이 최종 움직임 예측 블록으로 결정되는 빈도가 크게 증가한다.

    특히, 부호화하고자 하는 입력 영상의 해상도가 매우 큰 경우 이러한 영상의 균질한 영역이 많은 부분을 차지하나 16×16 크기의 매크로 블록이 최대 블록이므로, 즉 최대 처리블록 단위의 크기가 16×16으로 제한되어, 움직임 예측 부호화 효율을 증대시키는데 한계가 있다. 이로 인해 초고해상도 영상을 부호화하고자 하는 경우 기존의 최대 크기인 16×16 매크로 블록을 사용하면 부호화 효율 증대에 한계 를 가지는 문제점이 있다.

    한편, 움직임 예측 부호화 시에 기존의 비디오 부호화 방법들은 부호화하고자 하는 블록을 참조 화면 내의 탐색 영역에서 블록 매칭을 통하여 가장 유사한 픽셀 블록의 위치를 찾고 이점을 움직임 벡터로 전송한다.

    이때, 사용되는 블록 매칭 기법은 기본적으로 병진 운동을 가정하고 움직임 예측을 수행하는 경우이다. 그러나, 카메라의 움직임이나 영상 내의 객체의 움직임은 병진(Tracking) 운동뿐만 아니라, 줌(Zoom-in: 카메라의 위치를 고정시킨 채 줌 렌즈의 초점거리를 변화시켜 피사체에 접근하여 가는 것처럼 촬영, Zoom-out: 카메라의 위치를 고정시킨 채 줌 렌즈의 초점거리를 변화 시켜 피사체로부터 멀어져 가는 것처럼 촬영), 회전(Roll: 카메라를 회전시켜 피사체를 촬영), 패닝(Panning: 카메라의 수직축이 고정되어 있는 상태에서의 카메라의 수평적 움직임), 붐(Boom-up: 카메라의 수직적 상승 이동, Boom-down: 카메라의 수직적 하강 이동), 틸팅(Tilting: 카메라의 수평축이 고정되어 있는 상태에서의 카메라의 수직적 움직임), 달리(Dolly-in: 카메라가 피사체에 접근, Dolly-out: 카메라가 피사체에서 물러남)등이 있다. 도 2는 비디오 영상에서의 카메라의 움직임에 의한 움직임 생성 타입을 설명하기 위한 도면으로서, 카메라의 움직임 형태에 대한 도식을 나타낸다.

    도 3은 2차원 영상 공간에 투영된 움직임 모델을 설명하기 위한 개념도로서, 실제 3차원 공간에서의 피사체의 움직임이 2차원 공간에 투영되었을 때 투영된 2차원 공간에서의 움직임을 나타내며, 하기의 수학식 2와 수학식 3은 투영된 공간에서의 x축과 y축으로의 움직임을 수식으로 표현한다.

    여기서, u와 v는 움직임 벡터를 의미하고, f는 카메라의 초점 거리, T x , T y , T z 는 OXYZ 공간에서 각각 X축, Y축, Z축에서의 병진 속도(Translational Velocity)를 나타낸다. 한편, R x , R y , R z 는 각각 각속도(Angular Velocity)를 나타낸다. x, y는 투영 이미지 공간에서의 좌표 값을 의미한다.

    이와 같이 기존의 움직임 보상을 통한 예측 부호화는 병진 운동만을 고려한 움직임 예측이므로 실제 2차원 공간에서의 복잡한 움직임을 제대로 예측하지 못하며 이로 인한 예측 부호화 성능 향상의 한계점을 가지고 있다.

    본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 비디오 부호화 시에 최대 16×16 매크로 블록을 통한 예측 부호화 방식을 확장하여 16×16 보다 큰 크기의 블록(이하, "수퍼 매크로 블록"이라 칭함)을 사용하여 움직임 예측 및 보상을 수행하여 보다 효과적인 예측 부호화 방법을 제공하는데 있다.

    본 발명의 다른 목적은 블록 기반의 예측 부호화에 있어 기존의 병진 운동에 의한 참조 화면에서의 탐색영역에서 최대 유사 블록을 찾아 예측 부호화함으로써 카메라 움직임 및 객체 움직임 등의 보다 복잡한 복합적인 움직임을 예측하는데 한계가 있는 것을 극복하기 위해 움직임 모델을 이용하여 움직임을 보다 정확히 예측하고 이를 기반으로 예측 부호화를 수행함으로서 기대되는 잔차 신호(Residual Signals)의 발생량을 줄여 부호화 효율을 향상시키는 방법을 제공하는데 있다.

    전술한 목적을 달성하기 위하여 본 발명의 제1 측면은, 비디오 부호화에서의 화면간 예측 부호화 방법에 있어서, 부호화 블록 단위를 16×16 매크로 블록보다 큰 크기로 이루어진 적어도 하나의 수퍼 매크로 블록으로 확장하고, 각 수퍼 매크로 블록을 다양한 크기의 하위 블록들로 분할하며, 각 수퍼 매크로 블록을 비롯한 분할된 하위 블록들에 대해 화면간 예측을 수행한 후, 그 중 어느 하나를 화면간 예측 부호화 결과로 선택하여 부호화하는 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법을 제공하는 것이다.

    여기서, 각 수퍼 매크로 블록을 비롯한 분할된 하위 블록들을 통한 잔차 신호에 대하여 변환 및 양자화를 수행한 후, 그 결과를 엔트로피 부호화하는 것이 바람직하다.

    바람직하게, 상기 수퍼 매크로 블록의 크기는 16×16 매크로 블록의 크기보다 큰 가로 및 세로 길이가 2의 거듭제곱으로 정의되는 정사각형이며, 이를 분할한 하위 블록은 정사각형 및 직사각형을 포함하는 2의 거듭제곱으로 정의되는 블록으로 이루어질 수 있다.

    본 발명의 제2 측면은, 비디오 부호화에서의 화면간 예측 부호화 방법에 있어서, 입력 화면을 부호화 단위 블록으로 분할하고, 상기 분할된 각 부호화 단위 블록에 대해 움직임 예측을 위한 적어도 하나의 움직임 모델을 선택적으로 적용하여 예측 부호화를 수행한 후, 그 중 어느 하나를 화면간 예측 결과로 선택하여 부호화하는 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법을 제공하는 것이다.

    여기서, 상기 부호화 단위 블록은 매크로 블록 또는 16×16 매크로 블록보다 큰 크기의 수퍼 매크로 블록인 것이 바람직하다.

    바람직하게, 상기 움직임 모델은 파라미터로 모형화 된 것이다.

    바람직하게, 상기 움직임 모델은 병진 움직임 모델, 의사(擬似)(Affine) 움 직임 모델, 이중선형(Bilinear) 움직임 모델 또는 투시(Perspective) 움직임 모델 중 적어도 하나를 포함할 수 있다.

    바람직하게, 상기 움직임 모델을 적용한 예측 부호화 과정은, 움직임 모델 파라미터를 추정하고, 상기 추정된 움직임 모델 파라미터를 이용하여 참조 화면으로부터 움직임 예측을 수행하고, 그 잔차 신호를 변환하여 변환 계수를 양자화한 후, 상기 움직임 모델 파라미터와 양자화된 변환계수에 대해 엔트로피 부호화를 수행할 수 있다.

    본 발명의 제3 측면은, 비디오 부호화에서의 화면간 예측 부호화 방법에 있어서, (a) 입력 화면을 미리 정의된 수퍼 매크로 블록 단위로 확장하는 단계; (b) 각 수퍼 매크로 블록을 다양한 크기의 하위 블록들로 분할하는 단계; 및 (c) 각 수퍼 매크로 블록 단위로 상기 분할된 하위 블록들에 대해 참조 영상으로부터 움직임 예측을 수행한 후, 최적의 블록 모드를 결정하고 이를 통해 구해진 잔차 신호와 움직임 벡터를 부호화하는 단계를 포함하는 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법을 제공하는 것이다.

    본 발명의 제4 측면은, 비디오 부호화에서의 화면간 예측 부호화 방법에 있어서, (a') 부호화 대상 블록에 대해 움직임 모델을 선택하여 움직임 모델 파라미터를 획득하는 단계; (b') 상기 획득된 움직임 모델 파라미터를 이용하여 참조 화면으로부터 움직임 보상 블록 픽셀을 생성하는 단계; (c') 상기 생성된 움직임 보 상 블록 픽셀값과 현재 부호화하고자 하는 블록의 픽셀값의 잔차 신호를 구하는 단계; (d') 상기 단계(b') 및 단계(c')를 선택 가능한 움직임 모델에 대해 수행하고, 현재 부호화하고자 하는 블록에 대한 움직임 모델을 최종 결정하는 단계; 및 (e') 상기 최종 선택된 움직임 모델을 이용하여 화면간 움직임 예측 부호화를 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법을 제공하는 것이다.

    상기 단계(d')에서, 상기 움직임 모델 최종 결정은 율-왜곡 비용을 고려하여 결정함이 바람직하다.

    바람직하게, 상기 단계(a) 또는 단계(a') 이전에 부호화를 위한 화면 순서 및 블록 순서를 초기화하는 단계를 더 포함할 수 있다.

    바람직하게, 상기 단계(c)에서 움직임 예측을 수행한 후, 또는 상기 단계(a') 이후에 부호화를 위해 순서에 맞게 화면을 입력하고, 상기 입력된 화면을 블록 단위로 분할한 후, 한 화면간 예측 부호화에서 부호화되는 블록의 순서를 초기화하는 단계를 더 포함할 수 있다.

    바람직하게, 상기 단계(c) 또는 단계(d')에서, 상기 화면간 예측을 통한 율-왜곡 비용을 계산하고 부호화하고자 하는 매크로 블록 또는 수퍼 매크로 블록으로 합할 수 있다.

    본 발명의 제5 측면은, 비디오 부호화에서의 화면간 예측 부호화 방법에 있어서, 부호화하고자 하는 화면을 입력하는 단계; 상기 입력된 화면을 미리 정의된 수퍼 매크로 블록 단위로 분할하는 단계; 각 수퍼 매크로 블록에 대해 하위 크기의 블록으로 분할하고, 각 수퍼 매크로 블록 및 그 하위 블록에 대해 화면간 예측을 수행한 후, 그 중 어느 하나의 블록 타입을 선정하는 단계; 및 상기 선정된 블록 타입의 예측 결과를 이용하여 화면간 예측 부호화를 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법을 제공하는 것이다.

    본 발명의 제6 측면은 비디오 부호화에서의 화면내 예측 부호화 방법에 있어서, 부호화 블록 단위를 16×16 매크로 블록보다 큰 크기로 이루어진 적어도 하나의 수퍼 매크로 블록으로 확장하고, 각 수퍼 매크로 블록을 다양한 크기의 하위 블록들로 분할하며, 각 수퍼 매크로 블록을 비롯한 분할된 하위 블록들에 대해 화면내 예측을 수행한 후, 그 결과를 비교하여 더 유리한 부호화 결과를 선택하여 최종 부호화하는 것을 특징으로 하는 비디오 부호화에 있어서 화면내 예측 부호화 방법을 제공하는 것이다.

    여기서, 각 수퍼 매크로 블록을 비롯한 분할된 하위 블록들에 대해 화면내 예측 부호화는 방향성 예측을 수행하고, 율-왜곡 비용을 가장 적게 발생시키는 방향성 예측 모드를 최적의 최종 화면내 예측으로 하여 부호화함이 바람직하다.

    본 발명의 제7 측면은, 비디오 부호화에서의 화면간 예측 부호화 방법에 있어서, 부호화 블록 단위를 16×16 매크로 블록보다 큰 크기로 이루어진 적어도 하 나의 수퍼 매크로 블록으로 확장하고, 각 수퍼 매크로 블록을 다양한 크기의 하위 블록들로 분할하며, 각 수퍼 매크로 블록을 비롯한 분할된 하위 블록들에 대해 화면내 예측을 수행한 후, 그 결과를 부호화 할 화면내 예측 결과와 부호화 할 화면간 예측 결과를 비교하여 더 유리한 예측을 선택하여 최종 부호화하는 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법을 제공하는 것이다.

    본 발명의 제8 측면은, 비디오 부호화에서의 화면간 예측 부호화 방법에 있어서, (a") 부호화하고자 하는 화면을 입력하는 단계; (b") 입력된 화면을 부호화 단위 블록으로 분할하는 단계; (c") 현재의 입력 화면이 화면간 예측부호화를 수행할 것인지를 판별하는 단계; (d") 현재의 입력 화면이 화면간 예측이 아닌 경우 화면내 예측 부호화를 수행하는 단계; (e") 현재의 입력 화면이 화면간 예측인 경우에는 입력 화면에서 부호화되는 단위 블록의 순서를 초기화하는 단계; (f") 부호화하고자 하는 단위 블록에 움직임 예측을 수행하기 위해 적용할 움직임 모델을 하나 선택한 후 움직임 예측을 수행하는 단계; (g") 상기 선택된 움직임 예측 결과를 이용하여 예측 부호화를 수행하는 단계; (h") 상기 단계(g")에서의 예측 부호화 결과 및 율-왜곡 비용값을 저장하는 단계; (i") 상기 적용 움직임 모델이 최종 모델인지 판단하여, 최종 움직임 모델이면 최적의 움직임 모델을 결정하고, 해당 부호화 결과를 최종 선택하는 단계; (j") 상기 적용 움직임 모델이 최종 모델이 아니면, 상기 단계(f")로 리턴하는 단계; (k") 현재 단위 블록이 현재의 입력 화면에서 최종 블록인지를 판별하는 단계; 및 (l") 현재 단위 블록이 현재의 입력 화면에서 최종 블록이면, 현재의 입력 화면이 최종 화면인지 판별하여, 최종 화면이 될 때까지 상기 단계(a") 내지 단계(k")를 반복 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 부호화에서의 화면간 예측 부호화 방법을 제공하는 것이다.

    상기 단계(f")에서, 상기 움직임 모델을 적용하여 움직임 예측 수행 시 움직임 모델 파라미터를 추정하는 단계를 더 포함함이 바람직하다.

    본 발명의 제9 측면은, 상술한 비디오 부호화에서의 화면간 예측 부호화 방법을 실행시키기 위한 프로그램을 기록한 기록매체를 제공한다.

    이상에서 설명한 바와 같은 본 발명의 비디오 부호화에서의 화면간/화면내 예측 부호화 방법에 따르면, 부호화하고자 하는 블록의 크기를 기존의 16×16 매크로 블록 크기이상으로 확장하고, 이를 다시 하위 블록으로 분할하여 선택적으로 사용하며, 영상의 균질한 영역이 많은 영상에 대해 효과적으로 사용함으로써, 부호화되어야 하는 움직임 벡터 수의 감소와 움직임 예측의 부하를 줄여 효과적으로 예측 부호화를 수행할 수 있는 이점이 있다.

    또한, 본 발명에 따르면, 다양한 움직임 모델을 사용하여 보다 정확한 움직임 예측을 수행함으로써 발생되는 잔차 신호의 양을 줄여 부호화 효율을 증대시킬 수 있을 뿐만 아니라 움직임 모델에 의한 참조 영상의 와핑(Warping)을 통해 정화소로부터 1/2-화소, 1/4-화소, 1/8-화소의 서브-펠(Sub-Pel) 단계로 움직임 보상을 수행함으로서 소요되는 움직임 예측의 많은 연산량의 감소를 얻을 수 있는 이점이 있다.

    이하, 첨부 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나, 다음에 예시하는 본 발명의 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시예에 한정되는 것은 아니다. 본 발명의 실시예는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되어지는 것이다.

    먼저, 통상적인 화면간 예측은 부호화하고자 블록을 최대 16×16 크기인 매크로 블록 단위로 분할하여 부호화한다. 특히, ISO/IEC 14496-10(MPEG-4 Advanced Video Coding) 또는 H.264 규격에서는 도 1과 같이 매크로 블록을 7가지의 하위 블록으로 분할하여 부호화 시에 율-왜곡 비용을 최소화하는 블록을 최종 선택하여 예측 부호화를 수행한다.

    전술한 바와 같이 부호화하고자 하는 블록 단위를 16×16 매크로 블록 단위로 제한하는 것은 영상 내의 균질 영역(Homogeneous Regions) 또는 움직임이 없는 영역에서 화면간 예측을 수행할 때에 매크로 블록의 수가 많이 증가한다. 특히, 초 고해상도 영상의 부호화에서는 매크로 블록의 크기가 상대적으로 너무 작아 부호화 효율을 떨어뜨리는 결과를 초래한다.

    도 4는 본 발명의 일 실시예에 적용된 16×16 매크로 블록 크기 이상의 수퍼 매트로 블록 및 블록 분할 타입의 일 예를 나타낸 도면으로서, 매크로 블록의 크기를 확장하고 하위 블록을 다양한 크기로 분할하여 사용함으로써 상술한 균질 영역 부호화나 움직임이 없는 영상의 부호화에 매우 효과적으로 적용될 수 있다.

    즉, 32×32 수퍼 매크로 블록 및 그 하위 분할 블록, 64×64 수퍼 매크로 블록 및 그 하위 분할 블록, 128×128 수퍼 매크로 블록 및 그 하위 분할 블록 등의 형태로 블록 크기를 확장할 수 있다.

    또한, 부호화기의 복잡도를 고려하여 블록 크기의 확장을 제한하거나 그 하위 블록의 블록 분할 타입의 수를 제한할 수 있다. 실제 부호화 시에 전술한 수학식 1에서와 같이 율-왜곡 비용을 최소화하는 블록 모드(Mode)를 선택하여 부호화할 수 있다.

    뿐만 아니라 크기가 증가된 수퍼 매크로 블록의 잔차 신호에 대해 변환 부호화(Transform Coding)를 적용할 경우 기존의 4×4, 8×8 또는 16×16 보다 큰 변환 커널(Kernel)을 사용함으로써 부호화 효율을 증가시킬 수 있다.

    또한, 화면간 예측 부호화에 부호화하고자 하는 블록에 대해 움직임 예측 모델을 선택적으로 적용하여 부호화 효율을 더욱 증가시킬 수 있다.

    이하에는 움직임 예측 모델에 대하여 구체적으로 설명하기로 한다.

    움직임 예측 모델을 보다 상세히 설명하기 위해 먼저, f c 와 f r 을 각각 부호화하고자 하는 현재 영상과 참조 영상으로 한다. (x,y)를 f c 의 부호화하고자 하는 현재 블록의 한 픽셀 좌표값을 나타낸다. 또한, 부호화하고자 하는 현재 프레임의 예측을

    라고 하면 참조 영상으로부터 하기의 수학식 4와 같이 정의할 수 있다.

    여기서, (u,v)는 참조 영상의 좌표값을 나타낸다. 상기의 수학식 4는 움직임 보상이 참조 영상의 좌표값을 현재 영상의 좌표값에 대응시키는 기하학적 변환(Geometric Transformation)을 의미하며 하기의 수학식 5와 같이 일반화하여 표현할 수 있다.

    여기서, g x 와 g y 는 공간 변환 함수를 나타낸다. 이러한 공간 변환을 텍스쳐 매핑(Texture Mapping) 또는 이미지 매핑(Image Mapping)으로 불린다.

    움직임 예측에 일반적으로 사용되는 블록 정합 방법인 2차원 병진 움직임 모형은 하기의 수학식 6과 같이 표현된다.

    그러나, 전술한 바와 같이 실제 2차원 투영 영상에는 병진 운동뿐만 아니라 줌(Zoom), 회전(Roll), 패닝(Panning), 붐(Boom), 틸팅(Tilting), 달리(Dolly) 등의 움직임이 복합적으로 혼재되어 있다.

    이러한 복잡한 움직임을 제대로 예측하기 위해서는 보다 정교한 움직임 모델이 필요하다. 하기의 수학식 7은 의사(擬似)(Affine) 움직임 모델, 수학식 8은 이중선형(Bilinear) 움직임 모델, 그리고 수학식 9는 투시(Perspective) 움직임 모델을 각각 나타낸다.

    여기서, a i 는 움직임 모델 파라미터를 나타낸다. 움직임 모델 기반의 예측 부호화를 수행할 경우, 상기 모델들 중 가장 율-왜곡 비용을 최소화하는 모델을 적용하여 부호화함으로써 부호화 효율을 증가시킬 수 있다.

    본 발명에서는 움직임 모델을 적용하는 단위 블록의 크기는 수퍼 매크로 블록과 그 하위 블록이 될 수 있으며 부호화 효율에 따라 최적의 움직임 모델을 선택할 수 있다. 한편, 본 발명의 일 실시예에 적용된 움직임 모델은 파라미터로 모형화됨이 바람직하다.

    한편, 본 발명의 일 실시예에서는 비디오 부호화에서의 화면간 예측 부호화 방법 위주로 설명하였지만, 이에 국한하지 않으며, 비디오 부호화에서의 화면내 예측 부호화에 적용시킬 수도 있다.

    즉, 화면내 예측 부호화를 수행할 경우, 먼저, 부호화 블록 단위를 16×16 매크로 블록보다 큰 크기로 이루어진 적어도 하나의 수퍼 매크로 블록으로 확장하고, 각 수퍼 매크로 블록을 다양한 크기의 하위 블록들로 분할하며, 각 수퍼 매크로 블록을 비롯한 분할된 하위 블록들에 대해 화면내 예측을 수행한 후, 그 결과를 비교하여 더 유리한 부호화 결과를 선택하여 최종 부호화한다.

    이때, 각 수퍼 매크로 블록을 비롯한 분할된 하위 블록들에 대해 화면내 예측 부호화는 방향성 예측을 수행하고, 율-왜곡 비용을 가장 적게 발생시키는 방향성 예측 모드를 최적의 최종 화면내 예측으로 하여 부호화함이 바람직하다.

    도 5는 본 발명의 일 실시예에 따른 비디오 부호화에서의 화면간 예측 부호화 방법을 설명하기 위한 전체적인 흐름도로서, 비디오 부호화에서 선택적 움직임 모델 기반의 화면간 예측 부호화 방법을 나타낸 것이다.

    도 5를 참조하면, 먼저, 부호화를 위한 화면(i) 순서를 초기화(i=0)한 후(S100), 부호화를 위해 순서에 맞게 화면(i)을 입력한다(S101).

    그런 다음, 상기 단계S101에서 입력된 화면(i)을 부호화 단위 블록(매크로 블록 또는 수퍼 매크로 블록)으로 분할한 후(S102), 현재의 화면(i)이 화면간 예측부호화를 수행할 것인지를 판단한다(S103).

    만약, 상기 단계S103에서의 판단 결과, 현재의 화면(i)이 화면간 예측이 아닌 경우 화면내 예측 부호화를 수행하고(S104), 그렇지 않고 현재의 화면(i)이 화면간 예측인 경우에는 한 화면(i)내에서 부호화되는 단위 블록(j)의 순서를 초기화(j=0)한다(S105).

    이후에, 부호화하고자 하는 단위 블록(j)에 움직임 예측을 수행하기 위해 적용할 움직임 모델을 하나 선택한 후 이에 대해 움직임 예측을 수행하고(S106), 그 결과를 이용하여 예측 부호화를 수행한 후(S107), 그 결과인 예측 부호화 결과 및 율-왜곡 비용값을 저장한다(S108).

    그런 다음, 사용 움직임 모델이 최종 움직임 모델인지를 판단하여(S109), 최종 움직임 모델이 아닐 경우 상기 단계S106으로 리턴되어 다음 적용할 움직임 모델을 선택하고 움직임 예측을 수행하며 이 과정을 반복한다.

    그렇지 않고, 상기 단계S109에서의 판단 결과, 사용 움직임 모델이 최종 움직임 모델이면 최적의 움직임 모델을 결정하고 해당 부호화 결과를 최종 선택한다(S110).

    이후에, 현재 단위 블록(j)이 화면(i)에서 최종 블록인지를 판단하여(S111), 최종 블록이 아니면 다음 부호화 단위 블록(j)을 입력하고 상기 단계S106으로 리턴한다.

    그렇지 않고, 상기 단계S111에서의 판단 결과, 현재 단위 블록(j)이 화면(i)에서 최종 블록이면, 현재 화면(i)이 최종 화면인지 판단하여(S112), 최종 화면이면 종료하고 그렇지 않으면, 상기 단계S101로 리턴되어 다음 화면을 입력하고 전술한 과정들을 수행한다.

    한편, 본 발명의 일 실시예에 따른 비디오 부호화에서의 화면간/화면내 예측 부호화 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

    예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다.

    또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

    전술한 본 발명에 따른 비디오 부호화에서의 화면간/화면내 예측 부호화 방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.

    도 1은 종래 기술의 H.264|AVC 부호화기에서 화면간 예측 부호화를 위한 16×16 매크로 블록 단위 블록의 분할 블록 타입을 나타낸 도면.

    도 2는 비디오 영상에서의 카메라의 움직임에 의한 움직임 생성 타입을 설명하기 위한 도면.

    도 3은 2차원 영상 공간에 투영된 움직임 모델을 설명하기 위한 개념도.

    도 4는 본 발명의 일 실시예에 적용된 16×16 매크로 블록 크기 이상의 수퍼 매트로 블록 및 블록 분할 타입의 일 예를 나타낸 도면.

    도 5는 본 발명의 일 실시예에 따른 비디오 부호화에서의 화면간 예측 부호화 방법을 설명하기 위한 전체적인 흐름도.

    高效检索全球专利

    专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

    我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

    申请试用

    分析报告

    专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

    申请试用

    QQ群二维码
    意见反馈