首页 / 专利库 / 广播 / 帧内预测 / Method, device, and program for determining intraframe encoding prediction mode, and its program recording medium

Method, device, and program for determining intraframe encoding prediction mode, and its program recording medium

阅读:508发布:2023-12-28

专利汇可以提供Method, device, and program for determining intraframe encoding prediction mode, and its program recording medium专利检索,专利查询,专利分析的服务。并且PROBLEM TO BE SOLVED: To determine a prediction mode for avoiding the occurrence of linear noise in a decoded image while suppressing an increase in a code amount in intraframe encoding.
SOLUTION: A prediction mode for generating a predictive image for each prediction mode and minimizing cost C (total value of header code amount and predictive residual R) in respective prediction modes and a prediction mode for minimizing the predictive residual R are found (S10 to S22). When the prediction mode for minimizing the cost C is a certain specific prediction mode (0 and 1 in Figure) (S23), it is determined by a line occurrence determination function L whether or not a predictive image has a line (S25 and S26). When the predictive image has a line, the prediction mode for minimizing the predictive residual R is determined for a prediction mode used to generate a predictive image (S27). In the other cases, the prediction mode for minimizing the cost C is determined (S24).
COPYRIGHT: (C)2005,JPO&NCIPI,下面是Method, device, and program for determining intraframe encoding prediction mode, and its program recording medium专利的具体信息内容。

  • フレーム内符号化方式において符号化対象ブロックに隣接する画素から予測方向に応じた予測画像を生成する予測モードを含む複数の予測モードの中から,予測画像の生成に用いる予測モードを,発生符号量に基づいて決定する予測モード決定方法であって,
    前記各予測モードごとに,符号化対象ブロックの予測画像を生成する過程と,
    前記符号化対象ブロックの原画像と前記予測画像との差分の予測残差とヘッダ符号量とを算出する過程と,
    前記予測残差と前記ヘッダ符号量との和が最小となる予測モードを検出する過程と,
    前記予測残差が最小となる予測モードを検出する過程と,
    前記予測画像の生成に使用する画素をもとに,前記予測残差とヘッダ符号量との和が最小となる予測モードと,前記予測残差が最小となる予測モードとのいずれかを,前記符号化対象ブロックの予測画像の生成に用いる予測モードとして決定する過程とを有する ことを特徴とするフレーム内符号化予測モード決定方法。
  • 請求項1に記載のフレーム内符号化予測モード決定方法において,
    前記予測残差とヘッダ符号量との和が最小となる予測モードが,隣接する画素から予測方向に応じた予測画像を生成する所定のいくつかの予測モードである場合に,前記予測画像の生成に使用する画素を用いて前記予測画像に線が発生するか否かを判定する過程を有し,
    前記予測画像に線が発生しないと判定された場合に,前記予測残差とヘッダ符号量との和が最小となる予測モードを前記符号化対象ブロックの予測画像の生成に用いる予測モードとして決定し,前記予測画像に線が発生すると判定された場合に,前記予測残差が最小となる予測モードを前記符号化対象ブロックの予測画像の生成に用いる予測モードとして決定する ことを特徴とするフレーム内符号化予測モード決定方法。
  • 請求項2に記載のフレーム内符号化予測モード決定方法において,
    前記隣接する画素から予測方向に応じた予測画像を生成する所定のいくつかの予測モードは,他の予測モードのときよりも相対的にヘッダ符号量が小さくなる予め定められた特定の予測モードであり,
    前記予測残差とヘッダ符号量との和が最小となる予測モードが,これらの特定の予測モードの場合にのみ前記予測画像に線が発生するか否かを判定し,これらの特定の予測モード以外の場合には,前記判定を行わないで前記予測残差とヘッダ符号量との和が最小となる予測モードを前記符号化対象ブロックの予測画像の生成に用いる予測モードとして決定する ことを特徴とするフレーム内符号化予測モード決定方法。
  • 請求項2または請求項3に記載のフレーム内符号化予測モード決定方法において,
    前記予測画像に線が発生するか否かを判定する過程では,前記予測画像の生成に使用する画素の分散を計算し,計算した値と所定の閾値とを比較することにより判定する ことを特徴とするフレーム内符号化予測モード決定方法。
  • 請求項2または請求項3に記載のフレーム内符号化予測モード決定方法において,
    前記予測画像に線が発生するか否かを判定する過程では,前記予測画像の生成に使用する各画素とそれらの画素の平均値との差分の絶対値の和または差分の二乗値の和を計算し,計算した値と所定の閾値とを比較することにより判定する ことを特徴とするフレーム内符号化予測モード決定方法。
  • フレーム内符号化方式において符号化対象ブロックに隣接する画素から予測方向に応じた予測画像を生成する予測モードを含む複数の予測モードの中から,予測画像の生成に用いる予測モードを,発生符号量に基づいて決定する予測モード決定装置であって,
    前記各予測モードごとに,符号化対象ブロックの予測画像を生成する予測画像生成手段と,
    前記符号化対象ブロックの原画像と前記予測画像との差分の予測残差を算出する予測残差計算手段と,
    前記符号化対象ブロックのヘッダ符号量を算出するヘッダ符号量計算手段と,
    前記予測残差と前記ヘッダ符号量との和が最小となる予測モードを検出するコスト最小値判定手段と,
    前記予測残差が最小となる予測モードを検出する予測残差最小値判定手段と,
    前記予測画像の生成に使用する画素をもとに,前記予測残差とヘッダ符号量との和が最小となる予測モードと,前記予測残差が最小となる予測モードとのいずれかを,前記符号化対象ブロックの予測画像の生成に用いる予測モードとして決定する予測モード決定手段とを備える ことを特徴とするフレーム内符号化予測モード決定装置。
  • 請求項6に記載のフレーム内符号化予測モード決定装置において,
    前記予測残差とヘッダ符号量との和が最小となる予測モードが,隣接する画素から予測方向に応じた予測画像を生成する所定のいくつかの予測モードである場合に,前記予測画像の生成に使用する画素を用いて前記予測画像に線が発生するか否かを判定する線発生判定手段を備え,
    前記予測モード決定手段は,前記予測画像に線が発生しないと判定された場合に,前記予測残差とヘッダ符号量との和が最小となる予測モードを前記符号化対象ブロックの予測画像の生成に用いる予測モードとして決定し,前記予測画像に線が発生すると判定された場合に,前記予測残差が最小となる予測モードを前記符号化対象ブロックの予測画像の生成に用いる予測モードとして決定する ことを特徴とするフレーム内符号化予測モード決定装置。
  • 請求項7に記載のフレーム内符号化予測モード決定装置において,
    前記隣接する画素から予測方向に応じた予測画像を生成する所定のいくつかの予測モードは,他の予測モードのときよりも相対的にヘッダ符号量が小さくなる予め定められた特定の予測モードであり,
    前記線発生判定手段は,前記予測残差とヘッダ符号量との和が最小となる予測モードが,前記特定の予測モードの場合にのみ前記予測画像に線が発生するか否かを判定して判定結果を前記予測モード決定手段に通知し,
    前記予測モード決定手段は,前記判定結果に応じて予測モードの切り替えを行い,前記特定の予測モード以外の場合には,前記予測残差とヘッダ符号量との和が最小となる予測モードを前記符号化対象ブロックの予測画像の生成に用いる予測モードとして決定する ことを特徴とするフレーム内符号化予測モード決定装置。
  • 請求項7または請求項8に記載のフレーム内符号化予測モード決定装置において,
    前記線発生判定手段は,前記予測画像の生成に使用する画素の分散を計算し,計算した値と所定の閾値とを比較することにより判定する ことを特徴とするフレーム内符号化予測モード決定装置。
  • 請求項7または請求項8に記載のフレーム内符号化予測モード決定装置において,
    前記線発生判定手段は,前記予測画像の生成に使用する各画素とそれらの画素の平均値との差分の絶対値の和または差分の二乗値の和を計算し,計算した値と所定の閾値とを比較することにより判定する ことを特徴とするフレーム内符号化予測モード決定装置。
  • 請求項1から請求項5までのいずれか1項に記載のフレーム内符号化予測モード決定方法をコンピュータに実行させるためのフレーム内符号化予測モード決定プログラム。
  • 請求項1から請求項5までのいずれか1項に記載のフレーム内符号化予測モード決定方法をコンピュータに実行させるためのプログラムを,コンピュータ読み取り可能な記録媒体に記録した ことを特徴とするフレーム内符号化予測モード決定プログラム記録媒体。
  • 说明书全文

    本発明は,フレーム内符号化において予測モードを決定する技術に関するものであり,特に,ディジタル画像を符号化する場合に発生する線状のノイズの発生を回避することができるようにしたフレーム内符号化予測モード決定方法に関するものである。

    映像符号化方式の一種であるH. 264のフレーム内符号化では,各フレームを4×4サイズもしくは16×16サイズのブロックに分割し,そのブロックごとに符号化処理を施す。 その際,符号化しようとするブロックに隣接する画素を用いて予測画像を生成し,その予測画像と原画像との差分値を変換・量子化することで,圧縮効率の向上を図っている(例えば,非特許文献1参照)。 予測画像がそのブロックの原画像に近ければ近いほど,その差分値を変換・量子化した後の符号量を小さくすることができる。

    予測画像の作成の際には,4×4サイズのブロックごとに作成する方法と,16×16サイズのブロックごとに作成する方法の2種類がある。 4×4サイズの場合には9種類の予測モードがあり,16×16サイズの場合には4種類の予測モードがある。 ここでは,4×4サイズでの予測画像の例について,図3を用いて説明する。

    図3は,4×4サイズの予測モードの例を示す図である。 図3(A)は,予測モード0(Vertical)の予測画像を示し,図3(B)は,予測モード1(Horizontal)の予測画像を示している。 図3において,上の4つの正方形は符号化対象とする4×4ブロックの上に隣接する4画素を表し,左の4つの正方形は符号化対象とする4×4ブロックの左に隣接する4画素を表し,図中央の4×4サイズのブロックはそれらの画素をもとに生成された各予測モードの予測画像を表している。

    予測モード0では,符号化対象となる4×4ブロックの上に隣接する4つの画素を縦に並べたものを予測画像とする(図3(A)参照)。 また,予測モード1では,符号化対象となる4×4ブロックの左に隣接する4つの画素を横に並べたものを予測画像とする(図3(B)参照)。

    4×4サイズの場合には,予測画像の生成方法が異なる9種類の予測モードがあり,ブロックごとに,その画像に最も適した予測モードを選択していくことになる。 そして,原画像とその予測モードの予測画像との差分値を変換・量子化し,モード番号の情報をヘッダとして付加して符号化処理を行っていく。

    図4は,フレーム内符号化における予測モード決定処理のフローチャートである。 処理が開始されると,まず,モード番号nを0に,最小コストC minを十分大きな値に設定する(ステップS100)。 そして,以下の処理(ステップS101〜S107)を,モード番号nが最大値(例えば,H.264のイントラ4×4予測では8)になるまで,nの値を1ずつ増やしながら繰り返し行う(ステップS108,S109)。

    まず,モード番号nの予測画像を生成する(ステップS101)。 その後,量子化ステップサイズと隣接ブロックの予測モードからモード番号nのヘッダの符号量を推定する(ステップS102)。 また,原画像と生成した予測画像とから予測残差を求める(ステップS103)。 求めたヘッダの符号量と予測残差とを合計してモード番号nのコストCを求め(ステップS104),そのコストCと最小コストC minとの比較を行う(ステップS105)。

    コストCが最小コストC minに等しいかそれよりも大きければ,ステップS108へ進む。 コストCが最小コストC minよりも小さければ,最小コストC minの値をコストCに書き換える(ステップS106)。 また,最適モード番号Nをモード番号nとし,この最適モード番号Nの値を保持する(ステップS107)。

    その後,モード番号nの値が最大値かどうかを判断し(ステップS108),最大値でなければモード番号nの値を1増やし(ステップS109),ステップS101以降の処理を繰り返す。

    ステップS108においてモード番号nが最大値であるならば,そのときに保持している最適モード番号Nを出する(ステップS110)。

    このように予測モードを決定することで,符号量が最も少なくなると期待される予測モードを選択することができる(例えば,非特許文献2参照)。

    図5は,上記の処理を実現するためのフレーム内符号化における予測モード決定装置の構成例を示す図である。 図5の例の予測モード決定装置100は,予測画像生成部101,ヘッダ符号量計算部102,減算器103,予測残差計算部104,加算器105,最小値判定部106,スイッチ107,制御部108から構成されている。

    予測画像生成部101は,制御部108から送られてくるモード番号nと近隣画素の画素値とから,そのモード番号nに応じた予測画像を生成して減算器103に出力する。

    ヘッダ符号量計算部102は,量子化ステップサイズと,隣接ブロックの予測モードと,制御部108から送られてくるモード番号nとを入力とし,その場合のヘッダ符号量を推定して加算器105に出力する。

    減算器103は,原画像と予測画像との差分値(差分画像)を計算し,それを予測残差計算部104に送る。

    予測残差計算部104は,減算器103から送られてくる差分画像から予測残差を計算し,それを加算器105に出力する。

    加算器105は,予測残差計算部104から送られてくる予測残差と,ヘッダ符号量計算部102から送られてくるヘッダ符号量とを加算してコストCを求め,それを最小値判定部106に送る。

    最小値判定部106は,その時点での最小コストC minと,そのときのモード番号の値(最適モード番号N)とを保持している。 加算器105からコストCが送られてくると,現在保持している最小コストC minとの比較を行う。 送られてきたコストCが保持している最小コストC minよりも小さければ,最小コストC minの値を入力されたコストCの値に更新する。 また同時に,保持している最適モード番号Nを,制御部108から現在与えられているモード番号nに更新し,その最適モード番号Nをスイッチ107に出力する。 また,制御部108からリセット信号が送られてくると,保持している最小コストC minの値を十分大きな値に設定する。

    スイッチ107は,制御部108から送られてくるスイッチ制御信号により,ON/OFFを切り替える。 予測モードの推定中はOFFになっているが,予測モードが決定するとスイッチ制御信号によりONに切り替え,予測モードを出力する。

    制御部108は,予測モード決定開始信号や最小値判定終了信号が送られてくると,それぞれの場合に応じてモード番号nやスイッチ制御信号を送信する。

    予測モード決定開始信号を受信すると,まず,リセット信号を最小値判定部106に送信する。 また,スイッチ107にスイッチ制御信号を送信し,スイッチ107をOFFにする。 次に,制御部108で保持しているモード番号nを0に設定し,予測画像生成部101とヘッダ符号量計算部102と最小値判定部106とに送信する。

    その後,最小値判定部106から最小値判定終了信号を受信するたびにモード番号nを1つずつ増やし,予測画像生成部101とヘッダ符号量計算部102と最小値判定部106とに送信する。 最小値判定終了信号を受信したときにモード番号nが最大値である場合には,スイッチ107にスイッチ制御信号を送信し,スイッチをONにする。

    このように,図5に示すような構成の予測モード決定装置100を用いることにより,図4のフローチャートに示すような処理に従って,フレーム内符号化における予測モードの決定を行うことができる。
    Thomas Wiegand,Gary J.Sullivan, Gisle Bjontegaard, Ajay Luthra," Overview of the H.264/AVC Video Coding Standard ", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEM FOR VIDEO TECHNOLOGY, pp.1-19 (July 2003) 高木幸一,滝嶋康弘,中島康之," H.264|MPEG−4 AVCのRD特性の検証 ",信学会総合大会,D-11-3,pp.3(2003)

    以上のように,従来のフレーム内符号化における予測モードの決定では,ヘッダ符号量と予測残差との和をコストとして全予測モードについて計算し,そのコストが最小となる予測モードを選択していた。 しかし,このようにヘッダ符号量を考慮に入れて予測モードを決定した場合,符号化効率は高いものの,ビットレートが低いときに復号画像に線状のノイズが発生することがあるという問題があった。

    ビットレートが低いときには予測残差に割り当てられるビット量が少なくなり,必然的にヘッダ符号量の占める割合が高くなる。 このため,フレーム内符号化における予測モードの決定にヘッダ符号量と予測残差の和を用いた場合,ヘッダ符号量が小さいモードが選ばれる頻度が高くなり,必ずしも予測残差が最小のモードが選ばれなくなる。

    例えば,H. 264映像符号化法のイントラ4×4予測では,符号化対象ブロックの上と左に隣接するブロックの予測モードのうち,モード番号の小さい方を most probable mode と呼び,その予測モードにするとヘッダの符号量が小さくなる。 モード番号の小さい方を most probable mode とする性質上,予測モード0や予測モード1が most probable mode となる確率が高く,ビットレートが低い場合にはこれらの予測モードの選択率が高くなる。

    近隣の画素を予測方向に並べて予測画像を作る場合には,その近隣の画素の中に他の画素とは明らかに値の違う画素が存在すると,予測画像中に予測方向に沿った線が発生してしまう。 このように,原画像には存在しない線が予測画像に発生する場合があるが,ビットレートが低い場合には予測残差に十分なビット量が割り当てられないため,復号画像にも線状のノイズとなって現れてしまう。

    以上のことから,低ビットレート時には,原画像に存在しない線が予測画像に混入する確率が高くなり,予測残差でこの線が消せないため,復号画像にも線状のノイズが発生してしまうという問題があった。

    本発明の目的は,符号量の増加を抑制しながら,線状のノイズの発生を回避することができるフレーム内符号化における予測モード決定技術を提供することである。

    本発明は,上記課題を解決するために,上記の従来法を用いたときにヘッダ符号量が小さくなりやすい特定の予測モード(例えば,H.264のイントラ4×4予測では予測モード0または予測モード1)が予測モードとして選択された場合に,その予測画像の生成に使用されたp個の画素(例えば,H.264のイントラ4×4予測では,予測モード0ならばブロックの上に隣接する4つの画素,予測モード1ならばブロックの左に隣接する4つの画素)の画素値x 1 ,x 2 ,…,x pを,所定の線発生判定関数L=f(x 1 ,x 2 ,…,x p )に代入し,この関数の出力値Lがある閾値Thよりも大きい場合には,予測残差が最小となる予測モードを予測モードとして選択するようにする。

    ここで,線発生判定関数L=f(x 1 ,x 2 ,…,x p )としては,例えば,画素値x 1 ,x 2 ,…,x pの分散を計算する関数を用いることができる。 他の例としては,例えば,画素値x 1 ,x 2 ,…,x pの平均値mを計算し,各画素値x 1 ,x 2 ,…,x pと平均値mとの差分の絶対値の和を算出する関数,または差分の二乗値の和を算出する関数を,線発生判定関数L=f(x 1 ,x 2 ,…,x p )として用いることもできる。

    また,本発明に係るフレーム内符号化予測モード決定装置は,上記課題を達成するために,予測画像の生成に使用されたp個の画素の画素値を用いて線発生判定関数L=f(x 1 ,x 2 ,…,x p )を計算し,その計算結果と所定の閾値Thとを比較する手段と,予測残差が最小となる予測モードを求める手段と,ヘッダ符号量を加味して求めた予測モードと,予測残差のみから求めた予測モードとを,前記比較結果に基づいて切り替える手段とを備えることを特徴とする。

    以上の各手段による処理は,コンピュータとソフトウェアプログラムとによっても実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも,ネットワークを通して提供することも可能である。

    本発明の作用は以下のとおりである。 予測画像に線状のノイズが含まれる予測モードは予測残差が大きくなる。 本発明では,予測残差が最小になるものを予測モードとして選択することで,予測画像に線状ノイズが含まれない予測モードが自動的に選ばれることになり,それによって復号画像に線状のノイズが発生するのを回避することが可能になる。

    しかし,低ビットレート時にはヘッダの符号量が無視できないため,すべての4×4ブロックの予測モードを予測残差が最小のものとして決定してしまうと,上述の従来法を用いた場合の符号化結果と比較して符号量が増加してしまう。

    そこで,本発明では,ヘッダ符号量が小さくなりやすい特定のモードが選択された場合以外には,上記の従来法で決定された予測モードを採用する。 また,従来法で特定の予測モードが選択された場合には,線発生判定関数を用いて予測画像での線の発生を判定し,予測画像に線が発生しないと判定されたブロックについても従来法で決定された予測モードを採用することで,符号量の増加を最小限に抑えている。 予測画像に入った線がノイズではない場合には予測残差が小さいため,予測残差最小の予測モードを求める際に正しく評価される。

    本発明では,線発生判定関数の引数として予測画像の生成に使う画素の画素値のみを与えるが,予測画像はこれらの画素を並べて生成されているため,これで必要十分な情報量であり,予測画像に線が入るかどうかを完全に判定することが可能となる。

    このように,少ない画素の情報から線状ノイズの発生の有無を判断して回避することが可能となり,本発明の目的である,符号量の増加を抑制しながら線状ノイズの発生を回避することが可能となる。

    本発明によれば,予測方向に応じた予測画像を生成して利用するフレーム内符号化における予測モードの決定において,符号量の増加を抑制しながら,線状のノイズが発生する予測モードの選択を回避することができ,予測画像に起因する線状ノイズの発生を抑えることができるという効果が得られる。

    以下,本発明の実施の形態について,図を用いて説明する。 図1は,本発明のフレーム内符号化における予測モード決定処理のフローチャートである。 図1のフローチャートは,本発明をH. 264のイントラ4×4予測の予測モードの決定に適用した場合のフローチャートである。 なお,前述の特定のモード番号は,ここでは0と1に設定した。

    処理が開始されると,まず,モード番号nを0に,最小コストC minと最小予測残差R minとを十分大きな値に設定する(ステップS10)。 そして,以下の処理(ステップS11〜S20)を,モード番号nが最大値(例えば,H.264のイントラ4×4の予測では8)になるまで,nの値を1ずつ増やしながら繰り返し行う(ステップS21,S22)。

    まず,モード番号nの予測画像を生成する(ステップS11)。 その後,量子化ステップサイズと隣接ブロックの予測モードからモード番号nのヘッダの符号量を推定する(ステップS12)。 また,生成した予測画像と原画像とから予測残差Rを求める(ステップS13)。 求めたヘッダの符号量と予測残差Rとを合計してモード番号nのコストCを求め(ステップS14),そのコストCと最小コストC minとの比較を行う(ステップS15)。

    コストCが最小コストC minに等しいかそれよりも大きければ,ステップS18へ進む。 コストCが最小コストC minよりも小さければ,最小コストC minの値をコストCに書き換える(ステップS16)。 またこのとき,最適モード番号N Cをモード番号nとし,この最適モード番号N Cの値を保持する(ステップS17)。

    次に,予測残差Rと最小予測残差R minとの比較を行い(ステップS18),予測残差Rが最小予測残差R minに等しいかそれよりも大きければ,ステップS21へ進む。 予測残差Rが最小予測残差R minよりも小さければ,最小予測残差R minの値を予測残差Rに書き換える(ステップS19)。 またこのときの,最適モード番号N Rをモード番号nとし,この最適モード番号N Rの値を保持する(ステップS20)。

    その後,モード番号nの値が最大値かどうかを判断し(ステップS21),最大値でなければモード番号nの値を1増やして(ステップS22),上記のステップS11以降の処理を繰り返す。

    ステップS21においてモード番号nが最大値であるならば,最適モード番号N Cが0または1であるかの判定を行い(ステップS23),最適モード番号N Cが0でも1でもない場合には,そのときに保持している最適モード番号N Cを,現在の符号化対象ブロックの予測画像の生成に用いる予測モードの番号として出力する(ステップS24)。

    ステップS23において最適モード番号N Cが0または1である場合には,その予測モードの予測画像の生成に使用される4つの画素の画素値x 1 ,x 2 ,x 3 ,x 4を,所定の線発生判定関数L=f(x 1 ,x 2 ,x 3 ,x 4 )に代入してLを求める(ステップS25)。 線発生判定関数により算出したLと,あらかじめ定められた閾値Thとを比較し(ステップS26),L>Thならば,そのときに保持している最適モード番号N Rを出力する(ステップS27)。 また,L>Thでなければ,そのときに保持している最適モード番号N Cを出力する(ステップS24)。

    以上のようなフレーム内符号化における予測モード決定処理により,符号量の増加を抑制しながらも,線状のノイズが混入する予測モードを回避することができる。

    図2は,図1の予測モード決定処理を実現するための予測モード決定装置1の構成例を示す。 予測モード決定装置1は,予測画像生成部10,ヘッダ符号量計算部11,減算器12,予測残差計算部13,加算器14,コスト最小値判定部15,予測残差最小値判定部16,線発生判定部17,スイッチ18,制御部19から構成されている。

    予測画像生成部10は,制御部19から送られてくるモード番号nと,近隣画素の画素値とから,そのモード番号nに応じた予測画像を生成して減算器12に出力する。

    ヘッダ符号量計算部11は,量子化ステップサイズと,隣接ブロックの予測モードと,制御部19から送られてくるモード番号nとを入力とし,その場合のヘッダ符号量を推定して加算器14に出力する。

    減算器12は,原画像と予測画像との差分値(差分画像)を計算し,それを予測残差計算部13に送る。

    予測残差計算部13は,減算器12から送られてくる差分画像から予測残差Rを計算し,それを加算器14と予測残差最小値判定部16とに送信する。

    加算器14は,予測残差計算部13から送られてくる予測残差Rと,ヘッダ符号量計算部11から送られてくるヘッダ符号量とを加算してコストCを求め,それをコスト最小値判定部15に送る。

    コスト最小値判定部15は,その時点での最小コストC minと,そのときのモード番号の値(最適モード番号N C )とを保持している。 加算器14からコストCが送られてくると,現在保持している最小コストC minとの比較を行う。 送られてきたコストCが保持している最小コストC minよりも小さければ,最小コストC minの値を入力されたコストCの値に更新する。 また同時に,保持している最適モード番号N Cを,制御部19から現在与えられているモード番号nに更新し,その最適モード番号N Cをスイッチ18の端子aと線発生判定部17とに送信する。 また,制御部19からリセット信号が送られてくると,保持している最小コストC minの値を十分大きな値に設定する。

    予測残差最小値判定部16は,その時点での最小予測残差R minと,そのときのモード番号の値(最適モード番号N R )とを保持している。 予測残差Rが送られてくると,現在保持している最小予測残差R minとの比較を行う。 送られてきた予測残差Rが保持している最小予測残差R minよりも小さければ,最小予測残差R minの値を入力された予測残差Rの値に更新する。 また同時に,保持している最適モード番号N Rを,制御部19から現在与えられているモード番号nに更新し,その最適モード番号N Rをスイッチ18の端子bに送信する。 また,制御部19からリセット信号が送られてくると,保持している最小予測残差R minの値を十分大きなものに設定する。

    線発生判定部17は,所定の線発生判定関数L=f(x 1 ,x 2 ,x 3 ,x 4 )に基づくLを計算し,そのLと所定の閾値Thとを比較し,スイッチ18を切り替える制御を次のように行う。 まず,線発生判定部17は,制御部19から初期化信号が送られてくると,スイッチ制御信号をスイッチ18に送り,スイッチ18をOFFに設定する。 制御部19から判定開始信号が送られてくると,以下に述べる判定を行う。

    線発生判定部17は,コスト最小値判定部15から送られてくる最適モード番号N Cが0でも1でもない場合には,スイッチ制御信号をスイッチ18に送り,スイッチ18を端子aに接続する。 最適モード番号N Cが0または1の場合には,その予測モードの予測画像生成に使用される4つの画素値x 1 ,x 2 ,x 3 ,x 4を用いて線発生判定関数L=f(x 1 ,x 2 ,x 3 ,x 4 )を計算する。 その結果とあらかじめ設定されている閾値Thとを比較し,L>Thならば,スイッチ制御信号をスイッチ18に送り,スイッチ18を端子bに接続する。 L≦Thならば,スイッチ制御信号をスイッチ18に送り,スイッチ18を端子aに接続する。

    スイッチ18は,線発生判定部17から送信されるスイッチ制御信号により,OFFと端子a接続と端子b接続とを切り替える。

    制御部19は,予測モード決定開始信号と2つの最小値判定終了信号が送られてくると,それぞれの場合に応じてモード番号nの送信制御と,線発生判定部17の制御(判定部制御信号の送信)を行う。

    すなわち,制御部19は,予測モード決定開始信号を受信すると,線発生判定部17に初期化信号を送り,線発生判定部17を介してスイッチ18をOFFに設定する。 また,コスト最小値判定部15と予測残差最小値判定部16にリセット信号を送信する。 次に,制御部19で保持しているモード番号nを0に設定し,予測画像生成部10とヘッダ符号量計算部11とコスト最小値判定部15と予測残差最小値判定部16とに送信する。

    その後,制御部19は,コスト最小値判定部15と予測残差最小値判定部16との双方から最小値判定終了信号を受信するたびにモード番号nを1つずつ増やし,予測画像生成部10とヘッダ符号量計算部11とコスト最小値判定部15と予測残差最小値判定部16とに送信する。 コスト最小値判定部15と予測残差最小値判定部16との双方から最小値判定終了信号を受信したときにモード番号nが最大値である場合には,線発生判定部17に判定開始信号を送信する。

    以上のような構成の予測モード決定装置1を用いることにより,図1のフローチャートに示す処理を実現し,フレーム内符号化における予測モードを決定することができる。

    次に,線発生判定関数L=f(x 1 ,x 2 ,x 3 ,x 4 )の具体的な関数形状の例について説明する。

    まず,線発生判定関数に,分散を用いた場合について説明する。 このとき,線発生判定関数は,分散の定義式から,以下の式(1)のように書くことができる。

    f(x 1 ,x 2 ,x 3 ,x 4
    =(x 1 2 +x 2 2 +x 3 2 +x 4 2 )/4
    −(x 1 +x 2 +x 3 +x 42 /16 (1)
    この場合の閾値Thの設定であるが,例えば,4つの画素のうち3つが同じ値で残りの1つがそれらよりも5だけ値が違う場合について考える。 このとき,予測画像には他よりも値が5だけ違う線が入っていることになる。 このときの分散は,上の式(1)から“4.6875”と求められる。 したがって,Th=4.68と置けば,3つが同じ値で残りの一つだけが他より5以上違う場合について,すべて検出することができる。

    次に,線発生判定関数に,分散の近似式を用いた場合について説明する。 このとき,線発生判定関数は,以下の式(2)ように書くことができる。

    f(x 1 ,x 2 ,x 3 ,x 4
    =|x 1 −m|+|x 2 −m|+|x 3 −m|+|x 4 −m| (2)
    (ただし,mは4画素の平均値m=(x 1 +x 2 +x 3 +x 4 )/4)
    この場合の閾値Thの設定であるが,分散のときと同じ場合を考えると,Th=7.5と置けば,3つが同じで残りの1つだけが他より5以上違う場合について検出することができる。 式(2)のように,各画素とそれらの平均値との差分の絶対値を計算するのではなく,差分の二乗を計算しても,閾値Thは異なることになるが同様の結果を得ることができる。

    次に,線発生判定関数に,以下の式(3)を用いた場合について説明する。

    f(x 1 ,x 2 ,x 3 ,x 4
    =Max(|3x 1 −(x 2 +x 3 +x 4 )|,
    |3x 2 −(x 1 +x 3 +x 4 )|,
    |3x 3 −(x 1 +x 2 +x 4 )|,
    |3x 4 −(x 1 +x 2 +x 3 )|) (3)
    (ただし,Max()は引数のうち,値が最も大きいものを返す関数である)
    この場合の閾値Thの設定であるが,Th=15と置けば,3つが同じで残りの1つだけが他より5以上違う場合について検出することができる。

    なお,以上説明した例は,本発明の実施の形態の一例であり,本発明はこれに限定されるものではない。

    本発明のフレーム内符号化における予測モード決定処理のフローチャートである。

    本発明のフレーム内符号化における予測モード決定装置の構成例を示す図である。

    4×4サイズの予測モードの例を示す図である。

    従来のフレーム内符号化における予測モード決定処理のフローチャートである。

    従来のフレーム内符号化における予測モード決定装置の構成例を示す図である。

    符号の説明

    1 予測モード決定装置 10 予測画像生成部 11 ヘッダ符号量計算部 12 減算器 13 予測残差計算部 14 加算器 15 コスト最小値判定部 16 予測残差最小値判定部 17 線発生判定部 18 スイッチ 19 制御部

    高效检索全球专利

    专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

    我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

    申请试用

    分析报告

    专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

    申请试用

    QQ群二维码
    意见反馈