本発明は、ブロックベースの予測を行うことで画像を符号化する場合に、演算量を削減するブロック歪み低減処理を実現する画像符号化方法およびその装置と、その画像符号化技術により生成された符号化情報を復号する場合に、演算量を削減するブロック歪み低減処理を実現する画像復号方法およびその装置と、その画像符号化方法の実現に用いられる画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体と、その画像復号方法の実現に用いられる画像復号プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

Ｈ． ２６４に代表される動画像符号化方式では、ブロックベースの動き補償と離散コサイン変換（ＤＣＴ）の組合せによる符号化手法が用いられている。 これは、動き補償により時間方向の冗長性を除去し、ＤＣＴにより空間方向の冗長性を除去する狙いがある。

しかしながら、ブロックベースの方式であるため、原理上、ブロック歪みの発生を内在する。 つまり、低レートにおいて、量子化ステップ幅が大きくなると、隣接ブロックとの不連続性が大きくなり、ブロック境界においてブロック歪みが顕在化する。 このため、ブロック歪みの低減が復号画像の画質向上には不可欠となる。

そこで、ブロック境界におけるブロック歪みを低減するためにデブロッキングフィルタが利用される。

Ｈ． ２６４のデブロッキング処理（例えば、非特許文献１参照）では、まず、空間的な位置（マクロブロック境界か否か）、符号化モード（イントラ符号化されたか否か）、直交変換係数の有無、参照フレームの枚数・動きベクトルの差異等により、フィルタの強度を５通りに設定する。 この強度を表すのはＢｓ値と呼ばれるパラメータであり、０，１，２，３，４のいずれかの値をとる。 さらに、量子化パラメータの大小に応じて、デブロッキングフィルタの形状が設定される。

デブロッキングフィルタ処理は、４×４のブロック単位で行われる。 処理の対象となる画素は、ブロック境界に位置する１２画素であり、各画素位置に応じてフィルタリング処理が行われる。 例えば、図９に示す網掛けで示した四角の位置の画素値を変数ｐ _k ，ｑ _k （ｋ＝０，１，２，３）に格納した場合、以下の処理となる。

（１）Ｂｓ＝１，２，３の場合 （１−１）ｐ ₀ ，ｑ ₀に対して、４タップフィルタに基づくフィルタリングが施される。

ｐ ₀ '＝ｐ ₀ ＋Δ ₀・・・ 式（１）
ｑ ₀ '＝ｑ ₀ −Δ ₀・・・ 式（２）
ここで、Δ ₀は以下の通りである。

Δ ₀ ＝Ｃｌｉｐ［−ｔｃ，ｔｃ，
｛（ｑ ₀ −ｐ ₀ ）×４＋（ｐ ₁ −ｑ ₁ ）＋４｝／８］・・・ 式（３）
なお、Ｃｌｉｐ［ａ，ｂ，ｃ］は、ｃの範囲がａ≦ｃ≦ｂとなるように次式のクリップ処理を行うことを意味する。

Ｃｌｉｐ［ａ，ｂ，ｃ］＝ｃ （ａ≦ｃ≦ｂ）
Ｃｌｉｐ［ａ，ｂ，ｃ］＝ａ （ｃ＜ａ）
Ｃｌｉｐ［ａ，ｂ，ｃ］＝ｂ （ｂ＜ｃ） ・・・ 式（４）
また、ｔｃは、｜ｐ ₂ −ｐ ₀ ｜、｜ｑ ₂ −ｑ ₀ ｜、および閾値βから定められる。

（１−２）ｐ ₁ ，ｑ ₁に対して、以下のフィルタリングが施される。

（１−２−ａ１）｜ｐ ₂ −ｐ ₀ ｜＜βの場合：
ｐ ₁ '＝ｐ ₁ ＋Δ ₁ ^(p)・・・ 式（５）
ここで、Δ ₁ ^(p)は以下の通りである。 また、ｔｃ ₀はＢｓ値、量子化パラメータＱＰにより定まる。

Δ ₁ ^(p) ＝Ｃｌｉｐ［−ｔｃ ₀ ，ｔｃ ₀ ，
ｐ ₂ ＋｛（ｐ ₀ ＋ｑ ₀ ＋１）−２ｐ ₁ ｝／２］ ・・・ 式（６）
（１−２−ａ２）それ以外の場合：
ｐ ₁ '＝ｐ ₁
（１−２−ｂ１）｜ｑ ₂ −ｑ ₀ ｜＜βの場合：
ｑ ₁ '＝ｑ ₁ ＋Δ ₁ ^(q)・・・ 式（７）
ここで、Δ ₁ ^(q)は以下の通りである。

Δ ₁ ^(q) ＝Ｃｌｉｐ［−ｔｃ ₀ ，ｔｃ ₀ ，
ｑ ₂ ＋｛（ｐ ₀ ＋ｑ ₀ ＋１）−２ｑ ₁ ｝／２］・・・ 式（８）
（１−２−ｂ２）それ以外の場合：
ｑ ₁ '＝ｑ ₁
（２）Ｂｓ＝４の場合 輝度成分に対して、以下のフィルタリングが施される。 なお、ａ _p ＝｜ｐ ₂ −ｐ ₀ ｜とする。

（２−１）ａ _p ＜β、かつ、｜ｐ ₀ −ｑ ₀ ｜＜α／４＋２の場合：
ｐ ₀ '＝（ｐ ₂ ＋２ｐ ₁ ＋２ｐ ₀ ＋２ｑ ₀ ＋ｑ ₁ ＋４）／８
ｐ ₁ '＝（ｐ ₂ ＋ｐ ₁ ＋ｐ ₀ ＋ｑ ₀ ＋２）／４
ｐ ₂ '＝（２ｐ ₃ ＋３ｐ ₂ ＋ｐ ₁ ＋ｐ ₀ ＋ｑ ₀ ＋４）／８ ・・・ 式（９）
（２−２）それ以外の場合：
ｐ ₀ '＝（２ｐ ₁ ＋ｐ ₀ ＋ｑ ₁ ＋２）／４
ｐ ₁ '＝ｐ ₁
ｐ ₂ '＝ｐ ₂・・・ 式（１０）
Adaptive deblocking filter, P.List，et.al., IEEE Transactions on Circuits and Systems for Video Technology, Volume 13, Issue 7, July 2003, pp.614-619

前述したように、Ｈ． ２６４において用いられるデブロックキングフィルタは、画像サイズによらず、一定サイズのブロック内の各画素に対しては一様な処理を施している。 つまり、ブロック歪みによる主観的な画質劣化が画像サイズおよびブロックサイズによらず一定であることを想定して設計されたフィルタである。

このため、Ｈ． ２６４において用いられるデブロックキングフィルタでは、ブロック歪みが検知されにくく、デブロッキング処理が不要な場合にも同一のデブロッキング処理を実施することから、符号化器・復号器の演算負荷を増大させるという問題がある。

本発明はかかる事情に鑑みてなされたものであって、ブロックベースのフレーム内・フレーム間予測および直交変換に基づき生成される復号信号に対してのブロック歪み低減処理において、演算量を削減できるようにする新たなブロック歪み低減処理技術を確立することを目的とする。

［１］ブロックサイズ比に応じた適応処理 ［１−１］本発明の画像符号化装置 前記の目的を達成するために、本発明の画像符号化装置は、ブロックベースの予測（フレーム内予測やフレーム間予測）を行うことで予測信号を生成して、その予測信号との予測誤差を符号化するとともに、その符号化した予測誤差の復号信号を生成して、その生成した予測信号にその生成した予測誤差の復号信号を加算することにより、予測信号の生成に用いる復号信号を生成することで画像（動画像や静止画像）を符号化するという構成を採るときに、（１）ブロック歪み低減処理の対象となるブロックのサイズおよび画像サイズに応じて、ブロック歪み低減処理におけるブロック歪み抑圧の強度を適応的に変化させる形で、そのブロックに対してのブロック歪み抑圧の強度を設定する設定手段と、（２）設定手段の設定したブロック歪み抑圧の強度に基づいて、予測信号の生成に用いる復号信号に対してブロック歪み低減処理を実行するフィルタ手段とを備える。

以上の各処理手段が動作することで実現される本発明の画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

［１−２］本発明の画像復号装置 前記の目的を達成するために、本発明の画像復号装置は、ブロックベースの予測（フレーム内予測やフレーム間予測）を行うことで生成された予測信号との予測誤差の符号化情報を復号するとともに、予測信号を特定可能にする符号化情報（動きベクトルや符号化モードの情報）を復号して、それに基づいて予測信号を生成して、その生成した予測信号にその復号した予測誤差の復号信号を加算することにより、予測信号の生成に用いる復号信号を生成することで画像（動画像や静止画像）を復号するという構成を採るときに、（１）ブロック歪み低減処理の対象となるブロックのサイズおよび画像サイズに応じて、ブロック歪み低減処理におけるブロック歪み抑圧の強度を適応的に変化させる形で、そのブロックに対してのブロック歪み抑圧の強度を設定する設定手段と、（２）設定手段の設定したブロック歪み抑圧の強度に基づいて、予測信号の生成に用いる復号信号に対してブロック歪み低減処理を実行するフィルタ手段とを備える。

以上の各処理手段が動作することで実現される本発明の画像復号方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

［１−３］本発明の処理 このように構成される本発明では、画像サイズに比較して、ブロック歪み低減処理の対象となるブロックのサイズが小さい場合には、ブロック歪みが目立たなくなり、大きい場合には、ブロック歪みが目立つようになるという特性があることに着目して、例えば、ブロック歪み低減処理の対象となるブロックのサイズを分子とし画像サイズを分母とする比を算出して、その比が小さい場合には、大きい場合に比べて、ブロック歪み低減処理がより実行されなくなるようにと、ブロック歪み抑圧の強度を弱く設定して、その設定したブロック歪み抑圧の強度に基づいて、予測信号の生成に用いる復号信号に対してブロック歪み低減処理を実行するようにする（ブロック歪み低減処理を実行しないようにすることも含む）。

［２］視距離サイズ比に応じた適応処理 ［２−１］本発明の画像符号化装置 前記の目的を達成するために、本発明の画像符号化装置は、ブロックベースの予測（フレーム内予測やフレーム間予測）を行うことで予測信号を生成して、その予測信号との予測誤差を符号化するとともに、その符号化した予測誤差の復号信号を生成して、その生成した予測信号にその生成した予測誤差の復号信号を加算することにより、予測信号の生成に用いる復号信号を生成することで画像（動画像や静止画像）を符号化するという構成を採るときに、（１）予測信号の生成に用いる復号信号の観視環境としての視距離の情報を取得する取得手段と、（２）ブロック歪み低減処理の対象となるブロックのサイズおよび取得手段の取得した視距離に応じて、ブロック歪み低減処理におけるブロック歪み抑圧の強度を適応的に変化させる形で、そのブロックに対してのブロック歪み抑圧の強度を設定する設定手段と、（３）設定手段の設定したブロック歪み抑圧の強度に基づいて、予測信号の生成に用いる復号信号に対してブロック歪み低減処理を実行するフィルタ手段とを備える。

以上の各処理手段が動作することで実現される本発明の画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

［２−２］本発明の画像復号装置 前記の目的を達成するために、本発明の画像復号装置は、ブロックベースの予測（フレーム内予測やフレーム間予測）を行うことで生成された予測信号との予測誤差の符号化情報を復号するとともに、予測信号を特定可能にする符号化情報（動きベクトルや符号化モードの情報）を復号して、それに基づいて予測信号を生成して、その生成した予測信号にその復号した予測誤差の復号信号を加算することにより、予測信号の生成に用いる復号信号を生成することで画像（動画像や静止画像）を復号するという構成を採るときに、（１）予測信号の生成に用いる復号信号の観視環境としての視距離の情報を取得する取得手段と、（２）ブロック歪み低減処理の対象となるブロックのサイズおよび取得手段の取得した視距離に応じて、ブロック歪み低減処理におけるブロック歪み抑圧の強度を適応的に変化させる形で、そのブロックに対してのブロック歪み抑圧の強度を設定する設定手段と、（３）設定手段の設定したブロック歪み抑圧の強度に基づいて、予測信号の生成に用いる復号信号に対してブロック歪み低減処理を実行するフィルタ手段とを備える。

以上の各処理手段が動作することで実現される本発明の画像復号方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

［２−３］本発明の処理 このように構成される本発明では、視距離（画像とそれを見るユーザとの間の距離）に比較して、ブロック歪み低減処理の対象となるブロックのサイズが小さい場合には、ブロック歪みが目立たなくなり、大きい場合には、ブロック歪みが目立つようになるという特性があることに着目して、例えば、ブロック歪み低減処理の対象となるブロックのサイズを分子とし視距離を分母とする比を算出して、その比が小さい場合には、大きい場合に比べて、ブロック歪み低減処理がより実行されなくなるようにと、ブロック歪み抑圧の強度を弱く設定して、その設定したブロック歪み抑圧の強度に基づいて、予測信号の生成に用いる復号信号に対してブロック歪み低減処理を実行するようにする（ブロック歪み低減処理を実行しないようにすることも含む）。

本発明では、ブロックベースのフレーム内・フレーム間予測および直交変換に基づき生成される復号信号に対してのブロック歪み低減処理において、ブロック歪みが検知されにくい場合には、ブロック歪み低減処理がより実行されなくなるようにと、ブロック歪み抑圧の強度を弱く設定してブロック歪み低減処理を実行することから、ブロック歪みが検知されにくく、ブロック歪み低減処理が不要な場合には、ブロック歪み低減処理を行わないように制御できるようになる。

これにより、本発明によれば、ブロック歪み低減処理の実現にあたって要求される符号化器・復号器の演算負荷を大幅に削減することができるようになる。

以下、実施の形態に従って本発明を詳細に説明する。

前述したように、本発明では、ブロックベースのフレーム内・フレーム間予測および直交変換に基づき生成される復号信号に対してのデブロッキング処理（ブロック歪み低減処理）において、デブロッキング処理の対象となるブロックのサイズを画像サイズや視距離と比較して、その比較結果に基づいて適応的なデブロッキング処理を実行するように制御する。

［１］縦・横方向ブロックサイズ比に応じたデブロッキング適応処理 最初に、縦・横方向ブロックサイズ比に応じたデブロッキングの適応処理について詳細に説明する。

画像サイズをＷ×Ｈ［画素］、デブロッキングフィルタの処理対象となるブロックのサイズをｂ×ｂ［画素］とする。 以下、ｂをデブロッキングブロックサイズと呼ぶ。

デブロッキングブロックサイズは外部から与えられるものとする。 例えば、フレーム内予測、フレーム間予測、直交変換符号化で用いるブロックサイズの中で、最も小さい値として、ｂが設定される。

Ｈ． ２６４の場合、ｂ＝４と固定された値が用られるが、本発明では、デブロッキング処理の対象となるブロックを単位にしてデブロッキングフィルタの強度を設定することが可能であるので、一つの画像内に異なるデブロッキングブロックサイズｂを持つブロックが混在していてもよい。

さらに、画像サイズＷ，Ｈとデブロッキングブロックサイズｂの比として、
ｒ _w ＝ｂ／Ｗ，ｒ _h ＝ｂ／Ｈ
を定義する。 ｒ _wを横方向ブロックサイズ比と呼び、ｒ _hを縦方向ブロックサイズ比と呼ぶ。

本発明では、横方向ブロックサイズ比あるいは、縦方向ブロックサイズ比に応じて、デブロッキングフィルタの強度を適応的に変化させる。 例えば、横方向ブロックサイズ比あるいは、縦方向ブロックサイズ比を閾値ｔｈ _i （０≦ｉ≦Ｍ−１）に応じて、クラスに分類し、クラス毎に強度を変化させる。 例えば、横方向ブロックサイズ比を用いる場合、ｔｈ _i-1 ≦ｒ _w ＜ｔｈ _iとなれば、第ｉクラスに分類される。

なお、ｔｈ ₀ ＝０，ｔｈ _i-1 ≦ｔｈ _iを満たすものとする。 この閾値処理に用いるパラメータの集合を閾値パラメータセットと呼ぶ。 クラス毎の強度調整の例については、以下に示す。

［１−１］第一の発明 第一の発明では、横方向ブロックサイズ比あるいは、縦方向ブロックサイズ比のいずれかを用いる。

第一の発明では、横方向ブロックサイズ比あるいは、縦方向ブロックサイズ比が小さい場合、それが大きい場合に比べて、デブロッキングフィルタの強度を弱く設定する。 ブロックサイズ比が小さいということは、画像サイズＷ，Ｈに比べてデブロッキングブロックサイズｂが相対的に小さいことを意味し、ブロック歪みが目立たなくなることから、デブロッキングフィルタの強度を弱く設定するのである。

使用するデブロッキングフィルタ、および、その具体的な強度調整方法については、外部から別途与えられるものとする。

例えば、Ｈ． ２６４のデブロッキングフィルタを用いる場合は、横方向ブロックサイズ比（あるいは、縦方向ブロックサイズ比）を閾値を使ってＭ個のクラスに分類し、デブロッキング処理の対象となるブロックについての横方向ブロックサイズ比ｒ _wの大きさに応じて、同デブロッキングフィルタにおけるパラメータα，βの値を設定する。 例えば、ｔｈ _i ≦ｒ _w ＜ｔｈ _i+1の場合、
α＝α［ｉ］ ・・・ 式（１１）
β＝β［ｉ］ ・・・ 式（１２）
というように設定するのである。

ここで、α［ｉ］，β［ｉ］は、次式で定まる値である。

α［ｉ］＝α［ｉ−１］＋δα［ｉ］ （１≦ｉ≦Ｍ−１）
α［ｉ］＝α ₀ （ｉ＝０） ・・・ 式（１３）
β［ｉ］＝β［ｉ−１］＋δβ［ｉ］ （１≦ｉ≦Ｍ−１）
β［ｉ］＝β ₀ （ｉ＝０） ・・・ 式（１４）
また、ｔｈ _i ，δα［ｉ］，δβ［ｉ］（０≦ｉ≦Ｍ−１），α ₀ ，β ₀というパラメータについては、外部から与えられるものとする。 ただし、ｔｈ _i ≦ｔｈ _i+1 ，δα［ｉ］≧０，δβ［ｉ］≧０（０≦ｉ≦Ｍ−１）の条件を満たすものとする。

この式（１１）〜式（１４）から分かるように、横方向ブロックサイズ比（あるいは、縦方向ブロックサイズ比）が小さくなるほど、デブロッキングフィルタにおけるパラメータα，βの値が小さな値になるようにと、パラメータα，βの値を設定するようにしている。

パラメータβの値が小さなものになると、前述した式（５）〜式（８）から分かるように、デブロッキング処理の実行回数が減少することになる。 また、パラメータα，βの値が小さなものになると、前述した式（９）〜式（１０）から分かるように、デブロッキング処理の演算が簡単なものになる回数が増加することになる。

このように、第一の発明では、横方向ブロックサイズ比（あるいは、縦方向ブロックサイズ比）が小さい場合、それが大きい場合に比べて、デブロッキング処理を適用するのか否かを決定する条件に記述されるパラメータの値がより適用不可を示す値となるようにとデブロッキングフィルタの強度を弱く設定し、これにより、デブロッキング処理がより実行されなくなることで、デブロッキング処理の実現にあたって要求される演算負荷を大幅に削減することができるようになる。

［１−２］第二の発明 第二の発明では、横方向ブロックサイズ比と縦方向ブロックサイズ比のうち、小さな値を選択する。 そして、選択した値が、与えられた閾値より小さい場合、デブロッキングフィルタの処理を施さないようにする。

この第二の発明は、第一の発明の実行する特定の処理に相当する発明である。

［１−３］第三の発明 第三の発明では、横方向ブロックサイズ比と縦方向ブロックサイズ比のうち、大きな値を選択する。 そして、選択した値が、与えられた閾値より小さい場合、デブロッキングフィルタの処理を施さないようにする。

この第三の発明は、第一の発明の実行する特定の処理に相当する発明である。

〔１−４〕縦・横方向ブロックサイズ比を用いることの利点 以上に説明した第一の発明〜第三の発明では、縦・横方向ブロックサイズ比に応じたデブロッキングの適応処理を実現している。

画像サイズとデブロッキングブロックサイズは、符号化情報として組み込まれているため、第一の発明〜第三の発明を実現するために、新たな付加情報を符号化する必要はない。 つまり、横方向ブロックサイズ比および縦方向ブロックサイズ比は、追加の付加情報なしに、符号化器・復号器で共有することができるという利点がある。

［２］視距離サイズ比に応じたデブロッキング適応処理 次に、視距離サイズ比に応じたデブロッキングの適応処理について詳細に説明する。

復号側での視距離をＬとし、この値が付加情報として伝送される場合、この視距離Ｌとデブロッキングブロックサイズｂの比として、ｒ _l ＝ｂ／Ｌを定義する。 ｒ _lを視距離サイズ比と呼ぶ。 この視距離サイズ比に応じて、デブロッキングフィルタの強度を適応的に変化させる。

ここで、視距離サイズ比に応じたデブロッキングの適応処理は、復号側に限られることなく、符号化側でも実行可能であり、符号化側で実行する場合には、視距離Ｌは外部から与えられるものとする。

また、デブロッキングブロックサイズは外部から与えられるものとする。 例えば、フレーム内Ｈ． ２６４の場合、ｂ＝４と固定された値が用られるが、本発明では、デブロッキング処理の対象となるブロックを単位にしてデブロッキングフィルタの強度を設定することが可能であるので、一つの画像内に異なるデブロッキングブロックサイズｂを持つブロックが混在していてもよい。

［２−１］第四の発明 第四の発明では、視距離サイズ比が小さい場合、それが大きい場合に比べて、デブロッキングフィルタの強度を弱く設定する。 視距離サイズ比が小さいということは、視距離Ｌに比べてデブロッキングブロックサイズｂが相対的に小さいことを意味し、ブロック歪みが目立たなくなることから、デブロッキングフィルタの強度を弱く設定するのである。

使用するデブロッキングフィルタ、および、その具体的な強度調整方法については、外部から別途与えられるものとする。

例えば、Ｈ． ２６４のデブロッキングフィルタを用いる場合は、視距離サイズ比を閾値を使ってＭ個のクラスに分類し、デブロッキング処理の対象となるブロックについての視距離サイズ比ｒ _lの大きさに応じて、同デブロッキングフィルタにおけるパラメータα，βの値を設定する。 閾値パラメータセットとして、ｔｈ _i ' （０≦ｉ≦Ｍ−１）が与えられたとすると、例えば、ｔｈ _i-1 '≦ｒ _l ＜ｔｈ _i ' の場合、
α＝α［ｉ］ ・・・ 式（１５）
β＝β［ｉ］ ・・・ 式（１６）
というように設定するのである。

ここで、α［ｉ］，β［ｉ］は、各々、式（１３）、式（１４）で定まる値である。 また、パラメータｔｈ _i ' は外部から与えられるものとする。 ただし、ｔｈ ₀ '＝０，ｔｈ _i-1 '≦ｔｈ _i ' の条件を満たすものとする。

このように、第四の発明では、視距離サイズ比が小さい場合、それが大きい場合に比べて、デブロッキング処理を適用するのか否かを決定する条件に記述されるパラメータの値がより適用不可を示す値となるようにとデブロッキングフィルタの強度を弱く設定し、これにより、デブロッキング処理がより実行されなくなることで、デブロッキング処理の実現にあたって要求される演算負荷を大幅に削減することができるようになる。

［２−２］第五の発明 第五の発明では、視距離サイズ比が、与えられた閾値より小さい場合、デブロッキングフィルタの処理を施さないようにする。

この第五の発明は、第四の発明の実行する特定の処理に相当する発明である。

以下、実施例に従って本発明を詳細に説明する。

図１に、第一の発明を具備する画像符号化装置の装置構成を図示し、図２に、第一の発明を具備する画像復号装置の装置構成を図示する。

図１に示すように、第一の発明を具備する画像符号化装置は、フレームサイズを記憶するフレームサイズ記憶部１０１と、入力画像と予測信号との差分信号をＤＣＴ変換する変換部１０２と、変換部１０２の算出した変換係数を記憶する変換係数記憶部１０３と、変換係数記憶部１０３の記憶する変換係数を量子化する量子化部１０４と、量子化部１０４の算出した量子化値を記憶する量子化値記憶部１０５と、量子化値記憶部１０５の記憶する量子化値を逆量子化する逆量子化部１０６と、逆量子化部１０６の算出した逆量子化値（変換係数）を記憶する逆量子化値記憶部１０７と、逆量子化値記憶部１０７の記憶する逆量子化値を逆ＤＣＴ変換する逆変換部１０８と、逆変換部１０８の算出した予測誤差の復号信号を記憶する予測誤差復号信号記憶部１０９と、フレームサイズを使って、予測誤差復号信号記憶部１０９の記憶する予測誤差の復号信号と予測信号との和（加算器が算出する）で表される復号信号に対して、適応的なデブロッキング処理を施す適応デブロッキング処理部１１０と、適応デブロッキング処理部１１０の処理した復号信号を記憶するローカル復号信号記憶部１１１と、ローカル復号信号記憶部１１１の記憶する復号信号を使って予測処理を行う予測処理部１１２と、予測処理部１１２の生成した予測信号を記憶する予測信号記憶部１１３と、予測信号記憶部１１３の記憶する予測信号を遅延させて加算器に与える遅延部１１４と、予測処理部１１２の求めた動きベクトルを記憶する動きベクトル記憶部１１５と、量子化値記憶部１０５の記憶する量子化値を符号化するとともに、動きベクトル記憶部１１５の記憶する動きベクトルを符号化するエントロピ符号化部１１６と、エントロピ符号化部１１６の生成した符号化ストリームを記憶する符号化ストリーム記憶部１１７とを備える。

このように構成される本発明の画像符号化装置では、一定サイズの画像領域を単位として、復号画素値を参照してブロックベースの予測を行うことで予測信号を得て、その予測信号との予測誤差をＤＣＴ変換により変換し、その変換係数の量子化したものを逆量子化、逆ＤＣＴ変換して予測誤差の復号信号を生成することで画像を符号化するという構成を採るときに、適応デブロッキング処理部１１０が本発明に特徴的な適応的なデブロッキング処理を実行することになる。

また、図２に示すように、第一の発明を具備する画像復号装置は、画像符号化装置から送られてくる符号化ストリームを記憶する符号化ストリーム記憶部２０１と、符号化ストリーム記憶部２０１の記憶する符号化ストリームを復号するエントロピ復号部２０２と、エントロピ復号部２０２の復号した量子化値を記憶する量子化値記憶部２０３と、量子化値記憶部２０３の記憶する量子化値を逆量子化する逆量子化部２０４と、逆量子化部２０４の算出した変換係数（逆量子化値）を記憶する変換係数記憶部２０５と、変換係数記憶部２０５の記憶する変換係数を逆ＤＣＴ変換する逆変換部２０６と、逆変換部２０６の算出した予測誤差の復号信号を記憶する予測誤差復号信号記憶部２０７と、エントロピ復号部２０２の復号した動きベクトルを記憶する動きベクトル記憶部２０８と、動きベクトル記憶部２０８の記憶する動きベクトルに基づいて予測信号を生成する予測処理部２０９と、予測処理部２０９の生成した予測信号を記憶する予測信号記憶部２１０と、フレームサイズを使って、予測誤差復号信号記憶部２０７の記憶する予測誤差の復号信号と予測信号記憶部２１０の記憶する予測信号との和で表される復号信号に対して、適応的なデブロッキング処理を施す適応デブロッキング処理部２１１と、適応デブロッキング処理部２１１の処理した復号信号を記憶する復号信号記憶部２１２と、復号信号記憶部２１２の記憶する復号信号を遅延させて予測処理部２０９に与える遅延器２１３と、エントロピ復号部２０２の復号したフレームサイズを記憶して適応デブロッキング処理部２１１に与えるフレームサイズ記憶部２１４とを備える。

このように構成される本発明の画像復号装置では、図１に示す画像符号化装置の生成した符号化ストリームを復号することで画像を復号するという構成を採るときに、適応デブロッキング処理部２１１が本発明に特徴的な適応的なデブロッキング処理を実行することになる。

図３に、適応デブロッキング処理部１１０，２１１が第一の発明を実現すべく実行するフローチャートの一例を図示する。

次に、このフローチャートに従って、適応デブロッキング処理部１１０，２１１の実行する処理について詳細に説明する。

適応デブロッキング処理部１１０，２１１は、デブロッキング処理の実行に入ると、図３のフローチャートに示すように、まず最初に、ステップＳ１０１で、フレームサイズ（前述した画像サイズＷ）を読み込む。

続いて、ステップＳ１０２で、デブロッキングブロックサイズ（前述したｂ）を設定する。 ここで、１つの画像内に異なるデブロッキングブロックサイズが混在していてもよいので、１つの画像の中で異なるデブロッキングブロックサイズを用いる場合には、それに応じてデブロッキングブロックサイズを設定することになる。

続いて、ステップＳ１０３で、ｒ _w ＝ｂ／Ｗという算出式に従って、横方向ブロックサイズ比ｒ _wを算出する。

続いて、ステップＳ１０４で、閾値パラメータセットを読み込む。 前述したように、横方向ブロックサイズ比ｒ _wをＭ個のクラスに分類するための閾値処理に用いるパラメータとして、閾値ｔｈ _i （０≦ｉ≦Ｍ−１）という閾値パラメータセットを用意しているので、この閾値パラメータセットを読み込むのである。

続いて、ステップＳ１０５で、変数ｉに“１”をセットする。 続いて、ステップＳ１０６で、横方向ブロックサイズ比ｒ _wが第ｉ閾値パラメータ以下の値であるのか否かを判断して、第ｉ閾値パラメータ以下の値でないことを判断するときには、ステップＳ１０７に進んで、変数ｉの値を１つインクリメントしてから、ステップＳ１０６の処理に戻る。

一方、ステップＳ１０６の判断処理で、横方向ブロックサイズ比ｒ _wが第ｉ閾値パラメータ以下の値であることを判断するときには、横方向ブロックサイズ比ｒ _wが第ｉクラスに属することを判断して、ステップＳ１０８に進んで、第ｉクラスに対応するデブロッキング処理の強度パラメータを読み込む。

続いて、ステップＳ１０９で、ステップＳ１０８で読み込んだ強度パラメータに基づいて、デブロッキング処理を行う。

このようにして、適応デブロッキング処理部１１０，２１１は、図３のフローチャートに従って、第一の発明の処理を実行するのである。

図４に、図３のフローチャートを実行すべく構成される適応デブロッキング処理部１１０の装置構成の一例を図示する。

図４に示すように、適応デブロッキング処理部１１０は、図３のフローチャートを実行する場合には、ＤＣＴ変換で用いられているブロックサイズを記憶する変換ブロックサイズ記憶部３０１と、予測処理で用いられているブロックサイズを記憶する予測ブロックサイズ記憶部３０２と、変換ブロックサイズ記憶部３０１の記憶するブロックサイズと予測ブロックサイズ記憶部３０２の記憶するブロックサイズとに基づいて、例えば最も小さいブロックサイズを選択することによりデブロッキングブロックサイズを設定するデブロッキングブロックサイズ設定部３０３と、デブロッキングブロックサイズ設定部３０３の設定したデブロッキングブロックサイズを記憶するデブロッキングブロックサイズ記憶部３０４と、閾値パラメータセットを記憶する閾値パラメータセット記憶部３０５と、デブロッキング処理の強度パラメータを記憶するデブロッキングパラメータセット記憶部３０６と、デブロッキング処理の対象となる復号信号を記憶する復号信号記憶部３０７と、フレームサイズ記憶部１０１の記憶するフレームサイズとデブロッキングブロックサイズ記憶部３０４の記憶するデブロッキングブロックサイズとに基づいて横方向ブロックサイズ比を算出する横方向ブロックサイズ比算出部３０８と、横方向ブロックサイズ比算出部３０８の算出した横方向ブロックサイズ比を記憶する横方向ブロックサイズ比記憶部３０９と、横方向ブロックサイズ比記憶部３０９の記憶する横方向ブロックサイズ比を閾値パラメータセット記憶部３０５の記憶する閾値パラメータセットに基づいて分類するクラス分類処理部３１０と、デブロッキングパラメータセット記憶部３０６からクラス分類処理部３１０の分類したクラスに対応付けられる強度パラメータを読み込んで、復号信号記憶部３０７の記憶する復号信号に対してデブロッキング処理を施すデブロッキング処理部３１１とを備える。

この構成に従って、適応デブロッキング処理部１１０は、図３のフローチャートの処理を実行するのである。

図５に、第四の発明を具備する画像符号化装置の装置構成を図示し、図６に、第四の発明を具備する画像復号装置の装置構成を図示する。

図５に示すように、第四の発明を実現する場合には、画像符号化装置は、図１に示すフレームサイズ記憶部１０１に代えて視距離記憶部１０１αを備えることになる。 また、６に示すように、第四の発明を実現する場合には、画像復号装置は、フレームサイズ記憶部２１４に代えて視距離記憶部２１４αを備えることになる。

図７に、適応デブロッキング処理部１１０，２１１が第四の発明を実現すべく実行するフローチャートの一例を図示する。

次に、このフローチャートに従って、適応デブロッキング処理部１１０，２１１の実行する処理について詳細に説明する。

適応デブロッキング処理部１１０，２１１は、デブロッキング処理の実行に入ると、図７のフローチャートに示すように、まず最初に、ステップＳ２０１で、視距離（前述したＬ）を読み込む。

続いて、ステップＳ２０２で、デブロッキングブロックサイズ（前述したｂ）を設定する。 ここで、１つの画像内に異なるデブロッキングブロックサイズが混在していてもよいので、１つの画像の中で異なるデブロッキングブロックサイズを用いる場合には、それに応じてデブロッキングブロックサイズを設定することになる。

続いて、ステップＳ２０３で、ｒ _l ＝ｂ／Ｌという算出式に従って、視距離サイズ比ｒ _lを算出する。

続いて、ステップＳ２０４で、閾値パラメータセットを読み込む。 前述したように、視距離サイズ比ｒ _lをＭ個のクラスに分類するための閾値処理に用いるパラメータとして、閾値ｔｈ _i ' （０≦ｉ≦Ｍ−１）という閾値パラメータセットを用意しているので、この閾値パラメータセットを読み込むのである。

続いて、ステップＳ２０５で、変数ｉに“１”をセットする。 続いて、ステップＳ２０６で、視距離サイズ比ｒ _lが第ｉ閾値パラメータ以下の値であるのか否かを判断して、第ｉ閾値パラメータ以下の値でないことを判断するときには、ステップＳ２０７に進んで、変数ｉの値を１つインクリメントしてから、ステップＳ２０６の処理に戻る。

一方、ステップＳ２０６の判断処理で、視距離サイズ比ｒ _lが第ｉ閾値パラメータ以下の値であることを判断するときには、視距離サイズ比ｒ _lが第ｉクラスに属することを判断して、ステップＳ２０８に進んで、第ｉクラスに対応するデブロッキング処理の強度パラメータを読み込む。

続いて、ステップＳ２０９で、ステップＳ２０８で読み込んだ強度パラメータに基づいて、デブロッキング処理を行う。

このようにして、適応デブロッキング処理部１１０，２１１は、図７のフローチャートに従って、第四の発明の処理を実行するのである。

図８に、図７のフローチャートを実行すべく構成される適応デブロッキング処理部１１０の装置構成の一例を図示する。

図８に示すように、第四の発明を実現する場合には、適応デブロッキング処理部１１０は、図４に示す横方向ブロックサイズ比算出部３０８に代えて、視距離記憶部１０１αの記憶する視距離とデブロッキングブロックサイズ記憶部３０４の記憶するデブロッキングブロックサイズとに基づいて視距離サイズ比を算出する視距離サイズ比算出部３０８αを備え、さらに、図４に示す横方向ブロックサイズ比記憶部３０９に代えて、視距離サイズ比算出部３０８αの算出した視距離サイズ比を記憶する視距離サイズ比記憶部３０９αを備える。

そして、この構成を採る場合には、クラス分類処理部３１０は、視距離サイズ比記憶部３０９αの記憶する視距離サイズ比を閾値パラメータセット記憶部３０５の記憶する閾値パラメータセットに基づいて分類するようにする。

この構成に従って、適応デブロッキング処理部１１０は、図７のフローチャートの処理を実行するのである。

図１、図２、図５および図６では、フレーム間予測を用いる場合の装置構成を図示したが、本発明はフレーム内予測を用いる場合にも、同様に適用できるものである。 ただし、フレーム内予測を用いる場合は、予測処理部１１２，２０９においてフレーム内予測を行いフレーム内予測モードを符号化情報とするため、動きベクトル記憶部１１５，２０８の代わりにフレーム内予測モードの情報を記憶する記憶部を備えることになる。

本発明は、ブロックベースのフレーム内・フレーム間予測および直交変換に基づき生成される復号信号に対してのブロック歪み低減処理に適用できるものであり、本発明を適用することで、ブロック歪み低減処理の実現にあたって要求される符号化器・復号器の演算負荷を大幅に削減することができるようになる。

第一の発明を具備する画像符号化装置の装置構成図である。

第一の発明を具備する画像復号装置の装置構成図である。

適応デブロッキング処理部の実行するフローチャートである。

適応デブロッキング処理部の装置構成である。

第四の発明を具備する画像符号化装置の装置構成図である。

第四の発明を具備する画像復号装置の装置構成図である。

適応デブロッキング処理部の実行するフローチャートである。

適応デブロッキング処理部の装置構成である。

デブロッキングフィルタ処理の説明図である。

符号の説明

１０１ フレームサイズ記憶部 １１０ 適応デブロッキング処理部 １１１ ローカル復号信号記憶部 ３０１ 変換ブロックサイズ記憶部 ３０２ 予測ブロックサイズ記憶部 ３０３ デブロッキングブロックサイズ設定部 ３０４ デブロッキングブロックサイズ記憶部 ３０５ 閾値パラメータセット記憶部 ３０６ デブロッキングパラメータセット記憶部 ３０７ 復号信号記憶部 ３０８ 横方向ブロックサイズ比算出部 ３０９ 横方向ブロックサイズ比記憶部 ３１０ クラス分類処理部 ３１１ デブロッキング処理部