【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、変換符号化によって圧縮された後、伸張された画像におけるブロッキング効果の最小化方法及び最小化装置、コンピュータ装置、
テレビ会議装置に関し、例えば離散コサイン変換によって圧縮化された後、伸長された画像におけるブロッキング効果の最小化方法及び最小化装置等に関する。

【０００２】

【従来の技術】ディジタル画像データを圧縮する必要性は、静止画像あるいは動画像（以下、ビデオ画像ともいう。）であろうとなかろうと、急速に増している。 その１つの理由としては、マルチメディアコンピュータ装置及びソフトウェアの普及がある。 映像信号の圧縮を用いるアプリケーション（用途）の１つとして、テレビ会議システム（あるいはビデオ会議システム）がある。 テレビ会議システムのアプリケーションにおいては、会議場間のビデオ画像のタイムリー（適宜）な伝送に必要とされる伝送帯域を狭くするために圧縮が用いられる。 すなわち、画像データ、例えば第１の会議場における話し手の画像データは、圧縮されて第２の会議場に伝送される。 第２の会議場では、受信された画像データは伸長された後、表示される。 テレビ会議システムでは、国際電気通信連合の通信標準化部門（International Telecomm
unication Union, Telecommunication Standardization
Sector(ＩＴＵ−Ｔ)）が１９９３年３月に勧告したＨ
２６１規格に準拠した圧縮アルゴリズムが用いられる。

【０００３】テレビ会議システムで用いられる変換符号化を含む多くの圧縮技術が存在する。 変換符号化において、画像データは、複数のブロックに分割される。 各ブロックの画像データが変換係数に変換され、これらの変換係数は、所定の量子化スケールファクタｑに基づいて量子化される。 最も普及している変換符号化は、離散コサイン変換（以下、ＤＣＴという。）である。

【０００４】しかしながら、ＤＣＴ等の変換符号化では、いわゆるブロッキング効果が発生するという問題がある。 符号化する前に画像データをブロックに分割することにより、符号化処理及び復号処理の間に、隣接したブロック間に不連続（ブロッキング効果）が生じる。 ブロッキング効果は、伸長された画像データに基づいて表示された画像に、ブロックの境界において色又はグレースケールレベルが滑らかに変化するのではなく、明らかに変化したものとして現れる。

【０００５】ブロッキング効果を最小にするために、前処理と後処理の技術が用いられる。 前処理は、画像データの送信側でブロッキング効果を最小にするために実行される一定の処理である。 後処理は、画像データを伸長した後に実行される補正処理であり、この補正処理は理にかなっているが、問題がある。 例えば、簡単な技術の１つとして、ローパスフィルタを用いて伸長された画像データをフィルタリングする技術がある。 これにより、
ブロッキング効果は低減されるが、逆に、表示される画像の鮮鋭度（シャープネス）が低下する。

【０００６】

【発明が解決しようとする課題】本発明は、このような実情に鑑みてなされたものであり、変換符号化、例えば離散コサイン変換により圧縮された後、伸長された画像において生じるブロッキング効果を、画像の鮮鋭度に影響を与えることなく、最小にする簡単な及び効果的なブロッキング効果の最小化方法及び最小化装置、コンピュータ装置、テレビ会議装置を提供することを目的とする。

【０００７】

【課題を解決する手段】本発明に係るブロッキング効果の最小化方法は、ブロックの境界を挟んだ２つの境界画素の差分が第１の閾値よりも小さいかを判定するステップと、ブロックの境界に沿ったエネルギが第２の閾値よりも小さいかを判定するステップと、境界画素の差分が第１の閾値より小さく、かつブロックの境界に沿ったエネルギが第２の閾値よりも小さいときに、境界画素を、
ブロッキング効果が最小になるようにフィルタリングして、補正された画像データを生成するステップとを有する。

【０００８】本発明に係るブロッキング効果の最小化装置は、画像の画素データが供給され、ブロックの境界を挟んだ２つの境界画素の差分が第１の閾値よりも小さいかを判定するとともに、ブロックの境界に沿ったエネルギが第２の閾値よりも小さいかを判定する判定手段と、
境界画素の差分が第１の閾値より小さく、かつブロックの境界に沿ったエネルギが第２の閾値よりも小さいときに、境界画素を、ブロッキング効果が最小となるようにフィルタリングして、補正された画像データを出力するフィルタリング手段とを備える。

【０００９】本発明に係るコンピュータ装置は、画像データを受信する入力手段と、ブロックの境界を挟んだ２
つの境界画素の差分が第１の閾値よりも小さいかを判定するとともに、ブロックの境界に沿ったエネルギが第２
の閾値よりも小さいかを判定して、境界画素を選択的にフィルタリングする際に、境界画素の差分が第１の閾値より小さく、かつブロックの境界に沿ったエネルギが第２の閾値よりも小さいときに、境界画素を、ブロッキング効果が最小となるようにフィルタリングして、補正された画像データを出力するプロセッサと、補正された画像データに基づく画像を表示する表示手段とを備える。

【００１０】本発明に係るテレビ会議装置は、圧縮された画像データを受信する入力手段と、圧縮された画像データをデコードして伸長し、ブロックの境界を挟んだ２
つの伸長された境界画素の差分が第１の閾値よりも小さいかを判定するとともに、ブロックの境界に沿ったエネルギが第２の閾値よりも小さいかを判定して、伸長された境界画素を選択的にフィルタリングする際に、境界画素の差分が第１の閾値より小さく、かつブロックの境界に沿ったエネルギが第２の閾値よりも小さいときに、伸長された境界画素を、ブロッキング効果が最小となるようにフィルタリングして、補正された画像データを出力するプロセッサと、補正された画像データに基づく画像を表示する表示手段とを備える。

【００１１】そして、本発明に係るブロッキング効果の最小化方法は、画像の鮮鋭度に影響を与えることなくブロッキング効果を最小にするために、伸長された画像データに後処理として適用されるものである。 画像データの伸長は、例えば逆離散コサイン変換が用いられ、この逆離散コサイン変換は、変換係数を画像データに変換して、２次元の空間領域に画像データを配置する。 離散コサイン変換におけるブロックの境界を挟んだ境界画像に対してフィルタリングをかけるか否かを判定する。 境界画素の差分が第１の閾値より小さく、ブロックの境界に沿ったエネルギが第２の所定閾値より小さいとき、境界画素をフィルタリングする。 その際、ブロックの境界におけるブロッキング効果を最小とするために、有限長インパルス応答フィルタを用いる。

【００１２】

【発明の実施の形態】以下、本発明に係るブロッキング効果の最小化方法及び最小化装置、コンピュータ装置、
テレビ会議装置について、図面を参照しながら説明する。 図１は、本発明に係るブロッキング効果の最小化方法又は最小化装置を適用した、例えばテレビ会議システムの復号装置の構成を示すブロック図である。

【００１３】テレビ会議システムにおいて画像を伝送するのに必要な帯域を狭くするために、画像データは、離散コサイン変換（以下、ＤＣＴという。）を用いて圧縮されたフォーマットに変換される。 有名なフォーマットとしては、テレビ会議勧告Ｈ． ２６１に準拠したものがある。

【００１４】図１に示す復号装置は、受信回路１１と、
デコーダ１２と、フィルタ１３と、表示装置１４とを備える。 受信回路１１は、伝送されてくる圧縮画像データを受信する。 通常、動画像（以下、ビデオ画像ともいう。）の圧縮画像データは、電話回線を介して受信されるが、それ以外の種類の伝送媒体を介しても受信することができる。 具体的には、受信回路１１は、Ｈ． ２６１
規格に準拠したフォーマット、すなわちＤＣＴによって圧縮された画像データを受信する。 なお、本発明は、Ｄ
ＣＴに限定されるものではなく、例えばアダマール変換、ハール変換、スラント変換等の他の種類の変換符号化にも適用することができる。

【００１５】デコーダ１２は、受信回路１１から供給される圧縮画像データを逆量子化、逆離散コサイン変換（以下、ＩＤＣＴという。）等を用いて復号（伸長）
し、フィルタ１３は、ＤＣＴ及びＩＤＣＴによって生じるブロッキング効果を除去するためのフィルタリングを行う。 表示装置１４は、ブロッキング効果が最小化された画像データに基づいた画像を表示する。

【００１６】ここで、本発明を適用した他の実施例を説明する。 図２は、本発明を適用したテレビ会議システムにおける一方の端のテレビ会議装置の構成を示すブロック図である。

【００１７】テレビ会議装置は、プロセッサ２１と、表示装置２２と、ビデオカメラ２３とを備える。 プロセッサ２１は、他の会議場のテレビ会議装置から伝送路を介して伝送されてくる圧縮画像データを受信し、復号し、
伸長された画像データを本発明に従ってフィルタリングして、表示装置２２に出力する。 また、プロセッサ２１
は、ビデオカメラ２３からの映像信号が供給され、それを符号化し、得られる圧縮画像データを伝送路を介して他の会議場のテレビ会議装置に送信する。 さらに、プロセッサ２１は、テレビ会議システムで標準化されている全ての機能を提供するために、例えば文書のような画像等のその他の画像も同様に処理する。

【００１８】プロセッサ２１は、これらの機能を実行する様々な構成の電気回路で実現することできる。 図１に示すフィルタ１３及び図２に示すプロセッサ２１（以下、フィルタ１３を含めて単にプロセッサ２１という。）は、例えば特別なハードウェア、又は図３に示すフローチャートの各ステップを処理するためのソフトウェアを実行する専用のコンピュータで実現することができる。 この図３は、ブロッキング効果を最小にするための方法を示す具体的なフローチャートである。

【００１９】ステップＳ１において、プロセッサ２１
は、２次元の離散コサイン変換におけるブロックの境界を挟んだ隣接の２つの画素（以下、境界画素という。）
の差分を求める。 具体的には、例えば図４に示すように、離散コサイン変換のブロックを８×８画素としたとき、画素ｂ，ｃが境界画素であり、プロセッサ２１は、
画素ｂ，ｃの各値の差分を求める。

【００２０】ステップＳ２において、プロセッサ２１
は、境界画素の差分が、フィルタリングを行うか否かを決定するための第１の閾値よりも、小さいかを判定し、
該当する（Ｙｅｓ）ときはステップＳ５に進み、該当しない（Ｎｏ）ときはステップＳ３に進む。 第１の閾値は、画像自体の実際のエッジがブロックの境界と一致したときに、誤ってフィルタリングが行われて、このエッジが除去されないように、十分に大きな値に設定される。 すなわち、画像の真のエッジに沿った境界画素の差分は、第１の閾値よりも大きい。 この第１の閾値は、実験や経験則に基づいて決定される。 具体的には、Ｈ． ２
６１規格に準拠して画像データを符号化、復号するこの実施例では、第１の閾値は、例えば１６から３２の範囲内の値となっている。

【００２１】ステップＳ３において、すなわちステップＳ２において境界画素の差分が第１の閾値より大きい判定したときは、プロセッサ２１は、その境界画素に対するフィルタリングは行わず、次の境界画素を検索して、
ステップＳ４に進む。

【００２２】ステップＳ４において、プロセッサ２１
は、全ての境界画素に対する処理が終了したかを判定し、該当するときはステップＳ７に進み、該当しないときはステップＳ２に戻る。 すなわち、全ての境界画素に対する処理が終了すると、フィルタリングの処理は完了し、表示のための画像データが整う。 一方、ステップＳ
５において、すなわちステップＳ２において境界画素の差分が第１の閾値より小さいと判定したときは、プロセッサ２１は、後述する境界に沿ったエネルギが第２の閾値より小さいかを判定し、該当するときはステップＳ６
に進み、該当しないときはステップＳ３に進む。 境界に沿ったエネルギが非常に大きいとき、すなわち第２の閾値より大きいとき、フィルタリングは、視覚上のブロッキング効果を最小にするのではなく、むしろ増大させる。 したがって、境界に沿ったエネルギが第２の閾値よりも大きいときは、ステップＳ３に進み、境界画素に対するフィルタリングを行わずに、次の境界画素が、フィルタリングの対象として検索される。

【００２３】境界に沿ったエネルギは、境界に沿った画素値の変化を調べることによって求められる。 この実施例では、境界に沿ったエネルギは、フィルタリングされる境界画素と、これらの境界画素にそれぞれ隣接し、同じ境界に沿った２つの画素との各差分の絶対値の和として求められる。 例えば図４に示すように、フィルタリングされる境界画素が画素ｂ，ｃであるとき、境界に沿ったエネルギは、｜Ｗ−Ｂ｜＋｜Ｙ−Ｂ｜又は｜Ｘ−Ｃ｜
＋｜Ｚ−Ｃ｜であり、第２の閾値は、｜Ｂ−Ｃ｜であり、プロセッサ２１は、下記式が成立するかを判定する。

【００２４】｜Ｗ−Ｂ｜＋｜Ｙ−Ｂ｜＞｜Ｂ−Ｃ｜又は ｜Ｘ−Ｃ｜＋｜Ｚ−Ｃ｜＞｜Ｂ−Ｃ｜ ここで、Ｗ，Ｙ，Ｂ，Ｘ，Ｚ，Ｃは、画素ｗ，ｙ，ｂ，
ｘ，ｚ，ｃの各画素値である。

【００２５】図２に示すステップＳ６において、すなわち境界画素がステップＳ２，Ｓ５の判定条件を満足しているときは、プロセッサ２１は、ブロッキング効果を最小にするために、境界画素を補正又は境界画素をフィルタリングする。 この実施例では、プロセッサ２１は、境界画素のみ、例えば図４に示す画素ｂ，ｃのみを補正する。 なお、境界画素とそれらに隣接する画素をフィルタリング又は補正するようにしてもよい。

【００２６】フィルタ関数は、フィルタリングされた画素の値と、元の圧縮されていない画像の対応する画素の値との変化を最小にするように設定されるべきである。
有限長インパルス応答フィルタ（以下、ＦＩＲフィルタという。）を用いることが望ましい。 この実施例では、
下記式に示すフィルタ関数を用いる。

【００２７】Ｂ _adj ＝ｐＡ＋ｑＢ＋ｒＣ＋ｓＤ Ｃ _adj ＝ｓＡ＋ｒＢ＋ｑＣ＋ｐＤ ここで、Ｂ _adj ，Ｃ _adjは画素ｂ，ｃの補正後の値を表し、画素値Ａ，Ｄは、図４に示すように、境界画素ｂ，
ｃにそれぞれ隣接した画素ａ，ｄの値を表し、ｐ，ｑ，
ｒ，ｓはフィルタ係数である。

【００２８】フィルタ係数は、当該技術を熟知した人が知っている様々な手法で設定することができる。 なお、
この実施例では、用いられるフィルタ係数の数を４つにしているが、係数の数は、係数の数を増すことによるコストと画質改善の割合に依存して、増減することができる。 この実施例において、４つのフィルタ係数は、フィルタの出力を元の圧縮されていない画像における同じ位置の画素の値と等しくする既知のサンプルデータを用いたウィーナーフィルタ（Wiener filter)を導くことにより、設定することができる。 そして、閾値が適切であるとき、フィルタに入力される伸長された４つの画素値は、自己相関関数及び相互相関関数を有する。 最良の結果を得るためには、用いられるサンプルデータは、処理される予測画像に反映されることが望ましい。

【００２９】ウィーナーフィルタは、既知の技術であり、ここでは、詳細に説明しないが、ＦＩＲフィルタ及びウィーナーフィルタについては、１９８９年プレンティスホール社（Prentice-Hall Inc.）出版の「ディジタル画像処理の基礎（Fundamentals of Digital Processi
ng）」のページ２７５から２９０を参照されたい。 フィルタ係数は、下記式によって決定されることが望ましい。

【００３０】[pqrs] ^T ＝Ｒ ^-1 Ｐ ここで、[ ] ^Tは、転置関数であり、Ｒは、下記式に示すように、伸長された４つの入力サンプルの自己相関マトリックスである。

【００３１】

【数１】

【００３２】ここで、Ｅは、予測値の統計関数を表し、
マトリックス内の値は、復号されたサンプル画像データの画素値に対応し、Ｐは、下記式に示すように、伸長された４つ画素値と、元の圧縮されていない画像の対応する画素値との相互相関マトリックスである。

【００３３】Ｐ＝Ｅ[ｄＡ ｄＢ ｄＣ ｄＤ] ここで、ｄは、伸長された画素ｂに対応する元の画像における画素を表す。

【００３４】図３に示すステップＳ６において、プロセッサ２１は、下記式に従って、画素ｂ，ｃの補正された画素値Ｂ _adj ，Ｃ _adjを求める。

【００３５】Ｂ _adj ＝ｐＡ＋ｑＢ＋ｒＣ＋ｓＤ Ｃ _adj ＝ｓＡ＋ｒＢ＋ｑＣ＋ｐＤ ステップＳ７において、すなわち全ての境界画素を評価するとともに、必要に応じてフィルタリングして補正値を求めると、プロセッサ２１は、画像データを表示装置２２に出力する。

【００３６】以上のように、ブロッキング効果を最小にするために画素を選択的に補正する処理は、境界画素のみに適用され、簡単に実行することができるので、このようなフィルタリングは、テレビ会議の機能に影響を与える実時間（リアルタイム）応答を維持するために必要な時間内で、実行することができる。

【００３７】なお、本発明は、上述の実施例に限定されるものではなく、種々の変更ができることはいうまでもない。 例えば実施例では離散コサイン変換を用いて説明しているが、様々な種類の変換符号化にも本発明は適用することができる。

【００３８】

【発明の効果】以上の説明でも明らかなように、本発明では、例えば離散コサイン変換等の変換符号化におけるブロックの境界を挟んだ２つの境界画素の差分が第１の閾値よりも小さいかを判定するとともに、ブロックの境界に沿ったエネルギが第２の閾値よりも小さいかを判定し、境界画素の差分が第１の閾値より小さく、かつブロックの境界に沿ったエネルギが第２の閾値よりも小さいときに、境界画素を、ブロッキング効果が最小になるようにフィルタリングして、補正された画像データを生成する。 これにより、画像の鮮鋭度に影響を与えることなく、また実時間で、ブロッキング効果を最小とすることができる。

【図面の簡単な説明】

【図１】本発明を適用した復号装置の構成を示すブロック図である。

【図２】本発明を適用したテレビ会議装置の構成を示すブロック図である。

【図３】ブロッキング効果を最小にするフィルタリングの具体的な内容を示すフローチャートである。

【図４】境界画素と隣接画素の関係を示す模式図である。

【符号の説明】

１１ 受信回路、１２ デコーダ、１３ フィルタ、１
４ 表示装置、２１ プロセッサ、２２ 表示装置、２
３ テレビカメラ