【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、圧縮した画像信号を伸張復号し、その伸張した画像信号の高周波画像信号近辺のリンギングやブロック歪等の雑音を除去するための雑音除去装置に関する。

【０００２】

【従来の技術】近年、ＭＰＥＧ（Moving Picture Exper
ts Group、メディア統合系動画像圧縮の国際標準）、Ｊ
ＰＥＧ（Joint Photographic Experts Group、カラー静止画像圧縮の国際標準）等でいろいろな画像圧縮技術を用いた規格化が進められている。 その画像圧縮技術は、
もともと膨大な情報量をもつ画像信号から冗長な部分を取り除くことで情報量を少なくし、あらゆる機器で画像信号を扱いやすくするためのものである。

【０００３】その画像圧縮技術は、大きく可逆符号化方式と非可逆符号化方式に分けられる。 可逆符号化方式は圧縮・伸張の過程で情報が保存でき完全に原画像を再生できるもので、非可逆符号化方式はそれ以外すなわち完全には原画像を再生できない符号化方式である。 非可逆圧縮方式は基本的に情報を捨てているので圧縮した画像信号を伸張復号してみると何等かの弊害が現われる。 一般的にいって捨てた情報が多い程、すなわち圧縮率が高いほど弊害である雑音が発生する。 例えば高周波画像信号周辺のリンギングや、画像再生モニタ上で動きの速い部分がブロック状に見えてしまうブロック歪である。 このリンギング、ブロック歪等の雑音を除去あるいは低減させる装置が雑音除去装置である。

【０００４】以下に、従来の雑音除去装置について説明する。 図４は従来の雑音除去装置のブロック図を示すものである。 入力圧縮画像信号を画像復号器４０１で伸張復号する。 例えば画像の時間相関を利用したフレーム間動き予測符号化した圧縮画像信号を、フレーム間動き補償し伸張復号するためには、最低１フレーム分の画像信号を記憶する容量をもつ画像メモリ４０５が必要である。 必要に応じて画像復号器４０１はライトイネーブル、ライトアドレスで画像信号を画像メモリ４０５に書き込み、リードアドレスで画像信号を読み出す。 伸張復号した伸張画像信号の雑音を雑音検出器４０２で検出する。

【０００５】ここで図５は例えばＭＰＥＧ１（ＭＰＥＧ
による標準勧告案の一つ）で用いられるＳＩＦ（Ｓｏｕ
ｒｃｅ Ｉｎｐｕｔ Ｆｏｒｍａｔ、原画像入力フォーマット）のうちＮＴＳＣ方式（３０フレーム／秒、３５
２×２４０画素／フレーム）の場合を表わしている。 この原画像を最小画像単位が８×８画素（水平方向８画素、垂直方向８画素の計６４画素、１ブロックとする）
として圧縮された圧縮画像信号を伸張復号した画像信号の雑音はその１ブロック単位で発生する。 この雑音を検出するためには、この分の画素を一時的に記憶しなければならず、水平方向３５２×垂直方向８画素分の記憶容量をもつ画像メモリ４０６が必要となる。

【０００６】雑音検出器４０２は必要に応じてライトイネーブルとライトアドレスを用いて画像信号を画像メモリ４０６に書き込み、リードアドレスで画像信号を読み出す。 例えばリンギング雑音を検出するとすると、雑音検出器４０２はある１ブロック内の画像信号に所定の周波数以上の画像信号が含まれていればハイレベルで、含まれていなければローレベルとなる雑音検出信号を出力する。 雑音を検出するためには所定の時間を必要とし、
雑音検出器４０２が出力する雑音検出信号と画像復号器４０１の出力する伸張画像信号のタイミングがずれてしまうので、遅延器４０３で伸張画像信号を遅延させ雑音検出信号とのタイミングを合わせる。

【０００７】次に遅延器４０３出力の雑音を雑音検出器４０２出力の雑音検出信号にもとづき、雑音除去器４０
４で除去する。 例えば雑音検出信号がハイレベルのときは二次元フィルタで平滑化をしてリンギングを除去し、
ローレベルのときはその二次元フィルタと同じ時間だけ入力伸張画像信号を遅延させ出力する。 二次元フィルタを水平方向３×垂直方向３画素でフィルタリングするとすると、入力伸張画像信号を垂直方向に２画素分遅延させなければならないので、最低でも水平方向３５２×垂直方向２画素分の記憶容量をもつ画像メモリ４０７が必要となる。 雑音除去器４０４は必要に応じてライトイネーブルとライトアドレスを用いて画像信号を画像メモリ４０７に書き込み、リードアドレスで画像信号を読み出す。 このようにして雑音除去器４０４はリンギング雑音を除去した伸張画像信号を出力する。

【０００８】

【発明が解決しようとする課題】しかしながら上記従来の構成では、以下のような２つの課題を有していた。 １
つ目の課題は、上記のように例えば１ブロック単位で雑音検出をしようとすると雑音検出器４０２は水平方向３
５２×垂直方向８画素分の記憶容量（１画素８ビット量子化とすると２２５２８ビット）をもつ画像メモリ４０
６を必要とし、非常に回路規模が大きくなることである。 同様に２つ目の課題は、雑音除去フィルタ４０４は水平方向３５２×垂直方向２画素分の記憶容量（１画素８ビットとすると５６３２ビット）をもつ画像メモリ４
０７を必要とし、非常に回路規模が大きくなることである。 このように従来の雑音除去器を具現化するためには、１つ目の課題にしろ、２つ目の課題にしろ大容量の画像メモリを必要とするため回路規模が非常に大きくなり、装置としてコストアップにつながっていた。

【０００９】本発明は上記従来の課題を解決するもので、必要とする画像メモリの容量を削減することで回路規模を縮小し、かつ容易に具現化できる雑音除去装置を提供することを目的とする。

【００１０】

【課題を解決するための手段】この目的を達成するために本発明は、１ブロックの画像信号毎に得られる雑音状態データを、画像復号器が画像メモリに対して画像信号を読み書きする際に用いるライトアドレスおよびリードアドレスと同じアドレスで、雑音検出器が状態メモリに書き込みおよび読み出しを行うように構成したものである。

【００１１】これにより、必要とする画像メモリの容量を削減できるので、小規模かつ簡単な雑音除去装置を提供できる。

【００１２】

【発明の実施の形態】本発明の第１の発明は、入力圧縮画像信号を伸張復号する画像復号器と、その画像復号器の出力するライトイネーブルとライトアドレスにより画像データを書き込み、リードアドレスにより画像データを読み出す第１の画像メモリと、その第１の画像メモリに書き込む画像データの雑音を検出する雑音検出器と、
その雑音検出器の出力するライトイネーブルとライトアドレスにより雑音状態データを書き込み、リードアドレスにより雑音状態データを読み出す状態メモリとを備えている。

【００１３】これにより、以下のような作用がある。 前述したように例えば最小画像単位が１ブロックで原画像を圧縮した圧縮画像信号を伸張復号する画像復号器は、
最終的には１ブロック単位で１フレーム分の画像信号を第１の画像メモリに書き込み、読み出して伸張画像信号を出力する。 よって第１の画像メモリに書き込む時点で１ブロック分の画素が一時にそろっているので、これを用いて雑音を検出する。 その結果１ブロックの画像信号に対して得られる１ビットの雑音状態データを画像復号器が第１の画像メモリに画像信号を書き込むライトアドレスと同じライトアドレスで状態メモリに書き込み、画像復号器が画像信号を第１の画像メモリから読み出すリードアドレスと同じリードアドレスで雑音検出器が状態メモリから読み出せば、画像復号器が出力する伸張画像信号と雑音検出器が出力する雑音検出信号のタイミングは一致させることができ雑音除去器でそのまま雑音除去が可能で遅延器は不要となる。 さらに、状態メモリの記憶容量は１ブロックにつき１ビットで１フレーム分（水平方向３５２／８＝４４ブロック、垂直方向２４０／８
＝３０ブロックで計１３２０ブロック）を記憶すれば良いので１３２０ビットの記憶容量ですみ、従来例の２２
５２８ビットと比較すると約１／１７にメモリ規模を削減できるという作用である。

【００１４】また、第２の発明は、入力圧縮画像信号を伸張復号し、画像メモリ制御器の出力する書き込み調停信号にもとづき画像メモリへの書き込み要求を出力する画像復号器と、その画像復号器の出力する書き込み要求と雑音除去器の出力する書き込み要求を調停し画像復号器の出力するライトイネーブルとライトアドレスと画像データと雑音除去器の出力するライトイネーブルとライトアドレスと画像データから一方のライトイネーブルとライトアドレスと画像データを選択出力しどちらを選択するかをあらわす書き込み調停信号を出力する画像メモリ制御器と、画像メモリ制御器が出力するライトイネーブルとライトアドレスにより画像データを書き込み、リードアドレスにより画像データを読み出す画像メモリと、画像復号器が出力する画像データの雑音を検出する雑音検出器と、画像復号器が出力する画像データを所定の時間遅延させる遅延器と、雑音検出器の出力する雑音検出信号により遅延器が出力する画像信号の雑音を除去し、画像メモリ制御器の出力する書き込み調停信号にもとづき画像メモリへの書き込み要求を出力する雑音除去器とを備えている。

【００１５】これにより、以下のような作用がある。 画像復号器は１ブロック単位で１フレーム分の画像信号を第１の画像メモリに書き込み、読み出して伸張画像信号を出力する。 画像復号器が画像信号を書き込んでから読み出すまでに十分な時間があれば、その間に雑音検出器が書き込んだブロックの雑音を検出し、雑音があると判断すればそのブロックの画像信号を雑音検出器で雑音を検出するのに要した時間だけ遅延器で遅延させ雑音除去器で雑音を除去し同じ書き込みアドレスで再度画像メモリに書き込む。 よって画像メモリ上の画像信号は雑音除去されていて、その画像信号を最終的に画像復号器が読み出し出力する。 なお、画像メモリへの書き込みは画像復号器と雑音除去器のそれぞれの書き込み要求を画像メモリ制御器で調停し切り替える。 したがって雑音検出器、雑音除去器はどちらも画像メモリを必要とせず、増加する構成要素は遅延器、画像メモリ制御器のみでそれらの回路規模は十分に小さいので、全体の回路規模は非常に小さくなるという作用である。

【００１６】以下、本発明の実施の形態について、図面を用いて説明する。 （実施の形態１）以下、第１の発明における雑音除去装置として、本発明の実施の形態１を図面を参照しながら説明する。

【００１７】図１は本発明の実施の形態１による雑音除去装置の構成を示すブロック図である。 ただし、図４に示した従来の雑音除去装置と同じ構成要素には同一符号を付し、またその動作説明は省略する。

【００１８】例えば最小画像単位が１ブロックで原画像を圧縮した圧縮画像信号を伸張復号する画像復号器４０
１は、最終的には１ブロック単位で１フレーム分の画像信号を第１の画像メモリ４０５に書き込み、読み出して伸張画像信号を出力する。 よって第１の画像メモリ４０
５に書き込む時点で１ブロック分の画素が一時にそろっているので、雑音検出器１０１によりその１ブロック分の画素に対する雑音を検出する。 その結果１ブロックの画像信号に対して得られる１ビットの雑音状態データを画像復号器４０１が第１の画像メモリ４０５に画像信号を書き込むライトアドレスと同じライトアドレスで状態メモリ１０２に書き込み、画像復号器４０１が画像信号を第１の画像メモリ４０５から読み出すリードアドレスと同じリードアドレスで雑音検出器１０１が状態メモリ１０２から読み出せば、画像復号器４０１が出力する伸張画像信号と雑音検出器１０１が出力する雑音検出信号のタイミングは一致させることができ、雑音除去器としての雑音除去フィルタ４０４でそのまま雑音除去が可能である。

【００１９】状態メモリ１０２の記憶容量は１ブロックにつき１ビットで１フレーム分（水平方向３５２／８＝
４４ブロック、垂直方向２４０／８＝３０ブロックで計１３２０ブロック）を記憶すれば良いので１３２０ビットの記憶容量ですむ。

【００２０】（実施の形態２）以下、第２の発明における雑音除去装置として、本発明の実施の形態２を図面を参照しながら説明する。

【００２１】図２は本発明の実施の形態２による雑音除去装置の構成を示すブロック図である。 ただし、図４に示した従来の雑音除去装置と同じ構成要素には同一符号を付し、またその動作説明は省略する。

【００２２】例えば画像復号器２０１は１ブロック単位で１フレーム分の画像信号を画像メモリ４０５に書き込み、読み出して伸張画像信号を出力する。 画像復号器２
０１が画像信号を書き込んでから読み出すまでに十分な時間があれば、その間に雑音検出器２０２が書き込んだブロックの雑音を検出し、雑音があると判断すればそのブロックの画像信号を雑音検出器２０２で雑音を検出するのに要した時間だけ遅延器２０３で遅延させ雑音除去器としての雑音除去フィルタ２０４で雑音を除去し同じ書き込みアドレスで再度画像メモリ４０５に書き込む。

【００２３】よって画像メモリ４０５上の画像信号は雑音除去されていて、その画像信号を最終的に画像復号器２０１が読み出し出力する。 画像メモリ４０５への書き込みは、画像復号器２０１と雑音除去フィルタ２０４のそれぞれの書き込み要求を、画像メモリ制御器２０５で調停し切り替える。

【００２４】画像復号器２０１は、まず画像書き込み要求を画像メモリ制御器２０５に出し、雑音除去フィルタ２０４が書き込み要求を出しておらず、かつ同じリードアドレスで画像信号を画像メモリ４０５から読み出していなければ、画像復号器２０１の書き込み要求を受け付けライトイネーブルとライトアドレスにより画像信号を画像メモリ４０５に書き込む。 雑音除去フィルタ２０４
の書き込み要求に対しても同様である。 画像復号器２０
１と雑音除去フィルタ２０４の書き込み要求が重なる場合は画像復号器２０１の書き込み要求を優先し、その後雑音除去フィルタ２０４の画像信号を書き込む。 しかし画像復号器２０１が書き込み要求を出したときにすでに雑音除去フィルタ２０４の書き込み要求を受け付け書き込み中であれば、書き込み調停信号を画像復号器２０１
は受け取り再度書き込み要求を出す。 もちろんこのような書き込み調停のアルゴリズムは画像メモリのアクセススピード等のパラメータによって最適化されるべきものである。

【００２５】（実施の形態３）以下、第２の発明における雑音除去装置として、本発明の実施の形態３を図面を参照しながら説明する。

【００２６】図３は本発明の実施の形態３による雑音除去装置の構成を示すブロック図である。 ただし、図４に示した従来の雑音除去装置、及び図１に示した実施の形態１による雑音除去装置と同じ構成要素には同一符号を付し、またその動作説明は省略する。

【００２７】この実施の形態は、画像復号器３０１があるブロックの画像信号を画像メモリ４０５に書き込んでから、次の画像信号を書き込むまでの時間が比較的短いときのものである。 画像復号器３０１の書き込み要求と雑音除去器としての雑音除去フィルタ３０２の書き込み要求は、画像復号器３０１のものを優先するが、次々に画像復号器３０１が書き込み要求を出せば雑音除去フィルタ３０２は雑音除去した画像信号を画像メモリ４０５
に書き込めず、結局雑音除去した画像信号を蓄えておく別の画像メモリが必要になってしまう。

【００２８】そこで画像復号器３０１が画像信号を書き込む回数が少ない期間にメモリ読み出し要求を画像メモリ制御器３０３に出し、画像復号器３０１が画像信号を読み出していなければ雑音検出器１０１が状態メモリ１
０２から雑音状態データを読み出しているリードアドレスと同じリードアドレスで、画像メモリ４０５から画像信号を読み出す。 もし画像復号器３０１が読み出し中であれば読み出し調停信号を画像メモリ制御器３０３は出力するので再度メモリ読み出し要求を出す。 読み出した画像信号の雑音を雑音検出器１０１の出力にもとづき除去し、メモリ書き込み要求を出し画像メモリ４０５に書き込む。 これで画像メモリ４０５上の画像信号は雑音が除去されたものとなり、これを画像復号器３０１は読み出し伸張画像信号として出力する。

【００２９】図２の実施の形態２と比較すると遅延器２
０３がなくなる代わりに状態メモリ１０２が増え一般的に回路規模は増えてしまうが、画像メモリ４０５への画像信号書き込みの時間的余裕が大きくなりこの雑音除去装置の具現化方法の自由度は増す。

【００３０】

【発明の効果】以上のように第１の発明は、画像復号器が第１の画像メモリに書き込む時点で、１ブロック分の画素が一時的にそろっているので、これを用いて雑音を検出する。 その結果１ブロックの画像信号に対して得られる１ビットの雑音状態データを画像復号器が第１の画像メモリに画像信号を書き込むライトアドレスと同じライトアドレスで状態メモリに書き込み、画像復号器が画像信号を第１の画像メモリから読み出すリードアドレスと同じリードアドレスで雑音検出器が状態メモリから読み出せば、画像復号器が出力する伸張画像信号と雑音検出器が出力する雑音検出信号のタイミングは一致させることができ、雑音除去器でそのまま雑音除去が可能で遅延器は不要となる。 さらに、状態メモリの記憶容量は第２の画像メモリと比較すると規模は十分に小さい。

【００３１】また第２の発明は、画像復号器が画像信号を書き込んでから読み出すまでに十分な時間があれば、
その間に雑音検出器が書き込んだブロックの雑音を検出し、雑音があると判断すればそのブロックの画像信号を雑音検出器で雑音を検出するのに要した時間だけ遅延器で遅延させ雑音除去器で雑音を除去し同じ書き込みアドレスで再度画像メモリに書き込む。 よって画像メモリ上の画像信号は雑音除去されていて、その画像信号を最終的に画像復号器が読み出し出力する。 したがって雑音検出器、雑音除去器はどちらも画像メモリを必要とせず、
増加する構成要素は遅延器、画像メモリ制御器のみでそれらの回路規模は十分に小さいので、全体の回路規模は非常に小さくなる。

【００３２】このように、第１の発明及び第２の発明によれば雑音除去装置を具現化する際の回路規模を非常に小さくでき、従って大幅なコストダウンが可能で工業的価値は極めて大きい。

【図面の簡単な説明】

【図１】本発明の実施の形態１による雑音除去装置の構成を示すブロック図

【図２】同実施の形態２による雑音除去装置の構成を示すブロック図

【図３】同実施の形態３による雑音除去装置の構成を示すブロック図

【図４】従来の雑音除去装置の構成を示すブロック図

【図５】画像信号を圧縮符号化する際の原画像入力フォーマットの一例を示す図

【符号の説明】 １０１、２０２ 雑音検出器 １０２ 状態メモリ ２０１、３０１、４０１ 画像復号器 ２０３ 遅延器 ２０５、３０３ 画像メモリ制御器 ２０４、３０２、４０４ 雑音除去フィルタ ４０５ 画像メモリ