【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は適応フィルタ装置に係り、特に画像のノイズ除去に用いる適応フィルタ装置に関する。

【０００２】

【従来の技術】図５は従来の適応フィルタ装置の一例のブロック図を示す。 同図において、入力ディジタル画像信号はフレームメモリ４１に供給されて１フレーム分蓄積された後読み出されることにより、１フレーム遅延されて差分値演算回路４２及びフィルタ回路４３に供給される一方、遅延されることなく直接に差分値演算回路４
２及びフィルタ回路４３に供給される。

【０００３】差分値演算回路４２は、入力された１フレームの時間差のあるディジタル画像信号間の差分値を画素単位に演算し、演算した差分値をフィルタ回路４３に入力する。 フィルタ回路４３は入力された差分値に応じて、フレームメモリ４１から入力された１フレーム前の画素ｐｉｘ（０）と、フレームメモリ４１の入力側からの処理フレームの画素ｐｉｘ（１）とのミキシング値を可変することで、適応的な時間方向のノイズ除去を行って出力する。

【０００４】

【発明が解決しようとする課題】しかるに、上記の従来の適応フィルタ装置では、画素単位に静止しているかどうかの判定を行い、時間方向のフィルタ処理を行っているため、動画部分において時間方向のフィルタ処理がかからず、動画部分の時間方向のノイズが除去されないという問題がある。 特に、フィルタ回路４３の後段の処理部が画像圧縮処理部である場合、動画部分の時間方向のノイズにより符号量が消費されたり、十分な符号量の余裕がない場合は、視覚上の画質の劣化を起こしていた。

【０００５】また、シーンチェンジの場合、シーンチェンジ前の画像と後の画像とでは、フレーム間の相関が存在しないため、殆どフィルタ処理が行われていなかった。 同様に、画像内のある物体により隠されている別の物体や、画像外の物体が画像内に現れた場合も、時間方向のフィルタ処理が行われなかった。

【０００６】また、多くの画像は、撮影されてからコンポーネント信号としてフィルタ処理を行われるまでの間で、編集等の便宜上コンポジット変換される場合が多く、このコンポジット信号をコンポーネント信号に変換する際、輝度信号とその高周波数領域に帯域共用多重化されている搬送色信号とのＹＣ分離が完全にできず、４
フィールド単位で位相が変化する搬送色信号成分（色差信号成分）が、輝度信号成分に混入する場合がある。 この場合、図５の従来の適応フィルタ装置のように１フレーム間隔のみで時間方向のフィルタをかけると、通常のノイズだけでなく、位相の異なる搬送色信号成分の輝度信号成分への混入によるノイズのため、十分なフィルタをかけることが困難である。

【０００７】本発明は、以上の点に鑑みなされたもので、ノイズ除去を効率的に行い得る適応フィルタ装置を提供することを目的とする。

【０００８】また、本発明の他の目的は、１フレーム間の相関が無い入力画像に対しても時間方向のフィルタ処理を行い得る適応フィルタ装置を提供することにある。

【０００９】更に、本発明の他の目的は、コンポジット信号をコンポーネント信号に変換した際の搬送色信号成分の輝度信号成分への混入によるノイズを除去し得る適応フィルタ装置を提供することにある。

【００１０】

【課題を解決するための手段】上記の目的を達成するため、本発明は、入力画像データを少なくとも９フィールド以上記憶する第１の記憶回路と、第１の記憶回路から読み出した処理画像データと、これより４フィールド前後それぞれ異なる画像データとからそれぞれブロック単位で求めた動きベクトルの中から相関の強い方の動きベクトルを検出動きベクトルとして決定し、この検出動きベクトルに対応した画像データを第１の記憶回路から参照画像データとして読み出し、この参照画像データと処理画像データとを画素単位で差分値を求め、その差分値に応じて処理画素と参照画素とのミキシング値を可変するフィルタ処理を行って出力する第１のフィルタ処理回路と、第１のフィルタ処理回路の出力画像データを少なくとも５フィールド以上記憶する第２の記憶回路と、第２の記憶回路から読み出した処理画像データと、これより２フィールド前後それぞれ異なる画像データとからそれぞれブロック単位で求めた動きベクトルの中から相関の強い方の動きベクトルを検出動きベクトルとして決定し、この検出動きベクトルに対応した画像データを第２
の記憶回路から参照画像データとして読み出し、この参照画像データと処理画像データとを画素単位で差分値を求め、その差分値に応じて処理画素と参照画素とのミキシング値を可変するフィルタ処理を行って出力する第２
のフィルタ処理回路とを有することを特徴とする。

【００１１】図２は本発明の原理図を示す。 簡単化のため、静止部分での原理について説明する。 各フィールドの輝度信号Ｆｉ（ｉはフィールド単位の数値）には、画像成分Ｆ（第１フィールドがＦｅ、第２フィールドがＦ
ｏ）とノイズ成分Ｎｉ（ｉはフィールド単位の数値）と搬送色信号（変調色差信号）の廻り込みノイズ（クロマノイズ）Ｃｉが存在し、それぞれ以下のように表される。

【００１２】Ｆ０＝Ｆｅ＋Ｎ０＋Ｃ０ Ｆ１＝Ｆｏ＋Ｎ１＋Ｃ１ Ｆ２＝Ｆｅ＋Ｎ２＋Ｃ２ Ｆ３＝Ｆｏ＋Ｎ３＋Ｃ３ Ｆ４＝Ｆｅ＋Ｎ４＋Ｃ４ Ｆ５＝Ｆｏ＋Ｎ５＋Ｃ５ Ｆ６＝Ｆｅ＋Ｎ６＋Ｃ６ Ｆ７＝Ｆｏ＋Ｎ７＋Ｃ７ よって、従来のフィールド間差分では、 Ｆ０−Ｆ１＝Ｆｅ−Ｆｏ＋Ｎ０−Ｎ１＋Ｃ０−Ｃ１ となり、ノイズ成分以外に、フィールド間誤差（Ｆｅ−
Ｆｏ）と搬送色信号成分による廻り込み誤差（Ｃ０−Ｃ
１）が存在し、フレーム間差分では Ｆ０−Ｆ２＝Ｆｅ−Ｆｅ＋Ｎ０−Ｎ２＋Ｃ０−Ｃ２ となり、搬送色信号成分による廻り込み誤差（Ｃ０−Ｃ
２）が存在するため、ノイズ成分による適応処理に支障をきたす場合がある。

【００１３】ところが、搬送色信号成分は、周知のように４フィールド周期を持つため、互いに４フィールド離れた搬送色信号成分の廻り込みノイズＣｉとＣ（ｉ＋
４）とはほぼ同一のノイズと考えられるため、本発明では、第１のフィルタ処理回路において、第１の記憶回路から読み出した処理画像データと、これより４フィールド前後それぞれ異なる画像データとからそれぞれブロック単位で求めた動きベクトルの中から相関の強い方の動きベクトルを検出動きベクトルとして決定し、この検出動きベクトルに対応した画像データを第１の記憶回路から参照画像データとして読み出し、この４フィールド異なる参照画像データと処理画像データとを画素単位で差分値を求める。

【００１４】すなわち、上記の参照画像データと処理画像データとの４フィールド間の差分値Ｆ０−Ｆ４は Ｆ０−Ｆ４＝Ｆｅ−Ｆｅ＋Ｎ０−Ｎ４＋Ｃ０−Ｃ４ ＝Ｎ０−Ｎ４ となり、搬送色信号成分による廻り込み誤差を除去した差分値を得ることができる。 これを用いた単純加算によるフィルタ処理による画像をＦｉ'とすると、ノイズ成分は√２／２倍になるため、 Ｆ０'＝Ｆｅ＋（√２／２）Ｎ０＋Ｃ０ Ｆ１'＝Ｆｏ＋（√２／２）Ｎ１＋Ｃ１ Ｆ２'＝Ｆｅ＋（√２／２）Ｎ２＋Ｃ２ Ｆ３'＝Ｆｏ＋（√２／２）Ｎ３＋Ｃ３ Ｆ４'＝Ｆｅ＋（√２／２）Ｎ４＋Ｃ４ となる。 これが第１のフィルタ処理回路から出力されて第２の記憶回路に記憶される。

【００１５】第２のフィルタ処理回路においては、第２
の記憶回路から読み出した処理画像データと、これより２フィールド前後それぞれ異なる画像データとからそれぞれブロック単位で求めた動きベクトルの中から相関の強い方の動きベクトルを検出動きベクトルとして決定し、この検出動きベクトルに対応した画像データを第２
の記憶回路から参照画像データとして読み出し、この参照画像データと処理画像データとを画素単位で差分値を求める。

【００１６】すなわち、上記の参照画像データと処理画像データとの２フィールド間の差分値は Ｆ０'−Ｆ２'＝（√２／２）（Ｎ０−Ｎ２）＋Ｃ０−
Ｃ２ となり、ノイズ成分が前記（Ｆ０−Ｆ２）の値よりも減少している。

【００１７】更に、第２のフィルタ処理回路において、
２フィールド間の単純加算によるフィルタ処理により得られる画像をＦｉ”とすると、ｉ＝０の場合 Ｆ０”＝Ｆｅ＋（１／２）Ｎ０＋（Ｃ０＋Ｃ２）／２ となるが、２フィールド間の搬送色信号成分による廻り込みノイズＣ０とＣ２は１８０度位相が異なるので、符号が逆であることから両者は相殺され、よって上式は Ｆ０”＝Ｆｅ＋（１／２）Ｎ０ と書き改めることができる。従って、この発明では、搬送色信号成分の廻り込みノイズが消去され、ノイズが１
／２に減少した良好な画像を第２のフィルタ処理回路から得ることができる。

【００１８】

【発明の実施の形態】次に、本発明の実施の形態について図面と共に説明する。

【００１９】図１は本発明になる適応フィルタ装置の一実施の形態のブロック図を示す。 同図に示す適応フィルタ装置は、第１のフィルタ部１０と第２のフィルタ部２
０とが縦続接続された構成である。 第１のフィルタ部１
０は入力ディジタル画像信号を１０フィールド分蓄積するフィールドメモリ１１と、フィールドメモリ１１からの信号から動きベクトルを検出する動きベクトル検出回路（ＭＥ部）１２と、動きベクトル検出回路１２の出力検出信号に応じてフィールドメモリ１１から参照画像データを読み出す動き補償回路（ＭＣ部）１３と、フィールドメモリ１１の出力画像データを動き補償回路１３からの参照画像データに応じて画素単位でミキシング値を可変するフィルタ処理を行う時間フィルタ１４とから構成されている。

【００２０】第２のフィルタ部２０は第１のフィルタ部１０と同様に、フィールドメモリ２１、動きベクトル検出回路２２、動き補償回路２３及び時間フィルタ２４から構成されており、それらの動作も第１のフィルタ部１
０と同様であるが、フィールドメモリ２１の蓄積フィールド数はフィールドメモリ１１とは異なり、６フィールドである点に特徴がある。

【００２１】次に、この実施の形態の動作について、図３に示す処理の流れ図と共に説明する。 なお、図３中、
図１と同一構成部分には同一符号を付してある。 図１において、輝度信号Ｆｉと色差信号からなる入力ディジタル画像信号（画像データ）はフィールドメモリ１１に入力されてここで連続する１０フィールド分が順次に蓄積される。

【００２２】図３には、フィールドメモリ１１に丁度１
１フィールド目の画像データＦ１−１１が書き込み終った状態を示しており、それより１１フィールド前の画像データＦ１−１は既に処理が終りフィールドメモリ１１
から消去されており、フィールドメモリ１１にはＦ１−
２〜Ｆ１−１１の計１０フィールド分の画像データが格納されている。 この状態のとき、第１のフィルタ部１０
の処理画像データはＦ１−６であり、第１のフィルタ部１０内の動きベクトル検出回路１２、動き補償回路１３
及び時間フィルタ１４からなる、図３のフィルタ処理回路１６により処理画像データに対するフィルタ処理が行われる。

【００２３】すなわち、動きベクトル検出回路１２は上記の処理画像データＦ１−６と、それに対して前に４フィールド離れた画像データＦ１−２と、後ろに４フィールド離れた画像データＦ１−１０の各輝度信号のみをそれぞれ参照画像データとして、フィールドメモリ１１から読み出す。

【００２４】そして、動きベクトル検出回路１２は処理画像を縦方向１６画素、横方向１６画素の、いわゆる１
６×１６画素（以下、ブロックと記す）に分割し、このブロック単位に上記の参照画像データＦ１−２との間で動きベクトルとその評価値を求め、同様に、もう一つの参照画像データＦ１−１０との間でも動きベクトルとその評価値を求める。 更に、動きベクトル検出回路１２はブロック単位に２個ずつ求まった動きベクトルのうち、
評価値の良い方（相関が強い方）をそのブロックの動きベクトルとして決定し、それを動き補償回路１３へ出力する。

【００２５】動き補償回路１３は、動きベクトル検出回路１２により検出された動きベクトルに対応する参照画素を、輝度信号と色差信号共にフィールドメモリ１１中の２フレーム前後の画像（Ｆ１−２又はＦ１−１０）より読み出す。 時間フィルタ１４は、処理画像データＦ１
−６をフィールドメモリ１１より読み出し、動き補償回路１３から送られてくる上記の動きベクトルに対応する参照画像データ（Ｆ１−２又はＦ１−１０）との差分を画素単位で求め、例えばその差分値が予め設定した閾値以下のときは処理画素と参照画素の単純加算を行い、閾値より大であるときは処理画素に参照画素を加算しないなどの、処理画素と参照画素のミキシング値を変えるフィルタ処理を行う。 これにより、時間フィルタ１４からは、前記Ｆｉ'で表される画像データが出力される。

【００２６】第２のフィルタ部２０内のフィールドメモリ２１は、第１のフィルタ部１０より出力された上記の画像データが供給されて、連続する６フィールド分を順次に蓄積する。 図３には、フィールドメモリ２１に丁度６フィールド目の画像データＦ２−６が書き込み終った状態を示しており、Ｆ２−１〜Ｆ２−６の計６フィールド分の画像データが格納されている。

【００２７】この状態のとき、第２のフィルタ部２０の処理画像データはＦ２−３であり、第２のフィルタ部２
０内の動きベクトル検出回路２２、動き補償回路２３及び時間フィルタ２４からなる、図３のフィルタ処理回路２６により処理画像データに対するフィルタ処理が行われる。

【００２８】すなわち、動きベクトル検出回路２２は上記の処理画像データＦ２−３と、それに対して前に２フィールド離れた画像データＦ２−１と、後ろに２フィールド離れた画像データＦ２−５の各輝度信号のみをそれぞれ参照画像データとして、フィールドメモリ２１から読み出す。

【００２９】そして、動きベクトル検出回路２２は処理画像をブロックに分割し、このブロック単位に上記の参照画像データＦ２−３との間で動きベクトルとその評価値を求め、同様に、もう一つの参照画像データＦ２−５
との間でも動きベクトルとその評価値を求める。 更に、
動きベクトル検出回路２２はブロック単位に２個ずつ求まった動きベクトルのうち、評価値の良い方（相関が強い方）をそのブロックの動きベクトルとして決定し、それを動き補償回路２３へ出力する。

【００３０】動き補償回路２３は、動きベクトル検出回路２２により検出された動きベクトルに対応する参照画素を、輝度信号と色差信号共にフィールドメモリ２１中の２フィールド前後の画像（Ｆ２−１又はＦ２−５）より読み出す。 時間フィルタ２４は、処理画像データＦ２
−３をフィールドメモリ２１より読み出し、動き補償回路２３から送られてくる上記の動きベクトルに対応する参照画像データ（Ｆ２−１又はＦ２−５）との差分を画素単位で求め、例えばその差分値が予め設定した閾値以下のときは処理画素と参照画素の単純加算を行い、閾値より大であるときは処理画素に参照画素を加算しないなどの、処理画素と参照画素のミキシング値を変えるフィルタ処理を行う。

【００３１】これにより、時間フィルタ２４からは、前記Ｆｉ”で表される画像データが出力される。従って、
この第２のフィルタ部２０の出力画像データは、搬送色信号成分の廻り込みによるノイズが除去され、またノイズが１／２に減少した良好な画像を示す。

【００３２】なお、本発明は上記の実施の形態に限定されるものではなく、例えば図４に示す如く、フィールドメモリ３１、動きベクトル検出回路３２、動き補償回路３３及び時間フィルタ３４よりなる、第１のフィルタ部１０と第２のフィルタ部２０を共用した構成とすることもできる。 この場合、時間フィルタ３４の出力画像データをフィールドメモリ３１へも入力できるように構成される。

【００３３】また、動きベクトルの誤検出防止のため、
時間フィルタにて行う動き補償処理による参照画素と処理画素との差分による時間フィルタ処理だけでなく、ベクトルを０とした画素も参照画素として差分を求め、差分の絶対値の小さな方によりフィルタ処理を行うことも可能である。

【００３４】

【発明の効果】以上説明したように、本発明によれば、
４フィールド前後あるいは２フィールド前後処理画像に対して異なる２つの画像データから相関の強い方の動きベクトルをブロック単位で検出し、検出した動きベクトルに対応した参照画素と処理画素との差分値を求め、その差分値に応じて参照画素の処理画素に対するミキシング値を可変するようにしたため、静止部分だけでなく動いている部分にも時間方向のフィルタ処理を行うことができ、ノイズ除去を効率的に行うことができる。

【００３５】また、本発明によれば、処理画像データと４フィールド前後あるいは２フィールド前後の画像データとを比較し、相関の強い方を動きベクトルとして検出するようにしたため、画像中の物体に隠れていた部分や画像外にある部分が画像内に現れた場合、更にはシーンチェンジ後の画像に関しても、時間方向のフィルタ処理ができる。

【００３６】更に、本発明によれば、４フィールド前後の参照画素と処理画素との差分値を求め、その差分値に応じて参照画素の処理画素に対するミキシング値を可変するフィルタ処理を行うようにしたため、コンポジット信号をコンポーネント信号に変換した際に発生する搬送色信号成分による廻り込み誤差を除去した差分値を得ることができ、従来に比しよりノイズの少ない画像データを出力することができる。

【図面の簡単な説明】

【図１】本発明の一実施の形態のブロック図である。

【図２】本発明の原理説明図である。

【図３】図１の処理の流れ図である。

【図４】本発明の他の実施の形態のブロック図である。

【図５】従来の一例のブロック図である。

【符号の説明】 １０ 第１のフィルタ部 １１ フィールドメモリ（第１の記憶回路） １２ 第１の動きベクトル検出回路 １３ 第１の動き補償回路 １４ 第１の時間フィルタ １６ 第１のフィルタ処理回路 ２０ 第２のフィルタ部 ２１ フィールドメモリ（第２の記憶回路） ２２ 第２の動きベクトル検出回路 ２３ 第２の動き補償回路 ２４ 第２の時間フィルタ ２６ 第２のフィルタ処理回路 ３１ フィールドメモリ ３２ 動きベクトル検出回路 ３３ 動き補償回路 ３４ 時間フィルタ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 園田 公一 神奈川県横浜市神奈川区守屋町３丁目12番 地 日本ビクター株式会社内 (72)発明者 藤井 毅也 神奈川県横浜市神奈川区守屋町３丁目12番 地 日本ビクター株式会社内