【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は静止画像データを符号化したり、復号化したりする画像符号化復号化装置に関する。

【０００２】

【従来の技術】画像データを記憶・伝送する場合にデータ圧縮技術の利用が図られている。 その中で、静止画像の圧縮はＩＳＯとＣＣＩＴＴの共同作業によってＪＰＥ
ＧJoint Photographic Experts Group）方式と呼ばれる画像符号化方式が国際基準として規格化されている。 静止画を扱う多くの商品分野ではこの標準（ＪＰＥＧ）方式が広く採用されつつある。 図８はこのＪＰＥＧ方式によって構成した画像符号化復号化装置の例を示す回路ブロック図である。 画像符号化装置１９では画像符号化回路１７によって入力画像データがＪＰＥＧ方式で符号化され、この符号化画像データはデータ多重化回路１５によって補助情報と多重化される。 この多重化符号列は通信系または蓄積系メディア１２を経由して画像復号化装置２０に入力すると、データ分離回路１６で補助情報と符号化画像データに分離される。 分離された符号化画像データは画像復号化回路１８によって伸長され出力画像データと補助情報とが出力される。

【０００３】上記従来の標準方式を採用した画像符号化復号化装置においては、標準規格を採用することによって画像データは同じ方式で符号化されることから異なる機種，メーカ間においても符号化された画像データの互換性が保証される。 そのため多くのアプリケーションに共通に利用できる利点や、それに伴って符号化，復号化のための装置が数多く生産されることから製品コストが低下するという利点がある。 反面、標準化された方式で符号化された画像は標準方式の持つ符号化特性に拘束されているので、特定の用途にだけ独自に符号化されたものを適用することは困難である。

【０００４】

【発明が解決しようとする課題】そこで、上述の従来例による符号化装置ではなく、２つの符号化手段を画像の性質に応じて切り替えるという符号化方式が提案されている（特開平２−７６４７６）。 これは、比較的圧縮率の低い第１の符号化手段と、比較的圧縮率の高い第２の符号化手段とを備え、入力画像に関して細かく変化する領域には第１の符号化手段を用いて符号化し、変化の度合いが少ない領域は第２の符号化手段を用いて符号化するように構成されている。 この装置によれば、画質劣化を少なくして高い圧縮率を得ることができる。

【０００５】そして、画像の局所的な性質に応じて符号化方式を切り替えて使用できることから、１画面すべてを同じ符号化方式で画像を符号化するＪＰＥＧよりも画質面で優れた効果を有している。 しかしながら、この符号化方式では他の符号化方式（ＪＰＥＧ方式）との互換性がない。 そのため、利用者は符号化データを種々の装置で広く利用することができず、他の装置に転用できないという欠点があった。 本発明の目的は広く普及した標準方式と互換性を持ち、しかも画像の局所的な性質に応じて符号化特性を可変にすることにより標準方式による符号化結果より優れた画像品質を得ることができる画像符号化復号化装置を提供することにある。

【０００６】

【課題を解決するための手段】前記目的を達成するために本発明による画像符号化装置は入力画像情報を圧縮する第１の画像符号化手段と、前記第１の画像符号化手段が生成した第１の圧縮画像情報を伸長する画像復号化手段と、前記入力画像情報と前記画像復号化手段で伸長した画像情報との差分を求める画像差分手段と、前記画像差分手段が生成した差分画像情報を前記第１の画像符号化手段とは異なる圧縮方式で圧縮する第２の画像符号化手段と、前記第１の圧縮画像情報と、前記第２の画像符号化手段が生成した第２の圧縮画像情報と、入力画像情報に関連した補助情報を多重化し画像符号列を生成するデータ多重化手段とから構成されている。 また、本発明による画像復号化装置は、前記第１の圧縮画像情報と、
前記第２の画像情報符号化手段が生成した第２の圧縮画像情報と、入力画像情報に関連した補助情報を分離するデータ分離手段と、前記第１の圧縮画像を伸長する第１
の画像復号化手段と、前記第２の圧縮画像を前記第１の画像復号化手段とは異なる伸長方式で伸長する第２の画像復号化手段と、前記第１の画像復号化手段が生成した第１の伸長画像情報と前記第２の画像復号化手段が生成した第２の伸長画像情報を加算する加算手段とから構成されている。

【０００７】

【作用】上記構成によれば、標準方式の画像符号化復号化もできるので、利用者の利便性を損なうことなく符号化復号化における画質の向上を図ることができる。

【０００８】

【実施例】以下、図面を参照して本発明をさらに詳しく説明する。 図１は本発明による画像符号化復号化装置の実施例を示すブロック図である。 画像符号化装置１０は標準方式（ＪＰＥＧ方式）で入力画像データを圧縮する第１の画像符号化回路１と、この第１の画像符号化回路１が生成した圧縮画像データを伸長する画像復号化回路３と、この画像復号化回路３の伸長画像データと入力画像データとの差分を求める差分回路４と、差分回路４の差分画像データを独自の圧縮方式で圧縮する第２の画像復号化回路２と、第１の画像復号化回路１が生成した圧縮画像データと第２の画像符号化回路２が生成した圧縮画像データと入力画像データに関連した補助情報とを多重化して一連の符号列を生成するデータ多重化回路５より構成されている。

【０００９】画像復号化装置１１は一連の符号列を、第１の画像復号化回路７に入力する圧縮画像データと第２
の画像復号化回路８に入力する圧縮画像データと入力画像データに関連した補助情報に分離するデータ分離回路６と、データ分離回路６が分離した第１の圧縮画像データを標準方式で伸長する第１の画像復号化回路７と、データ分離回路６が分離した第２の圧縮画像データを独自の方式で伸長する第２の画像復号化回路８と、第１および第２の画像復号化回路７および８の伸長画像データを加算する加算回路９より構成されている。 加算回路９より出力される画像データは図示しない画像表示回路によって表示されたり、図示しない画像プリント装置によって印刷されたりする。 さらに図示しない画像情報処理装置によって各種の応用分野に利用される。 データ多重化回路５の出力とデータ分離回路６の入力の間は通信系または蓄積系メディア１２によって結合されている。

【００１０】ここで第１の画像符号化回路１および第１
の画像復号化回路７に採用している国際規格のＪＰＥＧ
方式について説明する。 ＪＰＥＧ方式は１９９２年に勧告としてＩＳＯから発行される画像圧縮方式で、主として３通りの方式が勧告されている。 そのうち、ベースラインと呼ばれる最も基本的な符号化方式は早い時期に規格が固まっていたために既に多くの分野で利用されており、例えば、画像データベース，画像通信装置，電子スチルカメラ等で採用されている。 以降の説明のＪＰＥＧ
方式とはこのベースライン方式を指すものとする。

【００１１】図５は第１の画像符号化回路１を構成するＪＰＥＧ方式の詳細を示す回路ブロック図である。 入力画像データは８×８の画素からなる画像ブロック１ａに細分され、それぞれのブロック化された画像データ毎にＤＣＴ（離散コサイン変換）１ｂによって周波数領域のデータに変換される。 変換された周波数領域データも同様に８×８の配列になっているが、周波数領域変換データは量子化テーブル１ｃと呼ばれる８×８の各要素毎に対応した量子化値によって量子化される（１ｄ）。 有意（０でない）となった量子化後の周波数領域データはＶ
ＬＣ（Variable Length Corder）テーブル１ｅを参照するＶＬＣ１ｆによってジクザグ操作とランレングス符号によってその情報量が削減され、可変長符号によって圧縮される。

【００１２】このＪＰＥＧ方式は８×８のブロック単位に画像を符号化しているので、復号化したときにブロックノイズと呼ばれる桝目状のノイズが生じやすく、また、ＤＣＴ方式に特有のモスキートノイズと呼ばれるノイズが画像の輪郭の付近に生じやすい。 しかし、画像情報の圧縮率に対する画像内の平均歪みは他の方式に比較し少なく、また、主観評価においても優れている。 上記ブロックノイズやモスキートノイズ等は特に高い画像品質を目的とした用途に対しては大きな妨害となり、これらのノイズをいかに少なくして復号時の画像品質を高くするかが重要である。 しかし、ＪＰＥＧ方式に代表される標準方式による符号化ではその方式に依存した画像品質の劣化は避けがたく、高画質化の障害となっていた。

【００１３】そこで、図１に示すように標準方式で符号化した第１の画像符号化回路１の圧縮データは局部復号化回路３に入力される。 図６は局部画像復号化回路３の詳細を示す回路図である。 圧縮画像データはＶＬＤ（Va
riable Length Decorder）３ｂで元の長さの符号長にされ伸長される。 ＶＬＤ３ｂはＶＬＤテーブル３ａを参照することにより伸長動作を行う。 伸長された画像データは逆量子化器３ｄで逆量子化される。 逆量子化器３ｄは量子化テーブル３ｃを参照して逆量子化動作を行う。 逆量子化されたデータはさらに逆ＤＣＴ３ｅで逆ＤＣＴ操作が行われる。 このような動作によって局部画像復号化回路３は入力画像データに極めて近い値を持つ局部伸長画像データを出力する。

【００１４】なお、第１の画像符号化回路１と局部画像復号化回路３を一体化構成にすることも可能である。 図７はそのように一体化した場合の各機能部の構成を示す回路ブロック図である。 この例は第１の画像符号化回路１と局部画像復号化回路３を別個に構成した場合に比較しＶＬＤならびに１つの量子化テーブルおよびＶＬＣテーブルを削減でき、回路構成が単純となる。 図７において、ブロック化部１３ａからＶＬＣ１３ｆまでの構成は図５のブロック化部１ａからＶＬＣ１ｆまでの構成と同一である。 量子化器１３ｄの出力には上記構成に加えて量子化テーブル１３ｃを共通に参照する逆量子化器１３
ｇが接続され、さらに逆ＤＣＴ１３ｈが接続されている。 逆ＤＣＴ１３ｈからは図６の出力と同様の出力が得られる。

【００１５】つぎに上記局部画像復号化回路３によって復号化された局部伸長画像データは差分回路４に入力される。 差分回路４は入力画像データとの減算を行い、その結果第１の画像符号化回路１によって発生した符号化誤差データが算出される。 この符号化誤差データは第２
の画像符号化回路２に入力され、ＪＰＥＧ方式とは異なる独自の符号化方式で符号化され、第２の符号化画像データが生成される。 第２図は第２の画像符号化回路の詳細を示す回路ブロック図である。 符号化誤差データは不感領域付きの線形量子化器２ｃで量子化される。 制御部２ａは入力画像データを基に画像の位置によって処理を与えるための回路である。 例えば、顔の周辺部分の画像データに対し上記量子化処理を行わせる。 線型量子化器２ｃで量子化されたデータはＶＬＣ２ｄでランレングス符号と可変長符号を組み合わせた符号化方式で符号化される。 なお、ＶＬＣ２ｄにかえて適応差分符号化方式で符号化して出力すべき情報量を削減することもできる。

【００１６】データ多重化回路５では第１の画像符号化回路１が符号化した画像データと、第２の画像符号化回路２が符号化した画像データと、入力画像データに関連した補助情報、例えば、画像を作成した日付，画像の解像度，関連した音声情報等が多重化され、多重化符号列が生成される。 この多重化符号列は通信系または蓄積系メディア１２に送出される。

【００１７】上記通信系または蓄積系メディア１２を通った多重化符号列は画像復号化装置１１で基の画像データに復元される。 多重化符号列はまずデータ分離回路６
によって第１の画像復号化回路に入力する第１の符号化画像データと、第２の画像復号化回路に入力する第２の符号化画像データと、入力データに関連した補助情報に分離される。 第１の符号化画像データは図６に示すＪＰ
ＥＧ方式の第１の画像復号化回路７に入力され、復号化される。 第２の符号化画像データは第２の画像復号化回路８に入力され、同様に復号化される。 図３は第２の画像復号化回路８の詳細を示す回路ブロック図である。 図３において、ＶＬＤ８ｃおよび逆量子化器８ｄは図２の量子化器２ｃおよびＶＬＣ２ｄとは逆の変換動作を行い、復号化する。 制御部８ｂは図２の制御部２ａと同様、画像の特定位置を逆量子化させるための回路である。 このようにして復号化された第１と第２の復号化画像データは加算回路９において加算され、復号画像データとして出力される。

【００１８】上記画像復号化装置１１は当該画像符号化装置１０によって生成された多重符号列に対し復号化する場合を説明したが、本実施例によらない他の符号化装置によって生成された多重化符号列であっても画像復号化装置１１は正常に復号化動作を行う。 これとは逆に画像符号化装置１０によって多重化符号化列を生成し、その符号化列を他の復号化装置で復号化してもその他の復号化装置は正常に動作を行う。

【００１９】図４は多重化符号列の構造を示す図である。 多重化符号列１４はファイルの属性情報、例えば音声，画像，テキストデータの種別を記録したヘッダ情報領域１４ａ，補助情報を記録した補助情報領域１４ｂ，
各メーカまたは装置ごとに決められた独自情報を記録した独自情報領域１４ｃおよび符号化された画像データが記録される圧縮画像情報領域１４ｄから成り立っている。 本実施例では第２の符号化画像データは独自情報領域１４ｃに格納されている。 また、標準方式の画像情報は圧縮画像領域１４ｄに格納されている。 図１の画像復号化装置１１はデータ分離前に入力データが圧縮画像データであるか否かをヘッダ情報を読み込んで判定し、そうであれば続いて各情報を分離して補助情報，独自情報を読み込む。 さらに圧縮画像情報を読み込む。 標準化方式による画像符号化装置が生成する圧縮画像情報が送られてきた場合には第２の符号化画像データが存在しない。 また、独自情報は存在するが解釈できない情報の場合には第２の符号化画像データが存在しないとして復号化動作を行い、標準方式で符号化された画像を再生することができる。

【００２０】なお、復号化装置が本実施例とは異なる画像復号化装置（例えば、図８の画像復号化装置２０）の場合、上記同様ヘッダ情報により圧縮画像データであるか否かを判定し、その結果圧縮画像データであるときには、補助情報，独自情報を読み込むが、独自情報には第２の符号化画像データが格納され取り扱うことができないので、読み飛ばすこととなる。 しかし、圧縮画像情報領域１４ｄには標準方式によって符号化されている圧縮データが格納されているので復号化することができる。
この画像復号化装置によって復号化された画像の品質は本発明による画像復号化装置によって第１の符号化画像データと第２の符号化画像データの両方を用いて復号化した画像の品質より劣る。

【００２１】

【発明の効果】以上、説明したように本発明による画像符号化装置は標準方式の画像復号化装置との互換性を確保した装置であり、かつ入力画像情報を標準方式で符号化した画像データを復号化することにより標準方式で符号化したとき発生する誤差を含む情報を得、入力画像情報と減算を行うことにより符号化誤差データを抽出し、
この符号化誤差データを独自の符号化方式で符号化し、
標準化方式で符号化した画像データ，補助情報と多重化し多重化符号列を生成して高品質の画像符号化を行うように構成されている。 また、画像復号化装置は標準方式の符号化画像データを復号化できるとともに符号化誤差データを復号化しこの復号化画像データを標準方式で復号化した画像データに加えることにより高品質の画像データを復号化するように構成されている。 したがって、
本発明によれば、標準方式の画像データの符号化復号化ができ利便性を確保できるとともに従来に比較し優れた画像品質で符号化復号化できるという効果を有する。

【図面の簡単な説明】

【図１】本発明による画像符号化復号化装置の実施例を示すブロック図である。

【図２】図１の第２の画像符号化回路の詳細を示す図である。

【図３】図１の第２の画像復号化回路の詳細を示す図である。

【図４】多重化符号列の構成の一例を示す図である。

【図５】図１の標準（ＪＰＥＣ）による第１の画像符号化回路の詳細を示す図である。

【図６】図１の標準（ＪＰＥＣ）による画像復号化回路の詳細を示す図である。

【図７】第１の画像符号化回路と画像復号化回路を一体化した回路の詳細を示す図である。

【図８】従来の画像符号化復号化装置の一例を示すブロック図である。

【符号の説明】

１…第１の画像符号化回路 ２…第２の画像符号化回路 ３…局部画像復号化回路 ４…差分回路 ５，１５…データ多重化回路 ６，１６…データ分離回路 ７…第１の画像復号化回路 ８…第２の画像復号化回路 ９…加算回路 １０，１９…画像符号化装置 １１，２０…画像復号化装置 １２…通信系または蓄積系メディア １３…画像符号化復号化回路 １４…多重化符号列 １７…画像符号化回路 １８…画像復号化回路