本発明は、対局装置に送信したパケットデータに誤りが生じた場合に、エラーの伝播を防ぐための処理により画質劣化を抑えるためのマルチメディアデータ通信方法及びその通信方法を用いた装置に関するものである。

従来のマルチメディアデータ通信方法及び装置では、送信されたパケットデータに誤りが発生した場合、送信したパケットデータに誤りが発生したことが判明した時点以降の画像データをその画像データ自身のデータのみで復号可能なフレーム内符号化を行なうことで、対局装置において復号した画像データにエラーが伝播することを防いでいる（例えば、特許文献１参照）。 このフレーム内符号化は、フレームの相関を利用するフレーム間予測符号化よりも符号量が増加する。

特開２００３−２３６３９号公報（第９頁、第３図）

しかし、通常、通信路の通信レートは一定のため、フレーム内符号化を頻繁に行なうと、送信時の通信レートを一定に保つために、フレーム内符号化を行なった画像データを除く画像データに割り当てる符号量を減少させる、またはフレーム内符号化の際に圧縮率を上げて符号化するといった方法がとられることになり、画質劣化が起きてしまう。

上記課題を解決するために、本発明第１のマルチメディアデータを通信する方法および装置において、対局装置から再送を要求されているパケットデータのパケット順序番号と前記順序番号・位置情報から画像ブロック位置を導出し、前記画像ブロック位置をフレーム内符号化することを特徴とするものである。

また、本発明第２のマルチメディアデータを通信する方法および装置において、本発明第１のマルチメディアデータを通信する方法に加えて、画像データから特徴領域を抽出し、前記導出した画像ブロック位置が特徴領域であるときに前記画像ブロック位置の画像ブロックをフレーム内符号化することを特徴とするものである。

符号量が増大するフレーム内符号化の対象領域を限定し符号量の増大を抑えるために、各画像データに割り当てられる符号量をほぼ一定の割合で確保でき、極端な画質劣化を抑えることができる。

これより、本発明の第１の実施の形態について図面を用いて説明を行なう。

（実施の形態１）
図１は、本発明の第１の実施の形態であるマルチメディアデータ通信装置のブロック図で、図２は本発明の第１の実施の形態であるマルチメディアデータ通信装置におけるマルチメディアデータ送信方法、図３はマルチメディアデータ受信方法、図４は図２におけるステップＳ２０２の符号化方法のそれぞれの処理の流れ図である。

本発明の第１の実施の形態であるマルチメディアデータ通信装置の構成について図１を用いて説明する。

画像入力部１３１は、ビデオカメラ、ＶＴＲなどの画像データを入力する装置を入力する装置である。 マルチメディアデータ通信装置の送信部１００において、画像符号化部１０１では、画像入力部１３１から入力される画像データを画像ブロックに分割し、符号化制御部１０２の指示に従い、前記画像ブロックをフレーム内符号化またはフレーム間予測符号化を行ない、画像符号化データを作成する。

送信パケットデータ作成部１０３では、画像符号化部１０１より入力される前記画像符号化データを分割し、前記分割データや再送制御部１１４より入力される自局再送要求情報や対局再送要求拒否情報に対して誤り検出情報を求め、前記分割データや前記自局再送要求情報や前記対局再送拒否情報それぞれに対して求めた前記誤り検出情報を付加しパケットデータを作成すると共に、前記パケットデータの順序を示すパケット順序番号を前記パケットデータのヘッダーとして付加し、多重部１０４に入力する。 また、送信パケットデータ作成部１０３では、前記パケットデータに含まれる画像符号化データの画像ブロック位置番号と前記バケット順序番号を関連付けて順序位置情報を作成し、符号化制御部１０２に入力する。

多重部１０４では、送信パケットデータ作成部１０３から入力されたパケットデータを多重し、多重データを作成する。 また、多重部１０４では、対局装置１５０から再送要求がなされた時のために前記パケットデータをある一定の数だけ保存し、再送制御部１１４から通知される対局再送要求情報に従って、対局装置１５０より再送を要求されているパケットデータを通信路インタフェース１２０に送信する。 符号化制御部１０２では、送信パケットデータ作成部１０３より入力される前記順序位置情報と再送制御部１１４から入力される対局再送要求情報からフレーム内符号化またはフレーム間予測符号化のどちらかの画像符号化方法を決定し、前記決定した画像符号化方法で画像ブロックを符号化するように画像符号化部１０１を制御する。

通信路インタフェース１２０では、対局装置１５０に多重データを送信すると共に、対局装置１５０より送信されてきた多重データを受信する。

マルチメディアデータ通信装置の受信部１１０において、分離部１１３では、受信した多重データをパケットデータに分離する。 受信パケットデータ解析部１１２では、分離部１１３より入力されたパケットデータに対して誤り検出情報解析を行ない、受信したパケットデータに誤りがある時、誤りであるパケットデータの再送を対局装置１５０に要求するための自局再送要求情報を再送制御部１１４に入力する。 一方、誤りがない時は、受信したパケットデータより誤り検出情報を除去したデータに対して、対局装置１５０からの対局再送要求情報か否かを解析し、対局再送要求情報でなければ、誤り検出情報を除去したデータを画像復号部１１１に入力し、対局再送要求情報であれば再送制御部１１４に再送を要求すると共に対局再送要求情報を符号化制御部１０２に入力する。

再送制御部１１４では、受信パケットデータ解析部１１２より入力される対局装置１５０からの再送要求情報を解析し、再送を要求されているパケットデータが多重部１０４に保存されていれば多重部１０４に要求されているパケットデータを再送するように制御し、保存されていなければ対局再送拒否情報を送信パケットデータ作成部１０３に入力する。 また、再送制御部１１４では、受信パケットデータ解析部１１２より入力される自局再送要求情報を誤り検出情報作成部１０４に入力する。 画像復号部１１１では、入力された符号化データを復号し、画像情報を画像出力部１４１に出力する。

続いて、本発明の第１の実施の形態であるマルチメディアデータ通信装置におけるマルチメディアデータ通信方法の処理の流れについて、図２、図３、図４を用いて説明する。

図２のステップＳ２０１において、画像入力部１３１より画像データが画像符号化部１０１に入力される。 図２のステップＳ２０２で符号化を行なうが、ステップＳ２０２は図４のステップＳ４０1からステップＳ４０４で構成される。

図４のステップＳ４０１において、符号化制御部１０２では、対局装置１５０より再送を要求されているパケットデータに含まれる画像符号化データの画像ブロック位置と符号化しようとしている画像ブロック位置を比較する。 ここで、対局装置１５０より再送を要求されているパケットデータに含まれる画像符号化データの画像ブロック位置は、再送制御部１１４より通知される対局再送要求情報から再送要求されているパケットデータのパケット順序番号を判定し、前記パケット順序番号と送信パケットデータ作成部１０３より入力される順序位置情報から導出する。

図４のステップＳ４０１の比較の結果、画像ブロック位置が異なる時は、図４のステップＳ４０２で画像ブロックデータの符号量が少なくなるようにフレーム内予測符号化かフレーム間予測符号化を選択する通常符号化が行なわれ、画像ブロック位置が等しい時は、図４のステップＳ４０３で対局装置１５０より再送を要求されているパケットデータに含まれる画像符号化データの画像ブロック位置と同じ位置の画像ブロックをすでにフレーム内符号化を行なっているかを判定する。 図４のステップＳ４０３の比較の結果、すでにフレーム内符号化を行なっている時は、図４のステップＳ４０２の通常符号化を行ない、まだフレーム内符号化を行なっていない時は、図４のステップＳ４０４でフレーム内符号化を行なう。

図２のステップＳ２０３において、送信パケットデータ作成部１０３では、画像符号化部１０１より入力される画像符号化データを分割し、前記分割データや再送制御部１１４より入力される自局再送要求情報や対局再送要求拒否情報に対して誤り検出情報を求め、前記分割データや前記自局再送要求情報や前記対局再送拒否情報にそれぞれに対して求めた前記誤り検出情報を付加しパケットデータを作成すると共に、前記パケットデータの順序を示すパケット順序番号を前記パケットデータのヘッダーとして付加し、多重部１０４に入力する。

また、送信パケットデータ作成部１０３では、前記パケットデータに含まれる画像符号化データの画像ブロック位置番号と前記バケット順序番号を関連付けて順序位置情報を作成し、符号化制御部１０２に入力する。 図２のステップＳ２０４において、多重部１０４では、送信パケットデータ作成部１０３より入力されたパケットデータを多重し、多重データを作成し、図２のステップＳ２０５で通信路インタフェース１２０を介して対局装置１５０に多重データを送信すると共に、対局装置１５０から再送要求がなされた時のためにパケットデータをそれぞれある一定の数だけ多重部１０６に保存する。

一方、マルチメディアデータ通信装置の受信部１１０では、図３のステップＳ３１１において対局装置１５０より送信されてきた多重データを、通信路インタフェース１２０を介して受信する。 図３のステップＳ３１２で、分離部１１３は受信した多重データをパケットデータに分離し、分離したパケットデータを受信パケットデータ解析部１１２に入力する。 図３のステップＳ３１３において、受信パケットデータ解析部１１２は分離部１１３より入力されたパケットデータに対して誤り検出情報の解析を行ない、受信したパケットデータに誤りがない時は、図３のステップＳ３１４でパケットデータより誤り検出情報の除去を行なう。 また、図３のステップＳ３１３において受信したパケットデータに誤りがある時は、図３のステップＳ３１５で再送制御部１１４に再送を要求し、再送制御部１１４は再送を要求するパケットデータの情報として自局再送要求情報を送信部１００の送信パケットデータ作成部１０３に入力する。

図３のステップＳ３１６において、図３のステップＳ３１４で作成されたデータが対局装置１５０からの対局再送要求情報か否かを解析し、対局再送要求情報でなければ、図３のステップＳ３１７において誤り検出情報を除去したデータを画像復号部１１１に入力され、画像データが画像出力部１４１に出力される。 一方、図３のステップＳ３１６において対局再送要求情報である時は、図３のステップＳ３１８において、対局再送要求情報であれば再送制御部１１４に再送を要求すると共に対局再送要求情報を符号化制御部１０２に入力する。 再送制御部１１４は対局再送要求情報が入力されると、要求されているパケットデータが多重部１０６に存在すれば再送処理を行ない、存在しなければ対局再送拒否情報を誤り検出情報作成部１０４に入力する。

本実施の形態における、符号化制御部１０２の動作と送信パケットデータ作成部１０３の動作について図５を用いて具体的に説明する。

例えば画像符号化方法をＭＰＥＧ−４の画像符号化方法とする。 図５（ａ）に示すように画像データ０、画像データ１が画像符号化部１０１に入力され、図５（ｂ）に示すように１枚の画像情報を１６×１６画素のマクロブロック区切り、左上の（０、０）から右方向にマクロブロック単位で画像符号化が行なわれる。 送信パケットデータ作成部１０３では、入力された各画像データを符号化した画像符号化データを図５（ｃ）に示すように、画像ブロックごとの画像符号化データに分割し誤り検出情報とパケットデータの順序を示す番号をパケットヘッダーとして付加しパケットデータを作成する際に、パケット順序番号１と画像ブロック（０，０）、パケット順序番号２と画像ブロック（１，０）というように、バケット順序番号と画像ブロック位置を関連付けて順序位置情報を作成し、符号化制御部１０２に入力する(図２のステップＳ２０３)。 次に例えば対局装置１５０よりパケット順序番号２のパケットデータの再送が要求されたとすると、受信部１１０の再送制御部１１４よりパケット順序番号２が再送要求情報として符号化制御部１０２に入力される。

符号化制御部１０２では、送信パケットデータ作成部１０３より入力された順序位置情報から再送を要求されているパケット順序番号２のパケットデータに画像データ０の画像ブロック位置（２，０）が含まれていることを導出し、前記導出した画像ブロック位置（２，０）と符号化しようとしている画像データ１の画像ブロック位置を比較する（図４のステップＳ４０１）。 画像データ１の画像ブロック（０，０）を符号化する場合は画像ブロック位置が異なるので、画像ブロックデータの符号量が少なくなるようにフレーム内予測符号化かフレーム間予測符号化を選択する通常符号化が行なわれ（図４のステップＳ４０２）、画像データ１の画像ブロック（２，０）を符号化する場合は画像ブロック位置が等しいので、対局装置１５０より再送を要求されているパケットデータに含まれる画像符号化データの画像ブロック位置と同じ位置の画像ブロックをすでにフレーム内符号化を行なっているかを判定する（図４のステップＳ４０３）。

前記判定の結果(図４のステップＳ４０３）、すでにフレーム内符号化を行なっていた時は、通常符号化(図４のステップＳ４０２）を行ない、まだフレーム内符号化を行なっていない時は、フレーム内符号化(図４のステップＳ４０４)を行なうことになる。

前記動作により、符号量が増大するフレーム内符号化の対象領域を対局装置でエラーが発生している画像ブロックに限定し符号量の増大を抑えるために、各画像データに割り当てられる符号量をほぼ一定の割合で確保でき、極端な画質劣化を防ぐことができる。

なお、画像符号化方法は前記方法に限るものではなく、ＭＰＥＧ１、ＭＰＥＧ２、ＩＴＵ−Ｔ Ｈ． ２６１、ＩＴＵ−Ｔ Ｈ． ２６３、ＩＴＵ−Ｔ Ｈ． ２６４ などその他の方法であってもよい。 なお、パケットデータの構成は前記構成に限るものではなく、その他の構成であってもよい。 なお、再送要求情報はパケット順序番号だけでなく、そのほかのデータであってもよい。 なお、対局装置１５０より再送要求があった場合でも、再送を行なわなくてもよい。

（実施の形態２）
これより、本発明の第２の実施の形態について説明する。

図６は、本発明の第２の実施の形態であるマルチメディアデータ通信装置のブロック図で、図７は本発明の第２の実施の形態であるマルチメディアデータ送信方法、図８は図７におけるステップＳ７０２の符号化方法の各々の処理の流れ図である。 本実施の形態２における図６は、画像符号化部１０１に特徴領域抽出部６０１を有する点が前記実施の形態１の図１と異なり、後の構成は同じである。 また、本実施の形態２における基本的な処理の流れは前記実施の形態１の処理の流れと同じであるが、画像入力部１３１から入力された画像データから特徴領域を抽出し、前記抽出した特徴領域が含まれている画像ブロック位置を符号化制御部１０２に特徴領域位置情報として通知する処理が加わる。 なお、図７において図２と同一の符号を付した処理要素は図２と同一の処理要素である。 また、図８において図４と同一の符号を付した処理要素は図４と同一の処理要素である。

最初に、本発明の第２の実施の形態であるマルチメディアデータ通信装置の構成について、新たに加えられた機能ブロックについてのみ図６を用いて説明し、同一ブロックの説明は省略する。

新たに加えられた機能ブロックは、図６に示す画像符号化部１０１における特徴領域抽出部６０１である。 前記特徴領域抽出部６０１では、符号化する画像データより特徴のある領域を抽出し、抽出した特徴領域が含まれる画像ブロック位置を符号化制御部１０２に特徴領域位置情報として通知する。

続いて、本発明の第２の実施の形態であるマルチメディアデータ通信装置におけるマルチメディアデータ通信方法の処理の流れについて、本発明の第２の実施の形態であるマルチメディアデータ通信方法に新たに加えられた処理についてのみ図７、図８を用いて説明し、同一処理についての説明は省略する。 図７のステップＳ２０１において、画像入力部１３１より画像データが画像符号化部１０１に入力される。 図７のステップＳ７０１で、特徴領域抽出部６０１では入力された画像データより特徴のある領域を抽出し、前記抽出した特徴領域が含まれる画像ブロック位置を符号化制御部１０２に特徴領域位置情報として通知する。 図７のステップＳ７０２で符号化を行なうが、ステップＳ７０２は図８のステップＳ８０１とステップＳ４０１からステップＳ４０４で構成される。

図８のステップＳ８０１において、符号化制御部１０２では、符号化しようとしている画像データの画像ブロック位置が特徴領域抽出部６０１より通知された特徴領域位置情報と比較する。 図８のステップＳ８０１の比較の結果、前記画像ブロック位置と特徴領域位置情報が異なる時は、図８のステップＳ４０２の通常符号化を行ない、前記画像ブロック位置と前記特徴領域位置情報が等しい時は、図８のステップＳ４０１において、符号化制御部１０２で、対局装置１５０より再送を要求されているパケットデータに含まれる画像符号化データの画像ブロック位置と前記画像ブロック位置を比較する。 ここで、対局装置１５０より再送を要求されているパケットデータに含まれる画像符号化データの画像ブロック位置は、再送制御部１１４より通知される対局再送要求情報から再送要求されているパケットデータのパケット順序番号を判定し、前記パケット順序番号と送信パケットデータ作成部１０３より入力される順序位置情報から導出する。 図８のステップＳ８０１以降のステップＳ４０１からステップＳ４０４までの処理の流れは、前記本発明の第１の実施の形態の処理と同一である。 また、図７のステップＳ７０２以降のステップＳ２０３からステップＳ２０５までの処理の流れは、前記本発明の第１の実施の形態の処理と同一である。

一方、マルチメディアデータ通信装置の受信部１１０の処理の流れは、図３に示す前記本発明の第１の実施の形態であるマルチメディアデータ通信方法の処理の流れと同一である。

本実施例における、特徴領域抽出部６０１の動作並びに、特徴領域抽出部６０１から通知される特徴領域位置情報を元に画像符号化方法を決定する処理について図９を用いて具体的に説明する。

例えば画像符号化方法をＭＰＥＧ−４の画像符号化方法とする。 図９（ａ）に示すように画像データ０、画像データ１が画像符号化部１０１に入力されると、図９（ｂ）に示すように１枚の画像データを１６×１６画素のマクロブロックに区切り、左上の（０、０）から右方向にマクロブロック単位で画像符号化が行なわれる。 加えて特徴領域抽出部６０１では、画像データ１が入力された時は、特長領域が含まれる画像ブロック位置（２，１）、画像ブロック位置（２，２）、画像ブロック位置（３，１）、画像ブロック位置（３，２）を特徴領域位置情報として、各画像ブロックデータが符号化される時に送信パケットデータ作成部１０３に通知する（図７のステップＳ７０１）。

送信パケットデータ作成部１０３では、画像データ０を符号化した画像符号化データを図９（ｃ）に示すように、画像ブロックごとの画像符号化データに分割し、誤り検出情報とパケットデータの順序を示す番号をパケットヘッダーとして付加し、パケットデータを作成する際に、パケット順序番号０と画像ブロック（０，０）、パケット順序番号１と画像ブロック（１，０）というようにバケット順序番号と画像ブロック位置を関連付けて順序位置情報を作成し、符号化制御部１０２に入力する(図７のステップＳ２０３)。

次に例えば対局装置１５０よりパケット順序番号２のパケットデータの再送が要求されたとすると、受信部１１０の再送制御部１１４よりパケット順序番号２が再送要求情報として符号化制御部１０２に入力される。 符号化制御部１０２では、符号化しようとしている画像データ１の画像ブロックが特徴領域を含んでいるかをチェックする（図８のステップＳ８０１）。

画像データ１の画像ブロック（２，０）を符号化する場合は特徴領域を含まないので、通常符号化が行なわれ（図８のステップＳ４０２）、画像データ１の画像ブロック（２，１）を符号化する場合は特徴領域を含むので、送信パケットデータ作成部１０３より通知された順序位置情報から再送を要求されているパケット順序番号のパケットデータに含まれる画像データ０の画像ブロック位置を導出し、前記導出された画像ブロック位置と前記画像データ１の画像ブロック位置を比較する（図８のステップＳ４０１）。

図８のステップＳ４０１以降は、特徴領域を含む画像データ１の画像ブロック位置（２、１）を符号化する場合を用いて説明する。 図８のステップＳ４０１の比較の時、前記導出した画像ブロック位置が画像ブロック（２，０）である場合は、画像ブロック位置が異なるので、通常符号化が行なわれ（図８のステップＳ４０２）、前記導出した画像ブロック位置が画像ブロック（２，１）である場合は画像ブロック位置が等しいので対局装置１５０より再送を要求されているパケットデータに含まれる画像符号化データの画像ブロック位置と同じ位置の画像ブロックをすでにフレーム内符号化を行なっているかを判定することになる（図８のステップＳ４０３）。

前記動作により、符号量が増大するフレーム内符号化の対象領域を、前記本発明の第１の実施の形態での効果に加えてさらに画像データで特徴のある領域を含む画像ブロックに限定し符号量の増大を抑えるために、各画像データに割り当てられる符号量をほぼ一定の割合で確保でき、極端な画質劣化を防ぐことができる。

なお、画像符号化方法は前記方法に限るものではなく、ＭＰＥＧ１、ＭＰＥＧ２、ＩＴＵ−Ｔ Ｈ． ２６１、ＩＴＵ−Ｔ Ｈ． ２６３、ＩＴＵ−Ｔ Ｈ． ２６４ などその他の方法であってもよい。 なお、画像パケットデータの構成は前記構成に限るものではなく、その他の構成であってもよい。 なお、再送要求情報はパケット順序番号だけでなく、そのほかのデータであってもよい。 なお、対局装置１５０より再送要求があった場合でも、再送を行なわなくてもよい。 なお、特徴領域は本実施例に記載されるものだけでなく、他の領域あってもよい。 なお、特徴抽出情報は特徴領域を含むマクロブロックの番号に限るものではなく、画素による位置など他の情報であってもよい。

本発明に係るマルチメディアデータ通信装置および方法は、伝送路でエラーが発生する場合に画質を高めることができ、ＴＶ電話などのリアルタイムビジュアル端末などに応用可能である。

本発明の第１の実施の形態のマルチメディアデータ通信装置の構成を示すブロック図

本発明の第１の実施の形態のマルチメディアデータ通信装置におけるデータ送信処理の流れ図

本発明の第１の実施の形態のマルチメディアデータ通信装置におけるデータ受信処理の流れ図

本発明の第１の実施の形態のマルチメディアデータ通信装置における符号化方法決定処理の流れ図

本発明の第１の実施の形態における画像符号化データの構成図

本発明の第２の実施の形態のマルチメディアデータ通信装置の構成を示すブロック図

本発明の第２の実施の形態のマルチメディアデータ通信装置におけるデータ送信処理の流れ図

本発明の第２の実施の形態のマルチメディアデータ通信装置における符号化方法決定処理の流れ図

本発明の第２の実施の形態における画像符号化データの構成図

符号の説明

１００ 送信部 １０１ 画像符号化部 １０２ 符号化制御部 １０３ 送信パケットデータ作成部 １０４ 多重部 １１０ 受信部 １１１ 画像復号部 １１２ 受信パケットデータ解析部 １１３ 分離部 １１４ 再送制御部 １２０ 通信路インタフェース １３１ 画像入力部 １４１ 画像出力部 １５０ 対局装置 ６０１ 特徴領域抽出部