【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像転送装置及びシステム及びその制御方法及びコンピュータプログラム及び記憶媒体に関するものである。

【０００２】

【従来の技術】映像データの符号化方式のひとつとしてＩＴＵ−Ｔ勧告Ｈ.２６２（ＭＰＥＧ２）がある。 同勧告のうち、スケーラビリティ機能によれば、同一内容の映像に対して比較的低画質の基本レイヤと、基本レイヤに対して空間解像度、フレームレート、あるいは、Ｓ/
Ｎ比の高い高品質化レイヤを設定し、基本レイヤの映像と、基本レイヤと高品質化レイヤの映像の情報量の差に相当する部分に分けて符号化することが可能である。

【０００３】特開平06-284148号公報では映像と音声の同時通信において通信網の負荷に応じて送信平均間隔を変化させることが提案されている。

【０００４】また、特開平10-136383では動映像の映像客体を一部省略することが提案されている。

【０００５】特開平10-173674では衛星通信を利用した伝送システムが提案されている。 これに対して本発明はＩＳＤＮ、イーサネット（登録商標）、インターネットなどで利用可能である。

【０００６】

【発明が解決しようとする課題】しかしながら、伝送路（ネットワーク等）の混雑度に依存し、１つの画像についての転送する符号量を調節するようにはなっていない。 従って、画像を受け取る側では、伝送路の混雑度に依存した時間だけ待たされることになり、しかもその待ち時間は不定となり、例えば１分以内であれば画質は問わない、といった要望に応えることはできない。

【０００７】本発明はかかる問題点に鑑みなされたものであり、伝送路の状態に応じて転送すべき符号量を調節することで、転送完了までに要する時間の変動を抑制することを可能ならしめる画像転送装置及び復号装置及びその制御方法及びコンピュータプログラム及び記憶媒体を提供しようとするものである。

【０００８】

【課題を解決するための手段】この課題を解決するため、例えば本発明の画像転送装置は以下の構成を備える。 すなわち、伝送路上の送信宛て先装置に、符号化画像データを送信する画像転送装置であって、転送すべき画像を符号化し、基本となる符号データと、当該基本符号データに順次追加させることで徐々に高い画質で復号化可能とするための段階別の符号データとを発生する符号化手段と、該符号化手段で符号化して得られた各符号データそれぞれを格納するバッファメモリ手段と、前記伝送路の転送能力を検出する検出手段と、該検出手段の検出結果に基づいて、前記基本符号データを含み、どの段階までの符号データを転送するかを決定し、決定された符号データまでを前記送信宛て先装置に転送する転送手段とを備える。

【０００９】また、本発明の好適な実施態様に従えば、
映像送受信システムは、伝送路の能力に応じて符号長を変更する映像符号化装置と、当該映像符号化装置により符号化された映像信号を復号化する復号化装置とを備える。

【００１０】また、他の態様に従えば、映像符号化方法は、比較的低画質の基本レイヤの符号の後に、より高画質の高品位化レイヤのための符号が続くように符号化することで、比較的少ない符号長の符号から基本レイヤの映像信号を復号化することが可能であり、かつ、基本レイヤの情報と高品位化レイヤの符号とにより、より精細な高品位化レイヤの映像を復号可能であることを特徴とする。

【００１１】また他の態様に従えば、映像符号化装置は、比較的少ない符号長の符号から基本レイヤの映像信号を復号化することが可能であり、かつ、基本レイヤの情報と高品位化レイヤの符号とにより、より精細な映像を復号化することが可能である符号を生成する映像符号化手段、あるいは、あらかじめ映像信号に対して前述の符号化を施した結果を蓄積しておく符号化映像信号蓄積手段と、伝送路の能力に応じて画質を選択することで符号全体の送信に要する時間を調整する送信制御手段と、
伝送路に接続し符号を送信する送信手段とからなることを特徴とする。

【００１２】また、他の態様による映像復号化方法は、
符号の先頭からある時点までの部分を利用すると比較的低画質の基本レイヤの映像として復号することが可能で、さらに、高品位化レイヤの符号があれば、基本レイヤの情報と合わせて復号化することにより、より精細な映像として復号化することも可能であることを特徴とする。

【００１３】また、更なる態様に従えば、映像復号化装置は、伝送路に接続し符号を受信する受信手段と、比較的少ない符号長の符号から基本レイヤの映像信号を復号化し、また、高品位化レイヤの符号があれば、基本レイヤの情報と合わせて復号化することにより、より精細な映像を復号化することも可能な復号化手段とからなることを特徴とする。

【００１４】

【発明の実施の形態】以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

【００１５】図１に実施形態の概略構成ブロック図を示す。 符号化装置１０は、映像符号化部１０１、符号化された映像信号を一時的に保管する複数（ここでは３個）
のバッファ、すなわち、基本レイヤ符号バッファ１０
５、高品位化レイヤ１符号バッファ１０６、高品位化レイヤ２符号バッファ１０７、転送に要した時間を計測する時計回路１０２、符号の一部分の転送に要した時間によって画質を選択して送信する送信制御部１０４、および、送受信回路１０３を具備する。 レイヤと画質との関係は、基本レイヤ、高品位化レイヤ１、高品位化レイヤ２の順で画質が高まるものとする。 基本レイヤはそれ単体で画像（後述する低画質画像）を再現する情報となるものである。 高品位化レイヤ１符号は基本レイヤ符号による映像に対して不足する情報を補うことにより、より高品の画像を復号するためのものである。 つまり、基本レイヤ＋高品位化レイヤ１で画像（中画質画像）を再現するための情報を構成する。 また、高品位化レイヤ２符号は高品位化レイヤ１の画像に対して不足する情報を補うことにより、更に高品位な画像を復号するためのものである。 換言すれば、基本レイヤ＋高品位化レイヤ１＋
高品位化レイヤ２で画像（高画質）を再現するための情報を構成する。

【００１６】復号化装置１２は送受信回路１２１、および、映像復号化部１２２を具備し、受信した符号を復号化して出力する。

【００１７】符号化装置１０の出力は伝送路１１を経由して復号化装置１２に到達する。 伝送路１１は、通信回線、あるいは、コンピュータネットワークで構成されている。

【００１８】映像符号化部１０１は、たとえばＭＰＥＧ
２のスケーラビリティのように、比較的少ない符号長の符号から基本レイヤの映像信号を復号化することが可能であり、かつ、高品位化レイヤの符号と合わせて復号化することにより、より精細な映像を得ることが可能である符号を生成する。 映像信号はテレビ放送による信号のように一連の静止画像信号により構成されていて、映像符号化部１０１は一連の画像信号を順に符号化するものとする。 ここでは画質を低画質、中画質、高画質の３段階に分けて、低画質の映像、および、映像の大きさなど復号化に必要な情報に相当する符号を基本レイヤ符号バッファ１０５に、これと合わせて中画質の映像の復号化を可能にする符号を高品位化レイヤ１符号バッファ１０
６に、さらに、高品位化レイヤ１までの符号と合わせて高画質の復号化を可能にする符号を高品位化レイヤ２符号バッファ１０７に出力する。

【００１９】時計回路１０２は、送信制御部１０４が符号化された映像信号を送信する際に、計時するためのもので、伝送路の能力が未知の場合にそれを推定するために設けてある。

【００２０】送受信回路１０３は、送信制御部１０４が符号化された映像信号を送信する際に、伝送路１１との入出力を担当し、伝送路１１を経由しての符号の送信、
および、受信側からの応答の受信をする。

【００２１】送信制御部１０４はたとえば図２、図３の流れ図で示される手順で処理を行う。

【００２２】まず初期設定ステップＳ２０において、転送速度閾値（中）、転送速度閾値（高）、試行ブロックサイズを設定する。

【００２３】次に試行ステップＳ２１において、基本レイヤ符号バッファ１０５に格納されている符号のうち試行ブロックサイズ分を転送するのに要する時間を測定することにより、転送速度を算出する。 このとき転送に使用するプロトコルは、符号化装置１０で転送に要した時間が分かるように復号化装置１２側から受信した旨の応答を返すもの、たとえばＴＣＰとする。 つまり、送信を行ってから、復号化装置１２からのアクノリッジを受信するまでの時間（伝送路の往復時間となる）を時計回路１０２で計時することで判断し、送信すべき画質をどのレベルにするかを決定する。 なお、伝送路１１における情報伝達速度が既知の場合には、試行ステップＳ２１による観測値に代えて、その値を転送速度とすることもできる。

【００２４】続く画質決定ステップＳ２２において、試行ステップ２１において算出した転送速度と、転送速度閾値（中）、転送速度閾値（高）の比較によって画質を決定する。

【００２５】第１送信ステップＳ２３は最初の画像に相当する符号のうち試行ステップＳ２１で送信していない部分を送信する。 まず最初に、低画質部分符号バッファ１０５に残りがあれば送信し、次に、画質が中画質または高画質の場合に中画質部分符号バッファ１０６の内容を送信し、さらに、画質が高画質の場合には、高画質部分符号バッファＳ１０７の内容を送信する。

【００２６】第２送信ステップＳ２４は、映像信号を構成する一連の画像信号で第１送信ステップ２３によって送信されたもの以降を順次送信する。

【００２７】終了処理ステップＳ２５は、たとえばＭＰ
ＥＧ２における映像の終了を示す符号を送信する。 また、回線の切断をするなど必要に応じて終了処理を行うものである。

【００２８】一方、復号装置１２における送受信回路１
２１は、符号化装置１０からの符号を受信し、また、受信した旨の応答を返す。

【００２９】映像復号化部１２２は、符号化装置１０において映像符号化部１０１が符号化し、送信制御部１０
４が送信した符号を復号化して、出力する。

【００３０】以上説明したように、伝送路の状況に応じて、送信すべき符号量を決定し送信することで、受信側である復号装置では、画像を再現する際に所定時間内に最良の画質を再現し、出力することができるようになる。

【００３１】＜第２の実施形態＞図４は本発明の第２実施形態の概略構成ブロック図である。

【００３２】符号化装置３０の出力は伝送路３１を経由して復号化装置３２に到達する。 また、復号化装置３２
からの送信要求は符号化装置３０に到達する。 伝送路３
１は、通信回線、あるいは、コンピュータネットワークで構成されている。

【００３３】復号化装置３２において、操作部３２３は受信者による映像の種類の選択、および画質の選択を可能にして、符号化装置３０に対して映像の送信要求を発生させるためのものである。 画質の選択は、「低画質」、「高画質」と分類するほか、転送所要時間による区別、たとえば、「10秒程度」、「1分程度」など、あるいは、符号化装置３０の設定に従う「自動」にような選択肢を設けることができる。

【００３４】送信制御部３０４は符号化映像データ蓄積部３０１にあらかじめ格納してある符号から、送信要求に合致する映像の種類のものを取り出して、画質が「低画質」のように指定されていれば、該当する画質の符号を図２における第1送信ステップ２３以降と同様に送信する。 また、転送所用時間が指定されている場合は、図２における初期設定ステップ２０において、それぞれの画質における符号長から指定した時間で転送するのに必要な転送速度を算出して転送速度閾値を設定して、試行ステップ２１以下のように、観測された転送速度によって画質を選択して送信する。 また、画質の選択が「自動」の場合には、前述第１実施形態と同様に、符号化装置３０の既定値を用いて転送速度閾値を設定する。

【００３５】送受信回路３０３および３２１は、復号化装置３２から符号化装置３０への送信要求、および、符号化装置３０から復号化装置３２への符号を伝達する。

【００３６】時計回路３０２、映像復号化部３２２はそれぞれ第１実施形態における時計回路１０２、映像復号化部１２２と同様のはたらきをする。

【００３７】以上説明したように本第１、第２の実施形態によれば、伝送路の能力に応じて転送速度に余裕があれば精細な映像を送信し、そうでなければ、画質は劣るがデータ量を減らした映像を送信することで、転送に要する時間が長くなりすぎないように制御することが可能となる。

【００３８】＜第３の実施形態＞図５は、第３の実施形態の概略構成ブロック図である。 符号化装置５０は、画像符号化部５０１、符号化された画像信号を一時的に保管する複数（ここでは３個）のバッファ、すなわち、低画質部分符号バッファ５０５、中画質部分符号バッファ５０６、高画質部分符号バッファ５０７、転送に要した時間を計測する時計回路５０２、符号の一部分の転送に要した時間によって画質を選択して送信する送信制御部５０４、および、送受信回路５０４を具備する。

【００３９】復号化装置５２は送受信回路５２１、および、画像復号化部５２２を具備し、受信した符号を復号化して出力する。

【００４０】符号化装置５０の出力は伝送路５１を経由して復号化装置５２に到達する。 伝送路５１は、通信回線、あるいは、コンピュータネットワークで構成されている。

【００４１】画像符号化部５０１は、たとえばＪＰＥＧ
のprogressiveＤＣＴモードのように、比較的少ない符号長の符号から画像信号を復号化することが可能であり、かつ、後続の符号と合わせて復号化することにより、より精細な画像を得ることが可能である符号を生成する。 ここでは画質を低画質、中画質、高画質の３段階に分けて、低画質の画像、および、画像の大きさなど復号化に必要な情報に相当する符号を低画質部分符号バッファ５０５に、これと合わせて中画質の画像の復号化を可能にする符号を中画質部分符号バッファ５０６に、さらに、中画質までの符号と合わせて高画質の復号化を可能にする符号を高画質部分符号バッファ５０７に出力する。

【００４２】時計回路５０２、および、送受信回路５０
３は、送信制御部５０４が符号化された画像信号を送信する際に、それぞれ時間の計測、あるいは、伝送路を経由しての符号の送信、および、受信側からの応答の受信をする。

【００４３】送信制御部５０４はたとえば図６、図７の処理手順で示されるように構成されている。

【００４４】先ず、初期設定ステップＳ６２０において、転送速度閥値（中）、転送速度閥値（高）、試行ブロックサイズを設定する。

【００４５】次に試行ステップＳ６２１において、低画質符号バッファ５０５に格納されている符号のうち試行ブロックサイズ分を転送するのに要する時間を測定することにより、転送速度を算出する。 このとき転送に使用するプロトコルは、先に説明した第１の実施形態と同様、符号化装置５０で転送に要した時間が分かるように復号化装置５２側から受信した旨の応答を返すもの、たとえばＴＣＰとする。 なお、伝送路５１における情報伝達速度が既知の場合には、試行ステップＳ６２１による観測値に代えて、その値を転送速度とすることもできる。

【００４６】続く画質決定ステップＳ６２２において、
試行ステップＳ６２１において算出した転送速度と、転送速度開値（中）、転送速度閥値（高）の比較によって画質を決定する。 送信ステップＳ６２３においては、まず最初に、低画質部分符号バッファ５０５に残りがあれば送信し、次に、画質が中画質または高画質の場合に中画質部分符号バッファ５０６の内容を送信し、さらに、
画質が高画質の場合には、高画質部分符号バッファ５０
７の内容を送信する。 最後に、終了処理ステップＳ６２
４において、たとえばＪＰＥＧにおいて画像の終了を示すＥＯＩの符号を送信するなど必要に応じて終了処理を行う。

【００４７】復号化装置５２における送受信回路５２１
は、符号化装置５０からの符号を受信し、また、受信した旨の応答を返す。

【００４８】画像復号化部５２２は、符号化装置５０において画像符号化部５０１が符号化し、送信制御部５０
４が送信した符号を復号化して、出力する。

【００４９】＜第４の実施形態＞図８は第４の実施形態の概略構成ブロック図である。

【００５０】符号化装置８０の出力は伝送路８１を経由して復号化装置８２に到達する。 また、復号化装置８２
からの送信要求は符号化装置８０に到達する。 伝送路８
１は、通信回線、あるいは、コンピュータネットワークで構成されている。

【００５１】復号化装置８２において、操作部８２３は受信者による画像の種類の選択、および画質の選択を可能にして、符号化装置８０に対して画像の送信要求を発生させるためのものである。

【００５２】画質の選択は、「低画質」、「高画質」と分類するほか、転送所要時間による区別、たとえば、
「１０秒程度」、「１分程度」など、あるいは、符号化装置８０の設定に従う「自動」にような選択肢を設けることができる。

【００５３】送信制御部８０４は符号化画像データ蓄積部にあらかじめ格納してある符号から、送信要求に合致する画像の種類のものを取り出して、画質が「低画質」
のように指定されていれば、該当する部分の符号を図６、図７における送信ステップＳ６２３以降と同様に送信する。 また、転送所用時間が指定されている場合は、
図６における初期設定ステップＳ６２０において、それぞれの画質の符号長から指定した時間で転送するのに必要な転送速度を算出して転送速度閥値を設定して、試行ステップＳ６２１以下のように、観測された転送速度によって画質を選択して送信する。 また、画質の選択が「自動」の場合には、前述第３の実施形態と同様に、符号化装置８０の既定値を用いて転送速度閥値を設定する。

【００５４】送受信回路８０３および８２１は、復号化装置８２から符号化装置８０への送信要求を伝達する。

【００５５】時計回路８０２、画像復号化部８２２はそれぞれ第１、第３の実施形態における時計回路１０２、
画像復号化部１２２と同様のはたらきをする。

【００５６】以上説明したように、第３、第４の実施形態によれば、画像データの一部分を送信しながら転送速度を測定し、転送速度に余裕があれば精細な画像を送信し、そうでなければ、画質は劣るがデータ量を減らした画像を送信することで、転送に要する時間が長くなりすぎないように制御することが可能となる。

【００５７】なお、上記第１乃至第４の実施形態における画像符号化装置及び復号化装置は、汎用の情報処理装置（パーソナルコンピュータ等）で実現できる。 すなわち、本実施形態の動作はそのほとんどをアプリケーションソフトウェアによって実現できるものである。

【００５８】この場合，前記ソフトウエアのプログラムコード自体が上記実施の形態の機能を実現することになり，そのプログラムコード自体，及びそのプログラムコードをコンピュータに供給するための記憶媒体、具体的には上記プログラムコードを格納した磁気ディスク（フロッピー（登録商標）ディスクやハードディスク）、光ディスク（ＣＤＲＯＭ、ＣＤ−Ｒ等）、メモリカード、
テープ（紙テープ、磁気テープ等）、ＲＯＭ素子等を用いることができる． また，上記コンピュータが，供給されたプログラムコードのみに従って各種デバイスを制御することにより，上記実施の形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているOS(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して上記実施の形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。

【００５９】更に，この供給されたプログラムコードが，コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後，そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い，その処理によって上記実施の形態が実現される場合も本発明の範疇に含まれる。

【００６０】

【発明の効果】以上説明したように本発明によれば、伝送路の状態に応じて転送すべき符号量を調節することで、転送完了までに要する時間の変動を抑制することが可能になる。

【図面の簡単な説明】

【図１】第１の実施形態の概略構成ブロック図である。

【図２】第１の実施形態における送信制御部の処理手順を示すフローチャートである。

【図３】第１の実施形態における送信制御部の処理手順を示すフローチャートである。

【図４】第２の実施形態の概略構成ブロック図である。

【図５】第３の実施形態の概略構成ブロック図である。

【図６】第３の実施形態における送信制御部の処理手順を示すフローチャートである。

【図７】第３の実施形態における送信制御部の処理手順を示すフローチャートである。

【図８】第４の実施形態の概略構成ブロック図である。