本発明は、音響信号や音声信号を効率的に符号化・復号化する符号化・復号化システムに関するものである。

デジタル化した音声信号あるいは音響信号(以下、音信号とも記載する。)を低ビットレートで符号化及び復号化する方式が知られている。例えば、HE−AAC(High−Efficiency Advanced Audio Coding)方式(非特許文献1参照。)やAMR−WB(Adaptive Multi−Rate Wideband)方式(非特許文献2参照。)などが代表的である。また、近年では、音声信号及び音響信号をさらに高効率に符号化可能なMPEG−USAC(Unified Speech and Audio Coding)方式(非特許文献3、以下USACと記載する。)も知られている。

AES Convention Paper “A closer look into MPEG−4 High Efficiency AAC”

IEEE TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING, VOL. 15, NO. 4, MAY 2007 “Wideband Speech Coding Advances in VMR−WB Standard”

AES Convention Paper 7713 “A Novel Scheme for Low Bitrate Unified Speech and Audio Coding − MPEG RM0”

STD−B31

TS26.191

放送波やインターネット網など、不安定な伝送路において、上記のような方式により音信号を符号化した信号である符号化信号を伝送する場合、伝送路で伝送誤りが発生し、復号化側において符号化信号を構成するフレームが欠損することがある。このような場合、復号化側では、フレームを正常に受信できるようになっても、すぐに復号化を行うことが困難な場合がある。

本発明は、フレームの欠損が起こった際に復号化処理をできるだけ速やかに再開することが可能な符号化・復号化システムを提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る符号化・復号化システムは、音信号を符号化信号に符号化し、前記符号化信号を復号化する符号化・復号化システムであって、前記音信号の音響特性に基づいて前記音信号が音声信号であるか音響信号であるかを判定する特性判定部と、前記特性判定部が前記音信号が音声信号であると判定した場合に、前記音信号を音声信号符号化処理によって符号化し、前記特性判定部が前記音信号が音響信号であると判定した場合に前記音信号を音響信号符号化処理によって符号化して前記符号化信号を生成する符号化部と、前記符号化信号を伝送する伝送部と、前記伝送部が伝送した前記符号化信号を受信する受信部と、前記受信部が受信した前記符号化信号を復号化する復号化部と、前記受信部が前記符号化信号を受信しているときに前記符号化信号のデータの欠損を検出して前記特性判定部に通知するパケット欠損検出部とを備え、前記データの欠損の通知を受けたとき、前記特性判定部は、前記音信号のうち符号化されていない未処理信号が所定の構成で符号化されるように前記符号化部を制御し、前記符号化信号のうち、前記未処理信号が前記所定の構成で符号化されることによって生成された信号に含まれる全てのフレームは、それぞれ、前記復号化部によって独立して復号可能なフレームであることを特徴とする。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本発明に係る符号化・復号化システムは、フレームの欠損が起こった際に復号化処理をできるだけ速やかに再開し、フレーム欠損時の音の欠落を最小限に抑えることができる。

図1は、USAC方式におけるフレームのデータ構成を示す模式図である。

図2は、パケットロス発生時の復号化処理を模式的に示す図である。

図3は、本実施の形態に係る符号化・復号化システムの構成を示すブロック図である。

図4は、本実施の形態に係るパケットデータを示す模式図である。

図5は、実施の形態1に係るパケット欠損検出部の具体的な構成を示すブロック図である。

図6は、実施の形態1に係る符号化・復号化システムの制御フローを示す図である。

図7は、実施の形態1に係るパケット欠損検出部の判断情報の算出方法のフローチャートである。

図8は、実施の形態1に係る符号化部の符号化処理のフローチャートである。

図9は、実施の形態1に係る符号化部の符号化処理を説明するための模式図である。

図10は、パケット欠損発生時の符号化・復号化システムの復号化処理を模式的に示す図である。

図11は、実施の形態2に係るパケット欠損検出部の具体的な構成を示すブロック図である。

図12は、実施の形態2に係る符号化・復号化システムの制御フローを示す図である。

図13は、実施の形態2に係るパケット欠損検出部の判断情報の算出方法のフローチャートである。

図14は、実施の形態2に係る符号化部の符号化処理のフローチャートである。

図15は、実施の形態2に係る符号化部の符号化処理を説明するための模式図である。

(本発明の基礎となった知見) デジタル化した音声信号あるいは音響信号を低ビットレートで符号化・復号化・伝送する方式は、例えば、HE−AAC方式(非特許文献1参照)やAMR−WB方式(非特許文献2参照)などが代表的である。

HE−AAC方式では、デジタル化した音響信号を所定のサンプル数(HE−AAC方式では2048サンプル、以下フレームと呼ぶ)毎に時間・周波数変換を施した後に、聴覚心理モデルによって符号化する信号成分が決定される。決定された符号化する信号成分は、量子化が行われ、量子化後の信号は、所定のビット数になるようにHuffman符号化などの手法で情報圧縮される。

ACELPなどに代表されるCELP方式では、音声信号について、HE−AAC方式と同様にフレーム毎に処理を行うが、時間・周波数変換は行われない。AMR−WB方式やACELP方式では、各フレームの線形予測係数を算出し、当該係数に基づいた線形予測フィルタ、及びその残差信号についてベクトル量子化などを適用することによって情報圧縮が行われる。

このようにして情報圧縮された情報をビットストリームと呼ぶ。ビットストリームは、放送波や、インターネット網などのさまざまな伝送経路を経由して伝送される。受信装置側では、伝送されてきたビットストリームがそれぞれの符号化方式にしたがって復号化される。

ところで、上記のHE−AAC方式は、音響信号を効率的に符号化するのに適し、AMR−WB方式は音声信号を効率的に符号化するのに適した方式である。

HE−AAC方式は、主に音響信号を高効率に符号化することを前提にした符号化方式である。このため、HE−AAC方式では、音響信号とは特性の異なる音声信号を低ビットレートで高音質に符号化することが困難である。HE−AAC方式によって音声信号を符号化することも可能であるが、非常に音質が劣化してしまう。

一方、AMR−WB方式やACELP方式は、主に音声信号を効率的に符号化することを前提としている。このため、AMR−WB方式やACELP方式によって音響信号を符号化する際には音質の劣化が顕著である。つまり、それぞれの方式は、符号化対象の信号に対して一長一短である。

そこで、音声信号及び音響信号の両方の信号を高効率に符号化可能な符号化方式が近年開発された。その一つがMPEG−USACである。

USACでは、符号化効率を向上させるためにさまざまな工夫が行われている。音声信号と音響信号、あるいはそれらの混合信号を高効率に符号化するために、USACでは、フレーム毎に時間・周波数変換に基づいた音響信号符号化処理と、線形予測係数に基づいた音声信号符号化処理とを切り替える。すなわち、USACでは、入力される音信号の音響特性に応じた符号化を行う。また、符号化効率を追求するために、既存の符号化方式で用いられているHuffman符号化による情報圧縮処理に代えて、算術符号が用いられているのもUSACの特徴である。

以上説明したように、音信号の符号化においては、さまざまな符号化方式が存在するが、これらを放送波や通信回線で伝送する際には、各符号化方式あるいは各放送サービス・通信サービス毎に特有の課題が存在する。

放送波やインターネット網(IP網)では、伝送経路が不安定なこともあり、伝送誤りやパケットロスなどが生じることが多い。よって、例えば、地上波のデジタルテレビ放送(ISDB−T方式)の運用規格であるARIB STD−B31(規格名:地上デジタルテレビジョン放送の伝送方式、非特許文献4)では、デジタルテレビ放送における伝送誤り訂正方法などが規定されている。また、AMR−WB方式では、当該方式を3G携帯電話で運用する際に発生する伝送誤りについて、その誤り検出および誤り訂正手法である3GPP規格(TS26.191、非特許文献5)が規定されている。

このように、音声あるいは音響符号化方式を放送あるいは通信で送受信するサービスを行う際には、ビットレートやチャンネル数、符号化ツールなどの各種符号化パラメータ以外に、伝送誤りの検出や誤り訂正に関しても細かく規定して、サービス品質を担保する必要がある。

ISDB−Tでは、音信号の符号化方式としてHE−AAC方式が用いられ、伝送路で生じた伝送誤りは、放送波を受信してTSパケットを取り出す段階で検出・訂正される。具体的には、TSパケットに含まれるAACのビットストリームを取り出してAAC復号化を行い、音声信号を復号化する。しかしながら、上記ISDB−Tでは、伝送路でのデータ欠損やデータ異常などにより正常にTSパケットが受信できず、結果としてAACのビットストリームが欠損する場合がある。ビットストリームが欠損した場合は、当然ながら符号化された信号を復号化できず、音信号を得ることができない。

しかしながら、その後、TSパケットが正常に受信できるようになった場合、復帰直後のTSパケットから取り出した正常なAACビットストリームを復号化装置に送ることで、即座に復号化が可能である。しかも、HE−AAC方式に内包されている周波数時間変換処理の性質により、復号化音がフェードインするため復帰直後の音は、比較的整った音になる。

また、3G世代の携帯電話などで応用が期待されているAMR−WB方式では、伝送路でのエラー検出や伝送誤り訂正に関する手順は、非特許文献5に記載されている。概要としては、フレーム欠損時に、フレーム欠損以前に正常に受信できていたフレームデータは、復号化装置のメモリに一時的に保持される。フレーム欠損が発生した際は、過去のフレームデータの符号化パラメータを所定の演算を施して再利用することで、擬似的に復号化信号を生成する。

このような手法が取れるのは、AMR−WB方式が主に音声信号を符号化することを想定しているからである。音声信号の符号化パラメータのうち、音声信号の大まかなスペクトル外形を決定する、音声符号化の品質に大きく影響を与える線形予測係数は、短期的には変化しにくい(変化しても変化量は小さい)。したがって、短期的なフレームデータ欠損に際しては線形予測係数を再利用することも可能であるから、上記の擬似的に復号化信号を生成する手法をとることが可能である。

ところで、HE−AAC方式ではスペクトル情報を符号化・圧縮するのにHuffman符号を用いており、HE−AAC方式のコア符号化方式であるAAC方式ではフレーム間にまたがって符号化パラメータを取得することなく、広帯域なHE−AAC復号化はできなくても狭帯域なAAC部分に関しては常にどのフレームも独立して復号化することが可能である。また、AMR−WB方式でもHuffman符号及びベクトル量子化手法を用いているが、これらもまたフレーム間にまたがって影響を与える符号化パラメータが基本的にはない。このため、AMR−WB方式においても、常に、どのフレームも独立して復号することが可能である。

ここで、USAC方式では、HE−AAC方式やAMR−WB方式とは異なり、符号化効率を向上させるために各種符号化パラメータの圧縮に、フレーム間にまたがって演算を行う算術符号処理が導入されている。したがって、独立して復号可能なフレームは限られる。

図1は、USAC方式における、フレームのデータ構造を表す模式図である。

図1に示されるように、USAC方式では、各フレーム(USACFrame())の先頭部分に、当該フレームが独立復号化か否か、すなわち当該フレームのデータのみに基づいて復号化が可能か否かを示すフラグ(FlagIndependency)が存在する。このフラグはフレームに内包される詳細符号化データ(図1では、FD_Channel_Element())のデータを読み出す際に使用される情報である。FD_Channel_Element()は、上記フラグが独立して復号可能であることを示す場合にのみ算術符号部(図1ではArith_Code())の情報が取得できる構成になっている。

このように、USAC方式では、独立して復号可能なフレームが限られる。したがって、フレームの欠損(パケットロス)がなくなってフレームデータが正常に受信できるようになっても、すぐに復号化を開始することが困難である。

図2は、パケットロス発生時の復号化処理を模式的に示す図である。

図2は伝送される符号化信号を模式的に示したものであり、1つの長方形は1つのフレームを表す。I−Frameと表記されたフレーム201及び204は、独立して復号可能なフレームである。

図2の(a)に示されるように、タイミングt1において伝送誤りが発生した場合、すなわちパケットロス200が発生した場合、伝送誤りが解消するタイミングt2までのフレームは、復号化側においては受信できない。

すなわち、復号化側が受信するフレームは、図2の(b)のような構成となる。ここで、フレーム202及び203は、独立して復号不可能なフレームであるため、復号化側は、タイミングt2においてパケットロスが解消しているにもかかわらず、次に独立して復号可能なフレーム204を受信するタイミングt3までの間は、復号化を開始できない。

以上、説明したように、USAC方式のように、符号化された信号に独立して復号可能なフレームと独立して復号不可能なフレームとが含まれる符号化方式では、パケットロスがなくなってフレームが正常に受信できるようになっても、すぐに復号化を開始することが困難である。

上記の課題を解決するために、本発明の一態様に係る符号化・復号化システムは、音信号を符号化信号に符号化し、前記符号化信号を復号化する符号化・復号化システムであって、前記音信号の音響特性に基づいて前記音信号が音声信号であるか音響信号であるかを判定する特性判定部と、前記特性判定部が前記音信号が音声信号であると判定した場合に、前記音信号を音声信号符号化処理によって符号化し、前記特性判定部が前記音信号が音響信号であると判定した場合に前記音信号を音響信号符号化処理によって符号化して前記符号化信号を生成する符号化部と、前記符号化信号を伝送する伝送部と、前記伝送部が伝送した前記符号化信号を受信する受信部と、前記受信部が受信した前記符号化信号を復号化する復号化部と、前記受信部が前記符号化信号を受信しているときに前記符号化信号のデータの欠損を検出して前記特性判定部に通知するパケット欠損検出部とを備え、前記データの欠損の通知を受けたとき、前記特性判定部は、前記音信号のうち符号化されていない未処理信号が所定の構成で符号化されるように前記符号化部を制御し、前記符号化信号のうち、前記未処理信号が前記所定の構成で符号化されることによって生成された信号に含まれる全てのフレームは、それぞれ、前記復号化部によって独立して復号可能なフレームであることを特徴とする。

これにより、データの欠損が発生した場合に、符号化部は音信号を独立して復号可能な符号化信号に符号化するため、復号化部が符号化信号を復号化できない時間が最小化され、データ欠損時の音の欠落を最小限に抑えることが可能になる。

また、例えば、前記データの欠損の通知を受けたとき、前記特性判定部は、前記音声信号符号化処理によって前記未処理信号が前記所定の構成で符号化されるように前記符号化部を制御してもよい。

つまり、データの欠損が発生した場合に、符号化部は音声信号符号化処理に処理を固定し、音信号を独立して復号可能な符号化信号に符号化する。このため、簡易な制御により、データ欠損時の音の欠落を最小限に抑えることが可能になる。

また、例えば、前記データの欠損の通知を受けたとき、前記特性判定部は、前記音響信号符号化処理によって前記未処理信号が前記所定の構成で符号化されるように前記符号化部を制御してもよい。

つまり、データの欠損が発生した場合に、符号化部は音響信号符号化処理に処理を固定し、音信号を独立して復号可能な符号化信号に符号化する。このため、簡易な制御により、データ欠損時の音の欠落を最小限に抑えることが可能になる。

また、例えば、前記データの欠損の通知を受けたとき、前記特性判定部は、前記音信号が音声信号であると判定した場合には、前記音声信号符号化処理によって前記未処理信号が前記所定の構成で符号化されるように前記符号化部を制御し、前記音信号が音響信号であると判定した場合には、前記音響信号符号化処理によって前記未処理信号が前記所定の構成で符号化されるように前記符号化部を制御してもよい。

つまり、データの欠損が発生した場合に、符号化部は符号化処理の切り替えを維持し、なおかつ音信号を独立して復号可能な符号化信号に符号化する。これにより、符号化効率を維持したまま、データ欠損時の音の欠落を最小限に抑えることが可能になる。

また、例えば、例えば、前記符号化信号のうち、前記未処理信号が前記所定の構成で符号化されることによって生成された信号に含まれる全てのフレームは、それぞれ、ACELP(Algebraic Code Excited Linear Prediction)方式によって符号化されたフレームであってもよい。

また、例えば、例えば、前記符号化信号のうち、前記未処理信号が前記所定の構成で符号化されることによって生成された信号に含まれる全てのフレームは、それぞれ、コンテクスト情報が初期化されたフレームであってもよい。

また、例えば、前記パケット欠損検出部は、前記符号化信号が前記伝送部によって伝送されてから前記受信部に受信されるまでの時間を表すネットワーク遅延量を測定し、所定の時間内における前記ネットワーク遅延量から平均ネットワーク遅延量を算出し、前記平均ネットワーク遅延量が所定の閾値よりも高い場合に、前記データの欠損を前記特性判定部に通知してもよい。

つまり、データの欠損は、ネットワーク遅延量によって検出可能である。

また、例えば、前記パケット欠損検出部は、前記受信部が受信した前記符号化信号に含まれるデータ番号に基づき前記データの欠損を検出し、所定の時間内における前記データの欠損の発生率が所定の閾値よりも高い場合に、前記データの欠損を前記特性判定部に通知してもよい。

つまり、データの欠損は、データ欠損の発生率によって検出可能である。

また、例えば、前記パケット欠損検出部が前記データの欠損の通知をしてから、前記符号化信号のうち前記未処理信号が前記所定の構成で符号化されることによって生成された信号を前記受信部が受信するまでの期間であるパケット欠損期間において、前記復号化部は、前記パケット欠損期間に前記受信部が受信した前記符号化信号のうち独立して復号可能な部分を復号化してもよい。

このように、復号化部が独立して復号可能な部分を復号することにより、音質は劣化するが、音の完全な欠落を防止することができる。つまり、このような処理によってもパケット欠損時の音の欠落を最小限に抑えることが可能になる。

また、本発明の一態様に係る復号化装置は、上記いずれかの態様の符号化・復号化システムに用いられる復号化装置であって、前記受信部と、前記復号化部と、前記パケット欠損検出部とを備える。

また、本発明の一態様に係る符号化装置は、上記いずれかの態様の符号化・復号化システムに用いられる符号化装置であって、前記特性判定部と、前記符号化部と、前記伝送部と、前記パケット欠損検出部とを備える。

また、本発明の一態様に係る符号化・復号化方法は、音信号を符号化信号に符号化し、前記符号化信号を復号化する符号化・復号化方法であって、前記音信号の音響特性に基づいて前記音信号が音声信号であるか音響信号であるかを判定する特性判定ステップと、前記特性判定ステップにおいて前記音信号が音声信号であると判定された場合に、前記音信号を音声信号符号化処理によって符号化し、前記特性判定ステップにおいて前記音信号が音響信号であると判定された場合に前記音信号を音響信号符号化処理によって符号化して前記符号化信号を生成する符号化ステップと、前記符号化信号を伝送する伝送ステップと、前記伝送ステップにおいて伝送された前記符号化信号を受信する受信ステップと、前記受信ステップにおいて受信された前記符号化信号を復号化する復号化ステップと、前記受信ステップにおいて前記符号化信号が受信されているときの前記符号化信号のデータの欠損を検出するパケット欠損検出ステップと、前記データの欠損の通知を受けたとき、前記音信号のうち符号化されていない未処理信号が所定の構成で符号化されるように制御する制御ステップとを含み、前記符号化信号のうち、前記未処理信号が前記所定の構成で符号化されることによって生成された信号に含まれる全てのフレームは、それぞれ、前記復号化ステップにおいて独立して復号可能なフレームである。

以下、本発明の実施の形態について、図面を参照しながら説明する。

なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、処理のステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、以下の実施の形態では、USAC方式を用いた符号化・復号化システムの構成を例にして説明するが、本発明は、USAC方式を用いた符号化・復号化システムに限定されない。本発明は、フレーム処理を行う音声信号及び音響信号の符号化・復号化システムにおいて、独立して復号可能なフレームと、独立して復号不可能なフレームとが存在する符号化方式を用いる場合に適用可能である。

(実施の形態1) 以下、本発明の実施の形態1について説明する。

まず、符号化・復号化システムの構成と簡単な動作について説明する。

図3は、実施の形態1に係る符号化・復号化システムの構成を示すブロック図である。

図3に示されるように、符号化・復号化システム300は、特性判定部301と、符号化部302と、重畳部303と、伝送部304と、復号化部305と、受信部307と、パケット欠損検出部308とを備える。

特性判定部301は、符号化・復号化システム300に入力される音信号について、所定のサンプル数毎(フレーム毎)に、音声信号であるか音響信号であるかを判定する。具体的には、特性判定部301は、当該フレームの音響特性に基づいて当該符号化単位が音声信号であるか音響信号であるかを判定する。

より具体的には、まず、特性判定部301は、当該フレームの3kHz以上の帯域のスペクトル強度と、当該フレームの3kHz以下の帯域のスペクトル強度とを算出する。3kHz以下のスペクトル強度がそれ以外の帯域のスペクトル強度よりも大きい場合、特性判定部301は、当該フレームが音声信号主体の信号である、すなわち音声信号であると判定し、判定結果を符号化部302に通知する。同様に、3kHz以下のスペクトル強度がそれ以外の帯域のスペクトル強度よりも小さい場合、特性判定部301は、当該フレームが音響信号主体の信号である、すなわち音響信号であると判定し、判定結果を符号化部302に通知し、符号化部302を制御する。

また、特性判定部301は、後述するパケット欠損検出部308からパケットの欠損の通知を受けた場合に、音信号の各フレームが独立して復号可能なフレームに符号化されるように符号化部302を制御する。本制御の詳細については後述する。

符号化部302は、特性判定部301が、フレームが音声主体であると判定した場合、当該フレームについて音声信号符号化処理を行う。USAC方式では、音声信号符号化処理としてLPD(Linear Prediction Domain)符号化処理が用いられる。符号化部302は、特性判定部301が、フレームが音響信号主体であると判断した場合、当該フレームについて音響信号符号化処理を行う。USAC方式では、音響信号符号化処理としてFD(Frequency Domain)符号化処理が用いられる。

符号化部302の上記の動作は、通常のUSAC符号化処理(以下、通常符号化モードとも記載する。)である。しかしながら、上述のように特性判定部301が後述するパケット欠損検出部308からパケットの欠損の通知を受けた場合、符号化部302は、音信号の各フレームを独立して復号可能なフレームに符号化する特殊なUSAC符号化処理(以下、特殊符号化モードとも記載する。)を行う。特殊符号化モードにおける符号化方法の詳細は、後述する。

重畳部303は、符号化部302で符号化されたフレームを合成し、ビットストリーム(符号化信号)を生成する。なお、本実施の形態では、符号化・復号化システム300は、重畳部303を別途設けた構成となっているが、重畳部303の機能は、符号化部302の機能の一部として実現されてもよい。

伝送部304は、重畳部303で生成されたビットストリームを伝送経路に応じた形式で伝送する。伝送経路は、例えば、移動体通信網(3G携帯)や固定インターネット網などのIP網である。

受信部307は、伝送部304から送信され、伝送路を経由したビットストリームを受信する。なお、伝送経路によっては、ビットストリーム以外の情報、例えば、伝送路を細かく制御するためのネットワーク制御情報が伝送部304及び受信部307間で送受信される場合がある。ネットワーク制御情報は、例えば、伝送されるビットストリームのビットレート、チャンネル数、または符号化方式(本実施の形態では、USACの初期設定情報(USACConfig()など))などの符号化パラメータや、伝送誤り率や伝送遅延量などの伝送路の状態を示す情報などである。

復号化部305は、受信部307が受信したビットストリームを復号化する。

本実施の形態では、伝送経路は、インターネットプロトコル(IP)で構成されるIP網である。IP網では、基本的にIPパケットの形式でビットストリームが伝送される。IP網におけるフレームの欠損は、IPパケットが欠損する場合と、IPパケットに伝送誤りがある場合の二通りが想定される。

IPパケットに伝送誤りがある場合、基本的には、IP網が具備するデータ補正機能を用いて伝送誤りは補正される。IPパケットが欠損する場合、基本的には、IP網が具備するパケット再送信機能によりパケットの欠損が補正される。

以下、パケット再送信機能について説明する。

IP網でのIPパケットの欠損は、IPパケットを構成する各パケットデータに付加されているパケット番号を常時監視することで検出可能である。

図4は、パケットデータを示す模式図である。

パケット番号は、周期性のある番号であり、1つのパケットデータに1つのパケット番号が付され、連続するパケットデータには連続するパケット番号が付される。すなわち、連続するパケットデータには、0、1、2、・・・と順番にパケット番号が付される。図4に示されるように、パケットデータ401にはバケット番号0が付され、これに続くパケットデータ402には、パケット番号1が付される。

パケット番号が最大番号(例えば255)に達した場合、パケット番号は、0に戻ることとなる。つまり、図4に示されるパケットデータ403に続くパケットデータのパケット番号は0となる。

受信部307は、パケットデータを1つ受信する毎にパケット番号を検出し、一時的に受信部307内で保持する。受信部307は、次のパケットデータの受信後に、検出したパケット番号と、その前に受信し一時的に保持されたパケット番号とを比較する。そして、受信部307は、上記比較の結果、パケット番号の差分が1、または所定の最大番号(例えば255)である場合、パケット欠損がないと判断する。パケット番号の差分が1、または所定の最大番号でない場合、受信部307は、パケット欠損があると判断し、伝送部304側に欠損したパケット番号のパケットの再送要求を行う。

上述のように、基本的にはIPパケットが欠損し、またはIPパケットに伝送誤りがあってもIP網の機能によってパケットは補正される。しかしながら、例えば、長期間通信状況が悪いような場合においては、IP網の機能によりパケットが完全に補正されない場合がある。

そこで、符号化・復号化システム300は、パケット欠損検出部308を備え、パケット欠損検出部308は、IP網でのパケット欠損を検出する。パケット欠損検出部308は、符号化・復号化システム300の特徴的な構成要素である。

パケット欠損検出部308は、受信部307が検出したIPパケット再送回数、及びIPパケット補正回数(パケット欠損情報)を逐次保持し、符号化モード(上述の通常符号化モード及び特殊符号化モード)を切り替えるための判断情報を算出する。判断情報は、受信部307と伝送部304との間で送受信されるネットワーク制御情報の一部として伝送部304側へ送られる。

伝送部304は、受信した判断情報を特性判定部301へと送信し、特性判定部301は、判断情報に基づいて、符号化部302が通常符号化モードで符号化を行うか、特殊符号化モードで符号化を行うかの制御を行う。

以下、符号化・復号化システム300の詳細な動作について説明する。

まず、パケット欠損検出部308の判断情報の算出方法について、パケット欠損検出部308の具体的な構成と共に説明する。

図5は、パケット欠損検出部308の具体的な構成を表すブロック図である。

図6は、実施の形態1に係る符号化・復号化システムの制御フローを示す図である。

図7は、パケット欠損検出部308の判断情報の算出方法のフローチャートである。

図5に示されるように、パケット欠損検出部308は、パケット欠損発生率算出部502と、ネットワーク状況保持部503と、パケット欠損判断部504とから構成される。

ネットワーク状況保持部503は、受信部307がネットワークを通じて受信し、検出したパケット欠損情報501(IPパケット再送回数、及びIPパケット補正回数)を逐次保持する(図6及び図7のS101)。具体的には、ネットワーク状況保持部503は、サービス毎に予め設定された保持期間内(たとえば1秒など)に発生したIPパケット再送回数、IPパケット補正回数及びパケット総数(パケット保持情報)を保持する(図6及び図7のS102)。続いて、ネットワーク状況保持部503は、保持期間毎に上記パケット保持情報をパケット欠損発生率算出部502に送信する。

パケット欠損発生率算出部502は、当該保持期間毎に、パケット保持情報に基づいて下記式(1)で表されるパケット欠損率を算出する(図6及び図7のS103)。

(IPパケット再送回数+IPパケット補正回数)/総パケット数*2・・式(1)

パケット欠損判断部504は、式(1)で表されるパケット欠損率が所定の閾値を超えた場合に、判断情報を特殊符号化モードに設定し、当該判断情報を伝送部304側(特性判定部301)に送信する。パケット欠損率が所定の閾値未満である場合は、判断情報を通常符号化モードに設定し、当該判断情報を特性判定部301に送信する(図6及び図7のS104)。なお、所定の閾値は、USAC方式を用いるアプリケーションによって異なるが、例えば、3G方式の移動体通信技術においてUSAC方式を用いて伝送する場合、所定の閾値は、20%である。ただし、この所定の閾値は、あくまで一例であって、これに限られるものではない。

次に、符号化部302の符号化処理について詳細に説明する。

図8は、符号化部302の符号化処理のフローチャートである。

図9は、符号化部302の符号化処理を説明するための模式図である。

符号化部302が音信号を取得し(図8のS201)、音信号を符号化する場合、特性判定部301がパケット欠損の通知を受けない場合(図8のS202でNo)、符号化部302は、通常符号化モードによる符号化を行う。具体的には、符号化部302は、特性判定部301が、音信号が音声信号であると判定した場合(図8のS203でYes)、音信号についてLPD符号化処理を行う(図8のS204)。

本実施の形態では、LPD符号化処理は、TCX(Transform Coded Excitation)方式と、ACELP(Algebraic Code Excited Linear Prediction)方式である。LPD符号化処理を行う場合、符号化部302は、図1のTCX_Code()または、ACELP_Code()からなるフレームに音信号を符号化する。

TCX方式とは、50Hzから7000Hzの帯域幅を持つ広帯域音声信号の符号化に用いられる符号化方式である。

ACELP方式とは、CELP(Code Excited Linear Prediction)方式のうち、コードブックが代数的な形式で格納された符号化方式であり、人間の声などの周期的な信号を効率的に符号化できる符号化方式である。

したがって、LPD符号化処理では、符号化後のフレームには、以下の3種類のフレームが存在する。

1つは、図9の(a)に示されるフレーム601のように1フレームが全てTCX方式によって符号化されたフレームである。もう1つは、図9の(a)に示されるフレーム602のように1フレーム内にTCX方式で符号化された部分と、ACELP方式で符号化された部分が存在するフレームである。そして、図9の(a)に示されるフレーム603のように1フレーム全てACELP方式によって符号化されたフレームである。

上記フレームのうち、TCX方式を用いて符号化されたフレームは、独立して復号不可能なフレームと独立復号不可なフレームがあり、FlagIndependency情報が“復号可”となるフレームにTCX方式が含まれる場合がある。1フレームが全てACELP方式によって符号化されたフレーム603は、独立して復号可能なフレームである。

一方、符号化部302は、特性判定部301が音信号が音響信号であると判定した場合(図8のS203でNo)、音信号についてFD符号化処理を行う(図8のS205)。

実施の形態1では、FD符号化処理は、例えば、AAC方式のスペクトル量子化処理をHuffman符号ではなく算術符号を用いて符号化効率を向上させた符号化処理である。

この場合、符号化部302は、図1のFD Channel Element()(Arith_Code())からなるフレームに音信号を符号化する。

ここで、図9の(b)に示されるように、フレーム701は、独立して復号可能なフレーム(I−Frame)であるが、フレーム702は、フレーム701のコンテクスト情報を用いて算術符号を復号化するフレームである。このため、フレーム702は、フレーム701が復号されない限り復号できない。同様に、フレーム703は、フレーム702のコンテクスト情報を用いて復号化されるフレームであるため、フレーム702が復号されない限り復号できない。すなわち、フレーム702及び703は、独立して復号不可能なフレームである。

ここでフレーム701を符号化してから所定の期間経過後は、コンテクスト情報は初期化される。すなわち、フレーム704は、独立して復号可能なフレームとして符号化されたフレームである。続く、フレーム705は、フレーム704が復号されない限り復号できず、フレーム706は、フレーム705が復号されない限り復号できない。以降、同様である。

なお、上記所定の期間は、符号化に用いられるアプリケーション等によって異なる期間であり、任意に設定される期間である。

特性判定部301がパケット欠損の通知を受けた場合(図8のS202でYes)、符号化部302は、音信号のうち符号化されていない未処理信号を所定の構成で符号化する。すなわち、符号化部302は、特殊符号化モードによる符号化を行う。実施の形態1では、具体的には、符号化部302は、図9の(c)に示されるように、音声信号符号化処理のうちACELP方式のみを用いて符号化する、固定符号化モードで符号化を行なう(図8のS206)。

なお、特性判定部301がパケット欠損の通知を受け、符号化部302が固定符号化モードで符号化を行っている間、特性判定部301は、判断情報の経時的変化を観測しておき、パケット欠損状況が安定的に解消されるまで、符号化部302が固定符号化モードで符号化を行うように制御する。

そして、特性判定部301は、パケット欠損状況が安定的に解消された後、符号化部302が通常符号化モードで符号化を行うように制御する。例えば10秒以上通常符号化モードに設定された判断情報を連続して受信した場合に、特性判定部301は、パケット欠損状況が安定的に解消されたと判断する。この時間はあくまで一例であって、これに限定されるものではない。この時間は、通信網の伝送特性(遅延、パケット欠損率、通信速度など)によって変わる時間である。

符号化部302が固定符号化モードで符号化している間は、実質的に全てのフレームが独立して復号可能なフレーム(I−Frame)となる。ここで、仮に図1で示されるフレーム内のFlagIndependencyが“独立復号不可”を表していても、ACELP方式のみで符号化されたフレームは、復号化部305側で強制的にACELP復号化処理を行うことができる。すなわち、符号化・復号化システム300によれば、パケット欠損復帰直後のフレームが復号化不可を表していても、そのフレームにACELP方式で符号化されたデータが含まれていれば一部だけでも復号化が可能となる。

図10は、パケット欠損発生時の符号化・復号化システム300の復号化処理を模式的に示す図である。図10は、伝送される符号化信号を模式的に示したものであり、1つの長方形は1つのフレームを表す。図10では、符号化部302がFD符号化処理を行っている場合にパケット欠損800が発生した場合を模式的に表しており、符号化部302及び復号化部305において同一の文字が付されたフレームは同一のフレームである。図中で(I−Frame)と記載されたフレームは、独立して復号可能なフレームを表す。

図10の(a)に示されるように、本発明を適用しない符号化・復号化システムでは、パケット欠損800が発生した場合、復号化部305は、次に独立して復号可能なフレームを受信するタイミングt1まで復号を再開することができない。

これに対し、図10の(b)に示されるように、符号化・復号化システム300では、パケット欠損800が発生した場合、パケット欠損検出部308は、特性判定部301がパケット欠損の通知801(判断情報の通知)を行う。そして、特性判定部301が通知801を受けた後、符号化部302は、固定符号化モードで符号化を行なう。

したがって、符号化信号のうち、符号化部302がタイミングt3以降に符号化した符号化信号(未処理信号が所定の構成で符号化されることによって生成された信号)に含まれる全てのフレームは、それぞれ、復号化部305によって独立して復号可能なフレームとなる。つまり、復号化部305は、上記タイミングt1よりも前のタイミングt2において復号を開始することができる。

以上、説明したように実施の形態1の符号化・復号化システム300によれば、パケット欠損発生から復帰した際の復号化できない時間が最小化され、パケット欠損時の音の欠落を最小限に抑えることが可能になる。

なお、上記ステップS206では、符号化部302は、図9の(d)に示されるように音信号をコンテクスト情報が初期化されたフレームのみからなる符号化信号に音響信号符号化処理によって符号化する、可変符号化モードで符号化を行ってもよい。

上述のように、コンテクスト情報が初期化されたフレームは、前のフレームの情報を用いることなく単独で復号されることが可能である。したがって、ACELP方式に固定して符号化を行う固定符号化モードの場合と同様に、ステップS206において上記のような可変符号化モードで符号化を行っても、パケット欠損発生から復帰した際の復号化できない時間は最小化される。すなわち、復号化部305は、パケット欠損復帰直後のフレームから復号化を行うことが可能となり、パケット欠損時の音の欠落を最小限に抑えることが可能になる。

なお、図10の(b)に示されるパケット欠損期間802において、復号化部305は、パケット欠損期間802に受信部が受信した符号化信号のうち独立して復号可能な部分を復号化してもよい。パケット欠損期間802とは、パケット欠損検出部308がパケットの欠損の通知をしてから(タイミングt3)、独立して復号可能なフレームを用いて符号化された符号化信号(所定の構成で符号化されることによって生成された信号)を受信部307が受信するまで(タイミングt2)の期間である。

図10の(b)では、パケット欠損期間802において受信部307が受信するフレームは、FD符号化処理によって符号化された独立して復号不可能なフレームであるため、復号化部305が復号することはできない。しかしながら、パケット欠損期間802において受信部307が受信するフレームが、図9の(a)に示されるフレーム602のようなフレームである場合、復号化部305は、以下の方法によって独立して復号可能な部分を復号化することができる。

フレーム602は、1フレーム内にTCX方式で符号化された部分と、ACELP方式で符号化された部分が存在するフレームである。TCX方式及びACELP方式では音声信号を効率よく符号化するために線形予測係数(LPC係数)を用いており、どちらの方式であっても必ず線形予測係数を含むものである。線形予測係数は、音声信号のスペクトル包絡に変換することができる係数で、スペクトル包絡がある程度再現できれば、完全ではないにしろ音声信号が復号できる。ACELPを含むこのようなフレームでは、少なくとも一つ以上の線形予測係数が同一フレームに含まれており、また、音声信号の特性上、数十msec程度のフレーム時間の間には線形予測係数は大きくは変化しない確率が高い。

そこで、復号化部305が、符号化信号のうちACELP方式で符号化された部分を強制的に復号化し、それ以外のTCX方式で符号化された部分には、ACELP方式の復号化の過程で取得した線形予測係数を再活用して、擬似的に復号化を実現することが可能である。その場合、TCX及びACELPが符号化信号のとおりに完全に復号化できる場合に比べて音質は多少劣化するが、線形予測係数が音声信号の特徴づけに大きく寄与しているため、音声信号の特徴的部分は、表現可能である。

以上のように、パケット欠損期間802において復号化部305が独立して復号可能な部分を復号することにより、音質は劣化するが、音の完全な欠落を防止することができる。つまり、パケット欠損時の音の欠落を最小限に抑えることが可能になる。

(実施の形態2) 以下、本発明の実施の形態2について説明する。

実施の形態1では、パケット欠損検出部308がIPパケット再送回数、及びIPパケット補正回数に基づいてパケットデータの欠損を検出する(判断情報を送信する)例について説明したが、パケットデータの欠損の検出方法はこれに限定されない。実施の形態2では、パケット欠損検出部308がネットワーク遅延量に基づいてパケットデータの欠損を検出する例について説明する。

また、実施の形態1では、特性判定部301がパケット欠損の通知を受けた場合、符号化部302は、パケット欠損が安定的に解消されるまで音声信号符号化処理、または音響信号符号化処理の一方によって符号化を行った。これに対し、実施の形態2では、特性判定部301がパケット欠損の通知を受けた場合に、符号化部302は、USAC方式の特徴である音声信号符号化処理と、音響信号符号化処理との切り替えを維持して符号化を行うことが特徴である。

まず、実施の形態2に係る符号化・復号化システムの構成と簡単な動作について説明する。実施の形態2に係る符号化・復号化システムの全体のシステム構成は、図3に示されるものと同様であり、パケット欠損検出部308の構成が主に異なる。なお、以下の実施の形態2において、実施の形態1と実質的に同一の構成については説明を省略する。

図11は、実施の形態2に係るパケット欠損検出部の具体的な構成を示すブロック図である。

図12は、実施の形態2に係る符号化・復号化システムの制御フローを示す図である。

図13は、実施の形態2に係るパケット欠損検出部の判断情報の算出方法のフローチャートである。

実施の形態2に係るパケット欠損検出部308は、パケット欠損判断部504と、ネットワーク遅延量算出部505と、遅延計測カウンター506とを備える。

実施の形態2に係るパケット欠損検出部308は、伝送部304と受信部307との間のネットワーク遅延量を常時監視する。

具体的には、図11に示すように、ネットワーク遅延量算出部505は、受信部307を介してテストパケットを伝送部304側に所定時間毎に(定期的に)送信し、これに対するレスポンスを受信する(図12及び図13のS301)。上記の所定時間は、例えば、5秒毎である。テストパケットは、例えば、IP網で通信相手先が稼働しているのかを判定するために通常用いられるping命令である。

ネットワーク遅延量算出部505は、テストパケットを送信し、通信相手先(この場合、伝送部側)からのレスポンスを受信することでネットワーク遅延量を計測することができる。具体的には、ネットワーク遅延量算出部505は、テストパケットを送信した時刻を保持し、通信相手先からのレスポンスを受信した時刻と上記保持した時刻との差分をネットワーク遅延量として保持する(図12及び図13のS302)。なお、テストパケットの一例としてping命令を例に説明しているが、テストパケットは、これに限られるものではなく、ネットワーク遅延量を計測可能であれば別の形態であってもよい。

このようにして算出したネットワーク遅延量を元に、ネットワーク遅延量算出部505は、所定時間単位(例えば1分毎)におけるネットワーク遅延量の平均値を計算し、当該平均値を平均ネットワーク遅延量とする(図12及び図13のS303)。

ネットワーク遅延量算出部505は、ネットワーク遅延量が平均ネットワーク遅延量よりも大きくなった場合には、遅延計測カウンター506のカウント値をインクリメントする。ネットワーク遅延量算出部505は、ネットワーク遅延量が平均ネットワーク遅延量よりも小さくなった場合には、遅延計測カウンター506のカウント値をデクリメントする。このように、ネットワーク遅延量算出部505は、所定時間単位毎に遅延計測カウンター506のカウント値をインクリメントまたはデクリメントする。

パケット欠損判断部504は、遅延計測カウンター506のカウント値が所定の閾値(例えば0)よりも大きくなる場合、判断情報を特殊符号化モードに設定し、当該判断情報を伝送部304側(特性判定部301)に送信する(図12及び図13のS304)。遅延計測カウンター506のカウント値が大きくなる場合、ネットワークの遅延量が増大傾向、つまりパケット欠損が発生する可能性が高いと判断できるからである。

遅延計測カウンター506のカウント値が所定の閾値よりも小さくなる場合、つまり、ネットワーク遅延量が減少傾向にある場合、パケット欠損判断部504は、判断情報を通常符号化モードに設定し、当該判断情報を伝送部304側に送信する(図12及び図13のS304)。なお、遅延計測カウンター506の閾値は、符号化・復号化に適用されるアプリケーションやネットワークの特性などによって任意に設定されてもよい。

次に、実施の形態2に係る符号化部302の符号化処理について詳細に説明する。

図14は、符号化部302の符号化処理のフローチャートである。

図15は、符号化部302の符号化処理を説明するための模式図である。

符号化部302が音信号を取得し(図14のS401)、音信号を符号化する場合、特性判定部301がパケット欠損の通知を受けない場合(図14のS402でNo)は、符号化部302は、通常符号化モードによる符号化を行う。具体的には、符号化部302は、特性判定部301が、音信号が音声信号であると判定した場合(図14のS403でYes)、音信号についてLPD符号化処理を行う(図14のS404)。一方、符号化部302は、特性判定部301が、音信号が音響信号であると判定した場合(図14のS403でNo)、音信号についてFD符号化処理を行う(図14のS405)。これら、通常符号化モードにおける符号化部302の符号化処理は、実施の形態1で説明した通常符号化モードにおける符号化処理と同様である。

特性判定部301がパケット欠損の通知を受けた場合(図14のS402でYes)、符号化部302は、特殊符号化モードによる符号化を行う。実施の形態2では、符号化部302は、特殊符号化モードにおいても音声信号符号化処理と、音響信号符号化処理との切替を維持し、音信号を独立して復号可能なフレームからなる符号化信号に符号化する。

具体的には、符号化部302は、特性判定部301が音信号が音声信号であると判定した場合(図14のS406でYes)、音声信号符号化処理のうちACELP方式のみを用いて符号化を行なう(図14のS407)。符号化部302は、特性判定部301が音信号が音響信号であると判定した場合(図14のS406でNo)、音信号をコンテクスト情報が初期化されたフレームのみからなる符号化信号に音響信号符号化処理によって符号化する(図14のS408)。

この結果、実施の形態2の特殊符号化モードで符号化された符号化信号は、特性判定部301の判定に応じて図15に示されるようなフレームからなる符号化信号となる。つまり、符号化信号は、実質的に全てのフレームが独立復号可能フレーム(I−Frame)となる。

なお、パケット欠損の通知を受けた後、パケット欠損が安定的に解消された場合については、実施の形態1と同様に、特性判定部301は、パケット欠損検出部308の通知に基づいて符号化部302が通常符号化モードで符号化を行うように制御する。

以上、説明したように実施の形態2に係る符号化・復号化システムによっても、パケット欠損発生から復帰した際の復号化できない時間が最小化され、パケット欠損時の音の欠落を最小限に抑えることが可能になる。

実施の形態1に係る符号化・復号化システム300では、パケット欠損の通知を受けた場合、特性判定部301は音信号が音声信号であるか音響信号であるかの判定を行わない。このため、実施の形態1に係る符号化・復号化システム300は、パケット欠損の通知を受けた場合の符号化部302の制御が簡易であるという特徴がある。これに対し、実施の形態2に係る符号化・復号化システムは、上記判定を行うため、パケット欠損の通知を受けた場合においても符号化効率が良いことが特徴である。

(その他変形例) なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されない。

本発明に係る符号化・復号化システムは、符号化装置と、復号化装置との組み合わせで実現されることも可能である。例えば、符号化・復号化システムは、特性判定部301、符号化部302(重畳部303)、伝送部304、及びパケット欠損検出部308を備える符号化装置と、復号化部305、及び受信部307を備える復号化装置とで実現されてもよい。

また、例えば、符号化・復号化システムは、特性判定部301、符号化部302(重畳部303)、及び伝送部304を備える符号化装置と、復号化部305、受信部307、及びパケット欠損検出部308を備える復号化装置とで実現されてもよい。この場合、パケット欠損検出部308は、実施の形態2で説明したネットワーク遅延量を用いてパケットの欠損を検出することができる。

また、例えば、符号化・復号化システムは、特性判定部301、符号化部302(重畳部303)、及び伝送部304を備える符号化装置と、復号化部305、及び受信部307を備える復号化装置と、パケット欠損検出部308を備えるネットワーク管理装置とで実現されてももちろんよい。

なお、本実施の形態では、音声信号符号化処理においてACELP方式を用いる例について説明したが、本発明は、これに限定されるものではない。例えば、音声信号符号化処理においてVSELP(Vector Sum Excited Linear Prediction)方式等、符号化原理がCELP方式であり、各フレームが独立復号可能な構成である方式であればどのCELP方式を用いてもよい。

また、以下のような場合も本発明に含まれる。

(1)上記の符号化・復号化システムは、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、符号化・復号化システムは、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

(2)上記の符号化・復号化システムを構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。

(3)上記の符号化・復号化システムを構成する構成要素の一部または全部は、符号化・復号化システムに脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

(4)本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

(5)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

なお、本発明は、これらの実施の形態またはその変形例に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態またはその変形例に施したもの、あるいは異なる実施の形態またはその変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明は、音声信号及び音響信号を高品質・低ビットレートで符号化することができ、伝送が途切れた場合のサービス品質劣化を最小限にとどめることができる符号化・復号化システムとして有用である。具体的には、本発明に係る符号化・復号化システムは、移動体通信などの不安定な通信網上で音声・音響ストリーミングサービスを行う場合や、臨場感遠隔会議の場合、あるいは移動体端末向け放送サービスの場合に適用することができる。

200 パケットロス 201、202、203、204、601〜603、701〜706 フレーム 300 符号化・復号化システム 301 特性判定部 302 符号化部 303 重畳部 304 伝送部 305 復号化部 307 受信部 308 パケット欠損検出部 401、402、403 パケットデータ 501 パケット欠損情報 502 パケット欠損発生率算出部 503 ネットワーク状況保持部 504 パケット欠損判断部 505 ネットワーク遅延量算出部 506 遅延計測カウンター 800 パケット欠損 801 通知 802 パケット欠損期間