この発明は、音声の補正技術に関し、特に、波形素片接続型音声合成システム等において、入力される音声の音質を、ターゲット音声に近い音質に補正するための技術に関する。

コンピュータ技術及びデータコミュニケーション技術の発達に伴い、人間と機械との間のインターフェイスが重要となっている。 人間にとっては、人と話をするのと同様に機械とのコミュニケーションを行なえることが望ましく、そのための技術開発が進められている。

人間から機械への情報の伝達としては、音声認識、画像認識等の認知技術が主として用いられる。 また機械から人間への情報の伝達方法は種々あるが、中でも音声合成技術が用いられる機会が増加している。 音声応答システム、音声翻訳システム、コンピュータゲーム等が代表的な応用例である。 さらに、近年のロボット等の開発の進展に伴い、音声認識及び画像認識と音声合成とを組合せることで、人間とロボットとのコミュニケーションを人間同士のコミュニケーションと同様に実現することが期待される。

音声合成では、如何にして自然な音声を合成するかが重要である。 最近では、数十時間規模の大規模な音声コーパスを使用して音声素片を作成しておき、入力されるテキストデータに応じて適切な音声素片を選択し接続する、いわゆる音声素片接続型音声合成が主流となっている。 この技術では、如何に自然に音声波形素片を接続するかが重要となる。

上述した様に現在の波形素片音声合成システムでは、音質向上のために大規模な音声コーパスを使用している。 多くの場合、単一の話者の音声を長期間かけて収録する。 場合によってはその収録に数ヶ月から数年の期間を必要とする。

こうした場合、録音時期が異なると、録音系の特性が経年変化し、そのために録音された音声を再生した場合、その音質が変化してしまうことがある。 波形接続を行なう場合、その様に互いに異なる音質の音声を接続すると、合成された音声が不自然なものとなる問題がある。

こうした問題を解決するための音声の補正技術に関し、一つの提案が非特許文献１においてなされている。 図４に、非特許文献１に記載されたチャネル等化装置のブロック図を示す。 図４を参照して、この装置２００は、ソース音声３０を受け、ソース音声３０の発話内容でターゲット音声３２とほぼ同じ周波数特性の音声を発生するためのものである。 なお、本明細書では、ターゲット音声３２は予め録音されていた、基準となる音声を指す。 ソース音声３０は、ターゲット音声３２とは別の時期に録音された音声であり、録音系の特性の経年変化により、その周波数特性がターゲット音声３２とは異なっている可能性があるものとする。

この装置２００は、ソース音声３０のパワースペクトル密度（ＰＳＤ）を生成するためのソースＰＳＤ生成部３４と、ターゲット音声３２のＰＳＤを生成するためのターゲットＰＳＤ生成部３６と、ソース音声３０のＰＳＤとターゲット音声３２のＰＳＤとの差分（ターゲットＰＳＤ／ソースＰＳＤ）を計算するための除算部３８と、除算部３８の出力に基づくＬＰＣ（線形予測係数）分析の結果を用いたＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタでソース音声３０をフィルタリングし等化処理済みの音声２１２を出力するためのＬＰＣフィルタ部２１０とを含む。

ソースＰＳＤ生成部３４及びターゲットＰＳＤ生成部３６は同様の構成を有する。 ソースＰＳＤ生成部３４は、ソース音声３０のデータに含まれる各音声フレームを検出するための音声フレーム検出部５０と、音声フレーム検出部により検出された各音声フレームに所定の窓掛け処理を行なうための窓掛け処理部５２と、窓掛け処理部５２により窓掛け処理された音声フレームデータから高速フーリエ変換（ＦＦＴ）により当該音声フレームのＰＳＤを算出するためのパワースペクトル算出部５４と、パワースペクトル算出部５４により算出された、所定期間のソース音声３０のフレームのＰＳＤの平均を算出するためのフレーム平均部５６とを含む。

ターゲットＰＳＤ生成部３６も同様に、音声フレーム検出部６０と、窓掛け処理部６２と、パワースペクトル算出部６４と、フレーム平均部６６とを含む。

ＬＰＣフィルタ部２１０は、除算部３８の出力に逆ＦＦＴ（ＩＦＦＴ）処理を行なうためのＩＦＦＴ部２２０と、ＩＦＦＴ部２２０の出力に対しＬＰＣ変換を行なうためのＬＰＣ変換部２２２と、ＬＰＣ変換部２２２の出力するＬＰＣ係数により決定されるフィルタパラメータを持ち、ソース音声３０に対するフィルタリング処理を行なってソース音声３０の周波数特性をターゲット音声３２の周波数特性に等化させるためのＩＩＲフィルタ２２４とを含む。

ソース音声３０とターゲット音声３２との周波数特性の差分を除算部３８で算出し、その差分に対するＬＰＣ変換を行なってＩＩＲのフィルタパラメータを設定する。 このチャネル等化装置２００により、ソース音声３０の周波数特性をターゲット音声３２のそれとほぼ等しいものに等化できる。

ユー シ、エリック チャン、フ ペン、ミン チュウ、「接続型ＴＴＳシステムのための、大規模音声データベースについてのパワースペクトル密度に基づくチャネル等化」、ＩＣＳＬＰ２００２予稿集、ｐｐ． ２３６９−２３７２、米国、２００２（Ｙｕ Ｓｈｉ，Ｅｒｉｃ Ｃｈａｎｇ，Ｈｕ Ｐｅｎｇ，ａｎｄ Ｍｉｎ Ｃｈｕ，"Ｐｏｗｅｒ Ｓｐｅｃｒａｌ Ｄｅｎｃｉｔｙ Ｂａｓｅｄ Ｃｈａｎｎｅｌ Ｅｑｕａｌｉｚａｔｉｏｎ Ｏｆ Ｌａｒｇｅ Ｓｐｅｅｃｈ Ｄａｔａｂａｓｅ Ｆｏｒ Ｃｏｎｃａｔｅｎａｔｉｖｅ ＴＴＳ Ｓｙｓｔｅｍ，Ｐｒｏｃ ｏｆ ＩＣＳＬＰ２００２，ｐｐ．２３６９−２３７２、ＵＳＡ，２００２）

図４に示す従来の等化装置については、その有効性が示されている。

しかし従来法では、ＬＰＣ変換における次数をどの様に選択すべきかについて、困難な問題がある。 すなわち、ＬＰＣ変換の次数を小さくすると、補正の効果がほとんどなくなる一方、次数を大きくすると音質の劣化が甚だしくなるという問題がある。 そのためＬＰＣ変換の次数を適切な値に決めるのが困難である。

本発明に係る音声の周波数特性の等化装置は、処理対象となる音声と基準となる音声との間のパワースペクトル密度（ＰＳＤ）の差分を算出するための手段と、差分をケプストラムにより表される周波数特性の特徴空間に変換するための手段と、ケプストラムにより表された差分を用いてフィルタパラメータが設定される、処理対象となる音声をフィルタリングするための、予め定められたフィルタリング手段とを含む。

好ましくは、フィルタリング手段は、差分のケプストラムをメルケプストラムに変換するための手段と、メルケプストラムにより表された差分をフィルタパラメータとし、処理対象となる音声を入力として受ける様に接続されるＭＬＳＡ（ｍｅｌ−ｌｏｇａｒｉｔｈｍｉｃ ｓｐｅｃｔｒａｌ ａｐｐｒｏｘｉｍａｔｉｏｎ）フィルタとを含む。

又は、フィルタリング手段は、ＰＳＤの差分に対し平滑化処理を行なうためのＰＳＤ差分平滑化手段と、ＰＳＤ差分平滑化手段により平滑化されたＰＳＤによりフィルタパラメータが設定される、処理対象となる音声を受ける様に接続されるＦＩＲ（ｆｉｎｉｔｅ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ）フィルタとを含んでもよい。

音声の周波数特性の等化装置は、ＰＳＤの差分を、予め定める第１の次数を有する差分のケプストラムに変換するための手段をさらに含んでもよい。 ＰＳＤ差分平滑化手段は、差分のケプストラムに対し前記第１の次数のケプストラムから前記第１の次数よりも小さな第２の次数を有するメルケプストラムへの周波数軸ワーピングを行なうための第１のメルワーピング手段と、第１のメルワーピング手段の出力に対し、第１のメルワーピング手段によるメルワーピングの逆変換を行ない逆変換された差分のケプストラムを出力するための第２のメルワーピング変換手段と、第２のメルワーピング変換手段の出力する逆変換された差分のケプストラムをスペクトルに変換することで平滑化されたＰＳＤの差分を出力し、ＦＩＲフィルタにフィルタパラメータとして与えるための手段とを含んでもよい。

処理対象となる音声と基準となる音声とのパワースペクトル密度の差分がケプストラムにより表される周波数特性の特徴空間に変換される。 それをさらにメルスケールに変換してＭＬＳＡフィルタを設定する。 又は、ケプストラムに変換した後、メルワーピング及びその逆変換を行なって逆変換されたケプストラムを得て、それをさらにスペクトルに戻すことでＰＳＤの差分を平滑化し、そのＰＳＤの差分でフィルタを設定する。 こうして設定されたフィルタは人間の聴覚特性に近い特性を持つ。 またこうして設定されるフィルタの特性は、ＬＰＣ変換によるフィルタと異なり、パラメータ次数に敏感でない。 フィルタの精度を高める様にパラメータの算出を行なう場合にも、音質の劣化が生じることがない。 また従来のチャネル等価装置と同程度の音質で、処理対象となる音声の周波数特性を基準となる音声の周波数特性に等化させることができる。

［第１の実施の形態］
図１に、本発明の第１の実施の形態に係るチャネル等価装置２０のブロック図を示す。 図１において、図４と同じ部品には同じ参照番号を付してある。 それらの機能も同一である。 従ってそれらについての詳細な説明は繰返さない。

図１に示すチャネル等価装置２０が図４のチャネル等価装置２００と異なるのは、図４のＬＰＣフィルタ部２１０に代えて、ＰＳＤの差分を平滑化したフィルタパラメータで設定されたＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを用いて等化を行なうケプストラムフィルタ部４０を含む点である。

ケプストラムフィルタ部４０は、除算部３８の出力するソース音声３０とターゲット音声３２とのＰＳＤの平均の差分について平方根をとりさらにその対数を算出するための対数算出部７０と、対数算出部７０の出力に対しｍ次のＩＦＦＴ処理を実行することにより除算部３８の出力に対するケプストラムを算出するためのＩＦＦＴ処理部７２と、ＩＦＦＴ処理部７２の出力するケプストラムについて、その横軸（周波数軸）をメルスケールに変換する（メルワーピングする）ための第１のメルワーピング部７４とを含む。

第１のメルワーピング部７４での変換をメルワーピング（ｍ、ｎ、ａ）と表しているが、ｍは変換前のケプストラムの次数、ｎは変換後の次数である。 ここではｎ＜ｍとなる様にｍとｎとが選ばれている。 ａは周波数軸伸縮のパラメータである定数であり、サンプリング周波数に応じて定められる。

ケプストラムフィルタ部４０はさらに、第１のメルワーピング部７４の出力に対してメルワーピング（ｎ、ｍ、−ａ）を実行するための第２のメルワーピング部７６を含む。 第２のメルワーピング部７６でのメルワーピングと第１のメルワーピング部７４でのメルワーピングとは、互いに逆変換の関係になる。 すなわちこれら二つの処理を直列に実行することにより周波数軸は元の線形軸に戻る。 ただしｍ、ｎの値がｎ＜ｍとなる様に選ばれているため、これら二つの処理を直列に実行した場合、メル変換後の周波数軸上の値の高い部分のケプストラムが除去される。

ケプストラムフィルタ部４０はさらに、第２のメルワーピング部７６の出力に対してＦＦＴ処理を行なうためのＦＦＴ処理部７８と、ＦＦＴ処理部７８の出力に指数変換を行なうための指数変換部８０と、指数変換部８０の出力に対しＩＦＦＴ処理を行なってフィルタパラメータを出力するためのＩＦＦＴ処理部８２とを含む。 ＩＦＦＴ処理部８２の出力は、第１のメルワーピング部７４及び第２のメルワーピング部７６によるメルワーピングとその逆変換とにより、除算部３８の出力のＰＳＤが平滑化されたものとなる。

ケプストラムフィルタ部４０はさらに、ＩＦＦＴ処理部８２の出力するフィルタパラメータにより設定され、ソース音声３０に対しフィルタ処理を行なうことにより、ソース音声３０の周波数特性を補正し、ターゲット音声３２の周波数特性とほぼ同じ周波数特性の音声４２として出力するためのＦＩＲ８４を含む。

チャネル等価装置２０は以下の様に動作する。 図２を参照して、ソース音声３０の波形９０に対して図１に示す音声フレーム検出部５０、窓掛け処理部５２、パワースペクトル算出部５４、及びフレーム平均部５６によってソースＰＳＤ１００が得られる。 同様にターゲット音声３２の波形９２に対して音声フレーム検出部６０、窓掛け処理部６２、パワースペクトル算出部６４、及びフレーム平均部６６によってターゲットＰＳＤ１０２が得られる。 除算部３８が後者を前者で除算することにより、ＰＳＤの差分１１０が得られる。

このＰＳＤの差分１１０に対し、対数算出部７０、ＩＦＦＴ処理部７２、及び第１のメルワーピング部７４での処理を行なうことにより、メルケプストラム１２０が得られる。 このメルケプストラム１２０に対し、第２のメルワーピング部７６、ＦＦＴ処理部７８、及び指数変換部８０での処理を実行することにより、ＰＳＤの差分１１０の平滑化されたＰＳＤ１３０が得られる。 この平滑化されたＰＳＤ１３０に対しＩＦＦＴ処理部８２の処理を行なうことにより、ＦＩＲ８４のフィルタパラメータを設定する。 この様に設定されたＦＩＲ８４を用いてソース音声３０をフィルタリングすることにより得られる音声４２の周波数特性は、ターゲット音声３２の周波数特性とほぼ等しいものとなる。

メルワーピングによってケプストラムを一旦メルスケールに変換した後、その逆変換によってその高周波数成分を除去することで、ＰＳＤの差分を平滑化している。 従ってこうして得られたフィルタパラメータにより設定されたＦＩＲ８４は人間の聴覚特性に近い特性を持つ。 さらに、この様に設定されるＦＩＲ８４の特性は、ＬＰＣ変換によるフィルタと異なり、パラメータ次数に敏感でない。 フィルタの精度を高める様にフィルタパラメータの算出を行なった場合にも音質の劣化が生じることがなく、従来のチャネル等価装置２００と同程度の音質でソース音声３０の周波数特性の等化を行なうことができる。

［第２の実施の形態］
上記した第１の実施の形態の装置では、フィルタリングはＦＩＲで行なっている。 しかし本発明はその様にＦＩＲを用いるものには限定されない。 図１に示す第１のメルワーピング部７４の出力するメルケプストラム係数で直接設定できるフィルタを使用する場合、構成はより簡単となる。 図３にそうしたフィルタとしてＭＬＳＡ（ｍｅｌ−ｌｏｇａｒｉｔｈｍｉｃ ｓｐｅｃｔｒａｌ ａｐｐｒｏｘｉｍａｔｉｏｎ）フィルタを用いた、本発明の第２の実施の形態に係るチャネル等価装置１４０のブロック図を示す。

図３において、図１及び図４と同一部品には同一の参照符号を付してある。 それらの機能も同一である。 従ってここではそれらについての詳細な説明は繰返さない。

図３を参照して、この第３の実施の形態に係るチャネル等価装置１４０が図１に示すチャネル等価装置２０と異なるのは、図１に示すケプストラムフィルタ部４０に代えて、ＭＬＳＡフィルタを含むＭＬＳＡフィルタ部１５０を含む点である。 そしてＭＬＳＡフィルタ部１５０が図１のケプストラムフィルタ部４０と異なるのは、図１の第２のメルワーピング部７６、ＦＦＴ処理部７８、指数変換部８０、及びＩＦＦＴ処理部８２に代えて、第２のメルワーピング部７６から出力されるメルケプストラムによって直接にフィルタパラメータが設定されるＭＬＳＡフィルタ１６０を含む点である。

この第２の実施の形態に係るチャネル等価装置１４０の動作は、第１のメルワーピング部７４の出力によってＭＬＳＡフィルタ１６０が設定される点を除き、第１の実施の形態のチャネル等価装置２０と同じである。

チャネル等価装置１４０によっても、第１の実施の形態のチャネル等価装置２０と同様の効果を得ることができる。 それに加えて、ＭＬＳＡフィルタ１６０は、メルケプストラムをパラメータとするフィルタであり、第１のメルワーピング部７４の出力によって直接設定できる。 従って、第１の実施の形態のチャネル等価装置２０と比較して、メルケプストラムからＦＩＲのフィルタパラメータを作成するための種々の部品が不要となり、回路構成が簡単となる。

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。 本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。

第１の実施の形態に係るチャネル等価装置のブロック図である。

第１の実施の形態に係るチャネル等価装置の動作を説明するための模式図である。

第２の実施の形態に係るチャネル等価装置のブロック図である。

従来技術に係るチャネル等価装置のブロック図である。

符号の説明

２０，１４０，２００ チャネル等価装置、３０ ソース音声、３２ ターゲット音声、３４ ソースＰＳＤ生成部、３６ ターゲットＰＳＤ生成部、３８ 除算部、４０ ケプストラムフィルタ部、５０，６０ 音声フレーム検出部、５２，６２ 窓掛け処理部、５４，６４ パワースペクトル算出部、５６，６６ フレーム平均部、７４ 第１のメルワーピング部、７６ 第２のメルワーピング部、８４ ＦＩＲ、１５０ ＭＬＳＡフィルタ部、１６０ ＭＬＳＡフィルタ、２１０ ＬＰＣフィルタ部