【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、音素単位、あるいは単語単位の認識に基づく不特定話者用の音声認識装置に関するものである。 不特定話者用の音声認識装置は、話者適応用音声を使用しない不特定話者音声認識装置と、
話者適応用音声を使用する話者適応型不特定話者音声認識装置とがある。 話者適応用音声を使用しない不特定話者音声認識装置は、入力された音声をただちに認識しなければならないシステムに用いられる。 例えば、音声自動ダイヤルシステムや音声自動券買機などである。 話者適応型不特定話者音声認識装置は、入力話者がシステムを使用する前にいくらかの音声を発声し、この音声を用いてシステムを入力話者に適応化する。 例えば、音声ワープロなど、使用者が限定されており、システムが話者に適応化する時間が許されるシステムに使用される。

【０００２】

【従来の技術】従来における、音素単位、あるいは単語単位の認識に基づく不特定話者用の音声認識装置においては、予め、多数話者の音声から切り出した音素、あるいは単語を用いて、短時間ごとに音声の音響パラメータ（例えばケプストラムや振幅）を求め、そのパラメータ系列を用いて音素、あるいは単語をモデル化する。 音素や単語の音響パラメータ系列のモデル化には、統計的な手法の１つである隠れマルコフモデル（Hidden Markov
Model,以下ＨＭＭと略す。 ；例えば中川聖一著）を用いた手法がある。 多次元の音響パラメータはベクトル量子化（Vector Quantization)の手法を用い有限個（例えば２５６個）の離散的なベクトル量子化コード（以下ＶＱ
コードと略す。 ）に変換することができる。 よって、音素または単語モデルは、各ＶＱコードに対する出現確率を用いて表現される。 これは離散型ＨＭＭと呼ばれている。 図６のＨＭＭメモリ７に最も簡単な１状態の離散型ＨＭＭの例を示している。 ここでは、ＶＱコードの種類は４個（０から３まで）で、音素（ここでは／ア／、／
イ／）ごとに、それぞれのＶＱコードに対する出現確率が与えられている。 実際には、認識すべきすべての音素あるいは単語の数だけＨＭＭを用意する。 それぞれのモデルにおいて、すべてのＶＱコードに対する出力確率の和は１．０である。

【０００３】図７に、従来の離散型ＨＭＭを用いた音声認識装置の構成例を示している。 入力端子１から入力された音声は、Ａ／Ｄ変換部２においてディジタル信号に変換される。 このディジタル信号は音響パラメータ抽出部３において音響パラメータが抽出される。 この音響パラメータはベクトル量子化器４において有限個のＶＱコードに変換される。 この段階で、入力音声はＶＱコード系列に変換されている。 モデル確率計算部５において、
変換されたＶＱコード系列の各音素、あるいは単語の離散型ＨＭＭを不特定話者用ＨＭＭメモリ７から読みだし、入力音声のＶＱコード系列との確率を計算する。

【０００４】このモデル確率計算部５における処理内容の例を図６に示す。 ここでは、ＶＱコードの種類は４個（０から３まで）であるとする。 入力音声のＶＱコード系列が与えられ、時刻１から時刻４（ＶＱコード列：１
−１−２−０）に音素／ア／、音素／イ／が存在する確率をそれぞれ計算したいとする。 各音素の存在確率は、
それぞれの時刻のＶＱコードに対する出現確率を各音素のＨＭＭから参照し、それらの積で求められる。 図６の例では、音素／ア／に対する確率が８．０×１０ ^-4で、
音素／イ／に対する確率が５．０×１０ ^-5であり、音素／ア／が存在する確率が高いとする。 この様な処理を入力音声のＶＱコード列の任意の区間で行ない、確率を最も大きくする音素系列を認識結果として認識結果出力部６より出力する。

【０００５】

【発明が解決しようとする課題】不特定話者音声認識においては、様々な話者に対応するためにたくさんの話者の音声データを用いてモデルを学習する。 しかし、話者のバリエーションが増加するに従い、ある話者のある音素の音響パラメータの分布が、他の話者の異なる音素の音響パラメータの分布と重なることがしばしば起こる。
例えば、話者Ａの音素／イ／が、話者Ｂの音素／エ／に音響的に類似しており、それぞれの音素区間中に出現するＶＱコードの種類、出現頻度も類似していることがある。 これが、認識誤りの原因となっていた。

【０００６】従来のＨＭＭは、ＶＱコードの出現確率のみを表現しており、その時間的な出現順序は表現していない。 図８に、ＶＱコードの時間的な出現順序が考慮されないために起こる問題点を示している。 仮にＶＱコード系列１−１−０−０がモデル確率計算部に送られたとする。 従来法では、図８に示すように、ＶＱコード０とＶＱコード１に対する出力確率が、音素／イ／のＨＭＭ
と音素／エ／のＨＭＭとで同じであったために、ＶＱコード系列に対し、同一の出現確率が与えられる。 これは、たとえ１−１というＶＱコード連鎖や０−０というＶＱコード連鎖が音素／イ／にたいへん特徴的であり、
音素／エ／にはそのような特徴がなく、本来は音素／イ／と音素／エ／とは区別可能であったとしても、局所的なＶＱコード連鎖に関する情報が音素ＨＭＭに保存されていないので同一の出現確率が与えられてしまい、区別できないという問題点があり、認識性能が不十分であった。

【０００７】

【課題を解決するための手段】この発明によれば、新たに音素あるいは単語区間内のＶＱコード連鎖確率を表現するモデルを作成し、これを従来の音素または単語単位の離散型ＨＭＭと共に用いることによって音声を認識する。 つまり、この発明では、音声の静的な音響特徴のみならず、動的な特徴にも着目している。 例えば、話者Ａ
と話者Ｂの異なる音素区間中に出現するＶＱコードの種類が類似していても、それらが時間的に出現する順序が異なれば、区別することが可能である。 時系列パタン情報は、ＶＱコードの２つ組、または３つ組の連鎖確率で表現される。

【０００８】入力音声のＶＱコード系列において、それぞれの時刻のＶＱコードに対し、離散型ＨＭＭから出現確率が与えられるが、この発明では更に、現時刻のＶＱ
コードの１つ前の時刻のＶＱコード、あるいは１つ前と２つ前の両方の時刻のＶＱコードを参照する。 そして、
現時刻に至るまでのＶＱコード連鎖が認識しようとする音素または単語に特徴的である場合、即ちＶＱコード連鎖確率が高い場合は現時刻のＶＱコードに対する出現確率を高くし、そうでない場合は低くする。 ＶＱコード連鎖確率は、予め、学習データを音素ごとにセグメンテーションしたデータから求められる。 ＶＱコード連鎖確率は、音素ごとに独立に計算される。

【０００９】２つ組のＶＱコード連鎖確率を利用した場合の処理を式で表すと（１）式のようになる。 ｏ（ｃ _j ｜ｃ _i ）＝ｐ（ｃ _j ｜ｃ _i ）ｏ（ｃ _j ）／ 〔Σｐ（ｃ _m ｜ｃ _i ）ｏ（ｃ _m ）〕 （１） ここで、ｏ（ｃ _j ）は現時刻にｊ番目のＶＱコードｃ _j
が出力する確率であり、Σはｍ＝１からＮ（ＶＱコードの数）までである。 従来の不特定話者用ＨＭＭは、この確率のみを用いて認識を行なっていた。 ｐ（ｃ _j ｜
ｃ _i ）はＶＱコードｃ _iとＶＱコードｃ _jのＶＱコード連鎖確率である。 このＶＱコード連鎖確率が音素によって異なる。 ｐ（ｃ _j ｜ｃ _i ）とｏ（ｃ _j ）の積をとることによって、現時刻のＶＱコードｃ _jに対する出力確率を変更する。 （１）式の分母は、各時刻ですべてのＶＱ
コードに対する出力確率の和が１．０になるようにするためのものである。 ｏ（ｃ _j ｜ｃ _i ）は前時刻のＶＱコードがｃ _iであった場合に現時刻でＶＱコードｃ _j出現する確率である。 この発明では、この確率を用いて音素を認識する。

【００１０】この発明は、ＶＱコード連鎖確率を計算するデータによって２つの利用方法がある。 １つは、ＶＱ
コード連鎖確率を多数話者の音声から計算した場合で、
もう１つは、入力話者が予め発声した話者適応用音声から計算した場合である。 ＶＱコード連鎖確率を多数話者の音声から計算した場合は、多数話者にみられる、より一般的な各音素のＶＱコード連鎖情報がＶＱコード連鎖確率に表現される。 一方、入力話者が予め発声した話者適応用音声から計算した場合は、入力話者特有のＶＱコード連鎖情報がＶＱコード連鎖確率に表現される。 したがって、入力話者がシステムを使用する前にいくらかの音声を発声する必要があるが、入力話者に依存した、より精密な確率計算を行なうことが可能で、認識性能がより向上する。

【００１１】

【作用】図１，２は、ＶＱコード連鎖確率を利用する効果を示す。 離散ＨＭＭとＶＱコード連鎖確率モデルは予め学習音声データから作成しておく。 仮にＶＱコード系列１−１−０−０がモデル確率計算部に与えられたとき、時刻２のＶＱコード”１”に対する出力確率は、従来の離散ＨＭＭでは、単に音素／イ／と音素／エ／の出現確率を参照し、両方とも確率０．４を与えた。 しかしこの発明によれば、音素／イ／と音素／エ／の各ＶＱコード連鎖確率を用いてこの確率値を変更する。 この例では、時刻２の１つ前の時刻１のＶＱコードが”１”であるので、ＶＱコード”１”からＶＱコード”１”となる連鎖確率を音素／イ／と音素／エ／の各ＶＱコード連鎖確率テーブルからそれぞれ参照し、これを用いて時刻２
のＶＱコードに対する確率値の変更を行なう。 すなわちこの例では１−１というＶＱコード連鎖は音素／イ／において、０．８という高い確率で発生し、たいん特徴的であるので、（１）式に従い、従来の離散ＨＭＭの与える確率値よりも高く評価される。 一方、音素／エ／では、１−１というＶＱコード連鎖は０．０５という低い確率で発生し特徴的でないので、従来の離散ＨＭＭの与える確率値よりも低く評価される。

【００１２】上述したように、ＶＱコードの出現確率のみならず、音素または単語におけるＶＱコードの連鎖確率も考慮することによって、ＶＱコードの出現確率が同じであっても出現順序が異なる音素を区別して認識するので認識性能がより向上する。

【００１３】

【実施例】図２に、請求項１の発明の実施例を示す。 入力端子１１から入力された音声は、Ａ／Ｄ変換部１２においてディジタル信号に変換される。 このディジタル信号は音響パラメータ抽出部１３において音響パラメータ（例えばケプストラムや振幅）を抽出される。 この音響パラメータはベクトル量子化器１４において有限個のＶ
Ｑコードに変換される。 ＶＱコードの数は、例えば２５
６個である。

【００１４】予め、多数話者の音声を上記ＶＱコードに変換した後、音素あるいは単語ごとにＶＱコード系列を切り出し、いくつかの状態数（例えば３状態）で表現されたＨＭＭを用いて音素または単語のモデルを作成する。 これらのモデルは、不特定話者用ＨＭＭメモリ１７
に記憶しておく。 また、上記多数話者の音声をＶＱコードに変換した系列から、２つ組あるいは３つ組のＶＱコードの連鎖確率を計算する。 このモデルは、ＶＱコード連鎖確率モデルメモリ１８に記憶しておく。

【００１５】モデル確率計算部１５では、音素あるいは単語のＨＭＭを不特定話者用ＨＭＭメモリ７より読みだし、また、ＶＱコード連鎖確率モデルをＶＱコード連鎖確率モデルメモリ１８より読みだし、入力音声のＶＱコード系列と照合しながら、最大の確率を与えるモデルを調べる。 このようにして、最大の確率を与えるモデルの音素あるいは単語を認識結果として認識結果出力部１６
から出力する。

【００１６】図３に、請求項２の発明の実施例を示し、
図２と対応する部分に同一符号を付けてある。 図２で説明したように、予め多数話者の音声を用いて、音素または単語のＨＭＭを作成し、不特定話者用ＨＭＭメモリ１
７に記憶しておく。 この発明は話者適応型装置に適用されるものであって、はじめに、話者適応化モード音声認識モード切り替えスイッチ２０を話者適応化側にして、
入力話者に話者適応化用音声を発声してもらう。 ベクトル量子化器１４までの処理は図２の場合と同一である。
この音声をＶＱコードに変換した系列から、２つ組あるいは３つ組のＶＱコードの連鎖確率を、話者適応化音声ＶＱコード連鎖確率計算部１８で計算する。 この際、話者適応化音声に対し、音素境界を検出する処理を施し、
音素ごとにＶＱコード連鎖確率を計算して複数のモデルで表現してもよいし、音素境界を検出せずに、話者適応化音声全体で１個のモデルを作成してもよい。 前者は、
入力話者の各音素におけるＶＱコード連鎖情報を保有しており、後者は、音素を考慮しない入力話者に特有なＶ
Ｑコード連鎖情報を保有している。 もちろん、音素ごとにＶＱコード連鎖確率を計算したほうが、より精密に情報を保存できるので性能がよい。 これらのモデルを話者適応化音声ＶＱコードの連鎖確率モデルメモリ１９に記憶する。 但し、音素ごとにＶＱコード連鎖確率を計算する場合、話者適応化音声中の音素区間の検出をする必要があるので、話者適応化モードでの処理量が増える。

【００１７】次に、話者適応化モード音声認識モード切り替えスイッチ２０を音声認識側にして、入力話者に認識すべき単語を発声してもらう。 モデル確率計算部１５
では、音素あるいは単語のＨＭＭを、不特定話者用ＨＭ
Ｍメモリ１７より読みだし、同時に、入力話者のＶＱコード連鎖確率モデルを話者適応化音声ＶＱコード連鎖確率モデルメモリ１９より読みだし、入力音声のＶＱコード系列と照合しながら、最大の確率を与えるモデルを調べる。

【００１８】このようにして、最大の確率を与えるモデルの音素あるいは単語を認識結果として認識結果出力部１６から出力する。 図３の実施例において、入力話者に話者適応化用音声を発声してもらった時に、従来の話者適応音声認識装置と同様に、不特定話者用ＨＭＭをその入力話者に適応化したものとし、その適応化されたＨＭ
Ｍをモデル確率計算部１５の計算に用いてもよい。 この場合連鎖確率モデルもＨＭＭのパラメータの変更に合わせて変更する必要がある。

【００１９】

【発明の効果】以上述べたように、この発明においては、音素あるいは単語中のＶＱコードの出現確率だけでなく、ＶＱコードの連鎖も考慮しているので、より精密なモデルを作成することができ認識性能が向上する。 図２に示した構成に従い、不特定話者音声認識を行なった１８子音の認識実験結果を示す。 使用した音声データは２０名（男性１０名、女性１０名）のアナウンサーが発声した５２４０単語である。 はじめに、１６名（男性８
名、女性８名）の５２４０単語セットの偶数番目の単語から切り出した子音を用いて、音素ごとにＨＭＭを学習した。 この際使用された音響パラメータは、１６次のケプストラム、１６次のデルタケプストラム、１次のデルタパワーである。 これらは、それぞれケプストラム２５
６個、デルタケプストラム２５６個、デルタパワー６４
個のＶＱコードに変換されたのち使用された。 また、同じデータで音素ごとに２つ組のＶＱコードの連鎖確率モデルを作成した。 ２つのＶＱコードの時間間隔は８ｍｓ
である。 認識実験は、上記とは異なる４名（男性２名、
女性２名）を評価話者とし、それぞれが発声した５２４
０単語セットの奇数番目の単語から切り出した子音を用いて行なった。 図４に、この発明による１８子音の認識実験結果を従来法と共に示す。 アルファベット（ＭＴ
Ｔ，ＭＸＭ，ＦＹＭ，ＦＹＮ）は４人の評価用話者のイニシャルである。 従来の手法では、平均認識率が７０．
８％であったが、この発明により７６．３％にまで改善された。

【００２０】次に、図３に示した構成に従い、話者適応型不特定話者音声認識を行なった１８子音の認識実験結果を示す。 実験条件は、上記とほぼ同一である。 ただし、４名の評価用話者（入力話者）が発声した、上記５
２４０単語セットとは異なる２１６単語を話者適応化音声として使用した。 この音声から各話者ごとに、２つ組のＶＱコードの連鎖確率モデルを作成した。 ＶＱコードの連鎖確率モデルを、音素ごとに作成した場合と、音素を考慮せずに１個のモデルを作成した場合の２つの条件について実験した。 認識実験は、図２の装置についての実験と同様に、評価用話者４名の５２４０単語セットの奇数番目の単語から切り出した子音を用いて行なった。
図５に、この発明による１８子音の認識実験結果を従来法と共に示す。 アルファベット（ＭＴＴ，ＭＸＭ，ＦＹ
Ｍ，ＦＹＮ）は４人の評価用話者のイニシャルである。
従来の手法では、平均認識率が７０．８％であったが、
この発明により、音素を考慮しないＶＱコードの連鎖確率モデルを用いて７４．９％に、音素ごとに作成したＶ
Ｑコードの連鎖確率モデルを用いて７８．６％まで改善された。 入力話者の話者適応化音声からＶＱコードの連鎖確率モデルを音素ごとに作成すれば、図４の多数話者の音声からＶＱコードの連鎖確率モデルを音素ごとに作成する場合に比べて、より入力話者に対し精密なモデルになっているので更に性能が向上している。

【図面の簡単な説明】

【図１】この発明の原理を説明するための図。

【図２】請求項１の発明の実施例を示すブロック図。

【図３】請求項２の発明の実施例を示すブロック図。

【図４】請求項１の発明の効果を示す図。

【図５】請求項２の発明の効果を示す図。

【図６】従来装置におけるＶＱコード列についてＨＭＭ
を用いた音素の存在確率を求める演算例を示す図。

【図７】従来の不特定話者音声認識装置を示すブロック図。

【図８】従来装置における問題点を説明するための図。