【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数の認識手法を適用した文字認識装置及び方法に関する。

【０００２】

【従来の技術】従来の文字認識装置は、単一の認識手法によるものが一般的であった。 このため、従来の文字認識装置は、認識性能に限界があった。

【０００３】

【発明が解決しようとする課題】そこで近年は、単一の認識手法の性能の限界を打ち破るために、複数の認識手法を適用し、各認識手法による認識結果を統合して新しい認識結果を出力する文字認識装置の実現が要望されていた。

【０００４】本発明は上記事情を考慮してなされたものでその目的は、複数の認識手法による認識結果を効果的に統合することで、高い認識性能が実現できる文字認識装置及び方法を提供することにある。

【０００５】

【課題を解決するための手段】本発明の第１の観点に係る構成は、第１乃至第Ｎ（Ｎは２以上の整数）のＮ種類の認識手法により同一認識対象に対する文字認識を行い、第ｉ認識手法（ｉ＝１，２，…，Ｎ）によって認識した結果、候補文字ｗ _qが第ｘ _qi候補に現れるとした場合に、文字ｗ _qに関する認識候補順位ベクトル Ｘ _q ＝（ｘ _q1 ，ｘ _q2 ，…，ｘ _qN ） を引数とする評価関数ｆ（Ｘ _q ）を用いて、その評価値の大きい順に候補文字を出力する認識統合処理を行うようにしたもので、多数の学習用サンプルデータを実際に上記第１乃至第Ｎ認識手法で認識して得られる認識候補順位ベクトルについて、 Ｐ（Ｘ）＝（Ｘに出現する候補文字が正解である頻度総数）／（Ｘに出現する候補文字の頻度総数） で定義されるＰ（Ｘ）を求め、入力Ｘ、出力Ｐ（Ｘ）の組を入力層の素子数Ｎ、出力層の素子数１の３層以上のニューラルネットワークで誤差逆伝播アルゴリズムによって学習させて得られるニューラルネットワークの入出力特性関数をもって上記認識統合処理で用いる評価関数ｆ（Ｘ）とするようにしたことを特徴とするものである。

【０００６】本発明の第２の観点に係る構成は、上記評価関数として、以下に示すｆ（Ｘ）、即ちｎ個の学習用サンプルデータの第ｊ番目を第ｉ認識手法で認識させたときに、その正解文字ｗ _qが第ｘ _qji候補に現れるとした場合に、

【０００７】

【数５】

_i （ｉ

＝１，２，…，Ｎ）を用いた

【０００８】

【数６】

【０００９】本発明の第３の観点に係る構成は、第１乃至第Ｎ（Ｎは２以上の整数）のＮ種類の認識手法により同一認識対象に対する文字認識を行い、第ｉ認識手法（ｉ＝１，２，…，Ｎ）によって認識した結果、候補文字ｗ _qの認識スコアがｓ _qiである場合に、文字ｗ _qに関する認識候補スコアベクトル Ｓ _q ＝（ｓ _q1 ，ｓ _q2 ，…，ｓ _qN ） を引数とする評価関数ｆ（Ｓ _q ）を用いて、その評価値の大きい順に候補文字を出力する認識統合処理を行うようにしたもので、多数の学習用サンプルデータを実際に上記第１乃至第Ｎ認識手法で認識して得られる認識候補スコアベクトルについて、正解カテゴリーの認識候補スコアベクトルＳを入力した場合の出力を１、不正解カテゴリーの認識候補スコアベクトルＳを入力した場合の出力を０として、入力層の素子数Ｎ、出力層の素子数１の３層以上のニューラルネットワークで誤差逆伝播アルゴリズムによって学習させて得られるニューラルネットワークの入出力特性関数をもって上記認識統合処理で用いる評価関数ｆ（Ｓ）とするようにしたことを特徴とする。

【００１０】

【作用】本発明によれば、上記のように、学習用サンプルデータによる各認識手法（第１乃至第ＮのＮ種類の認識手法）の出力結果の統計的性質により、Ｎ種類の認識手法の統合処理が行われることから、Ｎ種類の認識手法のお互いの弱点が相補われ、認識性能の向上が可能となる。

【００１１】

【実施例】以下、本発明の実施例につき図面を参照して説明する。 図１は本発明の一実施例に係る文字認識装置の全体構成を示すブロック図である。

【００１２】この図１に示す文字認識装置は、文字の手書き入力等に用いられる座標入力部１と、それぞれ固有の認識手法（文字認識手法）による文字認識を行うＮ種類の文字認識部２-1，２-2，…，２-Nと、これら各文字認識部２-1〜２-Nからの認識結果情報と評価関数とを用いて新しい認識結果を出力する認識統合部３と、この認識統合部３で用いる評価関数を学習により決定する認識統合評価関数学習部４と、認識統合部３で決定された認識結果を利用者に提示する認識結果出力部５とから構成される。

【００１３】なお、文字認識部２-1〜２-Nで適用される各認識手法（認識手法＃１〜＃Ｎ）としては様々な手法が提案されているが、ここではその認識方法自体については問わない。

【００１４】次に、図１の構成の動作を、認識統合部３
及び認識統合評価関数学習部４の動作を中心に、文字認識部２-1〜２-Nでの各認識手法の順位に基づく統合処理＃１を実施する場合を例に説明する。

【００１５】まず、座標入力部１を通して手書きされた文字の軌跡を表す座標値列は各文字認識部２-1〜２-Nに送られる。 文字認識部２-1〜２-Nは、この手書き文字の座標値列（入力パターン）を対象として、それぞれの認識手法＃１〜＃Ｎにより周知の文字認識処理を行い、その認識結果を順位付きで出力する。

【００１６】この順位付きの認識結果の具体例を、認識手法＃１，＃２（を適用した文字認識部２-1，２-2）での認識結果について、図２に示す。 なお、図２中の（ａ，ｂ）の形式は、ａが順位を、ｂが認識結果の候補文字を示す。 例えば、（１，あ）は、認識結果の候補文字が「あ」で、その順位（候補順位）が１位（即ち第１
位の候補文字）であることを示す。

【００１７】ここで、座標入力部１からの入力パターンを文字認識部２-1〜２-Nが認識手法＃１〜＃Ｎで認識した結果、カテゴリーｗ _kが認識手法＃ｉ（ｉ＝１，２，
…，Ｎ）の第ｘ _ki候補文字（順位がｘ _ki位の候補文字）
に現れるとき、ベクトルＸ _k ＝（ｘ _k1 ，ｘ _k2 ，…，
ｘ _kN ）をカテゴリーｗ _kの認識候補順位ベクトルと定義する。

【００１８】図２の例の場合は、 ｗ ₁ ＝あ，ｗ ₂ ＝め，ｗ ₃ ＝お とすれば、Ｎ＝２であることから、 Ｘ ₁ ＝（１，２），Ｘ ₂ ＝（２，１），Ｘ ₃ ＝（３，
３） となる。

【００１９】さて、本実施例では、図１の構成の文字認識装置を用いて（入力パターンに対する）通常の認識処理を行う前に、予め正解カテゴリーの分かっているｎ個の学習用のサンプルパターンについて、文字認識部２-1
〜２-Nにてそれぞれ固有の認識手法＃１〜＃Ｎにより認識処理を行わせるようにしている。

【００２０】認識統合評価関数学習部４は、この文字認識部２-1〜２-Nでの認識手法＃１〜＃Ｎによるｎ個の学習用のサンプルパターンに対する順位付きの認識結果を受けて、その結果から前記した認識候補順位ベクトルＸ
を求め、順位Ｘに候補が出現する総数ａｌｌ（Ｘ）と順位Ｘに正解が出現する総数ｃｏｒｒｅｃｔ（Ｘ）を求める。

【００２１】そして認識統合評価関数学習部４は、求めたａｌｌ（Ｘ）及びｃｏｒｒｅｃｔ（Ｘ）から、学習用サンプルパターン（学習用サンプルデータ）について順位Ｘの候補が正解である確率 Ｐ（Ｘ）＝ｃｏｒｒｅｃｔ（Ｘ）／ａｌｌ（Ｘ） を計算する。

【００２２】例えば、文字認識部が文字認識部２-1と文字認識部２-2の２つであり（Ｎ＝２の場合）、この２つの文字認識部２-1，２-2（での認識手法＃１，＃２）により図２のような認識結果が得られた場合には、 （１）「あ」という候補文字が正解である確率Ｐ（Ｘ）はＰ（１，２） （２）「め」という候補文字が正解である確率Ｐ（Ｘ）はＰ（２，１） （３）「お」という候補文字が正解である確率Ｐ（Ｘ）はＰ（３，３） となる。

【００２３】そこで、認識統合部３を、この確率の大きい順に候補文字を出力するように構成するならば、学習用サンプルデータについての統合認識率は最高になることは数学的に明らかである。

【００２４】しかし、学習用サンプルデータは有限個であるため、Ｐ（Ｘ）は順位Ｘの候補が正解である真の確率を表しているわけではない。 このため、学習用サンプルデータ以外のデータ（通常の入力パターン）を認識させた場合に、Ｐ（Ｘ）の大きい順に候補文字を出力するという統合手法では、必ずしも良い統合結果が得られるとは限らない。

【００２５】図３は、文字認識部２-1，２-2で適用する認識手法＃１，＃２から実際に学習により得られた（候補文字の順位の組み合わせとその）正解確率Ｐ（ｘ ₁ ，
ｘ ₂ ）の例を示したものである。

【００２６】正解確率Ｐ（ｘ ₁ ，ｘ ₂ ）は、本来は、単調減少する滑らかな曲面になることが望ましいが、図３
の例からは、学習用サンプルデータ数が有限個ということもあり、関数曲面ががたついていることが分かる。

【００２７】そこで本実施例では、認識統合評価関数学習部４において、図４に示すように、入力Ｘと出力Ｐ
（Ｘ）の組を、入力層の素子数Ｎ（Ｎは文字認識部数）、出力層の素子数１の３層以上のニューラルネットワークで、例えば“麻生英樹著：「ニューラルネットワーク情報処理」，産業図書，2.1.4 節（1988年）”に記載されているような周知の誤差逆伝播（Error Back Pro
pagation）アルゴリズムによって学習させて、学習終了後のニューラルネットワークの入出力特性ｆ（Ｘ）を、
認識統合部３での統合処理に用いる評価関数ｆ（Ｘ）とするようにしている。 即ち本実施例では、ニューラルネットワークの汎化能力を利用して、真の確率に近付けるようとしている。

【００２８】さて、認識統合評価関数学習部４により得られるニューラルネットワークの入出力特性ｆ（Ｘ）
は、認識統合部３での統合処理に用いる評価関数ｆ
（Ｘ）として当該認識統合部３に渡される。

【００２９】この結果、認識統合部３は、認識統合評価関数学習部４により得られた評価関数ｆ（Ｘ）を用いることで、その評価関数の大きい順に候補文字を出力する。 即ち認識統合部３は、例えば ｆ（Ｘ _Q1 ）≧ｆ（Ｘ _Q2 ）≧… であった場合であれば、Ｑ ₁ ，Ｑ ₂ ，…の順に候補文字を出力する。

【００３０】こうして得られる２つの文字認識部２-1，
２-2（での認識手法＃１，＃２）による出力を認識統合部３にて統合する評価関数の例を図５に示す。 この図５
の例では、図３とは異なって、関数曲面が滑らかとなっていることが分かる。

【００３１】以上、図１の構成の動作につき、文字認識部２-1〜２-Nでの各認識手法の順位に基づく統合処理＃
１を実施する場合を列に説明したが、図１の構成において、これとは別の統合処理＃２を適用することも可能である。 そこで、この文字認識部２-1〜２-Nでの各認識手法の順位に基づく統合処理＃２について、以下に詳述する。

【００３２】まず、文字認識部２-1〜２-Nは、座標入力部１から与えられる入力パターン（手書き文字の座標値列）を対象として、それぞれの認識手法＃１〜＃Ｎにより文字認識処理を行い、その認識結果を図２の例のように順位付きで出力する。

【００３３】認識統合部３は、座標入力部１からの入力パターンを文字認識部２-1〜２-Nが認識手法＃１〜＃Ｎ
で認識した結果、カテゴリーｗ _kが認識手法＃ｉ（ｉ＝
１，２，…，Ｎ）の第ｘ _ki候補文字に現れるとき、認識候補順位のベクトル Ｘ _q ＝（ｘ _k1 ，ｘ _k2 ，…，ｘ _kN ） を用いて統合処理＃２を行う。

【００３４】このために、認識統合評価関数学習部４では、Ｘを引数とする評価関数ｆ（Ｘ）を学習により決定する。 認識統合部３は、認識統合評価関数学習部４により決定された評価関数の大きい順に候補文字を出力する。 即ち認識統合部３は、 ｆ（Ｘ _Q1 ）≧ｆ（Ｘ _Q2 ）≧… であった場合であれば、Ｑ ₁ ，Ｑ ₂ ，…の順に候補文字を出力する。

【００３５】さて、統合処理＃２を実施する場合、認識統合評価関数学習部４は、評価関数を候補順位の線形和で表すようにしている。 例えば、図１の構成中の文字認識部が文字認識部２-1と文字認識部２-2の２つであるものとすると（Ｎ＝２の場合）、認識統合評価関数学習部４は、評価関数 ｆ（ｘ ₁ ，ｘ ₂ ）を ｆ（ｘ ₁ ，ｘ ₂ ）＝ｗ ₁ ｘ ₁ ＋ｗ ₂ ｘ ₂で表し、最適な係数ｗ ₁ ，ｗ ₂を次の方法によって決定する。

【００３６】まず、第ｊ学習用サンプルパターンを文字認識部２-1，２-2（での認識手法＃１，＃２）により認識した結果、候補文字ｗ _kが候補順位の組（ｘ _kj1 ，ｘ
_kj2 ）に出現するものとする。 ここで、正解文字をｗ _q
とすると、 ｆ（ｘqj1 ，ｘqj2 ）＞ｆ（ｘ _kj1 ，ｘ _kj2 ） ｆｏｒ ａｌｌ ｋ≠ｑ となるように関数ｆ（Ｘ）を定めるならば、全てのｉについてのｆ（ｘ _i1 ，ｘ _i2 ）のうちの最大値（ｍａｘ ｆ
（ｘ _i1 ，ｘ _i2 ））により正解カテゴリーを得ることができる。 全てのｉについて上記式を満たすことが不可能な場合には正解カテゴリーを得ることはできないが、できるだけ多くのｉについて上記式を満たすように定めるならば、正解をより上位候補に上げることができる。 そこで、認識統合評価関数学習部４は、ｎ個の全学習用サンプルパターン（第１乃至第ｎ学習用サンプルパターン）
について、

【００３７】

【数７】

個の係数ｗ

₁ ，ｗ

₂ ，…，ｗ

_Nを求める。 ここで、係数ｗ

₁ ，ｗ

₂ ，…，ｗ

_Nの総和は１であるものとする。

【００３８】今、Ｎ個の係数ｗ ₁ ，ｗ ₂ ，…，ｗ _Nを、
ベクトルＷを用いて Ｗ＝（ｗ ₁ ，ｗ ₂ ，…，ｗ _N ） のように定義すると、認識統合評価関数学習部４は、上記Ｅの値を大きくする係数（ベクトル）Ｗを、図６のフローチャートに従って、次のようにして求める。

【００３９】まず認識統合評価関数学習部４は、Ｗの初期値Ｗ ₀ （Ｗ _k ＝Ｗ ₀ ）を、例えば乱数等により定める（ステップＳ１）。 次に認識統合評価関数学習部４は、
第ｊ学習用サンプルパターンに対する認識手法＃ｉによる認識結果のカテゴリーｗ _iについての認識候補順位ベクトルＸ _ijについて、正解カテゴリーをｗ _qとしたときに、 Ｗ _k （Ｘ _qj −Ｘ _ij ）＜０ の場合であれば（ステップＳ２）、 Ｗ _k+1 ＝Ｗ _k ＋ｃ（Ｘ _qj −Ｘ _ij ） ｃは経験的に求められる係数で、例えば１より小さい正の係数の計算を行って、Ｗ _k+1を求め（ステップＳ
３）、 Ｗ _k （Ｘ _qj −Ｘ _ij ）≧０ の場合であれば（ステップＳ２）、 Ｗ _k+1 ＝Ｗ _kによりＷ _k+1を求める（ステップＳ４）。

【００４０】このようにして求められるＷ _k+1は、先のＷ _kより上記Ｅの値を大きくするものとなる（Ｗ _k （Ｘ
_qj −Ｘ _ij ）＜０の場合）。 Ｗ _k （Ｘ _qj −Ｘ _ij ）≧０の場合には、Ｗ _k+1は先のＷ _kと同じ結果となる。

【００４１】認識統合評価関数学習部４は、求めたＷ
_k+1を新たなＷ _kとして（ステップＳ５，Ｓ６）、上記の計算処理（ステップＳ２，Ｓ３またはステップＳ２，
Ｓ４）を再び行う。

【００４２】認識統合評価関数学習部４は、以上の動作を予め定められた回数繰り返す。 この繰り返し後のＷ
_k+1が、上記Ｅの値を大きくするＷ、即ち係数ｗ ₁ ，ｗ
₂ ，…，ｗ _Nを示す。 認識統合評価関数学習部４は、以上の処理により目的とする係数ｗ _i （ｉ＝１，２，…，
Ｎ）を求めると、その係数を用いて、次式

【００４３】

【数８】

【００４４】この結果、図１の構成の文字認識部が文字認識部２-1と文字認識部２-2の２つであるものとすると（Ｎ＝２の場合）、評価関数ｆ（Ｘ）、即ちｆ（ｘ ₁ ，
ｘ ₂ ）は、前記したように ｆ（ｘ ₁ ，ｘ ₂ ）＝ｗ ₁ ｘ ₁ ＋ｗ ₂ ｘ ₂となる。

【００４５】以上は、文字認識部２-1〜２-Nが認識結果を順位付きで出力する場合について説明したが、本発明は、認識結果を類似度、距離値などのスコア（評価値）
付きで出力する場合にも、適用可能である。

【００４６】そこで、図１の構成における文字認識部２
-1〜２-Nが認識結果をスコア付きで出力するものとして、文字認識部２-1〜２-Nでの各認識手法の評価値（スコア）に基づく統合処理＃３を実施する場合の動作につき説明する。

【００４７】まず、この例における文字認識部２-1〜２
-Nは、座標入力部１からの入力パターンを対象として、
それぞれの認識手法＃１〜＃Ｎにより文字認識処理を行い、その認識結果をスコア付きで出力する。

【００４８】このスコア付きの認識結果の具体例を、認識手法＃１，＃２（を適用した文字認識部２-1，２-2）
での認識結果について、図７に示す。 なお、図７中の（ｃ，ｄ）の形式は、ｃがスコアを、ｂが認識結果の候補文字を示す。 例えば、（０．９７，あ）は、認識結果の候補文字が「あ」で、そのスコア（例えば類似度）が０．９７であることを示す。

【００４９】ここで、座標入力部１からの入力パターンを文字認識部２-i（ｉ＝１，２，…，Ｎ）が認識手法＃
ｉで認識した結果、当該文字認識部２-iから出力される、入力パターンとカテゴリーｗ _kとの類似度（あるいは距離値などのスコア）をｓ _kiで表すとき、ベクトル Ｓ _k ＝（ｓ _k1 ，ｓ _k2 ，…，ｓ _kN ） をカテゴリーｗ _kの認識候補類似度ベクトル（認識候補スコアベクトル）と定義する。

【００５０】図７の例の場合は、 ｗ ₁ ＝あ，ｗ ₂ ＝め，ｗ ₃ ＝お とすれば、Ｎ＝２であることから、 Ｓ ₁ ＝（０．９７，０．８８） Ｓ ₂ ＝（０．９０，０．９２） Ｓ ₃ ＝（０．８７，０．８３） となる。

【００５１】さて、本実施例では、図１の構成の文字認識装置を用いて（入力パターンに対する）通常の認識処理を行う前に、予め正解カテゴリーの分かっているｎ個の学習用のサンプルパターンについて、文字認識部２-1
〜２-Nにてそれぞれ固有の認識手法＃１〜＃Ｎにより認識処理を行わせるようにしている。

【００５２】認識統合評価関数学習部４は、この文字認識部２-1〜２-Nでの認識手法＃１〜＃Ｎによるｎ個の学習用のサンプルパターンに対する類似度（スコア）付きの認識結果を受けて、その結果から前記した認識候補類似度ベクトルＳを求める。

【００５３】そして認識統合評価関数学習部４は、入力層の素子数Ｎ、出力層の素子数１の３層以上のニューラルネットワークに、正解カテゴリーの認識候類似度ベクトルＳを入力した場合には出力１、不正解カテゴリーの認識候補スコアベクトルＳを入力した場合には出力０となるように、誤差逆伝播アルゴリズムによって学習させて、学習終了後のニューラルネットワークの入出力特性ｆ（Ｓ）を、認識統合部３での統合処理に用いる評価関数ｆ（Ｓ）とするようにしている。

【００５４】このように認識統合評価関数学習部４は、
Ｓを引数とする評価関数ｆ（Ｓ）を学習により求めると、それを認識統合部３に渡す。 認識統合部３は、認識統合評価関数学習部４により得られた評価関数ｆ（Ｓ）
を用いることで、その評価関数の大きい順に候補文字を出力する。 即ち認識統合部３は、例えば ｆ（Ｓ _Q1 ）≧ｆ（Ｓ _Q2 ）≧… であった場合であれば、Ｑ ₁ ，Ｑ ₂ ，…の順に候補文字を出力する。

【００５５】以上に述べた、２つの文字認識部２-1，２
-2での認識手法＃１，＃２による出力（認識結果）を認識統合部３にて統合した結果の性能評価の例を、統合処理＃１，＃２，＃３を実施したそれぞれの場合について、認識手法＃１，＃２を単独で用いた場合と対比させて、図８に示す。 ここでは、統合処理＃１，＃２，＃３
により、いずれの場合にも認識率が３０％以上向上していることが分かる。

【００５６】なお、前記実施例では、図１の構成の文字認識装置に認識統合評価関数学習部４が設けられているものとして説明したが、これに限るものではない。 例えば、認識統合評価関数学習部４を文字認識装置から切り離して設け、文字認識部２-1〜２-Nの持つ認識手法＃１
〜＃Ｎと同様の認識手法でｎ個の学習用サンプルパターンをそれぞれ認識させて、その認識結果をもとに、（上記文字認識装置から切り離して設けた）認識統合評価関数学習部４にて、前記したような学習により統合処理のための評価関数を決定し、この決定した評価関数を文字認識装置内の認識統合部３に予め設定しておくようにしても構わない。

【００５７】

【発明の効果】以上詳述したように本発明の文字認識装置及び方法によれば、学習用サンプルデータによる複数の認識手法の出力結果の統計的性質により、各認識手法の統合処理が行われることから、これら各認識手法による認識結果を効果的に統合して、高い認識性能を実現することができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る文字認識装置の全体構成を示すブロック図。

【図２】図１中の文字認識部２-1，２-2からの順位付きの認識結果の出力例を示す図。

【図３】２つの認識手法による候補文字の順位の組み合わせとその正解確率の例を示す図。

【図４】ニューラルネットワークを説明するための図。

【図５】２つの認識手法による候補文字の順位の組み合わせとその正解確率をニューラルネットワークで学習した結果得られた評価関数で表した図。

【図６】候補順位の線形和で表される評価関数の係数を求める手順を説明するためのフローチャート。

【図７】図１中の文字認識部２-1，２-2からのスコア付きの認識結果の出力例を示す図。

【図８】文字認識部２-1，２-2での認識手法＃１，＃２
による出力を認識統合部３にて統合した結果の性能評価の例を、統合処理＃１，＃２，＃３を実施したそれぞれの場合について、認識手法＃１，＃２を単独で用いた場合と対比させて示す図。

【符号の説明】

１…座標入力部、２-1〜２-N…文字認識部、３…認識統合部、４…認識統合評価関数学習部、５…認識結果出力部。