【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、一般に、文書変換システムおよびその方法に関し、さらに詳しくは、文書のページからテキスト，ピクチャおよび表を自動的に識別するイメージ・ゾーン弁別システムおよびその方法に関する。

【０００２】

【従来の技術】文書のページには、テキスト，ピクチャおよびテーブルなどのさまざまな種類のイメージ・ゾーン(image zone)が含まれる。 ピクチャには、図形，図面，画像，写真または他の種類のイラスト表示が含まれる。 従来の文書変換(document conversion) システムでは、各種類のイメージ・ゾーンは別々に独立して処理されていた。 例えば、テキストを含むイメージ・ゾーンは、光学文字認識(optical character recognition) システムによって処理して、テキストの文字を認識する必要がある。 同様に、ピクチャを含むイメージ・ゾーンは、ラスタ／ベクトル・システム(raster-to-vector sy
stem) によって処理する必要がある。 しかし、ピクチャを含むイメージ・ゾーンは光学文字認識エンジンによって処理する必要はない。

【０００３】

【発明が解決しようとする課題】従来の文書変換システムは、ラスタ・イメージの部分をイメージ・ゾーンまたは情報ブロックに分割できる。 例えば、ラスタ・イメージがピクチャおよびこのピクチャを説明するテキストを含んでいる場合、従来の文書変換システムはピクチャとテキストをラベルのないイメージ・ゾーンに分割できる。 従来の文書変換システムの一部は、分割された情報ブロックまたはイメージ・ゾーンをハイライトできる。
しかし、イメージ・ゾーンを処理する前に、文書変換オペレータは、ラスタ・イメージのハイライトされた部分がイメージ・ゾーンのどの種類かを特定し、特定されたイメージ・ゾーンをそのゾーン種類（テキスト，イメージ，表，手書き）で手作業によりラベル付けしなければならない。 従って、ラスタ・イメージの一部からイメージ・ゾーン種類を自動的に識別し、かつラスタ・イメージのこの部分を適切なイメージ・ゾーン種類でラベル付けする必要がある。

【０００４】

【課題を解決するための手段】本発明は、イメージ・ゾーンがテキスト，表またはピクチャを含んでいるかどうかを、ニューラル・ネットワークを利用して自動識別する効用を有する。

【０００５】従って、本発明の利点は、イメージ・ゾーン種類がテキスト，表またはピクチャ・イメージであるかどうかを、ニューラル・ネットワークを利用して自動的に判定，識別または認識することである。

【０００６】本発明の一例に従って、イメージ・ゾーン弁別システムが提供され、このシステムは複数のイメージ・ゾーンを受け取るべく接続可能である。 各イメージ・ゾーンは、テキスト，ピクチャまたは表を含む複数のゾーン種類の一つを有する。 イメージ・ゾーン弁別システムは、（ａ）各イメージ・ゾーンから領域を選択する領域識別部(region identifier) および（ｂ）領域識別部に接続され、この領域をサンプリングし、かつイメージ・ゾーンのサブサンプリングされた領域のゾーン種類を識別するニューラル・ネットワークによって構成される。

【０００７】本発明の別の例に従って、コンピュータ・
プログラムの一部としてコンピュータ上で実行されるイメージ・ゾーン弁別方法が提供される。 本方法は、テキスト，ピクチャ，イメージおよび表を含む複数のゾーン種類を文書のページから識別する。 コンピュータは、複数のイメージ・ゾーンを受け取るべく接続可能である。
本方法は、（ａ）各イメージ・ゾーンから領域を選択する段階；（ｂ）この領域をサブサンプリングする段階；
および（ｃ）イメージ・ゾーンのサブサンプリングされた領域のゾーン種類を自動識別する段階によって構成される。

【０００８】本発明は、特許請求の範囲で具体的に指摘されている。 しかし、本発明の他の特徴は、添付の図面とともに以下の詳細な説明を参照することによって明らかになり、本発明について理解を深められる。

【０００９】

【実施例】図１は、本発明の好適な実施例によるイメージ・ゾーン弁別システム１０を示す。 イメージ・ゾーン弁別システム１０は、領域識別部(region identifier)
１２およびニューラル・ネットワーク１３によって構成される。 ニューラル・ネットワークは、サブサンプリング・ニューロン１４の層および多層パーセプトロン(mul
tilayer perceptron) １６によって構成される。

【００１０】図１に示すように、ラスタ・イメージはゾーン分割部(zone segmenter)５によって受け取られ、このゾーン分割部５はラスタ・イメージの部分を同様な情報のブロックまたはイメージ・ゾーンに分割する。 またゾーン分割部５は、複数のイメージ・ゾーンを含むラスタ・イメージから各イメージ・ゾーンを抽出できる。 ゾーン分割部５は、Xerox 社製のScanWorXなど市販のインテリジェント文字認識システムである。

【００１１】イメージ・ゾーンがゾーン分割部５によって分割されると、各イメージ・ゾーンはイメージ・ゾーン弁別システム１０に送られ、このイメージ・ゾーン弁別システム１０は各イメージ・ゾーンのゾーン種類を認識，判定または識別する。 イメージ・ゾーン弁別システム１０はゾーン種類を出力し、文書変換オペレータにこのゾーン種類を通知する。 またイメージ・ゾーン弁別システム１０は、識別されたゾーン種類でイメージ・ゾーンをラベル付けする。 イメージ・ゾーン弁別システム１
０が適切なゾーン種類を誤って識別した場合、オペレータは誤って識別されたゾーン種類を正しいゾーン種類で訂正できる。

【００１２】図１に示すように、イメージ・ゾーン弁別システム１０は、領域識別部１２および多層ニューラル・ネットワーク１３によって構成され、多層ニューラル・ネットワーク１３はサブサンプリング・ニューロンの層１４および多層パーセプトロン１６を含む。 領域識別部１２は、ゾーン分割部５から各イメージ・ゾーンを受け取り、各イメージ・ゾーンから領域を選択する。 サブサンプリング・ニューロン１４の層は領域識別部１２によって選択された領域を受け取り、多層パーセプトロン１６によって処理可能な情報量と整合性のあるサイズにこの領域をサブサンプリングする。 サブサンプリング・
ニューロン１４の層については、以下で詳細に説明する。

【００１３】サブサンプリングされた領域はニューラル・ネットワークの多層パーセプトロン１６に与えられ、
この多層パーセプトロン１６は、選択された領域がテキスト，ピクチャまたは表であるかを判断する。 多層パーセプトロン１６の判定結果に基づいて、イメージ・ゾーン弁別システム１０は、識別されたゾーン種類でイメージ・ゾーンをラベル付けすることによって、この識別されたイメージ・ゾーン種類をオペレータに通知する。 ここで、イメージ・ゾーン弁別システム１０がこのゾーン種類を誤って識別した場合には、オペレータはイメージ・ゾーンのゾーン種類を変更できる。

【００１４】図２は、本発明の好適な実施例によるイメージ・ゾーン弁別方法のフローチャートを示す。 ゾーン分割部５によって実行されるステップ２００〜２０２
は、イメージ・ゾーン弁別システム１０によって処理するために、ラスタ・イメージを用意する。 まず第１に、
ステップ２００においてゾーン分割部５はラスタ・イメージを受け取り、ステップ２０１においてラスタ・イメージから異なるイメージ・ゾーンを手作業または自動的に識別し、ステップ２０２においてラスタ・イメージから各イメージ・ゾーンを抽出する。 ステップ２０１によって行われる分割は、人間のオペレータによって行われるのが一般的であるが、市販されている自動分割(auto-
segmentation) ソフトウェアによって行うこともできる。

【００１５】イメージ・ゾーンがラスタ・イメージから抽出されると、ステップ２０３において分割部５はこれらのイメージ・ゾーンを保存する。 次に、各イメージ・
ゾーンは、ＴＩＦＦ(tagged image file format)フォーマットでイメージ・ゾーン弁別システム１０に送られる。 イメージ・ゾーンはＴＩＦＦフォーマットで送られるが、他のフォーマットも利用できる。

【００１６】ステップ２０４において、イメージ・ゾーン弁別システム１０はイメージ・ゾーンの領域を選択する。 イメージ・ゾーン弁別システム１０の第１段階は、
領域識別処理である。 この処理は、抽出されたイメージ・ゾーンからピクセル（画素）を入力として受け取り、
この入力イメージ・ゾーンの小領域Ｒを出力として生成する。 Ｒの寸法はｈ _R ×ｗ _Rであり、ここでｈ _Rはこの領域の高さであり、ｗ _Rはこの領域の幅である。 高さおよび幅はともにピクセル単位で測定される。 ここでは、
イメージ・ゾーン弁別システム１０は、イメージ・ゾーンの中央からピクセルを抽出することによって領域Ｒを生成する。 しかし、多層ニューラル・ネットワーク１３
がゾーン弁別を行うために十分な情報を領域Ｒが含んでいるかどうかを判断するため、他の高度な方法も利用できる。

【００１７】領域Ｒが選択されると、ステップ２０５において、ニューラル・ネットワーク１３のサブサンプリング・ニューロン１４の層は領域Ｒをサブサンプリングする。 サブサンプリング・ニューロン１４は、ｘ（幅）
およびｙ（高さ）で選択された領域Ｒを、ニューラル・
ネットワーク１３の多層パーセプトロン１６によって容易に処理できるサイズにサブサンプリングする。 ニューロン１４の層に対する入力は、領域Ｒである。 サブサンプリング・ニューロン１４の層に対する入力の数は、領域Ｒのサイズ、すなわちｈ _R ×ｗ _Rである。 サブサンプリング・ニューロン１４の第１層の出力は、サブサンプリングされた領域Ｒを表すＲ _ssである。 Ｒ _ssの寸法はｈ
_RSS ×ｗ _Rssであり、ここでｈ _RSSはサブサンプリングされた領域の高さであり、ｗ _Rssはサブサンプリングされた領域の幅である。 これらの寸法は、ｘ寸法およびｙ
寸法のサブサンプリングされた比率によって決定される。

【００１８】ｘ方向のサブサンプリング比率ｒ _xは次式によって与えられる。

【００１９】

【数１】ｒ _x ＝ｗ _R ／ｗ _Rss ｙ方向のサブサンプリング比率ｒ _yは次式によって与えられる。

【００２０】

【数２】ｒ _y ＝ｈ _R ／ｈ _Rss領域Ｒのサイズ，水平および垂直サブサンプリング比率ｒ _x ，ｒ _yならびに領域Ｒ _ssのサイズは独立して選ぶことができるが、数１および数２を満たしている。

【００２１】サブサンプリング層１４におけるニューロンＮの数は、次式によって与えられる。

【００２２】

【数３】Ｎ＝ｈ _Rss ×ｗ _Rss Ｎ個のニューロンのそれぞれは、図３に示す例に示されるように、固定重み(fixed weight)のバイナリ閾値ニューロン３１である。 図３では、領域Ｒ３０の一部からの４つのピクセル３０１〜３０４はサンプリングされ、入力としてニューロン３１に与えられる。 ４つのピクセル３０１〜３０４のそれぞれは、１（「オン」）または０
（「オフ」）の値を有する。 ピクセルの各値は、接続重み(connection weight) で乗算器３２によって乗算される。 接続重みとは、サンプリングされるピクセル数で１
を割った値である。 この例の接続重みは、１／４（０．
２５）に等しい。 乗算の結果は、加算器３４において互いに加算される。 加算の結果が０．５以上の場合、閾値３６はニューロン（それ自体）に１の値を割り当てる。
加算の結果が０．５未満の場合、閾値３６はそれ自体に０の値を割り当てる。

【００２３】サブサンプリング層１４におけるニューロンの数が上式によって決定されると、接続重みを求めなければならない。 サブサンプリング層１４における各ニューロンは、領域Ｒの各ピクセルに接続重みを介して接続される。 接続重みとは、ピクセルが「オフ」（または０）ではなく「オン」（または１）の場合にピクセルに割り当てる値である。 この接続ライン上のサブサンプリング１４の層におけるニューロンに対する入力は、接続重みと、領域Ｒのピクセルとの積である。 数４の制約を満たす、領域ＲのすべてのピクセルからニューロンＮ _i,
j （ｉ＝０〜ｗ _Rss ；ｊ＝０〜ｈ _Rss ）までの接続重みは、数５に設定される。

【００２４】

【数４】｛（ｒ，ｃ）｜ｒ＝（ｉ）（ｒ _y ）＋ｍ；ｃ＝
（ｊ）（ｒ _x ）＋ｎ；ｍＣＥ（０，ｒ _y −１），ｎＣＥ
（０，ｒ _x −１）｝

【００２５】

【数５】接続重みｒ，ｃ＝１／（ｒ _x ）（ｒ _y ） 上記の制約式は、領域Ｒのどのピクセルが接続重みｒ，
ｃによって乗算されるかを特定する。 制約式において、
ｒは領域Ｒの行(row) を表し、ｃは領域Ｒの列(column)
表す。 （ｒ，ｃ）の組み合わせは、行列方式によってピクセルを指定する。

【００２６】領域を処理する際に上式がどのように用いられるかを示す例について以下で説明する。 領域Ｒが４
００ピクセルに等しい幅ｗ _Rと、１００ピクセルに等しい高さｈ _Rを有すると想定する。 さらに、所望のサブサンプリングされた領域Ｒ _ssが８０ピクセルに等しい幅ｗ
_Rssを有し、高さｈ _Rssが２０ピクセルに等しいと想定する。 サブサンプリング比率は次式によって決定される。

【００２７】ｒ _x ＝ｗ _R ／ｗ _Rss ＝４００／８０＝５ ｒ _y ＝ｈ _R ／ｈ _Rss ＝１００／２０＝５ 従って、サブサンプリング層１４におけるニューロンの数は次の通りである。

【００２８】Ｎ＝ｈ _Rss ×ｗ _Rss ＝２０ ×８０＝１６
００ １６００個のニューロンのそれぞれは、図３に示すように固定重みのバイナリ閾値ニューロンである。 以下の制約式は、ニューロンＮ _{1, 2}に接続する接続重みが割り当てられるピクセル（ｒ，ｃ）のセットを決定する。

【００２９】｛（ｒ，ｃ）｜ｒ＝（ｉ）（ｒ _y ）＋ｍ；
ｃ＝（ｊ）（ｒ _x ）＋ｎ；ｍＣＥ（０，ｒ _y −１），ｎ
ＣＥ（０，ｒ _x −１）｝ ｛（ｒ，ｃ）｜ｒ＝（ｉ）（５）＋ｍ；ｃ＝（ｊ）
（５）＋ｎ；ｍ ＣＥ（０，４），ｎ ＣＥ（０，
４）｝ ニューロンＮ _{1, 2}について、これは以下のピクセルのセットである。

【００３０】（ｒ，ｃ）＝｛(5, 10), (5, 11), (5, 1
2), (5, 13), (5, 14)(6, 10), (6, 11), (6, 12), (6,
13), (6, 14)...(9, 10), (6, 11), (9, 12), (9, 1
3), (9, 14) ｝ ピクセルのセットの各ピクセルの接続重みｒ，ｃは、次式に設定される。

【００３１】接続重みｒ，ｃ＝１／（ｒ _x ）（ｒ _y ）＝
１／（５）（５）＝０．４０ 従って、ピクセル・セットのピクセルが「オン」の場合、接続重み０．０４０で乗ぜられる。 各ピクセルについて各乗算が求められると、接続重みが加算される。 加算の結果が０．５以上の場合、ニューロンＮ _{1, 2}に値１
が与えられ、「オン」となる。 それ以外の場合には、Ｎ
_{1, 2}には値０が与えられる。

【００３２】図２に基づいて、ステップ２０５において領域Ｒがサブサンプリング・ニューロン１４の層によってサブサンプリングされると、ステップ２０６においてニューラル・ネットワーク１３の多層パーセプトロン１
６はサブサンプリングされた領域Ｒ _ssを処理する。 多層パーセプトロン１６は、例えば、パブリック・ドメイン
(public domain) パッケージであるGenesis またはPlaN
etなどの従来の多層パーセプトロンである。 多層パーセプトロン１６は、バックワード・エラー・プロパゲーション(Backward Error Propagation)と呼ばれる周知の学習ルールでトレーニングされる。 多層パーセプトロン・
ニューラル・ネットワーク１６の構成は、Ｎ個の入力層ニューロンと、１００個の隠れ層(hidden layer)ニューロンと、３個の出力層ニューロンとを有する３層の完全接続型ネットワークである。 入力層とは、適切な重みまたは押しつぶし(squashing) 関数のないファンアウト(f
anout)分布ノードの層である。 双曲線正接関数は、隠れ層および出力層における非線形押しつぶし関数として用いられる。

【００３３】多層パーセプトロン・ニューラル・ネットワーク１６は、例えば、電子データ・マニュアルなど、
変換される文書クラスと整合性のあるテキスト／表／ラスタ周波数分布でサンプルについてトレーニングされる。 この文書クラスについて、各イメージ・ゾーンの出現回数が標準的な統計方法を用いて求められる。

【００３４】図１に示す多層パーセプトロン１６の出力は、３つの値のベクトルである。 この出力ベクトルの各要素は、ゾーン種類（テキスト，表およびピクチャ）の一つについて符号化する。 ベクトル要素の値の範囲は−
１から＋１である。 もっとも大きい値のベクトル要素はもっとも可能性の高いゾーン種類に対応する。 結果はオペレータに出力され、イメージ・ゾーン弁別システム１
０のニューラル・ネットワーク１３によってゾーン種類が誤って識別された場合に、オペレータはゾーン種類を変更できる。

【００３５】図２に戻って、結果が出力されると、ステップ２０７においてイメージ・ゾーン弁別システム１０
は、特定のラスタ・イメージについて分割部５にまだ処理すべきイメージ・ゾーンがあるかどうか判断する。 ステップ２０７において、処理すべきイメージ・ゾーンが残っている場合、イメージ・ゾーン弁別システム１０は次のイメージ・ゾーンを受け取り、すべてのイメージ・
ゾーンがシステム１０によって処理されるまでステップ２０４〜２０７を繰り返す。

【００３６】本発明は、ラスタ・イメージの一部からイメージ・ゾーンを自動識別し、ラスタ・イメージのこの部分を正しいイメージ・ゾーン種類でラベル付けすることが当業者に理解される。 この機能は、従来のシステムが実行できなかった機能である。

【００３７】特許請求の範囲は本発明の精神および範囲に含まれる本発明の一切の修正を網羅する。 例えば、文書ゾーン弁別システムはテキスト，表およびピクチャを識別するが、ニューラル・ネットワークは、例えば手書きなどの他のゾーンも識別するようにトレーニングできる。

【図面の簡単な説明】

【図１】本発明の好適な実施例によるイメージ・ゾーン弁別システムを示す。

【図２】本発明の好適な実施例によるイメージ・ゾーン弁別方法のフローチャートを示す。

【図３】本発明の好適な実施例による複数の固定重みのバイナリ閾値サブサンプリング・ニューロンの一つを示す。

【符号の説明】

５ ゾーン分割部 １０ メージ・ゾーン弁別システム １２ 領域識別部 １３ ニューラル・ネットワーク １４ サブサンプリング・ニューロンの層 １６ 多層パーセプトロン ３０ 領域Ｒ ３１ 固定重みのバイナリ閾値ニューロン ３２ 乗算器 ３４ 加算器 ３６ 閾値 ３０１〜３０４ ピクセル