【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、命令入力手段として入力ペンとタブレットとを用いた文字認識装置及び文字認識方法に関するものである。

【０００２】

【従来の技術】近年、文字認識装置を利用して文字や図形などを含む文書の修正・編集作業が一般的に行われている。 従来の文字認識装置は、文字領域の指定やコマンドの指定等の座標位置入力手段としてマウスを用いていた。 例えば、表示画面上に表示された入力画像中から特定の文字領域を抽出する場合には、使用者は、マウスを移動させて画面上のカーソルマークを矩形領域の始点と終点とに移動させて矩形領域を指定することによって、
この矩形領域に囲まれた範囲内の文字領域を抽出するように操作していた。

【０００３】また、認識動作の実行や認識データの編集等を指示する場合には、予め表示されたメニューボタンまたは、使用者からの何らかの指示をきっかけに表示されるメニューボタンをマウスでクリックする操作を行っていた。

【０００４】

【発明が解決しようとする課題】しかしながら、最近の文字認識装置に対しては、指示入力操作や編集命令入力操作等の操作性の向上が要求されている。 従来の文字認識装置に使用されているマウスは、キーボードに比べて操作が容易であるが、入力画像中の領域指定は矩形領域に限定されており、またマウスの形状が扱いにくいと感じられる場合があるなど、使用者にとって必ずしも扱い易い装置ではなかった。

【０００５】したがって、本発明は上記問題点に鑑みてなされたもので、特定の画像領域の認識動作や編集動作の指示操作性に優れた文字認識装置及び文字認識方法を提供することを目的とする。

【０００６】

【課題を解決するための手段】請求項１の発明に係る文字認識装置は、座標位置を入力するためのペンと、座標読み取り領域を有し、この座標読み取り領域上で動かされる前記ペンの軌跡の座標値を読み取るタブレットと、
文字領域を含む文書の画像データを入力する入力手段と、タブレットの座標読み取り領域と対応付けられた表示領域を有する表示手段と、表示領域に画像データを表示させる画像表示手段と、入力された画像データを表示領域に表示しているとき、領域抽出モードにあり、この領域抽出モードにおいて使用者がペンでタブレットの座標読み取り領域上をなぞると、ペンで指定された範囲に相当する文字領域の画像データを抽出し表示するように制御する制御手段と、制御手段により抽出された文字領域の画像データを文字コードに変換するデータ変換手段と、抽出された文字領域を表示手段の表示領域に表示する抽出文字列表示手段とを備えている。

【０００７】請求項２の発明に係る文字認識装置では、
請求項１の文字認識装置に対して、さらに表示手段の表示領域が、タブレットの座標読み取り領域に重複するようにタブレットに設けられている。 請求項３の発明に係る文字認識装置では、請求項２の文字認識装置に対して、制御手段が、領域抽出モードにあるときに、使用者がペンを用いてタブレットの座標読み取り領域上に不定形閉曲線をなぞることによって、その不定形閉曲線の内部に含まれる全ての文字列を抽出するように制御動作を行う。

【０００８】請求項４の発明に係る文字認識装置では、
請求項２の文字認識装置に対して、制御手段が、領域抽出モードにあるときに、使用者がペンを用いてタブレットの座標読み取り領域上に不定形閉曲線をなぞることによって、少なくともその一部が不定形閉曲線の内部に含まれる文字列を行単位で抽出するように制御動作を行う。

【０００９】請求項５の発明に係る文字認識装置では、
請求項１ないし４の文字認識装置に対して、さらに制御手段が、領域抽出モードと文字編集モードとに切り換え可能であり、領域抽出モードにおいてペン操作により領域抽出処理が行われ、文字編集モードにおいては、使用者がペンを用いてタブレット上に行う描画操作をコマンド入力として認識するように制御動作を行う。

【００１０】請求項６の発明に係る文字認識装置は、請求項５の文字認識装置に対して、さらに、識別されたコマンドに基づいて、抽出された前記文字領域の文字データの編集処理を行う編集手段を備えている。 請求項７の発明は、入力ペンとタブレットを用いて、表示装置に表示された画像中から所望の文字領域を抽出する文字認識方法であって、表示された画像中の所望の文字領域を取り囲むように、入力ペンを用いてタブレットの座標読み取り領域上に不定形閉曲線を描くことによって、不定形閉曲線に囲まれた領域を黒画素とし、かつ不定形閉曲線の外側の領域を白画素とする抽出領域選択画像データを作成するステップと、表示された画像の画像データと抽出領域選択画像データとの画素毎の論理積をとることによって所望の文字領域のみを表示する画像データを作成するステップとを備えている。

【００１１】請求項８の発明は、入力ペンとタブレットを用いて、表示装置に表示された画像中から所望の文字領域を抽出する文字認識方法であって、表示された画像中の所望の文字領域の少なくとも一部を含むように、入力ペンを用いてタブレットの座標読み取り領域上に不定形閉曲線を描くステップと、不定形閉曲線に囲まれた領域から上下左右方向に画像データを走査し、白画素領域が所定範囲に渡って連続する位置を各々上限、下限、左限、右限として検出し、この範囲内にある画像データを所望の文字領域のみを表示する画像データとして抽出するステップとを備えている。

【００１２】

【作用】請求項１に係る文字認識装置は、座標認識手段としてタブレットとペンを備え、タブレットの座標読み取り領域上をペンでなぞる動作によって紙に鉛筆書きするような感覚で任意形状の図形描画が可能である。 そして、制御手段は、領域抽出モードでは、ペン入力された描画領域を認識して、この領域に対応する画像データを抽出する。

【００１３】請求項２の文字認識装置は、タブレットの座標読み取り領域と表示画面が重複しているため、ペンを用いた画像抽出領域の指定が容易に行える。 請求項３
及び請求項７の発明では、ペンで不定形閉曲線で取り囲んだ領域内の全ての画像データを抽出することができる。 請求項４及び請求項８の発明では、ペンを用いて大まかな領域を指定することにより、文章中の行間や段落などの区切りを検出して抽出するので、抽出しようとする領域を正確に指定しなくても、所望の領域を抽出することができる。

【００１４】請求項５及び請求項６の文字認識装置は、
制御手段によって文字編集モードに切り換わると、ペンを用いて入力された描画図形をコマンド入力信号として受取り、その図形パターンを識別してコマンドが判断され、領域抽出モードで抽出された文字データに対して入力コマンドに対応した編集処理が行われる。

【００１５】

【実施例】以下、本発明の実施例による文字認識装置について、図面を参照しながら説明する。 図１は、本発明の実施例における文字認識装置の構成を示すブロック図である。 図１を参照して、本発明による文字認識装置は、大別して、画像データを入力するための画像入力部１０と、入力画像データを記憶する画像データ記憶部１
１と、座標入力用のペン１２と、ディスプレイ付きタブレット１３と、画像データの抽出・編集動作を制御する制御部とを有する。

【００１６】画像入力部１０は、外部ファイルやスキャナ等から画像データを読み込む動作を行う。 画像データ記憶部１１は、入力された画像データを文字などの表示対象の黒画素を１、背景の白画素を０で示した２値のドットパターンで記憶する。 ディスプレイ付きタブレット１３は、画像を表示する画面を有し、この画面上をペン１２でポインティングしたりなぞったりすることにより、ペン１２の軌跡座標値が読み取られる。 このディスプレイ付きタブレット１３は、表示画像上を直接ペン１
２で指定することができるため、紙に鉛筆書きするような感覚で操作でき、操作性に優れている。

【００１７】制御部は、主に領域抽出モード時に動作する認識対象画像データ抽出手段１５、抽出文字列認識手段１６、抽出文字列表示手段１７と、主に文字編集モード時に動作するジェスチャ認識手段１８、抽出文字列編集手段１９とから構成される。 なお、後で詳述するが、
領域抽出モードは入力された画像データの中から所望の文字列の画像データを抽出して表示する動作モードであり、文字編集モードは、入力ペンでコマンドを入力し、
抽出した文字列に対して種々の編集動作を行う動作モードである。

【００１８】認識対象画像データ抽出手段１５は、使用者がペン１２で指示したタブレット１３のディスプレイ上の領域座標を受取り、この領域に対応する文字領域の画像データを入力された画像データ中から抽出して抽出文字列認識手段１６に出力する。 抽出文字列認識手段１
６は、抽出された文字領域の画像データを文字単位で認識し、文字コードに変換し、抽出文字列表示手段１７に出力するとともに保持する。

【００１９】抽出文字列表示手段１７は、抽出した文字列をタブレット１３のディスプレイ上に入力画像とは異なる表示領域、例えば異なるウインドウ等に表示する。
ジェスチャ認識手段１８は、文字編集モードにおいて、
抽出文字列の表示領域に対して入力ペン１２による描画入力動作が行われた場合に、描画図形から対応するコマンドを解釈する。

【００２０】抽出文字列編集手段１９は、ジェスチャ認識手段１８で認識したコマンドの内容に応じて抽出文字列に種々の編集動作を行う。 編集結果は、抽出文字列表示手段１７によってディスプレイ上に表示される。 次に、この文字認識装置の動作について説明する。 図２ないし図４は、文字認識装置の動作手順を示す動作フローである。 図２に示すように、この文字認識装置の動作は、主に文字領域抽出動作と文字編集動作に分けられ、
図３に文字領域抽出動作のフローが、また図４に文字編集動作のフローが示されている。

【００２１】まず、文字領域認識動作（領域抽出モード）について説明する。 画像入力手段１０は、スキャナあるいはファイルから文字列を含む画像を読み込む（画像入力ステップ）。 画像記憶手段１１は、画像入力手段１０で読み込んだ画像を、文字などの黒画素を１、背景の白画素を０とした２値データで記憶する。

【００２２】画像表示手段１４は画像記憶手段１１で記憶している画像データをディスプレイつきタブレット１
３のディスプレイ上に表示する（画像表示ステップ）。
使用者は、ディスプレイつきタブレット１３に表示された画像中で、認識したい文字を含む画像領域を、ペン１
２を用いて抽出する。 ここで、文字画像領域の抽出方法には２つの方法がある。

【００２３】まず第１の方法について、図５を用いて説明する。 図５（a）に示すように、使用者は、入力ペン１２を用いて画面上の抽出すべき文字領域の周囲を囲む不定形閉曲線２０を描く。 認識対象画像データ抽出手段１５は、不定形閉曲線２０の軌跡の座標値等を求める。
そして、図５（ｂ）に示すような、入力画像領域と同じ大きさであって、不定形閉曲線の内部の全ての画素が黒画素であることを示す「１」であり、不定形閉曲線の外部の全ての画素が白画素であることを示す「０」から構成される選択領域画像データを作成する。 その後、入力画像データと選択領域画像データとの画素毎の論理積をとることにより、不定形閉曲線２０で囲まれた領域以外の画素が白画素に変換され、図５（ｃ）に示すように、
不定形閉曲線２０の内部の画像データのみが抽出される。

【００２４】さらに、第２の方法について図６を用いて説明する。 図６（ａ）に示すように、使用者は、ディスプレイつきタブレット１３に表示された画像中で、抽出したい文字領域の一部にペン１２を用いて不定形閉曲線２１の印をつける。 認識対象画像データ抽出手段１５
は、不定形閉曲線２１の座標情報を受け取って以下のように処理を行う。 図６（ｂ）を参照して、認識対象画像データ抽出手段１５は、まず不定形閉曲線２１のｘ座標の最小値ｘｍｉｎ、最大値ｘｍａｘ、ｙ座標の最小値ｙ
ｍｉｎ、最大値ｙｍａｘを求める。 次に、ｙ座標の最小値ｙｍｉｎを起点として、不定形閉曲線のｘ座標の最小値ｘｍｉｎから最大値ｘｍａｘまでの範囲を上へ走査して、ｘｍｉｎからｘｍａｘまでの範囲の画素が全てが白画素「０」となる画素の行が、初めてＮｙ行以上連続したｙ座標を認識対象領域の上限のｙ座標ｙｓとする。 同様に、ｙ座標の最大値ｙｍａｘを起点として、不定形閉曲線のｘ座標の最小値ｘｍｉｎから最大値ｘｍａｘまでの範囲を下へ走査して、ｘｍｉｎからｘｍａｘまでの範囲の画素が全てが白画素「０」になる画素の行が、初めてＮｙ行以上連続したｙ座標を認識対象領域の下限のｙ
座標ｙｅとする。

【００２５】今度は、ｘ座標の最小値ｘｍｉｎを起点として、不定形閉曲線のｙ座標の最小値ｙｍｉｎから最大値ｙｍａｘまでの範囲を左へ走査して、ｙｍｉｎからｙ
ｍａｘまでの範囲の画素が全てが白画素「０」となる画素の行が、初めてＮｘ行以上連続したｘ座標を認識対象領域の上限のｘ座標ｘｓとする。 同様に、ｘ座標の最大値ｘｍａｘを起点として、不定型閉曲線のｙ座標の最小値ｙｍｉｎから最大値ｙｍａｘまでの範囲を右へ走査して、ｙｍｉｎからｙｍａｘまでの範囲の画素が全てが白画素「０」になる画素の行が、初めてＮｘ行以上連続したｘ座標を認識対象領域の下限のｘ座標ｘｅとする。 そして、上限、下限のｙ座標、左限、右限のｘ座標で囲まれた画像ブロックを抽出文字領域の画像データとして抽出する。

【００２６】なお、第２の方法の他の例として、上下限及び左右限の走査は、不定形閉曲線２１の重心位置（Ｇ
ｘ、Ｇｙ）から開始してもよい。 また、左右限の走査開始の起点をｘｍｉｎ、ｘｍａｘとし、上下限の走査開始の起点を重心位置Ｇｙとしてもよい。 さらに、走査領域の幅や走査の順序は任意に設定してもよい。 このようにして抽出された文字領域の画像データは、抽出文字列認識手段１６によって、画素単位の画像データから文字コードに変換され保持される。

【００２７】抽出文字列表示手段１７は、抽出文字列認識手段１６で抽出された文字列をタブレット１３のディスプレイの画面上に表示する（抽出文字領域の表示ステップ）。 以上が領域抽出モードでの動作である。 つぎに、文字編集動作について説明する。 この動作モードでは、使用者がペン１２でタブレット上をなぞって描画する動作（この動作をジェスチャと称する）からコマンドを認識して、抽出された文字列に対して種々の編集動作が行われる。

【００２８】まず、タブレット１３のディスプレイ画面上の抽出文字列表示領域をペン１２でなぞる動作はジェスチャとして受け付けられるように設定される。 そして、使用者がペン１２で予め定められた図形をなぞると、その図形の座標値等の軌跡データがジェスチャ認識手段１８に与えられる。 ジェスチャ認識手段１８は、ジェスチャの意味を解釈して所定の処理コマンドを識別して、抽出文字列編集手段１９に処理命令を与える。 ここで、図７は、ジェスチャ形状の例を示す図である。 図中、矢印はジェスチャの筆跡の向きを示している。

【００２９】図７（ａ）に例示するようなジェスチャＡ
が描かれた場合、ジェスチャ認識手段１８は、抽出文字列編集手段１９にジェスチャＡが描かれたこととジェスチャＡの開始座標及び終了座標とを通知する。 抽出文字列編集手段１９は、ジェスチャの開始座標及び終了座標とから、抽出文字列中のどの文字又は文字列が対象となるかを計算し、例えば、該当文字を反転表示するなどして選択されたことを表示する。

【００３０】また、ジェスチャＡに続いて図７（ｂ）に例示するようなジェスチャＢが描かれた場合、ジェスチャ認識手段１８は文字列の次候補への変換コマンド入力と認識する。 そして、抽出文字列編集手段１９は、ジェスチャＡによって選択されている文字を次候補に訂正する。 次候補とは現在表示されている候補文字の次に確からしい候補文字である。

【００３１】さらに、図７（ｃ）に例示するようなジェスチャＣの場合には、選択されている文字または文字列の選択候補を画面上に全て表示する。 さらに、図７
（ｄ）に例示するようなジェスチャＤの場合には、選択されている文字又は文字列を削除する。 このような編集処理が行われた後、編集後の抽出文字列が抽出文字列表示手段１７によってタブレット１３のディスプレイ上に表示される。

【００３２】さらに、使用者の指示によって次の処理が行われる。 なお、上記実施例で説明したジェスチャは例示に過ぎず、種々の図形をコマンドと関連付けて使用することができる。 また、上記実施例では、ディスプレイ付きタブレットを使用したが、タブレットと分離したディスプレイ装置を使用してもかまわない。

【００３３】

【発明の効果】このように、本発明の文字認識装置は、
座標入力手段としてペンとタブレットを備え、領域抽出モード時には、タブレット上をペンでなぞることによって、画像表示手段に表示された画像上の所望の領域の画像データを抽出するように制御されるので、鉛筆書きの感覚で不定形閉曲線を用いた領域抽出指示が行え、文字認識動作の操作性が向上する。

【００３４】また、文字編集モードでは、抽出した文字領域の表示画面に対してペンを用いた描画動作をコマンド入力として受けとるように構成されているので、簡便な描画動作で文字列の編集動作の指示を容易に行わせることができる。 さらに、請求項７及び８に係る発明では、ペンでタブレット上に不定形閉曲線を描画することによって、所望の文字領域を認識することができるので、複雑な領域指定や大まかな領域指定が可能となり、
操作性が向上する。

【図面の簡単な説明】

【図１】本発明の実施例における文字認識装置の構成を示すブロック図である。

【図２】図１に示す文字認識装置の動作手順を示すメインフロー図である。

【図３】図１に示す文字認識装置の動作手順を示すサブフロー図である

【図４】図１に示す文字認識装置の動作手順を示すサブフロー図である

【図５】本発明の文字認識装置の文字領域抽出動作の一例を説明するための模式図である。

【図６】本発明の文字認識装置の文字領域抽出動作の他の例を説明するための模式図である。

【図７】ジェスチャの形状の例を示す図である。

【符号の説明】

１０ 画像入力手段 １１ 画像記憶手段 １２ ペン １３ ディスプレイつきタブレット １４ 画像表示手段 １５ 認識対象画像データ抽出手段 １６ 抽出文字列認識手段 １７ 抽出文字列表示手段 １８ ジェスチャ認識手段 １９ 抽出文字列編集手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中尾 一郎 大阪府門真市大字門真1006番地 松下電器 産業株式会社内