【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は一体型表示入力装置を備えた文書作成編集装置に係り、特に操作性の一層の向上を図った文書作成編集装置に関する。

【０００２】

【従来の技術】座標入力装置であるタブレットと表示装置とを重ね合わせた一体型入力表示装置を持つ情報処理装置は、情報の入力位置と表示位置とが一致しているために操作性が優れており、コンピュータの入力・表示方式として注目されている。

【０００３】図１７に一体型入力表示装置を持つ文書作成編集装置の構成例を示す。

【０００４】図に於いて、座標入力装置である静電結合方式の透明タブレット７２が表示装置であるＬＣＤ７３
上に重ねられており、ペン（スタイラス）７１で入力され、透明タブレット７２を介して検出された位置情報が制御装置７４により処理される。 また、図１８に示すように、入力ペン８１のペン先にはスイッチがあり、ペン先を押して圧力を加えると、このスイッチがＯＮ、押すのを止めて圧力が加わらなくなるとスイッチがＯＦＦになる。 即ち、ペン先８２が押されると電極８３が接触し信号線８５によってその情報が伝達される。 ペン先８２
が離されるとスプリング８４によって電極８３が不接触となりスイッチＯＦＦとなる。 図中、８１はペン軸である。 尚、ペンがタブレット面から１０ｍｍ程度離れていてもタブレットによる座標検出動作は可能である。

【０００５】このような一体型入力表示装置を持つ情報処理装置によって、文書図形作成装置を構成した場合、
以下に列挙する特徴を持ち、優れた操作性を提供することができる。

【０００６】（１）ペンによって手書き文字の入力ができる。

【０００７】（２）カーソルを移動させる場合ペンで直接移動先を指定できる。

【０００８】（３）装置に対する命令を画面にメニューとして表示させて、それをペンで直接選択することで命令の入力ができる。

【０００９】最近では、このような一体型入力表示装置を持つ文書作成編集理装置に於いては、ペンによって書き込まれた編集記号を認識して各種の文字列編集操作を行なう、いわゆるジェスチャー認識を採用することで一層優れた操作性を提供している。 従来の、ジェスチャー認識による文字列編集の概要は以下に記すとおりである。 図１９にジェスチャー認識を採用した文書作成編集装置の画面構成を示す。 図に於いて、ａは作成・編集中の文書の一部が表示される文書作成編集領域である。 この領域は必要に応じて上下左右にスクロールして表示されている文書領域を変更することができる。 ｂは文字入力領域であり、認識忰ｃの中にペンで文字を手書きすると、それが認識されて文字コードに変換され、その文字コードに相当する文字が文書として入力され、文書作成編集領域ａにその文字フォントが表示される。

【００１０】上述した文書作成編集装置に於ける文字列編集機能の動作例を説明する。

【００１１】まず、文書作成編集領域ａに表示されている文字の上にペンを持っていてペン先スイッチをＯＦＦ
からＯＮにして、スイッチをＯＮにしたままペンを移動させて文字列をなぞるとその範囲が反転表示される。 ペン先スイッチをＯＮからＯＦＦにすると、そのとき反転表示されている文字列が編集対象の文字列範囲として指定される。 この模様は図２０に示されている。 上述したように範囲指定した後、図１９の文書作成編集領域ａにペンで編集記号を書き込むと、それが認識されて編集操作が実行される。 この例では、γを書くと指定文字列が削除され、Λを書くと指定列がΛを書いた位置に移動し、νを書くと指定文字列がνを書いた位置にコピーされる。 この模様は図２１（ａ）〜（ｃ）に示されている。 尚、編集記号の認識そのものはオンライン手書き文字認識と同じ技術によって実現できる。

【００１２】

【発明が解決しようとする課題】上述した従来例では、
各種下線、各種網掛け、文字サイズ変更等のように、編集操作の種類が増えてくると、それぞれに対応するジェスチャー記号を覚えきれなくなり、また、実行可能な編集操作が一覧表示されないので、どのような編集操作ができるのかが使用者にわからないといった操作上の問題があった。

【００１３】本発明は上記事情に鑑みてなされたもので、対象範囲指定後、一定時間以上ペンからの入力がないか、あるいは、間違ったジェスチャー記号を書いたときに。 ペン先位置近傍に編集メニューをポップアップ表示することで、ジェスチャー記号を忘れた場合であっても容易に編集操作を可能とし、優れた操作性を保持しつつ、上述した問題を解消した一体型入力表示装置を持つ情報処理装置を提供することを目的とする。

【００１４】

【課題を解決するための手段】本発明は、一体型入力表示装置を持ち、入力手段によってインプットされた編集記号を認識して文字列編集操作を行う文書作成編集装置であって、編集対象となる範囲を指定した後、一定時間以上、入力手段からのインプットがないこと、もしくは入力手段によって間違った編集記号をインプットしたことを検出して、編集メニューをポップアップ表示することを特徴とする。 このような機能を実現するために本発明は、表示装置に文書を表示する文書表示手段と、座標入力装置からの入力情報に基づいて文書の一部分を領域として指定する手段と、上記座標入力装置から入力された座標データ列を指定領域に対する操作命令を指示するジェスチャーとして認識するジャスチャー認識手段と、
編集対象となる領域指定終了後に一定時間以上座標入力装置から有効な座標データの入力がないこと、もしくは、ジェスチャー認識手段にて、入力された座標データ列に対応する操作命令が存在しないと判断された場合に、その入力された座標データに応じた表示装置上の位置近傍に、指定領域に対する操作命令を選択するためのメニューを表示するメニュー表示手段を具備すること特徴とする。 また、指定領域に対する操作命令を選択するためのメニューに、各操作命令に対応するジェスチャー記号がガイドとして併記されていることも特徴とする。

【００１５】

【作用】本発明は、入力手段によってインプットされた編集記号を認識して文字列編集操作を行なう文字作成編集装置であって、編集コマンドが多くなるにつれてそれに対応するジェスチャーを全て覚えるのが困難であることに鑑み、範囲指定操作終了後、タイマにより、ペンがタブレット面から離れてタブレットからの座標データが無い状態が一定時間継続したことを検出し、指定範囲の終点の近くに編集機能選択メニューをポップアップ表示する。 また、範囲指定操作終了後にタイマによって座標データ入力が無い状態が一定時間継続したことが検出される以前に文書作成編集領域に書き込まれたジェスチャー記号を認識する。 ここで認識した結果、書き込まれたジェスチャー記号に対応する文字列操作命令が存在しないことが検出された場合、リジェクトされたジェスチャーが書き込まれた位置の近くに編集機能選択メニューをポップアップ表示する。 編集機能選択メニュー中の各機能メニューには、各機能に対応するジェスチャー記号がガイドとして併記されている。

【００１６】これにより、範囲指定終了後、ペンを上げて一定時間が経過すれば、編集機能の一覧を見て選択できる編集機能選択メニューがポップアップ表示され、また、正しいジェスチャー記号を忘れて間違ったジェスチャー記号を書き込んだ場合にも、編集機能の一覧を見て選択できる編集機能選択メニューがポップアップ表示されるので、ジェスチャー記号を忘れた場合にも編集操作が容易に実行できる。 通常はメニュー表示されないため文書作成の邪魔にならず、操作性のより一層の向上が図れる。

【００１７】

【実施例】以下、図面を参照して本発明の実施例について説明する。

【００１８】図１は本発明の実施例を示すブロック図である。

【００１９】図に於いて、符号１はタブレットであり、
ペン３の座標を検出する座標検出装置である。 符号３はペンであり、使用者はこのペンでタブレット上の座標データを指定する。 このペン３のペン先にはスイッチ（ペン先スイッチ）を有する。 符号２はＬＣＤであり、各種のデータを表示する表示装置である。

【００２０】符号４は入力制御装置であり、タブレット１とペン３とを制御して、タブレット１上のペン座標データとペン先スイッチの状態情報を得る。 符号５は表示制御装置であり、他の装置からの指示に従って、指示された情報をＬＣＤ２に表示する。

【００２１】符号６はカーソル移動制御装置であり、入力制御装置４からの座標データとペン先スイッチデータに基づいて、文字入力用のカーソル表示の制御や範囲指定操作中の文字列反転表示の制御を行なう。

【００２２】符号７は編集機能メニュー制御装置であり、カーソル移動制御装置６による編集文字範囲指定状況に応じて機能メニューをポップアップ表示し、また、
入力制御装置４からの座標データとペン先スイッチデータ、座標データに従って機能メニュー選択操作の制御を行なう。

【００２３】符号８は編集動作実行装置であり、カーソル移動制御装置６によって指定された文字列範囲に対して、編集機能メニュー制御装置７によって選択された編集機能を実行する。

【００２４】符号９は主制御装置であり、装置全体を制御する。 符号１０は記憶装置であり、作成中の文書データ、表示パターンデータ、フラグ、ワークデータ等の各種のデータを記憶する書き替え可能な記憶装置である。

【００２５】符号１１は手書き文字認識装置であり、手書き入力された文字パターンと認識辞書１２に格納された辞書パターンとの間でパターンマッチング操作を行うことによって入力された手書き文字を認識する。

【００２６】符号１２は手書き文字認識辞書であり、文字認識の際のパターンマッチングのための標準辞書パターンが格納されている読み出し専用の記憶装置である。
符号１３はジェスチャー認識装置であり、手書き入力されたジェスチャー記号とジェスチャー認識辞書１４に格納された辞書パターンとの間でパターンマッチング操作を行なうことによって入力されたジェスチャー記号を認識する。

【００２７】符号１４はジェスチャー認識辞書であり、
ジェスチャー記号認識の際のパターンマッチングのための標準辞書パターンが格納されている読み出し専用の記憶装置である。

【００２８】符号１５は時間経過検出装置であり、いわゆるタイマである。 このタイマ１５は、範囲指定操作終了後、ペン３がタブレット面から離れてタブレットからの座標データ入力が無い状態が一定時間継続したことを検出する時間経過検出のための手段である。

【００２９】図２〜図９、図１０〜図１６はそれぞれ本発明の実施例の動作を説明するためのもので、図２〜図９はそれぞれ動作フローチャート、図１０〜図１６はそれぞれ文字作成編集装置の画面構成を示す図である。
尚、フローチャートに於いて、（ ）内の数字は処理ステップの参照番号を示す。

【００３０】以下、図２〜図９に示すフローチャート、
ならびに図１０〜図１６に示す画面構成を参照しながら、図１に示す本発明の実施例の動作について説明する。

【００３１】まず、システムが起動されると、従来と同様に、図１９のような初期画面が表示される（ステップ１）。

【００３２】入力制御装置４は、タブレット１上のペン先の位置とペン先のスイッチ状態を読み込む（ステップ２）。

【００３３】図１９に示す文書作成編集領域ａにペン先があるときにペン先スイッチがＯＦＦ状態からＯＮ状態になると、ペン先位置に文字入力用カーソルが移動する（ステップ２９，３０。図１０）。

【００３４】文字入力領域ｂにペンで手書き文字が書き込まれると、その文字が認識されて文書作成編集領域ａ
の文字入力用カーソルの位置に入力される（ステップ６
６。 図１１）。

【００３５】ペン３を入力された文字の上に持っていってペン先スイッチをＯＦＦからＯＮにすると、上述したようにその文字の上にカーソルが移動する。

【００３６】スイッチＯＮのままペンを移動させて別の文字の上にもってくると文字入力用のカーソルは消えて、そのカーソル位置を始点とし、ペン先位置を終点とする範囲が編集対象範囲となって反転表示される（ステップ３７〜４３。図２０）。

【００３７】上述したように、範囲指定を行なっているときにペン先スイッチをＯＦＦにすると、そのときに反転表示されている文字列が編集範囲として確定する（ステップ３１〜３５）。

【００３８】指定範囲確定後、ペン先がタブレット面から離れて座標検出が不可能になると、タイムアウトのカウントが始まる（ステップ４５〜４７）。

【００３９】カウンタ１５が一定値（Ｎ）を越えるまでにペン先が文書作成編集領域ａにあるときに、ペン先スイッチが“ＯＦＦ”から“ＯＮ”になるとジャスチャー認識が開始される（ステップ５１〜５３）。

【００４０】ジェスチャー認識が開始されると、ペン先の軌跡が筆跡として表示装置上に表示される。 その座標が図示しないジェスチャー認識データバッファに保存される（ステップ５４，５５）。

【００４１】ペン先スイッチがＯＮからＯＦＦになると、それまでに書き込まれたジャスチャー記号が認識される（ステップ５６，５９）。 このとき、ジェスチャー記号の筆跡は消去される。

【００４２】このようにして実行可能な編集操作のジェスチャー記号が認識されることにより、従来と同様にジェスチャー記号による編集操作が実行される（ステップ６１〜６３。図２１）。

【００４３】ジェスチャー記号の書き込みが始まるカウンタが一定値（Ｎ）を越えると、指定範囲の終点位置に応じた次のような位置に編集機能選択用のポップアップメニューがポップアップ表示される。

【００４４】ポップアップメニューの表示位置＝指定範囲の終点の次の行を表示開始行とし、ポップアップメニューの横方向の中心位置が指定範囲の終点の桁位置と一致するような位置（図１２）。 但し、この表示で、ポップアップメニューが表示画面の左（または右）にはみ出す場合には、ポップアップメニューの左端（または右端）が表示画面の右端）と一致するような桁位置をポップアップメニューの表示位置とする（ステップ４８，４
９。 図１３）。 尚、ポップアップメニューの各メニューには、以後のジャスチャー記号入力のガイドになるように正しいジャスチャー記号の書き方が付記されている（図１３〜図１４）。

【００４５】上述のようにして範囲が指定されポップアップメニューが表示されているときにポップアップメニューの〈次機能〉キーをペンで押すと、ポップアップメニューのパターンが図１４のようにメニュー番号２のメニューに変化する。 再度〈次機能〉キーを押すと図１２
のメニュー番号１のメニューに戻る（ステップ１１〜１
５）。

【００４６】上述したように範囲が指定されポップアップメニューが表示されているときにポップアップメニューの〈取消〉キーをペンで押すと、ポップアップメニューは消去されて範囲指定は解除され、文字入力用カーソルがもとの位置に表示される（ステップ１６〜２１）。

【００４７】同様にポップアップメニューが表示されているときに文書作成編集領域ａのうちポップアップメニュー表示領域以外の場所にペンがあるときにペン先スイッチがＯＮになると、ポップアップメニューは消去されて範囲指定は解除され、文字入力用カーソルがペンの位置に表示される（ステップ２２〜２７）。

【００４８】上述したようにして範囲が指定されポップアップメニューが表示されているときに、ポップアップメニューの中の機能選択メニューのどれかがペンで押されると、ポップアップメニューは消去されて、そのときに指定されている文字列範囲に対して選択した編集機能の処理が実行される（ステップ１０，３〜８）。

【００４９】一方、上記のようにジェスチャー認識が行われた際に、図１６のような誤ったジェスチャー記号が書き込まれたと判定されたときは、そのジェスチャー記号が書き込まれた位置に応じた次のような位置に編集機能選択用のポップアップメニューがポップアップ表示される。

【００５０】ポップアップメニューの表示位置＝ジェスチャー記号の終点がある行を表示開始行とし、ポップアップメニューの横方向の中心位置がジェスチャー記号の終点がある桁位置と一致するような位置（図１６）。 この表示で、ポップアップメニューが表示画面の左（または右）にはみ出す場合には、ポップアップメニューの左端（または右端）が表示画面の左端（または右端）と一致するような桁位置をポップアップメニューの表示位置とする（ステップ６４，６５。図１３）。

【００５１】上述したように、ジェスチャー記号認識のリジェクトによってポップアップメニューが表示された後の動作は上記の場合と同様である。

【００５２】尚、本発明は、一体型入力表示装置をもつ文書作成編集装置、具体的には、ペン入力ワードプロセッサや、ペン入力パーソナルコンピュータ、ペン入力端末等の各種の文書作成編集アプリケーションに応用できる。

【００５３】

【発明の効果】以上説明のように本発明によれば以下に列挙する効果が得られる。

【００５４】（１）範囲指定終了後、ペンを上げて一定時間が経過すれば、編集機能の一覧を見て選択できる編集機能選択メニューがポップアップ表示されるので、編集機能の種類が多いために、ジエスチャー記号を忘れてしまうような編集機能も容易に選択できる。

【００５５】（２）正しいジェスチャー記号を忘れて間違ったジェスチャー記号を書き込んだ場合には、編集機能の一覧を見て選択できる編集機能選択メニューがポップアップ表示されるので、編集機能の種類が多いため、
ジェスチャー記号を忘れてしまったような編集機能も容易に選択できる。

【００５６】（３）範囲指定終了後、ペンを上げて一定時間が経過するか、間違ったジェスチャー記号を書き込んだとき以外には編集機能選択メニューはポップアップ表示されないので、操作の邪魔にならない。

【００５７】（４）編集機能メニューは指定範囲の終点の近くか、間違ったジェスチャー記号を書き込んだ位置の近くにポップアップ表示されるので、固定位置にメニューが表示される場合に比べてメニューの選択操作におけるペンの移動量が減少し、操作性が向上する。

【００５８】（５）編集機能メニューにはジェスチャー記号がガイドとして併記されているので、正しいジェスチャー記号を覚える手助けとなる。

【図面の簡単な説明】

【図１】本発明の実施例の構成を示すブロック図。

【図２】上記実施例の動作を示すフローチャート。

【図３】上記実施例の動作を示すフローチャート。

【図４】上記実施例の動作を示すフローチャート。

【図５】上記実施例の動作を示すフローチャート。

【図６】上記実施例の動作を示すフローチャート。

【図７】上記実施例の動作を示すフローチャート。

【図８】上記実施例の動作を示すフローチャート。

【図９】上記実施例の動作を示すフローチャート。

【図１０】上記実施例の動作を画面上で示す図。

【図１１】上記実施例の動作を画面上で示す図。

【図１２】上記実施例の動作を画面上で示す図。

【図１３】上記実施例の動作を画面上で示す図。

【図１４】上記実施例の動作を画面上で示す図。

【図１５】上記実施例の動作を画面上で示す図。

【図１６】上記実施例の動作を画面上で示す図。

【図１７】一体型入力表示装置を持つ情報処理装置の構成例を示す図。

【図１８】ペン先スイッチの構造を示す図。

【図１９】従来例による文書作成装置の画面構成を示す図。

【図２０】ペンによる編集対象文字列の範囲指定を時系列的に示す図。

【図２１】ジェスチャー認識による編集操作を概念的に示す図。

【符号の説明】

１…タブレット、２…ＬＣＤ、３…ペン、４…入力制御装置、５…表示制御装置、６…カーソル移動制御装置、
７…編集機能メニュー制御装置、８…編集動作実行装置、９…主制御装置、１０…記憶装置、１１…手書き文字認識装置、１２…手書き文字認識辞書、１３…ジェスチャー認識装置、１４…ジェスチャー認識辞書、１５…
時間経過検出装置。