权利要求

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、データプロセッシングシステム、ワードプロセッシングシステム、及び通信システムに関し、より詳細にはテキスト情報を圧縮するための方法に関する。 このような関係においては、テキスト情報は、記号又は文字の定められた組、又はアルフアベットから選択された記号又は文字の構造化された順序で表わされる任意の情報として定義される。 テキスト情報の一般的な例は、例えば、英語、ドイツ語又はフランス語で書かれた手紙、レポート、及び原稿、業務記録及び会計記録、科学的データ、並びに図形記号の配列から成る図形表示などの書類を含む。

【０００２】

【従来の技術】データ処理システム及び通信システムにおいては、限りなく増える情報の量を記録し、処理し、
通信するという問題が繰返し生じてくる。 斯かるシステムの情報取扱い要求は、ひかえ目に見ても急激に増加し、且つ使用できるメモリとデータリンクの容量が増えるよりも更に急激に増えていく。 更に、特定システムに配設できる或いは付加できる記憶又は通信の能力には物理的又は経済的な制限が課せられることが多い。 その結果、よく多くの量の情報をシステムに取扱わせるために、記憶又はデータリンク容量を増やすという方法ではない他の方法が開発されてきた。 斯かる方法の１つは、
データ圧縮と呼ばれる。 これは、システムのユーザによってシステムに通信される情報が、このシステムによってよりコンパクトな或いは縮小した形に変換され記憶又は伝送に供されるという方法である。 この情報は、その小さくなった形から変換、即ち再生（decompression）
されて元の形に戻り、 ユーザに通信される。

【０００３】システムとこのシステムのユーザ間で通信される情報の形としての言語は、かなりの度合の冗長度を含んでいるのが一般的である。 即ち、情報が表現される形としての言語は、実際の情報を完全に且つ正確に表現するのに要するよりも多くの情報を含んでいる。 ワードプロセッシングにおける一般的な例としては、情報、
即ちテキストが、ユーザとシステムの間で、ピリオド、
コンマ、スペース、タブ及行帰線等の句読点及び書式文字を含む英文言語の形として通信されるものが挙げられる。 テキスト圧縮は斯かる冗長のために可能であり、基本的には、テキストのユーザ言語の形から冗長な情報を削除することにより、ユーザ言語テキストをよりコンパクトな形に変換する。

【０００４】従来のテキスト圧縮方法は、分配的冗長度、即ち、特定の文字、文字の組合わせ、及び特定のユーザ言語におけるワードの使用もしくは発生頻度における非直線性に基づいていた。 例えば、英語の言語の場合、文字「ｅ」及び「スペース」は、「ｙ」又は「ｚ」
よりも頻繁に発生し、特定の文字の対、又は合字、例えば、「ｔｈ」及び「ｅｓ」、並びに特定のワード、例えば、「ｔｈｅ」、「ｏｆ」、及び「ａｎｄ」は頻繁に発生する。

【０００５】従来の技術は、可変長のコードワード、又は文字を指定し、特定の言語において頻繁に現れれる文字、文字の組合せ及びワードを表すことにより圧縮を達成するのにこの分配的冗長度を用いていた。 即ち、最も頻繁に現れる文字、文字の組合せ及びワードは、割当てられた短いコード文字である。 共通性の少ない文字の組合せ及びワードは、発生頻度に応じて、割当てられた長いコード文字となり、或いはより頻繁に発生する文字、
文字の組合せ及びワードのシーケンスとして「完全綴り」にされる。

【０００６】データ処理システム、ワードプロセッシングシステム及び通信システムにおけるテキストの実際の圧縮及び再生は、頻繁に発生する文字、文字の組合せ及びワードを対応する割当てられたコード文字に関係づける「ルックアップテーブル」を用いて実施されるのが一般的である。 圧縮テーブル及び再生テーブルは、実際の圧縮動作再生動作から別々に発生され、これらのテーブルは、一般的に、ユーザ言語における非常に大量のテキストの十分に詳細な言語学的分析を必要とする。 ここで銘記すべきことは、ある特定の言語におけるあり得るワード及び文字の各々に対してコード文字を割当てることは可能ではあるが、その結果生じるコード文字及びテーブルは、テキスト圧縮によって節約されるであろうメモリスペースよりも多くのメモリスペースを必要とする大きなものになることである。

【０００７】テキスト圧縮の分配的冗長度方法は、オリジナルテキストが形成されている形としての個々の言語の言語学的特徴に依存するところが大である。 特に、より大きな言語ユニット、例えば、文字の組合せ及びワードに関して依存するところが大である。 例えば、英語、
ドイツ語、フランス語、ロシア語、イタリア語及びスカンジナビア語は全て、はっきりと異なった言語学的特徴を有しており、異なった分析方法を必要としており、従って、非常に異なった圧縮テーブル及び再生テーブルができる。 従って、従来の圧縮技術は、圧縮テーブル再生テーブルを発生するために、独立のユーザ言語の各々における非常に大量のテキストの詳細な言語学的分析を必要としたのである。

【０００８】

【発明が解決しようとする課題】分配的冗長度方法の言語学的依存性、特に大きな言語学的ユニットに関しての依存性の故に、広い範囲の言語にわたって分配的冗長度を分析するための完全に一般的な目的方法を開発することは困難である。 更に、且つ同じ理由でもって、ある特定の言語に対する圧縮テーブル再生テーブルは、動作の対象となるテキストの特定の「通用語」に依存することがある。 例えば、業務テキスト、科学テキスト及び文献テキストに対する言語学的特徴は十分に異なるため、それぞれの用途に対する独立したテーブルを必要とする。

【０００９】更に、斯かる方法は、異なった寸法の言語的ユニット及びコードワードを使用しているため、圧縮／再生は比較的精巧なプログラムを必要とし、複雑な分解能力と処理能力及び時間並びにプログラムメモリスペースが相応して増加する。 同じ理由により、圧縮動作及び再生動作は対称的とはなり得ない。 即ち、別々のテーブルを必要とし、且つ異なるルーチンの実施を必要とするため、これも処理及びメモリの要求が増加する。 最後に、同じ理由で、斯かる方法は、テキストが一連の小さな「バッチ」動作として処理されなければならない時の、即ちこれらのバッチ処理される大きさが言語的ユニット及びコードワードの大きさによって決定される時の、連続的なインラインテキスト処理又は通信には好ましくない。

【００１０】本発明の目的は、テキスト情報を圧縮する方法を提供することである。

【００１１】更なる目的は、広範囲な言語に用いるのに適するテキスト情報に圧縮することである。

【００１２】更なる目的は、言語の言語学的特徴に比較的依存しないテキスト情報に圧縮することである。

【００１３】更に他の目的は、改良された速度でテキスト情報を圧縮することである。

【００１４】

【課題を解決するための手段】前記の目的を達成するために、情報処理システムにおいて、テキスト情報を圧縮するための方法は、各文字及びテキストの関連する文脈を連続して読み取るステップ、各前記テキスト文字及び関連する文脈に対して対応するコード文字を選択するステップ、及び圧縮された形の前記テキスト文字を構成するように前記コード文字を提供するステップを備える。

【００１５】本発明に係るテキスト圧縮／再生方法は、
文脈（context）冗長度、即ち、個々の文字（characte
r）がテキストの中に存在している文脈の非均一的分布、或いは、同義的には、与えられたセットの文脈における文字の発生の非均一的分布に基づいて動作する。 本明細書に定義される文脈は、１つのテキストを構成する個々の文字に先行又は後続する均一に寸法化された群の文字を含んでいる。

【００１６】

【作用】本明細書に記載される方法は、抽象的なグループ分け及びテキスト文字間の相関関係でもって動作するのであり、言語学的分析のいかなる形にも或いは言語学的特徴のいかなる形にも、更にいかなる言語の要素にも基づくものではない。 従って、本方法は、一般的であり、いかなる言語にも、或いはある言語のいかなる「通用語」にも等しく適用できる。

【００１７】本方法及び装置は、均一に寸法化されたテキストの群及びコード文字の群でもって動作し、従って複雑性が小さくなり且つ他の方法よりも必要とする処理時間及び能力が小さくなり、従って高速で実施される。
本方法は、実施において対称的（symmetric）であり、
唯一つの組み合わされた圧縮／再生テーブルを必要とし、オンライン連続プロセスに好適である。

【００１８】コードとテキスト文字間の相関関係を定める情報の一部は文脈、即ち、テキスト自体に、その圧縮された形と及び圧縮されていない形の両方でもって存在している。 これにより、圧縮されたテキストを一義的に表わすため、必要とする独特なコード文字は少なくて済み、従ってコード文字は短くて済む。 結果として生じる圧縮されたテキストは、これにより、より少ないビットの情報で表わすことができる。

【００１９】

【実施例】次の記述により、データ処理ワードプロセッシング及び通信オペレーションを実施し且つ本発明を組込む能力を有するコンピュータシステムのハードウエア及びソフトウエアの一般的な構造及びオペレーションを、先ず簡単に説明する。 斯かるシステムの構造及びオペレーションは、当業者にとっては、本明細書に説明されているように、良く理解されるであろう。 更に、斯かるシステムの構造及びオペレーションの詳細については、本明細書にも引例として挙げられている米国特許出願第４４０，６６８号に与えられている。 一応の脈絡、
即ち、本発明に係る方法を実行するための装置を説明したので、本発明に係る文脈冗長度テキスト圧縮方法を次に詳細に説明することにする。

【００２０】説明は以下の順におこなう。

【００２１】１． コンピュータシステムの構造及びオペレーション Ａ． ハードウエアー構造及びオペレーション ａ． ＡＬＵ及びバス ｂ． 内部制御論理 ｃ． メモリ ｄ． Ｉ／Ｏデバイス Ｂ． ソフトウエア構造及びオペレーション ２． 文脈冗長度テキスト圧縮及び再生１． コンピュータシステムの構造及びオペレーション図１について説明する。 この図には、本発明に従うコンピュータシステムの斜視図が示されている。 システム１
０は、表示装置１２、キーボード１４及び中央処理装置（ＣＰＵ）１６を含んでいる。 表示装置１２及びキーボード１４は、情報、例えば、テキストが本システムとユーザとの間で通信される時に用いられる主な手段である。 図示されないケーブルで表示装置１２及びキーボード１４に接続されているＣＰＵ１６は、プログラム及びデータを記憶するためのメモリ及び多目的演算装置（Ａ
ＬＵ）を含んでいる。 ＣＰＵ１６は、更に、プログラム及びデータを記憶するためのディスクドライブ並びに周辺デバイス、例えばプリンタ、ディスクドライブ及び通信デバイスに至るインターフェースを含んでいる。 システム１０は、例えば、マサチューセッツ州ローウェルのウォング・ラボラトリーズ・インコーポレーテッド（Wa
ng Laboratories, Inc.）製市販の「プロフェッショナルコンピュータ」から成り得る。

【００２２】 Ａ． ハードウエア構造及びオペレーション ａ． ＡＬＵ及びバス図２及び第３図について説明する。 この図には、システム１０のブロック図が示されている。 システム１０のＣ
ＰＵ１６中のＡＬＵは、メインプロセッサ（以下メインＰと称す）１８及びコプロセッサ（以下ＣＯ−Ｐと称す）２０から成る。 メインＰ１８及びＣＯ−Ｐ２０は、
例えば、それぞれ、１６ビットＩｎｔｅｌ８０８６ Ａ
ＬＵ及びＩｎｔｅｌ ８０８７数値プロセッサ拡張部であり得る。 メインＰ１８及びＣＯ−Ｐ２０は、ＣＰＵ１
６に対するアドレス指定、メモリ参照、及び入力／出力（Ｉ／Ｏ）オペレーションを含む全ての演算及び論理オペレーションを行う。

【００２３】メインＰ１８及びＣＯ−Ｐ２０は、局所的（Local）バス２２と連通し且つアドレスバス２４、データバス２６及び制御バス２８を通してＣＰＵ１６の残りの部分、表示装置１２、キーボード１４及び全ての周辺デバイスと連通している。 メインＰ１８とＣＯーＰ２
０並びにバス２４、２６及び２８間のインターフェイスは、アドレスラッチ３０、データトランシーバ３２及びバス制御３４を通して行なわれる。

【００２４】 ｂ． 内部制御論理次に、ＣＰＵ１６の内部制御論理について説明する。 メインＰ１８及びＣＯーＰ２０に関連しているのは、システムクロック３６と待ち状態ロジック（Wait State Log
ic）３８である。 システムクロック３６は、ＣＰＵ１６
に対する全てのクロックタイミング信号のソースである。 待ち状態ロジック３８は、基本的に、ＣＰＵ１６の動作を監視し、且つＣＰＵ１６の動作におけるコンフリクトを防止するために、制御バス２８を通してシステムクロック３６と及びＣＰＵ１６の他のエレメントに制御信号を発生する。

【００２５】ＣＰＵ１６の他の制御エレメントは、カウンタ及びタイマチップ（ＣＴＣ）４０及びプログラマブル割込みチップ（ＰＩＣ）４２を含む。 ＣＴＣ４０は、
例えば、Ｉｎｔｅｌ ８２５３であり、且つＰＩＣはＩ
ｎｔｅｌ ８２５５Ａであり得る。 直ぐに処理されなければならない、即ち、後の動作のためにマスクすることができない割込み状態を処理するために、マスク不能割込みロジック４４がＰＩＣ４２と関連して動作する。 斯かる割込み状態は、パリティ及びＩ／Ｏエラーを含んでいる。

【００２６】ＣＰＵ１６は、システム１０の周辺デバイスと、以下に示す例えばＣＰＵ１６のメモリとの間でマップされたメモリリファレンス及び直接メモリアクセス（ＤＭＡ）オペレーションの両方を実施する能力を有する。 ＤＭＡオペレーションは、ＤＭＡバス獲得ロジック（論理）４６及びＤＭＡ制御（ＤＭＡ）４８によって制御される。 ＤＭＡ獲得論理４６は、特にメモリ及びバスオペレーションにおいて、システム１０のオペレーションを監視し、ＤＭＡオペレーションが実施される時にＤ
ＭＡ許可信号を制御バス２８に発生する。 ＤＭＡ４８
は、例えば、周辺デバイスからのＤＭＡオペレーション要求を検出し、斯かる要求の存在をＤＭＡバス獲得４６
に通知し、ＤＭＡバス獲得論理４６がＣＰＵ１６のバスに対するアクセスを許可した時にＤＭＡオペレーションを制御する。

【００２７】 ｃ． メモリ ＣＰＵ１６の主内部メモリは、１２８ＫＢランダムアクセスメモリ（ＲＡＭ）５０であり、これは、オペレーティングシステムと動作の対象となる応用プログラム及びデータ、例えばテキストを記憶するのに用いられる。 オペレーティングシステムプログラムは、例えば、マイクロソフト社（Micro Soft Corporation）市販のマイクロソフトディスクオペレーティングシステム（登録商標Ｍ
ＳＤＯＳ）から成り、且つベーシック入力及び出力システム（ＢＩＯＳ）を含み得る。

【００２８】ＭＳＤＯＳは基本的には、システム１０のエグゼクチブ（管理的）内部オペレーションを制御するのに対し、ＢＩＯＳは、システム１０、表示装置１２とキーボード１４並びに広範囲の周辺デバイス間のインターフェースを制御するプログラムを含む。

【００２９】必要に応じて、１２８ＫＢＲＡＭ５０の容量は、５１２ＫＢＲＡＭ５２を付加することにより増加することができる。 ５１２ＫＢＲＡＭ５２は、アドレスバス２４、データバス２６及び制御バス２８から１２８
ＫＢＲＡＭ５０に並列に接続されており、１２８ＫＢＲ
ＡＭ５０と平行に且つその一部として効果的に動作する。

【００３０】消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ） ５４は、上に述べられたオペレーティングシステム及び応用プログラムをディスクドライブ５
６のディスケットから１２８ＫＢＲＡＭ５０及び５１２
ＫＢＲＡＭ５２にロードするのに用いられるプログラムを記憶し且つ供給する。

【００３１】図２に示すように、ディスクドライブ５６
は、アドレスバス２４、データバス２６及び制御バス２
８から接続され、フロッピー制御器５８によって制御される。 オペレーティングシステム及び応用プログラムを記憶し且つ供給することに加えて、ディスクドライブ５
６は、１２８ＫＢＲＡＭ５０及び５１２ＫＢＲＡＭ５２
を増加する付加的なメモリ容量として用いられ且つデータ、例えば、動作の対象となっているテキストを記憶し且つロードするのに用いられる。 この点に関して述べると、ディスクドライブ５６は、例えば、テキスト又はデータディスケット上で１つのシステムから別のシステムに転送するＩ／Ｏデバイスとして用いられる。

【００３２】ディスクドライブ５６の容量は、ディスクドライブ５６及びＲＡＭ５０及び５２と平行にアドレスバス２８、アドレスバス３０及び制御バス３２から接続されるウインチェスタハードディスクドライブ６０及びディスク制御器６２を付加することにより増加される。
ハードディスクドライブ５６は、動作の対象となるプログラム及びデータを記憶するためのＲＡＭ５０及び５２
に至る延長として用いられる。

【００３３】 ｄ． Ｉ／Ｏデバイス前に述べたように、表示装置１２及びキーボード１４
は、システム１０とユーザ間の通信のための主なＩ／Ｏ
手段である。 表示装置１２は、モニタ制御器１３を通してアドレスバス２８、データバス３０及び制御バス３２
に接続される従来のＣＲＴ表示装置である。 モニタ制御器１３は、例えば、日本電気のＵＰＤ７２２０型グラフィックデータ制御装置であり得る。 キーボード１４は、
ユニバーサル非同期レシーバ／トランスミッタ（ＵＡＲ
Ｔ）１５を通じてキーボード１４とシステムバス２８、
３０及び３２との間のキーボード動作及びデータ／制御通信を制御するための内部マイクロプロセッサ、例えば、ザイログ社Ｚ８０を有する従来のキーボードである。

【００３４】他のＩ／Ｏデバイスはプリンタ６４及び６
６を含む。 プリンタ６４は、例えば、従来のデージホイール型プリンタ或いはドットマトリックス型プリンタでよい。 プリンタ６６は、例えば、ロードアイランド州のイーストグリーニッチのガルトン工業社（Gulton Indus
tries,Inc.）市販のマイクロプロット（Microplot）８
０のようなグラフィック印刷用サーモグラフイックプリンタでよい。

【００３５】更に、システム１０と他のシステム又はデバイス間の通信は、通信制御装置（ＴＣ）６８を通して行われる。 ＴＣ６８は、システムバス２８、３０及び３
２と通信変復調装置又は外部デバイス、例えば、メモリや表示装置との間の通信用の、例えばザイログ社のＺ８
０型マイクロプロセッサ及びシリアルＩ／Ｏチップを組込んでいるマイクロプロセッサ制御されたインターフェースデバイスである。

【００３６】ここで銘記すべきことは、上記のシステム１０は、例示的であり、以下に更に述べるテキスト圧縮方法は、例えば、広範囲にわたるシステムアーキテクチヤについて実施されることである。 この方法は、例えば、ザイログ社のＺ８０、モトローラ社のＭＣ６８００
０、インテルの８０８０、８０８６又は８０１８６、又はナショナルセミコンダクタ社のＮＳ１６０００マイクロプロセッサに基づくプロセッサ、又はミニコンピユータ又はメインフレームコンピユータ、又はワードプロセッサ又は通信プロセッサについても実施される。

【００３７】上記のようなシステム１０のハードウエアの構造及びオペレーションについて説明したため、システム１０のソフトウエア構造及びオペレーションについて述べることにする。

【００３８】 Ｂ． ソフトウエア構造及びオペレーション図４について説明する。 この図には、システム１０のソフトウエア構造の図が示されている。 ここに示すように、システムのソフトウエア構造は、システムハードウエアによってユーザの動作を特定の詳細なオペレーションに変換するための多層構造である。 このソフトウエア構造は、上層のユーザとインターフェースし且つ下層のシステムハードウエアエレメントとインターフェースするためのエレメントを含む。 中間層は基本的には、ユーザ命令及び要求をハードウエアのオペレーションを指示する命令に変換する。

【００３９】ユーザインターフェースレベルから始まって、ルーチン７０、７２、７４及び７６はシステムの応用プログラムを含み、システムによって実行される特定の応用オペレーション、例えば、テキスト又はグラフイック編集或いはデータ処理を決定し、命令する。

【００４０】ユーザインターフェースルーチン７０は、
例えば、表示装置１２、キーボード１４及びシステムディスク及びプリンタによってユーザと対話するための全てのルーチンを含む。 ユーザインターフェースルーチン７０はユーザに向けられたものであるが、応用機能インターフェース７２は、ユーザインターフェースルーチン７０によって行われるユーザ動作オペレーションと、例えばテキスト編集のような実際の応用オペレーションを行うソフトウエアとの間をインターフェースする。 基本的には、応用機能インターフェースルーチン７２は、ユーザインターフェースオペレーションの結果を、ユーザによって規定される応用オペレーションを指図するための命令及びコマンドに変換する。

【００４１】応用ルーチン７４及び７６は、実際の応用プログラム、即ち、システムが例えば、テキスト又はグラフイック編集オペレーション又はデータ処理オペレーションを実行するように指示するプログラムである。 応用ルーチン７４及び７６は、応用機能インターフェースルーチン７２から、ユーザによって要求されているオペレーションに関する指示を受け、オペレーティングシステム７８に、要求されているオペレーションを実施するために行われなければならないシステムオペレーションについての指示を与える。

【００４２】前に述べたように、オペレーティングシステム７８は、ＭＳＤＯＳから成り、システムのエグゼクチブ（管理）制御に必要な全てのルーチンを含んでいる。 オペレーティングシステム７８は、前に説明したように、ＢＩＯＳから成るハードウエアインターフェースシステム８０とインターフェースする。 基本的には、オペレーティングシステム７８は、ユーザによって要求されているオペレーションを実施するために、どの詳細なオペレーションがシステムによって実行されなければならないかを決定し、対応する命令をハードウエアインターフェースシステム８０に供給する。 ハードウエアインターフェースシステム８０は、システム１０のハードウエア構造を含む前に説明した種々のエレメントに詳細なコマンドを供給することによって応答を行なう。

【００４３】前に説明したように、テキスト圧縮によって、テキスト情報をシステム、例えば、メモリ又はディスク上に記憶せしめ、或いはよりコンパクトな形でもってシステム或いはデバイス間に通信せしめる。 例えば、
上記のシステムの場合、ユーザによってキーボードを通して入力される、或いはディスクから又は通信リンクを通してロードされるテキストは、圧縮されてＲＡＭに或いはディスク上に記憶することができ、或いは通信リンクを通して送信できる。 テキストは、次に、再生（deco
mpress）されて、例えば、表示装置を通して、或いはプリンタ上にユーザに対して表示することができる。 基本的には、テキスト圧縮及び再生は、テキスト情報が、システムエレメントと、かなりの度合の冗長度を含む言語、例えば、英語を用いているソース又は受け取り側との間で通信される時はいつでも実行される。

【００４４】従って、以下に説明するテキスト圧縮方法は、図４の応用ルーチン７４、７６レベルに相当する応用プログラムレベルにおいて上記で述べられた斯かるシステムにおいて最も実施されるであろう。 しかしながら、この方法は、例えば表示装置及びキーボードに存在する処理能力の程度に応じて、応用機能インターフェース７２レベルにおいても実行され得る。 また、この方法は、実施がシステムオペレーションの基本的特徴であった場合は、オペレーティングシステム７８又はハードウエアインターフェースシステム８０レベルにおいて実行される。 その実施に応じて、以下に述べる圧縮／再生テーブルはＲＡＭ又はＲＯＭの中に置かれる。

【００４５】以上のように、本発明に係る方法が実行される装置について述べてきたので、本発明に係る文脈冗長度テキスト圧縮（context redundancy text compress
ion）方法について以下に述べることとする。

【００４６】 ２． 文脈冗長度テキスト圧縮及び再生前に述べたように、テキスト圧縮は、圧縮されるべきテキストの言語の中の情報冗長度の発生に依存する。 上記の従来の技術は、分配的冗長度、即ち、オリジナルテキストの言語の中の特定の文字、文字の組合せ及びワードの発生頻度における非均一性に依っている。

【００４７】本発明に係るテキスト圧縮方法は、文脈冗長度、即ち、他の文字と順次結合している特定の文字、
即ち文脈の統計的に不均一の発生に基づいている。 例えば、文字「ｕ」は、文字「ｑ」に続くことが最も多く、
「ｓ」は、「ｅｓ」に続くことが最も多く、且つ「ブランク」即ち「スペース」は文字「ｅｓｔ」に続くことが最も多い。

【００４８】この方法の場合、「文脈」は、順番に特定の文字に先行、或いは続く、文字のシーケンスとして定義され、それぞれ、先行文脈又は後続文脈と呼ばれる。
文脈は、関連する文字の直ぐ隣に位置する必要はないが、次の例では、隣接した文脈が用いられている。 先行及び後続文脈は、特定の言語の文字が通常書かれているシーケンスを基準にして定義される。 例えば、英語の場合、先行文脈は特定の文字の左に現われる文字であり、
後続文脈はその文字の右に現れる文字である。 他の言語の場合、例えば、ヘブライ語或いは中国後の場合、先行文脈は特定の文字の右に或いは上に現われ、後続文脈は左又は下に現われる。 これらの例では「ｑ」は「ｕ」の左文脈であり、「ｅｓ」は「ｓ」の左文脈であり、「ｅ
ｓｔ」は「ブランク」の左文脈である。

【００４９】本明細書に説明するテキスト圧縮方法は、
先行文脈及び後続文脈の両方に対して等しい容易さでもって実施されるが、先行文脈は「オンライン」圧縮及び再生に最も好適である。 後続文脈圧縮及び再生は、「バッチ」処理、即ち、順次的でオーバーラップする文字の組に対しての記憶及び動作を必要とする。 しかしながら、後続文脈圧縮は、特定の状況又は特定の言語にとっては好都合である。

【００５０】テキストを圧縮し再生するのに用いられる文脈の「次数」は、ここでは、文脈中の文字の数として定義され、この方法の特定の実施では一定であることが好ましいであろう。 上記の例の場合、「ｑ」は、「ｕ」
の一次文脈であり、「ｅｓ」は「ｓ」の二次文脈であり、「ｅｓｔ」は「ブランク」の三次文脈である。 上記の項目を更に定義するために、ある特定の言語を、ｉ＝
１〜ｕである文字Ｘ _ｉ 、即ち、Ｘ ₁ ，Ｘ ₂・・・Ｘ _u-1 ，
Ｘ _uから成るアルファベットＡで表わすことにする。 この言語が、通常、左から右に書かれていると仮定すると、文字のシーケンスＸ _n Ｘ _n-1・・・Ｘ ₃ Ｘ ₂ Ｘ ₁ Ｘ _iがテキストに現われるとすると、文字のシーケンスＸ _n Ｘ _n-1
・・・Ｘ ₃ Ｘ ₂ Ｘ ₁はＸ _iのｎ次の先行、即ち左文脈となる。 ここで銘記すべきことは、いかなる文字Ｘ _ｉの文脈も、文字Ｘ _ｉ自体を含まないことである。

【００５１】本発明に係る方法は、いかなる次数の値ｎ
に対しても実行されるが、ここではｎ＝１及びｎ＝２の次数に対する例を下に示す。 しかしながら、次数の値は高い方が好ましいであろう。

【００５２】与えられたＸ _ｉ及び与えられた次数ｎに対して、全ての可能な独特なｎ次の先行文脈の組は、ＰＣ
_n （Ｘ _i ）として指定され、ｕ ^ｎのメンバまで含むことができる。 何となれば、独特な文字の各々に対してｕ個の可能な独特な文字Ｘ _ｉとｎ個の可能な位置とが存在するからである。 与えられた言語に対する全ての可能な独特なｎ次の先行文脈の組はＰＣ _nと指定され、ｕ ⁿ⁺¹のメンバまでを含むことができる。 何故ならば、Ｘ _ｉはｕ個の独特な文字の任意のものでありうるからである。

【００５３】本発明に係るテキスト圧縮方法は、圧縮及び再生のための「ルックアップ」テーブルの使用を必要とする。 上記から、斯かるテーブルは非常に大きいであろうと見られるが、実際は、これらのテーブルは許容できる大きさとなっている。 以下に更に述べられるように、本発明の方法及びこの方法を実施するテーブルの構造は、そのテキスト言語の言語学的特徴には依存しない。 しかしながら、言語学的特徴は、これらのテーブルの大きさに影響する。 何となれば、特定の文脈はまれであり特定の言語には現われず、従って実際にはこれらのテーブルの大きさを制限しているからである。 例えば、
「ｗｃ」は英文においては「ｓ」の先行文脈として現われるのはまれであり、従って英文言語圧縮テーブルには現われないが、例えば、ポーランド語テーブルには、現われる。 しかしながら、この圧縮方法と、これらのテーブルを生成する時に用いる手段は英語の場合もポーランド語の場合も同一である。

【００５４】本発明に係る圧縮／再生テーブルは、発見的に又は言語学的分析法によって生成される。 しかしながら、より好ましい方法の場合、これらのテーブルは、
テキストの好ましい本体、例えば、辞書、シソーラス、
原稿或いは文書の文脈分析を通じて生成される。

【００５５】テーブル生成の好ましい方法は、言語学的分析ではなく機械的である。 先ず、文脈ｎの与えられた次数に対して、テキストのサンプル体が、通常書込まれている方向に従ってシーケンスに文字毎にスキャンされ、各文字Ｘ _ｉに対して発生している各先行文脈ＰＣ _n
（Ｘ _i ）の各発生が表にされる。 この分析は、各Ｘ _ｉに対する各ＰＣ _n （Ｘ _i ）の発生の頻度のテーブルを与え、
基本的には、文脈冗長度をアルファベット中の各文字に対する文脈の対応する分配的冗長度にマップする。 このプロセスは、それらのセルに対するインデックスとしてＸ _ｉ及びＰＣ _n （Ｘ _i ）を用いる表配列を生成し、このサンプルテキストの文字Ｘ _ｉがスキャンされるとセルの内容を適当に増分することによって、簡単に達成される。

【００５６】上記のテーブルを生成すると、最終テーブルが、特定の文脈に現われる各Ｘ _ｉを、各ＰＣ _n （Ｘ _i ）
に対してソートすることによって生成される。 即ち、この最終テーブルは、各特定の文脈に対して、その文脈に現われる全ての文字を含んでいる。 これらの文字は、各文脈に対して、発生の頻度の順に従ってソートされるのが一般的である。 ここで銘記すべきことは、この最終テーブルが、連続する文脈を走査し、一度に１つづつ文字をシフトし、発生する文脈及び各斯かる文脈に現われる文字を表にすることにより、第１テーブルからの派生としてではなく、直接発生されることである。

【００５７】従って、この最終テーブルは、各文脈に対して１つの「相対的アルファベット」を定義することができ、ある特定の文脈に対する相対的なアルファベットは、発生の頻度の順に従ってその文脈に現れる全ての文字から成る。 以下に更に述べるように、この最終テーブルは、全ての可能な非圧縮テキスト文字と圧縮テキストコード文字との間の関係を定めており、そして該テーブルはテキストの圧縮と再生の両方に用いられる。

【００５８】表１について説明する。 この表には、次数ｎ＝２の先行文脈に対する最終圧縮／再生テーブルの説明的な例が示されている。 表１を生成するのに用いられているテキストのサンプル体は、一般的な事務所の通信文から成る。 表１は単に説明的な目的に意図されているため、発生する文脈の数個だけが示されており、従って各文脈に対しては、８個の最も頻繁に発生するテキストの文字だけが示されている。

【００５９】

多種の２文字文脈が表１の左の垂直のインデックスとしてリストされており、各文脈に現われるテキスト文字が対応する文脈の右の列にリストされている。 例えば、テキスト文字、即ち文脈「ｃｏ」に対して発生する相対的アルファベットは、発生の頻度の順で表わすと、

「ｎ」、「ｍ」、「ｐ」、「ｕ」、「ｖ」、「ｒ」、

「ｓ」及び「ｄ」である。 ここで銘記すべきことは、テキスト文字「−」は、１つのスペース、即ちブランクを表わすのに用いられ、「＊Ｍ」は行の終り文字を表わし、「ｎｕｌ」はゼロ頻度数のエントリを表わすことである。

【００６０】表１の上部に水平インデックスとして現われているランク数字は、各文脈に対して、各相対的アルファベットの種々のテキスト文字を表わすのに用いられるシンボル、或いはコード文字を含んでいる。 従って、
文脈「ｃｏ」のテキスト文字「ｍ」に対するコード文字は「２」である。

【００６１】圧縮／再生テーブル１を検査すると、例えば、コード文字「２」はまた、文脈「ｅｅ」、「ｔ
ｅ」、「ｓｅ」及び「ｏｒ」においてテキスト文字「ｄ」を表わし、文脈「ｔｏ」及び「ｉｏ」においてテキスト文字「ｒ」を表わすことが分る。 同様にして、コード文字「５」は、文脈「ａ 」、「ｉｏ」及び「ｌ
ｏ」においてテキスト文字「ｇ」を表わし、文脈「ｒ
ｅ」、「ｎｅ」及び「ｔｏ」においてテキスト文字「ｄ」を表わしている。 別の例の場合、コード「１１」
は、先行の文脈が「ｉｅ」である場合、「ｓｓ」を表わし、先行の文脈「ｏ 」である場合は、「ｔｈ」を表わす。

【００６２】上記のことから以下のことが明らかである。 即ち、同一のコード文字が異なるテキスト文字を表わすことであり、且つ与えられたテキスト文字が異なったコード文字によって表わされることである。 即ち、コード文字とテキスト文字との間にはそれら自体独特の１
対１の関係が存在しないことである。 あるコード文字とあるテキスト文字との間の関係は、そのコード及びテキスト文字が現われる特定の文脈に依存する。

【００６３】このことは、以下の例で更に説明される文脈冗長度圧縮の特徴を示している。 即ち、一つのコード文字は、ある特定のテキスト文字を独自に定義するのに必要な情報の全ての量をそれ自身に含む必要がないことである。 コードとテキスト文字との間の関係を定義する情報の部分は、そのテキスト自身、即ち、その文脈の中にある。 このため、圧縮されたテキストを不明瞭性なしに表わすのに必要な独特なコード文字は少なく済み、従って、コード文字は短くて済む。 従って、その結果生ずる圧縮されたテキストは、より少ないビットの情報で表わされる。 従って、テキスト自体は、テキスト情報に加えて、圧縮された形と圧縮されない形との間にわたる変換に必要な情報の一部を、圧縮された形及び圧縮されない形の両方において含んでいる。

【００６４】テキスト文字とコード文字との間の文脈依存関係の故に、先行文脈、例えば、「ｎｕｌｓ」或いは「ブランク」がテキストの最初のｎ文字に対して仮定されるか、或いは課せられる。 この「ヘッダ文脈」は、テキストの最初の文字或いは諸文字を圧縮又は再生するための既知の文脈を与えており、後続する文字はテキスト自体の文脈において圧縮或いは再生される。

【００６５】テキストの圧縮及び再生のための本発明に係る方法及びテーブルの使用を説明するために、句「ｔ
ｏｔａｌ ｓａｌｔ」がテキストの中に現われており、
「ｔｏｔａｌ」の最初の「ｔ」の先行文脈が、例えば、
（ｔｈ）ｅ の「ｅ 」であると仮定する。 この句の圧縮及びその後に続く再生は、以下に示す表２及び表３で説明されている。 表２は、圧縮プロセスを示しており表３は再生プロセスを表している。

【００６６】

このサンプルテキストを圧縮するために、 各テキスト文字及びその関連する文脈が順に読出され、 好ましい実施例においては、 このテキストが通常書き込まれた順に従って読み取られる。 この例の場合、 読み取りは左から右に行なわれる。 この例は２次文脈、即ちｎ＝２の文脈を用いているため、各文字に対する文脈は、その文字の直前に先行する２つの文字から成る。 このように、ある特定の文字の２文字先行文脈を決定すると、次にその文脈は、その文脈に対する相対的アルファベットを位置づけるための、この圧縮／再生テーブルへのインデックスとして用いられる。 この文脈と関連して読み取られる文字は、次に相対的アルファベットの中に置かれ、相当するコード文字が、この表の上部におけるランクインデックスに置かれる。 このプロセスは、この圧縮オペレーションが完了するまで、一度に一文字づつ、継続される。

【００６７】例えば、「ｔｏｔａｌ」中の最初の「ｔ」
の先行文脈は、「ｅ 」である。 「ｅ 」は、対応する相対的アルファベットをつきとめるためにこのテーブルへのインデックスとして用いられる。 その対応する相対的アルファベットは上から第２番目の相対的アルファベットとして現われている。 次のこの相対的アルファベットは、スキャンされて、これによりテキスト文字「ｔ」、即ち左から２番目のエントリを突きとめ、対応するコード文字がこのテーブルの上部から「２」として読み取られる。 次のテキスト文字は、「ｔｏｔａｌ」の「ｏ」であり、「ｏ」の文脈は「 ｔ」であり、従って、「ｏ」に対するコード文字もまた「２」となる。 ３
番目のテキスト文字は、「ｔｏｔａｌ」の２番目の「ｔ」であり、この「ｔ」の先行文脈は、「ｔｏ」であり、そのコード文字は「７」であると決定される。

【００６８】このプロセスはテキストの終わりまで継続し、この「ｔｏｔａｌ ｓａｌｔ」の圧縮された形は「２２７３５１３８２７」となる。

【００６９】同一の圧縮／再生テーブルを用いて、逆のオペレーションが実行され、これにより圧縮されたテキストを再生する。 この場合、読み取られる「テキスト」
は圧縮されたテキストであり、一度に１つづつ且つ書き込まれた順次に従って読み取られる「文字」は、その圧縮されたテキストのコード文字である。 各コード文字の先行文脈は、復元されたテキストの先行復号化文字から成り、このテキストが再生された時に決定される。 このように決定された文脈は、再びこのテーブルへのインデックスとして用いられ、これにより適当な相対的アルファベットを選択し、このコード文字は、選択された相対的アルファベット内の適当なテキスト文字を決定するためにインデックスとして用いられる。 圧縮オペレーションに用いられる既知の「ヘッダ文脈」が再び、圧縮されたテキストの最初の文字或いは諸文字を再生するのに開始文脈として用いられる。

【００７０】上記と同一の例を用いて、この再生オペレーションを説明するために、再生されるテキストが、コード文字シーケンス「２２７３５１３８２７」から成り、且つ先行する再生テキストが再び「ｅ 」であると決定されていると仮定する。 次に、この再生オペレーションが下の表３に説明されている。

先行する圧縮テキストが、シーケンス「２２７３５１３

８２７」の開始に再生されていると仮定すると、このシーケンス中の最初の「２」の先行文脈は、このテキストの前に再生された部分から「ｅ

」であると分る。 「ｅ

」は、次にこのテーブルへのインデックスとして用いられ、これにより、このシーケンスの最初の「２」の相対的アルファベットを求め、この文字に対しては、この「ｅ

」は、このテーブルの上から２番目の相対的アルファベットとなる。 このシーケンスのこの最初の「２」

は次に、このテーブルへのインデックスとして用いられ、これにより、その相対的アルファベットの対応するテキスト文字が「ｔ」であることを決定する。 次に、このシーケンス中の第２の「２」の先行文脈は、「

ｔ」

であることが知られ、このテーブルへのインデックスとして「

ｔ」及び「２」を用いると、この第２の「２」

に対応するテキスト文字は、「ｏ」と求められる。 第３

のコード文字は、現在知られている先行文脈「ｔｏ」を伴う「７」であり、そのテキスト文字は、「ｔ」であると求めることができ、以下同様となる。

【００７１】更に別の実施においては、上記の圧縮／再生は、反復的に用いることができ、即ち、圧縮されたテキストは、上記と同一の方法を用いて、それ自身が圧縮されることができる。 反復的圧縮は、前記と同じ方法による圧縮／再生テーブルの生成を必要とするが、圧縮されたテキスト資料の文脈冗長度を求め、且つ表を作成するために、それらのテキストの圧縮された形を用いる。
従って、テキストの圧縮は、２つのステップのプロセスになる。 即ち、再生プロセスもそうであるが、オリジナルテキストを圧縮する第１ステップと圧縮されたテキストを圧縮する第２ステップである。 この２つのステップ、即ち、反復的な圧縮／再生は、単一のステップのプロセスのように、「オンライン」で、即ち、連続的プロセスとして実施され得る。

【００７２】

【発明の効果】テキスト圧縮／再生の前記の方法の特定の特徴を繰り返すと、本発明に係る方法は、文脈冗長度、即ち、個々の文字が発生する文脈の非均一分布に基づいて動作する。 ここに定義されているような文脈は、
テキストを構成する個々の文字に先行又は後続する文字の均一寸法のグループを含んでいる。

【００７３】この方法に用いられる圧縮／再生テーブルは、特定の言語の言語学的特徴に影響されるが、この方法は、いかなる形の言語学的分析或いは、いかなる形の言語学的特徴或いは、いかなる言語のエレメントにも基づかない。 従って、この方法は、完全に一般的であり、
いかなる言語にも或いは、ある言語の「通用語」に対しても等しく適用可能である。

【００７４】この方法は、テキスト及びコード文字の均一寸法のグループについて動作するため、この方法は複雑性が少なく、他の方法が必要とするよりも、少ない処理時間及び能力を必要とし、従って実施速度がより速くなる。 同じ理由でもって、この方法は実施において対称的であり、唯一の圧縮／再生テーブルを必要とするだけであり、オンライン連続プロセスに対して好適である。

【００７５】コード文字とテキスト文字との間の関係を定める情報の部分は、文脈、即ちテキスト自体に、その圧縮形及び非圧縮形の両方でもって存在する。 このために、圧縮されたテキストを不明瞭性なく表わすのに必要な独特のコード文字は少なくて済み、従ってコード文字は短かくて済む。 従って、その結果生ずる圧縮されたテキストは、より少ないビットの情報でもって表わすことができる。

【００７６】従って、本発明によると、テキスト情報を、広範囲な言語に用いるのに適し、言語の言語学的特徴に比較的依存しないテキスト情報に圧縮し、かつ改良された速度で圧縮する方法が提供される。

【図面の簡単な説明】

【図１】本発明を組込んでいるコンピュータシステムの斜視図。

【図２】図１のコンピュータシステムの一部のブロック図。

【図３】図１のコンピュータシステムの他の部分のブロック図。

【図４】図１、図２、及び図３のコンピュータシステムのソフトウエア構造の図。

【符号の説明】

１２ 表示装置、 １４ キーボード、 １６ ＣＰ
Ｕ、 １８ メインプロセッサ、 ２０ コプロセッサ、 ３６ システムクロック、 ３８ 待ち状態ロジック、 ４０ カウンタ及びタイマチップ、 ４２ プログラマブル割り込みチップ、 ４４ 非マスク可能割込みロジック、４８ ＤＭＡ制御器、 ５０１２８ＫＢ
ランダムアクセスメモリ、 ５４ 消去可能プログラマブル読出し専用メモリ、 ５６ ディスクドライブ、
５８ フロッピー制御器、 ６０ ディスクドライブ、
６２ ディスク制御器、 ６６ ラスタプリンタ、
６７プリンタ制御器、 ６８ 通信制御器、 ７０ ユーザインターフェースルーチン、 ７２ 応用機能インターフェースルーチン、 ７４、７６ 応用ルーチン、
７８ オペレーティングシステム、 ８０ ハードウエアインターフェースシステム