【発明の詳細な説明】

【０００１】〔発明の背景〕文書内に統合するための、
白黒写真や線画画像は様々な供給源から利用可能である。 電子化文書の生成において、走査による白黒画像の生成を含めいくつかの可能なレベルで簡単に実行できる。 さらに多数のコンピュータシステムは白黒の画像を生成している。 いずれの場合にも、カラー化文書の製作において、白黒の画像をカラーに変換して視覚的に満足しうる結果をもたらすのが望ましい場合が多い。 しかし広い意味では、線または何らかの色の背景を区別するために別の色に変換することが望ましい。

【０００２】〔発明の概要〕本発明は画像内の線および背景の色を区別するために変化させる構成に関するものである。

【０００３】本発明の一つの態様では、それぞれが画像内の特定の点で画像の光学的密度値を表す値を有する画素によって構成される画像内の線および背景の色を区別するために変化させるための方法が提供される。 線は背景の画素の光学的濃度値とは異なる光学的濃度値を有する一組の画素を含む。 本法は、ａ）赤、緑、および青の値の組み合せによって色の組み合せの全ての可能な色が決定され、また黒の値が赤の値＝緑の値＝青の値となるような赤、緑、および青の値の組み合せに変換されるように、全ての黒い画素の値を赤、緑、青の値の組み合せに変換する段階と、ｂ）赤、緑、および青の値としてそれぞれが識別される前景と背景の色を選択する段階と、
ｃ）それぞれの画素の赤、緑、および青の値を基準値と比較する段階と、ｄ）比較によってその画素が背景画素であるかを決定する段階と、ｅ）こうして決定されたそれぞれの背景画素について、画素の値を背景色に変更し、それ以外の全ての画素を前景色に変更する段階を必然的に含む。

【０００４】本発明の別の態様では、その画素が背景であることを示す値を画素が有する場合、その画素は所定の背景色に設定される。 画像内の線の灰色のレベルを保持するためには、前景の画素の値はその画素の値に選択した前景色の値を足した値に設定される。 その結果、背景は単一色に設定され、灰色の線はある範囲の濃度値を保持する前景色に設定される。 純黒線は濃度レベルなしの前景色に変換される。

【０００５】本発明のさらなる態様では、第２の比較段階を用いて前景画素が背景画素と分離して検出される。
したがって、前景または背景画素のいずれでもない画素については無処理を含む別の方法で処理することが出来る。

【０００６】図１は本発明を使用しうる縮小した色の組み合わせの選択処理の段階ごとの流れ図を示す。

【０００７】図２は標準の色の組み合わせおよび変更した色の組み合わせが単一ディスプレイ上に存在しうる８
ビットシステムにおける色の組み合わせのメモリー配置を示す。

【０００８】図３は本発明と組み合せて使用可能なユーザーインターフェースを示す。

【０００９】図４および図５は画像内の線と背景の色を区別するために変化させる本発明の方法の流れ図を示す。

【００１０】図６は本発明の別の実施例を示す。

【００１１】実施例を図示するため、図１では本発明を詳述する上で参考となる色編集処理の流れ図を示してある。

【００１２】高品位高密度ＣＲＴディスプレイは赤、
緑、青の成分でカラー画像を再現する。 カラー画像内の各画素はいくつかの既知の処理にしたがって生成されると２４ビットの値で定義することができ、それぞれが８
ビットの値で表現される三原色の色分離を提供する。 したがって、このようなディスプレイで使用するために利用可能な色の組み合わせまたはカラーパレットは約１６
万色を有する。 詳述した実施例において、８ビットレベルのグラフィックスをUnixオペレーティングシステムの下で有するサンマイクロシステムズ社（Sun Microsyste
ms）のワークステーションを画像の色の組み合せの変更用に使用した。 サンマイクロシステムズ・ワークステーションはカリフォルニア州サニーベールのサンマイクロシステムズ社の製品である。 本発明の開発に用いたワークステーションはマルチタスク動作可能なパーソナルミニコンピュータであることを特徴とする。 ワークステーションでのユーザーデータ入力は通常キーボードとマウスを介して行なわれる。 当然このような特徴は不可欠ではなく、他の処理装置およびデータ入力装置が可能である。 使用したグラフィックスディスプレイ装置はサンマイクロシステムズ社の標準的な１１５２×９００ドット、８ビットレベルのディスプレイ装置である。 本発明を実現するためのプログラムはＣ言語を用いて製作された。 さらに後述するユーザーインターフェースはマサチューセッツ州ケンブリッジのマサチューセッツ工科大学（ＭＩＴ）によるＸウィンドウ・システムを用いて製作した。 同等のユーザーインターフェース開発ツールにはサンマイクロシステムズ社の専用ソフトウェアであるSu
n X-Newsソフトウェアがある。 もちろんその他のディスプレイシステムや他のソフトウェアを使用して本発明を生成するために使用したのと同一の効果をもたらすことも可能である。 本発明を実現するために適切なもう一つの装置はアップルコンピュータ社（本社カリフォルニア州クパチーノ）製のマッキントッシュII(Macintosh II)
系列の製品群のひとつが挙げられる。

【００１３】カラー画像を編集するための実施例システムにおいて、カラー画像は２５６ ³の異なる密度レベルで提供される。 このレベル数は簡単に取り扱うためには複雑すぎると一般に考えられている。 ボールマン（Boll
man ）らによる「単純な符号化を行なった画像による色編集 (Color Editing with Simple Encoded Images)」
と題し、本出願と同一譲受人に譲受される米国特許出願第０７／５１７，８９５号に詳述された方法をここでも全面的に参照しているが、この方法ではデータを取り扱うより簡単な方法を詳述しており、元の画像で使用された色を表す縮小した色の組み合わせを生成している。 図１を参照すると、縮小した色の組み合わせ数の近似または表現を生成するための第１の段階１０でそれぞれの分離はその成分とは別に取り扱われている。 一例として、
ＲＥＤと付記してある赤の色分離を使用して、通常２５
６レベルまでの強度（または光学的密度）を提供する８
ビットの値である強度値が段階２０において３レベルないし８レベルの強度の間にあるもっと小さい値に符号化される。 それぞれの色分離に選択されたレベル数はここで、より広い間隔をとってはいるが、それぞれの色の全範囲を表現している。 保持されたレベル数は経験に基づいて選択されており、表示する目的で美的に満足しうる縮小した色の組み合わせを生成するようなレベル数を決定している。 生成される縮小した色の組み合わせは、当然のこととして、元の画像に近い外見を有しているか、
または色の変更が値を有さないことが重要である。 単純な域値の適用を使用することがあるが、これは所望しない画像上のアーチファクトを生成してしまうので、変換の段階にわたって画像を滑らかにする変換が望ましい。
この目的ではいくつかの周知のディザーおよび／またはエラー変換法が既知である。 周知のフロイド・スタインバーグ・エラー分散アルゴリズム（Floyd-Steinberg Er
ror Diffusion Algorithm ）（１９７６）またはこれに由来する多くのエラー分散法のひとつは、画像を滑らかにするために隣接する画素に対して符号化割り当てで導出された差分エラーを分配している。 元のカラー画像を適切に近似する組についてそれぞれの色レベル数Ｎ _Xはおよそ赤４レベル（Ｎ _R ）、緑８レベル（Ｎ _G ）、青３
レベル（Ｎ _B ）となしてある。 赤５レベル、緑５レベル、青４レベル、または赤５レベル、緑６レベル、青３
レベルを含む他の組み合わせのレベル数も存在する。 これ以外の方式も可能であり、こうした近似による色の正確性についてのユーザーの認識にしたがい所望により変化する。 この処理段階で、黒い画像はｒ、ｇ、ｂの値がｒ＝ｇ＝ｂとなるように変換される必要がある（段階１
０参照）。

【００１４】段階３０では、色分離の新しい色の値が統合されて、それぞれの画素で単一のインデックス数が生成され、これによって縮小された色の組み合わせのインデックスで可能なｒ、ｇ、ｂの３要素の一つが示される。 赤４レベル、緑８レベル、青３レベルの組み合わせを用いることで全体として９６色のレベルまたは３要素（Ｎ _R ×Ｎ _G ×Ｎ _B ）が生成される。 よってそれぞれの画素が可能な１６万色を有する元の画像は、縮小された色の組み合わせを表すインデックス数を介して、ＬＵＴ
（参照テーブル）を介して割り当てることで、これらの３要素の一つによって表現される。 色インデックスは、
赤のレベルＮ _Rによって表現される赤の量と、緑のレベルＮ _Gによって表現される緑の量と、青のレベルＮ _Bによって表現される青の量の組み合わせを用いて生成される。 これらを合わせた９６のレベルまたは３要素は「標準色参照テーブル」として参照されることになる。 美しさの点では、２７ないし１２０レベルに限定された色のレベル数が元のカラー画像の充分な表現に用いられることが判っている。 特に満足しうる結果が９０ないし１０
０レベルの範囲だと判明している。 使用可能な最低限のレベル数はユーザーの認識に幾分左右されるが、同時にディスプレイの解像度にも左右される。 比較的高解像度のディスプレイ上ではエラー分散または閾値アルゴリズムの使用によって生成された雑音の問題が最小限になる。 明らかに、元の画像に最終的に適用されることになる色表現の制御はさらに多いレベル数と同程度に精密ではないが、多くの目的でもっと少ないレベル数で充分である。 最大のレベル数は１２０とするのが望ましいが、
２５６レベルまでのさらに高いレベル数を本発明では使用することができる。 同様に、１０ビットのグラフィックスシステムを使用する場合、限界は１０２４レベルとなる。 しかし１６ビットのグラフィックスシステム以上では、本発明の利点は計算時間の増大により失われる。
段階３５で縮小された色の組み合わせｒ、ｇ、ｂの画像が表示される。

【００１５】図２に示したように、色テーブルは図２の配置にしたがって、以下に詳述する８ビットグラフィックスシステムの２５６レベルの参照テーブル３３（ＬＵ
Ｔ３３）内に保存される。 ここで標準色テーブルはＬＵ
Ｔ３３の部分３２に保存される。 部分３４および３６は他の表示アプリケーションで独自の色のための自由領域である。 部分３８は変更された色テーブルで、これについては後述する。 色の変更として１２８レベル以上を所望する場合、単一ＬＵＴだけの領域が存在することになる。 他の画像または画面上で変更される画像の部分が標準色ＬＵＴに割り当てられまた対象となる画像と同じに変更されないように、二つの参照テーブルを有することが望ましい。

【００１６】段階５０において、カラー画像の変更は大半のユーザーが馴染深いカラーテレビジョン装置の場合と同様の方法で行なわれる。 ユーザーインターフェースＩを前景および背景の色の選択に使用することができる。 ユーザーインターフェースＩによって色相、色飽和度、輝度の色操作を通して前景および背景色の選択ができる。 さらなる制御、４６、４７、４８、４９はそれぞれ「基本」、「取消」、「適用」、「前景／背景」と示してあり、画像への色変更の適用の機能を表している。
このうちで「基本」は元の色ＬＵＴと変更された色ＬＵ
Ｔの間で表示される画像を切り換え、「取消」は表示された画像に対して行なった全ての変更を取消または無効にして、標準色ＬＵＴによって定義されているように元の画像の表示に戻し、「適用」は後述するように調整レバーにより指定された変更を実際に画像に適用し、「前景／背景」は前景または背景色のどちらが選択されているかを示す。 可能な配置としては、調整レバーまたは「ゲージ」４４はマウス駆動のカーソル（図示していない）を用いて選択可能で、適切な位置へドラッグでき、
一方さらなる制御はこれらの機能を動作させるためのマウス駆動のカーソルによる選択のための領域である。 当然、表示された制御はユーザーが指で触れることにより起動可能なタッチスクリーンとしてもよい。 ユーザーインターフェースで提供されまたは提供されないさらなる特徴は、線または背景が画像の他の部分から識別されるレベルを決定する閾値段階または複数閾値段階の選択である。

【００１７】標準色テーブル２２の色の組み合わせに対して行なった変更は変更色テーブル２８に新しい色の組み合わせを生成する。 これによって、変換の結果として決定した新しいｒ、ｇ、ｂの３要素が変更を反映させるために表示される（段階６０）。 少数の値（２７−１２
０）が変更されるだけであるから、図３のユーザーインターフェースＩで行なった変更は基本的にリアルタイムで表示画像に適用される。

【００１８】段階７０では、いったん所望の色変更が生成されると、保存されている画像に対して行なわれる変更が元の画像に適用されうる。 この操作はリアルタイムに起こると期待されておらず、処理のためのネットワーク上の高速計算機を援用することがある。 これ以外に、
またユーザーが遅延を予測して実施の時刻を選択できるため、ユーザー自身のワークステーション上にあるユーザーの処理装置は２４ビット／画素のデータに照度／色相の平均化を適用できる。

【００１９】段階８０では、新しく変更された２４ビット／画素のデータが縮小された色の組み合わせモードでワークステーション上に再表示される。 表示される画像は変更された画像とはわずかに異なることがあるが、これは変更中に画面上に現れる多くの画像化のアーチファクトが、下敷とする元の画像が変更される際に除去されるためである。

【００２０】「画像」について議論する際、基準は変更が所望される画像全体のうちのその部分であることが当然望ましい。 したがって、画像全体の色が変更されることがあり、または標準的な領域定義法によって、画像のユーザーによって定義された部分だけの色が変更されることも考えられる。

【００２１】本発明では、図４及び図５を参照すると、
本発明による処理を図示するための流れ図が示されている。 図１の段階５０でのＬＵＴ値の変更は次の方法で行なわれる。 注目する領域（段階２１０）が一つまたはそれ以上の画素を注目する領域として定義する周知の複数存在する領域選択ルーチンのいずれかによって選択される。 注目する領域内の画素は最初にＬＵＴ３２と同一値を有しうるＬＵＴ部分３８内部に割り当てられる。 そのため、当然、またまちがいなく、注目する領域を画像全体となしうることが理解されよう。 したがって領域の実際の選択が必要とされる。 段階２１５では、システム内の全ての「黒」がｒ＝ｇ＝ｂとなるようなｒ、ｇ、ｂの３要素に変換される。 黒について、ここでの基準は色の黒であって、ｒ、ｇ、ｂの何らかの組み合わせに相対するものである。 「全黒」すなわち可能な限り暗い黒の場合、ｒ、ｇ、ｂの値はシステム内で可能なそれぞれの最も濃い値を採用する。 灰色についての値はシステム内で可能なそれぞれの最も濃い値以上の値となる。 ｒ、ｇ、
ｂの参照テーブルへのエントリーは詳述する符号化法にしたがって行なわれ、画像内に存在するそれぞれが異なる黒またはグレーのレベル値についてその黒または灰色のレベルを有する画素がｒ、ｇ、ｂ参照テーブル内のｒ、ｇ、ｂの３要素に割り当てられるようにする。 変更すべき画素がＬＵＴ部分３８に割り当てられ、一方変更されない画素はＬＵＴ部分３２に割り当てられたままとなることが理解されよう。

【００２２】画像値は背景色ｒ _b 、ｇ _b 、ｂ _b （段階２
２０）および前景色ｒ _f 、ｇ _f 、ｂ _f （段階２３０）を構成するために選択また設定されて、背景を線（この開示の目的から「前景」と見なされる）から区別する。 色選択法で用いる符号化値の限定された組み合わせの内容では、所望する出力色を表すｒ、ｇ、ｂの３要素を選択することが必要とされる。 これは標準参照テーブル内に保存するためｒ、ｇ、ｂの３要素への変更を適用する図３のユーザーインターフェースＩ経由で行なわれる。

【００２３】処理の次の部分は本論の実施例として詳述する対話型色編集方式に処理が使用されるか、またはｒ、ｇ、ｂの個々の値によってそれぞれの画素が識別される方法、例えばバックグラウンド処理による元の画像の変換などで使用されるかによって変化する。 対話型色編集方式において、変更すべき画素はＬＵＴ３８内の限定されたエントリー数の一つを参照することだけで決定される。 よって、段階２５０において、選択された領域内の参照テーブルにあるそれぞれの色が背景または前景色であるかにしたがって、その画素に割り当てられたＬ
ＵＴ３８内のｒ、ｇ、ｂの３要素の値を選択した閾値レベルとの比較により弁別することによって、決定される。 この閾値レベルとして満足しうる値はシステムの白の最大値の７５％となるように採るか、または、白＝２
５５となるシステムにおいては閾値のレベルまたは値が１９６に設定される。 画素に割り当てられた色またはｒ、ｇ、ｂの３要素は値１９６と等しいかまたはこれを超えるところでは画素は背景であると考えられる。 画素に割り当てられた色またはｒ、ｇ、ｂの３要素はＲ≧閾値かつＧ≧閾値かつＢ≧閾値となって３つの検査全てに合致しているかを決定するために検査される。 これはＡ
ＮＤ（かつ）関数であるから、またそのため、ある画素が背景画素であるかを発見するためには３つの検査全てが合致していなければならない。 したがって、高度に飽和した色のついた線は、背景画素の検査がこうした画素では合致しないため、前景画素として処理される。 それぞれの背景色は選択した背景のｒ _b 、ｇ _b 、ｂ _bの３要素（段階２６０）に変換される。 これらの色に割り当てた画素はディスプレイ上の表現が変化する。 比較処理において参照テーブルを使用することにより、その限定されたエントリー数をピクセルごとの処理続行のかわりに用いて処理の大幅な高速化が得られる。

【００２４】図５を参照すると、各画素が個別の値ｒ、
ｇ、ｂを用いて識別される方式では、比較段階２５０ａ
はそれぞれの画素の値Ｐ（ｒ、ｇ、ｂ）でその画素の値ｒ、ｇ、ｂが閾値より大きいかを調査する。 大きい場合、段階２６０ａで画素値はｒ _b 、ｇ _b 、ｂ _bに設定される。

【００２５】本発明の最も単純な実施例において、背景色または画素値ではない全ての色（図４）または画素値（図５）は前景色または画素値であると（段階３００、
３００ａ）決定され、参照テーブルのエントリーの色または画素値がこれにしたがって変更される。

【００２６】図４および図５に示した本発明の一実施例において、色置換選択モードが段階２９０で提供される。 モード＝置換の場合、前景値を有すると決定されたそれぞれの参照テーブルの色（図４）または画素値（図５）は前景のｒ、ｇ、ｂの３要素（段階３００、３００
ａ）に設定される。 本発明のもう少し複雑な例では、モードが置換と等しくない場合、段階３２０および３２０
ａにおいて色ｒ、ｇ、ｂまたは画素値Ｐ（ｒ、ｇ、ｂ）
はそれぞれｒ、ｇ、ｂ＋ｒ _f 、ｇ _f 、ｂ _f （ＬＵＴ３８
の色について）またはＰ（ｒ、ｇ、ｂ）＋ｒ _f 、ｇ _f 、
ｂ _f （画素値について）のいずれかに設定される。 この選択による効果は、白＝２５５とするシステムにおいて一般的に０として表現される黒い線について、色または画素値はｒ、ｇ、ｂの値＝ｒ _f 、ｇ _f 、ｂ _fの組を有することになる。 しかし線がｒ＝ｇ＝ｂ≠０となる灰色の場合、新しい色または画素はｒ _f 、ｇ _f 、ｂ _fの値によって灰色の値からオフセットをとる値を有することになり、またはこれ以外で選択した色はこれに上乗せした灰色の濃度レベルを有することになり、色に変換された線の灰色のレベルを反映する。 同様の効果が完全に飽和した色を有する線の変換で見られ、線は完全に飽和した色以下の色を有する。 この変更を完了するために、段階３
３０で選択した色の値ｒ _f 、ｇ _f 、ｂ _fがＬＵＴ３８内の特定の画素に割り当てられた現在の色の値に付加される。 段階３３０は図５の実施例においては必要ではない。

【００２７】本発明のさらに別の実施例において、また図６に示したように、色または画素が背景画素であるかを決定した後で、その画素が前景画素であるかについての決定を続けて行なう（本実施例は図５の実施例についてのみ図示してあるが、図４の実施例にも等しく適用可能である）。 段階４１０で、背景画素ではないと決定された色または画素の値を、黒い線を識別するために選択されている第２の閾値レベルと比較することによってこれは完了する。 たとえば２５％（または白の値の７５
％）に閾値を設定することで、黒の密度にまでは達しない灰色の画像の大半は前景色の置換から除外されることになる。 これは注目によるもので、線は色が変化することがあり、また背景も色が変化するが、灰色の画像はそのまま、または第３の色に変換される。 効果的な美しさの値を有する閾値レベルは１５ないし３０％の範囲となしうる。

【００２８】上述の縮小した色の組み合わせの方法を別として、ある色を特定の画素に割り当てるための他の機構も存在することまちがいなく理解されよう。 また黒がシステム内の最小値として、白が最大値として与えられているシステムにおいて、特定の灰色のレベルを上乗せする方法は所望する色の追加であるが、黒がシステム内の最大値として、白が最小値として与えられているシステムにおいて、同等の操作が利用可能である。 これ以外に、一つのシステムからほかのシステムへ変換するための変換段階も提供できる。 上述しまた請求項に述べたように本発明の原理は、元の画素の階調が置換されるべき色で上書きされうる部分で動作が完了する必要があるだけである。

【図面の簡単な説明】

【図１】 本発明を使用しうる縮小した色の組み合わせの選択処理の段階ごとの流れ図である。

【図２】 標準の色の組み合わせおよび変更した色の組み合わせが単一ディスプレイ上に存在しうる８ビットシステムにおける色の組み合わせのメモリー配置を示す説明図である。

【図３】 本発明と組み合せて使用可能なユーザーインターフェースを示す説明図である。

【図４】 画像内の線と背景の色を区別するために変化させる本発明の方法の流れ図である。

【図５】 画像内の線と背景の色を区別するために変化させる本発明の方法の流れ図である。

【図６】 本発明の別の実施例を示す流れ図である。