この発明は、書画情報を撮影してその撮影画像を記録保存する電子カメラおよびプログラムに関する。

従来、文字、図形、画像などの書画情報を撮影して記録保存する電子カメラとしては、たとえば、被写体を載せる台にアームを介して取り付けられているカメラ本体を有し、被写体とカメラ本体を動かすことなく、被写体の撮影位置を移動するようにした書画カメラが知られている（特許文献１参照）。 また、名刺、葉書き、カタログ、看板、掲示板などに書かれた文字情報をデジタルカメラで撮影して取得した画像の歪みを補正するために、歪み補正の対象となる四角形の画像を抽出し、これを歪みのない長方形に補正するようにした歪み補正方法・装置が知られている（特許文献２参照）。

特開平１０−２２９５１５号公報

特開２００３−５８８７７号公報

しかしながら、特許文献１の書画カメラにあっては、被写体の撮影位置を移動するスライド部材なども必要となり、装置全体が大掛かりなものとなる。 また、特許文献２の歪み補正方法・装置にあっては、カメラ撮影後に撮影画像内から抽出した四角形の画像を歪みのない長方形に補正するものであるが、撮影後の画像補正を前提としているため、たとえば、元の四角形の画像が最適な状態で撮影されていない場合、つまり、小さ過ぎる画像の場合あるいは一部が欠けている画像の場合などでは、歪み補正を施したとしても、好ましい文字情報を得ることができない。 たとえば、名刺をカメラ撮影した場合に、名刺の撮影状態が悪いと、名刺内の文字が不鮮明になったり、名刺の枠全体を四角形として輪郭抽出することができなくなるため、名刺の撮影時には、レンズを向ける方向を微調整しながらズーム操作を行うなど、慎重な撮影を余儀なくされ、撮影者に大きな負担をかけるという問題があった。

ところで、名刺、葉書き、カタログ、看板、掲示板などに書かれた文字情報をデジタルカメラで撮影する際に、撮影対象を画像フレーム内に最適な状態に収めることに苦労する場合があった。 つまり、文字が明瞭に写るように名刺、掲示板などの被写体を大きく写した方が良いが、大き過ぎても被写体の一部でも画像フレームから外れてしまっては意味がないため、撮影者はモニタを覗き込み、ズーム倍率、撮影方向などを調整しながら最適であると思われるタイミングで、シャッターを操作するようにしているが、たとえば、サイズが異なる各種の文字が混在しているような場合、全ての文字が明瞭に写るように調整操作を行うことは極めて面倒であると共に難しく、撮影失敗を招くおそれがあった。

この発明の課題は、書画情報を撮影対象とする際に、そのときの撮影条件を慎重にマニュアル調整しなくても、書画情報を最良状態で撮影した画像を保存候補として特定できるようにすることである。

請求項１記載の発明は、書画情報を撮影してその撮影画像を記録保存する電子カメラであって、書画情報の撮影条件をその変更操作に応じて調整する撮影制御手段と、書画情報の撮影時にモニタ画像を逐次取得しながら画像解析を行ってモニタ画像毎に書画情報の撮影状態を認識する認識手段と、この認識手段によってモニタ画像毎に認識された書画情報の各撮影状態を比較することによって最良の状態で撮影された書画情報を特定すると共に、この書画情報を含むモニタ画像を保存候補として特定する特定手段とを具備したことを特徴とする。
さらに、コンピュータに対して、上述した請求項１記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項１０記載の発明）。

なお、請求項１記載の発明は次のようなものであってもよい。
前記特定手段は、モニタ画像毎に書画情報の撮影状態を比較することによって現時点までに保存候補として特定したモニタ画像を最良画像として一時保持すると共に、今回の新たなモニタ画像内に含まれている書画情報の撮影状態と前記最良画像内に含まれている書画情報の撮影状態とを比較した結果、今回の撮影状態の方が良ければ、今回のモニタ画像を最良画像として書き換えることによって最良画像を更新する動作を繰り返す（請求項２記載の発明）。

前記認識手段は、モニタ画像を解析することによって書画情報の撮影状態を認識する際に、書画情報内の文字を文字認識すると共に、その認識結果をその撮影状態として認識し、前記特定手段は、前記認識手段によって認識された文字認識結果を比較することによって最良状態で撮影された書画情報を特定する（請求項３記載の発明）。

この場合、前記特定手段は、前記認識手段によって認識された文字認識結果を比較する際に、文字認識精度を比較することによって、文字認識精度が高い方を最良状態で撮影された書画情報として特定するようにしてもよい（請求項４記載の発明）。
また、前記認識手段によって書画情報を文字認識した際に、正常認識が不可能な場合に、光学ズームを制御してズーム倍率を自動調整するようにしてもよい（請求項５記載の発明）。

前記認識手段は、モニタ画像を解析することによって書画情報の撮影状態を認識する際に、書画情報を含む領域を書画領域として認識すると共に、この書画領域の大きさを書画情報の撮影状態として認識し、前記特定手段は、前記認識手段によって認識された書画領域の大きさを比較することによって最良状態で撮影された書画情報を特定する（請求項６記載の発明）。

前記特定手段によって最良の状態で撮影された書画情報を含むモニタ画像が保存候補として特定された際に、この保存候補をモニタ画面とは別の画面に案内表示する（請求項７記載の発明）。

前記認識手段は、モニタ画像を解析することによって書画情報の撮影状態を認識すると共に、モニタ画像内から書画情報が外れたか否かを認識し、この認識手段によってモニタ画像内から書画情報が外れたことが認識された時点において、前記特定手段によって保存候補として特定されているモニタ画像を保存対象として確定して記録媒体に自動記録する（請求項８記載の発明）。

前記特定手段によって特定された保存候補が案内表示されている状態において、撮影者から画像記録が指示された際に、この保存候補を記録媒体に記録する（請求項９記載の発明）。

請求項１記載の発明によれば、書画情報の撮影条件をその変更操作に応じて調整するほか、書画情報の撮影時にモニタ画像を逐次取得しながら画像解析を行ってモニタ画像毎に書画情報の撮影状態を認識し、モニタ画像毎に認識された書画情報の各撮影状態を比較することによって最良の状態で撮影された書画情報を特定すると共に、この書画情報を含むモニタ画像を保存候補として特定するようにしたから、書画情報を撮影対象とする際に、そのときの撮影条件を慎重にマニュアル調整しなくても、書画情報を最良状態で撮影した画像を保存候補として特定することができ、たとえ、サイズが異なる各種の文字が混在しているような場合でも、全ての文字が明瞭に写っている画像を保存候補とすることが可能となり、最良画像を記録保存することが可能となる。

請求項２記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、モニタ画像毎に書画情報の撮影状態を比較することによって現時点までに保存候補として特定したモニタ画像を最良画像として一時保持すると共に、今回の新たなモニタ画像内に含まれている書画情報の撮影状態と前記最良画像内に含まれている書画情報の撮影状態とを比較した結果、今回の撮影状態の方が良ければ、今回のモニタ画像を最良画像として書き換えることによって最良画像を更新する動作を繰り返すようにしたから、モニタ画像の全て一時保持しておかなくても、現時点で最良画像として特定された画像のみを保持しておくだけで足り、作業用メモリの容量増大を防ぐことが可能となると共に、次ぎのモニタ画像を取得するまでの間に最良画像を更新する処理することができ、最良画像を特定する処理を効率良く行うことが可能となる。

請求項３記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、モニタ画像を解析することによって書画情報の撮影状態を認識する際に、書画情報内の文字を文字認識した結果をその撮影状態として認識し、この文字認識結果を比較することによって最良状態で撮影された書画情報を特定するようにしたから、文字が明瞭に写っているか否かを基準として最良状態で撮影された書画情報を特定することができる。

この場合、文字認識結果を比較する際に、文字認識精度を比較することによって、文字認識精度が高い方を最良状態で撮影された書画情報として特定するようにしてもよく（請求項４記載の発明）、また、書画情報を文字認識した際に、正常認識が不可能な場合に、光学ズームを制御してズーム倍率を自動調整するようにしてもよい（請求項５記載の発明）

請求項６記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、モニタ画像を解析することによって書画情報の撮影状態を認識する際に、書画情報を含む領域を書画領域として認識すると共に、この書画領域の大きさを書画情報の撮影状態として認識し、書画領域の大きさを比較することによって最良状態で撮影された書画情報を特定するようにしたから、書画領域の大きさを基準として最良画像の特定が可能となる。

請求項７記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、最良の状態で撮影された書画情報を含むモニタ画像が保存候補として特定された際に、この保存候補をモニタ画面とは別の画面に案内表示するようにしたから、撮影者にあっては、現時点における最良の画像とモニタ画像とを見比べることができ、必要に応じてズーム調整、露出調整などを行うことができる。

請求項８記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、モニタ画像を解析することによって書画情報の撮影状態を認識すると共に、モニタ画像内から書画情報が外れたか否かを認識し、モニタ画像内から書画情報が外れた時点において保存候補として特定されているモニタ画像を保存対象として確定して記録媒体に記録するようことが可能となる。

請求項９記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、保存候補が案内表示されている状態において、撮影者から画像記録が指示された際に、この保存候補を記録媒体に記録するようにしたから、撮影者が希望する画像を記録することができる。

（実施例１）
以下、図１〜図７を参照して本発明の第１実施例を説明する。
図１は、この実施例における電子カメラの全体構成の概要を示したブロック図である。
この電子カメラは、持ち運び自由な携帯型のデジタルスチルカメラであり、たとえば、会社等における商談会、報告会、審議会などのビジネスミーティング用のカメラとして使用可能なもので、各種の資料、名刺、葉書き、カタログ、ホワイトボードなどを撮影対象として、それらに記載されている文字、図形、画像などの書画情報を撮影する書画カメラであるが、書画情報を撮影する以外にも、人物、風景などの一般的な被写体を撮影する通常のカメラとしても使用可能となっている。 そして、このデジタルスチルカメラは、書画情報を撮影対象とする際に、そのときの撮影条件を慎重にマニュアル調整しなくても、書画情報を最良状態で撮影した画像(最良画像)を保存候補として特定できるようにしたことを特徴とするものである。 つまり、ズーム倍率などを厳密にマニュアル調整しなくても、書画情報を最適な状態で撮影できるようにしたものである。
なお、この実施例の特徴部分を詳述する前に、この実施例のハードウェア上の構成について以下、説明しておく。

ＣＰＵ１は、記憶部２内のオペレーティングシステム、各種アプリケーションソフトに応じてこのデジタルスチルカメラの全体動作を制御する中央演算処理装置である。 記憶部２は、ハードディスク等の固定的なメモリであり、プログラム記憶領域とデータ記憶領域とを有している。 この記憶部２内のプログラム記憶領域には、後述する図３〜図７に示す動作手順に応じて本実施例を実現するためのアプリケーションプログラムが格納されている。 この記憶部２内には、撮影画像内から文字情報を取り出して文字認識を行う文字認識用のプログラムが格納されていると共に、各種の文字パターンなどを記憶する文字認識用辞書が格納されている。 この記憶部２内のプログラム、データは、必要に応じてワークメモリ３にロードされたり、このワークメモリ３内のデータが記憶部２にセーブされる。 なお、記録メディア４は、ＤＶＤ等の着脱自在なメモリであり、記憶部２あるいはワークメモリ３との間においてプログラム、画像データ等の受け渡しを行う。

一方、ＣＰＵ１には、その入出力周辺デバイスである操作部５、表示部６、カメラ撮影部７がバスラインを介して接続されており、入出力プログラムに応じてＣＰＵ１は、これらの入出力デバイスの動作制御を行う。
操作部５は、シャッターボタンＳＴ、ズームボタンＷＤのほか、後述するノーマルモード／書画モードに切り換えるモードボタンＭＤ等、各種のファンクションボタンを有し、その操作信号はＣＰＵ１に与えられる。 表示部６は、たとえば、タッチパネル付きの液晶表示部であり、モニタ画面／ファインダ画面／画像再生画面として使用される。

カメラ撮影部７は、撮影レンズ、ミラー等のレンズ・ミラーブロック、ＣＣＤイメージセンサ等の撮像素子、その駆動系等を備えたもので、ＣＰＵ１は、光学ズーム機能を調整制御したり、オートフォーカス時の駆動制御、シャッター駆動制御、露出等を制御する。 すなわち、図２は、カメラ撮影部７の詳細な構成を示した図で、カメラ撮影部７には、撮影レンズ７１、撮影制御部７２、撮像処理部７３を有し、ＣＰＵ1は、撮影制御部７２に対してズーム駆動制御、フォーカス駆動制御、露出駆動制御、シャッター駆動制御を行うようにしている。 なお、ＣＰＵ１は、撮像処理部７３内のＣＣＤイメージセンサから画像メモリ８を介して撮影画像を取り込んで記録メディア４に記録保存するようにしている。 また、ＣＰＵ１は、現時点における光学ズームの倍率に関する情報を検出取得するようにしている。 この場合、光学ズームがその最大倍率に達した際に、そのときの情報を検出取得するようにしている。

ここで、上述したモードボタンＭＤは、ノーマルモード／書画モードに切り換えるもので、「ノーマルモード」は、人物、風景などの一般的な被写体を通常撮影する動作モードである。 また、「書画モード」は、撮影対象である書画情報を撮影する際に、モニタ画像を逐次取得すると共に、その撮影条件(光学ズーム)などを厳密にマニュアル調整しなくても、最良の状態で撮影されたモニタ画像を保存候補として特定するようにした動作モードである。 すなわち、「書画モード」は、書画情報のモニタ撮影時に、モニタ画像を逐次解析することによって白地の所定形状(たとえば、四角形)が含まれ、かつ、この所定形状の領域内に文字が含まれているか否かに基づいて文字を含む書画情報の撮影か否かを判別し、書画情報の撮影であれば、この所定形状の画像部分を書画領域として特定すると共に、この書画領域内の情報を文字認識し、この認識精度をその撮影状態として認識し、この文字認識精度が最良の書画情報を含むモニタ画像を保存候補として特定するようにしている。

「文字認識精度」とは、書画領域内の情報を文字認識した際に、正常に文字認識することができた文字数を示し、ズーム倍率を段階的にアップすることによって細かな文字を含めて正常認識することが可能な文字数は段階的に増えるが、何文字を正常に認識することができたかによって文字認識精度は異なる。 たとえば、１０文字を正常認識した場合と１２文字を正常認識した場合とでは、１２文字の場合の方が文字認識精度が高くなる。 なお、「文字認識精度」は、正常に文字認識することができた度合いであってもよい。

次ぎに、この第１実施例における電子カメラの動作概念を図３〜図７に示すフローチャートを参照して説明する。 ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。 また、伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。 このことは後述する他の実施例においても同様であり、記録媒体の他に、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施例特有の動作を実行することもできる。

図３〜図７は、撮影スイッチがオン操作された際に実行開始されるデジタルスチルカメラの全体動作を示したフローチャートである。
先ず、ＣＰＵ１は、撮影スイッチがオン操作されると、ノーマルモードに初期設定した後(ステップＳ１)、カメラ撮影部７からモニタ画像を取得して画像メモリ８にセットすると共に(ステップＳ２)、モニタ画面に表示出力させる(ステップＳ３)。 ここで、ボタン操作の有無をチェックし(ステップＳ４)、何らかのボタンが操作されるまでステップＳ２に戻って待機状態となるが、ボタン操作を検出した際には、操作ボタンの種類を判別し、モードボタンＭＤが操作されたか(ステップＳ５)、ズームボタンＷＤが操作されたか(ステップＳ６)、シャッターボタンかその他のボタンが操作されたかを調べる(ステップＳ７)。

いま、初期設定時のノーマルモードにおいて、ズームボタンＷＤが操作された際には(ステップＳ６でＹＥＳ)、そのズームイン／ズームアウト操作に応じて光学ズームの駆動を制御する(ステップＳ８)。 また、ノーマルモードにおいて、シャッターボタンが操作された際には(ステップＳ７でＹＥＳ)、シャッター操作時の撮影画像を画像メモリ８から取得して直交変換方式(離散コサイン変換方式)に応じてデータ圧縮を行った後(ステップＳ９)、この圧縮画像を記録メディア４に記録保存させる通常の動作を行う(ステップＳ１０)。 なお、ノーマルモードにおいて、その他のボタンが操作された際には(ステップＳ７でＮＯ)、操作ボタンに応じて他の処理を実行した後(ステップＳ１１)、モニタ画像の取得処理に戻る(ステップＳ２)。

また、ノーマルモードにおいて、モードボタンＭＤが操作された場合には(ステップＳ５でＹＥＳ)、ノーマルモードから書画モードに切り換えられる(ステップＳ１２)。 すると、図４のステップＳ２１以降の処理に進み、書画情報を撮影した場合か否かの判別を行う。 すなわち、書画モードに切り換えたときのモニタ画像をカメラ撮影部７から取得して画像メモリ８にセットすると共に(ステップＳ２１)、この画像メモリ８内のモニタ画像を解析し、モニタ画像内に特定被写体(たとえば、白地で四角形)の領域が含まれているかを検索し(ステップＳ２２)、特定被写体領域(書画領域)の有無をチェックする(ステップＳ２３)。 この場合、予め設定されている書画領域の特徴情報、つまり、名刺、葉書き、カタログ、ホワイトボードなどの特性被写体(白地で四角形)を参照し、この特徴情報に一致する色と形状の画像部分が存在しているかをチェックする。

ここで、モニタ画像内に特定被写体領域(書画領域)が存在している場合には(ステップＳ２３でＹＥＳ)、この書画領域内に含まれている文字を認識する(ステップＳ２４)。 この場合、上述した記憶部２に格納されている文字認識用のプログラムと文字認識用辞書によってモニタ画像内から文字情報を取り出して文字認識を行う。 そして、この文字認識の結果、正常に文字を認識することができたか否かを判別する(ステップＳ２５)。 この場合、モニタ画像内から取り出した文字情報を１文字でも認識することができたか否かを判別する。 たとえば、モニタ画像内から取り出した文字情報が大きな文字と小さな文字とが混在しているような場合、少なくても、大きな文字を１文字でも正常認識することができたか否かを判別する。 ここで、認識不能であれば(ステップＳ２５でＮＯ)、現時点における光学ズームの倍率に関する情報を取得し、この光学ズームの最大倍率に達しているか否かを調べる(ステップＳ２６)。 この場合、ＣＰＵ１は、現時点において光学ズームがその最大倍率に達したときの検出信号に基づいて光学ズームの最大倍率に達しているか否かをチェックするようにしているが、その検出方法は任意である。

いま、光学ズームがその最大倍率に達している場合には(ステップＳ２６でＹＥＳ)、予め決められている標準的なズーム倍率になるまで光学ズームを自動制御してズームアウトを行った後に(ステップＳ２８)、モードの切り換え有無をチェックし(ステップＳ２９)、書画モードからノーマルモードに切り換えられた際には、図３のステップＳ２に戻るが、モード切り換えが行われなかった場合には、ステップＳ２１に戻り、そのときのモニタ画像をカメラ撮影部７から取得して画像メモリ８にセットする。 また、光学ズームがその最大倍率に達していなければ、現在のズーム倍率を自動的に１段階ズームアップ駆動した後(ステップＳ２７)、上述したステップＳ２１に戻り、そのときのモニタ画像をカメラ撮影部７から取得して画像メモリ８にセットする。 以下、上述の動作を繰り返し、書画領域内の文字を正常に認識することができるまでズーム倍率を１段階ごとにズームアップ駆動する。

この結果、モニタ画像内の文字情報を１文字でも認識することができた場合には(ステップＳ２３でＹＥＳ)、図５のステップＳ３１に移り、画像メモリ８内のモニタ画像をワークメモリ３内の第１メモリ(図示せず)に待避しておく。 そして、モニタ画像をカメラ撮影部７から取得して画像メモリ８にセットすると共に(ステップＳ３２)、この画像メモリ８内のモニタ画面に表示出力させるほか、上述したワークメモリ３内の第１メモリに待避しておいた画像をモニタ画面とは別の第２画面(図示せず)に表示出力させる(ステップＳ３３)。

この状態において、何らかの操作有無をチェックし(ステップＳ３４)、ズーム操作が行われた場合には(ステップＳ３５でＹＥＳ)、その操作に応じてズーム駆動を制御すると共に(ステップＳ３６)、そのときのモニタ画像をカメラ撮影部７から取得して画像メモリ８にセットした後(ステップＳ３７)、図６のステップＳ４１に移る。 また、モードの切り換え操作が行われた場合には(ステップＳ３８でＹＥＳ)、書画モードからノーマルモードに切り換えた後に(ステップＳ３９)、図３のステップＳ２に戻るが、何れの操作も行われなかった場合には、ステップＳ３７に移り、モニタ画像をカメラ撮影部７から取得して画像メモリ８にセットした後、図６のステップＳ４１に移る。

図６のステップＳ４１においては、上述と同様に、画像メモリ８内のモニタ画像を解析し、モニタ画像内に特定被写体(白地で四角形)の領域が含まれているかを検索し、特定被写体領域(書画領域)の有無をチェックする(ステップＳ４２)。 いま、書画領域がモニタ画像内に含まれていれば(ステップＳ４２でＹＥＳ)、最良の状態で撮影された書画情報を含むモニタ画像を最良画像(保存候補)として特定するための最良画像特定処理に移る(ステップＳ４３)。

図７は、この最良画像特定処理を詳述するためのフローチャートである。
先ず、ＣＰＵ１は、現在、画像メモリ８にセットされているモニタ画像内から取り出した文字情報を１文字でも認識することができたか否かを判別する(ステップＳ５１)。 ここで、認識不能であれば(ステップＳ５２でＮＯ)、図５のステップＳ４０に移り、そのときのモニタ画像をカメラ撮影部７から取得して画像メモリ８にセットした後に、何らかの操作有無をチェックするが(ステップＳ３４)、文字認識の結果、正常認識することができた場合には(ステップＳ５２でＹＥＳ)、画像メモリ８内のモニタ画像をワークメモリ３内の第２メモリ(図示せず)に待避しておく(ステップＳ５３)。 そして、上述したワークメモリ３内の第１メモリ内のモニタ画像を読み出し、このモニタ画像内に含まれている全ての文字を文字認識すると共にその認識精度(以下、第１認識精度と呼ぶ)を算出する (ステップＳ５４)。 同様に、ワークメモリ３内の第２メモリ内のモニタ画像を読み出し、このモニタ画像内に含まれている全ての文字を文字認識すると共にその認識精度(以下、第２認識精度と呼ぶ)を算出する(ステップＳ５５)。 そして、第１認識精度と第２認識精度とを比較して精度の高い方を特定する(ステップＳ５６)。

この場合、第１認識精度＜第２認識精度であれば(ステップＳ５７でＹＥＳ)、第２メモリ内のモニタ画像は、第１メモリ内のモニタ画像に比べて書画情報の撮影状態が良いと判断し、この第２メモリ内のモニタ画像を現時点における最良画像として第１メモリに転送してその内容を書き換えることによって最良画像を更新する(ステップＳ５８)、第２メモリの内容をクリアする(ステップＳ５９)。 また、第１認識精度≧第２認識精度であれば(ステップＳ５７でＮＯ)、第１メモリ内のモニタ画像は、第２メモリ内のモニタ画像に比べて書画情報の撮影状態が良いと判断し、第１メモリ内のモニタ画像を最良画像として保持したまま第２メモリの内容をクリアする(ステップＳ５９)。

以下、図５のステップＳ４０に移り、そのときのモニタ画像をカメラ撮影部７から取得して画像メモリ８にセットした後、何らかの操作有無をチェックし(ステップＳ３４)、ズーム操作が行われるごとに(ステップＳ３５)、その操作に応じてズーム駆動を制御すると共に(ステップＳ３６)、そのときのモニタ画像をカメラ撮影部７から取得して画像メモリ８にセットした後(ステップＳ３７)、図６のステップＳ４１に移り、上述の動作を繰り返す。 この結果、第１認識精度＜第２認識精度の条件が成立するごとに、第１メモリ内の最良画像の更新が行われる(ステップＳ５８)。

このようにして最良画像を更新している場合に、ズーム倍率あるいは撮影方向の変化などによってモニタ画像内に特定被写体である白地の四角形が含まれなくなった際には(図６のステップＳ４２でＮＯ)、第１メモリ内の最良画像を読み出してモニタ画面に表示出力させると共に(ステップＳ４４)、当該最良画像を自動保存するか否かを問い合わせるメッセージを表示出力させる(ステップＳ４５)。 ここで、最良画像の自動保存を指示するＯＫ操作が行われた場合には(ステップＳ４６でＹＥＳ)、第１メモリ内の最良画像を実撮影の書画画像として記録メディア４に記録保存した後に(ステップＳ４７)、第１メモリ内の最良画像をクリアする処理を行うが(ステップＳ４８)、最良画像の自動保存が指示されなければ(ステップＳ４６でＮＯ)、図５のステップ４０に移り、そのときのモニタ画像をカメラ撮影部７から取得して画像メモリ８にセットした後に、何らかの操作有無をチェックする(ステップＳ３４)。 以下、書画モードからノーマルモードに切り換えられるまで上述の動作が実行される。

以上のように、この第１実施例のデジタルカメラにおいてＣＰＵ１は、カメラ撮影部７を制御して書画情報の撮影条件をその変更操作に応じて調整するほか、書画情報の撮影時にカメラ撮影部７からのモニタ画像を逐次取得しながら画像解析を行ってモニタ画像毎に書画情報内の文字を認識してその精度を算出し、モニタ画像毎に得られた文字認識精度を比較することによって最良の状態で撮影された書画情報を特定すると共に、この書画情報を含むモニタ画像を保存候補として特定するようにしたから、書画情報を撮影対象とする際に、そのときの撮影条件を慎重にマニュアル調整しなくても、書画情報を最良状態で撮影した画像を保存候補として特定することができ、たとえ、サイズが異なる各種の文字が混在しているような場合でも、全ての文字が明瞭に写っている画像を保存候補とすることが可能となり、最良画像を記録保存することが可能となる。

この場合、ＣＰＵ１は、現時点において最良画像として特定されたモニタ画像をワークメモリ３内の第１メモリに一時保持しておき、今回の新たなモニタ画像を第２メモリに一時保持し、この第１メモリ内のモニタ画像に含まれている書画情報の文字認識精度と第２メモリ内のモニタ画像に含まれている書画情報の文字認識精度とを比較し、今回のモニタ画像の文字認識精度の方が良ければ、今回のモニタ画像を最良画像として１メモリの内容を書き換えることによって最良画像を更新する動作を繰り返すようにしたから、モニタ画像の全て一時保持しておかなくても、現時点で最良画像として特定された画像のみを保持しておくだけで足り、作業用メモリの容量増大を防ぐことが可能となると共に、次ぎのモニタ画像を取得するまでの間に最良画像を更新する処理することができ、最良画像を特定する処理を効率良く行うことが可能となる。

また、最良画像が保存候補として特定された際に、この保存候補をモニタ画面とは別の画面に案内表示するようにしたから、撮影者にあっては、現時点における最良画像とモニタ画像とを見比べることができ、必要に応じてズーム調整を行うことができる。 また、モニタ画像を解析することによってモニタ画像内から書画領域が外れたか否かを認識し、モニタ画像内から書画領域が外れた時点において最良画像を保存対象として確定して記録メディア４に記録することが可能となる。 この場合、最良画像が案内表示されている状態において、撮影者から画像記録を指示するためのＯＫ操作が行われた際、この保存候補を記録メディア４に記録するようにしたから、撮影者が希望する画像を記録することができる。
（実施例２）

以下、この発明の第２実施例について図８および図９を参照して説明する。
なお、上述した第１実施例においては、モニタ画像毎に書画情報内の文字を認識してその精度を算出し、モニタ画像毎に得られた文字認識精度を比較することによって最良画像を特定するようにしたが、この第２実施例においては、最良画像の特定を各モニタ画像内の書画領域の大きさを算出しながらそのサイズ比較を行うことによって特定するようにしたものである。
ここで、両実施例において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施例の特徴部分を中心に説明するものとする。

図８〜図９は、第２実施例の特徴的な動作を示したフローチャートであり、上述した図３〜図７のうち、図８は、図４に代わるフローチャートであり、また、図９は、図７に代わるフローチャートであり、その他の図３、図５、図６は、上述した第１実施例と基本的に同様であるために、以下、図８、図９に示すフローチャートを参照して第２実施例の特徴部分を説明するものとする。
先ず、ＣＰＵ１は、ノーマルモードから書画モードに切り換えられた際、上述した第１実施例と同様、書画モードに切り換えたときのモニタ画像をカメラ撮影部７から取得して画像メモリ８にセットすると共に(図８のステップＳ６１)、この画像メモリ８内のモニタ画像を解析し、モニタ画像内に特定被写体(白地で四角形)の領域が含まれているかを検索し(ステップＳ６２)、特定被写体領域(書画領域)の有無をチェックする(ステップＳ６３)。

ここで、モニタ画像内に書画領域が含まれていなければ(ステップＳ６３でＮＯ)、モードの切り換え有無をチェックし(ステップＳ６４)、書画モードからノーマルモードに切り換えられた際には、図３のステップＳ２に戻るが、モード切り換えが行われなかった場合には、ステップＳ６１に戻り、そのときのモニタ画像をカメラ撮影部７から取得して画像メモリ８にセットする。 いま、モニタ画像内に書画領域が含まれていれば(ステップＳ６３でＹＥＳ)、図５のステップＳ３１に移り、上述した第１実施例と同様、画像メモリ８内のモニタ画像を第１メモリに待避しておく。 そして、モニタ画像をカメラ撮影部７から取得して画像メモリ８にセットすると共に(ステップＳ３２)、この画像メモリ８内のモニタ画面に表示出力させるほか、第１メモリ内の画像をモニタ画面とは別の第２画面に表示出力させる(ステップＳ３３)。 この状態において、ズーム操作が行われた場合には(ステップＳ３５でＹＥＳ)、その操作に応じてズーム駆動を制御すると共に(ステップＳ３６)、そのときのモニタ画像をカメラ撮影部７から取得して画像メモリ８にセットした後(ステップＳ３７)、図６のステップＳ４１に移り、モニタ画像内に書画領域が含まれていることを条件に、最良画像特定処理に移る(ステップＳ４３)。 この場合の最良画像特定処理は、図９のフローチャートによって実行される。

先ず、ＣＰＵ１は、現在、画像メモリ８内のモニタ画像をワークメモリ３内の第２メモリに待避した後(ステップＳ７１)、第１メモリ内のモニタ画像を読み出し、このモニタ画像内の書画領域のサイズ (以下、第１サイズと呼ぶ)を算出する(ステップＳ７２)。 同様に、ワークメモリ３内の第２メモリ内のモニタ画像を読み出し、このモニタ画像内の書画領域のサイズ (以下、第２サイズと呼ぶ)を算出する(ステップＳ７３)。 そして、第１サイズと第２サイズとを比較してサイズの大きい方を特定する(ステップＳ７４)。

この場合、第１サイズ＜第２サイズであれば(ステップＳ７５でＹＥＳ)、第２メモリ内のモニタ画像は、第１メモリ内のモニタ画像に比べて書画情報の撮影状態が良いと判断し、この第２メモリ内のモニタ画像を現時点における最良画像として第１メモリに転送してその内容を書き換えると共に(ステップＳ７６)、第２メモリの内容をクリアする(ステップＳ７７)。 また、第１サイズ≧第２サイズであれば(ステップＳ７５でＮＯ)、第１メモリ内のモニタ画像は、第２メモリ内のモニタ画像に比べて書画情報の撮影状態が良いと判断し、第１メモリ内のモニタ画像を最良画像として保持したまま第２メモリの内容をクリアする(ステップＳ７７)。

以下、図５のステップＳ４０に移り、そのときのモニタ画像をカメラ撮影部７から取得して画像メモリ８にセットした後、ズーム操作が行われるごとに(ステップＳ３５)、その操作に応じてズーム駆動を制御すると共に(ステップＳ３６)、そのときのモニタ画像をカメラ撮影部７から取得して画像メモリ８にセットした後(ステップＳ３７)、図６のステップＳ４１に移り、上述の動作を繰り返す。 この結果、第１サイズ＜第２サイズの条件が成立するごとに、第１メモリ内の最良画像の更新が行われる。

以上のように、この第２実施例においては、上述した第１実施例と同様の効果を有するほか、ＣＰＵ１は、モニタ画像を解析することによって書画情報の撮影状態を認識する際に、モニタ画像内の書画領域のサイズを書画情報の撮影状態として認識し、書画領域のサイズを比較することによって最良状態で撮影された書画情報を特定するようにしたから、書画領域のサイズを基準として最良画像の特定が可能となる。

なお、上述した第１および第２実施例においては、モニタ画像内の書画領域を特定する際に、予め設定されている名刺、葉書き、カタログ、ホワイトボードなどの形状特性(たとえば、四角形)、背景色を参照し、この形状特性、背景色に合致する画像部分を書画領域として特定するようにしたが、領域の形状、その背景色に限らず、たとえば、領域の構成特性などを書画領域の特徴情報として設定するようにしてもよい。

また、上述した第１実施例においては、書画領域を特定する際に、形状特性と共に、その形状領域内に文字情報が含まれているか否かを判別するようにしたが、書画情報は、文字情報に限らず、記号、図形、写真等の画像等であってもよい。
上述した第１および第２実施例においては、最良画像が案内表示されている状態において、書画情報の撮影時にズーム調整操作を行うようにしたが、露出調整、撮影方向の調整操作がれる毎に、最良画像を特定するようにしてもよい。

上述した第１および第２実施例においては、最良画像をそのまま記録メディアに記録するようにしたが、書画領域内から所定の画像情報を抽出するフィルタリング処理を実行すると共に、抽出した画像情報を鮮明に読み取れるようにその色合いを補正する色調補正処理を実行するようにしてもよい。 さらに、上述した各実施例においては、商談会、報告会、審議会などでの各種の資料、名刺、葉書き、カタログ、ホワイトボードなどを撮影対象とするビジネスミーティング用の携帯型書画カメラに適用した場合を示したが、プロジェクターのオプションとして、その書画台にアームを介して取り付けた書画カメラであってもよい。 この場合、プロジェクターから書画カメラを取り外し可能として、ホワイトボードなどを撮影可能としてもよく、また、ビジネスミーティング用に限らず、一般用など、任意の用途にも適用可能であることは勿論である。

一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（たとえば、ＣＤ−ＲＯＭ、フレキシブルディスク、ＲＡＭカード等）を提供するようにしてもよい。 すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、書画情報の撮影条件をその変更操作に応じて調整する機能と、書画情報の撮影時にモニタ画像を逐次取得しながら画像解析を行ってモニタ画像毎に書画情報の撮影状態を認識する機能と、この認識手段によってモニタ画像毎に認識された書画情報の各撮影状態を比較することによって最良の状態で撮影された書画情報を特定すると共に、この書画情報を含むモニタ画像を保存候補として特定する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。

電子カメラの全体構成の概要を示したブロック図。

カメラ撮影部７の詳細な構成を示した図。

撮影スイッチがオン操作された際に実行開始されるデジタルスチルカメラの全体動作を示したフローチャート。

図３に続く、デジタルスチルカメラの全体動作を示したフローチャート。

図４に続く、デジタルスチルカメラの全体動作を示したフローチャート。

図５に続く、デジタルスチルカメラの全体動作を示したフローチャート。 。

図６で示した最良画像特定処理を詳述するためのフローチャート。

第２実施例において、図４に代わるフローチャート。

第２実施例において、図７に代わる最良画像特定処理の示したフローチャート。

符号の説明

１ ＣＰＵ
２ 記憶部 ４ 記録メディア ５ 操作部 ６ 表示部 ７ カメラ撮影部 ８ 画像メモリ ７２ 撮影制御部 ７３ 撮像処理部 ＳＴ シャッターボタン ＭＤ モードボタン