本発明は、撮像装置において、撮影した画像から目を瞑っている顔を検出して警告を表示する場合の、表示制御技術に関する。

顔検出機能を持つデジタルカメラにおいて、撮影した画像に写された被写体が目を瞑っていることに起因する失敗画像を低減する技術として、目瞑り検出機能が知られている。

目瞑り検出機能では、まず、撮影画像に対して顔の検出を行う。 そして、顔が検出されると、検出された顔に対して、目を瞑っているかどうか（目瞑りかどうか）の判別を行う。 目を瞑っている顔が発見された場合、ユーザに対して画像の確認と再撮影を促す警告表示を行う（例えば、特許文献１を参照）。

この警告表示を行う目的は、目瞑り検出機能により目瞑りが発見された画像が、再撮影が必要な画像であるかどうかの判断をユーザの目視による確認に委ねることであり、ユーザはＬＣＤなどの表示器に表示された画像を目視して判断することができる。

警告表示する時間が長すぎると、次の撮影へスムーズに移行することができず使用感を損なってしまうことがある一方で、警告表示する時間が短すぎると、目視による確認に支障をきたす可能性があった。

一般的に、撮影後のレビュー表示時間や警告の表示時間は、デジタルカメラ内で予め設定された秒時もしくはメニュー画面等によってユーザが設定可能な秒時に従う方法が一般的である。 しかしながら、予め設定された秒時に従って表示を行うと、被写体の人数が少なく、目瞑り確認が容易な場合は表示が冗長になる懸念があり、逆に被写体の人数が多く、顔のサイズが小さい場合などでは、十分な確認時間が得られないことがあった。

本発明は上記問題点を鑑みてなされたものであり、デジタルカメラが目瞑り警告を表示した画像で、被写体をユーザが目視によって確認する場合に、ユーザが判断を行うために必要十分な時間、警告表示を行うことを目的とする。

上記目的を達成するために、本発明の撮像装置は、撮像手段により撮影された画像から、顔を検出する顔検出手段と、前記顔検出手段により検出された顔の内、目を瞑っている顔を検出する目瞑り検出手段と、前記目瞑り検出手段により目を瞑っている顔が検出された場合に、予め設定された時間、警告を表示する表示手段と、前記顔検出手段によって検出された顔、および、前記目瞑り検出手段によって検出された目を瞑っている顔の少なくともいずれかに関する情報に応じて、前記警告を表示する時間を、前記予め設定された時間から変更するように前記表示手段を制御する制御手段とを有する。

本発明によれば、デジタルカメラが目瞑り警告を表示した画像で、被写体をユーザが目視によって確認する場合に、ユーザが判断を行うために必要十分な時間、警告表示を行うことができる。

第１の実施形態に係るデジタルカメラの構成を示すブロック図。

第１の実施形態で利用可能な顔検出技術を説明するための図。

目瞑り警告の表示例を示す図。

第２の実施形態に係るデジタルカメラの構成を示すブロック図。

第２の実施形態に係る目瞑り警告の表示時間を決定する手順を示すフローチャート。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は本発明の第１の実施形態における目瞑り検出機能を有するデジタルカメラの概略構成を示すブロック図である。

本第１の実施形態におけるデジタルカメラは、光学系１、撮像素子２、画像処理回路３を持ち、光学系１によって結像された光は撮像素子２によって電気信号へと変換され、更に、画像処理回路３によって画像データへと変換される。 得られた画像データは記録部８に保存されると共に、顔検出部４にて顔検出が行われる。 顔検出部４における顔検出は、例えば多層神経回路網またはサポートベクターマシンによるパターン検出など、公知の顔検出技術を用いることで実現できる。

ここで、第１の本実施形態に適用可能な顔検出技術の一例について、図２を参照して説明する。 この例では、階層的な処理によって顔検出が行われ、入力画像は、低次特徴検出層３００、中次特徴検出層３０１、目・口検出層３０２および顔検出層３０３に順番に処理されて最終的に顔が検出される。

低次特徴検出層３００は、画像中のエッジ特徴を検出する層である。 中次特徴検出層３０１は、目頭のコーナーライクな特徴や、まぶたあるいは唇の線分エッジを検出する層である。 目・口検出層３０２は、目または口といった高次特徴を検出する層である。 最後に、顔検出層３０３が、目および口の検出結果から、顔を検出する。

目瞑り検出部５は、上述したようにして顔検出部４より顔が検出された場合に、検出された顔が目を瞑っているかどうかを判別する。 例えば目開きは、顔領域中の白目または黒目の部分を検出したり、あるいは、目の上下まぶたをエッジ探索により検出し、まぶたの開度より目開きを検出することができる。 逆に、目開きでない場合には目瞑りであると考えられるので、目開きの検出を利用して目瞑りを検出することができる。

目を瞑っている顔が一つ以上検出された場合、警告表示制御部６は顔検出部４から得られる複数の顔情報と、目瞑り検出部５から得られる目を瞑っている顔の情報を元に、後述する手順によって目瞑りの警告を表示する警告表示時間を決定する。 そして、表示部７に、図３に示すような警告を表示させる。

次に、本第１の実施形態における警告表示制御部６による目瞑りの警告表示時間を決定する動作について、詳細に説明する。 警告表示制御部６は、以下のａ）ないしｃ）に記載した条件の少なくともいずれかの条件によって、警告表示時間を変更する。

ａ）目瞑りが検出された人数ｘを元に、警告表示時間Ｔを算出する。 目瞑りが検出された人数ｘが所定の人数ｙ（第１の閾値）以下である場合（ｘ≦ｙ）、警告時間表示Ｔを時間ｔに設定する。 この時間ｔはデジタルカメラによって予め決定されている時間であっても、ユーザによって選択される時間であっても良い。 反対に、目瞑りが検出された人数ｘが所定の人数ｙを上回っていた場合（ｙ＜ｘ）、目瞑りが検出された人数に応じて警告表示時間Ｔを次式を用いて算出する。 ここでＫ ₁は係数を表す。

また、上記式を使わずに、目瞑りが検出された人数ｘによって警告表示時間Ｔを一意に決定することができる参照テーブルを元に警告表示時間Ｔを決定しても良い。

ｂ）顔検出された人数ｚを元に、警告表示時間Ｔを算出する。 顔検出された人数ｚが所定の人数ｕ（第２の閾値）以下である場合（ｚ≦ｕ）、警告時間表示Ｔを上述した時間ｔに設定する。 顔検出された人数ｚが所定の人数ｕを上回っていた場合（ｕ＜ｚ）顔検出された人数ｚに応じて警告画面の表示時間Ｔを次式を用いて算出する。 ここでＫ ₂は係数を表す。

また上記式を使わずに、顔検出された人数ｚによって警告表示時間Ｔを一意に決定することができる参照テーブルを元に警告表示時間Ｔを決定しても良い。

ｃ）目瞑りが検出された顔のサイズｄを元に、警告表示時間Ｔを算出する。 ユーザが目瞑りが検出された顔の確認に時間がかかるのは顔サイズ自体が小さく、判断が行いにくい場合である。 従って、目瞑りが検出された顔のうち、最小の顔サイズのものをd_minとして、d_minが所定のサイズd_th（第３の閾値）より小さい場合、確認が困難であるとみなして次式を用いて警告表示時間Ｔを算出する。 ここでＫ ₃は重み係数を表し、時間ｔはデジタルカメラによって予め決定されている時間であっても、ユーザによって選択される時間であっても良い。

また上記式を使わずに、目瞑りしている顔の内の最小の顔サイズd_minによって警告表示時間Ｔを一意に決定することができる参照テーブルを元に警告表示時間Ｔを決定しても良い。 一方、d_minが所定のサイズd_thより小さくない場合には、警告時間表示Ｔを上述した時間ｔに設定する。

本第１の実施形態によれば、目瞑りが検出された場合の警告表示時間を、顔検出結果及び目瞑り検出結果に応じて適応的に制御することにより、ユーザが目瞑りを警告された顔画像を目視にて判別する上で、必要十分な警告表示時間を提供することができる。 これにより、確認漏れを防ぎつつ、次の撮影への待ち時間を最小にすることができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

図４は本発明の第２の実施形態における目瞑り検出機能を有するデジタルカメラの概略構成を示すブロック図である。

図４に示すデジタルカメラは、上述した図１に示す構成と比較して、撮影設定情報を取得する撮影設定情報取得部１０を有する点と、警告表示制御部６による表示部７への目瞑りの警告表示をする制御が異なる。 それ以外は図１に示す構成と同様であるため、ここでは説明を省略する。

次に、本第２の実施形態における警告表示制御部６による目瞑り警告の表示制御について図５のフローチャートに沿って詳細に説明する。

先ず、警告表示制御部６は撮影設定情報取得部１０から設定中の撮影設定情報を取得する（Ｓ１１）。 そして、現在の撮影モードがセルフタイマモードであった場合（Ｓ１２でＹＥＳ）、警告表示時間Ｔを、所定の時間ｔよりも延長（ｔ＜Ｔ）もしくは、警告表示を保持し続けるように表示部７を制御する（Ｓ１３）。 なお、時間ｔはデジタルカメラによって予め決定されている時間であっても、ユーザによって選択される時間であっても良い。 また、警告表示を延長する場合、警告表示時間Ｔとして、例えば、予め設定された延長時間、所定の時間ｔから延長することができる。 セルフタイマ撮影時にはユーザがカメラから離れていることが考えられるため、ユーザがカメラまで戻る時間を考慮して延長時間を長めに設定しておくことが好ましい。 また、延長された警告表示は、例えばユーザによるボタン入力などの警告表示指示を合図として（Ｓ１４でＹＥＳ）、消去することができる（Ｓ１５）。

上記制御によって、セルフタイマ撮影時に、目瞑り検出機能によって目瞑りが検出されたにも関わらず、ユーザが目瞑りの警告表示を見落としてしまうことを防ぎ、被写体が目を瞑っていた場合に、必要に応じて速やかに再撮影することができる。

一方、撮影モードがセルフタイマモードで無い場合（Ｓ１２でＮＯ）、現在の撮影モードが連写モードであるかどうかを判断する（Ｓ１６）。 連写モードと判断された場合、顔検出部４による顔検出機能と目瞑り検出部５における目瞑り検出機能を停止するか、又は警告表示時間Ｔを０秒に設定し、目瞑り警告を表示しないように表示部７を制御する（Ｓ１７）。

上記制御によれば、連写撮影時に、目瞑り検出機能の動作による連写性能の劣化及び目瞑り警告画面表示によって連写撮影が中断されることを防ぐことができる。

なお、上述したＳ１２の判断とＳ１６の判断は、どちらか一方のみを行うようにしても良い。

また、セルフタイマモードでも連写モードでも無い場合には、上述した第１の実施形態で説明した方法で、警告表示時間を変更するようにしても良い。