【発明の詳細な説明】

【０００１】

【産業上の利用分野】本願発明は撮影者の視線を検出する視線検出手段を備えたビデオカメラに関するものである。

【０００２】

【従来の技術】従来、撮影画像を表示するビューファインダを備えるビデオカメラにおいて、撮影者が撮影中に各種機能の入力を行おうとする際には、前記ビューファインダを覗きながら機能入力（スイッチ）等の操作を行わなければならなかった。

【０００３】また、各種機能のスイッチを確認しながら操作するためには一度前記ビューファインダから目を離さなければならず、撮影画面が乱れたり被写体を見失ったりする可能性がある。

【０００４】更に、近年ユーザー用途の多様化などでビデオカメラに付随する各種機能は増加する傾向にある。

【０００５】このような背景を鑑みれば、ビューファインダを覗いている撮影者の視線を検出し、機能入力に応用すれば、ビューファインダから目を離すこと無く、容易に機能入力を行うことが可能となる。

【０００６】観察者が観察面上のどの位置を観察しているかを検出するいわゆる視線（視軸）を検出する装置は既に提案されている。

【０００７】例えば、特開昭６１−１７２５５２号公報においては、光源からの平行光束を観察者の眼球の前眼部へ投射し、角膜からの反射光による角膜反射像と瞳孔の結像位置を利用して視軸を求めている。

【０００８】図８及び図９は視線検出方法の原理説明図で、図８は視線検出光学系の概略図、図９は図８の光電素子列６からの出力信号の強度図である。

【０００９】図８において、５は観察者に対して不感の赤外光を放射する発光ダイオードなどの光源であり、投光レンズ３の焦点面に配置されている。

【００１０】光源５より発光した赤外光は投光レンズ３
により平行光となりハーフミラー２で反射し、眼球２０
１の角膜２１を照明する。

【００１１】この時、角膜２１の表面で反射した赤外光の一部による角膜反射像ｄはハーフミラー２を透過し受光レンズ４により集光され光電素子列６上の位置Ｚｄ'
に再結像する。

【００１２】また、虹彩２３の端部ａ，ｂからの光束はハーフミラー２、受光レンズ４を介して光電素子列６上の位置Ｚａ'，Ｚｂ'に該端部ａ，ｂの像を結像する。

【００１３】受光レンズ４の光軸（光軸ア）に対する眼球の光軸イの回転角θが小さい場合、虹彩２３の端部ａ，ｂのＺ座標をＺａ，Ｚｂとすると、虹彩２３の中心位置ｃの座標Ｚｃは Ｚｃ≒（Ｚａ＋Ｚｂ）／２ と表される。

【００１４】また、角膜反射像の発生位置ＤのＺ座標をＺｄ、角膜２１の曲率中心Ｏと虹彩２３の中心Ｃまでの距離をＯＣとすると眼球光軸イの回転角θは、 ＯＣ×ｓｉｎθ≒Ｚｃ−Ｚｄ ・・・（１） の関係式を略満足する。

【００１５】ここで、角膜反射像の位置ｄのＺ座標Ｚｄ
と角膜２１の曲率中心ＯのＺ座標Ｚとは一致している。
このため演算手段９において、図９に示すごとく光電素子列６面上に投影された各特異点（角膜反射像ｄ及び虹彩の端部ａ，ｂ）の位置を検出することにより眼球光軸イの回転角θを求めることができる。 この時、（１）式は、 β×ＯＣ×ｓｉｎθ≒（Ｚａ'＋Ｚｂ'）／２−Ｚｄ' ・・・（２） と書き換えられる。

【００１６】但し、βは角膜反射像の発生位置ｄと受光レンズ４との距離Ｌ１と受光レンズ４と光電素子列６との距離Ｌ０で決まる倍率で、通常略一定の値となっている。

【００１７】以上、説明したような視線（視軸）検出装置をビデオカメラの動作制御等に利用すれば、操作性を向上させた使い勝手が良いビデオカメラを実現できる。

【００１８】

【発明が解決しようとしている課題】しかしながら、ビューファインダ画面における撮影者の視線情報をビデオカメラの制御に利用する場合、視線検出用光電素子が、
視線検出用赤外光による眼球の反射像である映像信号以外にビューファインダ光による眼球の反射像である映像信号をも検出してしまい、結果的にＳ／Ｎ比が低下してしまい、視線検出の精度も低下するという問題がある。

【００１９】特に、撮影被写体の中に強力な赤外光（例えば、太陽等）が含まれていた場合は、図１０中に示すように光電素子列の出力にノイズとして顕著に表れて、
視線検出精度を低下させる。

【００２０】本願発明は斯かる背景下に於て、ビューファインダ光による視線検出用光電素子へのノイズ混入を防止することができ、より検出精度の高い視線検出手段を備えるビデオカメラを提供することを目的とする。

【００２１】

【課題を解決するための手段】本願発明に係るビデオカメラは、撮影画像等を電気的に表示するビューファインダを備えるビデオカメラであって、前記ビューファインダの画面における撮影者の視線位置を検出する視線検出手段を有し、前記ビューファインダの表示手段が発する光の分光特性を前記視線検出手段に属する視線検出用照明手段が発する光に影響を与えない分光特性としたことを特徴とするものである。

【００２２】

【作用】本願発明のビデオカメラによれば、ビューファインダの画面における撮影者の視線位置を検出する視線検出手段を有し、前記ビューファインダの表示手段が発する光の分光特性を前記視線検出手段に属する視線検出用照明手段が発する光に影響を与えない分光特性としたことにより、視線検出用光電素子より出力される出力信号に含まれていたビューファインダ光によるノイズを除去することができ、視線検出精度を高めることができる。

【００２３】

【実施例】以下、本願発明の実施例にかかるビデオカメラを図１〜７を用いて詳細に説明する。

【００２４】図１は第１の実施例にかかるビデオカメラの要部ブロック図である。

【００２５】図１において、１は接眼レンズで、その内側には可視光透過・赤外光反射のハーフミラー（ダイクロイックミラー）１０が斜設されており、光路分割器を兼ねている。

【００２６】４は受光レンズ、５は例えば発光ダイオードからなる照明手段、６は光電素子列、受光レンズ４と光電素子列６とは受光手段の一要素を構成している。 前記光電素子列６は通常、図面垂直方向に一次元的に複数の光電素子が並んだデバイスを使うが、必要に応じて２
次元に光電素子が並設されたデバイスを使用する。

【００２７】これらの各構成要素１，２，４，５，６，
より撮影者（観察者）の眼球２０１の視線検出系を構成している。

【００２８】１０１は電子ビューファインダ（ＥＶ
Ｆ）、１０２は白黒の小型ブラウン管を用いた前記ＥＶ
Ｆ１０１のファインダ画面を示す。

【００２９】本実施例では、ファインダ画面１０２に映し出される映像は、接眼レンズ１を介してアイポイントＥに導かれる。

【００３０】本実施例にかかる視線検出手段は、各構成要素１，２，４，５，６で表された各要素部材より構成された前記視線検出系と、演算手段である注視点位置処理回路１０９に含まれる眼球光軸検出回路、眼球判別回路、視軸補正回路、注視点検出回路等から構成されている。

【００３１】前記視線検出系において、赤外発光ダイオード（ＩＲＥＤ）５から放射される赤外光は、アイポイントＥ近傍に位置する観察者の眼球２０１を照明する。

【００３２】また、眼球２０１で反射した赤外光は、ハーフミラー２で反射され受光レンズ４によって収斂しながら光電素子列６上に像を形成する。

【００３３】また、前記注視点位置処理回路１０９は光電素子列６より出力される信号に基づいてマイクロコンピュータのソフトウエアで注視点検出を実行する。

【００３４】また、１０３は映像信号処理回路１０６より出力される映像信号に注視点位置処理回路１０９より出力される注視点情報の表示をミックスするための注視点表示処理回路、１０５は記録媒体に記録する記録用信号を作成するための記録回路、１０６はＣＣＤ（撮像素子）１１０の撮像を所定の映像信号に変換するための映像信号処理回路である。

【００３５】１０７は露出制御を行うＡＥ回路、１０８
はＡＦ制御を行うＡＦ回路、１１３はフォーカスモータ、１１０は撮像用ＣＣＤ、１１１はレンズの絞り、１
１２はレンズ群を示す。

【００３６】ここで、レンズ群１１２を通じて得られた映像は、絞り１１１を介してＣＣＤ１１０に撮像される。

【００３７】前記ＣＣＤ１１０より出力された信号は、
映像信号処理回路１０６を通して記録回路１０５へ送られる。

【００３８】また、ＣＣＤ１１０から得られた出力信号は、ＡＥ回路１０７及びＡＦ回路１０８へ入力され、それぞれ映像のエッジ検出及び明るさ検出を行い、ＡＦモータ１１３及び絞り１１１を制御する。

【００３９】一方、映像信号処理回路１０６の出力信号は注視点表示処理回路１０３にて注視点位置とミックスされた後、ＥＶＦ１０１のファインダ画面１０２に表示される。

【００４０】更に、後述する方法により注視点位置処理回路１０９から得られた情報は、注視点表示処理回路１
０３へ送られると共に、ＡＥ回路１０７，ＡＦ回路１０
８へも伝送され、注視点近傍をＡＥ／ＡＦを行うエリアとして処理する。

【００４１】ここで、本願発明の実施例である撮影者（観察者）の視線（注視点）位置検出方法を詳細に、図１〜図５を用いて説明する。

【００４２】図２に、図１の視線検出系の要部斜視図、
また図３（Ａ），（Ｂ）に、視線検出系の光学原理図を示す。

【００４３】照明用の赤外発光ダイオード５ａ，５ｂ，
５ｃは、カメラと観察者の眼球との距離を検出するために２個一組で使用され、カメラの姿勢に応じて赤外発光ダイオード５ａ，５ｂで横位置、赤外発光ダイオード５
ｂ，５ｃで縦位置の検出を行っている。

【００４４】尚、図２及び図３にはカメラの姿勢検知手段は図示されていないが、水銀スイッチ等を利用した姿勢検知手段が有効である。

【００４５】赤外発光ダイオード５ａ，５ｂは受光レンズ４の光軸（Ｘ軸）に対して光電素子列６の列方向（Ｚ
軸方向）及びこの列方向と直交する方向にシフトした位置に配置されている。

【００４６】図３（Ａ）において、光電素子列６の列方向（Ｚ軸方向）に分離して配置された赤外発光ダイオード５ａ，５ｂからの光束はＺ軸方向に分離した位置に角膜反射像ｅ，ｄをそれぞれ形成する。

【００４７】この時、角膜反射像ｅ及びｄの中点のＺ座標は角膜２１の曲率中心ＯのＺ座標と一致している。

【００４８】また、角膜反射像ｅ及びｄの間隔は赤外発光ダイオードと観察者の眼球との距離に対応して変化するため、光電素子列６上に再結像した角膜反射像の位置ｅ'，ｄ'を検出することにより眼球からの反射像の結像倍率βを求めることが可能となる。

【００４９】また、図３（Ｂ）において、光電素子列６
の列方向と直交する方向に配置された赤外発光ダイオード５ａ、不図示の５ｂは観察者の眼球を斜め上から照明することになり、そのため観察者の眼球が垂直方向（Ｘ
−Ｙ平面内）に回転していない場合は角膜反射像ｅ（ｄ
は不図示）は角膜の曲率中心及び瞳孔の中心よりも図中＋Ｙ方向に形成される。

【００５０】図４（Ａ）は、本実施例において光電素子列６の複数の光電素子列面上に投影された眼球からの反射像を示す説明図で、光電素子列６上に投影された眼球からの反射像を示したものである。 同図において角膜反射像ｅ'，ｄ'は光電素子列Ｙｐ'上に再結像している。 この時光電素子列Ｙｐ'より得られる出力信号を図４（Ｂ）に示す。

【００５１】次に、本実施例における視線検出動作を図５のシーケンスフローチャートを用いて説明する。

【００５２】まず、ステップＳ１では注視点位置処理回路１０９に含まれる眼球光軸検出回路において眼球光軸の回転角が検出される。

【００５３】次いで光電素子列６の像信号の読み出しを図４（Ａ）で示す−Ｙ方向より順次行い、角膜反射像ｅ'，ｄ'が形成される光電素子列（ライン）Ｙｐ'を検出する。

【００５４】次にステップＳ２では、角膜反射像ｅ'，
ｄ'の列方向の発生位置Ｚｄ'，Ｚｅ'を検出する。

【００５５】ステップＳ３では、この角膜反射像の間隔｜Ｚｄ'−Ｚｅ'｜より光学系の結像倍率βを求める。

【００５６】更に次のステップＳ４で、この光電素子列（ライン）Ｙｐ'上に虹彩２３と瞳孔２４との境界点Ｚ
２ａ'，Ｚ２ｂ'を検出し、ステップＳ５でこの光電素子列Ｙｐ'上の瞳孔長｜Ｚ２ａ'−Ｚ２ｂ'｜を算出する。

【００５７】次にステップＳ６に進み、図４（Ａ）に示すように通常、角膜反射像が形成される光電素子列Ｙ
ｐ'は瞳孔中心Ｃ'の存在する光電素子列ＹＯ'より図中−Ｙ方向に発生し、像信号の読み出しを行うべきもう一つの光電素子列Ｙ１'は前記結像倍率β及び瞳孔長の値より算出される。 この時、上記光電素子列Ｙ１'は光電素子列Ｙｐ'に対して十分な間隔を有するように設定される。

【００５８】同様に、ステップＳ７で光電素子列Ｙ１'
上の虹彩２３と瞳孔２４との境界点Ｚ１ａ'，Ｚ１ｂ'
が検出されると、これら境界点（Ｚ１ａ'，Ｙ１'），
（Ｚ１ｂ'，Ｙ１'）及び前記境界点（Ｚ２ａ'，Ｙ
２'），（Ｚ２ｂ'，Ｙ２'）のうち少なくとも３点を用いて瞳孔の中心位置Ｃ'（Ｚｃ'，Ｙｃ'）が求められる。

【００５９】更にステップＳ８では眼球光軸の回転角を算出する。 つまり前記角膜反射像の位置（Ｚｄ'，Ｙ
ｐ'），（Ｚｅ'，Ｙｐ'）を用いて前記（２）式を変形すると眼球光軸の回転角θｚ，θｙは、 β×ＯＣ×ｓｉｎθｚ≒Ｚｃ'−（Ｚｄ'＋Ｚｅ'）／２ ・・・（３） β×ＯＣ×ｓｉｎθｙ≒Ｙｃ'−Ｙｐ'＋δＹ' ・・・（４） を満足する。

【００６０】ただしδＹ'は赤外発光ダイオードが受光レンズ４に対して光電素子列６の列方向と直交する方向に配置されていることにより、角膜反射像の再結像位置ｅ'，ｄ'が光電素子列６上で角膜２１の曲率中心のＹ
座標に対してＹ軸方向にシフトしている分を補正する値である。

【００６１】更に、ステップＳ９では注視点位置処理回路１０９に含まれる眼球判別回路においては、例えば算出される眼球光軸の回転角の分布よりビューファインダ１０１を覗いている観察者の目が右目か左目かを判別する。

【００６２】更にステップＳ１０で視軸補正回路において該眼球判別情報と前記眼球光軸の回転角に基づいて視軸の補正が行われる。 また注視点検出回路においては、
ステップＳ１１でファインダ光学系の光学定数に基づいて注視点を算出する。

【００６３】以下では、本願発明の主眼をなすファインダ画面１０２について説明する。

【００６４】図４は、白黒の小型ブラウン管の表示手段を用いたファインダ画面１０２に関する分光特性及び赤外発光ダイオード５が発する光の分光特性を示す。

【００６５】図４において、一般に、赤外発光ダイオード５は波長８００ｎｍ〜１０００ｎｍの間にゲインのピーク値がある。

【００６６】本実施例に用いたファインダ画面１０２
は、図４に示されているように波長７００ｎｍ以下にゲインが急激に上がる分布を持つ分光特性を有するものである。

【００６７】従って、本実施例に用いたファインダ画面１０２は、例えば、太陽光のような赤外強度の強い被写体を撮影したとしても、ファインダ画面１０２には赤外光（つまり、波長８００ｎｍ〜１０００ｎｍ間にゲインのピーク値がある光）として表れないため、赤外ノイズとして光電素子列６の出力信号に混入することなく、視線検出精度を高める。

【００６８】尚、本実施例では白黒の小型ブラウン管を用いたファインダ画面に限るものではなく、カラー液晶等を用いたファインダ画面でもよく、上述のように赤外発光ダイオード５の光に影響を与えない分光特性を有すればよい。

【００６９】例えば、図５に赤外発光ダイオード５の光に影響を与えないカラー液晶を用いたファインダ画面１
０２が発する光の分光特性及び前記赤外発光ダイオード５が発する光の分光特性を示す。

【００７０】前記カラー液晶を用いたファインダ画面１
０２の発する光の分光特性は、波長７００ｎｍ以下にゲインが急激に上がる分布を持つものである。

【００７１】従って、上述した白黒の小型ブラウン管を用いたファインダ画面と同様に、赤外発光ダイオード５
の発する光に影響を与えていない。

【００７２】よって、前記カラー液晶を用いたファインダ画面の光が赤外ノイズとして光電素子列６に混入することはなく、視線検出精度を高めることができる。

【００７３】

【発明の効果】以上説明したように、上記発明によればビューファインダの表示手段が発する光の分光特性を視線検出手段に属する視線検出用照明手段が発する光に影響を与えない分光特性としたことにより、ビューファインダ光に赤外光が含まれなくなり、視線検出用光電素子の出力信号に混入していた赤外ノイズを除去することができ、より検出精度の高い視線検出を可能にしたビデオカメラを提供することができる。

【図面の簡単な説明】

【図１】本実施例に係るビデオカメラの要部ブロック図である。

【図２】図１の視線検出系の要部斜視図である。

【図３】図２の光学原理図である。

【図４】本実施例に係る光電素子列上の反射象を説明する図である。

【図５】本実施例に係る視線検出方法のシーケンスフローチャートである。

【図６】本実施例のビューファインダ画面及び赤外発光ダイオードの分光特性図である。

【図７】本実施例のビューファインダ画面及び赤外発光ダイオードの分光特性図である。

【図８】視線検出光学系の概略図である。

【図９】図８の光電素子列からの出力信号の強度図である。

【図１０】光電素子列のノイズの混入した出力信号の強度図である。

【符号の説明】

１ 接眼レンズ ２ ハーフミラー ４ 受光レンズ ５ 照明手段 ６ 光電素子列 １０１ 電子ビューファインダ １０２ ファインダ画面 １０３ 注視点位置表示回路 １０９ 注視点位置処理回路