技術分野は、撮像素子を備えたカメラ機器を用いて非インバータ方式の蛍光灯照明の下で撮影した場合に画像に生じる、蛍光灯フリッカを検出する技術に関する。

蛍光灯フリッカが発生すると画質が著しく劣化するため、これを低減することが求められ、低減するにはまず蛍光灯フリッカを検出する必要がある。 そこで、画像中の蛍光灯フリッカを検出する方法が提案されている。

特許文献１、２には、受光素子や測光素子を設けて蛍光灯の光量を測定することによりフリッカ成分を推定する方法が示されている。

特許文献３には、「受光素子や測光素子により蛍光灯の光量を測定することによってフリッカ成分を推定する方法は、撮像装置に受光素子や測光素子を付加するので、撮像装置システムのサイズやコストが増大する。…そこで、この発明は、受光素子などを用いることなく、簡単な信号処理のみによって、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子に固有の蛍光灯フリッカを、被写体や映像信号レベルおよび蛍光灯の種類などにかかわらず、高精度で検出し、確実かつ十分に低減することができるようにしたものである。…前記映像信号または前記輝度信号を入力画像信号として、その入力画像信号を１水平周期以上の時間に渡って積分する工程と、その積分値、または隣接するフィールドまたはフレームにおける積分値の差分値を、正規化する工程と、その正規化後の積分値または差分値のスペクトルを抽出する工程と、その抽出したスペクトルからフリッカ成分を推定する…」との記載がある。

特開２０００−３５０１０２号公報

特開２０００−２３０４０号公報

特開２００４−２２２２２８号公報

しかしながら、特許文献１、２のように、受光素子や測光素子などを別途設ける方法は、撮影装置のコストとサイズが増えるという課題がある。

また、特許文献３にも課題がある。 その課題をフリッカの原因と共に４から６を用いて説明する。

撮像素子として、例えばＸＹアドレス方式のＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを搭載したカメラ機器を用いて蛍光灯照明の下で撮影を行った場合、蛍光灯フリッカという画面に横縞が入って見える画質劣化を生じる。 蛍光灯フリッカの原因を図４から図６を用いて説明する。

ＣＭＯＳセンサではＣＣＤ（Charge Coupled Devices）センサとは異なり、フォトダイオードの露光開始と露光終了（電荷転送）とを１フィールド（画面）内の複数のライン毎に順に行う「ローリングシャッタ」という手法を採用しているため、１フィールド内でも各ラインで露光開始と露光終了のタイミングが異なる。

図４の上図は横軸に時間を縦軸に輝度をとって、蛍光灯の輝度変化の周期が１／１００秒（蛍光灯の輝度変化の周期は蛍光灯の電源周波数によって決まり、この場合、蛍光灯の電源周期は１／５０秒）、フィールド周期が１／６０秒（ＮＴＳＣ＝National Television Standards Committee方式の場合）として蛍光灯の輝度の変化を描いた図である。 そして図４の右図は、横軸に輝度、縦軸にラインをとって、ラインに対する輝度の変化をフィールド毎に描いた図である。

図４の右図が示すように、ラインに対して輝度が変化していおり、画面（フィールド）上で見ると画面に明暗の横縞が入っているように見える。 これが蛍光灯フリッカである。 また、フィールド毎に輝度の変化の位相がずれているため、フリッカによる画面の横縞が上下方向に移動し、波打っているように見える。

一方、図５はフィールド周期が１／６０秒、蛍光灯の輝度変化の周期が１／１２０秒（蛍光灯の電源周期は１／６０秒）の場合の撮影画像の輝度変化を表している。 撮影画像のフィールド周期が蛍光灯の輝度変化周期の整数倍又は整数分の１倍（以下、総称して整数倍ともいう）である場合は、ラインごとの露光量に違いが生じず、図５の右図にあるように輝度がライン間及びフィールド間で一定となり、蛍光灯フリッカは発生しない。

特許文献３では、隣接するフィールド又はフレームの間の差を利用する。 図５のように画像のフィールド周期が蛍光灯の輝度変化周期の整数倍である場合にはフィールド間に差が生じず、図４のように画像のフィールド周期が蛍光灯の輝度変化周期の整数倍でもなく且つ整数分の１倍でもない場合（以下、非整数倍ともいう）には、発生するフリッカパターンがフィールド間で異なるので差分値はフリッカ成分と相関を持つものとなりフリッカ検出できるかもしれない。

しかし、カメラでは「電子シャッタ」という露光時間を変えることで露光量を調整する機能がある。

ここで、図６のように、画像のフィールド周期が蛍光灯の輝度変化周期の整数倍（１／１２０秒）であり、かつ、電子シャッタによる露光時間が蛍光灯の輝度変化周期の非整数倍（１／１００秒）である場合には、図６の右図のようにライン間で輝度の差が生じるので横縞の蛍光灯フリッカが生じるものの、露光タイミングと蛍光灯の輝度変化の位相が常に一定であるため、フィールド間では輝度の差が生じない。 画面上では横縞が固定しているように見える。

このような図６の場合、発生するフリッカパターンがフィールド間で同一となるため差分値はフリッカ成分と相関を持たない。 よって、特許文献３の技術ではフリッカが発生しているのか発生していないのか差分値から判断できず、フリッカ検出ができないという課題がある。

そこで例えば、ＸＹアドレス方式のＣＭＯＳセンサを搭載したカメラ機器を用いて蛍光灯照明の下で撮影を行った場合に画像中に発生する蛍光灯フリッカを、受光素子などを用いなくとも、画像のフィールド周期と蛍光灯の輝度変化周期との関係に関わらず検出する技術を提供する。

具体的に例えば、第１種及び第２種の輝度周期の蛍光灯によるフリッカを検出する方法であって、撮像素子の第１の露光期間によってフィールド間の露光量に差があるとき、第１種の輝度周期の蛍光灯によるフリッカと判断し、差がないとき、撮像素子の露光期間を変更し、露光期間の変更前後で露光した輝度に位相のずれがあるとき、第２種の輝度の周期の蛍光灯によるフリッカと判断する。

例えば上記手段によると、電子シャッタによる露光時間が蛍光灯の輝度変化周期の非整数倍であっても蛍光灯フリッカを検出することが可能である。

上記以外の課題、手段、効果は後述する実施例によって明らかにされる。

以下、本発明に好適な実施形態の例として蛍光灯フリッカ検出回路の実施例を説明する。

図１は、蛍光灯フリッカ検出回路の構成例を示すブロック図である。 図１に示す蛍光灯フリッカ検出回路にはＸＹアドレス方式のＣＭＯＳセンサの出力するデジタル変換された画像データを入力する。

まず、画像データをライン積分部１に入力し、画像データを所定の画素数分積分し（以下これをライン積分と称する）、積分データ（以下これをライン積分値と称する）を出力する。 なお、積分したデータは所定の画素数で割ることによる平均値であってもよい。

次に、前フィールド積分値保存部２にライン積分部１の出力を保存する。 後述するように隣接２フィールド間のライン積分値を比較することによってフリッカを検出するためである。 また、ライン積分を行うのは、蛍光灯フリッカは垂直方向の輝度変化として現れるためフリッカ成分は１ライン期間内ではほぼ一定であるので、２フィールド間で同じラインの積分データを比較するためである。 また、ＮＴＳＣ等の一般の動画形式であれば２フィールド間の時間的差は極めて小さいため被写体パターンもほとんど同じとみなせるが、画素単位で比較を行うと１画素のずれが大きな誤差となってしまう。 よってライン積分を行うことで、被写体のずれ、特に水平方向のずれの影響がほとんど無視できるようになる。 また、垂直方向のずれの影響も少なくするために、ライン積分は１ライン単位ではなく、複数ライン単位でも行うものが好ましい。

続いて、現在のフィールドのライン積分値であるライン積分部１の結果と、前フィールド積分値保存部２に保存してある前フィールドのライン積分値から、フリッカ検出部３でフリッカを検出する。

フリッカ検出部３の動作を詳細に説明する。 フリッカ検出部３では、２つの入力の除算を行う。 現在のフィールドの積分値を前フィールドの積分値で割るのが基本だが、分母分子を逆にした構成でもよい。 現在のフィールドと前フィールドで異なるパターンの蛍光灯フリッカが発生している場合、除算結果は全てのラインで異なる値となる。 一方、現在のフィールドと前フィールドで同一のパターンの蛍光灯フリッカが発生している場合は、除算結果は全てのラインでほぼ同一の値となる。 また、両フィールドとも蛍光灯フリッカが発生していない場合も、除算結果は全てのラインでほぼ同一の値となる。 よって、除算結果が一定でなければフリッカ検出とし、一定であればフリッカの有無を特定できないので未検出として、フリッカ検出部３からはフリッカの検出／未検出の情報を出力する。

撮影環境判断部４では、フリッカ検出部３の出力から、現在の撮影環境が蛍光灯下であるか非蛍光灯下であるかを判断する。 撮影環境判断部４におけるこの判断の流れを、フィールド周波数が６０Ｈｚの動画形式ＮＴＳＣの例を用いて図２に示す。

まず、初期電子シャッタ速度判断９で電子シャッタ速度が１／１００秒の整数倍かどうかを判断する（ステップ９）。 １／１００秒の整数倍の場合は電子シャッタ速度を１／１００秒の整数倍以外の速度に変え（ステップ１０）、１／１００秒の整数倍以外であればそのままの電子シャッタ速度を用いてフリッカを検出する（ステップ６）。 この検出を一次検出とする。 一次検出の結果、フリッカが検出されれば、撮影環境は電源周波数５０Ｈｚの蛍光灯下であると判断できる。

しかしフリッカが検出されなければ（ステップ６で未検出）、撮影環境は非蛍光灯下か電源周波数６０Ｈｚの蛍光灯下のどちらかとなり、撮影環境を特定できないため、次のステップ７へ移る。 尚、電子シャッタ使用時で露光時間が蛍光灯の輝度変化周期の整数倍である場合は、画像のフィールド周期に関わらずフリッカは発生しないため、図１のフリッカ検出部３における除算の結果は全てのラインでほぼ同一の値となり、フリッカは検出されない。

ステップ７では、１／１００秒の整数倍以外になっている電子シャッタ速度を変化させ、変化させた電子シャッタ速度において、再度フリッカ検出を行う（ステップ８）。 この検出を二次検出とする。

二次検出の仕組みを図３で説明する。 図３は、図６と同様に画像のフィールド周期が蛍光灯の輝度変化周期の整数倍（１／１２０秒）であり、かつ、電子シャッタによる露光時間が蛍光灯の輝度変化周期の非整数倍である場合を示している。 ただし、露光時間を２種類（１／１００秒、１／８０秒）に分けて示している。

図３のように、異なる露光時間によれば、右図のセンサ出力波形の位相がずれる。 よって電子シャッタ速度変化（ステップ７）により露光時間を変えることで、撮影環境が蛍光灯下であれば二次検出に用いる２フィールド間のライン積分値の波形パターンが異なり、フリッカ検出部３でフリッカが検出される。

一方、撮影環境が非蛍光灯下であれば、電子シャッタ速度に関わらずフリッカは発生しないため、フリッカ検出部３における除算の結果は全てのラインでほぼ同一の値となり、フリッカは検出されない。 よって二次検出８の結果、フリッカが検出されれば撮影環境は電源周波数６０Ｈｚの蛍光灯下であり、検出されなければ撮影環境は非蛍光灯下であると判断できる。 なお露光時間の変化のさせ方は、種々の場合がありうる。

このように、図１のフリッカ検出部３の出力がフリッカ検出を示している場合（図２のステップ６で検出の場合）、撮影環境判断部４で電源周波数が画像のフィールド周波数の非整数倍の蛍光灯下であると判断し、フリッカ検出部３の出力がフリッカ未検出を示している場合（ステップ６で未検出の場合）は、撮影環境判断部４では撮影環境未確定とし、電子シャッタ速度制御部５によって次のフィールドの電子シャッタ速度（露光時間）を変化させ（ステップ７）、二度目のフリッカ検出を行う（ステップ８）。

ただし、露光時間が蛍光灯の輝度変化周期の整数倍になる電子シャッタ速度に変化させると画像のフィールド周期に関わらずフリッカは発生しないため、フリッカ検出部３における除算の結果は全てのラインでほぼ同一の値となり、フリッカは検出されず、蛍光灯の電源周波数に関わらず非蛍光灯下であると判断してしまうため、二度目のフリッカ検出を行う際は露光時間が蛍光灯の輝度変化周期の整数倍になる電子シャッタ速度に変化させる（ステップ７）。

この際、撮影環境判断部４では、一度目のフリッカ検出でフリッカが未検出だったことを記憶しておく。 二度目の検出でフリッカ検出部３の出力がフリッカ検出を示している場合、撮影環境判断部４で電源周波数が画像のフィールド周波数の整数倍の蛍光灯下であると判断し、フリッカ未検出を示している場合は、撮影環境判断部４で非蛍光灯下であると判断する。

以上で説明したように、本実施例により、電源周波数が画像のフィールド周波数の整数倍の蛍光灯下、あるいは画像のフィールド周波数の非整数倍の蛍光灯下、あるいは非蛍光灯下かを判断することができる。

なお、上述した実施例では、フリッカ検出部３では２入力の除算により検出／未検出を求めるとしたが、除算の代わりに差分によって求めてもよい。 この場合、電子シャッタ速度が異なるとフリッカパターンだけでなく画像全体のゲインも速度に比例して増減するので、ライン積分部１からの入力と前フィールド積分値保存部２からの入力の露光時間の比より、フリッカ検出部３で両入力のゲインを１：１に合わせるとよい。

また、前述した実施例１及び２においては、その一部もしくは全てにおいて、ソフトウェア、ハードウェアのどちらで構成してもよい。

また、前述した実施形態は、画像単位をフィールド（ＮＴＳＣではフィールド周期１／６０秒）とした場合であるが、画像単位をフレーム（ＮＴＳＣではフレーム周期１／３０秒）とした場合も同様の構成でよい。

また、前述した実施例は、ＮＴＳＣ（フィールド周期１／６０秒）の場合で説明したが、ＰＡＬ等のフィールド周期１／５０秒の動画形式でも同様の構成でよい。

その他、インターレース方式、プログレッシブ方式、アナログ方式、デジタル方式など種々に用いることができる。

蛍光灯フリッカ検出回路の構成例を示す。

撮影環境判断のフロー例を示す。

電子シャッタ速度（露光時間）の違いによる画像の輝度変化の位相のずれを示す。

フィールド周期が１／６０秒、蛍光灯の電源周期が１／５０秒の場合の撮影画像の輝度変化例を示す。

フィールド周期が１／６０秒、蛍光灯の電源周期が１／６０秒の場合の撮影画像の輝度変化例を示す。

フィールド周期が１／６０秒、蛍光灯の電源周期が１／６０秒、電子シャッタによる露光時間が１／１００秒の場合の撮影画像の輝度変化例を示す。

符号の説明

１ ライン積分部 ２ 前フィールド積分値保存部 ３ フリッカ検出部 ４ 撮影環境判断部 ５ 電子シャッタ速度制御部