首页 / 专利库 / 显示技术 / 帧速率 / Imaging apparatus, imaging method, program, and integrated circuit

Imaging apparatus, imaging method, program, and integrated circuit

阅读:300发布:2024-02-23

专利汇可以提供Imaging apparatus, imaging method, program, and integrated circuit专利检索,专利查询,专利分析的服务。并且PROBLEM TO BE SOLVED: To provide an imaging apparatus that removes horizontal bands of high-luminance noise caused by incoming flash light and outputs an image whose continuity as a moving picture is maintained.SOLUTION: The imaging apparatus 100 includes: an imaging unit 1 that drives an image sensor at a frame rate of n times (where n is an integer of 3 or more) a predetermined video format and outputs an n time speed image signal; a flashing light detection unit 2; an average computation unit 3; and a speed conversion unit 4. When flashing light is detected, frames containing flashing light are removed from the image signal output by the imaging unit 1, and the average of the remaining frames is calculated, thereby obtaining an average image signal. When flashing light has not been detected, the average of n frames is calculated without removing frames, thereby obtaining an average image signal. The average image signal is converted to 1/n speed and output in the predetermined video format. Through this, the appearance of horizontal bands of high-luminance noise caused by incoming flash light can be prevented, and the continuity of moving pictures can also be ensured.,下面是Imaging apparatus, imaging method, program, and integrated circuit专利的具体信息内容。

  • 撮像素子を有し、所定の映像フォーマットのn倍(nは2以上の整数)のフレームレートで前記撮像素子を駆動し、前記撮像素子に入射する光信号を電気信号に変換してn倍速の画像信号を取得する撮像部と、
    前記撮像部により取得されたn倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する閃光検出部と、
    前記撮像部により取得されたn倍速の画像信号から、前記所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を前記閃光検出信号に基づいて選択し、生成した前記所定の映像フォーマットの画像信号を出力するフォーマット変換部と、
    を備える撮像装置。
  • 前記nは3以上の整数であり、
    前記フォーマット変換部は、
    前記閃光検出信号により制御され、前記閃光検出部により閃光が検出された場合、nフレーム分の前記n倍速の画像信号から、前記閃光検出信号に基づいて、閃光を含むフレームの画像を除外し、除外したフレーム以外のフレームを形成する前記n倍速の画像信号に対して、各画素の平均を計算することで平均画像信号を取得し、前記閃光検出部により閃光が検出されていない場合、nフレーム分の前記n倍速の画像信号に対して、各画素の平均を計算することで平均画像信号を取得する平均演算部と、
    前記平均画像信号を、1/nの速度に変換し、所定の映像フォーマットのタイミングに合わせて画像信号を出力する速度変換部と、
    を備える撮像装置。
  • 前記nは5以上の整数であり、
    前記平均演算部は、前記n倍速の画像信号により形成される連続するnフレームに1番からn番までのフレーム番号を付けたとき、閃光が検出されていないフレームから、フレーム番号の平均が(n+1)/2となるように平均演算の対象とするフレームを選択して、各画素の平均を計算することで前記平均画像信号を取得する、
    請求項2に記載の撮像装置。
  • 前記フォーマット変換部は、前記撮像部により取得されたn倍速の画像信号をnフレーム分加算することにより、前記所定の映像フォーマットのタイミングに合わせて画像信号を出力するとともに、前記閃光検出信号に基づいて、前記閃光検出部により閃光の影響を受けているフレームが発生するタイミングに応じて、加算対象とするnフレーム分のフレームを決定する、
    請求項1に記載の撮像装置。
  • 前記フォーマット変換部は、前記閃光検出部により外部閃光の影響を受けている連続するフレームが検出された場合、当該外部閃光の影響を受けている連続するフレームを加算対象とするnフレームに含めて、前記n倍速の画像信号に対して、nフレーム分の加算処理を行う、
    請求項4に記載の撮像装置。
  • 前記フォーマット変換部は、
    (n+2)フレーム分の画像信号を記憶するメモリ部と、
    前記メモリ部に記憶される前記(n+2)フレーム分の前記画像信号から、nフレーム分の画像信号を選択するセレクタ部と、
    前記セレクタ部により選択された前記nフレーム分の画像信号を加算する加算部と、
    を備え、
    前記セレクタ部は、前記閃光検出部により外部閃光の影響を受けている連続するフレームが検出された場合、当該外部閃光の影響を受けている連続するフレームの画像信号を、選択する前記nフレーム分の画像信号に含める、
    請求項4または5に記載の撮像装置。
  • 撮像素子を有し、所定の映像フォーマットのn倍(nは2以上の整数)のフレームレートで前記撮像素子を駆動し、前記撮像素子に入射する光信号を電気信号に変換してn倍速の画像信号を取得する撮像部を備える撮像装置に用いられる撮像方法であって、
    前記撮像部により取得されたn倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する閃光検出ステップと、
    前記撮像部により取得されたn倍速の画像信号から、前記所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を前記閃光検出信号に基づいて選択し、生成した前記所定の映像フォーマットの画像信号を出力するフォーマット変換ステップと、
    を備える撮像方法。
  • 撮像素子を有し、所定の映像フォーマットのn倍(nは2以上の整数)のフレームレートで前記撮像素子を駆動し、前記撮像素子に入射する光信号を電気信号に変換してn倍速の画像信号を取得する撮像部を備える撮像装置に用いられる撮像方法をコンピュータに実行させるプログラムであって、
    前記撮像部により取得されたn倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する閃光検出ステップと、
    前記撮像部により取得されたn倍速の画像信号から、前記所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を前記閃光検出信号に基づいて選択し、生成した前記所定の映像フォーマットの画像信号を出力するフォーマット変換ステップと、
    を備える撮像方法をコンピュータに実行させるプログラム。
  • 撮像素子を有し、所定の映像フォーマットのn倍(nは2以上の整数)のフレームレートで前記撮像素子を駆動し、前記撮像素子に入射する光信号を電気信号に変換してn倍速の画像信号を取得する撮像部を備える撮像装置に用いられる集積回路であって、
    前記撮像部により取得されたn倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する閃光検出部と、
    前記撮像部により取得されたn倍速の画像信号から、前記所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を前記閃光検出信号に基づいて選択し、生成した前記所定の映像フォーマットの画像信号を出力するフォーマット変換部と、
    を備える集積回路。
  • 说明书全文

    本発明は、連続画像を撮像するデジタルカメラやビデオカメラなどの撮像装置に活用される技術であって、外部閃光による悪影響を受けた画像を除外する技術に関するものである。

    外部閃光による悪影響を受けた画像を除外する従来の信号処理装置(撮像装置)としては、例えば、特許文献1に記載されているようなものがある。 図16は、従来の撮像装置900のブロック図である。 前記特許文献1では、記録部に画像記録する処理について記載されているが、ここでは、画像信号を外部出する例について説明する。
    図16に示すように、撮像装置900は、CMOSイメージセンサ、センサ駆動回路、アナログ/デジタル変換器を有し、連続画像を撮像して、例えば、垂直有効720ライン、平有効1280画素、フレーム周波数60Hzのデジタル順次走査画像信号を出力する撮像部950と、撮像部950の出力に対しガンマ処理(ガンマ補正)や輪郭強調を行う画像処理部951と、を備える。 また、撮像装置900は、撮像部950の出力に対し連続するフレームの画像を比較し外部閃光の有無を検出する閃光検出部952と、閃光検出部952の出力信号(閃光検出信号)に基づいて、画像処理部951から出力される画像信号をそのまま出力するか、あるいは蓄積した画像を出力するかの切換制御を行う出力制御部953と、を備える。

    図17に、従来の撮像装置900における出力制御部953のブロック図を示す。 出力制御部953は、例えば、図17に示す回路で構成される。
    図17に示すように、出力制御部953は、画像処理部951から出力される画像信号を1フレーム分記憶するメモリ回路954と、閃光検出部952の出力信号(閃光検出信号)に基づいて、メモリ回路954から出力される信号と画像処理部951からの入力信号とを切り換えて出力する切換回路955と、を備える。
    以上のように構成された従来の撮像装置900について、その動作を説明する。
    まず、撮像部950では、センサ駆動回路から駆動信号をCMOSイメージセンサに供給し、CMOSイメージセンサに入射した光信号(被写体からの光)を光電変換により電気信号に変換し、さらに、光電変換により取得した電気信号をアナログ/デジタル変換によりデジタル順次走査画像信号に変換する。 そして、撮像部950により生成されたデジタル順次走査画像信号が、撮像部950から出力される。 このデジタル順次走査画像信号は、画像処理部951と閃光検出部952とに供給(出力)される。

    画像処理部951では、入力されたデジタル順次走査画像信号に対して、ガンマ処理、輪郭強調処理等を施し、処理された画像信号は、出力制御部953に出力される。
    一方、閃光検出部952では、入力されたデジタル順次走査画像信号に対して、1フレーム分の平均輝度レベルを計算し、入力された信号のフレーム平均輝度レベルと直前のフレームの平均輝度レベルとを比較し、大幅に平均輝度レベルが増加した場合、フラッシュのような外部閃光が存在する環境下で撮像画像が撮像部950により取得されたと判断する。 例えば、入力された信号のフレーム平均輝度レベルと直前のフレームの平均輝度レベルとの平均輝度レベルが100%以上増加した場合、閃光検出部952は、フラッシュのような外部閃光が検出された(外部閃光が存在する環境下で撮像された)と判定し、閃光検出信号の信号値を「1」にして、閃光検出信号を出力する。 なお、閃光検出部952は、外部閃光を検出していないときは、閃光検出信号の信号値を「0」として、閃光検出信号を出力する。 この閃光検出信号と画像処理部951から出力される画像信号とは、出力制御部953に入力される。

    出力制御部953では、画像処理部951から出力される画像信号がメモリ回路954に入力される。 メモリ回路954は、画像信号1フレーム分を書き込み記憶させ1フレームに相当する時間だけ遅延させて、画像信号を出力する。 閃光検出部952から出力される閃光検出信号の信号値が「1」である場合、すなわち、閃光を検出している場合、メモリ回路954は、新たな画像信号の書き込みを行わず、前のフレームの画像信号を保持し、同じフレームの画像信号を繰り返し出力する。 切換回路955は、画像処理部951から出力される画像信号とメモリ回路954から出力される画像信号とを、閃光検出信号に基づいて、切り換えて出力する。 閃光検出部952から出力される閃光検出信号の信号値が「1」である場合、すなわち、閃光検出信号が閃光を検出していることを示している場合、切換回路955は、メモリ回路954から出力される画像信号を選択し出力する。 一方、閃光検出部952から出力される閃光検出信号の信号値が「0」の場合、すなわち、閃光検出信号が閃光を検出していないことを示している場合、切換回路955は、画像処理部951から出力される画像信号を選択して出力する。

    次に、図18を用いて、撮像装置900の動作を詳しく説明する。
    図18は、従来の撮像装置900において、外部閃光により画像(撮像装置900による撮像画像)が受ける悪影響を説明するための図である。
    図18の(1)〜(4)は、連続したフレームを示しており、CMOSイメージセンサが受光しているタイミングを、垂直同期信号(図18の最上段)を基準にして、示している。
    図18に示す「画像上側」とは、有効画面(撮像装置により取得された画像信号を表示装置に表示させた場合の実際に表示される画面(同期信号等の部分を除いた画面)に相当する画面)の上側を意味している。 CMOSイメージセンサにおいて、有効画面の1ライン目は、図18の中の矢印で示した期間受光している。 CMOSイメージセンサでは、ライン毎に受光タイミングが少しずつずれていくため、720ライン目では、1ライン目に対して、およそ1/60秒ずれている。 ここで、図18の星印で示したタイミングで外部閃光があった場合、(2)のフレームの下方画面を構成するラインと(3)のフレームの上方画面を構成するラインで、閃光を受光することになる。 このような状況で、撮像部950により取得された画像信号を表示装置に表示させた場合、表示画面(映像)において、連続した2フレームにわたって高輝度な横帯が発生することになる。 この高輝度な横帯の発生は、視覚的に違和感をユーザに抱かせることになる。 さらに、連続するフレームの相関を利用して圧縮する方式、例えば、MPEG(Moving Picture Experts Group)方式で圧縮する処理において、上記高輝度な横帯の発生させる画像信号を処理すると、ブロックノイズが発生したり、圧縮率が低下したりするという悪影響が発生する。

    そこで、図16で示した従来の撮像装置900では、外部閃光を検出した際には、閃光を受光したフレームの画像は出力せず、直前のフレームの画像を出力する。 このため、撮像装置900では、高輝度な横帯の発生を防ぐことができる。

    特開2007−306225号公報

    しかしながら、上記従来の撮像装置では、連続する2フレームにわたって外部閃光を検出した場合、同じフレームの画像を3フレームにわたって出力することになり、動画として連続性が失われてしまうという課題がある。
    例えば、図18の場合、外部閃光により高輝度な横帯が発生するのは2フレーム(フレーム(2)とフレーム(3))であり、撮像装置900では、この2フレームの直前のフレーム(フレーム(1))の画像を繰り返し出力することになる。 つまり、撮像装置900では、3フレームにわたって同じ画像(フレーム(1)に相当する画像)を出力することになるので、撮像装置900により取得された画像(映像)を表示装置に表示させた場合、一時的に静止した画像として表示されることになる。
    本発明は、上記従来の課題を解決するもので、外部閃光による高輝度の横帯をなくし、かつ、動画として連続性を確保した画像を出力する高性能な撮像装置、撮像方法、プログラムおよび集積回路を提供することを目的とする。

    第1の発明は、撮像部と、閃光検出部と、フォーマット変換部と、を備える撮像装置である。
    撮像部は、撮像素子を有し、所定の映像フォーマットのn倍(nは2以上の整数)のフレームレートで撮像素子を駆動し、撮像素子に入射する光信号を電気信号に変換してn倍速の画像信号を取得する。 閃光検出部は、撮像部により取得されたn倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する。 フォーマット変換部は、撮像部により取得されたn倍速の画像信号から、所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を閃光検出信号に基づいて選択し、生成した所定の映像フォーマットの画像信号を出力する。
    この撮像装置では、フォーマット変換部により、閃光検出信号に基づいて、動画としての連続性が確保されるように、撮像部により取得されたn倍速の画像信号を所定の映像フォーマットに変換する。 例えば、この撮像装置では、閃光検出信号に基づいて、閃光の影響を受けているフレームを全て除く、あるいは、全て含める(つまり、画面の上側だけ閃光の影響を受けているフレームを含め、画面の下側だけ閃光の影響を受けている次のフレームを含めない、といった中途半端な処理を行わない)ことで、最終出力の所定映像のフォーマットの画像信号(例えば、フレーム周波数60Hzの画像信号がこれに相当する。)に、高輝度な横帯が発生するのを防ぐことができる。 そして、この撮像装置では、所定の映像フォーマットのn倍(nは2以上の整数)のフレームレートの画像信号(n倍速の画像信号)を処理対象として、閃光の影響を排除する処理を行い、その後、フォーマット変換を行うことで、1倍のフレームレートの画像信号(所定の映像フォーマットの画像信号)を出力する。 つまり、この撮像装置では、同じフレーム画像(1倍速のフレーム画像)が複数枚連続して出力されることがない。 その結果、この撮像装置により取得された画像信号を、表示装置に表示させた場合、動画としての連続性も保つことができる。

    第2の発明は、第1の発明であって、nは3以上の整数である。 そして、フォーマット変換部は、平均演算部と、速度変換部と、を備える。
    平均演算部は、閃光検出信号により制御され、閃光検出部により閃光が検出された場合、nフレーム分のn倍速の画像信号から、閃光検出信号に基づいて、閃光を含むフレームの画像を除外し、除外したフレーム以外のフレームを形成するn倍速の画像信号に対して、各画素の平均を計算することで平均画像信号を取得し、閃光検出部により閃光が検出されていない場合、nフレーム分のn倍速の画像信号に対して、各画素の平均を計算することで平均画像信号を取得する。 速度変換部は、平均画像信号を、1/nの速度に変換し、所定の映像フォーマットのタイミングに合わせて画像信号を出力する。
    この撮像装置では、n倍速で駆動させる撮像部と、外部閃光を検知したフレーム画像を除外して平均値を計算して画像信号を出力する平均演算部3とを有しているので、最終出力の所定映像のフォーマットの画像信号(例えば、フレーム周波数60Hzの画像信号がこれに相当する。)に、高輝度な横帯が発生するのを防ぐことができ、かつ、同じフレーム画像が複数枚連続して出力されることもない。 このため、この撮像装置により取得された画像信号を、表示装置に表示させた場合、動画としての連続性も保つことができる。

    第3の発明は、第2の発明であって、nは5以上の整数であり、平均演算部は、n倍速の画像信号により形成される連続するnフレームに1番からn番までのフレーム番号を付けたとき、閃光が検出されていないフレームから、フレーム番号の平均が(n+1)/2となるように平均演算の対象とするフレームを選択して、各画素の平均を計算することで平均画像信号を取得する。
    この撮像装置では、平均演算部により、フレーム番号の平均が(n+1)/2となるように平均計算すべきフレームが選択される。 これにより、平均計算に採用されるフレームを、時系列において左右対称にすることができるので、時間的な重心を常に一定にすることができる。 そして、この撮像装置では、常に時間重心を一定に保ったフレームにより最終出力する画像信号を生成するので、この撮像装置により取得される画像(映像)は、動画としてスムースなものになる。

    第4の発明は、第1の発明であって、フォーマット変換部は、撮像部により取得されたn倍速の画像信号をnフレーム分加算することにより、所定の映像フォーマットのタイミングに合わせて画像信号を出力するとともに、閃光検出信号に基づいて、閃光検出部により閃光の影響を受けているフレームが発生するタイミングに応じて、加算対象とするnフレーム分のフレームを決定する。
    この撮像装置では、フォーマット変換部により、閃光検出信号に基づいて、閃光検出部により閃光の影響を受けているフレームが発生するタイミングに応じて、加算対象とするnフレーム分のフレームが決定され、決定されたフレームの画像信号が加算される。 したがって、この撮像装置では、外部閃光による高輝度の横帯を除外し、かつ、動画として連続性を改善した画像(画像信号)を出力することができる。

    第5の発明は、第4の発明であって、フォーマット変換部は、閃光検出部により外部閃光の影響を受けている連続するフレームが検出された場合、当該外部閃光の影響を受けている連続するフレームを加算対象とするnフレームに含めて、n倍速の画像信号に対して、nフレーム分の加算処理を行う。
    第6の発明は、第4または第5の発明であって、フォーマット変換部は、メモリ部と、セレクタ部と、加算部と、を備える。
    メモリ部は、(n+2)フレーム分の画像信号を記憶する。 セレクタ部は、メモリ部に記憶される(n+2)フレーム分の画像信号から、nフレーム分の画像信号を選択する。 加算部は、セレクタ部により選択されたnフレーム分の画像信号を加算する。
    そして、セレクタ部は、閃光検出部により外部閃光の影響を受けている連続するフレームが検出された場合、当該外部閃光の影響を受けている連続するフレームの画像信号を、選択するnフレーム分の画像信号に含める。

    この撮像装置では、閃光検出部により外部閃光の影響を受けている連続するフレームが検出された場合、当該外部閃光の影響を受けている連続するフレームを確実に加算対象とすることができる。 したがって、この撮像装置では、外部閃光による高輝度の横帯を除外し、かつ、動画として連続性を改善した画像(画像信号)を出力することができる。
    第7の発明は、撮像素子を有し、所定の映像フォーマットのn倍(nは2以上の整数)のフレームレートで撮像素子を駆動し、撮像素子に入射する光信号を電気信号に変換してn倍速の画像信号を取得する撮像部を備える撮像装置に用いられる撮像方法である。 この撮像方法は、閃光検出ステップと、フォーマット変換ステップと、を備える。
    閃光検出ステップでは、撮像部により取得されたn倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する。 フォーマット変換ステップでは、撮像部により取得されたn倍速の画像信号から、所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を閃光検出信号に基づいて選択し、生成した所定の映像フォーマットの画像信号を出力する。

    これにより、第1の発明と同様の効果を奏する撮像方法を実現することができる。
    第8の発明は、撮像素子を有し、所定の映像フォーマットのn倍(nは2以上の整数)のフレームレートで撮像素子を駆動し、撮像素子に入射する光信号を電気信号に変換してn倍速の画像信号を取得する撮像部を備える撮像装置に用いられる撮像方法をコンピュータに実行させるプログラムである。 撮像方法は、閃光検出ステップと、フォーマット変換ステップと、を備える。
    閃光検出ステップでは、撮像部により取得されたn倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する。 フォーマット変換ステップでは、撮像部により取得されたn倍速の画像信号から、所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を閃光検出信号に基づいて選択し、生成した所定の映像フォーマットの画像信号を出力する。

    これにより、第1の発明と同様の効果を奏する撮像方法をコンピュータに実行させるプログラムを実現することができる。
    第9の発明は、撮像素子を有し、所定の映像フォーマットのn倍(nは2以上の整数)のフレームレートで撮像素子を駆動し、撮像素子に入射する光信号を電気信号に変換してn倍速の画像信号を取得する撮像部を備える撮像装置に用いられる集積回路である。 この集積回路は、閃光検出部と、フォーマット変換部と、を備える。
    閃光検出部は、撮像部により取得されたn倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する。 フォーマット変換部は、撮像部により取得されたn倍速の画像信号から、所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を閃光検出信号に基づいて選択し、生成した所定の映像フォーマットの画像信号を出力する。

    これにより、第1の発明と同様の効果を奏する集積回路を実現することができる。

    本発明によれば、外部閃光による高輝度の横帯をなくし、かつ、動画として連続性を確保した画像を出力することができる撮像装置、撮像方法、プログラムおよび集積回路を実現することができる。

    第1実施形態に係る撮像装置100のブロック図

    第1実施形態に係る平均演算部3のブロック図

    第1実施形態および第4実施形態に係る撮像装置100および400で外部閃光により画像が受ける悪影響を説明する図

    第1実施形態に係る撮像装置100で外部閃光により撮像部の出力画像に高輝度な横帯が発生するタイミングを説明する図

    第1実施形態の変形例に係る撮像装置100Aのブロック図

    第2実施形態に係る撮像装置で外部閃光により撮像部の出力画像に高輝度な横帯が発生するタイミングを説明する図

    第3実施形態に係る撮像装置で外部閃光により撮像部の出力画像に高輝度な横帯が発生するタイミングを説明する図

    他の実施形態に係る撮像装置におけるフレーム選択方法を説明するための図

    第4実施形態に係る撮像装置400のブロック図

    第4実施形態に係るフォーマット変換部403のブロック図

    第4実施形態に係る撮像装置400で外部閃光により撮像部の出力画像に高輝度な横帯が発生するタイミングを説明する図

    第1変形例に係るフォーマット変換部403に入力される画像信号Sig_inと、フォーマット変換部403から出力される画像信号Sig_outと、のタイミングチャート図

    第1変形例に係るフォーマット変換部403に入力される画像信号Sig_inと、フォーマット変換部403から出力される画像信号Sig_outと、のタイミングチャート図

    第1変形例に係るフォーマット変換部403に入力される画像信号Sig_inと、フォーマット変換部403から出力される画像信号Sig_outと、のタイミングチャート図

    第2変形例に係るフォーマット変換部403に入力される画像信号Sig_inと、フォーマット変換部403から出力される画像信号Sig_outと、のタイミングチャート図

    従来の撮像装置900のブロック図

    従来の撮像装置900の出力制御部953のブロック図

    従来の撮像装置900で外部閃光により画像が受ける悪影響を説明する図

    以下、本発明の実施形態について、図面を参照しながら説明する。
    [第1実施形態]
    <1.1:撮像装置の構成>
    図1は、本発明の第1実施形態に係る撮像装置100のブロック図である。
    図1に示すように、撮像装置100は、被写体からの光を電気信号に変換し、所定の映像フォーマットのn倍(n≧3、nは整数)のフレームレートの画像信号を取得する撮像部1と、撮像部1により取得された画像信号から外部閃光の有無を検出し、検出結果を閃光検出信号として出力する閃光検出部2と、閃光検出信号に基づいて、閃光のないフレームの画像信号を加算平均することで閃光の影響を除去した画像信号を生成する平均演算部3と、を備える。 また、撮像装置100は、平均演算部から出力される画像信号に対して速度変換を行う速度変換部4と、速度変換部4から出力される画像信号に対しガンマ処理、輪郭強調処理等の処理を行う画像処理部5と、を備える。

    なお、説明便宜のため、以下では、撮像部1が所定の映像フォーマットの4倍のフレームレートの画像信号を取得する場合(つまり、n=4の場合)について、説明する。
    撮像部1は、CMOSイメージセンサ(CMOS型イメージセンサ(撮像素子))、センサ駆動回路、およびアナログ/デジタル変換器を有し、被写体からの光を光電変換により電気信号に変換し、デジタルの画像信号として、閃光検出部2および平均演算部3に出力する。 撮像部1は、連続画像を撮像して、例えば、垂直有効720ライン、水平有効1280画素、フレーム周波数240[Hz](=60×4[Hz])のデジタル順次走査画像信号を出力する。 なお、説明便宜のため、以下では、撮像部1から出力される画像信号が、垂直有効720ライン、水平有効1280画素、フレーム周波数240[Hz]のデジタル順次走査画像信号であるものとして、説明する。

    閃光検出部2は、撮像部1から出力される画像信号を入力とし、連続する各フレームの画像(画像信号により形成されるフレーム画像)を比較し、外部閃光の有無を検出する。 そして、閃光検出部2は、外光閃光の有無を示す閃光検出信号を平均演算部3に出力する。
    平均演算部3は、撮像部1から出力される画像信号および閃光検出部2から出力される閃光検出信号を入力とする。 平均演算部3は、画像信号により形成されるフレーム画像において、水平・垂直の同じ位置の画素について、複数フレームにわたって、同一画素位置の画素値(信号値に対応)を積算し、積算対象としたフレーム数で除算することにより、各画素における平均値を計算することで外部閃光の影響を排除した画像信号を生成する。
    平均演算部3の具体的構成の一例を、図2に示す。

    図2に示すように、平均演算部3は、ゲート部20と、加算部21と、記憶部22と、除算部23と、を有する。
    ゲート部20は、撮像部1から出力される画像信号と、閃光検出信号とを入力とし、閃光検出信号に基づいて、撮像部1から出力される画像信号をそのまま加算部21に出力したり、あるいは、ゼロ信号(無信号を含む)を加算部21に出力したりする(詳細については後述)。
    加算部21は、ゲート部20から出力される画像信号と、記憶部22から出力される画像信号と、を入力とし、両画像信号を、画素単位で、加算し、加算することで生成した画像信号を記憶部22および除算部23に出力する。
    記憶部22は、加算部21から出力される画像信号を入力とし、入力された画像信号を、画像を形成することができる単位(ここでは、フレーム単位)で記憶する。 そして、記憶している画像信号を、加算部21に出力する。 記憶部22は、例えば、フレームメモリ等のメモリ回路により構成することができる。 ここでは、記憶部22は、加算部21から出力される画像信号を、1/240秒の1フレーム分(240pの1フレーム分)記憶するメモリ回路(ハードウェアで構成する場合)である。

    除算部23は、加算部21から出力される画像信号および閃光検出信号を入力とし、加算部21から出力される画像信号を、閃光検出信号に基づいて、加算部21で積算対象となったフレーム数で除算する。 除算部23は、除算して取得した画像信号を、速度変換部4に出力する。
    速度変換部4は、フレーム周波数240[Hz]のタイミングで平均演算部3から出力出力される画像信号を、フレーム周波数60Hzのタイミングに変換する。 つまり、速度変換部4は、フレームレート変換処理を行うことで、いわゆる240pの画像信号を60pの画像信号に変換する。
    画像処理部5は、速度変換部4から出力される画像信号に対して、ガンマ処理や輪郭強調処理等を行う。

    <1.2:撮像装置の動作>
    以上のように構成された撮像装置100について、その動作を説明する。
    まず、撮像部1では、センサ駆動回路(不図示)から駆動信号を供給して、CMOSイメージセンサに入射した光信号を光電変換し、さらに、アナログ/デジタル変換を行うことによってデジタル順次走査画像信号が取得される。 なお、撮像部1は、図9で示した従来の撮像装置900の撮像部950と比べ4倍速でCMOSイメージセンサを駆動しており、フレーム周波数240[Hz]のデジタル順次走査画像信号を出力している。
    撮像部1により取得されたデジタル順次走査画像信号は、閃光検出部2および平均演算部3に出力される。
    閃光検出部2は、入力されたデジタル順次走査画像信号に対して、1フレーム分(240pの1フレーム分)の平均輝度レベルを計算し、入力された信号のフレーム平均輝度レベルと直前のフレーム(1フレーム前のフレーム)の平均輝度レベルとを比較する。 そして、閃光検出部2は、大幅に平均輝度レベルが増加した場合、フラッシュのような外部閃光が存在する環境下で撮像画像(デジタル順次走査画像信号)が撮像部1により取得されたと判断する。 例えば、平均輝度レベルが100%以上増加した場合、閃光検出部2は、フラッシュのような外部閃光が検出されたと判定し、閃光検出信号の信号値を「1」にして、閃光検出信号を出力する。 一方、外部閃光を検出していない場合、閃光検出部2は、閃光検出信号の信号値を「0」(無信号にしてもよい。)にして、閃光検出信号を出力する。 そして、閃光検出部2により生成された閃光検出信号は、平均演算部3に出力される。

    なお、撮像装置100において、閃光検出部2により所定のフレームF1で、外部閃光が検出された場合、フレームF1の次のフレームF2でも外部閃光が検出されていると判断し、フレームF1からフレームF2の期間、つまり、本実施形態においては、フレームF1およびF2を形成する画像信号が処理される期間において、閃光検出部2が、閃光検出信号の信号値を「1」にして、閃光検出信号を出力するようにしている。
    また、フレーム単位で閃光を検出することができる検出方法であれば、他の公知の方法を用いて、閃光検出を行うようにしてもよい。
    撮像部1により取得されたデジタル順次走査画像信号(画像信号)は、平均演算部3のゲート部20に入力され、閃光検出信号により、出力制御がなされる。 具体的には、ゲート部20に入力される閃光検出信号の値が「0」、すなわち、閃光検出信号が外部閃光を検出していないことを示している場合、処理対象のフレーム(現フレーム)は、外部閃光の影響を受けていないと判断できるので、ゲート部に入力された画像信号をそのまま、加算部21に出力する。

    一方、閃光検出信号の値が「1」、すなわち、閃光検出信号が外部閃光を検出したことを示している場合、処理対象のフレーム(現フレーム)は、外部閃光の影響を受けていると判断できるので、ゲート部20から加算部21に出力する画像信号の値を「0」(無信号でもよい。)にする。
    記憶部22では、1/60秒に1回、記憶されているデータの全てがゼロにリセットされる。 すなわち、フレーム周波数240[Hz]の4フレーム(240pの4フレーム)に1回、記憶されているデータがゼロにリセットされる。
    加算部21では、記憶部22からの出力とゲート部20からの出力とが加算され、加算部21の出力は、記憶部22に書き込まれていく。 具体的には、加算部21では、画像信号により形成されるフレーム画像において、水平・垂直の同じ位置の画素について、フレーム周波数240Hzの4フレーム分(240pの4フレーム分)の足し算(同一画素位置の画素値の積算処理)を行うことができる。 この加算部21により生成された画像信号(加算結果)は、除算部23に入力され、閃光検出信号に基づいて、割り算(除算処理)が行われる。 除算部23では、フレーム周波数240Hzの4フレームの周期の間(240pの4フレームに相当する期間)に、閃光検出されたフレームの数に基づいて、以下のように除算数を決定する。
    (A)閃光検出されたフレームの数が「0」の場合、除算数を「4」とする。
    (B)閃光検出されたフレームの数が「1」の場合、除算数を「3」とする。
    (C)閃光検出されたフレームの数が「2」の場合、除算数を「2」とする。

    除算部23では、上記のようにして決定した除算数により、加算部21により生成された画像信号に対して除算処理が実行される。 そして、除算部23により除算処理がなされた画像信号は、速度変換部4に出力される。
    以上のように平均演算部3では、フレーム周波数240Hzの4フレームの周期の間(240pの4フレームに相当する期間)で閃光を検出したフレームを除外し、閃光を検出していないフレームの画像信号のみを加算して、閃光を検出していないフレーム数で割ることにより平均値を計算することで、閃光の影響を除外した画像信号を生成している。
    次に、速度変換部4では、平均演算部3から出力された240pのフレームレートの画像信号が60pのフレームレートの画像信号に変換される。 具体的には、速度変換部4では、メモリ回路(不図示)を有しており、フレーム周波数240[Hz]という4倍速のフレームレートの画像信号(60pの4倍のフレームレートの画像信号)を、平均演算部3により平均値計算された部分のみ、メモリ回路(不図示)に書き込み、フレーム周波数60[Hz]のタイミングで、当該メモリ回路から読み出す。 これにより、速度変換部4では、速度変換(フレームレート変換)を行い、フレーム周波数60Hzの画像信号(60pの画像信号)を生成する。 そして、速度変換部4により、速度変換された画像信号(60pの画像信号)は、画像処理部5に出力される。

    画像処理部5では、入力された画像信号(60pの画像信号)に対しガンマ処理、輪郭強調処理等が施される。 そして、画像処理部5により処理された画像信号が、画像処理部5から出力される。
    次に、撮像装置100の動作について、図3を用いて、詳しく説明する。
    図3は、本発明の第1実施形態における撮像装置100で、外部閃光により画像が受ける悪影響を説明する図である。 図3の(1)〜(4)は、連続したフレームでCMOSイメージセンサが受光しているタイミングを、最終出力の垂直同期信号を基準にして、示している。
    図3に示す「画像上側」とは、有効画面(撮像装置により取得された画像信号を表示装置に表示させた場合の実際に表示される画面(同期信号等の部分を除いた画面)に相当する画面)の上側を意味し、有効画面の1ライン目は、図3の中の矢印で示した期間受光している。 CMOSイメージセンサでは、ライン毎に受光タイミングが少しずつずれていくため、720ライン目ではおよそ1/240秒ずれている。 ここで、図3の星印で示したタイミングで外部閃光があった場合、(2)のフレームの下方画面を構成するラインと(3)のフレームの上方画面を構成するラインで、閃光を受光することになる。 このような状況で、撮像部1により取得された画像信号を表示装置に表示させた場合、表示画面(映像)において、連続した2フレームにわたって高輝度な横帯が発生することになる。

    しかしながら、本実施形態に係る撮像装置100では、外部閃光を検出したフレーム、すなわち、図3でのフレーム(2)およびフレーム(3)の画像信号(フレーム(2)およびフレーム(3)を形成する画像信号)は採用せず、外部閃光を検出しなかったフレーム、すなわち、図3のフレーム(1)およびフレーム(4)の平均値により生成された画像信号が、平均演算部3から出力される。 そして、平均演算部3から出力された画像信号に対して、後段の処理が実行されるため、最終出力である画像処理部5から出力される画像信号を、表示装置に表示させた場合、表示画面において、高輝度な横帯の発生を防ぐことができる。
    さらに、図4を用いて、平均演算部3の処理について説明を加える。
    図4は、本発明の第1実施形態における撮像装置100で、外部閃光により撮像部1から出力される画像信号により形成される画像に高輝度な横帯が発生するタイミングを説明する図である。 図4において、(1)から(4)は、フレーム周波数240Hzにおける連続する4つのフレーム(240pの4フレーム)を示しており、外部閃光がないフレームは、1フレーム分ハッチングを施している。 外部閃光があるフレームは、上半分あるいは下半分を白くしている。

    1発の外部閃光があった場合、図4に示すように、1/60秒の垂直同期信号のタイミングに対して、(a)から(e)の5種類の位相関係があり得る。 本実施形態における撮像装置100では、次のようにして、除外するフレームを決定し、平均演算部3による平均値処理を行う。
    (A)(a)の位相関係の場合、フレーム(1)を除外し、フレーム(2)からフレーム(4)の平均値を計算する。
    (B)(b)の位相関係の場合、フレーム(1)およびフレーム(2)を除外し、フレーム(3)とフレーム(4)の平均値を計算する。
    (C)(c)の位相関係の場合、フレーム(2)およびフレーム(3)を除外し、フレーム(1)とフレーム(4)の平均値を計算する。
    (D)(d)の位相関係の場合、フレーム(3)およびフレーム(4)を除外し、フレーム(1)とフレーム(2)の平均値を計算する。
    (E)(d)の位相関係の場合、フレーム(4)を除外し、フレーム(1)からフレーム(3)の平均値を計算する。

    このように、撮像装置100では、平均演算部3により、計算することで、全ての位相関係について平均演算が可能である。
    以上のように、本実施形態における撮像装置100では、4倍速で駆動させる撮像部1と、外部閃光を検知したフレーム画像を除外して平均値を計算して画像信号を出力する平均演算部3とを設けた。 これにより、撮像装置100では、最終出力のフレーム周波数60Hzの画像信号に、高輝度な横帯が発生するのを防ぐことができ、かつ、同じフレーム画像が複数枚連続して出力されることもないため、撮像装置100により取得された画像信号を、表示装置に表示させた場合、動画としての連続性も保つことができる。
    ≪変形例≫
    なお、本実施形態では、速度変換部4により、フレーム周波数60[Hz]の画像信号を生成した後、画像処理部5で、ガンマ処理や輪郭強調処理を行う場合について説明したが、これに限定されることなく、例えば、図5に示す撮像装置100Aのように、画像処理を2つに分けて処理するようにしてもよい。

    図5は、本実施形態の変形例に係る撮像装置100Aのブロック図である。
    図5に示すように、撮像装置100Aは、撮像装置100の画像処理部5の代わりに、画像処理部5Aおよびガンマ処理部5Bを備えており、画像処理部5Aは、撮像部1と平均演算部3との間に配置されており、ガンマ処理部5Bは、速度変換部4の後段に配置されている。 それ以外については、撮像装置100Aは、撮像装置100と同様である。 撮像装置100Aにおいて、撮像装置100と同様の部分については、同一符号を付し、説明を省略する。
    図5の撮像装置100Aでは、画像処理を2つのブロックに分け、別々に処理しているが、外部閃光フレームを除外して画像(フレーム画像)の平均値を計算する動作は、撮像装置100と同じである。 したがって、撮像装置100Aにおいても、撮像装置100と同じ効果が得られる。

    なお、本実施形態では、平均演算部3で、閃光を検出したとき、閃光を含んでいないフレームの全てを用いて平均計算処理を行ったが、1/60秒の間(240pの4フレーム分に相当する期間)に閃光を含んでいないフレームが1以上あれば、必ずしも全てを使って平均計算する必要はない。
    [第2実施形態]
    本発明の第2実施形態について、図面を参照しながら説明する。
    <2.1:撮像装置の構成>
    本発明の第2実施形態に係る撮像装置は、基本的には第1実施形態に係る撮像装置100の構成と同じであるので、本実施形態の撮像装置の構成の詳細な説明は、省略する。 本実施形態において、第1実施形態と異なっている点は、以下の通りである。

    第1に、本実施形態の撮像装置では、n=6であり、撮像部において、CMOSイメージセンサを6倍速で駆動しており、フレーム周波数360Hz(=60[Hz]×6)のデジタル順次走査画像信号を取得し出力する。 この点が第1実施形態と異なる。
    第2に、本実施形態の撮像装置では、平均演算部において、最大6フレーム分(360pの6フレーム分)の画像(フレーム画像)に相当する画像信号を用いて、平均値計算ができるようになっている。 この点が第1実施形態と異なる。
    第3に、本実施形態の撮像装置では、速度変換部において、フレーム周波数360Hzの画像信号からフレーム周波数60Hzの画像信号に変換している(360pから60pへのフレームレート変換を行っている)。 この点が第1実施形態と異なる。
    上記以外の点については、本実施形態は、第1実施形態と同様である。

    <2.2:撮像装置の動作>
    以上のように構成された本発明の第2実施形態における撮像装置の動作について説明する。 第2実施形態の撮像装置の動作において、第1実施形態と異なっている部分について説明する。 具体的には、本実施形態の撮像装置において、撮像部から出力される画像信号(フレーム周波数360Hzの画像信号)の連続した6フレーム(360pの6フレーム分)を用いて、平均演算部による実行される平均計算処理について、図6を用いて説明する。
    図6は、本実施形態の撮像装置で、外部閃光により撮像部から出力される画像信号に高輝度な横帯が発生するタイミングを説明する図である。 図6において、(1)から(6)は、フレーム周波数360Hzにおける連続する6つのフレーム(360pの6フレーム)を、最終出力の垂直同期信号を基準にして、示している。 図6において、外部閃光がないフレームは、1フレーム分ハッチングを施している。 外部閃光があるフレームは、上半分あるいは下半分を白くしている。

    1発の外部閃光があった場合、図6に示すように、1/60秒の垂直同期信号のタイミングに対して(a)から(g)の7種類の位相関係があり得る。 本実施形態の撮像装置では、次のようにして、除外するフレームを決定し、平均演算部による平均処理を行う。
    (A)(a)の位相関係の場合、フレーム(1)、フレーム(2)、フレーム(5)およびフレーム(6)を除外し、図6の黒丸で示したフレーム(3)とフレーム(4)の平均値を計算する。
    (B)(b)の位相関係の場合、フレーム(1)、フレーム(2)、フレーム(5)およびフレーム(6)を除外し、図6の黒丸で示したフレーム(3)とフレーム(4)の平均値を計算する。
    (C)(c)の位相関係の場合、フレーム(2)、フレーム(3)、フレーム(4)およびフレーム(5)を除外し、図6の黒丸で示したフレーム(1)とフレーム(6)の平均値を計算する。
    (D)(d)の位相関係の場合、フレーム(1)、フレーム(3)、フレーム(4)およびフレーム(6)を除外し、図6の黒丸で示したフレーム(2)とフレーム(5)の平均値を計算する。
    (E)(e)の位相関係の場合、フレーム(2)、フレーム(3)、フレーム(4)およびフレーム(5)を除外し、図6の黒丸で示したフレーム(1)とフレーム(6)の平均値を計算する。
    (F)(f)の位相関係の場合、フレーム(1)、フレーム(2)、フレーム(5)およびフレーム(6)を除外し、図6の黒丸で示したフレーム(3)とフレーム(4)の平均値を計算する。
    (G)(g)の位相関係の場合、フレーム(1)、フレーム(2)、フレーム(5)およびフレーム(6)を除外し、図6の黒丸で示したフレーム(3)とフレーム(4)の平均値を計算する。

    このように、本実施形態の撮像装置では、平均演算部により、計算することで、全ての位相関係について平均演算が可能である。
    本実施形態の撮像装置では、撮像部から出力されるn倍速画像(画像信号)の連続するn個のフレームに1番からn番までのフレーム番号を付けたとき、フレーム番号の平均が(n+1)/2となるように、閃光を検出していないフレームを選択して平均演算部で平均を計算する。 本実施形態では、n=6である。
    本実施形態の撮像装置では、フレーム番号の平均が(n+1)/2となるように平均計算すべきフレームを選んでいる。 撮像装置において、このように制御することにより、平均計算に採用されるフレームが図6のフレーム(1)からフレーム(6)の中で左右対称にすることができ、時間的な重心が常に1/60秒の中央にすることができる(図6の場合では、時間的な重心を常にC1で示した位置にすることができる)。

    仮に、図6の場合において、(b)のタイミングで外部閃光を検出した場合、フレーム(1)およびフレーム(2)を除外してフレーム(3)からフレーム(6)までの4フレームを採用して平均計算してフレーム周波数60Hzの画像に変換したとすると、動画の中の1枚の画像としては時間的に後ろ寄りになってしまう。 例えば、等速度で移動する物体を撮像したとき、撮像装置の出力画像の物体は等間隔で移動せず、後ろのフレームに近い側に表示されてしまう。 しかし、本実施形態の撮像装置により取得される画像(映像)では、外部閃光の有無に関わらず、常に時間重心が一定となる。 このため、本実施形態の撮像装置により取得される画像(映像)は、動画としてスムースなものになる。
    以上のように、本実施形態の撮像装置は、6倍速で駆動させる撮像部と、図6の黒丸で示したフレームの平均計算をする平均演算部とを有しており、上記のように動作するので、最終出力のフレーム周波数60Hzの画像信号に高輝度な横帯が発生することを防止することができ、かつ、同じフレーム画像を複数枚連続出力することもない。 このため、本実施形態の撮像装置により取得される画像(映像)は、動画としての連続性も保つことができる。 さらに、平均計算に採用されるフレームが図6のフレーム(1)からフレーム(6)の中で左右対称にすることができ、常に時間重心を一定に保つことができるため、本実施形態の撮像装置により取得される画像(映像)は、動画としてスムースなものになる。

    [第3実施形態]
    本発明の第3実施形態について、図面を参照しながら説明する。
    <3.1:撮像装置の構成>
    本発明の第3実施形態に係る撮像装置は、基本的には第1実施形態に係る撮像装置100の構成と同じであるので、本実施形態の撮像装置の構成の詳細な説明は、省略する。 本実施形態において、第1実施形態と異なっている点は、以下の通りである。
    第1に、本実施形態の撮像装置では、n=8であり、撮像部において、CMOSイメージセンサを8倍速で駆動しており、フレーム周波数480Hz(=60[Hz]×8)のデジタル順次走査画像信号を取得し出力する。 この点が第1実施形態と異なる。
    第2に、本実施形態の撮像装置では、平均演算部において、最大8フレーム分(480pの8フレーム分)の画像(フレーム画像)に相当する画像信号を用いて、平均値計算ができるようになっている。 この点が第1実施形態と異なる。

    第3に、本実施形態の撮像装置では、速度変換部において、フレーム周波数480Hzの画像信号からフレーム周波数60Hzの画像信号に変換している(480pから60pへのフレームレート変換を行っている)。 この点が第1実施形態と異なる。
    上記以外の点については、本実施形態は、第1実施形態と同様である。
    <3.2:撮像装置の動作>
    以上のように構成された本発明の第3実施形態における撮像装置の動作について説明する。 第3実施形態の撮像装置の動作において、第1実施形態と異なっている部分について説明する。 具体的には、本実施形態の撮像装置において、撮像部から出力される画像信号(フレーム周波数480Hz画像信号)の連続した8フレーム(480pの8フレーム分)を用いて、平均演算部による実行される平均計算処理について、図7を用いて説明する。

    図7は、本実施形態の撮像装置で、外部閃光により撮像部から出力される画像信号に高輝度な横帯が発生するタイミングを説明する図である。 図7において、(1)から(8)は、フレーム周波数480Hzにおける連続する8つのフレーム(480pの8フレーム)を、最終出力の垂直同期信号を基準にして、示している。 図7において、外部閃光がないフレームは、1フレーム分ハッチングを施している。 外部閃光があるフレームは上半分あるいは下半分を白くしている。
    1発の外部閃光があった場合、図7に示すように1/60秒の垂直同期信号のタイミングに対して(a)から(i)の9種類の位相関係があり得る。 本実施形態の撮像装置では、次のようにして、除外するフレームを決定し、平均演算部による平均処理を行う。
    (A)(a)の位相関係の場合、フレーム(1)、フレーム(2)、フレーム(7)およびフレーム(8)を除外し、図7の黒丸で示したフレーム(3)、フレーム(4)、フレーム(5)とフレーム(6)の平均値を計算する。
    (B)(b)の位相関係の場合、フレーム(1)、フレーム(2)、フレーム(7)およびフレーム(8)を除外し、図7の黒丸で示したフレーム(3)、フレーム(4)、フレーム(5)とフレーム(6)の平均値を計算する。
    (C)(c)の位相関係の場合、フレーム(2)、フレーム(3)、フレーム(6)およびフレーム(7)を除外し、図7の黒丸で示したフレーム(1)、フレーム(4)、フレーム(5)とフレーム(8)の平均値を計算する。
    (D)(d)の位相関係の場合、フレーム(3)、フレーム(4)、フレーム(5)およびフレーム(6)を除外し、図7の黒丸で示したフレーム(1)、フレーム(2)、フレーム(7)とフレーム(8)の平均値を計算する。
    (E)(e)の位相関係の場合、フレーム(1)、フレーム(4)、フレーム(5)およびフレーム(8)を除外し、図7の黒丸で示したフレーム(2)、フレーム(3)、フレーム(6)とフレーム(7)の平均値を計算する。
    (F)(f)の位相関係の場合、フレーム(3)、フレーム(4)、フレーム(5)およびフレーム(6)を除外し、図7の黒丸で示したフレーム(1)、フレーム(2)、フレーム(7)とフレーム(8)の平均値を計算する。
    (G)(g)の位相関係の場合、フレーム(2)、フレーム(3)、フレーム(6)およびフレーム(7)を除外し、図7の黒丸で示したフレーム(1)、フレーム(4)、フレーム(5)とフレーム(8)の平均値を計算する。
    (H)(h)の位相関係の場合、フレーム(1)、フレーム(2)、フレーム(7)およびフレーム(8)を除外し、図7の黒丸で示したフレーム(3)、フレーム(4)、フレーム(5)とフレーム(6)の平均値を計算する。
    (I)(i)の位相関係の場合、フレーム(1)、フレーム(2)、フレーム(7)およびフレーム(8)を除外し、図7の黒丸で示したフレーム(3)、フレーム(4)、フレーム(5)とフレーム(6)の平均値を計算する。

    このように、本実施形態の撮像装置では、平均演算部により、計算することで、全ての位相関係について平均演算が可能である。
    本実施形態の撮像装置では、撮像部から出力されるn倍速画像(画像信号)の連続するn個のフレームに1番からn番までのフレーム番号を付けたとき、フレーム番号の平均が(n+1)/2となるように、閃光を検出していないフレームを選択して平均演算部で平均を計算する。 本実施形態では、n=8である。
    本実施形態の撮像装置では、フレーム番号の平均が(n+1)/2となるように平均計算すべきフレームを選んでいる。 撮像装置において、このように制御することにより平均計算に採用されるフレームが図7のフレーム(1)からフレーム(8)の中で左右対称にすることができ、時間的な重心が常に1/60秒の中央にすることができる(図7の場合では、時間的な重心を常にC2で示した位置にすることができる)。

    以上のように、本実施形態の撮像装置は、8倍速で駆動させる撮像部と、図7の黒丸で示したフレームの平均計算をする平均演算部とを有しており、上記のように動作するので、最終出力のフレーム周波数60Hzの画像信号に高輝度な横帯が発生することを防止することができ、かつ、同じフレーム画像を複数枚連続出力することもない。 このため、本実施形態の撮像装置により取得される画像(映像)は、動画としての連続性も保つことができる。 さらに、平均計算に採用されるフレームが図7のフレーム(1)からフレーム(8)の中で左右対称にすることができ、常に時間重心を一定に保つことができるため、本実施形態の撮像装置により取得される画像(映像)は、動画としてスムースなものになる。
    [第4実施形態]
    <4.1:撮像装置の構成>
    図9は、本発明の第4実施形態に係る撮像装置400のブロック図である。

    図9に示すように、撮像装置400は、被写体からの光を電気信号に変換し、所定の映像フォーマットのn倍(n≧2、nは整数)のフレームレートの画像信号を取得する撮像部401と、撮像部401により取得された画像信号から外部閃光の有無を検出し、検出結果を閃光検出信号として出力する閃光検出部402と、閃光検出信号に基づいて、異なったタイミングで取得されたn個のフレームの信号の全部または一部を抽出して加算することで閃光の影響を除去した画像信号を生成するフォーマット変換部403と、を備える。 また、撮像装置400は、フォーマット変換部403から出力される画像信号に対してガンマ処理、輪郭強調処理等の処理を行う画像処理部404と、を備える。
    なお、説明便宜のため、以下では、撮像部401が所定の映像フォーマットの4倍のフレームレートの画像信号を取得する場合(つまり、n=4の場合)について、説明する。

    撮像部401は、CMOSイメージセンサ(CMOS型イメージセンサ(撮像素子))、センサ駆動回路、およびアナログ/デジタル変換器を有し、被写体からの光を光電変換により電気信号に変換し、デジタルの画像信号として、閃光検出部402およびフォーマット変換部403に出力する。 撮像部401は、連続画像を撮像して、例えば、垂直有効720ライン、水平有効1280画素、フレーム周波数240[Hz](=60×4[Hz])(フレームレート240[fps(frames per second)])のデジタル順次走査画像信号を出力する。 なお、説明便宜のため、以下では、撮像部401から出力される画像信号が、垂直有効720ライン、水平有効1280画素、フレーム周波数240[Hz]のデジタル順次走査画像信号であるものとして、説明する。
    閃光検出部402は、撮像部401から出力される画像信号を入力とし、連続する各フレームの画像(画像信号により形成されるフレーム画像)を比較し、外部閃光の有無を検出する。 そして、閃光検出部402は、外光閃光の有無を示す閃光検出信号をフォーマット変換部403に出力する。

    フォーマット変換部403は、撮像部401から出力される画像信号および閃光検出部402から出力される閃光検出信号を入力とする。 フォーマット変換部403は、画像信号により形成されるフレーム画像において、水平・垂直の同じ位置の画素について、複数フレームにわたって、同一画素位置の画素値(信号値に対応)を加算することで所定のフォーマットの画像信号を生成する。 フォーマット変換部403は、フォーマット変換部403に入力される画像信号のフレームレートFRinが、フォーマット変換部403から出力される画像信号のフレームレートFRoutのK倍(=FRin/FRout)である場合、K+2個のフレームメモリを備えることが好ましい。 そして、フォーマット変換部403は、例えば、以下のようにして、フレーム変換処理を行う。
    すなわち、画像領域上において、その画素位置(座標位置)が同一である画素に対応する画像信号であって、K+2個のフレームメモリにそれぞれ記憶されているK+2個の画像信号の中から、K個の画像信号を抽出し、抽出したK個の画像信号を加算することで、フレーム変換処理を行う。 なお、加算処理の代わりに、加算平均処理を行うようにしてもよい。

    フォーマット変換部403は、上記のようにして、フォーマット変換処理を行った画像信号を画像処理部404に出力する。
    さらに、240pの画像信号を60pの画像信号にフォーマット変換する場合のフォーマット変換部403の具体的構成の一例を、図10に示す。
    図10に示すように、フォーマット変換部403は、フレームメモリ部420と、制御信号変換部421と、セレクタ部422と、加算部423と、を有する。
    フレームメモリ部420は、少なくとも6フレーム分(=240/60+2)の容量を持つ、例えばメモリ等の記憶素子で構成されている。 フレームメモリ部420は、撮像部401から出力されるフレーム周波数が240Hz(フレームレートが240[fps])の画像信号をフレームメモリ1からフレームメモリ6に記憶し、フレーム周波数が60Hz(フレームレートが60[fps])の画像信号に変換して出力する。

    制御信号変換部421は、閃光検出部402から出力される閃光検出信号を入力とし、閃光検出信号に基づいて、フレームメモリ1から6に記憶されている6つのフレーム(6つのフレーム期間)のどの部分が外部閃光の影響を受けているかを判定し、その判定結果に基づいて、制御信号を生成し、生成した制御信号をセレクタ部422に出力する。
    セレクタ部422は、フレームメモリ部420から出力される6個のフレーム(6枚の画像に相当)にそれぞれ対応する6個の画像信号(画像領域上において同一画素位置である画素に対応する画像信号)と、制御信号変換部421から出力される制御信号とを入力とし、制御信号に基づいて、上記6個の画像信号の中から、4個の画像信号を選択して(6枚のフレーム画像に対応する画像信号から4枚のフレーム画像に対応する画像信号を選択して)、加算部423に出力する(詳細については後述)。

    加算部423は、セレクタ部422から出力される4個の画像信号(4枚のフレーム画像に対応する画像信号)を加算して、画像処理部404に出力する。 なお、4個の画像信号(4枚のフレーム画像に対応する画像信号)を加算する代わりに、4個の画像信号(4枚のフレーム画像に対応する画像信号)を加算平均するようにしてもよい。
    画像処理部404は、フォーマット変換部403から出力される画像信号に対して、ガンマ処理や輪郭強調処理等の信号処理を行う。
    <4.2:撮像装置の動作>
    以上のように構成された撮像装置400について、その動作を説明する。
    まず、撮像部401では、センサ駆動回路(不図示)から駆動信号を供給して、CMOSイメージセンサに入射した光信号を光電変換し、さらに、アナログ/デジタル変換を行うことによってデジタル順次走査画像信号が取得される。 なお、撮像部401は、図16で示した従来の撮像装置900の撮像部950と比べ4倍速でCMOSイメージセンサを駆動しており、フレーム周波数240[Hz](フレームレート240[fps])のデジタル順次走査画像信号を出力している。

    撮像部401により取得されたデジタル順次走査画像信号は、閃光検出部402およびフォーマット変換部403に出力される。
    閃光検出部402は、入力されたデジタル順次走査画像信号に対して、1フレーム分(240pの1フレーム分)の平均輝度レベルを計算し、入力された信号のフレーム平均輝度レベルと直前のフレーム(1フレーム前のフレーム)の平均輝度レベルとを比較し、大幅に平均輝度レベルが増加した場合、フラッシュのような外部閃光が存在する環境下で撮像画像(デジタル順次走査画像信号)が撮像部401により取得されたと判断する。 例えば、平均輝度レベルが100%以上増加した場合、閃光検出部402は、フラッシュのような外部閃光が検出されたと判定し、閃光検出信号の信号値を「1」にして、閃光検出信号を出力する。 一方、外部閃光を検出していない場合、閃光検出部402は、閃光検出信号の信号値を「0」(無信号にしてもよい。)にして、閃光検出信号を出力する。 そして、閃光検出部402により生成された閃光検出信号は、フォーマット変換部403に出力される。

    撮像部401により取得されたデジタル順次走査画像信号(画像信号)は、フォーマット変換部403のフレームメモリ部420に順番に6フレーム分入力される。
    フレームメモリ部420は、入力された6枚の画像に相当する画像信号(6フレーム分の画像信号)を、フレーム周波数240[Hz](240[fps])という4倍速のフレームレート(60pの4倍のフレームレート)にてメモリに書き込み、フレーム周波数60[Hz](フレームレート60[fps])のタイミングで、当該メモリから読み出すことにより、速度変換(フレームレート変換)を行い、フレーム周波数60Hz(フレームレート60[fps])の画像信号(60pの画像信号)を生成する。 なお、これら6枚の画像(フレーム画像)に相当する画像信号(6フレーム分の画像信号)の出力タイミングは、画像信号により形成されるフレーム画像において、その画像領域上の位置が同じ位置の信号が、同一タイミングで出力されるように調整されている。

    一方、閃光検出部402より出力される閃光検出信号は、フォーマット変換部403の制御信号変換部421に入力される。
    制御信号変換部421は、連続する閃光検出信号が6個のフレーム画像(6フレーム期間)のどの部分に発生しているかに対応した制御信号を以下のように生成(設定)し、出力する。 すなわち、
    (A)閃光検出信号が全く発生しない場合(閃光検出信号がフレームメモリ1〜6のいずれにも発生していない場合)、制御信号を「0」に設定する(制御信号を「0」を示す信号値に設定する)。
    (B)閃光検出信号がフレームメモリ1、およびフレームメモリ2に発生する場合、制御信号の信号値を「1」に設定する(制御信号を「1」を示す信号値に設定する)。
    (C)閃光検出信号がフレームメモリ2、およびフレームメモリ3に発生する場合、制御信号を「2」に設定する(制御信号を「2」を示す信号値に設定する)。
    (D)閃光検出信号がフレームメモリ3、およびフレームメモリ4に発生する場合、制御信号を「3」に設定する(制御信号を「3」を示す信号値に設定する)。
    (E)閃光検出信号がフレームメモリ4、およびフレームメモリ5に発生する場合、制御信号を「4」に設定する(制御信号を「4」を示す信号値に設定する)。
    (F)閃光検出信号がフレームメモリ5、およびフレームメモリ6に発生する場合、制御信号を「5」に設定する(制御信号を「5」を示す信号値に設定する)。

    セレクタ部422は、制御信号変換部421から出力される、上記(A)〜(F)で示した6種類の制御信号に基づいて、フレームメモリ部420のフレームメモリ1〜6のそれぞれから出力される6つの画像信号(6フレーム分の画像信号)から、4つの画像信号(4フレーム分の画像信号)を以下のように選択し、出力する。 すなわち、
    (A)制御信号値0の場合:
    フレームメモリ2,3,4,5から、それぞれ、出力される画像信号を選択し、選択した4つの画像信号を加算部23に出力する。
    (B)制御信号値1の場合:
    フレームメモリ1,2,3,4から、それぞれ、出力される画像信号を選択し、選択した4つの画像信号を加算部23に出力する。
    (C)制御信号値2の場合:
    フレームメモリ2,3,4,5から、それぞれ、出力される画像信号を選択し、選択した4つの画像信号を加算部23に出力する。
    (D)制御信号値3の場合:
    フレームメモリ2,3,4,5から、それぞれ、出力される画像信号を選択し、選択した4つの画像信号を加算部23に出力する。
    (E)制御信号値4の場合:
    フレームメモリ2,3,4,5から、それぞれ、出力される画像信号を選択し、選択した4つの画像信号を加算部23に出力する。
    (F)制御信号値5の場合:
    フレームメモリ3,4,5,6から、それぞれ、出力される画像信号を選択し、選択した4つの画像信号を加算部423に出力する。

    加算部423は、セレクタ部422から出力される4つの画像信号(異なる4つのフレームを形成する画像信号であって、フレーム内の画像領域上の座標位置が同一である画素に対応する、4つの画像信号)を全て加算して、画像処理部404に出力する。 なお、加算部423は、4つの画像信号を加算平均して、画像処理部404に出力するようにしてもよい。
    画像処理部404では、フォーマット変換部403から出力された画像信号(60pの画像信号)に対しガンマ処理(ガンマ補正)、輪郭強調処理等を施す。 そして、画像処理部404により処理された画像信号が、画像処理部404から出力される。
    次に、撮像装置400の動作について、図3を用いて、詳しく説明する。
    図3は、本実施形態における撮像装置100で、外部閃光により画像が受ける悪影響を説明する図である。 図3の(1)〜(4)は、連続したフレームでCMOSイメージセンサが受光しているタイミングを、最終出力の垂直同期信号を基準にして、示している。

    図3に示す「画像上側」とは、有効画面(撮像装置により取得された画像信号を表示装置に表示させた場合の実際に表示される画面(同期信号等の部分を除いた画面)に相当する画面)の上側を意味し、有効画面の1ライン目は、図3の中の矢印で示した期間受光している。 CMOSイメージセンサでは、ライン毎に受光タイミングが少しずつずれていくため、720ライン目では、およそ1/240秒ずれている。 ここで、図3の星印で示したタイミングで外部閃光があった場合、(2)のフレームの下方画面を構成するラインと(3)のフレームの上方画面を構成するラインで、閃光を受光することになる。 このような状況で、撮像部1により取得された画像信号を表示装置に表示させた場合、表示画面(映像)において、連続した2フレームにわたって高輝度な横帯が発生することになる。
    しかしながら、本実施形態に係る撮像装置100では、外部閃光を検出したフレーム、すなわち、図3でのフレーム(2)およびフレーム(3)の画像信号(フレーム(2)およびフレーム(3)を形成する画像信号)を加算することにより最終の画像信号を生成するため、高輝度な横帯の発生を防ぐことができる。

    (4.2.1:フォーマット変換部403の処理)
    さらに、図11を用いて、フォーマット変換部403の処理について説明を加える。
    図11は、本実施形態における撮像装置400で、外部閃光により撮像部401から出力される画像信号により形成される画像に高輝度な横帯が発生するタイミングを説明する図である。 図11において、(1)から(6)は、フレームメモリ部420に記憶されるフレーム周波数240Hz(フレームレート240[fps])における連続する6つのフレーム(240pの6フレーム)を示しており、外部閃光がないフレームは、1フレーム分ハッチングを施している。 外部閃光があるフレームは、上半分あるいは下半分を白くしている。
    1発の外部閃光があった場合、図11に示すように、(b)から(f)の5種類の位相関係があり得る。 本実施形態における撮像装置400では、外部閃光がない場合、(a)も含め、次の(A)〜(F)のようにして、フォーマット変換部403で加算するフレームを決定し、決定したフレームの信号を加算する。 なお、図11に(N)で表記しているフレームは、フレームNに対応する。
    (A)(a)の場合(外部閃光がない場合):
    フレーム2、フレーム3、フレーム4、フレーム5の信号を加算する。
    (B)(b)の位相関係の場合:
    フレーム1、フレーム2、フレーム3、フレーム4の信号を加算する。
    (C)(c)の位相関係の場合:
    フレーム2、フレーム3、フレーム4、フレーム5の信号を加算する。
    (D)(d)の位相関係の場合:
    フレーム2、フレーム3、フレーム4、フレーム5の信号を加算する。
    (E)(e)の位相関係の場合:
    フレーム2、フレーム3、フレーム4、フレーム5の信号を加算する。
    (F)(f)の位相関係の場合:
    フレーム3、フレーム4、フレーム5、フレーム6の信号を加算する。

    このように、撮像装置400では、フォーマット変換部403により、外部閃光により影響を受ける連続する2フレームを常に加算することで、全ての位相関係において外部閃光の影響をなくすことが可能となる。
    以上のように、本実施形態における撮像装置400では、4倍速で駆動させる撮像部1と、外部閃光を検知したフレーム画像を加算して画像信号を出力するフォーマット変換部403とを設けたことにより、最終出力のフレーム周波数60Hz(フレームレート60[fps])の画像信号に、高輝度な横帯が発生するのを防ぐことができ、かつ、同じフレーム画像が複数枚連続して出力されることもない。 このため、撮像装置400から出力される画像信号により形成される映像において、動画としての連続性も保つことができる。

    ≪第1変形例≫
    次に、本実施形態の第1変形例について、図12〜図14を用いて、説明する。
    第1変形例において、上記実施形態と異なるのは、フォーマット変換部403での処理内容のみであり、それ以外については、上記実施形態で説明したのと同じである。 なお、本変形例においても、フォーマット変換部403で、画像信号が、240pから60pにフレームレート変換される場合について、説明する。
    図12〜図14は、フォーマット変換部403に入力される画像信号Sig_inと、フォーマット変換部403から出力される画像信号Sig_outと、のタイミングチャート図である。 なお、図12〜図14の上段に示す四形の中の数字は、フレーム番号を示すものとする。 そして、白い(背景色のない)四角形で示したフレームは、外部閃光の影響を受けているフレームであることを示している。
    図12(a)の場合:
    図12(a)は、フレーム1〜フレーム18において、外部閃光の影響の影響を受けているフレームがない場合の画像信号Sig_inおよび画像信号Sig_outのタイミングチャート図である。

    この場合、図12(a)に示すように、フォーマット変換部403では、期間T1の入力画像信号Sig_inに対して、フレーム2〜5の4つのフレームに対応する画像信号が選択され、選択されたフレーム2〜5の4つのフレームに対応する画像信号が加算されることで、出力画像信号Sig_outが取得される。 なお、図12〜図14において、例えば、フレーム2〜5の4つのフレームに対応する画像信号が加算された信号を「2+3+4+5」と表記している(他のフレーム番号についても同様の表記をしている)。
    同様に、図12(a)の場合、期間T2の入力画像信号Sin_inに対して、出力画像信号Sig_outが、「6+7+8+9」の信号として取得され、期間T3の入力画像信号Sin_inに対して、出力画像信号Sig_outが、「10+11+12+13」の信号として取得される。

    この場合、図12(a)に示すように、フォーマット変換された画像信号の時間軸方向の重心がずれることはない。 つまり、図12(a)の場合、出力画像信号Sig_outは、図12(a)に示したC1、C2、C3を中心とする4つのフレームを加算して生成されているので、出力画像信号Sig_outの時間軸方向の重心は、C1、C2、C3に準ずるものであると考えることが出来る。 したがって、図12(a)の場合、画像信号の時間軸方向の重心がずれることはなく、撮像装置400により取得される撮像画像により形成される映像は、自然な映像となる。
    図12(b)の場合:
    次に、図12(b)の場合について、説明する。
    図12(b)は、フレーム3、4、8、9、11、12に、外部閃光の影響がある場合のタイミングチャート図である。

    図12(b)の場合、フォーマット変換部403で選択される4つのフレームは、図12(a)と同じになるので、出力画像信号Sig_outは、図12(b)に示したC4、C5、C6を中心とする4つのフレームを加算して生成されているので、出力画像信号Sig_outの時間軸方向の重心は、C4、C5、C6に準ずるものとなる。
    したがって、図12(b)の場合も、画像信号の時間軸方向の重心がずれることはなく、撮像装置400により取得される撮像画像により形成される映像は、自然な映像となる。
    次に、図13の場合について、説明する。
    図13(a)、(b)は、フレーム5、6に、外部閃光の影響がある場合のタイミングチャート図である。 なお、図13(a)は、上記実施形態でのタイムチャート図であり、図13(b)は、本変形例でのタイミグチャート図である。
    図13(a)の場合(上記実施形態による処理):
    図13(a)の場合、期間T1は、図11の(f)の位相関係(上記実施形態で説明した(F)の場合に相当)であるので、フォーマット変換部403では、期間T1の入力画像信号Sig_inに対して、フレーム3〜6の4つのフレームに対応する画像信号が選択され、選択されたフレーム3〜6の4つのフレームに対応する画像信号が加算されることで、出力画像信号Sig_out(「3+4+5+6」)が取得される。

    図13(a)の場合、期間T2は、図11の(b)の位相関係(上記実施形態で説明した(B)の場合に相当)であるので、フォーマット変換部403では、期間T2の入力画像信号Sig_inに対して、フレーム5〜8の4つのフレームに対応する画像信号が選択され、選択されたフレーム5〜8の4つのフレームに対応する画像信号が加算されることで、出力画像信号Sig_out(「5+6+7+8」)が取得される。
    図13(a)の場合、期間T3は、図11の(a)の位相関係(上記実施形態で説明した(A)の場合に相当)であるので、フォーマット変換部403では、期間T3の入力画像信号Sig_inに対して、フレーム10〜13の4つのフレームに対応する画像信号が選択され、選択されたフレーム10〜13の4つのフレームに対応する画像信号が加算されることで、出力画像信号Sig_out(「10+11+12+13」)が取得される。

    このようにして取得された画像信号Sig_outは、時間軸方向の重心がずれることになる。 つまり、図13(a)の場合、出力画像信号Sig_outは、図13(a)に示したC7、C8、C9を中心とする4つのフレームを加算して生成されているので、出力画像信号Sig_outの時間軸方向の重心は、時間軸方向に等間隔でないC7、C8、C9に準ずるものであると考えることが出来る。 したがって、図13(a)の場合、画像信号の時間軸方向の重心がずれることなる。 その結果、撮像装置400により取得される撮像画像により形成される映像は、不自然な映像となる可能性がある(特に、動きのある映像の場合不自然な映像になる可能性が高い)。
    図13(b)の場合(第1変形例による処理):
    そこで、本変形例では、フォーマット変換部403において、図13(b)に示すように、4つのフレームを選択し、画像信号の時間軸方向の重心のずれを低減させる。

    図13(b)の場合、第1変形例のフォーマット変換部は、期間T1では、上記実施形態と同様の処理を行うが、期間T2では、上記実施形態と異なる処理を行う。 具体的には、第1変形例のフォーマット変換部は、図13(b)に示すように、期間T1で選択されたフレームが時間軸方向に後ろ側4つのフレーム(フレーム3〜6)であるので、次の期間T2においても、時間軸方向の重心のずれを抑えるために、時間軸方向に後ろ側の4つのフレーム(フレーム7〜10)を選択する。
    つまり、図11の位相関係(f)である場合の6フレーム期間(例えば、図13(b)の期間T1)の次の6フレーム期間(例えば、図13(b)の期間T2)の位相関係は、必ず、図11の(b)の位相関係となる。 したがって、本変形例の制御信号変換部421は、位相関係のパターンを監視し、上記パターンを検出した場合、図11の位相関係(f)である場合の6フレーム期間(例えば、図13(b)の期間T1)の次の6フレーム期間において、時間軸方向に後ろ側の4つのフレームを選択するように制御信号をセレクタ部422に出力する。

    これにより、本変形例において、フォーマット変換部403から出力される画像信号は、図13(b)に示すように、その時間軸方向の重心が、C10、C11、C12となるので、図13(a)の場合に比べて、時間軸方向の重心のずれを抑えた画像信号Sig_outを取得することができる。
    次に、図14の場合について、説明する。
    図14(a)、(b)は、フレーム1、2に、外部閃光の影響がある場合のタイミングチャート図である。 なお、図14(a)は、上記実施形態でのタイムチャート図であり、図14(b)は、本変形例でのタイミグチャート図である。
    図14(a)の場合(上記実施形態による処理):
    図14(a)の場合、期間T1は、図11の(b)の位相関係(上記実施形態で説明した(B)の場合に相当)であるので、フォーマット変換部403では、期間T1の入力画像信号Sig_inに対して、フレーム1〜4の4つのフレームに対応する画像信号が選択され、選択されたフレーム1〜4の4つのフレームに対応する画像信号が加算されることで、出力画像信号Sig_out(「1+2+3+4」)が取得される。

    図14(a)の場合、期間T2は、図11の(a)の位相関係(上記実施形態で説明した(A)の場合に相当)であるので、フォーマット変換部403では、期間T2の入力画像信号Sig_inに対して、フレーム6〜9の4つのフレームに対応する画像信号が選択され、選択されたフレーム6〜9の4つのフレームに対応する画像信号が加算されることで、出力画像信号Sig_out(「6+7+8+9」)が取得される。
    図14(a)の場合、期間T3も、期間T2と同様である。
    このようにして取得された画像信号Sig_outは、時間軸方向の重心がずれることになる。 つまり、図14(a)の場合、出力画像信号Sig_outは、図14(a)に示したC13、C14、C15を中心とする4つのフレームを加算して生成されているので、出力画像信号Sig_outの時間軸方向の重心は、時間軸方向に等間隔でないC13、C14、C15に準ずるものであると考えることが出来る。 したがって、図14(a)の場合、画像信号の時間軸方向の重心がずれることなる。
    図14(b)の場合(第1変形例による処理):
    図14(b)の場合、第1変形例のフォーマット変換部は、期間T1では、上記実施形態と同様の処理を行うが、期間T2では、上記実施形態と異なる処理を行う。 具体的には、第1変形例のフォーマット変換部は、図14(b)に示すように、期間T1で選択されたフレームが時間軸方向に前側4つのフレーム(フレーム1〜4)であるので、次の期間T2においても、時間軸方向の重心のずれを抑えるために、時間軸方向に前側の4つのフレーム(フレーム5〜8)を選択する。 なお、このような選択を行う制御信号は、本変形例の制御信号変換部421により生成される。

    以上により、本変形例において、フォーマット変換部403から出力される画像信号は、図14(b)に示すように、その時間軸方向の重心が、C16、C17、C18となるので、図14(a)の場合に比べて、外部閃光の影響のあるフレームに近い領域(時間軸方向の領域)の重心のずれを抑えた画像信号Sig_outを取得することができる。
    ≪第2変形例≫
    次に、本実施形態の第2変形例について、図15を用いて、説明する。
    第2変形例において、上記実施形態と異なるのは、フォーマット変換部403での処理内容のみであり、それ以外については、上記実施形態で説明したのと同じである。 なお、本変形例においても、フォーマット変換部403で、画像信号が、240pから60pにフレームレート変換される場合について、説明する。

    図15は、フォーマット変換部403に入力される画像信号Sig_inと、フォーマット変換部403から出力される画像信号Sig_outと、のタイミングチャート図である。 なお、図15の上段に示す四角形の中の数字は、フレーム番号を示すものとする。 そして、白い(背景色のない)四角形で示したフレームは、外部閃光の影響を受けているフレームであることを示している。
    図15(a)は、フレーム1、2に、外部閃光の影響がある場合のタイミングチャート図であり、図15(b)は、フレーム5、6に、外部閃光の影響がある場合のタイミングチャート図である。
    まず、図15(a)の場合について、説明する。
    (期間T1):
    期間T1では、外部閃光の影響を受けているフレーム1、2が検出されるため、本変形例のフォーマット変換部403では、期間T1の入力画像信号Sig_inに対して、フレーム1〜6の6つのフレームに対応する画像信号が選択され、選択されたフレーム1〜6の6つのフレームに対応する画像信号が加算され、さらに、ゲインG1(=4/6)によるゲイン処理を実行されることで、出力画像信号Sig_out(「1+2+3+4+5+6」×G1)が取得される。

    つまり、本変形例のフォーマット変換部403は、K+2フレーム期間に外部閃光の影響を受けているフレームが検出された場合、画像領域上において、その画素位置(座標位置)が同一である画素に対応する画像信号であって、K+2個のフレームメモリにそれぞれ記憶されているK+2個の画像信号を加算し、加算された画像信号に所定のゲインG1(=K/(K+2))を乗ずることでフォーマット変換処理を行う。 なお、本変形例では、K=4である。
    (期間T2):
    期間T2では、外部閃光の影響を受けているフレームが検出されないため、本変形例のフォーマット変換部403では、期間T2の入力画像信号Sig_inに対して、フレーム6〜9の4つのフレームに対応する画像信号が選択され、選択されたフレーム6〜9の4つのフレームに対応する画像信号が加算されることで、出力画像信号Sig_out(「6+7+8+9」)が取得される。
    (期間T3):
    期間T3では、外部閃光の影響を受けているフレームが検出されないため、本変形例のフォーマット変換部403では、期間T3の入力画像信号Sig_inに対して、フレーム10〜13の4つのフレームに対応する画像信号が選択され、選択されたフレーム10〜13の4つのフレームに対応する画像信号が加算されることで、出力画像信号Sig_out(「10+11+12+13」)が取得される。

    次に、図15(b)の場合について、説明する。
    (期間T1):
    期間T1では、外部閃光の影響を受けているフレーム5、6が検出されるため、本変形例のフォーマット変換部403では、期間T1の入力画像信号Sig_inに対して、フレーム1〜6の6つのフレームに対応する画像信号が選択され、選択されたフレーム1〜6の6つのフレームに対応する画像信号が加算され、さらに、ゲインG1(=4/6)によるゲイン処理を実行されることで、出力画像信号Sig_out(「1+2+3+4+5+6」×G1)が取得される。
    (期間T2):
    期間T2でも、外部閃光の影響を受けているフレーム5、6が検出されるため、本変形例のフォーマット変換部403では、期間T2の入力画像信号Sig_inに対して、フレーム5〜10の6つのフレームに対応する画像信号が選択され、選択されたフレーム5〜10の6つのフレームに対応する画像信号が加算され、さらに、ゲインG1(=4/6)によるゲイン処理を実行されることで、出力画像信号Sig_out(「5+6+7+8+9+10」×G1)が取得される。
    (期間T3):
    期間T3では、外部閃光の影響を受けているフレームが検出されないため、本変形例のフォーマット変換部403では、期間T3の入力画像信号Sig_inに対して、フレーム10〜13の4つのフレームに対応する画像信号が選択され、選択されたフレーム10〜13の4つのフレームに対応する画像信号が加算されることで、出力画像信号Sig_out(「10+11+12+13」)が取得される。

    以上のように、本変形例の撮像装置では、フォーマット変換部403から出力される画像信号は、図15(a)の場合、その時間軸方向の重心が、C19、C20、C21となり、図15(b)の場合、その時間軸方向の重心が、C22、C23、C24となり、図15(a)、(b)のいずれの場合においても、時間軸方向の重心のずれのない画像信号Sig_outを取得することができる。
    なお、本変形例の制御信号変換部421は、次の(1)、(2)に示すように選択処理がなされるように制御信号を生成し、生成した制御信号をセレクタ部422に出力する。
    (1)6フレーム期間に外部閃光の影響のあるフレームが検出された場合、6個のフレームに相当する画像信号の選択処理(6個全てを選択する処理)がなされるように、制御信号を生成する。
    (2)6フレーム期間に外部閃光の影響のあるフレームが検出されない場合、時間軸方向の前後端の2個のフレームを除いた中央の4個のフレームに相当する画像信号の選択処理(中央の4個のフレームに相当する画像信号を選択する処理)がなされるように、制御信号を生成する。

    そして、本変形例の加算部(上記実施形態の加算部423に対応)は、上記(1)の場合、加算処理およびゲインG1によるゲイン処理を行い、上記(2)の場合、加算処理のみを行う。
    以上により、本変形例において、フォーマット変換部403から出力される画像信号Sig_outは、図15に示すように、その時間軸方向の重心が、C19、C20、C21となるので、時間軸方向の重心のずれがない画像信号となる。 その結果、本変形例に係る撮像装置により取得される撮像画像により形成される映像は、自然な映像となる。
    [他の実施形態]
    上記第2実施形態および第3実施形態において、平均演算部での平均演算の対象とするフレーム数は、固定である場合について説明した(図6の場合は、平均演算の対象のフレーム数は「2」であり、図7の場合、平均演算の対象のフレーム数は「4」である)。 しかし、これに限定されることはなく、平均演算部での平均演算の対象とするフレーム数を可変にし、時間重心が一定に保つことができるようにフレームを選択するようにしてもよい。

    これについて、図6同様の図8を用いて説明する。
    図8に示すように、(a)(d)および(g)の位相関係の場合、平均演算部での平均演算の対象とするフレーム数を「4」にし、平均演算部での平均演算の対象とするフレームを、黒丸で示したフレームおよび白丸で示したフレームにする。 この場合、平均演算部での平均演算の対象とするフレーム数が「2」から「4」に増加しているが、時間重心が一定に保つことができるので、上記第2実施形態で説明したのと同様の効果を奏することができる。 さらに、撮像装置において上記処理を採用した場合、平均演算部での平均演算の対象とするフレーム数を増加させることができるので、撮像装置で取得される画像(映像)のS/N比改善効果も得られる。
    なお、上記説明は、n=6の場合であり、第2実施形態に対応するものであるが、n=8の場合(第3実施形態に対応)も同様であることは言うまでもない。

    上記実施形態において、nが所定の数(第1実施形態では、n=4、第2実施形態では、n=6、第3実施形態では、n=8)の場合について、説明したが、これらに限定されることはなく、nは、さらに大きな数の整数であってもよい。
    また、上記実施形態で説明した撮像装置において、各ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
    なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
    また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。 LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

    さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。 バイオ技術の適用等が可能性としてあり得る。
    また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。 さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。 なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。 上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
    なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

    本発明にかかる撮像装置、撮像方法、プログラムおよび集積回路は、外部閃光による高輝度の横帯を除外し、かつ、動画として連続性を確保した画像を出力することが可能になるため、連続画像を撮像するデジタルカメラやビデオカメラなどに大変有用である。 また、近年CMOSイメージセンサ撮像素子の高速駆動が可能になり実用性も高い。

    100、100A、400 撮像装置 1、401 撮像部 2、402 閃光検出部 3 平均演算部 4 速度変換部 5、404 画像処理部 5A 画像処理部 5B ガンマ処理部 20 ゲート部 21 加算部 22 記憶部(メモリ回路)
    23 除算部 403 フォーマット変換部 420 フレームメモリ部 421 制御信号変換部 422 セレクタ部 423 加算部

    高效检索全球专利

    专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

    我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

    申请试用

    分析报告

    专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

    申请试用

    QQ群二维码
    意见反馈