撮像装置及び撮像方法

本発明は、TOF(Time Of Flight)方式による撮像装置及び撮像方法に関する。

近年では、ステレオカメラ方式に代わる3次元距離測定として、発光された赤外線が対象物体に反射してカメラで観測されるまでの時間を計測し、その時間から物体までの距離を取得するTime of Flight(TOF)方式による距離測定装置(TOFカメラ)が注目されており、TOFカメラの需要も高まっている。

特表2009−516157号公報

特表2016−502657号公報

複数のTOFカメラが互いに近距離や対向する位置に配置され、それぞれの発光部が参照光を発光する場合、一方のTOFカメラから発光された参照光の反射光が、他方のTOFカメラの撮像部に影響し、正確な距離測定が行えない場合があることが、TOFカメラの距離測定の原理から知られている。

これにより、例えば、複数のTOFカメラを同時に用い、広い撮影範囲を分割して撮影しようとしても、撮像に互いの反射光が影響してしまうことにより、広い撮影範囲の安定性の高い画像データを取得することが出来なかった。

また、機能安全で要求されるような高い故障検出能力を装置が確保するためには、この装置において、入力部−ロジック部−出力部を2系統化し、更に互いの系統の相互監視を行う構成を用いることが一般的である。より具体的には、図9に示すように、装置10が入力部11A、ロジック部12A、及び出力部13Aを備える系15Aと、入力部11B、ロジック部12B、及び出力部13Bを備える系15Bとを備え、ロジック部12Aとロジック部12Bとが、互いの系を相互監視することにより、高い故障検出能力を確保する手法を用いることがある。ここで、装置10において、系15A及び系15Bが共にTOF方式による距離測定装置であり、2つの入力部11A及び11Bが、共にTOFカメラであるケースが存在する。これらの2つの入力部11A及び11Bが互いに近距離に位置し、それぞれの発光部が参照光を発光する場合、一方のTOFカメラから発光された参照光の反射光が、他方のTOFカメラの撮像部に影響してしまう。 これにより、例えばカメラ故障による撮像もれや、カメラの誤動作の未検出を低減させる目的で、上記の装置10が複数のTOFカメラを備えても、距離測定の安定性を高めることは出来なかった。

隣接又は近接する複数のTOFカメラを使用する際の反射光の影響について、図10を参照して詳述する。図10に示すように、TOFカメラ20Aが、TOFイメージセンサ21Aと、レンズ22Aと、発光部25Aとを備え、TOFカメラ20Bが、TOFイメージセンサ21Bと、レンズ22Bと、発光部25Bとを備えるものとする。この場合、TOFカメラ20Aの発光部25Aから発光される参照光A1と、TOFカメラ20Bの発光部25Bから発光される参照光B1とは、それぞれ対象物にて反射する(本例では対象物30にて説明する)。参照光A1の反射光A2は、TOFカメラ20AのTOFイメージセンサ21Aと、TOFカメラ20BのTOFイメージセンサ21Bとの両方に入射する。同様に、参照光B1の反射光B2は、TOFカメラ20AのTOFイメージセンサ21Aと、TOFカメラ20BのTOFイメージセンサ21Bとの両方に入射する。

なお、以降では、区別する必要が無いときには、TOFカメラ20AとTOFカメラ20Bとを、「TOFカメラ20」と総称することがある。同様に、TOFイメージセンサ21AとTOFイメージセンサ21Bとを、「TOFイメージセンサ21」と総称することがある。同様に、レンズ22Aとレンズ22Bとを、「レンズ22」と総称することがある。同様に、発光部25Aと発光部25Bとを、「発光部25」と総称することがある。また、本明細書においては、「TOFイメージセンサ21」を、「撮像部21」とも呼称する。

この場合、例えば、TOFカメラ20Aにおいて、TOFカメラ20Aから発光された参照光A1の反射光A2に加えて、TOFカメラ20Bから発光された参照光B1の反射光B2までもがTOFカメラ20Aの撮像部21Aに入射する影響により、TOFカメラ20Aから対象物30までの距離が正確に測定できなくなる。同様に、TOFカメラ20Bにおいて、TOFカメラ20Bから発光された参照光B1の反射光B2に加えて、TOFカメラ20Aから発光された参照光A1の反射光A2までもがTOFカメラ20Bの撮像部21Bに入射する影響により、TOFカメラ20Bから対象物30までの距離が正確に測定できなくなる。

上述した、TOFカメラで測定した距離に対し、自身とは異なるTOFカメラの発光部から発光された参照光の反射光が影響を与える理由について、図11を用いて詳述する。

TOFカメラの通常の距離測定原理について説明するため、図11の左側に、発光パルス1a、反射光パルス1b、及び、互いにタイミングが異なる、位相が0°の撮像タイミング信号1cと、位相が180°の撮像タイミング信号1dのパルス波形を示す。

発光パルス1aは、発光部25により発光された参照光のパルス波形である。発光パルス1aの山の幅は、T₀である。また、反射光パルス1bは、参照光が対象物30で反射し、撮像部21に入射する反射光のパルス波形である。反射光の撮像部21への入射のタイミング、すなわち反射光パルス1bのパルスが立ち上がるタイミングは、発光パルス1aのパルスが立ち上がるタイミングに比べて、T_dだけ遅れる。TOFカメラ20においては、この時間差T_dに光の速度を乗じた値を、TOFカメラ20と対象物30との間の往復の距離として算定する。このT_dの値は、以下の方法により算出する。

撮像タイミング信号として、位相が0°の撮像タイミング信号1cと、位相が180°の撮像タイミング信号1dとを用いるものとする。また、撮像タイミング信号1cのパルスの山の始端は、発光パルス1aのパルスの山の始端に一致するものとする。撮像タイミング信号1cと撮像タイミング信号1dとは、互いに位相が180°異なるため、撮像タイミング信号1cのパルスの山の終端は、撮像タイミング信号1dのパルスの山の始端に一致する。

ここで、撮像タイミング信号1cによる撮像時に反射光パルス1bの受光によって蓄えられる電荷がQ1であり、撮像タイミング信号1dによる撮像時に反射光パルス1bの受光によって蓄えられる電荷がQ2であるとき、Q1とQ2との比率に基づいて、上記のT_dを算出する。なお、Q1とQ2は、一般に定常的な外乱光により蓄えられる電荷分は差し引いた電荷である また、図3においては、発光の波形を矩形状のパルス波としているが、実際には矩形状だけではなく、正弦波状の波形を採用しているTOFカメラが知られている。また、撮像タイミングの観点では、精度向上や測定距離の拡大を目的に位相が0°と180°だけでなく、90°と270°のタイミングでも撮像するTOFカメラも知られている。

一方、図10で説明したように、2つのTOFカメラが近距離に位置するために、一方のTOFカメラから発光された参照光の反射光が、他方のTOFカメラの撮像部に影響する場合における、発光パルス2a、反射光パルス2b、撮像タイミング信号2c及び2dを、図11の右側に示す。ここで、通常の距離測定原理に係る説明と同様に、発光パルス2aのパルスの山の幅をT₀、反射光パルス2bの発光パルス2aに対する遅延をT_dとする。

TOFカメラ20が近距離に2台存在し、これらの発光部25A及び25Bが同期していない場合、反射光パルス2bは、自身の発光部25から発光された参照光の反射光のみとなることはなく、別のカメラの発光部25から発光される発光パルスの反射光(ハッチング部)が加わる場合が存在する。これにより、撮像タイミング信号2cによる撮像時に反射光パルス1bの受光によって蓄えられる電荷Q1の測定の際、撮像タイミング信号2cのパルスの山と、反射光パルス2bに示されるハッチング部との重なり部分の電荷は、測定値に影響を与える。同様に、撮像タイミング信号2dによる撮像時に反射光パルス1bの受光によって蓄えられる電荷Q2の測定の際、撮像タイミング信号2dのパルスの山と、反射光パルス2bに示されるハッチング部との重なり部分の電荷は、測定値に影響を与える。すなわち、別のカメラの発光部25から発光される参照光の反射光が、Q1及びQ2の測定値、更にはQ1とQ2の電荷比に影響を与えることにより、反射光パルス2bの発光パルス2aに対する時間差であるT_dの値を正しく求めることが出来なくなる。延いては、TOFカメラ20と対象物30との間の距離を正しく求めることが出来なくなる。

図12は、従来の撮像装置500の第1の具体的な構成例である。撮像装置500は、TOFカメラ510AとTOFカメラ510Bとを備え、それらは、隣接又は近接している。TOFカメラ510Aは、制御回路520A、TOFイメージセンサ525A、レンズ530A、及び発光部540Aを備える。図12に示す例においては、制御回路520AとTOFイメージセンサ525Aとが同一チップ内に組み込まれている。同様に、TOFカメラ510Bは、制御回路520B、TOFイメージセンサ525B、レンズ530B、及び発光部540Bを備え、制御回路520BとTOFイメージセンサ525Bとは同一チップ内に組み込まれている。

以下、区別する必要が無いときには、TOFカメラ510AとTOFカメラ510Bとを「TOFカメラ510」と総称する。同様に、制御回路520Aと制御回路520Bとを「制御回路520」と総称する。TOFイメージセンサ525AとTOFイメージセンサ525Bとを「TOFイメージセンサ525」と総称する。レンズ530Aとレンズ530Bとを「レンズ530」と総称する。発光部540Aと発光部540Bとを「発光部540」と総称する。

制御回路520は、発光部540に対し発光タイミング信号を送信し、発光部540は、受信した発光タイミング信号に基づいて、参照光を発光する。また、制御回路520は、TOFイメージセンサ525に対し、撮像タイミング信号を送信する。参照光が対象物で反射された反射光は、レンズ530を経由してTOFイメージセンサ525に入射し、TOFイメージセンサ525は、上記の撮像タイミング信号に基づき、反射光を撮像する。

ここで、TOFイメージセンサ525Aには、発光部540Aにおいて発光した参照光の反射光だけではなく、発光部540Bにおいて発光した参照光の反射光も入射する。これにより、上述のように、発光部540Aにおいて参照光を発光してから、TOFイメージセンサ525Aに反射光が入射するまでの時間差の算出に、発光部540Bにおいて発光した参照光の反射光が影響してしまう。同様に、TOFイメージセンサ525Bには、発光部540Bにおいて発光した参照光の反射光だけではなく、発光部540Aにおいて発光した参照光の反射光も入射する。これにより、上述のように、発光部540Bにおいて参照光を発光してから、TOFイメージセンサ525Bに反射光が入射するまでの時間差の算出に、発光部540Aにおいて発光した参照光の反射光が影響してしまう。

図13は、従来の撮像装置550の第2の具体的な構成例である。撮像装置550は、TOFカメラ560AとTOFカメラ560Bとを備え、それらは、隣接又は近接している。TOFカメラ560Aは、センサ制御回路570A、TOFイメージセンサ575A、レンズ580A、及び発光部590Aを備える。図13に示す例においては、センサ制御回路570AとTOFイメージセンサ575Aとは異なるチップに組み込まれている。同様に、TOFカメラ560Bは、センサ制御回路570B、TOFイメージセンサ575B、レンズ580B、及び発光部590Bを備え、センサ制御回路570BとTOFイメージセンサ575Bとは異なるチップ内に組み込まれている。

以下、区別する必要が無いときには、TOFカメラ560AとTOFカメラ560Bとを「TOFカメラ560」と総称する。同様に、センサ制御回路570Aとセンサ制御回路570Bとを「センサ制御回路570」と総称する。TOFイメージセンサ575AとTOFイメージセンサ575Bとを「TOFイメージセンサ575」と総称する。レンズ580Aとレンズ580Bとを「レンズ580」と総称する。発光部590Aと発光部590Bとを「発光部590」と総称する。

センサ制御回路570は、発光部590に対し発光タイミング信号を送信し、発光部590は、受信した発光タイミング信号に基づいて、参照光を発光する。また、センサ制御回路570は、TOFイメージセンサ575に対し、撮像タイミング信号を送信する。参照光が対象物で反射された反射光は、レンズ580を経由してTOFイメージセンサ575に入射し、TOFイメージセンサ575は、上記の撮像タイミング信号に基づき、反射光を撮像する。

ここで、TOFイメージセンサ575Aには、発光部590Aにおいて発光した参照光の反射光だけではなく、発光部590Bにおいて発光した参照光の反射光も入射する。これにより、上述のように、発光部590Aにおいて参照光を発光してから、TOFイメージセンサ575Aに反射光が入射するまでの時間差の算出に、発光部590Bにおいて発光した参照光の反射光が影響してしまう。同様に、TOFイメージセンサ575Bには、発光部590Bにおいて発光した参照光の反射光だけではなく、発光部590Aにおいて発光した参照光の反射光も入射する。これにより、上述のように、発光部590Bにおいて参照光を発光してから、TOFイメージセンサ575Bに反射光が入射するまでの時間差の算出に、発光部590Aにおいて発光した参照光の反射光が影響してしまう。

一般にTOFカメラでは、上記の発光時間であるT₀は10〜数十nsであり、1回の発光で得られる露光は小さいため、数千〜数万回の発光及び撮像を行っている。そこで、TOFカメラを複数台用いる際に、TOFカメラと対象物との間の距離をより正確に求めるため、TOFカメラ同士の間で、参照光の発光周波数を変えたり、乱数を用いて発光間隔を変えたりする手法が、従来知られている。しかし、この手法を用いた場合、他のカメラからの参照光の反射による干渉の影響は小さくなるものの、影響を常時小さくすることを保証するものではない。

また、別の手法として、各TOFカメラをケーブル等で接続し、全TOFカメラを同期する手段を備えると共に、図14に示すように、フレームレート内において、個々のカメラの間で、発光/撮像タイミングを分割する手法が、従来知られている。しかし、この手法を用いた場合、TOFカメラの台数が増加するに従って、フレームレートが長くなってしまうとともに、複数のTOFカメラの撮像タイミングの同時性が悪化してしまう。

この点、特許文献1は、空間領域をモニターし、自動運転設備の危険領域を保護するための装置として、1つの照明装置を2つの画像記録ユニットで共用する装置を開示している。しかし、特許文献1で開示される発明においては、第2の画像記録ユニットは、あくまで三角測量用に用いるものであり、TOFカメラを用いてカメラと対象物との距離を測定するものではなかった。

また、特許文献2は、複数のTOFカメラが光源を持ち、他のTOFカメラからの変調光が検出される程度によって、自身のTOFカメラの記録モードを変更する技術を開示している。しかし、自身のTOFカメラの記録モードを、画像記録動作や測定動作を中断するように変更した場合、撮像自体が行われなかったり、ビデオストリーム中に、画像記録動作の中断による欠損部分が発生したりすることとなる。また、自身のTOFカメラの記録モードを、参照光の周波数を変更するよう変更した場合、上記の繰り返しとなるが、参照光の反射による干渉の影響を常時小さくすることは保証されない。

そこで、本発明は、複数の撮像部を用いて複数の撮像を行うことができ、これらの撮像部と対象物との間の距離を、より正確に測定することが可能な撮像装置を提供することを目的とする。

本発明に係る撮像装置は、複数の撮像部(例えば、後述のTOFイメージセンサ103、153、175、184)を有する撮像装置(例えば、後述の撮像装置100、150、170、180)であって、参照光を発光する1つの距離測定用の発光部(例えば、後述の発光部107、157、177、186)と、前記参照光の反射光を撮像すると共に、撮像のタイミングを共有する複数の撮像部と、を備える。

上記の撮像装置においては、前記複数の撮像部は、マスタとなる第1の撮像部(例えば、後述のTOFイメージセンサ103A、175A)と、スレーブとなる第2の撮像部(例えば、後述のTOFイメージセンサ103B、175B)とを備え、前記第1の撮像部の制御部(例えば、後述の制御回路101A、171A)は、前記発光部(例えば、後述の発光部107、177)に対して、発光タイミング信号を出力すると共に、前記第2の撮像部の制御部(例えば、後述の制御回路101B、171B)に対して、撮像タイミング信号を出力し、前記発光部は、前記第1の撮像部の制御部から入力した発光タイミング信号に基づいて発光し、前記第2の撮像部が、前記第1の撮像部の制御部から入力した撮像タイミング信号に基づいて撮像を行ってもよい。

上記の撮像装置においては、発光タイミング信号と撮像タイミング信号とを出力するセンサ制御部(例えば、後述のセンサ制御回路151、181)を更に備え、前記発光部(例えば、後述の発光部157、186)は、前記センサ制御部から入力する前記発光タイミング信号に基づいて前記参照光を発光し、前記複数の撮像部(例えば、後述のTOFイメージセンサ153、184)の各々は、前記センサ制御部から入力する前記撮像タイミング信号に基づいて撮像を行ってもよい。

上記の撮像装置においては、前記発光タイミング信号、及び/又は前記撮像タイミング信号の出力部又は入力部が、遅延調整手段(例えば、後述の位相調整器174、183)を備えてもよい。

本発明に係る撮像方法は、複数の撮像部(例えば、後述のTOFイメージセンサ103、153、175、184)を有する撮像装置による撮像方法であって、1つの距離測定用の発光部(例えば、後述の発光部107、157、177、186)が、参照光を発光し、複数の撮像部が、前記参照光の反射光を撮像すると共に、撮像のタイミングを共有する。

本発明によれば、複数の撮像部を用いて複数の撮像を行うことができ、これらの撮像部と対象物との間の距離を、より正確に測定することができる。

本発明の第1実施形態に係る撮像装置の構成を示す図である。

本発明の第1実施形態に係る撮像装置における処理を示すフローチャートである。

本発明の第1実施形態に係る撮像装置による効果を示す図である。

本発明の第1実施形態に係る撮像装置による効果を示す図である。

本発明の第2実施形態に係る撮像装置の構成を示す図である。

本発明の第2実施形態に係る撮像装置における処理を示すフローチャートである。

本発明の第1の変形例に係る撮像装置の構成を示す図である。

本発明の第2の変形例に係る撮像装置の構成を示す図である。

相互監視可能な2つの系を有する装置の一般的な構成例を示す図である。

従来のTOFカメラを複数用いた場合の反射光による影響を示す図である。

TOFカメラの距離測定原理と、他のTOFカメラに由来する反射光の影響とを示す図である。

従来の撮像装置の構成例を示す図である。

従来の撮像装置の構成例を示す図である。

複数のTOFカメラを用いた場合の発光/撮像のタイミング例を示す図である。

以下、本発明の実施形態について図1〜図8を参照しながら詳述する。 〔第1実施形態〕 本発明の第1の実施形態に係る撮像装置100は、図1に示すように、マスタの制御回路101Aと、スレーブの制御回路101Bと、制御回路101Aの制御対象となるTOFイメージセンサ103Aと、制御回路101Bの制御対象となるTOFイメージセンサ103Bとを有する(本明細書では、「TOFイメージセンサ103A」を、「撮像部103A」と呼称することもある。同様に、「TOFイメージセンサ103B」を、「撮像部103B」と呼称することもある)。更に、撮像装置100は、TOFイメージセンサ103Aに対応するレンズ105A、TOFイメージセンサ103Bに対応するレンズ105B、及び、発光部107を備える。

マスタの制御回路101Aは、発光部107に対し発光タイミング信号を送信し、発光部107は、受信した発光タイミング信号に基づき参照光を発光する。また、マスタの制御回路101Aは、TOFイメージセンサ103A及びスレーブの制御回路101Bに対し、撮像タイミング信号を送信する。スレーブの制御回路101Bは、マスタの制御回路101Aから受信した撮像タイミング信号を、TOFイメージセンサ103Bに送信する。発光部107で発光した参照光が対象物で反射した反射光は、レンズ105Aを経由して、TOFイメージセンサ103Aに入射する。TOFイメージセンサ103Aは、上記の撮像タイミング信号に基づき、反射光を撮像する。同時に、発光部107で発光した参照光が対象物で反射した反射光は、レンズ105Bを経由して、TOFイメージセンサ103Bに入射する。TOFイメージセンサ103Bは、上記の撮像タイミング信号に基づき、反射光を撮像する。すなわち、TOFイメージセンサ103AとTOFイメージセンサ103Bとは、発光部107で発光した参照光の反射光を共用すると共に、TOFイメージセンサ103Aにおける撮像タイミングと、TOFイメージセンサ103Bにおける撮像タイミングとは同期している。

次に、図2に示すフローチャートを参照しながら、上記の撮像装置100の動作について詳述する。

ステップS11において、マスタの制御回路101Aは、発光部107に対し、発光タイミング信号を送信し、自身が制御するTOFイメージセンサ103A及びスレーブの制御回路101Bに対し、位相0°における撮像タイミング信号を送信する。なお、これらの発光タイミング信号の送信及び撮像タイミング信号の送信は、同時に実施される。

ステップS12において、スレーブの制御回路101Bは、マスタの制御回路101Aから受信した位相0°における撮像タイミング信号を、自身が制御するTOFイメージセンサ103Bに対し、送信する。

ステップS13において、発光部107が、マスタの制御回路101Aから受信した発光タイミング信号に基づき、参照光を発光すると同時に、TOFイメージセンサ103Aと103Bの各々は、参照光が対象物で反射した反射光を、上記の位相0°における撮像タイミング信号に基づき撮像する。なお、図2に示すフローチャートでは明示していないが、これらのステップS11〜S13のステップは、規定回数(通常は数千回)連続して繰り返し行う場合が多い。

ステップS14において、マスタの制御回路101A及びスレーブの制御回路101Bの各々は、位相0°の撮像タイミングで撮像したTOFイメージセンサ103Aと103Bの各々より、上記の電荷Q1の値を取得する。 一般の多くのTOFカメラでは、反射光が微弱であるため、1回の撮像では、十分な比率差のあるQ1とQ2の電荷が得られないことに伴い、高い距離計測の精度が保たれない。そこで、上記のように、ステップS11〜S13を規定回数連続して繰り返し実施し、電荷を多く貯めた後に、ステップS14において制御回路の各々がQ1を得る場合が多い。

ステップS15において、マスタの制御回路101Aは、発光部107に対し、発光タイミング信号を送信し、自身が制御するTOFイメージセンサ103A及びスレーブの制御回路101Bに対し、位相180°における撮像タイミング信号を送信する。なお、これらの撮像タイミング信号の送信は同時に実施される。

ステップS16において、スレーブの制御回路101Bは、マスタの制御回路101Aから受信した、位相180°における撮像タイミング信号を、自身が制御するTOFイメージセンサ103Bに対し、送信する。

ステップS17において、発光部107が、参照光の発光を終了すると同時に、TOFイメージセンサ103Aと103Bの各々は、参照光が対象物で反射した反射光を、上記の位相180°における撮像タイミング信号に基づき撮像する。なお、図2に示すフローチャートでは明示していないが、これらのステップS15〜S17のステップは、ステップS11〜S13と同一の規定回数だけ連続して繰り返し行う場合が多い。

ステップS18において、マスタの制御回路101A及びスレーブの制御回路101Bの各々は、位相180°の撮像タイミングで撮像したTOFイメージセンサ103Aと103Bの各々より、上記の電荷Q2の値を取得する。 ステップS11〜S13と同様に、ステップS15〜S17を規定回数連続して繰り返し実施し、電荷を多く貯めた後に、ステップS18において制御回路の各々がQ2を得る場合が多い。

ステップS19において、マスタの制御回路101A及びスレーブの制御回路101Bの各々は、取得したQ1とQ2より求めた発光から反射光を受光するまでの時間差に基づき、対象物とTOFイメージセンサ103A及び103Bとの間の距離を算出する。

〔第1実施形態による効果〕 上記の構成により、隣接する撮像部が1つの発光部の発光により撮像を行なうため、従来の撮像部が個々に発光部を有して、そのそれぞれを発光させることに由来する反射光の影響を受けることがなくなり、複数の撮像部を用いてもより正確に撮像部と対象物との間の距離を測定することができる。

また、発光部の数を低減することにより、発光部による発熱、撮像装置自体の大きさ及びコストを低減することができる。

更に、現状においては、微弱な反射光も感度良く受光する必要があるため、画素サイズを小さくすることが難しく、TOF撮像用のイメージセンサの画像素子は微細化が進んでいない。このため、図3に示すように、高い分解能で、より広い撮像範囲を撮像するためには、撮像範囲を分割して複数の撮像部で撮像する必要がある。 具体的には、図3の左図に示すように、撮像装置100Aが、レンズ105A〜105Dの4つのレンズと、レンズ105A〜105Dの各々に対応するイメージセンサ103A〜103D(不図示)、及び制御回路101A〜101D(不図示)を備える場合、レンズ105Aとイメージセンサ103Aとの組により、図3の右図に示すAの領域が撮像される。同様に、レンズ105Bとイメージセンサ103Bとの組により、図3の右図に示すBの領域が撮像される。同様に、レンズ105Cとイメージセンサ103Cとの組により、図3の右図に示すCの領域が撮像される。同様に、レンズ105Dとイメージセンサ103Dとの組により、図3の右図に示すDの領域が撮像される。これにより、1組のレンズとイメージセンサを用いて撮像する場合に比較して、より広範囲の領域が撮像される。また、制御回路101A〜制御回路101Dにより、レンズ105とイメージセンサ103の4つの組は、互いに参照光を共用すると共に、撮像タイミングが互いに同期しているため、4つの撮像部では反射光の影響のない撮像となり、4つの撮像部のデータを結合することで高い分解能で、より広い撮像範囲の画像データの取得が可能となる。

あるいは、図4に示すように、ほぼ同じ範囲を複数の撮像部で撮像することによって、片方の撮像部が不良となっても、正しい撮像を継続することが可能となる。更に、複数の撮像部により撮像された画像データの相互比較を行うことによって、撮像部の不良が発生した場合に、不良の検出が可能となる。これにより、撮像漏れが許されない撮像装置や、高い故障検出が求められる撮像装置への本実施形態の適用ができる。 具体的には、図4の左図に示すように、撮像装置100Bが、レンズ105A及び105Bと、レンズ105A及びレンズ105Bの各々に対応するイメージセンサ103A及び103B(不図示)、及び制御回路101A及び101B(不図示)を備える場合、レンズ105Aとイメージセンサ103Aとの組により、図4の右図に示すAの領域が撮像される。同様に、レンズ105Bとイメージセンサ103Bとの組により、図4の右図に示すBの領域が撮像される。Aの領域の画像において、図示するように画素に欠損がある場合は、レンズ105A、イメージセンサ103A、及び制御回路101Aのいずれかに不良があることが検知される。同時に、Bの領域の画像を用いてAの領域の画像を補完することにより、仮に、レンズ105A、イメージセンサ103A、及び制御回路101Aのいずれかに上記のような撮像部の不良が存在しても、撮像漏れを防ぐことが可能となる。

また本発明の方式では、複数の撮像部が同時に撮像を行うため、得られるデータに時間的な同時性があり、データの結合時や、相互比較時において撮像タイミングの差異への配慮が不要となる。

〔第2実施形態〕 本発明の第2の実施形態に係る撮像装置150は、図5に示すように、センサ制御回路151と、センサ制御回路151の制御対象として、TOFイメージセンサ153Aと、TOFイメージセンサ153Bとを有する(本明細書では、「TOFイメージセンサ153A」を、「撮像部153A」と呼称することもある。同様に、「TOFイメージセンサ153B」を、「撮像部153B」と呼称することもある)。更に、撮像装置150は、TOFイメージセンサ153Aに対応するレンズ155A、TOFイメージセンサ153Bに対応するレンズ155B、及び、発光部157を備える。

センサ制御回路151は、発光部157に対し発光タイミング信号を送信し、発光部157は、受信した発光タイミング信号に基づき参照光を発光する。また、センサ制御回路151は、TOFイメージセンサ153A及びTOFイメージセンサ153Bに対し、撮像タイミング信号を送信する。発光部157で発光した参照光が対象物で反射した反射光は、レンズ155Aを経由して、TOFイメージセンサ153Aに入射する。TOFイメージセンサ153Aは、上記の撮像タイミング信号に基づき、反射光を撮像する。同時に、発光部157で発光した参照光が対象物で反射した反射光は、レンズ155Bを経由して、TOFイメージセンサ153Bに入射する。TOFイメージセンサ153Bは、上記の撮像タイミング信号に基づき、反射光を撮像する。すなわち、TOFイメージセンサ153AとTOFイメージセンサ153Bとは、発光部157で発光した参照光の反射光を共用すると共に、TOFイメージセンサ153Aにおける撮像タイミングと、TOFイメージセンサ153Bにおける撮像タイミングとは同期している。

次に、図6に示すフローチャートを参照しながら、上記の撮像装置150の動作について詳述する。

ステップS21において、センサ制御回路151は、発光部157に対し、発光タイミング信号を送信し、複数のTOFイメージセンサ153A及び153Bの各々に対し、位相0°における撮像タイミング信号を送信する。なお、これらの発光タイミング信号の送信及び撮像タイミング信号の送信は、同時に実施される。

ステップS22において、発光部157が、発光タイミング信号に基づき参照光を発光すると同時に、TOFイメージセンサ153Aと153Bの各々は、参照光が対象物で反射した反射光を、上記の位相0°における撮像タイミング信号に基づき撮像する。なお、図6に示すフローチャートでは明示していないが、これらのステップS21〜S22のステップは、規定回数(通常は数千回)連続して繰り返し行う場合が多い。

ステップS23において、センサ制御回路151は、位相0°の撮像タイミングで撮像したTOFイメージセンサ153Aと153Bの各々より、上記の電荷Q1の値を取得する。 一般の多くのTOFカメラでは、反射光が微弱であるため、1回の撮像では、十分な比率差のあるQ1とQ2の電荷が得られないことに伴い、高い距離計測の精度が保たれない。そこで、上記のように、ステップS21〜S22を規定回数連続して繰り返し実施し、電荷を多く貯めた後に、ステップS23においてセンサ制御回路151がQ1を得る場合が多い。

ステップS24において、センサ制御回路151は、発光部107に対し、発光タイミング信号を送信し、複数のTOFイメージセンサ153A及び153Bの各々に対し、位相180°における撮像タイミング信号を送信する。なお、これらの撮像タイミング信号の送信は、同時に実施される。

ステップS25において、発光部157が参照光の発光を終了すると同時に、TOFイメージセンサ153Aと153Bの各々は、参照光が対象物で反射した反射光を、上記の位相180°における撮像タイミング信号に基づき撮像する。なお、図6に示すフローチャートでは明示していないが、これらのステップS24〜S25のステップは、ステップS21〜S22と同一の規定回数だけ連続して繰り返し行う場合が多い。

ステップS26において、センサ制御回路151は、位相180°の撮像タイミングで撮像したTOFイメージセンサ153Aと153Bの各々より、上記の電荷Q2の値を取得する。 ステップS21〜S22と同様に、ステップS24〜S25を規定回数連続して繰り返し実施し、電荷を多く貯めた後に、ステップS26においてセンサ制御回路151がQ2を得る場合が多い。

ステップS27において、センサ制御回路151は、取得したQ1とQ2より求めた発光から反射光を受光するまでの時間差に基づき、対象物とTOFイメージセンサ153A及び153Bとの間の距離を算出する。

〔第2実施形態による効果〕 上記の構成により、第2実施形態においても、第1実施形態による効果と同様の効果を得ることができる。

〔第3実施形態〕 図7に、第3の実施形態を示す。第3の実施形態である撮像装置170は、第1の実施形態の撮像装置100と同様に、マスタの制御回路171Aと、スレーブの制御回路171Bと、マスタの制御回路171Aの制御対象となるTOFイメージセンサ175Aと、スレーブの制御回路171Bの制御対象となるTOFイメージセンサ175Bとを有する(本明細書では、「TOFイメージセンサ175A」を、「撮像部175A」と呼称することもある。同様に、「TOFイメージセンサ175B」を、「撮像部175B」と呼称することもある)。更に、撮像装置170は、TOFイメージセンサ175Aに対応するレンズ176A、TOFイメージセンサ175Bに対応するレンズ176B、及び、発光部177を備える。これらの基本的な機能については、第1の実施形態における撮像装置100と同一であるため、その説明を省略する。

マスタの制御回路171Aは、発光タイミング信号及び撮像タイミング信号を出力する出力部172を備えるが、第1の実施形態に係る撮像装置100とは異なり、出力部172は、3つの位相調整器(Phase Shifter:P.S.)174A、174B、174Cを備える。位相調整器174Aは、マスタの制御回路171Aの出力部172からTOFイメージセンサ175Aに出力される撮像タイミング信号の位相を調整することにより、撮像タイミング信号の遅延を調整する手段である。位相調整器174Bは、マスタの制御回路171Aの出力部172から発光部177に出力される発光タイミング信号の位相を調整することにより、発光タイミング信号の遅延を調整する手段である。位相調整器174Cは、マスタの制御回路171Aの出力部172から、スレーブの制御回路171Bに出力される撮像タイミング信号の位相を調整することにより、撮像タイミング信号の遅延を調整する手段である。

また、スレーブの制御回路171Bは、撮像タイミング信号を入力する入力部173を備えるが、第1の実施形態に係る撮像装置100とは異なり、入力部173は、位相調整器174Dを備える。位相調整器174Dは、マスタの制御回路171Aから、スレーブの制御回路171Bの入力部173に入力される撮像タイミング信号の位相を調整することにより、撮像タイミング信号の遅延を調整する手段である。

第1の実施形態においては、図2のフローチャートのステップS13において、参照光の発光と反射光の撮像とを同時に実施することを理想とする。また、ステップS16において、参照光の発光終了と反射光の撮像とを同時に実施することを理想とする。しかし、撮像装置で用いられている配線の長さや、部品の特性のバラ付き、使用温度、経年劣化等に起因する各信号のタイミングのずれがあるため、実際には、参照光の発光(又は発光終了)と反射光の撮像との間には、微妙な時間的差異があった。第3の実施形態においては、上記の位相調整器を用いることにより、参照光の発光(又は発光終了)と反射光の撮像は、理想的に同時に実施される。

なお、上記の位相調整器174Cと174Dはいずれか一方のみが設置されれば足りる。また、位相調整器174A、174B、174Cを経由するタイミング信号のうち、いずれか1つの信号に、他のタイミング信号のタイミングを合わせれば、遅延は発生しないため、位相調整器174A、174B、174Cのうちいずれか1つは省略することが出来る。

遅延の調整は、装置の使用前に予め実施しておいてもよく、又は、装置の使用中に動的に実行してもよい。

〔第3実施形態による効果〕 上記の構成により、撮像装置で用いられている配線の長さや、部品の特性のバラ付き、使用温度、経年劣化等に起因する各信号のタイミングのずれが調整可能となり、これにより、参照光の発光(又は発光終了)と、撮像とを、理想的に同時に実施できる。

〔第4実施形態〕 図8に、第4の実施形態を示す。第4の実施形態である撮像装置180は、第2の実施形態の撮像装置150と同様に、センサ制御回路181、及び、センサ制御回路181の制御対象として、TOFイメージセンサ184Aと、TOFイメージセンサ184Bとを有する(本明細書では、「TOFイメージセンサ184A」を、「撮像部184A」と呼称することもある。同様に、「TOFイメージセンサ184B」を、「撮像部184B」と呼称することもある)。更に、撮像装置180は、TOFイメージセンサ184Aに対応するレンズ185A、TOFイメージセンサ184Bに対応するレンズ185B、及び、発光部186を備える。これらの基本的な機能については、第2の実施形態における撮像装置150と同一であるため、その説明を省略する。

センサ制御回路181は、発光タイミング信号及び撮像タイミング信号を出力する出力部182を備えるが、第2の実施形態に係る撮像装置150とは異なり、出力部182は、3つの位相調整器(Phase Shifter:P.S.)183A、183B、183Cを備える。位相調整器183Aは、センサ制御回路181の出力部182から、TOFイメージセンサ184Aに出力される撮像タイミング信号の位相を調整することにより、撮像タイミング信号の遅延を調整する手段である。位相調整器183Bは、センサ制御回路181の出力部182から発光部186に出力される発光タイミング信号の位相を調整することにより、発光タイミング信号の遅延を調整する手段である。位相調整器183Cは、センサ制御回路181の出力部182から、TOFイメージセンサ184Bに出力される撮像タイミング信号の位相を調整することにより、撮像タイミング信号の遅延を調整する手段である。

第2の実施形態においては、図6のフローチャートのステップS22において、参照光の発光と反射光の撮像とを同時に実施することを理想とする。また、ステップS24において、参照光の発光終了と反射光の撮像とを同時に実施することを理想とする。しかし、撮像装置で用いられている配線の長さや、部品の特性のバラ付き、使用温度、経年劣化等に起因する各信号のタイミングのずれがあるため、実際には、参照光の発光(又は発光終了)と反射光の撮像との間には、微妙な時間的差異があった。第4の実施形態においては、上記の位相調整器を用いることにより、参照光の発光(又は発光終了)と反射光の撮像が、理想的に同時に実施される。

なお、位相調整器183A、183B、183Cを経由するタイミング信号のうち、いずれか1つの信号に、他のタイミング信号のタイミングを合わせれば、遅延は発生しないため、位相調整器183A、183B、183Cのうちいずれか1つは省略することが出来る。

遅延の調整は、装置の使用前に予め実施しておいてもよく、又は、装置の使用中に動的に実行してもよい。

〔第4実施形態による効果〕 上記の構成により、第4実施形態においても、第3実施形態による効果と同様の効果を得ることができる。

〔その他の変形例〕 第1実施形態である、図1に記載の撮像装置100においては、制御回路、TOFイメージセンサ、及びレンズの個数は各々2個ずつとなっているが、これには限定されず、任意の複数個とすることが可能である。

同様に、第2実施形態である、図5に記載の撮像装置150においては、TOFイメージセンサ、及びレンズの個数は各々2個ずつとなっているが、これには限定されず、任意の複数個とすることが可能である。

また、上記の第1〜第4実施形態においては、複数の撮像部が同一の筺体内に備わっていたが、これには限定されない。例えば、複数の撮像部が各々別ユニットとなっており、撮像タイミング信号が配線やネットワークによって授受されてもよい。

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

撮像装置100、150、170、180による撮像方法は、ソフトウェアにより実現される。ソフトウェアによって実現される場合には、このソフトウェアを構成するプログラムが、撮像装置100、150、170、180に備わるコンピュータにインストールされる。また、これらのプログラムは、リムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されてもよい。更に、これらのプログラムは、ダウンロードされることなくネットワークを介したWebサービスとしてユーザのコンピュータに提供されてもよい。

100、150、170、180 撮像装置 101 制御回路(制御部) 103、153、175、184 TOFイメージセンサ(撮像部) 107、157、177、186 発光部 151、181 センサ制御回路(センサ制御部) 174、183 位相調整器