画像処理装置、画像処理方法、及び記録媒体

本開示は、画像処理装置、画像処理方法、及び記録媒体に関する。

近年では、手術手法、手術器具の発達により、手術用顕微鏡や内視鏡等のような医療用の観察装置により患部を観察しながら、各種処置を施す手術(所謂、マイクロサージャリー)が頻繁に行われるようになってきている。また、このような医療用の観察装置の中には、患部を光学的に観察可能とする装置に限らず、撮像装置(カメラ)等により撮像された患部の画像を、モニタなどの表示装置に電子画像として表示させる装置も提案されている。例えば、特許文献1には、撮像装置により撮像された患部の画像を表示部に表示させることが可能な、所謂電子内視鏡システムの一例が開示されている。

特開2002−45354号公報

ところで、医療用の観察装置にも適用される撮像装置においては、撮像素子に対して被写体像を結像するための光学系(例えば、内視鏡等)の特性に応じて、撮像される画像に所謂ボケが生じる場合がある。このような状況下では、一部の被写体に対して焦点が合わず、当該被写体の観察が困難となり、例えば、当該被写体に対して焦点を合わせ直す必要が生じる場合もある。そのため、このような状況下では、例えば、より被写界深度の深い画像を取得することが可能な仕組みが求められる場合がある。

また、医療の現場においては、所謂特殊光観察を行う場合等のような観察環境の違いや、検体や患部等の観察対象の違い、手術の術式等に応じた観察方法の違い(換言すると、観察モードや観察シーンの違い)等のように、被写体像を観察するための条件が異なる場合がある。このような状況下で、例えば、被写界深度等の観察範囲の広さや、ボケの量(換言すると、解像感)等のような、取得される被写体像の画像に求められる特性が異なる場合もある。

そこで、本開示では、被写体像の観察に係る状態や状況に応じて、より好適な態様で当該被写体像を観察することが可能な、画像処理装置、画像処理方法、及び記録媒体を提案する。

本開示によれば、被写体が撮像された画像と、前記画像のボケ量を調整するための関数に基づき、補正画像を生成するよう制御する制御部を有し、前記関数は、前記被写体の観察に関する条件に応じて算出された関数である、画像処理装置が提供される。

また、本開示によれば、検体の画像を撮像する撮像部と、前記撮像部に対して前記検体の被写体像を結像する光学系と、を含む撮像装置と、前記撮像部により撮像された画像から補正画像を生成するよう制御する画像処理装置と、を備え、前記画像処理装置は、前記画像と、前記画像のボケ量を調整するための関数に基づき、補正画像を生成する制御部を有し、前記関数は、前記被写体の観察に関する条件に応じて算出される、医療用画像処理システムが提供される。

また、本開示によれば、プロセッサが、被写体が撮像された画像と、前記画像のボケ量を調整するための関数に基づき、補正画像を生成するよう制御することを含み、前記関数は、前記被写体の観察に関する条件に応じて算出された関数である、画像処理方法が提供される。

また、本開示によれば、コンピュータに、被写体が撮像された画像と、前記画像のボケ量を調整するための関数に基づき、補正画像を生成するよう制御することを実行させ、前記関数は、前記被写体の観察に関する条件に応じて算出された関数である、プログラムが記録された記録媒体が提供される。

以上説明したように本開示によれば、被写体像の観察に係る状態や状況に応じて、より好適な態様で当該被写体像を観察することが可能な、画像処理装置、画像処理方法、及び記録媒体が提供される。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る内視鏡装置の概略構成の一例について説明するための説明図である。

同実施形態に係る内視鏡装置に適用される光学素子の概略的な構成の一例について説明するための説明図である。

同実施形態に係る内視鏡装置の構成の一例について説明するための説明図である。

同実施形態に係る光学素子の特性について説明するための説明図である。

同実施形態に係る光学素子の特性について説明するための説明図である。

同実施形態に係る内視鏡装置に適用される光学素子の特性の一例について説明するための説明図である。

同実施形態に係る画像処理装置の機能構成の一例を示したブロック図である。

PSF情報に対して重み付けを行うための分布関数の一例について説明するための説明図である。

PSF情報に対して重み付けを行うための分布関数の一例について説明するための説明図である。

PSF情報に対して重み付けを行うための分布関数の一例について説明するための説明図である。

同実施系形態に係る画像処理装置の一連の処理の流れの一例について示したフローチャートである。

実施例1−1に係る内視鏡装置における、PSF情報の取得方法の一例について説明するための説明図である。

実施例1−2に係る内視鏡装置における、PSF情報の取得方法の一例について説明するための説明図である。

実施例1−2に係る内視鏡装置における、PSF情報の取得方法の一例について説明するための説明図である。

実施例1−3に係る内視鏡装置における、PSF情報の取得方法の一例について説明するための説明図である。

実施例2−1に係る画像処理装置における、PSF情報の算出に係る制御の一例について説明するための説明図である。

実施例2−2に係る画像処理装置における、PSF情報の算出に係る制御の一例について説明するための説明図である。

実施例2−2に係る画像処理装置における、PSF情報の算出に係る制御の一例について説明するための説明図である。

実施例2−3に係る画像処理装置における、PSF情報の算出に係る制御の一例について説明するための説明図である。

実施例2−7に係る画像処理装置による、PSF情報の切り替えに係る制御の一例について説明するための説明図である。

同実施形態に係る内視鏡装置を構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。 1.システムの概要 2.光学素子の構成 3.復元処理 3.1.画像処理装置の構成 3.2.画像処理装置の処理 4.実施例 4.1.実施例1:機器ごとのPSF情報の取得 4.2.実施例2:各種条件に応じたPSF情報の算出例 5.ハードウェア構成 6.むすび

<<1.システムの概要>> まず、本開示に係る技術が適用され得る例示的なシステムの概要を説明する。図1は、一実施形態に係る医療用画像処理システム1の概略的な構成の一例を示している。医療用画像処理システム1は、内視鏡下手術システムである。図1の例では、術者(医師)3が、医療用画像処理システム1を用いて、患者ベッド5上の患者7に内視鏡下手術を行っている。医療用画像処理システム1は、内視鏡10と、その他の手術器具(術具)30と、内視鏡10を支持する支持アーム装置40と、内視鏡下手術のための様々な装置が搭載されたカート50と、から構成される。

内視鏡下手術では、腹壁を切って開腹する代わりに、トロッカと呼ばれる筒状の開孔器具37a〜37dが腹壁に複数穿刺される。そして、トロッカ37a〜37dから、内視鏡10の鏡筒11、及びその他の術具30が、患者7の体腔内に挿入される。図1の例では、その他の術具30として、気腹チューブ31、エネルギー処置具33及び鉗子35が示されている。エネルギー処置具33は、高周波電流又は超音波振動での、組織の切開若しくは剥離又は血管の封止などの処置のために利用される。なお、図示した術具30は一例に過ぎず、他の種類の術具(例えば、攝子又はレトラクタなど)が利用されてもよい。

内視鏡10によって撮像される患者7の体腔内の画像は、表示装置53により表示される。術者3は、表示画像をリアルタイムで見ながら、エネルギー処置具33及び鉗子35を用いて、例えば患部を切除するなどの処置を行う。なお、図示を省略しているが、気腹チューブ31、エネルギー処置具33及び鉗子35は、手術中に、術者3又は助手などのユーザによって支持される。

支持アーム装置40は、ベース部41から延伸するアーム部43を備える。図1の例では、アーム部43は、関節部45a、45b及び45c、並びにリンク47a及び47bから構成され、内視鏡10を支持している。アーム部43がアーム制御装置57からの制御に従って駆動される結果として、内視鏡10の位置及び姿勢が制御され、内視鏡10の安定的な位置の固定もまた実現され得る。

内視鏡10は、鏡筒11と、鏡筒11の基端に接続されるカメラヘッド13と、から構成される。鏡筒11の先端からある長さまでの一部分は、患者7の体腔内に挿入される。図1の例では、硬性の鏡筒11を有するいわゆる硬性鏡として内視鏡10が構成されているが、内視鏡10は、いわゆる軟性鏡として構成されてもよい。

鏡筒11の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡10には光源装置55が接続されており、光源装置55によって生成された光が、鏡筒11の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者7の体腔内の観察対象に向かって照射される。なお、内視鏡10は、直視鏡であってもよく、又は斜視鏡若しくは側視鏡であってもよい。

カメラヘッド13は、照射部と、光学系、駆動系、及びイメージセンサを内蔵する撮像部とを備える。照射部は、光源装置55からライトガイドを通じて供給される照射光を、被写体へ向けて照射する。光学系は、典型的にはレンズユニットを含み、鏡筒11の先端から取り込まれる被写体からの観察光(照射光の反射光)を、イメージセンサへ向けて集光する。レンズユニット内のズームレンズ及びフォーカスレンズの位置は、倍率及び焦点距離といった撮像条件を可変的に制御するために、駆動系により駆動されて変化し得る。カメラヘッド13のイメージセンサは、光学系により集光される観察光を光電変換し、電気信号である画像信号を生成する。イメージセンサは、3つの色成分の画像信号をそれぞれ生成する別個の撮像素子を有する3板式センサであってもよく、又は単板式若しくは2板式といった他のタイプのイメージセンサであってもよい。イメージセンサは、例えばCMOS(Complementary Metal Oxide Semiconductor)又はCCD(Charge-Coupled Device)などのいかなるタイプの撮像素子を有していてもよい。イメージセンサにより生成される画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)51へ送信される。

ある実施形態において、カメラヘッド13により生成される画像信号により表現される撮像画像は、視差判定用画像を含む。視差判定用画像は、典型的には、右眼画像及び左眼画像から構成される。右眼画像及び左眼画像は、複眼カメラの右眼用イメージセンサ及び左眼用イメージセンサによりそれぞれ生成されてもよい。その代わりに、右眼画像及び左眼画像は、単眼カメラの単一のイメージセンサにより(例えばシャッタ切り替え方式で)生成されてもよい。

CCU51は、信号線及び通信インタフェースを介してカメラヘッド13と接続される。カメラヘッド13とCCU51との間の信号線は、例えば光ケーブルなどの、双方向の通信を可能とする高速の伝送線である。CCU51は、CPU(Central Processing Unit)などのプロセッサとRAM(Random Access Memory)などのメモリとを有し、内視鏡10及び表示装置53の動作を統括的に制御する。CCU51は、画像信号を一時的に記憶するためのフレームメモリと、画像処理を実行する1つ以上のGPU(Graphics Processing Unit)とをさらに有してもよい。例えば、CCU51は、カメラヘッド13から入力される視差判定用画像に基づいて、画素ごと(又は他の何らかの単位ごとに)視差を判定する。判定される視差は、例えば、立体視画像の生成、被写界深度の拡大、立体感の強調又はダイナミックレンジの拡張といった画像処理のために利用され得る。CCU51は、画像処理の結果として生成される画像を、表示のために表示装置53へ出力し、又は記録のためにレコーダ65へ出力し得る。出力される一連の画像は、動画(映像)を構成し得る。CCU51において実行される画像処理は、例えば現像及びノイズ低減などの一般的な処理を含んでもよい。また、CCU51は、カメラヘッド13へ制御信号を送信し、カメラヘッド13の駆動を制御する。当該制御信号には、例えば上述した撮像条件を指定する情報が含まれ得る。

表示装置53は、CCU51からの制御に従い、入力される表示画像信号に基づいて立体視画像を表示する。表示装置53は、アクティブシャッタ方式、パッシブ方式又はグラスレス方式などのいかなる方式で立体視画像を表示してもよい。

光源装置55は、例えばLED、キセノンランプ、ハロゲンランプ、レーザ光源、又はこれらの組み合わせに相当する光源を含み、観察対象へ向けて照射されるべき照射光を、ライトガイドを通じて内視鏡10へ供給する。

アーム制御装置57は、例えばCPUなどのプロセッサを有し、所定のプログラムに従って動作することにより支持アーム装置40のアーム部43の駆動を制御する。

入力装置59は、医療用画像処理システム1へのユーザ入力を受け付ける1つ以上の入力インタフェースを含む。ユーザは、入力装置59を介して、医療用画像処理システム1へ様々な情報を入力し又は様々な指示を入力することができる。例えば、ユーザは、入力装置59を介して、後述する設定情報又はその他のパラメータを入力してもよい。また、例えば、ユーザは、入力装置59を介して、アーム部43を駆動させる旨の指示、内視鏡10における撮像条件(照射光の種類、倍率及び焦点距離など)を変更する旨の指示、又はエネルギー処置具33を駆動させる旨の指示などを入力する。

入力装置59は、いかなる種類のユーザ入力を扱ってもよい。例えば、入力装置59は、マウス、キーボード、スイッチ(例えば、フットスイッチ69)又はレバーなどの機構を介して物理的なユーザ入力を検出してもよい。入力装置59は、タッチパネルを介してタッチ入力を検出してもよい。入力装置59は、メガネ型デバイス又はHMD(Head Mounted Display)といったウェアラブルデバイスの形態で実現され、ユーザの視線又はジェスチャを検出してもよい。また、入力装置59は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声コマンドを検出してもよい。

処置具制御装置61は、組織の焼灼若しくは切開又は血管の封止などの処置のために、エネルギー処置具33の駆動を制御する。気腹装置63は、内視鏡10により観察される視野を確保し及び術者の作業空間を確保する目的で、患者7の体腔を膨らませるために、気腹チューブ31を介して当該体腔内にガスを送り込む。レコーダ65は、医療上の作業に関する様々な情報(例えば、設定情報、画像情報及びバイタルセンサ(図示せず)からの測定情報のうちの1つ以上)を記録媒体へ記録する。プリンタ67は、医療上の作業に関する様々な情報を、テキスト、画像又はグラフなどの何らかの形式で印刷する。

なお、本実施形態に係る内視鏡10は、鏡筒11とカメラヘッド13との間に所謂光学マスク等のような光学素子12を挿入可能に構成されていてもよい。光学素子12としては、例えば、複屈折マスク(BM:Birefringent Mask)や3次元位相マスク(Cubic Phase Mask)等が挙げられる。本実施形態に係る医療用画像処理システム1においては、このような光学素子12を鏡筒11とカメラヘッド13との間に介在させることで、カメラヘッド13内の撮像素子に対して被写体像を結像する一連の光学系の光学的な特性を変え、撮像される画像のボケ量を調整する(例えば、被写界深度を制御する)。なお、光学素子12の詳細については別途後述する。

以上、図1を参照して、本開示に係る技術が適用され得る例示的なシステムの概要について説明した。

<<2.光学素子の構成>> 続いて、図2〜図6を参照して、本実施形態に係る内視鏡10において、鏡筒11とカメラヘッド13との間に挿入される光学素子12の特徴についてより詳しく説明する。

近年では、カメラ等の撮像装置に用いられる撮像素子(所謂イメージセンサ)の解像度はより高くなる傾向にあり、「HD(1280×720)」に限らず、「4K UHD(3840×2160)」や「8K UHD(7680×4320)」のものも提案されている。そのため、本実施形態に係る内視鏡10のような医療用の観察装置においても、撮像される画像の高解像度化が望まれている。一方で、高解像度化に伴い撮像素子の画素サイズもより小さくなる傾向にあり、相対的に各画素により集光される光の光量がより少なくなる傾向にある。このような状況下では、例えば、絞りをより開く(即ち、F値をより小さくする)ことで光量不足を補う場合があるが、その一方で、絞りの開放に伴い被写界深度がより狭くなる場合がある。以上のような状況を鑑み、本実施形態に係る内視鏡10は、前述したように、鏡筒11とカメラヘッド13との間に光学素子12を挿入可能に構成されており、当該光学素子12が挿入されることで、撮像される画像の被写界深度が制御される。

例えば、図2は、本実施形態に係る内視鏡10に適用される光学素子12の概略的な構成の一例について説明するための説明図である。具体的には、図2は、光学素子12が複屈折マスクとして構成されている場合の一例を示しており、光学素子12をカメラヘッドの光軸方向から見た場合における当該光学素子12の構成の一例を示している。なお、図2では、図面の横方向をx方向、縦方向をy方向、奥行き方向(即ち、カメラヘッド13の光軸方向)をz方向とする。なお、以降の説明では、特に定義が無い場合には、撮像装置(例えば、撮像装置3)の光軸方向(換言すると、奥行き方向)をz方向、当該撮像装置により撮像される画像の横方向及び縦方向(即ち、光軸に垂直な方向)をx方向及びy方向とする。

図2に示すように、光学素子12は、参照符号125で示された領域の内部に、当該領域125の中心近傍から外側に向けて複数の偏光素子121〜123が配置されている。より具体的な一例として、図2に示す例では、光学素子12は、光軸に対して垂直なxy平面上において、同心円状に複数の偏光素子121〜123が配置されている。なお、図2に示された矢印は、当該矢印が付された偏光素子の偏光方向を模式的に示している。即ち、偏光素子121〜123は、互いに隣接する偏光素子の偏光方向が互いに異なるように設けられている。

例えば、図2に示す例では、偏光素子121の偏光方向はx方向である。これに対して、偏光素子121に隣接する偏光素子122の偏光方向はy方向であり、当該偏光素子121の偏光方向(x方向)に対して90度回転した方向となっている。同様に、偏光素子122に隣接する偏光素子123の偏光方向はx方向であり、当該偏光素子122の偏光方向(y方向)に対して90度回転した方向となっている。

このような構成により、鏡筒11により集光された光は、光軸(z方向)に垂直なxy平面上の位置に応じて、光学素子12の偏光素子121〜123のうちいずれかに入射し、当該偏光素子により偏光された光が、カメラヘッド13に入射することとなる。

なお、鏡筒11とカメラヘッド13との間に光学素子12を介在させることが可能であれば、内視鏡10の構成は特に限定されない。例えば、図3は、本実施形態に係る内視鏡10の構成の一例について説明するための説明図であり、鏡筒11とカメラヘッド13との間に光学素子12を介在させるための構成の一例を示している。

具体的な一例として、参照符号10aで示した内視鏡の構成例は、光学素子12を鏡筒11の一部として構成した場合の一例である。具体的には、内視鏡10aにおいては、鏡筒11aのうち、カメラヘッド13aに装着される側の端部に光学素子12aが保持されている。このような構成により、鏡筒11aにより集光された光が当該鏡筒11aの外部に出射される際に光学素子12aを通過し、当該光学素子12aを通過した光がカメラヘッド13aに入射することとなる。このような構成であれば、その内視鏡に最適な被写界深度拡大処理を行うことが可能となり得る。

また、他の一例として、参照符号10bで示した内視鏡の構成例は、光学素子12をカメラヘッド13の一部として構成した場合の一例である。具体的には、内視鏡10bにおいては、カメラヘッド13bのうち、鏡筒11bに装着される側の端部に光学素子12aが保持されている。このような構成により、鏡筒11bにより集光された光がカメラヘッド13bに入射する際に、光学素子12bを通過することとなる。このような構成であれば、専用の内視鏡ではなく、従来の内視鏡を用いて、被写界深度拡大処理を行う事が可能となり得る。

また、参照符号10cで示した内視鏡の構成例は、光学素子12を所謂アタッチメントとして構成した場合の一例である。具体的には、光学素子12は、鏡筒11c及びカメラヘッド13cのそれぞれに対して、当該鏡筒11cと当該カメラヘッド13cとの間に介在するように着脱可能に構成されている。このような構成により、鏡筒11cとカメラヘッド13cとの間に介在するように光学素子12cを装着することで、鏡筒11cにより集光された光が、光学素子12cを通過した後、カメラヘッド13cに入射することとなる。このような構成であれば、様々な内視鏡、カメラヘッドに対応可能となるため、導入が容易である。

もちろん、図3に示した構成例はあくまで一例であり、鏡筒11とカメラヘッド13との間に光学素子12を介在させることが可能であれば、内視鏡10の構成は、図3に示した構成例のみには限定されないことは言うまでもない。

ここで、図4及び図5を参照して、図2に示す光学素子12の特性について説明する。図4及び図5は、本実施形態に係る光学素子12の特性について説明するための説明図である。具体的には、図4は、鏡筒11とカメラヘッド13との間に光学素子12が介在しない場合の一例であり、鏡筒11により集光されカメラヘッド13に導かれた光の光路を模式的に示している。また、図5は、鏡筒11とカメラヘッド13との間に光学素子12を介在させた場合の一例であり、鏡筒11により集光され光学素子12を介してカメラヘッド13に導かれた光の光路を模式的に示している。

図4に示す例では、鏡筒11により集光されカメラヘッド13に導かれた光は、当該カメラヘッド13の結像光学系により、撮像素子の像面に結像するように光路が制御される。図4において、参照符号v11で示す像は、参照符号p11で示された位置において結像する被写体像を模式的に示している。また、参照符号v13で示す像は、参照符号p13で示された位置において結像する被写体像を模式的に示したものである。

これに対して、図5に示す例では、鏡筒11により集光され光は、光学素子12を介してカメラヘッド13に導かれ、当該カメラヘッド13の結像光学系により光路が制御される。図5において、参照符号v21で示す像は、参照符号p11で示された位置において結像する被写体像を模式的に示している。また、参照符号v23で示す像は、参照符号p13で示された位置において結像する被写体像を模式的に示したものである。

図4及び図5を比較するとわかるように、光学素子12が挿入されることにより、カメラヘッド13の撮像素子に被写体像を結像するための一連の光学系(以降では、単に「一連の光学系」とも称する)の特性が変化する。具体的には、光学素子12の挿入に伴い、当該光学素子12の挿入前に比べて、位置p11と位置p13との間における被写体像の結像形状(即ち、点像分布関数(PSF:Point Spread Function))の変化がより少なくなる。

例えば、図6は、本実施形態に係る内視鏡10に適用される光学素子12の特性の一例について説明するための説明図であり、光学素子12の挿入に伴う一連の光学系の変調伝達関数(MTF:Modulation Transfer Function)の変化の一例を示している。図6において、横軸は、一連の光学系の結像面(換言すると、合焦位置)を基準とした光軸方向のズレ(即ち、デフォーカス量)を示しており、縦軸は、変調伝達関数(MTF)を示している。また、図6において、参照符号g11で示されたグラフは、図4に示すように、鏡筒11とカメラヘッド13との間に光学素子12が介在しない場合における、一連の光学系の変調伝達関数(MTF)の一例を示している。また、参照符号g13で示されたグラフは、図5に示すように、鏡筒11とカメラヘッド13との間に光学素子12を挿入した場合における、一連の光学系の変調伝達関数(MTF)の一例を示している。

図6に示すように、光学素子12を適用することで、当該光学素子12の適用前に比べて、光軸方向に沿ったより広い範囲にわたって変調伝達関数(MTF)が分布するように、一連の光学系の特性が変化する。即ち、光学素子12の適用により、被写界深度をより拡大することが可能となる。

一方で、図6を参照するとわかるように、光学素子12を適用することで、合焦位置における変調伝達関数(MTF)の値が、当該光学素子12の適用前に比べて下がる。そこで、本実施形態に係る医療用画像処理システム1では、図5に示すように、カメラヘッド13により撮像された画像に対して復元処理(画像処理)を施すことで、変調伝達関数(MTF)の低下に伴い生じる被写体像の画像の劣化(所謂ボケ)に対し画像を復元する。例えば、図5において、参照符号v25で示した像は、被写体像v23に対して上記復元処理を施した場合における、当該復元処理後の被写体像の一例を示している。このような制御により、例えば、被写界深度が拡大され、かつ観察対象がより鮮明に提示された画像(即ち、より鮮鋭な画像)を得ることが可能となる。

また、内視鏡装置や所謂手術用顕微鏡等のような医療用の観察装置を使用して検体を観察する場合には、観察環境、観察対象、及び観察方法等の違いに応じて、当該検体を観察する条件(換言すると、当該検体の画像に求められる条件)が異なる場合が想定され得る。具体的な一例として、耳鼻や脳の深部に対してアプローチする手術においては、奥行きの深い管状の術野となるため、被写界深度のより広い画像の取得が求められる場合がある。また、他の一例として、脳の表面の血管等に対して処置を施す場合等のように、より細かい手技が求められる手術においては、被写界深度が多少浅くとも、より解像感の良い画像の取得が求められる場合がある。

このような状況を鑑み、本実施形態に係る医療用画像処理システム1においては、当該復元処理の内容を、例えば、観察対象とする光の成分の波長、像高(換言すると、画像中の領域)、及び奥行き方向(即ち、光軸方向)等の範囲(以降では、これらを総じて「観察範囲」とも称する)や、観察環境、観察対象、並びに観察方法(例えば、観察モード)等のような、検体の観察に関する条件に応じて制御する。このような構成により、本実施形態に医療用画像処理システム1は、例えば、所謂特殊光観察を行う場合等のような観察環境の条件や、観察対象とする被写体(即ち、検体や患部等)の特徴(例えば、色の成分の分布や輝度の分布等)に応じて、観察対象をより好適な態様で観察することが可能な画像を取得可能とする。なお、当該復元処理(画像処理)の詳細については、画像処理装置(即ち、図1におけるCCU51のうち画像処理を実行する部分の構成)の機能構成の一例とあわせて、詳細を別途後述する。

以上、図2〜図6を参照して、本実施形態に係る内視鏡10において、鏡筒11とカメラヘッド13との間に挿入される光学素子12の特徴についてより詳しく説明した。なお、上記では、光学素子12が複屈折マスクとして構成されている場合の一例について説明したが、図4〜図6を参照して説明したように、一連の光学系の特性を変化させることが可能であれば、その構成は特に限定されない。具体的には、上述したように、光学素子12が3次元位相マスクとして構成されていてもよい。

<<3.復元処理>> 続いて、本実施形態に係る医療用画像処理システム1の特徴として、特に、前述した復元処理(画像処理)を実現するための構成や処理に着目して説明する。

<3.1.画像処理装置の構成> まず、図7を参照して、図1に示したCCU51の各種構成のうち、特に、画像処理装置として動作する部分の機能構成の一例について説明する。図7は、本実施形態に係る画像処理装置の機能構成の一例を示したブロック図である。

図7に示すように、本実施形態に係る画像処理装置510は、PSF取得部511と、PSF記憶部512と、制御部513と、重み付け制御部514と、PSF算出部515と、選択部516と、画像処理部517とを含む。

PSF取得部511は、図1に示す鏡筒11や光学素子12のように、カメラヘッド13内の撮像素子に対して被写体像を結像する一連の光学系の特性を示す情報を、例えば、点像分布関数(psf)の測定結果に基づきPSF情報として取得するための構成である。PSF情報の取得契機(即ち、psf測定の契機)としては、例えば、内視鏡10の出荷時、検体の観察前(術前)、及び検体の観察中(術中)が挙げられる。なお、各契機においてPSF情報を取得する方法(即ち、psfの測定方法)の詳細については、実施例として別途後述する。

PSF取得部511は、検体の観察に使用される機器(例えば、カメラヘッド13や、当該カメラヘッド13に対して接続される鏡筒11及び光学素子12等の光学系)それぞれのpsfの測定結果に基づき、当該機器に対応するPSF情報を取得する。また、このときPSF取得部511は、観察範囲の条件ごとに測定された各機器のpsfに基づき、当該機器に対応するPSF情報を当該観察範囲の条件ごとに取得してもよい。

なお、観察範囲の条件としては、例えば、像高、光軸方向の距離、及び波長等の範囲の条件が挙げられる。なお、本説明において「像高」とは、使用される光学系の結像面内の位置に相当し、換言すると、当該光学系を使用して撮像される画像中の位置に相当する。なお、像高の範囲の条件としては、光学系の結像面内において互いに直交する方向(即ち、x方向及びy方向)ごとに設定されていてもよい。また、本説明において「光軸方向の距離の範囲」とは、使用される光学系(例えば、鏡筒11や光学素子12等)と検体(被写体)との間の、当該光学系の光軸方向(以下、z方向とする)に沿った距離の範囲に相当する。また、本説明において「波長の範囲」とは、光学系(例えば、鏡筒11や光学素子12等)により集光され撮像素子により撮像される光のうち、観察対象とする光の成分(例えば、分光成分)の波長の範囲を示している。

そして、PSF取得部511は、取得した各機器に対応するPSF情報を、当該機器を示す識別情報や、PSF測定時の観察範囲の条件を示す情報と関連付けて、PSF記憶部512に記憶させる。なお、各機器を示す識別情報としては、例えば、当該機器の型番やシリアルナンバー(S/N)等が挙げられる。

PSF記憶部512は、PSF取得部511により取得されたPSF情報を記憶するための構成である。PSF記憶部512は、例えば、所謂データベース(DB)として構成されていてもよい。PSF記憶部512は、各機器(即ち、鏡筒11、光学素子12、カメラヘッド13等)に対応するPSF情報を、当該機器を示す情報や、当該PSF情報を取得するための条件(例えば、観察範囲の条件)を示す情報と関連付けて記憶する。より具体的な一例として、PSF記憶部512は、鏡筒11とカメラヘッド13との組み合わせ、光学素子12の装着の有無、及び当該光学素子12の種類等のように、光学的な特性が変化する組み合わせごとにPSF情報を記憶してもよい。なお、この場合には、前述したPSF情報取得部511は、光学的な特性が変化する組み合わせごとにPSF情報を取得してもよい。

また、PSF記憶部512は、記憶されたPSF情報を、選択的に出力可能に構成されている。具体的な一例として、PSF記憶部512は、後述する制御部513から、各機器の識別情報の通知を受けて、当該識別情報が関連付けられたPSF情報を後述するPSF算出部515に出力する。

制御部513は、医療用画像処理システム1(特に、内視鏡10)の各種動作を制御するための構成である。制御部513は、カメラヘッド13、鏡筒11、及び光学素子12等のように医療用画像処理システム1に対して装着されている機器(即ち、検体の観察に使用される機器)に応じて、当該機器に対応するPSF情報の出力をPSF記憶部512に指示してもよい。この場合には、例えば、制御部513は、カメラヘッド13、鏡筒11、及び光学素子12等の各機器を認識(例えば、各機器のメタ情報から取得する等)し、認識結果に応じて、当該機器に対応する識別情報をPSF記憶部512に通知してもよい。これにより、PSF記憶部512は、出力対象となるPSF情報を、通知された識別情報に基づき抽出することが可能となる。なお、制御部513が、カメラヘッド13、鏡筒11、及び光学素子12等の各機器を認識可能であれば、その方法は特に限定されない。例えば、制御部513は、各機器に記憶された識別情報を当該機器から取得することで、当該機器を認識してもよい。

重み付け制御部514及びPSF算出部515は、使用される機器に応じてPSF記憶部512から出力されるPSF情報に対して、検体の観察に関する条件に応じて重み付けを行うことで、当該条件に応じたPSF情報を算出するための構成である。

具体的には、重み付け制御部514は、検体の観察に関する各種条件に応じて、重み付けの対象とする範囲の条件(換言すると、観察範囲に関する条件)と、当該範囲における変調伝達関数(MTF)の値(換言すると、ボケ量)を調整するための重みとに応じた分布関数を算出する。なお、観察範囲の条件としては、前述したように、観察対象とする光の成分の波長(λ)、画像中の領域(x,y)、及び奥行き方向(z)等の範囲が挙げられる。

具体的には、重み付け制御部514は、観察対象とする光の成分(例えば、分光成分)に応じてPSF情報に対して重み付けを行う場合には、当該光の成分の波長(λ)に応じて、ボケ量を調整するための分布関数Ch(λ)を算出する。具体的な一例として、重み付け制御部514は、主に赤色成分(R)を対象として、PSF情報に対して重み付けを行う場合には、例えば、赤色の画素(R画素)の感度を波長ごと重み付けするための分布関数Ch(λ)を算出してもよい。なお、以降の説明では、特に、赤色成分(R)、緑色成分(G)、青色成分(B)、赤外成分(IR)それぞれに対応する分布関数Ch(λ)を、R(λ)、G(λ)、B(λ)、及びIR(λ)と称する場合がある。

例えば、図8は、PSF情報に対して重み付けを行うための分布関数の一例について説明するための説明図であり、赤色成分に対応する分布関数R(λ)の一例を示している。図8において、横軸は波長(λ)を示しており、縦軸は感度を示している。なお、分布関数R(λ)は、R画素の感度のみに限らず、照明光の特性(照明光情報とも称する)や、光学系の特性を加味して算出してもよい。また、上記では、赤色成分に対応する分布関数R(λ)の例に着目して説明したが、その他の分光成分に対応する分布関数(即ち、分布関数G(λ)、B(λ)、及びIR(λ))についても同様である。

なお、各分光成分それぞれに対応する分布関数を算出可能であれば、当該分布関数の算出方法は必ずしも上記に示す例には限定されない。例えば、赤外光に対応する画素(IR画素)が設けられていない撮像素子が適用されている場合においても、例えば、R画素、G画素、及びB画素それぞれにおける赤外光(IR)の感度に応じて、当該各画素の感度を波長ごとに重み付けするための分布関数を、赤外成分(IR)に対応する分布関数IR(λ)として算出すればよい。

また、重み付け制御部514は、奥行き方向(即ち、光軸方向)の位置に応じてPSF情報に対して重み付けを行う場合には、奥行き方向(即ち、z方向)の位置に応じて、ボケ量を調整するための分布関数a(z)を算出する。

例えば、図9は、PSF情報に対して重み付けを行うための分布関数の一例について説明するための説明図であり、奥行き方向の位置に応じて重み付けを行うための分布関数a(z)の一例を示している。図9において、横軸は合焦位置を基準とした光軸方向(z方向)のズレ(即ち、デフォーカス量)を示しており、縦軸は重みの大きさを示している。図9において、分布関数a₁₁(z)は、合焦位置を基準とした光軸方向の所定の範囲を対象として、変調伝達関数(MTF)の値に対して一様に重みを加える場合の分布関数の一例を示している。また、分布関数a₁₂(z)は、合焦位置を基準とした光軸方向の位置に応じて加える重みを変化させる場合の分布関数の一例を示している。より具体的には、分布関数a₁₂(z)は、合焦位置においては、変調伝達関数(MTF)の改善を行わず、合焦位置の前後において変調伝達関数(MTF)をより改善するための分布関数に相当する。即ち、分布関数a₁₂(z)を利用することで、分布関数a₁₁(z)を適用した場合に比べて、例えば、合焦位置の前後に生じたボケが改善されるため、被写界深度をより広げることが可能となる。

また、重み付け制御部514は、画像中の領域(換言すると、像高)に応じてPSF情報に対して重み付けを行う場合には、画像中の領域(即ち、x方向及びy方向)に応じて、ボケ量を調整するための分布関数d(x,y)を算出する。

例えば、図10は、PSF情報に対して重み付けを行うための分布関数の一例について説明するための説明図であり、画像中の領域に応じてPSF情報に対して重み付けを行うための分布関数d(x,y)の一例を示している。図10において、上側のグラフは、画像中における分布関数d(x,y)の分布を模式的に示したグラフであり、横軸は当該画像の横方向の位置(x)を示しており、縦軸は当該画像の縦方向の位置(y)を示している。また、下側のグラフは、上側のグラフにおいて破線で示した部分における分布関数d(x,y)をx方向に沿って示したグラフであり、横軸は上側のグラフと同様に画像の横方向の位置(x)を示しており、縦軸は重みを示している。

また、検体の観察に関する条件としては、例えば、手術の術式に応じて選択された観察モード、カメラヘッド13による検体の撮像における所定のAF(Auto Focus)方式に基づく焦点検出の制御状態、及び、当該焦点検出のための検波の状態等が挙げられる。

例えば、重み付け制御部514は、手術の術式等に応じて選択された観察モードに基づき、被写界深度をより広げる方が望ましいか、もしくは、解像感をより良くする方が望ましいかを判断してもよい。この場合には、重み付け制御部514は、当該判断結果に基づき、PSF情報に対して奥行き方向の位置に応じて重み付けを行うための分布関数a(z)を算出する。また、他の一例として、重み付け制御部514は、特殊光観察等のような観察方法に応じて選択された観察モードに基づき、少なくとも一部の分光成分を対象として、PSF情報に対して光の成分の波長に応じて重み付けを行うための分布関数Ch(λ)を算出してもよい。特殊光観察の例としては、例えば、近赤外蛍光観察等が挙げられる。また、このとき重み付け制御部514は、複数の分光成分を対象として、当該分光成分ごとに分布関数Ch(λ)を算出してもよい。なお、検体の観察に関する各種条件と、上述した各種分布関数との関係のより具体的な一例については、実施例として別途後述する。

以上のようにして、重み付け制御部514は、検体の観察に関する条件に応じて分布関数を算出し、算出した分布関数をPSF算出部515に出力する。

PSF算出部515は、重み付け制御部514から、検体の観察に関する条件に応じて算出された分布関数を取得する。また、PSF算出部515は、検体の観察に使用される機器に応じたPSF情報(以降では、「機器ごとのPSF情報」とも称する)を、PSF記憶部512から取得する。そして、PSF算出部515は、取得した機器ごとのPSF情報に対して、取得した分布関数に基づき重み付けを行うことで、検体の観察に関する条件に応じた新たなPSF情報を算出する。

なお、PSF算出部515は、観察対象とする光の成分の波長(λ)、画像中の領域(x,y)、及び奥行き方向(z)等の範囲の条件(即ち、観察範囲の条件)ごとに、新たなPSF情報を算出してもよい。

例えば、以下に示す(式1)は、機器ごとのPSF情報に対して、主に赤色成分(R)を対象として、光の成分の波長(λ)に応じた重み付けを行うことで、検体の観察に関する条件に応じた新たなPSF情報を算出する場合の一例を示している。なお、(式1)において、psf(λ,x,y,z)は、機器ごとのPSF情報を示している。また、R(λ)は、前述した、赤色成分に対応する分布関数を示している。

また、(式1)に示したpsf_R(x,y,z)に対して、さらに、奥行き方向に応じた分布関数に基づき重み付けが行われてもよい。例えば、以下に示す(式2)は、上述した(式1)に基づき算出されるPSF情報(即ち、psf_R(x,y,z))に対して、さらに奥行き方向に応じた分布関数a(z)に基づき重み付けを行った場合の一例を示している。

なお、上述では、(式1)及び(式2)に基づき、主に赤色成分(R)を対象として重み付けを行うことで、新たなPSF情報を算出する場合の一例について説明したが、他の分光成分についても同様である。即ち、psf(λ,x,y,z)に対して、緑色成分に対応する分布関数G(λ)と、奥行き方向に応じた分布関数a(z)とに基づき重み付けを行うことで、緑色成分(G)に対応する新たなPSF情報として、psf_G(x,y)を算出することが可能である。同様に、青色成分(B)に対応するpsf_B(x,y)や、赤外成分(IR)に対応するpsf_IR(x,y)を算出することも可能である。このようにして分光成分ごとに算出されたPSF情報(即ち、psf_R(x,y,z)、psf_G(x,y,z)、psf_B(x,y,z)、及びpsf_IR(x,y,z))は、例えば、後述する画像処理部517により、カメラヘッド13により撮像された画像に対して、分光成分ごとに変調伝達関数(MTF)の値の低下(即ち、ボケ)に対する復元処理を行う場合に用いられる。

また、PSF算出部515は、分光成分に限らず画像中の位置(x,y)に応じて、変調伝達関数(MTF)の値の低下(即ち、ボケ)に対する復元処理を行うためのPSF情報として、psf(x,y)を、上述した分光成分ごとに当該復元処理を行うためのPSF情報に基づき算出してもよい。例えば、psf(x,y)は、以下に示す(式3)に基づき算出される。

また、PSF算出部515は、画像中の位置(x,y)に限らず、変調伝達関数(MTF)の値の低下(即ち、ボケ)に対する復元処理を一様に行う場合のPSF情報として、psfを、上述した画像中の位置(x,y)に応じて当該復元処理を施すためのPSF情報に基づき算出してもよい。例えば、psfは、以下に示す(式4)に基づき算出される。なお、(式4)において、d(x,y)は、前述した、画像中の位置に応じて重み付けを行うための分布関数である。

以上のようにして、PSF算出部515は、機器ごとのPSF情報に対して、検体の観察に関する条件に応じた分布関数に基づき重み付けを行うことで、当該条件に応じたPSF情報を新たに算出する。そして、PSF算出部515は、算出したPSF情報を選択部516に出力する。なお、このときPSF算出部515は、(式1)〜(式4)に基づき上述したように、観察範囲の条件に応じて算出した各PSF情報それぞれを選択部516に出力してもよい。また、PSF算出部515は、重み付けが施されていない機器ごとのPSF情報(即ち、上述したpsf(λ,x,y,z))を、選択部516に出力してもよい。

選択部516は、PSF算出部515から、検体の観察に関する各種条件に応じて算出された1以上のPSF情報を取得し、取得した1以上のPSF情報の中から、少なくとも一部のPSF情報を所定の条件に基づき選択する。

例えば、選択部516は、特殊光観察の種類や手術の術式等に応じて選択された観察モードに基づき、より好適な態様で検体の観察を可能とするPSF情報を選択してもよい。より具体的には、選択部516は、特殊光観察の種類に応じて、特定の分光成分に対して復元処理が施されるようにPSF情報を選択してもよい。また、他の一例として、選択部516は、手術の術式に応じて、被写界深度をより拡大するためのPSF情報を選択してもよいし、検体がより鮮明に提示された画像(即ち、解像感の良い画像)を取得するためのPSF情報を選択してもよい。また、医療用画像処理システム1が使用される診療科に応じて術式等が異なる場合もあるため、例えば、選択部516は、当該診療科を示す情報に応じて、PSF情報を選択してもよい。もちろん、選択部516は、ユーザからの明示的な指定を受けて、指定されたPSF情報を選択してもよい。

また、選択部516は、検体の観察に関する状態や状況に応じて、適応的にPSF情報を切り替えてもよい。具体的な一例として、選択部516は、撮像された画像の解析結果に基づき、被写体(検体や患部)の種別、形状、色等に応じて、PSF情報を選択してもよい。なお、この場合には、画像処理装置510の構成として、撮像された画像に対して解析処理を施すための構成が設けられていてもよい。

また、本実施形態に係る医療用画像処理システム1を、被写体の立体像を観察することが可能な観察システムとして構成する場合には、選択部516は、例えば、互いに異なる視点(即ち、右眼及び左眼)それぞれに対応する画像間の視差値の変化に応じてPSF情報を選択してもよい。なお、この場合には、例えば、各視点に対応する画像を撮像するための構成(即ち、鏡筒11内の光学系や、カメラヘッド13内の撮像素子)が設けられていてもよい。また、画像処理装置510の構成として、撮像された各視点に対応する画像間の視差値を算出する構成が設けられていてもよい。

そして、選択部516は、選択したPSF情報を画像処理部517に出力する。

画像処理部517は、選択部516からPSF情報を取得し、カメラヘッド13により撮像された画像を入力画像として、当該入力画像に対して取得したPSF情報に基づき復元処理を施すことで、被写体像の画像の劣化(即ち、ボケ)を復元する。当該復元処理としては、例えば、所謂デコンボリューションと称される処理が挙げられる。より具体的な一例として、画像処理部517は、入力画像に対して取得したPSF情報の逆特性に基づく画像処理(例えば、フィルタ処理)を施すことで、当該PSF情報が示す光学的特性に応じて生じる画像の劣化(ボケ)を復元する。もちろん、PSF情報に基づき、被写体像の画像の劣化を改善することが可能であれば、入力画像に対して施される復元処理は、必ずしもデコンボリューションのみには限定されない。なお、画像処理部517により復元処理が施された画像は、例えば、図1に示す表示装置53を介してユーザに提示される。

以上のような構成により、本実施形態に係る画像処理装置510に依れば、観察環境、観察対象、及び観察方法等のような検体の観察に関する条件に応じて、より好適な態様で当該検体を観察することが可能な画像を取得することが可能となる。より具体的には、例えば、図4〜図6を参照して説明した、光学素子12の挿入に伴う変調伝達関数(MTF)の劣化を改善し、被写界深度がより拡張されたEDOF(Extended Depth of Field)画像を取得することが可能となる。また、特殊光観察を行う場合においても、観察対象とする分光成分に応じて、被写体像の画像の劣化が改善された画像を取得することが可能となる。

なお、図7に示した機能構成はあくまで一例であり、上述した画像処理装置510の各構成の動作を実現することが可能であれば、当該画像処理装置510の機能構成は必ずしも図7に示す例のみには限定されない。具体的な一例として、上述した画像処理装置510の各構成のうち一部の構成が当該画像処理装置510の外部に設けられていてもよい。より具体的な一例として、PSF取得部511やPSF記憶部512が、画像処理装置510に対してネットワークを介して接続された外部装置(例えば、サーバ等)に設けられていてもよい。また、画像処理装置510は、例えば、図1を参照して説明した内視鏡10に設けられていてもよい。

以上、図7〜図10を参照して、図1に示したCCU51の構成のうち、特に、画像処理装置として動作する部分の機能構成の一例について説明する。

<3.2.画像処理装置の処理> 次いで、図11を参照して、本実施形態に係る画像処理装置510の一連の処理の流れの一例について説明する。図11は、本実施系形態に係る画像処理装置510の一連の処理の流れの一例について示したフローチャートである。

図11に示すように、画像処理装置510(PSF取得部511)は、検体の観察に使用される機器ごとのpsfの測定結果に基づき、当該機器に対応するPSF情報を取得する。このとき、画像処理装置510は、観察に関する条件ごとに測定された当該機器のpsfに基づき、当該機器に対応するPSF情報を当該観察範囲の条件ごとに取得してもよい。そして、画像処理装置510は、取得した各機器に対応するPSF情報を、当該機器を示す識別情報や、PSF測定時の観察に関する条件を示す情報と関連付けて記憶する(S101)。

次いで、画像処理装置510(重み付け制御部514)は、検体の観察に関する条件に応じて、重み付けの対象とする範囲の条件と、当該範囲における変調伝達関数(MTF)の値(換言すると、ボケ量)を調整するための重みとに応じた分布関数を算出する(S103)。なお、当該条件に応じた分布関数の算出方法については、重み付け制御部514の動作として前述したため、詳細な説明は省略する。

次いで、画像処理装置510(PSF算出部515)は、検体の観察に使用される機器に対応するPSF情報に対して、検体の観察に関する条件に応じて算出された分布関数に基づき重み付けを行うことで、当該条件に応じた新たなPSF情報を算出する(S105)。なお、このとき画像処理装置510は、観察対象とする光の成分の波長(λ)、画像中の領域(x,y)、及び奥行き方向(z)等の範囲の条件(即ち、観察範囲の条件)ごとに、新たなPSF情報を算出してもよい。なお、当該条件に応じたPSF情報の算出方法については、PSF算出部515の動作として前述したため、詳細な説明は省略する。

次いで、画像処理装置510(選択部516)は、検体の観察に関する各種条件に応じて算出された1以上のPSF情報の中から、少なくとも一部のPSF情報を所定の条件に基づき選択する(S107)。例えば、画像処理装置510は、選択された観察モードに応じて、PSF情報を選択してもよい。また、他の一例として、画像処理装置510は、ユーザからの明示的な指定を受けて、指定されたPSF情報を選択してもよい。また、他の一例として、画像処理装置510は、検体の観察に関する状態や状況に応じて、適応的にPSF情報を切り替えてもよい。

そして、画像処理装置510(画像処理部517)は、カメラヘッド13により撮像された画像を入力画像として、当該入力画像に対して選択したPSF情報に基づき、デコンボリューション等の復元処理を施すことで、被写体像の画像の劣化(即ち、ボケ)に対し、画像を復元する(S109)。なお、画像処理部517により復元処理が施された画像は、例えば、所定の表示装置を介してユーザに提示される。

以上、図11を参照して、本実施形態に係る画像処理装置510の一連の処理の流れの一例について説明した。

<<4.実施例>> 続いて、本実施形態の実施例について説明する。

<4.1.実施例1:機器ごとのPSF情報の取得> まず、実施例1として、検体の観察に使用される機器ごとにpsfを測定することで、当該機器に対応するPSF情報を取得するための方法の一例について説明する。

(実施例1−1:出荷前に取得する方法) まず、実施例1−1として、図12を参照して、図1に示す鏡筒11、光学素子12、及びカメラヘッド13等の一連の機器の出荷前に、当該機器に対応するPSF情報を取得するための構成及び方法の一例について説明する。図12は、本実施形態の実施例1−1に係る内視鏡装置における、PSF情報の取得方法の一例について説明するための説明図である。

図12に示す例では、鏡筒11の先端に対して計測用治具81を装着し、当該鏡筒11を介して計測用治具81内の画像を撮像することで、当該鏡筒11のpsfを測定する。

計測用治具81内には、例えば、参照符号811に示すように円が描かれた透明な円盤が、計測用治具81に装着される鏡筒11の光軸方向(即ち、z方向)に沿って複数枚設置されている。このとき、複数の円盤それぞれには、例えば、互いに異なる半径で円が描かれている。このような構成により、鏡筒11を介して計測用治具81内を撮像した場合に、各円盤に描かれた円が互いに重畳せずに撮像されることとなる。以上のような構成により、撮像された画像中の各円盤の円のボケ量に応じて、奥行き方向(z方向)の位置に応じたpsfを測定することが可能となる。

なお、参照符号811として示した例では、各円盤に対して1つの円が描かれている場合の一例を示したが、各円盤に対して互いに半径の異なる円が同心円状に複数描かれていてもよい。このような構成により、例えば、奥行き方向(即ち、z方向)の位置ごとに、撮像される画像中の位置(即ち、xy平面上の位置)に応じたpsf(x,y,z)を測定することが可能となる。また、照明光の波長λを変えながら計測用治具81内の画像を撮像することで、当該波長λごとに撮像された画像に基づき、光の成分の波長λごとのpsf(λ,x,y,z)を測定することが可能となる。

また、参照符号813に示すように、計測用治具81内には、グリッドが描かれた円盤が、計測用治具81に装着される鏡筒11の光軸方向(即ち、z方向)に沿って移動可能に設けられている。なお、円盤を光軸方向に沿って移動させるための構成は特に限定されない。例えば、円盤は手動により移動可能に構成されていてもよいし、モータ等の駆動部を駆動させることで電動により移動可能に構成されていてもよい。このような構成のもと、グリッドが描かれた円盤をz方向に沿って移動させ、当該z方向に沿った位置ごとに、計測用治具81内の画像を撮像する。これにより、撮像された画像中の各位置(即ち、xy平面上の位置)におけるグリッドのボケ量に応じて、奥行き方向(z方向)の位置ごとに、撮像される画像中の位置に応じたpsf(x,y,z)を測定することが可能となる。

また、参照符号813として示した例においても、照明光の波長λを変えながら計測用治具81内の画像を撮像することで、当該波長λごとに撮像された画像に基づき、光の成分の波長λごとのpsf(λ,x,y,z)を測定することが可能となる。

また、鏡筒11に対して、例えば、前述したような光学素子12やカメラヘッド13を装着して計測用治具81内の画像を撮像することで、撮像された画像に基づき、当該鏡筒11、光学素子12、及びカメラヘッド13の一連の機器のpsfを測定することも可能である。

なお、以上のようにして測定されたpsfに基づくPSF情報は、例えば、図7を参照して説明したPSF記憶部512に記憶させておけばよい。

以上、図12を参照して、図1に示す鏡筒11、光学素子12、及びカメラヘッド13等の一連の機器の出荷前に、当該機器に対応するPSF情報を取得するための構成及び方法の一例について説明した。

(実施例1−2:術前に取得する方法) 次いで、実施例1−2として、図13及び図14を参照して、術前等のように、図12に示す例に比べてpsfの測定自体に時間を割くことが困難な状況下において、より簡易的に機器のpsfを測定し、PSF情報を取得するための構成及び方法の一例について説明する。図13及び図14は、本実施形態の実施例1−2に係る内視鏡装置における、PSF情報の取得方法の一例について説明するための説明図である。

例えば、図13に示す例では、直交するグリッド831が描かれたプレート83の画像を、鏡筒11を介して撮像部(例えば、カメラヘッド)に撮像させ、撮像された画像(所謂プレビュー画像)を表示装置53に表示させる。これにより、表示装置53の画面には、グリッド831の画像v21が表示される。また、表示装置53の画面には、プレート83と鏡筒11とが所定の位置関係となった場合にグリッド831の画像v21に略一致する調整ガイドv23が、画面に表示される画像上に重畳するように画面内の所定の位置に表示される。そして、プレート83または鏡筒11の位置の調整により、グリッド831の画像v21が調整ガイドv23にあわせられて後に、当該グリッド831の画像を鏡筒11を介して撮像部に撮像させる。以上のような構成及び手順により、鏡筒11とグリッド831とが所定の位置関係にある場合の当該グリッド831の画像が取得され、当該画像中各位置(即ち、xy平面上の位置)におけるグリッド831のボケ量に応じて、撮像される画像中の位置に応じたpsf(x,y)を測定することが可能となる。なお、鏡筒11とプレート83(即ち、グリッド831)との間の奥行き方向(即ち、z方向)の距離については、グリッド831のサイズが既知であれば、調整ガイドv23の大きさに応じて一意に決定されることは言うまでもない。

また、画面に表示される調整ガイドv23に応じて、グリッド831の画像v21が当該調整ガイドv23に略一致するための、鏡筒11とプレート83との間の奥行き方向の距離が異なる。そのため、このような特性を利用することで、奥行き方向(z方向)の位置に応じたpsf(x,y,z)を測定することも可能である。具体的には、調整ガイドv23の表示サイズを適宜変更し、その都度、当該調整ガイドv23にグリッド831の画像v21があわせられた状態で、当該グリッド831の画像を鏡筒11を介して撮像部に撮像させる。これにより、調整ガイドv23の表示サイズと、撮像された画像中におけるグリッド831のボケ量とに基づき、奥行き方向の位置に応じたpsf(x,y,z)を測定することが可能となる。なお、光学ズームを使用する場合は、そのレンズ位置や倍率によってpsf(x,y,z)が変化する。そのため、その場合は、制御部513はカメラヘッド13から光学ズームに関する情報(レンズ位置や倍率等)を取得し、その情報に基づき、psf(x,y,z)を算出する。

また、図12を参照して説明した例と同様に、照明光の波長λを変えてプレート83の画像を撮像することで、当該波長λごとに撮像された画像に基づき、光の成分の波長λごとのpsf(λ,x,y,z)を測定することも可能である。

次いで、図14に着目する。図14に示す例では、プレート85には、当該プレート85を所定の角度から見た場合に、直交するグリッドに見えるように歪みが加えられたグリッド851が描かれている。即ち、プレート85に対して所定の角度から、当該プレート85の画像を鏡筒11を介して撮像部に撮像させ、撮像された画像(所謂プレビュー画像)を表示装置53に表示させることで、当該表示装置53の画面には、直交するグリッドの画像v21が表示される。図14に示す例では、このような特性を利用し、図13に示す例と同様に、撮像されたグリッド851(即ち、直交するグリッド)の画像v21が調整ガイドv23にあわせられた後に、当該グリッド851の画像を撮像部に撮像させるとよい。これにより、撮像された画像中におけるグリッド851のボケ量に基づきpsfを測定することが可能となる。なお、このとき撮像されるグリッド851の画像は、画像中の位置(即ち、xy平面上の位置)に応じて、当該グリッド851の実空間上における奥行き方向(即ち、z方向)の位置が異なる。そのため、図14に示す例では、1回の撮像により、合焦位置の前後の位置(奥行き方向の位置)におけるpsfをあわせて測定することが可能である。

なお、図14に示す例においても、図13に示す例と同様に、奥行き方向(z方向)の位置に応じたpsf(x,y,z)を測定してもよい。具体的には、調整ガイドv23の表示サイズを適宜変更し、その都度、当該調整ガイドv23にグリッド851の画像v21が合わせられた状態で、当該グリッド851の画像を鏡筒11を介して撮像部に撮像させればよい。これにより、調整ガイドv23の表示サイズと、撮像された画像中におけるグリッド851のボケ量とに基づき、奥行き方向の位置に応じたpsf(x,y,z)を測定することが可能となる。また、照明光の波長λを変えてプレート83の画像を撮像することで、当該波長λごとに撮像された画像に基づき、光の成分の波長λごとのpsf(λ,x,y,z)を測定することも可能である。

以上、図13及び図14を参照して、術前等のように、図12に示す例に比べてpsfの測定自体に時間を割くことが困難な状況下において、より簡易的に機器のpsfを測定し、当該PSF情報を取得するための構成及び方法の一例について説明した。なお、本説明では、出荷前、術前と分けて記載したが、どちらの方法も、出荷前、術前に限定されるものではなく、術中以外の時であれば、いつこれらの方法が用いられても構わない。

(実施例1−3:術中に取得する方法) 次いで、実施例1−3として、図15を参照して、術中にpsfを測定することでPSF情報を取得するための構成及び方法の一例について説明する。図15は、本実施形態の実施例1−3に係る内視鏡装置における、PSF情報の取得方法の一例について説明するための説明図である。

実施例1−3では、例えば、術中に鉗子等の治具の画像を撮像し、撮像された画像に基づきpsfを測定する。より具体的な一例として、図15に示す例では、グリッドが描かれた鉗子87を用い、当該鉗子87の画像を鏡筒11を介してカメラヘッド13に撮像させる。鉗子87に描かれたグリッドの画像中におけるサイズは、鉗子87と鏡筒11との間の奥行き方向(即ち、z方向)の距離に応じて変化する。そのため、撮像された画像中のグリッドのボケ量に基づきpsfを測定し、当該画像中におけるグリッドのサイズから、鉗子87と鏡筒11との間の奥行き方向(即ち、z方向)の距離を逆算することで、奥行き方向(z方向)の位置に応じたpsf(z)を測定することが可能となる。

なお、鉗子87と鏡筒11との間の奥行き方向(即ち、z方向)の距離を算出することが可能であれば、psfの測定のための画像の撮像対象は、必ずしも、図15に示す例のように、グリッドが描かれた鉗子87のみには限定されない。例えば、鉗子の各部のうちサイズが既知の一部の画像を撮像し、当該画像中における当該鉗子の一部のエッジ間の間隔に基づき、鉗子87と鏡筒11との間の奥行き方向(即ち、z方向)の距離を算出してもよい。また、この場合においては、撮像された画像中の当該鉗子の一部のエッジのボケ量に応じてpsfを測定してもよい。

以上、実施例1−3として、図15を参照して、術中にpsfを測定することでPSF情報を取得するための構成及び方法の一例について説明した。

<4.2.実施例2:各種条件に応じたPSF情報の算出例> 続いて、実施例2として、検体の観察に関する条件に応じた分布関数を算出や、当該分布関数に応じてPSF情報に対する重み付け等の、当該条件に応じたPSF情報の算出に係る制御の一例について、具体的なシーンの一例としてあわせて説明する。

(実施例2−1:被写体の細かさに応じた制御) まず、実施例2−1として、図16を参照して、合焦位置における被検体の細かさに応じて、PSF情報に対して重み付けを行うための分布関数の一例について説明する。図16は、実施例2−1に係る画像処理装置における、PSF情報の算出に係る制御の一例について説明するための説明図である。なお、以降の説明では、所定のAF(Auto Focus)方式に基づく焦点検出のための検波値を、「AF検波値」とも称する。なお、焦点検出は、画像内のコントラスト情報、輝度情報、エッジ情報等に基づき行われる。

図16において、上側の2図は、合焦位置におけるAF検波値が比較的大きい場合の一例を示しており、換言すると、合焦位置と、当該合焦位置の周囲との間における、AF検波値の差が比較的大きい場合の一例に相当する。これに対して、下側の2図は、合焦位置におけるAF検波値が比較的小さい場合の一例を示しており、換言すると、合焦位置と、当該合焦位置の周囲との間における、AF検波値の差が比較的小さい場合の一例に相当する。

より具体的には、左上の図は、合焦位置におけるAF検波値が比較的大きい場合における、画像中におけるAF検波値の分布を模式的に示した図であり、図中に付された数値は画像中の各領域におけるAF検波値を示している。なお、図中に付された数値がより高いほど、検波値がより高く、被写体がより鮮鋭に撮像されていることを示している。この場合には、合焦位置におけるAF検波値が、当該合焦位置の周囲に比べて比較的高いことから、より細かい被写体を撮像していることがわかる。このようなケースにおいては、画像処理装置510は、例えば、合焦位置の被写体をより鮮鋭に提示させるように、PSF情報に対して奥行き方向(z方向)の位置に応じて重み付けを行うための分布関数a(z)を算出してもよい。例えば、右上の図に示した分布関数a₂₁(z)は、合焦位置の被写体をより鮮鋭に提示させるために、積分範囲がより狭くなるように算出された分布関数a(z)の一例を示している。なお、本説明では、奥行き方向(z方向)に着目して説明しているが、例えば、波長(λ)や、画像中の領域(即ち、x方向及びy方向)の積分範囲がより狭くなるように、所望の分布関数を算出してもよい。

また、左下の図は、合焦位置におけるAF検波値が比較的小さい場合における、画像中におけるAF検波値の分布を模式的に示した図であり、図中に付された数値は画像中の各領域におけるAF検波値を示している。この場合には、合焦位置と、当該合焦位置の周囲との間における、AF検波値の差が比較的小さいことから、上側の例に比べて、より粗い被写体を撮像していることがわかる。このようなケースにおいては、画像処理装置510は、例えば、被写界深度をより拡大されるように、PSF情報に対して奥行き方向(z方向)の位置に応じて重み付けを行うための分布関数a(z)を算出してもよい。例えば、右下の図に示した分布関数a₂₂(z)は、被写界深度をより拡大させるために、積分範囲がより広くなるように算出された分布関数a(z)の一例を示している。なお、本説明では、奥行き方向(z方向)に着目して説明しているが、例えば、波長(λ)や、画像中の領域(即ち、x方向及びy方向)の積分範囲がより広くなるように、所望の分布関数を算出してもよい。

以上のような制御により、画像中に撮像された被写体の細かさに応じて、より好適な態様で当該被写体を観察することが可能となるように、当該画像に対して復元処理を施すことが可能となる。なお、上記に説明した例はあくまで一例であり、画像中に撮像された被写体の細かさに応じてボケ量を制御することが可能であれば、処理の内容は、必ずしも上記に示す例のみには限定されないことは言うまでもない。

以上、実施例2−1として、図16を参照して、合焦位置における被検体の細かさに応じて、PSF情報に対して重み付けを行うための分布関数の一例について説明した。

(実施例2−2:合焦の度合いに応じた制御) 次いで、実施例2−2として、図17及び図18を参照して、画像中の各位置における合焦の度合いに応じた分布関数の算出方法の一例について説明する。図17及び図18は、実施例2−2に係る画像処理装置における、PSF情報の算出に係る制御の一例について説明するための説明図である。

まず、図17に着目する。図17に示す各図のうち、左側の図は、画像中におけるAF検波値の分布を模式的に示した図であり、図中に付された数値は画像中の各領域におけるAF検波値を示している。即ち、図17に示す例では、参照符号P11及びP13で示された各領域のうち、領域P11のAF検波値が最も高く、当該領域P11が合焦位置に相当する。

また、図17に示す各図のうち、中央の図は、合焦位置の被写体がより鮮鋭に提示された画像を取得する場合における、画像中の領域に応じて重み付けを行うための分布関数d(x,y)を模式的に示した図である。なお、以降の説明では、合焦位置の被写体がより鮮鋭に提示された画像を取得するためのモードを、「合焦優先モード」と称する場合がある。また、右側の図は、合焦位置の周囲のボケを改善することで被写界深度がより拡大された画像を取得する場合における、画像中の領域に応じて重み付けを行うための分布関数d(x,y)を模式的に示した図である。なお、以降の説明では、合焦位置の周囲のボケを改善することで被写界深度がより拡大された画像を取得するためのモードを、「ボケ改善優先モード」と称する場合がある。

図17に示す例では、画像処理装置510を合焦優先モードで動作させる場合には、例えば、中央の図に示すように、合焦位置に相当する領域P11における重みがより高くなるように、分布関数d(x,y)を算出すればよい。また、画像処理装置510をボケ改善優先モードで動作させる場合には、例えば、右側の図に示すように、合焦位置の周囲の領域P13における重みがより高くなるように、分布関数d(x,y)を算出すればよい。

次いで、図18に着目する。図18に示す各図のうち、左側の図は、画像中におけるAF検波値の分布を模式的に示した図であり、図中に付された数値は画像中の各領域におけるAF検波値を示している。即ち、図18に示す例では、参照符号P11及びP13で示された各領域のうち、領域P13のAF検波値が最も高く、当該領域P13が合焦位置に相当する。また、中央の図は、画像処理装置510を合焦優先モードで動作させる場合における、画像中の領域に応じて重み付けを行うための分布関数d(x,y)を模式的に示した図である。また、右側の図は、画像処理装置510をボケ改善優先モードで動作させる場合における、画像中の領域に応じて重み付けを行うための分布関数d(x,y)を模式的に示した図である。

図18に示す例では、画像処理装置510を合焦優先モードで動作させる場合には、例えば、中央の図に示すように、合焦位置に相当する領域P13における重みがより高くなるように、分布関数d(x,y)を算出すればよい。また、画像処理装置510をボケ改善優先モードで動作させる場合には、例えば、右側の図に示すように、合焦位置の周囲の領域P11における重みがより高くなるように、分布関数d(x,y)を算出すればよい。

以上のような制御により、画像中に撮像された各被写体のうち、観察者(ユーザ)がより注目している対象(即ち、焦点が合わせられた対象)に応じて、当該画像に対して所望復元処理を施すことが可能となる。なお、上記に説明した例はあくまで一例であり、画像中の各位置における合焦の度合いに応じてボケ量を制御することが可能であれば、処理の内容は、必ずしも上記に示す例のみには限定されないことは言うまでもない。また、上記制御が実現可能であれば、その方法についても限定されない。例えば、画像中のフォーカスの状況に応じたフォーカス位置情報と、フォーカス位置の光軸方向の距離を示すフォーカス距離情報と、及びフォーカスレンズ位置情報とのうち、少なくともいずれかに応じて分布関数d(x,y)が算出されてもよい。

以上、実施例2−2として、図17及び図18を参照して、画像中の各位置における合焦の度合いに応じた分布関数の算出方法の一例について説明した。

(実施例2−3:色ごとの制御) 次いで、実施例2−3として、図19を参照して、被写体の色に応じて分布関数を算出する場合の一例について説明する。図19は、実施例2−3に係る画像処理装置における、PSF情報の算出に係る制御の一例について説明するための説明図である。

図19の各図のうち、左上の図は、画像中におけるAF検波値の分布を模式的に示した図であり、図中に付された数値は画像中の各領域におけるAF検波値を示している。図19に示す例では、参照符号P11及びP13で示された各領域のうち、領域P13のAF検波値が最も高く、当該領域P13が合焦位置に相当する。また、左下の図は、当該画像中における色の分布を模式的に示している。即ち、図19に示す例では、領域P11には主に緑色が分布しており、領域P13には主に赤色が分布している。

また、図19の各図のうち、右上の図は、主に緑色成分(G)を対象として、画像中の領域に応じて重み付けを行うための分布関数を模式的に示している。また、右下の図は、主に赤色成分(R)を対象として、画像中の領域に応じて重み付けを行うための分布関数を模式的に示している。

即ち、図19に示す例では、画像処理装置510は、主に緑色成分(G)を対象とした分布関数G(λ)については、例えば、ボケ改善優先モードに基づき、領域P11の重みがより高くなるように制御することで、ボケを改善し被写界深度がより広くなるように制御している。一方で、画像処理装置510は、主に赤色成分(R)を対象とした分布関数R(λ)については、例えば、合焦優先モードに基づき、領域P13の重みがより高くなるように制御することで、赤色の被写体(検体)がより鮮鋭に提示されるように制御している。

以上のような制御により、例えば、画像中に撮像された各被写体のうち、所定の色の被写体がより強調されるように、当該画像に対して復元処理を施すことが可能となる。特に、本実施形態に係る医療用画像処理システム1により生体内の画像(所謂内視鏡画像)を取得するような状況下においては、赤色成分が広く分布する画像が撮像される傾向にある。そのため、例えば、赤色成分と、当該赤色成分とは異なる他の分光成分とのそれぞれに対して、特性の異なる分布関数に基づき復元処理を施すことで、病変部のように周囲の組織とは異なる色の部分をより強調することも可能となる。なお、上記に説明した例はあくまで一例であり、分光成分ごとにボケ量を制御することが可能であれば、対象とする分光成分や、当該分光成分に対応する分布関数に対する処理の内容は、必ずしも上記に示す例のみには限定されないことは言うまでもない。

以上、実施例2−3として、図19を参照して、被写体の色に応じて分布関数を算出する場合の一例について説明した。

(実施例2−4:AFの制御状態に応じた制御) 次いで、実施例2−4として、所定のAF方式に基づく焦点検出の制御状態(以降では、単に「AFの制御状態」とも称する)に応じて、分布関数を切り替える場合の一例について説明する。

前述した各例では、主に、AFの制御が完了し所望の被写体に対して合焦している場合に着目して説明した。一方で、AFに基づき合焦位置を検出している状況下においては、各光学系(例えば、結合光学系)の移動に伴い焦点位置が逐次変化する場合があり、当該焦点位置の変化に応じて撮像される画像の各位置におけるボケの量も逐次変化する。

このような状況を鑑み、AFに基づき合焦位置の検出中においては、例えば、被写界深度がより広くなるように制御するための分布関数を適用してもよい。合焦位置の検出は、ユーザの指示により(ボタンなど)適宜行われても、常時検出し続けてもよく、その制御情報が取得された場合に、被写界深度を拡大するような分布関数が適用されてもよい。このような制御により、合焦位置の検出に伴い焦点位置が逐次変化するような状況下においても、検体(被写体)を確認することが可能となる。もちろん、上記に説明した例はあくまで一例であり、AFの制御状態に応じてボケ量を制御することが可能であれば、処理の内容は必ずしも上記に説明した例には限定されないことは言うまでもない。また、各種制御状態に応じて分布関数を切り替えることが可能であれば、当該制御状態についても、必ずしもAFの制御状態のみには限定されない。具体的な一例として、光学ズームの倍率を変更中か否か(即ち、光学ズームの制御状態)に応じて分布関数が切替えられてもよい。

以上、実施例2−4として、AFの制御状態に応じて、分布関数を切り替える場合の一例について説明した。

(実施例2−5:観察方法に応じた制御の一例) 医療の分野においては、例えば、特殊光観察の種類や手術の術式等に応じて、検体の観察方法が異なり、当該観察のために求められる画像の特性も異なる。そこで、実施例2−5として、特殊光観察の種類や手術の術式等の違いに伴う観察方法の違いに応じて、PSF情報を算出する場合の一例について説明する。

例えば、前述したように、耳鼻や脳の深部に対してアプローチする手術においては、奥行きの深い管状の術野となるため、被写界深度のより広い画像の取得が求められる場合がある。このような場合には、例えば、前述したボケ改善優先モードでの動作時のように、被写界深度をより広くなるように奥行き方向(z方向)の位置に応じて重み付けするための分布関数a(z)に基づきPSF情報が算出され、当該PSF情報が復元処理に適用されればよい。

また、他の一例として、脳の表面の血管等に対して処置を施す場合等のように、より細かい手技が求められる手術においては、被写界深度が多少浅くとも、より解像感の良い画像の取得が求められる場合がある。このような場合には、例えば、前述した合焦優先モードでの動作時のように、合焦位置の被写体がより鮮鋭に提示されるように奥行き方向(z方向)の位置に応じて重み付けするための分布関数a(z)に基づきPSF情報が算出され、当該PSF情報が復元処理に適用されればよい。

また、近赤外蛍光観察を行う場合においては、主に赤外成分(IR)が観察の対象となる。このような場合には、例えば、赤外成分(IR)を主な対象として重み付けするための分布関数IR(λ)に基づきPSF情報が算出され、当該PSF情報が復元処理に適用されればよい。

また、整形における関節の手術は、水中で行われる場合がある。このように水中で手技が行われる状況下では、水中で画像が撮像されることとなるため、全体的にボケが生じた画像が取得される傾向にある。そのため、このような場合には、例えば、被写界深度がより広くなるように奥行き方向(z方向)の位置に応じて重み付けするための分布関数a(z)に基づきPSF情報が算出され、当該PSF情報が復元処理に適用されればよい。

なお、上述した各例はあくまで一例であり、特殊光観察の種類や手術の術式等に応じて要求される特性の画像を取得することが可能であれば、分布関数の算出方法や、当該分布関数に応じたPSF情報の算出方法は特に限定されない。

以上、実施例2−5として、特殊光観察の種類や手術の術式等の違いに伴う観察方法の違いに応じた、PSF情報に対して重み付けを行うための分布関数の適用例について説明した。

(実施例2−6:観察対象に応じた制御の一例) 次いで、実施例2−6として、観察対象に応じて、PSF情報を算出する場合の一例について説明する。なお、本説明では、主に医療の分野における適用例に着目して説明する。

例えば、腹腔や胸腔内の臓器を観察対象として、当該臓器が比較的大きく撮像されている場合には、当該臓器全体を広く観察するような状況が想定され得る。そのため、このような場合には、例えば、前述したボケ改善優先モードでの動作時のように、被写界深度をより広くなるように奥行き方向(z方向)の位置に応じて重み付けするための分布関数a(z)に基づきPSF情報が算出され、当該PSF情報が復元処理に適用されればよい。これにより、例えば、観察対象となる臓器全体にわたってボケが改善された画像を取得することが可能となる。なお、臓器が比較的大きく撮像されているか否かは、ユーザの入力によって判断してもよいし、画像内の特徴点から、例えば、画像認識等に基づき何の臓器か判断してもよい。また、色や模様で画像内の領域を分けその特徴が異なっている場合には、生体内のいくつか特徴の異なる領域が撮像されている、すなわち臓器全体が大きく撮像されていると判断してもよい。

また、他の一例として、血管走行を主な観察対象として、当該血管走行が画像中の広い領域にわたって撮像されている場合には、当該血管走行がより鮮鋭に撮像されていることが望ましい場合がある。そのため、このような場合には、例えば、前述した合焦優先モードでの動作時のように、合焦位置の被写体がより鮮鋭に提示されるように奥行き方向(z方向)の位置に応じて重み付けするための分布関数a(z)に基づきPSF情報が算出され、当該PSF情報が復元処理に適用されればよい。なお、血管走行が画像中の広い領域にわたって撮像されているか否かは、ユーザの入力によって判断してもよいし、例えば、画像認識等に基づき、連続的な枝分かれしたエッジが撮像されているか否かに応じて判断してもよい。

なお、上述した観察対象に応じた制御の切り替えは、例えば、画像処理装置510により自動で行われてもよい。具体的な一例として、画像処理装置510は、撮像された画像に対して所謂画像解析を施すことで、当該画像中に撮像された観察対象(被写体)を認識し、認識した当該観察対象に応じて、復元処理に適用するPSF情報(もしくは、当該PSF情報を算出するための分布関数)を切り替えればよい。

また、画像処理装置510は、例えば、観察対象に応じて観察者(ユーザ)により選択された観察モードに基づき、復元処理に適用するPSF情報や、当該PSF情報を算出するための分布関数を算出してもよい。

以上、実施例2−6として、観察対象に応じて、PSF情報を算出する場合の一例について、特に医療の分野における適用例に着目して説明した。

(実施例2−7:PSF情報の切り替えに係る制御の一例) 前述したように、本実施形態に係る画像処理装置510は、検体の観察に関する条件(例えば、観察範囲の条件)に応じて、複数のPSF情報を算出し、当該複数のPSF情報の中から少なくとも一部のPSF情報を、選択的に復元処理に適用することが可能である。そこで、実施例2−7として、PSF情報を選択的に切り替える場合の制御の一例について具体的な適用例とあわせて説明する。なお、本説明では、主に医療の分野における適用例に着目して説明する。

具体的には、前述したように、特殊光観察の種別や手術の術式に応じて、PSF情報が選択的に切り替えられてもよい。このような場合には、画像処理装置510は、例えば、観察者(ユーザ)により、特殊光観察の種別や手術の術式に応じて選択された観察モードに基づき、当該観察モードに対応するPSF情報を選択し、選択したPSF情報を復元処理に適用すればよい。

また、観察中においても、一時的に他の観察モードに切り替えて観察が行われる場合も想定され得る。具体的な一例として、通常の光学像の観察と、特殊光観察とを適宜切り替えながら、検体を観察するような状況も想定され得る。このような場合においても、画像処理装置510は、例えば、観察者(ユーザ)により選択された観察モードに応じてPSF情報を選択し、選択したPSF情報を復元処理に適用すればよい。

また、前述したように、画像処理装置510は、例えば、撮像された画像の解析結果等に基づき検体の観察に関する状態や状況を認識し、当該状態や状況の認識結果に応じて、適応的にPSF情報を切り替えてもよい。

一方で、画像処理装置510が、状態や状況の認識するような状況下においては、当該認識にミスが生じる場合もある。このような認識ミスに対して、例えば、画像処理装置510が、過敏に反応し、PSF情報が一時的に誤って切り替えられると、観察者に対して提示される画像の特性が一時的に替わり、検体の観察を阻害する場合も想定され得る。このような状況を鑑み、例えば、画像処理装置510に対して、短期的な状態や状況の変化に応じたPSF情報の切り替えを抑制するための仕組みを設けてもよい。

例えば、図20は、実施例2−7に係る画像処理装置510による、PSF情報の切り替えに係る制御の一例について説明するための説明図である。図20において、参照符号F101〜F110は、時系列に沿って取得される動画像の各フレームを示している。また、modeA〜modeDは、それぞれ異なる観察モードを示しており、当該観察モードに応じて異なるPSF情報が適用された復元処理が、各フレームに対して適用される。

図20に示す例では、画像処理装置510は、各フレームを逐次処理対象として、当該フレームにおける観察モード(換言すると、当該観察モードに応じたPSF情報)と、当該フレームの前後の数フレームにおける観察モードとを比較する。そして、画像処理装置510は、フレーム間における観察モードの比較結果に基づき、短期的な観察モードの変化が発生するフレームを検出し、当該フレームにおけるPSF情報の切り替えを抑制する。

例えば、図20において、上側に「入力」として示した図は、上述したPSF情報の切り替えの抑制に係る制御の適用前における、時系列に沿った一連のフレームF101〜F110と、当該各フレームに対して設定された観察モードとを模式的に示している。例えば、「入力」側の図において、フレームF101〜F105に着目すると、フレームF103においてのみ、観察モードが一時的にmodeAからmodeBに切り替わっている。また、フレームF106〜F110に着目した場合には、フレームF109においてのみ、観察モードが一時的にmodeCからmodeDに切り替わっている。このような場合意には、例えば、フレームF103及びF109のタイミングにおいて、復元処理に適用されるPSF情報が一時的に切り替わるため、出力される画像の特性が一時的に変化する。

これに対して、図20において、下側に「出力」として示した図は、上述したPSF情報の切り替えの抑制に係る制御を適用した場合における、当該F101〜F110と、当該各フレームに対して設定された観察モードとを模式的に示している。なお、「入力」側と「出力側」とで同じ符号が付されたフレームは、同じフレームを示している。例えば、「出力」側の図においては、例えば、フレームF103における観察モードが、前後のフレームにあわせてmodeAに修正されており、当該フレームF103に対する復元処理に適用されるPSF情報が、当該modeAに対応するPSF情報に切り替わる。同様に、フレームF109における観察モードについては、前後のフレームにあわせてmodeCに修正されており、当該フレームF109に対する復元処理に適用されるPSF情報が、当該modeCに対応するPSF情報に切り替わる。

より具体的な一例として、画像処理装置510は、処理対象とするフレームと、当該フレームの前後数フレームとのそれぞれに対して設定された観察モードを抽出し、処理対象となるフレームの観察モードを、より多くのフレームに設定されている観察モードに修正する。このような制御により、例えば、認識ミス等に伴う一時的(短期的)な状態や状況の変化に応じたPSF情報の切り替えを抑制し、ちらつきの少ない画像を観察することが可能となる。

なお、上記に説明した処理はあくまで一例であり、一時的(短期的)な状態や状況の変化に応じたPSF情報の切り替えを抑制することが可能であれば、当該処理の内容は特に限定されない。具体的な一例として、画像処理装置510は、対象となるフレームの観察モード(もしくは観察モードに応じたPSF情報)を、当該フレームの直前のフレームにあわせて修正してもよい。また、他の一例として、画像処理装置510は、互いに隣接するフレーム間のPSF情報のうち、重み付けの変化の偏りがより少ないPSF情報や、より中間的な特性を有するPSF情報を、当該フレームそれぞれに対応するPSF情報として適用してもよい。

以上、実施例2−7として、PSF情報を選択的に切り替える場合の制御の一例について具体的な適用例とあわせて説明した。

<<5.ハードウェア構成>> 次に、図21を参照しながら、前述したCCU51(換言すると、画像処理装置)のような、本実施形態に係る医療用の観察システム(例えば、図1に示す医療用画像処理システム1)を構成する情報処理装置900のハードウェア構成について、詳細に説明する。図21は、本開示の一実施形態に係る医療用画像処理システム1を構成する情報処理装置900のハードウェア構成の一構成例を示す機能ブロック図である。

本実施形態に係る医療用画像処理システム1を構成する情報処理装置900は、主に、CPU901と、ROM903と、RAM905と、を備える。また、情報処理装置900は、更に、ホストバス907と、ブリッジ909と、外部バス911と、インタフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、ドライブ921と、接続ポート923と、通信装置925とを備える。

CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919又はリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置900内の動作全般又はその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。なお、図7を参照して前述した、制御部513、重み付け制御部514、PSF算出部515、選択部516、及び画像処理部517は、例えば、CPU901により実現され得る。

ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。また、外部バス911には、インタフェース913を介して、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923及び通信装置925が接続される。

入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置900のユーザは、この入力装置915を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置917は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置917は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。なお、図1を参照して前述した表示装置53は、例えば、出力装置917により実現され得る。

ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ等を格納する。なお、図7を参照して前述したPSF記憶部512は、例えば、ストレージ装置919により実現され得る。

ドライブ921は、記録媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD−DVDメディア又はBlu−ray(登録商標)メディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CF:CompactFlash)、フラッシュメモリ又はSDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。

接続ポート923は、情報処理装置900に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、情報処理装置900は、外部接続機器929から直接各種のデータを取得したり、外部接続機器929に各種のデータを提供したりする。

通信装置925は、例えば、通信網(ネットワーク)931に接続するための通信デバイス等で構成された通信インタフェースである。通信装置925は、例えば、有線若しくは無線LAN(Local Area Network)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。

以上、本開示の実施形態に係る医療用の観察システムを構成する情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図21では図示しないが、医療用の観察システムを構成する情報処理装置900に対応する各種の構成を当然備える。

なお、上述のような本実施形態に係る医療用の観察システムを構成する情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ(例えば、複数のサーバ等)が互いに連携して実行してもよい。

<<6.むすび>> 以上説明したように、本実施形態に係る医療用画像処理システム1において、画像処理装置510は、被写体像の観察に関する条件に応じて、当該被写体像が撮像された画像のボケ量を制御するための関数(psf)を算出する。そして、画像処理装置510は、カメラヘッド13により撮像された画像を入力画像として、当該入力画像に対して、算出した当該関数に基づく復元処理を施す。このような構成により、本実施形態に係る医療用画像処理システム1に依れば、例えば、観察環境の条件や観察対象とする被写体の特徴などの様に、被写体像の観察に係る状態や状況に応じて、観察対象をより好適な態様で観察することが可能となる。

なお、上記に示し例では、入力画像に対してPSF情報に基づき復元処理を施す場合を例に説明したが、当該入力画像のボケ量を制御する(即ち、被写体像の画像の劣化を改善する)ことが可能であれば、復元処理に適用される関数は、必ずしもPSF情報のみには限定されない。また、入力画像のボケ量を制御することが可能であれば、復元処理の内容についても限定されないことは言うまでもない。

また、本説明では、内視鏡10が主に硬性内視鏡として構成された場合に着目して説明したが、本実施形態に係る画像処理装置510の適用先は、必ずしも硬性内視鏡により検体を観察するための医療法画像処理システムのみには限定されない。具体的な一例として、当該画像処理装置510は、例えば、軟性内視鏡や手術用顕微鏡等のような他の医療用の観察装置により検体を観察するための医療法画像処理システムに対して適用されてもよい。この場合には、各観察装置における各種光学系や撮像装置等の機器ごとにpsfを測定することで、当該機器に対応するPSF情報を取得すればよい。もちろん、撮像装置により撮像された画像を提示するような装置やシステムであれば、本実施形態に係る画像処理装置510の適用先は、必ずしも医療用のシステムのみにも限定されない。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。 (1) 被写体が撮像された画像と、前記画像のボケ量を調整するための関数に基づき、 補正画像を生成するよう制御する制御部を有し、 前記関数は、前記被写体の観察に関する条件に応じて算出された関数である、 画像処理装置。 (2) 前記関数は、前記条件が互いに異なる複数の関数であって、 前記制御部は、前記複数の関数のうち少なくともいずれかの当該関数に基づき、前記補正画像を生成するよう制御する、 前記(1)に記載の画像処理装置。 (3) 前記観察に関する条件とは、前記画像から得た検波情報、または前記画像の撮像条件である 前記(1)に記載の画像処理装置。 (4) 前記検波情報とは、 前記画像の色成分情報、エッジ情報、コントラスト情報、または輝度情報である 前記(3)に記載の画像処理装置。 (5) 前記撮像条件とは、 前記画像を撮像した際の照射光情報、フォーカス距離情報、フォーカス位置情報、フォーカス制御情報、フォーカスレンズ位置情報、光学ズーム制御情報、または光学ズームレンズ位置情報である 前記(3)に記載の画像処理装置。 (6) 前記制御部は、前記条件に応じて、前記複数の関数から適用する関数を選択し、当該関数に基づき、前記補正画像を生成するよう制御する 前記(2)に記載の画像処理装置。 (7) 前記関数は、前記条件に応じて重み付けを行った複数の関数である 前記(6)に記載の画像処理装置。 (8) 前記関数は、前記条件に応じた分布関数に基づいて算出された複数の関数である 前記(6)に記載の画像処理装置。 (9) 前記関数は、点像分布関数である、前記(1)〜(8)のいずれか一項に記載の画像処理装置。 (10) 前記補正画像を生成するための処理は、前記点像分布関数に基づくデコンボリューションである、前記(9)に記載の画像処理装置。 (11) 検体の画像を撮像する撮像部と、前記撮像部に対して前記検体の被写体像を結像する光学系と、を含む撮像装置と、 前記撮像部により撮像された画像から補正画像を生成するよう制御する画像処理装置と、 を備え、 前記画像処理装置は、 前記画像と、前記画像のボケ量を調整するための関数に基づき、 補正画像を生成する制御部を有し、 前記関数は、前記被写体の観察に関する条件に応じて算出される 医療用画像処理システム。 (12) 前記撮像装置は、前記光学系を含む鏡筒の少なくとも一部が、前記検体の体腔に挿入される内視鏡である、前記(11)に記載の医療用画像処理システム。 (13) 前記鏡筒は、前記撮像部に対して着脱可能に構成され、 前記鏡筒と前記撮像部との間に、当該撮像部に被写体像を結像する光学系の振幅伝達関数を制御するための光学素子が介在し、 前記関数は、前記光学素子の特性に応じて算出された関数である、 前記(12)に記載の医療用画像処理システム。 (14) 前記光学素子は、前記鏡筒の、前記撮像部に装着される端部側に保持されている、前記(13)に記載の医療用画像処理システム。 (15) 前記光学素子は、前記撮像部の、前記鏡筒が装着される端部側に保持されている、前記(13)に記載の医療用画像処理システム。 (16) 前記光学素子は、前記撮像部及び前記鏡筒それぞれに対して着脱可能に構成されている、前記(13)に記載の医療用画像処理システム。 (17) プロセッサが、被写体が撮像された画像と、前記画像のボケ量を調整するための関数に基づき、補正画像を生成するよう制御することを含み、 前記関数は、前記被写体の観察に関する条件に応じて算出された関数である、 画像処理方法。 (18) コンピュータに、被写体が撮像された画像と、前記画像のボケ量を調整するための関数に基づき、補正画像を生成するよう制御することを実行させ、 前記関数は、前記被写体の観察に関する条件に応じて算出された関数である、 プログラムが記録された記録媒体。

1 内視鏡装置 2 内視鏡 3 撮像装置 4 光学素子 5 表示装置 6 光源装置 7 ライトガイド 8 伝送ケーブル 9 カメラヘッド 10 画像処理装置 101 取得部 102 記憶部 103 制御部 104 制御部 105 算出部 106 選択部 107 画像処理部