Manipulator system

申请号 JP2011156778 申请日 2011-07-15 公开(公告)号 JP2013022651A 公开(公告)日 2013-02-04
申请人 Olympus Corp; オリンパス株式会社; 发明人 OGAWA RYOHEI; KISHI HIROSUKE;
摘要 PROBLEM TO BE SOLVED: To provide a manipulator system which is simply processed with less erroneous detections.SOLUTION: The manipulator system includes a master manipulator 2 issuing predetermined commands based on operation of an operator Op, a slave manipulator 6 operating in accordance with the predetermined commands, an image capturing section 101 capturing images of a subject, a display device 10 installed in front of the operator Op and displaying the images captured by the image capturing section, a detection means 20 for detecting a face direction of the operator Op against the display device 10, and a control section determining based on a detection result of the detection means 20 whether the face direction is within a predetermined angle range against the display device 10, and making an operation mode of the slave manipulator 6 mutually shift between a predetermined first control mode and a second control mode in which operations are restricted than the first control mode, based on a result of the determination.
权利要求
  • 操作者による操作に基づいた所定の指令を発するマスタマニピュレータと、
    前記所定の指令に従って動作するスレーブマニピュレータと、
    被写体の画像を取得する画像取得部と、
    前記操作者の前方に設置され前記画像取得部によって取得された画像を表示する表示装置と、
    前記表示装置に対する前記操作者の顔の向きを検出する検出手段と、
    前記検出手段における検出結果に基づいて前記顔の向きが前記表示装置に対して所定角度の内にあるか否かを判定し、当該判定の結果に基づいて、前記スレーブマニピュレータの動作モードを、所定の第一制御モードと、前記第一制御モードよりも動作が制限された第二制御モードとの間で相互に移行させる制御部と、
    を備える ことを特徴とするマニピュレータシステム。
  • 請求項1に記載のマニピュレータシステムであって、
    前記検出手段は、
    前記操作者の顔と一体に移動するように前記操作者に装着可能な指標部と、
    前記表示装置に対して位置決めされ所定範囲内で前記指標部を検出する検出部と、
    を備え、
    前記制御部は、前記検出部における所定範囲内に前記指標部が検出されない場合には常に前記スレーブマニピュレータを前記第二制御モードで動作させ、且つ、前記所定範囲内に前記指標部が検出されない状態から前記所定範囲内に前記指標部が検出される状態へと変化した場合には前記第二制御モードから前記第一制御モードへ移行するための操作者による許可の入力待ちとなり、前記許可の入力がされた場合には前記第二制御モードから前記第一制御モードへ移行することを特徴とするマニピュレータシステム。
  • 請求項1に記載のマニピュレータシステムであって、
    前記第二制御モードは、前記スレーブマニピュレータが静止し続けるモードであることを特徴とするマニピュレータシステム。
  • 請求項1に記載のマニピュレータシステムであって、
    前記検出手段は、前記表示装置が設置された状態における水平方向への前記操作者の顔の向きの変化を検出し、
    前記制御部は、前記検出手段において前記水平方向へ前記所定角度以上前記顔の向きが変化したときに前記第二制御モードへ移行することを特徴とするマニピュレータシステム。
  • 請求項1に記載のマニピュレータシステムであって、
    前記制御部は、前記顔の向きが前記表示装置に対して前記所定角度の外にあると判定したときに、前記顔の向きが前記表示装置に対して前記所定角度内になるように前記顔若しくは前記表示装置を移動させることを前記操作者に促すメッセージを、前記操作者に認識できる手段により発することを特徴とするマニピュレータシステム。
  • 請求項1に記載のマニピュレータシステムであって、
    前記制御部は、前記顔の向きが前記表示装置に対して前記所定角度の外にあると判定したときに、前記顔の向きを前記表示装置に対して前記所定角度内とするための前記顔若しくは前記表示装置の移動方向を示すメッセージを、前記操作者に認識できる手段により発することを特徴とするマニピュレータシステム。
  • 請求項5または6に記載のマニピュレータシステムであって、
    前記制御部は、前記メッセージを前記表示装置に表示することを特徴とするマニピュレータシステム。
  • 請求項1に記載のマニピュレータシステムであって、
    前記表示装置には、前記表示装置を移動可能に支持する移動機構が設けられ、
    前記制御部は、前記顔の向きが前記表示装置に対して前記所定角度の外にあると判定したときに、前記顔の向きが前記表示装置に対して前記所定角度内となるように前記移動機構により前記表示装置を移動させることを特徴とするマニピュレータシステム。
  • 請求項1に記載のマニピュレータシステムであって、
    前記第二制御モードは、前記第一制御モードよりもスレーブマニピュレータの動作速度を減じて動作させるモードであることを特徴とするマニピュレータシステム。
  • 請求項1に記載のマニピュレータシステムであって、
    前記表示装置は、両眼の視差に基づいた2画像を同一の表示面上に表示し、
    前記検出手段の一部は、前記操作者に装着可能で前記2画像に基づいて立体画像を構成するための3Dメガネに設けられていることを特徴とするマニピュレータシステム。
  • 請求項10に記載のマニピュレータシステムであって、
    前記検出手段は、前記表示装置に対する前記3Dメガネの距離および向きを検出し、
    前記制御部は、
    前記距離および向きのうち前記立体画像が最適に観察できる距離と向きとの範囲を示す初期位置情報を有し、
    前記初期位置情報に基づいて、前記検出手段により検出された前記3Dメガネの距離および向きが前記範囲内にある場合に前記第一制御モードへ移行することを特徴とするマニピュレータシステム。
  • 請求項2に記載のマニピュレータシステムであって、
    前記制御部は、
    前記第一制御モードから前記第二制御モードへ移行したときから所定時間以内に前記顔の向きが前記表示装置に対して前記所定角度内となった場合には、前記許可の入力なしに前記第二制御モードから前記第一制御モードへ移行することを特徴とするマニピュレータシステム。
  • 請求項2に記載のマニピュレータシステムであって、
    前記制御部は、前記第一制御モードから前記第二制御モードへ移行したときからマスタマニピュレータの動作量が所定動作量以内にあるうちに前記顔の向きが前記表示装置に対して前記所定角度内となった場合には、前記許可の入力なしに前記第二制御モードから前記第一制御モードへ移行することを特徴とするマニピュレータシステム。
  • 請求項2に記載のマニピュレータシステムであって、
    前記指標部は、所定の色彩若しくは所定の形状を有し、
    前記検出部は、前記指標部を含む画像を取得する撮像部を有し、
    前記制御部は、前記画像上に前記所定範囲を設定し、前記画像における所定の色彩若しくは所定の形状を有する部分を前記指標部として認識することを特徴とするマニピュレータシステム。
  • 請求項2に記載のマニピュレータシステムであって、
    前記指標部は、前記指標部を装着した前記操作者における水平方向と鉛直方向との少なくともいずれかの方向に離間する複数の指標要素を有し、
    前記検出部は、前記複数の指標要素の位置を検出した結果に基づいて前記指標部の向きを検出することを特徴とするマニピュレータシステム。
  • 说明书全文

    本発明は、マニピュレータシステムに関する。

    従来、手術支援システムとして、操作者が操作を行うマスタマニピュレータと、マスタマニピュレータの動作に基づいて処置を行うスレーブマニピュレータとを備えるマニピュレータシステムが知られている。

    たとえば特許文献1には、マスタマニピュレータ(マスタアーム)及びスレーブマニピュレータと、スレーブマニピュレータに設けられた立体視スコープと、立体視スコープによって取得された像を表示するヘッドマウントディスプレイ(HMD)と、スレーブマニピュレータの動作を制御する制御回路とを備えるマニピュレータ制御システムが開示されている。
    特許文献1に記載のマニピュレータ制御システムは、HMDを装着して操作を行う操作者の視線をセンサにより検出し、所定の範囲内を操作者が注視していないときにスレーブマニピュレータの動作を禁止する。 このマニピュレータ制御システムによれば、操作者が処置対象物を見ていないときにマスタマニピュレータを操作してしまっても、スレーブマニピュレータが動作しない。

    特開平7−124165号公報

    しかしながら、特許文献1に記載のマニピュレータ制御システムでは、視線を検出した結果に基づいてスレーブマニピュレータの動作を制御しているので、視線の検出処理を精度よく且つ高速に行なうための処理が重い。 また、人の目の形状には個人差があり、瞬きにより視線を検出できないタイミングもあるので、操作者が処置対象物を見ていないことを確実に判断するのが難しい場合がある。 さらに、操作者ごとにキャリブレーションをする必要があるので処置を始めるまでに手間がかかる。

    本発明は、上述した事情に鑑みてなされたものであって、その目的は、処理が軽く誤検出が少ないマニピュレータシステムを提供することである。

    上記課題を解決するために、この発明は以下の手段を提案している。
    本発明のマニピュレータシステムは、操作者による操作に基づいた所定の指令を発するマスタマニピュレータと、前記所定の指令に従って動作するスレーブマニピュレータと、被写体の画像を取得する画像取得部と、前記操作者の前方に設置され前記画像取得部によって取得された画像を表示する表示装置と、前記表示装置に対する前記操作者の顔の向きを検出する検出手段と、前記検出手段における検出結果に基づいて前記顔の向きが前記表示装置に対して所定度の内にあるか否かを判定し、当該判定の結果に基づいて、前記スレーブマニピュレータの動作モードを、所定の第一制御モードと、前記第一制御モードよりも動作が制限された第二制御モードとの間で相互に移行させる制御部と、を備えることを特徴とするマニピュレータシステムである。

    また、前記検出手段は、前記操作者の顔と一体に移動するように前記操作者に装着可能な指標部と、前記表示装置に対して位置決めされ所定範囲内で前記指標部を検出する検出部と、を備え、前記制御部は、前記検出部における所定範囲内に前記指標部が検出されない場合には常に前記スレーブマニピュレータを前記第二制御モードで動作させ、且つ、前記所定範囲内に前記指標部が検出されない状態から前記所定範囲内に前記指標部が検出される状態へと変化した場合には前記第二制御モードから前記第一制御モードへ移行するための操作者による許可の入待ちとなり、前記許可の入力がされた場合には前記第二制御モードから前記第一制御モードへ移行することが好ましい。

    また、前記第二制御モードは、前記スレーブマニピュレータが静止し続けるモードであることが好ましい。

    また、前記検出手段は、前記表示装置が設置された状態における平方向への前記操作者の顔の向きの変化を検出し、前記制御部は、前記検出手段において前記水平方向へ前記所定角度以上前記顔の向きが変化したときに前記第二制御モードへ移行することが好ましい。

    また、前記制御部は、前記顔の向きが前記表示装置に対して前記所定角度の外にあると判定したときに、前記顔の向きが前記表示装置に対して前記所定角度内になるように前記顔若しくは前記表示装置を移動させることを前記操作者に促すメッセージを、前記操作者に認識できる手段により発してもよい。
    また、前記制御部は、前記顔の向きが前記表示装置に対して前記所定角度の外にあると判定したときに、前記顔の向きを前記表示装置に対して前記所定角度内とするための前記顔若しくは前記表示装置の移動方向を示すメッセージを、前記操作者に認識できる手段により発してもよい。
    これらの場合、前記制御部は、前記メッセージを前記表示装置に表示してもよい。

    また、前記表示装置には、前記表示装置を移動可能に支持する移動機構が設けられ、前記制御部は、前記顔の向きが前記表示装置に対して前記所定角度の外にあると判定したときに、前記顔の向きが前記表示装置に対して前記所定角度内となるように前記移動機構により前記表示装置を移動させてもよい。

    また、前記第二制御モードは、前記第一制御モードよりもスレーブマニピュレータの動作速度を減じて動作させるモードであってもよい。

    また、前記表示装置は、両眼の視差に基づいた2画像を同一の表示面上に表示し、前記検出手段の一部は、前記操作者に装着可能で前記2画像に基づいて立体画像を構成するための3Dメガネに設けられていることが好ましい。

    また、前記検出手段は、前記表示装置に対する前記3Dメガネの距離および向きを検出し、前記制御部は、前記距離および向きのうち前記立体画像が最適に観察できる距離と向きとの範囲を示す初期位置情報を有し、前記初期位置情報に基づいて、前記検出手段により検出された前記3Dメガネの距離および向きが前記範囲内にある場合に前記第一制御モードへ移行することが好ましい。

    また、前記制御部は、前記第一制御モードから前記第二制御モードへ移行したときから所定時間以内に前記顔の向きが前記表示装置に対して前記所定角度内となった場合には、前記許可の入力なしに前記第二制御モードから前記第一制御モードへ移行してもよい。

    また、前記制御部は、前記第一制御モードから前記第二制御モードへ移行したときからマスタマニピュレータの動作量が所定動作量以内にあるうちに前記顔の向きが前記表示装置に対して前記所定角度内となった場合には、前記許可の入力なしに前記第二制御モードから前記第一制御モードへ移行してもよい。

    また、前記指標部は、所定の色彩若しくは所定の形状を有し、前記検出部は、前記指標部を含む画像を取得する撮像部を有し、前記制御部は、前記画像上に前記所定範囲を設定し、前記画像における所定の色彩若しくは所定の形状を有する部分を前記指標部として認識してもよい。

    また、前記指標部は、前記指標部を装着した前記操作者における水平方向と鉛直方向との少なくともいずれかの方向に離間する複数の指標要素を有し、前記検出部は、前記複数の指標要素の位置を検出した結果に基づいて前記指標部の向きを検出してもよい。

    本発明によれば、表示装置に対する操作者の顔の向きに基づいて第一制御モードと第二制御モードとを切り替えるので、処理が軽く誤検出が少ないマニピュレータシステムとすることができる。

    本発明の一実施形態のマニピュレータシステムの全体図である。

    同マニピュレータシステムのブロック図である。

    同マニピュレータシステムにおける3Dメガネを示す斜視図である。

    同マニピュレータシステムにおける検出手段の構成を示す模式図である。

    同検出手段における光源の垂直照射角度を説明するための模式図である。

    同検出手段における光源の水平照射角度を説明するための模式図である。

    同マニピュレータシステムの動作を示すフローチャートである。

    同実施形態の変形例の検出手段を示す模式図である。

    同実施形態の他の変形例の検出手段を示す模式図である。

    同実施形態のさらに他の変形例のマニピュレータシステムの一部の構成を示す斜視図である。

    同実施形態のさらに他の変形例のマニピュレータシステムの一部の構成を示す斜視図である。

    同実施形態のさらに他の変形例のマニピュレータシステムの動作を示すフローチャートである。

    同実施形態のさらに他の変形例のマニピュレータシステムの動作を示すフローチャートである。

    同実施形態のさらに他の変形例のマニピュレータシステムの一部の構成を示す模式図である。

    同実施形態のさらに他の変形例のマニピュレータシステムを示すブロック図である。

    同変形例のマニピュレータシステムにおけるイニシャライズの動作を説明するための説明図である。

    同変形例のマニピュレータシステムにおけるイニシャライズの動作を説明するための説明図である。

    同変形例のマニピュレータシステムにおけるイニシャライズの動作を説明するための説明図である。

    同実施形態のさらに他の変形例のマニピュレータシステムにおける3Dメガネの構成を示す斜視図である。

    同実施形態のさらに他の変形例のマニピュレータシステムにおける3Dメガネの構成を示す斜視図である。

    同実施形態のさらに他の変形例のマニピュレータシステムの構成を示す模式図である。

    同実施形態のさらに他の変形例のマニピュレータシステムの構成を示す模式図である。

    本発明の1実施形態のマニピュレータシステム1について説明する。 図1は、本実施形態のマニピュレータシステムの全体図である。 図2は、マニピュレータシステムのブロック図である。 図3は、マニピュレータシステムにおける3Dメガネを示す斜視図である。 図4は、マニピュレータシステムにおける検出手段の構成を示す模式図である。
    まず、マニピュレータシステム1の構成について説明する。
    図1に示すように、マニピュレータシステム1は、マスタマニピュレータ2、スレーブマニピュレータ6、表示装置10、検出手段20、及び制御装置30を備えて構成されている。 また、本実施形態のマニピュレータシステム1は、術具110や検査機器等(不図示)とともに使用される手術支援システムの一部である。

    マスタマニピュレータ2は、操作者Opの動きをスレーブマニピュレータ6に伝達するために設けられており、操作者Opによって動かされるマスタアーム3と、後述する動作モードの切り替え入力を行なうスイッチ5とを備える。

    マスタアーム3は、スレーブマニピュレータ6及び術具110の可動範囲に合わせて移動可能な多軸構造を有している。 さらに、マスタアーム3には、マスタアーム3の位置及び向きの変位を電気信号として発する変位センサ4が取り付けられている。 変位センサ4が発した電気信号は、制御装置30へ出力され、スレーブマニピュレータ6を動作させるための所定の指令となっている。 このように、マスタマニピュレータ2は、操作者Opによる操作を受け付け、操作者Opによる操作に基づいた所定の指令を発する。

    スイッチ5は、後述するマスタ制御部31によって入力可能なタイミングが規定されたスイッチであり、マスタマニピュレータ2近傍の床面に配置されている。 スイッチ5は、押されることで所定の復帰信号を制御装置30へ出力する。

    スレーブマニピュレータ6は、内視鏡装置100及び術具110がそれぞれ取り付けられたスレーブアーム7と、内視鏡装置100、術具110、及びスレーブアーム7をそれぞれ動作させるアクチュエータ8とを備える。 内視鏡装置100、術具110、及びスレーブアーム7を動作させるアクチュエータ8は、何れも制御装置30から出力される後述する駆動信号に従って動作する。

    スレーブマニピュレータ6に設けられた内視鏡装置100は、被写体の画像を取得する画像取得部101を有し、表示装置10と電気的に接続されている。 画像取得部101によって取得される被写体は特に限定されない。 たとえば、画像取得部101は、内視鏡装置100を用いて処置を行う際の処置対象物を被写体として処置対象物の画像を取得することができる。 本実施形態では、画像取得部101は、立体視可能な2画像を取得して表示装置10へ電気信号として出力する。

    スレーブマニピュレータ6に設けられた術具110は、画像取得部101の視野内で処置対象物に対して処置を行う目的で設けられている。 術具110の種類は特に限定されず、処置の内容に応じて公知の術具を適宜採用することができる。 また、術具110は、スレーブマニピュレータ6に取付可能な術具には限られず、スレーブマニピュレータ6と協動する術具であってもよい。

    図1および図2に示すように、表示装置10は、マスタマニピュレータ2に取り付けられており、操作者Opの前方に設置されている。 表示装置10は、内視鏡装置100の画像取得部101と電気的に接続された画像処理部11と、画像処理部11と電気的に接続された表示パネル12とを備える。

    画像処理部11は、画像取得部101から出力された画像の電気信号に基づいて公知の手段により立体視可能な画像を構成して表示パネル12へ出力する。
    表示パネル12としては、たとえば液晶パネルや有機ELパネルなどを採用することができ、両眼の視差に相当するずれを有する2画像を同一の表示面上に表示するようになっている。

    表示装置10における立体画像の表示方式としては、右目用と左目用の2画面を交互に表示する画像出力方式や、偏光をかけた右目用と左目用の2画面を同一表示面上に表示する画像出力方式等、公知の3D表示方式であればその方法を限らない。
    たとえば、本実施形態では、表示装置10は、操作者Opに装着可能で前記2画像に基づいて立体画像を構成するための3Dメガネ13を備えている。

    3Dメガネ13は、表示パネル12に表示される各画像の表示方式に対応して、画像取得部101によって取得された2画像を左右の眼にそれぞれ振り分けるための偏光板や液晶シャッターなどを有している。 3Dメガネ13は、表示装置10における画像出力方式に応じて、偏光メガネ、シャッター式メガネ等から適宜選択される。

    この場合、表示装置10に表示された画像を操作者Opが見るときには、操作者Opは、3Dメガネ13を装着し、3Dメガネ13の偏光板や液晶シャッターを介して画像を見るようになっている。 このため、マニピュレータシステム1の使用時には、3Dメガネ13は、操作者Opの顔と一体に移動する。 本実施形態では、検出手段20の一部である後述の指標部21が3Dメガネ13に設けられている。

    図3および図4に示すように、検出手段20は、3Dメガネ13に設けられた指標部21と、表示パネル12に設けられた検出部23とを備える。

    指標部21は3Dメガネ13に固定されており、所定の垂直照射角および水平照射角の範囲内で所定の波長の光を発する光源22と、光源22に電力を供給する電源部22aとを有する。 本実施形態では、光源22として発光ダイオード(LED)、電源部22aとしてリチウムポリマー電池が採用されている。

    検出部23は、光源22から発せられた光を受光する受光部24を有し、後述するマスタ制御部31に電気的に接続されている。
    受光部24は、表示装置10に対して位置決めされた受光面25を有している。 受光面25の向きは、操作者Opが表示パネル12の所定の基準位置P1(図5参照)を見たときの顔とディスプレイの向きの関係や、表示パネル12に表示される画像によって好適に立体画像が構成される操作者Opと表示パネル12の位置関係を考慮して定められている。
    受光部24は、操作者Opがマスタマニピュレータ2を操作している状態における操作者Opがいる側の範囲内で、3Dメガネ13に設けられた指標部21を検出するようになっている。

    検出手段20の構成の詳細について説明する。 図5は、検出手段における光源の垂直照射角度を説明するための模式図である。 図6は、検出手段における光源の水平照射角度を説明するための模式図である。
    図4及び図5に示すように、指標部21において、光源22の光軸は、操作者Opが3Dメガネ13を装着して表示パネル12上の所定の基準位置P1を見ている状態において、光源22からの光が受光面25に到達するように配置されている。 本実施形態では、基準位置P1は表示パネル12の中央に設定されている。

    また、光源22の垂直照射角は、操作者Opが上記基準位置P1を見ているときの視線方向を0度として上方向をプラス、下方向をマイナスとして仰角及び俯角を表すとき、操作者Opが表示パネル12の最上端を見上げたときの仰角の大きさと、操作者Opが表示パネル12の最下端を見下ろしたときの俯角の大きさとを基準として定められる。 本実施形態では、基準位置P1は表示パネル12の中央であり、操作者Opが基準位置P1を見たときの操作者Opの顔と表示パネル12の向きが垂直になるように構成しているので、上記仰角と上記俯角の大きさの絶対値は等しい。
    表示パネル12に表示される立体表示を操作者Opが見やすいように、操作者Opの顔と表示パネル12の向きは垂直になることが好ましいが、使用する場によっては配置の制限もあるためその構成は垂直とは限らない。 その場合、仰角の大きさと俯角の大きさの絶対値は操作者Opと表示パネル12の初期配置により異なる。

    たとえば、図5及び下記式1に示すように、仰角θ は、表示パネル12に固有の上下寸法H及び最適距離Lに基づいて求めることができる。 なお、上下寸法Hとは、表示パネル12が設置状態にあるときの上下方向の長さを表示パネル12の表面に沿って計測した長さである。 また、最適距離Lとは、表示パネル12に表示される画像を人が3Dメガネ13を介して見たときに当該画像が立体画像として認識される範囲内にある距離である。

    光源22の垂直照射角は、仰角θ および俯角−θ に基づいて、操作者Opが3Dメガネ13を装着して上記基準位置P1を見ている状態における水平方向(光軸中心方向)を0度として、絶対値の大きさがθ 以下となるように、仰角φ から俯角−φ までの範囲に設定される。

    人は、上下方向を見る際には、頭を動かさずに視線のみを動かして見ることが多いことが知られている。 このため、光源22の垂直照射角は仰角θ および俯角−θ よりも十分に狭い範囲の角度としてもよい。

    また、マスタマニピュレータ2のスイッチ5としてフットスイッチが採用されている場合や、床面に他のスイッチ類が配置されている場合には、操作者Opが操作中に下方向を向くことを考慮して、垂直照射角を上方向に広く設定してもよい。 つまり、この場合、操作者Opは意図せず表示パネル12から視線を外していないので、操作者Opが表示パネル12を見ている状態と同様に受光面に光が届くように設定を変更する。

    図6に示すように、指標部21において、光源22の水平照射角は、垂直照射角の設定方法と同様に表示パネル12に固有の寸法である幅寸法W及び上記最適距離Lに基づいて下記式2により求められた角度θ を基準として、絶対値が角度θ 以下となる範囲内で設定される。 なお、幅寸法Wとは、表示パネル12が設置状態にあるときの水平方向の長さを表示パネル12の表面に沿って計測した長さである。

    表示装置10の表示パネル12に操作者Opの顔が向けられているとき、すなわち操作者Opが表示パネル12を見ているときには、指標部21が検出部23に検出される。 逆に、操作者Opが表示パネル12の縁より外側へ顔(視線)を向けているときには、指標部21は検出部23に検出されなくなる。 これにより、検出手段20は、表示装置10が設置された状態における垂直方向及び水平方向への操作者Opの顔の向きの変化を検出することができる。

    図2に示すように、制御装置30は、マスタマニピュレータ2及びスレーブマニピュレータ6に信号線を介して電気的に接続されており、マスタ制御部31及びスレーブ制御部32を備える。

    マスタ制御部31は、検出手段20における検出結果に基づいて顔の向きが表示装置10に対して所定角度の内にあるか否かを判定し、当該判定の結果に基づいて、スレーブマニピュレータ6の動作モードを、所定の第一制御モードと、第一制御モードよりも動作が制限された第二制御モードとの間で相互に移行させる。

    本実施形態では、第一制御モードは、処置対象物に対して処置を行うためにスレーブマニピュレータ6を動作させる動作モードであり、マスタマニピュレータ2のマスタアーム3の動作をスレーブマニピュレータ6に伝達する。

    一方、第二制御モードは、マスタマニピュレータ2のマスタアーム3の動作によらずスレーブマニピュレータ6の動作を停止させ、スレーブマニピュレータ6を静止状態で維持するモードである。

    第二制御モードは、操作者Opが意図した操作によらずにスレーブマニピュレータ6が動いてしまうのを防止する目的で実装されている。
    本実施形態では、第二制御モードは、マスタマニピュレータ2から発せられた所定の指令を制御装置30において全て無効な指令とすることにより、スイッチ5による指令以外の指令をスレーブ制御部32へ出力しないようになっている。
    また、スレーブマニピュレータ6を静止状態で維持する方法は、上記の方法に限らない。 マスタマニピュレータ2からマスタ制御部31への信号を遮断する方法や、スレーブ制御部32からスレーブマニピュレータ6への信号を遮断する方法によっても、スレーブマニピュレータ6を静止状態で維持することができる。

    また、本実施形態では、制御装置30は表示装置10の表示パネル12に接続されている。 具体的には、マスタ制御部31と表示パネル12とが接続されている。 制御装置30は、マニピュレータシステム1の動作に関する情報や警告を文字や記号により表示パネル12に表示するようになっている。

    スレーブ制御部32は、マスタ制御部31からの所定の指令に基づいて、スレーブアーム7、内視鏡装置100、及び術具110を動作させるための駆動信号を生成してスレーブアーム7、内視鏡装置100、及び術具110にそれぞれ出力する。

    次に、マニピュレータシステム1の使用前のイニシャライズ、及びマニピュレータシステム1の使用時の動作について説明する。 図7は、マニピュレータシステムの動作を示すフローチャートである。

    図7に示すように、マニピュレータシステム1(図1参照)の起動直後は、マスタ制御部31の動作モードは第二制御モードに設定される(ステップS101)。
    ステップS101では、マスタマニピュレータ2のマスタアーム3を操作者Opが操作してもスレーブマニピュレータ6は動作しない。
    これでステップS101は終了し、ステップS102へ進む。

    ステップS102は、検出部23における検出結果を参照して処理を分岐するステップである。
    マニピュレータシステム1は、立体画像が適切に構成される位置関係となるように操作者Opと表示装置10との配置を決定する目的で、マニピュレータシステム1の使用開始時に、表示装置10に向かう操作者Opの位置を操作者Opに指示するイニシャライズを行なう。

    マニピュレータシステム1の操作者Opは、表示装置10の表示パネル12に顔が向いている状態でたとえば椅子などに座る。 また、操作者Opは、3Dメガネ13を装着する。 表示パネル12に表示された画像を見て操作者Opが立体画像であると認識できるためには、表示パネル12に対して適切な位置関係に操作者Opが位置していることが好ましい。 たとえば、操作者Opが座る椅子の位置や高さなどが適切に設定されることが好ましい。

    3Dメガネ13に設けられた光源22から発せられた光が検出部23の受光面25に到達していれば、検出部23は指標部21を検出することができる。 逆に、光源22から発せられた光が検出部23の受光面25に到達しなければ、検出部23は指標部21を検出することができない。 本実施形態では、3Dメガネ13に設けられた光源22から発せられた光が検出部23の受光面25に到達している状態であれば、操作者Opは表示パネル12上に表示される立体画像を正常に見ている状態となる。

    ステップS102では、マスタ制御部31は、検出部23における検出結果を参照し、検出部23によって指標部21が検出されていない場合にはステップS103へ進む。 また、検出部23によって指標部21が検出されている場合には、ステップS104へ進む。

    ステップS103は、表示装置10に対する操作者Opの位置又は向きを変えることを操作者Opに促すメッセージを発するステップである。
    ステップS103では、マスタ制御部31は、表示装置10の表示パネル12に警告を表示する。 表示パネル12に表示される警告は、たとえば、「ディスプレイ方向を向いてください」、「3Dメガネを装着していますか?」などである。
    これでステップS103は終了し、ステップS102へ進む。

    ステップS104は、第二制御モードから第一制御モードへ移行するための操作者Opによる許可を待つステップである。
    ステップS104では、マスタ制御部31は、表示パネル12上に、「スタートするためにフットスイッチを押してください」など、スイッチ5を押すことを促すメッセージを表示する。
    スイッチ5が押されるまでステップS104はループし、操作者Opによる許可の入力待ちとなる。 スイッチ5が押された場合には、スイッチ5からの復帰信号がマスタ制御部31に入力され、ステップS104は終了してステップS105へ進む。

    ステップS105は第二制御モードから第一制御モードへ移行するステップである。
    ステップS105では、マスタマニピュレータ2から発せられた所定の指令は、全て有効な指令とされる。
    これでステップS105は終了し、ステップS106へ進む。 ステップS105の後では、マスタマニピュレータ2から発せられた所定の指令はスレーブ制御部32へ出力される。 この状態で、マスタマニピュレータ2のマスタアーム3を操作者Opが操作すると、マスタマニピュレータ2から発せられた所定の指令に従ってスレーブ制御部32は駆動信号を生成してスレーブマニピュレータ6へ出力する。 スレーブマニピュレータ6は、スレーブ制御部32から出力された駆動信号を受信し、当該駆動信号に従って動作する。

    ステップS106は、スレーブマニピュレータ6を動作させることができる第一制御モード中に操作者Opの顔の向きを検出するステップである。
    操作者Opの顔が、表示装置10に対して水平方向若しくは垂直方向に大きく動いた場合には、操作者Opに装着された3Dメガネ13も顔と一体に移動する。 このとき、3Dメガネ13に設けられた指標部21の光源22から発せられた光は検出部23の受光面25に到達しなくなる。 このような動作は、たとえば操作者Opが周囲の人からの呼びかけや患者様態の急変に反応して顔を大きく動かしたりする場合に生じる。
    ステップS106では、上記ステップS102と同様に、マスタ制御部31は、検出部23における検出結果を参照し、検出部23によって指標部21が検出されているか否かを判定する。
    検出部23によって指標部21が検出されている場合にはステップS106はループし、検出部23によって指標部21が検出されなくなったときにステップS106は終了してステップS107へ進む。
    本実施形態では、ステップS106において、操作者Opの顔の向きが、操作者Opが表示パネル12を適切に見ている場合の角度の範囲内にあるか否が判定される。

    ステップS107は、表示パネル12上に警告を表示するステップである。
    ステップS107では、マスタ制御部31は、表示装置10へ、たとえば、「視線が外れました」や、「ディスプレイの方を向いて処置をしてください」などのメッセージを出力する。 表示装置10の表示パネル12上にこれらのメッセージが表示されることにより、操作者Opに、表示装置10を正しい向きで見るように促すことができる。
    また、ステップS107では、マスタ制御部31は、「ディスプレイの向きを調整してください」というメッセージを表示装置10に表示させてもよい。 この場合には、操作者Opに、現状の操作者Opの位置において好適に立体画像が構成される位置関係となるように表示装置10を移動させることを促すことができる。
    なお、ステップS107において、表示装置10にメッセージを表示させることに代えて、音声によりメッセージを出力してもよい。 また、文字表記(視覚的情報)や音声(聴覚的情報)以外にも、操作者Opに認識できる手段によりメッセージを発する手段を有していてもよい。 たとえばステップS107において、振動や圧迫などの触覚的情報によってメッセージを発するようになっていてもよい。
    これでステップS107は終了し、ステップS108へ進む。

    ステップS108は、第一制御モードから第二制御モードへ移行するステップである。
    ステップS108では、マスタマニピュレータ2から発せられた所定の指令は、全て無効な指令とされ、スレーブ制御部32へは出力されない。 これにより、マスタマニピュレータ2のマスタアーム3を操作者Opが動かしても、スレーブマニピュレータ6は停止状態で維持される。
    これでステップS108は終了し、ステップS109へ進む。

    ステップS109は、スレーブマニピュレータ6が停止状態である第二制御モード中に操作者Opの顔の向きを検出するステップである。
    ステップS109では、上記ステップS102と同様に、マスタ制御部31は、検出部23における検出結果を参照し、検出部23によって指標部21が検出されているか否かを判定する。 検出部23によって指標部21が検出されていない間はステップS109はループし、検出部23によって指標部21が検出されたときにステップS109は終了してステップS110へ進む。

    ステップS110は、第二制御モードから第一制御モードへ移行するための操作者Opによる許可を待つステップである。
    ステップS110では、マスタ制御部31は、表示パネル12上に、「再スタートするためにフットスイッチを押してください」や「復帰しますか」など、スイッチ5を押すことを促すメッセージを表示し、操作者Opによる許可の入力待ちとなる。
    スイッチ5が押された場合には、スイッチ5からの復帰信号がマスタ制御部31へ入力されることによりステップS105へ進み、スイッチ5が押されなかった場合には、一連の処理は終了する。

    なお、ステップS110の終了後に新たにステップS101ないしステップS110までの処理を行なってもよい。

    このように、本実施形態のマニピュレータシステム1は、起動直後はスレーブマニピュレータ6の動作が停止状態となっており、操作者Opの顔が表示パネル12に適切に向けられている場合にのみスレーブマニピュレータ6を動作可能としている。 また、顔の向きを、3Dメガネ13に設けられた光源22からの光が受光面25に到達したか否かによって検出するので、単純な処理で操作者Opの顔の向きを検出することができる。 その結果、本実施形態のマニピュレータシステム1によれば、視線を検出する場合と比較して処理が軽く、且つ誤検出が少ない。

    また、ヘッドマウントディスプレイ(HMD)を使用して処置対象物の像を見る従来の構成では、操作者がHMDを装着している間は、HMDに表示された像以外を操作者が視認することができない。 たとえば、上述の特許文献1に記載のマニピュレータ制御システムを使用した場合には、処置に使用する機器の状態や、周囲のスタッフの状況などを視認するためには、HMDを外す必要があり、このときスレーブマニピュレータの動作は制御回路によって禁止されてしまう。
    また、HMDを使用している場合、操作者は専らHMDに投影された画像を見て処置をするので、操作者の周辺視野で知覚される情報を有効に活用しにくく、周囲の機器やスタッフの状況をとらえつつ処置をする際に不便であった。

    これに対して、本実施形態のマニピュレータシステム1では、操作者Opは前方に設置された表示装置10に表示される操作対象物に集中して操作を行いながら、同時に周囲の機器やスタッフの状況を周辺視野で容易に把握することができる。 そして、スタッフの呼びかけや患者様態の急変により、操作者Opが表示装置10から視線を大きく外す場合には、操作者Opは操作対象物から意識が逸れているので、安全のためスレーブマニピュレータ6を静止させる。 つまり、操作者Opは操作対象物に集中している場合には周辺視野を確保しながら効率よく処置を行うことができ、操作対象から意識を逸らした場合は安全に処置を停止することができる。

    (変形例1)
    次に、上述の実施形態の変形例について説明する。 図8は、本変形例の検出手段を示す模式図である。
    図8に示すように、本変形例では、検出手段20に代えて検出手段20Aを備えている点が異なっている。
    検出手段20Aは、指向性の高い光を発する複数の光源22Aと、上述の実施形態で説明した受光部24とを備える。
    複数の光源22Aは、指標部21における垂直照射角の上端と、中央と、下端とのそれぞれに光軸が向けられている。
    本変形例で示した構成でも上述の実施形態と同様の効果を奏する。

    また、本変形例において、発する光の波長もしくは強度が互いに異なる光源22A−1、光源22A−2、光源22A−3が複数の光源22Aとして設けられ、受光部24は各光源22Aを波長により識別するようになっていてもよい。 この場合、操作者Opの顔が表示装置10の上下方向のどちらに動いたかを検出することができる。

    また、本変形例のさらなる変形の例として、光源22Aに代えて、指標部21における水平照射角の右端と、中央と、左端とのそれぞれに光軸が向けられた複数の光源が検出手段20Aに設けられていてもよい。

    (変形例2)
    次に、上述の実施形態の他の変形例について説明する。 図9は、本変形例の検出手段を示す模式図である。
    図9に示すように、本変形例では、検出手段20に代えて検出手段20Bを備えている点が異なっている。
    検出手段20Bには、受光部24に代えて、複数の受光素子が配置された受光面25Bを有する受光部24Bが設けられている。
    本変形例では、光源22から発せられた光が複数の受光素子のどこに照射されたかを検出することによって、受光部24に対して光源22が移動した方向を検出することができる。

    (変形例3)
    次に、上述の実施形態のさらに他の変形例について説明する。 図10は、本変形例のマニピュレータシステムの一部の構成を示す斜視図である。
    本変形例では、上述の変形例2で説明した検出手段20Bを備え、マスタ制御部31が上述の実施形態と異なる動作をする点が異なっている。
    マスタ制御部31は、上記ステップS106において操作者Opの顔の向きが表示パネル12を見ていない向きにあると判定されたときに、上記ステップS107に代えて、判定時に受光部24に対して光源22が移動した方向と逆方向の矢印記号(図10に符号Q1で示す。)とともに、「ディスプレイに顔を向けてください」などのメッセージを表示パネル12に表示させる。
    本変形例では、操作者Opが顔をどちらに向ければよいかを矢印記号により容易に操作者Opに把握させることができる。

    (変形例4)
    次に、上述の実施形態のさらに他の変形例について説明する。 図11は、本変形例のマニピュレータシステムの一部の構成を示す斜視図である。
    図11に示すように、本変形例では、上述の変形例2で説明した検出手段20Bを備え、表示パネル12を移動可能に支持する移動機構14が表示装置10に設けられ、マスタ制御部31が上述の実施形態と異なる動作をする点が異なっている。
    移動機構14は、たとえばサーボモータを備え、マスタ制御部31による制御に従って、表示パネル12の上下左右方向の位置及び向きを制御する。
    マスタ制御部31は、上記ステップS106において操作者Opの顔の向きが表示パネル12を見ていない向きにあると判定されたときに、上記ステップS107に代えて、判定時に受光部24に対して光源22が移動した方向と同方向に移動機構14によって表示パネル12を移動させる。
    本変形例では、操作者Opの顔が向けられた方向に追従して表示パネル12が移動してくるので、操作者Opは、第一制御モードで作業を継続できる。

    (変形例5)
    次に、上述の実施形態のさらに他の変形例について説明する。
    本変形例では、マスタ制御部31の動作が上述の実施形態と異なっている。 図12は、本変形例におけるマスタ制御部31の動作を示すフローチャートである。 図12において、上述の実施形態と同様の工程には同一の符号を付して重複する説明を省略する。

    図12に示すように、ステップS108の終了後、第二制御モードでの動作時間の計測が開始される(ステップS201)。
    ステップS201では、たとえば第二制御モードに移行した時点でタイマをリセットしてカウントアップを行なってもよいし、後述する所定時間にセットされたカウントダウンタイマをスタートさせてもよい。
    これでステップS201は終了し、ステップS202へ進む。

    ステップS202は、スレーブマニピュレータ6が停止状態である間に操作者Opの顔の向きを検出するステップである。
    ステップS202では、上記ステップS102と同様に、マスタ制御部31は、検出部23における検出結果を参照し、検出部23によって指標部21が検出されているか否かを判定する。
    検出部23によって指標部21が検出されていない場合には、再度ステップS201へ進み、マスタ制御部31は第二制御モードのまま維持され、ステップS201において動作時間が継続して計測される。 検出部23によって指標部21が検出されるまで、動作時間は加算し続ける。
    検出部23によって指標部21が検出されたときには、ステップS202は終了してステップS203へ進む。

    ステップS203は、ステップS201で計測された時間に基づいて処理を分岐するステップである。
    ステップS203では、計測された時間が所定時間以内である場合には、ステップS105へ進み、マスタ制御部31は第二制御モードから第一制御モードへ移行する。
    また、計測された時間が所定時間を経過していた場合には、一連の処理を終了し、継続してマニピュレータシステム1を使用する場合には、上記ステップS101からの処理が再度行われる。 終了時の状態で検出部23によって指標部21が検出されているので、S104まで進み、スイッチ5による許可入力の判定が行われる。 その後は同様のフローとなる。
    なお、上記所定時間は、処置対象物が表示された画像から視線を外していても危険が少ない長さの時間として適宜設定される。

    本変形例では、表示パネル12から操作者Opが視線を外した時間が所定時間を越える場合には、第一制御モードへ移行させるためにはスイッチ5による許可の入力を必要とし、表示パネル12から操作者Opが視線を外した時間が短い場合には、スイッチ5による許可の入力を必要とせずに第一制御モードへと移行できる。

    (変形例6)
    次に、上述の実施形態のさらに他の変形例について説明する。
    本変形例では、マスタ制御部31の動作が異なっている。 図13は、本変形例におけるマスタ制御部31の動作を示すフローチャートである。 図13において、上述の実施形態と同様の工程には同一の符号を付して重複する説明を省略する。
    図13に示すように、本変形例では、ステップS108の終了後、マスタアーム3の変位量を計測する(ステップS301)。 マスタアーム3の変位量は制御装置30に一時記憶される。
    これでステップS301は終了し、ステップS302へ進む。

    ステップS302は、上記ステップS202と同様にスレーブマニピュレータ6が停止状態である間に操作者Opの顔の向きを検出するステップである。
    検出部23によって指標部21が検出されていない場合には、再度ステップS301へ進み、マスタ制御部31は第二制御モードのまま維持される。 ステップS301において変位量が継続して計測される。 検出部23によって指標部21が検出されるまで、変位量は加算し続ける。 本変形例では変位量は、検出されたマスタアーム3の変位の絶対値を加算して求める(移動した距離)。 なお、変位量は初期位置からの位置の変化量であってもよい。 また位置でなく、姿勢の変化量に対して判定を行っても良い。
    検出部23によって指標部21が検出されたときには、ステップS302は終了してステップS303へ進む。

    ステップS303は、ステップS301で計測された変位量に基づいて処理を分岐するステップである。
    ステップS303では、計測された変位量が閾値未満である場合にはステップS105へ進み、マスタ制御部31は第二制御モードから第一制御モードへ移行する。 このとき、スイッチ5を用いた復帰信号の入力は必要ない。
    また、計測された変位量が閾値以上である場合には、一連の処理を終了する。

    本変形例では、表示パネル12から操作者Opが視線を外した後でマスタアーム3を閾値以上移動させた場合には、再びスレーブマニピュレータ6を動作可能とするためにはスイッチ5を用いた復帰信号の入力が必要となる。
    また、表示パネル12から操作者Opが視線を外したとしても、マスタアーム3の変位量が閾値未満であれば、操作者Opが表示パネル12上に視線を戻したときに、スイッチ5を用いた復帰信号の入力を必要とせずにすぐにスレーブマニピュレータ6を動作させることができる。

    (変形例7)
    次に、上述の実施形態のさらに他の変形例について説明する。 図14は、本変形例のマニピュレータシステムの一部の構成を示す模式図である。
    図14に示すように、本変形例では、光源22が検出部23に設けられており、指標部21には光源22が発した光を反射する反射部26が設けられている点が異なっている。
    本変形例では、光源22から発せられた光が反射部26において反射して受光面25に到達したことが検出された場合に、操作者Opの顔が表示パネル12に適切に向けられていると判定される。
    このような構成であっても、上述の実施形態と同様の効果を奏する。
    また、本変形例の場合には、反射部26は電子部品でなくてよいので、操作者Opが取り付ける3Dメガネに別途電源を必要としない。

    (変形例8)
    次に、上述の実施形態のさらに他の変形例について説明する。 図15は、本変形例のマニピュレータシステムを示すブロック図である。
    図15に示すように、本変形例では、受光部24に代えて、撮像部27を備える点が大きく異なっている。 撮像部27としては、CCDセンサやCMOSセンサなどを採用することができる。

    本変形例では、撮像部27は、光源22から発せられた光を受光して、光源22からの光によって生じる明部X1と、他の部分(暗部X2)とを含む画像を取得して制御装置30へ出力する。

    制御装置30は、公知のエッジ検出などによって明部X1の大きさの変化を検出する画像処理部33を有し、明部X1の大きさに基づいて、撮像部27と指標部21との距離を算出する。

    本変形例の場合、撮像部27と指標部21との距離が算出できるので、表示装置10と3Dメガネ13との距離を精度よく推定することができる。 これにより、表示装置10と3Dメガネ13との距離が、立体画像が好適に構成できる最適距離Lの近傍にあるか否かを容易に判定できる。 さらに、表示装置10と3Dメガネ13と距離に応じて、「ディスプレイに近づいてください」や「ディスプレイから離れてください」などのメッセージを適宜選択して表示パネル12に表示させて、好適に立体画像を見られる位置に操作者Opが移動するように促すこともできる。

    次に、本変形例におけるマニピュレータシステム1の撮像部27と指標部21の位置関係のイニシャライズ方法について説明する。 図16ないし図18は、本変形例のマニピュレータシステムにおけるイニシャライズの動作を説明するための説明図である。
    本変形例において、マニピュレータシステム1のイニシャライズとは、撮像部27による撮像領域T1内に、表示パネル12の縁の位置に基づいて矩形状の範囲Aを設定するものである。

    まず、3Dメガネ13を装着した操作者Opが、表示パネル12の基準位置P1(本変形例の場合も基準位置P1は表示パネル12の中央)を見る。 すると、3Dメガネ13に設けられた光源22からの光は、撮像部27の撮像領域T1内のいずれかの位置に照射される。 このとき、制御装置30は、撮像部27の撮像領域T1を模した画像上に光源22からの光の位置を示すマークが設けられた画像を、表示パネル12に表示させる。 操作者Opは、表示パネル12に表示された画像を参考にして、撮像領域T1の略中央に光源22からの光が照射されるように、表示パネル12もしくは操作者Op自身の位置及び向きを調整する。

    その後、制御装置30は、明部X1を中央とする矩形状の範囲Aを撮像領域T1内に設定する。 範囲Aの形状及び大きさは、表示パネル12の形状や大きさによって適宜決定される。 さらに、範囲Aの大きさは、明部X1の大きさが小さいほど大きく、明部X1の大きさが大きいほど小さい。 これは、操作者Opが顔の向きを変える角度が同じでも、操作者Opと表示装置10との距離が長いと撮像領域T1上での明部X1の移動距離が長くなるからである。

    本変形例の場合には、明部X1が範囲Aの外側領域に位置しているときには、操作者Opが表示パネル12から視線を外していると判定され、明部X1が範囲Aの内側領域に位置しているときには、操作者Opが表示パネル12を見ていると判定される。

    なお、撮像部27の撮像領域T1内に範囲Aが設定できる場合には、必ずしも表示パネル12の基準位置P1が表示パネル12の中央に設定されている必要はない。 たとえば、表示パネル12に複数の画像を表示し、注視すべき画像が表示パネル12の中央以外に配置される場合には、注視すべき画像が配置される箇所を基準位置P1として設定してもよい。 この場合にも、上述と同様にイニシャライズをすることができる。

    また、撮像領域T1内に範囲Aを設定しようとした場合にその範囲Aが撮像領域T1からはみ出す場合には、その旨を示すメッセージを表示装置10の表示パネル12に表示させてもよい。 これにより、操作者Opの位置若しくは表示装置10の位置を動かすように操作者Opに促すことができる。

    (変形例9)
    次に、上述の実施形態のさらに他の変形例について説明する。 図19は、本変形例のマニピュレータシステムにおける3Dメガネの構成を示す斜視図である。
    図19に示すように、本変形例では、上述の変形例8で説明した撮像部27を備え、指標部21に代えて、鉛直方向に互いに離間した複数の光源22B(第一の指標要素)と、水平方向に互いに離間した複数の光源22C(第二の指標要素)とを備える指標部21Aが設けられている点が異なっている。

    本変形例の場合には、複数の光源22から発せられる光がそれぞれ撮像部27の撮像領域T1内に照射され、それぞれの光源22による明部X1の大きさの変化を検出することができる。 これにより、検出手段20は、複数の明部X1の大きさに基づいて算出された距離によって、撮像部27に対する3Dメガネ13の距離および向き、すなわち表示装置10に対する3Dメガネ13の距離および向きを検出することができる。

    表示パネル12に対して3Dメガネ13が傾いていると、立体画像が適切に構成されなくなる場合がある。 本変形例の場合には、制御装置30には、立体画像が好適に構成される場合の表示装置10に対する3Dメガネ13の距離および向きの範囲を示す初期位置情報が記憶されている。
    マスタ制御部31は、初期位置情報として記憶されている範囲内に3Dメガネ13が位置していると判定された場合には第一制御モードで動作し、初期位置情報として記憶されている範囲を逸脱していると判定された場合には第二制御モードで動作するように、動作モードを相互に移行させる。 なお、本変形例の場合にも、第二制御モードから第一制御モードへ移行する際にはスイッチ5を用いた操作者Opによる許可の入力を要する。

    なお、指標部21Aは、上記光源22Bと上記光源22Cとの何れか一方のみを備えていてもよい。

    (変形例10)
    次に、上述の実施形態のさらに他の変形例について説明する。 図20は、本変形例のマニピュレータシステムにおける3Dメガネの構成を示す斜視図である。
    本変形例では、指標部21は、光源22を有しておらず、所定の色彩若しくは所定の形状を有する標識部材28を有している。 また、検出部23は、上述の変形例8と同様の撮像部27を備え、標識部材28を含む画像を取得するようになっている。

    また、マスタ制御部31は、撮像部27によって撮像された画像上に、上記変形例8と同様に範囲Aを設定し、撮像部27によって撮像された画像における所定の色彩若しくは所定の形状を有する部分を画像処理により指標部21として認識する。

    本変形例でも、上記変形例8と同様に、標識部材28の位置が範囲Aの内側から外へ移動したときにはマスタ制御部31の動作モードが第一制御モードから第二制御モードへ移行し、標識部材28の位置が範囲Aの内側に戻ったときには、スイッチ5を用いた操作者Opによる許可の入力を経て第二制御モードから第一制御モードへと移行する。
    本変形例の場合には、標識部材28が電子部品ではないので、低コストで製造することができる。

    なお、裸眼立体視が可能なディスプレイを使用する場合には、3Dメガネ13に代えて、頭部装着部材に指標部材28を取り付けてもよい。 また、手術に用いる帽子やマスクに標識部材28を取り付けてもよい。 この場合の標識部材28は、たとえば刺繍やステッカーなどであってよい。

    (変形例11)
    次に、上述の実施形態のさらに他の変形例について説明する。 図21は、本変形例のマニピュレータシステムの構成を示す模式図である。
    本変形例のマニピュレータシステムは、操作者Opがスレーブアーム7に手動術具40を取り付けて処置を行うマスタスレーブシステムである。 手動術具40とは、腹腔鏡手術用の鉗子やステープラ、エネルギー処置具などである。 スレーブアーム7には、操作者Opの力を計測できる力計測器41が取り付けられており、操作者Opの手の移動方向に応じてスレーブアーム7が動くように制御される。

    本変形例の構成の場合、第二制御モードでは、操作者Opの入力に対してスレーブマニピュレータ6が静止するように制御する。 つまり、操作者Opが表示装置10を見ていない場合、操作者Opが手動術具30を動かそうとしてもスレーブアーム7が静止し動かないように制御される。 マスタの入力方式と構成が異なるだけで、基本的には上記第1実施形態(図1参照)にて説明したマスタスレーブシステムと同じ方法で実現でき、同じ発明の効果が得られる。
    (変形例12)

    次に、上述の実施形態のさらに他の変形例について説明する。 図22は、本変形例のマニピュレータシステムの構成を示す模式図である。
    本変形例の構成では、操作者Opは、位置センサ50によって位置・姿勢情報が取得されるマスタグリップ45を用いて処置を行う。 本変形例では位置センサ50は2眼式の撮像センサである。 マスタグリップ45には、位置センサ50によって検出される指標46が取り付けられている。 位置センサ50が指標46を検出することにより、マスタグリップ45の位置・姿勢情報が取得される。

    本変形例の構成の場合、操作者Opは、上記第1実施形態で説明したマスタアーム3に代えて、マスタグリップ45を操作してスレーブアーム7等への操作入力をする。 位置センサ50は、マスタグリップ45の位置・姿勢を取得する。
    なお、上記変形例8と同様に、操作者の頭部に他の指標を設け、位置センサ50(撮像部)によって指標の位置を検出してもよい。 本変形例では、上述の変形例8で説明したのと同様の検出手順を適用することができる。

    以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

    たとえば、上述の実施形態において説明した表示装置10は、立体画像ではなく二次元画像が表示される表示装置10であってもよい。 この場合、3Dメガネ13を用いる必要はない。
    また、上述の実施形態において説明した画像取得部101を有する内視鏡装置100は、スレーブマニピュレータ6に設けられず、他の保持装置に保持されたり、助手等が持っていたりしても良い。 つまり、画像取得部101はスレーブマニピュレータ6に設けられるものに限られるものではない。

    また、上述の実施形態において説明した第二制御モードは、第一制御モードよりもスレーブマニピュレータ6の動作速度を減じて動作させる動作モードであってもよい。

    また、上述の実施形態において説明した第二制御モードは、内視鏡装置100、術具110、及びスレーブアーム7の位置のみが固定され、内視鏡装置100、術具110、及びスレーブアーム7の先端の向きはマスタアーム3の動きに従う動作モードであってもよい。

    また、上述の実施形態では、第一制御モードと第二制御モードとはマスタ制御部31の動作モードである例を示したが、第一制御モードと第二制御モードはスレーブ制御部32の動作モードであってもよい。 すなわち、スレーブ制御部32に検出手段20が接続されており、検出手段20によって検出された結果に基づいて、スレーブ制御部32から出力される駆動信号の有無や内容を変えるようになっていてもよい。

    また、マスタ制御部31とスレーブ制御部32とは一体であってもよい。

    また、マニピュレータシステム1が第二制御モードにある場合に、表示パネル12上に、処置対象物の画像に代えて各種の医療情報が表示されるようになっていてもよい。 各種の医療情報とは、患者の識別情報や、術前や術中に行なわれた検査の結果などの情報を含む。

    また、上述の実施形態で説明した制御装置30は汎用コンピュータであってもよく、この場合、マスタ制御部31及びスレーブ制御部32は、汎用プロセッサを用いて動作するプログラムであってもよい。

    また、上述の実施形態及び各変形例において示した構成要素は適宜に組み合わせて構成することが可能である。

    1 マニピュレータシステム 2 マスタマニピュレータ 3 マスタアーム 4 変位センサ 5 スイッチ 6 スレーブマニピュレータ 7 スレーブアーム 8 アクチュエータ 10 表示装置 11 画像処理部 12 パネル 13 3Dメガネ 14 移動機構 20、20A、20B 検出手段 21、21A 指標部 22 光源 22A、22B、22C 光源 22a 電源部 23 検出部 24、24B 受光部 25、25B 受光面 26 反射部 27 撮像部 28 標識部材 30 制御装置 31 制御部 32 制御部 33 画像処理部 100 内視鏡装置 101 画像取得部 110 術具

    QQ群二维码
    意见反馈