マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路

本発明は、マスタスレーブロボットの動作の生成を行うためのマスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路に関する。

人がマスタロボットを遠隔で操作をして、スレーブロボットにより作業を行うマスタスレーブロボットが様々な分野で注目を集めている。

医療の現場では、術者が遠隔でモニタ画面上に映し出された内視鏡の映像を見ながらマスタロボットを操作して、スレーブロボットが把持した鉗子を動かして手術を行う内視鏡手術がある。患部又は鉗子などを拡大してモニタ画面に映し出し、手術ができるメリットに加えて、現場に専門の医師がいなくても遠隔で手術ができる。

また、製造現場では、微細作業又は熟練を要する作業を行うスレーブロボットを遠隔で操作又は教示するマスタスレーブロボットが提案されており、特に顕微鏡下で行う微細作業について、手元の拡大表示、又は、手元操作の移動量の拡大又は縮小移動などにより、細かな作業を簡易に操作することができる。

いずれのマスタスレーブ方式においてもマスタロボットを操作してスムーズにスレーブロボットを操作する機能に加えて、スレーブロボットにかかる力をマスタロボットにフィードバックする機能が求められる。

また、人はモニタ画面を見ながらマスタロボットを操作するため、モニタに映し出された映像とマスタロボットの操作又はスレーブロボットの動作とを対応させる技術として、下記の技術が提案されている。

体腔内手術用マスタスレーブマニピュレータにおいて、モニタに映し出された映像の拡大率に応じてマスタロボットとスレーブロボットとの動作比率を自動調整する(特許文献1参照)。

特開平8−187246号公報

しかしながら、拡大率などが変化した場合においても効率良く作業ができるように、さらなる作業効率の向上が求められていた。

したがって、本発明の目的は、前記問題を解決することにあり、人が映像を見ながら操作するマスタスレーブロボットであって、映像の拡大率などが変化した場合においても効率良く作業ができる、マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路を提供することにある。

上記目的を達成するために、本発明の一態様に係るマスタスレーブロボットの制御装置は、剛体対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御装置であって、 前記スレーブアームに外部から加えられた力情報を取得する力情報取得部と、 前記組立作業を表示する前記表示部での画像の拡大率情報を取得する表示情報取得部と、 前記表示情報取得部から取得した前記拡大率情報が大きければ大きいほど、前記力情報取得部から取得した前記力情報を大きく補正する補正力情報を生成する力情報補正部と、 前記力情報補正部で生成した前記補正力情報を前記マスタアームに提示する力情報提示部と、 を備える。

これらの概括的かつ特定の態様は、システム、方法、コンピュータプログラム並びにシステム、方法及びコンピュータプログラムの任意の組み合わせにより実現してもよい。

本発明の前記一態様によれば、映像の拡大率などが変化した場合においても、人が見ている映像に対応した力提示を行うことができ、効率良くかつ正確に作業を行うことができる。

本発明の第1実施形態におけるマスタスレーブロボットの構成の概要を示す図。

本発明の第1実施形態のマスタスレーブロボットのブロック図。

本発明の第1実施形態のマスタスレーブロボットにおける動作情報、時間情報の例のデータ図。

本発明の第1実施形態のマスタスレーブロボットにおける撮像装置の設置方法の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける撮像装置の設置方法の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける撮像装置の設置方法の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける撮像装置の設置方法の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける撮像装置座標系の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける撮像装置の設置位置の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける拡大率情報、撮像装置位置情報、時間情報の例のデータ図。

本発明の第1実施形態のマスタスレーブロボットにおける拡大率情報と撮像装置位置情報と時間情報との例のデータ図(拡大率情報が変化する場合)。

本発明の第1実施形態のマスタスレーブロボットにおける座標系の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける補正マスタ動作情報と時間情報との例のデータ図。

本発明の第1実施形態のマスタスレーブロボットにおける拡大して作業を行う場合の力補正方法の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける縮小して作業を行う場合の力補正方法の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける力情報の更新周期変更の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける力情報、時間情報の例のデータ図。

本発明の第1実施形態のマスタスレーブロボットにおけるマスタ入出力IFのブロック図。

本発明の第1実施形態のマスタスレーブロボットの操作手順のフローチャート。

本発明の第1実施形態のマスタスレーブロボットにおける力補正手順のフローチャート。

本発明の第1実施形態の変形例のマスタスレーブロボットのブロック図。

本発明の第2実施形態のマスタスレーブロボットのブロック図。

本発明の第2実施形態のマスタスレーブロボットのブロック図。

本発明の第2実施形態のマスタスレーブロボットにおける大きさ情報の説明図。

本発明の第2実施形態のマスタスレーブロボットにおける大きさ情報、時間情報の例のデータ図。

本発明の第2実施形態のマスタスレーブロボットにおける対象物情報の例のデータ図。

本発明の第2実施形態のマスタスレーブロボットにおける対象物情報の例のデータ図。

本発明の第2実施形態のマスタスレーブロボットにおける拡大率情報の例のデータ図。

本発明の第2実施形態のマスタスレーブロボットにおける拡大率情報の例のデータ図。

本発明の第2実施形態のマスタスレーブロボットにおける力補正手順のフローチャート。

本発明の第3実施形態のマスタスレーブロボットのブロック図。

本発明の第3実施形態のマスタスレーブロボットにおけるマスタ動作情報補正手順のフローチャート。

本発明の第3実施形態の変形例のマスタスレーブロボットにおける柔軟物に対するマスタ動作情報の補正方法の説明図。

本発明の第3実施形態の変形例のマスタスレーブロボットにおける柔軟物に対するマスタ動作情報の補正方法の説明図。

本発明の第4実施形態のマスタスレーブロボットのブロック図。

本発明の第4実施形態のマスタスレーブロボットにおける微細部品の変形量の説明図。

本発明の第4実施形態のマスタスレーブロボットにおける微細部品の変形量の説明図。

本発明の第4実施形態のマスタスレーブロボットにおける微細部品の変形量の説明図。

本発明の第4実施形態のマスタスレーブロボットにおける柔軟被対象物の変形量の説明図。

本発明の第4実施形態のマスタスレーブロボットにおける柔軟被対象物の変形量の説明図。

本発明の第4実施形態のマスタスレーブロボットにおける柔軟被対象物の変形量の説明図。

本発明の第4実施形態のマスタスレーブロボットにおける変形量の算出方法の例の説明図。

本発明の第4実施形態のマスタスレーブロボットにおける変形量の算出方法の例の説明図。

本発明の第4実施形態のマスタスレーブロボットにおける力補正手順のフローチャート。

従来のマスタスレーブロボットにおける映像と力の感じ方の説明図。

従来のマスタスレーブロボットにおける映像と力の感じ方の説明図。

従来のマスタスレーブロボットにおける映像と力の感じ方の説明図(把持作業の説明図)。

従来のマスタスレーブロボットにおける映像と力の感じ方の説明図(把持作業の説明図)。

本発明の第5実施形態のマスタスレーブロボットにおけるブロック図。

本発明の第5実施形態のマスタスレーブロボットにおける視野角情報の説明図。

本発明の第5実施形態のマスタスレーブロボットにおける視野角情報の例のデータ図。

本発明の第5実施形態のマスタスレーブロボットにおける視野角情報と補正力情報との関係の例の説明図。

本発明の第5実施形態のマスタスレーブロボットにおける力補正手順のフローチャート。

本発明の第6実施形態のマスタスレーブロボットにおけるブロック図。

本発明の第6実施形態のマスタスレーブロボットにおける位置情報、姿勢情報の例の説明図。

本発明の第6実施形態のマスタスレーブロボットにおける時間情報、位置情報、姿勢情報、大きさ情報の例のデータ図。

本発明の第6実施形態のマスタスレーブロボットにおける時間情報、位置情報、視線情報の例のデータ図。

本発明の第6実施形態のマスタスレーブロボットにおける力補正手順のフローチャート。

本発明の第7実施形態のマスタスレーブロボットにおけるブロック図。

本発明の第7実施形態のマスタスレーブロボットにおける時間情報、対象物大きさ情報の例のデータ図。

本発明の第7実施形態のマスタスレーブロボットにおける力補正手順のフローチャート。

以下に、本発明にかかる実施の形態を図面に基づいて詳細に説明する。

以下、図面を参照して本発明における実施形態を詳細に説明する前に、まず、本発明の基礎となった知見を説明したのち、本発明の種々の態様について説明する。

また、本発明の実施形態において、柔軟物とは、対象物に対して外力を加えると変形する対象物のことを表す。ただし、ここでの変形は、塑性変形は含まない。一方で、剛体対象物は、対象物に対して外力を加えると変形しない対象物のことを表す。

なお、本明細書において「柔軟物」には、フレキシブル基板のような端部が外力により変形せず、かつ、中央部が外力により変形するようなものを含む。

また、本発明の実施形態における作業は、組立作業を対象とする。

ここで、本明細書において「組立作業」とは、スレーブアームが把持する挿入物を被挿入物へ挿入する作業、又は、スレーブアームが把持する対象物を他の対象物の表面へ設置する作業などをいう。

(本発明の基礎となった知見) 図1に示すように、スレーブアーム3は、作業台11上の機器10の挿入口9に、ハンド4で把持された微細部品8を挿入する作業を行うロボットである。この作業をカメラなどの撮像装置6で撮像してディスプレイ7に映し出している。このような状況において、作業者(人)1がディスプレイ7に映し出された映像を見ながらマスタアーム2を操作するマスタスレーブロボット100を示している。このマスタスレーブロボット100において、映像の拡大率に対するスレーブアーム3の動作比率を変更すると、それまで見ていた映像とマスタアーム2の操作又は力の感じ方が変わり、作業効率が低下する。

具体的には、図33A及び図33Bを用いて説明する。図33A及び図33Bは、図1に示すマスタスレーブロボット100において、作業者1が見ているディスプレイ7の画面の映像を示す。図33Bと比べて図33Aの方が、映像の拡大率が大きく、画面上の微細部品8などが実物よりも大きく映っている。一般に、人が対象物を見る場合に、体積が大きい対象物の方が、重さが重いと先入観により判断する傾向がある(シャルパンティエ効果(大きさ重さ錯覚))ため、映像の拡大率が大きい場合の方が、対象物が大きく見え、対象物が重いとイメージしてしまう。その結果、同じ対象物に対して作業を行っている場合においても、映像の拡大率が大きい場合の方が、重い対象物と判断し、大きな力を対象物に加えてしまう。その結果、作業者1が対象物に過負荷を加えてしまい、作業を正確に行うことが難しくなる。そこで、作業者1の見ている映像と作業者1が行っている操作とを対応付ける技術が提案されている。

具体的には、特許文献1の方法では、ディスプレイ7に映し出された映像の拡大率に応じて、マスタアーム2に対するスレーブアーム3の動作比率を自動調整する。例えば、拡大率をk倍すると、動作比率を1/kとする。

しかし、特許文献1の方法では、映像の拡大率に応じて動作比率は変えているが、作業者1への力フィードバックする力の大きさは変えていない。つまり、特許文献1においては、映像の見え方に応じて、作業者1に力フィードバックされる力の感じ方が変わることまでは考慮できていない。例えば、図33A及び図33Bの例では、映像を拡大した場合に、作業者は大きな力で作業を行ってしまうことに対する解決方法は、特許文献1には無い。

よって、マスタスレーブロボット100において、ディスプレイ7に映し出される映像に対応して作業者1がマスタアーム2を操作できるように、映像に応じて力フィードバックする力を自動調整するようにマスタスレーブロボット100を制御することが求められている。

他の作業での例を、図34A及び図34Bを用いて説明する。図34A、図34Bは、微細部品8を把持して搬送する作業の例である。図34Bと比べて図34Aの方が、拡大率が大きく、微細部品8が大きく映る。すなわち、図34Aではハンド4で微細部品8が把持されているぐらいしか見えない。これに対して、図34Bではスレーブアーム3の先端のハンド4と微細部品8とが拡大されて表示され、ハンド4により微細部品8がたわんで変形しているのがよく見える。このように、拡大率が大きい方が、微細部品8の大きさが大きく見え、作業者1は対象物の映像が大きいことにつられて、力を大きく加えてしまう。その結果、微細部品8を把持するのに必要な力以上の力を作業者1からマスタアーム2に加えてしまい、微細部品8を持ち上げて運ぼうとするときに、微細部品8に過負荷を加えてしまう。このように、拡大率を大きくすると、作業者1は視覚の影響を大きく受け、作業を達成する適切な力を加えることができないという問題が生じる。

そこで、本発明の種々の態様は、以下の通りである。

本発明の第1態様によれば、剛体対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御装置であって、 前記スレーブアームに外部から加えられた力情報を取得する力情報取得部と、 前記組立作業を表示する前記表示部での画像の拡大率情報を取得する表示情報取得部と、 前記表示情報取得部から取得した前記拡大率情報が大きければ大きいほど、前記力情報取得部から取得した前記力情報を大きく補正する補正力情報を生成する力情報補正部と、 前記力情報補正部で生成した前記補正力情報を前記マスタアームに提示する力情報提示部と、 を備えるマスタスレーブロボットの制御装置を提供する。

前記態様によれば、表示部に表示された映像(画像)の拡大率などが変化した場合においても、人が見ている映像に対応した力提示を行うことができ、効率良くかつ正確に作業を行うことができる。すなわち、前記表示情報取得部から取得した映像の拡大率情報に基づいて力フィードバックする力情報を前記力情報補正部で補正することができる。つまり、映像の拡大率が変わっても、人が作業に必要な力を加えることができるように誘導することができる。

また、本発明の第2態様によれば、前記力情報補正部は、前記表示情報取得部から取得した前記拡大率情報に基づいて、拡大率と前記力情報取得部から取得した前記力情報とを乗算することにより前記補正力情報を生成する、 第1の態様に記載のマスタスレーブロボットの制御装置を提供する。

前記態様によれば、力情報を作業に適した補正を行うことができ、作業を行う上で適切な力を人が加えることができるように誘導することができる。

また、本発明の第3態様によれば、前記表示情報取得部から取得した撮像画像情報を基に、前記表示部の画面上での前記剛体対象物の長さ情報又は面積情報を算出し、測定された前記剛体対象物の前記長さ情報又は前記面積情報を、前記表示部上における前記剛体対象物の大きさ情報として出力する大きさ情報算出部と、 前記大きさ情報算出部より入力された大きさ情報と、前記剛体対象物の実際の大きさ情報とを基に拡大率情報を算出して、算出した拡大率情報を前記力情報補正部に出力する拡大率情報算出部とをさらに備える、 第1又は2の態様に記載のマスタスレーブロボットの制御装置を提供する。

前記態様によれば、対象物の大きさ情報により力情報を前記力情報補正部で補正するので、撮像装置の映し方によらず適切に補正することができ、作業を行う上で適切な力を人が加えることができるように誘導することができる。

また、本発明の第4態様によれば、前記大きさ情報算出部において、前記表示部上における前記剛体対象物の大きさ情報として、前記剛体対象物の長さを算出して使用する、 第3の態様に記載のマスタスレーブロボットの制御装置を提供する。

前記態様によれば、剛体対象物の長さの情報により力情報を前記力情報補正部で補正するので、表示部の画面上で長さの情報が良く映し出されている場合は、適切に補正することができ、作業を行う上で適切な力を人が加えることができるように誘導することができる。

また、本発明の第5態様によれば、前記大きさ情報算出部において、前記表示部上における前記剛体対象物の大きさ情報として、前記剛体対象物の面積を算出して使用する、 第3の態様に記載のマスタスレーブロボットの制御装置を提供する。

前記態様によれば、剛体対象物の面積の情報により力情報を前記力情報補正部で補正するので、表示部の画面上で面積の情報が良く映し出されている場合は、適切に補正することができ、作業を行う上で適切な力を人が加えることができるように誘導することができる。

また、本発明の第6態様によれば、前記剛体対象物の前記実際の大きさ情報を記憶し、記憶した前記剛体対象物の実際の大きさ情報を前記拡大率情報算出部に出力する対象物情報記憶部をさらに備え、 前記大きさ情報算出部から取得した前記大きさ情報Sdに対して、前記対象物情報記憶部から取得しかつ前記大きさ情報に対応する前記剛体対象物の実際の大きさ情報Srを除算して、除算した結果(Sd/Sr)を前記拡大率情報として前記力情報補正部に出力し、 前記力情報補正部は、前記大きさ情報算出部から取得した前記拡大率情報に補正係数を乗算することにより、前記補正力情報を生成する、 第3〜5のいずれか1つの態様に記載のマスタスレーブロボットの制御装置を提供する。

前記態様によれば、剛体対象物の実際の大きさと表示部上での剛体対象物の大きさとに基づいて力情報を前記力情報補正部で補正するので、撮像装置の映し方によらず適切な値に補正することができ、作業を行う上で適切な力を人が加えることができるように誘導することができる。

また、本発明の第7態様によれば、前記表示情報取得部は、前記表示部の画面上において、前記スレーブアームの組立作業の状態を拡大して表示するときの拡大率を前記拡大率情報として算出する、 第1又は2の態様に記載のマスタスレーブロボットの制御装置を提供する。

前記態様によれば、前記表示部の画面上においてスレーブアームの組立作業の状態を拡大して表示するときの拡大率情報を前記表示情報取得部で算出するので、実際の作業に適した拡大率情報を算出することができ、適切な値に力情報を補正し、作業を行う上で適切な力を人が加えることができるように誘導することができる。

また、本発明の第8態様によれば、前記力情報補正部において、前記力情報を補正する際に予め決められた周期で前記力情報を更新するとき、前記力情報の更新の周期を前記予め決められた周期よりも大きくするように補正する、 第1の態様に記載のマスタスレーブロボットの制御装置を提供する。

前記態様によれば、補正する際に力情報の大きさは変化させないので、力情報を大きく変化させすぎてしまうことがない。また、力情報の大きさを補正することができないシステムの場合においても、力情報の大きさを補正することと同様の効果を得ることができる。

また、本発明の第9態様によれば、前記組立作業を表示する前記表示部を見る前記人の前記表示部に対する視野角情報を取得する視野角情報取得部と、 前記表示情報取得部で取得した前記画像の拡大率情報と前記視野角情報取得部で取得した前記視野角情報とのいずれか一方を選択する選択部とをさらに備え、 前記力情報補正部は、前記選択部で選択された情報を基に、前記選択された情報が大きければ大きいほど、前記力情報取得部から取得した前記力情報を大きく補正する補正力情報を生成する、 第1〜8の態様のいずれか1つに記載のマスタスレーブロボットの制御装置を提供する。

前記態様によれば、選択部で視野角情報が選択された場合には、視野角情報取得部と力情報補正部とにより視野角情報を基に力情報を補正するので、人又は表示部の位置が変わった場合においても、力情報を適切に補正することができ、正確な力を印加するように作業を行うことができる。

また、本発明の第10態様によれば、前記表示部の位置情報、姿勢情報、及び、大きさ情報を取得する表示部位置情報取得部と、 前記人の位置情報、及び、視線情報を取得する人位置情報取得部と、 前記表示部位置情報取得部から取得した前記表示部の位置情報、姿勢情報、及び、大きさ情報と前記人位置情報取得部から取得した前記人の位置情報、及び、視線情報とから前記視野角情報を算出する視野角情報算出部とを備えて、 前記視野角情報取得部は、前記視野角情報算出部で算出した前記視野角情報を取得する、 第9態様に記載のマスタスレーブロボットの制御装置を提供する。

前記態様によれば、選択部で視野角情報が選択された場合には、表示部の推奨位置でなく、実際の表示部及び人の位置から視野角情報を視野角情報算出部で算出するので、表示部又は人の位置が変わった場合においても、力情報を適切に補正することができ、正確な力を印加するように作業を行うことができる。

また、本発明の第11態様によれば、前記表示部に映る前記剛体対象物の大きさ情報を算出する対象物大きさ情報算出部と、 前記表示部の位置情報、姿勢情報、及び、大きさ情報を取得する表示部位置情報取得部と、 前記人の位置情報、及び、視線情報を取得する人位置情報取得部と、 前記表示部位置情報取得部から取得した前記表示部の位置情報、姿勢情報、及び、大きさ情報と、前記人位置情報取得部から取得した前記人の位置情報、及び、視線情報と、前記対象物大きさ情報算出部から取得した前記剛体対象物の大きさ情報とから前記表示部に映る前記剛体対象物に対する前記視野角情報を算出する対象物視野角情報算出部を備えて、 前記視野角情報取得部は、前記対象物視野角情報算出部で算出した前記視野角情報を取得する、 第9態様に記載のマスタスレーブロボットの制御装置を提供する。

前記態様によれば、選択部で視野角情報が選択された場合には、表示部の大きさでなく、表示部に映し出された対象物の大きさから視野角情報を対象物視野角情報算出部で算出するので、実際に作業を行う対象物に対して力情報を適切に補正することができ、正確な力を印加するように作業を行うことができる。

また、本発明の第12態様によれば、第1〜11のいずれか1つの態様第記載のマスタスレーブロボットの制御装置と、 前記マスタスレーブロボットの制御装置で動作制御される前記スレーブアームと前記マスタアームと、 を備えるロボットを提供する。

前記態様によれば、表示部に表示された映像(画像)の拡大率などが変化した場合においても、人が見ている映像に対応した力提示を行うことができ、効率良くかつ正確に作業を行うことができる。すなわち、前記表示情報取得部から取得した映像の拡大率情報に基づいて力フィードバックする力情報を前記力情報補正部で補正することができる。つまり、映像の拡大率が変わっても、人が作業に必要な力を加えることができるように誘導することができる。

また、本発明の第13態様によれば、剛体対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御方法であって、 力情報取得部で、前記スレーブアームに外部から加えられた力情報を取得し、 表示情報取得部で、前記組立作業を表示する前記表示部での画像の拡大率情報を取得し、 力情報補正部で、前記表示情報取得部から取得した前記拡大率情報が大きければ大きいほど、前記力情報取得部から取得した前記力情報を大きく補正する補正力情報を生成し、 力情報提示部で、前記力情報補正部で生成した前記補正力情報を前記マスタアームに提示する、 マスタスレーブロボットの制御方法を提供する。

前記態様によれば、表示部に表示された映像(画像)の拡大率などが変化した場合においても、人が見ている映像に対応した力提示を行うことができ、効率良くかつ正確に作業を行うことができる。すなわち、前記表示情報取得部から取得した映像の拡大率情報に基づいて力フィードバックする力情報を前記力情報補正部で補正することができる。つまり、映像の拡大率が変わっても、人が作業に必要な力を加えることができるように誘導することができる。

また、本発明の第14態様によれば、剛体対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御プログラムであって、 力情報取得部で、前記スレーブアームに外部から加えられた力情報を取得するステップと、 表示情報取得部で、前記組立作業を表示する前記表示部での画像の拡大率情報を取得するステップと、 力情報補正部で、前記表示情報取得部から取得した前記拡大率情報が大きければ大きいほど、前記力情報取得部から取得した前記力情報を大きく補正する補正力情報を生成するステップと、 力情報提示部で、前記力情報補正部で生成した前記補正力情報を前記マスタアームに提示するステップと、 をコンピュータに実行させるための、マスタスレーブロボットの制御プログラムを提供する。

前記態様によれば、表示部に表示された映像(画像)の拡大率などが変化した場合においても、人が見ている映像に対応した力提示を行うことができ、効率良くかつ正確に作業を行うことができる。すなわち、前記表示情報取得部から取得した映像の拡大率情報に基づいて力フィードバックする力情報を前記力情報補正部で補正することができる。つまり、映像の拡大率が変わっても、人が作業に必要な力を加えることができるように誘導することができる。

また、本発明の第15態様によれば、剛体対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御用集積電子回路であって、 前記スレーブアームに外部から加えられた力情報を取得する力情報取得部と、 前記組立作業を表示する前記表示部での画像の拡大率情報を取得する表示情報取得部と、 前記表示情報取得部から取得した前記拡大率情報が大きければ大きいほど、前記力情報取得部から取得した前記力情報を大きく補正する補正力情報を生成する力情報補正部と、 前記力情報補正部で生成した前記補正力情報を前記マスタアームに提示する力情報提示部と、 を備えるマスタスレーブロボットの制御用集積電子回路を提供する。

前記態様によれば、表示部に表示された映像(画像)の拡大率などが変化した場合においても、人が見ている映像に対応した力提示を行うことができ、効率良くかつ正確に作業を行うことができる。すなわち、前記表示情報取得部から取得した映像の拡大率情報に基づいて力フィードバックする力情報を前記力情報補正部で補正することができる。つまり、映像の拡大率が変わっても、人が作業に必要な力を加えることができるように誘導することができる。

(第1実施形態) 本発明の第1実施形態における、マスタスレーブロボット100の制御装置101を含むマスタスレーブロボット100の概要について説明する。

図1は、マスタスレーブロボット100を使った微細部品8の挿入作業の様子を示す。

図1に示すように、例えば、工場内のセル生産で、テレビ、DVDレコーダ、又は携帯電話などの機器10用のコネクタの挿入口9に、剛体対象物の一例としての微細部品8を取り付ける作業を例にとって説明する。

マスタスレーブロボット100のスレーブアーム3は、機器10が設置された作業台11の上部もしくは壁面に設置され、機器10の挿入口9に微細部品8を挿入する作業を行うロボットである。

スレーブアーム3の先端には、微細部品8を把持するハンド4が取り付けられている。

作業台11には、カメラなどの撮像装置6が配置され、微細部品8及び挿入口9を拡大して撮像し、ディスプレイ7に、前記撮像した映像を映す。

力センサ5は、ハンド4の手首部に設置され、微細部品8が挿入口9又は機器10に接触した際に生じる反力を測定する。

作業を行う人の一例としての作業者1は、撮像装置6で撮像された映像をディスプレイ7で確認しながらマスタアーム2を操作するとスレーブアーム3が動作する。さらに、力センサ5で計測した力を、スレーブアーム3からマスタアーム2へフィードバックすることで、作業者1は、微細部品8を直接操作している感覚でスレーブアーム3を操作することができる。

図2は、本発明の第1実施形態における、マスタスレーブロボット100のブロック図を示す。図2において、マスタスレーブロボット100は、マスタロボット102と、スレーブロボット103で構成されている。マスタロボット102は、マスタアーム2と、マスタアーム2の制御装置104とで構成されている。スレーブロボット103は、スレーブアーム3と、スレーブアーム3の制御装置105とで構成されている。

マスタアーム2の制御装置104は、スレーブアーム3の動作を生成し、スレーブロボット103で取得した力情報を補正して提示するマスタアーム2の制御装置である。スレーブアーム3の制御装置105は、スレーブアーム3の位置及び姿勢を制御するスレーブアーム3の制御装置である。

以下、この第1実施形態について詳細に説明する。

<マスタアームの制御装置の説明> マスタアーム2の制御装置104は、マスタ制御装置本体部106と、マスタ周辺装置108とで構成されている。

<スレーブアームの制御装置の説明> スレーブアーム3の制御装置105は、スレーブ制御装置本体部107と、スレーブ周辺装置109とで構成されている。

<マスタ制御装置本体部の説明> マスタ制御装置本体部106は、マスタ動作情報取得部110と、表示情報取得部111と、マスタ動作情報補正部112と、力情報補正部113と、力情報提示部114とで構成されている。なお、スレーブ制御装置本体部107と、マスタ制御装置本体部106とでマスタスレーブロボット100の制御装置101を構成して、スレーブアーム3とマスタアーム2とを動作制御している。

(マスタ動作情報取得部110) マスタ動作情報取得部110は、マスタ入出力IF117からマスタアーム2の位置情報及び姿勢情報と、マスタ入出力IF117に内蔵されたタイマからの時間情報とが入力される。また、マスタ動作情報取得部110は、マスタ入出力IF117から取得した位置情報を時間情報で微分することによって、速度情報を取得する。また、マスタ動作情報取得部110は、姿勢情報を時間情報で微分することによって、角速度情報を取得する。図3に、マスタ動作情報取得部110で取得する時間情報と、位置情報と、姿勢情報と、速度情報と、角速度情報とを示す。これらの位置情報と、姿勢情報と、速度情報と、角速度情報とでマスタアーム2の動作情報(マスタ動作情報)を構成する。

マスタ動作情報取得部110は、取得したマスタアーム2の位置情報と、姿勢情報と、速度情報と、角速度情報と、時間情報とをマスタ動作情報補正部112に出力する。

(撮像装置6) 撮像装置6は、スレーブアーム3が行う作業を撮像し、主に、ハンド4と、微細部品8と、挿入口9との付近を撮像する。撮像装置6は、撮像時の拡大率を変更することができる。また、撮像装置6を設置する位置又は姿勢を変更することができる。撮像装置6を設置する場合は、いかなる位置又は姿勢で設置することも可能であるが、被写体(特にハンド4と、微細部品8と、挿入口9と)が重ならずに写る位置、姿勢、被写体の移動、及び、大きさが捉えられる位置及び姿勢が必要である。図4A及び図4Bに示す例では、図4Aの位置及び姿勢の方が、図4Bの位置及び姿勢よりも被写体が重ならずに写り、移動する変化も捉えることができる。ディスプレイ7に映し出された映像をそれぞれ図4C及び図4Dに示す。図4Aの位置及び姿勢の方が、画面上のスレーブアーム3の移動及び微細部品8の大きさがよく見えることわかる。

撮像装置6は、撮像装置6で撮像した撮像画像情報(撮像した動画情報又は撮像した静止画情報)と、撮像時の拡大率情報と、撮像時の撮像装置6を設置する位置及び姿勢の情報である撮像装置位置情報とを、表示情報として表示情報取得部111に出力する。撮像装置位置情報は、図5に示すスレーブアーム2の座標系Σ_bsを用いて表現する。

また、撮像装置6は、図6に示すように作業者1がマスタアーム2を操作する方向(図6中の矢印A)とディスプレイ7の画面上でスレーブアーム3が動く方向(図6中の矢印B)とが同じ方向になるように設置する。

なお、ここでは、撮像装置6として2次元撮像を行う撮像装置を主に対象としたが、様々な方向を撮像できるように、3次元撮像装置又は2台の撮像装置を用いる方法なども可能である。

(表示情報取得部111) 表示情報取得部111には、撮像装置6から、撮像画像情報と、拡大率情報と、撮像装置位置情報と、マスタ入出力IF117に内蔵されたタイマより時間情報とが入力される。表示情報取得部111から出力された撮像画像情報がディスプレイ7に画像として表示される。

図7に、撮像画像情報以外の表示情報取得部111が取得する、拡大率情報と、撮像装置位置情報(撮像装置の姿勢情報を含む)と、時間情報との一例を示す。また、撮像画像情報は、ディスプレイ7に映し出された画像そのもののことを表す。ここで、表示情報とは、撮像画像情報と、拡大率情報と、撮像装置位置情報とを表す。拡大率情報は、例えば、組立作業をディスプレイ7に表示するときの、実物に対する、ディスプレイ7での画像の拡大率情報である。

なお、表示情報取得部111は、マスタ入出力IF117を介して撮像装置6から撮像画像情報と、拡大率情報と、撮像装置位置情報とを取得することも可能である。

表示情報取得部111は、取得した拡大率情報と時間情報とを力情報補正部113に出力する。

また、拡大率情報に関して、対象物を撮像した際に、実際の対象物の大きさと画面上での対象物の大きさとが同じ大きさであるように拡大率を調整し、その拡大率を1とする。

なお、ここでは、実際の対象物の大きさと画面上の対象物の大きさとが同じ大きさになるときを拡大率1と基準としたが、他の拡大のときを拡大率1として基準とすることも可能である。例えば、最も縮小しているときを拡大率1とすることによって、対象物が壊れやすく、負荷をかけられない場合に力を大きく補正して、力を加えすぎないように防止することができ、大変有効である。また、最も拡大しているときを拡大率1とすることによって、作業に力が必要な場合に力を小さく補正して、大きく力を加えるように誘導することができ、有効である。このように、作業又は対象物に応じて、例えば作業者1によるマスタ入出力IF117からの入力に基づき、基準を変更することができる。

図7では、拡大率が時系列的に変わらない例を示したが、時系列的に拡大率が変わる例も可能である。例えば、微細部品8を把持した状態で広域に移動させる作業の後、コネクタへの組み付け作業を行う場合では、移動させる作業工程においては、広域を移すために、拡大率を低くする。組み付け作業を行う作業工程では、組み付け部分がよく見えるように、拡大率を高くする。このように、拡大率が時系列的に変化することも可能である。その場合の拡大率情報の一例を図8に示す。

(マスタ動作情報補正部112) マスタ動作情報補正部112は、マスタ動作情報取得部110よりマスタアーム2の動作情報(マスタ動作情報)と時間情報とが入力される。取得したマスタアーム2の動作情報を基にサンプリング周期毎のマスタアーム2のハンド4の移動量を算出し、算出した移動量にゲインを掛け、補正マスタ動作情報(移動量指令値)としてスレーブ制御部116に出力する。

マスタ動作情報補正部112によるマスタアーム2のハンド4の移動量の算出方法について説明する。図3で表されるマスタアーム2の動作情報は、図9の原点O_bを基準としたベース座標系Σ_bにおける位置及び姿勢を表している。この動作情報を、ハンド4の原点O_hを基準としたハンド座標系Σ_hにおける移動量にマスタ動作情報補正部112で変換する。つまり、ベース座標系Σ_bにおけるサンプリング周期毎の位置及び姿勢の移動量d_bに変換行列^bT_hをマスタ動作情報補正部112で掛けることによって、ハンド座標系Σ_hにおけるサンプリング周期毎の位置及び姿勢の移動量d_hをマスタ動作情報補正部112で算出する。ここで、移動量dとは、時点t₀の位置及び姿勢p₀から1サンプリング時間経過した時点t₁での位置及び姿勢p₁との差を表し、d=Δp=p₁−p₀である。

次に、マスタ動作情報補正部112による移動量指令値の算出方法を説明する。上述したハンド座標系Σ_hにおけるサンプリング周期毎の位置及び姿勢の移動量d_hの各要素(位置(x,y,z)及び姿勢(r_x,r_y,r_z))に対して、ゲインk_d(例えば、0.1)をマスタ動作情報補正部112で掛けることによって、補正マスタ動作情報(移動量指令値d_m)をマスタ動作情報補正部112で算出する。ゲインk_dは、スレーブアーム2の移動をマスタアーム2の移動に対して拡大する場合には、1より大きい値にマスタ動作情報補正部112で設定し、縮小する場合には、1より小さい値にマスタ動作情報補正部112で設定する。ゲインk_dは、要素毎に定数をマスタ動作情報補正部112で設定することができ、マスタ入出力IF117を用いて、作業者1がマスタ動作情報補正部112に入力することができる。

図10に補正マスタ動作情報と、時間情報との一例を示す。

マスタ動作情報補正部112は、算出した補正マスタ動作情報と、時間情報とをスレーブ制御部116に出力する。

(力情報補正部113) 力情報補正部113は、表示情報取得部111から拡大率情報と時間情報とが入力され、力情報取得部115より力情報と時間情報とが入力される。取得した拡大率情報を基に力情報を補正する。力情報の補正方法については、取得した拡大率情報にゲインを力情報補正部113で掛け、このようにして得られた値を、前記取得した力情報に力情報補正部113で掛けることによって、力情報を力情報補正部113で補正する。

ここでは、力情報補正部113において、拡大率情報が大きければ大きいほど、力情報を大きく補正するように補正力情報を生成する。このことは、作業者1が対象物を見る場合に、体積が大きい対象物の方が、重さが重いと先入観により判断する(シャルパンティエ効果(大きさ重さ錯覚))ため、拡大率が大きい場合の方が、対象物が大きく見え、対象物が重いとイメージしてしまう。その結果、同じ対象物に対して作業を行っている場合においても、拡大率が大きい場合の方が、重い対象物と判断し、大きな力を対象物に加えてしまう。このように、拡大率が変わった場合においても同じ大きさの力を対象物に加えられるように、拡大率情報を力情報に乗算した値に力情報を補正する。拡大率が大きい場合に、力情報を大きく補正することによって、対象物に加える力が拡大率にかかわらず同じになるように作業者1を誘導する。

一例として、図1のように微細部品8の挿入作業を行う場合において、撮像装置6の拡大率を変えながら作業を行う。例えば、挿入位置まで微細部品8を移動させる工程では、周りの治具などとの干渉をチェックしながら、おおまかに作業を行うので、画像を縮小して作業を行う。また、挿入作業を行う工程では、微細部品8及びコネクタ9の状態を詳細に確認しながら作業を行うので、画像を拡大して作業を行う。ここでは、拡大する場合と縮小する場合とを、それぞれ図を用いて説明する。

(I)画像を拡大して作業を行う場合 画像を拡大して作業を行う場合について、図11を用いて説明する。図11は、撮像装置6である拡大率で拡大して撮像した画像をディスプレイ7に映しており、作業者1はその画像を見ながらマスタアーム2を操作して作業を行う。このように作業をしているときに問題となるのが、作業者1は拡大されたハンド7及び微細部品8の映像を見ながら作業を行っているので、作業者1には微細部品8及びコネクタ9が実物よりも大きく見え、重い対象物とイメージしてしまう傾向がある。そのため、微細部品8とコネクタ9とが接触する際に、作業者1がマスタアーム2に対して大きな力を加えて大きな負荷を加えてしまうことがある。このような問題に対して、拡大率情報を力情報に掛けて力情報補正部113で補正し、補正された情報に基づき、後述する力情報提示部114でマスタアーム2及びディスプレイ7を介して作業者1に力を提示するようにする。このように構成することによって、作業者1が作業を行う(図11中の矢印Aの方向に押し下げる)際に、力センサ5で取得した力情報(図11中のF₀)より大きい力(図11中のF₁)をマスタアーム2及びディスプレイ7を介して作業者1に提示することとなる。そのため、作業者1は、接触度合が大きいと判断し、より小さな力で接触させようとするため、過負荷の生じない力をマスタアーム2に加えることができる。この例のように、作業を行うときに、負荷を加えてはいけない作業の場合において、力情報補正部113で拡大率情報を力情報に乗算することによって、作業者1は、拡大率情報に応じた適切な力を印加することができるように誘導される。

(II)画像を縮小して作業を行う場合 画像を縮小して作業を行う場合について、図12を用いて説明する。図12は、撮像装置6で縮小して撮像した画像をディスプレイ7に映しており、作業者1はその画像を見ながらマスタアーム2を操作して作業を行う。このように作業をしているときに問題となるのが、作業者1は縮小されたハンド7及び微細部品8を見ながら作業を行っているので、作業者1には微細部品8及びコネクタ9が実物よりも小さく見え、軽い対象物とイメージしてしまう傾向がある。そのため、微細部品8とコネクタ9とが接触する際に、作業者1がマスタアーム2に対して、微細部品8をコネクタ9に挿入するのに必要な力を加えることができず、微細部品8をコネクタ9にしっかり挿入できないことがある。このような問題に対して、拡大率情報を力情報に掛けて力情報補正部113で補正し、補正された情報に基づき、後述する力情報提示部114でマスタアーム2及びディスプレイ7を介して作業者1に力を提示するようにする。このように構成することによって、作業者1が作業を行う(図11中の矢印Aの方向に押し下げる)際に、力センサ5で取得した力情報(図12中のF₀)より小さい力(図12中のF₁)をマスタアーム2及びディスプレイ7を介して作業者1に提示することとなる。そのため、作業者1は、接触度合が小さいと判断し、より大きな力で接触させようとするため、挿入に必要な力をマスタアーム2に加えることができる。この例のように、作業を行うときに、適切な力を印加することが必要な作業の場合において、力情報補正部113で拡大率情報を力情報に乗算することによって、作業者1は、拡大率情報に応じた適切な力を印加することができるように誘導される。

上述したように拡大率情報に対して補正係数としてゲインαを力情報補正部113で掛けた値を、前記取得した力情報に力情報補正部113で掛けることによって、補正力情報を力情報補正部113で生成する。ここで、ゲインαは、作業者1がマスタ入出力IF117を用いて力情報補正部113に入力することができる。

力情報補正部113は、生成した補正力情報と時間情報とを力情報提示部114に出力する。

なお、力補正を行う範囲を閾値で設定することも可能である。例えば、上限値の閾値を設定する場合は、設定した上限値の絶対値(例えば、10N)を補正後の力の絶対値が超えると、補正後の力の絶対値を上限値の絶対値に力情報補正部113で修正する。また、下限値の閾値を設定する場合は、設定した下限値の絶対値(例えば、1N)を補正後の力の絶対値が下回ると、補正後の力の絶対値を補正前の力の絶対値に力情報補正部113で修正する。

なお、力補正のタイミングについて、作業開始時から作業終了時まで力情報補正部113で力補正を行う。また、拡大率情報を用いて、力補正をするかしないかを力情報補正部113で判断することも可能である。一例として、拡大率情報が、ある範囲(0.8〜1.2)を超えたと力情報補正部113で判断したときに力情報補正部113で補正を行い、ある範囲内であると力情報補正部113で判断したときは力情報補正部113で補正を行わない。このように範囲を設けて、力補正するかしないかを力情報補正部113で判断することによって、拡大率の誤差などの影響を省くことができ、力の補正が必要な作業時に補正を力情報補正部113でかけることができる。

なお、前記説明では、力情報補正部113により力情報の大きさを補正したが、力情報の更新の周期を力情報補正部113で補正する方法も可能である。上述した説明では、予め決められた一定の周期(例えば、1msec)で力情報を、表示情報取得部111で取得して力情報補正部113に入力し、力情報補正部113で更新している。それに対して、力情報補正部113で、更新の周期を、前記予め決められた周期よりも、速くしたり又は遅くしたり変更することもできる。具体的には、力情報の大きさを大きくしたい場合には、力情報の大きさを変えずに、力情報補正部113で力情報の更新周期を、前記予め決められた周期よりも遅くする。より具体的には、力情報の大きさを2倍にしたい場合には、力情報補正部113で例えば更新周期を2倍にする。一方、力情報の大きさを小さくしたい場合には、力情報の大きさを変えずに、力情報補正部113で力情報の更新周期を、前記予め決められた周期よりも速くする。より具体的には、力情報の大きさを1/2倍にしたい場合には、力情報補正部113で例えば更新周期を1/2倍にする。

力情報の更新周期を力情報補正部113で変更することが、力情報の大きさを力情報補正部113で変更することと同じ効果が得られる理由について、図13のグラフを用いて説明する。図13は、横軸が時間情報を表し、縦軸が力情報を表し、力情報の時系列データを表す。横軸の数字は時間情報を表す。力情報における黒丸は更新周期が1msecのデータを表し、白丸は更新周期が2msecのデータを表す。力情報をF_kと表すと、更新周期が1msecの場合はk=1,2,3,…であり、更新周期が2msecの場合はk=2,4,6,…である。力情報の更新周期毎の変位をΔF_kと表す。例えば、時間情報が2のときの力情報の更新周期毎の変位ΔF₂について、更新周期が1msecのときはΔF₂=F₂−F₁として算出し、更新周期が2msecのときはΔF₂=F₂−F₀として算出する。よって、更新周期が1msecのΔF₂と比較して、更新周期が2msecのΔF₂は力情報の変位が大きくなる。この例のように、更新周期を遅くすると力情報の変位が大きくなるので、作業者1は力情報が大きくなったように感じる。これは、作業者が力覚を感じるときに力の変位を感じることに起因する。また、更新周期は、一例として、1〜500msec程度とする。

このように力情報を補正する際に、力情報の大きさを補正するのではなく、力情報の更新周期を補正することも可能である。補正する際に力情報の大きさは変化させないので、力情報を大きく変化させすぎてしまうことがない。また、力情報の大きさを補正することができないシステムの場合においても、力情報の大きさを補正することと同様の効果を得ることができる。

(力情報提示部114) 力情報提示部114は、力情報補正部113より補正力情報と時間情報とが入力される。力情報提示部114は、取得した補正力情報を、マスタ入出力IF117及びマスタモータドライバ118を介し、さらにマスタアーム2を介して作業者1に提示するために、補正力情報をマスタアーム2が出力できるように指令値を生成する。このとき、マスタアーム2を介して作業者1に提示すると同時に、提示する情報などをディスプレイ7に表示するようにしてもよい。

指令値の生成方法について説明する。マスタアーム2として力制御可能なアームを使用する場合は、補正力情報をそのまま指令値として力情報提示部114で用いる。マスタアーム2として力制御ができず、位置制御が可能なアームを使用する場合は、フックの法則を用いて補正力情報を位置情報に力情報提示部114で変換し、変換した位置情報を力情報提示部114で指令値とする。

力情報提示部114は、生成したマスタアーム2への指令値を、サンプリング周期毎に、マスタ入出力IF117及びマスタモータドライバ118を介してマスタアーム2に出力する。

<スレーブ制御装置本体部の説明> スレーブ制御装置本体部107は、力情報取得部115と、スレーブ制御部116とで構成されている。

(力センサ5) 力センサ5は、図1に示すように、スレーブアーム3のハンド4の手首部に設置され、対象物が被対象物に接触した際に生じる反力を測定する。ここでは、力3軸トルク3軸の計6軸計測することができる力センサを使用する。なお、1軸以上計測可能な力センサなら任意の力センサを使用することができる。また、力センサ5は、例えば、ひずみゲージ式の力覚センサを用いることによって実現する。

力センサ5で計測した力情報は、スレーブアーム3に外部から加えられた力情報として、力情報取得部115に出力する。

(力情報取得部115) 力情報取得部115は、力センサ5から力情報と、スレーブ入出力IF119に内蔵されたタイマからの時間情報とが入力される。図14に、力情報と、時間情報とを示す。

なお、力情報取得部115は、スレーブ入出力IF119を介して力センサ5から力情報を取得することも可能である。

力情報取得部115は、取得した力情報と、時間情報とを力情報補正部113に出力する。

(スレーブ制御部116) スレーブ制御部116は、マスタ動作情報補正部112から、補正マスタ動作情報と、時間情報とが入力される。スレーブ制御部116は、取得した補正マスタ動作情報に従い、スレーブアーム3が移動できるように、指令値を生成する。

ここで、スレーブ制御部116による指令値の生成方法について説明する。スレーブ制御部116で取得した補正マスタ動作情報がハンド4の移動量に関する情報であるので、まず、スレーブアーム3のハンド4の座標系において、取得した移動量分移動する位置及び姿勢をスレーブ制御部116で算出する。スレーブ制御部116で算出したハンド4の座標系における位置及び姿勢について、スレーブアーム3のベース座標系における位置及び姿勢にスレーブ制御部116で変換する。次いで、変換したスレーブアーム3のベース座標系における位置及び姿勢に移動するような指令値をスレーブ制御部116で生成する。

スレーブ制御部116は、生成したスレーブアーム3への指令値を、サンプリング周期毎に、スレーブ入出力IF119及びスレーブモータドライバ120を介して、スレーブアーム3に出力する。

<マスタ周辺装置の説明> マスタ周辺装置108は、マスタ入出力IF117と、マスタモータドライバ118とで構成されている。

(マスタ入出力IF117) マスタ入出力IF117は、力情報提示部114から入力された指令値をマスタモータドライバ118に出力する。また、マスタ入出力IF117は、マスタアーム2の各関節軸のエンコーダから入力された値から、マスタアーム2の位置情報及び姿勢情報をエンコーダ内部の演算部(図示せず)で求め、位置情報及び姿勢情報とマスタ入出力IF117に内蔵されたタイマからの時間情報とを、マスタ入出力IF117からマスタ動作情報取得部110に出力する。マスタ入出力IF117に内蔵されたタイマからの時間情報を表示情報取得部111に出力する。また、マスタ入出力IF117は、図15に示すように、入力部117Aと出力部117Bとによって構成される。入力部117Aは、入力IFとなっており、キーボード又はマウス又はタッチパネル又は音声入力などにより作業者1が項目を選択する場合、又は、キーボード又はマウス又はタッチパネル又は音声入力などにより作業者1が数字を入力する場合などに用いられる。出力部117Bは、出力IFとなっており、取得した情報などを外部に出力する場合又はディスプレイ7などに表示する場合などに用いられる。

(マスタモータドライバ118) マスタモータドライバ118は、マスタ入出力IF117から取得した指令値を基に、マスタアーム2を制御するために、マスタアーム2の各関節軸のモータへの指令値をマスタアーム2に出力する。

<スレーブ周辺装置の説明> スレーブ周辺装置109は、スレーブ入出力IF119と、スレーブモータドライバ120とで構成されている。

(スレーブ入出力IF119) スレーブ入出力IF119は、スレーブ制御部116から入力された指令値をスレーブモータドライバ120に出力する。スレーブ入出力IF119に内蔵されたタイマからの時間情報を、力情報取得部115に出力する。また、スレーブ入出力IF119は、マスタ入出力IF117と同様に、図15に示す構成の入力部119Aと出力部119Bとによって構成される。入力部119Aは、入力IFとなっており、キーボード又はマウス又はタッチパネル又は音声入力などにより作業者1が項目を選択する場合、又は、キーボード又はマウス又はタッチパネル又は音声入力などにより作業者1が数字を入力する場合などに用いられる。出力部119Bは、出力IFとなっており、取得した情報などを外部に出力する場合又はディスプレイ7などに表示する場合などに用いられる。

(スレーブモータドライバ120) スレーブモータドライバ120は、スレーブ入出力IF119から取得した指令値を基に、スレーブアーム3を制御するために、スレーブアーム3の各関節軸のモータへの指令値をスレーブアーム3に出力する。

<マスタアーム2の説明> マスタアーム2において、マスタ入出力IF117に内蔵されたタイマを利用して、ある一定時間毎(例えば、1msec毎)に、マスタアーム2の動作情報をマスタアーム2の各エンコーダを用いてエンコーダ内部の演算部で求めて、マスタ入出力IF117に出力する。また、マスタアーム2は、マスタモータドライバ118からの指令値に従って制御される。

マスタアーム2は、各関節にモータとエンコーダとが配置されてあり、所望の位置及び姿勢に制御することができる。ここでは、6関節を有する6自由度の多リンクマニピュレータとする。なお、マスタアーム2の関節数及び自由度は、第1実施形態の数に限られるわけではなく、1以上のいかなる数でも可能である。

<スレーブアームの説明> スレーブアーム3において、スレーブ入出力IF119に内蔵されたタイマを利用して、ある一定時間毎(例えば、1msec毎)に、スレーブアーム3の動作情報をスレーブアーム3の各エンコーダを用いてエンコーダ内部の演算部で求めてスレーブ入出力IF119に出力する。また、スレーブアーム3は、スレーブモータドライバ120からの指令値に従って制御される。

スレーブアーム3は、各関節にモータとエンコーダとがあり、所望の位置及び姿勢に制御することができる。ここでは、スレーブアーム3は、6関節を有する6自由度の多リンクマニピュレータとする。なお、スレーブアーム3の関節数及び自由度は、第1実施形態の数に限られるわけではなく、1以上のいかなる数でも可能である。

<フローチャート> 第1実施形態のマスタスレーブロボット100の操作手順を、図16及び図17のフローチャートを用いて説明する。

図16は、第1実施形態のマスタスレーブロボット100の操作の一例を示す。

まず、ステップS201では、作業者1がディスプレイ7に映し出された画像を見ながら、マスタアーム2を把持し、操作し、ステップS202に進む。

次に、ステップS202では、マスタ動作情報補正部112において、取得したマスタ動作情報を補正し、スレーブアーム3が移動するための補正マスタ動作情報を生成し、ステップS203に進む。

次に、ステップS203では、スレーブ制御部116は、マスタ動作情報補正部112から取得した補正マスタ動作情報に従い、スレーブアーム3が移動できるように、指令値を生成する。スレーブ制御部116は、生成したスレーブアーム3への指令値を、サンプリング周期毎に、スレーブ入出力IF119及びスレーブモータドライバ120を介して、スレーブアーム3に出力して、スレーブアーム3が移動して作業を行い、ステップS204に進む。

次に、ステップS204では、スレーブアーム3の手先に取り付けられた力センサ5で作業時に生じる力情報を検出し、検出した力情報を力情報取得部115で取得し、ステップS205に進む。

次に、ステップS205では、力情報取得部115で取得した力情報と表示情報取得部111で取得した拡大率情報とに基づいて、拡大率情報で力情報を力情報補正部113で補正して補正力情報を力情報補正部113で生成し、ステップS206に進む。

次に、ステップS206では、力情報補正部113で生成した補正力情報に従い、力情報提示部114では、マスタ入出力IF117を介して、マスタアーム2が力提示を行い、作業者1に力が提示される。

これで、一連の操作を終了する。

図17では、図16で表されるフローチャートのステップS204の力情報取得と、ステップS205の補正力情報生成と、ステップS206の力提示とについて、詳しく説明する。

まず、ステップS301では、表示情報取得部111において表示情報を取得し、ステップS302に進む。

次に、ステップS302では、力情報取得部115において力情報を取得し、ステップS303に進む。

次に、ステップS303では、力情報補正部113において、力情報取得部115から取得した力情報に対して、拡大率情報を掛け、画面上の情報に補正した補正力情報を生成し、ステップS304に進む。

次に、ステップS304では、力情報提示部114において、力情報補正部113から取得した補正力情報に従い、マスタアーム2への指令値を生成し、マスタ入出力IF117及びマスタモータドライバ118を介してマスタアーム2で力提示を行い、作業者1に力が提示される。

(変形例) 図18は本発明の第1実施形態の変形例のブロック図である。第1実施形態の変形例として、マスタスレーブロボット100のマスタ制御装置106において、表示制御部121と表示部122とを追加して備えるように構成することもできる。

(表示制御部121) 表示制御部121は、表示情報取得部111から撮像画像情報と、拡大率情報と、撮像装置位置情報と、マスタ入出力IF117に内蔵されたタイマより時間情報とが入力される。

表示制御部121は、表示情報取得部111から取得した撮像画像を拡大又は縮小又はトリミングを行い、表示部122に出力する。表示部122に出力する撮像画像は、表示制御部121の内部記憶部(図示せず)に記憶されている。よって、表示制御部121で拡大又は縮小又はトリミングを行ったのちに表示制御部121から表示部122に出力する撮像画像を、撮像画像情報として内部記憶部に記憶させて、撮像画像を更新する。また、拡大又は縮小を行った際の拡大率も表示制御部121の内部記憶部に記憶されている。よって、拡大又は縮小を行った際の拡大率を、表示情報取得部111から取得した拡大率情報に表示制御部121で掛けることによって取得する値を、拡大率情報として内部記憶部に記憶させて、拡大率情報を更新する。このようにして得られた拡大率情報と、マスタ入出力IF117に内蔵されたタイマからの時間情報とを、表示制御部121は力情報補正部113に出力する。また、表示制御部121は、撮像画像情報を表示部122に出力する。

(表示部122) 表示部122は、表示制御部121から撮像画像情報が入力される。入力された撮像画像情報をディスプレイ(表示部122の画面)7に表示する。

このように表示制御部121及び表示部122が追加されることによって、撮像装置6で取得した画像を加工してディスプレイ7に出力する場合においても、拡大率情報に応じて力情報を補正することができる。

《第1実施形態の効果》 画面上の対象物の大きさに起因する作業者1の現実とは異なる先入観が生じた場合においても、撮像装置6の拡大率情報に対応して力情報を力情報補正部113で補正し、力情報提示部114で力提示を行うことによって、作業者1が作業を正確に行うことができる。すなわち、作業者1が映像を見ながら操作するマスタスレーブロボット100において、拡大率などが変化した場合においても、見ている映像に対応した力提示を行うことができ、作業者1は正確にかつ効率良く作業ができる。

(第2実施形態) 本発明の第2実施形態における、マスタスレーブロボット100Bの制御装置101Bを含むマスタスレーブロボット100Bの概要について説明する。図19Aは、本発明の第2実施形態における、マスタスレーブロボット100Bのブロック図を示す。本発明の第2実施形態のマスタロボット102Bにおけるマスタアーム2と、マスタ周辺装置108と、マスタ制御装置106Bのうちのマスタ動作情報取得部110と表示情報取得部111とマスタ動作情報補正部112と力情報補正部113と力情報提示部114と、スレーブロボット103とは第1実施形態と同様であるので、共通の参照符号を付して共通部分の説明は省略し、異なる部分(大きさ情報算出部123と、対象物情報記憶部124と、拡大率情報算出部125と)についてのみ、以下、詳細に説明する。なお、スレーブ制御装置本体部107と、マスタ制御装置本体部106Bとでマスタスレーブロボット100Bの制御装置101Bを構成して、スレーブアーム3とマスタアーム2とを動作制御している。マスタロボット102Bは、マスタアーム2と、マスタアーム2の制御装置104Bとで構成されている。

(大きさ情報算出部123) 大きさ情報算出部123は、表示情報取得部111より撮像画像情報と、時間情報とが入力される。大きさ情報算出部123は、取得した表示情報を基に、ディスプレイ7の画面上での微細部品8及び挿入口9の大きさ情報を算出する。

大きさ情報算出部123による大きさ情報の算出方法について説明する。ここでは、大きさ情報算出部123において、画像処理を用いて、画面上での対象物の大きさ情報を測定(算出)する。大きさ情報を測定(算出)する際に、画面上での対象物の長さ情報又は面積情報を大きさ情報算出部123で測定(算出)する。長さ情報か又は面積情報かの選択は、マスタ入出力IF117を用いて作業者1が大きさ情報算出部123に入力する。長さ情報は、図20に示すような画面上では、微細部品8の一辺の長さA及びBを表すとともに、挿入口9の一辺の長さC及びDを表す。また、面積情報は、画面上での微細部品8及び挿入口9の面積を表す。

図21に大きさ情報と、時間情報との一例を示す。

大きさ情報算出部123は、算出した大きさ情報と、時間情報とを拡大率情報算出部125に出力する。

(対象物情報記憶部124) 対象物情報記憶部124は、微細部品8及び挿入口9の実際の大きさ情報を、対象物情報として記憶する。実際の大きさ情報は、作業者1がマスタ入出力IF117を用いて対象物情報記憶部124に入力する。図22Aに対象物情報の一例を示す。対象物情報記憶部124は、対象物情報を拡大率情報算出部125に出力する。

また、対象物情報記憶部124で記憶された対象物情報が複数個ある場合がある。例えば、図22Bで示されるように部品又は挿入口が複数ある場合である。このような場合は、図19Bのブロック図に示すように、対象物情報記憶部124と拡大率情報算出部125との間に対象物情報識別部128を設ける。

対象物情報識別部128は、対象物情報記憶部124で記憶された複数の対象物情報から、使用されている1つの部品を識別し、その識別した部品の対象物情報を、拡大率情報算出部125に出力する。識別方法は、使用部品の型番号を用いて識別する方法、又は、部品にバーコードを取り付け、バーコードリーダを用いてバーコードを読み取って部品を識別する方法などを用いることによって、対象物情報識別部128で識別する。機器10の挿入口9も、部品と同様な識別方法で対象物情報識別部128により識別できる。

(拡大率情報算出部125) 拡大率情報算出部125は、大きさ情報算出部123より大きさ情報と時間情報とが入力され、対象物情報記憶部124より対象物情報の長さ情報又は面積情報が入力される。拡大率情報算出部125は、取得した大きさ情報と対象物情報の長さ情報又は面積情報とを基に、拡大率情報を算出する。拡大率情報の算出方法は、大きさ情報算出部123から取得した大きさ情報に対して、大きさ情報に対応する対象物情報の長さ情報又は面積情報を除算することによって、拡大率情報を拡大率情報算出部125で算出する。図21の大きさ情報と図22Aの対象物情報の長さ情報又は面積情報の例を用いると、図21の大きさ情報である微細部品面積125mm²に対して、図22Aの対象物情報の面積情報の一例としての微細部品面積20mm²を除算し、拡大率情報6.25を拡大率情報算出部125で算出する。

図23A及び図23Bに拡大率情報と、時間情報との一例を示す。

拡大率情報算出部125は、算出した拡大率情報と、時間情報とを力情報補正部113に出力する。

なお、対象物情報識別部128から識別情報が拡大率情報算出部125に入力されている場合には、識別情報に基づいて、対象物情報記憶部124から所望の部品又は挿入口9の情報を取得する。その場合、対象物情報記憶部124からの対象物情報を、対象物情報識別部128を介して、拡大率情報算出部125に出力される。

<フローチャート> 第2実施形態のマスタスレーブロボット100Bの操作手順を、図24のフローチャートを用いて説明する。

第2実施形態のマスタスレーブロボット100Bの操作の一例は、その一部が図16と同様である。ここでは、図16で表されるフローチャートのステップS204の力情報取得と、ステップS205の補正力情報生成と、ステップS206の力提示とについて、図24を用いて説明する。

まず、ステップS301では、表示情報取得部111において表示情報を取得し、ステップS305に進む。

次に、ステップS305では、大きさ情報算出部123において大きさ情報を算出し、対象物情報記憶部124から対象物情報を取得し、ステップS306に進む。

次に、ステップS306では、拡大率情報算出部125において、大きさ情報算出部123から取得した大きさ情報と対象物情報記憶部124から取得した対象物情報とを用いて拡大率情報を算出する際に、長さ情報を使用するかどうか選択する。長さ情報を使用する場合はステップS307に進み、長さ情報を使用せず面積情報を使用する場合はステップS308に進む。

次に、ステップS307では、拡大率情報算出部125において、取得した大きさ情報と対応する対象物情報の長さ情報を大きさ情報算出部123から取得して、ステップS309に進む。

次に、ステップS308では、拡大率情報算出部125において、取得した大きさ情報と対応する対象物情報の面積情報を大きさ情報算出部123から取得して、ステップS309に進む。

ステップS309では、拡大率情報算出部125において、大きさ情報を対象物情報の長さ情報又は面積情報で除算することによって拡大率情報を算出して、ステップS302に進む。

次に、ステップS302では、力情報取得部115において力センサ5から力情報を取得し、ステップS303に進む。

次に、ステップS303では、力情報補正部113において、力情報取得部115から取得した力情報に対して、拡大率情報算出部125から取得した拡大率情報を掛け、画面上の情報に補正した補正力情報を生成し、ステップS304に進む。

次に、ステップS304では、力情報提示部114において、力情報補正部113から取得した補正力情報に従い、マスタアーム2への指令値を生成し、マスタ入出力IF117及びマスタモータドライバ118を介してマスタアーム2で力提示を行い、作業者1に力が提示される。

《第2実施形態の効果》 撮像装置6の拡大率情報を直接用いず、画面上の対象物の大きさ情報と実際の対象物の大きさ情報とを用いて拡大率情報を拡大率情報算出部125で算出することによって、撮像装置6の位置及び姿勢によって対象物の映り方が異なる場合にも対応でき、作業者1が作業を正確に行うことができる。

(第3実施形態) 第1実施形態及び第2実施形態では、力情報を補正することによって、拡大率に応じた操作を可能としている。第3実施形態では、力フィードバックにおける力情報の補正に加えて、動作情報を補正することによって、拡大率に応じた操作を可能とする。

本発明の第3実施形態における、マスタスレーブロボット100Cの制御装置101Cを含むマスタスレーブロボット100Cの概要について説明する。図25は、本発明の第3実施形態における、マスタスレーブロボット100Cのブロック図を示す。本発明の第3実施形態のマスタロボット102Cにおけるマスタアーム2と、マスタ周辺装置108と、マスタ制御装置106Cのうちのマスタ動作情報取得部110と力情報補正部113と力情報提示部114と、スレーブロボット103とは第1実施形態と同様であるので、共通の参照符号を付して共通部分の説明は省略し、異なる部分(表示情報取得部126とマスタ動作情報補正部127)についてのみ、以下、詳細に説明する。なお、スレーブ制御装置本体部107と、マスタ制御装置本体部106Cとでマスタスレーブロボット100Cの制御装置101Cを構成して、スレーブアーム3とマスタアーム2とを動作制御している。マスタロボット102Cは、マスタアーム2と、マスタアーム2の制御装置104Cとで構成されている。

力情報補正部113における力フィードバックの力情報の補正方法も第1実施形態と同様である。ここでは、追加の補正方法である、動作情報の補正方法について詳細を説明する。

(表示情報取得部126) 表示情報取得部126は、第1実施形態の表示情報取得部111に代えて、制御装置104Cに備えられ、第1実施形態における表示情報取得部111では、取得した拡大率情報と時間情報とを力情報補正部113に出力していたが、表示情報取得部126では、取得した拡大率情報と時間情報とをマスタ動作情報補正部127に出力する。

(マスタ動作情報補正部127) マスタ動作情報補正部127は、第1実施形態のマスタ動作情報補正部112に代えて制御装置104Cに備えられ、第1実施形態におけるマスタ動作情報補正部112の機能に加えて、拡大率情報を基にマスタ動作情報を補正する機能を有する。

マスタ動作情報補正部127は、表示情報取得部126から拡大率情報と時間情報とが入力され、マスタ動作情報取得部110よりマスタ動作情報と時間情報とが入力される。マスタ動作情報補正部127は、表示情報取得部126から取得した拡大率情報を基にマスタ動作情報を補正する。マスタ動作情報の補正方法については、マスタ動作情報取得部110から取得したマスタ動作情報を、マスタ動作情報取得部110から取得した拡大率情報でマスタ動作情報補正部127で割り、その結果得られた値に対してもゲインをマスタ動作情報補正部127で掛けることによって、マスタ動作情報をマスタ動作情報補正部127で補正する。

つまり、拡大率情報が大きければ大きいほど、マスタ動作情報が小さくなるように、マスタ動作情報補正部127で補正する。これは、第1実施形態の力情報補正部113において、拡大率情報が大きければ大きいほど、力情報が大きくなるように、マスタ動作情報補正部127で補正することに対応する。第1実施形態の力情報補正部113では、拡大率が大きい場合に、力情報を大きく補正することによって、対象物に加える力が拡大率にかかわらず同じになるように作業者1を誘導する。マスタ動作情報補正部127では、拡大率が大きい場合に、マスタ動作情報を小さくなるように、マスタ動作情報補正部127で補正することによって、対象物に加える力が拡大率にかかわらず同じになるように制御する。同様に、拡大率が小さい場合には、マスタ動作情報を大きくなるように、マスタ動作情報補正部127で補正することによって、対象物に加える力が拡大率にかかわらず同じになるように制御する。

マスタ動作情報の補正方法は、マスタ動作情報に対して拡大率情報で除算することによってマスタ動作情報補正部127で算出する。マスタ動作情報を拡大率情報で除算した情報に対してゲインβを掛けることによって、補正マスタ動作情報をマスタ動作情報補正部127で生成する。ここで、ゲインβは、作業者1がマスタ入出力IF117を用いて入力することができる。

<フローチャート> 第3実施形態のマスタスレーブロボット100Cの操作手順を、図26のフローチャートを用いて説明する。

第3実施形態のマスタスレーブロボット100Cの操作の一例は、その一部が図16と同様である。ここでは、図16で表されるフローチャートのステップS201の作業者1がマスタアームを操作と、ステップS202の補正マスタ動作情報生成と、ステップS203のスレーブアーム移動とについて、図26を用いて説明する。

まず、ステップS301では、表示情報取得部126において表示情報を取得し、ステップS310に進む。

次に、ステップS310では、マスタ動作情報取得部110においてマスタ動作情報を取得し、ステップS311に進む。

次に、ステップS311では、マスタ動作情報補正部127において、マスタ動作情報取得部110から取得したマスタ動作情報に対して、拡大率情報を除算し、画面上の情報に補正した補正マスタ動作情報を生成し、ステップS312に進む。

次に、ステップS312では、スレーブ制御部116において、マスタ動作情報補正部127から取得した補正マスタ動作情報に従いスレーブアーム3への指令値を生成する。スレーブ制御部116は、生成したスレーブアーム3への指令値を、サンプリング周期毎に、スレーブ入出力IF119及びスレーブモータドライバ120を介して、スレーブアーム3に出力して、スレーブアーム3が移動して作業を行う。

(変形例) 第3実施形態の変形例として、対象物が柔軟物の場合について説明する。この変形例の場合、マスタ動作情報補正部127の補正方法が先の実施形態とは異なっている。上述した第3実施形態においては、拡大率情報が大きければ大きいほど、マスタ動作情報を小さく補正している。具体的には、マスタ動作情報に対して拡大率情報を除算することによって、マスタ動作情報を補正している。

ここでは、拡大率情報が大きければ大きいほど、マスタ動作情報を大きくなるように、マスタ動作情報補正部127で補正する。具体的には、マスタ動作情報に対して拡大率情報をマスタ動作情報補正部127で乗算することによって、マスタ動作情報をマスタ動作情報補正部127で補正する。これは、作業者1は柔軟な対象物が拡大されて見えると、変形している際に大きく変形しているように見え、作業者1が大きく力を加えていると判断し、作業に必要な力より小さな力しか加えないという問題を解消するためである。つまり、拡大率が大きくなると、作業者1は、必要な力より小さな力しか加えないことが生じるので、拡大率が大きい場合は、スレーブアーム3が大きく移動するように、この変形例にかかるマスタスレーブロボットの制御装置で制御し、必要な力を加えるようにする。一方で、拡大率が小さい場合は、スレーブアーム3が小さく移動するように、この変形例にかかるマスタスレーブロボットの制御装置で制御する。

以下、図27A及び図27Bを用いて説明する。図27Aは拡大率情報が大きい場合を示し、図27Bは拡大率情報が小さい場合を示す。図27Aと図27Bとの微細部品8の挿入口9への実際の力は同じ大きさの力が加わっているが、作業者1は、図27Aの方が大きく変形しているため、図27Aの場合の方が小さな力しか加えない。一方で、図27Bは、図27Aと比較すると、作業者1は大きな力を加える。よって、これらを同じ大きさの力で作業を行うようにするために、図27Aの拡大率情報が大きい場合は、スレーブアーム3が大きく移動するように、マスタ動作情報をマスタ動作情報補正部127で補正する。図27Bの拡大率情報が小さい場合は、スレーブアーム3が小さく移動するように、マスタ動作情報をマスタ動作情報補正部127で補正する。

また、対象物が柔軟物の場合においても、ディスプレイ7の画面上で柔軟物の変形がない場合は、拡大率情報が大きければ大きいほど、マスタ動作情報を小さくなるようにマスタ動作情報補正部127で補正する。これは、対象物が柔軟物の場合であっても、画面上で変形が見えない場合は、上述した変形による作業者1の力の感じ方の変化が生じず、大きさの先入観による力の感じ方の変化のみ生じるためである。

《第3実施形態の効果》 力フィードバックにおける力情報の補正に加えて、マスタ動作情報をマスタ動作情報補正部127で補正するので、力情報を補正できないシステムでも使用することができる。また、スレーブの動作を制御するので、所望の操作を行いやすい。

(第4実施形態) 第1実施形態では、剛体の対象物に対して力情報を補正することによって、拡大率に応じた操作を可能としている。第4実施形態では、剛体の対象物ではなく、柔軟物の対象物に対して力情報を補正することによって、拡大率に応じた操作を可能とする。

本発明の第4実施形態における、マスタスレーブロボット100Dの制御装置101Dを含むマスタスレーブロボット100Dの概要について説明する。図28は、本発明の第4実施形態における、マスタスレーブロボット100Dのブロック図を示す。本発明の第4実施形態のマスタロボット102Dにおけるマスタアーム2と、マスタ周辺装置108と、マスタ制御装置106Dのうちのマスタ動作情報取得部110と表示情報取得部111とマスタ動作情報補正部112と力情報補正部113と力情報提示部114と、スレーブロボット103とは第1実施形態と同様であるので、共通の参照符号を付して共通部分の説明は省略し、異なる部分(変形情報算出部129)についてのみ、以下、詳細に説明する。なお、スレーブ制御装置本体部107と、マスタ制御装置本体部106Dとでマスタスレーブロボット100Dの制御装置101Dを構成して、スレーブアーム3とマスタアーム2とを動作制御している。マスタロボット102Dは、マスタアーム2と、マスタアーム2の制御装置104Dとで構成されている。

(変形情報算出部129) 変形情報算出部129には、表示情報取得部111より撮像画像情報と、拡大率情報と、撮像装置位置情報と、時間情報とが入力される。変形情報算出部129は、入力された撮像画像情報を基に対象物が変形しているか、変形していないかを検出し、変形している場合は力情報を補正しないよう力情報補正部113に指令し、変形していない場合は拡大率情報に基づいて力情報を補正するよう力情報補正部113に指令する。

まず、変形情報算出部129による対象物の変形の検出方法について説明する。ここでは、画像処理技術を用いて変形量を変形情報算出部129で算出する。

柔軟物の微細部品8の挿入作業について、図29A、図29B、及び、図29Cを用いて説明する。図29A〜図29Cは、ディスプレイ7の画面上で挿入方向にハンド4で把持した微細部品8が進み、コネクタ9に挿入している状態を示す。ただし、微細部品8の変形がわかりやすいように、ディスプレイ7に映し出される表示画像について、図1と比較して挿入方向を約90度回転させて表示している。図29Aは、微細部品8とコネクタ9とが接触していない状態を示す。図29Bは、微細部品8とコネクタ9とが接触した時点である。図29Cは、コネクタ9に微細部品8を挿入し、微細部品8が曲がっている時点である。表示情報取得部111から入力された撮像画像情報を基に、画像処理を用いて、変形情報算出部129で、微細部品8の端点A及び端点Bを検出する。検出した端点A及び端点Bとの挿入方向での距離を変形情報算出部129で検出する。図29Cでは、端点Aと端点Bとの破線で示される直線の距離L₁を変形情報算出部129で検出する。検出した距離を用いて、微細部品8が曲がっていない時点の距離L₁₀からの変化分を画面上柔軟物変形情報として変形情報算出部129で検出する。微細部品8が曲がっていない時点における端点A、端点Bとの挿入方向での距離L₁を図29Aや図29Bの時点でキャリブレーションする必要がある。具体的には、図29Aや図29Bの時点における距離L₁を初期距離L₁₀として変形情報算出部129で内部記憶部(図示せず)に記憶する。

また、微細部品8の挿入作業以外でも、例えば、剛体の医療器具を柔軟物の臓器に挿入する作業のような、対象物が剛体であり、被対象物が柔軟物である場合においても、変形情報算出部129で算出することが可能である。図30A、図30B、及び、図30Cを用いて説明する。図30A〜図30Cは、ディスプレイ7の画面上で挿入方向にハンド4で把持した剛体対象物12が柔軟被対象物13に向かって進み、剛体対象物12を柔軟被対象物13に挿入している状態である。ただし、柔軟被対象物13の変形がわかりやすいように、ディスプレイ7に映し出される表示画像について、図1と比較して、挿入方向を約90度回転させて表示している。図30Aは、剛体対象物12と柔軟被対象物13とが接触していない。図30Bは、剛体対象物12と柔軟被対象物13とが接触した時点である。図30Cは、柔軟被対象物13に剛体対象物12を挿入し、柔軟被対象物13が曲がっている時点である。画面上において画像処理を用いて、剛体対象物12が柔軟被対象物13に接している面の縁Aを変形情報算出部129で検出する。検出した縁Aの挿入方向に対する変形した距離L₂を変形情報算出部129で計測する。このとき、計測する距離としては、縁Aにおいて剛体対象物12が接している部分の変形している距離を変形情報算出部129で計測する。検出した距離を用いて、柔軟被対象物13が曲がっていない時点の距離L₂₀からの変化分を画面上柔軟物変形情報として変形情報算出部129で検出する。柔軟被対象物13が曲がっていない時点における縁Aの挿入方向での位置を図30A又は図30Bの時点でキャリブレーションする必要がある。具体的には、図30A又は図30Bの時点における距離L₂を初期距離L₂₀として変形情報算出部129で内部記憶部に記憶する。なお、計測する距離L₂の算出方法として、縁Aの最も変形している部分の距離又は変形している部分の距離の平均値などを変形情報算出部129で計測することも可能である。具体的に、図31A及び図31Bを用いて説明する。最も変形している部分とは、図31Aに示す破線から縁までの距離が最も長い部分のことを示し、ここでは、図示している距離L₂を変形量とする。変形している部分の距離の平均値とは、図31Bの縁Aにおいて、一定間隔ごとに破線からの距離を変形情報算出部129で求め、変形情報算出部129において、それらの平均値を変形量とする。

また、図29Cの距離L₁と図30Cの距離L₂との両方が存在した場合には、変形情報算出部129で、様々な方法を用いることができる。第一に、変形情報算出部129において、L₁とL₂との和を変形量とする。この方法を用いることによって、変形情報算出部129で変形量が大きく算出されるので、作業者1が距離L₁と距離L₂との変形を見ながら作業を行っている場合に有効である。第二に、変形情報算出部129において、距離L₁と距離L₂とを比較し、大きいほうの値を変形量として用いる。この方法を用いることによって、作業者1が変形量の大きいほうを見ながら作業を行っている場合に有効である。また、これらの方法に加えて、変形量を算出する際に、閾値(例えば、1mm)を変形情報算出部129で設定し、その閾値を超えていない場合は、変形情報算出部129で変形量を0とするなどして、変形量を算出する際の計測誤差及び推定誤差を省くことも可能である。

次に、上述した方法で算出した変形量を用いて、変形しているか、変形していないかを変形情報算出部129で判定する。ここでは、閾値を用いて、変形量が閾値(例えば、10mm)を上回る場合は変形していると変形情報算出部129で判断し、変形量が閾値を下回る場合は変形していないと変形情報算出部129で判断する。閾値は、作業者1がマスタ入出力IF117を用いて変形情報算出部129に入力する。変形していると変形情報算出部129で判断した場合は、力情報を補正しない指令値(例えば、拡大率情報1)を変形情報算出部129から力情報補正部113に出力する。変形していないと変形情報算出部129で判断した場合は、変形情報算出部129で、表示情報取得部111から取得した拡大率情報を、変形情報算出部129から力情報補正部113に出力する。

これは、対象物が柔軟物である場合においても、ディスプレイ7の画面上で変形が見えない場合は、第1実施形態で説明した拡大率情報に起因する先入観によって、作業者1が適切な力で作業を行うことができなくなるためである。そのため、このような場合は、第1実施形態と同様に、拡大率情報が大きければ大きいほど、力情報を大きくなるように力情報補正部113で補正する。一方で、対象物が柔軟物である場合において、ディスプレイ7の画面上で変形が見える場合は、上述した先入観による作業効率の低下は生じない。そのため、このような場合は、拡大率情報が大きければ大きいほど力情報を大きく補正する、という補正は力情報補正部113で施さない。

<フローチャート> 第4実施形態のマスタスレーブロボット100Dの操作手順を、図32のフローチャートを用いて説明する。

第4実施形態のマスタスレーブロボット100Dの操作の一例は、その一部が図16と同様である。ここでは、図16で表されるフローチャートのステップS204の力情報取得と、ステップS205の補正力情報生成と、ステップS206の力提示とについて、図32を用いて説明する。

まず、ステップS301では、表示情報取得部111において表示情報を取得し、ステップS313に進む。

次に、ステップS313では、変形情報算出部129において変形情報を算出し、ステップS314に進む。

次に、ステップS314では、変形情報算出部129において、算出した変形情報と閾値を比較し、変形情報が閾値を上回る場合はステップS315に進み、変形情報が閾値を下回る場合はステップS302に進む。

次に、ステップS315では、力情報取得部115において力情報を取得し、ステップS316に進む。

次に、ステップS316では、力情報提示部114において、取得した力情報に従いマスタアーム2への指令値を生成し、マスタ入出力IF117を介してマスタアーム2で力提示を行い、作業者1に力が提示される。

一方、ステップS302では、力情報取得部115において力情報を取得し、ステップS303に進む。

次に、ステップS303では、力情報補正部113において、力情報取得部115から取得した力情報に対して、拡大率情報を掛け、画面上の情報に補正した補正力情報を生成し、ステップS304に進む。

次に、ステップS304では、力情報提示部114において、力情報補正部113から取得した補正力情報に従い、マスタ入出力IF117を介してマスタアーム2への指令値を生成し、マスタアーム2で力提示を行い、作業者1に力が提示される。

《第4実施形態の効果》 対象物が柔軟物の場合においても、画面上で柔軟物の変形が見えない場合は、拡大率情報が大きければ大きいほど力情報を大きくなるように力情報補正部113で補正することによって、作業者1は作業を正確に行うことができる。

なお、本発明における制御装置における各構成要素は、マスタロボット102と、スレーブロボット103とのどちらが構成することも可能である。

(第5実施形態) 第1実施形態においては、表示情報取得部111から取得した撮像装置6の拡大率情報に基づいて、力情報補正部113で力情報を補正している。第5実施形態では、拡大率情報ではなく、ディスプレイ7に対する作業者1の視野角情報に基づいて、力情報を補正する。なお、作業者1は、拡大率情報と視野角情報とのいずれか一方を選択して、選択された情報を基に力情報を補正することができるようにしている。このため、拡大率情報と視野角情報とのいずれか一方を選択するための選択部117aをマスタ入出力IF117の一例として設けている。よって、マスタ入出力IF117を用いて選択情報を力情報補正部132に入力できるようにしている。なお、以下の視野角情報を使用する実施形態では、作業者1は、ディスプレイ7で推奨されている位置(推奨位置)に固定された椅子に座って作業を行うことを前提としている。

図35は、本発明の第5実施形態における、制御装置101Eを含むマスタスレーブロボット100Eのブロック図を示す。本発明の第5実施形態のマスタスレーブロボット100Eにおけるロボットアーム102Eと、周辺装置105と、マスタアーム2の制御装置104Eのうちのマスタ動作情報取得部110と、マスタ動作情報補正部112と、力情報提示部114とは、第1実施形態と同様であるので、共通の参照符号を付して共通部分の説明は省略し、異なる部分(視野角情報取得部131と力情報補正部132)についてのみ、以下、詳細に説明する。なお、スレーブ制御装置本体部107と、マスタ制御装置本体部106Eとでマスタスレーブロボット100Eの制御装置101Eを構成して、スレーブアーム3とマスタアーム2とを動作制御している。マスタロボット102Eは、マスタアーム2と、マスタアーム2の制御装置104Eとで構成されている。

(視野角情報取得部131) 視野角情報取得部131は、ディスプレイ7から、作業者1の視野角情報を取得する。視野角情報取得部131は、取得した視野角情報を力情報補正部132に出力する。視野角情報について、図36を用いて説明する。視野角情報は、作業時に作業者1がディスプレイ7を見ている場合におけるディスプレイ7に対する作業者1の視野角のことを表す。左右の視野角は、図36の角度aで示す実線部分であり、上下の視野角は、図36の角度bで示す点線部分である。視野角情報取得部131は、ディスプレイ7から、ディスプレイ7で推奨されている位置(推奨位置)からの視野角を、視野角情報として取得する。また、作業者1が、マスタ入出力IF117を用いて、ディスプレイ7の推奨位置からの視野角を視野角情報取得部131に入力することも可能である。視野角情報のデータ図の一例を図37に示す。視野角情報取得部131は、取得した視野角情報を力情報補正部132に出力する。

(力情報補正部132) 力情報補正部132は、力情報補正部113の機能を有するとともに、さらに、視野角情報取得部131から取得した視野角情報を基に、力情報取得部115で取得した力情報を補正し、補正した力情報(補正力情報)を力情報提示部114に出力する機能も有している。視野角情報を基にした力情報の補正方法は、取得した視野角情報が大きければ大きいほど、力情報を大きく補正する。これは、以下の理由による。すなわち、対象物が大きく見えると、作業者1は対象物が重く硬いものであると判断してしまう。この現象は、シャルパンティエ効果という現象に起因し、作業者1は大きなものを重いものと認識する。その結果、対象物に大きな力を加え、必要以上の力を対象物に加えてしまう。よって、作業者1にマスタアーム2を小さく移動させ作業に必要な力のみを加えることを誘導するために、力情報を大きく補正する。

視野角情報を基にした力情報の補正方法は、基準となる視野角情報と、力ゲインの値とが力情報補正部132の内部の記憶部に記憶されており、その値からの視野角情報の差で力情報補正部132で算出される。例えば、基準値が左右の視野角を60度、上下の視野角を30度、力ゲイン値を1.0と設定されており、左右の視野角に対する力ゲイン値の変化率が0.02/度に設定されているとする。そのときに、ある視野角情報が左右の視野角が70度、上下の視野角が35度であるとすると、力ゲイン値が1.2(=1.0+0.02×(70−60))と算出される。また、視野角情報が左右の視野角が50度、上下の視野角が25度であるとすると、力ゲイン値が0.8(=1.0+0.02×(50−60))と算出される。この例では、線形の関係で力ゲイン値を算出したが、多項式又はテーブルを力情報補正部132で持つなど、様々な算出方法を力情報補正部132で用いることができる。

視野角情報と上述したように算出する力ゲイン値との関係を表したデータ図の例を図38に示す。図38は、例えば、作業者1が座高の異なる作業者と交代した場合、又は、椅子の位置を推奨位置から変更した場合の例である。このように、視野角情報に応じて力補正量が力情報補正部132で算出される。

力情報補正部132において、マスタ入出力IF117を用いて選択された選択情報が視野角情報である場合についての動作は、以上の通りである。これに対して、力情報補正部132において、マスタ入出力IF117を用いて選択された選択情報が視野角情報でない場合、すなわち、拡大率情報である場合についての動作は、先の実施形態と同様に力情報補正部113として力補正量が算出される。 力情報補正部132は、算出した補正力情報と、時間情報とを力情報提示部114に出力する。

<フローチャート> 第5実施形態のマスタスレーブロボット100Eの操作手順を、図39のフローチャートを用いて説明する。以下は、力情報補正部132において、マスタ入出力IF117を用いて選択された選択情報が視野角情報である場合についてのみ説明する。力情報補正部132において、マスタ入出力IF117を用いて選択された選択情報が拡大率情報である場合については、既に第1実施形態で説明したとおりである。

第5実施形態のマスタスレーブロボット100Eの操作の一例は、その一部が図16と同様である。ここでは、図16で表されるフローチャートのステップS204の力情報取得と、ステップS205の補正力情報生成と、ステップS206の力提示とについて、図39を用いて説明する。

まず、ステップS401では、視野角情報取得部131において、視野角情報を取得し、ステップS402に進む。

次に、ステップS402では、図16のステップS204と同様に、力情報取得部115において、力情報を取得し、ステップS403に進む。

次に、ステップS403では、図16のステップS205と類似して、力情報補正部132において、視野角情報取得部131からの視野角情報を基に、力情報取得部115から取得した力情報の補正力情報を生成し、ステップS404に進む。

次に、ステップS404では、図16のステップS206と同様に、力情報提示部114において、力情報補正部132から取得した補正力情報に従い、マスタアーム2への指令値を生成し、マスタ入出力IF117及びマスタモータドライバ118を介してマスタアーム2で力提示を行い、作業者1に力が提示される。

これで、一連の操作を終了する。

《第5実施形態の効果》 視野角情報取得部131と力情報補正部132とにより視野角情報を基に力情報を補正するので、作業者1又はディスプレイ7の位置が変わった場合においても、力情報を適切に補正することができ、正確な力を印加するように作業を行うことができる。

(第6実施形態) 第5実施形態においては、ディスプレイ7の推奨位置からの視野角を視野角情報取得部131で取得し、視野角情報取得部131で取得した視野角を基に、力情報補正部132で力情報を補正している。第6実施形態では、ディスプレイ7の位置情報、姿勢情報、及び、大きさ情報と、作業者1の位置情報と視線情報とを基に視野角情報を算出し、力情報を補正する。

図40は、本発明の第6実施形態における、制御装置101Fを含むマスタスレーブロボット100Fのブロック図を示す。本発明の第6実施形態のマスタスレーブロボット100Fにおけるロボットアーム102Fと、周辺装置105と、マスタアーム2の制御装置104Fのうちのマスタ動作情報取得部110と、マスタ動作情報補正部112と、力情報提示部114と、視野角情報取得部131と、力情報補正部132とは第5実施形態と同様であるので、共通の参照符号を付して共通部分の説明は省略し、異なる部分(表示部位置情報取得部133と人位置情報取得部134と視野角情報算出部135)についてのみ、以下、詳細に説明する。なお、スレーブ制御装置本体部107と、マスタ制御装置本体部106Fとでマスタスレーブロボット100Fの制御装置101Fを構成して、スレーブアーム3とマスタアーム2とを動作制御している。マスタロボット102Fは、マスタアーム2と、マスタアーム2の制御装置104Fとで構成されている。

(表示部位置情報取得部133) 表示部位置情報取得部133は、ディスプレイ7(表示部の一例)の位置情報、姿勢情報、及び、大きさ情報を取得する。ディスプレイ7の位置情報及び姿勢情報は、ディスプレイ7に取り付けた位置センサ7a及び姿勢センサ7bから取得する。また、ディスプレイ7を撮像カメラなどで撮像した画像の画像処理などを表示部位置情報取得部133で行い、ディスプレイ7の位置情報及び姿勢情報を検出する方法も可能である。位置情報は、図41にx軸(左右)、y軸(上下)、z軸(前後)で表される座標での位置を表す。位置情報は、例えば、mmの単位で表される。また、姿勢情報は、図41にx軸回転角度r_x、y軸回転角度r_y、z軸回転角度r_zで表される回転での姿勢を表す。各姿勢情報は、例えば、度の単位で表される。また、ディスプレイ7の大きさは、ディスプレイ7のサイズをディスプレイ7から表示部位置情報取得部133で取得する。大きさ情報は、横の長さと縦の長さとで表される。これらの大きさ情報は、例えば、mmの単位で表される。また、作業者1がマスタ入出力IF117を用いて表示部位置情報取得部133に入力することができる。また、時間情報をマスタ入出力IF117より表示部位置情報取得部133で取得する。表示部位置情報取得部133で取得する時間情報、位置情報、姿勢情報、及び、大きさ情報の例を図42に示す。表示部位置情報取得部133は、取得した時間情報、位置情報、姿勢情報、及び、大きさ情報を視野角情報算出部135に出力する。

(人位置情報取得部134) 人位置情報取得部134は、作業者1の位置情報及び視線情報を取得する。作業者1の位置情報は、作業者1に取り付けられた位置センサ1aからマスタ入出力IF117を介して取得する。また、作業者1を撮像カメラなどで撮像した画像の画像処理などを人位置情報取得部134で行い、作業者1の位置を検出する方法も可能である。位置情報は、図41に示したx軸(左右)、y軸(上下)、z軸(前後)で表される座標での位置を表す。位置情報は、例えば、mmの単位で表される。また、視線情報は、視線トラッカなどを用いて算出する。作業者1の頭に姿勢センサ1bなどを取り付け、姿勢センサ1bからの情報をマスタ入出力IF117を介して人位置情報取得部134で取得し、その情報を基に視線を推定して視線情報を人位置情報取得部134で取得することも可能である。視線情報は、図41にx軸回転r_x、y軸回転r_y、z軸回転r_zで表される回転での視線を表す。視線情報は、例えば、度の単位で表される。また、時間情報をマスタ入出力IF117より人位置情報取得部134で取得する。人位置情報取得部134で取得する時間情報、位置情報、及び、視線情報を図43に示す。人位置情報取得部134は、取得した時間情報、位置情報、及び、視線情報を視野角情報算出部135に出力する。

(視野角情報算出部135) 視野角情報算出部135は、表示部位置情報取得部133から時間情報、ディスプレイ7の位置情報、姿勢情報、及び、大きさ情報を取得し、人位置情報取得部134から時間情報、作業者1の位置情報、及び、視線情報を取得する。取得した情報から視野角情報を視野角情報算出部135で算出し、算出した視野角情報を視野角情報算出部135から視野角情報取得部131に出力する。

視野角情報の算出方法は、まず、表示部位置情報取得部133からのディスプレイ7の位置情報と、人位置情報取得部134からの作業者1の位置情報とから距離を視野角情報算出部135で算出する。次に、人位置情報取得部134からの作業者1の視線情報と、表示部位置情報取得部133からのディスプレイ7の姿勢情報と大きさ情報とから、ディスプレイ7の作業者1の視線と垂直な方向の大きさとを視野角情報算出部135で算出する。視野角情報算出部135で算出したディスプレイ7の見かけの大きさと、視野角情報算出部135で算出した距離からarctanより、図36に示す視野角情報を視野角情報算出部135で算出する。視野角情報算出部135で算出した視野角情報は、図37で表される形式の視野角情報である。視野角情報算出部135は、算出した視野角情報を視野角情報取得部131に出力する。

<フローチャート> 第6実施形態のマスタスレーブロボット100Fの操作手順を、図44のフローチャートを用いて説明する。

第6実施形態のマスタスレーブロボット100Fの操作の一例は、その一部が図16と同様である。ここでは、図16で表されるフローチャートのステップS204の力情報取得と、ステップS205の補正力情報生成と、ステップS206の力提示とについて、図44を用いて説明する。

まず、ステップS405では、表示部位置情報取得部133において、ディスプレイ7の位置情報、姿勢情報、及び、大きさ情報を取得し、ステップS406に進む。

次に、ステップS406では、人位置情報取得部134において、作業者1の位置情報及び視線情報を取得し、ステップS407に進む。

次に、ステップS407では、視野角情報算出部135において、表示部位置情報取得部133からの時間情報、ディスプレイ7の位置情報、姿勢情報、及び、大きさ情報と、人位置情報取得部134からの時間情報、作業者1の位置情報及び視線情報とを用いて、視野角情報を算出し、ステップS401に進む。

次に、ステップS401では、視野角情報取得部131において、視野角情報算出部135から視野角情報を取得し、ステップS402に進む。

次に、ステップS402では、図16のステップS204と同様に、力情報取得部115において、力情報を取得し、ステップS403に進む。

次に、ステップS403では、図16のステップS205と類似して、力情報補正部132において、視野角情報取得部131からの視野角情報を基に、力情報取得部115から取得した力情報の補正力情報を生成し、ステップS404に進む。

次に、ステップS404では、図16のステップS206と同様に、力情報提示部114において、力情報補正部132から取得した補正力情報に従い、マスタアーム2への指令値を生成し、マスタ入出力IF117及びマスタモータドライバ118を介してマスタアーム2で力提示を行い、作業者1に力が提示される。

これで、一連の操作を終了する。

《第6実施形態の効果》 ディスプレイ7の推奨位置でなく実際のディスプレイ7及び作業者1の位置から視野角情報を視野角情報算出部135で算出するので、ディスプレイ7又は作業者1の位置が変わった場合においても、力情報を適切に補正することができ、正確な力を印加するように作業を行うことができる。

(第7実施形態) 第6実施形態においては、ディスプレイ7の大きさと位置関係とから視野角情報算出部135において、視野角情報を算出している。第7実施形態では、ディスプレイ7に映し出される対象物大きさから視野角情報を算出し、力情報を補正する。

図45は、本発明の第7実施形態における、制御装置101Gを含むマスタスレーブロボット100Gのブロック図を示す。本発明の第7実施形態のマスタスレーブロボット100Gにおけるロボットアーム102Gと、周辺装置105と、マスタアーム2の制御装置104Gのうちのマスタ動作情報取得部110と、マスタ動作情報補正部112と、力情報提示部114と、視野角情報取得部131と、力情報補正部132と、表示部位置情報取得部133と、人位置情報取得部134とは第5実施形態と同様であるので、共通の参照符号を付して共通部分の説明は省略し、異なる部分(対象物大きさ情報算出部136と対象物視野角情報算出部137)についてのみ、以下、詳細に説明する。なお、スレーブ制御装置本体部107と、マスタ制御装置本体部106Gとでマスタスレーブロボット100Gの制御装置101Gを構成して、スレーブアーム3とマスタアーム2とを動作制御している。マスタロボット102Gは、マスタアーム2と、マスタアーム2の制御装置104Gとで構成されている。

(対象物大きさ情報算出部136) 対象物大きさ情報算出部136は、ディスプレイ7に映し出された映像から対象物を検出し、検出した対象物の大きさ情報を対象物視野角情報算出部137に出力する。検出方法は、画像処理などを用いてディスプレイ7に映し出された対象物を検出し、大きさ情報(横、縦)を対象物大きさ情報算出部136で算出する。このとき、一例として、マスタ入出力IF117から対象物大きさ情報算出部137に、対象物情報(対象物の特徴、例えば、色、形状、実際の大きさなど)を入力して、対象物を検出しやすくする。算出する大きさ情報の単位は、例えばmmとする。時間情報と対象物大きさ情報とのデータ図の例を図46に示す。対象物大きさ情報算出部136は、算出した対象物大きさ情報を対象物視野角情報算出部137に出力する。

(対象物視野角情報算出部137) 対象物視野角情報算出部137は、表示部位置情報取得部133から時間情報、ディスプレイ7の位置情報、姿勢情報、及び、大きさ情報を取得し、人位置情報取得部134から時間情報、作業者1の位置情報、及び、視線情報を取得し、対象物大きさ情報算出部136から時間情報及び対象物大きさ情報を取得する。対象物視野角情報算出部137は、取得した情報から視野角情報を算出し、視野角情報取得部131に出力する。

先の実施形態で視野角情報算出部135においてディスプレイ7の大きさ情報を使用する代わりに、対象物視野角情報算出部137では対象物大きさ情報を使用する。その他の算出方法は、視野角情報算出部135と同様である。対象物視野角情報算出部137は、算出した視野角情報を視野角情報取得部131に出力する。

<フローチャート> 第7実施形態のマスタスレーブロボット100Gの操作手順を、図47のフローチャートを用いて説明する。

第7実施形態のマスタスレーブロボット100Gの操作の一例は、その一部が図16と同様である。ここでは、図16で表されるフローチャートのステップS204の力情報取得と、ステップS205の補正力情報生成と、ステップS206の力提示とについて、図47を用いて説明する。

まず、ステップS408では、対象物大きさ情報算出部136において、ディスプレイ7に映し出された対象物の大きさ情報を算出し、ステップS405に進む。

次に、ステップS405では、表示部位置情報取得部133において、ディスプレイ7の位置情報、姿勢情報、及び、大きさ情報を取得し、ステップS406に進む。

次に、ステップS406では、人位置情報取得部134において、作業者1の位置情報及び視線情報を取得し、ステップS407に進む。

次に、ステップS407では、対象物視野角情報算出部137において、表示部位置情報取得部133からの時間情報、ディスプレイ7の位置情報、姿勢情報、及び、大きさ情報と、人位置情報取得部134からの時間情報、作業者1の位置情報、視線情報と、対象物大きさ情報算出部136からの時間情報及び対象物大きさ情報とを用いて、視野角情報を算出し、ステップS401に進む。

次に、ステップS401では、視野角情報取得部131において、対象物視野角情報算出部137から視野角情報を取得し、ステップS402に進む。

次に、ステップS402では、図16のステップS204と同様に、力情報取得部115において、力情報を取得し、ステップS403に進む。

次に、ステップS403では、図16のステップS205と類似して、力情報補正部132において、視野角情報取得部131からの視野角情報を基に、力情報取得部115から取得した力情報の補正力情報を生成し、ステップS404に進む。

次に、ステップS404では、図16のステップS206と同様に、力情報提示部114において、力情報補正部132から取得した補正力情報に従い、マスタアーム2への指令値を生成し、マスタ入出力IF117及びマスタモータドライバ118を介してマスタアーム2で力提示を行い、作業者1に力が提示される。

これで、一連の操作を終了する。

《第7実施形態の効果》 ディスプレイ7の大きさでなく、ディスプレイ7に映し出された対象物の大きさから視野角情報を対象物視野角情報算出部137で算出するので、実際に作業を行う対象物に対して力情報を適切に補正することができ、正確な力を印加するように作業を行うことができる。

なお、ディスプレイ7について説明したがヘッドマウントディスプレイなどのように作業者1に取り付けるタイプのディスプレイにおいても同様に実施することが可能である。

なお、本発明を第1〜第7実施形態及び変形例に基づいて説明してきたが、本発明は、前記の第1〜第7実施形態及び変形例に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

前記各制御装置の一部又は全部は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAM又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各部は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

例えば、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをCPU等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、前記実施形態又は変形例における制御装置を構成する要素の一部又は全部を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、剛体対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御プログラムであって、 力情報取得部で、前記スレーブアームに外部から加えられた力情報を取得するステップと、 表示情報取得部で、前記組立作業を表示する前記表示部での画像の拡大率情報を取得するステップと、 力情報補正部で、前記表示情報取得部から取得した前記拡大率情報が大きければ大きいほど、前記力情報取得部から取得した前記力情報を大きく補正する補正力情報を生成するステップと、 力情報提示部で、前記力情報補正部で生成した前記補正力情報を前記マスタアームに提示するステップと、 をコンピュータに実行させるための、マスタスレーブロボットの制御プログラムである。

また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体(例えば、CD−ROMなどの光ディスク、磁気ディスク、又は、半導体メモリなど)に記録されたプログラムが読み出されることによって実行されてもよい。

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

なお、前記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。

本発明にかかるマスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路は、人が見ている画像に応じた力提示を受けることができ、産業用、家庭用、医療用のマスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路として有用である。

1 作業者 1a 位置センサ 1b 姿勢センサ 2 マスタアーム 3 スレーブアーム 4 ハンド 5 力センサ 6 撮像装置 7 ディスプレイ 7a 位置センサ 7b 姿勢センサ 8 微細部品 9 挿入口(コネクタ) 10 機器 11 作業台 12 剛体対象物 13 柔軟被対象物 100、100B、100C、100D、100E、100F、100G マスタスレーブロボット 101、101B、101C、101D、101E、101F、101G マスタスレーブロボットの制御装置 102、102B、102C、102D、102E、102F、102G マスタロボット 103 スレーブロボット 104、104B、104C、104D、104E、104F、104G マスタアームの制御装置 105 スレーブアームの制御装置 106、106B、106C、106D、106E、106F、106G マスタ制御装置 107 スレーブ制御装置 108 マスタ周辺装置 109 スレーブ周辺装置 110 マスタ動作情報取得部 111、126 表示情報取得部 112、127 マスタ動作情報補正部 113 力情報補正部 114 力情報提示部 115 力情報取得部 116 スレーブ制御部 117 マスタ入出力IF 117a 選択部 118 マスタモータドライバ 119 スレーブ入出力IF 120 スレーブモータドライバ 121 表示制御部 122 表示部 123 大きさ情報算出部 124 対象物情報記憶部 125 拡大率情報算出部 128 対象物情報識別部 129 変形情報算出部 131 視野角情報取得部 132 力情報補正部 133 表示部位置情報取得部 134 人位置情報取得部 135 視野角情報算出部 136 対象物大きさ情報算出部 137 対象物視野角情報算出部