マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路

本発明は、マスタスレーブロボットの動作の生成を行うためのマスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路に関する。

人がマスタロボットを遠隔で操作をして、スレーブロボットにより作業を行うマスタスレーブロボットが様々な分野で注目を集めている。

医療の現場では、術者が遠隔でモニタ画面上に映し出された内視鏡の映像を見ながらマスタロボットを操作して、スレーブロボットが把持した鉗子を動かして手術を行う内視鏡手術がある。患部又は鉗子などを拡大してモニタ画面に映し出し、手術ができるメリットに加えて、現場に専門の医師がいなくても遠隔で手術ができる。

また、製造現場では、微細作業又は熟練を要する作業を行うスレーブロボットを遠隔で操作又は教示するマスタスレーブロボットが提案されており、特に顕微鏡下で行う微細作業について、手元の拡大表示、又は、手元操作の移動量の拡大又は縮小移動などにより、細かな作業を簡易に操作することができる。

いずれのマスタスレーブ方式においてもマスタロボットを操作してスムーズにスレーブロボットを操作する機能に加えて、スレーブロボットにかかる力をマスタロボットにフィードバックする機能が求められる。

また、人はモニタ画面を見ながらマスタを操作するため、モニタに映し出された映像とマスタの操作やスレーブの動作とを対応させる必要がある。その技術として、下記の技術が提案されている。

体腔内手術用マスタスレーブマニピュレータにおいて、モニタに映し出された映像の拡大率に応じてマスタロボットとスレーブロボットの動作比率を自動調整する(特許文献1参照)。

特開平8−187246号公報

しかしながら、見ている映像に対応した力提示を行うことができ、正確に作業を行うことができるように、さらなる作業効率の向上が求められていた。

したがって、本発明の目的は、前記問題を解決することにあり、作業者が映像を見ながら操作するマスタスレーブロボットにおいて、画面上での見え方が変化した場合においても作業者が効率良く作業ができる、マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路を提供することにある。

上記目的を達成するために、本発明の一態様に係るマスタスレーブロボットの制御装置は、対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御装置であって、 前記スレーブアームに外部から加えられた力情報を取得する力情報取得部と、 前記組立作業を表示する前記表示部における前記組立作業の前記対象物の色の濃さの対象物情報を算出する対象物情報算出部と、 前記対象物情報取得部から取得した前記対象物情報を基に、前記力情報取得部から取得した前記力情報を補正する補正力情報を生成する力情報補正部と、 前記力情報補正部で生成した前記補正力情報をマスタスレーブに提示する力情報提示部と、 を備える。

これらの概括的かつ特定の態様は、システム、方法、コンピュータプログラム並びにシステム、方法及びコンピュータプログラムの任意の組み合わせにより実現してもよい。

本発明の前記一態様によれば、作業者が映像を見ながら操作するマスタスレーブロボットにおいて、画面上での見え方が変化した場合においても、見ている映像に対応した力提示を行うことができ、作業者は、効率良くかつ正確に作業を行うことができる。

本発明の第1実施形態におけるマスタスレーブロボットの構成の概要を示す図。

本発明の第1実施形態のマスタスレーブロボットのブロック図。

本発明の第1実施形態のマスタスレーブロボットにおける動作情報、時間情報のデータ図。

本発明の第1実施形態のマスタスレーブロボットにおける撮像装置の設置方法の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける撮像装置の設置方法の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける撮像装置の設置方法の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける撮像装置の設置方法の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける撮像装置座標系の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける撮像装置の設置位置の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける拡大率情報と、撮像装置位置情報と、時間情報とのデータ図。

本発明の第1実施形態のマスタスレーブロボットにおける拡大率情報と、撮像装置位置情報と、時間情報とのデータ図(拡大率情報が変化する場合の図)。

本発明の第1実施形態のマスタスレーブロボットにおける座標系の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける補正マスタ動作情報と、時間情報とのデータ図。

本発明の第1実施形態のマスタスレーブロボットにおける対象物情報と、時間情報とのデータ図。

本発明の第1実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける力情報の更新周期変更の説明図。

本発明の第1実施形態のマスタスレーブロボットにおける力情報と、時間情報とのデータ図。

本発明の第1実施形態のマスタスレーブロボットにおけるマスタ入出力IFのブロック図。

本発明の第1実施形態のマスタスレーブロボットの操作手順のフローチャート。

本発明の第1実施形態のマスタスレーブロボットにおける力補正手順のフローチャート。

本発明の第2実施形態のマスタスレーブロボットのブロック図。

本発明の第2実施形態のマスタスレーブロボットにおける対象物情報に関する参照画像情報と材質情報のデータ図。

本発明の第2実施形態のマスタスレーブロボットにおける対象物情報、時間情報のデータ図。

本発明の第2実施形態のマスタスレーブロボットにおける材質情報、補正情報のデータ図。

本発明の第2実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。

本発明の第2実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。

本発明の第2実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。

本発明の第2実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。

本発明の第2実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。

本発明の第2実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。

本発明の第2実施形態のマスタスレーブロボットにおける力補正手順のフローチャート。

本発明の第3実施形態のマスタスレーブロボットのブロック図。

本発明の第3実施形態のマスタスレーブロボットにおける組立作業量の説明図。

本発明の第3実施形態のマスタスレーブロボットにおける組立作業量の説明図。

本発明の第3実施形態のマスタスレーブロボットにおける対象物情報、時間情報のデータ図。

本発明の第3実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。

本発明の第3実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。

本発明の第3実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。

本発明の第3実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。

本発明の第3実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。

本発明の第3実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。

本発明の第3実施形態のマスタスレーブロボットにおける力補正手順のフローチャート。

本発明の第4実施形態のマスタスレーブロボットのブロック図。

本発明の第4実施形態のマスタスレーブロボットにおける力補正手順のフローチャート。

本発明の第5実施形態のマスタスレーブロボットのブロック図。

本発明の第5実施形態のマスタスレーブロボットにおける力補正手順のフローチャート。

本発明の第6実施形態のマスタスレーブロボットのブロック図。

本発明の第6実施形態のマスタスレーブロボットにおける拡大率情報に基づいた力情報の補正の説明図。

本発明の第6実施形態のマスタスレーブロボットにおける拡大率情報に基づいた力情報の補正の説明図。

本発明の第6実施形態のマスタスレーブロボットにおける拡大率情報に基づいた力情報の補正の説明図。

本発明の第6実施形態のマスタスレーブロボットにおける拡大率情報に基づいた力情報の補正の説明図。

本発明の第6実施形態のマスタスレーブロボットにおける拡大率情報に基づいた力情報の補正の説明図。

本発明の第6実施形態のマスタスレーブロボットにおける拡大率情報に基づいた力情報の補正の説明図。

本発明の第6実施形態のマスタスレーブロボットにおける力補正手順のフローチャート。

本発明の第7実施形態のマスタスレーブロボットのブロック図。

本発明の第7実施形態のマスタスレーブロボットにおける力補正手順のフローチャート。

従来のマスタスレーブロボットにおける映像と力の感じ方の説明図。

従来のマスタスレーブロボットにおける映像と力の感じ方の説明図。

以下に、本発明にかかる実施の形態を図面に基づいて詳細に説明する。

以下、図面を参照して本発明における実施形態を詳細に説明する前に、まず、本発明の基礎となった知見を説明したのち、本発明の種々の態様について説明する。

また、本発明の実施形態における作業は組立作業を対象とする。

ここで、本明細書において「組立作業」とは、スレーブアームが把持する挿入物を被挿入物へ挿入する作業、または、スレーブアームが把持する対象物を他の対象物の表面へ設置する作業などをいう。

(本発明の基礎となった知見) 図1に示すように、スレーブアーム3は、作業台11上の機器10の挿入口9に、ハンド4で把持された微細部品8を挿入する作業を行うロボットである。この作業をカメラなどの撮像装置6で撮像して表示部の一例としてのディスプレイ7に映し出している。このような状況において、作業者(人)1がディスプレイ7に映し出された映像を見ながらマスタアーム2を操作するマスタスレーブロボット100を示している。このマスタスレーブロボット100において、映像の拡大率に対するスレーブアーム3の動作比率を変更すると、それまで見ていた映像とマスタアーム2の操作又は力の感じ方が変わり、作業効率が低下する。

具体的には、図42A及び図42Bを用いて説明する。図42A及び図42Bは、図1に示すマスタスレーブロボット100において、作業者1が見ているディスプレイ7の画面の映像を示す。図42Bと比べて図42Aの方が、映像の拡大率が大きく、画面上の微細部品8などが実物よりも大きく映っている。一般に、人が対象物を見る場合に、体積が大きい対象物の方が、重さが重いと先入観により判断する傾向がある(シャルパンティエ効果(大きさ重さ錯覚))ため、映像の拡大率が大きい場合の方が、対象物が大きく見え、対象物が重いとイメージしてしまう。その結果、同じ対象物に対して作業を行っている場合においても、映像の拡大率が大きい場合の方が、重い対象物と判断し、大きな力を対象物に加えてしまう。その結果、作業者1が対象物に過負荷を加えてしまい、作業を正確に行うことが難しくなる。そこで、作業者1の見ている映像と作業者1が行っている操作とを対応付ける技術が提案されている。

具体的には、特許文献1の方法では、ディスプレイ7に映し出された映像の拡大率に応じて、マスタアーム2に対するスレーブアーム3の動作比率を自動調整する。例えば、拡大率をk倍すると、動作比率を1/kとする。

しかし、特許文献1の方法では、映像の拡大率に応じて動作比率は変えているが、作業者1への力フィードバックする力の大きさは変えていない。つまり、特許文献1においては、映像の見え方に応じて、作業者1に力フィードバックされる力の感じ方が変わることまでは考慮できていない。例えば、図42A及び図42Bの例では、映像を拡大した場合に、大きな力で作業を行ってしまう。

よって、マスタスレーブロボット100において、ディスプレイ7に映し出される映像に対応して作業者1がマスタアーム2を操作できるように、映像に応じて力フィードバックする力を自動調整するようにマスタスレーブロボット100を制御することが求められている。

また、拡大率が変更される場合の他にも、作業者1が見ている画面上での対象物の色の濃さ又は材質又は埋没量などの特徴(特徴量)が変更される場合に同様に、力の感じ方が異なるという問題が生じる。よって、作業者1がディスプレイ7上の画面を見ながら正確に作業できるように、画面上に映し出された対象物の特徴に応じて、フィードバックする力を自動調整するようにマスタスレーブロボット100を制御することが求められている。

そこで本発明の種々の態様は、以下の通りである。

本発明の第1態様によれば、対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御装置であって、 前記スレーブアームに外部から加えられた力情報を取得する力情報取得部と、 前記組立作業を表示する前記表示部における前記組立作業の前記対象物の色の濃さと、前記対象物の材質と、前記対象物に対する組立作業量との少なくとも1つ以上の対象物情報を算出する対象物情報算出部と、 前記対象物情報取得部から取得した前記対象物情報を基に、前記力情報取得部から取得した前記力情報を補正する補正力情報を生成する力情報補正部と、 前記力情報補正部で生成した前記補正力情報をマスタスレーブに提示する力情報提示部と、 を備えるマスタスレーブロボットの制御装置を提供する。

前記態様によれば、対象物の色の濃さ、材質、組立作業量などの対象物情報に基づいて力フィードバックする力情報を補正することができる。つまり、対象物の特徴(対象物情報の特徴量)が変わっても、具体的には、作業者が映像を見ながら操作するマスタスレーブロボットにおいて、画面上での見え方が変化した場合においても、見ている映像に対応した力提示を行うことができ、作業者が作業に必要な力を加えることができて、効率良くかつ正確に作業を行うことができるように誘導することができる。

また、本発明の第2態様によれば、前記力情報補正部において、前記対象物情報算出部から取得した前記対象物の色の濃さの前記対象物情報が濃ければ濃いほど、前記力情報取得部から取得した前記力情報を大きく補正するように前記補正力情報を生成する、 第1の態様に記載のマスタスレーブロボットの制御装置を提供する。

前記態様よれば、対象物の色の濃さに応じて力情報を補正するので、対象物の色の濃さが変更された場合においても、作業者が適切な力で作業を行うことができるように誘導することができる。

また、本発明の第3態様によれば、前記力情報補正部において、前記対象物情報算出部から取得した前記対象物の材質の前記対象物情報が柔らかければ柔らかいほど、前記力情報取得部から取得した前記力情報を小さく補正するように前記補正力情報を生成する、 第1の態様に記載のマスタスレーブロボットの制御装置を提供する。

前記態様よれば、対象物の材質の見え方に応じて力情報を補正するので、対象物の材質の見え方が変更された場合においても、作業者が適切な力で作業を行うことができるように誘導することができる。

また、本発明の第4態様によれば、前記力情報補正部において、前記対象物情報算出部から取得した前記対象物の組立作業量の前記対象物情報が大きければ大きいほど、前記力情報取得部から取得した前記力情報を小さく補正するように前記補正力情報を生成する、 第1の態様に記載のマスタスレーブロボットの制御装置を提供する。

前記態様よれば、対象物の組立作業量に応じて力情報を補正するので、対象物の組立作業量が変更された場合においても、作業者が適切な力で作業を行うことができるように誘導することができる。

また、本発明の第5態様によれば、前記対象物情報算出部から前記対象物情報を複数個取得するとき、前記複数個の対象物情報から1つの対象物情報を選択する対象物情報選択部をさらに備える、 第1の態様に記載のマスタスレーブロボットの制御装置を提供する。

前記態様よれば、複数の対象物の特徴がある場合において、最も影響の大きい対象物の特徴を選択し力情報を補正するので、効果の大きい力情報の補正を行うことができ、作業者が作業を正確に行うことができるように誘導することができる。

また、本発明の第6態様によれば、前記対象物情報算出部から前記対象物情報を複数個取得するとき、前記複数個の対象物情報を基に1つの対象物情報に合成する対象物情報合成部をさらに備える、 第1の態様に記載のマスタスレーブロボットの制御装置を提供する。

前記態様よれば、複数の対象物の特徴がある場合において、複数の対象物情報を合成し力情報を補正するので、全ての対象物情報の要素を用いて力情報の補正を行うことができ、作業者が作業を正確に行うことができるように誘導することができる。

また、本発明の第7態様によれば、前記組立作業を表示する前記表示部での画像の拡大率情報を取得する表示情報取得部をさらに備え、 前記力情報補正部において、前記表示情報取得部から取得した前記拡大率情報が大きければ大きいほど、前記力情報取得部から取得した前記力情報を補正する際の補正量を大きくする、 第1の態様に記載のマスタスレーブロボットの制御装置を提供する。

前記態様よれば、拡大率情報に応じて力情報を補正するので、作業者の実際の見え方に応じて力情報の補正を行うことができ、作業者が作業を正確に行うことができるように誘導することができる。

また、本発明の第8態様によれば、前記力情報補正部は、前記表示情報取得部は、前記表示部の画面上において、前記スレーブアームの作業の状態を拡大して表示するときの拡大率を前記拡大率情報として算出し、算出した前記拡大率情報を基に前記力情報を補正する前記補正力情報を生成する、 第7の態様に記載のマスタスレーブロボットの制御装置を提供する。

前記態様よれば、スレーブアームの作業の状態を拡大して拡大率情報を算出するので、実際の作業に適した拡大率情報を算出することができ、適切な値に力情報を補正し、作業を行う上で適切な力を作業者が加えることができるように誘導することができる。

また、本発明の第9態様によれば、前記力情報補正部において、前記力情報を補正する際に予め決められた周期で前記力情報を更新するとき、前記力情報の更新の周期を前記予め決められた周期よりも大きくするか又は小さくように補正することのどちらかを行う、 第1の態様に記載のマスタスレーブロボットの制御装置を提供する。

前記態様よれば、補正する際に力情報の大きさは変化させないので、力情報を大きく変化させすぎてしまうことがない。また、力情報の大きさを補正することができないシステムの場合においても、力情報の大きさを補正することと同様の効果を得ることができる。

また、本発明の第10態様によれば、前記対象物情報算出部は、前記作業の識別情報を基に、前記作業と、前記対象物の材質又は前記対象物に対する組立作業量とを関係付ける関係情報を参照して、前記対象物の材質又は前記対象物に対する組立作業量算出する、 第1〜9のいずれかの態様の1つに記載のマスタスレーブロボットの制御装置を提供する。

前記態様によれば、識別情報を基に対象物の材質又は組立作業量を算出するので、それらの情報を正確に算出することができる。その結果、適切な値に力情報を補正し、作業者が作業を行う上で適切な力を対象物に加えることができるように誘導することができる。

また、本発明の第11態様によれば、第1〜10の態様のいずれか1つに記載のマスタスレーブロボットの制御装置と、 前記マスタスレーブアームと、 を備えるロボットを提供する。

前記態様によれば、対象物の色の濃さ、材質、組立作業量などの対象物情報に基づいて力フィードバックする力情報を補正することができる。つまり、対象物の特徴(対象物情報)が変わっても、具体的には、作業者が映像を見ながら操作するマスタスレーブロボットにおいて、画面上での見え方が変化した場合においても、見ている映像に対応した力提示を行うことができ、作業者が作業に必要な力を加えることができて、効率良くかつ正確に作業を行うことができるように誘導することができる。

また、本発明の第12態様によれば、対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御方法であって、 力情報取得部で、前記スレーブアームに外部から加えられた力情報を取得し、 対象物情報算出部で、前記組立作業を表示する前記表示部における前記組立作業の前記対象物の色の濃さと、前記対象物の材質と、前記対象物に対する組立作業量との少なくとも1つ以上の対象物情報を算出し、 力情報補正部で、前記対象物情報取得部から取得した前記対象物情報を基に、前記力情報取得部から取得した前記力情報を補正する補正力情報を生成し、 力情報提示部で、前記力情報補正部で生成した前記補正力情報をマスタスレーブに提示する、 マスタスレーブロボットの制御方法を提供する。

前記態様によれば、対象物の色の濃さ、材質、組立作業量などの対象物情報に基づいて力フィードバックする力情報を補正することができる。つまり、対象物の特徴(対象物情報)が変わっても、具体的には、作業者が映像を見ながら操作するマスタスレーブロボットにおいて、画面上での見え方が変化した場合においても、見ている映像に対応した力提示を行うことができ、作業者が作業に必要な力を加えることができて、効率良くかつ正確に作業を行うことができるように誘導することができる。

また、本発明の第13態様によれば、対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御プログラムであって、 力情報取得部で、前記スレーブアームに外部から加えられた力情報を取得するステップと、 対象物情報算出部で、前記組立作業を表示する前記表示部における前記組立作業の前記対象物の色の濃さと、前記対象物の材質と、前記対象物に対する組立作業量との少なくとも1つ以上の対象物情報を算出するステップと、 力情報補正部で、前記対象物情報取得部から取得した前記対象物情報を基に、前記力情報取得部から取得した前記力情報を補正する補正力情報を生成するステップと、 力情報提示部で、前記力情報補正部で生成した前記補正力情報をマスタスレーブに提示するステップと、 をコンピュータに実行させるための、マスタスレーブロボットの制御プログラムを提供する。

前記態様によれば、対象物の色の濃さ、材質、組立作業量などの対象物情報に基づいて力フィードバックする力情報を補正することができる。つまり、対象物の特徴(対象物情報)が変わっても、具体的には、作業者が映像を見ながら操作するマスタスレーブロボットにおいて、画面上での見え方が変化した場合においても、見ている映像に対応した力提示を行うことができ、作業者が作業に必要な力を加えることができて、効率良くかつ正確に作業を行うことができるように誘導することができる。

また、本発明の第14態様によれば、対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御用集積電子回路であって、 前記スレーブアームに外部から加えられた力情報を取得する力情報取得部と、 前記組立作業を表示する前記表示部における前記組立作業の前記対象物の色の濃さと、前記対象物の材質と、前記対象物に対する組立作業量との少なくとも1つ以上の対象物情報を算出する対象物情報算出部と、 前記対象物情報取得部から取得した前記対象物情報を基に、前記力情報取得部から取得した前記力情報を補正する補正力情報を生成する力情報補正部と、 前記力情報補正部で生成した前記補正力情報をマスタスレーブに提示する力情報提示部と、 を備える マスタスレーブロボットの制御用集積電子回路を提供する。

前記態様によれば、対象物の色の濃さ、材質、組立作業量などの対象物情報に基づいて力フィードバックする力情報を補正することができる。つまり、対象物の特徴(対象物情報)が変わっても、具体的には、作業者が映像を見ながら操作するマスタスレーブロボットにおいて、画面上での見え方が変化した場合においても、見ている映像に対応した力提示を行うことができ、作業者が作業に必要な力を加えることができて、効率良くかつ正確に作業を行うことができるように誘導することができる。

(第1実施形態) 本発明の第1実施形態における、マスタスレーブロボット100の制御装置101を含むマスタスレーブロボット100の概要について説明する。

図1は、マスタスレーブロボット100を使った微細部品8の挿入作業の様子を示す。

図1に示すように、例えば、工場内のセル生産で、テレビ、DVDレコーダ、又は携帯電話などの機器10用のコネクタの挿入口9に、対象物の一例としての微細部品8を、対象物の別の例としての挿入口9に取り付ける作業を例にとって説明する。

マスタスレーブロボット100のスレーブアーム3は、機器10が設置された作業台11の上部もしくは壁面に設置され、機器10の挿入口9に微細部品8を挿入する作業を行うロボットである。

スレーブアーム3の先端には、微細部品8を把持するハンド4が取り付けられている。

作業台11には、カメラなどの撮像装置6が配置され、微細部品8及び挿入口9を拡大して撮像し、ディスプレイ7に、前記撮像した映像を映す。

力センサ5は、ハンド4の手首部に設置され、微細部品8が挿入口9又は機器10に接触した際に生じる反力を測定する。

作業者1は、撮像装置6で撮像された映像をディスプレイ7で確認しながらマスタアーム2を操作するとスレーブアーム3が動作する。さらに、力センサ5で計測した力を、スレーブアーム3からマスタアーム2へフィードバックすることで、作業者1は、微細部品8を直接操作している感覚でスレーブアーム3を操作することができる。

図2は、本発明の第1実施形態における、マスタスレーブロボット100のブロック図を示す。図2において、マスタスレーブロボット100は、マスタロボット102と、スレーブロボット103で構成されている。マスタロボット102は、マスタアーム2と、マスタアーム2の制御装置104とで構成されている。スレーブロボット103は、スレーブアーム3と、スレーブアーム3の制御装置105とで構成されている。

マスタアーム2の制御装置104は、スレーブアーム3の動作を生成し、スレーブロボット103で取得した力情報を補正して提示するマスタアーム2の制御装置である。スレーブアーム3の制御装置105は、スレーブアーム3の位置及び姿勢を制御するスレーブアーム3の制御装置である。

以下、この第1実施形態について詳細に説明する。

<マスタアームの制御装置の説明> マスタアーム2の制御装置104は、マスタ制御装置本体部106と、マスタ周辺装置108とで構成されている。

<スレーブアームの制御装置の説明> スレーブアーム3の制御装置105は、スレーブ制御装置本体部107と、スレーブ周辺装置109とで構成されている。

<マスタ制御装置本体部の説明> マスタ制御装置本体部106は、マスタ動作情報取得部110と、表示情報取得部111と、マスタ動作情報補正部112と、対象物情報算出部113と、力情報補正部114と、力情報提示部115とで構成されている。

(マスタ動作情報取得部110) マスタ動作情報取得部110は、マスタ入出力IF118からマスタアーム2の位置情報及び姿勢情報と、マスタ入出力IF118に内蔵されたタイマからの時間情報とが入力される。また、マスタ動作情報取得部110は、マスタ入出力IF118から取得した位置情報を時間情報で微分することによって、速度情報を取得する。また、マスタ動作情報取得部110は、姿勢情報を時間情報で微分することによって、角速度情報を取得する。図3に、マスタ動作情報取得部110で取得する時間情報と、位置情報と、姿勢情報と、速度情報と、角速度情報とを示す。これらの位置情報と、姿勢情報と、速度情報と、角速度情報とでマスタアーム2の動作情報(マスタ動作情報)を構成する。

マスタ動作情報取得部110は、取得したマスタアーム2の位置情報と、姿勢情報と、速度情報と、角速度情報と、時間情報とをマスタ動作情報補正部112に出力する。

(撮像装置6) 撮像装置6は、スレーブアーム3が行う作業を撮像し、主に、ハンド4と、微細部品8と、挿入口9との付近を撮像する。撮像装置6は、撮像時の拡大率を変更することができる。また、撮像装置6を設置する位置又は姿勢を変更することができる。撮像装置6を設置する場合は、いかなる位置又は姿勢で設置することも可能であるが、被写体(特にハンド4と、微細部品8と、挿入口9と)が重ならずに写る位置、姿勢、被写体の移動、及び、大きさが捉えられる位置及び姿勢が必要である。図4A及び図4Bに示す例では、図4Aの位置及び姿勢の方が、図4Bの位置及び姿勢よりも被写体が重ならずに写り、移動する変化も捉えることができる。ディスプレイ7に映し出された映像をそれぞれ図4C及び図4Dに示す。図4Aの位置及び姿勢の方が画面上のスレーブアーム3の移動及び微細部品8の大きさがよく見えることわかる。 撮像装置6は、撮像装置6で撮像した撮像画像情報(撮像した動画情報又は撮像した静止画情報)と、撮像時の拡大率情報と、撮像時の撮像装置6を設置する位置及び姿勢の情報である撮像装置位置情報とを、表示情報として表示情報取得部111に出力する。撮像装置位置情報は、図5に示すスレーブアーム2の座標系Σ_bsを用いて表現する。

また、撮像装置6は、図6に示すように作業者1がマスタアーム2を操作する方向(図6中の矢印A)とディスプレイ7の画面上でスレーブアーム3が動く方向(図6中の矢印B)が同じ方向になるように設置する。

なお、ここでは、撮像装置6として2次元撮像を行う撮像装置を主に対象としたが、様々な方向を撮像できるように、3次元撮像装置又は2台の撮像装置を用いる方法なども可能である。

(表示情報取得部111) 表示情報取得部111には、撮像装置6から、撮像画像情報と、拡大率情報と、撮像装置位置情報と、マスタ入出力IF118に内蔵されたタイマより時間情報とが入力される。表示情報取得部111から出力された撮像画像情報は、ディスプレイ7に画像として表示される。

図7に、撮像画像情報以外の表示情報取得部111が取得する拡大率情報と、撮像装置位置情報(撮像装置の姿勢情報を含む)と、時間情報との一例を示す。また、撮像画像情報は、ディスプレイ7に映し出された画像そのもののことを表す。ここで、表示情報とは、撮像画像情報と、拡大率情報と、撮像装置位置情報とを表す。拡大率情報は、例えば、組立作業をディスプレイ7に表示するときの、実物に対する、ディスプレイ7での画像の拡大率情報である。

なお、表示情報取得部111は、マスタ入出力IF118を介して撮像装置6から撮像画像情報と、拡大率情報と、撮像装置位置情報とを取得することも可能である。

表示情報取得部111は、取得した撮像画像情報と、拡大率情報と、撮像装置位置情報と、時間情報とを対象物情報算出部113に出力する。

図7では、拡大率が時系列的に変わらない例を示したが、時系列的に拡大率が変わる例も可能である。例えば、微細部品8を把持した状態で広域に移動させる作業の後、コネクタへの組み付け作業を行う場合では、移動させる作業工程においては、広域を移すために拡大率を低くする。組み付け作業を行う作業工程では、組み付け部分がよく見えるように、拡大率を高くする。このように、拡大率が時系列的に変化することも可能である。その場合の拡大率情報の一例を図8に示す。

(マスタ動作情報補正部112) マスタ動作情報補正部112は、マスタ動作情報取得部110よりマスタアーム2の動作情報(マスタ動作情報)と時間情報とが入力される。取得したマスタアーム2の動作情報を基にサンプリング周期毎のマスタアーム2のハンド4の移動量を算出し、算出した移動量にゲインを掛け、補正マスタ動作情報(移動量指令値)としてスレーブ制御部117に出力する。

マスタ動作情報補正部112によるマスタアーム2のハンド4の移動量の算出方法について説明する。図3で表されるマスタアーム2の動作情報は、図9の原点O_bを基準としたベース座標系Σ_bにおける位置及び姿勢を表している。この動作情報を、ハンド4の原点O_hを基準としたハンド座標系Σ_hにおける移動量にマスタ動作情報補正部112で変換する。つまり、ベース座標系Σ_bにおけるサンプリング周期毎の位置及び姿勢の移動量d_bに変換行列^bT_hをマスタ動作情報補正部112で掛けることによって、ハンド座標系Σ_hにおけるサンプリング周期毎の位置及び姿勢の移動量d_hをマスタ動作情報補正部112で算出する。ここで、移動量dとは、時点t₀の位置及び姿勢p₀から1サンプリング時間経過した時点t₁での位置及び姿勢p₁との差を表し、d=Δp=p₁−p₀である。

次に、マスタ動作情報補正部112による移動量指令値の算出方法を説明する。上述したハンド座標系Σ_hにおけるサンプリング周期毎の位置及び姿勢の移動量d_hの各要素(位置(x,y,z)及び姿勢(r_x,r_y,r_z))に対して、ゲインk_d(例えば、0.1)をマスタ動作情報補正部112で掛けることによって、補正マスタ動作情報(移動量指令値d_m)をマスタ動作情報補正部112で算出する。ゲインk_dは、スレーブアーム2の移動をマスタアーム2の移動に対して拡大する場合には、1より大きい値にマスタ動作情報補正部112で設定し、縮小する場合には、1より小さい値にマスタ動作情報補正部112で設定する。ゲインk_dは、要素毎に定数をマスタ動作情報補正部112で設定することができ、マスタ入出力IF118を用いて、作業者1がマスタ動作情報補正部112に入力することができる。

図10に補正マスタ動作情報と、時間情報との一例を示す。

マスタ動作情報補正部112は、算出した補正マスタ動作情報と、時間情報とをスレーブ制御部117に出力する。

(対象物情報算出部113) 対象物情報算出部113は、表示情報取得部111より撮像画像情報と、拡大率情報と、撮像装置位置情報と、時間情報とが入力される。対象物情報算出部113は、入力された撮像画像情報を基に画像処理を行い、対象物の色の濃さを算出する。

対象物情報算出部113による色の濃さの算出方法の一例を説明する。対象物情報算出部113は、取得した撮像画像情報から、対象物の明度を検出し、明度が小さいときを色が濃いとし、明度が大きいときを色が薄いと対象物情報算出部113で算出する。具体的には、明度は0〜10で表され、黒色が0で、白色が10で表される。数値が小さい方が色が濃い。

図11に、対象物情報と、時間情報との一例を示す。

対象物情報算出部113は、算出した対象物情報と、時間情報とを力情報補正部114に出力する。

なお、色の濃さの測定は狭い範囲の測定ではなく、ある領域で最も多く使われている色の測定をすることも可能である。領域の大きさは、作業者1がマスタ入出力IF118を用いて対象物情報算出部113に入力することができる。このようにすることで、色が微妙に変化するような対象物においても、正確に色の濃さを対象物情報算出部113で測定することができる。

なお、色の濃さの測定は、取得した撮像画像をグレースケールに変換し、色の濃さを測定することも可能である。このようにグレースケールに変換することによって、正確に色の濃さを対象物情報算出部113で測定することができる。

(力情報補正部114) 力情報補正部114は、対象物情報算出部113より対象物情報と、時間情報とが入力され、力情報取得部116より力情報と、時間情報とが入力される。力情報補正部114は、入力された対象物情報を基に力情報を補正して、補正力情報を生成する。力情報補正部114による力情報の補正方法については、取得した対象物情報を係数に力情報補正部114で変換し、取得した力情報に力情報補正部114で掛けることによって、力情報を力情報補正部114で補正する。

ここでは、対象物情報が濃ければ濃いほど、力情報を大きくなるように力情報補正部114で補正する。このことは、作業者1が対象物を見る場合に、色の濃い対象物の方が、重さが重いと先入観により判断するため、色の濃い対象物が重いとイメージしてしまう。一例を図12A、図12B、及び、図12Cを用いて説明する。図12A、図12B、及び、図12Cの違いは、対象物の別の例としての挿入口9の色が互いに異なる点であり、図12Aが白色(明度10)で色が薄く、図12Bが灰色(明度5)であり、図12Cが黒色(明度0)で色が濃い。このように色の濃さが異なる挿入口9に対して微細部品8を挿入する実験を行った。挿入の際に加えた力を計測した結果を、図13A、図13B、及び、図13Cに示す。図13Aが白色の結果であり、図13Bが灰色の結果であり、図13Cが黒色の結果である。白色の場合が平均3.6Nであり、灰色の場合が平均4.1Nであり、黒色の場合が平均4.7Nである。黒色の場合、灰色の場合、白色の場合の順に、加える力が大きい。これは、挿入口9の色が濃い場合の方が、作業者1は対象物が重いと判断し、作業者1が対象物に大きな力を加えるためである。

このように対象物の色の濃さが変わった場合においても、同じ大きさの力を対象物に加えられるように、力情報に対して係数に変換した対象物情報を力情報補正部114で乗算した値に、力情報を力情報補正部114で補正する。色が濃い場合には、力情報を大きくなるように力情報補正部114で補正することによって、対象物に加える力が対象物の色の濃さにかかわらず同じになるように作業者1を誘導する。

力情報補正部114による具体的な補正方法について説明する。取得した対象物情報の明度が0〜10であり、この値を1から上限値までの係数に力情報補正部114で変換する。上限値は、作業者1がマスタ入出力IF118を用いて力情報補正部114に入力することができる。図13A、図13B、及び、図13Cの例では、黒色(明度0)の場合の力4.7Nに対して、白色(明度0)の場合の力3.6Nで割った値が1.3であり、この1.3の値を上限値とする。明度が0の場合の係数を上限値1.3とし、明度が10の場合の係数を1とする。これらの間の値は、力情報補正部114において線形補完して求める。このようにして、取得した明度を色が濃くなるにつれて値が大きくなる係数1〜1.3に力情報補正部114で変換する。変換して求めた係数を力情報に掛けることによって、補正力情報を力情報補正部114で算出する。また、上記の上限値の決定方法に代えて、作業者1がマスタ入出力IF118を用いて任意の上限値を力情報補正部114に入力することも可能である。

ここでは、明度が10(白色)のときの係数を1(基準)として、係数を求めたが、係数の基準値1は、明度のいかなる値も取ることが可能である。例えば、白色のときを係数1とすることによって、対象物が壊れやすく、負荷をかけられない場合に、力を大きくなるように力情報補正部114で補正して、力を加えすぎないように防止することができ、大変有効である。また、黒色のときを係数1とすることによって、作業に力が必要な場合に、力を小さく力情報補正部114で補正して、大きく力を加えるように作業者1を誘導することができ、有効である。このように、作業又は対象物に応じて、基準を変更することができる。基準値となる明度は、作業者1がマスタ入出力IF118によって力情報補正部114に入力することができる。

力情報補正部114は、生成した補正力情報と時間情報とを力情報提示部115に出力する。

なお、力補正を行う範囲を、閾値で力情報補正部114で設定することも可能である。例えば、上限値の閾値を力情報補正部114で設定する場合は、力情報補正部114で設定した上限値の絶対値(例えば、10N)を、補正後の力の絶対値が超えると力情報補正部114で判断すると、補正後の力の絶対値を、上限値の絶対値に力情報補正部114で修正する。また、下限値の閾値を力情報補正部114で設定する場合は、力情報補正部114で設定した下限値の絶対値(例えば、1N)を、補正後の力の絶対値が下回ると力情報補正部114で判断すると、補正後の力の絶対値を、補正前の力の絶対値に力情報補正部114で修正する。

なお、力補正のタイミングについて、作業開始時から作業終了時まで力補正を力情報補正部114で行う。また、対象物情報を基に変換した係数を用いて、力情報補正部114で力補正をするかしないかを判断することも可能である。一例として、係数がある範囲(0.9〜1.1)を超えたときに補正を行い、範囲内の場合は補正を行わない。このように範囲を設け力補正するかしないかを判断することによって、対象物情報の誤差などの影響を省くことができ、力の補正が必要な作業時に補正をかけることができる。

なお、前記説明では、力情報補正部114により力情報の大きさを補正しているが、力情報の更新の周期を力情報補正部114で補正する方法も可能である。上述した説明では、予め決められた一定の周期(例えば、1msec)で力情報を、力情報取得部115で取得して力情報補正部114に入力し、力情報補正部114で更新している。それに対して、力情報補正部114で、更新の周期を、前記予め決められた周期よりも、速くしたり又は遅くしたり変更することもできる。具体的には、力情報の大きさを大きくしたい場合には、力情報の大きさを変えずに、力情報補正部114で力情報の更新周期を、前記予め決められた周期よりも遅くする。より具体的には、力情報の大きさを2倍にしたい場合には、力情報補正部114で例えば更新周期を2倍にする。一方、力情報の大きさを小さくしたい場合には、力情報の大きさを変えずに、力情報補正部114で力情報の更新周期を、前記予め決められた周期よりも速くする。より具体的には、力情報の大きさを1/2倍にしたい場合には、力情報補正部114で例えば更新周期を1/2倍にする。

力情報の更新周期を力情報補正部114で変更することが、力情報の大きさを力情報補正部114で変更することと同じ効果が得られる理由について、図14のグラフを用いて説明する。図14は、横軸が時間情報を表し、縦軸が力情報を表し、力情報の時系列データを表す。横軸の数字は時間情報を表す。力情報における黒丸は更新周期が1msecのデータを表し、白丸は更新周期が2msecのデータを表す。力情報をF_kと表すと、更新周期が1msecの場合はk=1,2,3,…であり、更新周期が2msecの場合はk=2,4,6,…である。力情報の更新周期毎の変位をΔF_kと表す。例えば、時間情報が2のときの力情報の更新周期毎の変位ΔF₂について、更新周期が1msecのときはΔF₂=F₂−F₁として算出し、更新周期が2msecのときはΔF₂=F₂−F₀として算出する。よって、更新周期が1msecのΔF₂と比較して、更新周期が2msecのΔF₂は力情報の変位が大きくなる。この例のように、更新周期を遅くすると力情報の変位が大きくなるので、作業者1は力情報が大きくなったように感じる。これは、作業者1が力覚を感じるときに力の変位を感じることに起因する。また、更新周期は、一例として、1〜500msec程度とする。

このように力情報を補正する際に、力情報の大きさを補正するのではなく、力情報の更新周期を補正することも可能である。補正する際に力情報の大きさは変化させないので、力情報を大きく変化させすぎてしまうことがない。また、力情報の大きさを補正することができないシステムの場合においても、力情報の大きさを補正することと同様の効果を得ることができる。

(力情報提示部115) 力情報提示部115は、力情報補正部114より補正力情報と時間情報とが入力される。力情報提示部115は、取得した補正力情報を、マスタ入出力IF118及びマスタモータドライバ119を介し、さらにマスタアーム2を介して作業者1に提示するために、補正力情報をマスタアーム2が出力できるように指令値を生成する。このとき、マスタアーム2を介して作業者1に提示すると同時に、提示する情報などをディスプレイ7に表示するようにしてもよい。

指令値の生成方法について説明する。マスタアーム2として力制御可能なアームを使用する場合は、補正力情報をそのまま指令値として力情報提示部115で用いる。マスタアーム2として力制御ができず、位置制御が可能なアームを使用する場合は、フックの法則を用いて補正力情報を位置情報に力情報提示部115で変換し、変換した位置情報を力情報提示部115で指令値とする。

力情報提示部115は、生成したマスタアーム2への指令値をサンプリング周期毎にマスタ入出力IF118及びマスタモータドライバ119を介してマスタアーム2に出力する。

<スレーブ制御装置本体部の説明> スレーブ制御装置本体部107は、力情報取得部116と、スレーブ制御部117とで構成されている。

(力センサ5) 力センサ5は、図1に示すように、スレーブアーム3のハンド4の手首部に設置され、対象物が被対象物に接触した際に生じる反力を測定する。ここでは、力3軸トルク3軸の計6軸計測することができる力センサを使用する。なお、1軸以上計測可能な力センサなら任意の力センサを使用することができる。また、力センサ5は、例えば、ひずみゲージ式の力覚センサを用いることによって実現する。

力センサ5で計測した力情報は、スレーブアーム3に外部から加えられた力情報として、力情報取得部116に出力する。

(力情報取得部116) 力情報取得部116は、力センサ5から力情報と、スレーブ入出力IF120に内蔵されたタイマからの時間情報とが入力される。図15に、力情報と、時間情報とを示す。

なお、力情報取得部116は、スレーブ入出力IF120を介して力センサ5から力情報を取得することも可能である。

力情報取得部116は、取得した力情報と、時間情報とを力情報補正部114に出力する。

(スレーブ制御部117) スレーブ制御部117は、マスタ動作情報補正部112から、補正マスタ動作情報と、時間情報とが入力される。スレーブ制御部117は、取得した補正マスタ動作情報に従い、スレーブアーム3が移動できるように、指令値を生成する。

ここで、スレーブ制御部117による指令値の生成方法について説明する。スレーブ制御部117で取得した補正マスタ動作情報がハンド4の移動量に関する情報であるので、まず、スレーブアーム3のハンド4の座標系において、取得した移動量分移動する位置及び姿勢をスレーブ制御部117で算出する。スレーブ制御部117で算出したハンド4の座標系における位置及び姿勢について、スレーブアーム3のベース座標系における位置及び姿勢にスレーブ制御部117で変換する。次いで、変換したスレーブアーム3のベース座標系における位置及び姿勢に移動するような指令値をスレーブ制御部117で生成する。

スレーブ制御部117は、生成したスレーブアーム3への指令値を、サンプリング周期毎に、スレーブ入出力IF120及びスレーブモータドライバ121を介して、スレーブアーム3に出力する。

<マスタ周辺装置の説明> マスタ周辺装置108は、マスタ入出力IF118と、マスタモータドライバ119とで構成されている。

(マスタ入出力IF118) マスタ入出力IF118は、力情報提示部115から入力された指令値をマスタモータドライバ119に出力する。また、マスタ入出力IF118は、マスタアーム2の各関節軸のエンコーダから入力された値から、マスタアーム2の位置情報及び姿勢情報をエンコーダ内部の演算部(図示せず)で求め、位置情報及び姿勢情報とマスタ入出力IF118に内蔵されたタイマからの時間情報とを、マスタ入出力IF118からマスタ動作情報取得部110に出力する。マスタ入出力IF118に内蔵されたタイマからの時間情報を表示情報取得部111に出力する。また、マスタ入出力IF118は、図16に示すように、入力部118Aと出力部118Bとによって構成される。入力部118Aは、入力IFとなっており、キーボード又はマウス又はタッチパネル又は音声入力などにより作業者1が項目を選択する場合、又は、キーボード又はマウス又はタッチパネル又は音声入力などにより作業者1が数字を入力する場合などに用いられる。出力部118Bは、出力IFとなっており、取得した情報などを外部に出力する場合又はディスプレイ7などに表示する場合などに用いられる。

(マスタモータドライバ119) マスタモータドライバ119は、マスタ入出力IF118から取得した指令値を基に、マスタアーム2を制御するために、マスタアーム2の各関節軸のモータへの指令値をマスタアーム2に出力する。

<スレーブ周辺装置の説明> スレーブ周辺装置109は、スレーブ入出力IF120と、スレーブモータドライバ121とで構成されている。

(スレーブ入出力IF120) スレーブ入出力IF120は、スレーブ制御部117から入力された指令値をスレーブモータドライバ121に出力する。スレーブ入出力IF120に内蔵されたタイマからの時間情報を、力情報取得部116に出力する。また、スレーブ入出力IF120は、マスタ入出力IF118と同様に、図16に示す構成の入力部120Aと出力部120Bとによって構成される。入力部120Aは、入力IFとなっており、キーボード又はマウス又はタッチパネル又は音声入力などにより作業者1が項目を選択する場合、又は、キーボード又はマウス又はタッチパネル又は音声入力などにより作業者1が数字を入力する場合などに用いられる。出力部120Bは、出力IFとなっており、取得した情報などを外部に出力する場合又はディスプレイ7などに表示する場合などに用いられる。

(スレーブモータドライバ121) 0スレーブモータドライバ121は、スレーブ入出力IF120から取得した指令値を基に、スレーブアーム3を制御するために、スレーブアーム3の各関節軸のモータへの指令値をスレーブアーム3に出力する。

<マスタアーム2の説明> マスタアーム2において、マスタ入出力IF118に内蔵されたタイマを利用して、ある一定時間毎(例えば、1msec毎)に、マスタアーム2の動作情報をマスタアーム2の各エンコーダを用いてエンコーダ内部の演算部で求めて、マスタ入出力IF118に出力する。また、マスタアーム2は、マスタモータドライバ119からの指令値に従って制御される。

マスタアーム2は、各関節にモータとエンコーダとが配置されてあり、所望の位置及び姿勢に制御することができる。ここでは、6関節を有する6自由度の多リンクマニピュレータとする。なお、マスタアーム2の関節数及び自由度は、第1実施形態の数に限られるわけではなく、1以上のいかなる数でも可能である。

<スレーブアームの説明> スレーブアーム3において、スレーブ入出力IF120に内蔵されたタイマを利用して、ある一定時間毎(例えば、1msec毎)に、スレーブアーム3の動作情報をスレーブアーム3の各エンコーダを用いてエンコーダ内部の演算部で求めてスレーブ入出力IF120に出力する。また、スレーブアーム3は、スレーブモータドライバ121からの指令値に従って制御される。

スレーブアーム3は、各関節にモータとエンコーダとがあり、所望の位置及び姿勢に制御することができる。ここでは、スレーブアーム3は、6関節を有する6自由度の多リンクマニピュレータとする。なお、スレーブアーム3の関節数及び自由度は、第1実施形態の数に限られるわけではなく、1以上のいかなる数でも可能である。

<フローチャート> 第1実施形態のマスタスレーブロボット100の操作手順を、図17及び図18のフローチャートを用いて説明する。

図17は、第1実施形態のマスタスレーブロボット100の操作の一例を示す。

まず、ステップS201では、作業者1がディスプレイ7に映し出された画像を見ながら、マスタアーム2を把持し、操作し、ステップS202に進む。

次に、ステップS202では、マスタ動作情報補正部112において、取得したマスタ動作情報を補正し、スレーブアーム3が移動するための補正マスタ動作情報を生成し、ステップS203に進む。

次に、ステップS203では、スレーブ制御部117は、マスタ動作情報補正部112から取得した補正マスタ動作情報に従い、スレーブアーム3が移動できるように、指令値を生成する。スレーブ制御部117は、生成したスレーブアーム3への指令値を、サンプリング周期毎に、スレーブ入出力IF120及びスレーブモータドライバ121を介して、スレーブアーム3に出力して、スレーブアーム3が移動して作業を行い、ステップS204に進む。

次に、ステップS204では、スレーブアーム3の手先に取り付けられた力センサ5で作業時に生じる力情報を検出し、検出した力情報を力情報取得部116で取得し、ステップS205に進む。

次に、ステップS205では、力情報取得部116で取得した力情報と対象物情報算出部113から取得した対象物情報とに基づいて、対象物情報で力情報を力情報補正部113で補正して補正力情報を力情報補正部113で生成し、ステップS206に進む。

次に、ステップS206では、力情報補正部113で生成した補正力情報に従い、力情報提示部115では、マスタ入出力IF118を介して、マスタアーム2が力提示を行い、作業者1に力が提示される。

これで、一連の操作を終了する。

図18では、図17で表されるフローチャートのステップS204の力情報取得と、ステップS205の補正力情報生成と、ステップS206の力提示とについて、詳しく説明する。

まず、ステップS301では、表示情報取得部111において表示情報を取得し、ステップS302に進む。

次に、ステップS302では、対象物情報算出部113において、取得した表示情報を基に、明度で表される対象物情報を取得し、ステップS303に進む。

次に、ステップS303では、力情報取得部116において、力情報を取得し、ステップS304に進む。

次に、ステップS304では、力情報補正部114において、力情報取得部116から取得した力情報に対して、対象物情報を基に変換した係数を掛け、対象物情報に合わせて補正した補正力情報を生成し、ステップS305に進む。

次に、ステップS305では、力情報提示部115において、力情報補正部114から取得した補正力情報に従い、マスタアーム2への指令値を生成し、マスタ入出力IF118及びマスタモータドライバ119を介してマスタアーム2で力提示を行い、作業者1に力が提示される。

《第1実施形態の効果》 画面上の対象物の色の濃さに起因して作業者1に現実とは異なる先入観が生じた場合においても、画面上の色の濃さの対象物情報に対応して力情報を力情報補正部114で補正し、力情報提示部115で力提示を行うことによって、作業者1が作業を正確に行うことができる。すなわち、作業者1が映像を見ながら操作するマスタスレーブロボット100であって、色の濃さにより画面上での見え方が変化した場合においても、作業者1は効率良く作業ができる。

(第2実施形態) 第1実施形態では、対象物の色に応じて力情報を補正することによって、画面上の色の濃さの見え方に応じた操作を可能としている。第2実施形態では、対象物の材質に応じて力情報を補正することによって、画面上の材質の見え方に応じた操作を可能とする。

本発明の第2実施形態における、マスタスレーブロボット100Bの制御装置101Bを含むマスタスレーブロボット100Bの概要について説明する。図19は、本発明の第2実施形態における、マスタスレーブロボット100Bのブロック図を示す。本発明の第2実施形態のマスタロボット102Bにおけるマスタアーム2と、マスタ周辺装置108と、マスタ制御装置106Bのうちのマスタ動作情報取得部110と表示情報取得部111とマスタ動作情報補正部112と力情報提示部115と、スレーブロボット103とは、第1実施形態と同様であるので、共通の参照符号を付して共通部分の説明は省略し、異なる部分(対象物情報記憶部122と対象物情報算出部123と補正力情報記憶部124と力情報補正部125となど)についてのみ、以下、詳細に説明する。

(対象物情報記憶部122) 対象物情報記憶部122は、対象物の材質の参照画像情報と材質情報とを記憶する。図20に参照画像情報と材質情報との対応関係の一例を示す。記憶する参照画像情報と材質情報とは、マスタ入出力IF118を用いて、作業者1などが、又は、他のデータベースから対象物情報記憶部122に入力することができる。対象物情報記憶部122は、対象物情報に関する参照画像情報と材質情報とを対象物情報算出部123に出力する。

(対象物情報算出部123) 対象物情報算出部123は、表示情報取得部111より撮像画像情報と、拡大率情報と、撮像装置位置情報と、時間情報とが入力され、対象物情報記憶部122より参照画像情報と材質情報とが入力される。対象物情報算出部123は、入力された撮像画像情報と参照画像情報とを基に画像処理を行い、対象物の材質を算出する。

対象物情報算出部123による対象物の材質の算出方法の一例を説明する。対象物情報算出部123は、取得した撮像画像情報を参照画像情報に対して、特徴量を用いた類似画像検索を行う。対象物情報算出部123は、検索して一致した参照画像情報の材質情報を、対象物情報とする。一例として、対象物情報算出部123は、検索した結果、一致する参照画像情報がなかった場合は、材質情報が1のアルミニウムとする。

図21に対象物情報と、時間情報との一例を示す。

対象物情報算出部123は、算出した対象物情報と、時間情報とを力情報補正部125に出力する。

また、対象物情報算出部123による対象物の材質の算出方法として、上述した画像判定以外にも、材質の型番号をデータベースに事前に登録しておいて対象物情報算出部123で材質を算出する方法、又は、事前に取得できる部品の材質情報により対象物情報算出部123で材質を算出する方法、又は、作業と部品とのデータベースを用いて対象物情報算出部123で材質を算出する方法などが可能である。例えば、作業と部品とのデータベースを用いて対象物情報算出部123で材質を算出する方法では、作業の認識情報は、マスタ入出力IF118を用いて、作業者1などが、又は、他のデータベースから対象物情報算出部123に入力する一方、対象物情報算出部123には、作業の認識情報と部品と材質との関係情報が予め記憶されているか、又は、対象物情報算出部123は、前記関係情報が予め記憶されている他のデータベースから前記関係情報を取得可能とする。よって、入力された作業の認識情報と、関係情報とを基に、対象物情報算出部123で材質を算出することができる。

(補正力情報記憶部124) 補正力情報記憶部124は、対象物の材質情報と補正情報とを記憶する。図22に材質情報と補正情報の一例を示す。記憶する材質情報と補正情報とは、マスタ入出力IF118を用いて、作業者1などが、又は、他のデータベースから補正力情報記憶部124に入力することができる。補正力情報記憶部124は、対象物情報である材質情報と補正情報とを力情報補正部125に出力する。

(力情報補正部125) 力情報補正部125は、対象物情報算出部123より対象物情報と、時間情報とが入力され、補正力情報記憶部124より対象物情報と補正情報とが入力され、力情報取得部116より力情報と、時間情報とが入力される。力情報補正部125は、入力された対象物情報を基に補正情報を算出し、算出した補正情報を力情報に力情報補正部125で掛けることによって、力情報を力情報補正部125で補正する。

ここでは、対象物の材質が柔らかければ柔らかく見えるほど、力情報を小さくなるように力情報補正部125で補正する。このことは、同じ対象物に対して作業を行う場合において、作業者1が対象物を見る場合に、材質が柔らかく見える対象物の方が、重さが軽いと先入観により判断するため、柔らかく見える対象物が軽いとイメージしてしまう。同じ対象物でも、画面上で見える部分の表面に違う材質のものがある場合は、この例のように作業者1は見え方によって違うイメージを持つ。一例を、図23A、図23B、及び、図23Cを用いて説明する。図23A、図23B、及び、図23Cの違いは、挿入口9の材質の見え方が異なる点であり、図23Aがアルミニウムの材質に見え、図23Bがスポンジの材質に見え、図23Cが綿の材質に見える。このように、画面上での材質の見え方が異なる挿入口9に対して微細部品8を挿入する実験を行った。挿入の際に加えた力を計測した結果を、図24A、図24B、及び、図24Cに示す。図24Aがアルミニウムの材質に見える結果であり、図24Bがスポンジの材質に見える結果であり、図24Cが綿の材質に見える結果である。アルミニウムの材質に見える場合が平均3.6Nであり、スポンジの材質に見える場合が平均1.1Nであり、綿の材質に見える場合が平均0.7Nである。アルミニウムの材質に見える場合、スポンジの材質に見える場合、綿の材質に見える場合の順に、加える力が大きい。これは、挿入口9の材質の見え方が柔らかく見える材質の場合の方が、作業者1は対象物が軽いと判断し、小さな力しか加えないためである。

このように対象物の材質の見え方が変わった場合においても、同じ大きさの力を対象物に加えられるように、力情報に対して対象物情報を力情報補正部125で乗算した値に、力情報を力情報補正部125で補正する。材質が柔らかく見える場合には、力情報を小さくなるように力情報補正部125で補正することによって、対象物に加える力が対象物の材質の見え方にかかわらず同じになるように作業者1を誘導する。

力情報補正部125による具体的な補正方法について説明する。対象物情報算出部123より取得した対象物情報に対応する補正情報を、補正力情報記憶部124より取得した対象物情報と補正情報より、力情報補正部125で求める。求めた補正情報を力情報に力情報補正部125で掛けることによって、補正力情報を力情報補正部125で算出する。

ここでは、アルミニウムの材質に見えるときの補正情報を1(基準)としているが、補正情報の基準値1は、参照画像情報のいかなる値も取ることが可能である。例えば、アルミニウムの材質に見えるときを補正情報1とすることによって、作業に力が必要な場合に力が小さくなるように力情報補正部125で補正して、作業者1が大きく力を加えるように作業者1を誘導することができ、有効である。また、スポンジ又は綿の材質に見えるときを補正情報1とすることによって、対象物が壊れやすく、負荷をかけられない場合に、力を大きくなるように力情報補正部125で補正して、力を加えすぎないように防止することができ、大変有効である。このように、作業又は対象物に応じて、力情報補正部125では、基準を変更することができる。基準値となる参照画像情報は、作業者1がマスタ入出力IF118によって入力することができる。

力情報補正部125は、生成した補正力情報と時間情報とを力情報提示部115に出力する。

<フローチャート> 第2実施形態のマスタスレーブロボット100Bの操作手順を図25のフローチャートを用いて説明する。

第2実施形態のマスタスレーブロボット100Bの操作の一例は図17と同様である。ここでは、図17で表されるフローチャートのステップS204の力情報取得、ステップS205の補正力情報生成、ステップS206の力提示について図25を用いて説明する。

まず、ステップS301では、表示情報取得部111において表示情報を取得し、ステップS311に進む。

次に、ステップS311では、対象物情報算出部123において、取得した表示情報を基に、材質の見え方の参照画像情報と対応させ、対象物情報を取得し、ステップS303に進む。

次に、ステップS303では、力情報取得部116において、力情報を取得し、ステップS312に進む。

次に、ステップS312では、力情報補正部125において、力情報取得部116から取得した力情報に対して、対象物情報を掛け、対象物情報に合わせて補正した補正力情報を生成し、ステップS305に進む。

次に、ステップS305では、力情報提示部115において、力情報補正部125から取得した補正力情報に従い、マスタアーム2への指令値を生成し、マスタ入出力IF118及びマスタモータドライバ119を介してマスタアーム2で力提示を行い、作業者1に力が提示される。

上記の材質の違いは、画面上で見える材質が異なるが、実際には、スレーブアーム3が作業を行って接触する部分は、互いに同じ材質である対象物の場合にも生じることがある。このような場合には、力フィードバックの力情報を力情報補正部125で補正する。一方で、画面上で見える材質が異なり、実際でも、スレーブアーム3が作業を行って接触する部分も、互いに異なる材質である対象物の場合には、力フィードバックの力情報の補正を力情報補正部125で行わない。このような、力補正の有無の選択は、スレーブアーム3が接触する部分の材質を、マスタ入出力IF118を用いて、作業者1などが、又は、他のデータベースから力情報補正部125に事前に登録することによって、行うことができる。

《第2実施形態の効果》 画面上の対象物の材質の見え方に起因して作業者1に現実とは異なる先入観が生じた場合においても、画面上の材質の見え方の対象物情報に対応して力情報を力情報補正部125で補正し、力情報提示部115で力提示を行うことによって、作業者1が作業を正確に行うことができる。すなわち、作業者1が映像を見ながら操作するマスタスレーブロボット100であって、画面上での材質の見え方が変化した場合においても、作業者1は効率良く作業ができる。

(第3実施形態) 第1実施形態では、対象物の色の濃さに応じて力情報を補正することによって、画面上の色の見え方に応じた操作を可能としている。第3実施形態では、対象物の組立作業量に応じて力情報を補正することによって、画面上の組立作業量に応じた操作を可能とする。

本発明の第3実施形態における、マスタスレーブロボット100Cの制御装置101Cを含むマスタスレーブロボット100Cの概要について説明する。図26は、本発明の第3実施形態における、マスタスレーブロボット100Cのブロック図を示す。本発明の第3実施形態のマスタロボット102Cにおけるマスタアーム2と、マスタ周辺装置108と、マスタ制御装置106Cのうちのマスタ動作情報取得部110と表示情報取得部111とマスタ動作情報補正部112と力情報提示部115と、スレーブロボット103とは、第1実施形態と同様であるので、共通の参照符号を付して共通部分の説明は省略し、異なる部分(組立作業量情報記憶部126と対象物情報算出部127と力情報補正部128となど)についてのみ、以下、詳細に説明する。

(組立作業量情報記憶部126) 組立作業量情報記憶部126は、実際の対象物の組立作業量である実物対象物組立作業量情報を記憶する。ここで、組立作業量について図27Aを用いて説明する。図27Aに示す対象物において、図27A中にAで示す部分がディスプレイ7上に映り、Bの部分はディスプレイ7上ではAで示す部分の後ろに隠れている場合の、Aで示す部分の高さLの部分の長さ(例えば、5mm)を、組立作業量と呼ぶ。また、対象物の長さは、図27A中のHの部分の長さである。図27Aでの組立作業は、組込む側の対象物を組付ける側の対象物のBの部分に接触するように載置して組付け作業を行う。また、別の作業として、対象物に対して挿入作業を行う場合は、図27Bに示すように、組込む側の対象物を、組立作業量がある方向(挿入方向)から、組付ける側の対象物に挿入する。ここでは、組立作業量の一例として挿入量を表す。

組立作業量情報記憶部126は、実際の対象物の組立作業量を記憶する。実際の対象物の組立作業量は、マスタ入出力IF118を用いて、作業者1などが、又は、他のデータベースから組立作業量情報記憶部126に入力する。組立作業量情報記憶部126は、記憶している組立作業量情報を対象物情報算出部126に出力する。

(対象物情報算出部127) 対象物情報算出部127は、表示情報取得部111より撮像画像情報と、拡大率情報と、撮像装置位置情報と、時間情報とが入力され、組立作業量情報記憶部126より組立作業量情報が入力される。対象物情報算出部127は、入力された組立作業量情報を対象物情報とする。

図28に対象物情報と、時間情報との一例を示す。

対象物情報算出部127は、算出した対象物情報と、時間情報とを力情報補正部128に出力する。

また、対象物情報算出部127による対象物の組立作業量の算出方法として、上述した画像判定以外にも、部品の型番号をデータベースに事前に登録しておいて対象物情報算出部127で組立作業量を算出する方法、又は、事前に取得できる部品の挿入量情報により対象物情報算出部127で組立作業量を算出する方法、又は、作業と部品のデータベースを用いて対象物情報算出部127で組立作業量を算出する方法などが可能である。例えば、作業と部品とのデータベースを用いて対象物情報算出部123で組立作業量を算出する方法では、作業の認識情報は、マスタ入出力IF118を用いて、作業者1などが、又は、他のデータベースから対象物情報算出部123に入力する一方、対象物情報算出部123には、作業の認識情報と組立作業量との関係情報が予め記憶されているか、又は、対象物情報算出部123は、前記関係情報が予め記憶されている他のデータベースから前記関係情報を取得可能とする。よって、入力された作業の認識情報と、関係情報とを基に、対象物情報算出部123で組立作業量を算出することができる。

(力情報補正部128) 力情報補正部128は、対象物情報算出部127より対象物情報と時間情報とが入力され、力情報取得部116より力情報と時間情報とが入力される。力情報補正部128は、入力された対象物情報を基に補正情報を算出し、算出した補正情報を力情報に力情報補正部128で掛けることによって、力情報を力情報補正部128で補正する。

ここでは、対象物の組立作業量が大きければ大きいほど、力情報を小さくなるように力情報補正部128で補正する。このことは、同じ対象物に対して作業を行う場合において、対象物の組立作業量が大きいほど対象物に対して埋没するように見え、対象物の重さが軽いと作業者1が判断するため、組立作業量が大きい対象物が軽いとイメージしてしまう。同じ対象物でも組立作業量が異なる場合は、この例のように作業者1は見え方によって違うイメージを持つ。一例を、図29A、図29B、及び、図29Cを用いて説明する。図29A、図29B、及び、図29Cの違いは、挿入口9の組立作業量が異なる点であり、図29Aが組立作業量0mmであり、図29Bが組立作業量5mmであり、図29Cが組立作業量10mmである。このように、画面上での組立作業量が異なる挿入口9に対して微細部品8を挿入する実験を行った。挿入の際に加えた力を計測した結果を、図30A、図30B、及び、図30Cに示す。図30Aが組立作業量0mmの結果であり、図30Bが組立作業量5mmの結果であり、図30Cが組立作業量10mmの結果である。組立作業量0mmの場合が平均3.6Nであり、組立作業量5mmの場合が平均2.8Nであり、組立作業量10mmの場合が平均1.9Nである。組立作業量が0mmの場合、5mmの場合、10mmの場合の順に、加える力が大きい。これは、挿入口9の組立作業量が大きい場合の方が、作業者1は対象物が軽いと判断し、小さな力しか加えないためである。

このように対象物の組立作業量が変わった場合においても、同じ大きさの力を対象物に加えられるように、対象物情報を基に力情報を力情報補正部128で補正する。組立作業量が大きい場合に、力情報を小さくなるように力情報補正部128で補正することによって、対象物に加える力が対象物の組立作業量にかかわらず同じになるように作業者1を誘導する。

力情報補正部128による力情報の補正方法の一例について説明する。まず、力情報補正部128において、入力された組立作業量情報に対して、力情報補正部128の内部の記憶部(図示せず)に記憶された対象物の大きさ情報(図27A中のHの部分の長さ)と組立作業量との和で、除算する。この大きさ情報は、作業者1がマスタ入出力IF118を用いて入力する。このように、力情報補正部128で除算することによって、対象物の組立作業量の割合を力情報補正部128で算出する。力情報補正部128において、求めた割合を1から引き、ゲインを掛けることによって、補正情報を力情報補正部128で算出する。まとめると、次式で表される。組立作業量情報をLとし、対象物の大きさ情報をHとし、ゲインをαとし、求める補正情報をaとしている。

ゲインαは、作業者1がマスタ入出力IF118を用いて力情報補正部128に入力することができる。上記のように力情報補正部128で算出した補正情報を力情報に掛けることによって、補正力情報を算出する。

力情報補正部128は、生成した補正力情報と時間情報とを力情報提示部115に出力する。

<フローチャート> 第3実施形態のマスタスレーブロボット100Cの操作手順を図31のフローチャートを用いて説明する。

第3実施形態のマスタスレーブロボット100Cの操作の一例は図17と同様である。ここでは、図17で表されるフローチャートのステップS204の力情報取得と、ステップS205の補正力情報生成と、ステップS206の力提示とについて、図31を用いて説明する。

まず、ステップS301では、表示情報取得部111において表示情報を取得し、ステップS321に進む。

次に、ステップS321では、対象物情報算出部127において、取得した表示情報と組立作業量情報とを基に、対象物情報を算出し、ステップS303に進む。

次に、ステップS303では、力情報取得部116において、力情報を取得し、ステップS322に進む。

次に、ステップS322では、力情報補正部128において、力情報取得部116から取得した力情報に対して、対象物情報を基に補正した補正力情報を生成し、ステップS305に進む。

次に、ステップS305では、力情報提示部115において、力情報補正部128から取得した補正力情報に従い、マスタアーム2への指令値を生成し、マスタ入出力IF118及びマスタモータドライバ119を介してマスタアーム2で力提示を行い、作業者1に力が提示される。

《第3実施形態の効果》 対象物の組立作業量に起因して作業者1に現実とは異なる先入観が生じた場合においても、組立作業量の対象物情報に対応して力情報を力情報補正部125で補正し、力情報提示部115で力提示を行うことによって、作業者1が作業を正確に行うことができる。すなわち、作業者1が映像を見ながら操作するマスタスレーブロボット100であって、画面上での見え方(組立作業量)が変化した場合においても、作業者1は効率良く作業ができる。

(第4実施形態) 第1実施形態〜第3実施形態では、対象物の色の濃さ、材質、組立作業量などの対象物情報(対象物情報の特徴量)に応じて力情報を補正することによって、画面上の見え方に応じた操作を可能としている。第4実施形態では、これらの対象物情報を複数取得した場合に、複数の対象物情報から一つ選択し、力情報を補正する。

本発明の第4実施形態における、マスタスレーブロボット100Dの制御装置101Dを含むマスタスレーブロボット100Dの概要について説明する。図32は、本発明の第4実施形態における、マスタスレーブロボット100Dのブロック図を示す。本発明の第4実施形態のマスタロボット102Dにおけるマスタアーム2と、マスタ周辺装置108と、マスタ制御装置106Dのうちのマスタ動作情報取得部110と表示情報取得部111とマスタ動作情報補正部112と対象物情報算出部113と力情報補正部114と力情報提示部115と、スレーブロボット103とは、第1実施形態と同様であるので、共通の参照符号を付して共通部分の説明は省略し、異なる部分(対象物情報選択部129など)についてのみ、以下、詳細に説明する。

(対象物情報選択部129) 対象物情報選択部129は、対象物情報算出部113から対象物情報と時間情報とが入力される。対象物情報選択部129は、入力された対象物情報が1つの場合は、そのまま対象物情報を力情報補正部114に出力する。対象物情報選択部129は、入力された対象物情報が複数の場合は、複数の対象物情報の中から1つの対象物情報を選択し、力情報補正部114に出力する。

対象物情報選択部129による対象物情報の選択方法を具体的に説明する。対象物情報選択部129は、複数の対象物情報の補正情報を算出し、補正情報が最も大きな対象物情報を選択する。このことは、補正情報の大きい対象物情報が最も影響を与えていると考えられるためである。また、作業者1がマスタ入出力IF118を用いて、対象物情報を選択することも可能である。

また、対象物情報選択部129による対象物情報の他の選択方法として、対象物情報選択部129により、作業に応じて選択する対象物情報を選択する。例えば、対象物情報選択部129において、挿入作業の場合は組立作業量を選択し、スポンジなどの貼り付け作業の場合は材質を選択するなど、作業に適した対象物情報を選択する。この場合は、例えば、マスタ入出力IF118を用いて、作業者1などが、又は、他のデータベースから対象物情報選択部129に作業を入力し、入力された作業に関連した対象物情報を対象物情報選択部129で選択する。対象物情報選択部129には、予め作業と対象物情報との関連情報が記憶されているものとする。さらに他の選択方法としては、作業者1に応じて、影響の出やすい対象物情報を対象物情報選択部129に事前に登録して対象物情報選択部129で選択する。

対象物情報選択部129は、選択した対象物情報と時間情報とを力情報補正部114に出力する。

<フローチャート> 第4実施形態のマスタスレーブロボット100Dの操作手順を図33のフローチャートを用いて説明する。

第4実施形態のマスタスレーブロボット100Dの操作の一例は図17と同様である。ここでは、図17で表されるフローチャートのステップS204の力情報取得、ステップS205の補正力情報生成、ステップS206の力提示について図33を用いて説明する。

まず、ステップS301では、表示情報取得部111において表示情報を取得し、ステップS331に進む。

次に、ステップS331では、対象物情報算出部113において、取得した表示情報などを基に、複数の対象物情報を算出し、ステップS332に進む。

次に、ステップS332では、対象物情報選択部129において、複数の対象物情報から一つの対象物情報を選択する。対象物情報選択部129において、色の濃さを選択した場合はステップS333に進み、材質を選択した場合はステップS334に進み、組立作業量を選択した場合はステップS335に進む。

次に、ステップS333では、対象物情報選択部129において、選択した色情報を対象物情報として力情報補正部114に出力し、ステップS303に進む。

次に、ステップS334では、対象物情報選択部129において、選択した材質情報を対象物情報として力情報補正部114に出力し、ステップS303に進む。

次に、ステップS333では、対象物情報選択部129において、選択した組立作業量情報を対象物情報として力情報補正部114に出力し、ステップS303に進む。

次に、ステップS303では、力情報取得部116において、力情報を取得し、ステップS336に進む。

次に、ステップS336では、力情報補正部114において、力情報取得部116から取得した力情報に対して、対象物情報を基に補正した補正力情報を生成し、ステップS305に進む。

次に、ステップS305では、力情報提示部115において、力情報補正部114から取得した補正力情報に従い、マスタアーム2への指令値を生成し、マスタ入出力IF118及びマスタモータドライバ119を介してマスタアーム2で力提示を行い、作業者1に力が提示される。

《第4実施形態の効果》 複数の対象物情報が対象物情報算出部113で算出された場合において、最も影響の大きい対象物情報を対象物情報選択部129で選択して力情報を力情報補正部114で補正するので、効果の大きい力情報の補正を行い、力情報提示部115で力提示を行うことができ、作業者1が作業を正確に行うことができる。

(第5実施形態) 第1実施形態〜第3実施形態では、対象物の色の濃さ、材質、組立作業量などの対象物情報に応じて力情報を補正することによって、画面上の見え方に応じた操作を可能としている。第4実施形態では、これらの対象物情報を複数取得した場合に複数の対象物情報から一つ選択し、力情報を補正している。第5実施形態では、これらの対象物情報を複数取得した場合に、複数の対象物情報から一つの対象物情報に合成し、力情報を補正する。

本発明の第5実施形態における、マスタスレーブロボット100Eの制御装置101Eを含むマスタスレーブロボット100Eの概要について説明する。図34は、本発明の第5実施形態における、マスタスレーブロボット100Eのブロック図を示す。本発明の第5実施形態のマスタロボット102Eにおけるマスタアーム2と、マスタ周辺装置108と、マスタ制御装置106Eのうちのマスタ動作情報取得部110と表示情報取得部111とマスタ動作情報補正部112と対象物情報算出部113と力情報補正部114と力情報提示部115と、スレーブロボット103とは、第1実施形態と同様であるので、共通の参照符号を付して共通部分の説明は省略し、異なる部分(対象物情報合成部130など)についてのみ、以下、詳細に説明する。

(対象物情報合成部130) 対象物情報合成部130は、対象物情報算出部113から対象物情報と時間情報とが入力される。入力された対象物情報が1つの場合は、そのまま対象物情報を力情報補正部114に出力する。対象物情報合成部130は、入力された対象物情報が複数の場合は、複数の対象物情報を1つの対象物情報に合成し、合成した1つの対象物情報を力情報補正部114に出力する。

対象物情報合成部130による対象物情報の合成方法を具体的に説明する。対象物情報合成部130において、複数の対象物情報の補正情報を算出し、それぞれの補正情報に重みを付けて合成する。色の濃さ情報の補正情報をcとし、材質情報の補正情報をmとし、組立作業量情報の補正情報をhとすると、合成した補正情報sは、次式で表される。

ゲインα、β、γは、それぞれ、例えば、c、m、hの大きさの比率に応じて決定する。また、各ゲインは、どのような値でもとることが可能で、作業者1がマスタ入出力IF118を用いて入力することができる。

対象物情報合成部130は、合成した対象物情報と、補正情報と、時間情報とを力情報補正部114に出力する。

<フローチャート> 第5実施形態のマスタスレーブロボット100Eの操作手順を図35のフローチャートを用いて説明する。

第5実施形態のマスタスレーブロボット100Eの操作の一例は図17と同様である。ここでは、図17で表されるフローチャートのステップS204の力情報取得、ステップS205の補正力情報生成、ステップS206の力提示について図35を用いて説明する。

まず、ステップS301では、表示情報取得部111において表示情報を取得し、ステップS331に進む。

次に、ステップS331では、対象物情報算出部113において、取得した表示情報などを基に、複数の対象物情報を算出し、ステップS341に進む。

次に、ステップS341では、対象物情報合成部130において、複数の対象物情報を一つの対象物情報に合成し、ステップS303に進む。

次に、ステップS303では、力情報取得部116において、力情報を取得し、ステップS336に進む。

次に、ステップS336では、力情報補正部114において、力情報取得部116から取得した力情報に対して、対象物情報を基に補正した補正力情報を生成し、ステップS305に進む。

次に、ステップS305では、力情報提示部115において、力情報補正部114から取得した補正力情報に従い、マスタアーム2への指令値を生成し、マスタ入出力IF118及びマスタモータドライバ119を介してマスタアーム2で力提示を行い、作業者1に力が提示される。

《第5実施形態の効果》 複数の対象物情報が対象物情報算出部113で算出された場合において、複数の対象物情報を対象物情報合成部130で合成したのち力情報を力情報補正部114で補正するので、全ての対象物情報の要素を用いて力情報の補正を力情報補正部114で行い、力情報提示部115で力提示を行うことができ、作業者1が作業を正確に行うことができる。

(第6実施形態) 第1実施形態〜第3実施形態では、対象物の色の濃さ、材質、組立作業量などの対象物情報に応じて力情報を補正することによって、画面上の見え方に応じた操作を可能としている。第6実施形態では、これらの対象物情報を取得し、拡大率が変更された場合に補正方法を変更し、力情報を補正する。

本発明の第6実施形態における、マスタスレーブロボット100Fの制御装置101Fを含むマスタスレーブロボット100Fの概要について説明する。図36は、本発明の第6実施形態における、マスタスレーブロボット100Fのブロック図を示す。本発明の第6実施形態のマスタロボット102Fにおけるマスタアーム2と、マスタ周辺装置108と、マスタ制御装置106Fのうちのマスタ動作情報取得部110と表示情報取得部111とマスタ動作情報補正部112と対象物情報算出部113と力情報提示部115と、スレーブロボット103とは、第1実施形態と同様であるので、共通の参照符号を付して共通部分の説明は省略し、異なる部分(力情報補正部131など)についてのみ、以下、詳細に説明する。

(力情報補正部131) 力情報補正部131は、第1実施形態の力情報補正部114に代えてマスタ制御装置106Fに備えられ、第1実施形態における力情報補正部114の機能に加えて、拡大率情報を基に力情報を補正する機能を有する。

力情報補正部131は、表示情報取得部111から拡大率情報と時間情報とが入力される。力情報補正部131は、対象物情報を基に力情報を補正することに加えて、取得した拡大率情報を基に力情報を補正する。力情報補正部131による拡大率情報を用いた力情報の補正方法は、拡大率情報が大きければ大きいほど、対象物情報を基に算出した補正情報を補正する際の補正量を大きくなるように力情報補正部131で補正する。このことは、拡大率情報が大きいと、色、材質、組立作業量などの対象物情報がよく見え、作業者1の対象物情報に起因する先入観が大きくなる。一方で、拡大率情報が小さいと、対象物情報がよく見えず、作業者1の対象物情報に起因する先入観が小さくなる。

一例として、色の濃さ情報が対象物情報の場合において、拡大率情報を変更した場合の例を図37A、図37B、及び、図37Cを用いて説明する。図37A、図37B、及び、図37Cの違いは、挿入口9の拡大率情報が異なる点であり、図37Aが拡大率1.00であり、図37Bが拡大率1.64であり、図37Cが拡大率0.34である。このように拡大率が異なる画面を見ながら挿入口9に対して微細部品8を挿入する実験を行った。挿入の際に加えた力を計測した結果を、図38A、図38B、及び、図38Cに示す。図38Aが拡大率1.00の結果であり、図38Bが拡大率1.64の結果であり、図38Cが拡大率0.34の結果である。拡大率1.00の場合が平均4.7Nであり、拡大率1.64の場合が平均7.5Nであり、拡大率0.34の場合が平均1.4Nである。拡大率が1.64の場合、1.00の場合、0.34の場合の順に、加える力が大きい。これは、拡大率が大きいほど、色の濃さ情報がよく見え、色の濃さ情報の影響を大きく受け、作業者1が重いと判断し、大きな力を加えたためである。

このように、拡大率情報が変わった場合においても、同じ大きさの力を対象物に加えられるように、拡大率情報を基に補正力情報の補正量を力情報補正部131で変更する。拡大率情報が大きい場合に補正量を力情報補正部131で大きくし、拡大率情報が小さい場合に補正量を力情報補正部131で小さくすることによって、対象物に加える力が拡大率にかかわらず同じになるように作業者1を誘導する。

力情報補正部131による具体的な補正方法について説明する。力情報補正部131において、対象物情報を基に生成した補正情報の補正量を拡大率情報によって、変更する。例えば、力情報補正部131による力情報の補正方法として、補正情報を力情報に掛ける場合を用いて説明する。拡大率情報が1より小さい場合は、力情報補正部131において、補正情報の値を1に近づける。一方で、力情報補正部131において、拡大率情報が1より大きい場合は、補正情報が1より大きいときは補正情報の値を大きくし、補正情報が1以下のときは補正情報の値を小さくする。補正量を変化する大きさは、作業者1がマスタ入出力IF118を用いて力情報補正部131に入力する。

なお、拡大率情報に関して、対象物を撮像した際に、実際の対象物の大きさと画面上での対象物の大きさとが同じ大きさであるように拡大率を調整し、そのときの拡大率を1とする。

なお、ここでは、実際の対象物の大きさと画面上の対象物の大きさとが同じ大きさになるときを拡大率1と基準としたが、他の拡大のときを拡大率1として基準とすることも可能である。例えば、最も縮小しているときを拡大率1とすることによって、対象物が壊れやすく、負荷をかけられない場合に力を大きく補正して、力を加えすぎないように防止することができ、大変有効である。また、最も拡大しているときを拡大率1とすることによって、作業に力が必要な場合に力を小さく補正して、大きく力を加えるように誘導することができ、有効である。このように、作業又は対象物に応じて、例えば作業者1によるマスタ入出力IF118からの入力に基づき、基準を変更することができる。

力情報補正部131は、生成した補正力情報と時間情報とを力情報提示部115に出力する。

<フローチャート> 第6実施形態のマスタスレーブロボット100Fの操作手順を図39のフローチャートを用いて説明する。

第6実施形態のマスタスレーブロボット100Fの操作の一例は図17と同様である。ここでは、図17で表されるフローチャートのステップS204の力情報取得と、ステップS205の補正力情報生成と、ステップS206の力提示とについて、図39を用いて説明する。

まず、ステップS301では、表示情報取得部111において表示情報を取得し、ステップS302に進む。

次に、ステップS302では、対象物情報算出部113において、取得した表示情報を基に、対象物情報を取得し、ステップS303に進む。

次に、ステップS303では、力情報取得部116において、力情報を取得し、ステップS351に進む。

次に、ステップS351では、力情報補正部131において、対象物情報を基に、補正情報を生成し、ステップS352に進む。

次に、ステップS352では、力情報補正部131において、拡大率情報を取得し、ステップS353に進む。

次に、ステップS353では、力情報補正部131において、取得した拡大率情報が1より大きいかどうかを比較する。1より大きい場合はステップS354に進み、1以下の場合はステップS355に進む。

次に、ステップS354では、力情報補正部131において、生成した補正情報が1より大きいかどうかを比較する。1より大きい場合はステップS356に進み、1以下の場合はステップS357に進む。

次に、ステップS355では、力情報補正部131において、拡大率情報を基に、補正情報の値を1に近づけるように、さらに補正し、ステップS357に進む。

次に、ステップS356では、力情報補正部131において、拡大率情報を基に、補正情報の値を大きくするように、さらに補正し、ステップS357に進む。

次に、ステップS357では、力情報補正部131において、拡大率情報を基に、補正情報の値を小さくするように、さらに補正し、ステップS358に進む。

次に、ステップS358では、力情報補正部131において、生成した補正情報を力情報に掛け、補正力情報を生成し、ステップS305に進む。

次に、ステップS305では、力情報提示部115において、力情報補正部131から取得した補正力情報に従い、マスタアーム2への指令値を生成し、マスタ入出力IF118及びマスタモータドライバ119を介してマスタアーム2で力提示を行い、作業者1に力が提示される。

《第6実施形態の効果》 拡大率情報に応じて力情報を力情報補正部131で補正するので、作業者1の実際の見え方に応じて力情報の補正を行うことができ、作業者1が作業を正確に行うことができる。

(第7実施形態) 第1実施形態〜第6実施形態では、力情報を補正することによって、対象物情報に応じた操作を可能としている。第7実施形態では、力フィードバックにおける力情報の補正に加えて、動作情報を補正することによって、対象物情報に応じた操作を可能とする。

本発明の第7実施形態における、マスタスレーブロボット100Gの制御装置101Gを含むマスタスレーブロボット100Gの概要について説明する。図40は、本発明の第7実施形態における、マスタスレーブロボット100Gのブロック図を示す。本発明の第7実施形態のマスタロボット102Gにおけるマスタアーム2と、マスタ周辺装置108と、マスタ制御装置106Cのうちのマスタ動作情報取得部110と表示情報取得部111と力情報補正部114と力情報提示部115と、スレーブロボット103とは、第1実施形態と同様であるので、共通の参照符号を付して共通部分の説明は省略し、異なる部分(対象物情報算出部132とマスタ動作情報補正部133となど)についてのみ、以下、詳細に説明する。

力情報補正部114における力フィードバックの力情報の補正方法も第1実施形態と同様である。ここでは、追加の補正方法である、動作情報の補正方法について詳細を説明する。

(対象物情報算出部132) 対象物情報算出部132は、第1実施形態の対象物情報算出部113に代えて制御装置104Gに備えられ、第1実施形態における対象物情報算出部113では算出した対象物情報と時間情報とを力情報補正部114に出力していたが、対象物情報算出部132ではマスタ動作情報補正部133に出力する。

(マスタ動作情報補正部133) マスタ動作情報補正部133は、第1実施形態のマスタ動作情報補正部112に代えて制御装置104Gに備えられ、第1実施形態におけるマスタ動作情報補正部112の機能に加えて、対象物情報を基にマスタ動作情報を補正する機能を有する。

マスタ動作情報補正部133は、対象物情報算出部132から対象物情報と時間情報とが入力され、マスタ動作情報取得部110よりマスタ動作情報と時間情報とが入力される。マスタ動作情報補正部133は、取得した対象物情報を基にマスタ動作情報を補正する。

マスタ動作情報補正部133によるマスタ動作情報の補正方法については、色の濃さ情報が濃ければ濃いほど、マスタ動作情報を小さくなるようにマスタ動作情報補正部133で補正する。これは、第1実施形態の力情報補正部114において、対象物情報が濃ければ濃いほど、力情報を大きく補正することに対応する。つまり、マスタ動作情報を補正する場合は、力情報の補正の場合と逆に補正する。第1実施形態の力情報補正部114では、色が濃い場合に、力情報を大きく補正することによって、対象物に加える力が色の濃さ情報にかかわらず同じになるように作業者1を誘導する。マスタ動作情報補正部133では、色が濃い場合に、マスタ動作情報を小さくなるようにマスタ動作情報補正部133で補正することによって、対象物に加える力が色の濃さ情報にかかわらず同じになるように制御する。同様に、色が薄い場合には、マスタ動作情報を大きくなるようにマスタ動作情報補正部133で補正することによって、対象物に加える力が色の濃さ情報にかかわらず同じになるように制御する。他の対象物情報についても、力情報を補正する場合と逆にマスタ動作情報をマスタ動作情報補正部133で補正することによって、同様の効果が得られる。

<フローチャート> 第7実施形態のマスタスレーブロボット100Gの操作手順を図41のフローチャートを用いて説明する。

第7実施形態のマスタスレーブロボット100Gの操作の一例は図17と同様である。ここでは、図17で表されるフローチャートのステップS201の作業者がマスタアームを操作と、ステップS202の補正マスタ動作情報生成と、ステップS203のスレーブアーム移動とについて、図41を用いて説明する。

まず、ステップS301では、表示情報取得部111において表示情報を取得し、ステップS302に進む。

次に、ステップS302では、対象物情報算出部113において、取得した表示情報を基に、対象物情報を取得し、ステップS361に進む。

次に、ステップS361では、マスタ動作情報取得部110において、マスタ動作情報を取得し、ステップS362に進む。

次に、ステップS362では、マスタ動作情報補正部133において、取得した対象物情報を基に補正マスタ動作情報を生成し、ステップS363に進む。

次に、ステップS363では、スレーブ制御部116において、マスタ動作情報補正部133から取得した補正マスタ動作情報に従い、スレーブアーム3への指令値を生成し、マスタ入出力IF118及びマスタモータドライバ119を介してスレーブアーム3が移動し作業を行う。

《第7実施形態の効果》 力フィードバックにおける力情報の補正に加えて、マスタ動作情報をマスタ動作情報補正部133で補正するので、力情報を補正できないシステムでも使用することができる。また、スレーブの動作を制御するので、所望の操作を行いやすい。

なお、本発明の実施形態における制御装置における各構成要素は、マスタロボット102とスレーブロボット103とのどちらが構成することも可能である。

なお、本発明を第1〜第7実施形態及び変形例に基づいて説明してきたが、本発明は、前記の第1〜第7実施形態及び変形例に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

前記各制御装置の一部又は全部は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAM又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各部は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

例えば、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをCPU等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、前記実施形態又は変形例における制御装置を構成する要素の一部又は全部を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御プログラムであって、 力情報取得部で、前記スレーブアームに外部から加えられた力情報を取得するステップと、 対象物情報算出部で、前記組立作業を表示する前記表示部における前記組立作業の前記対象物の色の濃さと、前記対象物の材質と、前記対象物に対する組立作業量との少なくとも1つ以上の対象物情報を算出するステップと、 力情報補正部で、前記対象物情報取得部から取得した前記対象物情報を基に、前記力情報取得部から取得した前記力情報を補正する補正力情報を生成するステップと、 力情報提示部で、前記力情報補正部で生成した前記補正力情報をマスタスレーブに提示するステップと、 をコンピュータに実行させるための、マスタスレーブロボットの制御プログラムである。

また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体(例えば、CD−ROMなどの光ディスク、磁気ディスク、又は、半導体メモリなど)に記録されたプログラムが読み出されることによって実行されてもよい。

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

なお、前記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。

本発明にかかるマスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路は、作業者が見ている画像に応じた力提示を受けることができ、産業用、家庭用、医療用のマスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路として有用である。

1 作業者 2 マスタアーム 3 スレーブアーム 4 ハンド 5 力センサ 6 撮像装置 7 ディスプレイ 8 微細部品 9 挿入口(コネクタ) 10 機器 11 作業台 100、100B、100C、100D、100E、100F、100G マスタスレーブロボット 101、101B、101C、101D、101E、101F、101G マスタスレーブロボットの制御装置 102、102B、102C、102D、102E、102F、102G マスタロボット 103 スレーブロボット 104、104B、104C、104D、104E、104F、104G マスタアームの制御装置 105 スレーブアームの制御装置 106、106B、106C、106D、106E、106F、106G マスタ制御装置 107 スレーブ制御装置 108 マスタ周辺装置 109 スレーブ周辺装置 110 マスタ動作情報取得部 111 表示情報取得部 112、133 マスタ動作情報補正部 113、123、127、132 対象物情報算出部 114、125、128、131 力情報補正部 115 力情報提示部 116 力情報取得部 117 スレーブ制御部 118 マスタ入出力IF 119 マスタモータドライバ 120 スレーブ入出力IF 121 スレーブモータドライバ 122 対象物情報記憶部 124 補正力情報記憶部 126 組立作業量情報記憶部 129 対象物情報選択部 130 対象物情報合成部