使用了增强现实和混合现实的机器人控制装置及显示装置专利检索-混合现实显示技术专利检索查询-专利查询网

使用了 增强现实和混合现实的 机器人控制装置及显示装置

阅读：311发布：2020-05-11

专利汇可以提供使用了增强现实和混合现实的机器人控制装置及显示装置专利检索，专利查询，专利分析的服务。并且本发明提供机器人控制装置及显示装置，机器人控制装置有效地利用增强现实和混合现实来辅助使用者的作业。机器人控制装置具备：显示装置，其能够使由计算机生成的信息与现实的环境重合而显示，或者能够使该信息与拍摄该环境得到的现实图像重合而显示；位置姿势取得部，其取得该环境中包含的机器人与显示装置的相对的位置及姿势；显示控制部，其使显示装置显示机器人、机器人的可动部、或由可动部支撑的物体等的虚拟模型；操作控制部，其操作显示于显示装置的虚拟模型；以及位置姿势规定部，其基于所操作的虚拟模型的位置及姿势的至少一方和机器人与显示装置的相对的位置及姿势，规定机器人的位置及姿势的至少一方。，下面是使用了增强现实和混合现实的机器人控制装置及显示装置专利的具体信息内容。

权利要求

1.一种机器人控制装置，其特征在于，具备：
显示装置，其能够使由计算机生成的信息与现实的环境重合而显示，或者能够使该信息与拍摄该环境得到的现实图像重合而显示；
位置姿势取得部，其取得上述环境中包含的机器人与上述显示装置的相对的位置及姿势；
显示控制部，其使上述显示装置显示上述机器人、上述机器人的可动部、由该可动部支撑的物体以及该可动部的作业对象物中的至少一个的虚拟模型；
操作控制部，其操作显示于上述显示装置的上述虚拟模型；以及
位置姿势规定部，其基于利用上述操作控制部而操作的上述虚拟模型的位置及姿势的至少一方和上述位置姿势取得部取得的上述相对的位置及姿势，规定上述机器人的位置及姿势的至少一方。
2.根据权利要求1所述的机器人控制装置，其特征在于，
上述显示装置为具有拍摄上述现实的环境的照相机和实时显示上述照相机取得的现实图像的显示器的头部佩戴型显示装置或便携终端。
3.根据权利要求1所述的机器人控制装置，其特征在于，
上述显示装置为具备透过型显示器的头部佩戴型显示装置。
4.根据权利要求1～3中任一项所述的机器人控制装置，其特征在于，
上述位置姿势规定部基于利用上述操作控制部而操作的上述虚拟模型的位置及姿势的至少一方和上述位置姿势取得部取得的上述相对的位置及姿势，判定上述机器人是否能够实际到达以上述虚拟模型的位置及姿势的至少一方指定的上述机器人的位置及姿势的至少一方，若能够到达，则基于上述虚拟模型的位置及姿势的至少一方，规定上述机器人的位置及姿势的至少一方。
5.根据权利要求1～4中任一项所述的机器人控制装置，其特征在于，
还具有程序生成部，该程序生成部基于上述位置姿势规定部规定的上述机器人的位置及姿势的至少一方，生成上述机器人的动作程序。
6.根据权利要求1～5中任一项所述的机器人控制装置，其特征在于，
在上述机器人和上述显示装置的至少一方具备追随装置，该追随装置追随并求出上述相对的位置及姿势。
7.一种机器人控制装置，其特征在于，具备：
显示装置，其能够使由计算机生成的信息与现实的环境重合而显示，或者能够使该信息与拍摄该环境得到的现实图像重合而显示；
显示控制部，其使上述显示装置显示上述现实的环境中包含的机器人、上述机器人的可动部、由该可动部支撑的物体以及该可动部的作业对象物中的至少一个物体的虚拟模型；
操作控制部，其操作显示于上述显示装置的上述虚拟模型；以及
位置姿势取得部，其基于上述现实的环境中包含的上述物体与显示于上述显示装置的上述虚拟模型一致或者显示于上述显示装置的上述现实图像所表现的上述物体与上述虚拟模型一致时的上述现实的环境中包含的上述物体的位置及姿势的至少一方、或者显示于上述显示装置的上述虚拟模型的位置及姿势的至少一方，取得上述机器人与上述显示装置的相对的位置及姿势的至少一方。
8.根据权利要求7所述的机器人控制装置，其特征在于，
上述位置姿势取得部基于以下条件取得上述机器人与上述显示装置的相对的位置及姿势的至少一方：
通过上述机器人的控制部设定的坐标系与通过上述显示装置的控制部设定的坐标系的相对位置关系；以及
上述现实的环境中包含的上述物体与显示于上述显示装置的上述虚拟模型一致或者显示于上述显示装置的上述现实图像所表现的上述物体与上述虚拟模型一致时的上述现实的环境中包含的上述物体的位置及姿势的至少一方、或者显示于上述显示装置的上述虚拟模型的位置及姿势的至少一方。
9.一种显示装置，其特征在于，具备：
显示部，其能够使由计算机生成的信息与现实的环境重合而显示，或者能够使该信息与拍摄该环境得到的现实图像重合而显示；
位置姿势取得部，其取得上述环境中包含的机器人与上述显示部的相对的位置及姿势；
显示控制部，其使上述显示部显示上述机器人、上述机器人的可动部、由该可动部支撑的物体以及该可动部的作业对象物中的至少一个的虚拟模型；
操作控制部，其操作显示于上述显示部的上述虚拟模型；以及
位置姿势规定部，其基于利用上述操作控制部而操作的上述虚拟模型的位置及姿势的至少一方和上述位置姿势取得部取得的上述相对的位置及姿势，规定上述机器人的位置及姿势的至少一方。
10.一种显示装置，其特征在于，具备：
显示部，其能够使由计算机生成的信息与现实的环境重合而显示，或者能够使该信息与拍摄该环境得到的现实图像重合而显示；
显示控制部，其使上述显示部显示上述现实的环境中包含的机器人、上述机器人的可动部、由该可动部支撑的物体以及该可动部的作业对象物中的至少一个物体的虚拟模型；
操作控制部，其操作显示于上述显示部的上述虚拟模型；以及
位置姿势取得部，其基于上述现实的环境中包含的上述物体与显示于上述显示部的上述虚拟模型一致或者显示于上述显示部的上述现实图像所表现的上述物体与上述虚拟模型一致时的上述现实的环境中包含的上述物体的位置及姿势的至少一方、或者显示于上述显示部的上述虚拟模型的位置及姿势的至少一方，取得上述机器人与上述显示部的相对的位置及姿势的至少一方。

说明书全文

使用了增强现实和混合现实的 机器人控制装置及显示装置

技术领域

[0001] 本发明涉及使用了增强现实和混合现实的机器人控制装置及显示装置。

背景技术

[0002] 在以往的机器人系统中，存在利用与虚拟现实(Virtual Reality：VR)相关的技术进行机器人的状态、作业人员的操作的导航的情况。但是，在虚拟现实中，需要事先准备机器人、其周边物的模型数据等，构筑正确的模型耗费时间和精力。另外，若机器人等的虚拟模型与现实的背离较大，则难以进行正确的导航等。

[0003] 因此，近年来的机器人系统中，存在使用与增强现实(Augmented Reality：AR)相关的单元(AR对应显示器等)、技术来进行机器人的状态显示、作业人员的操作辅助(导航)的情况(例如，参照日本特开2016－107379号公报、日本特开2017－138609号公报、日本特开2012－171024号公报、日本特开2017－104944号公报、日本特开2004－209641号公报、以及日本特表2017－523054号公报)。

[0004] 利用增强现实进行机器人的示教等作业的情况下，作业人员能够一边观看重叠显示于真实的机器人的图像或信息一边进行作业，但在进行示教等时，与以往同样地，需要使现实的机器人运动。因此，现有的利用了增强现实的作业不能被认为十分好用，期望更有效地利用增强现实和混合现实(Mixed Reality：MR)的优点来辅助使用者的作业的技术。

发明内容

[0005] 本公开的一方案为机器人控制装置，其具备：显示装置，其能够使由计算机生成的信息与现实的环境重合而显示，或者能够使该信息与拍摄该环境得到的现实图像重合而显示；位置姿势取得部，其取得上述环境中包含的机器人与上述显示装置的相对的位置及姿势；显示控制部，其使上述显示装置显示上述机器人、上述机器人的可动部、由该可动部支撑的物体以及该可动部的作业对象物中的至少一个的虚拟模型；操作控制部，其操作显示于上述显示装置的上述虚拟模型；以及位置姿势规定部，其基于利用上述操作控制部而操作的上述虚拟模型的位置及姿势的至少一方和上述位置姿势取得部取得的上述相对的位置及姿势，规定上述机器人的位置及姿势的至少一方。

[0006] 本公开的另一方案为机器人控制装置，其具备：显示装置，其能够使由计算机生成的信息与现实的环境重合而显示，或者能够使该信息与拍摄该环境得到的现实图像重合而显示；显示控制部，其使上述显示装置显示上述现实的环境中包含的机器人、上述机器人的可动部、由该可动部支撑的物体以及该可动部的作业对象物中的至少一个物体的虚拟模型；操作控制部，其操作显示于上述显示装置的上述虚拟模型；以及位置姿势取得部，其基于上述现实的环境中包含的上述物体与显示于上述显示装置的上述虚拟模型一致或者显示于上述显示装置的上述现实图像所表现的上述物体与上述虚拟模型一致时的上述现实的环境中包含的上述物体的位置及姿势的至少一方、或者显示于上述显示装置的上述虚拟模型的位置及姿势的至少一方，取得上述机器人与上述显示装置的相对的位置及姿势的至少一方。

[0007] 本公开的又一方案为显示装置，其具备：显示部，其能够使由计算机生成的信息与现实的环境重合而显示，或者能够使该信息与拍摄该环境得到的现实图像重合而显示；位置姿势取得部，其取得上述环境中包含的机器人与上述显示部的相对的位置及姿势；显示控制部，其使上述显示部显示上述机器人、上述机器人的可动部、由该可动部支撑的物体以及该可动部的作业对象物中的至少一个的虚拟模型；操作控制部，其操作显示于上述显示部的上述虚拟模型；以及位置姿势规定部，其基于利用上述操作控制部而操作的上述虚拟模型的位置及姿势的至少一方和上述位置姿势取得部取得的上述相对的位置及姿势，规定上述机器人的位置及姿势的至少一方。

[0008] 本公开的又一方案为显示装置，其具备：显示部，其能够使由计算机生成的信息与现实的环境重合而显示，或者能够使该信息与拍摄该环境得到的现实图像重合而显示；显示控制部，其使上述显示部显示上述现实的环境中包含的机器人、上述机器人的可动部、由该可动部支撑的物体以及该可动部的作业对象物中的至少一个物体的虚拟模型；操作控制部，其操作显示于上述显示部的上述虚拟模型；以及位置姿势取得部，其基于上述现实的环境中包含的上述物体与显示于上述显示部的上述虚拟模型一致或者显示于上述显示部的上述现实图像所表现的上述物体与上述虚拟模型一致时的上述现实的环境中包含的上述物体的位置及姿势的至少一方、或者显示于上述显示部的上述虚拟模型的位置及姿势的至少一方，取得上述机器人与上述显示部的相对的位置及姿势的至少一方。附图说明

[0009] 本发明的目的、特征以及优点根据与附图关联的以下的实施方式的说明将更明确。附图中：

[0010] 图1是优选的实施方式的机器人控制装置的功能块图；

[0011] 图2是表示使用者进行机器人的示教的状态的图；

[0012] 图3是表示显示装置的一例的头戴式显示器的图；

[0013] 图4是表示显示装置的一例的便携终端的图；

[0014] 图5是表示使用者将显示装置朝向机器人时的显示装置的画面显示例的图；

[0015] 图6是表示显示于菜单的工具的图像的一例的图；

[0016] 图7是表示用简单的模型显示实际的工件的例的图；

[0017] 图8是表示在机器人的模型显示有用于使各轴旋转的杆的例的图；

[0018] 图9是表示在工具模型的附近显示有工具坐标系和操作按钮的例的图；

[0019] 图10是表示在工具模型的附近显示有用于使模型平移的正交点动的例的图；

[0020] 图11是表示在工具模型的附近显示有用于使模型旋转移动的正交点动的例的图；

[0021] 图12是表示基于虚拟模型的位置设定机器人的示教点时的显示装置的画面显示例的图；

[0022] 图13是表示计量机器人与显示装置的相对位置关系的例的图。

具体实施方式

[0023] 图1是表示优选的实施方式的机器人控制装置10的一结构例的功能块图，图2是作为机器人控制装置10的应用例，表示使用者(作业人员)12进行机器人14的示教的情况的图。机器人控制装置10具备：显示装置18，其能够将预先由计算机11生成的信息(3D模型等)与包含机器人14的现实的环境(工厂、作业现场等)重合显示、或者能够将该信息与对环境进行拍摄所得到的图像(现实图像)重合显示；位置姿势取得部20，其取得环境中包含的机器人14与显示装置18的相对的位置及姿势(相对位置关系)；显示控制部24，其在显示装置18显示使机器人14的可动部(臂、安装于该臂的工具等)22等的模型(虚拟模型)；操作控制部26，其操作在显示装置18显示的虚拟模型；以及位置姿势规定部28，其基于由操作控制部
26进行了操作的虚拟模型的位置及姿势的至少一方和位置姿势取得部20取得的上述相对位置关系，规定机器人14的位置及姿势的至少一方(例如，示教点)。另外，机器人控制装置
10也可以还具有基于位置姿势规定部28规定的机器人14的位置及姿势的至少一方生成机器人14的动作程序的程序生成部30。此外，这里的可动部是指通过机器人的各轴的动作移动的物体，例如，包括机器人臂或安装于臂前端的手、工具等。另外，虚拟模型能够设为机器人14等现实的环境中包含的机器人、机器人的可动部、被机器人的可动部支撑的物体以及机器人的可动部的作业对象物的至少一个物体的虚拟的模型。此外，作业对象物也可以不只是成为机器人的加工等的作业的对象的物体，还包括机器人的校正作业中供机器人的可动部接触的在校正作业中使用的物体。

[0024] 此外，在图1的例中，位置姿势取得部20、显示控制部24、操作控制部26、位置姿势规定部28以及程序生成部30可以通过与机器人14有线或无线连接的设于箱体(未图示)内的CPU、存储器、传感器或能与显示装置18无线通信的通信机、或者它们的组合实现，也可以将它们的至少一部分设于显示装置18。即，显示装置18也可以具有位置姿势取得部20、显示控制部24、操作控制部26、位置姿势规定部28以及程序生成部30。另外，显示装置18及该箱体分别还能够具备控制显示装置18及机器人14的全面动作的控制部(CPU、存储器等)。

[0025] 图3表示作为显示装置18的一具体例的头戴式显示器(头部佩戴型显示装置)。头戴式显示器18具有拍摄现实环境的照相机32、实时显示照相机32取得(拍摄)的图像、影像的显示器34。显示器34是显示部的一例。使用者12通过佩戴头戴式显示器18并将照相机32朝向现实的机器人14，从而能够拍摄包含机器人14的环境，实时取得(捕获)该环境的影像，且经由显示器34，能够视觉确认进行了增强现实化的图像。或者，头戴式显示器18也可以具备透过型显示器，使用者12能够经由该透过型显示器视觉确认现实的环境。此外，显示于显示器34的虚拟模型能够根据后述的手势操作等使用者12的动作在显示器内进行操作(平移、旋转、放大/缩小等)。

[0026] 图4表示作为显示装置18的另一具体例的便携终端(平板电脑)。便携终端18具有拍摄现实环境的照相机36和实时显示照相机36取得(拍摄)的图像、影像的显示器38。显示器38是显示部的另一例。使用者12保持便携终端18并将照相机36朝向现实的机器人14，从而能够拍摄包含机器人14的环境，实时取得(捕获)该环境的影像，能够经由显示器38视觉确认进行了增强现实化的图像。此外，通过使用者使手指、手写笔41等相对于显示器38接触、滑动，能够在显示器38内操作(移动等)显示于显示器34的虚拟模型。

[0027] 接下来，对使用了机器人控制装置10的操作、处理的流程的具体例进行说明。在此，如图2所示，使用者12作为显示装置18佩戴图3所示那样的头部佩戴型(头戴式)显示器，对设置于环境(在此为作业现场)的地板40的机器人14利用把持式工具(在此为手22)把持配置于地板40上的预定位置的真实的物品(工件)42的操作进行示教。此外，在图2中示出了三个手22、22a以及22b，但是，如后所述，真实的手只是安装于机器人14的前端的手22，另外两个手22a及22b是非真实的虚拟图像(模型)。另外，机器人14的手22以外的机器人主体部分、工件42、以及环境内的其它周边物(未图示)也是真实的。

[0028] 首先，使用者12若将显示装置18朝向机器人14的方向，则如图5所示地，在显示装置18的显示器34显示表示机器人14能够使用的手等工具或机器人14的前端(机器人前端R)等模型的一览(菜单)的图像(窗口等)50。然后，使用者12通过手势操作从显示的模型中选择(例如拖放)适当的模型，从而在预先定义于现实环境的预定位置的基准坐标系86的特定的位置显示所选择的模型。在此，使用者12从菜单将手B向真实的手22的左方拖放，从而显示手22的虚拟模型22a。在此显示的虚拟模型22a的大小能够根据该虚拟模型被释放的位置而适当自动地变更。

[0029] 菜单50可以以文本形式显示可选择的工具，或者，也可以在此基础上显示为图像。另外，工具既可以作为单品显示，也能以显示工具把持有物品的状态显示。例如，也可以是，在菜单50中，将手B单品显示为“手B”，将手B把持有工件42的状态显示为“手B1”。例如，在选择了“手B1”的情况下，手22的虚拟模型以把持有工件42的状态显示。

[0030] 图6是表示显示于菜单50的工具的图像的一例的图。如图6所示，图像601～图像604分别表示“手A”、“手B”、“手B1”以及“手C”的图像。“手A”例如为通过吸附把持工件的工具。另外，“手B”例如为具有两个爪，通过将工件夹在该两个爪之间而把持工件的工具。“手B1”如上所述地表示手B保持有工件的状态。而且，“手C”例如是具有三个爪，且通过将工件夹在该三个爪之间而保持工件的工具。

[0031] 另外，模型的一览也可以作为3D(三维)模型而显示，作为3D模型，可以显示机器人的一部分、安装于机器人的工具(手、焊枪、密封枪等)、工具的操作的对象物(用手把持、搬送的工件、被焊接物等)等。

[0032] 进一步地，在模型一览可以显示使用者预先或现场定义的长方体等虚拟的物体。例如，如图7所示，实际的工件52为圆柱形状，在利用吸附式的手54吸附工件52的上表面而搬送的情况下，使用者12预先或现场将工件52设为可内含工件52的长方体的3D的工件模型
56而设定、存储于机器人控制装置10，能够使工件模型56显示于显示装置18的显示器34。该情况下，工件模型56不限于长方体，优选设定成至少工件模型56的上表面及下表面分别与实际的工件52的上表面及下表面成为齐平面。在实际的工件的形状复杂的情况下、无法准备实际的工件(无法配置于环境内)的情况下，通过这样利用工件的模型，后述的示教等作业更简单。

[0033] 另外，如图7所示，在进行对于将工件52相对于箱58取出放入的用途的示教的情况下，若实际上将箱58配置于现实环境内，则有时使用者不能视觉确认其内部的工件，该情况下，通过进行工件的建模，可以用虚线显示工件的轮廓等进行隐藏在箱中的显示。其结果，使用者能够使用机器人控制装置10，直观且更容易地对机器人进行示教。通常，在示教时，使用者使机器人控制装置执行现实的机器人的动作程序，确认示教点间的机器人的搬送路径是否与现实的物体干涉。该确认中，使用者使机器人控制装置以从低的速度开始，将速度阶段性地提高到目标示教速度的方式将程序执行多次。另一方面，在本实施方式中，通过在进行了上述的工件的建模的基础上示教，机器人控制装置10执行机器人程序时的动作的状况能够以虚拟的机器人的图像与现实的世界重合的方式显示。因此，使用者不用在意机器人的搬送路径与箱等现实物体的干涉，而从最初以目标示教速度再生工件模型56的动作影像，容易确认在示教点间机器人是否干涉，因此机器人控制装置10能够缩短示教时间。

[0034] 模型的一览(菜单)50显示于固定在使用者12的身体上的用户坐标系上。即，菜单50追随使用者12的动作而移动，相对于使用者12始终显示在固定的位置。另一方面，一旦重叠显示(释放)于现实环境的模型22a设定于基准坐标系86，则即使使用者12运动也不追随该运动，保持显示于现实环境的特定的位置的状态。

[0035] 如图5所示地虚拟模型22a重叠显示于现实环境的图像后，使用者12以使虚拟模型22a处于所需的位置以及姿势的方式进行手势操作等动作。以下，说明手势操作的具体例。

[0036] (拖动操作)

[0037] (A1)使用者12注视手22或安装于机器人前端的工具的虚拟模型22a，进行用手指捏住虚拟模型22a的手势，从而显示控制部24成为使模型22a运动的状态。

[0038] (A2)使用者12使手保持捏住虚拟模型22a的状态运动，使模型22a移动到想要示教的位置及姿势。显示控制部24根据使用者12的手的运动使模型22a运动。此外，在移动距离比较长的情况下，使用者12也可以在现场(环境内)移动。

[0039] (A3)模型22a到达所需的位置后，使用者12进行张开手的手势，位置姿势规定部28将此时的模型22a的位置及姿势作为示教点等而设定(存储于存储器)。

[0040] (整个机器人的拖动操作)

[0041] 显示控制部24使显示装置18(的显示器34)显示整个机器人14的虚拟模型。使用者12想要使该整个模型移动而示教的情况下，例如，进行如下的动作。

[0042] (B1)如图8所示例地，使用者12通过手势操作等使整个机器人14的虚拟(3D)模型59重叠显示于现实的机器人14，当注视模型59进行虚拟敲击(Air Tap)时，在机器人模型59的附近的空间内显示用于调整各轴的位置的杆60。此外，在此，机器人14为6轴多关节机器人，因此在模型59的各轴的附近显示六个杆60。

[0043] (B2)使用者12注视某轴(对象轴)进行虚拟敲击，通过用手指捏住杆60的手势，显示控制部24成为使模型59运动的状态。

[0044] (B3)使用者12保持捏住杆60的状态以描绘圆弧的方式使手运动，使模型59的对象轴的位置运动至想要示教的位置。显示控制部24根据使用者12的手的运动使模型59运动。此时，无需使实际的机器人14运动。

[0045] (B4)对象轴移动至所需的位置后，使用者12进行张开手的手势，位置姿势规定部28将对象轴固定(设定)于该位置。

[0046] (B5)根据需要，对其它轴进行(B3)－(B4)的处理，最后，当使用者12注视各轴以外的机器人的部分进行虚拟敲击时，此时的机器人模型59的位置及姿势(各轴的位置)作为示教点等而设定。

[0047] (按钮操作)

[0048] (C1)当使用者12注视手22a等工具进行虚拟敲击时，如图9所例示地，在工具附近的空间显示在该工具所定义的工具坐标系62、操作该工具的虚拟模型的多个操作按钮64以及应用的点动的模式。例如，在该例中，示出了表示应用的点动的模式为正交点动的“正交”。此外，显示的点动的模式显示除了正交点动外，例如，也可以包括表示为各轴点动的“各轴”、或者表示为由特定的坐标系定义的正交点动的该特定的坐标系的注释(例如，在由工具坐标系定义的情况下，为“工具”等)。另外，也可以根据应用的点动的模式，变更显示的操作按钮64的注释。例如，也可以取代应用正交点动的情况下的“+X”、“－X”等，而显示表示成为操作对象的轴的“+J1”等。进一步地，显示的操作按钮64的数量也可以根据机器人14具有的轴的数量或附加轴的数量而变更。

[0049] (C2)当使用者12注视按钮64的任一个进行虚拟敲击时，根据在按钮64的附近显示的比例(图示例中，10％)，模型22a进行预定距离移动。在想要使模型22a连续移动的情况下，使用者12在注视对象按钮的状态下，进行预定的动作(例如，握拳(所谓的石头)的手势)。在该移动中，模型22也以与在按钮64的附近所显示的比例(图示例中，10％)对应的速度移动。例如，在机器人14的最大移动速度(例如，250mm/s)设定为100％且显示为10％时，模型沿指定的方向以最大速度的10％(例如，25mm/s)的速度移动。这在后述的正交点动操作中也同样。该情况下，例如，在进行张开手的动作(所谓的布的手势)时，能够使模型22a的移动停止。此外，在想要变更比例(％)的情况下，使用者12注视％显示65进行虚拟敲击，由此能够使受理数值输入的按钮(未图示)等显示。

[0050] (C3)使手22a或工具移动至应当示教的位置后，使用者12注视模型22a进行虚拟敲击，由此模型22a的位置及姿势被设定(存储于存储器等)，不显示工具坐标系62和按钮64。

[0051] (正交点动操作)

[0052] (D1)当使用者12注视手22a等工具进行虚拟敲击时，如图10或图11例示地，在工具附近的空间显示操作该工具的虚拟模型的正交点动66或68和以比例表示使模型移动的速度的信息70或72。

[0053] (D2)当使用者12注视正交点动66进行虚拟敲击时，能够捏住正交点动66的按钮74而进行操作，捏住按钮74，向所需的方向(图示例中，+X、－X、+Y、－Y、+Z、－Z的任一个)移动，由此能够使工具沿该方向以指定的速度(例如，最高速度的10％)移动。同样，当使用者12注视正交点动68进行虚拟敲击时，能够捏住正交点动68的X轴76、Y轴78以及Z轴80的任一个进行操作，通过使使用者12捏住的轴绕顺时针及逆时针的任一个旋转，能够使手22等虚拟模型沿所需的方向(图示例中，+X、－X、+Y、－Y、+Z、－Z的任一个)以指定的速度旋转移动。

[0054] (D3)使手22a或工具移动至应示教的位置后，使用者12注视模型22a进行虚拟敲击，由此模型22a的位置及姿势被确定(临时存储)，不显示正交点动66或68、以及信息70或72。此外，在图10中通过捏住按钮74、在图11通过捏住X轴76、Y轴78以及Z轴80的任一个来操作工具，但图10或图11示出的箭头也可以作为操作用的按钮而显示。该情况下，也可以执行与图9所示的按钮操作同样的操作。

[0055] 此外，使用者12的视线方向能够利用公知的技术求出，例如，可以使用设于头戴式显示器18的陀螺传感器等传感器67(参照图3)、设于平板电脑18的陀螺传感器等传感器69(参照图4)，通过检测显示装置18的姿势(即，使用者12的头部、照相机36朝向哪个方向)来求出，也可以使用视线检测传感器等直接检测使用者的视线。

[0056] 另外，在上述的手势操作中，使用者12进行石头、布、虚拟敲击、用手指捏住、张开手等手势，当然也可以通过除此之外的手势操作模型。另外，除了手势操作以外，也可以利用使用了示教操作板或(操纵杆或触控面板等的)定点设备的操作。

[0057] 通过上述的手势操作，工具虚拟模型22a移动至所需的(例如，作为示教点应设定的)位置后，通过使用者12的虚拟敲击等动作，如图12所示地模型选択菜单50转换到程序编辑画面82。程序编辑画面82也与菜单50同样地显示于固定于使用者12的身体的用户坐标系上，使用者12能够同时视觉确认编辑画面82和现实环境。

[0058] 使用者12通过上述的手势操作、后述的手势操作等，对模型22a以成为想要示教的位置及姿势的方式进行操作，将此时的机器人14的位置及姿势利用程序编辑画面82来规定(更具体而言，进行机器人14的示教(示教点的生成、设定))。例如，在图2的例中，能够对手22从由虚拟图像22a示出的位置(位置[1])经由现实的手的位置(位置[2])移动至由虚拟图像22b示出的可把持工件42的位置(位置[3]，参照图2)的动作进行示教。

[0059] 基于程序编辑画面82进行的位置示教操作例如能够通过从显示出的动作菜单选择机器人的动作指令语句来进行。当使用者12选择指令语句时，以工具的虚拟模型(以下，称为工具模型)的位置及姿势和现实的工具的位置及姿势分别一致的机器人的位置及姿势被规定，规定的机器人的位置及姿势作为示教点而示教(存储于适当的存储器)。例如，在进行从图7例示的箱58中用吸附式的手54保持并取出工件52的作业的机器人系统中，能够按照以下的顺序进行示教。

[0060] (E1)使用者12预先或者现场定义工件52的3D工件模型56。在此，工件模型56定义为内含工件52的模型。

[0061] (E2)显示控制部24使定义的工件模型56重叠显示于现实的工件52。

[0062] (E3)如图7所示，显示控制部24将吸附手54的模型投影至现实的世界，使用者12对吸附工件52时的手54的位置及姿势进行示教。于是，通过显示控制部24，显示装置(增强现实对应显示器)18能够将此时的吸附手54的模型和使用者12定义的模型56配置成所需的位置关系的状态的模型与该示教点的位置编号(在此，位置[1]－[3])一起显示于模型一览。由此，机器人控制装置10能够不实际使现实的机器人14运动，而且视觉上容易理解地进行机器人14与周边物等不干涉的搬送路径的示教。另外，通过使用公知的图像辨认技术，在无需对应当吸附、保持现实的工件的哪个部位进行示教的系统中，能够相对于手的中心点，使用者定义模型，并添加到模型的一览。

[0063] 此外，在根据模型的位置对具有7轴以上的冗长轴的机器人的位置及姿势进行示教的情况下，可以是使用者指定该冗长轴的位置，冗长轴的模型也可以与指定的位置一起显示。例如，在机器人的第六轴(前端)安装有冗长轴的情况下，显示控制部24使机器人的前端与冗长轴一起显示时，能够使相对于该前端的该冗长轴的模型的位置根据使用者指定的冗长轴的位置变化。

[0064] 然后，上述的位置姿势规定部28使用操作控制部26对虚拟模型的操作和位置姿势取得部20取得的机器人14与显示装置18的相对位置关系(后述)，判断机器人14(手22)实际是否可以到达移动后的虚拟模型的各位置，若可以达到，则将示教后的位置(机器人的位置及姿势)作为示教点而规定，并存储于存储器。程序生成部30能够生成包括该示教点的机器人的动作程序。生成的动作程序除了机器人的示教外，还能够用于机器人的动作确认、干涉检验等动作模拟。此外，在该例中决定各示教点，但也可以作为由多个示教点构成的轨迹(点列)进行示教。例如，若将在空间中拖动3D模型得到的轨迹设为示教点列，则能够将机器人的动作作为轨迹示教。

[0065] 位置姿势规定部28例如如下进行是否可到达的判定。

[0066] 如图9所示，显示于工具模型的工具坐标系62能够对每个工具模型设定几个，该坐标系以相对于在机器人的端点所定义的坐标系处于怎样的相对关系来定义。对每个工具模型定义工具坐标系，因此在模型的一览显示的菜单50中，工具模型与定义该工具坐标系的编号一起显示。这样，在将与工具坐标系62一起定义的工具模型投影至现实的世界时，能够以行列表示在显示装置的控制部任意定义的基准坐标系上，工具模型以怎样的位置及姿势存在。在此，机器人控制装置的控制部(未图示)任意定义的世界坐标系上的工具模型的位置及姿势(从世界坐标系观察到的工具坐标系的位置及姿势)以根据由位置姿势取得部20取得的显示装置与机器人的相对位置关系得到的、表示从世界坐标系观察到的基准坐标系的位置及姿势的变换矩阵A和表示从基准坐标系观察到的工具模型的位置及姿势的行列B的积表示。基于该世界坐标系上的工具模型的位置及姿势，求解逆运动学，从而位置姿势规定部28能够算出机器人的各轴位置。该算出的各轴位置若处于对每个机器人定义的各轴的动作制限、自干涉式的动作限制的范围内，则位置姿势规定部28能够判定为机器人可以到达。

[0067] 在机器人控制装置的控制部和显示装置的控制部的功能汇总为一个的情况等，显示装置的基准坐标系与世界坐标系一致的情况下，位置姿势规定部28基于工具模型的位置及姿势求解逆运动学，从而求出机器人的各轴位置，由此判断是否可到达即可。

[0068] 上述的实施方式中，机器人控制装置10使用模型的位置及姿势示教机器人的位置及姿势，但也可以仅示教机器人的位置或姿势。例如，仅包括位置的示教点(示教信息)用于无需指定机器人的姿势的情况。该情况下，示教点的姿势能够通过基于该示教点的前后的示教点的姿势的插值计算决定。另一方面，例如在应当将机器人保持的物品以特定的姿势配置于预定大小的区域内的任意的场所的情况下，可以对该特定的姿势的示教使用仅包括姿势的示教点(示教信息)。

[0069] 另外，在上述实施方式中，对使用工具的模型进行示教的例进行了说明，但机器人控制装置10也能够使用整个机器人、机器人的一部分、焊枪或密封枪等可安装于机器人的工具、或该工具的作业对象物或加工对象物的模型进行示教。此外，如上述地，作业对象物不仅包括成为机器人的加工等作业的对象的物体，还包括在机器人的校正作业中机器人的可动部接触到的在校正作业中使用的物体。另外，本公开的机器人控制装置除了示教以外，还能够在使机器人不实际动作而进行机器人的动作确认、有无干涉的检验等(基于动作程序的模拟)时使用。例如，在上述实施方式中，对通过模型特定机器人的位置及姿势并用于程序的示教的例进行了说明，但机器人控制装置也可以使用特定的位置及姿势的信息使虚拟的机器人整体的图像与现实的环境重合，并显示于显示装置，此时，为了确认机器人与现实的物体是否干涉而使用机器人控制装置。

[0070] 另外，特定的机器人的位置及姿势的信息也可以如本实施例这样用于示教以外的用途。

[0071] 接下来，对取得(计量)机器人14与显示装置18的相对位置关系的位置姿势取得部20的具体的结构例进行说明。首先，公所周知，机器人14安装有AR标识等视觉上的标识(未图示)。可以列举，位置姿势取得部20对通过用搭载于显示装置18的照相机32或36(图3－4)拍摄该标识而得到的图像进行辨认(图像处理)，由此根据图像上的标识的位置、朝向以及尺寸计算照相机与机器人的相对位置关系。

[0072] 但是，在上述的公知例中，需要预先通过粘贴、印刷等将标识设于机器人，例如，在机器人设于比较容易变脏的环境的情况下，必须进行机器人(至少标识)的定期的清扫。而且，使用者需要能够在拍摄标识的位置操作显示装置，因此，使用者的可移动的范围受到制约。另一方面，也可以取代标识而利用机器人主体的图像，但该情况下，为了识别机器人，需要从多个方向拍摄该机器人，预先准备多个图像。

[0073] 因此，如本公开这样使用可以将由计算机生成的信息与包括机器人的现实的环境重合而显示，或者与拍摄该环境所得到的现实图像重合而显示的显示装置的情况下，位置姿势取得部20能够根据显示于该显示装置的机器人或附属于该机器人的物体的3D模型和现实的机器人或附属于该机器人的物体重合时的条件(参数)特定该显示装置与该机器人的相对位置关系。

[0074] 以下，说明特定显示装置与机器人的相对位置关系的结构的具体例(实施例1－3)，首先，对以下说明使用的主要的用语进行说明。“机器人的控制点”是指控制机器人的动作时使用的代表点，工具前端点(TCP)是其优选例。另外，“世界坐标系”是以机器人的(设定于基座等的)基准位置为原点的在机器人所定义的坐标系，例如，为用图2的参照符号84表示的在环境内固定的坐标系。

[0075] “基准坐标系”是增强现实对应显示器等显示装置的控制部可任意定义的坐标系，例如，如用图2的参照符号86所示地，在此为以开始示教操作等时(启动显示装置时)的照相机(使用者)的位置为原点的在环境内固定的坐标系。更详细而言，例如，在显示装置内置有3D传感器的情况下，能够取得使用者所处空间的三维数据，显示装置的控制部能够决定在该空间内的哪个位置显示手等的3D模型，作为决定该位置时的基准，能够使用上述基准坐标系。

[0076] (实施例1)

[0077] 图13是使用者经由显示装置18看到的图像，表示相对于真实的机器人14的手22，重叠显示手22的虚拟(3D)模型22a的状态。在此，根据使用者12的操作，由显示装置18的控制部等预先决定相对于基准坐标系86在哪个位置及姿势显示3D模型22a，另一方面，根据使用者12的操作、程序的执行，由控制机器人的控制部等预先决定相对于世界坐标系在哪个位置及姿势控制机器人的控制点。从而，通过使用者12使工具(手)的3D模型22a和现实的工具22在显示装置18的画面34上一致，位置姿势取得部20能够按照以下的顺序计量显示装置18相对于机器人14的相对位置关系。

[0078] 显示装置18显示图13的手22a那样的机器人14的前端部分的模型、工具的模型等机器人14的一部分的模型，通过使用者12进行上述的手势操作等，操作控制部26使模型22a移动，现实的手22和模型22a看起来一致。此时，显示装置18的控制部从机器人14的控制部接收机器人14的各轴位置，且根据需要接收工具坐标系的信息，从而能够计算机器人14(世界坐标系84)的原点位置。通过该处理，显示装置18的控制部能够将3D模型22a的位置辨认成现实中机器人14的工具22存在的位置。此外，操作控制部26例如通过在由照相机32或照相机36得到的图像与对应于各种手势的模板之间执行模板匹配，或者通过将图像输入为了识别图像标识的手势而预先进行了学习的识别器(例如，基于神经网络的识别器)，从而能够辨认使用者12执行的手势。

[0079] 显示装置18的控制部能够将世界坐标系84与基准坐标系86的相对位置关系相关的信息(例如，从世界坐标系84到基准坐标系86的变换矩阵)和基准坐标系86与显示装置18的位置关系的信息(例如，基准坐标系86下的显示装置18的位置及姿势)发送至机器人14的控制部。位置姿势取得部20根据接收到的信息求出显示装置18位于世界坐标系84的哪个位置。

[0080] 在此，“重合”或“一致”是指现实图像及虚拟图像的位置、姿势以及大小完全相同，或者两图像的位置、姿势以及大小的每个的差(使用者能够将两者实质上作为一个图像视觉确认的程度)处于预定的误差范围内，另外，这样的状态例如可以利用模板匹配自动判别。但是，使用者将两者实质上作为一个图像而辨认时，也能够通过手势操作、开关操作等向机器人或显示装置的控制部输入两图像一致(重合)。

[0081] 实施例1中，记载了显示机器人的前端部分的模型、工具的模型等一部分，但该模型也可以与用手捏住的物体、或者成为安装于机器人的枪等的加工对象物的存在于机器人的动作范围内的作业对象物体的模型一起显示。该情况下，使用者只要使显示出的模型的机器人或安装于机器人的工具等的部分移动，以便作业对象物体的模型与安装于机器人或工具的现实的作业对象物体一致即可。

[0082] (实施例2)

[0083] 在实施例1中，对于机器人的一部分，使虚拟图像与现实的环境或图像一致，在实施例2中，显示装置18显示机器人整体的3D模型，使用者使其模型以与现实的机器人一致(重合)的方式移动。该状态下，显示装置18的控制部能够将3D模型的位置(的原点等)作为现实中机器人14(的原点等)存在的位置而辨认。另外，位置姿势取得部20能够以与实施例1同样的步骤求出世界坐标系84中的显示装置18的位置。

[0084] 这样，位置姿势取得部20能够基于世界坐标系84与基准坐标系86的相对位置关系和显示装置18显示出的现实图像与虚拟模型一致时的显示装置18中的虚拟图像(模型)的位置，取得显示装置18相对于机器人14的相对位置关系。此外，优选显示装置18具有测量显示装置18相对于基准坐标系86的位置及姿势的至少一方的3D传感器等的传感器。另外，在实施例1、2中，机器人控制装置以使虚拟的模型和现实的物体一致的方式操作虚拟的模型，但也可以以使虚拟的模型和现实的物体一致的方式操作现实的机器人。此外，位置姿势取得部20还能够基于现实的环境包含的物体或现实图像表现出的该物体和该物体的虚拟模型一致时的该物体的现实的位置及姿势，通过与上述同样的处理，取得显示装置18与机器人14间的相对位置关系。另外，位置姿势取得部20也可以根据需要仅取得显示装置18与机器人14的相对的位置及相对的姿势中的任意一方。

[0085] (实施例3)

[0086] 在实施例1及2中，在一个位置，机器人控制装置10对于机器人整体或一部分使虚拟图像与现实的环境或图像一致，能够使用多个位置将误差平均化，提高精度。作为具体的方法，可以列举对机器人示教坐标系时使用的3点示教法(后述)、4点示教法。

[0087] 在3点示教法中，首先，使用者在任意的第一位置使真实的机器人14的手22和虚拟模型22a一致，以与实施例1同样的步骤将机器人与显示装置的相对位置关系存储于显示装置的控制部。然后，在机器人控制装置10使现实的机器人14(的手22)从第一位置沿世界坐标系84的X轴方向进行任意的距离移动后的第二位置，同样地，使用者使手22和虚拟模型22a一致，将机器人与显示装置的相对位置关系存储于控制部。进一步地，在机器人控制装置10使现实的机器人14(的手22)从第二位置沿世界坐标系84的Y轴方向进行任意的距离移动后的第三位置，同样地，使用者使手22和虚拟模型22a一致，将机器人与显示装置的相对位置关系存储于控制部。通过将利用以上的处理得到的多个相对位置平均等处理，位置姿势取得部20能够求出世界坐标系84与基准坐标系86的更正确的相对位置关系。此外，在实施例3中，即使将显示装置的控制部置换成机器人的控制部，将世界坐标系置换成基准坐标系，也能够得到同样的结果。对于一直以来用于机器人的工具坐标系的设定的4点示教法，也同样能够适用。

[0088] 根据实施例1－3，能够高精度地取得增强现实对应显示器等显示装置与现实的机器人的相对位置关系，进一步地，相比图像辨认的方法，能够大幅减少保养的工时、处理的时间。此外，在上述的各实施例中，关联世界坐标系与基准坐标系的位置关系，对机器人和显示装置分别具有控制部的例进行了说明，但也可以将具备两控制部的功能的实质上的一个控制部设于机器人及显示装置的任一个，或者，也可以作为个人计算机等独立的装置而设置。此外，上述的各实施例中的模型的操作能够使用手势、触控面板、手柄或操纵杆这样的游戏机的操作也能使用的定点设备、或示教操作板等来进行。

[0089] 另外，使用者有时在使用显示装置进行上述的手势操作、示教等作业的期间，有意或无意地相对于现实的机器人移动，机器人与显示装置的相对位置关系发生变化。另一方面，在机器人搭载于可动式的台车等的情况下，即使使用者不动，有时机器人也相对于使用者移动。这样的情况下，需要重新计量显示装置与机器人的相对位置关系。

[0090] 因此，优选在机器人及显示装置的至少一方设置追随地求出机器人与显示装置之间的相对的位置及姿势的追随装置，以便即使使用者(显示装置)与机器人的相对位置关系变化，根据该变化量，显示于现实环境中的模型也能够适当移动。例如，通过在显示装置及机器人的一方或双方设置使用了利用激光、红外线等光的传感器、超声波传感器、磁式传感器、惯性传感器、或陀螺传感器等的追随装置(例如，参照显示装置18的参照符号67(图3)或符号69(图4))，在两者的相对位置关系发生了变化的情况下，即使不进行该相对位置关系的重新计量，也能够连续取得正确的相对位置关系。

[0091] 在机器人搭载于台车的情况下，若在该台车设有上述的追随装置，则在首次计量机器人与显示装置的相对位置关系后，即使机器人移动，也能够取得其位置，能够准确判断现实的机器人是否可以到达示教的位置。另外，在作为机器人的动作模拟显示机器人的3D模型的情况下，也能够正确地显示该3D模型的动作。此外，机器人也可以并非设于台车，而是设置于由伺服马达等驱动并且能够取得移动量的轨道、旋转圆盘等之上。该情况下，能够将检测该移动量的单元(编码器等)用作追随装置。

[0092] 此外，在上述的实施方式中，对使用了头部佩戴型的显示装置的例进行了说明，当然在使用平板电脑终端的情况下也能够进行同样的操作、处理。

[0093] 在上述的实施方式中，以6轴和7轴的机器人为例进行了说明，但应用本公开的机器人控制装置的机器人不限定于这些轴数的机器人，除此之外的轴数的机器人也可以使用本公开的机器人控制装置。

[0094] 另外，在上述的实施方式中，通过利用增强现实和混合现实，使用者利用手势进行与现实的环境重叠显示的虚拟模型的操作(移动、旋转等)，从而能够以使实际的机器人或物体运动的感觉对机器人进行示教，因此，能够更直观且迅速地进行示教等作业。另外，对于工件、周边设备等的机器人周边真实存在的物体，无需预先建模，因此不仅相比虚拟现实能够减少工时，而且能够提高示教、模拟的精度、可靠性。进一步地，使用者无需拿着示教操作板或机器人主体这样的现实的物体或者通过手动、点动操作使现实的机器人运动，因此该机器人控制装置能够减轻使用者的负担及疲劳，并且能够缩短作业时间，而且能够节约能量成本。

[0095] 根据本公开，并非使真实的机器人，而是使重叠显示于现实的环境的机器人的虚拟模型基于使用者的动作运动，因此使用者能够以与使现实的机器人运动的情况大致相同的感觉直观地进行示教等作业。

标题	发布/更新时间	阅读量
测量程序选择辅助设备和测量控制设备	2020-05-08	958
一种含氮炭材料负载的铱单原子催化剂及制备和应用	2020-05-11	29
管理虚拟物体所有权的方法及相关互动平台	2020-05-12	835
利用像素移位的抽取式残像补偿	2020-05-12	926
一种禾本科植物抗倒伏有机水溶肥制造工艺	2020-05-13	569
一种基于Hololens的远程手术指导装置及操作方法	2020-05-12	701
混合现实环境中的情境应用	2020-05-08	377
一种基于混合现实的搜救流程仿真与交互系统及方法	2020-05-13	451
改进的虚拟对象的激活	2020-05-11	643
信息处理装置、系统、图像处理方法、计算机程序及存储介质	2020-05-08	903

使用了增强现实和混合现实的机器人控制装置及显示装置

使用了增强现实和混合现实的机器人控制装置及显示装置

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：