技术领域
[0001] 本
发明涉及一种用于运行
机器人控制系统的方法，所述机器人控制系统包括
机器学习系统，所述机器学习系统根据包括机器人的行动空间的地图确定至少一个对象在机器人的行动空间中的运动路线。同样，本发明涉及一种设备和一种计算机程序，其被配置为实施该方法。
背景技术
[0002] EP 2 960 741 A2公开了一种自主的服务机器人、尤其自主的
割草机或吸尘机器人（Saugroboter），其具有用于周围环境检测的光学检测设备。提出：光学检测设备具有传播时间测量单元，所述传播时间测量单元至少部分地借助传播时间测量执行周围环境检测并且至少被设置用于障碍检测。
发明内容
[0003] 与此相对地，具有独立
权利要求1的特征的方法具有如下优点：机器人被控制，使得该机器人不妨碍其环境中的至少一个对象、尤其人的运动路线。因此，机器人拥有与社会兼容的行为并且因此通过其防御性的人-机器人交互控制而适合于许多不同的应用领域。此外，本发明具有如下优点：通过机器学习系统可以学习对象在机器人的环境中的运动路线。由此，在机器人的运行期间不必执行成本过高的仿真或计算，以便确定对象在环境中的运动路线。因为机器学习系统已学习对象的运动路线相对于机器人的行动空间的关联并且因此即使在未知的或不完整的环境中、诸如在地图
片段上也可以快速地并且简单地确定至少一个对象的运动路线。通常用于此的计算方法不能计算在地图片段上的运动路线或能够计算在地图片段上的非常不精确的运动路线，因为存在太少的用于计算的信息。同样，机器学习系统在机器人的运行中与仿真相比计算效率明显更高，因为根据机器学习系统的恒定参数确定结果。
[0004] 在第一方面中，本发明涉及用于运行机器人控制系统的方法。机器人控制系统包括机器学习系统，该机器学习系统被配置为根据地图或地图的片段确定变量，所述地图包括行动空间，机器人可以在该行动空间中移动。所述变量表征至少一个对象的运动路线，所述对象可以在地图的行动空间中或在地图的片段的行动空间中移动。该方法包括如下步骤：- 提供至少一个训练地图，所述训练地图包括训练行动空间，所述机器人可以在所述训练行动空间中移动。
[0005] - 在训练地图的行动空间中记录变量，所述变量表征至少一个对象的运动路线，所述对象可以在训练行动空间中移动。
[0006] - 训练机器学习系统。在机器学习系统的训练中，使在训练地图的可预先给定的片段上由机器学习系统确定的变量接近所记录的变量。在此，所确定的变量表征至少一个对象的运动路线。所记录的变量表征至少一个对象的运动路线并且被记录在训练地图的可预先给定的片段上。
[0007] 表征至少一个对象的运动路线的变量的记录例如可以根据运动模型和/或测量来进行。训练可以借助训练系统来进行，所述训练系统根据机器学习系统的所确定的结果相对于预先给定的结果适配机器学习系统的参数化，使得所确定的结果接近预先给定的结果。优选地，所确定的结果和预先给定的结果之间的差通过数学距离尺寸来表征，其中该差被训练系统用于确定机器学习系统的合适的参数化。应注意的是，机器学习系统不仅可以是机器人控制系统的一部分，而且机器人控制系统可以是机器学习系统。
[0008] 训练地图是被用于训练机器学习系统的地图。训练地图可以是不一定与机器人的实际环境一致的所仿真的环境的地图。在所仿真的环境中，训练行动空间可以是可以被用于训练机器学习系统的所仿真的行动空间。
[0009] 特别有利的是，机器学习系统被配置为根据地图的行动空间、尤其可预先给定的片段的形状确定表征至少一个对象的运动路线的所确定的变量。在此，行动空间的形状通过边界来表征。边界例如可以通过在机器人的环境中的对象来定义。该对象尤其可以是静态对象、诸如
墙壁或
汽车，或动态对象、诸如人或机器人。
[0010] 同样特别有利的是，训练地图的可预先给定的片段被划分成多个小区，其中每个小区被分配一个值，所述值表征如下变量，所述变量表征至少一个对象的运动路线。该方式具有如下优点：机器学习系统可以更准确地学习通过多个小区的运动路线，以及在机器人的运行中能够通过机器学习系统更精确地确定运动路线。
[0011] 有利地，表征至少一个对象的运动路线的变量包括出现概率和/或转移概率和/或停留概率。出现概率是如下变量，所述变量表征至少一个对象的运动路线在行动空间中的一个
位置处出现的概率。转移概率是如下变量，所述变量表征至少一个对象的运动路线从行动空间中的一个位置转移到至少一个相邻的位置的概率。停留概率是如下变量，所述变量表征至少一个对象的运动路线在行动空间中的一个位置处停留的持续时间的概率。
[0012] 在一个有利的改进方案中，确定机器人的环境的地图和机器人在该地图上的行动空间。同样，在该有利的改进方案中表征至少一个对象的运动路线的变量根据在该地图的可预先给定的区段上的行动空间借助机器学习系统来确定。地图在此包括机器人的行动空间，其中该行动空间对应于机器人在其周围环境中的实际行动空间。应注意的是，被用于训练机器学习系统的训练地图是如下地图，所述地图可以包括具有机器人的所仿真的训练行动空间的所仿真的训练环境。
[0013] 有利的是，机器人的运动根据所确定的变量来控制，所述变量表征至少一个对象的运动路线。也有利的是，附加地根据机器人在地图上的行动空间来控制机器人的运动。
[0014] 在该方法的一个有利的改进方案中根据所确定的变量来规划轨迹，并且根据所规划的轨迹来控制机器人的运动，所述变量表征至少一个对象的运动路线。
[0015] 特别有利的是，机器人的运动被控制，使得机器人的运动不妨碍对象的所确定的运动路线。
[0016] 对至少一个对象的所确定的运动路线的妨碍被理解为，对象基于机器人的运动必须改变其运动路线并且因此经历其运动路线的妨碍。但是对至少一个对象的所确定的运动路线的妨碍也可以被理解为，机器人通过其被规划的运动与对象的可能的运动路线相交或接近对象的可能的运动路线，使得机器人的运动可能导致对象的运动路线的可能的改变并且因此妨碍对象的运动路线。
[0017] 有利的是，机器人的等待位置根据所确定的变量来确定，所述变量表征至少一个对象的运动路线，其中所述等待位置是机器人的行动空间中的位置，所述位置通过由机器学习系统确定的表征至少一个对象的运动路线的变量来表征，使得在该等待位置处所确定的变量包括与机器人的行动空间中的其他位置相比更小的值，尤其使得在该位置处不曾确定对象的运动路线。在该等待位置处，机器人没有预期到至少一个对象在该位置处的运动路线或预期到至少一个对象在该位置处的罕见的运动路线并且因此该位置优选地被机器人用于暂停，以便紧接着继续所规划的运动，而不妨碍对象的运动路线。
[0018] 在该方法的一个有利的改进方案中，在规划轨迹时检查：沿着所规划的轨迹是否存在对象。在规划轨迹时相应地考虑存在的对象。这例如可以在家庭中、在餐饮业领域中的机器人的情况下或在
工业机器人、尤其割草机、吸尘机器人、作为酒吧服务员的服务机器人或用于生产环境中的物品的运输机器人的情况下被应用。将该方法用于任何类型的自主机器也是有利的，所述自主机器必须预测或确定对象、尤其人在所述自主机器的环境中的动态行为，以便实施运动，而在此在所述自主机器的运动中不妨碍所述对象。
[0019] 在一个有利的改进方案中，在借助机器学习系统确定表征至少一个对象的运动路线的变量期间考虑由至少一个检测单元所检测的环境变量，所述至少一个检测单元
定位在机器人的环境中。在此，检测单元检测机器人的环境的至少一个特性，所述特性被用于借助机器学习系统在考虑所检测的环境变量的情况下更准确地确定运动路线。
[0020] 在第二方面中，本发明涉及计算机程序，所述计算机程序包括指令，所述指令在计算机上实施时引起该方法的每个步骤被实施，并且此外涉及机器可读的
存储器元件，在所述存储器元件上存储有计算机程序。
[0021] 在另一方面中，本发明涉及一种设备，其被配置为实施所述方法之一的每个步骤。
附图说明
[0022] 本发明的
实施例在附图中示出并且在随后的描述中予以更详细地解释。在此：图1示出处于
建筑物的空间中的机器人的示意图；
图2示出建筑物的地图的示意图，机器人处于所述建筑物中，其中所述地图的片段借助机器学习系统处理并且在所述地图的该片段上示出至少一个虚拟对象的运动路线；
图3示出根据本发明的方法的一种实施方式的示意图；
图4示出训练系统的一种实施方式的示意图，所述训练系统可以被用于训练机器学习系统。
具体实施方式
[0023] 图1示出处于建筑物的房间中的机器人（10）的示意图。该房间通过例如墙壁（14）和
门（15）限定。但是也可设想的是，其他对象、诸如桌子或柜子处于该房间中，所述其他对象同样限定该房间，但是所述其他对象未在图1中示出。此外，检测单元（16）可以定位在机器人（10）的环境中。该检测单元例如可以检测环境的特性并且传送给机器人（10）。示例性地，检测单元（16）可以确定当前的室温或外部
温度。
[0024] 机器人（10）在此包括环境检测单元（11），该环境检测单元被配置为检测机器人的环境并且创建机器人的环境的地图。此外，机器人（10）包括机器人控制系统（13）。机器人控制系统（13）例如可以包括机器学习系统、优选地
深度神经网络，和/或计算单元。附加地，机器人控制系统包括存储器元件（12）。
[0025] 图2示出机器人（10）所处于的建筑物的地图（20）的示意图。由于机器人（10）借助环境检测单元（11）仅仅检测机器人（10）的可见的环境而并不检测建筑物的所有房间，所以机器人仅仅检测建筑物的地图（20）的仅仅一个片段（21）。也可设想的是，机器人（10）有给定的地图，在所述地图上机器人确定其位置（22）并且确定其环境的地图（20）的片段（21）。如果机器人（10）在没有给定的地图（20）的未知的建筑物中在路上，则该机器人优选地可以根据测量和/或定位
算法、诸如SLAM（Simultaneous Localization and Mapping（
即时定位与地图构建））确定其位置（22）和地图（20）的片段（21）。由机器人（10）使用的地图（20）在此包括行动空间，在所述行动空间中机器人（10）可以在所述地图上移动。
[0026] 所确定的片段（21）借助机器人（10）的机器学习系统（23）处理。机器学习系统（23）根据输入变量、尤其地图（20）的片段（21）和机器学习系统（23）的参数化确定虚拟对象在该片段（21）上的运动路线（24）。优选地，虚拟对象的运动路线（24）通过机器学习系统（23）根据机器人（10）在地图（20）的片段（21）上的行动空间的形状来计算。虚拟对象示例性地可以是人员、其他机器人或宠物，其并不处于该环境中，但是通常在该环境中根据机器人（10）的行动空间的形状和/或结构来选择确定的路径。虚拟对象在地图（20）上的该行为通过虚拟对象的运动行为来表征并且由机器学习系统（23）学习。
[0027] 如果例如门（15）处于机器人（10）的行动空间中，则通常虚拟对象朝门（15）的方向移动，由此机器人（10）可以学习，当门（15）处于机器人（10）的行动空间中时，虚拟对象的运动行为（24）以较高的概率朝门（15）的方向定向。于是机器人（10）可以将所学习到的该关联应用于未知的片段（21）。
[0028] 图3示出用于运行机器人控制系统的方法（30）的示意图，所述机器人控制系统包括机器学习系统（23）。
[0029] 该方法（30）以步骤31开始。在步骤31中，为机器人学习系统提供训练地图。在此，训练地图包括训练行动空间，机器人（10）可以在所述训练行动空间中移动。优选地，在步骤31中，为机器人控制系统提供多个训练地图，使得大量的学习数据可供机器人控制系统使用并且因此机器学习系统（23）能够以更特定于任务的方式被训练。
[0030] 在随后的步骤32中，根据例如仿真和/或测量，尤其从测量到的运动数据中将表征至少一个虚拟对象的运动路线的变量记录到机器人（10）在训练地图上的训练行动空间中。示例性地，但是也可以以训练地图上的给定的起始和目标点仿真：一个或多个被仿真的对象在训练地图上如何从起始点移动到目标点。优选地根据对象为了到达目标点已多频繁地越过训练地图上的确定区域的
频率，可以计算在训练地图上的表征至少一个虚拟对象的运动路线的变量并且尤其记录在该区域上。可选地，在步骤32中将训练地图划分成多个小区，其中每个小区被分配一个值，所述值包括表征虚拟对象的运动路线的变量。优选地，表征至少一个虚拟对象的运动路线的变量是虚拟对象的停留概率、出现概率和/或转移概率。
[0031] 步骤33跟随在步骤32结束了之后。在步骤33中，训练机器人（10）的机器学习系统（23）。如下实施对机器学习系统（23）的训练。机器学习系统（23）获得训练地图的可预先给定的、尤其随机选择的片段（21）。机器学习系统（23）根据该片段（21）确定表征虚拟对象的运动路线的变量。根据通过机器学习系统（23）所确定的该变量和在地图（20）的片段（23）上所记录的表征该虚拟对象的运动路线的变量确定误差。优选地，误差是所确定的变量和所记录的变量之间的数学距离尺寸。该误差被用于确定机器学习系统的更合适的参数化，使得所确定的表征虚拟对象的运动路线的变量接近所记录的表征虚拟对象的运动路线的变量。
[0032] 在图4中示出训练系统（40）的示例性示意图，利用该训练系统能够训练机器人（10）的机器学习系统。在此，训练系统（40）可以是机器学习系统（23）的一部分或机器人控制系统（13）的一部分。
[0033] 训练系统（40）包括例如专家单元（41），所述专家单元通过测量和/或通过仿真确定虚拟对象在地图（20）上的运动路线。所确定的运动路线紧接着由专家单元（41）记录在地图（20）上。随后，不仅从地图（20）中而且从专家单元（41）的具有所记录的运动路线的所输出的地图中选择相同的片段（21）。这例如借助训练系统（40）的选择单元（42）来实施。优选地，借助选择单元（42）随机地选择片段（21）以用于训练机器学习系统（23）。
[0034] 地图（20）的片段（21）此后被转发给机器学习系统（23）。机器学习系统（23）根据存放在
数据库（43）中的参数化来确定在地图（20）的片段（21）上的表征至少一个虚拟对象的运动路线的变量。紧接着，通过机器学习系统（23）所确定的变量和所记录的表征虚拟对象的运动路线的变量借助
专家系统（41）被用于利用优化模
块（44）计算机器学习系统（23）的合适的参数化并且存放在数据库（43）中。优选地，优化模块（44）从所确定的和所记录的变量之间的误差计算机器学习系统（23）的合适的参数化。
[0035] 可选地，步骤33可以分别针对训练地图的示例性不同的片段和/或针对分别不同的训练地图多次连续地被实施。替代地，步骤33也可以多次连续地被实施，直至表征虚拟对象的运动路线的变量在可预先给定的公差范围之内已接近所记录的表征虚拟对象的运动路线的变量。优选地，在步骤33中表征虚拟对象的运动路线的变量可以借助机器学习系统（23）针对地图（20）的片段（21）中的每个小区被确定并且被用于借助优化模块（44）训练机器学习系统（23）。
[0036] 步骤34示例性地可以跟随在实施了步骤33之后。在步骤34中可以借助由环境检测单元（11）所检测的数据创建机器人（10）的实际环境的地图（20）。紧接着在步骤34中可以确定机器人在该地图（20）上的行动空间并且借助机器学习系统（23）根据地图（20）的可预先给定的片段（21）确定表征虚拟对象的运动路线的变量。
[0037] 可选地，在步骤34中可以根据所确定的表征虚拟对象的运动路线的变量和机器人在地图（20）的该片段（21）上的行动空间规划机器人（10）的轨迹。优选地，机器人（10）的运动可以根据所规划的轨迹来控制。优选地，轨迹在步骤34中可以被规划为使得机器人（10）的所规划的运动并不妨碍虚拟对象的所确定的运动路线。可选地，沿着该轨迹可以确定机器人（10）的等待位置。等待位置在此可以是在机器人（10）的行动空间中的位置，在所述位置中机器人（10）暂停，以便不干扰一个虚拟对象、以及真实对象沿着其所规划的运动的运动路线。
[0038] 可选地，可以在步骤34之后引入步骤35。在步骤35中，可以检查：对象是否沿着所规划的轨迹停留。在机器人（10）的环境中对象的探测可以示例性地借助环境检测单元（11）和机器人控制系统（13）来执行。一旦探测到对象，就可以在机器人（10）的轨迹中考虑该对象。优选地，在步骤35期间可以在轨迹中考虑借助检测单元（16）所检测到的机器人（10）的另一环境变量。例如，检测单元（16）确定室温或外部温度。所确定的温度可以被机器学习系统（23）使用，以便根据片段（21）和所确定的室温确定表征虚拟对象的运动路线的更精确的变量。因为例如在室温较低时虚拟对象的运动路线将更频繁地朝
空调或供暖系统的操作单元出现或在外部温度较低时运动路线将更频繁地例如朝衣帽间出现。
[0039] 在方法（30）以步骤35结束了之后，如果例如确定该方法太不精确或如果该方法应针对其他应用被适配，则该方法（30）可以示例性地循环地以步骤32又开始。但是也可设想的是，该方法（30）在步骤35结束之后循环地又引入步骤33或步骤34或步骤35。
