机器操作监督系统及其用户端设备专利检索-人机交互人工智能专利检索查询-专利查询网

机器操作监督系统及其用户端设备

阅读：234发布：2024-02-17

专利汇可以提供机器操作监督系统及其用户端设备专利检索，专利查询，专利分析的服务。并且本申请公开机器操作监督系统及其用户端设备。所述系统包括：用户端设备，所述用户端设备包括用于向外发送所述用户端设备采集的第一机器操作信息以及接收并向用户提示机器操作规范的客户端，所述客户端为穿戴式智能设备；数据库服务器，所述数据库服务器包括用于存储所述机器操作规范的操作规范数据库；以及用于访问所述操作规范数据库获得所述机器操作规范，向所述客户端提供所述机器操作规范的根服务器。(ESM)同样的发明创造已同日申请发明专利，下面是机器操作监督系统及其用户端设备专利的具体信息内容。

权利要求

1.一种机器操作监督系统，包括：
用户端设备，所述用户端设备包括用于向外发送所述用户端设备采集的第一机器操作信息以及接收并向用户提示机器操作规范的客户端，所述客户端为穿戴式MOM眼镜；所述穿戴式MOM眼镜包括图像输入装置模块、图像输出装置模块、语音输入装置模块、语音输出装置模块、文本输入装置模块、文本输出装置模块、头势跟踪装置模块、手势跟踪装置模块、眼球跟踪装置模块及骨骼跟踪装置模块；
所述图像输入装置模块包括摄像头，用于采集图像；
所述图像输出装置模块包括增强现实屏幕，用于显示图形和图像；
所述语音输入装置模块包括微型麦克风，用于语音采集；
所述语音输出装置模块包括扬声器，用于输出语音；
所述文本输入装置模块包括一个虚拟键盘或一个物理的人机交互设备，用于输入命令文本；
所述文本输出装置模块包括增强现实屏幕，用于输出文本；
数据库服务器，所述数据库服务器包括用于存储所述机器操作规范的操作规范数据库；以及
用于访问所述操作规范数据库获得所述机器操作规范，向所述客户端提供所述机器操作规范的根服务器。
2.如权利要求1所述的系统，其中，还包括功能服务器，包括用于依据第二机器操作信息生成所述机器操作规范的操作建模服务器。
3.如权利要求2所述的系统，其中，所述功能服务器还包括用于对所述第一机器操作信息和所述机器操作规范进行比较，获得操作监督结果的操作监督服务器。
4.如权利要求2所述的系统，其中，还包括用于采集并发送所述第二机器操作信息,以及采集并发送机器状态基准信息的建模终端，所述功能服务器还包括用于依据所述机器状态基准信息生成机器状态基准文件的状态建模服务器，所述数据库服务器还包括用于存储所述机器状态基准文件的状态基准数据库。
5.如权利要求4所述的系统，其中，所述客户端还用于采集并发送机器状态信息，所述功能服务器还包括用于对所述机器状态信息与所述机器状态基准文件进行比较，获得状态监督结果的状态监督服务器。
6.如权利要求5所述的系统，其中，所述数据库服务器还包括：
用于存储所述第一机器操作信息或所述操作监督结果的操作记录数据库；以及用于存储所述机器状态信息或所述状态监督结果的状态记录数据库。
7.如权利要求2所述的系统，其中，还包括与所述根服务器通过广域网通信的云服务器，所述客户端、根服务器、数据库服务器及功能服务器通过局域网通信。
8.如权利要求1至7任一项所述的系统，其中，还包括与所述客户端连接的至少另一个穿戴式智能设备。
9.如权利要求1至7任一项所述的系统，其中，所述客户端为虚拟现实/增强现实眼镜，所述机器操作规范包括三维模型或动画。
10.一种机器操作监督系统的用户端设备，包括用于向外发送所述用户端设备采集的机器操作信息以及接收并向用户提示机器操作规范的客户端，其中，所述机器操作规范包括三维模型或动画。

说明书全文

机器操作监督系统及其用户端设备

技术领域

[0001] 本实用新型涉及机器操作技术领域。

背景技术

[0002] 随着工业4.0到来，工业生产制造过程中的自动化和信息共享成为迫切的需求。目前，工业生产制造的核心还是人，而对于一个新手，通常需要很长的时间来学习和熟悉一个
新的工业领域及掌握一门新技艺。并且，工人在工作过程中可能会出现失误而造成损失。
实用新型内容

[0003] 本申请旨在提供一种机器操作监督系统，能够协助工人的机器操作。

[0004] 本申请一方面提供一种机器操作监督系统，包括：

[0005] 用户端设备，所述用户端设备包括用于向外发送所述用户端设备采集的第一机器操作信息以及接收并向用户提示机器操作规范的客户端，所述客户端为穿戴式智能设备；

[0006] 数据库服务器，所述数据库服务器包括用于存储所述机器操作规范的操作规范数据库；以及

[0007] 用于访问所述操作规范数据库获得所述机器操作规范，向所述客户端提供所述机器操作规范的根服务器。

[0008] 较佳的，还包括功能服务器，包括用于依据第二机器操作信息生成所述机器操作规范的操作建模服务器。

[0009] 较佳的，所述功能服务器还包括用于对所述第一机器操作信息和所述机器操作规范进行比较，获得操作监督结果的操作监督服务器。

[0010] 较佳的，还包括用于采集并发送所述第二机器操作信息,以及采集并发送机器状态基准信息的建模终端，所述功能服务器还包括用于依据所述机器状态基准信息生成机
器状态基准文件的状态建模服务器，所述数据库服务器还包括用于存储所述机器状态基准
文件的状态基准数据库。

[0011] 较佳的，所述客户端还用于采集并发送机器状态信息，所述功能服务器还包括用于对所述机器状态信息与所述机器状态基准文件进行比较，获得状态监督结果的状态监督
服务器。

[0012] 较佳的，所述数据库服务器还包括：

[0013] 用于存储所述第一机器操作信息或所述操作监督结果的操作记录数据库；以及

[0014] 用于存储所述机器状态信息或所述状态监督结果的状态记录数据库。

[0015] 较佳的，还包括与所述根服务器通过广域网通信的云服务器，所述客户端、根服务器、数据库服务器及功能服务器通过局域网通信。

[0016] 较佳的，还包括与所述客户端连接的至少另一个穿戴式智能设备。

[0017] 较佳的，所述客户端为虚拟现实/增强现实眼镜，所述机器操作规范包括三维模型或动画。

[0018] 本申请另一方面提供一种机器操作监督系统的用户端设备，包括用于向外发送所述用户端设备采集的机器操作信息以及接收并向用户提示机器操作规范的客户端，其中，
所述机器操作规范包括三维模型或动画。
附图说明

[0019] 为了更清楚地说明本实用新型实施例的技术方案，下面将对本实用新型实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型
的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根
据这些附图获得其他的附图。

[0020] 图1示出本申请一实施例的机器操作监督系统；

[0021] 图2示出本申请一实施例的机器操作监督系统；以及

[0022] 图3示出本申请一实施例中用于描述机器操作规范的机器操作模型的结构图。

具体实施方式

[0023] 下面详细描述本实用新型的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的组件或具有相同或类似功能的组件。下面通过参
考附图描述的实施例是示例性的，旨在用于解释本实用新型，而不能理解为对本实用新型
的限制。

[0024] 在本实用新型的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便
于描述本实用新型和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方
位、以特定的方位构造和操作，因此不能理解为对本实用新型的限制。

[0025] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者
隐含地包括一个或者更多个该特征。在本实用新型的描述中，“多个”的含义是两个或两个
以上，除非另有明确具体的限定。

[0026] 在本实用新型中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可
以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是
两个组件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语
在本实用新型中的具体含义。

[0027] 在本实用新型中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通
过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第
一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特
征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅
表示第一特征水平高度小于第二特征。

[0028] 下面通过具体实施方式结合附图对本实用新型作进一步详细说明。

[0029] 本申请提供机器操作监督(Machine Operation Monitor,简称MOM)系统，可广泛适用于生产、制造、航空、汽车、能源等行业中机器设备的操作。本申请中，将机器操作地点
称为工场。对于机器的操作包括但不限于对机器进行运行、拆卸、装配、修理、巡检等。图1示
出本实用新型一实施例的机器操作监督系统100，所述系统包括用户端设备10、数据库服务
器14以及根服务器16。

[0030] 用户端设备10包括客户端102。客户端102为穿戴式智能设备，用于向外发送用户端设备10采集的第一机器操作信息以及接收并向用户提示机器操作规范。

[0031] 数据库服务器14包括操作规范数据库142，操作规范数据库142用于存储机器操作规范。

[0032] 根服务器16用于访问操作规范数据库142获得机器操作规范，向客户端102提供机器操作规范，以及接收所述第一机器操作信息。

[0033] 图2示出本发明另一实施例的机器操作监督系统。该系统包括用户端设备10、功能服务器12、数据库服务器14以及根服务器16。其中，功能服务器12可包括操作建模服务器
122、操作监督服务器124、状态建模服务器126及状态监督服务器128。数据库服务器14可部
署操作规范数据库142、操作记录数据库144、状态基准数据库146、状态记录数据库148。可
以理解，上述服务器是从功能上进行的区分，可以都部署在同一台物理服务器。在实际应用
中，较佳的，上述服务器可以由不同的物理服务器实现，其中，功能服务器12是计算密集型
服务器，数据库服务器14是输入输出密集型服务器。功能服务器12和数据库服务器14向根
服务器16注册自己的功能。

[0034] 较佳的，本申请中，功能服务器12、数据库服务器14以及根服务器16均为雾服务器，同一工场中，客户端102与雾服务器之间以及不同雾服务器之间通过局域网进行通信。
同一局域网中，允许多个客户端102和多个雾服务器同时存在。在一段时间内，一个客户端
102只与一个固定的雾服务器通信。

[0035] 一个工场可以包括多个用户端设备10。用户端设备10用于与用户进行人机交互。从产品形态上来看，穿戴式智能设备可包括但不限于MOM眼镜(例如可以是虚拟现实/增强
现实眼镜)、MOM手套、MOM手表、MOM手环或其他MOM穿戴式设备。从功能上分，用户端设备10
可包括但不限于图像输入装置、图像输出装置、语音输入装置、语音输出装置、文本输入装
置、文本输出装置、头势跟踪装置、手势跟踪装置、眼球跟踪装置、骨骼跟踪装置等功能模
块。其中，图像输入装置用于采集图像，例如可是MOM眼镜的摄像头。图像输出装置用于显
示图形和图像，例如可以是MOM眼镜的增强现实屏幕。语音输入装置用于语音采集，例如可
以是MOM眼镜的微型麦克风(话筒)。语音输出装置用于输出语音，例如可以是MOM眼镜的扬
声器。文本输入装置可以是一个虚拟键盘，也可以是一个物理的人机交互设备，例如可通过
手环输入命令文本。文本输出装置用于输出文本，例如可以是MOM眼镜的增强现实屏幕。头
势跟踪装置用于识别和跟踪头部姿态，将头部姿态信息输入给MOM客户端102。手势跟踪装
置用于识别和跟踪手势动作，将手势信息输入给MOM客户端102。眼球跟踪装置用于识别和
跟踪眼球动作，将眼球动作信息输入给MOM客户端102。骨骼跟踪装置识别和跟踪骨骼动作，
将骨骼动作信息输入给MOM客户端102。上述功能模块可设置在各穿戴式设备中。

[0036] 每个用户端设备10包括一个工人所装备的所有穿戴式智能设备，可称为该工人的MOM配置。一个工人可以装备多个穿戴式设备，例如一副眼镜、两只手套、一块手表。如果一
个工人的MOM配置中有多个MOM穿戴式设备，那么其中一个将充当MOM客户端102(也可称为
客户端102)，作为用户端设备10和服务器进行通信的信息汇聚和信息分发的枢纽，其他穿
戴式智能设备104与该客户端102连接。较佳的，可由MOM眼镜充当客户端102。其他穿戴式智
能设备104与客户端102可通过蓝牙或近场通信协议通信。

[0037] 客户端102被配置为将各功能模块采集的工人对于机器的操作情况和/或采集的工人输入的机器操作命令等汇总为第一机器操作信息后向外发送，使服务器端可以依据第
一操作信息对工人的操作进行监督，以及在发出操作机器的请求后，接收来自服务器的机
器操作规范并通过相应功能模块向工人进行提示，使工人可以在操作规范的指导下对机器
进行操作。进一步的，客户端102还可以被配置为采集并向外发送机器状态信息。机器状态
信息例如包括但不限于对机器巡检时的机器当前状态快照。较佳的，所述机器操作规范包
括按照特定规则排列的若干三维模型或动画，可以经由VR/AR眼镜显示给用户，还可以包括
语音、文本、图片等信息。

[0038] 在一个实例中，机器操作规范可以通过图3所示的机器操作模型来描述。在机器操作模型中，对整个机器设备的装配、检修为一个作业，对机器设备的一次装配、检修或其他
功能完整的操作为一个任务，一个作业由一系列任务组成，一个任务由一系列任务步骤组
成。一个任务步骤包括工人完成一个任务时脚、眼睛、手所采取的行动。依此，机器操作规范
可以包括作业规范、任务规范、步骤规范和动作规范。一个作业规范对应一个MOM模型文件
(.mom文件)，系统每次加载一个MOM模型文件。本文后面对于机器操作模型有更为详细的描
述。

[0039] 本实施例中，客户端102发送操作机器请求，根服务器16依据所述操作机器请求访问操作规范数据库142获得机器操作规范，客户端102接收并向用户提示所述机器操作规
范。根服务器16可以通过向操作规范数据库142发送查询机器操作规范指令，以及接收来自
操作规范数据库142的表示查询机器操作规范成功的反馈消息的方式获得机器操作规范。
较佳的，查询机器操作规范指令至少包括查询动作规范指令，所述查询动作规范指令中包
括任务规范编号、步骤规范编号及动作规范编号，相应的，表示查询机器操作规范成功的反
馈消息包括表示查询动作规范成功的反馈消息，所述反馈消息中包括动作规范信息，所述
动作规范信息中包含动作名称、动作起始位置、动作结束位置、几何运动及操作工具。查询
机器操作规范指令还可以包括查询作业规范指令、查询任务规范指令及查询步骤规范指
令，在查询动作规范指令之前，可以先通过查询作业规范列表指令、查询作业规范指令、查
询任务规范列表指令、查询任务规范指令、查询步骤规范列表指令、查询步骤规范、查询动
作规范指令列表等获得查询动作规范指令中所需的任务规范编号、步骤规范编号及动作规
范编号。对于这些查询指令及相应的反馈指令可参考后面操作建模服务器部分的相关内容
采用相同的方式实现，此处不再重复。

[0040] 系统中还可配置建模终端20。建模终端20可由教练使用，可以是与用户端设备10具有相同或类似配置的远程终端，也可由系统中的一个用户端设备10来担任。教练通过建
模终端20进行示范操作，建模终端20将所采集的教练的操作情况和/或输入的操作命令等
汇总为第二机器操作信息并向外发送；同时，建模终端20还用于采集并向外发送机器状态
基准信息。教练的操作情况例如包括但不限于教练的操作快照。机器状态基准信息例如包
括但不限于机器状态正常快照和/或机器状态异常快照。

[0041] 操作建模服务器122被配置为依据第二机器操作信息生成机器操作规范。例如，可以提取教练的操作快照中的图像特征，生成机器操作规范。操作建模服务器122生成的机器
操作规范可存储在操作规范数据库142中。

[0042] 在一个实施例中，机器操作规范可以通过机器操作模型来描述。一并参照图3，依据一个具体实例，在机器操作模型中，对整个机器设备的装配、检修为一个作业，对机器设
备的一次装配、检修或其他功能完整的操作为一个任务，一个作业由一系列任务组成，一个
任务由一系列任务步骤组成。一个任务步骤包括工人完成一个任务时脚、眼睛、手所采取的
行动。依此，机器操作规范可以包括作业规范、任务规范、步骤规范和动作规范。一个作业规
范对应一个MOM模型文件(.mom文件)，系统每次加载一个MOM模型文件。

[0043] 脚所采取的行动可以用行进路线来描述。眼睛所采取的行动可以用观察角度和操作视口来描述。若使用机器人代替人来进行机器操作和巡检，在没有障碍物的情况下，行进
路线可以是机器人的平移运动，观察角度可以随机器人的旋转运动变化。

[0044] 观察角度可以包括三组内容。第一组是相机在世界坐标的位置，第二组是相机镜头对准的物体在世界坐标的位置，第三组是相机向上的方向在世界坐标中的方向。如果没
有特别需求，观察角度可以不做说明，取假定自己明白的观察角度。可以选取最佳视角为观
察角度。

[0045] 一个任务步骤针对一个操作视口进行，操作视口是操作人员在执行一个动作快照时所看到的场景。一个设备部件可以对应到多个不同的操作视口；一个操作视口中可以含
有多个设备部件。

[0046] 手所采取的行动用动作快照来描述。一个任务步骤可包括一系列动作快照。一个动作快照针对一个动作位置对进行，且只有一个几何运动；一个动作位置对包括一个起始
位置和一个终止位置。如果该动作使用工具，位置可以是工具的重心位置；如果不使用工
具，位置可以是指所操作设备部件的重心位置。几何运动可以是平移或旋转。一个动作快照
还可以有时间、工具、重复次数等信息。可以不对动作快照指定时间，说明对该动作没有时
间限制；也可以对动作快照指定一个时间，该时间可以指该动作的最长延续时间；还可以对
动作快照指定两个时间，该两个时间可以是该动作的最长延续时间和最短延续时间。较佳
的，在一个动作快照中最多使用一个工具。如果完成一个操作要同时使用两件工具，左手拿
一个工具，右手拿一个工具，则分解为两个动作快照来描述。重复次数表示在动作位置对、
几何运动、时间、工具保持不变的情况下，动作重复的次数。

[0047] 较佳的，操作建模服务器包括处理器及存储器，所述存储器中存储有计算机程序代码，所述计算机程序代码被配置为使所述操作建模服务器至少：

[0048] 接收创建操作规范指令；以及

[0049] 根据所述操作规范指令创建机器操作规范。

[0050] 其中，所述机器操作规范包括作业规范、任务规范、步骤规范、动作规范中的部分或全部，所述运动规范中包括三维模型和/或动画。

[0051] 较佳的，所述接收创建操作规范指令包括以下部分或全部：接收创建作业规范指令、接收创建任务规范指令、接收创建步骤规范指令、接收创建操作区域指令及接收创建动
作规范指令。

[0052] 相应地，所述根据操作规范指令创建机器操作规范包括以下部分或全部：根据所述创建作业规范指令创建作业规范、根据所述创建任务规范指令创建任务规范、根据所述
创建步骤规范指令创建步骤规范、根据所述创建操作区域指令创建操作区域及根据所述创
建动作规范指令创建动作规范，所述动作规范中包括所述三维模型和/或动画。

[0053] 所述创建作业规范指令中可包括作业名称及创建者工号，也可以包括作业规范编号。创建作业规范指令中不包括作业规范编号时，可由系统自动生成作业规范编号。根据创
建作业规范指令创建的作业规范中可以包括作业规范编号、作业名称、创建者工号、创建时
间等信息。

[0054] 所述创建任务规范指令中可包括任务名称，操作建模服务器可以根据创建任务规范指令在系统当前加载的作业下创建任务规范。所创建的任务规范中可以包括任务规范编
号、任务名称。

[0055] 所述创建步骤规范指令中可包括任务规范编号、步骤规范名称及视口图像。本申请中，每个步骤对一个固定的机器视口范围内的部件进行操作，操作视口与步骤具有一一
对应的关系。

[0056] 所述创建操作区域指令中可包括任务规范编号、步骤规范编号及操作区域信息，操作区域信息中可包括顶点x轴坐标、顶点y轴坐标、长、宽等。操作区域用于标定目标位置
的定位框，用于辅助目标物体的定位与识别。

[0057] 所述创建动作规范指令中可包括任务规范编号、步骤规范编号及动作规范信息，动作规范信息中可包括动作名称、动作起始位置、动作结束位置、几何运动、操作工具等。

[0058] 较佳的，所述计算机程序代码还被配置为使所述操作建模服务器发送创建机器操作规范成功或失败的反馈消息。

[0059] 表示创建机器操作规范成功的反馈消息中可包括相应操作规范的编号。在一个具体实例中，表示创建作业规范成功的反馈消息中可以包括作业规范编号。表示创建任务规
范成功的反馈消息中可以包括任务规范编号。表示创建步骤规范成功的反馈消息中可以包
括任务规范编号和步骤规范编号。表示创建操作区域成功的反馈消息中可以包括任务规范
编号、步骤规范编号和操作区域编号。表示创建动作规范成功的反馈消息中可以包括任务
规范编号、步骤规范编号和动作规范编号。

[0060] 表示创建机器操作规范失败的反馈消息中可包括错误码，不同的错误码可表示不同的错误原因。在一个具体实例中，表示创建作业规范失败的反馈消息中可以只包括错误
码。表示创建任务规范失败的反馈消息中可以包括任务名称和错误码。表示创建步骤规范
失败的反馈消息中可以包括任务规范编号、步骤名称和错误码。表示创建操作区域失败的
反馈消息中可以包括任务规范编号、步骤规范编号、操作区域信息和错误码。表示创建动作
规范失败的反馈消息中可以包括任务规范编号、步骤规范编号、动作规范信息和错误码。

[0061] 较佳的，所述计算机程序代码还被配置为使所述操作建模服务器：接收操作规范管理指令，根据所述操作规范管理指令管理所述机器操作规范，以及发送表示管理机器操
作规范成功或失败的反馈消息。较佳的，所述管理机器操作规范可包括以下部分或全部：删
除机器操作规范、修改机器操作规范及查询机器操作规范。

[0062] 在一个具体实例中，删除作业规范指令中可包括作业规范编号。修改作业规范指令中可包括作业名称和作业规范编号，可选的，也可不包括作业规范名称，这时可默认为系
统当前加载的.mom文件所对应的作业规范编号。查询作业规范指令中可包括作业规范编
号，可选的也可不包括作业规范编号，这时可默认为系统当前加载的.mom文件所对应的作
业规范编号。

[0063] 删除任务规范指令中可包括任务规范编号。修改任务规范指令中可包括任务名称和任务规范编号。查询任务规范指令中可包括任务规范编号。

[0064] 删除步骤规范指令中可包括任务规范编号和步骤规范编号。修改步骤规范指令中可包括任务规范编号、步骤规范编号、步骤名称及视口图像。查询步骤规范指令中可包括任
务规范编号、步骤规范编号。

[0065] 删除操作区域指令可包括任务规范编号、步骤规范编号和操作区域编号。修改操作区域指令中可包括任务规范编号、步骤规范编号、操作区域编号及操作区域信息，操作区
域信息包括顶点x轴坐标、顶点y轴坐标、长、宽。查询步骤规范指令中可包括任务规范编号、
步骤规范编号及操作区域编号。

[0066] 删除动作规范指令中可包括任务规范编号、步骤规范编号和动作规范编号。修改动作规范指令中可包括任务规范编号、步骤规范编号、动作规范名称及动作规范信息，动作
规范信息中包括动作名称、动作起始位置、动作结束位置、几何运动、使用的工具中的部分
或全部。查询动作规范指令中可包括任务规范编号、步骤规范编号及动作规范编号。

[0067] 进一步的，表示管理机器操作规范成功的反馈消息中可以包括相应操作规范编号。在一个具体实施例中，删除作业规范成功和修改作业规范成功的消息中可包括作业规
范编号。查询作业规范成功的消息中可包括作业规范编号及作业名称。删除任务规范成功
和修改任务规范成功的消息中可包括任务规范编号。查询任务规范成功的消息中可包括任
务规范编号及任务名称。删除步骤规范成功和修改步骤规范成功的消息中可包括任务规范
编号及步骤规范编号。查询步骤规范成功的消息中可包括任务规范编号及步骤规范编号、
步骤名称。删除操作区域成功和修改操作区域成功的消息中可包括任务规范编号、步骤规
范编号及操作区域编号。查询操作区域成功的消息中可包括任务规范编号、步骤规范编号、
操作区域编号及操作区域信息，操作区域信息包括顶点x轴坐标、顶点y轴坐标、长、宽。删除
动作规范成功和修改动作规范成功的消息中可包括任务规范编号、步骤规范编号及动作规
范编号。查询动作规范成功的消息中可包括任务规范编号、步骤规范编号、动作规范名称及
动作规范信息，动作规范信息中包含动作名称、动作起始位置、动作结束位置、几何运动、
操作工具。

[0068] 表示管理机器操作规范失败的反馈消息中可以包括相应操作规范编号及错误码，不同的错误码可以表示不同的错误原因。在一个具体实例中，删除作业规范失败消息、修改
作业规范失败消息及查询作业规范失败消息中可包括作业规范编号及错误码。删除任务规
范失败消息和查询任务规范失败消息中可包括任务规范编号及错误码。修改任务规范失败
消息中可包括任务规范编号、任务名称及错误码。删除步骤规范失败消息、修改步骤规范失
败消息、查询步骤规范失败消息中可包括任务规范编号、步骤规范编号及错误码。删除操作
区域失败消息、修改操作区域失败消息、查询操作区域失败消息中可包括任务规范编号、步
骤规范编号、操作区域编号及错误码。删除动作规范失败消息、修改动作规范失败消息、查
询动作规范失败消息中可包括任务规范编号、步骤规范编号、动作规范编号及错误码。

[0069] 较佳的，还可以查询作业规范列表。在一个具体实例中，操作建模服务器接收的查询作业规范列表指令中协议数据为空，表示查询所有作业规范列表。操作建模服务器可以
发送表示查询作业规范列表成功或失败的反馈消息。表示查询成功的消息中可包括作业数
量及作业列表，作业列表中包括作业规范编号及对应的作业名称。表示查询失败的消息中
可包括错误码。

[0070] 较佳的，还可以查询步骤规范列表。在一个具体实例中，操作建模服务器接收的查询步骤规范列表指令中包含任务规范编号，表示查询指定任务的所有步骤规范列表。操作
建模服务器可以发送表示查询步骤规范列表成功或失败的反馈消息。表示查询成功的消息
中可包括任务规范编号、步骤规范数量及步骤规范列表，步骤规范列表中包括步骤规范编
号及对应的步骤规范名称。表示查询失败的消息中可包括任务规范编号和错误码。

[0071] 较佳的，还可以查询步骤视口图像。在一个具体实例中，操作建模服务器接收的查询步骤视口图像指令中包含任务规范编号和步骤规范编号，表示查询指定步骤规范的视口
图像。操作建模服务器可以发送表示查询视口图像成功能或失败的反馈消息。表示查询成
功的消息中可包括任务规范编号、步骤规范编号及视口图像。表示查询失败的消息中可包
括任务规范编号、步骤规范编号和错误码。

[0072] 较佳的，还可以查询步骤视口图像列表。在一个具体实例中，操作建模服务器接收的查询步骤视口图像列表指令中包含任务规范编号和步骤规范编号，表示查询指定步骤规
范的视口图像列表。操作建模服务器可以发送表示查询步骤视口图像列表成功的反馈消
息。表示查询成功的消息中可包括任务规范编号、步骤规范编号及视口图像列表。表示查询
失败的消息中可包括任务规范编号、步骤规范编号和错误码。

[0073] 较佳的，还可以查询操作区域列表。在一个具体实施例中，操作建模服务器接收的查询操作区域列表指令包含任务规范编号和步骤规范编号，表示查询指定步骤规范的所有
操作区域。操作建模服务器可以发送表示查询操作区域列表成功或失败的反馈消息。表示
查询成功的消息中可包括任务规范编号、步骤规范编号、操作区域数量及操作区域信息列
表，操作区域信息包括顶点x轴坐标、顶点y轴坐标、长、宽。表示查询失败的消息中可包括任
务规范编号、步骤规范编号和错误码。

[0074] 较佳的，还可以查询动作规范列表。在一个具体实施例中，操作建模服务器接收的查询动作规范列表指令包含任务规范编号和步骤规范编号，表示查询指定步骤规范的动作
列表。操作建模服务器可以发送表示查询步骤动作规范列表成功或失败的反馈消息。表示
查询成功的消息中可包括任务规范编号、步骤规范编号、动作数量及动作规范信息列表，动
作规范信息中包含动作规范编号、动作名称、动作起始位置、动作结束位置、几何运动、使用
的工具。表示查询失败的消息中可包括任务规范编号、步骤规范编号和错误码。

[0075] 操作监督服务器124被配置为根据机器操作规范，对工人对于机器的实际操作进行监督，例如，可以对客户端102发出的第一机器操作信息和操作规范数据库142中存储的
机器操作规范进行比较。更具体地，可以将工人的操作快照中的图像特征与机器操作规范
中的教练操作快照的图像特征进行比较，获得操作监督结果。对于操作监督结果，系统可以
作出相应的响应，例如，若发现操作不规范，向用户做出提醒等。客户端102发出的第一机器
操作信息或者操作监督服务器124的监督结果可以存储在操作记录数据库144中。第一机器
操作信息可以被转换为创建操作记录指令，以生成相应的操作记录加以存储。

[0076] 较佳的操作监督服务器124包括处理器及存储器，所述存储器中存储有计算机程序代码，所述计算机程序代码被配置为使所述操作监督服务器至少：

[0077] 接收创建操作记录指令；以及

[0078] 根据所述操作记录指令创建机器操作记录，所述机器操作记录包括完成图像。机器操作记录可以创建在操作记录库144中。

[0079] 其中，创建机器操作记录指令可以是来自客户端或根服务器。所述机器操作记录包括作业记录、任务记录、步骤记录、动作记录中的部分或全部，所述作业记录、任务记录、
步骤记录和动作记录中分别具有相应的的完成图像或视频。

[0080] 较佳的，所述接收创建机器操作记录指令包括以下部分或全部：接收创建作业记录指令、接收创建任务记录指令、接收创建步骤记录指令及接收创建动作记录指令。

[0081] 相应地，所述根据所述创建机器操作记录指令创建机器操作记录包括以下部分或全部：根据所述创建作业记录指令创建作业记录、根据所述创建任务记录指令创建任务记
录、根据所述创建步骤记录指令创建步骤记录、及根据所述创建动作记录指令创建动作记
录。

[0082] 所述创建作业记录指令中可包括工人编号、作业编号及作业记录信息，作业记录信息包括作业名称、开始时间、结束时间、持续时间、完成图像及错误个数，其中错误个数指
工人在实际操作过程中出错的次数。其中也可以不包括作业编号，此时可默认为系统当前
加载的.mom文件所对应的作业的编号。

[0083] 所述创建任务记录指令中可包括工人编号、作业编号、任务编号及任务记录信息，任务记录信息包括任务名称、开始时间、结束时间、持续时间、完成图像及错误个数。其中，
也可以不包括作业编号，此时可默认为系统当前加载的.mom文件所对应的作业的编号，操
作监督服务器可以在系统当前加载的作业下创建任务规范。

[0084] 所述创建步骤任务指令中可包括工人编号、作业编号、任务编号、步骤编号及步骤记录信息，步骤记录信息包括步骤名称、开始时间、结束时间、持续时间、完成图像及错误信
息。其中，也可以不包括作业编号，此时可默认为系统当前加载的.mom文件所对应的作业的
编号。错误信息包括错误个数及错误列表，错误列表包括错误描述及图像。

[0085] 所述创建动作记录指令中可包括工人编号、作业编号、任务编号、步骤编号、动作编号及动作记录信息，动作记录信息包括动作名称、开始时间、结束时间、持续时间、完成图
像及错误信息。其中，也可以不包括作业编号，此时可默认为系统当前加载的.mom文件所对
应的作业的编号。错误信息包括错误个数及错误列表，错误列表包括错误描述及图像。

[0086] 较佳的，所述计算机程序代码还被配置为使所述操作监督服务器发送创建机器操作记录成功或失败的反馈消息，以通知客户端创建记录成功与否。

[0087] 表示创建机器操作记录成功的反馈消息中可包括相应操作记录的编号。在一个具体实例中，表示创建作业记录成功的反馈消息中可以包括作业记录编号。表示创建任务记
录成功的反馈消息中可以包括任务记录编号。表示创建步骤记录成功的反馈消息中可以包
括步骤记录编号。表示创建动作记录成功的反馈消息中可以包括动作记录编号。

[0088] 表示创建机器操作记录失败的反馈消息中可包括错误码，不同的错误码可表示不同的错误原因。在一个具体实例中，表示创建作业记录失败的反馈消息中可以包括工人编
号、作业编号及错误码。表示创建任务记录失败的反馈消息中可以包括工人编号、作业编
号、任务编号和错误码。表示创建步骤记录失败的反馈消息中可以包括工人编号、作业编
号、任务编号、步骤编号及错误码。表示创建动作记录失败的反馈消息中可以包括工人编
号、作业编号、任务编号、步骤编号、动作编号和错误码。

[0089] 较佳的，所述计算机程序代码还被配置为使所述操作监督服务器：接收操作记录管理指令，根据所述操作记录管理指令管理所述机器操作记录，以及发送表示管理机器操
作记录成功或失败的反馈消息。较佳的，所述管理机器操作记录可包括以下部分或全部：删
除机器操作记录及查询机器操作记录详情。

[0090] 在一个具体实例中，删除作业记录指令和查询作业记录详情指令中可包括作业记录编号。删除任务记录指令和查询任务记录详情指令中可包括任务记录编号。删除步骤记
录指令和查询步骤记录详情指令中可包括步骤记录编号。删除动作记录指令和查询动作记
录详情指令中可包括动作记录编号。

[0091] 表示删除作业、任务、步骤或动作记录成功的反馈消息中的协议数据部分可以为空。表示删除机器操作记录失败的反馈消息中可包括操作记录编号及错误码，例如，表示
删除作业记录失败的反馈消息中可包括作业记录编号及错误码。表示删除任务记录失败的
反馈消息中可包括任务记录编号及错误码。表示删除步骤记录失败的反馈消息中可包括步
骤记录编号及错误码。表示删除动作记录失败的反馈消息中可包括动作记录编号及错误
码。

[0092] 表示查询机器操作记录详情成功的反馈消息中可包括操作记录编号及操作记录信息。例如，表示查询作业记录详情成功的消息中可包括作业记录编号及作业记录信息，作
业记录信息包括作业名称、开始时间、结束时间、持续时间、完成图像及错误个数。其中，完
成图像可以是完成状态的截图。表示查询任务记录详情成功的消息中可包括任务记录编号
及任务记录信息，任务记录信息包括任务名称、开始时间、结束时间、持续时间、完成图像及
错误信息。表示查询步骤记录详情成功的消息中可包括步骤记录编号及步骤记录信息，步
骤记录信息包括步骤名称、开始时间、结束时间、持续时间、完成图像及错误信息。表示查询
动作记录详情成功的消息中可包括动作记录编号及动作记录信息，动作记录信息包括动作
名称、开始时间、结束时间、持续时间、完成图像及错误信息。其中，错误信息包括错误个数
及错误列表，错误列表中包括错误描述及错误图像。

[0093] 表示查询机器操作记录详情失败的反馈消息中可包括操作记录编号及错误码。例如，表示查询作业记录详情失败的反馈消息中可包括作业记录编号及错误码。表示查询任
务记录详情失败的反馈消息中可包括任务记录编号及错误码。表示查询步骤记录详情失败
的反馈消息中可包括步骤记录编号及错误码。表示查询动作记录详情失败的反馈消息中可
包括动作记录编号及错误码。

[0094] 较佳的，还可以查询操作记录列表。例如，操作监督服务器可以接收来自客户端或根服务器的查询作业记录列表指令，以查询某一工人的作业记录列表。所述查询作业记录
列表指令中可包括工人编号。操作监督服务器可以发送表示查询作业记录列表成功或失败
的反馈消息。表示查询成功的消息中可包括作业记录列表，作业记录列表中包括作业记录
编号、作业名称、开始时间、结束时间、持续时间及错误个数。表示查询失败的消息中可包括
工人编号及错误码。

[0095] 操作监督服务器还可以接收来自客户端或根服务器的查询任务记录列表指令，以查询某一作业记录的任务记录列表。所述查询任务记录列表指令中可包括作业记录编
号。操作监督服务器可以发送表示查询任务记录列表成功或失败的反馈消息。表示查询成
功的消息中可包括任务记录列表，任务记录列表中包括任务记录编号、任务名称、开始时
间、结束时间、持续时间及错误个数。表示查询失败的消息中可包括作业记录编号及错误
码。

[0096] 操作监督服务器还可以接收来自客户端或根服务器的查询步骤记录列表指令，以查询某一任务记录的步骤记录列表。所述查询步骤记录列表指令中可包括任务记录编号。
操作监督服务器可以发送表示查询步骤记录列表成功或失败的反馈消息。表示查询成功的
消息中可包括步骤记录列表，步骤记录列表中包括步骤记录编号、步骤名称、开始时间、结
束时间、持续时间及错误个数。表示查询失败的消息中可包括任务记录编号及错误码。

[0097] 操作监督服务器还可以接收来自客户端或根服务器的查询动作记录列表指令，以查询某一步骤记录的动作记录列表。所述查询动作记录列表指令中可包括步骤记录编号。
操作监督服务器可以发送表示查询动作记录列表成功或失败的反馈消息。表示查询成功的
消息中可包括步骤记录编号及动作记录信息列表，动作记录信息包括动作记录编号、动作
名称、开始时间、结束时间、持续时间及错误个数。表示查询失败的消息中可包括步骤记录
编号及错误码。

[0098] 状态建模服务器126被配置为依据建模终端20发送的机器状态基准信息生成机器状态基准文件，例如，可以提取机器状态正常快照和/或机器状态异常快照的图像特征，生
成机器状态基准文件。机器状态基准文件可存储在状态基准数据库146中。

[0099] 状态监督服务器128被配置为依据机器状态基准文件，对工人所操作机器的当前状态进行监督，例如，可以对客户端102发出的机器状态信息与状态基准数据库146中存储
的机器状态基准文件进行比较。更具体地，可以将机器当常状态快照中的图像特征与机器
状态正常/异常快照的图像特征进行比较，获得状态监督结果。对于状态监督结果，系统可
以作出相应的响应，例如，若发现机器状态异常，向用户报警等。客户端102发出的机器状态
信息或状态监督服务器128的状态监督结果可以存储在状态记录数据库148中。

[0100] 系统中还可设置记录终端30，可与操作监督服务器124和/或状态监督服务器128通信。教练可以通过记录终端30查询工人机器操作和/或机器设备状态记录。

[0101] 每个工场具有根服务器16，根服务器16是工场的核心，具有缓存功能和负载均衡功能。为及时响应客户端102，根服务器16对从其他服务器读入的数据进行缓存。当根服务
器16发现某个服务器负载过重时，会将任务的请求分配其他的同类服务器。根服务器16被
配置为访问操作规范数据库142获得机器操作规范，向客户端102提供所述机器操作规范；
接收客户端102发送的第一机器操作信息，提供给操作监督服务器124，并可存储至操作记
录数据库144；接收客户端102发送的机器状态信息，提供给状态监督服务器128，并可存储
至状态记录数据库148。

[0102] 较佳的，本申请的系统中还可配置云服务器40。云服务器40与各个工场的根服务器16可通过广域网通信，实时采集客户端102的工作数据，采用大数据技术进行相关分析。
在广域网中，允许有多个云服务器40存在，根服务器16与云服务器40是多对一的关系。

[0103] 本申请实施例中的机器操作监督系统，可以协助工人的机器操作，提高生产效率，降低操作失误率。另外，可以对工人的操作进行监督和反馈。

[0104] 在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例
描述的具体特征、结构、材料或者特点包含于本实用新型的至少一个实施例或示例中。在本
说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体
特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

[0105] 以上内容是结合具体的实施方式对本实用新型所作的进一步详细说明，不能认定本实用新型的具体实施只局限于这些说明。对于本实用新型所属技术领域的普通技术人员
来说，在不脱离本实用新型构思的前提下，还可以做出若干简单推演或替换。

标题	发布/更新时间	阅读量
一种石油采集教学模型	2020-05-08	220
一种基于FMCW的VR环境交互系统及方法	2020-05-08	172
一种建筑外墙面层质量的非接触式检测系统的数据测量控制处理装置	2020-05-08	602
一种用于消防车辆自组网多车组网救援的控制系统	2020-05-11	518
人机交互系统及其方法、终端设备	2020-05-08	416
可升降办公桌wifi控制盒	2020-05-08	12
车间的上件设备	2020-05-08	484
坦克驾驶训练模拟系统	2020-05-08	443
一种鸡仔胎自动化生产系统	2020-05-11	929
一种高效率变压器综合测试仪	2020-05-08	383

机器操作监督系统及其用户端设备

机器操作监督系统及其用户端设备

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：