装配场景识别方法、系统及电子设备专利检索-增强现实显示技术专利检索查询-专利查询网

装配场景识别方法、系统及 电子设备

阅读：1032发布：2020-08-17

专利汇可以提供装配场景识别方法、系统及电子设备专利检索，专利查询，专利分析的服务。并且本发明揭示了一种装配场景识别方法、系统及电子设备，属于计算机应用技术领域。所述方法包括：获取对装配场景采集的目标图像；采用预先构建的权重文件对所述目标图像进行图像识别，识别所述目标图像中的装配场景。上述装配场景识别方法、系统及电子设备能够自动识别目标图像中的装配场景，有效地对装配场景进行管理，降低了选择装配场景时的时间成本，实现装配场景管理及装配的自动化及信息化，大大提高了生产效率。，下面是装配场景识别方法、系统及电子设备专利的具体信息内容。

权利要求

1.一种装配场景识别方法，其特征在于，所述方法包括：
获取对装配场景采集的目标图像；
采用预先构建的权重文件对所述目标图像进行图像识别，识别所述目标图像中的装配场景。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
采集装配场景的样本图像；
对所述样本图像进行深度学习，构建所述权重文件。
3.根据权利要求2所述的方法，其特征在于，所述对所述样本图像进行深度学习，构建所述权重文件的步骤包括：
对所述样本图像进行装配部件及部件位置坐标的标记，得到标记文件；
通过所述标记文件从所述样本图像中提取图像特征；
采用神经网络模型对所述图像特征进行训练，得到所述权重文件。
4.根据权利要求1所述的方法，其特征在于，所述采用预先构建的权重文件对所述目标图像进行图像识别，识别所述目标图像中的装配场景的步骤包括：
采用预先构建的权重文件对所述目标图像进行迭代运算，识别所述目标图像中的装配部件及部件位置；
根据所述装配部件及部件位置确定目标图像中的装配场景名称。
5.一种装配场景识别系统，其特征在于，所述系统包括：
目标图像获取模块，用于获取对装配场景采集的目标图像；
图像识别模块，用于采用预先构建的权重文件对所述目标图像进行图像识别，识别所述目标图像中的装配场景。
6.根据权利要求5所述的系统，其特征在于，所述系统还包括：
样本图像采集模块，用于采集装配场景的样本图像；
深度学习模块，用于对所述样本图像进行深度学习，构建所述权重文件。
7.根据权利要求6所述的系统，其特征在于，所述深度学习模块包括：
标记单元，用于对所述样本图像进行装配部件及部件位置坐标的标记，得到标记文件；
图像特征提取单元，用于通过所述标记文件从所述样本图像中提取图像特征；
训练单元，用于采用神经网络模型对所述图像特征进行训练，得到所述权重文件。
8.根据权利要求5所述的系统，其特征在于，所述图像识别模块包括：
装配部件识别单元，用于通过开源深度学习框架，采用预先构建的权重文件对所述目标图像进行迭代运算，识别所述目标图像中的装配部件及部件位置；
装配场景确定单元，用于根据所述装配部件及部件位置确定目标图像中的装配场景名称。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-4任一项所述的方法。
10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序在被执行时使得服务器执行如权利要求1-4任一项所述的方法。

说明书全文

装配场景识别方法、系统及电子设备

技术领域

[0001] 本发明涉及计算机应用技术领域，特别涉及一种装配场景识别方法、系统及电子设备。

背景技术

[0002] 装配场景是工业生产中部件的装备状态。在识别装配场景后，能够根据当前的装配场景进行针对性的后续工作。

[0003] 目前，工业器件、部件的装配多采用人工进行识别、核验、评测等，导致装配场景容易识别错误，造成装配场景的管理成本过高，生产效率低下。

发明内容

[0004] 为了解决相关技术中装配场景容易识别错误的技术问题，本发明提供了一种装配场景识别方法、系统及电子设备。

[0005] 第一方面，提供了一种装配场景识别方法，包括：

[0006] 获取对装配场景采集的目标图像；

[0007] 采用预先构建的权重文件对所述目标图像进行图像识别，识别所述目标图像中的装配场景。

[0008] 可选的，所述方法还包括：

[0009] 采集装配场景的样本图像；

[0010] 对所述样本图像进行深度学习，构建所述权重文件。

[0011] 可选的，所述对所述样本图像进行深度学习，构建所述权重文件的步骤包括：

[0012] 对所述样本图像进行装配部件及部件位置坐标的标记，得到标记文件；

[0013] 通过所述标记文件从所述样本图像中提取图像特征；

[0014] 采用神经网络模型对所述图像特征进行训练，得到所述权重文件。

[0015] 可选的，所述采用预先构建的权重文件对所述目标图像进行图像识别，识别所述目标图像中的装配场景的步骤包括：

[0016] 采用预先构建的权重文件对所述目标图像进行迭代运算，识别所述目标图像中的装配部件及部件位置；

[0017] 根据所述装配部件及部件位置确定目标图像中的装配场景名称。

[0018] 第二方面，提供了一种装配场景识别系统，包括：

[0019] 目标图像获取模块，用于获取对装配场景采集的目标图像；

[0020] 图像识别模块，用于采用预先构建的权重文件对所述目标图像进行图像识别，识别所述目标图像中的装配场景。

[0021] 可选的，所述系统还包括：

[0022] 样本图像采集模块，用于采集装配场景的样本图像；

[0023] 深度学习模块，用于对所述样本图像进行深度学习，构建所述权重文件。

[0024] 可选的，所述深度学习模块包括：

[0025] 标记单元，用于对所述样本图像进行装配部件及部件位置坐标的标记，得到标记文件；

[0026] 图像特征提取单元，用于通过所述标记文件从所述样本图像中提取图像特征；

[0027] 训练单元，用于采用神经网络模型对所述图像特征进行训练，得到所述权重文件。

[0028] 可选的，所述图像识别模块包括：

[0029] 装配部件识别单元，用于通过开源深度学习框架，采用预先构建的权重文件对所述目标图像进行迭代运算，识别所述目标图像中的装配部件及部件位置；

[0030] 装配场景确定单元，用于根据所述装配部件及部件位置确定目标图像中的装配场景名称。

[0031] 第三方面，提供了一种电子设备，其特征在于，所述电子设备包括：

[0032] 至少一个处理器；以及

[0033] 与所述至少一个处理器通信连接的存储器；其中，

[0034] 所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。

[0035] 第四方面，提供了一种计算机可读性存储介质，用于存储程序，其特征在于，所述程序在被执行时使得电子设备执行如第一方面的方法。

[0036] 通过本发明的实施例提供的技术方案能够得到以下有益效果：

[0037] 在进行装配场景识别时，采用预先构建的权重文件对目标图像进行图像识别，即可自动识别目标图像中的装配场景，进而有效地对装配场景进行管理，降低了选择装配场景时的时间成本，实现装配场景管理及装配的自动化及信息化，大大提高了生产效率。

[0038] 应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，本发明并不受限制。附图说明

[0039] 此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

[0040] 图1是根据一示例性实施例示出的一种装配场景识别方法流程图。

[0041] 图2是根据一示例性实施例示出的一种装配场景识别方法的具体流程示意图。

[0042] 图3是根据图1对应实施例示出的装配场景识别方法中步骤S120的一种具体实现流程图。

[0043] 图4是根据图1对应实施例示出的另一种装配场景识别方法。

[0044] 图5是根据图4对应实施例示出的装配场景识别方法中步骤S220的一种具体实现流程图。

[0045] 图6是根据一示例性实施例示出的一种深度学习的具体流程示意图。

[0046] 图7是根据一示例性实施例示出的一种装配场景识别系统的框图。

[0047] 图8是根据图7对应实施例示出的另一种装配场景识别系统的框图。

[0048] 图9是根据图8对应实施例示出的装配场景识别系统中深度学习模块220的一种框图。

[0049] 图10是根据图7对应实施例示出的装配场景识别系统中图像识别模块120的一种框图。

[0050] 图11是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

[0051] 这里将详细地对示例性实施例进行说明，其示例表示在附图中。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所记载的、本发明的一些方面相一致的系统和方法的例子。

[0052] 图1是根据一示例性实施例示出的一种装配场景识别方法流程图，如图1所示，该装配场景识别方法可以包括以下步骤。

[0053] 步骤S110，获取对装配场景采集的目标图像。

[0054] 目标图像是将进行装配场景识别的图像。

[0055] 目标图像可以是实时采集的一个图像；也可以是从预先采集的图像库中提取的一个图像；也可以是在视频采集存储后，从存储的视频中提取的一个图像帧；还可以是其它形式的图像。

[0056] 装配场景各式各样。因此，通过对目标图像进行图像识别，确定目标图像对应的装配场景。

[0057] 步骤S120，采用预先构建的权重文件对所述目标图像进行图像识别，识别所述目标图像中的装配场景。

[0058] 权重文件是预先构建的对各类装配场景的图像特征进行表征的特征集合。

[0059] 因此，采用预先构建的权重文件对所述目标图像进行图像识别，即可识别出目标图像中的装配场景。

[0060] 采用预先构建的权重文件对所述目标图像进行图像识别时，可以采用各种神经网络算法进行图像识别。

[0061] 图2是根据一示例性实施例示出的一种装配场景识别方法的具体流程示意图。通过输入权重文件、标签及配置文件(即标记文件)，采用云识别服务对识别图像进行装配场景的识别。

[0062] 具体地，如图3所示，步骤S120可以包括步骤S121、步骤S122。

[0063] 步骤S121，采用预先构建的权重文件对所述目标图像进行迭代运算，识别所述目标图像中的装配部件及部件位置。

[0064] 采用预先构建的权重文件对所述目标图像进行迭代运算时，可采用各种深度学习算法得到的权重文件识别出目标图像中的装配部件及部件位置。例如，深度学习框架YOLO-V3、卷积神经网络算法等。

[0065] 步骤S122，根据所述装配部件及部件位置确定目标图像中的装配场景名称。

[0066] 根据目标图像中的装配部件及部件位置，即可识别出对应的装配场景名称，并对装配场景名称进行场景编号。在进行场景编号时，可按照预设的编号规则对识别装配场景名称进行场景编号，以使根据场景编号即可获知对应的装配场景，从而为机器、工人对工业生产制造提供防错依据，并提供较好的方便性。

[0067] 利用如上所述的方法，在进行装配场景识别时，采用预先构建的权重文件对目标图像进行图像识别，即可自动识别目标图像中的装配场景，从而有效地对装配场景进行管理，降低了选择装配场景时的时间成本，实现装配场景管理及装配的自动化及信息化，大大提高了生产效率。

[0068] 可选的，如图4所示，在图1对应实施例示出的装配场景识别方法中，该装配场景识别方法还可以包括以下步骤。

[0069] 步骤S210，采集装配场景的样本图像。

[0070] 需要说明的是，在对装配场景进行识别之前，需预先对各类装配场景进行大量样本图像的采集。

[0071] 采集装配场景的样本图像时，可通过大数据获取网络中各种不同类型装配场景的图像。

[0072] 步骤S220，对所述样本图像进行深度学习，构建所述权重文件。

[0073] 为使采集的样本图像在装配场景识别时发挥作用，还需对样本图像进行深度学习，构建权重文件，使通过权重文件对目标图像进行迭代运算而识别出目标图像中的装配场景类型。

[0074] 具体地，如图5所示，步骤S220可以包括步骤S221、步骤S222、步骤S223。

[0075] 步骤S221，对所述样本图像进行装配部件及部件位置坐标的标记，得到标记文件。

[0076] 装配场景识别是基于深度学习完成的，深度学习的模型训练时，需要大量的带有标注的样本，人工标注是一件费时又费力的工作，本实施例将通过第三方开源工具LabelImg对样本图像进行标记。

[0077] 首先通过获取大量的装配场景的样本图像，从样本图像中进行如螺栓、螺母等各种部件及部件位置坐标进行识别与标记，然后在每一个包含装配场景的目标图像中用四个顶点坐标将装配场景目标圈住，并将标记信息存入XML文件中。

[0078] 例如：

[0079]

[0088] 步骤S222，通过所述标记文件从所述样本图像中提取图像特征。

[0089] 步骤S223，采用神经网络模型对所述图像特征进行训练，得到所述权重文件。

[0090] 可选的，通过特征提取网络模型Darknet-53对大量样本图像提取图像特征，进而采用神经网络模型对提取的图像特征进行训练，得到所述权重文件

[0091] 在对目标图像进行装配场景识别时，通过从目标图像中提取特征，比如13*13，然后将目标图像分成13*13个网格单元，接着如果某个对象的中心坐标落在哪个网格单元中，那么就由该网格单元来预测该对象。

[0092] 也可以采用开源的深度学习框架YOLO-V3在GPU服务器上对装配场景的图像特征进行训练，训练结束后将输出的权重文件作为装配场景识别的输入参数。

[0093] 图6是根据一示例性实施例示出的一种深度学习的具体流程示意图。通过对样本进行深度学习输出权重文件，以便后续对目标图像进行装配场景识别。

[0094] 利用如上所述的方法，在进行装配场景识别时，通过预先采集大量装配场景的样本图像，再通过对样本图像进行深度学习构建权重文件，进而对目标图像进行图像识别，即可自动识别目标图像中的装配场景，从而有效地对装配场景进行管理，降低了识别装配场景时的时间成本，实现装配场景识别及管理的自动化及信息化，大大提高了生产效率。

[0095] 下述为本发明系统实施例，可以用于执行上述装配场景识别方法实施例。对于本发明系统实施例中未披露的细节，请参照本发明装配场景识别方法实施例。

[0096] 图7是根据一示例性实施例示出的一种装配场景识别系统的框图，该系统包括但不限于：目标图像获取模块110及图像识别模块120。

[0097] 目标图像获取模块110，用于获取对装配场景采集的目标图像；

[0098] 图像识别模块120，用于采用预先构建的权重文件对所述目标图像进行图像识别，识别所述目标图像中的装配场景类型。

[0099] 上述系统中各个模块的功能和作用的实现过程具体详见上述装配场景识别方法中对应步骤的实现过程，在此不再赘述。

[0100] 可选的，图8是根据图7对应实施例示出的另一种装配场景识别系统的框图，如图8所示，该装配场景识别系统还包括但不限于：样本图像采集模块210、深度学习模块220。

[0101] 样本图像采集模块210，用于采集装配场景的样本图像；

[0102] 深度学习模块220，用于对所述样本图像进行深度学习，构建所述权重文件。

[0103] 可选的，图9是根据图8对应实施例示出的装配场景识别系统中深度学习模块220的框图，如图9所示，该深度学习模块220包括但不限于：标记单元221、图像特征提取单元222、训练单元223。

[0104] 标记单元221，用于对所述样本图像进行装配场景类型及位置坐标的标记，得到标记文件；

[0105] 图像特征提取单元222，用于通过所述标记文件从所述样本图像中提取图像特征；

[0106] 训练单元223，用于采用神经网络模型对所述图像特征进行训练，得到所述权重文件。

[0107] 可选的，图10是根据图7对应实施例示出的装配场景识别系统中图像识别模块120的框图，如图10所示，该图像识别模块120包括但不限于：装配部件识别单元121、装配场景确定单元122。

[0108] 装配部件识别单元121，用于通过开源深度学习框架，采用预先构建的权重文件对所述目标图像进行迭代运算，识别所述目标图像中的装配部件及部件位置；

[0109] 装配场景确定单元122，用于根据所述装配部件及部件位置确定目标图像中的装配场景名称。

[0110] 图11是根据一示例性实施例示出的一种电子设备100的框图。参考图11，电子设备100可以包括以下一个或者多个组件：处理组件101，存储器102，电源组件103，多媒体组件
104，音频组件105，传感器组件107以及通信组件108。其中，上述组件并不全是必须的，电子设备100可以根据自身功能需求增加其他组件或减少某些组件，本实施例不作限定。

[0111] 处理组件101通常控制电子设备100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作以及记录操作相关联的操作等。处理组件101可以包括一个或多个处理器109来执行指令，以完成上述操作的全部或部分步骤。此外，处理组件101可以包括一个或多个模块，便于处理组件101和其他组件之间的交互。例如，处理组件101可以包括多媒体模块，以方便多媒体组件104和处理组件101之间的交互。

[0112] 存储器102被配置为存储各种类型的数据以支持在电子设备100的操作。这些数据的示例包括用于在电子设备100上操作的任何应用程序或方法的指令。存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如SRAM(Static Random Access Memory，静态随机存取存储器)，EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦除可编程只读存储器)，EPROM(Erasable Programmable Read Only Memory，可擦除可编程只读存储器)，PROM(Programmable Read-Only Memory，可编程只读存储器)，ROM(Read-Only Memory，只读存储器)，磁存储器，快闪存储器，磁盘或光盘。存储器102中还存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器109执行，以完成上述任一所示方法中的全部或者部分步骤。

[0113] 电源组件103为电子设备100的各种组件提供电力。电源组件103可以包括电源管理系统，一个或多个电源，及其他与为电子设备100生成、管理和分配电力相关联的组件。

[0114] 多媒体组件104包括在所述电子设备100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括LCD(Liquid Crystal Display，液晶显示器)和TP(Touch Panel，触摸面板)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

[0115] 图像采集组件105被配置为采集图像或视频。例如，图像采集组件105包括一个摄像头，当电子设备100处于操作模式，摄像头被配置为拍摄外部图像。所采集的图像可以被进一步存储在存储器102或经由通信组件108发送。在一些实施例中，图像采集组件105还包括一个扫描仪等。

[0116] 传感器组件107包括一个或多个传感器，用于为电子设备100提供各个方面的状态评估。例如，传感器组件107可以检测到电子设备100的打开/关闭状态，组件的相对定位，传感器组件107还可以检测电子设备100或电子设备100一个组件的坐标改变以及电子设备100的温度变化。在一些实施例中，该传感器组件107还可以包括磁传感器，压力传感器或温度传感器。

[0117] 通信组件108被配置为便于电子设备100和其他设备之间有线或无线方式的通信。电子设备100可以接入基于通信标准的无线网络，如WiFi(Wireless-Fidelity，无线网络)，
2G或3G，或它们的组合。在一个示例性实施例中，通信组件108经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件108还包括NFC(Near Field Communication，近场通信)模块，以促进短程通信。例如，在NFC模块可基于RFID(Radio Frequency Identification，射频识别)技术，IrDA(Infrared Data Association，红外数据协会)技术，UWB(Ultra-Wideband，超宽带)技术，BT(Bluetooth，蓝牙)技术和其他技术来实现。

[0118] 在示例性实施例中，电子设备100可以被一个或多个ASIC(Application Specific Integrated Circuit，应用专用集成电路)、DSP(Digital Signal Processing，数字信号处理器)、PLD(Programmable Logic Device，可编程逻辑器件)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

[0119] 该实施例中的电子设备中处理器执行操作的具体方式已经在有关该装配场景识别方法的实施例中执行了详细描述，此处将不再做详细阐述说明。

[0120] 可选的，本发明还提供一种电子设备，执行上述任一所示的装配场景识别方法的全部或者部分步骤。该电子设备包括：

[0121] 至少一个处理器；以及

[0122] 与所述至少一个处理器通信连接的存储器；其中，

[0123] 所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一示例性实施例所述的方法。

[0124] 该实施例中的电子设备中处理器执行操作的具体方式已经在有关该装配场景识别方法的实施例中执行了详细描述，此处将不做详细阐述说明。

[0125] 在示例性实施例中，还提供了一种存储介质，该存储介质为计算机可读存储介质，例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质例如包括指令的存储器102，上述指令可由电子设备100的处理器109执行以完成上述装配场景识别方法。

[0126] 应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，本领域技术人员可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

标题	发布/更新时间	阅读量
一种基于增强现实眼镜的信息显示方法	2020-05-08	200
镜像治疗的增强现实手功能康复训练装置	2020-05-08	80
一种增强现实钻石画的制作及其展示方法	2020-05-11	908
增强现实服务配置、请求方法、装置、设备和介质	2020-05-11	212
增强现实设备的软阴影处理方法和装置	2020-05-11	163
光学模组及增强现实装置	2020-05-08	191
访问增强现实用户上下文的方法	2020-05-08	514
一种应用的运行控制方法、装置和虚拟现实设备	2020-05-08	331
一种监控系统及增强现实AR终端	2020-05-11	979
一种AR导航的显示方法、装置、电子设备及存储介质	2020-05-08	355

装配场景识别方法、系统及电子设备

装配场景识别方法、系统及电子设备

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：