技术领域
[0001] 本
发明涉及虚拟车间技术领域，具体的说，是一种映射真实生产情况的虚拟车间模型与信息融合显示方法。
背景技术
[0002] 虚拟制造是实际
制造过程在计算机上的本质实现，即采用计算机仿真和
虚拟现实技术，对产品设计、工艺规划、加工制造等进行统一建模，实现产品制造的本质过程。实现虚拟现实技术
支撑下的生产系统仿真的
可视化、可交互性和虚拟装配车间的场景漫游，为制造系统的优化设计、发挥人的主动性提供更为直观的途径。
[0003] 目前，基于虚拟技术，已经可以实现虚拟车间。一个虚拟车间是对真实车间的实
体模型及其间相互关系的映射，包括相对
位置关系、运动关系等，它与真实车间在结构上相似、虚拟其功能，但并不消耗真实的物质或
能源。一个理想的虚拟车间应当实现如下目标：①能够完整、准确地反映制造系统本质规律，对产品及制造过程进行仿真；②仿真过程与结果以更直观、更贴近真实世界的三维可视化方式展现；③用户能沉浸其中漫游并与仿真模型交互；④基于三维可视化方式进行信息融合。以
现有技术已经可以做到前三个目标，对于第④点还不成熟，需要进一步优化。
发明内容
[0004] 本发明的目的在于提供映射真实生产情况的虚拟车间模型与信息融合显示方法，既能映射真实生产车间场景，又能进行模型与生产制造信息的融合。
[0005] 本发明通过下述技术方案实现：映射真实生产情况的虚拟车间模型与信息融合显示方法，基于三维可视化的虚拟技术，包括以下步骤：步骤S100：建立包括实体对象和信息对象的虚拟车间；所述实体对象是将真实车间中
场地布局、设备、零部件、人映射至
虚拟环境下形成的实体模型；所述信息对象是将MES系统、ERP系统中按设定字段提取的AO数据整合至信息模型；
步骤S200：绑定具有关联关系的实体模型及信息模型并同时加载；
步骤S300：
感知用户
人机交互动作对任选的实体模型或信息模型进行可视化显示。
[0006] 所述步骤S100中场地布局为厂房结构及车间内场地分布，且对应的实体模型为厂房模型。
[0007] 所述步骤S100中设备包括仓储设备、生产加工设备、装配工装型架、AGV配送车，依次对应的实体模型为仓储设备模型、生产加工设备模型、装配工装型架模型、AGV配送车模型。
[0008] 所述步骤S100中零部件包括车间内加工或装配过程涉及的原料、成品，且原料、成品分别对应各自的零部件模型。
[0009] 所述步骤S100中人为真人或
机器人，且真人对应的实体模型为虚拟人模型、机器人对应的实体模型为
虚拟机器人模型。
[0010] 所述步骤S200中设定字段包括”加工计划表”、“加工进度表”、“加工工艺表”、“装配计划表”、“装配进度表”、“装配工艺表”。
[0011] 所述“加工计划表”中包括与厂房模型对应的“车间加工计划项”、与设备对应的“设备工作计划项”、与零部件模型对应的“零部件加工计划项”。
[0012] 所述“加工进度表”中包括与厂房模型对应的“车间加工进度项”、与设备对应的“设备工作进度项”、与零部件模型对应的“零部件加工进度项”。
[0013] 所述“加工工艺表”中包括与厂房模型对应的“车间对应加工工艺项”、与设备对应的“设备对应加工工艺项”、与零部件模型对应的“零部件上一个加工完成项”、“零部件当前加工进行项”、“零部件下一个待加工项”。
[0014] 所述“装配计划表”中包括与厂房模型对应的“车间装配计划项”、与设备对应的“设备工作计划项”、与零部件模型对应的“零部件装配计划项”。
[0015] 所述“装配进度表”中包括与厂房模型对应的“车间装配进度项”、与设备对应的“设备工作进度项”、与零部件模型对应的“零部件装配进度项”。
[0016] 所述“装配工艺表”中包括与厂房模型对应的“车间对应装配工艺项”、与设备对应的“设备对应装配工艺项”、与零部件模型对应的“零部件上一个装配完成项”、“零部件当前装配进行项”、“零部件下一个待装配项”。
[0017] 上述各项若无数据则缺省。
[0018] 进一步地，为了更好的实现本发明，所述步骤S200中信息模型采用构件管理器进行编辑和存储。
[0019] 进一步地，为了更好的实现本发明，所述步骤S300中信息模型的可视化显示包括信息模型显示和信息模型隐藏两个状态，其中信息模型显示状态是通过构件管理器采用弹出式窗口和/或类Windows资源管理器的方式进行信息的分类显示；其中，类Windows资源管理器的方式进行信息的分类显示，是指在用户人机交互进行“显示信息”操作时，先弹出一个构件管理器窗口，在左侧或右侧采用类Windows资源管理器的下拉文件夹的分级分类，用户在缩略窗口显示信息构件预览。
[0020] 进一步地，为了更好的实现本发明，所述步骤S300中信息模型的可视化显示包括信息模型显示和信息模型隐藏两个状态，各个实体模型均设置板
块标识且每个板块标识关联一用于展示信息的悬浮窗，构件管理器从信息模型中提取信息至悬浮窗进行分级分类显示；用户需要显示某一实体模型相关的信息时，通过人机交互获取该实体模型对应的板块标识，同时触发构件管理器从信息模型中提取信息至悬浮窗进行分级分类显示。
[0021] 进一步地，为了更好的实现本发明，所述用户人机交互动作的输入方式包括
键盘输入、
鼠标输入、触屏手势输入、语音输入中的任意一种或多种。
[0022] 进一步地，为了更好的实现本发明，所述步骤S100具体是指，先通过几何建模、行为建模、控制建模相结合的方式对各个实体对象建模，再根据加工和/或装配的制造工艺建立制造线物理模型，并形成可进行仿真运作的虚拟车间的场景，仿真运作过程中以事件数据驱动虚拟车间的可动实体模型执行动作。
[0023] 进一步地，为了更好的实现本发明，所述建立制造线物理模型，是按照加工工艺和/或装配工艺对各个对象进行布置、形成虚拟制造线的静态物理模型。
[0024] 所述建立制造线物理模型的过程如下：先启动虚拟车间应用程序，从车间布局文件中提取出制造工艺涉及的实体模型所对应的标识号ID，以此标识号ID为索引检索模型库，判断模型库中是否存在该实体模型，若存在则调取该实体模型至虚拟车间，若不存在则判断该实体模型能否通过编辑已有的其他实体模型而得到，若可以编辑得到，按需进行编辑并将编辑后的实体模型载入虚拟车间，若不可以编辑得到，则需要重新建立实体模型并添加到模型库中；将实体模型装载到虚拟车间的布局文件，提取出各实体模型的位置（x,y,z）和方向（h,p,r），将实体模型的位置和方向映射在虚拟场景的世界
坐标系中，形成初始的制造线物理模型。
[0025] 本发明与现有技术相比，具有以下优点及有益效果：（1）本发明通过虚拟技术构建虚拟车间，既能映射真实生产车间场景，又能进行模型与生产制造信息的融合。
[0026] （2）本发明通过可视化展示可根据车间实时数据驱动模型依照车间真实轨迹进行运动，形成虚拟工厂，映射真实车间生产场景。
[0027] （3）本发明通过以ERP系统中AO数据绑定相应的加工或装配工位，在工位上可视化展示AO完成情况，即为飞机装配进度实现虚实映射。
[0028] （4）本发明实时采集数控加工设备信息（包括设备状态、运动轨迹，运行时间、加工过程等）绑定虚拟模型，可视化显示数据。
[0029] （5）本发明收集车间物流信息和仓储信息，根据物流时间、配送位置等信息形成配送路径，数据绑定相应模型，在虚拟车间中可视化展示物流、仓储状况反映车间真实情况。
附图说明
[0030] 图1是映射真实生产情况的虚拟车间模型与信息融合显示方法的
流程图。
具体实施方式
[0031] 下面结合
实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。
[0032] MES(Manufacturing Execution System)即制造企业生产过程执行系统，是一套面向制造企业车间执行层的生产信息化管理系统。MES 可以为企业提供包括制造数据管理、计划排程管理、生产调度管理、库存管理、
质量管理、人
力资源管理、工作中心/设备管理、工具工装管理、采购管理、成本管理、项目看板管理、生产过程控制、底层数据集成分析、上层数据集成分解等管理模块，为企业打造一个扎实、可靠、全面、可行的制造协同管理平台。本发明基于MES系统实现三维可视化。
[0033] 下列实施例均以飞机制造过程中一个用于加工或装配零部件的制造车间为例，进行说明。
[0034] 实施例1：映射真实生产情况的虚拟车间模型与信息融合显示方法，基于三维可视化的虚拟技
术，包括以下步骤：
步骤S100：建立包括实体对象和信息对象的虚拟车间；所述实体对象是将真实车间中
场地布局、设备、零部件、人映射至虚拟环境下形成的实体模型；所述信息对象是将MES系统、ERP系统中按设定字段提取的AO数据整合至信息模型；
步骤S200：绑定具有关联关系的实体模型及信息模型并同时加载；
步骤S300：感知用户人机交互动作对任选的实体模型或信息模型进行可视化显示。
[0035] 所述步骤S100中场地布局为厂房结构及车间内场地分布，且对应的实体模型为厂房模型。
[0036] 所述步骤S100中设备包括仓储设备、生产加工设备、装配工装型架、AGV配送车，依次对应的实体模型为仓储设备模型、生产加工设备模型、装配工装型架模型、AGV配送车模型。
[0037] 所述步骤S100中零部件包括车间内加工或装配过程涉及的原料、成品，且原料、成品分别对应各自的零部件模型。
[0038] 所述步骤S100中人为真人或机器人，且真人对应的实体模型为虚拟人模型、机器人对应的实体模型为虚拟机器人模型。
[0039] 所述步骤S200中设定字段包括”加工计划表”、“加工进度表”、“加工工艺表”、“装配计划表”、“装配进度表”、“装配工艺表”。
[0040] 所述“加工计划表”中包括与厂房模型对应的“车间加工计划项”、与设备对应的“设备工作计划项”、与零部件模型对应的“零部件加工计划项”。
[0041] 所述“加工进度表”中包括与厂房模型对应的“车间加工进度项”、与设备对应的“设备工作进度项”、与零部件模型对应的“零部件加工进度项”。
[0042] 所述“加工工艺表”中包括与厂房模型对应的“车间对应加工工艺项”、与设备对应的“设备对应加工工艺项”、与零部件模型对应的“零部件上一个加工完成项”、“零部件当前加工进行项”、“零部件下一个待加工项”。
[0043] 所述“装配计划表”中包括与厂房模型对应的“车间装配计划项”、与设备对应的“设备工作计划项”、与零部件模型对应的“零部件装配计划项”。
[0044] 所述“装配进度表”中包括与厂房模型对应的“车间装配进度项”、与设备对应的“设备工作进度项”、与零部件模型对应的“零部件装配进度项”。
[0045] 所述“装配工艺表”中包括与厂房模型对应的“车间对应装配工艺项”、与设备对应的“设备对应装配工艺项”、与零部件模型对应的“零部件上一个装配完成项”、“零部件当前装配进行项”、“零部件下一个待装配项”。
[0046] 上述各项若无数据则缺省。
[0047] 所述步骤S200中信息模型采用构件管理器进行编辑和存储。
[0048] 1、模型与制造信息融合方式之一：所述步骤S300中信息模型的可视化显示包括信息模型显示和信息模型隐藏两个状态，
其中信息模型显示状态是通过构件管理器采用弹出式窗口和/或类Windows资源管理器的方式进行信息的分类显示；其中，类Windows资源管理器的方式进行信息的分类显示，是指在用户人机交互进行“显示信息”操作时，先弹出一个构件管理器窗口，在左侧或右侧采用类Windows资源管理器的下拉文件夹的分级分类，用户在缩略窗口显示信息构件预览。
[0049] 进一步地，为了更好的实现本发明，所述用户人机交互动作的输入方式包括键盘输入、鼠标输入、触屏手势输入、语音输入中的任意一种或多种。
[0050] 2、模型与制造信息融合方式之二：所述步骤S300中信息模型的可视化显示包括信息模型显示和信息模型隐藏两个状态，
各个实体模型均设置板块标识且每个板块标识关联一用于展示信息的悬浮窗，构件管理器从信息模型中提取信息至悬浮窗进行分级分类显示；用户需要显示某一实体模型相关的信息时，通过人机交互获取该实体模型对应的板块标识，同时触发构件管理器从信息模型中提取信息至悬浮窗进行分级分类显示。
[0051] 进一步地，为了更好的实现本发明，所述用户人机交互动作的输入方式包括键盘输入、鼠标输入、触屏手势输入、语音输入中的任意一种或多种。
[0052] 无论是弹出式窗口、类Windows资源管理器的显示窗还是悬浮窗，虽然显示方式不同，但效果都是显示与选中模型关联的信息，如：质量指标、加工计划、加工进度、加工工艺、装配计划、装配进度、装配工艺等信息。也就是说，用户在虚拟车间的可视化窗口看到某一模型（厂房模型、设备模型、零部件模型）即可按需进行生产计划、生产进度、生产过程、生产质量等信息的分级分类阅览。
[0053] 当用户选择厂房模型时，显示的是整个厂房整体的生产计划、生产进度、生产过程、生产质量等信息，还可以显示该厂房中在制品交付日历表等信息。
[0054] 当用户选择某个设备模型时，显示的是该设备对应的生产计划、生产进度、生产过程、生产质量、设备状态、设备效率等信息。
[0055] 当用户选择某个零部件模型时，显示的是该零部件对应的生产计划、生产进度、生产过程、生产质量、生产批次、各个工序的生产时间、物
流线路及流程程、各个环节物流时间等信息。
[0056] 本实施例中建立虚拟车间并实现信息融合显示的方法，其核心是先建立一个离散事件驱动的制造过程的虚拟环境，再将具有关联性的信息模型与实体模型绑定，在虚拟环境中进行操作。
[0057] 实施例2：本实施例以实施例1为
基础，通常用户通过鼠标双击或触屏手势双击实体模型对应的
板块标识即可触发构件管理器进行信息的显示。
[0058] 用于显示的信息均存储在信息模型中，而信息模型从MES系统、ERP系统中调取数据，可以通过“加工工段”、“加工工位”、“加工过程”、“装配工段”、“装配工位”、“装配过程”、“飞机产品编号”、“设备状态”、“运行轨迹”、“运行时间”、“物流过程”、“物流时间”等等字段进行信息筛选。可筛选的字段非常多，不一一列举。
[0059] 本实施例的其他部分与实施例1相同，故不再赘述。
[0060] 实施例3：本实施例以映射真实生产车间场景为例，进行说明。
[0061] 映射真实生产情况的虚拟车间模型与信息融合显示方法，基于三维可视化的虚拟技术，包括以下步骤：步骤S100：建立包括实体对象和信息对象的虚拟车间；所述实体对象是将真实车间中
场地布局、设备、零部件、人映射至虚拟环境下形成的实体模型；所述信息对象是将MES系统、ERP系统中按设定字段提取的AO数据整合至信息模型；
步骤S200：绑定具有关联关系的实体模型及信息模型并同时加载；
步骤S300：感知用户人机交互动作对任选的实体模型或信息模型进行可视化显示。
[0062] 所述步骤S100中场地布局为厂房结构及车间内场地分布，且对应的实体模型为厂房模型。
[0063] 所述步骤S100中设备包括仓储设备、生产加工设备、装配工装型架、AGV配送车，依次对应的实体模型为仓储设备模型、生产加工设备模型、装配工装型架模型、AGV配送车模型。
[0064] 所述步骤S100中零部件包括车间内加工或装配过程涉及的原料、成品，且原料、成品分别对应各自的零部件模型。
[0065] 所述步骤S100中人为真人或机器人，且真人对应的实体模型为虚拟人模型、机器人对应的实体模型为虚拟机器人模型。
[0066] 所述步骤S200中设定字段包括”加工计划表”、“加工进度表”、“加工工艺表”、“装配计划表”、“装配进度表”、“装配工艺表”。
[0067] 所述“加工计划表”中包括与厂房模型对应的“车间加工计划项”、与设备对应的“设备工作计划项”、与零部件模型对应的“零部件加工计划项”。
[0068] 所述“加工进度表”中包括与厂房模型对应的“车间加工进度项”、与设备对应的“设备工作进度项”、与零部件模型对应的“零部件加工进度项”。
[0069] 所述“加工工艺表”中包括与厂房模型对应的“车间对应加工工艺项”、与设备对应的“设备对应加工工艺项”、与零部件模型对应的“零部件上一个加工完成项”、“零部件当前加工进行项”、“零部件下一个待加工项”。
[0070] 所述“装配计划表”中包括与厂房模型对应的“车间装配计划项”、与设备对应的“设备工作计划项”、与零部件模型对应的“零部件装配计划项”。
[0071] 所述“装配进度表”中包括与厂房模型对应的“车间装配进度项”、与设备对应的“设备工作进度项”、与零部件模型对应的“零部件装配进度项”。
[0072] 所述“装配工艺表”中包括与厂房模型对应的“车间对应装配工艺项”、与设备对应的“设备对应装配工艺项”、与零部件模型对应的“零部件上一个装配完成项”、“零部件当前装配进行项”、“零部件下一个待装配项”。
[0073] 上述各项若无数据则缺省。
[0074] 所述步骤S100具体是指，先通过几何建模、行为建模、控制建模相结合的方式对各个实体对象建模，再根据加工和/或装配的制造工艺建立制造线物理模型，并形成可进行仿真运作的虚拟车间的场景，仿真运作过程中以事件数据驱动虚拟车间的可动实体模型执行动作。
[0075] 进一步地，为了更好的实现本发明，所述建立制造线物理模型，是按照加工工艺和/或装配工艺对各个对象进行布置、形成虚拟制造线的静态物理模型。
[0076] 所述建立制造线物理模型的过程如下：先启动虚拟车间应用程序，从车间布局文件中提取出制造工艺涉及的实体模型所对应的标识号ID，以此标识号ID为索引检索模型库，判断模型库中是否存在该实体模型，若存在则调取该实体模型至虚拟车间，若不存在则判断该实体模型能否通过编辑已有的其他实体模型而得到，若可以编辑得到，按需进行编辑并将编辑后的实体模型载入虚拟车间，若不可以编辑得到，则需要重新建立实体模型并添加到模型库中；将实体模型装载到虚拟车间的布局文件，提取出各实体模型的位置（x,y,z）和方向（h,p,r），将实体模型的位置和方向映射在虚拟场景的世界坐标系中，形成初始的制造线物理模型。
[0077] 本实施例中，信息模型从MES系统中调取各类信息数据，调取的信息数据包括车间模型、设备模型、零部件模型、虚拟人模型、虚拟机器人模型等各个模型历史制造过程中相关数据。因此能以时间轴将具有相互映射关系的模型按照历史制造中相关数据，用虚拟车间模拟仿真真实车间的生产制造过程，从而进行真实生产车间场景复现。
[0078] 例如：当鼠标移动至某个设备模型时，可以看到此时该设备的
开关机状态、设备的
位姿；当鼠标移动至某个零部件模型时，若此零部件正在进行加工或装配则可以看到此时该零部件的位姿，能看到此零部件制造过程、加工进度、加工质量、工序情况等生产信息，还能看到零部件物流过程、各个环节物流时间等物流信息。
[0079] 又例如：当鼠标移动至AGV配送车模型时，可以观看AGV配送车模型移动轨迹、移动速度等信息，从而为后期优化AGV配送车的调度策略提供支持。
[0080] 本发明将实体模型与信息模型按特点关联关系进行绑定。一方面，通过以ERP系统中AO数据绑定相应的加工或装配工位，在工位上可视化展示AO完成情况，即为飞机装配进度实现虚实映射。一方面，实时采集数控加工设备信息（包括设备状态、运动轨迹，运行时间、加工过程等）绑定虚拟模型，可视化显示数据。另一方面，收集车间物流信息和仓储信息，根据物流时间、配送位置等信息形成配送路径，数据绑定相应模型，在虚拟车间中可视化展示物流、仓储状况反映车间真实情况。
[0081] 本实施例的其他部分与实施例1相同，故不再赘述。
[0082] 以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单
修改、等同变化，均落入本发明的保护范围之内。
