技术领域
[0001] 本
发明涉及
增强现实和可穿戴设备辅助的装配领域，特别涉及一种基于
混合现实技术的航空
导线辅助装配方法和系统。
背景技术
[0002] 航空航天产品装配作业中大量依赖于人
力，因此存在对工人的经验、熟练程度要求高、装配速度低等问题，严重制约了装配效率的提升，难以适应当今航空航天产品的快速生产需求。
[0003] 目前，在航空线缆装配作业中，仍然存在利用传统的纸质工艺文件和CAD工业
软件、装配工艺易读性差等问题，难以避免因工人理解错误或操作失误导致装配失误和返工的情况。因此导致航空线缆装配周期长，人力成本增加，产品的研制周期长、制造成本高等情况。
[0004] 可穿戴设备的出现为人们提供了一种利用装配辅助手段减少装配
质量问题的新思路，通过可穿戴设备为工人实时提供装配引导，可以提升装配过程的信息化
水平，有利于整个生产中实现高效的
人机交互。基于可穿戴设备的装配辅助引导，能够有效解放工人双手，提升装配效率，并减少装配作业对工人熟练水平的依赖程度，有效防止装配错误的发生。
[0005] 增强现实技术是指将虚拟场景和真实场景相混合的一种技术，随着可穿戴设备计算能力的不断提升，增强现实技术的应用平台从传统的计算机上逐渐转移到了可穿戴设备中。使用增强现实技术进行装配辅助，可以在待装配
位置直接投影出装配物体的虚拟三维模型，与传统的装配辅助手段相比更加直观，易于理解，可以减少装配中发生错误的可能性。
[0006] 目前许多国内外的航空航天制造商已经开始尝试将
可穿戴技术和增强现实技术应用在航空航天产品的装配中。实现可穿戴技术和增强显示技术在企业生产中的普及化是当今制造业发展的重要方向。特别是对于飞机线缆装配，相关装配辅助技术仍不成熟。由于飞机线缆具有结构复杂，种类繁多等特点，在装配过程中易造成工人判断失误，继而导致漏装、装错或装反等装配问题的出现。而基于可穿戴设备的增强现实技术可以在线缆待装配位置实时投影出相应的三维模型，帮助工人直观地理解装配要求，减少工人判断失误的可能性，因此使用可穿戴设备和增强现实技术对飞机线缆装配进行
可视化引导对提升飞机线缆装配质量及装配效率都具有重要意义。
发明内容
[0007] 针对
现有技术存在的问题，本发明的目的在于提供一种基于MR的航空线缆辅助装配方法，本发明的另一目的是提供一种基于MR的航空线缆辅助装配系统，通过该方法和系统，能够帮助工人迅速、准确的理解复杂环境下的装配要求，从而提升装配效率减少装配失误。
[0008] 为实现上述目的，本发明一种基于MR的航空线缆辅助装配方法，具体包括：
[0009] S1：根据当前装配任务，利用MR眼镜和计算机端的网络通讯模
块导入相应的装配工艺文件；
[0010] S2：通过MR眼镜端的虚实
定位模块，对装配场景中的标识图进行扫描，借助标识图在装配场景中实现空间定位；
[0011] S3：通过人机交互操作，根据MR眼镜端的装配引导信息利用手势或语音对可穿戴设备进行控制，发送操作指令；
[0012] S4：MR眼镜端接收到操作指令之后，利用虚实显示和虚实定位模块，生成装配作业中对应步骤中的装配作业信息，并通过双目立体、UI界面、虚实动画展示给操作工人；
[0013] S5：操作工人根据MR眼镜端的相应装配提示信息，进行相应的装配操作；
[0014] S6：当前的装配步骤完成后，则重复S3-S5的步骤，直至完成所有装配任务。
[0015] 进一步，所述S1中，通过XML文件将纸质的装配工艺录入到MR 眼镜端内，工艺文件中的指导信息为产品信息、工序信息、工步信息。
[0016] 进一步，所述产品信息主要包括产品名称、产品编号；所述工序信息包括完成该工序所需的工具信息、物料信息、工序编号、工序名称；所述工步信息则包括针对这一工步的引导信息，包括工步编号、工步名称、工步的文字描述信息、工步的图片信息以及工步的三维模型信息。
[0017] 进一步，所述S2中，为装配工人提供文字、图片、虚实动画形式的辅助工艺信息，将零部件三维模型投影到待装配位置上，具体实现步骤包括：
[0018] 1)选择待装配产品；
[0019] 2)解读装配辅助文件，加载装配辅助信息：文字辅助信息、图片辅助信息、模型辅助信息；
[0020] 3)选择当前工步；
[0021] 4)显示文字、图片信息；
[0022] 在装配场景中通过标识图实现世界
坐标系、摄像机坐标系、显示屏幕的坐标系、
虚拟摄像机坐标系统一，从而实现空间定位。
[0023] 进一步，所述S4中虚实显示，具体为：
[0024] 1)利用
三维建模软件建立装配零部件三维模型，并对模型进行简化，以满足AR眼镜的模型加载和
渲染要求，处理增强现实信息与真实物理场景之间的遮挡关系；
[0025] 2)建立装配要素模型的数据文件
接口，从数据文件中逐
帧读取装配要素的三维坐标信息，并在Unity3D图形引擎中驱动相应三维模型的位置；虚拟场景中的三维模型进行设定比例放大，以满足观看需要；
[0026] 3)根据AR眼镜定位模块输出的视点位置
姿态信息，确定虚拟场景中虚拟视点的位置和姿态，装配要素在虚拟场景的位置与实际场景的位置信息进行关联，保证
叠加时能够吻合；
[0027] 4)根据当前虚拟场景中的视点位置以及与观测的装配零件位置关系，生成双目视点的坐标，并分别根据当前的双目坐标渲染输出虚拟模型的图像；
[0028] 5)通过装配模型的动画显示和UI对话框提示信息，显示装配零部件的模型信息和文字描述信息。
[0029] 一种实施上述方法的基于MR的航空线缆辅助装配系统，包括：
[0030] 计算机端装配辅助分系统：用于对MR眼镜进行配置文件和交互指令的网络通讯；
[0031] MR眼镜端装配辅助分系统：用于虚实定位、人机交互和虚实显示；
[0032] 其中，虚实定位通过SLAM定位和标识定位两种方式实现装配场景的定位，人机交互通过手势、语音、凝视的功能实现工人和辅助装配系统的交互，虚实显示通过双目立体、UI显示、动画显示功能实现装配作业指导，使得待装配零部件的三维模型叠加在真实的装配场景中，实现直观的待装配零部件的装配形式和装配位置。
[0033] 进一步，所述虚实定位：用于装配作业前先通过MR眼镜对
指定的装配作业的标识图进行扫描，获取装配作业场景的坐标定位，所述SLAM 定位是在通过标识定位之后，不再需要标识定位即可通过MR眼镜的
深度相机和实时场景进行实时定位。
[0034] 进一步，所述虚实显示：双目立体是通过MR眼镜实现待装配零部件的三维显示，UI显示实现在装配场景中提供协助工人操作的以及给工人提示的UI界面，动画显示实现利用三维动画展示在真实的装配场景中实现虚实联动，给工人直观的展示所需要的装配动作。
[0035] 进一步，所述系统还包括工人端和装配现场端，工人端用于按照装配作业顺序利用MR眼镜进行装配作业任务的执行，需要通过导入装配工艺文件、扫描标识图、对MR眼镜端发送装配交互指令，并通过MR 眼镜端的装配指导信息进行装配作业；装配现场端是装配作业任务中的真实场景，工人可以根据MR眼镜中的虚实显示功能，将待装配零部件显示在真实的装配场景中，指导工人直观的进行装配作业。
[0036] 进一步，所述工人端的装配工艺文件是通过计算机端装配辅助分系统处理后的装配工艺文件，所述交互指令，包含工人在装配作业中涉及到的语音、手势、凝视等交互动作，所述的装配指导信息是通过MR眼镜端的虚实显示功能提供的双目立体、UI显示、动画显示等功能所呈现的信息。
[0037] 本发明公开的一种基于MR的航空线缆辅助装配方法和系统相比于当期技术具有以下优势。
[0038] (1)本发明采用了可穿戴设备和增强现实技术相结合的方法，为飞机线缆装配提供了一个便捷直观的装配新的思路，能够有效解决飞机线缆装配过程中严重依赖工人经验和工人熟练度的传统操作方式。
[0039] (2)基于MR的航空线缆辅助装配方法，可以实现在真实的装配场景中通过叠加虚拟的待装配零部件，并通过双目立体、UI界面、虚实动画展示，直观的给操作工人进行装配作业指导。
[0040] (3)本发明采取的基于MR的航空线缆辅助装配方法，改变了原来由传统纸质装配工艺文件和工人经验的装配作业方式，大大提高了飞机线缆装配作业效率和装配质量。
附图说明
[0042] 图2为飞机线缆装配工艺信息的建立流程；
[0043] 图3为产品信息、工序信息、工步信息的E-R图；
[0044] 图4为增强现实系统位置关系示意图；
[0045] 图5为MR智能眼镜与PC端的通讯图；
[0046] 图6为基于模型重建的遮挡处理
流程图。
具体实施方式
[0047] 下面，参考附图，对本发明进行更全面的说明，附图中示出了本发明的示例性
实施例。然而，本发明可以体现为多种不同形式，并不应理解为局限于这里叙述的示例性实施例。而是，提供这些实施例，从而使本发明全面和完整，并将本发明的范围完全地传达给本领域的普通技术人员。
[0048] 为了易于说明，在这里可以使用诸如“上”、“下”“左”“右”等空间相对术语，用于说明图中示出的一个元件或特征相对于另一个元件或特征的关系。应该理解的是，除了图中示出的方位之外，空间术语意在于包括装置在使用或操作中的不同方位。例如，如果图中的装置被倒置，被叙述为位于其他元件或特征“下”的元件将定位在其他元件或特征“上”。因此，示例性术语“下”可以包含上和下方位两者。装置可以以其他方式定位(旋转90度或位于其他方位)，这里所用的空间相对说明可相应地解释。
[0049] 如图1至图6所示，本发明提供了一种基于MR的航空线缆辅助装配方法及系统，方法的本质是通过MR眼镜实施装配工艺流程，通过增强显示技术实现待装配零部件的三维模型叠加在真实的装配场景中，并通过双目立体、虚实动画的方式展示给操作工人，通过UI界面展示相应的装配信息辅助工人高效的完成装配任务。增强现实技术就是通过将待装配零部件的三维模型通过MR眼镜以及虚实定位功能，将虚拟的模型按照真实的装配形式，叠加到真实的装配场景中，从而是工人能够更加直观的感受到待装配零部件的装配形式和装配位置等。
[0050] 本发明提供了以一种基于MR的航空线缆辅助装配系统，包括：计算机端装配辅助分系统、MR眼镜端装配辅助分系统、工人端、装配现场四部分组成。
[0051] 计算机端装配辅助分系统，用于配置文件和网络通讯，其中配置文件用于获取装配所需要的工艺文件信息、产品工序信息、工具物料信息，网络通讯用于装配现场工人的指令处理、作业场景的坐标信息处理、和外部系统的交互信息处理等功能。
[0052] MR眼镜端装配辅助分系统，用于虚实定位、人机交互和虚实显示，其中虚实定位可以通过SLAM和标识两种方式实现装配场景的定位，用于装配作业前先通过MR眼镜对指定的装配作业的标识图进行扫描，获取装配作业场景的坐标定位，所述SLAM定位是在通过标识定位之后，不再需要标识定位可以通过MR眼镜的深度相机和实时场景进行实时定位。人机交互可以通过手势、语音、凝视等功能实现工人和辅助装配系统的交互，虚实显示可以通过双目立体、UI显示、动画显示等功能实现装配作业指导，其中双目立体是通过MR眼镜可以实现待装配零部件的三维显示，UI显示可以实现在装配场景中提供协助工人操作的以及给工人提示的UI界面，动画显示，可以实现利用三维动画展示在真实的装配场景中实现虚实联动，给工人直观的展示所需要的装配动作。
[0053] 工人端，用于按照装配作业顺序利用MR眼镜进行装配作业任务的执行，需要通过导入装配工艺文件、扫描标识图、对MR眼镜端发送装配交互指令，并通过MR眼镜端的装配指导信息进行装配作业。装配工艺文件是通过计算机端装配辅助分系统处理后的装配工艺文件，所述的交互指令，包含工人在装配作业中涉及到的语音、手势、凝视等交互动作；装配指导信息是通过MR眼镜端的虚实显示功能提供的双目立体、 UI显示、动画显示等功能所呈现的信息。
[0054] 装配现场端，是装配作业任务中的真实场景，工人可以根据MR眼镜中的虚实显示功能，将待装配零部件显示在真实的装配场景中，并可以利用双目立体、UI界面、虚实动画功能直观的指导工人进行装配作业。
[0055] 本发明一种基于MR的航空线缆辅助装配方法，采用的技术方案包括以下步骤：
[0056] S1：需要在计算机端辅助装配分系统中根据装配任务，建立装配工艺文件，并生成xml格式的装配工艺文件，并通过网络通讯模块发送给 MR眼镜端辅助装配分系统；
[0057] S2：为了对应装配任务的工艺文件，工人需要根据装配任务利用MR 眼镜导入相应的装配工艺文件，进行装配作业指导；
[0058] S3：为了是后续步骤中对待装配零部件的空间位置确定，通过MR 眼镜端的虚实定位模块，对装配场景中的标识图进行扫描，借助标识图在装配场景中实现空间定位；
[0059] S4：工人做出相应的人机交互操作，根据MR眼镜端的装配引导信息利用手势或语音对可穿戴设备进行控制，发送操作指令；MR眼镜端收到工人操作指令，通过指令处理后，返回当前所需要的装配信息，和装配零部件，利用虚实显示和虚实定位模块，生成装配作业中对应步骤中的装配作业信息，并通过双目立体、UI界面、虚实动画展示给操作工人；
[0060] S5：操作工人根据MR眼镜端的相应装配提示信息，按照提示的装配工艺信息，和相应的装配零件信息进行装配操作；
[0061] S6：当前的装配步骤完成后，则重复S4-S5的步骤，直至完成所有装配任务。
[0062] 下面结合图1至图6详细阐述具体实施方法。
[0063] S1：本发明是基于MR的航空线缆辅助装配，因此对于航空线缆的装配工艺必须要进行建立，传统的操作方式是纸质装配工艺并不完全适用于可穿戴设备辅助的装配系统中，因此本发明在计算机端辅助装配分系统(如图1所示)中通过XML文件将纸质的装配工艺录入基于MR的航空线缆辅助装配系统。
[0064] S1.1：针对这种情况，本文对传统装配工艺文件包含的信息进行了精炼、分类和组织，并建立其表示模型。经过调查对装配工艺具有较大指导意义的信息主要有装配辅助工具及物料以及装配工步的详细说明。装配AO中的这两部分可以被抽象为产品信息、工序信息、工步信息三类信息，它们之间存在严格的层次关系。图3为产品信息、工序信息、工步信息的E-R图。
[0065] 如图3所示，产品信息主要包括产品名称、产品编号；工序信息主要包括完成该工序所需的工具信息、物料信息、工序编号、工序名称；工步信息则主要包括针对这一工步的引导信息，包括工步编号、工步名称、工步的文字描述信息、工步的图片信息以及工步的三维模型信息。
[0066] 此外，产品信息和工序信息之间的关系为“一对多”的关系，即一种型号的产品中含有多个装配工序。同样，工序信息和工步信息之间的关系也是“一对多”的关系，即一个装配工序中含有多个装配工步。
[0067] 针对装配工艺信息的以上特点，本文使用“productID”、“productName”属性对产品信息进行抽象化表示；使用“processID”、“processName”、“Tools”、“Material”属性对工序信息进行抽象化表示；使用“stepName”、“textInf”、“picInf”、“ARmodInf”属性进行抽象化表示。
[0068] 鉴于产品信息、工序信息、工步信息之间存在“一对多”的包含关系，本文提出使用XML文件的方法实现飞机装配工艺信息管理。
[0069] S1.2：如图2所示为飞机线缆装配工艺信息的建立流程，飞机线缆装配工艺信息的建立过程可分为两个主要阶段，第一个阶段是由工艺人员在计算机上根据飞机线缆装配工艺填写装配工艺信息，第二个阶段则是根据所填写的装配工艺信息生成基于XML的装配工艺信息文件，得到的基于XML格式的工艺文件可以为MR眼镜端装配辅助分系统提供支持。
[0070] S2：为了对应装配任务的工艺文件，工人需要根据装配任务利用MR 眼镜导入相应的装配工艺文件，进行装配作业指导。
[0071] 利用MR眼镜端装配辅助分系统的增强现实技术实现可视化装配引导，为装配工人提供文字、图片、虚实动画形式的辅助工艺信息，信息可以通过步骤S1中的生成的装配辅助XML文件获取如下所示：
[0072]
[0073] 通过增强现实技术将零部件三维模型投影到待装配位置上，可以为工人实时提供直观而准确的装配引导，具体实现步骤包括：
[0074] 1)选择待装配产品。
[0075] 2)解读装配辅助文件，加载装配辅助信息(文字辅助信息、图片辅助信息、模型辅助信息)。
[0076] 3)选择当前工步。
[0077] 4)显示文字、图片信息。
[0078] 为了是后续步骤中对待装配零部件的空间位置确定，通过MR眼镜端的虚实定位模块，对装配场景中的标识图进行扫描，如图4所示在装配场景中通过标识图实现世界坐标系、摄像机坐标系、显示屏幕的坐标系、虚拟摄像机坐标系统一，从而实现空间定位；
[0079] 假设世界坐标系用W表示，摄像机坐标系使用C表示，光学透视式头盔显示器的显示屏幕的坐标系用S表示，人眼和屏幕共同组成一个虚拟摄像机，坐标系用V表示。设空间中的任意一点P，其世界坐标系的坐标为Pw，摄像机坐标系下为Pc，屏幕上的坐标为Ps，则得到式(1)、式(2)，
[0080] Pc＝[Rwc|Twc；0 0 0 1]Pw (1)
[0081] Ps＝K[Rcv|Tcv]Pc＝GPc (2)
[0082] 其中，Pw，Pc的是该点在世界坐标系下三维位置的齐次坐标，因此都是四维向量。Ps是该点在屏幕坐标系下的二维位置的齐次坐标，因此都是三维向量。R是3*3的选装矩阵，T是3*1的平移列向量，K则是包含人眼在内的虚拟相机的内参矩阵，为3*3矩阵。
[0083] 令Ps＝[u v 1]T，Pc＝[xc yc zc 1]T，G＝[g11 g12 g13 g14；g21 g22 g23 g24；g31 g32 g33 g34]，则得到：
[0084]
[0085] 矩阵G即为从摄像机坐标系Pc到屏幕坐标系Ps的映射关系。
[0086] 同理可以得到图4所示的F、K、M矩阵。
[0087] S3：工人做出相应的人机交互操作，根据MR眼镜端的装配引导信息利用手势或语音对可穿戴设备进行控制，发送操作指；
[0088] S4：MR眼镜端收到工人操作指令，通过指令处理后，返回当前所需要的装配信息，和装配零部件，利用虚实显示和虚实定位模块，生成装配作业中对应步骤中的装配作业信息，并通过双目立体、UI界面、虚实动画展示给操作工人；
[0089] S4.1：工人做出相应的人机交互操作，发送操作指令，本发明是基于 MR眼镜的交互方式开发的凝视、手势、语音三种方式；
[0090] (1)凝视
[0091] MR眼镜则将头动因素作为了凝视交互的主要控制方式，这种用户指令输入形式命名为“Gaze input”，MR眼镜凝视功能的主要标志物是
指针。指针是一种帮助用户准确获知凝视点的参照物，其作用类似于传统计算机中的
光标。指针有多种形态，本系统中使用的是HoloToolkit中提供的默认Cursor，常态下Cursor的形态是淡紫色实心光点，而在选中物体后，其形态会变成蓝紫色空心
光圈。
[0092] (2)手势
[0093] MR眼镜支持识别的交互手势主要有三大类：捏合手势，点击手势，绽放手势。其中，捏合手势与点击手势主要与凝视交互配合使用，主要用于放置和启动应用，以及触发UI中各类控件的响应事件，继而实现用户对MR眼镜的操作，而绽放手势在MR眼镜中主要用于退出当前应用并回归至开始菜单。
[0094] 表1 MR眼镜的手势交互
[0095]
[0096]
[0097] (3)语音
[0098] 用户根据当前MR眼镜上的提示说出相应的语音信息，MR眼镜通过麦克
风实时捕捉音频
信号并进行处理分析，完成语义识别，而后调用该命令所对应的代码段，并将处理结果通过全息影像展示给用户。
[0099] 为了实现该飞机线缆装配辅助系统的语音交互功能，需要事先规定相应的关键字作为命令执行的触发信号。由于MR眼镜在本发明研究时尚无发布中文
语音识别功能，故选用英文单词作为语音识别关键字。本文根据装配现场的实际需求，定义了13个操作关键字，如表2所示。
[0100] S4.2：MR眼镜端接收到操作指令之后，利用虚实显示和虚实定位模块，生成装配作业中对应步骤中的装配作业信息，并通过双目立体、UI 界面、虚实动画展示给操作工人；
[0101] 其中主要是根据网络通讯功能和虚实显示功能实现的装配作业指导信息交互和展示。
[0102] 表2语音交互关键词及其执行操作
[0103]
[0104]
[0105] (1)网络通讯功能
[0106] MR眼镜与计算机端进行通讯主要采用Socket来实现。如图5所示为基于Socket实现眼镜和计算机端通讯的主要机制，利用网络通讯功能实现眼镜和计算机端的指令信息、位置信息、文字/图片/视频等数据的传输。提升MR眼镜辅助装配的体验感。
[0107] (2)虚实显示功能
[0108] 1)利用3dmax等三维建模软件建立装配零部件等三维模型，并对模型进行适当简化，以满足AR眼镜的模型加载和渲染要求，处理增强现实信息与真实物理场景之间的遮挡关系；
[0109] AR虚实融合显示技术又称遮挡处理技术，在早期的增强现实中，真实场景都是作为虚拟物体的背景而出现的，所以无论真实场景中的遮挡物体怎么移动，它都出现在虚拟物体的后面。随着相关技术(如图形图像技术，三维渲染技术等)的不断发展，研究人员开始从各个
角度来解决虚实遮挡的问题。总体来说这些方法分为基于深度计算和基于模型重建。
[0110] 在本项目的应用场景中，需要在实时SLAM过程中实现AR的虚实融合显示。由于场景是已知场景，故而采用基于模型重建的方法进行遮挡处理，从而获取最好的虚实融合效果。具体流程如图6所示
[0111] 本发明中采用了Unity3D引擎作为AR虚拟场景渲染工具，故具体的虚实遮挡处理选择在Unity3D场景编辑工具上进行处理，基于Unity3D 遮挡处理可以免去大部分遮挡计算以及光照一致性的处理工作。
[0112] 2)建立装配要素模型的数据文件接口，从数据文件中逐帧读取装配要素的三维坐标信息，并在Unity3D图形引擎中驱动相应三维模型的位置；虚拟场景中的三维模型进行适当的比例放大，以满足观看需要；
[0113] 3)根据AR眼镜定位模块输出的视点位置姿态信息，确定虚拟场景中虚拟视点的位置和姿态，装配要素在虚拟场景的位置与实际场景的位置信息进行关联，保证叠加时能够吻合；
[0114] 4)根据当前虚拟场景中的视点位置以及与观测的装配零件位置关系，生成双目视点的坐标，并分别根据当前的双目坐标渲染输出虚拟模型的图像；
[0115] 5)通过装配模型的动画显示和UI对话框提示等信息，显示装配零部件的模型信息和文字描述等信息。
[0116] S5：操作工人根据MR眼镜端的相应装配提示信息，按照提示的装配工艺信息，和相应的装配零件信息进行装配操作；
[0117] S6：当前的装配步骤完成后，则重复S4-S5的步骤，直至完成所有装配任务。
[0118] 通过上述步骤，本发明的基于MR的航空线缆辅助装配方法和系统可以实现，并能实现辅助工人进行飞机线缆的装配，提高飞机线缆装配效率和质量。
