技术领域
[0001] 本
发明涉及虚拟现实领域，尤其涉及一种混合虚拟现实的方法。
背景技术
[0002] 随着
混合现实技术不断发展，在各种模拟领域逐步开始运用混合现实。目前此类基于混合现实技术的飞行
模拟器中存在一些不足：
飞行模拟器处在不同
姿态或运动、振动时，摄像头或传感设备拍摄画面抖动及
定位不准；人体部位是通过光学或惯性传感设备在虚拟场景实体化，无法实体化各种设备；由于虚拟场景中的人体
皮肤和服装缺乏真实感，不能使人产生真实的
沉浸感；视
角视场受头戴显示器或摄像头拍摄视角限制，不能
跟踪眼球及自适应对焦；人在真实世界中的视觉听觉触觉和空间感与虚拟世界不一致，产生的虚幻感和眩晕感较强；系统不能快速集成不同厂家的飞行模拟器，进行快捷升级改造和二次开发。这些问题导致现实和虚拟世界无法融合产生真实可信的
可视化环境，在新的可视化环境里物理和数字对象无法共存，并实时互动，降低了飞行模拟器的实用性。
发明内容
[0003] 为克服
现有技术问题，本发明提供一种混合虚拟现实的方法。
[0004] 一种混合虚拟现实的方法，步骤S1：通过配置于人眼
位置的两个摄像头对模拟舱内的范围深度下的所有设备、人员包括自身进行自适应的空间映射，对双眼可视范围内进行
三维重建，对双眼聚焦的中心范围内进行精细三维重建，对双眼聚焦范围外进行粗糙三维重建；
[0005] 步骤S2：通过固定在模拟舱周围的固定位置和角度的摄像机采集所述模拟舱外的特征点实时信息以及通过VR头盔和定位器获得的人体相对空间位置信息，对虚拟场景进行补偿和修正以及对虚拟场景内的深度信息和真实距离信息进行匹配，获得虚拟场景与VR头盔的相对位置关系；
[0006] 步骤S3：通过跟踪眼部的瞳孔和头部运动对虚拟画面进行分层
渲染，以瞳孔的位置为中心点由内到外依次进行渲染，渲染的
分辨率由内到外依次降低。
[0007] 优选的是，在所述步骤S1中，通过配置于人眼位置的两个摄像头对模拟舱内的范围深度下的所有设备、人员包括自身进行自适应的空间映射时：对两个摄像头拍摄的空间区域进行分割，在分割时分别依次采用三种由小到大的
体素尺寸进行分割，将相同的空间区域分割成为三组具有数据独立性的体素集合。
[0008] 优选的是，对双眼可视范围内进行三维重建，对双眼聚焦的中心范围内进行精细三维重建，对双眼聚焦范围外进行粗糙三维重建时：确定每个体素的状态，并获得非空体素集合；对双眼聚焦范围进行实时追踪，对双眼聚焦的中心范围内的区域选取最小尺寸的体素集合，对双眼聚焦的中心范围外、可视区域以内的部分选择大于双眼聚焦的中心范围内的尺寸的体素集合，对双眼其它可视范围选择最大尺寸的体素集合，实现重建效果由双眼聚焦范围的由内到外依次由精细到粗糙；然后进行
像素化的纹理映射，得到虚拟场景的三维纹理效果。
[0009] 优选的是，在所述步骤S2中，通过固定在模拟舱周围的固定位置和角度的摄像机采集所述模拟舱外的特征点实时信息时：固定在模拟舱周围的固定位置和角度的摄像机通过最小二乘法对所述摄像机进行参数标定，并对静态的模拟舱表面的特征点初始位置进行记录，通过立体成像原理和坐标转换得到模拟舱的初始
位姿，建立初始
坐标系。
[0010] 优选的是，在模拟舱运动的过程中，通过固定在模拟舱周围的固定位置和角度的摄像机实时拍摄动态变化的特征点，并通过SURF
算法进行特征点提取，采用KLT算法进行特征点匹配，实现模拟舱快速运动产生位移变化时，对特征点进行跟踪匹配。
[0011] 优选的是，通过固定在模拟舱周围的固定位置和角度的摄像机得到模拟舱运动时的特征点的世界坐标，计算该时刻特征点相对于初始坐标的变化，从而得到模拟舱的位置关系，并通过VR头盔和定位器获得人体相对空间位置信息，根据在初始坐标系中的模拟舱和人体的位置信息，通过逆向转换对虚拟画面进行动态修正，并匹配内部虚拟场景与外部真实场景空间感和距离感。
[0012] 优选的是，在提取特征点时，所述特征点采用
内圈为白色
外圈为黑色的圆形黑白对比
颜色的特征点，通过SURF算法进行特征点提取时，通过相机拍摄图像的高斯差分金字塔DOG并提取每组图像的第一层图像，对每组图像采取最大类间差分法进行自适应
阈值分割获得二值图，并将该二值图作为约束条件进行特征点检测，使SURF检测在特征点的内部边缘区域进行。
[0013] 优选的是，采用KLT算法进行特征点匹配时，在高斯差分金字塔DOG的最高层计算光流，把计算得到的运动估值作为下一层计算的初始点，经过多次
迭代直至最底层。
[0014] 优选的是，通过跟踪眼部的瞳孔和头部运动对虚拟画面进行分层渲染时：在unigine引擎中对场景的对不同区域和不同层次分别进行渲染，采用以眼部的瞳孔中心注视位置由内向外，依次进行高、中、低层次渲染。
[0015] 优选的是，采用分段线性灰度变化的图像增强法增强图像的可识别度，然后采用中值滤波降低噪点，通过迭代法快速分割特征区域，并通过面积特性和圆度值特性对瞳孔区域进行筛选，最后利用基于最小二乘法的椭圆拟合得到瞳孔的中心位置，通过瞳孔的中心位置获得双眼聚焦的范围
[0016] 本发明的有益效果：
[0017] 本发明提供的混合虚拟现实的方法，能够在空间场景内进行实时三维重建，提升虚拟场景中的人体皮肤和服装的真实感，提升人体的空间感和距离感，使人产生真实的沉浸感，基于眼动追踪的分区域，分
精度三维重建，提升了场景渲染速度和效率；
[0018] 本发明的方案的模拟舱通过定位追踪和
计算机视觉算法将座舱内的现实场景同步到眼前的虚拟场景中，直接通过人的肢体视觉触觉听觉感受座舱内的真实设备，较好地解决了虚实空间的一致性问题，增强了飞行训练模拟系统的实用性，降低了原有飞行模拟器升级沉浸感的难度，改善了训练人员的飞行体验；
[0019] 眼动跟踪和自适应聚焦既保证了人眼看到场景的真实感和沉浸感，又能实现局部渲染，与人眼成像特征相切合，无需人眼主动适应屏幕，避免用眼过度造成眼疲劳，降低了
硬件设备的占用率，同时提升了渲染效果和处理速度。
附图说明
[0020] 图1为本发明的混合虚拟现实的方法的VR头盔的摄像头示意图；
[0021] 图2为本发明的混合虚拟现实的方法的分精度的三种体素三维重建的示意图；
[0022] 图3为本发明的混合虚拟现实的方法的特征点的示意图；
[0023] 图4为本发明的混合虚拟现实的方法的混合现实模拟舱的示意图；
[0024] 图5为本发明的混合虚拟现实的方法的瞳孔的位置计算方法的流程示意图。
具体实施方式
[0025] 一种混合虚拟现实的方法：
[0026] 步骤S1：通过配置于人眼位置的两个摄像头(如图1所示，即VR头盔上的两个摄像头)对模拟舱内的范围深度下的所有设备、人员包括自身进行自适应的空间映射，对双眼可视范围内进行三维重建，对双眼聚焦的中心范围内进行精细三维重建，对双眼聚焦范围外进行粗糙三维重建；
[0027] 步骤S2：通过固定在模拟舱周围的固定位置和角度的摄像机采集所述模拟舱外的特征点实时信息以及通过VR头盔和定位器获得的人体相对空间位置信息，对虚拟场景进行补偿和修正以及对虚拟场景内的深度信息和真实距离信息进行匹配，获得虚拟场景与VR头盔的相对位置关系；
[0028] 步骤S3：通过跟踪眼部的瞳孔和头部运动对虚拟画面进行分层渲染，以瞳孔的位置为中心点由内到外依次进行渲染，渲染的分辨率由内到外依次降低
[0029] 进一步地，在所述步骤S1中，对双眼看到的物体进行三维重建时，可以看成搭积木的过程，三维重建相当于用积木搭建一个物体，搭建过程分为精细和粗糙，双眼聚焦的部分，采用精细的过程，使用较小
块的积木，不聚焦的部分，采用粗糙的过程，使用较大的积木，这样就节省了积木的数量，从而达到
加速三维重建的效果；在用摄像头进行三维重建时，重建包括纹理贴图的过程，把自身人体的皮肤和衣服纹理在重建的三维模型上显示；
[0030] 通过配置于人眼位置的两个摄像头对模拟舱内的范围深度下的所有设备、人员包括自身进行自适应的空间映射时：对两个摄像头拍摄的空间区域进行分割，在分割时分别依次采用三种由小到大的体素尺寸进行分割，将相同的空间区域分割成为三组具有数据独立性的体素集合；
[0031] 如图2所示，对双眼可视范围内进行三维重建，对双眼聚焦的中心范围内进行精细三维重建，对双眼聚焦范围外进行粗糙三维重建时：通过VR头盔上的两个摄像头，结合可视
外壳的重建方法，确定每个体素的状态，并获得非空体素集合；对双眼聚焦范围进行追踪，对不同的视觉区域选取相应的不同组的体素集合，对双眼聚焦的中心范围内的区域选取最小尺寸的体素集合，对双眼聚焦的中心范围外、可视区域以内的部分选择大于双眼聚焦的中心范围内的尺寸的体素集合，对双眼其它可视范围选择最大尺寸的体素集合，实现重建效果由双眼聚焦范围的由内到外依次由精细到粗糙，然后进行像素化的纹理映射，得到虚拟场景的三维纹理效果，实现由精细到粗糙的三维模型建立，带给训练人员虚拟世界中真实物体的存在感；
[0032] 通过空间分割得到的体素，具有独立的数据，可先保存在表中，后期三维重建时可通过查表直接读取数据，提高三维重建速度；
[0033] 通过体素三维重建时，可根据眼球追踪得到的数据，确定眼部注视的位置，进行分精度重建，眼部注视区域精度最高，依次向外精度递减，符合人眼看实物的观看实物的原理，既能提高三维重建的速度，又能降低GPU占用率。
[0034] 在所述步骤S2中，为了准确追踪训练人员所能观察到的肢体部位和舱内设备，实现不论人体处于站姿还是坐姿，又或者六
自由度运动平台处于运动状态，都能够实现人眼所观察到的真实场景和
虚拟环境的准确融合，那么需要准确定位人眼位置的两个摄像头的位置(即VR头盔的位置)：通过两台在模拟舱周围，固定位置、固定角度的摄像机，实时采集特征点信息，其中特征点固定在模拟舱的外部，通过双目
立体视觉的方法，获得模拟舱的位置和姿态；通过VR头盔和定位器获得的人体相对空间位置信息，对虚拟场景进行补偿和修正以及对虚拟场景内的深度信息和真实距离信息进行匹配，获得虚拟场景与VR头盔的相对位置关系；其中，定位器固定于外部独立的固定位置上，通过计算该固定位置与VR头盔的相对坐标获得相对位置信息；如此对六自由度平台的运动所产生的效果，在虚拟场景中进行补偿和修正，达到内部虚拟场景和外部真实模型的匹配，场景内深度信息与真实距离的匹配，避免了运动时对摄像机和定位器带来的误差：
[0035] 如图4所示，通过固定在模拟舱周围的固定位置和角度的摄像机采集所述模拟舱内的实时特征点信息时：固定在模拟舱周围的固定位置和角度的摄像机通过OpenCV库，采用最小二乘法对所述模拟舱进行参数标定，参数包括内参和外参，并对静态的模拟舱表面的特征点初始位置进行记录，通过立体成像原理和坐标转换得到模拟舱的初始位姿，建立初始坐标系；
[0036] 在模拟舱运动的过程中，通过固定在模拟舱周围的固定位置和角度的摄像机实时拍摄动态变化的特征点，并通过SURF算法进行特征点提取，采用KLT算法进行特征点匹配，实现模拟舱快速运动产生位移变化时，对特征点进行跟踪匹配；
[0037] 通过固定在模拟舱周围的固定位置和角度的摄像机得到模拟舱运动时的特征点的世界坐标，计算该时刻特征点相对于初始坐标的变化，从而得到模拟舱的位置关系，并通过VR头盔和定位器获得人体相对空间位置信息，根据在初始坐标系中的模拟舱和人体的位置信息，通过逆向转换对虚拟画面进行动态修正，并匹配内部虚拟场景与外部真实场景空间感和距离感；
[0038] 在提取特征点时，特征点的示意图如图3所示，所述特征点采用内圈为白色外圈为黑色的圆形黑白对比颜色的特征点，特征点由三个圆构成，组成一个等腰三角形，因此可以得到很强的边缘结构，其通过SURF算法进行特征点提取时，通过相机拍摄图像的高斯差分金字塔DOG并提取每组图像的第一层图像，对每组图像采取最大类间差分法进行自适应阈值分割获得二值图，并将该二值图作为约束条件进行特征点检测，使SURF检测在特征点的内部边缘区域进行，即通过最大类间差分法获取阈值，通过阈值得到二值图，通过二值图得到的区域进行限制，用SURF算法只对这个区域内部进行检测，从而提高特征点提取的准确性；
[0039] 传统KLT算法针对特征窗口内小而连贯运动的假设，当两相机基线距离或两相机夹角过大时，会导致左右相机拍摄图像中特征点位移过大，匹配精度不高，而本发明采用KLT算法进行特征点匹配时，在高斯差分金字塔DOG的最高层计算光流，把计算得到的运动估值作为下一层计算的初始点，经过多次迭代直至最底层，最终提高特征点匹配的准确度，实现对更快更长运动的跟踪匹配；
[0040] 在步骤S3中，根据眼球注视位置对场景进行分区域渲染，把看到图像中某一部分的显示效果进行调整，相当于二维像素调整；通过将红外摄像头安装在VR头盔中，可清晰拍摄眼部特征；通过跟踪眼部的瞳孔和头部运动对虚拟画面进行分层渲染时：通过图像灰度化，图像滤波，二值化、
边缘检测以及瞳孔中心定位法实现眼动跟踪，通过眼球位置，根据人眼注视原理，在unigine引擎中对场景的对不同区域和不同层次分别进行渲染，采用以眼部的瞳孔注视部分为中心由内向外，依次进行高、中、低层次渲染，降低边缘分辨率，降低GPU占用率，提高运行
帧率，大幅提升渲染效率。Unigine引擎在渲染的时，人眼注视的位置采用高图像分辨率，这样场景细节明显，unigine引擎里的自然环境和
地貌信息相当于一张图，图像细节根据距离改变：比如非常远的时候，陆地颜色是土黄色夹杂着一些绿色，距离再近一些就能看清楚更多细节，例如哪里是森林，距离再近一些系统会在这个
基础上加载一些树的图片，在距离更近的时候，会有树的细节，树叶，树干和纹理等；在以上过程中这里对人眼注视区域显示更丰富的细节，注视区域显示粗糙的场景；同时这些渲染部在同一面上，例如位于前面的树，树后的山地等处在不同层次上，所以这里的渲染在不同区域和不同层次上进行，最后体现在VR头盔里显示的相当于场景的不同分辨率。
[0041] 通过定位的瞳孔中心位置，映射到三维场景中人眼观看的视角区域，通过这以区域向外分层渲染，由内到外分为三层，依次进行高、中、低层次渲染，最内层最清晰，向外分辨率降低，逐渐模糊，可节省像素，提高渲染速度。通过定位的瞳孔中心位置，映射到三维场景中人眼观看的视角区域。
[0042] 如图5所示，本发明以瞳孔的位置为中心点由内到外依次进行渲染时包括图像预处理过程：采用分段线性灰度变化的图像增强图像的可识别度，采用中值滤波降低噪点，通过迭代法快速分割特征区域，并通过面积特性和圆度值特性对瞳孔区域进行筛选，最后利用基于最小二乘法的椭圆拟合得到瞳孔的中心位置，通过瞳孔的中心位置计算得到双眼聚焦范围；
[0043] 本发明的两个摄像头、红外摄像头与VR头盔的关系：VR头盔带上之后，人的眼睛看不到真实世界，只能看到VR头盔里面两个镜片里的图像，在VR头盔的外面眼的部位，安装两个摄像头，可以直接拍摄到眼的方向的真实场景，通过这两个摄像头进行实时三维重建；红外摄像头安装在VR头盔内部，正对着人的眼睛，可以拍摄到人眼部的活动，用来定位人的眼球的瞳孔位置，通过人眼的位置，可以得到眼看镜片的位置，就可以对镜片上显示的图像，进行分区域的渲染，采用不同分辨率；混合虚拟现实中的现实场景，就是摄像头拍摄的真实景，然后重建在虚拟场景里，进行虚拟和真实的混合。
[0044] 通过VR头盔前面的两个摄像头拍摄模拟舱内部，实时三维重建到VR头盔里显示的虚拟场景中，当然不只局限在仪表面板和窗外场景虚实融合，还可以虚拟场景显示飞机内部座舱环境和飞机外面环境，三维重建仪表显示部分，人看到的自己的手、腿等。
[0045] 以上所述的
实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种
变形和改进，均应落入本发明
权利要求书确定的保护范围内。
