技术领域
[0001] 本
发明一种便携式可交互桌面级虚拟现实系统,具体涉及计算机技术中的三维虚拟展示及
人机交互技术领域。
背景技术
[0002] 虚拟现实技术是利用电脑模拟产生一个三维空间的虚拟世界,并提供使用者与三维虚拟世界的交互手段,达到身临其境的效果。虚拟现实系统广泛应用于三维展示、模拟训练以及虚拟装配等领域。
[0003] 模拟训练一直是军事与航天工业中的一个重要课题,美国从80年代起一直致
力于虚拟现实系统的研究,用来对士兵和宇航员进行任务训练;虚拟装配广泛应用于
航天器、航空器、
汽车等领域,通过虚拟装配
可视化和仿真校验,可以确定产品装配过程中最优的装配、拆卸和重组顺序,校验和
修改装配流程,进行装配可行性、可制造性、可维护性分析。
[0004] 目前,国内外众多机构和组织在进行虚拟现实技术方面的研究工作,构建了各式各样的虚拟现实系统。这些虚拟现实系统一般都采用高性能的图形工作站生成三维虚拟场景,采用专业高清投影机进行三维投影显示,采用专用运动
跟踪系统进行
位置跟踪,能够达到很逼真的效果和精确的位置追踪。但也存在诸多问题:如体积庞大、占地面积大、成本昂贵、安装施工复杂、不易进行升级、移动拆装困难等。
发明内容
[0005] 本发明的目的在于克服
现有技术的上述不足,提供一种便携式可交互桌面级虚拟现实系统,解决了三维立体显示、三维人机交互等技术问题,具有高可靠性、高灵活性、高便携性、低成本等优点。可广泛应用于教育、医疗及工业部
门的虚拟展示、虚拟装配等众多领域。
[0006] 本发明的上述目的主要是通过如下技术方案予以实现的:
[0007] 一种便携式可交互桌面级虚拟现实系统,包括图形
渲染计算机、偏振立体显示器、微型
运动跟踪器、微型操作笔和偏振立体眼镜,其中:
[0008] 图形渲染计算机:根据用户需求采用三维图形
软件加载三维场景,接收微型运动跟踪器跟踪到的眼部位置和视线方向信息,根据眼部位置和视线方向信息实时计算生成左右眼立体图像,并发送给偏振立体显示器;接收微型操作笔发送的微型操作笔的位置、
姿态信息,在三维场景中生成虚拟操作笔的图像,同时接收微型操作笔发送的按键操作信息,驱动三维立体场景进行响应;
[0009] 偏振立体显示器:接收图形渲染计算机发送的左右眼立体图像,进行偏振显示;
[0010] 微型运动跟踪器:产生红外光经偏振立体眼镜上的红外反
光标志点反射后成像,对所成图像进行处理得到眼部位置和视线方向信息,发送给图形渲染计算机;
[0011] 微型操作笔:将微型操作笔的位置和姿态信息发送给图形渲染计算机,并将按键操作信息发送给图形渲染计算机,通过按键操作三维场景中的物体;
[0012] 偏振立体眼镜:由虚拟现实系统的使用者佩戴,左右眼镜片分别只允许偏振立体显示器的左右眼图像光线通过,从而产生立体效应;设有红外反光标志点,对从微型运动跟踪器入射的红外光进行逆反射,配合微型运动跟踪器实现视点位置的追踪。
[0013] 在上述便携式可交互桌面级虚拟现实系统中,图形渲染计算机根据眼部位置和视线方向信息实时计算生成左右眼立体图像的具体方法如下:
[0014] (1)、图形渲染计算机在三维场景中建立左右眼
虚拟摄像机,两个虚拟摄像机之间的距离为人左右两眼之间的瞳距;
[0015] (2)、图形渲染计算机根据眼部位置和视线方向信息驱动两个虚拟摄像机在三维场景中的位置和姿态,根据所述位置和姿态对两个虚拟摄像机进行虚拟成像,即将三维场景分别向两个虚拟摄像机平面进行透视投影,生成可以产生立体效应的左右眼图像。
[0016] 在上述便携式可交互桌面级虚拟现实系统中,图形渲染计算机通过USB口分别给微型运动跟踪器和微型操作笔供电。
[0017] 在上述便携式可交互桌面级虚拟现实系统中,当三维场景中微型操作笔拾取的物体与其他物体发生干涉及碰撞情况时,图形渲染计算机向微型操作笔发送碰撞提示
信号。
[0018] 在上述便携式可交互桌面级虚拟现实系统中,微型运动跟踪器包括红外发
光源、两个红外摄像头和内置的
微处理器电路,其
中红外发光源产生的红外光经偏振立体眼镜上的红外反光标志点反射后进入两个红外摄像头成像,通过内置的微处理器对所成图像进行处理,具体处理方法为:分别提取偏振立体眼镜上红外反光标记点在两个红外摄像头图像中所成的高亮像点,利用
双目视觉原理计算出所述红外反光标记点的空间位置,将其中心位置作为眼部的位置,通过计算得到的所述红外反光标记点的空间位置拟合出偏振立体眼镜所在平面,将平面法线方向作为视线方向。
[0019] 在上述便携式可交互桌面级虚拟现实系统中,微型运动跟踪器还包括夹持底座,通过夹持底座夹持在偏振立体显示器上部。
[0020] 在上述便携式可交互桌面级虚拟现实系统中,微型操作笔的按键包括左中右键,且中键的按下和弹起状态能够保持;当三维场景中虚拟操作笔的笔尖触碰到三维场景中的物体时,按住微型操作笔的左键拾取该物体,此时用户通过移动微型操作笔驱动三维场景中的虚拟操作笔抓取并移动该物体;按住微型操作笔的右键时弹出功能菜单,用户通过移动微型操作笔,使用虚拟操作笔的笔尖选择菜单项,并单击左键选择该项,实现菜单项定义的功能;按下中键时,启动
力反馈功能,当抓取的物体与环境中其他物体产生碰撞时,微型操作笔产生振动,振动的幅度与相对碰撞速度成正比。
[0021] 在上述便携式可交互桌面级虚拟现实系统中,微型操作笔除外部的按键外,内部包括三轴MEMS
加速度计、
陀螺仪、磁力计器件和微处理器,其中微处理器接收三轴MEMS加速度计发送的三轴加速度、陀螺仪发送的
角速率、磁力计器件发送的磁强信息,利用卡尔曼滤波
算法得到微型操作笔的位置和姿态信息。
[0022] 在上述便携式可交互桌面级虚拟现实系统中,微型操作笔内部还包括振动
电机,当通过微型操作笔拾取的三维场景中的物体与其他物体或环境发生碰撞时,根据图形渲染计算机发来的碰撞提示信号驱动振动电机振动,达到力反馈的效果。
[0023] 在上述便携式可交互桌面级虚拟现实系统中,偏振立体眼镜的四角及中间
支撑梁上分别设有红外反光标志点,对各个方向入射的红外光进行逆反射。
[0024] 在上述便携式可交互桌面级虚拟现实系统中,偏振立体眼镜的左镜框与右镜框外侧的两个角上各设置一个反光点,连接左右镜框的横梁中间位置设置一个反光点。
[0025] 在上述便携式可交互桌面级虚拟现实系统中,偏振立体眼镜的左右眼镜片采用两片偏振方向互相垂直的偏振片,分别只允许偏振立体显示器的左右眼图像光线通过。
[0026] 本发明与现有技术相比具有如下有益效果:
[0027] (1)、本发明虚拟现实系统相对于已有系统来讲,不依赖于专用昂贵的图形工作站、投影机、运动追踪器等
硬件,实现了一套简单易用的桌面级虚拟现实系统,具有高可靠性、高灵活性、高便携性、低成本等优点,广泛应用于教育、医疗及工业部门的虚拟展示、虚拟装配等众多领域。
[0028] (2)、本发明创新性的采用了偏振立体显示器和偏振立体眼镜进行立体显示,既降低了使用成本,又能达到比较好的显示效果,相比于主动立体投影来说,偏振立体显示能够实现“无闪烁”的影院级观看效果。
[0029] (3)、本发明发明采用能够夹持在立体显示器上的微型运动跟踪器加偏振立体眼镜红外反光标记点的眼部运动跟踪方案,能够大大减少环境光的干扰,提高跟踪的准确性和灵敏度,又节省了硬件开支;此外本发明对红外反光标记点在红外反光标记点的位置和数目优化设计,对各个方向入射的红外光具有很好的逆反射特性,从而配合微型运动跟踪器实现视点位置的高
精度追踪;
[0030] (4)、本发明发明创新性的采用了带有MEMS加速度计、陀螺仪、磁力计、类
鼠标按键以及振动电机的微型操作笔进行手部运动跟踪和力反馈,既结合了鼠标的操作便捷性,又具备三维空间的位置和姿态检测能力,为用户操作三维空间物体提供了极大地方便,具有非常好的使用体验。
附图说明
[0031] 图1为本发明便携式可交互桌面级虚拟现实系统组成示意图;
[0032] 图2为本发明微型运动跟踪器外形结构示意图;
[0033] 图3为本发明微型操作笔外形结构示意图;
[0034] 图4为本发明偏振立体眼镜外形结构示意图;
[0035] 图5为本发明便携式可交互桌面级虚拟现实系统工作原理图;
[0036] 图6为本发明便携式可交互桌面级虚拟现实系统工作
流程图。
具体实施方式
[0037] 下面结合附图和具体
实施例对本发明作进一步详细的描述:
[0038] 如图1所示为本发明便携式可交互桌面级虚拟现实系统组成示意图,本发明便携式桌面级可交互虚拟现实系统,包括图形渲染计算机1、偏振立体显示器2、微型运动跟踪器3、微型操作笔4和偏振立体眼镜5。如图5所示为本发明便携式可交互桌面级虚拟现实系统工作原理图。
[0039] 图形渲染计算机1是整个虚拟现实系统的立体图像渲染中心以及人机交互逻辑处理中心,具体执行的功能包括:
[0040] 根据用户需求采用三维图形软件加载三维场景,其中三维图形
软件包括基于Direct3D或者OpenGL图形库开发的一系列三维图形引擎,如Vega Prime、Open Scene Graph、Unity3D等。
[0041] 通过USB口给微型运动跟踪器3供电,接收微型运动跟踪器3跟踪到的眼部位置和视线方向信息,根据眼部位置和视线方向信息实时计算生成左右眼立体图像,并通过双链路DVI
接口发送给偏振立体显示器2。
[0042] 其中图形渲染计算机1根据眼部位置和视线方向信息实时计算生成左右眼立体图像的具体方法如下:
[0043] (1)为了模拟人的左右两眼看到的图像,图形渲染计算机1在三维场景中建立左右眼虚拟摄像机,两个虚拟摄像机之间的距离为人左右两眼之间的瞳距。
[0044] (2)图形渲染计算机1根据眼部位置和视线方向信息驱动两个虚拟摄像机在三维场景中的位置和姿态,根据所述位置和姿态对两个虚拟摄像机进行虚拟成像,即将三维场景分别向两个虚拟摄像机平面进行透视投影,从而生成可以产生立体效应的左右眼图像。
[0045] 图形渲染计算机1通过USB口给微型操作笔4进行供电,接收微型操作笔4发送的微型操作笔4的位置、姿态信息在三维虚拟场景中生成虚拟操作笔的图像,同时接收微型操作笔4发送的按键(即左中右键)操作信息,驱动三维立体场景进行响应,即操作三维虚拟场景中的物体。当三维场景中微型操作笔4拾取的物体与其他物体发生干涉及碰撞情况时,通过USB口向微型操作笔4发送碰撞提示信号。
[0046] 其中接收微型操作笔4发送的按键(即左中右键)操作信息,驱动三维立体场景进行响应的具体方法如下:
[0047] (1)通过微型操作笔4的位置、姿态来驱动三维场景中虚拟操作笔的位置和姿态;
[0048] (2)微型操作笔4的左中右键的功能类似鼠标按键功能,不同的是它们的中键的按下和弹起状态能够保持。当虚拟操作笔的末端触碰到场景中的物体时:按住左键可以拾取该物体,此时用户通过移动微型操作笔可以驱动三维场景中的虚拟操作笔抓取并移动该物体,该物体的位置和姿态完全受微型操作笔4控制;按住右键时可以弹出功能菜单,用户通过移动微型操作笔,使用虚拟操作笔的笔尖选择菜单项,并单击左键选择该项,实现菜单项定义的功能;按下中键时,启动力反馈功能,当抓取的物体与环境中其他物体产生碰撞时,微型操作笔4的振动电机会产生振动,振动的幅度与相对碰撞速度成正比。
[0049] 偏振立体显示器2是整个虚拟现实系统的的显示终端,通过双链路DVI接口接收图形渲染计算机1发送的左右眼立体图像,进行偏振立体显示。
[0050] 如图2所示为本发明微型运动跟踪器外形结构示意图,微型运动跟踪器3包括红外光源31、两个红外摄像头32和内置的微处理器电路,此外微型运动跟踪器3还包括夹持底座33和USB线缆34,通过夹持底座33夹持在偏振立体显示器2上部,通过USB线缆34与图形渲染计算机1连接,通过图形渲染计算机1的USB口进行供电并传输数据。
[0051] 其中红外发光源31产生的红外光经偏振立体眼镜5上的红外反光标志点51反射后进入两个红外摄像头32成像,两个红外摄像头32组成双目视觉对。通过内置的微处理器对所成图像进行处理,具体处理方法为:分别提取偏振立体眼镜5上红外反光标记点51在两个红外摄像头图像中所成的高亮像点,利用双目视觉原理计算出所述红外反光标记点的空间位置,将其中心位置作为眼部的位置,利用计算得到的所述红外反光标记点的空间位置拟合出偏振立体眼镜5所在平面,将平面法线方向作为视线方向,这样可得到人眼的位置和视线方向信息。微型运动跟踪器3将得到眼部位置和视线方向信息,发送给图形渲染计算机1。
[0052] 如图3所示为本发明微型操作笔外形结构示意图,微型操作笔4外形包括按键41、笔杆42和USB线缆43,其中按键41包括左中右键,且中键的按下和弹起状态能够保持;当三维场景中虚拟操作笔的笔尖触碰到三维场景中的物体时,按住微型操作笔4的左键拾取该物体,此时用户通过移动微型操作笔4驱动三维场景中的虚拟操作笔抓取并移动该物体;按住微型操作笔4的右键时弹出功能菜单,用户通过移动微型操作笔4,使用虚拟操作笔的笔尖选择菜单项,并单击左键选择该项,实现菜单项定义的功能;按下中键时,启动力反馈功能,当抓取的物体与环境中其他物体产生碰撞时,微型操作笔产生振动,振动的幅度与相对碰撞速度成正比。
[0053] 微型操作笔4通过图形渲染计算机1的USB接口进行供电并交互数据。除外部的按键41外,内部包括三轴MEMS加速度计、陀螺仪、磁力计器件和微处理器,其中微处理器接收三轴MEMS加速度计发送的三轴加速度、陀螺仪发送的角速率、磁力计器件发送的磁强信息,利用卡尔曼滤波算法得到微型操作笔4的位置和姿态。将微型操作笔4的位置和姿态信息发送给图形渲染计算机1,并将按键操作信息发送给图形渲染计算机1,图形渲染计算机1根据此信息可以在三维虚拟场景中生成虚拟操作笔的图像,此时用户可通过左中右三个按键的定义来操作三维虚拟场景中的物体。
[0054] 微型操作笔4内部还包括振动电机,当通过微型操作笔4拾取的三维虚拟场景中的物体与其他物体或环境发生碰撞时,根据图形渲染计算机1发来的碰撞提示信号驱动振动电机振动,达到力反馈的效果。
[0055] 如图4所示为本发明偏振立体眼镜外形结构示意图,偏振立体眼镜5由虚拟现实系统的使用者佩戴,左右眼镜片采用两片偏振方向互相垂直的偏振片52,分别只允许偏振立体显示器2的左右眼图像光线通过,从而产生立体效应。眼镜框的四角及中间支撑梁上分别设有红外反光标志点51,对各个方向入射的红外光具有逆反射特性。用于配合微型运动跟踪器实现视点位置的追踪。
[0056] 本实施例中优选偏振立体眼镜5的左镜框与右镜框外侧的两个角上各设置一个反光标志点51,连接左右镜框的横梁中间位置设置一个反光标志点51。
[0057] 如图6所示为本发明便携式可交互桌面级虚拟现实系统工作流程图,本发明便携式可交互桌面级虚拟现实系统的操作过程如下:
[0058] (1)、按照系统连接图连接所有设备,打开图形渲染计算机1和偏振立体显示器2,戴上偏振立体眼镜5;
[0059] (2)、在图形渲染计算机1上启动三维图形软件,加载三维虚拟场景并进行渲染。之后图形渲染计算机1按照工作流程图6进行各项工作。
[0060] 如图6所示,首先加载三维场景,初始化视点、虚拟操作笔位置和姿态;读取微型运动跟踪器检测到的最新的眼部位置和视线方向信息;读取微型操作笔最新的位置、姿态和左中右按键信息;刷新场景中虚拟操作笔的位置、姿态;响应微型操作笔按键操作,进行三维场景中的物体
碰撞检测,根据碰撞情况向微型操作笔发送碰撞强度信息;根据最新的眼部位置和视线方向信息重新生成左右眼立体图像;通过显卡输出左右眼立体图像至偏振立体显示器。
[0061] (3)、用户通过微型操作笔4对三维场景中的物体进行操作。
[0062] 以上所述,仅为本发明最佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉
本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
[0063] 本发明
说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。