首页 / 专利库 / 电脑图像 / 计算机图形学 / 计算机生成图像 / 一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统

一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统

阅读:798发布:2024-02-02

专利汇可以提供一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于沉浸式 虚拟现实 设备的数字曾侯乙编钟交互系统,本系统借助 头戴式显示器 、立体声 耳 机、无线操控 手柄 、激光 定位 器、计算机及配套的虚拟现实 软件 实现。立体声耳机与头戴式显示器连接,配套的虚拟现实软件安装在计算机中,无线操控手柄和激光定位器与头戴式显示器进行交互。头戴式显示器可以使参观者直接以自己的第一人称视 角 观察编钟, 沉浸感 更强;配合激光定位器参观者还可以在虚拟场景中自由走动,从任意 位置 角度观察编钟,观察方式更加自然。通过无线操控手柄与激光定位器的配合,参观者可以在虚拟场景中与编钟进行交互,交互方式简单自然。,下面是一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统专利的具体信息内容。

1.一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统,其特征在于:本系统借助头戴式显示器、立体声机、无线操控手柄、激光定位器、计算机及配套的虚拟现实软件实现;立体声耳机与头戴式显示器连接,配套的虚拟现实软件安装在计算机中,无线操控手柄和激光定位器与头戴式显示器进行交互;
头戴式显示器和立体声耳机将参观者的视觉和听觉完全封闭,并为其提供虚拟现实软件生成的虚拟场景的视觉和听觉模拟;无线操控手柄和激光定位器将现实中的部分动作和交互操作映射到的虚拟场景中,配套的虚拟现实软件根据映射的动作和操作给出相应视觉和听觉反馈;
头戴式显示器是该系统的视觉输出设备,由外壳、显示屏和光学透镜部件组成;显示屏和光学透镜安装在外壳上,外壳用以覆盖参观者的眼睛,使显示屏贴近眼睛,通过光学透镜调整焦距让显示屏在近距离向眼睛投射画面;通过这种方法将参观者的视觉从真实世界隔离,使其只能看到显示屏中的虚拟场景,由此让参观者获得沉浸式的视觉体验。
2.根据权利要求1所述的一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统,其特征在于:立体声耳机是该系统的听觉输出设备,用来将听觉从真实世界进行隔离,使其只听到虚拟场景中的声音,以获得沉浸式的听觉体验。
3.根据权利要求1所述的一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统,其特征在于:无线操控手柄是该系统的输入设备,通过挥动手柄与虚拟场景中的编钟进行交互;通过挥动无线操控手柄来敲响并演奏编钟。
4.根据权利要求1所述的一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统,其特征在于:激光定位器也是该系统的输入设备,用来定位头戴式显示器和无线操控手柄在活动空间中的实时位置;将两个激光定位器成对安放,在两个激光定位器之间形成一个长方形区域,该长方形区域为参观者在使用该系统时能够自由走动的范围,即活动空间。
5.根据权利要求1所述的一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统,其特征在于:计算机负责运行配套的虚拟现实软件,将虚拟场景的影像和音频传输给头戴式显示器和立体声耳机,并将参观者通过无线操控手柄输入的交互指令以及头戴式显示器和无线操控手柄在活动空间中的位置数据同步到虚拟场景中。
6.根据权利要求1所述的一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统,其特征在于:配套的虚拟现实软件用于生成虚拟场景,主要功能包括实时渲染虚拟场景中的三维模型、根据参观者的操作实时更新虚拟场景、输出虚拟场景中的声音;软件根据功能可分为交互输入、逻辑交互、视频输出、音频输出四个模
7.根据权利要求1所述的一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统,其特征在于:交互输入模块用于接收头戴式显示器和无线操控手柄在活动空间中的旋转状态、空间坐标位置信息,并将其转换为与虚拟场景相匹配的数据结构输入逻辑交互模块;也就是将头戴式显示器在活动空间中的位置信息,转换为虚拟场景中虚拟摄像机的位置信息;将无线操控手柄在活动空间中的位置信息,转换成虚拟场景中虚拟钟锤的位置信息。
8.根据权利要求7所述的一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统,其特征在于:逻辑交互模块用于管理虚拟场景中的各种交互功能,控制虚拟场景中交互事件的触发,根据交互输入模块输入的虚拟摄像机和虚拟钟锤的位置信息数据,更新虚拟场景的状态,并调用视频输出模块和音频输出模块,将更新后的结果通过头戴式显示器和立体声耳机反馈给参观者;逻辑交互模块下可包含多个功能模块,可根据需求进行定制,丰富虚拟现实软件的功能。
9.根据权利要求1所述的一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统,其特征在于:视频输出模块通过虚拟摄像机将虚拟场景投影成图像,并转换成与头戴式显示器相匹配的数据结构,输出至头戴式显示器;
音频输出模块用于处理虚拟场景中的声音信息,主要包括曾侯乙编钟的原声音轨,用来模拟参观者敲击编钟时的声音;
虚拟现实软件中使用的曾侯乙编钟的三维模型是根据实物利用3ds Max、ZBrush三维建模和三维雕刻软件制作而成的,软件的各个模块是基于Unity3D游戏引擎使用C#语言开发的。
10.根据权利要求1所述的一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统,其特征在于:该系统的具体交互方法如下:
参观者佩戴头戴式显示器,并手持无线操控手柄,站在两个激光定位器规划出的活动空间内;系统会将头戴式显示器和无线操控手柄在活动空间内的位置信息映射到虚拟场景中,头戴式显示器的位置信息与虚拟场景中的虚拟摄像机对应,无线操控手柄与虚拟场景中的虚拟钟锤对应;
参观者挥动手中的无线操控手柄,系统会根据无线操控手柄在活动空间中的位置调整虚拟场景中虚拟钟锤的位置;参观者通过头戴式显示器可以看到虚拟场景中虚拟钟锤,其位置及运动与现实中的无线操控手柄是完全同步的;
当参观者挥动无线操控手柄使虚拟场景中的虚拟钟锤与编钟发生接触并满足预设条件时,系统便会判定参观者“敲响”了编钟,并进行一系列交互反馈,如播放相应编钟的响声音频。

说明书全文

一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统

技术领域

[0001] 本涉及涉及沉浸式虚拟现实技术、计算机图形学人机交互学技术领域。尤其涉及一种利用沉浸式虚拟现实交互设备,对数字曾侯乙编钟进行参观与演奏的系统与方法,尤其涉及沉浸式虚拟现实技术的应用领域。

背景技术

[0002] 曾侯乙编钟是我国古代一种大型打击乐器,属战国早期文物。整套编钟重达5吨,长约7.48米,宽约3.35米,高约2.73米。其庞大的体积和重量对该文物的展出造成了诸多不便(如搬运困难、存放环境要求高)。即使使用赝品,也有造价高、搬运难等问题。由于以上原因,一般参观者很难有机会近距离参观,更没有机会体验敲击和演奏编钟。
[0003] 现有的基于多媒体技术的文物展示主要通过显示器或投影仪来展示文物的三维模型,利用触摸屏鼠标键盘来进行交互。这些方式虽然能达到一定展示效果,但受设备的局限,给参观者带来的互动感十分有限。另外,在已有专利中,有通过体感交互技术,让参观者使用手柄或手势进行敲击演奏的互动。但其数字编钟的图像依然是通过显示器呈现给参观者,给参观者带来的沉浸感有限,无法提供更具真实感的体验。
[0004] 沉浸式虚拟现实技术通过头戴式显示器和立体声机将用户的视觉和听觉封闭,利用计算机模拟生成的虚拟场景为用户提供视觉和听觉模拟,并通过交互设备让用户与虚拟场景进行互动,使其置身于虚拟场景中,可以实时、没有限制地对虚拟场景的物体进行观察与互动。发明内容
[0005] 为了解决上述的问题,本发明设计一种基于沉浸式虚拟现实设备的交互系统,来为曾侯乙编钟的参观者提供更加真实的互动体验。通过使用虚拟现实设备,参观者可以完全沉浸在展示曾侯乙编钟的虚拟场景中,并通过无线操控手柄和自然地走动等方式在虚拟场景中自由地观察编钟,并敲击演奏编钟。以此来让参观者更身临其境地体验曾侯乙编钟的历史文化魅
[0006] 一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统,本系统借助头戴式显示器、立体声耳机、无线操控手柄、激光定位器、计算机及配套的虚拟现实软件实现。立体声耳机与头戴式显示器连接,配套的虚拟现实软件安装在计算机中,无线操控手柄和激光定位器与头戴式显示器进行交互。
[0007] 头戴式显示器和立体声耳机将参观者的视觉和听觉完全封闭,并为其提供虚拟现实软件生成的虚拟场景的视觉和听觉模拟;无线操控手柄和激光定位器将现实中的部分动作和交互操作映射到的虚拟场景中,配套的虚拟现实软件根据映射的动作和操作给出相应视觉和听觉反馈。
[0008] 头戴式显示器是该系统的视觉输出设备,由外壳、显示屏和光学透镜等部件组成。显示屏和光学透镜安装在外壳上,外壳用以覆盖参观者的眼睛,使显示屏贴近眼睛,通过光学透镜调整焦距让显示屏在近距离向眼睛投射画面。通过这种方法将参观者的视觉从真实世界隔离,使其只能看到显示屏中的虚拟场景,由此让参观者获得沉浸式的视觉体验。
[0009] 立体声耳机是该系统的听觉输出设备,用来将听觉从真实世界进行隔离,使其只听到虚拟场景中的声音,以获得沉浸式的听觉体验。
[0010] 无线操控手柄是该系统的输入设备,通过挥动手柄与虚拟场景中的编钟进行交互。通过挥动无线操控手柄来敲响并演奏编钟。
[0011] 激光定位器也是该系统的输入设备,用来定位头戴式显示器和无线操控手柄在活动空间中的实时位置。将两个激光定位器成对安放,在两个激光定位器之间形成一个长方形区域,该长方形区域为参观者在使用该系统时能够自由走动的范围,即活动空间。
[0012] 计算机负责运行配套的虚拟现实软件,将虚拟场景的影像和音频传输给头戴式显示器和立体声耳机,并将参观者通过无线操控手柄输入的交互指令以及头戴式显示器和无线操控手柄在活动空间中的位置数据同步到虚拟场景中。
[0013] 配套的虚拟现实软件用于生成虚拟场景,主要功能包括实时渲染虚拟场景中的三维模型、根据参观者的操作实时更新虚拟场景、输出虚拟场景中的声音等。软件根据功能可分为交互输入、逻辑交互、视频输出、音频输出等四个模
[0014] 交互输入模块用于接收头戴式显示器和无线操控手柄在活动空间中的旋转状态、空间坐标等位置信息,并将其转换为与虚拟场景相匹配的数据结构输入逻辑交互模块。也就是将头戴式显示器在活动空间中的位置信息,转换为虚拟场景中虚拟摄像机的位置信息;将无线操控手柄在活动空间中的位置信息,转换成虚拟场景中虚拟钟锤的位置信息。
[0015] 逻辑交互模块用于管理虚拟场景中的各种交互功能,控制虚拟场景中交互事件的触发,根据交互输入模块输入的虚拟摄像机和虚拟钟锤的位置信息等数据,更新虚拟场景的状态,并调用视频输出模块和音频输出模块,将更新后的结果通过头戴式显示器和立体声耳机反馈给参观者。逻辑交互模块下可包含多个功能模块,可根据需求进行定制,丰富虚拟现实软件的功能。
[0016] 视频输出模块通过虚拟摄像机将虚拟场景投影成图像,并转换成与头戴式显示器相匹配的数据结构,输出至头戴式显示器。
[0017] 音频输出模块用于处理虚拟场景中的声音信息,主要包括曾侯乙编钟的原声音轨,用来模拟参观者敲击编钟时的声音。
[0018] 虚拟现实软件中使用的曾侯乙编钟的三维模型是根据实物利用3ds Max、ZBrush等三维建模和三维雕刻软件制作而成的,软件的各个模块是基于Unity3D游戏引擎使用C#语言开发的。
[0019] 一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统的具体交互方法如下:
[0020] 参观者佩戴头戴式显示器,并手持无线操控手柄,站在两个激光定位器规划出的活动空间内。系统会将头戴式显示器和无线操控手柄在活动空间内的位置信息映射到虚拟场景中,头戴式显示器的位置信息与虚拟场景中的虚拟摄像机对应,无线操控手柄与虚拟场景中的虚拟钟锤对应。
[0021] 参观者挥动手中的无线操控手柄,系统会根据无线操控手柄在活动空间中的位置调整虚拟场景中虚拟钟锤的位置。参观者通过头戴式显示器可以看到虚拟场景中虚拟钟锤,其位置及运动与现实中的无线操控手柄是完全同步的。
[0022] 当参观者挥动无线操控手柄使虚拟场景中的虚拟钟锤与编钟发生接触并满足预设条件时,系统便会判定参观者“敲响”了编钟,并进行一系列交互反馈,如播放相应编钟的响声音频。
[0023] 本发明的优点为:
[0024] 头戴式显示器可以使参观者直接以自己的第一人称视角观察编钟,沉浸感更强;配合激光定位器参观者还可以在虚拟场景中自由走动,从任意位置角度观察编钟,观察方式更加自然。能给参观者带来更具真实感的体验。
[0025] 通过无线操控手柄与激光定位器的配合,参观者可以在虚拟场景中与编钟进行交互,交互方式简单自然。例如,参观者可以直接挥动手中的无线操控手柄去“触碰”虚拟场景中的编钟,实现“敲击编钟”这一交互。
[0026] 根据敲击时挥动速度大小,系统会改变输出音频的音量大小,使参观者能够感受到声音响度的强弱区别,使交互体验更加真实。附图说明
[0027] 图1为本发明涉及的硬件设备组成示意图;
[0028] 图2为本发明涉及的虚拟现实软件组成示意图;
[0029] 图3为使用无线操控手柄敲击虚拟编钟的示意图;

具体实施方式

[0030] 下面将结合附图说明本发明的具体实施方式
[0031] 数字曾侯乙编钟交互系统主要包括硬件设备和虚拟现实软件两部分。其中硬件设备的组成示意图如图1所示,主要分为计算机和虚拟现实设备两部分。其中,虚拟现实设备包括头戴式显示器、立体声耳机、无线操控手柄和激光定位器。
[0032] 计算机用于运行虚拟现实软件,并向头戴式显示器和立体声耳机输出视频和音频信号。由于头戴式显示器对输出的画质像素和刷新率要求较高,因此要求计算机具有较高的图形处理能力,一般满足NVIDIA推出的VR Ready电脑配置要求即可。VR Ready的电脑配置要求:台式电脑显卡性能不低于GeForce GTX 970;笔记本电脑显卡性能不低于GeForce GTX 970;台式电脑和笔记本电脑的CPU性能不低于Intel core i5-4590;内存8G以上;操作系统为Windows 7SP1或更高版本;并至少有2个USB 3.0接口和1个HDMI 1.3接口。
[0033] 本系统使用的虚拟现实设备为HTC VIVE虚拟现实套装,其中包含1个头戴式显示器、1副入耳式耳机、2个无线操控手柄和2个激光定位器等设备。
[0034] 头戴式显示器用于将计算机输出的视频信号转换为图像呈现给参观者,其需要用线与计算机的1个USB 2.0或3.0接口和1个HDMI 1.3接口进行连接;耳机用于输出本系统的音频信号,通过通用的3.5mm接口与头戴式显示器连接,也可以另配更高质量的耳机;无线操控手柄用于将参观者的动作和交互指令输入计算机,使参观者与虚拟场景实现交互;激光定位器用于扫描头戴式显示器和无线操控手柄在活动空间中的位置,实现现实空间与虚拟场景的同步。
[0035] 虚拟现实软件安装在计算机上其组成示意图如图2所示,主要包括:交互输入模块、逻辑交互模块、视频输出模块和音频输出模块。
[0036] 交互输入模块主要基于官方驱动进行实现,主要功能是将虚拟现实设备的输入数据传入虚拟现实软件,供逻辑交互模块使用。使用的官方驱动包括Steam平台下的SteamVR驱动软件和Unity插件Steam VR Plugin。Steam VR驱动软件能够使计算机运行以HTC VIVE为输出目标的虚拟现实软件。Steam VR Plugin支持开发者基于Unity引擎开发以HTC VIVE为输出目标的虚拟现实软件,其主要是完成对虚拟现实设备硬件的编码,并提供对Unity引擎的编程接口,方便开发者进行虚拟现实软件的开发。本发明主要通过安装Steam VR驱动软件和在Unity引擎中导入并设置SteamVR Plugin开发包来实现交互输入模块。
[0037] 逻辑交互模块基于Unity引擎利用C#语言进行编写,主要功能是管理虚拟场景的状态,根据交互输入模块输入的数据判断虚拟场景当前所处的状态,并调用视频输出和音频输出模块将虚拟场景的状态反馈给参观者。具体的实现方法为:采用事件触发机制,将每种交互结果抽象成一个事件,并定义触发条件。如果输入的数据满足触发条件则判定相应事件被触发,实现事件中预先设定好的逻辑。
[0038] 视频输出模块利用Unity引擎现有的图形渲染工作流线实现。主要负责将数字曾侯乙编钟模型等虚拟场景中的三维信息转化成彩色图像信息输出到头戴式显示器的显示屏上,并根据逻辑交互模块输出的结果输出不同的图像结果。虚拟场景中的数字曾侯乙编钟采用三维建模技术、三维雕刻技术,利用3dsMax三维建模软件和ZBrush三维雕刻软件制作完成,通过通用的三维模型存储格式和方法进行保存,并导入Unity引擎实现数字曾侯乙编钟的模型显示并输出。
[0039] 音频输出模块与视频输出模块类似利用Unity引擎的现有功能实现。此模块包含了曾侯乙编钟的原声音轨文件,通过逻辑交互模块的控制进行播放,用于模拟敲击编钟的声音。音频输出模块即负责将播放的原声音轨输出至立体声耳机。
[0040] 一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统的具体交互方法如图3所示,其软件实现过程如下:
[0041] 首先交互输入模块获取活动空间中头戴式显示器和无线操控手柄的位置信息,并将这些信息输入逻辑交互模块;逻辑交互模块根据输入的信息,改变虚拟钟锤在虚拟场景中的位置,并进行速度平方的计算;视频输出模块将虚拟场景投影在虚拟摄像机上的图像输出至头戴式显示器,反馈给参观者。当虚拟钟锤的位置与编钟预设的碰撞检测范围发生重叠,且速度平方的值达到预设的临界值时,判断编钟被“敲响”,逻辑交互模块根据当前虚拟钟锤的速度平方的值换算成音量值播放编钟的原声音轨,并调用音频输出模块将播放的声音输出至立体声耳机反馈给参观者。此过程需要在软件运行过程中频繁反复地执行,才能达到预期效果。因此本算法需要嵌入虚拟现实软件的主循环,或单独使用一条线程进行循环。循环的频率必须大于60Hz,才能保证实时交互体验。
[0042] 速度平方的计算方法:将每一(即算法的每一次循环)获取的位置三维向量信息,与上一帧的向量信息利用距离公式求得两个向量之间的距离平方,再除以帧与帧之间的时间平方,即可求得这一帧的速度平方。
[0043] 速度平方与音量的换算方法:本算法在设计过程中假设敲击发出的声音响度与物体碰撞时的动能成正相关,因此设定音量与速度平方成正相关,通过设定一个自然系数k,使音量等于速度平方与k的乘积,通过反复实验测试将k设定在一个比较理想的范围,近似模拟敲击时力度不同而造成编钟声音响度不同的效果。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈