技术领域
[0001] 本
发明涉及图像显示技术领域，特别是涉及CAVE沉浸式虚拟显示系统与显示方法。
背景技术
[0002] CAVE沉浸式虚拟显示系统(Cave Automatic Virtual Environment，
虚拟现实显示系统)是一种基于多通道视景同步技术、三维空间整形校CAVE投影系统是由3个面以上(含3面)硬质背投影墙组成的高度沉浸的虚拟演示环境，配合三维
跟踪器，用户可以在被投影墙包围的系统近距离
接触虚拟三维物体，或者随意漫游“真实”的
虚拟环境，CAVE系统一般应用于高标准的虚拟现实系统。
[0003] 但是目前现有的CAVE沉浸式虚拟显示系统大多数为一个面一个通道的形式将视频内容背投到墙面进行展示，内容单一，且在投影多个墙面的过程中，各个墙面画面边缘融合效果差，无法给用户带来多样、优质的画面。
发明内容
[0004] 基于此，有必要针对现有CAVE沉浸式虚拟显示系统存在内容单一，各个墙面画面边缘融合效果差，无法给用户带来多样、优质画面的问题，提供一种内容丰富、墙面画面边缘融合效果好，能够带来多样、优质画面的CAVE沉浸式虚拟显示系统与显示方法。
[0005] 一种CAVE沉浸式虚拟显示系统，包括音频控
制模块、视频
控制模块、边缘融合处理模块以及总控制模块；
[0006] 所述音频控制模块、所述视频控制模块以及所述边缘融合处理模块分别与所述总控制模块连接；
[0007] 所述音频控制模块，用于将待播放的音频数据集中缓存，生成
音频流，将所述音频流导入播放列表，并根据所述总控制模块的指令，播放所述播放列表中的数据；
[0008] 所述视频控制模块，用于对待播放的视频数据进行视频解码，并将解码后的视频数据进行一次性集中缓存，获得缓存视频数据，根据所述总控制模块的指令，实时加载所述缓存视频数据；
[0009] 所述边缘融合处理模块，用于通过所述总控制模块获取加载所述缓存视频数据中主屏幕桌面图片数据，对所述主屏幕桌面图片数据中每个
像素做多线程遍历运算，并操作每个像素的RGB值，将所述主屏幕桌面图片数据
渲染成纹理，获得纹理UV，将主屏幕桌面图片拆分为多个子图像，将所述纹理UV拆后分贴至每个所述子图像，并分别对所述子图像进行离屏渲染，对离屏渲染后的每个所述子图像进行矫正功能处理，分别渲染到各个投影显示，其中，所述矫正功能处理包括
顶点矫正处理、几何矫正处理和像素RGB色彩矫正处理。
[0010] 一种CAVE沉浸式虚拟显示系统的显示方法，包括步骤：
[0011] 将待播放的音频数据集中缓存，生成音频流，将所述音频流导入播放列表，并根据总控制模块的指令，播放所述播放列表中的数据；
[0012] 对待播放的视频数据进行视频解码，并将解码后的视频数据进行一次性集中缓存，获得缓存视频数据，根据所述总控制模块的指令，实时加载所述缓存视频数据；
[0013] 通过所述总控制模块获取加载所述缓存视频数据中主屏幕桌面图片数据；
[0014] 对所述主屏幕桌面图片数据中每个像素做多线程遍历运算，并操作每个像素的RGB值，将所述主屏幕桌面图片数据渲染成纹理，获得纹理UV；
[0015] 将主屏幕桌面图片拆分为多个子图像，将所述纹理UV拆后分贴至每个所述子图像，并分别对所述子图像进行离屏渲染；
[0016] 对离屏渲染后的每个所述子图像进行矫正功能处理，分别渲染到各个投影显示，其中，所述矫正功能处理包括顶点矫正处理、几何矫正处理和像素RGB色彩矫正处理。
[0017] 本发明CAVE沉浸式虚拟显示系统与显示方法，显示系统包括音频控制模块、视频控制模块、边缘融合处理模块以及总控制模块，音频控制模块对待播放的音频数据缓存，并生成音频流，形成播放列表，便于在接收到控制模块指令时，及时输出音频数据，视频控制模块对视频数据进行一次性集中缓存，使得在播放视频图像流畅、高效，边缘融合处理模块直接通过总控制模块抓取主屏幕桌面图片数据，节省了从显示图像上截屏所需的处理时间，采用多线程遍历运算，支持多通道同时处理，提高了处理效率，另外采用包括顶点矫正处理、几何矫正处理和像素RGB色彩矫正在内的多种矫正功能处理，一方面，确保边缘融合的效果，另一方面还减少
数据处理量，这样的视频纹理技术使系统不再受限于单通道投影，可通过播放器融合技术做边缘融合处理实现大屏播放，多通道大画面展示。所以本发明CAVE沉浸式虚拟显示系统是一种内容丰富、墙面画面边缘融合效果好，能够带来多样、优质画面的CAVE沉浸式虚拟显示系统。
附图说明
[0018] 图1为本发明CAVE沉浸式虚拟显示系统第一个
实施例的结构示意图；
[0019] 图2为本发明CAVE沉浸式虚拟显示系统第二个实施例的结构示意图；
[0020] 图3为本发明CAVE沉浸式虚拟显示系统的显示方法第一个实施例的流程示意图；
[0021] 图4为本发明CAVE沉浸式虚拟显示系统的显示方法第二个实施例的流程示意图。
具体实施方式
[0022] 为了使本发明的目的、技术方案及优点更加清楚明白，以下根据附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施仅仅用以解释本发明，并不限定本发明。
[0023] 如图1所示，一种CAVE沉浸式虚拟显示系统，包括音频控制模块100、视频控制模块200、边缘融合处理模块300以及总控制模块400；
[0024] 所述音频控制模块100、所述视频控制模块200以及所述边缘融合处理模块300分别与所述总控制模块400连接；
[0025] 所述音频控制模块100，用于将待播放的音频数据集中缓存，生成音频流，将所述音频流导入播放列表，并根据所述总控制模块400的指令，播放所述播放列表中的数据。
[0026] 在一个显示系统中一般需要推送给用户的数据主要包括两类，一类是音频数据，另一类是视频图像数据，只有这两类数据完美、流畅、协调推送、展示给用户才能带来良好的用户体验。在这里，音频控制模块，将待播放的音频数据进行集中缓存，缓存后的数据可以快速被读取、导出，这样使得音频数据推送流畅，另外，为了便于准确、高效管理、控制音频数据，音频控制模块还对缓存后的数据进行处理生成音频流，将音频流导入播放列表中，当接收到控制模块指令后，就能从播放列表中准确、快速找出当前需要播放的数据。
[0027] 所述视频控制模块200，用于对待播放的视频数据进行视频解码，并将解码后的视频数据进行一次性集中缓存，获得缓存视频数据，根据所述总控制模块的指令，实时加载所述缓存视频数据。
[0028] 视频控制模块对解码的视频数据进行一次性集中缓存，并根据控制模块的指令，实时加载所述缓存视频数据，使得数据处理过程简单，由于数据已经经过缓存处理，播放时候不会出现停滞、或者不流畅的现象，一次性将所有视频文件加载到内存中，只要内存足够大，即使加载大量数据也不会影响程序运行效率。
[0029] 所述边缘融合处理模块300，用于通过所述总控制模块400获取加载所述缓存视频数据中主屏幕桌面图片数据，对所述主屏幕桌面图片数据中每个像素做多线程遍历运算，并操作每个像素的RGB值，将所述主屏幕桌面图片数据渲染成纹理，获得纹理UV，将主屏幕桌面图片拆分为多个子图像，将所述纹理UV拆后分贴至每个所述子图像，并分别对所述子图像进行离屏渲染，对离屏渲染后的每个所述子图像进行矫正功能处理，分别渲染到各个投影显示，其中，所述矫正功能处理包括顶点矫正处理、几何矫正处理和像素RGB色彩矫正处理。
[0030] 边缘融合处理模块将视频纹理、场景纹理离屏渲染到一张网格纹理图，并赋予每个顶点予以控制权限实现单点挪动、行列点均匀、行列线性处理、投影重合区域高亮处理技术、拼接技术。并且直接通过总控制模块400抓取主屏幕桌面图片数据，节省了从显示图像上截屏所需的处理时间，采用多线程遍历运算，支持多通道同时处理，提高了处理效率，另外采用包括顶点矫正处理、几何矫正处理和像素RGB色彩矫正在内的多种矫正功能处理，一方面，确保边缘融合的效果，另一方面还减少数据处理量，这样的视频纹理技术使系统不再受限于单通道投影，可通过播放器融合技术做边缘融合处理实现大屏播放，多通道大画面展示。
[0031] 本发明CAVE沉浸式虚拟显示系统，包括音频控制模块100、视频控制模块200、边缘融合处理模块300以及总控制模块400，音频控制模块100对待播放的音频数据缓存，并生成音频流，形成播放列表，便于在接收到控制模块指令时，及时输出音频数据，视频控制模块200，对视频数据进行一次性集中缓存，使得在播放视频图像流畅、高效，边缘融合处理模块
300直接通过总控制模块400抓取主屏幕桌面图片数据，节省了从显示图像上截屏所需的处理时间，采用多线程遍历运算，支持多通道同时处理，提高了处理效率，另外采用包括顶点矫正处理、几何矫正处理和像素RGB色彩矫正在内的多种矫正功能处理，一方面，确保边缘融合的效果，另一方面还减少数据处理量，这样的视频纹理技术使系统不再受限于单通道投影，可通过播放器融合技术做边缘融合处理实现大屏播放，多通道大画面展示。所以本发明CAVE沉浸式虚拟显示系统是一种内容丰富、墙面画面边缘融合效果好，能够带来多样、优质画面的CAVE沉浸式虚拟显示系统。
[0032] 如图2所示，在其中一个实施例中，所述总控制模块400包括WIFI通信单元420，所述WIFI通信单元420用于通过WIFI通信接收和发送数据。
[0033] 在本实施例中，控制模块包括WIFI通信单元，这样就允许控制模块通过WIFI通信与其他设备进行数据交互，例如发送或者接受控制指令等操作。在设置有WIFI通信单元后，用户可以使用移动终端对CAVE沉浸式虚拟显示系统进行操作、控制，极大的提升用户的使用的便利性。
[0034] 如图2所示，在其中一个实施例中，所述CAVE沉浸式虚拟显示系统还包括存储模块500，所述存储模块500与所述总控制模块400连接。
[0035] 存储模块500能够将数据缓存在其内，增大总控制模块400缓存数据的能
力，提高其工作效率，并能与其他模块协调工作，提升整个CAVE沉浸式虚拟显示系统的性能。
[0036] 在其中一个实施例中，所述音频控制模块100具体用于，通过DirectSound将待播放的音频数据集中缓存，生成音频流，将所述音频流导入播放列表，并根据所述总控制模块400的指令，播放所述播放列表中的数据。
[0037] DirectSound是DirectXAudio的一个较底层的部件，提供了丰富的
接口函数，实现.wav格式的
波形声音数据的播放控制。音频控制模块通过DirectSound将待播放的音频数据集中缓存，便于多种类型音频数据被高效缓存。
[0038] 在其中一个实施例中，所述视频控制模块200具体用于，通过DirectShow的VMR9对待播放的视频数据进行视频解码，并将解码后的视频数据进行一次性集中缓存，获得缓存视频数据，根据所述总控制模块400的指令，实时加载所述缓存视频数据。
[0039] DirectShow是一种流媒体处理的开发包，其与DirectX开发包一起发布。DirectShow运用DirectShow，我们可以很方便地的采集卡上捕获数据，并且进行相应的后期处理乃至存储到文件中。这样使在多媒体
数据库管理系统中多媒体数据的存取变得更加方便。它广泛地支持各种媒体格式，为多
媒体流的捕捉和回放提供了强有力的支持。若音频控制模块选用DirectSound将待播放的音频数据集中缓存，视频控制模块选用DirectShow的VMR9对待播放的视频数据进行视频解码，音频控制和视频控制均基于微软的
软件进行处理，这样也有利于整个CAVE沉浸式虚拟显示系统在微软的
操作系统中高效运行。
[0040] 在其中一个实施例中，所述边缘融合处理模块300包括：
[0041] 与所述总控制模块连接的缓存图片数据获取单元，用于通过所述总控制模块获取加载所述缓存视频数据中主屏幕桌面图片数据；
[0042] 与所述缓存图片数据获取单元连接的纹理处理单元，用于对所述缓存图片数据中每个像素做多线程遍历运算，并操作每个像素的RGB值，将所述缓存图片数据渲染成纹理，获得纹理UV；
[0043] 与所述纹理处理单元连接的离屏渲染单元，用于将所述主屏幕桌面图片拆分为多个子图像，将所述纹理UV拆后分贴至每个所述子图像，并分别对所述子图像进行离屏渲染；
[0044] 与所述离屏渲染单元连接的投影显示单元，用于对离屏渲染后的每个所述子图像进行矫正功能处理，分别渲染到各个投影显示，其中，所述矫正功能处理包括顶点矫正处理、几何矫正处理和像素RGB色彩矫正处理；
[0045] 与所述投影显示单元连接的矫正功能处理参数获取单元，用于获取矫正功能处理参数；
[0046] 与所述矫正功能处理参数获取单元连接的矫正功能处理参数存储单元，用于采用XML(Extensible Markup Language，可扩展
标记语言)文本存储所述矫正功能处理参数，其中，所述矫正功能处理参数包括顶点信息、几何信息和RGB信息。
[0047] 在其中一个实施例中，所述纹理处理单元包括：
[0048] 多线程运算单元，用于通过GPU(Graphic Processing Unit，图形处理器)对所述缓存图片数据中每个像素做多线程遍历运算；
[0049] RGB值获取单元，用于分别获取每个像素的RGB值；
[0050] 纹理UV获取单元，用于操作每个像素的RGB值，将所述缓存图片数据渲染成纹理，获得纹理UV；
[0051] 存储单元，用于存储所述纹理UV。
[0052] 如图3所示，上述CAVE沉浸式虚拟显示系统的显示方法，包括步骤：
[0053] S100：将待播放的音频数据集中缓存，生成音频流，将所述音频流导入播放列表，并根据总控制模块的指令，播放所述播放列表中的数据。
[0054] 将待播放的音频数据进行集中缓存，缓存后的数据可以快速被读取、导出，这样使得音频数据推送流畅，另外，为了便于准确、高效管理、控制音频数据，在这里，还对缓存后的数据进行处理生成音频流，将音频流导入播放列表中，当接收到控制模块指令后，就能从播放列表中准确、快速找出当前需要播放的数据。
[0055] S200：对待播放的视频数据进行视频解码，并将解码后的视频数据进行一次性集中缓存，获得缓存视频数据，根据所述总控制模块的指令，实时加载所述缓存视频数据。
[0056] 对解码的视频数据进行一次性集中缓存，并根据控制模块的指令，实时加载所述缓存视频数据，使得数据处理过程简单，由于数据已经经过缓存处理，播放时候不会出现停滞、或者不流畅的现象，一次性将所有视频文件加载到内存中，只要内存足够大且加载过多也不会影响程序运行效率。
[0057] S300：通过所述总控制模块获取加载所述缓存视频数据中主屏幕桌面图片数据。
[0058] 直接抓取主屏幕桌面图片数据，节约了数据获取时间，提高了效率。
[0059] S400：对所述主屏幕桌面图片数据中每个像素做多线程遍历运算，并操作每个像素的RGB值，将所述主屏幕桌面图片数据渲染成纹理，获得纹理UV。
[0060] 多线程遍历运算，即采用多线程同步工作，使得处理效率得到大幅度提升。
[0061] S500：将主屏幕桌面图片拆分为多个子图像，将所述纹理UV拆后分贴至每个所述子图像，并分别对所述子图像进行离屏渲染。
[0062] 将整个主屏幕桌面图片拆分为多个子图像，子图像的数量可以根据实际要求进行选择，在拆分为多个子图像后，将之前获得的纹理UV拆分贴至每个子图像，在对子图像进行离屏渲染。
[0063] S600：对离屏渲染后的每个所述子图像进行矫正功能处理，分别渲染到各个投影显示，其中，所述矫正功能处理包括顶点矫正处理、几何矫正处理和像素RGB色彩矫正处理。
[0064] 采用包括但不限于顶点矫正处理、几何矫正处理和像素RGB色彩矫正处理等矫正功能处理，一方面，画质感更强，且在做环幕与球幕融合时能完美的将图像呈现出来，不会出现目前常见的画面扭曲感，另一方面简单的矫正功能处理，减少了需要处理的数据量，在一定程度上提高了整个边缘融合处理的效率。非必要的，几何矫正处理可以借助Bezier曲面函数来计算。
[0065] 本发明CAVE沉浸式虚拟显示系统的显示方法，对待播放的音频数据缓存，并生成音频流，形成播放列表，便于在接收到控制模块指令时，及时输出音频数据，对视频数据进行一次性集中缓存，使得在播放视频图像流畅、高效，直接通过总控制模块抓取主屏幕桌面图片数据，节省了从显示图像上截屏所需的处理时间，采用多线程遍历运算，支持多通道同时处理，提高了处理效率，另外采用包括顶点矫正处理、几何矫正处理和像素RGB色彩矫正在内的多种矫正功能处理，一方面，确保边缘融合的效果，另一方面还减少数据处理量，这样的视频纹理技术使系统不再受限于单通道投影，可通过播放器融合技术做边缘融合处理实现大屏播放，多通道大画面展示。
[0066] 在其中一个实施例中，所述对所述主屏幕桌面图片数据中每个像素做多线程遍历运算，并操作每个像素的RGB值，将所述主屏幕桌面图片数据渲染成纹理，获得纹理UV具体包括步骤：
[0067] 通过GPU对所述缓存图片数据中每个像素做多线程遍历运算；
[0068] 分别获取每个像素的RGB值；
[0069] 操作每个像素的RGB值，将所述缓存图片数据渲染成纹理，获得纹理UV；
[0070] 存储所述纹理UV。
[0071] GPU是一个专
门的图形的核心处理器，通过GPU对缓存图片数据中每个像素做多线程遍历运算，一方面能够确保图形处理的
质量，以便达到最佳的显示效果，另一方面，并行处理，支持多通道同时处理，节省了处理时间，提高了处理效率。在本实施例中，还专门将纹理UV进行，避免由于意外(突然断电等)导致数据的丢失，确保了数据的安全。
[0072] 如图4所示，在其中一个实施例中，所述步骤S600之后还有步骤：
[0073] S700：获取矫正功能处理参数；
[0074] S800：采用XML文本存储所述矫正功能处理参数，其中，所述矫正功能处理参数包括顶点信息、几何信息和RGB信息。
[0075] 用XML文本储存顶点信息、RGB信息，读取速率高，且在文件丢失的情况可通过软件自备功能一键恢复原调试好的数据(防止文件意外损坏或丢失)。
[0076] 以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明
专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干
变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附
权利要求为准。
