技术领域
[0001] 本
发明涉及混合现实技术领域，尤其涉及一种获取混合现实场景的方法及系统。
背景技术
[0002] 目前公知的VR(
虚拟现实)技术通过计算机生成实时动态的三维立体图像来模拟环境，并使用传感设备来实现交互。VR技术是创建了一个新的虚拟世界，无法和现实世界产生联系。
[0003] 近年来由Microsoft公司提出MR(Mix Reality混合现实)技术，旨在将虚拟和现实融合在一起。大致过程如下：
[0004] 1)支持MR的设备通过不断扫描体验者周围的现实环境并实时建模。
[0005] 2)使用空间理解(Spatial Understanding)技术计算出设备在现实空间中的物理坐标。
[0006] 3)使用空间映射(Spatial Mapping)技术，以MR设备为坐标原点，将现实世界映射到虚拟
坐标系中。
[0007] 4)将计算生成的
虚拟环境叠加到现实世界上，并通过手势来实现和虚拟事物的交互，相比于VR设备有更自然的用户体验。
[0008] Microsoft公司开发了一种名为Hololens的混合现实
头戴式显示器，并提供了一个工具用于管理Hololens设备，该工具可查看佩戴者的主观视
角，即第三者可看到佩戴者通过Hololens设备看到的虚拟现实结合的混合现实场景，但是该工具仅能以佩戴者的视角观看混合现实场景，而无法从其它角度观看混合现实场景。
发明内容
[0009] 本发明所要解决的技术问题是：如何以第三人称视角展示佩戴混合现实头戴式显示器的用户观看到的混合现实场景。
[0010] 为了解决上述技术问题，本发明采用的技术方案为：
[0011] 本发明提供一种获取混合现实场景的方法，包括：
[0012] S1、第一混合现实头戴式显示器生成第一虚拟场景；
[0013] S2、实体摄像机获取真实场景；所述实体摄像机与第二混合现实头戴式显示器物理固定；
[0014] S3、映射第一混合现实头戴式显示器对应的第一空间模型和第二混合现实头戴式显示器对应的第二空间模型至同一坐标系；
[0015] S4、根据所述坐标系叠加所述第一虚拟场景和所述真实场景，得到混合现实场景。
[0016] 本发明还提供一种获取混合现实场景的系统，包括：
[0017] 第一混合现实头戴式显示器；
[0018] 第二混合现实头戴式显示器；
[0019] 实体摄像机；
[0020] 终端；所述终端包括一个或多个处理器及
存储器，所述存储器存储有程序，并且被配置成由所述一个或多个处理器执行以下步骤：
[0021] S1、获取第一混合现实头戴式显示器生成的第一虚拟场景；
[0022] S2、获取实体摄像机拍摄的真实场景；所述实体摄像机与第二混合现实头戴式显示器物理固定；
[0023] S3、映射第一混合现实头戴式显示器对应的第一空间模型和第二混合现实头戴式显示器对应的第二空间模型至同一坐标系；
[0024] S4、根据所述坐标系叠加所述第一虚拟场景和所述真实场景，得到混合现实场景。
[0025] 本发明的有益效果在于：通过将与实体摄像机物理固定的第二混合现实头戴式显示器对应的第二空间模型和用户佩戴的第一混合现实头戴式显示器对应的第一空间模型映射至同一坐标系，使得通过计算第二混合现实头戴式显示器在所述坐标系中的坐标即可知实体摄像机的坐标，实现将现实空间中实体摄像机的
位置信息映射至混合现实头戴式显示器构建的空间模型，从而实现实体摄像机在任一位置获取真实场景时，都能够获取与所述真实场景匹配的虚拟场景，叠加所述真实场景和所述虚拟场景即可得到，以实体摄像机当前位置对应的视角展示佩戴混合现实头戴式显示器的用户观看到的混合现实场景。
附图说明
[0026] 图1为本发明提供的一种获取混合现实场景的方法的具体实施方式的流程
框图；
[0027] 图2为本发明提供的一种获取混合现实场景的系统的具体实施方式的结构框图；
[0028] 标号说明：
[0029] 1、第一混合现实头戴式显示器；2、第二混合现实头戴式显示器；3、实体摄像机；4、终端；41、处理器；42、存储器。
具体实施方式
[0030] 为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
[0031] 请参照图1至图2，
[0032] 如图1所示，本发明提供一种获取混合现实场景的方法，包括：
[0033] S1、第一混合现实头戴式显示器生成第一虚拟场景；
[0034] S2、实体摄像机获取真实场景；所述实体摄像机与第二混合现实头戴式显示器物理固定；
[0035] S3、映射第一混合现实头戴式显示器对应的第一空间模型和第二混合现实头戴式显示器对应的第二空间模型至同一坐标系；
[0036] S4、根据所述坐标系叠加所述第一虚拟场景和所述真实场景，得到混合现实场景。
[0037] 进一步地，所述S3具体为：
[0038] 预设一位置恒定的虚拟物体；
[0039] 以所述虚拟物体为参照物映射所述第一空间模型和所述第二空间模型至同一坐标系。
[0040] 进一步地，所述S3之前，还包括：
[0042]
修改所述第二混合现实头戴式显示器的初始水平旋转偏移量为零；
[0043] 第二混合现实头戴式显示器生成第四虚拟场景；
[0044] 根据所述真实场景和所述第四虚拟场景计算第二混合现实头戴式显示器相对于实体摄像机的垂直旋转偏移量，得到相对垂直旋转偏移量；
[0045] 根据所述相对垂直旋转偏移量修改第二混合现实头戴式显示器的初始垂直旋转偏移量。
[0046] 由上述描述可知，实体摄像机与第二混合现实头戴式显示器物理固定时，难以保证第二混合现实头戴式显示器与实体摄像机平行，使得第二混合现实头戴式显示器的实时旋转偏移量无法准确反映实体摄像机的实时旋转偏移量，旋转偏移量对最终效果的影响甚大，例如，被拍摄对象距离摄像机10m，1°的旋转偏差将造成至少17cm的平移错位。本发明通过先借助水平仪将实体摄像机水平放置，依据混合现实头戴式显示器在建立自身坐标系时XOZ平面和现实的水平面是一致的，无论第二混合现实头戴式显示器的当前水平旋转偏移量是多少，都将第二混合现实头戴式显示器的初始水平旋转偏移量修改为零，加上初始垂直旋转偏移量的修改，即将第二混合现实头戴式显示器对应的
虚拟摄像机的初始朝向修改成与实体摄像机初始朝向一致，从而实现第二混合现实头戴式显示器的实时旋转偏移量与实体摄像机的实时旋转偏移量一致。
[0047] 进一步地，所述S4具体为：
[0048] 实时获取第二混合现实头戴式显示器在所述坐标系中的坐标，得到第一坐标；
[0049] 映射所述第一虚拟场景至所述坐标系，得到第二虚拟场景；
[0050] 获取所述实体摄像机的视场角；
[0051] 根据所述视场角、所述第一坐标和第二混合现实头戴式显示器的当前旋转偏移量转换所述第二虚拟场景，得到第三虚拟场景；
[0052]
渲染所述第三虚拟场景至所述真实场景。
[0053] 进一步地，还包括：
[0055] 配置与所述分辨率对应的渲染参数。
[0056] 由上述描述可知，由于本发明输出的最终图像由虚、实图像叠加而成，实体摄像机拍摄的真实场景作为底图，分辨率由实体摄像机来决定；因此，根据实体摄像机的分辨率配置将虚拟场景渲染至真实场景的渲染参数，有利于提高合成后的混合现实场景的效果。此外，电视媒体等行业无需从内部改造摄像设备，就可以录制符合传播要求的视频内容。
[0057] 如图2所示，本发明还提供一种获取混合现实场景的系统，包括：
[0058] 第一混合现实头戴式显示器1；
[0059] 第二混合现实头戴式显示器2；
[0060] 实体摄像机3；
[0061] 终端4；所述终端包括一个或多个处理器41及存储器42，所述存储器42存储有程序，并且被配置成由所述一个或多个处理器41执行以下步骤：
[0062] S1、获取第一混合现实头戴式显示器生成的第一虚拟场景；
[0063] S2、获取实体摄像机拍摄的真实场景；所述实体摄像机与第二混合现实头戴式显示器物理固定；
[0064] S3、映射第一混合现实头戴式显示器对应的第一空间模型和第二混合现实头戴式显示器对应的第二空间模型至同一坐标系；
[0065] S4、根据所述坐标系叠加所述第一虚拟场景和所述真实场景，得到混合现实场景。
[0066] 进一步地，所述S3具体为：
[0067] 预设一位置恒定的虚拟物体；
[0068] 以所述虚拟物体为参照物映射所述第一空间模型和所述第二空间模型至同一坐标系。
[0069] 进一步地，所述S3之前，还包括：
[0070] 水平放置所述实体摄像机；
[0071] 修改所述第二混合现实头戴式显示器的初始水平旋转偏移量为零；
[0072] 第二混合现实头戴式显示器生成第四虚拟场景；
[0073] 根据所述真实场景和所述第四虚拟场景计算第二混合现实头戴式显示器相对于实体摄像机的垂直旋转偏移量，得到相对垂直旋转偏移量；
[0074] 根据所述相对垂直旋转偏移量修改第二混合现实头戴式显示器的初始垂直旋转偏移量。
[0075] 进一步地，所述S4具体为：
[0076] 实时获取第二混合现实头戴式显示器在所述坐标系中的坐标，得到第一坐标；
[0077] 映射所述第一虚拟场景至所述坐标系，得到第二虚拟场景；
[0078] 获取所述实体摄像机的视场角；
[0079] 根据所述视场角、所述第一坐标和第二混合现实头戴式显示器的当前旋转偏移量转换所述第二虚拟场景，得到第三虚拟场景；
[0080] 渲染所述第三虚拟场景至所述真实场景。
[0081] 进一步地，还包括：
[0082] 获取所述实体摄像机的分辨率；
[0083] 配置与所述分辨率对应的渲染参数。
[0085] 本实施例提供一种获取混合现实场景的方法，包括：
[0086] S1、修改第二混合现实头戴式显示器的初始旋转偏移量为零；与第二混合现实头戴式显示器物理固定的实体摄像机水平放置；
[0087] S2、第一混合现实头戴式显示器生成第一虚拟场景；
[0088] S3、实体摄像机获取真实场景；所述实体摄像机与所示第二混合现实头戴式显示器物理固定；
[0089] S4、映射第一混合现实头戴式显示器对应的第一空间模型和第二混合现实头戴式显示器对应的第二空间模型至同一坐标系；具体为：
[0090] S41、预设一位置恒定的虚拟物体；
[0091] S42、以所述虚拟物体为参照物映射所述第一空间模型和所述第二空间模型至同一坐标系；
[0092] 其中，混合现实头戴式显示器，如Microsoft公司开发的Hololens，在运行应用时会以它自身位置为坐标原点、以它正前方在水平面的投影为Z轴正方向、竖直朝上方向为Y轴正方向建立左手坐标系；两台不同的混合现实头戴式显示器，先后扫描同一个空间，分别在各自的坐标系里对同一空间进行建模，分别得到第一空间模型和第二空间模型；通过预先放置在空间中的世界
锚点(即在现实空间中某个位置固定不变的虚拟物体)来建立共同的世界坐标系，计算出两个混合现实头戴式显示器坐标系到世界坐标系的转换矩阵，进而实现重合不同混合现实头戴式显示器设备所构建的虚拟场景；
[0093] S5、根据所述坐标系叠加所述第一虚拟场景和所述真实场景，得到混合现实场景；具体为：
[0094] S51、实时获取第二混合现实头戴式显示器在所述坐标系中的坐标，得到第一坐标；
[0095] S52、映射所述第一虚拟场景至所述坐标系，得到第二虚拟场景；
[0096] S53、获取所述实体摄像机的视场角；
[0097] S54、根据所述视场角、所述第一坐标和第二混合现实头戴式显示器的当前旋转偏移量转换所述第二虚拟场景，得到第三虚拟场景；
[0098] S55、获取所述实体摄像机的分辨率；配置与所述分辨率对应的渲染参数；
[0099] S56、渲染所述第三虚拟场景至所述真实场景。
[0100] 如图2所示，本发明的实施例二为：
[0101] 本实施例提供一种获取混合现实场景的系统，包括：
[0102] 第一混合现实头戴式显示器1；
[0103] 第二混合现实头戴式显示器2；
[0104] 实体摄像机3；
[0105] 终端4；所述终端包括一个或多个处理器41及存储器42，所述存储器42存储有程序，并且被配置成由所述一个或多个处理器41执行以下步骤：
[0106] S1、获取第一混合现实头戴式显示器生成的第一虚拟场景；
[0107] S2、获取实体摄像机拍摄的真实场景；所述实体摄像机与第二混合现实头戴式显示器物理固定；
[0108] S3、根据实体摄像机的初始旋转偏移量修改第二混合现实头戴式显示器的初始旋转偏移量；与第二混合现实头戴式显示器物理固定的实体摄像机水平放置；具体为：
[0109] S31、水平放置所述实体摄像机；
[0110] S32、修改所述第二混合现实头戴式显示器的初始水平旋转偏移量为零；
[0111] S33、根据所述真实场景和所述第四虚拟场景计算第二混合现实头戴式显示器相对于实体摄像机的垂直旋转偏移量，得到相对垂直旋转偏移量；根据所述相对垂直旋转偏移量修改第二混合现实头戴式显示器的初始垂直旋转偏移量；
[0112] 其中，在第四虚拟场景中放置一个虚拟的竖向细长模型，位于虚拟摄像机的
视野正中央；在真实场景中距离实体摄像机较远位置放置一根竖杆，位于实体摄像机视野的正中间；
[0113] 叠加第四虚拟场景和真实场景，若虚拟的竖向细长模型和竖杆没有重合，则：
[0114] 保持虚拟摄像机位置不动，沿水平方向调整虚拟摄像机的旋转量(即绕竖直的Y轴转动)，此时，虚拟的竖向细长模型在虚拟图像中的运动方向和虚拟摄像机的旋转方向相反；
[0115] 旋转虚拟摄像机直至虚拟的竖向细长模型和竖杆重合，此时虚拟摄像机绕Y轴的旋转量再取负值即为垂直旋转偏移量；
[0116] S34、修改所述第二混合现实头戴式显示器的初始垂直旋转偏移量为所述实体摄像机的初始旋转偏移量；
[0117] S4、映射第一混合现实头戴式显示器对应的第一空间模型和第二混合现实头戴式显示器对应的第二空间模型至同一坐标系；具体为：
[0118] S41、预设一位置恒定的虚拟物体；
[0119] S42、以所述虚拟物体为参照物映射所述第一空间模型和所述第二空间模型至同一坐标系；
[0120] S5、根据所述坐标系叠加所述第一虚拟场景和所述真实场景，得到混合现实场景；具体为：
[0121] S51、实时获取第二混合现实头戴式显示器在所述坐标系中的坐标，得到第一坐标；
[0122] S52、映射所述第一虚拟场景至所述坐标系，得到第二虚拟场景；
[0123] S53、获取所述实体摄像机的视场角；
[0124] S54、根据所述视场角、所述第一坐标和第二混合现实头戴式显示器的当前旋转偏移量转换所述第二虚拟场景，得到第三虚拟场景；
[0125] 其中，由于第二和第三虚拟场景都是由终端的渲染器渲染而成，所以该步骤只是对虚拟摄像机参数的修改，例如：视场角是直接设置渲染器对应的虚拟摄像机的视场角参数；偏移量也是直接修改的渲染器对应的虚拟摄像机的旋转量；使得虚拟摄像机和实体摄像机的参数完全一致，从而模拟从实体摄像机的角度拍摄虚拟场景；
[0126] S55、获取所述实体摄像机的分辨率；配置与所述分辨率对应的渲染参数；
[0127] S56、渲染所述第三虚拟场景至所述真实场景。
[0128] 综上所述，本发明提供的一种获取混合现实场景的方法及系统，通过将与实体摄像机物理固定的第二混合现实头戴式显示器对应的第一空间模型和用户佩戴的第一混合现实头戴式显示器对应的第二空间模型映射至同一坐标系，使得通过计算第二混合现实头戴式显示器在所述坐标系中的坐标即可知实体摄像机的坐标，实现将现实空间中实体摄像机的位置信息映射至混合现实头戴式显示器构建的空间模型，从而实现实体摄像机在任一位置获取真实场景时，都能够获取与所述真实场景匹配的虚拟场景，叠加所述真实场景和所述虚拟场景即可得到，以实体摄像机当前位置对应的视角展示佩戴混合现实头戴式显示器的用户观看到的混合现实场景。
[0129] 以上所述仅为本发明的实施例，并非因此限制本发明的
专利范围，凡是利用本发明
说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。
