虚拟内容的显示方法、装置、终端设备及交互设备专利检索-虚拟现实显示技术专利检索查询-专利查询网

虚拟内容的显示方法、装置、终端设备及交互设备

阅读：909发布：2020-05-08

专利汇可以提供虚拟内容的显示方法、装置、终端设备及交互设备专利检索，专利查询，专利分析的服务。并且本申请公开了一种虚拟内容的显示方法、装置、终端设备及交互设备，该方法包括：采集包含第一标记物的第一图像，第一标记物为设置于交互设备上的标记物；根据第一图像中的第一标记物确定与交互设备对应的第一显示区域，并显示第一虚拟内容，第一虚拟内容的第一显示位置与第一显示区域对应；显示与第一虚拟内容对应的第二虚拟内容，第二虚拟内容的第二显示位置与预设的第二显示区域对应。本申请在交互设备上显示虚拟内容后，可以在另一区域上投放显示对应的虚拟内容，提高AR/VR的交互性。，下面是虚拟内容的显示方法、装置、终端设备及交互设备专利的具体信息内容。

权利要求

1.一种虚拟内容的显示方法，其特征在于，所述方法包括：
采集包含第一标记物的第一图像，所述第一标记物为设置于交互设备上的标记物；
根据所述第一图像中的第一标记物确定与所述交互设备对应的第一显示区域，并显示第一虚拟内容，所述第一虚拟内容的第一显示位置与所述第一显示区域对应；
显示与所述第一虚拟内容对应的第二虚拟内容，所述第二虚拟内容的第二显示位置与预设的第二显示区域对应。
2.根据权利要求1所述的方法，其特征在于，根据所述第一图像中的所述第一标记物确定与所述交互设备对应的第一显示区域，并显示第一虚拟内容，包括：
识别所述第一图像中的所述第一标记物，获取所述交互设备与终端设备的第一相对位姿信息，所述第一相对位姿信息包括所述交互设备与所述终端设备的相对位置信息和相对姿态信息；
根据所述第一相对位姿信息确定与所述交互设备对应的第一显示区域，并显示第一虚拟内容。
3.根据权利要求2所述的方法，其特征在于，显示与所述第一虚拟内容对应的第二虚拟内容，包括：
采集包含第二标记物的第二图像；
根据所述第二图像中的所述第二标记物确定与所述第二标记物对应的第二显示区域，并显示与所述第一虚拟内容对应的第二虚拟内容。
4.根据权利要求3所述的方法，其特征在于，根据所述第二图像中的所述第二标记物确定与所述第二标记物对应的第二显示区域，并显示与所述第一虚拟内容对应的第二虚拟内容，包括：
识别所述第二图像中的所述第二标记物，获取所述终端设备与所述第二标记物的第二相对位姿信息，所述第二相对位姿信息包括所述终端设备与所述第二标记物的相对位置信息和相对姿态信息；
根据所述第二相对位姿信息确定与所述第二标记物对应的第二显示区域，并显示与所述第一虚拟内容对应的第二虚拟内容。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述交互设备基于检测到的触控动作生成的与所述触控动作对应的操控指令；
根据所述操控指令，改变所述第一虚拟内容以及所述第二虚拟内容的显示方式。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
与其他终端设备建立通信连接；
向所述其他终端设备发送与所述第二虚拟内容对应的虚拟图像数据，所述虚拟图像数据用于在所述其他终端设备中显示所述第二虚拟内容。
7.根据权利要求6所述的方法，其特征在于，所述虚拟图像数据还用于指示所述其他终端设备采集包含第二标记物的第三图像，识别所述第二标记物，获取与所述第二显示区域的相对空间位置信息，再根据所述相对空间位置信息显示所述第二虚拟内容。
8.一种虚拟内容的显示装置，其特征在于，所述装置包括：
采集模块，用于采集包含第一标记物的第一图像，所述第一标记物为设置于交互设备上的标记物；
第一显示模块，用于根据所述第一图像中的所述第一标记物确定与所述交互设备对应的第一显示区域，并显示第一虚拟内容，所述第一虚拟内容的第一显示位置与所述第一显示区域对应；
第二显示模块，用于显示与所述第一虚拟内容对应的第二虚拟内容，所述第二虚拟内容的第二显示位置与预设的第二显示区域对应。
9.一种终端设备，其特征在于，包括显示器、存储器以及处理器，所述显示器和所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时，所述处理器执行如权利要求1-7任一项所述的方法。
10.一种交互设备，其特征在于，所述交互设备包括：
控制面板，所述控制面板设置有第一标记物以及触控区域，所述第一标记物用于终端设备识别并确定所述交互设备与所述终端设备的第一相对位姿信息，所述触控区域用于检测用户的触控动作以生成与所述触控动作对应的操控指令，所述操控指令用于控制所述终端设备显示的虚拟内容。

说明书全文

虚拟内容的显示方法、装置、终端设备及交互设备

技术领域

[0001] 本申请涉及计算机技术领域，更具体地，涉及一种虚拟内容的显示方法、装置、终端设备及交互设备。

背景技术

[0002] 随着科技的发展，机器智能化及信息智能化日益普及，虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)相关的终端设备逐渐走入了人们的日常生活中。增强现实技术借助计算机图形技术和可视化技术构建现实环境中不存在的虚拟内容，并通过图像识别定位技术将虚拟内容准确地融合到真实环境中，借助显示设备将虚拟内容与真实环境融为一体，并带给使用者真实的感观体验。在传统的技术中，通过在真实场景图像中叠加虚拟内容进行增强现实或混合现实等的显示，而与虚拟内容的交互控制是增强现实或混合现实的重要研究方向。发明内容

[0003] 本申请提出了一种虚拟内容的显示方法、装置、终端设备及交互设备，可通过选取交互设备上显示的虚拟内容中的部分虚拟内容，在另一区域上显示该选取的部分虚拟内容，提高AR/VR的交互性。

[0004] 第一方面，本申请实施例提供了一种虚拟内容的显示方法，该方法包括：采集包含第一标记物的第一图像，第一标记物为设置于交互设备上的标记物；根据第一图像中的第一标记物确定与交互设备对应的第一显示区域，并显示第一虚拟内容，第一虚拟内容的第一显示位置与第一显示区域对应；显示与第一虚拟内容对应的第二虚拟内容，第二虚拟内容的第二显示位置与预设的第二显示区域对应。

[0005] 第二方面，本申请实施例提供了一种虚拟内容的显示装置，该装置包括：采集模块，用于采集包含第一标记物的第一图像，所述第一标记物为设置于交互设备上的标记物；第一显示模块，用于根据所述第一图像中的所述第一标记物确定与所述交互设备对应的第一显示区域，并显示第一虚拟内容，所述第一虚拟内容的第一显示位置与所述第一显示区域对应；第二显示模块，用于显示与所述第一虚拟内容对应的第二虚拟内容，所述第二虚拟内容的第二显示位置与预设的第二显示区域对应。

[0006] 第三方面，本申请实施例提供了一种终端设备，其包括显示器、存储器以及处理器，所述显示器和所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时，所述处理器执行上述第一方面所述的方法。

[0007] 第四方面，本申请实施例提供了一种计算机可读取存储介质，该计算机可读取存储介质中存储有程序代码，该程序代码可被处理器调用执行如上述第一方面所述的方法。

[0008] 第五方面，本申请实施例提供了一种交互设备，其包括：控制面板，所述控制面板设置有第一标记物以及触控区域，所述第一标记物用于终端设备识别并确定所述交互设备与所述终端设备的第一相对位姿信息，所述触控区域用于检测用户的触控动作以生成与所述触控动作对应的操控指令，所述操控指令用于控制所述终端设备显示的虚拟内容。

[0009] 本申请实施例提供的虚拟内容的显示方法、装置、终端设备及交互设备，先采集包含第一标记物的第一图像，该第一标记物为设置于交互设备上的标记物；然后根据第一图像中的第一标记物确定与交互设备对应的第一显示区域，并显示第一虚拟内容，第一虚拟内容的第一显示位置与所述第一显示区域对应；最后显示与第一虚拟内容对应的第二虚拟内容，第二虚拟内容的第二显示位置与预设的第二显示区域对应。本申请实施例在交互设备上显示虚拟内容后，可以在另一区域上投放显示对应的虚拟内容，提高AR/VR的交互性。附图说明

[0010] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0011] 图1示出了本申请实施例提供的虚拟内容的显示系统的应用场景示意图；

[0012] 图2示出了本申请实施例中对第一虚拟内容及第二虚拟内容进行显示的场景示意图。

[0013] 图3示出了本申请实施例的终端设备的结构框图；

[0014] 图4示出了本申请实施例的终端设备与服务器的交互图；

[0015] 图5示出了本申请实施例提供的虚拟内容的显示方法的流程示意图；

[0016] 图6示出了本申请实施例中显示第一虚拟内容的场景示意图；

[0017] 图7示出了本申请实施例中的一种显示第一虚拟内容与第二虚拟内容的场景示意图；

[0018] 图8A、图8B、图8C是本申请实施例中在交互设备触控区域滑动的示意图。

[0019] 图9示出了本申请实施例提供的虚拟内容的显示装置的模块框图；

[0020] 图10示出了本申请实施例提供的交互设备的分解结构示意图。

具体实施方式

[0021] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

[0022] 随着VR(Virtual Reality，虚拟现实)、AR(Augmented Reality，增强现实)等技术的发展，VR/AR相关的电子设备逐渐走入了人们的日常生活中。当人们在使用VR/AR设备时，可通过设备上的摄像组件对现实环境中的标记物(又称Marker或Tag)进行采集，再经过相应的图像处理，即可在显示屏上对应的位置显示出与该标记物绑定的虚拟图像，让用户享受科幻式的观感体验。目前在一些采用VR/AR相关技术的展会、博物馆中，各个展厅的虚拟场景以及虚拟展品图像可以通过用户佩戴的VR/AR设备展示给用户。然而，发明人经过调查研究发现，在传统的VR/AR场景中，用户在对显示的虚拟内容进行控制时，通常需要通过控制器控制，或通过转动头部的方向来改变头戴显示器等VR/AR设备的朝向，才能改变显示的虚拟内容，例如看到虚拟内容在不同观看角度下的不同画面，其操作较为繁琐，且需要用户进行频繁的移动，由于观看虚拟内容的实际环境往往存在限制，例如虚拟内容的显示位置周围可能存在障碍物或阶梯等，这使得用户无法轻松观看到虚拟内容的各个不同角度的画面。发明人经过研究，提出了本申请实施例中的虚拟内容的显示方法、装置、终端设备及交互设备。

[0023] 下面将通过具体实施例对本申请实施例提供的虚拟内容的显示方法、装置、终端设备及交互设备进行详细说明。

[0024] 请参阅图1，示出了本申请实施例提供的虚拟内容的显示方法的应用场景图，该应用场景包括本申请实施例提供的虚拟内容的显示系统100，该虚拟内容的显示系统100包括：交互设备10、第二标记物20以及终端设备30。

[0025] 本实施例中，交互设备10包括控制面板，该控制面板设置有第一标记物11以及触控区域12。其中，第一标记物11用于终端设备30识别并确定交互设备10与终端设备30的第一相对位姿信息，触控区域12用于检测用户的触控动作以生成与触控动作对应的操控指令，该操控指令用于控制终端设备30显示的虚拟内容。其中，设置于交互设备10上的第一标记物11的数量可以是一个或多个。第一标记物11设置的区域以及触控区域12均可作为与显示第一虚拟内容的第一显示位置对应的第一显示区域。

[0026] 在一些实施方式中，终端设备30可采集包含第一标记物11的第一图像，并根据该第一图像中的第一标记物11显示第一虚拟内容，该第一虚拟内容的第一显示位置与交互设备10上的第一显示区域对应，用户通过终端设备30可以看到显示的第一虚拟内容与现实世界中交互设备10的第一显示区域叠加，第一虚拟内容叠加显示在第一显示区域上。

[0027] 终端设备30可通过采集的包含第一标记物11的第一图像对交互设备10与终端设备30当前的相对位置进行定位，并在相应的位置(与交互设备10的第一显示区域对应的第一显示位置)上显示第一虚拟内容。

[0028] 进一步地，第一虚拟内容对应的图像数据可以预存在终端设备30中(也可以是从服务器或其他终端获取的)，并由用户选择进行显示。在一些应用场景中，用户可先通过终端设备30或交互设备10对需要进行显示的虚拟内容进行选择，再通过扫描交互设备10上的第一标记物11进行定位，最后在与交互设备10的第一显示区域对应的第一显示位置上显示选择的第一虚拟内容。其中，第一虚拟内容的第一显示位置，指的是在虚拟空间中第一虚拟内容的渲染坐标，根据该渲染坐标可以在虚拟空间中渲染出相应的三维立体的第一虚拟内容，该渲染坐标可用于表示在虚拟空间中第一虚拟内容与终端设备30之间的空间位置关系。第一虚拟内容的第一显示位置也可以是终端设备30(也可以是外接于终端设备30的其他设备)的显示屏幕上与交互设备10的第一显示区域对应的画面显示位置。

[0029] 作为一种方式，交互设备10可以是由用户手持，也可以是固定在操作台上，供用户操作及观看虚拟内容。交互设备10上设置的触控区域12，可以供用户对触控区域12进行触控操作，从而控制在与第一显示区域对应的第一显示位置上显示的第一虚拟内容。交互设备10可以通过触控区域12检测到触控动作，生成与该触控动作对应的操控指令，并将该操控指令发送给终端设备30。当终端设备30接收到交互设备10发送的操控指令时，可根据操控指令控制第一虚拟内容的显示，实现对第一虚拟内容的控制(例如控制第一虚拟内容旋转、位移、切换等)，有利于提高用户与虚拟内容之间的交互性。

[0030] 本实施例中，第二标记物20可以设置于场景(可以是地面，也可以是其他物体例如展台的表面)中。作为一种方式，第二标记物20的数量可以为单个或多个，多个第二标记物20也可以分别设置在多个不同的场景中，以供不同场景中的终端设备识别第二标记物20并进行虚拟内容显示。

[0031] 在一些实施方式中，终端设备30可采集包含第二标记物20的第二图像，并根据该第二图像中的第二标记物20确定与其对应的第二显示区域，并在该第二显示区域对应的显示位置上显示与第一虚拟内容对应的第二虚拟内容。

[0032] 在一种可能的应用场景中，如图2所示，图2为通过图1所示的终端设备30对第一虚拟内容50以及第二虚拟内容60进行显示的场景示意图。

[0033] 在图2中，用户佩戴头戴式的终端设备30后，可通过终端设备30看到与现实世界的交互设备10上第一显示区域叠加显示的第一虚拟内容50，以及与现实世界中第二标记物20对应的第二显示区域叠加显示的第二虚拟内容60。在本实施例中，显示在交互设备10对应位置的第一虚拟内容50可以是虚拟的3D医学人体模型，用户通过交互设备10上的触控区域，将虚拟的3D医学人体模型同时显示在与第二标记物20的第二显示区域对应的第二显示位置。在本实施例中，第二虚拟内容60可以是3D医学人体模型，也可以是3D医学人体模型中的一部分。作为一种方式，用户可通过触控区域12改变第一虚拟内容50的显示方式，并使第二虚拟内容60跟随第一虚拟内容50改变其显示方式。第二虚拟内容60可以显示在与第二标记物20的第二显示区域对应的第二显示位置，用户通过终端设备可以看到虚拟的3D医学人体模型显示在现实世界的第二显示区域(该第二显示区域比如可以是图2中第二标记物20所在的区域)。可以理解的是，第一虚拟内容50可以由用户自行选择显示并切换，例如，第一虚拟内容50除3D医学人体模型外，还可以是机械模型、艺术展品、书籍、游戏人物等；对应的，第二虚拟内容60可以是与第一虚拟内容50相同，也可以是第一虚拟内容50中的一部分子对象，例如机械零部件、展品局部、书页、游戏装备等；还可以是与第一虚拟内容50有关联的其他虚拟内容。

[0034] 在一些实施例中，终端设备30可以为头戴显示装置、手机、平板等设备，其中，头戴显示装置可以为一体式头戴显示装置。终端设备30也可以是与外接式头戴显示装置连接的手机等智能终端。请参阅图3，作为一种实施方式，终端设备30可以包括：处理器31、存储器32、显示装置33以及相机34。存储器32、显示装置33以及相机34均与处理器31连接。

[0035] 相机34用于采集待拍摄物体的图像并发送至处理器31。相机34可以为红外相机、彩色相机等，相机34的具体类型在本申请实施例中并不作为限定。

[0036] 处理器31可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器31可以被配置为经由例如网络从系统的各种组件接收数据和/或信号。处理器31还可处理数据和/或信号以确定系统中的一个或多个操作条件。例如，处理器31根据预先存储的图像数据生成虚拟世界的图像数据，将其发送至显示装置进行显示；也可以通过有线或无线网络接收智能终端或计算机的发送的图像数据，根据所接收的图像数据生成虚拟世界的图像进行显示；还可以根据相机采集的图像进行识别定位，并根据定位信息确定在虚拟世界中对应的显示内容，发送至显示装置33进行显示。

[0037] 存储器32可用于存储软件程序以及模块，处理器31通过运行存储在存储器32内的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器32可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。

[0038] 终端设备30的显示装置以及相机与一具有存储器的存储功能以及处理器的处理功能的终端设备连接。可以理解的是，上述实施方式中的处理器执行的处理由终端设备的处理器执行，上述实施方式中的存储器存储的数据由终端设备的存储器进行存储。

[0039] 在一些实施方式中，终端设备30还可以包括通信模块，通信模块与处理器连接。通信模块用于终端设备30与其他终端之间的通信。

[0040] 在一些实施方式中，当标记物(第一标记物11和/或第二标记物20)位于终端设备30的相机34的视野范围内时，相机34可以采集到标记物的图像。该标记物的图像存储于终端设备30中，用于定位终端设备30相对标记物的位置。

[0041] 用户在使用终端设备30时，终端设备30通过相机34采集到包含有标记物的标记物图像后，终端设备30的处理器获取到标记物图像及相关信息，运算识别出标记物，并获取到该标记物与终端设备30的相机之间的位置与旋转关系，进而得到标记物相对于终端设备30的位置及旋转关系。

[0042] 请参阅图4，在一些实施方式中，终端设备30还可以通过网络与服务器40进行通信连接。其中，终端设备30上运行AR/VR应用的客户端，服务器40上运行与客户端对应的AR/VR应用的服务端。作为一种方式，服务器40可以存储与每个标记物对应的身份信息、与该身份信息对应的标记物绑定的虚拟图像数据，以及标记物在现实环境或虚拟地图中的位置信息。

[0043] 在一些实施方式中，不同的终端设备30之间还可以通过服务器40进行数据共享及实时更新，提升AR/VR场景中多用户之间的交互性。

[0044] 针对上述的虚拟内容的显示系统，本申请实施例提供了一种通过上述系统进行的虚拟内容的显示方法，具体地，请参阅以下实施例。

[0045] 请参阅图5，图5示出了本申请在一个实施例中提供的虚拟内容的显示方法的流程示意图。该虚拟内容的显示方法先采集包含第一标记物的第一图像，该第一标记物为设置于交互设备上的标记物，然后根据第一图像中的第一标记物确定与交互设备对应的第一显示区域，并显示第一虚拟内容，第一虚拟内容的第一显示位置与第一显示区域对应，最后显示与第一虚拟内容对应的第二虚拟内容，第二虚拟内容的第二显示位置与预设的第二显示区域对应，在交互设备上显示虚拟内容后，可以在另一区域上投放显示对应的虚拟内容，提高AR/VR的交互性。在具体的实施例中，虚拟内容的显示方法可应用于如图9所示的虚拟内容的显示装置300以及配置有虚拟内容的显示装置300的终端设备30(图1)。下面将以HMD(Head Mount Display，头戴式显示器)为例，针对图5所示的流程进行详细的阐述。上述的虚拟内容的显示方法具体地可以包括以下步骤：

[0046] 步骤S101：采集包含第一标记物的第一图像。

[0047] 本实施例中，第一标记物为设置于交互设备上的标记物。

[0048] 标记物可以是任意具有可识别特征标记的图形或物体。标记物可放置于终端设备的相机(或其他图像采集装置)视野范围内，即相机可以采集到包含标记物的图像。该包含标记物的图像经相机采集后可存储于终端设备中，用于确定终端设备相对标记物的位置或姿态等信息。标记物中可以包括至少一个子标记物，子标记物可以是具有一定形状的图案。作为一种方式，每个子标记物可具有一个或多个特征点，其中，特征点的形状不做限定，可以是圆点、圆环，也可以是三角形、其他形状。不同标记物内的子标记物的分布规则不同，因此，每个标记物可具备不同的身份信息，终端设备通过识别标记物中包含的子标记物，可以获取与标记物对应的身份信息，以区分相对不同标记物的相对位置信息，该身份信息可以是编码等可用于唯一标识标记物的信息，但不限于此。

[0049] 本实施例中，第一标记物可以设置于交互设备的控制面板上，以供终端设备对其进行识别并确定终端设备与交互设备的相对位置。

[0050] 在一些实施方式中，第一标记物可以贴附在交互设备控制面板表面，也可以集成于交互设备中。例如，第一标记物可以为固定呈现在交互设备控制面板上的图案；又如，当交互设备具有图像显示功能时，第一标记物可以为可选择性的呈现在交互设备的图像第一显示区域(该图像第一显示区域为实际的光学第一显示区域，例如显示屏幕，而非本实施例中交互设备上供AR/VR的虚拟内容进行显示的第一显示区域)上的图案。

[0051] 在一些实施方式中，交互设备上还可以设置有多个标记物，以实现不同的功能，或提升定位的准确性。例如，部分标记物用于定位终端设备与交互设备之间的相对位姿关系(相对位置关系和相对姿态关系)，部分标记物用于绑定虚拟内容供终端设备识别并显示。

[0052] 步骤S102：根据第一图像中的第一标记物确定与交互设备对应的第一显示区域，并显示第一虚拟内容。

[0053] 本实施例中，第一虚拟内容在虚拟空间中的第一显示位置与现实空间中交互设备的第一显示区域对应，用户通过终端设备可以看到第一虚拟内容与交互设备叠加进行显示。

[0054] 作为一种方式，终端设备在根据包含有第一标记物的第一图像对第一标记物与终端设备当前的相对位置和姿态进行确认后，可以进一步根据第一标记物在交互设备的位置信息，确定终端设备与交互设备以及交互设备上的其他区域的相对位置和姿态关系。

[0055] 本实施例中，交互设备对应的第一显示区域，可以是交互设备的控制面板上用于AR/VR的虚拟内容进行显示的第一显示区域。终端设备在确定交互设备对应的第一显示区域位置后，即可确定与该第一显示区域的相对空间位置信息，并根据该相对空间位置信息在与该第一显示区域对应的区域上叠加显示第一虚拟内容。

[0056] 在一个实施例中，交互设备对应的第一显示区域也可以不是在交互设备上的面板区域，也可以指的是与交互设备对应的现实显示空间，比如，可以是在交互设备上方的特定空间区域，或是相对于用户在交互设备前方的特定空间区域等。

[0057] 作为一种方式，第一虚拟内容对应的图像数据可以预存在终端设备中(也可以是从服务器或其他终端获取的)，并由用户选择进行显示。在一些实施方式中，用户可先通过终端设备或交互设备对需要进行显示的第一虚拟内容进行选择，再通过扫描交互设备上的第一标记物进行定位，最后在与交互设备的第一显示区域对应的第一显示位置上显示选择的第一虚拟内容。

[0058] 在一些实施方式中，终端设备可以直接构建虚拟内容或获取已构建的虚拟内容。作为一种方式，终端设备可根据交互设备上的第一标记物的身份信息构建虚拟内容，当识别图像中的第一标记物后，可获取与该第一标记物的身份信息对应的虚拟图像数据，并根据该虚拟图像数据构建虚拟内容，虚拟图像数据可包括用于建模的顶点数据、颜色数据、纹理数据等。不同身份信息的第一标记物可分别对应显示不同类型的虚拟内容，例如，身份信息为“编号1”的第一标记物显示的虚拟内容为三维虚拟汽车，“编号2”的第一标记物显示的虚拟内容为三维虚拟建筑等。作为另一种方式，虚拟内容的虚拟图像数据也可以是预先存储在终端设备中，当识别到不同身份信息的第一标记物时，均会直接根据预先存储的虚拟图像数据显示相应的虚拟内容，不受第一标记物的身份信息的影响。可选地，虚拟内容的虚拟图像数据也可对应存储在不同的应用程序缓存中，当终端设备切换不同的应用程序时，可显示不同类型的虚拟内容，例如，针对同一身份信息的第一标记物，应用程序A显示的是三维虚拟汽车，应用程序B显示的是三维虚拟建筑等。可以理解的是，显示的具体虚拟内容可根据实际需求进行设定，并不限于上述几种方式。

[0059] 如图6所示，具体的，当终端设备30为一体式头戴显示器时，佩戴终端设备30的用户可以通过AR/VR眼镜(可以是光学透镜，也可以是显示屏幕)看到交互设备10，并且可以看到叠加显示在该交互设备10的第一显示区域对应位置上的第一虚拟内容50(图6中第一虚拟内容50为3D医学人体模型)。

[0060] 步骤S103：显示与第一虚拟内容对应的第二虚拟内容。

[0061] 本实施例中，第二虚拟内容在虚拟空间中的第二显示位置与现实空间中预设的第二显示区域对应，用户通过终端设备可以看到第二虚拟内容叠加显示在预设的第二显示区域中。

[0062] 本实施例中，当终端设备在第一显示区域对应的虚拟空间中的第一显示位置显示第一虚拟内容后，可在与预设的第二显示区域对应的虚拟空间中的第二显示位置上显示该第二虚拟内容。作为一种方式，第二虚拟内容可以是和第一虚拟内容相同的虚拟内容，也可以是第一虚拟内容中的部分虚拟内容(或第一虚拟内容的子内容)，例如，当第一虚拟内容为3D医学人体模型时，第二虚拟内容可以是3D医学人体模型，也可以是3D医学人体模型内的器官、骨骼等。

[0063] 在一些实施方式中，第二虚拟内容的第二显示位置，可以与现实环境中的某个位置固定关联，例如终端设备可以通过设置于环境中的另一标记物对该标记物进行定位，并在与该标记物对应的位置上显示从第一虚拟内容中选取的第二虚拟内容。在另一些实施方式中，第二虚拟内容的第二显示位置，还可以与现实环境中的位置无固定关联，例如可以预先划定位于第一虚拟内容对应的第一显示区域前方2米处(方位以及距离可以是任意的)为显示第二虚拟内容的第二显示区域，该第二显示区域可与第二虚拟内容在虚拟空间中的渲染坐标关联，并在该第二显示区域对应在虚拟空间中的第二显示位置中渲染并显示第二虚拟内容。

[0064] 作为一种方式，第二虚拟内容的第二显示区域还可以在交互设备上，与第一显示区域并列。例如，用户通过终端设备可以看到，在虚拟空间中与交互设备对应的位置上，并列显示有不同姿态的第一、第二虚拟内容。

[0065] 作为一种方式，显示的第二虚拟内容，可以与显示的第一虚拟内容尺寸相同，也可以对第一虚拟内容进行放大或缩小后进行显示。在一些实施方式中，当终端设备进行虚拟内容显示的过程中，用户还可以通过其他方式例如、通过交互设备上的触控区域触控等方式与显示的虚拟内容进行交互，以及通过连接服务器与多台连接同一服务器的不同终端设备进行数据同步更新，以实现同一虚拟场景内的多人互动。

[0066] 在一些具体的应用场景中，例如，当交互设备的第一显示区域对应位置显示的第一虚拟内容为车辆时，用户可以通过在预设的第二显示区域对应的第二显示位置显示该车辆放大后的图像，以更灵活的观看车辆整体结构的细节，其有助于用户了解车辆内部的分解结构，若显示的虚拟内容的图像数据为实体扫描故障车辆得到的三维建模数据，该显示方法还有助于用户检查存在故障的车辆部位。

[0067] 又如，当交互设备的第一显示区域对应位置显示的第一虚拟内容为游戏装备时，用户可以选取游戏装备的武器、防具等部位作为第二虚拟内容进行投放显示，还可以通过放大或缩小显示的虚拟内容以观赏游戏装备的建模和特效细节，带给用户更为真实的游戏体验。

[0068] 上述的举例只是本实施例提供的虚拟内容的显示方法的部分实际应用，可以理解的是，随着AR/VR技术的进一步发展与普及，本实施例提供的虚拟内容的显示方法可以在更多的实际应用场景中发挥作用。

[0069] 本申请实施例提供的虚拟内容的显示方法，在交互设备上显示虚拟内容后，可以在另一区域上投放显示对应的虚拟内容，提高AR/VR的交互性。

[0070] 请参阅图7，图7示出了本申请实施例提供的另一种虚拟内容的显示方法的流程示意图。下面将针对图7所示的流程进行详细的阐述。上述的虚拟内容的显示方法具体地可以包括以下步骤：

[0071] 步骤S201：采集包含第一标记物的第一图像。

[0072] 本实施例中，终端设备可以通过摄像模组采集包含第一标记物的图像，以对第一标记物进行识别。可以理解的是，在其他可能的实施方式中，终端设备还可以通过其他传感器模组对第一标记物进行识别。

[0073] 步骤S202：识别第一图像中的第一标记物，获取交互设备与终端设备的第一相对位姿信息。

[0074] 本实施例中，第一相对位姿信息包括交互设备与终端设备的相对位置信息和相对姿态信息。

[0075] 在一些实施方式中，终端设备可以根据第一图像中的第一标记物中每个特征图形的坐标数据等，计算第一标记物相对于终端设备的位置信息和姿态信息等，其中，坐标数据可包括在第一图像中的像素坐标以及物理坐标等。作为一种方式，终端设备可以将第一标记物相对终端设备的位置信息和姿态信息等作为终端设备与交互设备的第一相对位姿信息。进一步地，终端设备也可以根据第一标记物相对于整个交互设备的位置关系，以及第一标记物相对于终端设备的位置信息及姿态信息等，确定终端设备与交互设备之间的第一相对位姿信息，以更加准确得到终端设备与交互设备之间的相对位姿关系。

[0076] 步骤S203：根据第一相对位姿信息确定与交互设备对应的第一显示区域，并显示第一虚拟内容。

[0077] 本实施例中，终端设备在获取与交互设备的第一相对位姿信息之后，可以根据交互设备对应的第一显示区域与整个交互设备的相对位姿关系，计算出交互设备对应的第一显示区域与终端设备之间的相对位姿关系，并可根据第一显示区域与终端设备之间的相对位姿关系确定第一虚拟内容的渲染坐标，再根据该渲染坐标渲染并显示第一虚拟内容，该渲染坐标可用于表示虚拟空间中显示的第一虚拟内容与终端设备的相对空间位置关系。

[0078] 作为一种方式，终端设备可将现实空间中的终端设备与交互设备的第一相对位姿关系转换为虚拟空间的第一相对坐标信息，进一步地，可以将现实空间中的终端设备与第一显示区域的相对位姿关系转换为虚拟空间的第一相对坐标信息，并根据该第一相对坐标信息计算第一虚拟内容在虚拟空间中的渲染坐标，从而可准确地在交互设备对应的第一显示区域上显示第一虚拟内容。

[0079] 在一些实施方式中，终端设备可先获取交互设备对应的第一显示区域的位置信息，该位置信息可包括第一显示区域与交互设备上的第一标记物之间的相对位置关系。交互设备的第一显示区域的位置信息可以是预先存储在终端设备上的，也可以是由终端设备采集包含交互设备的图像，识别图像中的交互设备，并按照预设的划分规则划分交互设备的第一显示区域。其中，划分规则可以设定第一显示区域的大小、第一显示区域相对交互设备的位置、第一显示区域的面积占交互设备面积的比例等，比如，可以设定交互设备相对用户50％的右边区域为第一显示区域，或是设定交互设备上除标记物设置区域、触控区域外的区域为第一显示区域，或是整个交互设备作为第一显示区域，也可以将第一标记物所处的区域作为第一显示区域，或是将与整个交互设备相关联的其他区域作为第一显示区域等，但不限于此。

[0080] 终端设备获取交互设备对应的第一显示区域与第一标记物之间的相对位置关系后，可根据终端设备与交互设备之间的第一相对位姿信息等，得到终端设备与交互设备对应的第一显示区域的相对位姿关系，以确定与交互设备对应的第一显示区域。

[0081] 步骤S204：采集包含第二标记物的第二图像。

[0082] 本实施例中，第二标记物为设置于场景中的标记物。作为一种方式，场景可以是现实环境中用户当前所处的AR/VR场景，该场景中可在多个位置设置有多个不同的标记物以实现不同的功能，第二标记物为其中一种，可用于确定第二虚拟内容与现实环境叠加显示的第二显示区域。

[0083] 本实施例中，在采集包含第二标记物的第二图像之后，即可根据第二图像中的第二标记物确定与第二标记物对应的第二显示区域，并显示与第一虚拟内容对应的第二虚拟内容。作为一种方式，在步骤S204之后，可以进行步骤S205。

[0084] 步骤S205：识别第二图像中的第二标记物，获取终端设备与第二标记物的第二相对位姿信息。

[0085] 本实施例中，第二相对位姿信息包括第二标记物与终端设备的相对位置信息和相对姿态信息。

[0086] 在一些实施方式中，终端设备可以通过类似于获取第一相对位姿信息的方式，根据包含第二标记物的第二图像计算第二标记物与终端设备之间的相对位置关系与相对姿态关系，以获得终端设备与第二标记物的第二相对位姿信息。作为一种方式，在获取第二相对位姿信息后，可对与第二标记物对应的第二显示区域进行定位。

[0087] 步骤S206：根据第二相对位姿信息确定与第二标记物对应的第二显示区域，并显示与第一虚拟内容对应的第二虚拟内容。

[0088] 本实施例中，在获取第二相对位姿信息后，终端设备可以通过类似于确定与交互设备对应的第一显示区域的方式，确定与第二标记物对应的第二显示区域，并确定与第二显示区域对应的用于显示第二虚拟内容的渲染坐标，再根据该渲染坐标渲染并显示第二虚拟内容，该渲染坐标可用于表示虚拟空间中显示的第二虚拟内容与终端设备的相对空间位置关系。

[0089] 作为一种方式，第二虚拟内容可以是放大的第一虚拟内容，以便于用户对虚拟内容中的细节进行放大观看。终端设备可按照预设的放大倍数对第一虚拟内容进行放大，得到第二虚拟内容，并对第二虚拟内容进行显示。本实施例中，在显示第一虚拟内容及第二虚拟内容后，用户还可通过交互设备与第一虚拟内容及第二虚拟内容进行交互。

[0090] 步骤S207：获取交互设备基于检测到的触控动作生成的与触控动作对应的操控指令。

[0091] 步骤S208：根据操控指令，改变第一虚拟内容以及第二虚拟内容的显示方式。

[0092] 本实施例中，可以通过交互设备上的触控区域检测用户的触控动作，并生成与触控动作对应的操控指令，终端设备再接收由交互设备发送的该操控指令，以根据该操控指令改变第一虚拟内容以及第二虚拟内容的显示方式。

[0093] 作为一种方式，第二虚拟内容的显示方式可以是跟随第一虚拟内容同步改变的。作为另一种方式，交互设备的控制面板上还可设置分别对应于第一虚拟内容和第二虚拟内容的不同的触控区域，不同的触控区域用于分别控制第一虚拟内容和第二虚拟内容的显示方式。

[0094] 在一些实施方式中，触控动作可包括但不限于作用于触控区域的单指滑动、点击、按压、多指配合滑动等。该操控指令用于控制虚拟内容的显示，其可以是控制该虚拟内容旋转、放大、缩小、施展特定的动作效果，或者将该虚拟内容切换为新的虚拟内容，也可以是再加入新的虚拟内容至当前的增强现实场景中。

[0095] 在一些实施方式中，根据不同的虚拟内容，同一个触控动作可以对应于不同的操控指令，则获取通过触控区域检测到的触控动作后，根据当前显示的虚拟类型以及触控动作，生成与该触控动作对应的操控指令。例如，当虚拟内容为车辆时：触控区域检测到的触控动作为相对用户向左滑动时，则生成开启车门的操控指令；触控区域检测到的触控动作为相对用户向右滑动时，则生成关闭车门的操控指令；触控区域检测到的触控动作为双击时，则生成打开车灯的操控指令。又如，当虚拟内容为3D医学人体模型时：触控区域检测到的触控动作为向左滑动时，则生成变换为3D3肌肉解剖模型的操控指令；触控区域检测到的触控动作为向右滑动时，则生成变换为3D骨骼解剖模型的操控指令；触控区域检测到的触控动作为双击时，则生成变换为3D神经解剖模型的操控指令。

[0096] 请参照图8A，在一些实施方式中，在终端设备显示虚拟内容时，当获取到交互设备的触控区域检测到的触控动作为单指相对用户向左或向右滑动时，生成切换显示的新的虚拟内容的控制指令，例如该控制指令为控制终端设备将当前显示的3D医学人体模型切换成虚拟建筑模型或虚拟汽车等新的虚拟内容；当获取到触控区域检测到的触控动作为单指相对用户向上或向下滑动时，生成控制当前虚拟内容的控制指令，例如该控制指令为控制终端设备调节当前显示的3D医学人体模型进行旋转、平移等。

[0097] 请参照图8B、图8C，在一些实施方式中，在终端设备显示虚拟内容时，当获取到触控区域检测到的触控动作为双指的距离相对收缩合并时，生成缩小当前显示的虚拟内容的控制指令，例如该控制指令为控制当前显示的3D医学人体模型缩小；当获取到触控区域检测到的触控动作为双指的距离相对扩大远离时，生成放大当前显示的虚拟内容的控制指令，例如该控制指令为控制当前显示的3D医学人体模型放大。

[0098] 在一些实施方式中，交互设备的触控区域还包括压力区，压力区设有压力传感器，可根据压力区检测到的压力数据，生成控制指令。作为一种方式，通过压力区获取的控制指令可以控制虚拟内容以变形状态进行显示，例如使虚拟内容显示为受外力挤压而变形的状态。进一步地，根据压力区检测的压力数据，可采用预设的函数关系计算虚拟内容的变形状态。例如，虚拟内容的形变量与压力值成正比关系，压力值越大，虚拟内容的形变量越大，甚至，压力值超过设定阈值时，可以执行预设的图像显示动作(例如：虚拟内容爆炸或消失、切换虚拟内容等)。作为另一种方式，通过压力区获取的控制指令还可以控制虚拟内容的显示状态，使虚拟内容显示的显示状态(如色彩渐变、亮度或者透明度等状态)跟随压力大小而改变。具体而言，根据预设的压力阈值，将压力区获取的实际压力与压力阈值相比较，根据二者的比值控制虚拟内容的显示状态的变化量。

[0099] 在一些实施方式中，交互设备的触控区域还可以包括控制区，显示的虚拟内容可以包括虚拟交互界面，也即，终端设备呈现给用户具有虚拟交互界面的虚拟内容，控制区与虚拟交互界面相对应。其中，虚拟交互空间的形式可以包括但不限于包括：按钮、弹窗、列表等。在一些具体的实例中，终端设备显示虚拟内容时，虚拟内容的虚拟交互界面可以呈现交互菜单，则交互装置的控制区与交互菜单相对应，通过获取控制区的触控动作，能够实现对交互菜单的选择或/及输入。例如，当显示的虚拟内容呈现为台灯时，若用户双击触控区域，虚拟内容的虚拟交互界面呈现“是否需要关灯”、“是”、“否”的选择菜单按钮，同时触控区域包括对应于“是”按钮的第一控制区以及对应于“否”按钮的第二控制区，通过获取第一控制区及第二控制区的触控动作，若第一控制区接收到触控动作，则生成“是”并关灯的控制指令，所第二控制区接收到触控动作，则生成“否”并维持台灯当前状态不变的控制指令。

[0100] 进一步地，本实施例中，终端设备不仅可对当前操作交互设备的用户显示对应的虚拟内容，还可以通过Wi-Fi网络、蓝牙、近场通信等方式与近距离环境或远距离环境中的其他终端设备进行数据共享，以使其他没有操作交互设备但佩戴有终端设备的用户也能够看到相应的虚拟内容。

[0101] 步骤S209：与其他终端设备建立通信连接。

[0102] 步骤S210：向其他终端设备发送与第二虚拟内容对应的虚拟图像数据。

[0103] 本实施例中，虚拟图像数据用于在其他终端设备中显示第二虚拟内容。

[0104] 本实施例中，发送至其他终端设备的虚拟图像数据可以包括第二虚拟内容的虚拟模型数据以及在虚拟空间中的渲染坐标，虚拟模型数据为用于其他终端设备在虚拟空间中渲染并显示第二虚拟内容的数据，其可以包括用于建立第二虚拟内容对应的模型的颜色、3D模型中的各顶点坐标等。

[0105] 在一些实施方式中，该虚拟图像数据还可以包括共享指令，该共享指令用于指示其他终端设备采集包含第二标记物的第三图像，识别第二标记物，并获取与第二标记物对应的第二显示区域的相对空间位置信息，再根据该相对空间位置信息显示第二虚拟内容。

[0106] 在一些实施方式中，根据其他终端设备所在的位置不同，共享显示虚拟内容的模式至少包括：近场共享模式以及远场共享模式。

[0107] 作为一种近场共享模式的实施场景，当其他终端设备与连接有交互设备的主终端设备(即本实施例中显示第一虚拟内容以及第二虚拟内容的终端设备)处于同一场景(或同一真实环境)内时，其他终端设备与主终端设备均能识别到该场景中设置的同一第二标记物。此时，当主终端设备通过识别场景中的第二标记物确定第二显示区域，并在与第二显示区域对应的虚拟空间中的第二显示位置上显示第二虚拟内容时，可以向位于同一场景中的其他终端设备通过Wi-Fi网络、蓝牙、近场通信等方式发送与第二虚拟内容对应的虚拟图像数据。当同一场景中的其他终端设备获取由主终端设备发送的第二虚拟内容的虚拟图像数据后，可根据该虚拟图像数据中的共享指令，开启近场共享显示模式。此时，其他终端设备可通过采集包含第二标记物的第三图像，确定与第二标记物对应的第二显示区域，获取与该第二显示区域的相对空间位置信息，并进一步根据该相对空间位置信息确定第二虚拟内容在虚拟空间中的第三显示位置，再通过获取的第二虚拟内容的虚拟图像数据在虚拟空间中的第三显示位置渲染并显示第二虚拟内容。

[0108] 作为一种远场共享模式的实施场景，当其他终端设备与连接有交互设备的主终端设备处于不同场景(例如地理位置相距较远的不同房间)时，主终端设备能够识别到设置在主场景(主终端设备所在的场景)中的第二标记物，其他终端设备也能够识别到设置在其他终端设备所在的副场景中的第三标记物，可以理解的是，主场景中的第二标记物与副场景中的第三标记物虽不是同一标记物，但是可以为身份信息互相关联的标记物。此时，当主终端设备通过识别场景中的第二标记物确定第二显示区域，并在与第二显示区域对应的虚拟空间中的第二显示位置上显示第二虚拟内容时，可以向位于副场景中的其他终端设备通过连接同一服务器的无线通信网络发送与第二虚拟内容对应的虚拟图像数据。当副场景中的其他终端设备获取由主终端设备发送的第二虚拟内容的虚拟图像数据后，可根据该虚拟图像数据中的共享指令，开启远场共享显示模式。此时，其他终端设备可通过采集包含第三标记物的图像，确定与第三标记物对应的第三显示区域，并进一步确定与第三显示区域之间的相对位置关系，从而可根据该相对位置关系获取在虚拟空间中对应的第三显示位置，再通过获取的第二虚拟内容的虚拟图像数据在虚拟空间中的第三显示位置渲染并显示第二虚拟内容。

[0109] 在远场共享模式中，作为一种方式，第二标记物及第三标记物均具有其在现实环境中的方位(可以根据标记物上的子标记物及特征点的位置分布，划分该标记物的前方、后方、左侧、右侧等方位)，可将第二标记物与第三标记物在现实环境中的方位相关联(即第二标记物与第三标记物均具有相关联的前方、后方、左侧、右侧等方位)。例如，主终端设备位于主场景中相对于第二标记物的前方的位置时，显示的第二虚拟内容为正面朝向主终端设备的方向，此时，与主终端设备建立远场共享的其他终端设备位于副场景中相对于第三标记物的后方的位置，则其他终端设备在第三显示区域对应的虚拟空间中的第三显示位置上显示的第二虚拟内容可以是背面朝向其他终端设备的方向。

[0110] 在远场共享模式中，作为另一种方式，其他终端设备显示的第二虚拟内容的方向，还可以是与主终端设备所显示的第二虚拟内容保持一致的，例如当主终端设备位于主场景中相对于第二标记物的前方，且其他终端设备位于副场景中相对于第三标记物的后方时，主终端设备与其他终端设备显示的第二虚拟内容均为朝向其各自的方向。

[0111] 在近场共享模式中，位于同一场景中的其他终端设备显示的第二虚拟内容，可以根据自身相对于第二标记物的相对空间位置信息的不同，与主终端设备显示方向不同的第二虚拟内容；也可以忽视自身与第二标记物的相对空间位置，显示与主终端设备显示的第二虚拟内容保持方向一致的虚拟图像。

[0112] 可以理解的是，其他终端设备能够根据其各自相对于第二标记物或第三标记物的相对空间位置信息，在其各自的显示屏幕上显示出不同位置、视角的虚拟内容，也可以显示出相同位置、视角的虚拟内容，本实施例在此不作限定，只需能够实现虚拟显示内容的多人交互即可。

[0113] 作为一种方式，本实施例中，在用户结束终端设备的使用后，终端设备还可以将用户在使用过程中的操作记录(例如选择显示了哪些虚拟内容，进行了怎样的交互动作等)通过日志的形式上传至服务器，以便于后续进行用户喜好的统计以及虚拟显示体验的优化等用途。

[0114] 本申请实施例提供的虚拟内容的显示方法，可以通过第二标记物定位第二虚拟内容在虚拟空间中的第二显示位置，且可通过共享数据实现虚拟显示内容的近场或远场的多人交互，进一步提升了多个用户与虚拟内容的交互性，可适用于AR/VR远程会议、教学等应用。

[0115] 请参阅图9，图9示出了本申请实施例提供的一种虚拟内容的显示装置300的模块框图。下面将针对图9所示的模块框图进行阐述，虚拟内容的显示装置300包括：采集模块310、第一显示模块320以及第二显示模块330，其中：采集模块310，用于采集包含第一标记物的第一图像，第一标记物为设置于交互设备上的标记物。

[0116] 第一显示模块320，用于根据第一图像中的第一标记物确定与交互设备对应的第一显示区域，并显示第一虚拟内容，第一虚拟内容的第一显示位置与第一显示区域对应。进一步地，第一显示模块320包括：识别单元，用于识别第一图像中的第一标记物，获取交互设备与终端设备的第一相对位姿信息，第一相对位姿信息包括交互设备与终端设备的相对位置信息和相对姿态信息；第一显示单元，用于根据第一相对位姿信息确定与交互设备对应的第一显示区域，并显示第一虚拟内容；第二显示模块330，用于显示与第一虚拟内容对应的第二虚拟内容，第二虚拟内容的第二显示位置与预设的第二显示区域对应。

[0117] 第二显示模块330包括：采集单元，用于采集包含第二标记物的第二图像；第二显示单元，用于根据第二图像中的第二标记物确定与第二标记物对应的第二显示区域，并显示与第一虚拟内容对应的第二虚拟内容。进一步地，第二显示单元包括：识别子单元，用于识别第二图像中的第二标记物，获取终端设备与第二标记物的第二相对位姿信息，第二相对位姿信息包括终端设备与第二标记物的相对位置信息和相对姿态信息；显示子单元，用于根据第二相对位姿信息确定与第二标记物对应的第二显示区域，并显示与第一虚拟内容对应的第二虚拟内容。

[0118] 虚拟内容的显示装置300还可以包括：获取模块，用于获取交互设备基于检测到的触控动作生成的与触控动作对应的操控指令；改变模块，用于根据操控指令，改变第一虚拟内容以及第二虚拟内容的显示方式；通信模块，用于与其他终端设备建立通信连接；共享模块，用于向其他终端设备发送与第二虚拟内容对应的虚拟图像数据，虚拟图像数据用于在其他终端设备中显示第二虚拟内容。进一步地，虚拟图像数据还用于指示其他终端设备采集包含第二标记物的第三图像，识别第二标记物，获取与第二显示区域的相对空间位置信息，再根据相对空间位置信息显示第二虚拟内容。

[0119] 请参照图10，本申请实施例提供了一种交互设备400，交互设备400包括基板410、控制面板430以及第一标记物450，控制面板430设置于基板410上，第一标记物450集成于控制面板430中。在本实施方式中，交互设备400大致为平板结构。其中，基板410可以为板状结构，也可以为壳体结构，其用于承载控制面板430。

[0120] 控制面板430叠置于基板410的一侧，用于接收用户的操控指令以利于交互设备400生成图像控制指令。控制面板430具有触控区域431且划分有显示区域433。

[0121] 触控区域431用于接收用户的操控指令。在一些实施方式中，触控区域431可以包括触摸屏，通过检测触摸屏的触摸状态，若判断按触摸屏产生触摸信号，则认为触控区域431接收到操控指令。在一些实施方式中，触控区域431包括按键，通过检测按键的按压状态，若判断按键产生压力信号，则认为触控区域431接收到操控指令。在一些实施方式中，触控区域431可以为多个，多个触控区域431包括触摸屏、按键中的至少一个。

[0122] 第一标记物450为集成于控制面板430的显示区域433的平面第一标记物，其可以为预定符号或图案。第一标记物450用于由终端设备识别后，以虚拟模型的形式显示在终端设备。

[0123] 交互设备400还包括滤光层470，滤光层470叠置于第一标记物450背离基板410的一侧。滤光层470用于过滤除终端设备的照明装置射向第一标记物450的光线之外的光线，避免第一标记物450在反射光线时受到环境光线的影响，从而使得第一标记物450更容易被识别。在一些实施方式中，滤光层470的滤光性能可以根据实际需要设置。例如，当第一标记物450进入相机的视场中以被识别时，为了提高识别效率，相机通常借助辅助光源进行辅助采集图像，例如，采用红外光源进行辅助时，滤光层470则用于过滤除红外光以外的光(如可见光、紫外光等)，使除红外光以外的光无法穿过滤光层470而红外光可穿过并抵达第一标记物450。当辅助光源将红外光投射至第一标记物450，滤光层470会过滤除红外光以外的环境光，使仅有红外光到达第一标记物450并被第一标记物450反射至近红外的图像采集装置中，从而能够降低环境光线对识别过程的影响。

[0124] 在一些实施方式中，控制面板430还可以包括压力区(图中未标出)，压力区设有压力传感器，压力传感器用于感测外界压力，使交互设备400根据外界压力生成对应的控制指令。压力区可以设置在控制面板430的部分区域，也可以完全覆盖控制面板430的表面，还可以与上述的触控区域431或/及显示区域433重叠或者并列或者间隔设置。

[0125] 在图10所示的实施方式中，触控区域431与显示区域433并列设置，第一标记物450叠置于显示区域433上。在其他的实施方式中，触控区域431与显示区域433可以为重叠设置，例如，触控区域431为透明触控屏，其叠置于显示区域433上，第一标记物450设置于触控区域431与显示区域433之间，如此，能够进一步减小交互设备400的体积，提高其便携性。

[0126] 本申请实施例提供了一种终端设备，其包括显示器、存储器以及处理器，显示器和存储器耦接到处理器，存储器存储指令，当指令由处理器执行时执行：采集包含第一标记物的第一图像，第一标记物为设置于交互设备上的标记物；根据第一图像中的第一标记物确定与交互设备对应的第一显示区域，并显示第一虚拟内容，第一虚拟内容的第一显示位置与第一显示区域对应；显示与第一虚拟内容对应的第二虚拟内容，第二虚拟内容的第二显示位置与预设的第二显示区域对应。

[0127] 本申请实施例提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行：采集包含第一标记物的第一图像，第一标记物为设置于交互设备上的标记物；根据第一图像中的第一标记物确定与交互设备对应的第一显示区域，并显示第一虚拟内容，第一虚拟内容的第一显示位置与第一显示区域对应；显示与第一虚拟内容对应的第二虚拟内容，第二虚拟内容的第二显示位置与预设的第二显示区域对应。

[0128] 本申请中的标记物显示出的具体图案不受限制，其可以为任意供终端设备的相机获取的图案。例如，标记物的具体图案可以为以下任意图案中的一种或多种的组合：圆形，三角形、矩形、椭圆形、波浪线、直线、曲线等等，并不局限于本说明书所描述。在其他实施方式中，标记物可以为其他类型的图案，而使标记物能够较为有效地以被相机识别。例如，标记物的具体图案可以为在相机能够分辨的几何图形(如圆形，三角形、矩形、椭圆形、波浪线、直线、曲线等等)、预定图案(如动物头像、常用示意符号例如交通标志等)或者其他的图案以形成标记物，并不局限于本说明书所描述。在其他实施方式中，标记物可以为条形码、二维码等识别码。

[0129] 综上所述，本申请实施例提供的虚拟内容的显示方法、装置、终端设备及交互设备，先采集包含第一标记物的第一图像，第一标记物为设置于交互设备上的标记物；然后根据第一图像中的第一标记物确定与交互设备对应的第一显示区域，并显示第一虚拟内容，第一虚拟内容的第一显示位置与第一显示区域对应；获取选取指令；最后根据选取指令从第一虚拟内容中选取第二虚拟内容，并显示第二虚拟内容。本申请实施例在交互设备上显示虚拟内容后，可以在另一区域上投放显示对应的虚拟内容，提高AR/VR的交互性。

[0130] 应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

[0131] 本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

[0132] 最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。在不冲突的情况下，上述的实施例之间可以相互结合，各实施例的特征之间也可以相互结合，并不以实施例为限定。

标题	发布/更新时间	阅读量
一种基于VR的突发事件应急响应实训系统、方法及设备	2020-05-08	736
基于沉浸式的手脚部混合的注意力测训装置及系统	2020-05-11	649
语言学习系统以及语言学习程序	2020-05-11	359
基于会员搜索喜好的商品展示方法	2020-05-08	277
设备控制方法、装置、显示设备及存储介质	2020-05-08	528
一种基于虚拟现实的机器人行为控制方法	2020-05-11	921
镜像治疗的增强现实手功能康复训练装置	2020-05-08	272
一种VR设备以及视差图的采集方法	2020-05-08	378
一种基于自由曲面和菲涅尔面的机器视觉光源装置	2020-05-08	20
一种独立轴支撑、变向的动感平台	2020-05-08	468

虚拟内容的显示方法、装置、终端设备及交互设备

虚拟内容的显示方法、装置、终端设备及交互设备

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：