VR-AR一体机终端真人远程交互方法以及基于其的系统专利检索-框图企业组织专利检索查询-专利查询网

VR-AR一体机终端真人远程交互方法以及基于其的系统

阅读：963发布：2020-06-11

专利汇可以提供VR-AR一体机终端真人远程交互方法以及基于其的系统专利检索，专利查询，专利分析的服务。并且本发明提供了VR-AR一体机终端真人远程交互方法，包括如下步骤：S1、同时云端处理服务器从视频采集设备和一体机终端设备分别获取编码预处理视频流和编码音频流；S2、云端处理服务器对编码预处理视频流和编码音频流进行处理，得到目标视频流以及音频流；S3、云端处理服务器将目标视频流以及音频流同步形成音视频流；S4、云端处理服务器对音视频流进行混合压缩编码；S5、一体机终端设备从云端服务器获取混合压缩编码后的音视频流。R-AR一体机终端真人远程交互方法以及基于其的系统解决现有技术中将AR或VR设备的语音采集功能与视频采集设备的图像采集功能相结合而导致AR或VR设备的功能不能得到充分利用的问题。，下面是VR-AR一体机终端真人远程交互方法以及基于其的系统专利的具体信息内容。

权利要求

1.一种VR-AR一体机终端真人远程交互方法，其特征在于，包括如下步骤：
S1、同时云端处理服务器从视频采集设备和一体机终端设备分别获取编码预处理视频流和编码音频流；
S2、云端处理服务器对编码预处理视频流和编码音频流进行处理，得到目标视频流以及音频流；
S3、云端处理服务器将目标视频流以及音频流同步形成音视频流；
S4、云端处理服务器对音视频流进行混合压缩编码；
S5、一体机终端设备从云端服务器获取混合压缩编码后的音视频流；
S6、一体机终端设备对混合压缩编码后的音视频流解码，得到音视频流；
S7、一体机终端设备播放音视频流。
2.根据权利要求1所述的VR-AR一体机终端真人远程交互方法，其特征在于，步骤S1中云端处理服务器从视频采集设备获取编码预处理视频流的步骤包括：
S111、视频采集设备的视频采集单元采集视频流，视频采集设备的控制单元获得视频流；
S112、视频采集设备的控制单元对视频中的图片进行初次扣像处理得到预处理视频流，预处理视频流中图片为通过结合深度摄像头采集的深度信息数据，得出一个人体大致形态的框图，框图中包含后续进一步运算扣像所需要的深度信息初次扣像处理；
S113、视频采集设备的控制单元采用4：2：2格式图像压缩编码技术对预处理视频流仅编码，得到编码预处理视频流；
S114、视频采集设备控制单元通过视频采集设备的通信单元向云端处理服务器发送编码预处理视频流。
3.根据权利要求1或2所述的VR-AR一体机终端真人远程交互方法，其特征在于，步骤S1中云端处理服务器从一体机终端设备获取编码音频流的步骤包括：
S121、一体机终端设备上的麦克风采集音频流，一体机终端设备内的控制器获取麦克风采集的音频流；
S122、一体机终端设备内的控制器采用AAC音频压缩编码技术对音频流进行编码，得到编码音频流；
S123、一体机终端设备控制器通过通信模块向云端处理服务器发送编码音频流，云端处理服务器获得编码音频流。
4.根据权利要求3所述的VR-AR一体机终端真人远程交互方法，其特征在于，步骤S2中云端处理服务器对编码预处理视频流进行处理的步骤包括：
S211、云端处理服务器对编码预处理视频流进行解码得到预处理视频流；
S212、云端处理服务器对预处理视频流中每帧视频图像进行云端后期人物细化抠像处理，以得到无背景的人物视频流；
S213、云端处理服务器对无背景的人物视频流中每帧视频图像进行人物画面效果动态增强处理，得到目标视频流。
5.根据权利要求4所述的VR-AR一体机终端真人远程交互方法，其特征在于，步骤S2中云端处理服务器对编码音频流进行处理的步骤包括：将编码音频流进行解码得到音频流。
6.根据权利要求5所述的VR-AR一体机终端真人远程交互方法，其特征在于，步骤S3具体为：将目标视频流中每帧图像与音频流中每个音频按时间对齐，得到同步后的音视频流。
7.一种基于VR-AR一体机终端真人远程交互方法的系统，其特征在于，包括：一体机终端设备、视频采集设备以及云端处理服务器，一体机终端设备以及视频采集设备均与云端处理服务器通信连接；
一体机终端设备用于通过采样和编码得到编码音频流，接收云端处理服务器的混合压缩编码后的音视频流，对混合压缩编码后的音视频流解码得到音视频流，并播放音视频流；
视频采集设备用于采用、预处理和编码得到编码预处理视频流；
云端处理服务器用于对编码预处理视频流和编码音频流进行处理得到目标视频流以及音频流，将目标视频流以及音频流同步形成音视频流，并对音视频流进行混合压缩编码。
8.根据权利要求7所述的基于VR-AR一体机终端真人远程交互方法的系统，其特征在于，一体机终端设备为AR设备或VR设备。

说明书全文

VR-AR一体机终端真人远程交互方法以及基于其的系统

技术领域

[0001] 本发明涉及实现远程教育虚拟实景的领域，具体涉及一种VR-AR一体机终端真人远程交互方法以及基于其的系统。

背景技术

[0002] 中国专利公开了申请号为CN201810124075.9的图像数据处理方法及装置、计算机装置及可读存储介质，其中，所述图像数据处理方法包括：若将采集到的YUV编码图像转换成的RGB图像包括抠图目标，则从所述RGB图像中抠取目标图像；对所述目标图像进行编码处理得到待传输图像数据，其中，所述待传输图像数据包括YUV422平面格式数据及alpha通道数据。虽然该方法可降低现有进行虚拟场景或360度全景视频中传输图像数据的频宽，但是存在的问题：

[0003] 再加上，现有技术有用AR或VR技术实现模型模拟会议展开等，利用AR或VR技术可以将学生更加容易带入到学习模拟场景中，上述图像处理虽然实现了将学生真实动作图片与场景结合在一起，而一般的视频采集设备没有语音采集功能，并且视频采集设备传输图像数据的通道由于数据量较大，如果还承担音频流的传输功能导致视频采集设备传输通道负担较重，而一般AR或VR设备具有语音采集功能，但是现有技术不能将AR或VR设备的语音采集功能与视频采集设备的图像采集功能相结合，导致AR或VR设备的功能不能得到充分利用。

发明内容

[0004] 本发明要提供一种VR-AR一体机终端真人远程交互方法以及基于其的系统，解决现有技术中将AR或VR设备的语音采集功能与视频采集设备的图像采集功能相结合而导致AR或VR设备的功能不能得到充分利用的问题。

[0005] 为实现上述目的，本发明采用了如下的技术方案：

[0006] 本发明首先提出一种VR-AR一体机终端真人远程交互方法，包括如下步骤：

[0007] S1、同时云端处理服务器从视频采集设备和一体机终端设备分别获取编码预处理视频流和编码音频流；

[0008] S2、云端处理服务器对编码预处理视频流和编码音频流进行处理，得到目标视频流以及音频流；

[0009] S3、云端处理服务器将目标视频流以及音频流同步形成音视频流；

[0010] S4、云端处理服务器对音视频流进行混合压缩编码；

[0011] S5、一体机终端设备从云端服务器获取混合压缩编码后的音视频流；

[0012] S6、一体机终端设备对混合压缩编码后的音视频流解码，得到音视频流；

[0013] S7、一体机终端设备播放音视频流。

[0014] 本发明还提供一种基于VR-AR一体机终端真人远程交互方法的系统，包括：一体机终端设备、视频采集设备以及云端处理服务器，一体机终端设备以及视频采集设备均与云端处理服务器通信连接；

[0015] 一体机终端设备用于通过采样和编码得到编码音频流，接收云端处理服务器的混合压缩编码后的音视频流，对混合压缩编码后的音视频流解码得到音视频流，并播放音视频流；

[0016] 视频采集设备用于采用、预处理和编码得到编码预处理视频流；

[0017] 云端处理服务器用于对编码预处理视频流和编码音频流进行处理得到目标视频流以及音频流，将目标视频流以及音频流同步形成音视频流，并对音视频流进行混合压缩编码。

[0018] 相比于现有技术，本发明具有如下有益效果：

[0019] 一体机终端设备具有语音采集和视频播放双重功能，实现了语音和视频分开检测，且实现了语音和视频分开检测后通过时间对准，将语音和视频叠加在一起，避免了因语音和视频分开检测而导致语音和视频对比上的现象出现，保证了播放是语音不会和视频上的口形出现错乱想象，提高了使用体验，这样可以将一体机终端设备的语音采集功能运用起来，且保证语音和视频不会错乱。

[0020] 本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

具体实施方式

[0021] 为了使本发明实现的技术手段、创作特征、达成目的与作用更加清楚及易于了解，下面结合具体实施方式对本发明作进一步阐述：

[0022] 实施例1：

[0023] 本发明提出了一种VR-AR一体机终端真人远程交互方法，包括如下步骤：

[0024] S1、同时云端处理服务器从视频采集设备和一体机终端设备分别获取编码预处理视频流和编码音频流；

[0025] S2、云端处理服务器对编码预处理视频流和编码音频流进行处理，得到目标视频流以及音频流；

[0026] S3、云端处理服务器将目标视频流以及音频流同步形成音视频流；

[0027] S4、云端处理服务器对音视频流进行混合压缩编码；

[0028] S5、一体机终端设备从云端服务器获取混合压缩编码后的音视频流；

[0029] S6、一体机终端设备对混合压缩编码后的音视频流解码，得到音视频流；

[0030] S7、一体机终端设备播放音视频流；

[0031] 为了减少数据传输量，提高数据传输速度，步骤S1中云端处理服务器从视频采集设备获取编码预处理视频流的步骤包括：

[0032] S111、视频采集设备的视频采集单元采集视频流，视频采集设备的控制单元获得视频流；

[0033] S112、视频采集设备的控制单元对视频中的图片进行初次扣像处理得到预处理视频流，预处理视频流中图片为通过结合深度摄像头采集的深度信息数据，得出一个人体大致形态的框图，框图中包含后续进一步运算扣像所需要的深度信息初次扣像处理；

[0034] S113、视频采集设备的控制单元采用4：2：2格式图像压缩编码技术对预处理视频流仅编码，得到编码预处理视频流；

[0035] S114、视频采集设备控制单元通过视频采集设备的通信单元向云端处理服务器发送编码预处理视频流。

[0036] 为了设计音频流简单的获取方式，步骤S1中云端处理服务器从一体机终端设备获取编码音频流的步骤包括：

[0037] S121、一体机终端设备上的麦克风采集音频流，一体机终端设备内的控制器获取麦克风采集的音频流；

[0038] S122、一体机终端设备内的控制器采用AAC音频压缩编码技术对音频流进行编码，得到编码音频流；

[0039] S123、一体机终端设备控制器通过通信模块向云端处理服务器发送编码音频流，云端处理服务器获得编码音频流。

[0040] 步骤S112的具体步骤包括：

[0041] S1121、首先在无人的画面情况下，取一帧深度信息的图像，作为后续处理的深度图比较图像，定义为D1；

[0042] S1122、通过深度信息结合，视频中的每帧正常镜头的RGB图片，可取得一个基于深度信息在2-4M内的一幅过渡图像，此时大体可得到一个基于人体的并去掉周边背景的正常画面图像，定义为P1；

[0043] S1123、将S1122所得到的P1，结合之前获取的D1进行融合运算，可剔除P1中的地面信息，得到最后大致剔除了背景与地面的人体正常图像，定义为P2，P2即为初步扣像的输出结果。

[0044] 为了进一步获得人物图像中的去背景人体图，以方便将去背景人体图放入到实景中整合成虚拟实景图，抠像处理后将背景的透明通道A设置为0，再透明通道为0的背景像素更换为对应坐标的场景图像素数据，融合得到虚拟实景图，虚拟实景图的时间和之前人物图像时间一样，将同一时间的虚拟实景图和音频流根据时间叠加在一起，就可以形成虚拟实景音视频流，将步骤S2中云端处理服务器对编码预处理视频流进行处理的步骤包括：

[0045] S211、云端处理服务器对编码预处理视频流进行解码得到预处理视频流；

[0046] S212、云端处理服务器对预处理视频流中每帧视频图像进行云端后期人物细化抠像处理，以得到无背景的人物视频流，细化抠像处理更加精细，使得可以识别出人物边缘，此为现有技术，这里不再赘述；

[0047] S213、云端处理服务器对无背景的人物视频流中每帧视频图像进行人物画面效果动态增强处理，得到目标视频流。

[0048] 为了设计简单的音频流编码步骤，步骤S2中云端处理服务器对编码音频流进行处理的步骤包括：将编码音频流进行解码得到音频流。

[0049] 为了设计将视频流和音频流同步在一起的简单方法，步骤S3具体为：将目标视频流中每帧图像与音频流中每个音频按时间对齐，得到同步后的音视频流。

[0050] 实施例2：

[0051] 本实施例与实施例1的区别在于：本实施例提供一种基于如实施例1所述的VR-AR一体机终端真人远程交互方法的系统

[0052] 一种基于VR-AR一体机终端真人远程交互方法的系统，包括：一体机终端设备、视频采集设备以及云端处理服务器，一体机终端设备以及视频采集设备均与云端处理服务器通信连接；

[0053] 一体机终端设备用于通过采样和编码得到编码音频流，接收云端处理服务器的混合压缩编码后的音视频流，对混合压缩编码后的音视频流解码得到音视频流，并播放音视频流；

[0054] 视频采集设备用于采用、预处理和编码得到编码预处理视频流；

[0055] 云端处理服务器用于对编码预处理视频流和编码音频流进行处理得到目标视频流以及音频流，将目标视频流以及音频流同步形成音视频流，并对音视频流进行混合压缩编码。

[0056] 为了采用具有播放以及语音采集功能的一体机终端设备，一体机终端设备为AR设备或VR设备。

[0057] 最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

标题	发布/更新时间	阅读量
一种同步旋转坐标系下三相并网逆变器小信号建模方法	2020-05-12	571
姿势估计方法、装置、设备及存储介质	2020-05-12	424
一种周期扰动观测器的设计方法	2020-05-11	544
一种断路器控制回路可靠性评估方法及装置	2020-05-11	127
标注对象立体框图生成方法、装置、电子设备及存储介质	2020-05-08	159
基于深度卷积神经网络的干扰识别模型及智能识别算法	2020-05-08	904
一种加入低通滤波器的逆变器系统及其改进的控制方法	2020-05-08	365
基于片上网络通信量的H.265编码器建模方法	2020-05-11	308
一种基于图像相似度计算的植物生长测量方法、系统及电子设备	2020-05-11	711
一种基于人体头部特征的考场偷窥作弊检测系统	2020-05-14	284

VR-AR一体机终端真人远程交互方法以及基于其的系统

VR-AR一体机终端真人远程交互方法以及基于其的系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：