基于通信的增强现实中实时图像和信号处理方法和系统专利检索-信号处理信号处理专利检索查询-专利查询网

基于通信的 增强现实中实时图像和 信号处理方法和系统

阅读：154发布：2024-01-16

专利汇可以提供基于通信的增强现实中实时图像和信号处理方法和系统专利检索，专利查询，专利分析的服务。并且本申请文件公开了增强现实环境中实时图像和信号处理的方法和系统，例如，视频会议参与者所选择的虚拟环境中的视频会议。特别地，通过在一个或多个图像中将真实生活对象与其实际环境分离来提取真实生活对象的图像信息，所述一个或多个图像是使用基于特性的综合机制实时捕获的。然后，通过逐像素集成的方法，根据真实生活对象的图像信息的每个像素和虚拟环境的多个图像的每个图像的对应像素之间的图像关系，将提取的真实生活对象集成到虚拟环境中。所述图像关系至少包括深度关系或透明度关系。，下面是基于通信的增强现实中实时图像和信号处理方法和系统专利的具体信息内容。

权利要求

1.一种将真实生活对象与虚拟环境集成的方法，包括：
在计算机设备实时地提供真实生活对象的多维图像信息，其中通过在实时捕获的一个或多个图像中将所述真实生活对象从实际环境中分离来提取所述图像信息，所述一个或多个图像是使用基于特性的综合机制来捕获的；
在所述计算机设备上实时地接收由多个图像构建的虚拟环境的选择；
在所述计算机设备上实时地提供所述真实生活对象的所述图像信息的每个像素与所述虚拟环境的所述多个图像的每个图像的对应像素之间的图像关系，其中所述图像关系至少包括深度关系或透明度关系；
并且在所述计算机设备上实时地呈现多个集成图像，其中，集成图像中的每个像素被划分为多个层，并且基于所述图像关系使用所述真实生活对象的所述图像信息中的对应像素和所述虚拟环境的所述多个图像中的每个图像来确定每个层。
2.权利要求1所述的方法，进一步包括：
在所述计算机设备或另一不同计算机设备实时地从实际环境中的所述真实生活对象的所述一个或多个图像中提取所述真实生活对象的所述多维图像信息。
3.权利要求1所述的方法，其中，所述基于特性的综合机制是基于所述真实生活对象与所述实际环境之间在一个特性上的一个或多个差异的，所述特性包括所述真实生活对象的视觉特性或从视频片段中捕获的所述实际环境的视觉特性，所述真实生活对象或所述实际环境中的实时学习特性，或与所述真实生活对象或所述实际环境有关的预先学习特征。
4.权利要求3所述的方法，其中所述视觉特性包括空间特性、尺寸特性、形状特征、运动特性、颜色特性、光照度和反射特性、时间特性、或透明度特性、深度特性、材料特性或它们的组合。
5.权利要求4所述的方法，其中所述空间特性包括三维空间特性。
6.权利要求3所述的方法，其中所述实时学习特性包括颜色、形状、边缘、光反射率、光照度、曝光度、亮度、阴影、高亮、对比度、黑点、运动、深度、材料、对比度或它们的组合。
7.权利要求3所述的方法，其中所述预先学习特征包括颜色、形状、边缘、光反射率、光照度、曝光度、亮度、阴影、高亮、对比度、黑点、运动、深度、材料、对比度或它们的组合。
8.权利要求2所述的方法，其中所述提取包括一轮粗提取和一轮精细提取。
9.权利要求1所述的方法，进一步包括：
在所述计算机设备或另一不同计算机设备上由所述多个图像构建所述虚拟环境。
10.权利要求1所述的方法，其中当用于构建所述虚拟环境时，所述多个图像中的至少一个图像被修改。
11.权利要求10所述的方法，其中所述至少一个图像的尺寸、形状、图像质量、颜色、光、透视、视觉效果或它们的组合被修改。
12.权利要求1所述的方法，进一步包括：基于所述图像关系集成所述真实生活对象的所述图像信息和所述虚拟环境的所述多个图像的每个图像，从而创建所述多个集成图像，所述集成是在所述计算机设备或另一不同的计算机设备上实时且逐像素地进行的。
13.权利要求1所述的方法，其中像素的所述多个层包括前景层、中间层和背景层。
14.权利要求1所述的方法，其中在确定所述中间层或所述背景层之前确定所述前景层。
15.一种将两个真实生活对象与虚拟环境集成的方法，包括：
在计算机设备实时地提供第一真实生活对象的多维图像信息，其中通过在一个或多个图像中从第一实际环境中分离所述第一真实生活对象来提取所述图像信息，所述一个或多个图像使用基于特性的综合机制实时捕获；
在所述计算机设备上实时地接收由多个图像构建的虚拟环境的选择；
在所述计算机设备上实时地提供所述真实生活对象的所述图像信息的每个像素和所述虚拟环境的所述多个图像的每个图像的对应像素之间的图像关系，其中所述图像关系至少包括深度关系或透明度关系；
在所述计算机设备上实时地提供第二真实生活对象的提取的多维图像信息，以及所述第二真实生活对象的所述图像信息的每个像素和所述虚拟环境的所述多个图像的每个图像的对应像素之间的新图像关系，其中所述新图像关系至少包括深度关系或透明度关系；
在所述计算机设备上实时地呈现多个集成图像，其中集成图像中的每个像素被划分为多个层，其中基于所述图像关系和所述新图像关系，使用所述第一真实生活对象和所述第二真实生活对象的所述图像信息中的对应像素和所述虚拟环境的所述多个图像的每个图像来确定每个层。
16.一种计算机系统，包括：
一个或多个处理器；和
一个或多个处理器可访问的存储器，所述存储器存储可由所述一个或多个处理器执行的指令，以：
在计算机设备实时地提供真实生活对象的多维图像信息，其中通过在一个或多个图像中将所述真实生活对象从其实际环境分离来提取所述图像信息，所述一个或多个图像是使用基于特性的综合机制实时捕获的；
在所述计算机设备上实时地接收由多个图像构建的虚拟环境的选择；
在所述计算机设备上实时地提供所述真实生活对象的所述图像信息的每个像素和所述虚拟环境的所述多个图像的每个图像的对应像素之间的图像关系，其中所述图像关系至少包括深度关系或透明度关系；以及
在所述计算机设备上实时地呈现多个集成图像，其中集成图像中的每个像素被划分为多个层，其中基于所述图像关系，使用所述真实生活对象的所述图像信息中的对应像素和所述虚拟环境的所述多个图像的每个图像来确定每个层。
17.权利要求16所述的计算机系统，其中所述存储器存储可由所述一个或多个处理器执行的进一步指令，以：
在所述计算机设备或另一不同计算机设备中实时地从实际环境中的所述真实生活对象的所述一个或多个图像中提取所述真实生活对象的所述多维图像信息。
18.权利要求16所述的计算机系统，其中所述存储器存储可由所述一个或多个处理器执行的进一步指令，以：在所述计算机设备或另一不同计算机设备中构建所述多个图像的所述虚拟环境。
19.权利要求16所述的计算机系统，其中所述存储器存储可由所述一个或多个处理器执行的进一步指令，以：
基于所述图像关系，在所述计算机设备或另一不同计算机设备中以逐像素方式实时地集成所述真实生活对象的所述图像信息和所述虚拟环境的所述多个图像中的每个图像，从而创建所述多个集成图像。
20.权利要求16所述的计算机系统，其中所述存储器存储可由所述一个或多个处理器执行的进一步指令，以：
在所述计算机设备实时地提供第二真实生活对象的所述图像信息的每个像素与所述多个图像的每个图像的对应像素之间的新图像关系，其中所述新图像关系至少包括深度关系或透明度关系。
21.权利要求16所述的计算机系统，其中所述存储器存储可由所述一个或多个处理器执行的进一步指令，以：
基于所述图像关系和所述新图像关系，在所述计算机设备或另一不同计算机设备中以逐像素方式实时地集成所述真实生活对象的所述图像信息、所述第二真实生活对象的所述新图像信息、以及所述虚拟环境的所述多个图像的每个图像，从而创建多个新集成图像。
22.一种非暂时性计算机可读介质，包含指令，当其包含的指令被计算机处理器执行时，这些指令会使所述计算机处理器：
在计算机设备实时地提供真实生活对象的多维图像信息，其中通过在一个或多个图像中将所述真实生活对象与其实际环境分离来提取所述图像信息，所述一个或多个图像是使用基于特性的综合机制实时捕获的；
在所述计算机设备上实时地接收由多个图像构建的虚拟环境的选择；
在所述计算机设备上实时地提供所述真实生活对象的所述图像信息的每个像素和所述虚拟环境的所述多个图像的每个图像的对应像素之间的图像关系，其中所述图像关系至少包括深度关系或透明度关系；
在所述计算机设备上实时地呈现多个集成图像，其中集成图像中的每个像素被划分为多个层，其中基于所述图像关系，使用所述真实生活对象的所述图像信息中的对应像素和所述虚拟环境的所述多个图像的每个图像来确定每个层。
23.权利要求22所述非暂时性计算机可读介质，其中所述非暂时性计算机可读介质包含可由所述一个或多个处理器执行的进一步指令，以：
在所述计算机设备或另一不同计算机设备中实时地从实际环境中的所述真实生活对象的所述一个或多个图像中提取所述真实生活对象的所述多维图像信息。
24.权利要求22所述非暂时性计算机可读介质，其中所述非暂时性计算机可读介质包含可由所述一个或多个处理器执行的进一步指令，以：
在所述计算机设备或另一不同计算机设备中构建所述多个图像的所述虚拟环境。
25.权利要求22所述非暂时性计算机可读介质，其中所述非暂时性计算机可读介质包含可由所述一个或多个处理器执行的进一步指令，以：
基于所述图像关系，在所述计算机设备或另一不同计算机设备中以逐像素方式实时地集成所述真实生活对象的所述图像信息和所述虚拟环境的所述多个图像中的每个图像，从而创建所述多个集成图像。
26.权利要求22所述非暂时性计算机可读介质，其中所述非暂时性计算机可读介质包含可由所述一个或多个处理器执行的进一步指令，以：
在所述计算机设备实时地提供第二真实生活对象的所述图像信息的每个像素与所述多个图像的每个图像的对应像素之间的新图像关系，其中所述新图像关系至少包括深度关系或透明度关系。
27.权利要求22所述非暂时性计算机可读介质，其中所述非暂时性计算机可读介质包含可由所述一个或多个处理器执行的进一步指令，以：
基于所述图像关系和所述新图像关系，在所述计算机设备或另一不同计算机设备中以逐像素方式实时地集成所述真实生活对象的所述图像信息、第所述二真实生活对象的所述新图像信息、以及所述虚拟环境的所述多个图像的每个图像，从而创建多个新集成图像。
28.权利要求1所述的方法，其中在所述多个集成的图像中嵌入一个或多个广告元素。
29.权利要求28所述的方法，其中所述一个或多个广告元素与所述真实生活对象的所述提取的图像信息、所述虚拟环境或它们的组合相关联。
30.权利要求15所述的方法，其中在所述多个集成的图像中嵌入一个或多个广告元素。
31.权利要求30所述的方法，其中所述一个或多个广告元素与所述第一真实生活对象的所述提取的图像信息、所述第二真实生活对象的所述提取的图像信息、所述虚拟环境或它们的组合相关联。

说明书全文

基于通信的增强现实中实时图像和 信号处理方法和系统

交叉引用

[0001] 本申请要求申请号为62/317554，提交于2016年4月4日，发明名称为“基于增强现实的通信的实时图像和信号处理系统”的美国临时专利申请，和申请号为62/322358，提交于2016年4月14日，发明名称为“使用基于增强现实的通信的实时沉浸式广告系统”的美国临时专利申请的优先权，二者在本申请文件中被整体引用。

技术领域

[0002] 本发明主要涉及用于基于增强现实(AR)系统的通信的图像和信号处理的系统、设备和方法。

背景技术

[0003] 基于AR的实时通信系统或方法是已知的。例如，苹果Apple PhotoboothTM允许用户在虚拟环境中创建他们自己的照片或视频(Photobooth是苹果电脑公司开发的运行在Mac OS或iOS上的一个小型应用程序，主要功能是通过摄像头iSight进行数码拍照)。有时，虚拟环境可以是一个移动环境。谷歌Google HangoutTM是一个音频和视频会议平台，它允许用户在视频会议会话中选择所需的个性化场景，并允许用户佩戴帽子、眼镜和胡须等可更换的虚拟物品。然而，从视觉的角度来看，这样的现有系统是粗略、原始的。在真实生活对象(Google HangoutTM的用户)与虚拟物品(例如，虚拟背景和可穿戴装饰物品)的交接处，往往存在明显且有时非常显著的缺口和瑕疵。在虚拟环境包括运动元素的情况下，这些缺陷更加明显。

[0004] 在某些情况下，专业摄影师或电影制作人使用绿幕拍摄初始图像或视频，以尽量减少缺陷。后期需要进行大量的编辑，以将单调的背景替换为虚拟环境。这是一个非常耗时又昂贵的过程。在视频会议(如Google HangoutTM)中，使用不同语言的人也会陷入困惑，并导致沟通无效。

[0005] 本领域所需要的是用于实时处理基于AR的通信的图像和其他信号(如音频信号)的改进的系统和方法。

发明内容

[0006] 本申请文件公开了用于基于增强现实(AR)系统的通信的图像和信号处理的系统、设备和方法的方法和系统。

[0007] 一方面，本申请文件公开了一种将真实生活对象与虚拟环境集成的方法。该方法包括以下步骤：在计算机设备实时地提供真实生活对象的多维图像信息，其中通过在实时捕获的一个或多个图像中将真实生活对象从其实际环境中分离来提取图像信息，所述一个或多个图像是使用基于特性的综合机制来捕获的；在计算机设备上实时地接收由多个图像构建的虚拟环境的选择；在计算机设备上实时地提供真实生活对象的图像信息的每个像素与虚拟环境的多个图像的每个图像的对应像素之间的图像关系，其中图像关系至少包括深度关系或透明度关系；并且在计算机设备上实时地呈现多个集成图像，其中集成图像中的每个像素被划分为多个层，并且基于图像关系使用真实生活对象的图像信息中的对应像素和虚拟环境的多个图像中的每个图像来确定每个层。

[0008] 在一些实施例中，所述方法步骤发生在用户设备或服务器或任何计算机设备上。

[0009] 在一些实施例中，该方法还包括相同的计算机设备或另一不同计算机设备实时地从实际环境中的真实生活对象的一个或多个图像中提取真实生活对象的多维图像信息的步骤。

[0010] 在一些实施例中，基于特性的综合机制是基于真实生活对象与实际环境之间在一个特性上的一个或多个差异的，该特性包括真实生活对象的视觉特性或从视频片段中捕获的实际环境的视觉特性，真实生活对象或实际环境中的实时学习特性，或与真实生活对象或实际环境有关的预先学习特征。

[0011] 在一些实施例中，视觉特性包括空间特性、尺寸特性、形状特征、运动特性、颜色特性、光照度和反射特性、时间特性、或透明度特性、深度特性、材料特性或它们的组合。

[0012] 在一些实施例中，空间特性包括三维空间特性。

[0013] 在一些实施例中，实时学习特性包括颜色、形状、边缘、光反射率、光照度、曝光度、亮度、阴影、高亮、对比度、黑点(blackpoint)、运动、深度、材料、对比度或它们的组合。

[0014] 在一些实施例中，预先学习特征包括颜色、形状、边缘、光反射率、光照度、曝光度、亮度、阴影、高亮、对比度、黑点、运动、深度、材料、对比度或它们的组合。

[0015] 在一些实施例中，所述提取包括一轮粗提取和一轮精细提取。

[0016] 在一些实施例中，该方法还包括所述计算机设备或另一不同计算机设备由多个图像构建虚拟环境的步骤。

[0017] 在一些实施例中，当用于构建虚拟环境时，多个图像中的至少一个图像被修改。

[0018] 在一些实施例中，至少一个图像的尺寸、形状、图像质量、颜色、光、透视、视觉效果或它们的组合被修改。

[0019] 在一些实施例中，该方法还包括基于图像关系集成真实生活对象的图像信息和虚拟环境的多个图像的每个图像，从而创建多个集成图像。所述集成是在所述计算机设备或另一不同的计算机设备上实时且逐像素地进行的。

[0020] 在一些实施例中，像素的多个层包括前景层、中间层和背景层。

[0021] 在一些实施例中，在确定中间层或背景层之前确定前景层。

[0022] 在一些实施例中，在多个集成图像中嵌入一个或多个广告元素。

[0023] 在一些实施例中，所述一个或多个广告元素与真实生活对象的提取的图像信息、虚拟环境或它们的组合相关联。

[0024] 一方面，本申请文件公开了一种将两个真实生活对象与虚拟环境集成的方法。该方法包括以下步骤：在计算机设备实时地提供第一真实生活对象的多维图像信息，其中通过在一个或多个图像中从第一实际环境中分离第一真实生活对象来提取图像信息，所述一个或多个图像使用基于特性的综合机制实时捕获；在计算机设备上实时地接收由多个图像构建的虚拟环境的选择；在计算机设备上实时地提供真实生活对象的图像信息的每个像素和虚拟环境的多个图像的每个图像的对应像素之间的图像关系，其中所述图像关系至少包括深度关系或透明度关系；在计算机设备上实时地提供提取的第二真实生活对象的多维图像信息，以及第二真实生活对象的图像信息的每个像素和虚拟环境的多个图像的每个图像的对应像素之间的新图像关系，其中新图像关系至少包括深度关系或透明度关系；在计算机设备上实时地呈现多个集成图像，其中集成图像中的每个像素被划分为多个层，其中基于图像关系和新图像关系，使用第一真实生活对象、第二真实生活对象的图像信息中的对应像素和虚拟环境的多个图像的每个图像来确定每个层。

[0025] 一方面，本申请文件公开了一种计算机系统。该系统包括一个或多个处理器；以及一个或多个处理器可访问的存储器。存储器存储可由一个或多个处理器执行的指令，以执行以下步骤：在计算机设备实时地提供真实生活对象的多维图像信息，其中通过在一个或多个图像中将真实生活对象从其实际环境中分离来提取图像信息，所述一个或多个图像是使用基于特性的综合机制实时捕获的；在计算机设备上实时地接收由多个图像构建的虚拟环境的选择；在计算机设备上实时地提供真实生活对象的图像信息的每个像素和虚拟环境的多个图像的每个图像的对应像素之间的图像关系，其中所述图像关系至少包括深度关系或透明度关系；在计算机设备上实时地呈现多个集成图像，其中集成图像中的每个像素被划分为多个层，其中基于图像关系，使用真实生活对象的图像信息中的对应像素和虚拟环境的多个图像的每个图像来确定每个层。

[0026] 在一些实施例中，存储器存储可由一个或多个处理器执行的进一步指令，以：在计算机设备或另一不同计算机设备中实时地从实际环境中的真实生活对象的一个或多个图像中提取真实生活对象的多维图像信息。

[0027] 在一些实施例中，存储器存储可由一个或多个处理器执行的进一步指令，以：在计算机设备或另一不同计算机设备中构建多个图像的虚拟环境。

[0028] 在一些实施例中，存储器存储可由一个或多个处理器执行的进一步指令，以：基于图像关系，在计算机设备或另一不同计算机设备中以逐像素方式实时地集成真实生活对象的图像信息和虚拟环境的多个图像中的每个图像，从而创建多个集成图像。

[0029] 在一些实施例中，存储器存储可由一个或多个处理器执行的进一步指令，以：在计算机设备实时地提供第二真实生活对象的图像信息的每个像素与多个图像的每个图像的对应像素之间的新图像关系，其中新图像关系至少包括深度关系或透明度关系。

[0030] 在一些实施例中，存储器存储可由一个或多个处理器执行的进一步指令，以：基于图像关系和新图像关系，在计算机设备或另一不同计算机设备中以逐像素方式实时地集成真实生活对象的图像信息、第二真实生活对象的新图像信息、以及虚拟环境的多个图像的每个图像，从而创建多个新集成图像。

[0031] 在一些实施例中，在多个集成的图像中嵌入一个或多个广告元素。

[0032] 在一些实施例中，所述一个或多个广告元素与所述第一真实生活对象的提取的图像信息、所述第二真实生活对象的提取的图像信息、所述虚拟环境或它们的组合相关联。

[0033] 可以理解的是，本申请文件所公开的方法和系统也适用于两个以上的真实生活对象。

[0034] 一方面，本申请文件公开了一种非暂时性计算机可读介质，包含指令，当其包含的指令被计算机处理器执行时，这些指令会使计算机处理器：在计算机设备实时地提供真实生活对象的多维图像信息，其中通过在一个或多个图像中将真实生活对象与其实际环境分离来提取图像信息，所述一个或多个图像是使用基于特性的综合机制实时捕获的；在计算机设备上实时地接收由多个图像构建的虚拟环境的选择；在计算机设备上实时地提供真实生活对象的图像信息的每个像素和虚拟环境的多个图像的每个图像的对应像素之间的图像关系，其中所述图像关系至少包括深度关系或透明度关系；在计算机设备上实时地呈现多个集成图像，其中集成图像中的每个像素被划分为多个层，其中基于图像关系，使用真实生活对象的图像信息中的对应像素和虚拟环境的多个图像的每个图像来确定每个层。

[0035] 在一些实施例中，所述非暂时性计算机可读介质包含可由一个或多个处理器执行的进一步指令，以：在计算机设备或另一不同计算机设备中实时地从实际环境中的真实生活对象的一个或多个图像中提取真实生活对象的多维图像信息。

[0036] 在一些实施例中，所述非暂时性计算机可读介质包含可由一个或多个处理器执行的进一步指令，以：在计算机设备或另一不同计算机设备中根据多个图像构建虚拟环境。

[0037] 在一些实施例中，所述非暂时性计算机可读介质包含可由一个或多个处理器执行的进一步指令，以：基于图像关系，在计算机设备或另一不同计算机设备中以逐像素方式实时地集成真实生活对象的图像信息和虚拟环境的多个图像中的每个图像，从而创建多个集成图像。

[0038] 在一些实施例中，所述非暂时性计算机可读介质包含可由一个或多个处理器执行的进一步指令，以：在计算机设备实时地提供第二真实生活对象的图像信息的每个像素与多个图像的每个图像的对应像素之间的新图像关系，其中新图像关系至少包括深度关系或透明度关系。

[0039] 在一些实施例中，所述非暂时性计算机可读介质包含可由一个或多个处理器执行的进一步指令，以：基于图像关系和新图像关系，在计算机设备或另一不同计算机设备中以逐像素方式实时地集成真实生活对象的图像信息、第二真实生活对象的新图像信息、以及虚拟环境的多个图像的每个图像，从而创建多个新集成图像。

[0040] 可以理解的是，本申请文件公开的任何实施例都可以在适用时以单独或任意组合的方式应用于本发明的任何方面。

[0041] 在附图和以下描述中详细阐述了一个或多个实施方式。其他特征、方面和潜在优势将在说明书和附图以及权利要求中得以体现。

附图说明

[0042] 本领域技术人员将理解，以下示出的附图仅用于说明的目的。附图并非旨在以任何方式限制本教导的范围。

[0043] 图1A示出了用于执行实时图像和信号处理的示例系统的框图。

[0044] 图1B示出了用于实时图像和信号处理的示例过程。

[0045] 图1C示出了提供辅助数据的示例过程。

[0046] 图1D示出了用于实时图像和信号处理的示例系统。

[0047] 图2示出了用于用户设备上的实时图像和信号处理的示例步骤和系统。

[0048] 图3A示出了用户设备和服务器之间的实时图像和信号处理的示例步骤和系统。

[0049] 图3B示出了用于用户设备和服务器之间的实时图像和信号处理的示例步骤和系统。

[0050] 图3C示出了用于用户设备和服务器之间的实时图像和信号处理的示例步骤和系统。

[0051] 图4A示出了用于在两个用户设备和中间服务器之间进行实时图像和信号处理的示例步骤和系统。

[0052] 图4B示出了用于在两个用户设备和中间服务器之间进行实时图像和信号处理的示例步骤和系统。

[0053] 图4C示出了用于在两个用户设备和中间服务器之间进行实时图像和信号处理的示例步骤和系统。

[0054] 图5A示出了用于在两个用户设备之间进行实时图像和信号处理的示例步骤和系统。

[0055] 图5B示出了用于在两个用户设备之间进行实时图像和信号处理的示例步骤和系统。

[0056] 图5C示出了用于在两个用户设备之间进行实时图像和信号处理的示例步骤和系统。

[0057] 图6示出了用于实现图1-5的特征和过程的示例系统架构的框图。

[0058] 图7示出了用于实现图1-5的特征和过程的示例系统架构的框图。

[0059] 各个图示中相同参考符号表示相同的元素。

具体实施方式

概述

[0060] 图1A示出了在示例的基于AR的实时图像和信号处理系统10中存在的元素。当真实生活对象有形地位于实际环境中(例如，方框12)时，捕获诸如真实生活对象的图像的信号，然后实时处理所捕获的图像以提取真实生活对象的图像信息(例如，方框14)。虚拟环境(例如，方框16)可以在真实生活对象被提取之前或同时构建。然后将所提取的真实生活对象与所选择的虚拟环境集成。可选的辅助信号，例如非视觉信号或广告元素，可以添加到系统10中的任何元素。虽然在一些实施例中，可以首先构造某些虚拟环境元素，但在捕捉真实生活对象的图像的同时整个过程可以实时地进行。

[0061] 如本申请文件所公开的，术语“实时”指的是在很少有或者没有时间延迟的情况下执行功能。例如，当图像被捕获后不久或正在进行图像处理时，实时地进行图像提取。在一些实施例中，延迟可以在一分钟内或在几秒内。在一些实施例中，延迟可能是由数据传输或图像处理的速度等硬件限制引起的。

[0062] 如本申请文件所公开的，术语“真实生活对象”和“用户”有时会互换使用。在一些实施例中，用户是真实生活对象。在一些实施例中，用户是计算机设备的操作者，并且用户控制包括图像捕获的功能中的一个或多个。

[0063] 如本申请文件所公开的，术语“图像”可以用来指不连续时间点拍摄的或在视频的图像帧中截取的单张照片。术语“图像”和“视频”可以互换使用，除非另有说明。视频实际上是连续捕获的多个图像的集合。

[0064] 如本申请文件所公开的，术语“信号”和“数据”可以互换使用。例如，它们可以包括图像、音频、视频、文本、空间、地理或与真实生活对象相关联的任何其他信息。它们还包括反映真实生活对象状态的元数据或其他嵌入信息。它们还可以包括与真实生活对象间接关联的数据，例如反映真实生活对象地理位置的图像或视频等信息。如本申请文件所公开的，“信号”和“数据”可以包括内部和/或外部数据。在本申请文件中，内部数据是指在实际环境中实时捕获真实生活对象的过程中收集的数据，包括视频、音频和其他类型的信息。外部数据指的是超出实时收集的数据，包括但不限于已经存储在本地用户设备上的数据、来自另一用户设备的数据(通过网络连接可访问)、存储在服务器上的数据(例如，包括存储在广告供应服务器上的广告元素)、或使用网络收集实时检索的数据。在本申请文件中所公开的大多数例子指的是图像，然而，无论如何，它们都不应限制本发明的范围。

[0065] 如本申请文件所公开的，“辅助信号”是除反映真实生活对象本身的信号或数据之外的信号或数据。辅助信号还可以包括内部或外部数据。在一些实施例中，辅助信号包括非可视信号，例如音频音轨或外部音频文件。在一些实施例中，辅助信号包括可与提取的真实生活对象、虚拟环境或最终的集成图像或视频相结合的广告元素。

[0066] 在方框12，使用例如图像/音频捕获设备(如照相机)的用户设备，捕获真实生活对象的信号(例如，图像或音频)。在一些实施例中，相机是用户设备的组成部分。在一些实施例中，相机是可连接到用户设备的外部硬件组件。在一些实施例中，用户设备是支持网络的照相机。优选地，照相机是深度相机。在一些实施例中，图像/音频捕获设备包括一组照相机。如本文所述，用户设备应该配备有CPU/GPU处理器、照相机、麦克风、显示器、扬声器、通信单元和存储器。它包括但不限于台式计算机、膝上型计算机、智能电话设备、个人数字助理、网络照相机、平板电脑、AR眼镜、AR头盔、VR眼镜、智能电视等。照相机可以是三维(3D)照相机、常规RGB照相机、红外(IR)照相机、多光谱照相机、高光谱照相机、360度照相机等。

[0067] 在一些实施例中，真实生活对象是人。在一些实施例中，真实生活对象是动物或物体。在一些实施例中，对真实生活对象拍摄多个图像。在一些实施例中，连续拍摄图像并形成视频。在所有实施例中，用于捕获真实生活对象的图像的计算机设备可被真实生活对象或计算机设备的用户访问。

[0068] 如本申请文件所公开的，当捕获图像时，真实生活对象可以存在于任何环境中。对图像捕获的环境没有特殊要求，例如，背景屏幕颜色不需要均匀或接近均匀。在大多数实施例中，真实生活对象的图像被捕获，就像真实生活对象处于实际有形的环境中一样。在一些实施例中，真实生活对象的图像是在真实生活对象进行常规活动的时候拍摄的。

[0069] 在方框14中，在捕获图像的同时，提取真实生活对象的图像信息。在一些实施例中，基于真实生活对象和实际环境之间的特性中的一个或多个差异，通过将真实生活对象与其实际环境分离来执行提取。在一些实施例中，该特性可以是视觉特性，包括但不限于空间特性、尺寸特性、形状特征、运动特性、颜色特性、光照度和反射特性、时间特性，或透明度特性，深度特性，材料特性，或它们的组合。

[0070] 在一些实施例中，视觉特性包括三维空间特性。

[0071] 在一些实施例中，特性可以是实时学到的或预先学习的与真实生活对象或实际环境相关的特征。实时学习或预先学习的特性包括但不限于，例如颜色、形状、边缘、光反射率、光照度、运动、深度、材料、对比度或它们的组合。

[0072] 在一些实施例中，对真实生活对象的提取是在逐图像的基础上进行的。这也适用于视频提取，它是在逐帧的基础上进行的。在一些实施例中，同时并行处理多个图像。

[0073] 在方框16，提供了虚拟环境。在一些实施例中，可以在图像提取之前甚至在图像捕获之前构建虚拟环境。在一些实施例中，可以在图像提取或图像捕获同时构建虚拟环境。

[0074] 在一些实施例中，虚拟环境与实际环境不同。在一些实施例中，虚拟环境是实际环境的修改版本。在任何实施例中，用于构建虚拟环境的图像可以是修改过的图像，其特性包括但不限于大小、形状、图像质量、颜色、透视、光线、视觉效果或它们的组合。

[0075] 在一些实施例中，虚拟环境可以与实际环境相同，但是有一个或多个特征可以被改变。例如，可以对实际环境进行处理，以增强某些元素从而呈现虚拟环境。此外，可以修改实际环境以增强图像质量从而呈现虚拟环境。在一些实施例中，实际环境中的一个或多个元素在视觉特性如颜色、形状、大小、光线等方面发生改变。

[0076] 在一些实施例中，虚拟环境可以与实际环境相同，但其与真实生活对象的关系发生改变。在一些实施例中，真实生活对象相对于其所处的环境而言变得更小或更大，例如电影《爱丽丝梦游仙境》。又例如在拍摄的图像中喝茶的人可以显示在最终的集成图像中的茶杯内，而环境中的其他元素保持不变。

[0077] 在一些实施例中，服务器可以向用户提供虚拟环境的集合。虚拟环境可以根据其中存在的主题被划分为不同的类别。示例性主题包括但不限于自然、动物、空间、电影、建筑、文化、旅行等。用户对特定类型主题的选择可以存储在用户偏好中。

[0078] 在一些实施例中，虚拟环境包括图像。在一些实施例中，虚拟环境包括视频。在一些实施例中，可以包括多个虚拟环境，每个虚拟环境在图像或视频集成期间被视为单独的元素。

[0079] 在方框18，提供可选的辅助信号。辅助信号可以包括内部或外部数据，包括图像、音频、视频、文本、空间、地理或任何其他类型的信息。在一些实施例中，辅助信号包括非视觉信号，例如音频信号，例如，当捕获真实生活对象的图像信息时收集的声音信息。在一些实施例中，音频信号包括内部或现有音频信号或外部音频信号。在一些实施例中，从捕获的图像或视频获得内部或现有音频信号，并可进行进一步处理(例如，语音识别和随后的语言翻译)。在一些实施例中，可以处理视频的音频信号以增强声效。例如，可以去除环境噪声以增强真实生活对象(例如，电话会议期间的扬声器)的声音。在一些实施例中，可以将特殊的声效添加到期望的声音中。例如，声音可以呈现为具有三维中空效果以模仿回声环境中的声音。

[0080] 在一些实施例中，可以将外部音频信号添加到现有的音频信号中。例如，用户可以选择在视频会议呼叫期间播放背景音乐。在一些实施例中，外部音频信号被用来替换现有音频信号(例如，在捕获真实生活对象的图像时收集的音频信号)。这样的音频信号(外部或内部)可以与系统中的任何元素(例如，方框12,14,16和20)相关联。在一些实施例中，音频信号与虚拟环境相关联。在一些实施例中，音频信号可以被添加到集成图像。在图1C中描述了用于实现音频信号(例如，作为实时翻译)的示例性过程。

[0081] 在一些实施例中，辅助信号包括一个或多个广告元素。广告元素可以与产品或服务相关联。在一些实施例中，广告元素包括内部或现有音频信号或外部音频信号。在一些实施例中，广告元素可以与真实生活对象(例如，元素12或14)相关联。例如，真实生活对象可以佩戴或持有包含广告元素的产品。在一些实施例中，广告元素被添加到虚拟环境16。例如，广告元素可以被显示为虚拟环境的一部分。在一些实施例中，广告元素可以被实现为集成图像或视频。例如，在集成过程中，除了现有的虚拟环境之外，广告元素可以被视为另一个虚拟环境。在某些环境中，广告元素可以在后集成中添加，例如当用户查看集成图像或视频时。

[0082] 在一些实施例中，基于用户偏好来提供广告元素，这些用户偏好或者存储在本地用户设备上，或者存储在服务器上(例如作为用户配置文件的一部分)。在一些实施例中，用户偏好由用户购物历史确定。在一些实施例中，用户可以具体地请求产品、服务、产品类型或服务类型。在一些实施例中，可以使用年龄、性别等一般用户信息作为参考。在一些实施例中，可以使用一般可用的趋势信息。

[0083] 此外，有利地，基于场景信息提供广告元素。场景信息包括但不限于通信场景、广告内容场景、表现场景等。例如，如果在公司的会议期间呈现广告，则广告可包括与公司具体业务相关的产品和服务的内容。当广告被作为在线广告嵌入公共论坛(如网站或网页)中展示时，可以考虑网站和/或网页的内容。如果网站和/或网页上的内容被认为不合适，则不提供广告。不合适的内容包括但不限于宗教狂热、恐怖主义、色情等。该标准可由提供广告内容的服务器设定。在一些实施例中，广告商可以为其不希望关联的内容设置标准。

[0084] 在一些实施例中，当多个广告商可以提供相同或相似的合适内容时，可以实施竞价过程来选择广告内容。

[0085] 在方框20，将所提取的真实生活对象和虚拟环境集成或组合，以在虚拟环境中呈现真实生活对象的图像或视频。为了实现集成，将定义提取的真实生活对象和虚拟环境之间的关系。在一些实施例中，这些关系被同时定义为图像提取和/或虚拟环境构建。在一些实施例中，一旦提取了真实生活对象的图像信息并且构建了虚拟环境，就定义了这些关系。

[0086] 在一些实施例中，系统或用户为关系提供一般预定义指南。在一些实施例中，基于提取的真实生活对象和虚拟环境的信息，系统自动地定义这些关系。在一些实施例中，用户可以提供实时调整，以重新定义或修改在集成过程中所提取的真实生活对象和虚拟环境之间的关系。

[0087] 在一些实施例中，所提取的真实生活对象与虚拟环境之间的关系包括深度关系。例如，所提取的真实生活对象可以部分地或完全地位于虚拟环境中的一个元素的“前面”或“后面”。在一些实施例中，所提取的真实生活对象可以部分地或完全地在一个元素的“前面”，但部分地或完全地在同一虚拟环境的另一个元素“后面”。在一些实施例中，所提取的真实生活对象的全部或一部分之间的深度关系在不同图像之间的时间进程中发生暂态变化。在一些实施例中，所提取的真实生活对象的全部或一部分之间的深度关系在同一图像中的不同元素上发生空间上的改变。

[0088] 在一些实施例中，所提取的真实生活对象与虚拟环境之间的关系包括透明度关系。例如，所提取的真实生活对象相对于虚拟环境的元素可以部分或完全透明。在一些实施例中，所提取的真实生活对象的全部或部分之间的透明度关系在不同图像之间的时间进程中发生暂态变化。在一些实施例中，所提取的真实生活对象的全部或一部分之间的透明度关系在同一图像中的不同元素上发生空间上的改变。图像集成说明

[0089] 在一些实施例中，集成以逐像素方式进行。在某些方面，集成过程可以从集成图像开始，以这样相反的方式可以更好地理解。在一些实施例中，集成图像内的每个像素可以被划分为多个层，例如前景层、中间层和背景层。每个层基于提取的真实生活对象相应的对应像素的图像信息和/或虚拟环境来填充。

[0090] 图1B提供对逐像素集成过程30的示例性实施例的说明。在此，简化的提取的真实生活对象32用三角形表示，简化的虚拟环境标识为34，还有具有网格图案的矩形，其中每个网格代表一个像素。通过将真实生活对象32与虚拟环境34集成获得的图像被示为集成图像36。如图所示，真实生活对象32的某些像素变得不可见(位于虚拟环境34后面)，例如，参见像素36(xl，y1)。真实生活对象32的一些像素是部分可见的、部分不可见的(部分位于虚拟环境34的前面，部分位于虚拟环境34的后面)，例如，参见像素36(x2，y2)。真实生活对象32的一些像素是完全可见的(位于虚拟环境34的前面)，例如，参见像素36(x3，y3)。集成图像36中的一些像素完全缺少来自真实生活对象32的任何信息，例如，参见像素36(x4，y4)。

[0091] 通过使用三层方法，像素36(xl，y1)具有由虚拟环境34中的像素定义的前景层，并且其中间层或背景层可以用来自真实生活对象32的对应像素的信息填充。然而，由于前景层的透明值设置为0，因此，在虚拟环境34中的像素完全阻挡了前景层后面的任何东西。因此，可以通过用来自虚拟环境34的像素信息来定义前景层，同时将中间层或背景层的值设置为零值而得到像素36(xl，y1)。

[0092] 像素36(x2，y2)示出了来自真实生活对象32和虚拟环境34的信息。该像素可以通过用来自真实生活对象32的部分信息定义前景层、用来自虚拟环境34的对应像素的信息来定义中间层、以及用来自真实生活对象32的部分信息来定义背景层而获得。同样，每个层的透明度程度设置为0，因此中间层被部分显示并且背景层被完全挡住。当不同层的透明程度被设置为非零值时，来自真实生活对象32和虚拟环境34的信息将在整个像素中彼此混合。

[0093] 像素36(x3，y3)与像素36(xl，y1)相反。它具有由真实生活对象32中的像素定义的前景层，并且其中间层或背景层可以用来自虚拟环境34的对应像素的信息来填充。然而，由于前景层的透明度值设置为0，无论在前景层后面的任何事物都被真实生活对象32中的像素完全遮挡。因此，可以通过用来自真实生活对象32的像素信息来定义前景层，同时将中间层或背景层的值设置为零值而得到像素36(x3，y3)。

[0094] 像素36(x4，y4)位于真实生活对象32和虚拟环境34不重叠的区域中。在这种情况下，真实生活对象32完全消失。可以通过用来自虚拟环境34的对应像素的信息来定义三个层中的任意一个，同时将其余层的值设置为零值而得到像素36(x4，y4)。

[0095] 在一些实施例中，如上所述，可以同时对多个像素执行并行计算。在一些实施例中，可以通过识别非重叠区域中的像素来简化计算。在一些实施例中，还可以通过仅为完全非透明的实心像素来定义顶层从而简化计算。

[0096] 在一些实施例中，所提取的真实生活对象包括三维图像信息，这些三维图像信息可以在前、中和背景层中的一个或多个之间以任意组合进行划分。在一些实施例中，虚拟环境包括三维图像信息，这些三维图像信息可以在前、中和背景层中的一个或多个之间以任意组合进行划分。

[0097] 在一些实施例中，提取的真实生活对象(例如，32)与虚拟环境(例如，34)之间的关系动态地变化。在一些实施例中，这样的动态变化随时间在集成图像之间发生。例如，真实生活对象32可以进出虚拟环境34。在一些实施例中，真实生活对象的至少一部分与虚拟环境的一个或多个元素交互。例如，这可以发生在游戏中，其中真实生活对象(用户)可以在虚拟环境中使用手势从墙上弹出球或者将球传递给虚拟环境中的玩家。

[0098] 需要注意的是，与图1A和1B中的方框相关联的功能可以在同一计算机设备上或在不同的计算机设备上进行。当功能由不同的计算机设备执行时，可以使用任何设备的组合。应该注意的是，在任何组合中，图像捕获总是由用户或真实生活对象可访问的计算机设备执行。
处理辅助信号

[0099] 图1C示出了处理诸如非可视信号等辅助信号的过程。过程60示出了用于从捕获的视频数据获得非视觉信号的示例。本申请文件中执行的所有步骤可以通过图1D所示的信号处理模块128来实现。

[0100] 在步骤62，处理用户设备捕获的视频以提取音频信息，该音频信息包括但不限于，例如，环境声音、真实生活对象的语音或噪声以及任何其他音频信息。

[0101] 在步骤64，进一步处理非可视信号。例如，可以减少或消除环境声音和其他噪声，以增强真实生活对象的声音或噪声。然后增强的音频信号可以进行诸如语音识别程序等专业程序的处理，以检测语言并识别音频信号的内容。

[0102] 在步骤66，在电话会议期间，如果有一个或多个与会者不懂一个人所使用的语言，则该语言可以自动翻译成其他与会者能理解的语言。在一些实施例中，可以在显示器上提供字幕以帮助理解。

[0103] 在步骤68，可以使用合成语音生成方法来创建在步骤62获得的音频信号的音频翻译。在一些实施例中，用户可以选择设置某种类型的语音和口音的偏好。在一些实施例中，音频翻译文件可以可选地被增强以用于附加的声效，例如三维回声声效。

[0104] 在一些实施例中，如过程70所示，可以添加外部音频信号。本申请文件中的外部音频信号是那些不属于捕获的视频文件的一部分的信号。例如，在步骤72，用户可以选择他/她偏好的音乐作为使用本申请文件所公开的方法创建的视频的背景音乐。在一些实施例中，用户可以在会议呼叫期间选择偏好的音乐片段作为背景声音。

[0105] 在步骤76，可以编辑或处理所选的音频片段以更好地贴合预期目的。例如，只有一段音乐片段可以被选择为视频的音频配乐。另外，所选的音乐片段可以在被用作视频会议呼叫的背景音频之前被调低音量。本申请文件提供的示例涉及有两个参与者的会议系统。然而，本申请文件所公开的方法和系统也可以应用于两个以上的参与者，包括三个或更多、五个或更多、十个或更多、二十个或更多、五十个或更多或数百个或更多，只要会议系统能够支持参与者的数量。

[0106] 在步骤80，将外部音频信号和内部音频信号组合以产生增强的声音。示例性系统

[0107] 如图1B中的示例性实施例所示，信息流可划分为三个块：提取的真实生活对象32、虚拟环境34和集成图像36。与这些不同信息块相关联的功能可以由一个或多个计算机设备以任何组合来执行(例如，在一个设备上处理的数据可以被传送到另一个设备进行进一步或附加处理)。

[0108] 图1D示出了用于执行本申请文件公开的功能的示例性系统100。在此，多个用户设备(例如，120和140)通过网络160连接到服务器设备170。信息处理在图示的一个或多个设备上进行。

[0109] 用户设备120描述了配备有多个功能的本地设备(例如，真实生活对象可访问的设备)。特别地，用户设备120包括用户输入和输出(I/O)模块122、本地数据库124和用于捕获真实生活对象的图像的所有功能模块(例如，模块126,128,130和132)，提取真实生活对象，构建虚拟环境并将真实生活对象与虚拟环境集成。

[0110] 在一些实施例中，用户设备120包括用户输入和输出模块(I/O模块)122。例如，I/O模块122可以接收用户向用户设备120的输入，并使用文本、音频、视频、运动和/或触觉输出机制呈现来自用户设备102的输出。例如，I/O模块122可以接收手势输入、身体运动或用户的语音输入。在一些实施例中，I/O模块122还被用于检测和跟踪眼球运动、面部表情等。再如，I/O模块122从用户设备120的触摸敏感显示器接收触摸输入。在其他实施例中，I/O模块122可以耦合到其他输入设备，例如键盘、鼠标、监视器、触摸敏感屏幕、扬声器等，并且接收来自这些设备的用户输入。在一些实施例中，I/O模块122包括键盘、鼠标、监视器、触摸敏感屏幕、扬声器等作为I/O模块122或用户设备120的一个组成部分。在一些实施例中，用户设备120可以接收多种类型的用户输入。

[0111] 在一些实施例中，I/O模块122还可以向用户呈现音频、视觉、运动和/或触觉输出。例如，I/O模块122在用户设备120的监视器上显示集成图像或视频。在一些实施例中，I/O模块122可以呈现图形用户界面(GUI)，GUI使能或支持本申请文件描述的一个或多个实时图像和信号处理方法/系统的功能，功能模块包括但不限于信号捕获模块126、信号处理模块
128、虚拟环境模块130和集成模块132。在一些实施例中，用户输入和输出模块包括多个菜单命令，每个菜单命令对应于一个或多个查询处理模块的功能。

[0112] 在一些实施例中，I/O模块122允许用户定位图像处理所需的信息。在实施例中，可以提供菜单选项，使得用户可以选择一个或多个选项来启动一个或多个功能。例如，用户可以点击图标来开始图像捕获过程。此外，例如，可以通过菜单选项提供多个类别的虚拟环境图像。

[0113] 在一些实施例中，用户可以使用I/O模块122来请求在本地用户设备120上可用的信息，或者可以通过网络连接从服务设备170或另一用户设备140获得信息。例如，I/O模块122可以允许用户使用语音命令来请求某种类型的虚拟环境(例如，欧洲中世纪城堡图像)。
一旦图像被传送(在本地或通过网络连接)，用户可以请求处理图像以构建虚拟环境。

[0114] 在一些实施例中，用户可以使用I/O模块122来管理各种功能模块。例如，用户可以通过使用I/O模块122请求在实时通信过程中改变虚拟环境。用户可以在不中断通信的情况下通过单独地选择菜单选项或输入命令来进行这样的操作。

[0115] 当将本申请文件所公开的方法/系统用于图像或视频处理和编辑时，用户可以使用任何类型的输入来指导和控制该过程。

[0116] 在一些实施例中，用户设备120还包括本地数据库124。例如，本地数据库可以存储捕获的图像、部分或完全处理的图像(例如，提取的真实生活对象和用于虚拟环境的图像)，或者部分或完全集成的图像。在一些实施例中，本地数据库124存储用户特定信息；例如，用户可以存储一个或多个偏好的虚拟环境的信息。在一些实施例中，本地数据库124存储从另一设备或服务器检索的信息。在一些实施例中，本地数据库124存储从因特网搜索中检索的信息。

[0117] 在一些实施例中，本地数据库124将数据发送到一个或多个功能模块，并接收来自一个或多个功能模块的数据，功能模块包括但不限于信号捕获模块126、信号处理模块128、虚拟环境模块130和集成模块132。

[0118] 在一些实施例中，用户设备120包括信号捕获模块126。例如，信号捕获模块126可以包括照相机等图像捕获装置。在一些实施例中，相机是深度启用的。在一些实施例中，使用两个或多个照相机。在一些实施例中，可使用内置麦克风或外部麦克风进行音频收集。在一些实施例中，信号捕获模块126捕获多个图像。在一些实施例中，信号捕获模块126连续捕获视频。

[0119] 如本申请文件所公开的，信号捕获模块126在实际环境中捕获真实生活对象的图像，实际环境即真实生活对象实际所处的环境。在一些实施例中，真实生活对象是用户设备120的用户。在一些实施例中，用户不是真实生活对象，相反，用户控制用户设备120以捕获信号捕获模块126可访问的对象的图像。例如，真实生活对象可以是由用户操作信号捕获模块126拍摄的名人。

[0120] 本申请文件所公开的方法和系统是有利的，因为它们不要求真实生活对象存在于特定类型的环境中来帮助图像处理。

[0121] 在一些实施例中，用户设备120包括信号处理模块128。例如，信号处理模块128通过将真实生活对象的图像信息从其实际环境中分离出来，从模块126捕获的图像中提取真实生活对象。所述提取利用基于特性的综合机制，包括基于人工智能的机制。基于特性的综合机制识别真实世界对象和实际环境之间的一个或多个特定特征的差异。例如，特征可以包括并且不限于真实生活对象的视觉特性或视频剪辑中捕获的实际环境、真实生活对象或实际环境的实时学习特性，或与真实生活对象或实际环境有关的预先学习的特征。在一些实施例中，视觉特性可以包括但不限于包括空间特性、尺寸特性、形状特征、运动特性、颜色特性、光照度和反射特性、时间特性、或透明度特性、深度特性、材料特性或它们的组合。在一些实施例中，空间特征包括三维空间特性。

[0122] 在一些实施例中，实时学习的特性包括但不限于颜色、形状、边缘、光反射率、光照度、曝光度、亮度、阴影、高亮、对比度、黑点(blackpoint)、运动、深度、材料或它们的组合。在一些实施例中，预先学习的特征还包括但不限于颜色、形状、边缘、光反射率、光照度、曝光度、亮度、阴影、高亮、对比度、黑点(blackpoint)、运动、深度、材料或它们的组合。

[0123] 本申请文件公开的提取过程可以在一轮或多轮中完成。在一些实施例中，信号处理模块128首先执行一轮粗提取，然后再执行一个或多个附加轮的精细提取。例如，粗提取可以跟踪真实生活对象的轮廓，而精细提取可以细化分割真实生活对象和实际环境的边缘。在一些实施例中，通过一轮或多轮精细提取还可以识别真实生活对象的轮廓内的区域，该区域实际上是环境的一部分，随后从真实对象中去除该区域。

[0124] 在一些实施例中，除了图像提取之外，信号处理模块128还可以评估和修改图像。

[0125] 在一些实施例中，信号处理模块可以处理音频信号等非可视信号，如图1C所示。

[0126] 在一些实施例中，用户设备120包括虚拟环境模块130。虚拟环境模块130可以为后续的图像集成创建和修改虚拟环境。例如，虚拟环境模块130可以基于一个或多个图像构建虚拟环境。虚拟环境可以是二维的或三维的。虚拟环境可以包括在虚拟环境所基于的图像中不存在的特征。例如，虚拟环境模块130可以通过修改相应的图像来改变或调整虚拟环境中的一个或多个元素。在一些实施例中，基于真实生活对象的一个或多个特征做出这样的修改或调整，从而可以更有效地集成所提取的真实生活对象和虚拟环境。示例性的修改或调整包括但不限于缩放、方向改变、形状变化、颜色变化、图像质量调整(例如，曝光度、亮度、阴影、高亮、对比度或黑点)等。可在虚拟环境中对本地单个元素进行修改或调整，或者对整个虚拟环境进行修改或调整。在一些实施例中，虚拟环境可以与实际环境不同。在一些实施例中，虚拟环境可以与实际环境相同，其中虚拟环境中的一个或多个元素被修改以用于随后的图像集成。

[0127] 虚拟环境模块130和信号处理模块128的功能有许多相似之处，在一些实施例中，可以将它们结合。

[0128] 在一些实施例中，用户设备120包括集成模块130。集成模块130将提取的真实生活对象与虚拟环境相结合，生成集成图像。如图1B所详细说明的那样，可以在逐像素的基础上进行集成，以提高效率和精度。

[0129] 在一些实施例中，示例性系统100还包括用户设备140。在一些实施例中，用户设备140可以具有与用户设备120相同的功能模块；例如，用户输入和输出模块142、本地数据库
144、信号捕获模块146、信号处理模块148、虚拟环境模块150和集成模块152。当存在功能模块时，它可以类似于用户设备140或根据任何适用的已知技术来实现。

[0130] 在一些实施例中，用户设备可以具有较少的功能模块，而依赖于服务器170提供一个或多个功能。如图1D所示，除了信号捕获模块146之外，其他图像集成相关模块(包括信号处理模块148、虚拟环境模块150和集成模块152)对用户设备140可以是可选的。这些功能可以有效地，以任何组合在用户设备140和服务器170之间进行划分。例如，用户设备140可以将捕获的图像发送到服务器170进行图像处理(例如，图像提取)。在一些实施例中，提取的真实生活对象与服务器170上的虚拟环境集成。在一些实施例中，提取的真实生活对象可以被传送回用户设备以与虚拟环境集成。在一些实施例中，用户可以选择提供定制的虚拟环境。例如，用户设备可以将选择的虚拟环境发送到服务器170，随后，图像集成在服务器170上进行。

[0131] 在一些实施例中，用户可以选择开启或关闭功能。例如，用户可以选择在用户实际所处的实际环境中与另一个用户通信。例如，当与外出的家庭成员通信时，用户可以选择显示真实的家庭环境，不对其作任何更改。这可以通过只打开信号捕获模块146，同时关闭其他功能模块来实现。此外，用户可以选择打开剩余的功能模块中的任何一个。

[0132] 在一些实施例中，示例性系统100还包括服务器170。服务器170与一个或多个用户设备通信，并且包括服务器数据库172、信号处理模块174、虚拟环境模块176、集成模块178、广告供应模块180等功能模块，或它们的变体。在一些实施例中，信号处理模块174、虚拟环境模块176和集成模块178类似于本申请文件中公开的与用户设备120或用户设备140相关的模块。在一些实施例中，由于与用户设备相比，服务器的计算能力和存储空间都有增强，因此这些模块可以在服务器170上执行不同的操作。例如，与用户设备上能够允许的集成相比，服务器上可以进行更多数量像素并行的集成。

[0133] 广告供应模块180确定广告内容是否将与某些集成图像和/或视频一起提供。如图1A所示，广告内容是一种类型的辅助信号，可以在集成过程中的各个点被合并到最终的集成图像和/或视频中，例如在图像提取、虚拟环境的构建或最终集成过程中。此外，在集成图像或视频被观看时，可以在实时后集成中添加广告元素。
示例性实施例

[0134] 本申请文件所公开的系统和方法具有许多应用。例如，它们可以用于创建或修改图像以供演示，例如参见图2和3A到3C。或者，它们可以被用来实现更有效的实时通信，如图4A到4C和图5A到5C所示。

[0135] 图2示出了在用户设备上执行所有功能的样本过程。在一些实施例中，这可以由用户设备120等设备启用。在此，用户可以通过打开深度启用相机来启动图像捕获，深度启用相机连接到用户设备或是用户设备的一个组成部分。这里的真实生活对象可以是设备的用户或设备可访问的对象。例如，摄影师或摄像师可以操作用户设备来收集真实生活对象(例如，人、动物或其组合)的图像和视频。

[0136] 真实生活对象的提取跟随在图像捕获之后，它可以自动地和图像捕获同时进行。在一些实施例中，用户可以手动控制何时开始图像提取。例如，对于图像或视频编辑，用户可以选择图像提取何时和从何处开始，从而只处理期望的图像或视频部分。

[0137] 在一些实施例中，用户可以选择虚拟环境。选择可以在图像提取之后进行，或者与图像提取同时进行。在一些实施例中，选择现有的虚拟环境。在一些实施例中，可以在用户选择之后临时构建虚拟环境。在一些实施例中，当构建虚拟环境时，可以考虑真实生活对象的一个或多个特征。例如，当真实生活对象打算与虚拟环境的元素交互时，可以调整虚拟环境的大小或形状以进行无缝集成。

[0138] 一旦提取的真实生活对象和虚拟环境的数据可用，也可以自动地集成所提取的真实生活对象和虚拟环境。在一些实施例中，用户可以手动控制何时应该开始图像集成。例如，对于图像或视频编辑，用户可以选择何时和在何处开始图像集成，以便只处理期望的图像或视频部分。

[0139] 如图所示，可以在用户设备上的一个或多个步骤中添加广告材料。在一些实施例中，用户设备可以将广告元素发送到另一用户设备，或从另一用户设备接收广告元素，例如，如图5A到5C所示的多设备通信系统。

[0140] 图3A到3C示出了在用户设备和远程服务器之间划分功能的样本实施例。如图3A所示，除了在用户设备上进行图像捕获之外，在远程服务器上执行的其他处理步骤包括图像提取、虚拟设备的提供或构建以及两者的集成。然后将集成图像传送回用户设备用以观看。用户可以选择在观看集成图像之后通过提供用户输入来修改集成图像。

[0141] 在图3B中，除了图像捕获步骤之外，图像提取步骤也在用户设备上进行。虚拟设备的提供或构建以及两者的集成都在远程服务器上执行。然后将集成图像传送回用户设备观看。

[0142] 在图3B中，除了图像捕获步骤之外，图像提取和虚拟环境的提供和构建也在用户设备上进行。在远程服务器上只执行集成。然后将集成图像传送回用户设备供观看。

[0143] 图2和3A到3C中所示的过程可以用于非通信目的，例如图像和/或视频编辑，用于创建实时或非实时/延迟的演示材料，包括但不限于个人视频、纪录片、新闻材料、教育材料、广告材料。这样的过程可以是交互式的，用户可以在不同的点改变或修改命令或选择，包括但不限于启动图像捕获的时间和选择虚拟环境的时间。例如，可以提前或实时地创建关于古罗马的虚拟教育视频。当老师在课堂上展示视频时，她可以要求学生作为向导参加。使用本申请文件所公开的系统，学生可以作为古代罗马的虚拟向导在视频中出现。

[0144] 用户可以使用图2所示的实施例来独立地创建图像或视频，而不需要来自外部服务器的帮助。图像或视频可用于个人欣赏或作为讲话的一种形式(例如，包括用于广告)。如本申请文件所公开的，可以在任何一个或多个方法步骤中添加广告元素。

[0145] 例如，房地产经纪人可以通过将自己的实时图像插入到已有的房产照片中来创建传单，而不必重新拍摄照片。此外，此处的方法允许在生成集成图像时通过实时修改来增强现有的房产照片。

[0146] 再例如，用户可以在本地用户设备上创建小预算广告，无论是否有来自服务器的帮助。例如，一家花店的店主可以在视频剪辑中把自己的特色插花的图像整合到她最喜欢的场景中。

[0147] 用户还可以在一个或多个外部服务器的帮助下，使用图3A到3C中所示实施例来创建图像或视频。图像或视频可用于个人欣赏或作为讲话的一种形式(例如，包括用于广告)。如本申请文件所公开的，可以在任何一个或多个在服务器上执行的方法步骤中添加广告元素。

[0148] 图2和3A到3C中所示的过程也可以应用于实时通信。例如，集成图像将直接或间接经由服务器发送到另一用户设备。在此，可以通过发送集成图像的用户设备来进行虚拟环境的选择。接收集成图像的用户设备将看到发送设备选择的虚拟环境。在一些实施例中，接收方用户设备可以选择关闭由发送用户设备选择的虚拟环境。

[0149] 在一些实施例中，可以在通信过程中添加一个或多个广告元素。广告元素的内容可以基于用户偏好或场景信息等多个因素来确定。在一些实施例中，所选择的广告元素可以被合并到虚拟环境中。例如，当到旧金山出差的旅者联系他的家人时，他选择的虚拟环境可以包括当地礼品店的广告。然而，当他进行商务电话会议时，他选择的虚拟环境可以包括与他的公司或行业的运作相关的广告。在这些示例中，广告内容由通信场景确定。

[0150] 图4和图5提供了用于实时通信的样本实施例的进一步说明，其中集成图像通过网络集合、中间服务或直接从一个用户设备发送到另一个用户设备。

[0151] 图4A示出了两个用户设备通过中间服务器相互通信的样本实施例。除了在用户设备上进行图像捕获之外，其他在中间服务器上执行的处理步骤还包括图像提取、虚拟设备的提供或构建以及两者的集成。在此，第一用户设备和第二用户设备都将各自真实生活对象的捕获图像发送到中间服务器，然后从它们各自的实际环境中提取第一和第二真实生活对象。

[0152] 第一用户设备向服务器发送第一环境的选择，第二用户设备向服务器发送第二环境的选择。在一些实施例中，服务器从存储在服务器上的数据库中的虚拟环境库中提供所选择的虚拟环境。在一些实施例中，服务器基于用户设备提供的图像或从服务器上的数据库中选择的图像构建各自的虚拟环境。在集成期间，所提取的第一真实生活对象将与由第二用户设备选择的虚拟环境集成。类似地，所提取的第二真实生活对象将与由第一用户设备选择的虚拟环境集成。虽然可以将提取的真实生活对象与自己选择的虚拟环境集成，但是图4A中描绘的是优选的实施例，因为第一真实生活对象的图像将在第二用户设备上观看。

[0153] 图4B示出了与图4A相似的样本过程，除了图像提取在用户设备上而不是中间服务器上进行。然后将提取的图像发送到中间服务器。虚拟环境仍然由中间服务器提供或构造。在集成期间，所提取的第一真实生活对象将与由第二用户设备选择的虚拟环境集成。类似地，所提取的第二真实生活对象将与由第一用户设备选择的虚拟环境集成。虽然可以将提取的真实生活对象与自己选择的虚拟环境集成，但是图4A中描绘的是优选的实施例，因为第一真实生活对象的图像将在第二用户设备上观看。

[0154] 图4C示出了与图4A和4B类似的样本过程。在此，在用户设备上进行附加的处理步骤。例如，除了图像捕获之外，图像提取和虚拟环境的提供和构建也在用户设备上进行。然后将提取的图像和虚拟环境发送到中间服务器。在集成期间，所提取的第一真实对象将与由第二用户设备选择的虚拟环境集成。类似地，所提取的第二真实对象将与由第一用户设备选择的虚拟环境集成。虽然可以将提取的真实生活对象与自己选择的虚拟环境集成，但是图4A中描绘的是优选的实施例，因为第一真实生活对象的图像将在第二用户设备上观看。

[0155] 图4A至4C中描述的样本实施例允许服务器在吸引参与其他活动(例如视频会议)的用户同时提供广告内容。在一些实施例中，可以在通信过程中添加一个或多个广告元素。广告元素的内容可以基于用户偏好或场景信息等多个因素来确定。

[0156] 在图4A至4C所示的实施例中，用户不主动寻找广告，因此基于用户偏好和场景信息，以非侵入的而相关的方式提供广告很重要。在一些实施例中，所选择的广告元素可以被合并到虚拟环境中。例如，当到旧金山出差的旅者联系他的家人时，他选择的虚拟环境可以包括当地礼品店的广告。此外，在电话会议期间也可以向他的家人呈现广告，并且内容可以选择(例如基于他的家人的地理位置)。

[0157] 然而，当他进行商务电话会议时，他选择的虚拟环境可以包括与他的公司或行业的运作相关的广告。同样，在电话会议期间，广告也可以呈现给其他呼叫者，并且可以例如基于其位置的地理定位和他们的公司或行业的运作来选择内容。在一些实施例中，呈现相同的广告。在一些实施例中，不同的广告被呈现给不同的参与者。在这些示例中，广告内容由通信场景确定。

[0158] 图5A至5C示出了没有中间服务器，用户设备彼此直接通信的样本实施例。

[0159] 在图5A中，两个用户设备中的每个用户设备捕获图像、提取图像、提供/构建虚拟环境并将提取的真实生活对象与虚拟环境集成。集成的图像例如通过蓝牙或无线连接发送到另一个用户设备进行显示。同样，这可能不是优选的环境，因为在一个用户设备上的用户将被迫查看由另一设备选择的虚拟环境。

[0160] 图5B示出一个示例性实施例，其中一个设备上的用户可以在其自己选择的虚拟环境中查看集成图像。例如，第一用户设备在第一实际环境中捕获第一真实生活对象的图像。然后提取第一真实生活对象并发送到第二用户设备，然后将其集成到第二用户设备中选择的第二虚拟环境中。类似地，第二用户设备捕获第一实际环境中的第二真实生活对象的图像。然后提取第二真实对象并发送给第一用户设备，然后将其集成到第二用户设备中选择的第一虚拟环境中。在这样的实施例中，各个用户可以查看他们在偏好的虚拟环境中通信的一方。

[0161] 图5C示出了一个示例性实施例，其中一个设备上的用户可以在其自己选择的虚拟环境中查看集成图像。例如，第一用户设备在第一实际环境中捕获第一真实生活对象的图像。然后提取第一真实生活对象并发送到第二用户设备，然后将其集成到第二用户设备中选择的第二虚拟环境中。类似地，第二用户设备捕获第一实际环境中的第二真实生活对象的图像。然后提取第二真实生活对象并发送给第一用户设备，然后将其集成到第二用户设备中选择的第一虚拟环境中。在这样的实施例中，各个用户可以查看他们在偏好的虚拟环境中通信的一方。

[0162] 虽然未在图5A到5C中示出，但可以理解，用户可以选择在一个或多个处理步骤中添加广告元素。在一些实施例中，图5A至5C中所示的示例性过程可以应用于联合或合作地创建演示内容，包括但不限于广告内容。

[0163] 图4和图5所示的过程可用于实时通信目的。这样的通信包括但不限于视频会议、交互式游戏、交互式新闻素材、交互式教育材料或交互式广告材料。例如，可以提前或实时地创建关于古罗马的虚拟教育视频。当老师在课堂上展示视频时，她可以请学生作为向导参加。使用本申请文件所公开的系统，学生可以作为古代罗马的虚拟向导在视频中出现。

[0164] 虽然图4和图5中所提供的例子都指的是两方通信系统，但其并非将本发明的范围限制于此。只要支持这样的通信模式，本申请文件中所公开的方法和系统可以用于任何数量的参与者。

[0165] 本申请文件上述图1-5所示的系统和方法提供了许多优点，特别是与基于AR的图像和视频编辑和基于AR的实时通信的实时图像和信号处理相关联。例如，本申请文件所公开的系统和方法保证了精确性、效率、方便性和灵活性，并且可以在许多应用中实现。

[0166] 本申请文件所公开的方法和系统进一步融合适合于集成图像/视频中场景的音乐和环境声音。此外，适当的翻译语言语音被用来进一步增强声音和体验。总之，本申请文件所公开的方法和系统将给用户提供深度沉浸式的视觉和听觉体验，使他们感觉处于相同的环境中，即使它们实际上彼此相距很远。

[0167] 下面概述了可以实施所述方法和系统的多个示例。该方法和系统可用于基于AR的视频会议。该方法和系统有助于保护用户隐私，并允许用户选择偏好的环境来查看会议的其他参与者。

[0168] 该方法和系统可同嵌入式营销应用一起，用于基于AR的视频会议。用户或企业可以将营销消息、广告插入到基于AR的视频会议中，从而使参与视频会议的用户能够接触到产品或服务。

[0169] 该方法和系统也可用于基于AR的视频记录和编辑。用户可以创建他们自己在宇宙中任何可以想到的环境中的视频，它使绿幕视频拍摄显得过时。它使得用户可以进行时间旅行，例如访问盛世时代的罗马。它可以用在教育中或只是为了娱乐而使用。

[0170] 所述方法和系统创造了一个无缝沉浸式的环境，使得人们能够跨越巨大的实际地理距离，感觉却像身在同一地点。

[0171] 该方法和系统允许讲不同语言的用户彼此自由地通信。

[0172] 可以理解的是，用户可以使用任何适用的方法和/或系统来改善材料生产和演示的体验，以及主动和被动的广告体验。例如，这种的方法和系统包括申请号为15/367124，提交于2016年12月1日，发明名称为“个性化、交互式和智能搜索的方法和系统”的美国申请中所公开内容，在此通过整体引用将其纳入本申请文件。实例系统结构

[0173] 图6是可以实现图1-6的特征和过程的实例计算设备600的框图。计算设备600可以包括存储器接口602、一个或多个数据处理器、图像处理器和/或中央处理单元604和外围接口606。存储器接口602、一个或多个处理器604和/或外围设备接口506可以是单独的组件，或者可以集成在一个或多个集成电路中。计算设备600中的各个组件可以通过一个或多个通信总线或信号线耦合。

[0174] 传感器、设备和子系统可以耦合到外围接口606，以便于实现多个功能。例如，运动传感器610、光传感器612和接近传感器614可以耦合到外围接口606，以便于定向、照明和接近功能的实现。其他传感器616也可以连接到外围接口606，例如全球导航卫星系统(GNSS)(例如GPS接收器)、加速度计、陀螺仪传感器、温度传感器、生物测量传感器、磁强计或其他感测装置，以便实现相关功能。

[0175] 照相机子系统620和光学传感器622，例如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光学传感器，可以用来便于相机功能的实现，例如记录照片和视频剪辑。相机子系统620和光学传感器622可用于收集用户认证期间要使用的用户的图像，例如，通过执行面部识别分析。例如，照相机子系统620包括但不限于2D相机、3D相机、2D/3D相机、红外相机、近红外相机、紫外线相机、多光谱相机、高光谱相机以及多种相机的组合。

[0176] 可以通过一个或多个无线通信子系统624来促进通信功能，该无线通信子系统可以包括射频接收器和发射器和/或光学(例如，红外)接收器和发射器。通信子系统624的具体设计和实施可以取决于计算设备600打算在其上运行的通信网络。例如，计算设备600可以包括被设计为在GSM网络、GPRS网络、增强型数据速率GSM演进(Enhanced Data Rate for GSM Evolution，简称“EDGE”)网络、Wi-Fi或WiMAX网络和蓝牙网络等上工作的通信子系统624。尤其是，无线通信子系统624可以包括主机协议，使得设备120可以作为其他无线设备的基站。示例性无线系统624包括但不限于无线互联网(WLAN、WiFi等)、有线互联网、蓝牙、
2G/3G/4G/5G无线等。

[0177] 音频子系统626可以耦合到扬声器628和麦克风630，以便于语音功能的实现，例如说话人识别、语音复制、数字记录和电话功能。例如，音频子系统626可以用于方便处理语音命令、语音打印和语音认证。音频子系统626包括但不限于常规麦克风、高清麦克风、立体声麦克风和多个麦克风的组合。

[0178] I/O子系统640可以包括显示/触摸表面控制器642和/或其他输入控制器644。显示控制器642可以耦合到触摸表面等显示设备646。例如，显示/触摸表面设备646和相关的显示控制器642可以使用多个触摸敏感技术中的任何一种来检测接触和移动或断开，包括但不限于电容、电阻、红外和表面声波技术，以及其他接近传感器阵列或其他用于确定与显示/触摸表面646接触的一个或多个接触点的元件。它们可以是AR眼镜显示器，也可以是常规显示器(手机显示器、电视显示器等)。

[0179] 另一个输入控制器(S)644可以耦合到其他输入/控制设备648，例如一个或多个按钮、摇杆开关、拇指轮、红外端口、USB端口和/或指针装置，如手写笔。所述一个或多个按钮(未示出)可包括用于扬声器628和/或麦克风630的音量控制的上/下按钮。

[0180] 在一个实施方式中，以第一持续时间按下按钮可以解除显示装置646的锁定，并且以比第一个持续时间长的第二个持续时间按下按钮可以接通或切断计算设备600的电源。以第三个持续时间按下按钮可以激活语音控制，激活语音命令，或者激活使用户能够向麦克风630中发出命令以使设备执行口头命令的模块。用户可以定制一个或多个按钮的功能。
例如，显示设备646也可以用于实现虚拟或软按钮和/或键盘。

[0181] 用户可以通过I/O子系统640、其他输入控制器644或任何其他类型的输入输出模块中的一个或多个组件提供实时反馈。

[0182] 在一些实施方式中，计算设备600可以呈现记录的音频和/或视频文件，例如MP3、AAC和MPEG文件。在一些实施方式中，计算设备500可以包括智能手机、平板设备、膝上型计算机或可穿戴设备(例如，智能手表、智能眼镜等)、游戏系统、基于AR的设备和/或基于MR的系统。示例性AR设备包括AR玻璃护目镜(例如，微软全息眼镜Microsoft Hololens，莫弗里奥眼镜 Moverio等)，以及AR头盔(例如，奥克利无线电波Oakley ariwave等)。示例性MR系统包括与Xbox和显示器相结合的微软Kinect；与计算机相结合的英特尔实感(realsense)照相机，等等。基于AR系统的示例性智能手机可以包括几乎任何配备有相机/麦克风和其他传感器的智能手机。

[0183] 存储器接口602可以耦合到存储器650。存储器650可以包括高速随机存取存储器和/或非易失性存储器，例如一个或多个磁盘存储设备、一个或多个光存储设备和/或闪存(例如，NAND，NOR)。存储器650可以存储操作系统652，例如达尔文(Darwin)、RTXC、LINUX、UNIX、OS X、WINDOWS或嵌入式操作系统如VxWorks。

[0184] 操作系统652可以包括用于处理基本系统服务和执行依赖硬件的任务的指令。在一些实施方式中，操作系统652可以是内核(例如，UNIX内核)。在一些实施方式中，操作系统652可以包括用于执行语音认证的指令。例如，操作系统652可以实施如图1-5所描述的图像处理特征。

[0185] 存储器650还可以存储通信指令654，以便于与一个或多个附加设备、一个或多个计算机和/或一个或多个服务器通信。存储器650可以包括图形用户界面指令656，以便于图形用户界面处理；传感器处理指令658，以便于与传感器相关的处理和功能；电话指令660，以便于电话相关的过程和功能；电子消息传递指令662，以便于电子消息传递相关过程和功能；Web浏览指令664，以便于与web浏览相关的过程和功能；媒体处理指令666，以便于媒体处理相关的过程和功能；GNSS/导航指令668，以便于GNSS和导航相关的过程和指令；和/或摄像机指令670，以便于摄像机相关的过程和功能。

[0186] 存储器650可以存储图像和信号处理指令672，以便于其他处理和功能，如图1-6所示出的图像处理过程和功能。

[0187] 存储器650还可以存储其他软件指令674，例如Web视频指令，以便于与Web视频相关的过程和功能；和/或Web购物指令，以便于与Web购物相关的过程和功能。在一些实施方式中，媒体处理指令666被划分为音频处理指令和视频处理指令，以分别便于与音频处理相关的处理和功能以及与视频处理相关的处理和功能。

[0188] 上述识别指令和应用程序中的每一个可以对应于执行上述一个或多个功能的一组指令。这些指令不需要作为单独的软件程序、过程或模块来实施。存储器650可以包括附加指令或更少的指令。此外，计算设备600的各种功能可以在硬件和/或软件中实现，包括在一个或多个信号处理和/或应用专用集成电路中。

[0189] 图7示出了实施图1-5的特征和过程的实例远程服务器系统体系结构的框图。

[0190] 在一些实施例中，远程数据服务器700可以包括中央处理单元710、电源712、用户接口720、通信电路716、总线714、控制器726、可选的非易失性存储728和至少一个存储器730。

[0191] 存储器730可以包括易失性和非易失性存储单元，例如随机存取存储器(RAM)、只读存储器(ROM)、闪存等等。在优先实施例中，存储器730包括高速RAM，用于存储系统控制程序、数据、应用程序，例如从非易失性存储728加载的程序和数据。可以理解，在任何给定的时间，存储器730中的任何模块或数据结构的全部或部分实际上可以存储在存储器728中。

[0192] 用户接口720可以包括一个或多个输入设备724，例如键盘、键座、鼠标、滚轮等，以及显示器722或其他输出设备。网络接口卡或其他通信电路716可以提供连接到任何有线或无线通信网络，其可以包括因特网和/或任何其他广域网，并且在特定的实施例中包括移动电话网络等电话网络。内部总线714提供集中式数据服务器700的上述元素的互连。

[0193] 在一些实施例中，集中式数据服务器700的操作主要由操作系统732控制，操作系统732由中央处理单元710执行。操作系统732可以存储在系统存储器730中。除了操作系统732之外，系统存储器730典型的实施还可以包括用于控制对本发明所使用的各种文件和数据结构的访问的文件系统734、一个或多个应用模块736以及一个或多个数据库或数据模块
750。

[0194] 在根据本发明的一些实施例中，应用模块736可以包括一个或多个以下描述的并在图7中示出的模块。

[0195] 信号处理应用738。在根据本发明的一些实施例中，信号处理应用738接收并处理从用户设备发送到服务器的信号，包括但不限于图像、音频或视频。

[0196] 通过应用计算技术(例如，散列函数)，信号处理应用738将输入数据、传感器数据、网络衍生数据转换成数字数据以构造一个或多个数据库752(例如，754-774)。

[0197] 内容管理工具740。在一些实施例中，内容管理工具640用于将不同形式的数据库752组织成多个数据库，例如处理机制数据库754、地理定位数据库756、基于网络的趋势数据库758、虚拟环境数据库760、用户配置文件和认证数据库762和附加数据库764，如广告内容。在根据本发明的一些实施例中，内容管理工具740用于搜索和比较托管在远程数据服务器700上的任何数据库。根据本发明的内容可以是文本消息、网址(URL)、Web链接、注释消息、邮政消息、传感器数据、文件、图像、音频文件、视频文件、闪存文件、媒体文件、幻灯片文件或任何可打印或可视化的文件。

[0198] 存储在远程数据服务器700上的数据库包括任何形式的数据存储系统，包括但不限于平面文件、关系数据库(SQL)和联机分析处理(OLAP)数据库(MDX和/或其变体)。在一些特定的实施例中，数据库是分层OLAP多维数据集。在一些实施例中，每个数据库都有一个不被存储为多维数据集但具有定义层次结构的维度表的星形模式。此外，在一些实施例中，数据库具有在基础数据库或数据库模式中未显式分解的层次结构(例如，维度表不是分层排列的)。在一些实施例中，数据库事实上不是托管在远程数据服务器700上，而实际上被集中式数据服务器通过安全网络接口访问。在这样的实施例中，采取加密等安全措施来保护存储在这样的数据库中的敏感信息。

[0199] 系统管理和监视工具742。在根据本发明的一些实施例中，系统管理和监视工具742管理和监视远程数据服务器的所有应用程序和数据文件。由于生物特征等个性化数据被存储在远程数据服务器700上，因此访问那些严格控制和监视的文件是很重要的。系统管理和监视工具742基于严格的用户认证来确定哪些用户设备可以访问远程数据服务器700。
在一些实施例中，可能需要多轮认证。在一些实施例中，系统管理和监视工具742使用不止一个安全措施来保护存储在远程数据服务器700上的数据。在一些实施例中，可以应用随机旋转安全系统(random rotational security system)来保护存储在远程数据服务器700上的数据。

[0200] 网络应用746。在一些实施例中，网络应用746通过多个网络服务连接远程数据服务器700。远程数据服务器600连接到多种类型的用户设备，这要求远程数据服务器适应于基于不同类型的网络接口的通信，例如，基于路由器的计算机网络接口、基于交换机的电话式网络接口和基于发射塔的手机无线网络接口，例如，802.11网络或蓝牙网络。

[0201] 客户支持工具748。客户支持工具748帮助用户了解有关他们的账户、技术支持、隐私或广告体验反馈等信息或问题。在某些实施例中，用户可以请求(例如，通过实时语音、文本或手势命令)来打开和关闭广告体验。

[0202] 在一些实施例中，存储在远程数据服务器700上的每个数据结构都是单数据结构。在其他实施例中，任何或所有这样的数据结构可以包括多个数据结构(例如，数据库、文件和档案文件)，这些数据结构可能或不一定都存储在远程数据服务器700上。一个或多个数据模块750可以包括任意数量的数据库752，这些数据库由内容管理工具740组织成不同结构(或其他形式的数据结构)。

[0203] 除了上述识别模块之外，数据750还可以存储在远程数据服务器700上。示例性数据库752包括处理机制数据库754、场景数据库756、广告商数据库758、虚拟环境数据库760和用户配置文件和认证数据集762，下面将对这些数据库进行更详细的描述。

[0204] 处理机制数据库754。任何适用的机制可以存储在处理机制数据库754中。这样的机制不限于捕获信号数据的机制。附加机制(例如用于处理集成图像或视频的虚拟环境或后期制作处理的附加机制)也可以存储在处理机制数据库754中。

[0205] 场景数据库756。在一些实施例中，远程数据服务器700承载场景数据库756。场景数据库756存储和组织与场景相关的数据，例如时间、天气、位置相关事件、历史、地图、新闻等的日期和时间信息、通信场景、内容场景、广告商场景、地理定位场景、呈现场景或它们的组合。当服务器为用户选择合适的广告内容时，这里的信息可以提供场景信息。在一些实施例中，包括最近流行的查询、事件、领域知识和其他相关信息的趋势数据可以用作场景信息。当服务器为用户选择合适的广告内容时，可以实时更新信息以提供场景信息。

[0206] 广告商数据库758。如申请文件所公开的，由广告商相关联或指定的信息存储在广告商数据库758中。在一些实施例中，广告商可以提出对特定平台的偏好。在一些实施例中，广告商可以设置参与竞价过程的定价信息。

[0207] 虚拟环境数据库760。在一些实施例中，用于构建这种虚拟环境的虚拟环境或图像/视频存储在虚拟环境数据库760中。此外，用户过去对一种或多种类型的修改的偏好可以用于指导和帮助修改未来的虚拟环境。在一些实施例中，虚拟环境或其修改和变化的先前偏好可以与相应的用户配置文件(例如，来自用户配置文件数据库762)一起存储和组织，从而提供用户特定的广告内容。

[0208] 用户配置文件数据库762。在根据本发明的一些实施例中，用户配置文件数据库762可以创建并存储在远程数据服务器700上，远程数据服务器700存储和管理与用户有关的口令和认证数据。在一些实施例中，用户有机会选择安全设置。在一些实施例中，用户偏好信息也包括在用户配置文件数据库中。示例性用户偏好信息包括但不限于用户指定信息、用户传记信息、用户行为信息、用户活动、用户心理状态、用户社交状态、用户实时请求信息，或它们的组合。

[0209] 本发明可以实施为计算机系统和/或计算机程序产品，其包括嵌入到计算机可读存储介质中的计算机程序机制。此外，本发明的任何方法都可以在一个或多个计算机或计算机系统中实施。此外，本发明的任何方法都可以在一个或多个计算机程序产品中实施。本发明的一些实施例提供了一种计算机系统或计算机程序产品，其编码或具有用于执行本申请文件中公开的任何或所有方法的指令。这样的方法/指令可以存储在CD-ROM、DVD、磁盘存储产品、闪存驱动器或任何其他计算机可读数据或程序存储产品上。这样的方法也可以嵌入永久存储器中，例如ROM、一个或多个可编程芯片，或者一个或多个应用专用集成电路(ASIC)。这种永久存储可以被定位在服务器、802.11接入点、802.11无线网桥/站、中继器、路由器、移动电话或其他电子设备中。编码在计算机程序产品中的这些方法也可以通过互联网或其他方式通过计算机数据信号(其中嵌入了软件模块)以数字或载波形式传输来进行电子分发。

[0210] 本发明的一些实施例提供了一种计算机系统或计算机程序产品，其包含本申请文件所公开的任何或全部程序模块。这些程序模块可以存储在CD-ROM、DVD、闪存驱动器、磁盘存储产品或任何其他计算机可读数据或程序存储产品上。程序模块也可以嵌入永久存储器中，例如ROM、一个或多个可编程芯片，或者一个或多个应用专用集成电路(ASIC)。这种永久存储可以被定位在服务器、802.11接入点、802.11无线网桥/站、中继器、路由器、移动电话或其他电子设备中。计算机程序产品中的软件模块也可以通过互联网或其他方式通过计算机数据信号(其中嵌入了软件模块)以数字或载波形式传输来进行电子分发。

[0211] 上述各种方法和技术提供了多个实施本发明的方法。当然，要理解的是，并非所述所有的目标或优点都可以根据本申请文件所描述的任何特定实施例来实现。因此，例如，本领域的技术人员将认识到，该方法可以以实现或优化本申请文件所教导的一个优点或一组优点的方式来执行，而不必实现如本申请文件中所教导或建议的其他目标或优点。本申请文件提到了各种有利和不利的替代方案。应该理解的是，一些优选实施例具体包括一个、另一个或几个有利特征，而另一些具体地排除了一个、另一个或几个不利特征，还有一些通过包括一个、另一个或几个有利特征明确地使当前不利特征的不利性降低。

[0212] 此外，技术人员将认识到不同实施例的各种特征的适用性。类似地，以上讨论的各种元素、特征和步骤以及每个这样的元素、特征或步骤的其他已知等效成分可以被本领域的普通技术人员混合和匹配，按照本申请文件所述的原理来执行方法。在各种元素、特征和步骤中，一些将被明确地包括在内，而其他将会在各种具体实施例中被明确地排除。

[0213] 虽然本发明已在某些实施例和实例的场景中公开，但本领域的技术人员将理解，本发明的实施例超出了具体公开的实施例，可以扩展到其他替换实施例和/或使用、修改和等效成分中。

[0214] 在本发明的实施例中已经公开了许多变化形式和替代元素。更进一步的变化形式和替代元素对本领域的技术人员来说是显而易见的。

[0215] 本申请文件中所公开的本发明的替代元素或实施例的分组不应被解释为限制条件。在本申请文件中，组中的每一项都可以被单独地引用和要求权利，也可以与该组中的其他项或其他元素的进行任意组合从而被引用和要求权利。出于方便和/或专利性的原因，可以将组中一个或多个项目包含在组中或从组中删除。当进行任何这样的包含或删除时，本申请文件说明书被认为包含修改的组，从而满足所附权利要求中使用的所有马库什组的(Markushgroups)的书面描述。

[0216] 最后，应理解本申请文件公开的本发明的实施例说明了本发明的原理。其他可以采用的修改可以属于本发明的范围。因此，通过示例，而不是限制，本发明的替代配置可以根据本申请文件的教导来使用。因此，本发明的实施例并不仅仅限于所示和所述的内容。

标题	发布/更新时间	阅读量
即时废弃物品质检测装置与方法及废弃物回收装置与方法	2020-05-08	10
天线及信号处理装置	2020-05-08	753
一种基于神经网络的红外光谱反卷积方法	2020-05-08	528
高精度定位的航标	2020-05-08	582
一种通信系统时钟分配管理电路	2020-05-08	508
隐蔽式摄像头探测相机及其探测方法	2020-05-08	115
一款自带双通道信号传输的液晶显示组件	2020-05-08	233
一种变电站高压室设备状态在线监测系统	2020-05-11	39
自动检测和更换滤棉的通风系统装置及滤棉堵塞检测装置	2020-05-11	803
一种基于激光技术的厨房油烟浓度监测抽排装置	2020-05-11	255

基于通信的增强现实中实时图像和信号处理方法和系统