在对象上的增强现实广告专利检索-音频分割音频信号处理信号处理信号处理专利检索查询-专利查询网

在对象上的 增强现实广告

阅读：331发布：2020-05-16

专利汇可以提供在对象上的增强现实广告专利检索，专利查询，专利分析的服务。并且一种电子设备包括图像捕获设备和处理器。图像捕获设备捕获图像。处理器耦接到图像捕获设备，并且被配置为接收图像并确定图像中的情境上下文信息。处理器还识别至少一个非侵入性位置，并在至少一个非侵入性位置上执行形状检测。基于情境上下文信息和形状检测来接收广告资产。，下面是在对象上的增强现实广告专利的具体信息内容。

权利要求

1.一种电子设备，包括：
图像捕获设备，其被配置为捕获图像；和
处理器，其耦接到所述图像捕获设备，所述处理器被配置为：
接收所述图像；
确定所述图像中的情境上下文信息；
识别至少一个非侵入性位置；
在所述至少一个非侵入性位置上执行形状检测；和
基于所述情境上下文信息和所述形状检测接收广告资产。
2.根据权利要求1所述的电子设备，其中，所述处理器还被配置为：
识别所述至少一个非侵入性位置上的对象，并执行对象分割过程来分割所述对象。
3.根据权利要求2所述的电子设备，其中，所述处理器还被配置为：
使用运动技术结构生成所述对象的三维(3D)点云。
4.根据权利要求1所述的电子设备，其中，所述情境上下文信息包括所述图像中的环境照明条件、噪声水平、对象颜色或内容主题中的至少一个。
5.根据权利要求1所述的电子设备，进一步包括：
显示器，其耦接到所述处理器；
其中，所述处理器还被配置为：
以三维(3D)方式渲染接收到的广告资产；和
将所渲染的广告资产输出到显示器上非侵入性位置附近。
6.根据权利要求5所述的电子设备，其中，所述处理器还被配置为在包括所述图像的环境中跟踪所述非侵入性位置。
7.根据权利要求1所述的电子设备，还包括音频接口，
其中所述广告资产包括音频文件，并且所述处理器被配置为使用所述音频接口再现所述音频文件。
8.一种由根据权利要求1至8中任一个配置的电子设备执行的方法。
9.一种电子设备，包括：
存储器，其被配置为存储多个广告资产；和
耦接到所述存储器的处理器，所述处理器被配置为：
接收图像；
确定所述图像中的情境上下文信息；
识别至少一个非侵入性位置；
在所述至少一个非侵入性位置上执行形状检测；和
基于所述情境上下文信息和所述形状检测，在所述多个广告资产当中选择广告资产。
10.根据权利要求9所述的电子设备，其中，所述处理器还被配置为：
识别所述至少一个非侵入性位置上的对象，并执行对象分割过程来分割所述对象。
11.根据权利要求10所述的电子设备，其中，所述处理器还被配置为：
使用运动技术结构生成所述对象的三维(3D)点云。
12.根据权利要求9所述的电子设备，其中，所述情境上下文信息包括所述图像中的环境照明条件、噪声水平、对象颜色或内容主题中的至少一个。
13.根据权利要求9所述的电子设备，其中所选择的广告资产被传输到另一个电子设备。
14.根据权利要求9所述的电子设备，其中，所述广告资产包括音频文件。

说明书全文

在对象上的增强现实广告

技术领域

[0001] 本公开大体上涉及显示图像或视频。更具体地，本公开涉及一种用于呈现其中三维图像覆盖在本地环境中的对象上的增强现实显示的方法和装置。

背景技术

[0002] 增强现实是指通过添加虚拟信息或图形来增强真实图像的技术。虚拟信息可以是例如显示在微型显示器上的文本或图形图像，并且真实图像可以包括关于在设备的视野内观察到的真实对象的信息。增强现实可以通过使用如下方法来提供，该方法输出由照相机等拍摄的图像，并向拍摄的图像添加关于图像中包括的对象(例如人、事物等)的信息。在另一种方法中，增强现实可以经由头戴式显示装置或抬头(heads-up)显示装置获得，例如GOOGLE 其不直接输出拍摄的图像，而是仅输出关于拍摄的图像中包括的对象的信息。
发明内容

[0003] 技术问题

[0004] 目前，使用增强现实的广告由静态弹出窗口或横幅组成。还没有使得广告在用户正在使用增强现实设备时融入用户的视野的显示广告的方法。

[0005] 问题的解决方案

[0006] 本公开涉及用于在增强现实设备上再现信息的设备和方法。

[0007] 在第一实施例中，电子设备包括图像捕获设备和处理器。图像捕获设备捕获图像。处理器耦接到图像捕获设备，并且被配置为接收图像并确定图像中的情境上下文信息。处理器还识别至少一个非侵入性(non-intrusive)位置，并在该至少一个非侵入性位置上执行形状检测。基于情境上下文信息和形状检测来接收广告资产(advertisement asset)。

[0008] 在第二实施例中，一种用于显示三维(3D)图像的方法包括接收图像并确定图像中的情境上下文信息。该方法还包括识别至少一个非侵入性位置，在该至少一个非侵入性位置上执行形状检测，以及基于情境上下文信息和形状检测接收广告资产。

[0009] 在第三实施例中，电子设备包括被配置为存储多个广告资产的存储器和处理器。处理器被配置为接收图像并确定图像中的情境上下文信息。处理器还识别至少一个非侵入性位置，在该至少一个非侵入性位置上执行形状检测，并且基于情境上下文信息和形状检测在多个广告资产当中选择广告资产。

[0010] 根据以下附图、说明书和权利要求，其他技术特征对于本领域技术人员来说可能是显而易见的。

[0011] 在展开下面的发明模式之前，对贯穿本专利文件使用的某些单词和短语的定义进行阐述可能是有利的。术语“耦接”及其派生词指两个或多个元件之间的任何直接或间接通信，无论这些元件是否彼此物理接触。术语“传输”、“接收”和“通信”及其派生词包括直接和间接通信。术语“包括”和“包含”及其派生词是指包括但不限于。术语“或”是包含性的，意思是和/或。短语“与……相关联”及其派生词是指包括、被包括在、互连、含有、被含有在、连接或与……连接、耦接或与……耦接、可与……通信、配合、交织、并列、接近、结合或与……结合、具有、具有……的性质、与……有关系等。术语“控制器”是指控制至少一个操作的任何设备、系统或其一部分。这种控制器可以用硬件或者硬件和软件和/或固件的组合来实施。与任何特定控制器相关联的功能可以是集中式的或分布式的，无论是本地的还是远程的。
短语“至少一个”，当与项目列表一起使用时，意味着可以使用一个或多个所列项目的不同组合，并且可能只需要列表中的一个项目。例如，“A、B和C中的至少一个”包括以下任意组合：A、B、C、A和B、A和C、B和C以及A和B和C。

[0012] 此外，下面描述的各种功能可以由一个或多个计算机程序来实施或支持，每个计算机程序由计算机可读程序代码形成并包含在计算机可读介质中。术语“应用”和“程序”是指一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其适于在合适的计算机可读程序代码中实施的部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够被计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质不包括传输暂时性电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括数据可以被永久存储的介质和数据可以被存储并随后被重写的介质，诸如可重写光盘或可擦除存储设备。

[0013] 在整个本专利文件中，还提供了对于其他特定单词和短语的定义。本领域普通技术人员应该理解，在许多情况下(即使不是大多数情况下)，这种定义也适用于这种定义的单词和短语的先前和将来的使用。

附图说明

[0014] 为了更完整地理解本公开及其优点，现在结合附图参考以下描述，其中：

[0015] 图1示出了根据本公开的示例计算系统；

[0016] 图2示出了根据本公开的计算系统中的示例服务器；

[0017] 图3示出了根据本公开的示例电子设备；

[0018] 图4A示出了根据本公开的可穿戴设备的透视图；

[0019] 图4B示出了根据本公开的另一可穿戴设备的透视图；

[0020] 图5示出了根据本公开的示例系统；

[0021] 图6A至图6C示出了根据本公开的用于覆盖图像的方法；和

[0022] 图7示出了根据本公开的用于检测形状的方法。

[0023] 图8示出了根据本公开的示例图像覆盖。

具体实施方式

[0024] 下面讨论的图1至图8以及在本专利文件中用于描述本公开的原理的各种实施例仅是示例性的，不应以任何方式解释为限制本公开的范围。本领域技术人员将理解，本公开的原理可以在任何适当布置的设备或系统中实施。

[0025] 图1示出了根据本公开的示例计算系统100。图1所示的计算系统100的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用计算系统100的其他实施例。

[0026] 如图1所示，计算系统100包括网络102，其便于计算系统100中各种组件之间的通信。例如，网络102可以在网络地址之间传送互联网协议(internet protocol，IP)分组、帧中继帧、异步传输模式(asynchronous transfer mode，ATM)信元或其他信息。网络102可以包括一个或多个局域网(local area network，LAN)、城域网(metropolitan area network，MAN)、广域网(wide area network，WAN)、诸如互联网的全球网络的全部或一部分、或者一个或多个位置处的任何其他通信系统。

[0027] 网络102便于服务器104和各种电子设备106-110之间的通信。电子设备106-110可以是例如智能手机、可穿戴设备、车辆、眼镜、护目镜或头戴式显示器(head-mounted display，HMD)。服务器104包括能够为一个或多个客户端设备提供计算服务的任何合适的计算或处理设备。服务器104可以例如包括一个或多个处理设备、一个或多个存储指令和数据的存储器、以及一个或多个便于通过网络102通信的网络接口。

[0028] 在该示例中，电子设备106可以使用或任何短程通信协议直接与服务器104通信。一些电子设备108和110与网络102间接通信。例如，电子设备108经由一个或多个基站112，诸如蜂窝基站或eNodeB来进行通信。此外，电子设备110经由一个或多个无线接入点114，诸如IEEE 802.11无线接入点来进行通信。注意，这些仅用于说明，并且每个客户端设备可以直接与网络102通信，或者经由任何合适的中间设备或网络间接与网络
102通信。

[0029] 如下文更详细描述的，服务器104向电子设备106-110提供图像和/或视频，以生成增强现实图像或视频。

[0030] 尽管图1示出了计算系统100的一个示例，但是可以对图1进行各种改变。例如，计算系统100可以包括任何合适布置的任意数量的每个组件。一般来说，计算和通信系统具有多种配置，并且图1并不将本公开的范围限制于任何特定的配置。虽然图1示出了可以使用本专利文件中公开的各种特征的一种操作环境，但是这些特征可以用于任何其他合适的系统中。

[0031] 图2和图3示出了根据本公开的计算系统中的示例设备。具体而言，图2示出了示例服务器200，图3示出了示例电子设备300。服务器200可以代表图1中的服务器104，电子设备300可以代表图1中的电子设备106-110中的任何一个。

[0032] 如图2所示，服务器200包括总线系统205，其支持在至少一个处理器210、至少一个存储设备215和至少一个通信单元(收发器)220之间的通信。

[0033] 至少一个处理器210执行可以加载到存储器230中的指令。至少一个处理器210可以包括任何合适数量和类型的处理器或任何合适布置的其他设备。处理器的示例类型包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和分立电路。

[0034] 存储器230和永久储存器235是存储设备215的示例，存储设备215表示能够存储和便于检索信息(诸如数据、程序代码和/或临时或永久的其他合适信息)的任何结构。存储器230可以代表随机存取存储器或任何其他合适的易失性或非易失性存储设备。永久存储235可以包括支持数据长期存储的一个或多个组件或设备，诸如只读存储器、硬盘驱动器、闪存或光盘。存储器230在其上存储用于控制服务器200的一个或多个功能的应用。

[0035] 至少一个通信单元220支持与其他系统或设备的通信。例如，至少一个通信单元220可以包括网络接口卡或无线收发器，以便于通过网络102进行通信。至少一个通信单元
220可以支持通过任何合适的物理或无线通信链路的通信。

[0036] 在一些实施例中，服务器200可以包括允许数据输入和输出的I/O单元225。例如，I/O单元225可以通过键盘、鼠标、小键盘、触摸屏或其他合适的输入设备为用户输入提供连接。I/O单元225还可以向显示器、打印机或其他合适的输出设备发送输出。

[0037] 如下文更详细描述的，广告商可以将内容上传到服务器以在电子设备上显示。

[0038] 尽管图2示出了服务器200的一个示例，但是可以对图2进行各种改变。例如，服务器200可以包括图2所示的任意数量的每个组件。

[0039] 图3示出了根据本公开的示例电子设备300。图3所示的电子设备300的实施例仅用于说明，图1的电子设备106-110可以具有相同或相似的配置。然而，电子设备具有多种配置，并且图3并不将本公开的范围限制于电子设备的任何特定实施方式。在本公开的一个或多个实施例中，如图4A或图4B所示，电子设备300可以由HMD代替。

[0040] 如图3所示，电子设备300包括通信单元(收发器)310。通信单元310可以包括例如RF收发器、蓝牙收发器或WiFi收发器。电子设备300还可以包括发射(TX)处理电路315、麦克风320和接收(RX)处理电路325。电子设备300还包括音频接口330、处理器340、输入/输出(I/O)接口(IF，interface)345、输入350、显示器355和存储器360。存储器360包括操作系统(OS)程序361和一个或多个应用362。

[0041] “通信单元310”可以接收输入的RF信号，诸如信号或WI-FI信号。“通信单元310”可以下变频输入的RF信号以生成中频(intermediate frequency，IF)或基带信号。IF或基带信号被发送到RX处理电路325，RX处理电路325通过对基带或IF信号进行滤波、解码和/或数字化来生成经处理的基带信号。RX处理电路325将经处理的基带信号传输到扬声器
330(诸如用于语音数据)或处理器340，用于进一步处理(诸如用于网络浏览数据)。

[0042] TX处理电路315从麦克风320接收模拟或数字语音数据，或者从处理器340接收其他输出的基带数据(诸如网络数据、电子邮件或交互式视频游戏数据)。TX处理电路315编码、多路复用和/或数字化输出的基带数据，以生成经处理的基带或IF信号。通信单元310从TX处理电路315接收输出的经处理的基带或IF信号，并将基带或IF信号上变频为经由天线305传输的RF信号。

[0043] 处理器340可以包括一个或多个处理器或其他处理设备，并且执行存储在存储器360中的基本OS程序361，以便控制电子设备300的整体操作。例如，处理器340可以根据众所周知的原理控制通信单元310、RX处理电路325和TX处理电路315对前向信道信号的接收和反向信道信号的传输。在一些实施例中，处理器340包括至少一个微处理器或微控制器。

[0044] 处理器340还能够执行驻留在存储器360中的其他过程和程序。处理器340可以根据执行过程的需要将数据移入或移出存储器360。在一些实施例中，处理器340被配置为基于OS程序361或响应于从eNB或运营商接收的信号来执行应用362。处理器340还耦接到I/O接口345，I/O接口345为电子设备300提供连接到诸如膝上型计算机和手持计算机的其他设备的能力。I/O接口345是这些附件和处理器340之间的通信路径。

[0045] 处理器340还耦接到输入350和显示器355。电子设备300的操作者可以使用输入350(例如，键盘、触摸屏、按钮等)将数据输入电子设备300。显示器355可以是液晶显示器、发光二极管(LED)显示器、光学LED(OLED)、有源矩阵OLED(AMOLED)、诸如在一副增强现实眼镜上的一个或多个透镜的透明或不透明显示器(其中一个或多个图像可以投影到透镜上或使用透镜显示)、或者其他能够呈现诸如来自网站的文本和/或至少有限图形的显示器。在一个实施例中，输入350是触摸屏。触摸屏可以包括触摸面板、(数字)笔传感器、按键或超声波输入设备。触摸屏可以识别例如电容方案、压敏方案、红外方案或超声波方案中的至少一种方案当中的触摸输入。触摸屏还可以包括控制电路。在电容方案中，触摸屏可以识别触摸或接近。

[0046] 存储器360耦接到处理器340。存储器360的一部分可以包括随机存取存储器(RAM)，存储器360的另一部分可以包括闪存或其他只读存储器(ROM)。

[0047] 电子设备300还可以包括一个或多个传感器370，传感器370可以计量物理量或检测电子设备300的激活状态，并将计量的或检测的信息转换成电信号。例如，一个或多个传感器370可以包括例如在头戴式耳机(headset)或电子设备300上的用于触摸输入的一个或多个按钮、一个或多个照相机380、姿势传感器、眼睛跟踪传感器、陀螺仪或陀螺仪传感器、气压传感器、磁传感器或磁力计、加速度传感器或加速度计、抓握传感器、接近传感器、颜色传感器(例如红、绿、蓝(RGB)传感器)、生物物理传感器、温度/湿度传感器、照明传感器、紫外线(ultraviolet，UV)传感器、肌电图(electromyography，EMG)传感器、脑电图(electroencephalogram，EEG)传感器、心电图(electrocardiogram，ECG)传感器、IR(红外线)传感器、超声波传感器、虹膜传感器、指纹传感器等。传感器370还可以包括用于控制其中包括的至少一个传感器的控制电路。如下文将更详细讨论的，一个或多个传感器370可以用于控制UI(用户界面)、检测UI输入、确定用户的方位和面向方向以用于3D内容显示识别等。例如，在电子设备300包括头戴式耳机的实施例中，一个或多个传感器370中的任何一个可以位于电子设备300内、被配置为容纳电子设备300的头戴式耳机内、或者头戴式耳机和电子设备300两者中。

[0048] 电子设备300还可以包括一个或多个照相机380。一个或多个照相机380可以包括RGB照相机或红外照相机。如下所述，一个或多个照相机380可用于捕获环境的图像和/或视频，并跟踪环境中的一个或多个对象，跟踪用户的眼睛以执行功能，或跟踪手和/或手指手势。为了跟踪用户的眼睛，一个或多个照相机380可以相对于电子设备300面向内部，以捕获用户头部的一部分。为了跟踪一个或多个对象或手和/或手指手势，一个或多个照相机380可以相对于电子设备300面向外部。

[0049] 电子设备300使用计算机视觉(computer vision，CV)和照相机380来定位和跟踪3D物理空间中的对象。电子设备300在增强现实(augmented reality，AR)空间中创建表示对象的3D模型，使得如果需要，3D广告可以覆盖在对象上。

[0050] 尽管图3示出了电子设备300的一个示例，但是可以对图3进行各种改变。例如，图3中的各种组件可以被组合、进一步细分或省略，并且可以根据特定需求添加附加组件。作为特定示例，处理器340可以被分成多个处理器，诸如一个或多个中央处理单元(CPU)和一个或多个图形处理单元(GPU)。

[0051] 图4A示出了根据本公开实施例的可穿戴设备400的透视图。可穿戴设备400可以代表图3的电子设备300。可佩戴设备400可以是，例如但不限于，适合以眼镜或护目镜的形式佩戴的头戴式设备(HMD)。可穿戴设备400可以包括面板402和支撑部件404。面板402可以戴在用户的脸上。面板402可以由各种构件支撑到用户的脸上。在一个实施例中，支撑部件404与面板402结合，以便将面板402支撑到用户的脸上。支撑部件404允许面板402位于用户眼睛周围。附加地或替代地，支撑部件404可以由眼镜模板、头盔或带子形成。

[0052] 面板402可以具有适合用户穿着的形式或结构。例如，面板402可以被配置为覆盖用户的眼睛，并且具有放置在用户鼻子上的凹陷。面板402和/或支撑部件404可以由耐磨和轻质材料形成。

[0053] 面板402和/或支撑部件404可以包括电子设备300的内部或外部组件。

[0054] 可穿戴设备400可以包括位于面板402前面的照相机410。通过照相机410，可穿戴设备400可以获得用户视线中的外部图像。面板402可以包括至少一个透镜406和408。透镜406和408可以作为显示器，诸如显示器355来进行操作。可佩戴设备400可以通过透镜406和
408显示图像。在另一个实施例中，可穿戴设备400可以通过投影仪(未示出)将光投射到透镜上来显示图像。可佩戴设备400可以通过照相机410获得位于用户视线中的真实图像，分析获得的真实图像，并且在透镜406和/或408上显示对应于分析的真实图像的增强现实信息。

[0055] 尽管图4A示出了可穿戴设备400的一个示例，但是也可以使用其他可穿戴设备。例如，如图4B所示，根据本公开的实施例，HMD 415可以包括电子设备417和电子设备419。HMD 415示出了可以与本公开的实施例一起使用的电子设备300的一个示例。

[0056] 电子设备417可以包括显示由照相机捕获的环境图像的显示器。如下所述，电子设备415可以接收环境的图像，并且在向用户显示图像之前将3D广告叠加在图像上。

[0057] 电子设备417可以存储虚拟现实应用。例如，电子设备417可以是电子设备300，并且包括电子设备300的所有特征，诸如传感器370以及面向内部和外部的照相机380。虚拟现实应用可以是能够向用户提供类似于实际现实的显示的应用。根据一个实施例，虚拟现实应用可以基于立体方案显示对应于每一只用户眼睛的左眼图像和右眼图像。

[0058] 根据实施例的电子设备419可以包括被设置为佩戴在用户头部上的外壳450、固定到外壳并设置在对应于用户眼睛位置的区域的遮光部件430、以及设置在外壳450的一个区域的至少一个输入按钮421。电子设备402可以包括输入板425，输入板425可以接收来自用户的输入，诸如滑动、敲击或用户执行的其他输入。

[0059] 遮光部件430提供密封，防止外部光进入用户眼睛和电子设备417之间的空间。因此，用户可以将用户的眼睛定位成与遮光部件430紧密贴合，并且因此，用户可以通过从电子设备401提供的虚拟现实应用来观看图像，而没有来自外部光的任何干扰。

[0060] 电子设备417可以耦接到电子设备419。电子设备417可以通过有线或无线连接到电子设备419。例如，尽管电子设备401可以基于USB连接来连接到电子设备419。上述仅仅是一个示例，并且本领域技术人员可以容易地理解，如果两个设备417和419之间的数据传输/接收可以通过连接实现，则对连接没有限制。根据另一个实施例，电子设备417可以直接耦接到电子设备419，而不使用有线或无线连接。

[0061] 图5示出了根据本公开的示例系统500。如图5所示，系统500包括服务器502和电子设备504。服务器502可以代表图2中的服务器200，电子设备504可以代表图3中的电子设备300。

[0062] 如下面将参考图6和图7讨论的，电子设备504捕获对象506的图像。在一个实施例中，电子设备504可以将图像发送到服务器502，并且服务器502可以识别图像中的对象506。服务器502可以从数据库中检索资产(asset)，生成广告，并将3D广告提供给电子设备504。
电子设备504将跟踪对象506并将3D广告508覆盖在对象506上。

[0063] 在另一个实施例中，电子设备504可以识别对象506，并且在将3D资产覆盖在对象上之前从服务器502检索3D资产。

[0064] 图6A至图6C示出了根据本公开的用于覆盖图像的方法。图7示出了根据本公开的用于检测形状的方法700。方法700对应于图6的操作610。将参考图2的服务器200和图3的电子设备300来讨论图6和图7。

[0065] 如图6A所示，方法600开始于操作602，其中服务器200接收一个或多个3D资产。3D资产可以代表由诸如广告商的外部源提供的产品和/或服务。可以为每个产品和/或服务提供具有不同二维或三维形状的多个3D资产。

[0066] 在操作604中，电子设备300使用照相机380捕获环境的实时图像和/或视频。实时图像代表通过增强现实设备(例如，图4的可穿戴设备400)看到的用户视野，并且包括其上可以覆盖3D广告的物理对象。

[0067] 在操作606中，使用卷积神经网络在捕获的图像中确定情境上下文信息。卷积神经网络的一个示例可以包括四个操作：卷积；非线性；池化；和分类。在卷积运算中，使用滤波器从输入图像中提取特征。换句话说，对输入图像应用过滤器以生成特征图。可以使用任意数量的过滤器来生成任意数量的特征图。在非线性操作中，一个或多个特征图中的所有负像素值被零替换。在池化操作中，使用不同类型的池化，诸如最大池化、平均池化、以及和池化等，来降低每个特征图的维数。在分类操作中，基于数据集或上下文信息将特征图中标识的特征分类为各种类别。上下文信息可以包括图像中环境的环境照明(ambient lighting)、环境的噪声水平、对象颜色和/或内容主题，以确定相关广告或用户的兴趣。

[0068] 在操作608中，选择图像的非侵入性区域。非侵入性区域可以是图像外围边缘上的区域。将被识别并且将在其上覆盖有3D广告的物理对象位于非侵入性区域中，使得其不妨碍用户视线中用户的观看(view)。

[0069] 在操作610中，在非侵入性位置上执行形状检测，以选择非侵入性位置中的物理对象。通过执行对象分割算法并生成3D点云来选择物理对象，这将在下面参考图7进行描述。

[0070] 在操作612中，基于上下文信息和使用形状匹配的3D点云来选择3D资产。上下文信息可用于从多个3D资产中选择3D资产。例如，如果图像中的环境照明(lighting)较低，则可以选择具有较高照明的资产，以便容易注意到所产生的广告。在另一个实施例中，可以选择3D资产来匹配或对比所识别的物理对象的颜色。在又一实施例中，3D资产可以基于环境类型、噪声水平或所识别的物理对象或用户的位置来选择。例如，如果用户坐在餐馆中，则所选择的3D资产可能与食物和/或饮料相关。

[0071] 还可以使用代表形状的高维向量基于形状匹配来选择或检索3D资产。例如，物理对象的3D点云被分解成一系列向量。然后将该系列向量与代表每个3D资产的一系列向量进行比较。当3D资产的一系列向量类似于3D点云的一系列向量时，处理器210选择该3D资产。在另一个实施例中，3D资产一旦被选择，在操作614，3D资产被显示在用户视野中的相关物理对象上。例如，在一个实施例中，电子设备300可以跟踪物理对象在用户视野中的位置。当物理对象被识别时，3D资产被显示在显示器355上与物理对象的位置相关联的位置。这里，
3D资产可以部分或全部覆盖在物理对象上。如果用户移动使得用户对物理对象的视角改变，则电子设备300可以检测用户的移动，并且对应于用户的移动而调整用户对3D资产的观看。用户的移动可以由传感器370或者通过分析由照相机380捕获的图像来检测。在一个实施例中，可以使用同时定位和映射(simultaneous localization and mapping，SLAM)技术来调整用户对3D资产的观看。例如，在SLAM中，通过连续的照相机帧跟踪一组点。使用这些轨迹，点的3D位置被三角化，同时使用估计的点位置来计算观察点的照相机位姿。使用3D位置和照相机位姿，还可以调整用户对3D资产的观看。

[0072] 尽管操作606至610被描述为由服务器200实施，但是在一些实施例中，操作606至610也可以由电子设备300执行。例如，识别物理对象、从服务器200检索资产以及构建广告的操作可以由处理器340来执行。在其他实施例中，服务器200和电子设备300的某种组合可以执行操作606至610。

[0073] 图6B示出了根据本公开一个实施例的方法700的信号流程图。如图6B所示，在操作630中，可能属于公司或广告代理的第三方服务器626传输要存储在服务器624中的资产。在操作632中，电子设备622捕获图像并在操作634中将该图像传输到服务器624。服务器624在操作636中确定情境上下文信息，并在操作638中识别非侵入性位置。一旦选择了非侵入性位置，服务器624在操作640中执行形状检测以识别对象。在操作642中，基于所识别的对象的形状和情境上下文信息来选择3D资产。在操作644中，3D资产被传输到电子设备622，并在操作646中被显示在电子设备上。

[0074] 图6C示出了根据本公开另一个实施例的方法700的信号流程图。如图6C所示，在操作650中，可能属于公司或广告代理的第三方服务器626传输要存储在服务器624中的资产。在操作652中，电子设备622捕获图像。电子设备622然后在操作654中确定情境上下文信息，并在操作656中识别非侵入性位置。一旦选择了非侵入性位置，电子设备622在操作658中执行形状检测以识别对象。在操作660中，电子设备向服务器624传输对3D资产的请求。该请求可以包括所识别的对象的形状和/或上下文信息。在操作662中，服务器基于所识别的对象的形状和情境上下文信息选择3D资产。在操作664，3D资产被传输到电子设备622，并在操作
666中被显示在电子设备上。

[0075] 关于图7，方法700的操作可以在服务器200或电子设备300中执行。如图7所示，形状检测开始于操作702，其中对象分割算法由至少一个处理器210执行。

[0076] 对象分割算法被应用于捕获的图像以识别物理对象。具体而言，捕获的图像被分割成多个片段以在图像中定位对象和边界(线、曲线等)。更准确地说，捕获的图像中的每个像素被分配一个标签，使得具有相同标签的像素共享某些特性，诸如颜色、强度或纹理。具有相同或相似标签的相邻像素被分组在一起并被识别为对象。

[0077] 在操作704中，为在操作702中识别的对象生成3D点云。3D点云是坐标系中的一组数据点。例如，在三维坐标系中，这些点通常由X、Y和Z坐标定义，旨在表示对象的外表面。生成3D点云来表示所识别的物理对象的外表面。在一个实施例中，3D点云可以通过选择候选点来生成，候选点在所识别的对象中分布良好，并且相对于其直接周围环境具有足够高的图像梯度幅度。然后使用沿着预定线的离散搜索在后续帧中跟踪候选点。搜索间隔可能受深度和相关方差的限制。在一组旧点被边缘化(marginalized)之后，新的候选点被激活以取代边缘化的点。在3D点云生成期间，检测并移除潜在的异常值。

[0078] 图8示出了根据本公开的示例图像覆盖。

[0079] 根据本公开的方法可以用于各种领域，诸如广告、购物、汽车场景等。例如，当如图8的(a)所示用户将脚的人体模型握在用户的手上时，用户可以看到如图8的(b)所示的鞋子，并且用户也可以将其翻转。此外，用户可以看到与鞋子相关的广告。在另一个实施例中，当用户位于特定地点时，可以提供适合于该特定地点的广告。此外，可以提供菜单以允许用户购买广告的产品。尽管上述实施例集中于在物理对象上覆盖3D广告，但是本公开不限于这些实施例。例如，在另一个实施例中，存储在服务器中的资产可以包括声音、画外音、口号、叮当声、音乐等。代替识别图像中的物理对象，可以识别图像中的品牌(例如福特标志/汽车)。如果公司已经在数据库中注册了广告并且提供了音乐/口号作为资产，则电子设备可以检索音频文件作为资产并且再现音频文件。

[0080] 本申请中的任何描述都不应被理解为暗示任何特定的元件、步骤或功能是必须包括在权利要求范围内的基本元件。专利主题的范围仅由权利要求限定。对于在权利要求中使用的任何其他术语，包括但不限于“机构”、“模块”、“设备”、“单元”、“组件”、“元件”、“构件”、“装置”、“机器”、“系统”、“处理器”或“控制器”，申请人应理解为是指相关领域技术人员已知的结构。

[0081] 尽管已经用示例性实施例描述了本公开，但是可以向本领域技术人员建议各种改变和修改。本公开旨在包括落入所附权利要求范围内的这些改变和修改。

标题	发布/更新时间	阅读量
一种关联书本与电子资源的系统	2020-05-12	596
一种模拟海豚哨声的伪装隐蔽水下通信装置	2020-05-13	196
一种移动互联网智能可穿戴设备	2020-05-13	450
鼾声检测方法、装置、设备及存储介质	2020-05-11	922
一种钢琴学习系统	2020-05-14	514
麦克风阵列性能评测方法、装置、设备和介质	2020-05-11	799
一种视频流发送、接收方法	2020-05-12	310
从音频文件中提取有声片段的方法、装置设备及存储介质	2020-05-14	714
一种基于5G智能终端的管理系统	2020-05-08	1017
一种基于深度模糊森林的情绪识别方法	2020-05-11	169

在对象上的增强现实广告

在对象上的增强现实广告

技术领域

背景技术

附图说明

具体实施方式

该功能需要专业版企业版VIP权限，您可以：