电子装置
阅读：272发布：2020-05-08
专利汇可以提供电子装置专利检索，专利查询，专利分析的服务。并且提供了一种 电子 装置。所述电子装置包括：显示器，被配置为显示三维图像；相机，被配置为拍摄真实图像；以及 控制器 ，被配置为基于真实图像和 增强现实 (AR)图像数据生成图像 信号 ，并且将图像信号提供到显示器，所述控制器包括：多视图图像生成器，被配置为将AR图像数据转换为多视图AR图像；图形处理器，被配置为将多视图AR图像中的每个与真实图像合成以生成多视图合成图像；以及处理器，被配置为控制多视图虚拟相机和图形处理器，以将多视图合成图像转换为图像信号，并且将图像信号提供到显示器。，下面是电子装置专利的具体信息内容。
1.一种电子装置，所述电子装置包括：
显示器，被配置为显示三维图像；
相机，被配置为拍摄真实图像；以及
控制器，被配置为基于所述真实图像和增强现实图像数据生成图像信号，并且将所述图像信号提供到所述显示器，所述控制器包括：多视图图像生成器，被配置为将所述增强现实图像数据转换为多视图增强现实图像；图形处理器，被配置为将所述多视图增强现实图像中的每个与所述真实图像合成以生成多视图合成图像；以及处理器，被配置为控制多视图虚拟相机和所述图形处理器，以将所述多视图合成图像转换为所述图像信号，并且将所述图像信号提供到所述显示器。
2.根据权利要求1所述的电子装置，其中，所述控制器还包括存储器，所述存储器被配置为存储所述增强现实图像数据。
3.根据权利要求1所述的电子装置，其中，所述真实图像包括标记和对象中的至少一个，并且所述多视图增强现实图像中的每个包括增强现实对象。
4.根据权利要求3所述的电子装置，其中，当所述相机与所述标记和所述对象中的至少一个之间的第一分隔距离改变时，所述处理器被配置为控制所述多视图图像生成器，使得所述多视图图像生成器与所述增强现实对象之间的第二分隔距离基于所述第一分隔距离的变化量而改变。
5.根据权利要求1所述的电子装置，其中，所述多视图图像生成器利用多个虚拟相机，所述多个虚拟相机将所述增强现实图像数据转换为分别与多个视图对应的所述多视图增强现实图像。
6.根据权利要求1所述的电子装置，其中，所述多视图图像生成器被配置为将所述增强现实图像数据转换为分别与多个视图对应的所述多视图增强现实图像。
7.根据权利要求6所述的电子装置，其中，所述控制器还包括无线收发器，所述无线收发器被配置为以无线通信方式从所述电子装置的外部接收所述增强现实图像数据。
8.根据权利要求1所述的电子装置，其中，所述显示器包括光场显示器，并且所述光场显示器包括：
显示面板，包括多个像素；以及
微透镜阵列，位于所述显示面板上并且包括多个微透镜。
9.根据权利要求8所述的电子装置，其中，所述处理器被配置为将所述多视图合成图像映射到分别与所述多个像素对应的所述图像信号。
10.根据权利要求1所述的电子装置，其中，所述处理器还被配置为对所述真实图像三维地建模以生成多视图真实图像，并且所述图形处理器将所述多视图增强现实图像中的每个与所述多视图真实图像合成以生成所述多视图合成图像。
11.根据权利要求1所述的电子装置，其中，所述相机包括拍摄三维真实图像的三维相机。
12.根据权利要求11所述的电子装置，其中，所述处理器基于所述三维真实图像生成多视图真实图像，并且所述图形处理器将所述多视图增强现实图像中的每个与所述多视图真实图像合成以生成所述多视图合成图像。
13.根据权利要求1所述的电子装置，其中，所述增强现实图像数据包括与增强现实对象对应的坐标信息和深度信息。
电子装置
技术领域
[0002] 本公开的方面涉及一种包括显示单元的电子装置和一种操作该电子装置的方法。
背景技术
[0003] 三维(3D)显示技术应用于各种图像显示领域，诸如电影、电视机或移动电话。3D显示技术的最终目标是允许人们体验到与它们将在真实环境中体验到的3D效果相同的3D效果。为此，正在研究诸如立体方法和多视图方法的各种技术。在它们之中，光场方法比立体方法或多视图方法更准确地再现3D空间信息。
[0004] 同时，正在开发一种增强现实(AR)技术，该增强现实(AR)技术通过将虚拟对象与现实世界环境融合来显示计算机合成对象，如同它们在与真实世界相同的空间中共存一样。
[0005] 在未来几年中，对通过显示单元将AR图像显示为3D图像的技术的需求预期将增加。发明内容
[0006] 本公开的实施例的方面涉及一种用于通过三维显示单元显示增强现实图像的电子装置。
[0007] 本公开的实施例的方面涉及一种三维地显示增强现实图像的方法。
[0008] 根据发明构思的一些实施例，提供了一种电子装置，所述电子装置包括：显示器，被配置为显示三维图像；相机，被配置为拍摄真实图像；以及控制器，被配置为基于真实图像和增强现实(AR)图像数据生成图像信号，并且将图像信号提供到显示器，控制器包括：多视图图像生成器，被配置为将AR图像数据转换为多视图AR图像；图形处理器，被配置为将多视图AR图像中的每个与真实图像合成以生成多视图合成图像；以及处理器，被配置为控制多视图虚拟相机和图形处理器，以将多视图合成图像转换为图像信号，并且将图像信号提供到显示器。
[0009] 在一些实施例中，控制器还包括存储器，所述存储器被配置为存储AR图像数据。
[0010] 在一些实施例中，真实图像包括标记和对象中的至少一个，并且多视图AR图像中的每个包括AR对象。
[0011] 在一些实施例中，当相机与标记和对象中的至少一个之间的第一分隔距离改变时，处理器被配置为控制多视图图像生成器，使得多视图图像生成器与AR对象之间的第二分隔距离基于第一分隔距离的变化量而改变。
[0012] 在一些实施例中，多视图图像生成器利用多个虚拟相机，所述多个虚拟相机将AR图像数据转换为分别与多个视图对应的多视图AR图像。
[0013] 在一些实施例中，多视图图像生成器被配置为将AR图像数据转换为分别与多个视图对应的多视图AR图像。
[0014] 在一些实施例中，控制器还包括无线收发器，无线收发器被配置为以无线通信方式从电子装置的外部接收AR图像数据。
[0016] 在一些实施例中，处理器被配置为将多视图合成图像映射到分别与所述多个像素对应的图像信号。
[0017] 在一些实施例中，处理器还被配置为对真实图像三维地建模以生成多视图真实图像，并且图形处理器将多视图AR图像中的每个与多视图真实图像合成以生成多视图合成图像。
[0018] 在一些实施例中，相机包括拍摄三维真实图像的三维相机。
[0019] 在一些实施例中，处理器基于三维真实图像生成多视图真实图像，并且图形处理器将多视图AR图像中的每个与多视图真实图像合成以生成多视图合成图像。
[0020] 在一些实施例中，AR图像数据包括与AR对象对应的坐标信息和深度信息。
[0021] 根据发明构思的一些实施例，提供了一种操作电子装置的方法，所述电子装置包括多个像素和显示三维图像的显示器，所述方法包括以下步骤：从相机接收真实图像；接收AR图像数据；将AR图像数据转换为多视图AR图像；将多视图AR图像与真实图像合成以生成多视图合成图像；将多视图合成图像转换为图像信号；以及将图像信号输出到显示器。
[0022] 在一些实施例中，电子装置还包括存储器，所述存储器被配置为存储AR图像数据。
[0023] 在一些实施例中，以无线通信方式从外部接收AR图像数据。
[0024] 在一些实施例中，真实图像包括标记和对象中的至少一个，并且多视图AR图像中的每个包括AR对象。
[0025] 在一些实施例中，将AR图像数据转换为多视图AR图像的步骤包括：当相机与标记和对象中的至少一个之间的第一分隔距离改变时，基于第一分隔距离的变化量改变包括在多视图AR图像中的每个中的AR对象的尺寸。
[0026] 在一些实施例中，从相机接收真实图像的步骤包括：对真实图像三维地建模以生成多视图真实图像，将多视图AR图像与真实图像合成的步骤包括：将多视图AR图像与多视图真实图像合成。
[0027] 在一些实施例中，将多视图合成图像转换为图像信号的步骤包括：将多视图合成图像映射为分别与显示器的所述多个像素对应，使得多视图合成图像被转换为图像信号。
[0028] 因此，电子装置可以通过三维显示单元显示AR图像。具体地，可以在将AR图像数据转换为多视图AR图像并与真实图像合成(例如，叠加)之后将AR图像数据提供到显示单元。因此，可以以真实图像中的自然深度感知来显示AR对象。
附图说明
附图说明
[0029] 当结合附图考虑时，通过参照下面的详细描述，本公开的上述和其他方面将变得易于清楚，在附图中：
[0030] 图1是示出根据本公开的示例性实施例的电子装置的透视图；
[0031] 图2是示出根据本公开的示例性实施例的电子装置的框图；
[0032] 图3A是示出根据本公开的示例性实施例的显示单元的分解透视图；
[0033] 图3B是示出其中用户使用图3A中示出的光场显示单元来观看三维图像的示例的图；
[0034] 图4是示出根据本公开的示例性实施例的输出电子系统中的图像信号的过程的图；
[0035] 图5是示出根据本公开的示例性实施例的通过在电子系统中将增强现实图像与真实图像合成来生成图像信号的过程的图；
[0036] 图6是示出根据真实图像相机与标记之间的距离的虚拟相机与增强现实图像之间的虚拟距离互锁的图；
[0037] 图7是示出根据本公开的另一示例性实施例的电子系统的操作的图；
[0038] 图8是示出根据本公开的另一示例性实施例的电子系统的操作的图；
[0039] 图9是示出根据本公开的另一示例性实施例的电子系统的操作的图；
[0040] 图10是示出根据本公开的另一示例性实施例的通过在电子系统中将增强现实图像与三维真实图像合成来生成图像信号的过程的图；
[0041] 图11是示出根据本公开的另一示例性实施例的电子系统的操作的图；
[0042] 图12是示出根据本公开的示例性实施例的通过电子装置的显示单元显示的增强现实图像的视图；以及
[0043] 图13是示出根据本公开的示例性实施例的显示增强现实图像的方法的流程图。
具体实施方式
[0044] 这里使用的术语是为了描述具体实施例的目的，而不意图对发明构思进行限制。
[0045] 将理解的是，当元件或层被称为“在”另一元件或层上、“连接到”或“结合到”另一元件或层时，该元件或层可以直接在所述另一元件或层上、直接连接到或直接结合到所述另一元件或层，或者可以存在中间元件或层。当元件或层被称为“直接在”另一元件或层上、“直接连接到”、“直接结合到”另一元件或层或者“紧邻于”另一元件或层时，不存在中间元件或层。
[0046] 同样的附图标记始终指同样的元件。在附图中，为了清楚起见，夸大了层、膜和区域的厚度。
[0047] 如这里所使用的，术语“和/或”包括一个或更多个相关所列项的任意组合和所有组合。
[0048] 将理解的是，尽管这里可以使用术语第一、第二等来描述各种元件、组件、区域、层和/或部分，但是这些元件、组件、区域、层和/或部分不应该被这些术语限制。这些术语仅用于将一个元件、组件、区域、层或部分与另一元件、组件、区域、层或部分区分开。因此，在不脱离本公开的教导的情况下，下面讨论的第一元件、第一组件、第一区域、第一层或第一部分可以被命名为第二元件、第二组件、第二区域、第二层或第二部分。如这里所使用的，除非上下文另外清楚地指出，否则单数形式“一”、“一个(种/者)”和“该(所述)”也意图包括复数形式。
[0049] 为了易于描述，这里可以使用诸如“在……之下”、“在……下方”、“下”、“在……上方”、“上”等的空间相对术语，由此来描述如附图中示出的一个元件或特征与另一(另外的)元件或特征的关系。将理解的是，除了附图中描绘的方位之外，空间相对术语意图包含装置在使用或操作中的不同方位。例如，如果附图中的装置被翻转，则被描述为“在”其他元件或特征“下方”或“之下”或“下”的元件将随后被定位为“在”所述其他元件或特征“上方”。因此，示例术语“在……下方”和“在……下”可以包括上方和下方两种方位。装置可以被另外定位(例如，旋转90度或在其他方位处)，并且应该相应地解释这里使用的空间相对描述语。另外，还将理解的是，当元件被称为“在”两个元件之间时，该元件可以是所述两个元件之间的唯一元件，或者也可以存在一个或更多个中间元件。
[0050] 除非另外定义，否则这里使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。还将理解的是，术语(诸如在通用词典中定义的术语)应被解释为具有与他们在相关领域的上下文中的含义一致的含义，而将不以理想化或过于形式化的含义来进行解释，除非这里明确地如此定义。
[0051] 还将理解的是，术语“包括”及其变型和/或“包含”及其变型用在本说明书中时，说明存在陈述的特征、整体、步骤、操作、元件和/或组件，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。
[0052] 出于本公开的目的，“X、Y和Z中的至少一个(种/者)”和“从由X、Y和Z组成的组中选择的至少一个(种/者)”可以被解释为仅X、仅Y、仅Z或者X、Y和Z中的两个(种/者)或更多个(种/者)的任意组合，诸如以XYZ、XYY、YZ和ZZ为例。
[0053] 此外，在描述发明构思的实施例时“可以(可)”的使用指“发明构思的一个或更多个实施例”。此外，术语“示例性”意图指示例或图示。
[0054] 如这里所使用的，术语“基本”、“大约”和类似术语用作近似术语而不是用作程度术语，并且意图解释将由本领域普通技术人员认识到的测量值或计算值中的固有偏差。
[0055] 如这里所使用的，术语“使用”及其变型可以分别被认为与术语“利用”及其变型同义。
[0056] 可以利用任何合适的硬件、固件(例如，专用集成电路)、软件或者软件、固件和硬件的适当的组合来实现这里描述的根据本发明的实施例的电子装置和/或任何其他相关装置或组件。例如，电子装置的各种组件可以形成在一个集成电路(IC)芯片上或形成在单独的IC芯片上。此外，电子装置的各种组件可以实现在柔性印刷电路膜、带载封装件(TCP)、印刷电路板(PCB)上，或者形成在同一基底上。此外，电子装置的各种组件可以是在一个或更多个计算装置中在一个或更多个处理器上运行的执行计算机程序指令并与其他系统组件交互以执行这里描述的各种功能的进程或线程。计算机程序指令存储在存储器中，该存储器可以使用诸如以随机存取存储器(RAM)为例的标准存储器装置在计算装置中实现。计算机程序指令还可以存储在诸如以CD-ROM、闪速驱动器等为例的其他非暂时性计算机可读介质中。此外，本领域技术人员应该认识到，在不脱离本发明的示例性实施例的范围的情况下，各种计算装置的功能可以组合或集成到单个计算装置中，或者特定计算装置的功能可以分布在一个或更多个其他计算装置中。
[0057] 在下文中，将参照附图详细说明本发明。
[0058] 图1是示出根据本公开的示例性实施例的电子装置100的透视图。
[0059] 参照图1，电子装置100可以是响应于电子信号而被激活的装置。电子装置100可以以各种方式实施。例如，电子装置100可以包括平板计算机、笔记本计算机、计算机、智能电话或智能电视机。在本示例性实施例中，智能电话被示出为电子装置100。在示例性实施例中，电子装置100也可以称为电子系统。
[0060] 电子装置100包括窗构件101和壳体单元(例如，壳体构件)105。在本示例性实施例中，窗构件101和壳体单元105彼此结合以形成电子装置100的外观。
[0061] 电子装置100的通过其显示图像IM的显示表面可以与电子装置100的前表面FS对应。图像IM可以包括运动图像和静止图像。图1示出了二维(2D或平面)图像作为图像IM的代表性示例，然而，三维(3D或立体)图像也可以被显示为图像IM。
[0062] 窗构件101可以包括绝缘面板。例如，窗构件101可以包括玻璃、塑料、其组合等。
[0063] 如上所述，窗构件101的前表面限定电子装置100的前表面FS。电子装置100的前表面FS包括透射区域TA和边框区域BZA。透射区域TA可以是光学透明区域。例如，透射区域TA具有约90％或更大的可见光透射率。
[0064] 边框区域BZA具有比透射区域TA的透光率相对低的透光率。边框区域BZA限定透射区域TA的形状。边框区域BZA与透射区域TA相邻地设置以围绕透射区域TA。在根据本公开的示例性实施例的窗构件101中，可以省略边框区域BZA。
[0065] 透射区域TA可以包括相机模块(例如，相机)144。图1仅示出了设置在透射区域TA中的相机模块144，但是其不应限于此或由此限制。例如，另外的相机模块可以设置在电子装置100的后表面上。另外，根据另一示例性实施例，相机模块可以仅设置在电子装置100的后表面或侧表面上。
[0066] 图2是示出根据本公开的示例性实施例的电子装置100的框图。
[0067] 参照图2，电子装置100包括控制模块(例如，控制器)110、电源模块(例如，电源)120、显示模块130和电子模块(例如，电子电路)140。控制模块110、电源模块120、显示模块
130和电子模块140可以彼此电连接。
130和电子模块140可以彼此电连接。
[0068] 控制模块110和电子模块140包括各种功能模块以操作电子装置100。
[0069] 控制模块110可以包括处理器111、无线通信模块(例如，无线收发器)112、存储器113、多视图图像生成器114、图形处理单元115(GPU，也被称为图形处理器)和外部接口116。
控制模块110的组件可以直接安装在主板上，或者可以在安装在单独的板上之后通过连接器电连接到主板。
控制模块110的组件可以直接安装在主板上，或者可以在安装在单独的板上之后通过连接器电连接到主板。
[0070] 处理器111控制电子装置100的整体操作。处理器111可以是应用处理器(AP)、中央处理单元(CPU)或微处理器。例如，处理器111可以使显示模块130激活或去激活。处理器111可以基于从显示模块130提供的触摸信号来控制电子模块140的其他模块。
[0071] 无线通信模块112可以使用诸如蓝牙、Wi-Fi线路等的移动通信方式向其他终端或主机装置发送无线信号或者从其他终端或主机装置接收无线信号。无线通信模块112可以使用通用通信线路来发送或接收声音信号。无线通信模块112包括对将发送的信号进行调制和发送的发送器112-2以及对施加到其的信号进行解调的接收器112-1。
[0072] 存储器113可以存储可用于处理器111的操作的程序代码和用户数据。在本示例性实施例中，存储器113可以存储增强现实(AR)图像数据。在本示例性实施例中，AR图像数据可以包括AR对象的坐标信息和深度信息。
[0073] 多视图图像生成器114可以将存储在存储器113中的AR图像数据转换为多视图AR图像。例如，多视图图像生成器114可以基于坐标信息和深度信息将AR图像数据转换为多视图AR图像。多视图图像生成器114可以是包括多视图虚拟相机或多视图图像生成算法的多视图转换单元(例如，多视图转换器)。
[0074] 图形处理单元115将多视图AR图像与来自相机模块144的真实图像合成(例如，混合或融合/集成)(例如，将多视图AR图像叠加到真实图像上)以生成多视图合成图像。处理器111可以将多视图合成图像映射到分别对应于显示单元(例如，显示器)131的多个像素的图像信号。
[0075] 外部接口116用作连接到外部充电器、有线/无线数据端口或卡(例如，存储卡或SIM/UIM卡)插槽的接口。
[0077] 显示模块130包括显示单元131和感测单元(例如，传感器)132。显示单元131可以是实质上产生图像IM的组件。由显示单元131产生的图像IM通过透射区域TA显示并且对来自外部(例如，来自电子装置100的外部)的用户可见。在本示例性实施例中，显示单元131可以是显示3D图像的三维显示单元。例如，显示单元131可以包括光场显示面板。
[0078] 感测单元132感测从外部施加到其的用户的输入。感测单元132可以感测提供到窗构件101的用户的输入。用户的输入包括由用户的身体的一部分产生的各种类型的外部输入，诸如光、热、压力等。另外，电子装置100可以基于电子装置100的结构来感测施加到其侧表面或后表面的用户的输入，然而，电子装置100不限于此。感测单元132可以将与用户的输入对应的触摸信号施加到处理器111。
[0079] 电子模块140可以包括声音输出模块(例如，声音生成器)141、发光模块(例如，发光器)142、光接收模块(例如，光接收器)143和相机模块(例如，相机)144。声音输出模块141、发光模块142、光接收模块143和相机模块144可以直接安装在主板上，或者可以在安装在单独的板上之后通过连接器电连接到控制模块110。
[0080] 声音输出模块141对从无线通信模块112提供的声音数据或存储在存储器113中的声音数据进行转换，并且将转换的数据输出到外部(例如，输出到电子装置100的外部)。
[0081] 发光模块142产生并输出光。发光模块142可以输出红外光。发光模块142可以包括发光二极管(LED)。光接收模块143可以感测红外光。当感测到设定或预定水平或者更高水平的红外光时，光接收模块143可以被激活。光接收模块143可以包括互补金属氧化物半导体(CMOS)传感器。当红外光由发光模块142产生并从发光模块142输出时，红外光在被外部主体(例如，用户身体的一部分或物体)反射之后可以入射到光接收模块143中。
[0082] 相机模块144捕获(例如，拍摄)外部图像。在本示例性实施例中，相机模块144将拍摄的真实图像提供到处理器111。相机模块144可以将二维(2D或平面)真实图像提供到处理器111，然而，其不应限于此或由此限制。也就是说，相机模块144可以将三维(3D或立体)图像提供到处理器111。例如，相机模块144可以是光场相机。
[0083] 图3A是示出根据本公开的示例性实施例的显示单元的分解透视图。
[0084] 参照图3A，显示单元131可以包括显示面板310和微透镜阵列320。在本示例性实施例中，显示单元131可以是光场显示单元。
[0085] 显示面板310可以包括多个像素PX。每个像素PX可以包括例如红色像素、绿色像素和蓝色像素。像素PX可以沿第一方向D1和与第一方向D1基本垂直的第二方向D2以矩阵形式布置。显示面板310可以是等离子体显示面板、液晶显示面板或有机发光显示面板。
[0086] 微透镜阵列320设置在显示面板310上。微透镜阵列320可以包括多个微透镜ML。由显示面板310的像素PX产生的光可以在穿过微透镜阵列320的微透镜ML之后形成光场。
[0087] 微透镜阵列320包括有源透镜。微透镜阵列320可以响应于施加到微透镜阵列的电极的电压而产生电场，并因此可以改变液晶分子的取向。微透镜阵列320在2D显示模式下按原样透射通过显示面板310显示的图像，并且可以在3D显示模式下分离通过显示面板310显示的图像的视场。例如，在3D显示模式下操作的微透镜阵列320使用光的衍射和折射而使得通过显示面板310显示的多视图图像形成在针对每个视点图像的对应的视场中。
[0088] 显示面板310的像素PX的布置、微透镜阵列320的微透镜ML的布置以及用于形成光场的像素PX与微透镜ML之间的相对位置关系不应限于图3A，而可以以各种合适的实施例实现。
[0089] 图3B示出其中用户使用图3A中示出的光场显示单元来观看3D图像的示例的图。
[0090] 参照图3B，“光场”是用于描述光通过分布射线在空间中分布的概念。根据该概念，由物体反射或从物体产生的光可以被定义为在空间中直行并进入人眼之物，并且3D空间可以包括非常大量的光场。五维全光函数(I )可以用于在数学上表达每个光场。也就是说，光场可以由点(光线通过该点穿过空间中特定平面上的平面)的3D空间坐标(x,y,z)以及光线所指向的空间方向角 的亮度表示。可以通过使穿过上述特定平面的光线的全光函数值信息化来捕获光场(这里，全光函数可以指表示从三维空间中的每个位置和方向观察到的光的强度或色度(chromacity)的5维函数)。换言之，可以通过针对相对于设定或预定区域的每个坐标(x,y,z)的每个角度 的亮度值来捕获光场。也就是说，从图1中示出的控制模块110提供的3D图像信号可以提供到显示面板310，由显示面板
310产生的光线可以通过微透镜阵列320形成面对特定方向(观察视点)的光场，并且由于与光线的方向对应的3D图像信息，因此用户2可以将对象OJ1和OJ2观看为3D图像。
310产生的光线可以通过微透镜阵列320形成面对特定方向(观察视点)的光场，并且由于与光线的方向对应的3D图像信息，因此用户2可以将对象OJ1和OJ2观看为3D图像。
[0091] 图3A和图3B示出了微透镜阵列型光场显示单元131，然而，显示单元131不应限于此或由此限制。例如，显示单元131可以是采用视差屏障、双凸透镜等的积分成像显示单元或多视图显示单元。
[0092] 图4是示出根据本公开的示例性实施例的输出电子系统中的图像信号的过程的图。
[0093] 参照图2和图4，相机模块144拍摄标记或对象410。标记表示设定或预定的特定标记，并且当控制模块110或增强现实应用程序识别到标记时，可以执行规定的反应。可以使用诸如QR码或特定徽标的特定图案作为标记。在以同时定位和映射(SLAM)方法操作电子装置100的情况下，电子装置100可以识别周围环境以读取关于地貌特征的信息和空间。相机模块144可以将关于拍摄的标记或对象410的真实图像450提供到控制模块110。
[0094] 存储在存储器113中的AR图像数据420可以通过图2中示出的多视图图像生成器114被转换为多视图AR图像440。在本示例性实施例中，多视图图像生成器114可以通过多视图虚拟相机430来实现。多视图虚拟相机430可以通过应用来实现。多视图虚拟相机430包括多个虚拟相机，并且基于关于虚拟相机之间的距离和角度的设定信息，将AR图像数据420转换为多视图AR图像440。
[0095] 图形处理单元115将多视图AR图像440与真实图像450合成(例如，混合或融合/集成)(例如，将多视图AR图像440叠加到真实图像450上)，以生成多视图合成图像460。处理器111将多视图合成图像460转换为图像信号470。
[0096] 图5是示出根据本公开的示例性实施例的通过在电子系统中将增强现实图像与真实图像合成来生成图像信号的过程的图。
[0097] 参照图2、图4和图5，多视图虚拟相机430输出来自第一视图至第N视图的多视图AR图像431至43n。多视图AR图像431至43n可以包括第一视图AR图像431、第二视图AR图像432、……、第N视图AR图像43n。多视图AR图像431至43n中的每个包括AR对象，并且多视图AR图像431至43n相对于AR对象具有彼此不同的视点。多视图虚拟相机430可以基于设定或预定的虚拟相机之间的距离以及AR对象与虚拟相机之间的分隔距离来生成多视图AR图像431至43n。
[0098] 真实图像450是通过相机模块144拍摄的关于标记或对象的图像，并且是2D图像。
[0099] 图形处理单元115将多视图AR图像431至43n与真实图像450合成，以生成多视图合成图像461至46n。多视图合成图像460可以包括第一视图合成图像461、第二视图合成图像462、……、第N视图合成图像46n。
[0100] 处理器111可以将多视图合成图像460映射到图3A中示出的像素PX，并且可以输出一帧的图像信号470。处理器111可以通过多视图图像映射算法执行一系列操作，以根据光场视图阵列的规则以像素为单位来重新排列具有多视图信息的图像。
[0101] 由于处理器111将图像信号470提供到显示单元131，因此2D真实图像和3D AR图像可以通过电子装置100同步(例如，基本同时地)显示。
[0102] 图6是示出根据真实图像相机与标记之间的距离的虚拟相机与增强现实图像之间的虚拟距离互锁的图。
[0103] 参照图6，相机模块144拍摄标记或对象410。通常，相机模块144(详细地，相机模块144的透镜)与标记或对象410分隔开第一分隔距离Dr。可以通过测量在由发光模块142(图2中示出)产生、从发光模块142输出并被标记或对象410反射之后入射到光接收模块143(图2中示出)中的红外光的量来获得相机模块144与标记或对象410之间的第一分隔距离Dr，然而，其不应限于此或由此限制。也就是说，可以通过使用超声波传感器的距离测量方法来测量第一分隔距离Dr。
[0104] 当相机模块144与标记或对象410之间的第一分隔距离Dr变化时，图2中示出的处理器111根据第一分隔距离Dr的变化来改变包括在AR图像数据420中的AR对象425与多视图虚拟相机430之间的第二分隔距离Da。
[0105] 例如，当相机模块144与标记或对象410之间的第一分隔距离Dr变得大于参考值(即，相机模块144更远离标记或对象410移动)时，多视图虚拟相机430可以识别出对象425的尺寸小于参考尺寸，并且可以基于识别的结果来生成多视图AR图像440。当相机模块144与标记或对象410之间的第一分隔距离Dr变得小于参考值(即，相机模块144接近标记或对象410)时，多视图虚拟相机430可以识别出对象425的尺寸大于参考尺寸，并且可以基于识别的结果来生成多视图AR图像440。然而，本公开不应限于此或由此限制。例如，当相机模块144与标记或对象410之间的第一分隔距离Dr变得大于参考值时，多视图虚拟相机430可以识别出对象425的尺寸大于参考尺寸，并且可以基于识别的结果来生成多视图AR图像440。
[0106] 图6仅示出了相机模块144与标记或对象410之间的第一分隔距离Dr，然而，多视图虚拟相机430的角度可以根据相机模块144的角度的变化(即，相机模块144相对于标记或对象410的拍摄角度的变化)而改变。在这种情况下，多视图虚拟相机430可以通过考虑相机模块144的角度的变化来生成多视图AR图像440。
[0107] 图7是示出根据本公开的另一示例性实施例的电子系统的操作的图。
[0108] 参照图2和图7，相机模块144拍摄标记或对象510。相机模块144可以将关于拍摄的标记或对象510的真实图像550提供到控制模块110。
[0109] 存储在存储器113中的AR图像数据520可以通过图2中示出的多视图图像生成器114被转换为多视图AR图像540。在本示例性实施例中，多视图图像生成器114可以通过多视图AR算法530来实现。多视图AR算法530可以通过程序代码来实现，并且可以存储在存储器
113中或者单独的存储装置中。
113中或者单独的存储装置中。
[0110] 图形处理单元115将多视图AR图像540与真实图像550合成以生成多视图合成图像560。处理器111将多视图合成图像560转换为图像信号570。
[0111] 图8是示出根据本公开的另一示例性实施例的电子系统的操作的图。
[0112] 参照图2和图8，相机模块144拍摄标记或对象610。相机模块144可以将关于拍摄的标记或对象610的真实图像650提供到控制模块110。
[0113] 无线通信模块112的接收器112-1可以接收从全球定位系统(GPS)卫星提供的信号。处理器111基于从GPS卫星提供的信号来识别电子装置100的当前位置680。另外，无线通信模块112的发送器112-2可以将电子装置100的当前位置680发送到外部主机装置。外部主机装置可以将与电子装置100的当前位置680对应的AR图像数据620提供到电子装置100。接收器112-1从外部主机装置接收AR图像数据620。
[0114] 通过接收器112-1从外部主机装置提供的AR图像数据620通过多视图AR算法630被转换为多视图AR图像640。
[0115] 图形处理单元115将多视图AR图像640与真实图像650合成以生成多视图合成图像660。处理器111将多视图合成图像660转换为图像信号670。
[0116] 例如，在电子装置100在导航模式下操作的情况下，AR对象可以与道路图像一起被显示，道路图像是由相机模块144拍摄的真实图像650。在本示例性实施例中，AR对象可以是关于驾驶方向的信息或用于辅助驾驶的信息。另外，在本示例性实施例中，可以通过接收器112-1从外部主机装置提供关于AR对象的AR图像数据。
[0117] 图9是示出根据本公开的另一示例性实施例的电子系统的操作的图。
[0118] 参照图9，3D相机模块(例如，3D相机)820拍摄标记或对象810。3D相机模块820可以将关于拍摄的标记或对象810的多视图真实图像830提供到图2中示出的控制模块110。
[0119] 例如，3D相机模块820可以是光场相机。当与记录空间中特定点的亮度值(即，针对每个坐标(x,y)的亮度值)的2D光场相机相比时，3D光场相机可以是用来捕获光场并且可以针对相对于设定或预定区域中的所有坐标的每个角度 记录亮度值的相机。
[0120] 根据另一实施例，3D相机模块820可以包括获取深度信息的两个或更多个相机。
[0121] 存储在图2中示出的存储器113中的AR图像数据840可以通过多视图虚拟相机850被转换为多视图AR图像860。
[0122] 图形处理单元115将多视图AR图像860与多视图真实图像830合成以生成多视图合成图像870。图2中示出的处理器111将多视图合成图像870转换为图像信号880。
[0123] 图10是示出根据本公开的另一示例性实施例的通过在电子系统中将AR图像与3D真实图像合成来生成图像信号的过程的图。
[0124] 参照图2、图9和图10，多视图虚拟相机850输出来自第一视图至第N视图的多视图AR图像861至86n。多视图AR图像861至86n可以包括第一视图AR图像861、第二视图AR图像862、……、第N视图AR图像86n。多视图AR图像861至86n中的每个包括AR对象，并且多视图AR图像861至86n相对于AR对象具有彼此不同的视点。多视图虚拟相机850可以基于设定或预定的虚拟相机之间的距离以及AR对象与虚拟相机之间的分隔距离来生成多视图AR图像861至86n。
[0125] 多视图真实图像831至83n是关于由3D相机模块820拍摄的标记或对象810的3D图像。多视图真实图像831至83n可以包括第一视图真实图像831、第二视图真实图像832、……、第N视图真实图像83n。在本示例性实施例中，多视图AR图像861至86n和多视图真实图像831至83n包括相同的N个多视图图像，然而，多视图AR图像861至86n的视图数可以与多视图真实图像831至83n的视图数不同。例如，在多视图虚拟相机850生成32个多视图AR图像并且3D相机模块820提供16个多视图真实图像的情况下，图2中示出的控制模块110可以通过对16个多视图真实图像应用内插或外插算法来生成32个多视图真实图像。
[0126] 图形处理单元115将多视图AR图像861至86n与多视图真实图像831至83n合成，以生成来自第一视图至第N视图的多视图合成图像871至87n。多视图合成图像871至87n可以包括第一视图合成图像871、第二视图合成图像872、……、第N视图合成图像87n。
[0127] 处理器111可以将多视图合成图像871至87n映射到图3A中示出的像素PX，并且可以输出一帧的图像信号880。处理器111可以通过多视图图像映射算法执行一系列操作，以根据光场视图阵列的规则以像素为单位来重新排列具有多视图信息的图像。
[0128] 由于处理器111将图像信号880提供到显示单元131，因此3D真实图像和3D AR图像可以通过电子装置100同步(例如，基本同时地)显示。
[0129] 图11是示出根据本公开的另一示例性实施例的电子系统的操作的图。
[0130] 参照图11，相机模块144拍摄标记或对象910。相机模块144可以将关于拍摄的标记或对象910的2D真实图像提供到图2中示出的控制模块110。
[0131] 控制模块110的处理器111可以包括3D建模算法950。处理器111可以将从相机模块144提供的2D真实图像转换为3D多视图真实图像960。根据另一实施例，3D建模算法950可以包括在图形处理单元115中。
[0132] 存储在图2中示出的存储器113中的AR图像数据920可以通过多视图虚拟相机930被转换为多视图AR图像940。
[0133] 图形处理单元115将多视图AR图像940与多视图真实图像960合成以生成多视图合成图像970。图2中示出的处理器111将多视图合成图像970转换为图像信号980。
[0134] 图12是示出根据本公开的示例性实施例的通过电子装置的显示单元显示的AR图像的视图。
[0135] 参照图12，当设置在电子装置100的后表面上的相机模块拍摄对象时，2D真实图像RI和3D AR图像ARI可以通过显示单元131显示。
[0136] 图13是示出根据本公开的示例性实施例的显示AR图像的方法的流程图。为了便于解释，将参照图1至图12中示出的电子装置100来描述显示AR图像的方法，然而，该方法不应限于电子装置100。
[0137] 参照图2、图5和图13，控制模块110的处理器111从相机模块144接收真实图像(步骤1110)。真实图像可以是关于由相机模块144拍摄的标记或对象的图像信号。
[0138] 处理器111接收存储在存储器113中的AR图像数据(步骤1120)。
[0139] 处理器111控制多视图图像生成器114以将AR图像数据转换为多视图AR图像431至43n(步骤1130)。
[0140] 处理器111控制图形处理单元115以将多视图AR图像431至43n与真实图像450合成以生成多视图合成图像461至46n(步骤1140)。
[0141] 处理器111执行映射操作，以显示单元131的像素为单位重新排列通过图形处理单元115合成的多视图合成图像461至46n，以将多视图合成图像461至46n转换为图像信号470(步骤1150)。
[0142] 处理器111将图像信号470输出到显示单元131(步骤1160)。因此，2D真实图像和3D AR图像可以通过电子装置100的显示单元131同步(例如，基本同时地)显示。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种波导辅助的随机散射反馈的随机激光器 | 2020-05-08 | 945 |
| 一种铁路货车浴盆破损故障图像识别方法 | 2020-05-08 | 409 |
| 一种纤维增强复合材料纤维位置控制装置和方法 | 2020-05-08 | 398 |
| 背景风与移动下击暴流耦合的物理模拟方法 | 2020-05-11 | 535 |
| 一种自动对焦双目摄像头标定方法及装置 | 2020-05-08 | 414 |
| 一种内窥镜图像增强方法 | 2020-05-08 | 136 |
| 一种鱼眼镜头 | 2020-05-08 | 572 |
| 显示装置和显示装置的驱动方法 | 2020-05-11 | 66 |
| 基于荧光辐射的利用液态水探测太赫兹波的系统和方法 | 2020-05-08 | 404 |
| 一种VCSEL芯片及其制造方法 | 2020-05-08 | 367 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈