为智能移动设备增添新型图像功能的方法与装置专利检索-算法电脑编程专利检索查询-专利查询网

为智能移动设备增添新型图像功能的方法与装置

阅读：829发布：2023-05-26

专利汇可以提供为智能移动设备增添新型图像功能的方法与装置专利检索，专利查询，专利分析的服务。并且本发明涉及一种为智能移动设备增添新型图像功能的方法和装置，它包含一个或多个可安装于此设备并带有一个或多个光学器件的附板，该附板可被旋转到设备屏幕的前面并被支撑固定在设备的多个侧面，增添的图像功能可以是三维，虚拟现实，全息和光场全景相机或观看器，通过内置可开合的曲柄，支架和带子，可以将此附件戴在头上，该附板上的光学器件通过智能设备的相机可以从多个观看角度在传感器上形成场景的多个图像，通过计算摄影学算法生成场景的三维立体或四维光场数据；本发明轻巧，便携，灵活，易于使用，是可装入口袋中的多维影像观看器，也是能使现有手机或相机具备拍摄多维光场图像与视频的方法和工具。，下面是为智能移动设备增添新型图像功能的方法与装置专利的具体信息内容。

权利要求

1.一种为智能移动设备增添新型图像功能的方法，包括：将一个或多个附板安装到设备的第一个位置，每一个附板带有一个或多个光学元件，其特征在于：所述附板，所述光学元件和所述设备形成第一个成像结构；将此附板旋转到设备的不同的第二个位置，所述附板，所述光学元件和所述设备即形成第二个成像结构；所述附板的第一个成像结构和第二个成像结构一起完成所述成像功能。
2.根据权利要求1所述的方法，其特征在于：所述旋转是围绕着所述设备边缘处的一个活动铰链进行的。
3.根据权利要求2所述的方法，其特征在于：所述活动铰链由三个连续的子活动铰链组成，并且每个子铰链都旋转一个角度，所有子铰链的总旋转角度之和约为270度。
4.根据权利要求1所述的方法，其特征在于：所述第二个位置的所述附板由所述设备的第一边缘上的第一支撑柱和第二边缘上的第二支撑柱支撑着。
5.根据权利要求1所述的方法，其特征在于：所述附板由放置在用户前额上的支架支撑，并且所述支架的两端由缠绕在用户头部的松紧带相联接。
6.根据权利要求5所述的方法，其特征在于：所述松紧带在不使用时嵌入附板中。
7.根据权利要求1所述的方法，其特征在于：所述多个光学元件包括一个凸透镜，或反射玻璃，或反射镜，或棱镜。
8.根据权利要求7所述的方法，其特征在于：使用一个反射玻璃或反射镜或透镜或鱼眼或棱镜的阵列，每个光学元件从不同的视角形成场景物体的图像。
9.根据权利要求1所述的方法，其特征在于：所述第一个成像结构用于从第一视角捕捉图像；而第二个成像结构被用于从第二视角捕捉图像；多附板时，第一个附板与所述设备的第一个成像传感器一起工作；第二个附板与设备的第二个成像传感器一起工作。
10.一种为智能移动设备增添新型图像功能的装置，包括：智能移动设备外壳中的一个或多个附板；其中每个附板包括一个或多个光学元件，所述光学元件包括一个凸透镜，或反射玻璃，或镜子，或镜头，或鱼眼镜头或棱镜；其特征在于所述附板在第一个位置，与所述光学元件和所述设备形成第一个成像结构；其中附板可以围绕一个活动铰链旋转到设备的不同的第二个位置；所述附板，所述光学部件和所述设备形成第二个成像结构；第二个成像结构和第一个成像结构一起完成所述成像功能；该附板由设备的第一边缘上的第一支撑柱和第二边缘上的第二支撑柱支撑着；该附板由支架支撑在用户鼻子上或两侧；通过额头上的支架和绕过头顶上的松紧带子将该附板戴在用户头上；每个光学元件从不同的视角形成场景对象的图像；其中通过从各个视角拍摄图像来捕捉场景物体的光场；多附板时，第一个附板与设备的第一个成像传感器一起工作，第二个附板与设备的第二个成像传感器一起工作；第一个成像结构可用于从第一视角捕捉图像；第二个成像结构可以用于从第二观看角度捕捉图像。

说明书全文

为智能移动设备增添新型图像功能的方法与装置

技术领域

[0001] 本发明涉及一种为智能移动设备增添新型图像功能的方法与装置，属于数字成像，数码相机，智能手机，数字图像处理，三维，四维光场数据采集和处理，虚拟现实数字显示和光学等相关的信息技术领域。

背景技术

[0002] 智能手机，平板电脑或其他智能移动设备，现已成为人们日常生活中越来越重要的工具。其功能也越来越多样化和越来越强大，例如：手机上的相机不仅图像像素数目极大地增加，而且还加入了自动对焦，大尺寸图像传感器，高动态范围，更强的闪光灯，以及更好的照相机镜头，现在大多数高端智能手机都有两个摄像头，一个前置和一个后置；有些智能手机的相机还可以被用来捕捉三维和更高维的光场图像或视频，利用软件来产生立体三维图像；但其问题是(1)两张图像是在不同的时间拍摄的，如果存在场景物体相对相机的移动，就可能产生错误的像素；(2)由于要手动产生偏移量并且像素点要用软件算法来识别对齐，从而使得相机使用起来不仅慢而且困难；另一种解决方案被称为“Poppy三维”.它提供了一个笨拙的塑料手机外壳用于三维捕捉和观看，它使用一组固定的镜片和智能手机的单镜头来捕获两个图像拍摄立体图像；第三个例子解决方案是“三维锥”，它采用单镜片立体成像方式，用体积较大的塑料锥形镜片分割智能手机的相机图像成左侧和右侧图像，“Poppy三维”和“三维锥”解决方案不被认为是便携式的，并且图像分辨率将不足移动相机的原始分辨率和观看区域的一半，但是立体的两张照片是被同时捕获的所以质量比软件解决方案要好；第四种解决方案比如是“sthreem三维”的附加系统，它需要一个独立的摄像头设备，需要附加到移动设备的接口端口，并与内置移动摄像头一起提供三维捕获，问题是这个方案一般昂贵，耗电和使用不方便；第五种解决方案被称为“三维扫描仪”，这是纯粹的软件解决方案，需要移动照相机不断地扫描场景物体一段时间，以便它可以获取不同的角度和细节信息以创建一个三维模型形状，其最大的问题是它非常缓慢，所以在扫描时间内，任何物体的移动都会造成很大的影响最终产生误差，以致质量相当低；

[0003] 最后一种解决方案是将立体摄像头硬件直接做在手机里面，例子是HTC EVO三维手机和LG Optimus三维P920手机，他们都有一对匹配的手机相机传感器用于专用立体图像和视频捕获，但由于同样的问题，如增加成本，更多的功耗，低传感器质量和使用不便，该解决方案无法获得足够的用户鼓励制造商继续生产；

[0004] 虚拟现实是三维，4K和移动计算之后的下一个重大事件。2016年是虚拟现实技术大规模被采用的转折年。这包括虚拟现实内容的生成和显示。虚拟现实(VR)指的是使用的计算机技术软件来生成逼真的图像，声音和其他真实感的复制的环境(或创建一个假想的设置)，使用专门的显示屏或投影仪和其他设备，模拟用户在此的物理存在环境，通过用户与这个空间进行交互的体验。VR被定义为“......用交互式软件和硬件对三维环境进行逼真的和沉浸式的模拟，并且由身体的运动来体验或控制......”或者是一种由“计算机产生的身临其境的互动体验”。虚拟现实不仅是让人们看到三维的场景，而且也让他们可以环顾四周，从每一个观察角度看到一个完整的水平360度(360H)和垂直(180V)180度的场景。

[0005] 有两种方法可以获得包含为每个观看位置的完整的水平360度+垂直180度的三维信息内容的虚拟现实内容-一个是使用游戏引擎创建一套完整的含有所有场景对象的三维模型；然后计算机为每个观看位置生成一个二维的实时投影图像帧。这被称为CG内容。例如所有的VR游戏和三维动画电影。另一种方法是使用特殊的相机拍摄并存储真实场景的光场信息。这被称为实拍内容。光场是描述光流量在每个方向贯穿太空中的每一个点的矢量函数。每条射线的方向由7D全光函数给出，并且每个射线的幅度由辐射度给出。可以捕捉7D光场信息的相机被称为光场相机。

[0006] 目前还没有一种智能手机配备了光场相机。这是因为目前移动设备用于光场数据处理上的光学和电子部件以及计算能力还有一定的局限。一些早期的公司曾尝试一种基于积分的摄影(IP)的移动式光场相机。积分成像是一种自动立体和多视图三维成像技术，捕捉和通过使用微透镜的二维阵列来再现光场，有时称为蝇眼镜头，通常不用大的物镜或观察镜头的帮助，并把它放置在相机图像传感器的前面。这些技术需要特殊的光场移动相机模块内置于智能手机中。所以如果现有的智能手机用户需要捕获光场内容，他或她必须购买一个新的智能手机。

[0007] 一旦虚拟现实内容被生成，人们需要一种方式来观看它。一个典型的虚拟现实观察器包括一个装有两个凸透镜的物件，被放置在一个5到6英寸宽的数字显示屏前面，以便每只眼睛分别通过一个镜头观看其相应的一半显示屏。同时头部的位置和观察的方向也被跟踪了，显示器的内容会被相应地实时更新。

[0008] 目前有三种方法可以做到这一点。第一种方法是有一个头戴式镜头盒，内置数字显示屏和位置传感器。头戴式镜头盒被连接到一台个人电脑上。位置传感器通常指全球定位系统，陀螺仪和加速计传感器。个人计算机接收从头戴式盒中位置传感器发出的数据，并进行所有的计算和渲染出每一帧虚拟世界。渲染后的帧被发送到头戴式盒进行显示。因为计算和渲染发生在相对强大的个人电脑上，虚拟现实的内容质量是最好的。

[0009] 第二种方法是使用智能手机进行渲染计算和显示。也有一个带有或不带位置传感器的头戴式镜头盒。智能手机可以放入盒子里。如果盒子有位置传感器，通常比那些在智能手机里的传感器更精确，那么传感器数据会被传送到智能手机中。否则智能手机内部位置传感器的数据会被读出。智能手机处理所有计算并渲染出虚拟世界的每一帧，并将其显示到智能手机的屏幕。由于计算和渲染发生在手机中，质量通常是最差的。

[0010] 第三种方式是对上述两种方法的妥协。一个头戴式镜头盒自带有一个专用的嵌入式计算设备，一组位置传感器和一对显示屏。这个自带计算设备，位置传感器和显示屏通常有超过智能手机有更好的表现性能。传感器检测到用户的头部位置和将测量的数据发送到专用的VR计算设备。计算设备处理所有的计算和渲染出虚拟世界的每一帧并将其发送到显示器屏幕显示。由于计算和渲染发生在更好专用计算设备上所以质量一般高于智能手机解决方案但低于PC解决方案。

[0011] 上述所有的可穿戴的虚拟现实内容浏览的解决方案都需要一个相当大的，笨重的和不方便的戴在用户头上的头戴式眼镜盒子。不仅是穿着不舒服，比如许多头戴式VR眼镜盒子不能很好地和矫正眼镜一起使用，这使戴眼镜的人在观看虚拟现实内容时感到很不舒服，有时在镜头上集了水汽，使图像模糊，而且不管头戴式眼镜盒子是由什么材料制成的，它们通常都太大太沉重以致于不能方便地携带在口袋或包里。如果虚拟现实眼镜盒是在口袋里除智能手机之外的一个独立的物品，人们会觉得不方便并不愿携带它们，或忘记了随时携带它们。最终，即使人们选择了移动VR解决方案，他们也将无法享受随时随地都能领略虚拟现实内容。移动虚拟现实相机也存在同样的问题。目前还没有一个解决方案通用光场照相机能够适用于所有智能设备。

发明内容

[0012] 本发明的目的在于提供一种将新型图像功能添加到现有移动智能设备的方法与设备。特别是添加三维，虚拟现实和四维光场内容的捕捉和显示成像功能。

[0013] 本发明所采用的技术方案，是通过给已有的智能设备添加新型图像功能，采用一个或多个可安装于此智能设备并且带有一个或多个光学器件的平板附件，这个平板附件可以被旋转到屏幕的正面，并被此智能设备从多个侧面支撑固定，所添加的图像功能可以是虚拟现实显示器或广角光场全景相机，通过内置可开合的曲柄，支架和带子，还可以将此平板戴在头上，该附板上的光学器件通过智能设备的相机可以从多个观看角度在传感器上形成场景的多个图像，捕获的图像可通过计算摄影学算法生成场景的三维立体或四维光场记录。

[0014] 本发明具有以下优点：可以将任何具有陀螺仪传感器的智能手机变成非常便携且高度可靠的可穿戴的三维，虚拟现实和四维光场内容观看器；同时也可以通过使用现有移动智能设备的硬件来实现立体三维或宽视场虚拟现实和光场四维虚拟现实图像和视频的捕获，而不需要更新已有智能设备，本发明的装置非常轻便，便携，灵活，易于使用，且价格合理；附图说明

[0015] 图1说明了本发明的一个优选的可佩戴装置的设计。

[0016] 图2说明了本发明的一个优选的板壳的设计。

[0017] 图3说明了本发明的一个活动铰链的设计。

[0018] 图4说明了本发明的一个软带搭扣的例子设计。

[0019] 图5说明了一个作为全息显示器工作的光学部件的可选设计。

[0020] 图6说明了一个作为单镜头立体或光场相机工作在其打开位置的光学部件的可选设计。

[0021] 图7说明了一个作为立体或光场相机工作在其闭合位置的光学部件的可选设计。

[0022] 图8说明了一个作为光场相机工作的光学部件的例子设计。

[0023] 图9说明了一个作为多镜头立体或光场相机工作在其打开位置的光学部件的可选设计。

[0024] 图10说明了一个作为立体或光场相机工作在其闭合位置的光学部件的可选设计。

[0025] 图11说明了另外五种作为多镜头立体或光场相机工作在其打开位置的光学部件的可选设计。

[0026] 图12说明了一个在退化情况小作为单镜头立体或光场相机工作在其打开位置的光学部件的设计。

[0027] 图13说明了本发明作为一个虚拟现实观察器的一个优选方法的示例性工作流程图。

[0028] 图14说明了本发明作为一个光场相机的优选方法的示例性工作流程图。

[0029] 图15说明了本发明一个光场处理方法的示例性工作流程图。

[0030] 图16说明了一个手持式虚拟现实手机外壳的例子设备设计。

[0031] 图17说明了一个带有虚拟现实观察器的单镜头光场相机手机外壳在其闭合位置的设备设计。

[0032] 图18说明了一个带有虚拟现实观察器的手机外壳在其完全打开位置的例子设备设计。

具体实施方式

[0033] 本发明将通过以下实施例对发明技术方案作进一步说明，本发明提出了一组用于添加新成像功能到现有的智能设备的方法和设备设计。这里的智能设备指的是包括但不限于智能手机，平板电脑，超便携电脑，以及任何具有数字显示屏和至少一个成像传感器移动或便携式设备。在本发明中呈现的方法和配件设计内容将只用于示例的目的，但不被看作仅局限于这些例子。这些对于领域内的普通技术人员而言显而易见的示例性的方法和附件设计以及所有其他可能的变化设计，有意于利用已有的智能设备数字显示屏幕和数码相机，以有效地处理高级媒体数据，包括但不仅限于图片和视频。

[0034] 这些方法基本上涉及一个可以连接到智能设备的便携式附件设备。在本发明的一个优选实施例中，附件主要包括可以移动到智能设备周围的各种位置的可转换附板；而且附板包含有一个或多个光学部件。这种附件设备的一个例子是智能设备的保护手机套。该手机套可以同时作为设备保护以及增加新的图像功能。在这种情况下，用户往往是始终携带着附件，直到他或她从设备上取下手机外壳。这种附件的另一个例子是这个附件具有的易于拆卸和安装的设计，仅当用户需要新的图像功能时才安装到设备上。在其他时候附件是与移动设备分离的，并且可能用户并不携带在身上。在大多数情况下，附件的重量应该很轻，非常便携，尺寸很小。材料可以选自但不限于塑料，硅，铝，碳纤维聚合物或钛合金。大部分设计都是价格经济，但足够耐用，所以非常实惠。这些设计也使其非常灵活和容易使用。所有示例性设计将在后面的章节中描述以及在本发明的附图中说明。

[0035] 本发明描述了一个通用硬件框架，许多新的数字成像和其他功能可以很容易地加入或着替换这个附件。通过替换附件的特定部分并保留常用附件模块，可以获得新特点或新功能。特定的附件部分用于专用的新成像功能；通用附件模块部件可用于所有新的成像功能。

[0036] 本发明将描述两大类别的新成像功能。第一种主要是利用现有的智能设备屏幕获得高级的数字显示功能；第二种是利用现有的智能设备的摄像头获得高级的数字捕捉功能。以上两个类别的新成像功能的示例应用领域在高维成像应用，如虚拟现实和全息成像。但是这些特定类别的新成像功能和应用程序在本发明中描述的将仅仅用于示例性目的，不应该被视为仅限于这些例子。本发明包含了所有对于本领域的普通技术人员显而易见的示例性的类别和应用以及其他可能的变化的实现例子。

[0037] 在本发明的一个优选实施例中，附板可以最初安装在智能设备的后部的第一个位置。此时附板和其上面的光学部件以及智能设备形成第一个成像结构。这个第一个成像结构将在后面详细论述。此附板可以从设备的后部移动或旋转到设备屏幕的前部的第二个位置。当附板平行并定位于屏幕上面时，附板将通过在智能设备的两侧或多侧牢固的附板支撑结构锁定到位。例如，智能设备的两侧可以是设备的相对较长的两个侧面。附件从两个侧面延伸出两个支柱并将附板支撑在所需的位置上。也可以使用设备的三个侧面或四个侧面来支撑。仅在设备的一个侧面提供支持通常是不可靠的所以应该避免。一旦该附板处于打开位置，新的成像功能就由所包括的光学组件与设备显示屏交互而实现，形成第二个成像结构。使用完后，该附板可以被松开并回到智能设备背面的初始安装位置。

[0038] 第一个示例性的应用是与已有的智能设备显示屏幕一起工作以提供虚拟现实内容观看功能的附件。在本发明的一个实施例中，附板中包括的光学部件是两个凸透镜。一旦镜头和附板从背面切换到屏幕正面，用户的左眼通过左侧凸透镜观看，右眼通过右侧凸透镜观看，虚拟现实内容以左眼图像显示在屏幕的左半部分，右眼图像显示在屏幕的右半部分的方式被显示在屏幕上。智能设备可以实时跟踪用户的头部位置和角度，然后立即根据头部位置刷新屏幕上的显示，因此用户可以感觉到他或她正在虚拟世界中环顾四周。该配件可用作虚拟现实观看器。

[0039] 在上述应用的一个略微不同的实施例中，附板也可以戴在用户的头上。该附板包含一个可开合的支架，可以打开和支持用户的额头。它还包含一个用户鼻尖支撑的鼻托。还有一个柔软的松紧带，其两端连接到额头的两边支撑。松紧带可以缠绕在使用者的头部来将该附板固定在使用者的眼睛前面。由于附板已经被锁定在智能设备屏幕的前面，整个智能设备现在可以作为虚拟现实头戴显示器佩戴在用户的眼前。在本发明另一种不同的的实施例中，还有两个可伸缩的颊部支架可以被打开并支持用户的左右脸颊。脸颊支架与头带一起支持着智能设备和附板的大部分的重量。

[0040] 第二个示例性应用是一个附件与现有智能设备屏幕一起工作来提供全息内容显示功能。在本发明的一个实施例中，附板中包含的光学部件是四个梯形透明或半透明材料。材料通常是玻璃，塑料或丙烯酸等等。对于本领域的普通技术人员显而易见的其他具有相似性质的材料也可以被使用。这四个梯形片在智能设备屏幕表面上形成一个金字塔形状。
全息图内容可以以某种方式显示在屏幕上使得从一个场景的一个观看方向显示的图像被反射到该场景的一侧金字塔。由于反射图像形成在透明表面上，因此用户可以感觉物体漂浮在空中并且可以从多个方向看。这时该附件被用作全息图观看器。

[0041] 第三个示例性的应用是一个附件与现有的智能设备相机一起工作以提供高维度的图像内容捕捉功能。智能设备可能有至少一个或两个或更多相机。高维度的内容包括但不限于立体三维图像和视频，多方向全息图，基于视差运动的全息图，四维光场内容以及宽视野360度三维虚拟现实图像和视频。立体三维图像是一对二维图像，第一张图像是从左眼视点捕获的，第二张图像是从右眼视点捕获的。当图像对被用户观看时，左眼视点的图像被用户的左眼观看，右眼视点的图像被用户的右眼观看，通过立体视觉效应从而建立起对原始场景的三维感觉。一个多方位全息图实际上是分别从场景的不同的正交方向捕获的一个物体的一组图像。方向的数量N是从一个到四个或更多。然后图像被显示在N侧透明或半透明的玻璃金字塔上，每个图像显示在金字塔的一侧。用户从而可以感觉到该物体的一个浮在空中的全息图景。

[0042] 基于视差运动的全息图实际上是从连续的一组场景的不同角度捕获的一个物体的一组图像。然后捕获的图像顺序地以循环的方式播放。用户可以通过运动视差感受到强烈的深度感，也就是说，不同深度的物体以不同的速度移动，一个接近的物体比较远物体移动得更快。

[0043] 在本发明的另一个优选实施例中，附板可以最初安装在智能设备的背面。它可以被移动到靠近移动设备相机的位置。在本发明的一个实施例中，附板里的每一个光学元件仅和一个摄像头配合工作。在本发明的另一个实施例中，附板中有两个光学元件，第一个光学元件与手机中的第一个相机配合使用；第二光学元件与第二相机配合使用。这里的光学部件可以是但不局限于平面镜，曲面镜，棱镜，鱼眼镜头和其他镜头。对本领域普通技术人员来说显而易见的是，其他类型的成像光学元件以及不同的光学材料也是可以用在这里的。其中不同的光学材料包括但不仅限于玻璃，水晶和塑料。

[0044] 如果智能设备只有一个摄像头，该附件可以帮助使用一个摄像头传感器来捕捉立体图像或视频。如果智能移动设备共有两个摄像头，该辅助设备有助于将光线从相同的真实世界场景引导至每个摄像头可轻松捕获三维图像和视频或增强的二维图像和视频。如果智能移动设备有三个或更多摄像头，我们的配件仍然可以帮助使用所有可用的摄像头传感器来形成三维，或多视图，或增强的二维图像和视频。

[0045] 该附件重量轻，便携，价格实惠，灵活且易于使用；捕获过程将会是实时和同步的；因此被捕获的三维内容将是最高的分辨率和最好的质量。该方法和装置也可以回退到用于单摄像头的系统或没有安装附件的硬件中。本发明也将提供一些新的立体三维图像和视频观察器的设计。

[0046] 与所有其他现有方法相比，捕捉过程将以实时速度进行，并且双眼的捕捉始终保持同步；因此所捕获的三维媒体将具有最高的分辨率和最好的质量。示例性的控制流程和处理方法将会在本发明的后面的部分和附图中进行描述和说明。

[0047] 当放置在相机附近的光学元件为采用全光镜设计，用来在相同的相机感光芯片上形成一个场景的多图像阵列时，该配件就帮助移动设备变成了光场相机。阵列中的每个图像都有一个稍微不同的角度。这可以通过线性或非线性的曲面镜，棱镜和透镜来实现。运用透镜包括但不限于一个或多个宽视场的超鱼眼镜头。如果镜头的视角不够宽，用户可以依次从一个方向扫描到场景的另一个方向，并缝合所有拍摄的图像以获得更广阔的视野。最广的视角是水平360度和垂直180度。一个特例是智能设备中有超过一个的摄像头，例如有两个摄像头-一个是前置摄像头和一个是后置摄像头；每个相机都和配件中的一个全光镜组件配合工作。如果所有相机都同时拍摄的话，所产生的视野将是两个视角之和。

[0048] 所公开的方法和装置也可以在没有安装附件硬件退化的情况下使用。有时附件可能有无法使用的时候，这时就变成了一个纯软件的解决方案，在移动设备中只有一个摄像头的情况下，该软件将引导用户使用相同的现有单个摄像头通过一次拍摄一张图像，共两次以形成三维图像对并处理图像以获得用于存储和显示的高质量立体图像对。这种退化的案例与其他一些解决方案基本相似，但可以添加更多不错的功能，以大大改善流程和质量。其中一项功能可能是实时用户指导。当用户拍摄第二张图像时，软件将实时跟踪和检测失真和视差，并将修正信息显示在屏幕上，引导用户首先拍摄最佳和正确的图像。此功能不仅可以提高三维媒体质量，也使拍摄过程易于使用。

[0049] 本发明还描述了媒体共享的扩展框架系统和社交网络生态系统，和基于使用所公开技术的用户捕获大量媒体数据。因为本发明将使用移动设备来捕获内容非常容易和很高的质量，它将改变人们的媒体数据捕捉偏好，观看习惯和信息共享情况和社交网络的结构。以此为基础构建的整个生态系统可能会极大地改变人们的生活方式。

[0050] 图1描述了本发明的一个优选的可佩戴附件设计实施例。更多的变化和不同设计将会在以下的文中和附图中描述。这里描述的具体设计仅仅是为了方便说明本发明的基本思想，而不是将其视为对设计选项的限制。这包括可能更优雅的机械设计变化来实现类似的功能和不同的形状，结构，颜色和材料。

[0051] 在图1中，附件包括一个可附接的可穿戴附板100.在附板100内部包括两个光学部件112和114.在本发明的一个实施例中，两个光学部件112和114是两个以瞳距(PD)水平分开的凸透镜。这是两只眼睛的瞳孔之间的距离。人眼的瞳孔距离从45毫米到75毫米不等。孩子们的瞳距比成年人小。该附板的大小从对角线四英寸到六英寸不等。104是以铰链连接到附板100顶部的前额支架。支架104可以打开以与板100的表面形成直角。打开的支架104可以用于在用户的前额上支撑该附件。支架104的支撑边缘光滑平整，可使皮肤感觉舒适。在前额支撑边缘的中间有一个凹槽，可以确保使用者的前额皮肤可以均匀地分布在支架的左右两侧。在支架104的两端分别有两个带孔。通过固定在支架104两端的两个带孔处来连接一个松紧带102.该松紧带的长度刚好可以牢固地戴在一个有平均尺寸的人头上。当支架104处于其关闭位置时，它围绕其铰链向内转动90度并平放在附板100上，两者之间紧密贴着。这时松紧带102围绕着光学部件112和114处于附板100上，并且由闭合的左盖板106和右盖板108覆盖。在本发明的另一个可选实施例中，松紧带102也可以紧密嵌入于附板表面中间，和存放在移动设备保护套的外缘一圈的周围。因此可能不再需要盖板106和108。

[0052] 在两个光学部件112和114之间有一个鼻托结构116.鼻托可以用来将附件支撑在使用者的鼻子上。在本发明的一个示例性实施例中，根据本发明的一种固定式鼻架结构具有人类鼻尖轮廓的形状，并用光滑柔软的材料填充在鼻托和鼻子之间。在本发明的另一个示例性实施例中，鼻架结构是可以根据不同的鼻高和/或尺寸调节的。在本发明的第三可选示例性实施例中，鼻托区域被完全切去以避免与用户的鼻子直接接触。一对支撑架118和120通过铰接安装在附板100的底边上。这两个支架与前额支架104工作的方法类似。支架
118和120可以打开以与附板100的表面形成直角。打开的支架118和120可以分别支撑在用户的左右脸颊上。支架118和120的支撑边缘光滑平整，因此它们不会使脸部不舒服。当支架
118和120处于它们的关闭位置时，它们围绕各自的铰链向内转动90度并紧密平放在附板
100上。

[0053] 左侧盖板106和右侧盖板108也分别通过铰链连接在附板100的左侧和右侧。两个盖板都与前额支架104的工作方法类似。左盖板106和右盖板108可打开到与附板100的表面成钝角的位置。打开的左侧盖板106和右侧盖板108可以分别阻挡使用者在左侧和右侧的眼睛余光的视线。当左侧盖板106和右侧盖板108处于它们的关闭位置时，它们位于关闭的前额支架104，鼻架116，松紧带102和颊部支架118和120的上面。左侧盖板106和右侧盖板108掩盖住这些内部细节并使从外部看只看到光滑的表面。

[0054] 在图2中，描述了本发明的一个优选的手持式附板202的设计实施例：在附板202内部包括两个光学部件206和208.在本发明的一个实施例中，两个光学部件206和208是两个凸透镜，它们以60mm的瞳距(PD)水平分开。附板202的对角线尺寸为4英寸至6英寸。在两个光学部件206和208之间可以有一个鼻子切口。鼻子切口用于避免附板202接触用户的鼻子。

[0055] 图2的实线部分画出了附板202处于其打开位置。附板202在智能设备屏幕216上方一定的距离处打开。通常，从附板202到屏幕216的距离等于凸透镜206和208的焦点.至少有一个第一支撑柱210支撑着智能设备216的第一个(左)侧面上的附板202；和一个第二支撑柱212在智能设备216的第二个(右)侧面上支撑着附板202.第一个侧面处于第二个侧面的对面。如果支撑柱的数量少于两个，则附件的支撑可能不稳定，并且不能确保证附板202和智能设备216的相对位置。在智能设备216的其他侧面上可以有更多的支撑柱，例如在设备的顶部或底部。在本发明的另一个实施例中，在智能设备216的一个侧面上可以有多于一个的支撑柱。例如，支撑柱212变成两个中间有间隙的两个支撑柱。所有这些支撑柱都通过铰链连接到附板202和智能设备的外壳。这里的铰链可以是传统的机械铰链或使用现代材料的活铰链。

[0056] 图2的虚线部分画出了附板202可围绕智能设备216的边缘旋转的不同的位置情况。位置214是附板202移动到智能设备216的右侧然后围绕智能设备216的右边缘旋转。位置222是位于右侧的位置214上的附板202继续朝着智能设备216的右后侧旋转45度角。位置220是位于右侧后面上的位置222处的附板202继朝向智能设备216的后面旋转45度角.位置
218是位于后侧的位置220上的附板202继续旋转90度成平行于智能设备216.位置218是附板202位于关闭的位置，并且其所有的支撑柱210和212折叠在后面并放置在设备216和附板
202之间。

[0057] 不失一般性地，智能设备的旋转侧面可以位于智能设备的任何一侧。该附板也可以围绕其中一个侧面或围绕不同的侧面，从关闭位置旋转到打开位置，和从打开位置旋转到关闭位置。

[0058] 在本发明的一个优选实施例中，附板旋转的侧面包括一个活动铰链。活动铰链有一个薄的柔性塑料部分，将两个较厚的部件连接在一起。由于那个部位非常薄，它使两个部件可以旋转180度以上的角度。活动铰链可以非常耐用，如果设计良好的话可能会持续使用数百万次。一个熟悉的例子就是番茄酱瓶盖。聚丙烯是生产活动铰链的最佳材料。本发明中的活动铰链要求旋转270度以使附板从打开位置切换到关闭位置，反之亦然。传统的活动铰链设计可能也可以使用，如平面铰链或双铰链。

[0059] 图3示出了本发明的示例性新活动铰链设计实施例：图示的三重活动铰链包括顺序连接的三个传统单个活体铰链。子图(a)展示了处于关闭状态的三重活动铰链。子图(b)显示了处于打开状态的三重活动铰链。在子图(a)中，302是附板的左侧，304是附板的右侧。第一个传统单活铰链是310.第二个传统单活铰链是312，第三个传统单活铰链是314。第二和第三单活铰链之间有一个立方体形状的杆306。使得三重活动铰链旋转270度，每个子活铰链只需要旋转90度。附板完全打开状态下的全部旋转见图(b)所示。该附板的左侧302旋转270度后背靠背与附板的右侧304对齐。三个子活动铰链310，312和314各自旋转90度并围绕着立方杆306.杆306支撑并确保每个子活动铰链仅旋转到90度，因此铰链磨损将会均匀分布在所有的子铰链上。从而延长三重活动铰链的总体寿命。

[0060] 当附板在智能设备上处于关闭位置时，需要一种机制将附板可靠地锁定在设备或其外壳上。

[0061] 图4示出了本发明的一个示例性的带状锁定机构：不失一般性地，锁定机构的第一个侧面408用作螺栓部件，锁定机构的第二个单一固态材料的侧面404用作螺母部件。第一侧面408包括螺栓部件414.第二侧面404包括螺母部件并紧密地与螺栓部件414配合。在螺栓部件414上，中心部分的材料406被切除得以形成仅在两端连接到螺栓件414的一个弹性的带状部件。切口区域在弹性带406的顶部和底部处留下一个窄的空隙410.如图4所示，沿着弹性带406上，均匀分布着一些小的半球状的凸起402.在锁定机构的第二侧面404上有着与之匹配的小的半球状的凹坑412。这个结构设计为弹性带406和小凸起402提供了坚固且可靠的柔性，以支撑螺栓部件和螺母部件间的彼此紧密咬合。锁定是双向的。也就是说，打开和关闭锁定所需的力是对称的。在本发明的另一个可选设计实施例中，使用一组竖直排列的弹性带(或更贴切地称为齿)代替先前的单个水平带。每个垂直带(齿)上有一个半球形凸起402。在这种设计中，两个相邻牙齿之间的间隙可以更大些。

[0062] 子图(a)是锁定结构的水平横截面图。子图(b)是锁定结构的俯视截面图。这种基于弹性带的锁定结构提供了一种很好的方法来实现在小尺寸下得到长的弹性带，大大提高了双向锁定的性能和可靠性。

[0063] 图5示出了光学部件用作全息显示器的一个可选设计实施例：类似于图2所示的结构，但是包含在附板502中的光学部件现在是四片梯形透明或半透明材料506.透明或半透明材料可以是但不限于玻璃，水晶或塑料。当四个梯形透明件从关闭位置完全展开时，它们可以成为正方形金字塔502的四个侧面，并在完全关闭时平放在附板的内部。一旦附板502被打开并旋转到智能设备504的前部，一个全息金字塔506将在附板502和智能设备屏幕504之间形成，金字塔的塔尖接触到设备屏幕，而金字塔的底部位于附板502上。

[0064] 当全息图像在智能设备中处理并显示在屏幕上时，图像发出光并且在金字塔的第一个表面上反射到用户的眼睛中。然后用户感觉到一个物体好像漂浮在空中。如果用户移动到另一个不同的视角他或她可以看到来自金字塔第二个表面的反射光，因此他或她将感知此物体为三维的。对本领域的普通技术人员显而易见的是，金字塔的边的数量可以是一个，两个，三个，四个或大于四的自然数。

[0065] 图6示出了在其打开位置用作单镜头立体三维和光场照相机的光学部件的一个可选设计实施例：在本发明的一个实施例中，光学组件与智能设备相机配合工作成为一个立体三维相机。示例的智能设备有一个机体606和一个前显示屏幕604.在主体606上的屏幕604下面的有一个主屏键620；在前显示屏幕604的上方是前摄像头622.在智能设备的背面有另一摄像头602被称为后摄像头。后摄像头602和前摄像头622可能在垂直和水平方向上都不对齐。不失一般性和为了简化的目的，我们假定两台相机的垂直偏差小于水平偏差。这实际上是最流行的iPhone和Galaxy S智能手机的真实情况。仅仅为了方便和示例性的目的，在所有的附图中，一个代表性的智能设备606被画成为像苹果iPhone或三星Galaxy S智能手机的形状或设计。但图示的目的是想代表所有适用的智能设备，例如但不仅限于智能手机，平板电脑，超便携式计算机以及所有配备有至少一个成像传感器的其他移动设备。

[0066] 子图(a)画出了智能设备606的左侧的侧视图，其中背面附有一个优选的设计的附件608。附件608包括一个可以牢固地附接到智能设备机体606的薄附板，但是该附板没有挡住所有的功能按钮，传感器，扬声器，输入端口，输出端口和显示屏幕。在附件608的顶部上，集成的光学部件包括两个第一表面反射镜616和618.这两个反射镜可以被移动到打开的位置，使得第一反射镜618与后部照相机602成45度角，光线610可以通过反射镜618被反射到后部照相机602中；同时第二反射镜616位于第一照相机的顶部，但是与后部照相机602成(45-δ)度角，使得光线612可以被反射镜616反射到后照相机602中。δ的一个例子是角度15度。当反射镜616和618处于关闭位置时，两个反射镜都不在照相机602的光学路径中，因此根本不阻挡照相机602。当两个反光镜616和618处于打开位置时，相机602可以从两个不同的视角捕捉同一场景的两个图片。第一张照片只有原始照相机分辨率的前半部分，第二张照片只有原始照相机分辨率的后半部分。来自两个不同视图的这两个图像可以用作立体三维图像对。当两个镜子都处于关闭位置时，照相机602可以照常工作，就好像没有安装附件一样。

[0067] 在本发明的另一个实施例中，通过使用棱镜而不是镜子来实现类似的成像功能。如子图(a)中所示的具有双反射表面626和628的棱镜614代替了先前在与智能装置相同相对位置中的包括镜616和618的光学装置。棱镜614可以被移动到一个打开位置，使得第一反射表面628与后相机602成45度角，光线610可以被反射表面628反射到后相机602中；同时第二反射镜626位于第一摄像机的顶部，但是与后摄像机602成(45-δ)度角，使得光线612可以通过反射表面626被反射到后摄像机602中。δ的一个例子是角度15度。当反射表面626和628处于闭合位置时，两个反射表面对于照相机602而言都是完全透明的，所以根本不阻挡照相机602。这样，当两个反射表面626和628都处于打开位置时，相机602可以从两个不同的视角捕捉同一场景的两个图片。第一张照片只有原始照相机分辨率的前半部分，第二张照片只有原始照相机分辨率的后半部分。来自两个不同视图的这两个图像可以用作立体三维图像对。当两个反射表面都处于闭合位置时，照相机602可以照常工作，就好像没有安装附件一样。

[0068] 在本发明的另一个可选实施例中，一个透镜600被附接到后照相机602以代替前面提到的反射镜对和棱镜。对于本领域的普通技术人员而言显而易见的是，在此可以使用任何形成来自场景的一个或多个图像的透镜。不失一般性，一个示例性的广角鱼眼镜头可以用来捕捉单个覆盖超过180度场景的虚拟现实图像。在本发明的一个示例性实施例中，一个235度的高级超鱼眼镜头被使用。在本发明的另一个实施例中，一个鱼眼镜头也可以与反射镜组616和618或棱镜614一起工作，因此捕获的宽视野图像也是三维的。

[0069] 图6的子图(b)画出了与子图(a)中所述相同的配置情况，但现在是从智能设备606和板608的后侧观看的后视图。如果使用反射镜的解决方案的话，光学组件616和618是处于打开位置。只有镜子616和618的背面可见。后照相机602在该视图中是不可见的，但如果反射镜616和618被切换到其关闭位置后将是可见的。

[0070] 图6的子图(c)画出了与子图(a)中所描述的相同的设置，并且它们的状态处于打开位置，但现在是智能设备606的正面的顶视图。假设是使用反射镜解决方案。后置照相机602不可见。在该图中只有打开的镜子616的顶部，智能设备606和主屏键620可见。

[0071] 在本发明的一个可选实施例中，附件打开或闭合状态以及镜子进出位置可以设计成具有以下关系。一旦附件处于打开位置，所有镜子将自动置于打开位置；一旦附件切换到关闭位置，所有镜子将自动置于关闭位置。

[0072] 从此以下提及的所有反射镜都将指高反射率平面反射镜。例如第一表面平面镜。这纯粹是为了描述方便和示例性的目的，但不被认为仅限于平面镜。在本发明的更一般的可选实施例中，反射镜可以是抛物面或其他更复杂的高阶表面以增加相机的视场。

[0073] 图7示出了在其闭合位置中用作立体照相机的光学部件的一个可选设计实施例：示例性智能设备具有机体706和前显示屏幕704。在智能设备的背面上有照相机720，被称为后视照相机。子图(a)画出了智能设备706的左侧的侧视图，其中背面附接有一个优选的附件708。附件708包括一个薄附板，该薄附板可以牢固地附接到智能设备主体706，但是让所有的功能按钮，传感器，扬声器，输入端口，输出端口和显示屏幕露出来。在附板708的顶部，附带的光学部件包括两个第一表面镜716和718。反射镜可以被移动到闭合位置，使得第一反射镜718与附板708成β角度并且第二反射镜716位于第一照相机的顶部，但与附板708成-β度角。在一个示例中，β是7.5度。也就是说，两个反射镜716和718几乎与附板708平放，占用非常小的空间并且不阻挡后部摄像机720。相机720可以照常工作，就好像没有安装附件一样。

[0074] 子图(b)画出了本发明所述的可选设计实施例的背面视图。示例光学部件-两个相连的第一表面反射镜716和718处于从打开位置到闭合位置的旋转中间。在旋转过程中，后部照相机720变得不被阻挡如同附件未被附接一样。

[0075] 子图(c)进一步画出了本发明所述的可选设计实施例的背面视图。示例光学部件-两个相连的第一表面反射镜716和718已经从打开位置旋转到关闭位置。在旋转之后，后部照相机720变得不被阻挡如同附件未被附接一样。

[0076] 对于本领域的普通技术人员而言，使用其他稍微不同的方式将反射镜从打开位置移动到闭合位置也是可以的。它可能不一定要涉及旋转；它可能会使用平移，翻转或两种或更多运动类型的组合。

[0077] 图8示出了用作光场相机的光学部件的示例性设计实施例：基于和图6和图7以及下面章节的图9和图10所描述的类似结构和设计，在光学部件中不再使用具有两个反射镜或具有两个反射表面的棱镜，而是使用具有两个以上的反射镜或反射表面。为了简单和示例性的目的，从现在起不失一般性地仅举例介绍使用反射镜的实施例。但是对于本领域普通技术人员而言，将同样情况扩展到使用棱镜和透镜的可选实施例是容易的。

[0078] 子图(a)画出了光场照相机设计中使用四个被布置为四个矩形的象限反射镜的实施例。第一个反射镜802位于象限(1)中。第二个反射镜804位于象限(2)中。第三个反射镜806位于象限(3)中。第四个反射镜808位于象限(4)中。类似地，子图(b)画出了以矩形方式布置的m×n个反射镜的设计实施例。第一个反射镜810位于左上角(1)。第n个反射镜812位于右上角(2)。第(mn-n+1)个反射镜814位于左下角(3)。第m个反射镜816位于右下角(4)。所以总共有m*n个反射镜，其中m，n都是从1开始的整数。

[0079] 每个镜子从稍微不同的观看方向将目标场景的不同图像形成到设备相机传感器上。所以镜面阵列可以从一组不同的视角生成一系列图像。这就是一个光场照相机。如果仅使用平面镜，则生成的图像有着成比例减小的目标场景视野。随着镜子数量的增加，图像间的重叠区域逐渐减少。如果使用曲面镜，则每个图像的视场增加，并且图像之间的重叠区域也增加，但是每个图像的有效分辨率更加减小。总是需要一个平衡点来决定视角的大小(或图像的数量)，每个图像的视野以及每个图像的有效分辨率，以实现最佳的整体成像质量。

[0080] 光场照相机，也被称为全光照相机，捕获关于从场景发出的光场的信息；即场景中的光线强度，以及光线在空间中行进的方向。这与仅记录光强度的传统相机形成对比。一种类型的光场相机使用放置在传统图像传感器前方的微突透镜阵列来感测强度，颜色和方向信息。多相机阵列是另一种类型的光场相机。全息图是一种基于胶片的光场图像。

[0081] 在本发明的所描述的实施例中，反射镜阵列不仅记录场景中的光的强度并且还记录观看方向。它相当于一个虚拟的多相机阵列。子图(a)是一个四相机阵列；而子图(b)是一个m*n相机阵列。这包括用m*n棱镜阵列或用m*n透镜阵列代替上述反射镜阵列。

[0082] 图9中的子图(a)示出了智能设备900的左侧的侧视图：其上附接着一对优选设计的附件板910和920。当两个反射镜板912和922相对于智能设备机体900倾斜45度角时，该配件处于打开位置。附件902被设计成可以牢固地连接到智能设备机体900的薄型框架但留出所有功能按钮，传感器，扬声器，输入端口，输出端口和显示屏幕。在该薄型框架902的顶部，在智能设备的正面有反射镜板910，在智能设备的背有另一个反射镜板920。每个反射镜板910或920包含一个可以滑动的反射镜片912或922。反射镜板910被设计成当反射镜912被放置就位时，相对于智能设备机体900成45度数倾斜角的反射镜912可以将光线926完全反射到前置相机908中；而当镜子912被收起时，镜板910对于相机908而言完全透明并且完全不遮挡相机908。类似地，反射镜板920被设计成当反射镜922被放置就位时，相对于智能设备机体900成45度数倾斜角的反射镜922可以将光线924完全反射到前置相机906中；而当镜子
922被收起时，镜板920对于相机906而言完全透明并且完全不遮挡相机906。用这种方式，当镜子912和922两者都就位时，两个照相机908和906可以捕获面向智能设备900的顶部的同一场景的图片，这正是光线924和926指向的方向。来自正面和背面照相机908和906的这两个全分辨率图像可以形成一个立体三维图像对。当镜子912和922都被收起时，两个照相机
908和906可以像平常一样工作，就好像没有安装附件。

[0083] 图9的子图(b)示出了与子图(a)中相同的设置和状态，但是现在是从智能设备900的顶部看的顶视图。两个相机908和906仍然可见。具有滑动镜片912的处于打开位置的镜板910位于智能设备的前面；并且具有滑动镜片922的处于打开位置的镜板920位于智能设备的背面。在本发明的一个可选实施例中，子图(a)和子图(b)中的镜子都是曲面镜子。然而在本发明的另一可选实施例中，子图(a)和子图(b)中绘制的每个镜子都包括如图8中所示和说明的一组子镜片。因此，每个相机都可捕捉一组不同视角的场景图像。

[0084] 图9的子图(c)示出了一个可选设计实施例，即附板框架902上的两个光学部件是两个镜头914和916而不是反射镜或棱镜。附板902附接到设备机体900上。两个镜头914和916放置在第一个相机908和第二个相机906的前面。第一个相机908是智能设备900的前置相机，并且第二个相机906是智能设备900的后置相机。在本发明的一个实施例中，两个镜头
914和916是两个广角鱼眼镜头。

[0085] 图10的子图(a)示出了与图9的子图(a)中相同的设置及状态，但是现在它是从智能设备1000的背面看的后视图。现在只有后视镜板1020和后滑动镜片1022是可见的。如果滑动反射镜1022收起来，则后置相机1006也可见。在该视图中，薄附件1002的另一个部件1004也可见。

[0086] 图10的子图(b)示出了与图9的子图(a)中相同的设置和状态，但是现在它是从智能设备1000的正面看的正视图。只有前镜面板1010和前滑动镜片1012是可见的。如果滑动反射镜1012收起来，则前置照相机1008也是可见的。在该视图中，薄附件1002的另一个部件1004和主屏键1016也可见。

[0087] 在本发明的一个可选实施例中，附件和滑动镜片进入打开或关闭状态可以被设计为具有以下关系。一旦附件处于打开位置，所有的滑动镜片将自动处于打开位置；一旦附件切换到关闭位置，所有的滑动镜片将自动处于关闭位置。

[0088] 从此以下提及的所有镜子都指高反射率第一表面平面镜。这纯粹是为了描述方便和示例性的目的，但不被认为仅限于平面镜。在本发明的更一般的可选实施例中，反射镜可以是抛物面或其他更复杂的高阶表面以增加相机视场。

[0089] 在图11中示出了在智能设备中使用两个现有的照相机用于三维图像和视频捕获的其他的设计变体和可选实施例：在图11的子图(a)中，前置照相机1108通过智能设备顶部上方的镜板1110和1120中的两个镜子使光反射两次，以便能够捕获与后置照相机1106捕获的相同的场景。与光线1132来自相同场景的光线1130被反射两次后由前置相机1108捕获。光线1132由后置相机1106直接捕获。与本发明的该实施例中首选的设计相比，垂直视差增加和反射镜板的较大，这是个缺点。

[0090] 在图11的子图(b)中，后置照相机1106通过智能设备顶部上方的镜板1112和1122中的两个镜子使光反射两次，以便能够捕获与前置摄像头1108捕获的相同的场景。与光线1134来自相同场景的光线1136被反射两次后由后置相机1106捕获。光线1134由前置相机
1108直接捕获。与本发明的该实施例中首选的设计相比，垂直视差和反射镜板的会更加的大，这也是个缺点。

[0091] 在图11的子图(c)中，前置照相机1108通过智能设备顶部上方的镜板1110和1120中的两个镜子使光反射两次，以便能够捕获与后置照相机1106捕获的相同的场景。与光线1140来自相同场景的光线1138被反射两次后由前置相机1108捕获。光线1140由后置相机
1106直接捕获。在本发明的该实施例中，垂直视差保持相同。水平视差会增加，这对增强三维效果可能是一件好事。但是，与优选的设计相比，根据智能设备的实际尺寸，镜片附板将变得更大，这是不好的。与子图(d)的类似变型是从智能设备的左侧上通过两个镜子使光双重反射到后置照相机1106中。

[0092] 在图11的子图(d)中，前置相机1108通过智能设备左侧的镜板1116中的镜子反射的光线1146，以能够捕捉智能设备左侧的场景。后置相机1106通过智能设备左侧的镜板1126中的镜子反射的光1148，以能够捕捉智能设备左侧的场景。在本发明的该实施例中，垂直视差是两个镜子之间的距离。水平视差成为两台摄像机之间的垂直距离。

[0093] 在图11的子图(e)中，前置相机1108通过智能设备右侧的镜板1118中的镜子反射的光1142，以能够捕捉智能设备右侧的场景。后置摄像头1106通过智能设备右侧的镜板1128中的镜子反射的光1144，以便能够捕捉智能设备右侧的场景。在本发明的该实施例中，垂直视差是两个镜子之间的距离。水平视差成为两台摄像机之间的垂直距离。

[0094] 在以上所有的示例性可选设计实施例的描述中，如果假定显示屏面向用户，则前置相机1108位于后置相机1106的右侧。当在某些其他智能设备中前置摄像头位于后摄像头的相对的另一侧时，任何本领域的普通技术人员也应该可以容易地识别并做出相应的设计变种。

[0095] 一般来说，对于具有一个以上摄像头的那些智能设备，只要在一个智能设备中存在至少一个处于和其他摄像头不在同一智能设备侧面的摄像头，则可以总是可以通过使用镜板中一定数量的镜子，重新定向所有摄像头的光路，使其以相同或不同的水平视差或垂直视差来朝向相同的拍摄场景。

[0096] 图12中示出本发明描述中一种单镜头三维或光场照相机的退化情况：第一种退化情况是智能设备仅有一个摄像头1206，但是有一个附件1202并且附接在智能设备上，如图12的子图(a)所示。在这种情况下，虽然仅使用一个摄像头，但附件仍如前述一样工作。在三维捕捉过程开始时，附件应处于打开位置。前镜板1210不被使用，而后镜板1220被用来重定向摄像头106以拍摄智能设备1200的顶部上方的场景。

[0097] 第二种退化的情况是智能设备仅有一个摄像头1206并且附件1202不可用或者目前并未附接着，如图12的子图(b)所示。在这种情况下，智能设备中的摄像头与通常的照相机相同地使用，但遵循以下特殊捕获过程以捕获三维媒体。

[0098] 用于上述两个退化情况的三维图像捕捉过程将为由软件引导具有水平位移的两步次序拍摄。单个相机先拍摄第一张图像，然后应用软件要求用户将设备水平移动预定的一个双目距离，然后相机拍摄第二张图像。在水平移动的过程中，软件中的实时用户指导功能将处于激活状态。也就是说，在用户拍摄第二张图像之前，软件实时跟踪和检测失真和视差，并在屏幕上显示校正信息，以指导用户何时拍摄最佳的第二张图像。此功能不仅可以提高三维媒体的质量，还可以使捕捉过程变得非常容易使用。

[0099] 在以上所有示例的退化情况的描述中，后置照相机1206被假定为智能设备中唯一的照相机。当所述智能设备中唯一的摄像头是前置摄像头时，任何该领域的普通技术人员都应该可以容易地识别并制定相应的设计和操作变型。

[0100] 在图9-12的所有以上设计描述中，可以使用具有类似反射表面和特性的棱镜或广角光学透镜代替设计中的反射镜来实现类似或更好的功能或性能。特别地在一个本发明的示例性实施例之一中，如果使用两个广角鱼眼镜头，则每个镜头至少覆盖水平和垂直视场两者中的180度，第一个镜头与智能设备的第一个相机一起工作，第二个镜头与智能设备的第二个摄像头一起工作，于是第一个摄像头可以捕捉场景的前半球的所有内容，第二个摄像头可以捕捉场景的后半球的所有内容。所以这两个捕捉流可以实现360度的VR内容捕捉功能。

[0101] 在本发明的又一个实施例中，对于本领域普通技术人员显而易见的是，如果广角镜头与曲面镜设计一起使用，则上述360度VR内容捕捉功能可变成三维360度VR内容捕捉。

[0102] 在本发明的又一个实施例中，无论在附件中是否使用反射镜阵列或棱镜或鱼眼镜头，照相机都可以用作虚拟现实照相机以拍摄完全沉浸的图像或视频。用户可以拿着相机在目标场景的第一个方向上拍摄，然后他或她转向第二个方向，以便第二张图片覆盖第一张图片没有覆盖的大部分场景，但图片之间有一些重叠部分。用户继续进行捕捉，直到以他或她的位置为中心的整个球体至少有一张拍摄的图片覆盖。该软件可以分析所有拍摄的图片并将它们拼接在一起形成一个球体场景，得到的球体图像可以以被称为等距离长方投影(equirectangular)全景图像的格式存储。该格式广泛用于大多数虚拟现实数据处理中。

[0103] 图13展示了一个本发明的优选方法的示例性的虚拟现实观察器的高层次工作流程图：工作流程的解释只考虑了首选的附件设计方案。但是本领域普通的技术人员应该可以容易地将工作流程扩展到所有其他可选的附件设计变体中。想要观看虚拟现实内容的用户从1302开始。第一个步骤1304是将具有本发明中描述的光学部件的附板附接到智能设备上。通常它附接于智能设备的背后。在本发明的一些实施例中，附件以设备保护壳的形式出现。然后用户在方框1306中围绕智能设备的一个边缘处的铰链将附板旋转到打开的位置。在本发明的一个实施例中，该铰链是一个活动铰链，它可以旋转非常大的角度并且占很小的面积。在框1308所示的下一个步骤中，用户借助处于智能设备的至少两个不同侧边上的至少两个竖直支撑柱的帮助将附板固定在打开的位置上。在设备的多个侧边上支撑柱是很重要的。因为当它处于打开位置时，附板在所有设计实施例中都需要承受磨损和在可穿戴实施例中智能设备的重量。两个侧边可以是设备的两个相对侧边或相邻成直角的两个侧边。也可以使用三个侧边或四个侧边。

[0104] 对于可穿戴设计实施例，将执行框1310中的操作。用户佩戴观察器时，将打开左右盖板，向上扳起前额支架，并将与前额支架两端相连的头部松紧带放出，如果有前额-脸颊支撑设计的话，则立起并使用两个脸颊支架，否则鼻托被用来支撑用户鼻子上的整个观测器结构。

[0105] 在下一个步骤1312中，用户打开应用软件在智能设备屏幕上播放一个VR内容。VR内容可以用一个专用应用程序软件或门户管理器应用程序软件的形式来分发。用户可以访问这些应用软件的示例场所是苹果的应用商店和谷歌的Play商店。专用应用程序是为分发此特定内容而制作的软件。在这种类型的应用程序中，整个内容都是从苹果的应用商店和谷歌的Play商店下载的。门户管理器应用程序软件是用于分发许多内容的软件。该软件只需安装一次，然后可以从内容提供商的门户网站下载或实时传输内容。无论哪种方式，用户在智能设备屏幕上播放虚拟现实内容。在其中一种格式中，左眼图像帧显示在屏幕的左半边，而右眼图像帧显示在屏幕的右半边。在步骤1314中，当附板在屏幕前方打开时，用户的左眼可以通过第一个光学透镜观看左半部图像，并且右眼可以通过第二个光学透镜观看右半部图像。在方框1316中观看之后，使用者收起前额支架以及颊部支架如果使用了颊部支架的话，并且如果执行了步骤1310则收起松紧带。用户收起支撑附版的所有支柱，并将附版旋转回其关闭位置。在最后的可选步骤1318中，用户将附件从智能设备上拆下。如果用户选择不移除附件，用户可以继续带着附件正常使用智能设备。当用户想再次使用该配件时，他或她重复从1304开始的操作。

[0106] 图14示出了作为光场相机的本发明的优选方法的示例性工作流程图：光场媒体数据的捕获过程从方框1402处开始。在方框1404中，用户需要首先将板附件安装到智能设备上。然后，在方框1406和1408中，用户将第一和第二相机镜片板转换到打开位置。如果只有一个摄像头可用，则框1408可以是可选的。镜片板中的反射镜阵列也应该被切换到打开的位置；以使得所有相机都通过反射镜阵列捕捉相同的场景。然后用户在框1408中打开应用软件以控制所有摄像头进行捕捉。一旦用户按下软件按钮并开始捕捉。对于光场媒体的每一帧，应用软件将在1410中从第一个相机取得第一组图像或视频帧，并且在1412中从第二个相机取得另一组图像或视频帧。应用软件将执行实时快速修改捕获的两组图像或视频帧，然后捕获下两组图像或视频帧。实时快速修改可以包括但不限于基于先前照相机的校准或预先设定的用户配置的颜色校正，图像大小调整，变形，纠正失真，裁剪或查表操作或其他的图像处理操作。当用户按下按钮或发送停止捕捉的命令之后。应用软件将停止捕获过程于框1416中。用户现在可以选择在框1418中将前后相机镜板切换到闭合位置。在框1420中，用户还可以选择从智能设备上卸下附接的附件。在停止捕获过程的同时，应用软件可以对捕获的图像和视频进行后期处理，使得它们准备好用于光场显示或存储或传输，如方框1422中所示。其他可能的后期处理操作是图像或视频增强滤波器和特殊效果。在光场媒体被存储，显示或发送之后，示例性的拍摄工作流程结束于框1424。

[0107] 图15展示了本发明的光场图像和视频处理的一个示例算法：示例算法是为首选附件而设计的，但是本领域的普通技术人员可以容易地扩展该算法，并对其为其他可选的附件设计变体进行修改。一旦在方框1502处捕捉并输入了光场媒体数据，则在方框1504中可能需要将第一个眼睛的图像或视频帧旋转到正确的位置。然后，将第二个眼睛的图像或视频帧也可能需要在1506中旋转至匹配第一个眼睛图像或视频帧的方向。对于大多数智能设备，上述两个捕获的图像或视频帧具有不同的分辨率并具有不同的失真或缩放级别。因此，在步骤1508中，需要调整至少一个图像或视频帧的尺寸以匹配另一图像的图像比例。指导匹配的参数可以基于先前的照相机校准的结果或基于捕获的数据实时得出。之后，使用登记算法来识别图像和视频帧中的特征点并尝试匹配这些点。对映的特征点对形成一组控制点。从这些控制点可以检测和计算出垂直视差。估计的垂直视差需要从1510中的控制点映射中去除或减少。从这些控制点还可以估计水平视差并将其重新调整为期望的双目距离值。然后，在框1512中，可以使用最终调整好的控制点来导出从一个图像或视频帧到另一个图像或视频帧的形变函数。一旦计算了形变函数，则在1514中可以对一个图像进行逐像素点的形变去匹配另一个图像。这时，两个图像或帧具有了相同的尺度并且具有匹配的失真情况，其中垂直视差也被去除或减小了，并且水平视差已被优化。然后在1516中裁剪一个或两个图像或视频帧以使其大小尺寸完全匹配，从而形成图像或视频帧对。在框1518中，进一步计算一个图像或视频帧的颜色并将其与该对中的其他图像或视频帧进行颜色匹配。

[0108] 最终匹配的一组图像或视频帧对准备用于计算光场信息或针对虚拟现实图像的拼接并且在方框1520中被保存以供稍后观看。从在图6和图7所描述的使用单个相机的设计实施例中捕获的一组图像或视频帧可用相同的方式导出光场数据或虚拟现实图像。

[0109] 在光场数据处理的情况下，可以捕捉照射在相机的镜头光圈的不同子区域上的光的结构。通过从这些多个子区域捕获的数据，可以使用基于软件的图像处理技术来从孔径内的任何子区域选择图像数据。通过这种方式，可以重新创建表示来自不同位置的对象视图的图像。如果从原始图像计算场景深度，则可以逐个重新聚焦每个像素，以获得到处都聚焦的图像。1908年，诺贝尔奖获得者加布里埃尔·李普曼(Gabriel Lippmann)首次描述了一种“积分摄影”的概念的类似的基于光场的捕获设备。

[0110] 光场照相机也称为全光照相机；允许同时捕捉一个场景的多个图像。这种丰富的视觉信息可以编辑，以便选择不同的可能的焦点，不同的景深，甚至不同的镜头光圈。然而，由于其维度和复杂性，目前的已有的软件难以处理这些文件。记录下来的图像是透镜光圈上的一个点发出的所有光线的集和。有两家创业公司Raytix和Lytro在市场上首次亮相，揭开了第一个真正的全光照相机的面纱。与传统的相机及其“普通”的镜头相比，这些创新设备具有数字传感器，并配有包含数千个微型镜头的微型镜头阵列。它们被称为光场相机，因为它们不仅捕获光线的强度和位置，而且还捕捉通过镜头的光线的几何分布情况，这些信息在传统摄影中是失去的。光场-换句话说就是记录的光线流-包含对场景的非常丰富的描述，可以从单次拍摄中创建高级新颖的图像。它可以模拟不同焦点和不同景深的捕捉，这可以帮助挽救没有聚焦好的镜头。它还可以模拟大光圈镜头，这在低光条件下是一个巨大的优势，或用来创建称为“散景”的艺术模糊背景。同样感兴趣的是生成三维视图的可能性。光场可以被看作捕捉了场景的多个视点的内容，提供了关于场景的视差和深度的信息。考虑到这些惊人的功能，未来的光场相机可能会给计算成像领域带来颠覆性变化，并在许多应用领域产生巨大影响。话虽如此，真正实现它的道路上人有这着几个令人生畏的障碍。其中之一是当前全光传感器的微弱的分辨率。例如，最近的Lytro Illum仅产生200万像素的图像。另一个障碍是大量捕获的高维数据：静止图像四维和视频5D。它对端到端处理链具有明显的影响：压缩，通讯和渲染。除此之外，第三个障碍与用户现在可以像今天使用二维图像和视频一样编辑和操纵光场媒体的可能性相关。所有这些障碍都会是具有挑战性的图像处理问题，在充分利用这项技术的潜力之前需要解决这些问题。通过简单地应用在过去几十年取得数字成像成功的模型和方法，这些障碍无法得到有效克服。

[0111] 稀疏表示并且恰恰是CLIM(计算光场成像)的目标。它将解决三个具体的挑战。从光场数据表现出的非常高的冗余度和相关性可以看出，虽然数据是在高维空间中，但其具有固有的低维结构。所以第一个目标是开发出方法来发现和表征这些低维空间并找到稀疏表示。第二个挑战是设计一个存储和传输带宽高效的编码系统，以充分利用和保存光场数据的几何模型和结构。第三方面涉及压缩光场计算成像算法的开发，以便实现诸如重聚焦，透视位移，高分辨率扩展聚焦，全景成像和编辑等先进功能。预计这项研究将对数字领域产生重大影响，它将为各个行业的计算成像应用开辟新的视野。而且从现在起五年后，这项工作的一部分将有望为JPEG-Pleno等新的图像标准做出贡献。

[0112] 在本发明的一个实施例中，根据从框图1502到1518的步骤处理从我们前面描述的的方法和设备捕捉的一组多个图像，无论是来自单个摄像头还是多个摄像头。一旦所有图像或视频帧得到处理和特征点跟踪登记，就可以计算出准确的深度图，然后将其输出到框图1522。所计算出的深度信息也可以选择性地被压缩，编码并保存在文件中以备将来使用。在框图1522中，可以选择性地根据深度图以及现有一个图像或视频帧中的一个帧来渲染出一组新的图像或视频帧。新生成的图像可以是新的观察方向，也可以是焦点调整后的被拍场景。框图1524中的是图像处理输出的最终图像。

[0113] 在虚拟现实内容被处理的情况下，所捕获的图像和视频帧被分析并缝合在一起以形成一个球形视觉图像。形成的球体图像可以以被叫做等距离长方投影(equirectangular)的全景图像格式来存储。该格式广泛用于大多数虚拟现实数据处理中。
如果虚拟现实内容是立体三维对，则生成两个等矩形全景图像。在数据传输中，这两个等矩形图像可以分别在两个通信通道中传输，或者以左右并排方式或上下排列方式从一个通信通道中发送和接受。

[0114] 图16示出了根据本发明的先前的详细描述的用于手机外壳状附件中的手持式虚拟现实观看器的示例性设备：在子图(a)中，薄板1602附接到智能手机外壳1606的背面。在薄板1606中包括有两个凸透镜1604。1608是鼻子切口以匹配用户的鼻子。1608也同时是一个带状搭扣锁，当观察器处于如图(a)所示的关闭位置时，它将附板牢固地锁定在手机外壳上。子图(b)展示了相同的处于关闭位置的手持式VR观看器处于反过来的位置。智能手机外壳1606是位于上方，薄附板是位于下方。电话本身没有在图中画出来。子图(c)画出了处于打开位置的手持式VR观看器的前视图。电话没有被画出，但是电话屏幕应该配合机壳并朝向上面对着薄附板1602。附板1602现在由前侧边的Y支撑柱1610和后侧边的两个支撑柱1612支撑着。该附板包含两个VR凸形透镜1604并位于电话屏幕的上方。用户可以用手握住手机外壳和附板1602通过镜头来查看显示在手机屏幕上的虚拟现实内容。子图(d)显示的是打开的观看器的从左下方看过去的视图。鼻子锁定结构1608现在从附板上的鼻子切口位置被旋转着朝下。

[0115] 图17示出了一个具有可穿戴虚拟现实观看器的单镜头光场照相机手机外壳的示例性附加设备：如子图(a)所示，附加设备使用了一个如图16所示的处于关闭位置的类似的虚拟现实观察器，另外还有另一个薄附板1702连接在其顶部。1702附板在靠近智能电话后置摄像头的一端包括一个光场光学组件1708。子图(b)从颠倒的位置展示出了一个相同的装置。在没有安装电话的情况下，手机外壳1704是可见的。子图(c)展示出了当VR观看器保持闭合位置时，光场相机组件1708处于其打开位置。光学组件1708从附板内部向上打开到后置照相机的顶部。子图(d)展示出了位于光学组件1708的另外一侧的一个打开的光场光学组件1706正面向照相机的镜头。整个设备是从左下方向看过去的。

[0116] 图18示出了处于完全打开位置的可佩戴虚拟现实观看器手机壳的示例性设备：子图(a)是该设备的顶视图。附板1800被打开对着电话的前屏幕。左侧盖板1802和右侧盖板1804被打开以挡住用户的余光视觉。前额支架1808被打开支撑到用户的前额。松紧带1818系在前额支架1808的两端上。松紧带1818可围绕在用户的头部。它也可以被嵌入到附板
1800内部，或放置在左侧盖板1802和右侧盖板1804的下面。鼻托1810具有一个弯曲的附着了柔软缓冲材料的表面来支撑在用户的鼻子上。手机外壳1806安装着并保护着手机。子图(b)从侧面展示打开的设备。它清楚地显示着左侧盖板1802和右侧盖板1804被打开。前额支架1808被立起来用于支撑用户的前额。松紧带1818被系在前额支架1808的两端上。光场光学部件1820被收回到盖板1802内。Y支撑柱1812从手机的左侧支撑着打开的附板1800，两个扁平支撑柱1814和1816从手机右侧支持着附板1800。Y支撑柱1812的弯爪抓住手机的侧面外壳1806。两个扁平支撑柱1814和1816的底部具有独特设计的活动铰链，以帮助扁平支撑柱1814和1816从关闭位置旋转270度到打开位置。Y支撑柱1812和两个扁平支撑柱1814，
1816牢固地支撑着含透镜的附板1800，使其平行地处于手机屏幕的上方约39mm至45mm的固定观看距离。观看距离大致等于附板1800中的凸透镜的焦距。

[0117] 与之相应的光场，立体三维和虚拟现实媒体数据共享系统也可以被建造出来。高维图像和视频数据共享将主要在云端。一套中央云端高维图像和视频共享，编辑，显示和搜索网络服务，通过互联网连接所有用户。用户包括不同的智能移动设备用户以及有线连接的计算机用户。用户A是智能移动用户，他具有如本发明前述的一个附有光场和虚拟现实照相机的智能移动设备，以及一个本地的移动存储器。移动设备的照相机将捕获的数据存储在本地存储器中。类似地，用户B是另一个智能移动用户，具有如本发明前述的一个附有光场和虚拟现实照相机的智能移动设备，以及一个本地的移动存储器。移动设备的照相机将捕获的数据存储在本地存储器中。用户A和用户B不仅可以将捕捉的高维媒体与所有其他的订阅用户共享，而且可以通过点对点共享连接直接将数据发送给对方。云服务与数据库管理系统中管理的所有数据连接到云存储中。在前端云服务和云存储之间还可以添加基于云的高维媒体数据后期处理服务。云端后期处理服务可以包括进行实时或离线的图像处理算法，以改善使用服务的用户的高维度媒体数据。

[0118] 可以建立上述高维媒体共享服务顶部的社交网络系统。高维图像和视频社交网络服务建在云端。使用高维图像和视频的一组中心聊天，短信，会议和网络服务通过互联网连接将所有的用户连接起来。用户包括不同的智能移动设备用户以及有线连接的计算机用户。用户A是智能移动用户，他具有如本发明前述的一个附有光场和虚拟现实照相机的智能移动设备，以及一个本地的移动存储器。移动设备的照相机将捕获的数据存储在本地存储器中。类似地，用户B是另一个智能移动用户，他具有如本发明前述的一个附有光场和虚拟现实照相机的智能移动设备，以及一个本地的移动存储器。移动设备的照相机将捕获的数据存储在本地存储器中。用户A和用户B不仅可以与其他所有订阅的用户进行网络通信，还可以通过点对点通信路径直接相互呼叫或发送消息。云服务与数据库管理系统中管理的所有数据连接到云存储。还可以在前端云服务和云存储之间添加基于云的高维媒体数据后期处理服务。云端处理服务可以进行实时或离线处理作业，以改善服务用户的高维度媒体数据。

标题	发布/更新时间	阅读量
温控系统、基于温控系统的温控方法及电子设备	2020-08-01	2
通信协议建模方法	2020-05-15	3
低密度奇偶校验码的译码方法和译码器	2020-06-16	1
改进遗传禁忌搜索的深井巷道WSN分簇路由方法及装置	2020-11-10	0
一种基于数据驱动的仿真模块	2021-06-26	0
高速列车动态行为主动控制系统	2022-09-30	2
基于电阻抗成像的三维血液灌注图像产生方法与装置	2020-06-10	1
一种确定矿井巷网火灾灭火封堵位置的方法	2020-07-06	1
车辆在变附着工况下力矩分配方法	2020-09-27	2
一种基于AI技术的地下空间导向与寻路方法及系统	2021-11-15	2

为智能移动设备增添新型图像功能的方法与装置

为智能移动设备增添新型图像功能的方法与装置

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：