双传感器照相机
阅读：4发布：2021-09-06
专利汇可以提供双传感器照相机专利检索，专利查询，专利分析的服务。并且一种使用两个对齐的 传感器 的双传感器 照相机 ，每个传感器具有焦距不同但是f数相同的单独的透镜。组合来自一个传感器的较宽FOV图像与来自另一传感器的较窄FOV图像，以形成组合图像。执行对宽FOV图像的上 采样 和对窄FOV图像的 下采样 。较长焦距透镜可以引入某些像差，使得可以使用扩展景深(EDoF)处理，给出景深与宽FOV图像近似相同的窄FOV图像，使得在组合图像中看不见景深中的可注意到的差别。，下面是双传感器照相机专利的具体信息内容。
1.一种照相机，包括：
第一传感器，捕捉第一图像；
第一透镜，将光引导到第一传感器，所述第一透镜具有第一焦距并具有一f数；
第二传感器，捕捉第二图像；
第二透镜，将光引导到第二传感器，所述第二透镜具有比第一焦距长的第二焦距，并具有实质上等于第一透镜的f数的f数，所述第二透镜也已经设计为通过将指定的像差引入到第二传感器上形成的图像中，与扩展景深EDoF处理一起工作；
其中第二图像随后经历EDoF处理以聚焦第二图像；
其中第一传感器和第一透镜的组合基本上与第二传感器和第二透镜的组合对齐，以允许每一个指向相同被摄体；
其中将第一图像和第二图像组合在一起以形成单个组合图像，该第二图像形成该单个组合图像的中心部分，而该第一图像的外围部分形成该单个组合图像的外围部分。
2.如权利要求1所述的照相机，其中第一透镜已经设计为通过将指定的像差引入到第一传感器上形成的图像中，与EDoF处理一起工作，并且其中第一图像随后经历EDoF处理以聚焦第二图像。
3.如权利要求1所述的照相机，还包括：
第三传感器，捕捉第三图像；
第三透镜，将光引导到所述第三传感器，所述第三透镜具有第三焦距并且具有一f数；
其中第三传感器和第三透镜的组合基本上与第一传感器和第一透镜的组合、以及第二传感器和第二透镜的组合对齐，以允许每一个指向相同被摄体；
其中将第一图像、第二图像和第三图像组合在一起以形成单个组合图像，该第二图像形成该单个组合图像的中心部分，该第一图像的外围部分形成该单个组合图像的外围部分，而第三图像的中间部分形成该单个组合图像的中间部分。
4.如权利要求1所述的照相机，其中组合第一和第二图像包括上采样第一图像和下采样第二图像。
5.如权利要求4所述的照相机，其中利用缩放因子A来执行上采样，而利用缩放因子B来执行下采样。
6.如权利要求5所述的照相机，其中Z是第一传感器的FOV与第二传感器的FOV的比率，并且Z＝AxB。
7.如权利要求6所述的照相机，其中A是在1和Z之间、包括1和Z的范围中的值。
8.如权利要求5所述的照相机，其中A在是1和Z之间、包括1和Z的范围中的值，其中Z是第一传感器的FOV对第二传感器的FOV的比率。
9.如权利要求4所述的照相机，其中在上采样之后锐化第一图像。
10.如权利要求4所述的照相机，其中在与第二图像进行组合之前，第一图像具有施加于其的屏蔽，所述屏蔽遮挡第一图像的中心部分并且允许外围部分用于形成组合图像。
11.如权利要求4所述的照相机，其中在与第一图像进行组合之前，第二图像具有施加于其的屏蔽，所述屏蔽遮挡第二图像的外围部分并且允许中心部分用于形成组合图像。
双传感器照相机
[0001] 相关申请的交叉引用
[0002] 本申请要求按照35 U.S.C.119于2009年3月19日提交的名称为“DUAL SENSOR CAMERA”的美国临时申请No.61/161,621的优先权，在此并入其内容如同完全地对其进行了阐述。
背景技术
[0004] 主机装置制造商更喜欢数字照相机模块小，使得可以将它们并入到主机装置而不增加主机装置的整体尺寸。此外，存在对于主机装置中的照相机具有更高的性能特性的日益增长的需求。许多更高性能的照相机(例如，单独的数字静态照相机)具有一种这样的特性：改变照相机的焦距以增加和减少图像的放大倍率的能力，这典型地利用变焦透镜完成，现在称为光学变焦。光学变焦典型地是通过相对于彼此机械地移动透镜元件来完成，因此这样的变焦透镜典型地比固定焦距透镜更昂贵、更大、以及更不可靠。用于近似这种变焦效果的可替代方法是利用称为数字变焦的方法来实现。利用数字变焦而不是改变透镜的焦距，照相机中的处理器裁剪(crop)图像，并且在捕捉的图像的像素之间进行内插以创建“放大的”但较低分辨率的图像。
[0005] 已经存在使用两种不同的透镜来近似变焦透镜的效果的一些尝试。过去已经利用胶片照相机(film camera)这样做了，其中用户可以选择两种不同的焦距中的一种在胶片上捕捉图像。更最近地，在美国专利公开No.2008/0030592中已经公开了关于具有照相机模块的这种构思的变型，通过引用在此并入其全部内容，其讨论了具有一对传感器的照相机模块，每个传感器具有单独的透镜，通过该透镜将光引导到各自的传感器。在该出版物中，同时操作这两个传感器来捕捉图像。各自的透镜具有不同的焦距，所以即使对齐(align)每个透镜/传感器组合以在相同方向观看，每个也将用两个不同的视场而捕捉相同被摄体的图像。然后将图像缝合(stitch)在一起以形成合成图像，合成图像的中心部分由具有较长焦距的透镜/传感器组合拍摄的、相对较高分辨率的图像形成，而合成图像的外围部分由具有较短焦距的透镜/传感器组合拍摄的、相对较低分辨率的图像的外围部分形成。用户选择期望的变焦量，并且合成图像用于从中内插值以提供具有期望变焦量的图像。不幸的是，在该出版物中的公开大体上是概念性的，并且缺乏为提供最优性能会需要的某些细节。
附图说明
[0007] 图1是照相机的框图。
[0008] 图2是将两个图像组合为单一的组合图像的图示。
[0009] 图3是组合图像的数字变焦的图示。
具体实施方式
[0010] 以下描述不是旨在将本发明限制为在此公开的形式。因此，与以下教导相称的变型和修改，以及相关领域的技术和知识在本发明的范围内。在此描述的实施例进一步旨在解释实践本发明的已知的模式，并且使得本领域其他技术人员能够在这样或其它实施例中、以及用本发明的特定(多个)应用或者(多个)使用所需要的各种修改，来利用本发明。
[0011] 图1中示出了照相机10。照相机10可以包括：具有相对较短焦距的第一透镜12和第一传感器14，其接近具有相对较长焦距的第二透镜16和第二传感器18放置，并且与第二透镜16和第二传感器18基本上对齐。通过使组合的第一透镜和第一传感器与组合的第二透镜和第二传感器对齐，每个传感器可以获得基本上相同被摄体的图像。当然，由于透镜12和16的不同焦距，与第二传感器18获得的图像的相对较窄的视场(FOV)相比，第一传感器14将获得具有相对较宽的FOV的被摄体的图像。
[0012] 在多数情况下，每个传感器14和18将执行某些基本的图像处理算法，诸如白平衡等。第二透镜16具有附加的参考数17，用以指示其被设计为与扩展景深(EDoF)处理一起而工作，其可以涉及将特定的单色或者彩色像差引入到透镜设计中，按照EDoF技术、或者通过向透镜加入相位屏蔽(phase mask)(例如，立方体相位屏蔽)确定透镜设计。每个传感器还可以执行诸如EDoF处理的附加图像处理。在该示例中，EDoF处理20示出为传感器18的一部分而不是传感器14的一部分。在未在这里图示的其它示例中，传感器14和18的每一个可以包括EDoF处理，或者可以采用其它组合，诸如传感器14包括EDoF处理而传感器18不包括。类似地，尽管该示例仅仅示出第二透镜16被设计为与EDoF处理一起工作，但任何其它组合也是可能的，包括透镜12和16的每一个被设计为与EDoF处理一起而工作。
透镜12和16可以由任何可接受的材料制造，包括塑料、玻璃、光学陶瓷、衍射元件、或者合成物。
透镜12和16可以由任何可接受的材料制造，包括塑料、玻璃、光学陶瓷、衍射元件、或者合成物。
[0013] 将在此一般地讨论EDoF处理，但是可以在与以下公司关联的文献中找到更多的大量细节，这些公司被认为积极地开发了EDoF技术：法国布洛涅的DxO Labs S.A.(在TM其DIGITAL AUTOFOCUSTM 商标下)；科罗拉多州Boulder的CDM Optics公司(在TM
其WAVEFRONT CODING 商标下)；加利福尼亚州圣何塞的Tessera公司(在其OPTIML TM
FOCUS 商标下)；以及以色列Herzliya Pituach的Dblur Technologies有限公司(其TM
相关IP资产现在由Tessera拥有)(在其SOFTWARE LENS 商标下)。另外，以下专利、公开的专利申请、以及技术文档被认为公开了相关EDoF技术：PCT/FR2006/050197、PCT/FR2008/051265、PCT/FR2008/051280、US5,748,371、US 6,069,738、US 7,031,054、US
7,218,448、US 7,436,595、PCT/IL2004/00040、PCT/IL2006/01294、PCT/IL2007/00381、PCT/IL2007/000382、PCT/IL2007/00383、PCT/IL2003/000211、以 及 Dowski 和 Cathey的“Extended Depth of Field Through Wavefront Coding”Applied Optics 34，11，p.1859-66(1995)，在此以其整体并入其中每一个的内容。
其WAVEFRONT CODING 商标下)；加利福尼亚州圣何塞的Tessera公司(在其OPTIML TM
FOCUS 商标下)；以及以色列Herzliya Pituach的Dblur Technologies有限公司(其TM
相关IP资产现在由Tessera拥有)(在其SOFTWARE LENS 商标下)。另外，以下专利、公开的专利申请、以及技术文档被认为公开了相关EDoF技术：PCT/FR2006/050197、PCT/FR2008/051265、PCT/FR2008/051280、US5,748,371、US 6,069,738、US 7,031,054、US
7,218,448、US 7,436,595、PCT/IL2004/00040、PCT/IL2006/01294、PCT/IL2007/00381、PCT/IL2007/000382、PCT/IL2007/00383、PCT/IL2003/000211、以 及 Dowski 和 Cathey的“Extended Depth of Field Through Wavefront Coding”Applied Optics 34，11，p.1859-66(1995)，在此以其整体并入其中每一个的内容。
[0014] 景深是指在一些聚焦位置处形成具有满意锐度的图像的物空间中、纵向区域的深度。在普通光学中，通过可允许的旁轴模糊、透镜焦距以及透镜f数来确定旁轴景深。例如，参见Warren J.Smith的Modern Optical Engineering第三版第6章。在旁轴模型中，一旦做出这些选择，就固定透镜的景深。
[0015] 普通光学中的景深的更复杂的模型包括透镜像差和衍射效应。该模型典型地使用直通(through)聚焦调制传递函数(MTF)计算来分析景深。在该模型中，聚焦深度依赖于透镜的像差和以透镜的f数发生的衍射。通过这些因素加上透镜的焦距来确定景深。随着像差变小，透镜的景深接近衍射设置的极限，该极限由透镜f数、透镜的焦距、以及各种物距处的可允许的MTF降低来确定。类似于旁轴景深模型，最大景深由可允许的模糊(MTF降低)、透镜f数、以及透镜焦距来设置。
[0016] 在普通光学设计处理中，目的是在符合尺寸和成本约束的情况下，使透镜中存在的像差最小化。该目的是当透镜处于聚焦时形成清晰(sharp)的图像。在扩展景深(EDoF)技术中，通过将特殊设计的透镜的使用与传感器捕捉的图像的EDoF图像处理一起组合，来增加景深。各个公司(上面已经提到了它们中的一些)已经提出或者实现了各种类型的EDoF技术。
[0017] 各种EDoF技术都需要透镜以特殊方式形成降级的图像，而不是以最佳聚焦来尽可能地形成最清晰的(sharpest)图像。在一个实现方式中，这利用“降级”图像的相位屏蔽来实现。在其它实现方式中，这通过将指定的单色或彩色像差引入到透镜设计来实现。然后通过信号处理技术恢复清晰的图像。在各种EDoF技术之间怎样降级图像以及怎样恢复图像的细节不同。
[0018] 在用于与EDoF技术共同使用的透镜设计中，目的不是使在由透镜形成的图像中存在的像差最小化，而是将相位屏蔽的使用或者特殊的一组像差引入到由透镜形成的图像，该透镜允许在扩展景深上恢复清晰的图像。必须引入的精确的像差或者相位屏蔽的类型依赖于使用的特定的EDoF技术。在一些情况下，通过向其它锐度(sharp)透镜添加附加的光学元件，如立体相位元件(或者立体相位屏蔽)，来引入这些像差。在其它情况下，可以向透镜设计自身引入轴的彩色或者单色像差。
[0019] 在图1所示的示例中，透镜16具有其中设计用于与EDoF处理20共同使用的某些像差，所述EDoF处理20将由与透镜16对应的传感器18执行。在该示例中，透镜16可以是具有7.2mm的焦距、32度的视场(FOV)、以及f/2.8的f数的透镜。透镜12可以是具有3.62mm的焦距，63度的FOV、以及f/2.8的f数的透镜。这些透镜规格仅仅是示例性的，并且任何其它适合的透镜特性可以是可接受的。另外，透镜12和16中的一个或者二者可以是可变的焦距(变焦)透镜。
[0020] 在图1所示的示例中，两个透镜12和16具有相同的f数，使得在传感器14和18处接收的光的照度(illuminance)相当。在相同照度的情况下，可以以相似等级的放大和相似的曝光时间操作传感器。以该方式，由分开的传感器14和18捕捉的分开的图像可以有相似等级的亮度和对比度。通过具有相似等级的放大，每个图像中的背景噪声将相似。通过具有相似的曝光时间，由于被摄体运动引起的每个图像中的伪像将相似。通过关于两个图像中这两个特性保持相似性，从两个图像形成的合成图像对于用户将是更可接受的。
[0021] 可能用于传感器18的传感器的示例是型号VD6826和6903/953(其中每个包括DxO EDoF算法)、以及VD6803/853(其包括Dblur EDoF算法)，其中每个可从瑞士日内瓦的STMicroelectronics得到。可用于传感器14的传感器的示例是以上提及的这些相同的传感器(EDoF处理关闭)、或不具有EDoF能力的类似的传感器，如VD6852或VD6892。在该示例中，每个传感器是Bayer传感器，如众所周知，Bayer传感器在单独的像素阵列上使用滤色器阵列。这样的传感器用在红色像素和蓝色像素之间交替的居间(intervening)像素，在每隔一个像素处感测绿光。稍后将原始感测的信号提供给去马赛克算法，去马赛克算法在像素之间进行内插以获得每个像素的全色信号。然而，本发明不限于与Bayer传感器共同使用，并且与具有不同滤色器阵列的传感器、基于时间顺序颜色的照相机、使用分束器和用于每个颜色通道的单独的传感器的照相机、以及其它照相机架构，将等效地良好地工作，如果这些架构与底层的EDoF技术之一的操作一致。
[0022] 在一些情况下，可以考虑照相机10仅仅包括上述的功能部分。在其它情况下，也可以将这些部分(统称为照相机模块22)与作为照相机10的一部分的某些下游组件组合。在这种情况下，照相机10还可以包括图像信号处理器(ISP)24、显示器26、以及用户接口控制28。当然，如照相机产业中众所周知的，照相机还可以典型地包括这里出于简化而省略的若干其它组件。例如，作为非限制性示例，这些其它组件可以包括电池、电源、用于外部电源的应用接口、USB或者到计算机和/或打印机的其它接口、闪光摄影的光源、自动聚焦和图像稳定控制、内部存储器、用于接收外部存储卡或装置(例如，SD或xD存储卡)的一个或多个端口，以及在移动电话中使用照相机的情况下，麦克风、扬声器、传送器/接收器和用于外部麦克风和扬声器的接口(例如，蓝牙耳机)。
[0023] 用户接口控制28可以包括用于操作照相机的传统的控制，其包括用于指令照相机捕捉一个或多个图像和操纵图像、以及许多其它功能的控制。显示器26可以是传统的显示器，其按照ISP 24的指引或者在经由用户接口控制28和ISP 24由用户请求时，自动地显示图像。ISP 24包括某些失真校正算法，所述失真校正算法在形成合成图像时，平滑地匹配两个单独的图像之间的特征。此外，ISP 24可以包括去马赛克算法(以上关于Bayer传感器引用)、锐化算法、以及在这样的应用中在ISP中使用的其它标准算法。ISP还包括用于从两个捕捉的图像创建组合图像的算法。在如上引用的美国专利公开No.2008/0030592中讨论了用于组合图像的合适的方法。
[0024] 图2示出来自第一传感器(具有较宽FOV的传感器)的图像50、以及来自第二传感器(具有较窄FOV的传感器)的图像52二者。宽FOV图像50经过上采样54，而窄FOV图像52经过下采样56。为了确保组合这两个图像以形成单个叠合(congruent)的图像，而在图像目标的外观之间不存在任何可见的不匹配，较宽的FOV图像50通常经历图像上采样操作(即，数字变焦)，其缩放因子A可以从1(即，不应用上采样操作)到Z，其中Z是第一传感器的FOV对第二传感器FOV的比率。窄FOV图像52经历下采样操作，其缩放因子B通过Z除以A给出。因此，通常通过以下等式给出两个缩放因子之间的关系：
[0025] Z＝AxB
[0026] 上采样54和下采样56的量表示组合图像的锐度质量和尺寸之间的不同折中(tradeoff)。上采样因子通常通过由用户选择的“数字变焦”设置控制；然而，可能选择与“数字变焦”设置不匹配的值A，以便限制组合图像中的像素数量。在已经上采样宽FOV图像50之后，宽FOV图像50可以可选地经过另外的锐化58。然后宽FOV图像50具有施加于其的屏蔽60，屏蔽60用作遮挡图像50的中心部分62，同时允许图像50的外围部分64用于形成组合图像66。在已经下采样窄FOV图像52之后，其具有施加于其的屏蔽68，屏蔽68用作遮挡图像52的外围部分70，同时允许图像52的中心部分72用于形成组合图像66。
如在组合图像66中的边界74所区分的，组合图像66的中心部分76取自窄FOV图像52，而组合图像66的外围部分78取自宽FOV图像50。
如在组合图像66中的边界74所区分的，组合图像66的中心部分76取自窄FOV图像52，而组合图像66的外围部分78取自宽FOV图像50。
[0027] 图3示出了组合图像66的外围区域的数字裁剪，使得作为结果的图像具有与用户指定的“数字变焦”设置对应的较小的FOV 80。这可以被称为组合图像66的“数字变焦”。在该图中，通过边界74(尽管在操作中边界74实际上对于用户将不可见)，将组合图像66的中心部分76与外围部分78区分开。在一个变焦的图像82中，已经将照相机10变焦到其中仅仅使用组合图像66的中心部分76(其是窄FOV图像52)的位置。在光谱(spectrum)的另一端，可以创建其中使用组合图像66的另一变焦图像83。在光谱的中间位置，可以创建不同的变焦图像84。对于该图像，扩展组合图像66的中心部分76，并且仅仅使用组合图像66的外围部分78的一小部分。
[0028] 可替换地，照相机模块22可以包括位于其上的一个或多个ISP。它们可以与传感器分离或者集成到传感器中。此外，尽管在此描述的透镜12和16是固定焦距，但它们中的任一或者二者可以是可变的焦距(变焦)透镜。
[0029] 应理解，利用上述的照相机20，组合图像将具有相似等级的亮度、背景噪声、运动伪像和景深。这将有助于更令人愉悦和可接受的组合图像。如果不利用EDoF技术，则将不可能实现这一点。这是因为利用传统光学，不可能从两个不同焦距的透镜得到递送到图像平面的相同照度，而同时匹配景深。例如，通过每个具有f/2.8的f数的透镜，可以选取以具有相同的图像照度。但是，在这样的情况下，景深对于较短焦距的透镜将要大很多。可替换地，例如，利用以上连同图1描述的示例中使用的两个透镜的焦距，可以选取以具有相同的景深，较长焦距透镜将需要具有接近f/11的f数，以便具有与较短焦距透镜相同的景深。但是在这样的情况下，由较长焦距透镜(在f/11)递送的光功率(optical power)，将是较短焦距递送的光功率的1/16。上述的照相机10考虑光功率和景深对于每个透镜/传感器组合相同。当然，如果利用不同的放大量或者利用不同的曝光时间操作两个不同的图像传感器，还将可能利用不同焦距透镜来获得相同光功率和景深。不幸的是，这将在两个图像之间分别改变背景噪声等级或者运动伪像等级。
[0030] 以上公开的一个变型是在上采样操作之前，可能存在某一类型或者预裁剪的宽FOV图像的外围和中心区域(以降低在上采样操作中涉及的图像处理的处理和存储器需求)。
[0031] 在此讨论的所有技术的任何其它组合也是可能的。已经呈现的上述描述用于说明和描述的目的。此外，本描述不旨在将本发明限制于在此公开的形式。虽然以上已经讨论了许多示例性方面以及实施例，但本领域技术人员将认识到其某些变型、修改、置换、添加和子组合。因此其旨在将权利要求和其后引入的权利要求解释为包括所有这样的变型、修改、置换、添加和子组合，如同在它们的真实精神和范围内。
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
传感器热门专利
QQ群二维码
意见反馈
意见反馈