用于微距摄影的彩色和单色图像的视差掩模融合专利检索-微距摄影摄影专利检索查询-专利查询网

用于微距摄影的彩色和单色图像的视差掩模融合

阅读：932发布：2020-05-17

专利汇可以提供用于微距摄影的彩色和单色图像的视差掩模融合专利检索，专利查询，专利分析的服务。并且一般来说，描述促进使用单色图像数据和彩色图像数据两者来处理彩色图像数据的技术。一种包括单色相机、彩色相机和处理器的装置可经配置以执行所述技术。所述单色相机可捕获场景的单色图像数据。所述彩色相机可捕获所述场景的彩色图像数据。处理器可确定指示所述单色图像数据与所述彩色图像数据之间的视差等级的视差值，且确定所述视差大于所述视差阈值。所述处理器可进一步响应于所述确定所述视差大于所述视差阈值，将所述彩色图像数据的亮度分量与所述单色图像数据的亮度分量组合，以产生增强的彩色图像数据的亮度分量。，下面是用于微距摄影的彩色和单色图像的视差掩模融合专利的具体信息内容。

权利要求

1.一种捕获彩色图像数据的方法，所述方法包括：
通过装置的单色相机，捕获场景的单色图像数据；
通过所述装置的彩色相机，捕获所述场景的彩色图像数据；
通过所述装置的处理器，确定指示所述单色图像数据与所述彩色图像数据之间的视差等级的视差值；
通过所述处理器，确定所述视差值大于视差阈值；以及
通过所述处理器且响应于所述确定所述视差值大于所述视差阈值，将所述彩色图像数据的亮度分量与所述单色图像数据的亮度分量组合，以产生增强的彩色图像数据的亮度分量。
2.根据权利要求1所述的方法，其中响应于所述确定所述视差值大于所述视差阈值来处理所述彩色图像数据包括：
基于所述彩色图像数据的所述亮度分量和所述单色图像数据的所述亮度分量来计算视差掩模；以及
基于所述视差掩模，将所述彩色图像数据的所述亮度分量与所述单色图像数据的所述亮度分量组合，以产生所述增强的彩色图像数据的所述亮度分量。
3.根据权利要求2所述的方法，其进一步包括在计算所述视差掩模之前，相对于所述彩色图像数据的亮度分量和所述单色图像数据的亮度分量执行强度均衡，以校正所述彩色相机与所述单色相机之间的强度差异。
4.根据权利要求3所述的方法，其中执行强度均衡包括：
执行机器学习以训练回归因子考虑由于所述彩色相机使用一或多个滤波器来捕获所述彩色图像数据的所述亮度分量而造成的所述彩色相机的空间变化的光敏度；
以及
将所述经训练的回归因子应用于所述彩色图像数据或所述经移位彩色图像数据的所述亮度分量以及所述单色图像数据的所述亮度分量，以调适所述单色图像数据的所述亮度分量或所述彩色图像数据的所述亮度分量。
5.根据权利要求2所述的方法，其中计算所述视差掩模包括在逐像素基础上，相对于所述彩色图像数据的所述亮度分量和所述单色图像数据的所述亮度分量执行匹配过程。
6.根据权利要求5所述的方法，其中执行所述匹配过程包括在逐像素基础上，相对于所述彩色图像数据的所述亮度分量和所述单色图像数据的所述亮度分量应用一或多个厢式车滤波器。
7.根据权利要求6所述的方法，其中计算所述视差掩模包括相对于所述彩色图像数据的所述亮度分量和所述单色图像数据的所述亮度分量执行归一化交叉相关，以产生所述视差掩模。
8.根据权利要求2所述的方法，其中将所述彩色图像数据的所述亮度分量与所述单色图像数据的所述亮度分量组合包括相对于所述彩色图像数据的所述亮度分量与所述单色图像数据的所述亮度分量执行加权平均，以产生所述增强的彩色图像数据的所述亮度分量。
9.根据权利要求1所述的方法，
其中捕获所述单色图像数据包括在一时间周期内捕获两个或更多个不同单色图像数据，
其中捕获所述彩色图像数据包括在所述时间周期内捕获两组或更多组彩色图像数据，且
其中所述方法进一步包括：
处理所述两个或更多个不同单色图像数据，以产生单个组合的单色图像数据；以及处理所述两个或更多个不同彩色图像数据，以产生单个组合的彩色图像数据，且其中确定视差包括确定所述单个组合的彩色图像数据与所述单个组合的单色图像数据之间的视差。
10.根据权利要求1所述的方法，其中所述装置包括移动通信手持机。
11.一种经配置以捕获彩色图像数据的装置，所述方法包括：
单色相机，其经配置以捕获场景的单色图像数据；
彩色相机，其经配置以捕获所述场景的彩色图像数据；以及
处理器，其经配置以：
确定指示所述单色图像数据与所述彩色图像数据之间的视差等级的视差值；
确定所述视差大于所述视差阈值；以及
响应于所述确定所述视差大于所述视差阈值，将所述彩色图像数据的亮度分量与所述单色图像数据的亮度分量组合，以产生增强的彩色图像数据的亮度分量。
12.根据权利要求11所述的装置，其中所述处理器经配置以：
基于所述彩色图像数据的所述亮度分量和所述单色图像数据的所述亮度分量来计算视差掩模；以及
基于所述视差掩模，将所述彩色图像数据的所述亮度分量与所述单色图像数据的所述亮度分量组合，以产生所述增强的彩色图像数据的所述亮度分量。
13.根据权利要求12所述的装置，其中所述处理器进一步经配置以在计算所述视差掩模之前，相对于所述彩色图像数据的亮度分量和所述单色图像数据的亮度分量执行强度均衡，以校正所述彩色相机与所述单色相机之间的强度差异。
14.根据权利要求13所述的装置，其中所述处理器经配置以：
执行机器学习以训练回归因子考虑由于所述彩色相机使用一或多个滤波器来捕获所述彩色图像数据的所述亮度分量而造成的所述彩色相机的空间变化的光敏度；
以及
将所述经训练的回归因子应用于所述彩色图像数据或所述经移位的彩色图像数据的所述亮度分量以及所述单色图像数据的所述亮度分量，以调适所述单色图像数据的所述亮度分量。
15.根据权利要求12所述的装置，其中所述处理器经配置以在逐像素基础上，相对于所述彩色图像数据的所述亮度分量和所述单色图像数据的所述亮度分量执行匹配过程。
16.根据权利要求15所述的装置，其中所述处理器经配置以在逐像素基础上，相对于所述彩色图像数据的所述亮度分量和所述单色图像数据的所述亮度分量应用一或多个厢式车滤波器。
17.根据权利要求16所述的装置，其中所述处理器经配置以相对于所述彩色图像数据的所述亮度分量和所述单色图像数据的所述亮度分量执行归一化交叉相关，以产生所述视差掩模。
18.根据权利要求12所述的装置，其中所述处理器经配置以相对于所述彩色图像数据的所述亮度分量与所述单色图像数据的所述亮度分量执行加权平均，以产生所述增强的彩色图像数据的所述亮度分量。
19.根据权利要求11所述的装置，
其中所述单色相机经配置以在一时间周期内捕获两个或更多个不同单色图像数据，其中所述彩色相机经配置以在所述时间周期内捕获两组或更多组彩色图像数据，且其中所述处理器进一步经配置以：
处理所述两个或更多个不同单色图像数据，以产生单个组合的单色图像数据；
以及
处理所述两个或更多个不同彩色图像数据，以产生单个组合的彩色图像数据，且其中所述处理器经配置以确定所述单个组合的彩色图像数据与所述单个组合的单色图像数据之间的视差。
20.一种经配置以捕获彩色图像数据的装置，所述装置包括：
用于捕获场景的单色图像数据的装置；
用于捕获所述场景的彩色图像数据的装置；
用于确定所述单色图像数据与所述彩色图像数据之间的视差的装置；
用于确定所述视差大于视差阈值的装置；以及
用于响应于所述确定所述视差大于所述视差阈值，将所述彩色图像数据的亮度分量与所述单色图像数据的亮度分量组合，以产生增强的彩色图像数据的亮度分量的装置。
21.一种上面存储有指令的非暂时性计算机可读存储媒体，所述指令在被执行时，致使装置的一或多个处理器：
与单色相机介接以捕获场景的单色图像数据；
与彩色相机介接以捕获所述场景的彩色图像数据；
确定所述单色图像数据与所述彩色图像数据之间的视差；
确定所述视差大于视差阈值；以及
响应于所述确定所述场景是使用微距摄影捕获的，将所述彩色图像数据的亮度分量与所述单色图像数据的亮度分量组合，以产生增强的彩色图像数据的亮度分量。

说明书全文

用于微距摄影的彩色和单色图像的视差掩模融合

[0001] 本申请案主张2016年4月28日申请的标题为“使用单声道和彩色图像的彩色图像处理(COLOR IMAGE PROCESSING USING MONO AND COLOR IMAGES)”的第62/328,927号美国临时申请案的权益，其整个内容以引用的方式并入本文中。

技术领域

[0002] 本公开涉及图像产生，且更具体地说，涉及使用单声道和彩色图像的图像产生。

背景技术

[0003] 相机可并入有借此增强彩色照片捕获的若干过程。举例来说，一种被称作高动态范围(HDR)的过程可涉及在不同曝光等级捕获两个或更多个彩色照片，以及组合不同的彩色照片以产生可被称为单HDR照片的照片。换句话说，HDR可涉及以不同的快门速度与光圈组合捕获同一场景的不同彩色照片，以便产生具有不同发光度和景深的一组彩色照片。相机接着可后处理所述组彩色照片以将所述彩色照片混合在一起，且从而创建包括所述场景的最聚焦、光线好且彩色部分的单HDR照片。

[0004] 借此增强图像捕获的另一示范性过程被称作光学图像稳定(OIS)。OIS过程可涉及使用传感器(例如陀螺仪)来检测相机的移动(例如归因于操作人员在握持相机时保持完全静止的固有不可能性)。使用OIS过程，相机可以抵消所检测到的相机的移动的方式来移动镜头或传感器，从而潜在地减少模糊且改进低光、近距和其它较困难的图像捕获情景。

[0005] OIS过程可作为调整彩色照片捕获的预处理操作，而HDR过程可作为后处理操作以从多个所捕获的彩色照片产生HDR照片。不管独自使用还是组合使用，两者均可改进彩色照片捕获。发明内容

[0006] 本公开描述借此利用单色相机(或“单色相机(mono camera)”)捕获的单色照片(其可被称为“单色照片(mono photo)”)来潜在地改进使用彩色相机捕获的彩色照片。并非唯一地依靠后处理或预处理期间的彩色照片来改进图像捕获，所述技术可利用从单色照片捕获获得的较详细内容来增强通常以较低分辨率捕获的彩色照片。与其它类型的彩色照片捕获增强过程相比，根据本公开中描述的技术使用同时捕获的单色照片来对彩色照片进行后处理可导致彩色图像具有改进的细节等级和减小的噪声。

[0007] 在一个实例中，一种捕获彩色图像数据的方法包括：通过装置的单色相机来捕获场景的单色图像数据；以及通过装置的彩色相机来捕获场景的彩色图像数据。所述方法还包括：通过所述装置的处理器，相对于彩色图像数据或单色图像数据的亮度分量执行强度均衡，以校正彩色相机与单色相机之间的强度差。

[0008] 在另一实例中，一种经配置以捕获彩色图像数据的装置包括：单色相机，其经配置以捕获场景的单色图像数据；以及彩色相机，其经配置以捕获场景的彩色图像数据。所述装置进一步包括：处理器，其经配置以相对于彩色图像数据或单色图像数据的亮度分量执行强度均衡，以校正彩色相机与单色相机之间的强度差。

[0009] 在另一实例中，一种经配置以捕获彩色图像数据的装置包括：用于捕获场景的单色图像数据的装置；以及用于捕获所述场景的彩色图像数据的装置。所述装置进一步包括：用于相对于彩色图像数据或单色图像数据的亮度分量执行强度均衡以校正用于捕获彩色图像数据的装置与用于捕获单色图像数据的装置之间的强度差的装置。

[0010] 在另一实例中，一种非暂时性计算机可读存储媒体上面存储有指令，所述指令在被执行时，致使一或多个处理器与单色相机介接以起始场景的单色图像数据的捕获，与彩色相机介接以起始所述场景的彩色图像数据的捕获，且相对于彩色图像数据或单色图像数据的亮度分量执行强度均衡，以校正彩色相机与单色相机之间的强度差。

[0011] 在另一实例中，一种捕获彩色图像数据的方法包括：通过装置的单色相机来捕获场景的单色图像数据；以及通过装置的彩色相机来捕获场景的彩色图像数据。所述方法进一步包括：通过装置的处理器，使彩色图像数据的特征与单色图像数据的特征匹配；以及通过所述处理器，基于彩色图像数据与单色图像数据的匹配特征来计算有限数目的移位值，所述有限数目的移位值将彩色图像数据的像素映射到单色图像数据的像素。所述方法还包括通过所述处理器，基于所述有限数目的移位值来使彩色图像数据移位，以产生增强的彩色图像数据。

[0012] 在另一实例中，一种经配置以捕获彩色图像数据的装置包括：单色相机，其经配置以捕获场景的单色图像数据；以及彩色相机，其经配置以捕获场景的彩色图像数据。所述装置进一步包括处理器，其经配置以：使彩色图像数据的特征与单色图像数据的特征匹配；且基于彩色图像数据和单色图像数据的匹配特征来计算有限数目的移位值，所述有限数目的移位值将彩色图像数据的像素映射到单色图像数据的像素。所述处理器进一步经配置以基于有限数目的移位值使彩色图像数据移位，以产生增强的彩色图像数据。

[0013] 在另一实例中，一种经配置以捕获彩色图像数据的装置包括：用于捕获场景的单色图像数据的装置；以及用于捕获所述场景的彩色图像数据的装置。所述装置进一步包括：用于使彩色图像数据的特征与单色图像数据的特征匹配的装置；以及用于基于彩色图像数据和单色图像数据的匹配特征来计算有限数目的移位值，所述有限数目的移位值将彩色图像数据的像素映射到单色图像数据的像素。所述装置还包括用于基于有限数目的移位值使彩色图像数据移位以产生增强的彩色图像数据的装置。

[0014] 在另一实例中，一种非暂时性计算机可读媒体上面存储有指令，所述指令在被执行时，致使装置的一或多个处理器：与单色相机介接以捕获场景的单色图像数据；与彩色相机介接以捕获场景的彩色图像数据；使所述彩色图像数据的特征与单色图像数据的特征匹配；基于彩色图像数据和单色图像数据的匹配特征来计算有限数目的移位值，所述有限数目的移位值将彩色图像数据的像素映射到单色图像数据的像素；以及基于所述有限数目的移位值来使彩色图像数据移位，以产生增强的彩色图像数据。

[0015] 在另一实例中，一种捕获彩色图像数据的方法包括：通过装置的单色相机来捕获场景的单色图像数据；以及通过装置的彩色相机来捕获场景的彩色图像数据。所述方法还包括：通过装置的处理器来确定指示单色图像数据与彩色图像数据之间的视差等级的视差值；以及通过所述处理器来确定所述视差值大于视差阈值。所述方法进一步包含通过所述处理器且响应于确定视差值大于视差阈值，将彩色图像数据的亮度分量与单色图像数据的亮度分量组合，以产生增强的彩色图像数据的亮度分量。

[0016] 在另一实例中，一种经配置以捕获彩色图像数据的装置包括：单色相机，其经配置以捕获场景的单色图像数据；以及彩色相机，其经配置以捕获场景的彩色图像数据。所述装置进一步包括处理器，其经配置以确定指示单色图像数据与彩色图像数据之间的视差等级的视差值，且确定所述视差大于视差阈值。所述处理器还经配置以响应于确定视差大于视差阈值，将彩色图像数据的亮度分量与单色图像数据的亮度分量组合，以产生增强的彩色图像数据的亮度分量。

[0017] 在另一实例中，一种经配置以捕获彩色图像数据的装置包括：用于捕获场景的单色图像数据的装置；以及用于捕获所述场景的彩色图像数据的装置。所述装置还包括：用于确定单色图像数据与彩色图像数据之间的视差的装置；以及用于确定视差大于视差阈值的装置。所述装置进一步包括：用于响应于确定视差大于视差阈值，将彩色图像数据的亮度分量与单色图像数据的亮度分量组合以产生增强的彩色图像数据的亮度分量的装置。

[0018] 在另一实例中，一种非暂时性计算机可读存储媒体上面存储有指令，所述指令在被执行时，致使装置的一或多个处理器：与单色相机介接以捕获场景的单色图像数据；与彩色相机介接以捕获场景的彩色图像数据；确定单色图像数据与彩色图像数据之间的视差；确定所述视差大于视差阈值；以及响应于确定所述场景是使用微距摄影捕获的，将彩色图像数据的亮度分量与单色图像数据的亮度分量进行组合，以产生增强的彩色图像数据的亮度分量。

[0019] 在附图和以下描述中陈述一或多个实例的细节。其它特征、目标和优点将从所述描述、图式以及权利要求书而显而易见。

附图说明

[0020] 图1是经配置以执行本公开中所描述的一或多个实例技术的用于图像处理的装置的框图。

[0021] 图2是说明图1的装置执行本公开中描述的彩色图像数据增强技术的各个方面时的示范性操作的流程图。

[0022] 图3是示出叠加在组合单色图像上的组合彩色图像的图。

[0023] 图4是示出在组合的彩色图像和单色图像中的每一者已经历对齐之后，叠加在单色图像上的组合彩色图像的图。

[0024] 图5是说明图1所示的相机处理器在执行本公开中所描述的技术的各个方面时的示范性操作的流程图。

[0025] 图6是说明图1所示的相机处理器在根据本公开中描述的技术的各个方面执行视差掩模融合时的示范性操作的流程图。

[0026] 图7是说明图1所示的相机处理器在根据本公开中描述的技术的各个方面执行归一化交叉相关(NCC)时的示范性操作的流程图。

[0027] 图8是说明图1所示的相机处理器在根据本公开中描述的技术的各个方面执行移位和匹配融合时的示范性操作的流程图。

[0028] 图9是说明图1的相机处理器根据本公开中描述的技术的各个方面计算移位值时的示范性操作的流程图。

[0029] 图10是说明图1所示的相机处理器在根据本公开中描述的技术的各个方面执行强度均衡来校正彩色相机与单色相机之间的强度差时的示范性操作的流程图。

[0030] 图11是说明示出随着彩色相机与单色相机的光敏度之间的差空间变化的光敏度的曲线图的图。

[0031] 图12-16是说明本公开中描述的彩色图像增强和强度均衡技术的实例结果的图。

[0032] 图17是说明图1所示的装置在执行本公开中描述的技术的彩色图像增强方面和强度均衡方面两者时的示范性操作的流程图。

[0033] 图18是说明图1所示的计算装置在执行本公开中描述的技术的强度均衡方面时的示范性操作的另一流程图。

[0034] 图19是说明图1所示的装置在根据本公开中描述的技术的各个方面执行移位和匹配融合的示范性操作的另一流程图。

[0035] 图20是说明图1所示的装置在根据本公开中描述的技术的各个方面执行彩色图像数据的微距摄影处理时的示范性操作的流程图。

具体实施方式

[0036] 彩色相机可包含彩色滤光片阵列(CFA)，其将红色-绿色-蓝色(RGB)彩色滤光片布置在光电传感器的正方形网格上。被称作“拜耳滤波器”的风行CFA可以提供大约50％的绿色滤波器、25％的红色滤波器和25％的蓝色滤波器的模式，将绿色滤波器、红色滤波器和蓝色滤波器递归地布置在光电传感器上。使用是红色滤波器或蓝色滤波器的两倍多的绿色滤波器可模仿人类眼睛的生理机能。尽管在RGB色彩空间或其衍生物(例如YUV或Y'UV色彩空间)的上下文中描述，但所述技术可在所使用的其它色彩空间捕获或处理彩色照片(例如蓝绿色-洋红色-黄色(CMY)色彩空间的上下文中执行。

[0037] 然而，与不具有彩色滤光片的单色传感器相比，拜耳滤波器的使用产生具有较低等级的细节(也称为分辨率)的图像。这部分地归因于去马赛克是一种形式的内插，其中使用附近像素来估计每一像素的红色(R)、绿色(G)和蓝色(B)的三个值中的两个的值。并且，彩色滤光片阻挡撞击传感器的光中的一些，且下部光级通常平移到较高噪声等级。借助于仅针对照度(或“亮度(luma)”)的捕获，与相同大小的彩色光电传感器组相比，单色光电传感器组可提供较高分辨率单色照片。此外，因为单色相机并不利用任何彩色滤光片，所以除较高分辨率之外，归因于缺乏对执行去马赛克以组合来自不同色彩经滤波光电传感器的多个输出的任何需要，单色照片可具有比彩色照片高的清晰度。

[0038] 本公开描述的技术利用使用单色相机(或“单色相机”)捕获的单色照片(其可被称为“单色照片”)来潜在地改进使用彩色相机捕获的彩色照片。并非唯一地依靠后处理或预处理期间的彩色照片来改进图像捕获，所述技术可利用更详细的单色照片捕获来增强通常以较低分辨率捕获的彩色照片。根据本公开中描述的技术使用同时捕获的单色照片来对彩色照片进行后处理可导致与使用其它彩色照片仅增强过程的其它彩色照片捕获相比，具有改进的清晰度和减小的噪声的彩色图像。

[0039] 当主要相机利用拜耳(色彩)传感器，且次要相机是单色(黑色和白色，或灰度级)传感器时，出于以下两个主要原因，次要单色传感器具有潜力来改进第一彩色传感器的噪声等级和清晰度：

[0040] 1)单色传感器无法对入射光进行滤波，且从而可以比主要彩色传感器高的信噪比(SNR)测量入射光；以及

[0041] 2)单色传感器无法执行去马赛克，且从而不会遭受原本可起因于去马赛克的任何分辨率损失。

[0042] 所述技术可因此尝试输出融合图像，其类似于使用主要彩色传感器产生的输入彩色图像，但具有可在改进的噪声和锐度方面类似于单色图像的Y信道(灰度级)分量。

[0043] 融合来自两个单独相机的图像可呈现挑战。首先，主要和次要相机必定彼此偏移(例如垂直或水平地)，这可引入彩色和单色照片的融合期间的视差效应。第二，主要和次要相机可具有不同的传感器特性，其可导致共用Y信道(灰度级)的捕获的差异。

[0044] 本公开中描述的技术的各个方面涉及校正或至少减轻使用两个单独的相机所引入的视差。另外，本公开中描述的技术的各个方面涉及均衡拜耳和单色传感器捕获的Y信道，以潜在地保留照度和色彩恒定性。

[0045] 这些技术可首先将彩色照片对齐到单色照片，且接下来确定彩色和单色照片的场景是宏观的(例如具有相对较大的视差)还是非宏观的(例如具有相对较小的视差)。对于宏观场景，相机可输出具有直接来自彩色照片的色彩以及作为来自彩色照片和单色照片的输入Y信道的加权和的照度(Y信道)的照片。对于非宏观场景，相机可输出具有直接来自单色照片的照度以及作为来自彩色照片的经移位版本的输入U和V信道的加权和的色彩(U和V信道)的照片。

[0046] 在一些例子中，所述技术可对一系列输入彩色照片使用多帧平均，以产生具有潜在地减小的噪声的单个彩色照片。在此例子中，所述技术可进一步对一系列输入单色照片使用多帧平均，以产生单个单色照片。所述相机接着可使用上文相对于单个彩色照片和单个单色照片所描述的技术。

[0047] 图1是经配置以执行本公开中所描述的一或多个实例技术的用于图像处理的装置的框图。装置10的实例包含个人计算机、桌上型计算机、膝上型计算机、计算机工作站、视频游戏平台或控制台、无线通信装置(例如移动电话、蜂窝式电话、卫星电话和/或移动电话手持机)、陆线电话、因特网电话、手持式装置(例如便携式视频游戏装置或个人数字助理(PDA))、个人音乐播放器、视频播放器、显示装置、独立相机、电视机、电视机顶盒、服务器、中间网络装置、主机计算机，或包含捕获照片或其它类型的图像数据的相机的任何其它类型的装置。

[0048] 如图1的实例中所说明，装置10包含多个相机12A-12N(例如四个相机或九个相机，作为两个实例)，至少一个相机处理器14、中央处理单元(CPU)16、图形处理单元(GPU)18和以及GPU 18的本地存储器20、用户接口22、提供对系统存储器30的存取的存储器控制器24，以及输出致使图形数据在显示器28上显示的信号的显示接口26。

[0049] 并且，尽管将各种组件示出为单独的组件，但在一些实例中，可组合所述组件以形成芯片上系统(SoC)。举例来说，相机处理器14、CPU 16、GPU 18和显示接口26可形成于共用芯片上。在一些实例中，相机处理器14、CPU 16、GPU 18和显示接口26中的一或多者可在单独的芯片中。

[0050] 图1中说明的各种组件可形成于一或多个微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其它等效集成或离散逻辑电路中。本地存储器20的实例包含一或多个易失性或非易失性存储器或存储装置，例如随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、快闪存储器、磁性数据媒体或光学存储媒体。

[0051] 图1中说明的各种单元使用总线22彼此通信。总线22可为多种总线结构中的任一者，例如第三代总线(例如，超传输(HyperTransport)总线或无限带宽(InfiniBand)总线)、第二代总线(例如，高级图形端口总线、外围组件互连(PCI)高速总线，或高级可扩展接口(AXI)总线)或另一类型的总线或装置互连件。应注意，图1所示的不同组件之间总线和通信接口的特定配置仅为示范性的，且可使用计算装置的其它配置和/或具有相同或不同组件的其它图像处理系统来实施本发明的技术。

[0052] 如所说明，装置10包含相机12A-12N。相机12A-12N不需要一定是装置10的一部分，且可在装置10外部。在此类实例中，相机处理器14可类似地在装置10外部；然而，在此些实例中，相机处理器14可有可能在装置10内部。为易于描述，相对于作为装置10的一部分的相机12A-12N和相机处理器14来描述实例(例如在其中装置10是例如智能电话、平板计算机、手持机、移动通信手持机等移动装置的实例中)。

[0053] 如本公开中所使用的相机12A-12N指代单独的若干组像素(例如相机12A包含第一组像素，相机12B包含第二组像素，等等)。在一些实例中，相机12A-12N中的每一者可被认为包含多个传感器，且每一传感器包含多个像素。举例来说，每一传感器包含三个像素(例如用于红色的像素、用于绿色的像素和用于蓝色的像素)。作为另一实例，每一传感器包含四个像素(例如用于红色的像素、用于绿色的用以确定绿色强度和总照度的两个像素、用于蓝色的如结合拜耳滤波器排列的像素)。即使在其中相机12A-12N包含包括多个像素的多个传感器的实例中，相机12A-12N也各自包含多个像素。可使用其它命名规范。举例来说，装置10可被认为包含一个相机，且相机12A-12N分别被称作传感器而不是相机或子相机。本发明中描述的技术适用于所有这些实例。

[0054] 不管特定命名规则如何，相机12A-12N中的每一者均可捕获图像内容以产生一个图像。这些图像中的每一者可组合以产生较高分辨率图像。然而，在一些实例中，可存在来自相机12A-12N所捕获以供显示的图像中的任一者的充足分辨率。

[0055] 相机12A-12N中的每一者可包含其自身的光圈和镜头。然而，技术不限于此。在一些实例中，可存在用于相机12A-12N的共用光圈和/或镜头，以及将所捕获的光发射到12A-12N中的对应者的分光器和波导。其它配置是可能的，且由本公开中描述的技术预期。

[0056] 相机12A-12N的像素不应与图像像素混淆。图像像素是用以定义从相机12A-12N所捕获的内容产生的图像上的单个“点”。举例来说，基于相机12A-12N中的任一者所捕获的内容而产生的图像包含所确定的数目的像素(例如百万像素)。

[0057] 然而，相机12A-12N的像素是具有光电导性的实际光电传感器元件(例如捕获检视频谱中或检视频谱之外的光颗粒的元件)。相机12A-12N的像素基于撞击像素表面的光能(例如红外或可见光)的强度来导电。所述像素可用锗、镓、硒、具有掺杂剂的硅，或某些金属氧化物和硫化物形成，作为几个非限制性实例。

[0058] 在一些实例中，相机12A-12N的像素可根据拜耳滤波器用红色-绿色-蓝色(RGB)彩色滤光片覆盖。使用拜耳滤波，所述像素中的每一者可接收用于特定色彩组件(例如红色、绿色或蓝色)的光能。因此，每一像素产生的电流指示所捕获的光中的红色、绿色或蓝色分量的强度。

[0059] 相机处理器14经配置以接收来自相机12A-12N的相应像素的电流，且处理所述电流以产生图像。尽管说明一个相机处理器14，在一些实例中，可存在多个相机处理器(例如每相机12A-12N一个)。因此，在一些实例中，可存在一或多个相机处理器，如装置10中的相机处理器14。

[0060] 在一些实例中，相机处理器14可配置为单输入多数据(SIMD)架构。相机处理器14可对从相机12A-12N中的每一者上的像素中的每一者接收到的电流执行相同操作。SIMD架构的每一通道包含图像管线。图像管线包含硬连线电路和/或可编程电路，以处理所述像素的输出。

[0061] 举例来说，每一图像管线相机处理器14可包含相应的跨阻抗放大器(TIA)，以将电流转换成电压；以及相应的模/数转换器(ADC)，其将模拟电压输出转换为数字值。在可见光谱的实例中，因为每一像素输出的电流指示红色、绿色或蓝色分量的强度，可使用来自相机12A-12N中的一者的三个像素的数字值(例如来自包含三个或四个像素的一个传感器的数字值)来产生一个图像像素。

[0062] 除将模拟电流输出转换为数字值之外，相机处理器14还可执行某一额外后处理来增加最终图像的质量。举例来说，相机处理器14可评估相邻图像像素的色彩和亮度数据，且执行去马赛克来更新图像像素的色彩和亮度。相机处理器14还可执行降噪和图像锐化，作为额外实例。相机处理器14将所得图像(例如所述图像像素中的每一者的像素值)经由存储器控制器24输出到系统存储器30。

[0063] CPU 16可包括控制装置10的操作的通用或专用处理器。用户可将输入提供到计算装置10以致使CPU 16执行一或多个软件应用程序。在CPU 16上执行的软件应用程序可包含(例如)操作系统、文字处理器应用程序、电子邮件应用程序、电子表格应用程序、媒体播放器应用程序、视频游戏应用程序、图形用户接口应用程序或另一程序。用户可经由一或多个输入装置(未图示)(例如键盘、鼠标、麦克风、触摸垫或经由用户输入接口22耦合到计算装置10的另一输入装置)将输入提供到计算装置10。

[0064] 作为一个实例，用户可执行应用程序来捕获图像。所述应用程序可在显示器28上呈现实时图像内容来供用户在拍摄图像之前检视。在一些实例中，在显示器28上显示的实时图像内容可为来自相机12A-12N中的一者的内容。用以捕获图像的应用程序的代码可存储在系统存储器30上，且CPU 16可检索和执行所述应用程序的目标代码，或检索和编译源代码来获得目标代码，CPU 16可执行所述目标代码来呈现所述应用程序。

[0065] 当用户对实时图像内容满足时，用户可与用户接口22(其可为显示器28上显示的图形按钮)交互以捕获图像内容。作为响应，一或多个相机12A-12N可捕获图像内容，且相机处理器14可处理所述接收到的图像内容以产生多个图像。在一些实例中，并非相机12A-12N在所有情况下均捕获图像，而是在CPU 16上执行的应用程序可经由显示器28输出选项来供用户选择高分辨率图像产生。作为响应，相机12A-12N中的每一者将捕获图像。如果未选择高分辨率图像产生，那么相机12A-12N中的一者捕获图像内容。或者，所有相机12A-12N可在所有情形中捕获图像。然而，相机处理器14可不在所有情形中处理来自所有相机12A-12N的所得内容。

[0066] 存储器控制器24促进数据进出系统存储器30的传送。举例来说，存储器控制器24可接收存储器读取和写入命令，且相对于存储器系统30服务此类命令，以便为计算装置10中的组件提供存储器服务。存储器控制器24以通信方式耦合到系统存储器30。尽管存储器尽管图1的实例计算装置10中将存储器控制器34说明为与CPU 16和系统存储器30两者分开的处理模块，但在其它实例中，存储器控制器24的功能性中的一些或全部可在CPU 46和系统存储器30中的一者或两者上实施。

[0067] 系统存储器30可存储可由相机处理器14、CPU 16和GPU 18存取的程序模块和/或指令和/或数据。举例来说，系统存储器30可存储用户应用程序、来自相机处理器14的所得图像、中间数据等。系统存储器30可另外存储由计算装置10的其它组件使用和/或产生的信息。举例来说，系统存储器30可充当相机处理器14的装置存储器。系统存储器30可包含一或多个易失性或非易失性存储器或存储装置，例如随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、只读存储器(ROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、快闪存储器、磁性数据媒体或光学存储媒体。

[0068] 在一些方面，系统存储器30可包含致使相机处理器14、CPU 16、GPU 18和显示接口26执行在本公开中归于这些组件的功能的指令。因此，系统存储器30可表示上面存储有指令的计算机可读存储媒体，所述指令在被执行时，致使一或多个处理器(例如相机处理器
14、CPU 16、GPU 18和显示接口26)执行本公开中描述的技术的各个方面。

[0069] 在一些实例中，系统存储器30可表示非暂时性计算机可读存储媒体。术语“非暂时性”指示存储媒体不以载波或传播信号体现。然而，术语“非暂时性”不应解释为意味着系统存储器30是非可移动的或其内容为静态的。作为一个实例，可从装置10移除系统存储器30，并将所述系统存储器移动到另一装置。作为另一实例，存储器，大体类似于系统存储器30，可插入到装置10中。在某些实例中，非暂时性存储媒体可存储可随时间改变的数据(例如存储在RAM中)。

[0070] 相机处理器14、CPU 16和GPU 18可将图像数据等存储在系统存储器30内分配的相应缓冲器中。显示接口26可从系统存储器30检索数据，并配置显示器28以显示由经渲染的图像数据表示的图像。在一些实例中，显示接口26可包含数/模转换器(DAC)，其经配置以将从系统存储器30检索到的数字值转换成可由显示器28消耗的模拟信号。在其它实例中，显示接口26可将数字值直接传递到显示器28以供处理。

[0071] 显示器28可包含监视器、电视机、投影装置、液晶显示器(LCD)、等离子体显示面板、发光二极管(LED)阵列、阴极射线管(CRT)显示器、电子纸、表面传导电子发射显示器(SED)、激光电视机显示器、纳米晶体显示器或另一类型的显示单元。显示器28可集成在计算装置10内。举例来说，显示器28可为移动电话手持机或平板计算机的屏幕。或者，显示器28可为经由有线或无线通信链路耦合到计算装置10的独立装置。举例来说，显示器28可为经由缆线或无线链路连接到个人计算机的计算机监视器或平板显示器。

[0072] 根据本公开中描述的技术，计算装置10可基于与彩色图像数据的捕获同时捕获单色(其可缩写为“单色(mono”)图像数据来增强彩色图像数据(其还可互换称为“彩色照片”或“彩色图像”)。在图1的实例中，假定相机12A表示彩色相机12A，而假定相机12N表示单色相机12N。由此，计算装置10可包含彩色相机12A和单色相机12N两者。彩色相机12A可在计算装置10的外壳内从单色相机12N物理移位(例如水平移位或垂直移位)。

[0073] 在操作中，计算装置10的单色相机12N可捕获场景的单色照片(其中术语“照片”再次可指“图像数据”)。与通过单色相机12N捕获单色图像数据13N同时，彩色相机12A可捕获同一场景的彩色图像数据13A。相机处理器14可通过同时与彩色相机12A和单色相机12N中的每一者介接以在大致相同的时间(其可能不是完全相同的时间，归因于信号等待时间、处理等待时间或其它类型的等待时间或延迟，但应在时间上充分接近，以便捕获大体上相同的场景)捕获场景，来协调彩色图像数据13A和单色图像数据13N的同时捕获。

[0074] 在一些例子中，相机处理器14可在一时间周期内起始多个不同彩色图像数据13A和/或多个不同单色图像数据13N的捕获，且执行所谓的帧平均或其它求和技术，以从在短时间周期内捕获的多个图像产生一图像。相机处理器14可处理多个不同的彩色图像数据13A和/或多个不同的单色图像数据13N，以产生单个组合的彩色图像数据15A(“CID 15A”)和/或单个组合的单色图像数据15N(“MID 15N”)。明确地说，CID 15A可包含彩色图像的像素，使得处理器14可使CID 15A的像素的值移位。相机处理器14可例如在逐像素基础上求多个不同彩色图像数据13A中指定的每一像素的对应像素值的平均值，以产生单个组合的彩色图像数据15A。同样地，相机处理器14可在逐像素基础上求多个不同单色图像数据13N中指定的每一像素的对应像素值的平均值，以产生单个组合的单色图像数据15N。

[0075] 相机处理器14可利用单个组合的彩色图像数据15A和/或单个组合的彩色图像数据15N代替上文在本公开中描述的技术的各个方面提到的单个彩色图像数据13A和/或单个单色图像数据13N。尽管相机处理器14可相对于单个彩色图像数据13A、单个单色图像数据13N、单个组合的彩色图像数据15A和单个组合的单色图像数据15N的任何组合来操作，但为便于说明目的，下文将相机处理器14描述为相对于单个组合的彩色图像数据15A和单个组合的单色图像数据15N操作，除了在论述利用单个彩色图像数据13A和单个单色图像数据
13N的摄影结果时。

[0076] 在任何情况下，相机处理器14基于组合的单色图像数据15N来处理组合的彩色图像数据15A，以产生增强的彩色图像数据17(“ECID 17”)。相对于图2-11更详细地描述相机处理器14在基于组合的单色图像数据15N来处理组合的彩色图像数据15A时的总操作。

[0077] 图2是说明计算装置10在执行本公开中描述的彩色图像数据增强技术的各个方面时的示范性操作的流程图。如图2的实例中所示，计算装置10的相机处理器14可从彩色相机12A接收可变数目(表示为“N”)的不同彩色图像13A(其中“图像”是指“图像数据”，且从单色图像15N接收N个不同的单色图像13N。相机处理器14可相对于彩色图像13A执行多帧平均以产生组合的彩色图像15A(40)，且相对于单色图像13N执行多帧平均以产生组合的单色图像
15N(42)。

[0078] 在处理组合的彩色图像数据15A以产生增强的彩色图像数据17时，相机处理器14可首先将组合的彩色图像数据15A与组合的单色图像数据15N对齐(44)。对齐可涉及从组合的彩色图像数据15A和组合的单色图像数据15N中的每一者提取特征，以及将来自组合的彩色图像数据15A和组合的单色图像数据15N中的每一者的特征进行比较，以便使组合的彩色图像数据15A和单色图像数据15N中的每一者空间对准。相机处理器14还可相对于强度而不是特征来执行对齐。

[0079] 图3是示出叠加在组合的单色图像15N上的组合彩色图像15A的图。在图3的实例中，两个相机12A和12N之间存在基线。然而，图像15A和15N可需要首先对齐。

[0080] 图4是示出在组合的彩色图像15A和单色图像15N中的每一者已经历对齐之后，叠加在单色图像15N上的组合彩色图像15A的图。在图4的实例中，归因于由计算装置10的外壳内彩色相机12A与单色相机12N之间的移位产生的视差，组合彩色图像15A仍从单色图像15N偏移。在执行对齐时，相机处理器14可校正此类移位，但未能校正由彩色相机12A相对于单色相机12N的稍微不同的角度产生的视差。

[0081] 当考虑通过叠加图像15A和15N创建的所得经叠加图像的部分2A和2B时，视差明显。视差本身显示为部分2A中的模糊边缘，例如花朵的模糊边缘以及女人的外形边缘。在部分2B中，因为标记中的重叠边缘，视差明显。

[0082] 返回到图2，在使组合的彩色图像15A与单色图像15N对齐之后，相机处理器14可执行宏观检测，以确定组合的彩色图像15A和组合的单色图像15N的场景是否为使用微距摄影(例如使用所谓的“宏观模式”)捕获的(46)。相对于图5更详细描述宏观检测。宏观检测可指示对象的图像是在近范围(宏观)捕获，使得视差相对较高，还是在较远的距离(非宏观)捕获，此时视差相对较低。当使用微距摄影来捕获场景(“是”46)时，相机处理器14可执行视差掩模融合以基于单色图像数据15N产生增强的彩色图像数据17(48)，其相对于图6和7更详细地描述。当不使用微距摄影来捕获场景(“否”46)时，相机处理器15可执行移位和匹配融合以基于单色图像数据15N产生增强的彩色图像数据17(50)，其相对于图8和9更详细地描述。

[0083] 图5是说明相机处理器14在根据本公开中描述的技术的各个方面执行宏观检测时的示范性操作的流程图。在图5的实例中，相机处理器14可确定指示单色图像数据15N(表示为YM，其中Y表示单色图像数据15N的亮度(亮度)分量，且M表示单色)和彩色图像数据15A(表示为YB，其中Y表示彩色图像数据15A的亮度分量且B表示参考用以捕获彩色图像数据15A的拜耳滤波器的拜耳)之间的视差等级的视差值。

[0084] 为了确定指示单色图像数据15N与彩色图像数据15A之间的视差等级的视差值，相机处理器14可首先检测和匹配特征点(其还可被称作特征)或者使用在对齐期间检测到的特征(60)。相机处理器14接着可比较所述特征(其可作为直方图存储)以识别水平匹配，且从而确定指示对齐之后剩余的视差等级的视差值(62)。当彩色相机12A和单色相机12N从彼此水平移位时，相机处理器14可识别水平匹配。

[0085] 尽管相对于水平移位的相机12A和12N来描述，但可相对于任何其它形式的移位(例如垂直或垂直和水平的组合)来执行所述技术。关于这些其它形式的移位，相机处理器14可识别垂直匹配或垂直和水平匹配的组合以确定视差值。

[0086] 相机处理器14可接下来确定场景是否为使用微距摄影基于所述所确定的视差值而捕获的。当视差值大于视差阈值时(例如当水平匹配的直方图之间的差别的百分之五高于视差阈值时)，相机处理器14可确定场景是否为使用微距摄影来捕获的(64)。响应于确定场景是使用微距摄影捕获的(“是”64)，相机处理器14可通过执行所谓的“视差掩模融合”来处理组合的彩色图像15A(66)，其相对于图6和7更详细地描述。

[0087] 响应于确定场景不是使用微距摄影捕获的(“否”64)，相机处理器14可接下来确定对齐是否较大(意味着存在较大移位，例如在x和/或y维度中，以与组合的单色图像15N与组合的彩色图像15A的对齐期间的特征匹配)(68)。当对齐较大(“是”68)时，相机处理器66可通过执行所谓的“视差掩模融合”来处理组合的彩色图像15A(66)。当对齐不大(“否”68)时，相机处理器66可通过执行所谓的“移位和匹配融合”来处理组合的彩色图像15A(70)，其相对于图8和9更详细地描述。

[0088] 图6是说明相机处理器14在根据本公开中描述的技术的各个方面执行视差掩模融合时的示范性操作的流程图。一般来说，视差掩模融合在所得图像中使用组合的彩色图像15A的色度分量(即，在YUV色彩空间的实例中，U和V信道)，同时稠合组合图像15A和组合的单色图像15N的经对齐且均衡的亮度分量。

[0089] 如图6的实例中所示，相机处理器14可首先将组合的彩色图像15A的亮度分量(示出为“YB”)从组合的单色图像15N的亮度分量(示出为“YM”)减去(80)。相机处理器14可接下来使减除的结果模糊，并将组合的单色图像15N的亮度分量添加回到所述减除的模糊结果，以有效地执行宏观均衡(82，84)。

[0090] 相机处理器14还可使用归一化交叉相关(NCC)或任何其它形式的匹配过程来计算视差掩模(86)。相对于图7的实例来更详细地描述NCC。

[0091] 相机处理器14接着可通过将组合的彩色图像15A的亮度分量与组合的单色图像15N的经均衡亮度分量组合以产生增强型图像17的亮度分量，来计算增强型彩色图像17的亮度分量(示出为“YO”，其中Y是指亮度分量，且O是指输出)。相机处理器14可通过执行组合的彩色图像15A的亮度分量和组合的单色图像15N的亮度分量的加权平均来将组合的彩色图像15A的亮度分量与组合的单色图像15N的经均衡亮度分量组合，其中W表示视差掩模所指派的权重(88)。视差掩模可在逐像素基础上，使用如相对于图7的实例更详细描述的NCC来指定权重。

[0092] 图7是说明相机处理器14在根据本公开中描述的技术的各个方面执行归一化交叉相关(NCC)时的示范性操作的流程图。如图7的实例中所示，相机处理器14可处理组合的彩色图像15A的亮度分量的像素(表示为“Y1”)，以及组合的单色图像15N的亮度分量的对应地定位的像素(表示为“Y2”)。相机处理器14可将Y1乘以Y2以产生Ypre-1×2(100)(其中“pre”表示相乘在厢式车滤波(box car filtering)之前发生)。相机处理器14还可使Y1乘以Y1(示出为“x2”)(102)以产生Y1x1，同时也使Y2乘以Y2(示出为“x2”)(104)以产生Y2x2(104)。

[0093] 相机处理器14可接下来对Y1x2，Y1，Y2，Y1x1和Y2x2进行厢式车滤波(106)。在一些例子中，相机处理器14可在厢式车滤波期间进行下取样，以利用低频输出且减少运行时。在应用厢式车滤波器之后，相机处理器14可使经厢式车滤波的Y1乘以经厢式车滤波的Y2以产生经厢式车滤波的Ypost-1×2(其中“post”表示相乘在厢式车滤波的应用之后发生)(108)。相机处理器14还可使经厢式车滤波的Y1x1乘以经厢式车滤波的Y2x2以产生经厢式车滤波的Y1x1x2x2(110)。

[0094] 相机处理器14可进一步将经厢式车滤波的Ypre-1×2从经厢式车滤波的Ypost-1×2减去以产生YΔ1x2(112)。相机处理器14可接下来计算YΔ1x2的绝对值(114)。相机处理器14还可计算经厢式车滤波的Y1x1x2x2的平方根(116)。相机处理器14可通过将YΔ1x2的绝对值除以经厢式车滤波的Y1x1x2x2的平方根，对像素使用归一化交叉相关(NCC)(示出为WNCC)来计算权重(118)。相机处理器14可以此方式相对于每一像素重复，直到所有的像素均已关联视差掩模中定义的权重为止。

[0095] 图8是说明相机处理器14在根据本公开中描述的技术的各个方面执行移位和匹配融合时的示范性操作的流程图。如图8的实例中所示，相机处理器14可使组合的彩色图像15A(表示为“拜耳”或“B”)对齐到组合的单色图像15N(表示为“单色”或“M”)(130)。相机处理器14可接下来计算移位值，如相对于图9更详细描述(132)。相机处理器14可输出所述移位值作为移位值阵列，每一移位值指定使可变(x)数目个像素水平地移位。

[0096] 相机处理器14可使经对齐的组合彩色图像15A水平移位‘x’个像素(134)，且基于组合的彩色图像15A以及组合的彩色图像15A的经移位版本以上文所描述的方式计算NCC图像(136)。接下来，相机处理器14可根据以下等式来确定增强型彩色图像17的色度分量(其在表示为YUV色彩空间中的“U”和“V”)(138)：

[0097] 以及

[0098]

[0099] 相机处理器14接着可使增强型彩色图像17的色度分量对齐到组合的单色图像15N的亮度分量，以产生融合的图像(其为指代增强型彩色图像17的另一方式)(140)。

[0100] 在这方面，所述技术可配置相机处理器，以响应于确定场景不是使用微距摄影捕获的，来将增强型图像数据17的色度分量设定为等于彩色图像数据的色度分量。由此，所述技术可潜在地将视差从组合的彩色图像15A去除，使得可用组合的彩色图像15A的无视差版本来为组合的单色图像15N“上色”，以产生增强型彩色图像17。

[0101] 图9是说明相机处理器14在根据本公开中描述的技术的各个方面计算移位值时的示范性操作的流程图。相机处理器14可首先将组合的彩色图像15A(B)对齐到组合的单色图像15N(M)(150)，且确定组合的彩色图像15A(B)和组合的单色图像15N(M)中的对应特征点(152)。相机处理器14可接下来计算距离的经加权直方图，且选择与经加权直方图的某一阈值数目N个最大值相关联的移位值(154，156)。

[0102] 在一些例子中，实际上可计算的权重(其还可被称作NCC图像)的数目是受限的(例如归因于处理时间)。由此，相机处理器14可仅通过检测和跟踪经对齐的图像15A和15N之间的特征点的稀疏集合且选择所跟踪的特征点之间的水平距离的直方图的模式，来计算N个权重。在一些实例中，为了确保大移位值被选择，相机处理器14可计算经加权直方图，其中权重是用于所述直方图二进制数的移位的值。

[0103] 图10是说明相机处理器14在根据本公开中描述的技术的各个方面执行强度均衡来校正彩色相机12A与单色相机12N之间的强度差时的示范性操作的流程图。可结合上述彩色图像增强技术或与上文所述的彩色图像增强技术独立地执行强度均衡技术。

[0104] 的彩色图像增强技术的上下文中，强度均衡可促成上文提到的彩色图像增强技术的较好结果，因为(用于单色相机12N的)彩色滤光片的去除可造成全局曝光补偿将无法解决的空间变化光敏度。也就是说，具有不同色彩的交错滤波器的拜耳滤波器的模式通常影响光敏度，取决于哪一彩色滤波器在哪一特定像素。

[0105] 图11是说明示出随着彩色相机12A与单色相机12N的光敏度之间的差空间变化的光敏度的曲线图160的图。在曲线图160中，Z轴是组合的彩色图像15A和组合的单色图像15N的亮度分量的强度之间的差，而X和Y轴表示像素位置(分别在X和Y轴中)。强度均衡可尝试使组合的单色图像15N的亮度分量更接近组合的彩色图像15A的亮度分量。

[0106] 然而，相机12A和12N中的不同图像传感器可具有对色彩的不同光敏度。举例来说，红色对象可在组合的单色图像15N中比在组合的彩色图像15A中看起来更亮，而蓝色对象可在单色图像15N中比在组合的彩色图像15A中看起来更暗。为了克服此问题，强度均衡技术可使用如关于图10的实例所描述的机器学习。

[0107] 返回到图10的实例，相机处理器14可产生组合的彩色图像15A和组合的单色图像15N，且接着如上文相对于图8和9的实例所描述而执行移位和匹配操作(170-174)。相机处理器14可接下来缩减经移位和匹配的组合的彩色图像15A和组合的单色图像15N(176、
178)。鉴于包含回归因子的机器学习可为计算密集型，缩减可允许所述回归因子的训练和应用更快速地继续进行。

[0108] 相机处理器14可基于经缩减的组合的彩色图像15A和经缩减的组合的单色图像15N来训练回归因子(180)。回归因子训练可产生相机处理器14可用于编程或以其它方式配置所述回归因子的系数。可通过使用样本的子集(其中数千样本通常是足够的)来减少训练时间。尽管在图10中示出为在回归因子的任何给定应用期间发生，但相机处理器14可仅执行训练一次(例如在计算装置10的初始配置期间)、在使计算装置10启动或通电后即刻执行训练、周期性地执行训练以配置回归因子，由于用户起始而执行训练，或以任何其它频率或响应于任何其它条件而执行训练。

[0109] 在用系数配置回归因子之后，相机处理器14可将所述回归因子应用于经缩减的组合彩色图像15A和经缩减的组合单色图像15N(182)。回归因子可执行脊回归(例如提克洛夫规范化(Tikhonov regularization))以避免过适。在此实例中，回归因子是脊回归因子。回归因子可使经缩减的组合彩色图像15A和经缩减的组合单色图像15N的亮度和色度分量归一化到介于0与1之间的值，同时也潜在地用第二阶项目来充实特征。

[0110] 相机处理器14可将经缩减的组合单色图像15N从回归因子的输出减去(184)，且接下来放大减除的输出(186)。相机处理器14可通过将减除的经放大结果与组合的单色图像15N相加来产生经均衡的单色图像(188)。

[0111] 尽管描述为产生经均衡的单色图像，但本公开中描述的技术的强度均衡方面还可以类似方式应用于彩色图像数据，以产生经均衡的彩色图像数据。由此，相机处理器14可将经缩减的组合彩色图像15A从回归因子的输出减去，且接下来放大减除的输出。相机处理器可通过将减除的经放大结果与组合的彩色图像15A相加来产生经均衡的彩色图像。

[0112] 图12-16是说明本公开中描述的彩色图像增强和强度均衡技术的结果的图。在图12的实例中，计算装置10可在低光条件(例如大约20LUX)下，基于组合的彩色图像15A和组合的单色图像15N产生增强型彩色图像200(其可表示增强型彩色图像17的一个实例)。在低光条件(例如大约20LUX)下，计算装置10可基于单个彩色图像13A和单个单色图像13N，产生增强型彩色图像202(其可表示增强型彩色图像17的一个实例)。出于比较的目的而提供彩色图像204，且其表示在低光条件下捕获的单个彩色图像13A。

[0113] 在图13的实例中，计算装置10可在低光条件(例如大约20LUX)下，基于组合的彩色图像15A和组合的单色图像15N产生增强型彩色图像200(其可表示增强型彩色图像17的一个实例)。出于比较的目的而提供彩色图像206，且其表示在低光条件下捕获的组合的彩色图像15A。出于比较的目的而提供彩色图像204，且其表示在低光条件下捕获的单个彩色图像13A。

[0114] 在图14的实例中，计算装置10可在低光条件(例如大约20LUX)下，基于组合的彩色图像15A和组合的单色图像15N产生增强型彩色图像200(其可表示增强型彩色图像17的一个实例)。在低光条件(例如大约20LUX)下，计算装置10可基于单个彩色图像13A和单个单色图像13N，产生增强型彩色图像202(其可表示增强型彩色图像17的一个实例)。出于比较的目的提供彩色图像208，且其表示在使用高动态范围(HDR)过程处理的低光条件下捕获的彩色图像。出于比较的目的提供彩色图像210，且其表示在使用光学图像稳定(OIS)过程处理的低光条件下捕获的彩色图像。

[0115] 在图15的实例中，计算装置10可基于在正常光条件(例如～700LUX)下捕获的组合的彩色图像15A和组合的单色图像15N，来产生增强型彩色图像212(其可表示增强型彩色图像17的一个实例)。出于比较的目的提供彩色图像214，且其表示在正常光条件下捕获的单个彩色图像13A的实例。

[0116] 在图16的实例中，计算装置10可基于组合的彩色图像15A和组合的单色图像15N产生增强型彩色图像216(其可表示增强型彩色图像17的一个实例)。出于比较的目的提供彩色图像218，且其表示单个彩色图像13A。出于比较的目的提供单色图像220，且其表示单个单色图像13N。如通过将彩色图像218与增强型彩色图像220进行比较可看出，所述技术还可潜在地改进去马赛克假影。

[0117] 图17是说明计算装置10在执行所述技术的彩色图像增强方面和强度均衡方面两者时的示范性操作的流程图。如图17的实例所示，相机处理器14可使N个彩色图像和N个单色图像对齐(300、302)。然而，相机处理器14还可相对于经对齐的彩色图像和经对齐的单色图像执行一些额外步骤，例如重影去除(304、306)。否则，相机处理器14可在上文更详细地描述的技术的色彩增强方面的视差补偿部分与上文更详细描述的所述技术的色彩增强方面的融合部分(308-312)之间执行所述技术的强度均衡方面，以输出增强型彩色图像。

[0118] 图18是说明计算装置10在执行本公开中描述的技术的强度均衡方面时的示范性操作的另一流程图。可结合上述彩色图像增强技术或与上文所述的彩色图像增强技术独立地执行强度均衡技术。

[0119] 相机处理器14可与彩色相机12A介接以捕获彩色图像数据15A，且与单色相机12N介接以捕获单色图像数据15N(350)。相机处理器14可接下来执行相对于彩色图像数据15A操作(如上文相对于图8和9的实例所描述)的移位和匹配操作(352)。相机处理器14可接下来缩减经移位和匹配的彩色图像15A(或者组合的彩色图像15A，当捕获多个彩色图像时)和单色图像15N(或者组合的单色图像15N，当捕获多个单色图像时)(354)。

[0120] 相机处理器14可基于经缩减的组合的彩色图像15A和经缩减的组合的单色图像15N来训练回归因子。或者，所述回归因子可由不同计算装置训练，或经预先训练且安装在计算装置10上。回归因子训练可产生相机处理器14可用于编程或以其它方式配置所述回归因子的系数。可通过使用样本的子集(其中数千样本通常是足够的)来减少训练时间。如上文所描述，相机处理器14可仅执行训练一次(例如在计算装置10的初始配置期间)，在使计算装置10启动或通电后即刻执行训练，周期性地执行训练以配置回归因子，因用户起始而执行训练，或以任何其它频率或响应于任何其它条件。

[0121] 相机处理器14可将回归因子应用于经缩减的组合彩色图像15A和经缩减的组合单色图像15N(356)。回归因子可使经缩减的组合彩色图像15A和经缩减的组合单色图像15N的亮度和色度分量归一化到介于0与1之间的值，同时也潜在地用第二阶项目来充实特征。

[0122] 相机处理器14可将经缩减的组合单色图像15A从回归因子的输出减去(358)，且接下来放大减除的输出(360)。相机处理器14可通过将减除的经放大结果与单色图像15N相加来产生强度经均衡的单色图像(362)。鉴于单色图像数据12N仅包含亮度分量，强度均衡还可描述为相对于单色图像数据12N的亮度分量来执行。在任何情况下，相机处理器14可接下来基于强度经均衡的单色图像数据12N来处理彩色图像数据(364)。

[0123] 图19是说明相机处理器在根据本公开中描述的技术的各个方面执行移位和匹配融合时的示范性操作的另一流程图。如图19的实例所示，相机处理器14可与彩色相机12A介接，以捕获彩色图像数据15A，且与单色相机12N介接以捕获单色图像数据15N(400)。相机处理器14可接下来将彩色图像数据15A对齐到单色图像数据15N(402)。

[0124] 在使彩色图像数据15A与单色图像数据15N对齐之后，相机处理器14可确定彩色图像数据的特征和单色图像数据的特征(404)。相机处理器14可使彩色图像数据15A的特征匹配到单色图像数据15N的特征(406)。相机处理器14可接下来计算匹配特征之间的距离的经加权直方图，且选择与经加权直方图的某一阈值数目N个最大值相关联的移位值(408、410)。相机处理器14可输出所述移位值作为移位值阵列，每一移位值指定使可变(x)数目个像素水平地移位。

[0125] 相机处理器14可基于移位值使经对齐的组合彩色图像15A移位(412)，且基于组合的彩色图像15A以及组合的彩色图像15A的经移位版本以上文所描述的方式计算NCC图像(414)。接下来，相机处理器14可根据上文所述的等式，基于NCC图像来确定增强型彩色图像17的色度分量(是表示为YUV色彩空间中的“U”和“V”)(416)。相机处理器14接着可使增强型彩色图像17的色度分量对齐到组合的单色图像15N的亮度分量，以产生融合的图像(其为指代增强型彩色图像17的另一方式)(418)。

[0126] 图20是说明相机处理器14在根据本公开中描述的技术的各个方面执行彩色图像数据的微距摄影处理时的示范性操作的流程图。在图20的实例中，相机处理器14可首先与彩色相机12A介接以捕获彩色图像数据15A，且与单色相机12N介接以捕获单色图像数据15N(450)。相机处理器14可接下来以上文更详细地描述的各种方式中的任一者来确定指示单色图像数据15N与彩色图像数据15A之间的视差等级的视差值(452)。

[0127] 相机处理器14可接下来确定场景是否为使用微距摄影基于所述所确定的视差值而捕获的。当视差值大于视差阈值时(例如当水平匹配的直方图之间的差别的百分之五高于视差阈值时)，相机处理器14可确定场景是否为使用微距摄影来捕获的(454)。响应于确定场景是使用微距摄影捕获的(“是”454)，相机处理器14可通过执行视差掩模融合(456)以融合(或换句话说，组合)彩色图像数据与单色图像数据以产生增强彩色图像数据来处理组合的彩色图像15A，其相对于图6和7的实例更详细地描述。

[0128] 响应于确定场景不是使用微距摄影捕获的(或换句话说，视差值不大于视差阈值；“否”454)，相机处理器14可接下来确定对齐是否较大(意味着存在较大移位，例如在x和/或y维度中，在组合的单色图像数据15N与组合的彩色图像数据15A的对齐期间匹配特征)(458)。当对齐较大(“是”460)时，相机处理器14可通过执行视差掩模融合以融合(或换句话说，组合)彩色图像数据与单色图像数据以产生增强彩色图像数据来处理组合的彩色图像
15A(462)。当对齐不大(“否”460)时，相机处理器14可通过执行移位和匹配融合以融合(或换句话说，组合)彩色图像数据与单色图像数据以产生增强彩色图像数据来处理组合的彩色图像15A，其相对于图8和9的实例更详细地描述(464)。

[0129] 以此方式，所述技术可利用单色图像的较高信噪比(SNR)和分辨率(由于不具有彩色滤光片)来创建较好(在清晰度、假影和/或噪声方面)的经融合图像。此外，归因于基于机器学习的强度均衡，所述技术可避免工厂校准以考虑强度差异(这可节约成本)。此外，所述技术可促成额外的成本节省，因为可将彩色相机的分辨率选择为小于单色相机的分辨率。

[0130] 在一或多个实例中，所描述功能可用硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或代码存储在计算机可读媒体上且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体等有形媒体。以此方式，计算机可读媒体通常可对应于非暂时性的有形计算机可读存储媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本公开中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

[0131] 借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。应理解，计算机可读存储媒体和数据存储媒体并不包含载波、信号或其它暂时性媒体，而是替代地针对非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。

[0132] 指令可由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指代上述结构或适用于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可在经配置以用于编码和解码的专用硬件和/或软件模块内提供，或并入在组合编解码器中。并且，所述技术可完全实施于一或多个电路或逻辑元件中。

[0133] 本发明的技术可在各种各样的装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所公开的技术的装置的功能方面，但未必需要通过不同的硬件单元实现。确切地，如上文所描述，各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中，或由互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

[0134] 已描述了各种实例。这些和其它实例在所附权利要求书的范围内。

标题	发布/更新时间	阅读量
用于微距摄影的彩色和单色图像的视差掩模融合	2020-05-17	932
一种基于3D增强现实的直播眼镜	2020-05-17	458
信息通信方法	2020-05-22	491
一种全画幅微距镜头	2020-05-11	801
一种螺栓防松预警监测装置	2020-05-16	92
研究推进剂燃烧特性的显微高速摄影装置	2020-05-23	302
摄影镜夹	2020-05-19	97
一种用于微距摄影机的三脚架辅助支撑装置	2020-05-25	287
一种高分辨率低畸变微距工业镜头	2020-05-21	397
A SYSTEM AND METHOD FOR CHARACTERIZATION OF CANNABACEAE PLANTS	2020-05-24	195

用于微距摄影的彩色和单色图像的视差掩模融合

用于微距摄影的彩色和单色图像的视差掩模融合

技术领域

背景技术

附图说明

具体实施方式

该功能需要专业版企业版VIP权限，您可以：