具有用于校正第一成像元件拍摄图像的阴影的第二成像元件的摄像装置
阅读：830发布：2024-02-24
专利汇可以提供具有用于校正第一成像元件拍摄图像的阴影的第二成像元件的摄像装置专利检索，专利查询，专利分析的服务。并且本 发明 提供一种摄像装置，其包括用于沿相同方向执行成像的第一成像元件和第二成像元件。第二成像元件的中心部分和非中心部分的 像素 布置不同，使得非中心部分的像素比中心部分的像素更灵敏。来自第二成像元件的非中心部分的图像 信号 用于校正来自第一成像元件的图像信号中的阴影，即暗 角 。，下面是具有用于校正第一成像元件拍摄图像的阴影的第二成像元件的摄像装置专利的具体信息内容。
1.一种摄像装置，其包括：
至少第一成像元件和第二成像元件，所述第一成像元件和第二成像元件均被配置为沿相同方向执行成像，其中，
所述第一成像元件或所述第二成像元件中的至少任何一个的中心部分和所述中心部分之外的部分的像素布置不同。
2.根据权利要求1所述的摄像装置，其中，
所述第一成像元件在所有部分中具有相同的像素布置，并且
所述第二成像元件的所述中心部分和所述中心部分之外的部分的像素布置不同。
3.根据权利要求2所述的摄像装置，其中，
所述第二成像元件包括像素，所述像素的所述中心部分之外的部分具有比所述中心部分的灵敏度更高的灵敏度。
4.根据权利要求3所述的摄像装置，其中，
所述第二成像元件具有布置在所述中心部分之外的区域中的至少包括白色像素的像素。
5.根据权利要求4所述的摄像装置，其中，
所述第二成像元件具有布置在所述中心部分之外的所有区域中的白色像素。
6.根据权利要求3所述的摄像装置，其中，
所述第二成像元件具有布置在所述中心部分之外的区域中的至少包括所述中心部分中所不包括的颜色的像素。
7.根据权利要求6所述的摄像装置，其中，
所述第二成像元件具有布置在所述中心部分之外的区域中的像素，所述像素包括检测红外光的像素。
8.根据权利要求6所述的摄像装置，其中，
利用所述第二成像元件的所述中心部分之外的区域中的像素来识别信息。
9.根据权利要求8所述的摄像装置，其中，
被识别的所述信息是物体。
10.根据权利要求8所述的摄像装置，其中，
被识别的所述信息是光源。
11.根据权利要求1所述的摄像装置，还包括：
组合部，所述组合部被配置为将所述第一成像元件的输出与所述第二成像元件的输出进行组合。
12.根据权利要求11所述的摄像装置，其中，
所述组合部根据所述第一成像元件的图像高度改变组合比。
13.根据权利要求11所述的摄像装置，其中，
所述组合部根据所述第一成像元件的阴影特性改变组合比。
14.根据权利要求1所述的摄像装置，其中，
所述第二成像元件的像素比所述第一成像元件的像素小。
15.根据权利要求1所述的摄像装置，其中，
所述第一成像元件的像素和所述第二成像元件的像素具有相同的尺寸。
16.根据权利要求14所述的摄像装置，其中，
所述第一成像元件的像素在高两个像素宽两个像素的单位内具有相同的颜色。
17.一种摄像装置，其包括：
至少第一成像元件和第二成像元件，所述第一成像元件和第二成像元件均被配置为沿相同方向执行成像，其中，
所述第二成像元件的具有与所述第一成像元件的中心部分的视角基本相同的视角的区域具有相同的像素布置，并且所述第二成像元件的具有与所述第一成像元件的所述中心部分之外的部分的视角基本相同的视角的区域具有不同的像素布置。
具有用于校正第一成像元件拍摄图像的阴影的第二成像元件
的摄像装置
技术领域
[0001] 本公开涉及摄像装置。
背景技术
[0002] 现有技术为：包括多个摄像单元以增加成像倍率，同时通过电子变焦来保证放大和成像物体时优良的图像质量(例如，参见专利文献1)。通过电子变焦，无需使用通过移动透镜的位置来改变成像倍率的光学变焦。并且能够在不增加诸如智能电话等薄型结构电子设备的厚度的情况下获得放大的图像。
[0003] 引用列表
[0004] 专利文献
[0005] 专利文献1：JP 2016-34076 A发明内容
[0006] 技术问题
[0007] 现有技术通过切换多个摄像单元来放大或缩小。这种缩放方法通常仅使用摄像单元中的任一个来输出图像。在使用该技术的情况下，存在多个相机。因此，期望使用多个相机的输出来提高图像质量。
[0008] 于是，本公开提出了一种新颖且改进的摄像装置，其能够通过在执行成像时使用多个摄像单元来提高所拍摄图像的图像质量。
[0009] 技术问题的解决方案
[0010] 根据本公开的实施例，提供了一种摄像装置，其包括：至少第一成像元件和第二成像元件，其均被配置为沿相同方向执行成像。所述第一成像元件或所述第二成像元件中的至少任何一个的中心部分和所述中心部分之外的部分的像素布置不同。
[0011] 另外，根据本公开的实施例，提供一种成像装置，其包括：至少第一成像元件和第二成像元件，其均被配置为沿相同方向执行成像。所述第二成像元件的具有与所述第一成像元件的中心部分的视角基本相同的视角的区域具有相同的像素布置，并且所述第二成像元件的具有与所述第一成像元件的所述中心部分之外的部分的视角基本相同的视角的区域具有不同的像素布置。
[0012] 本发明的有益效果
[0013] 如上所述，根据本公开的实施例，可以提供一种新颖且改进的摄像装置，该摄像装置能够在执行成像时通过使用多个摄像单元来提高所拍摄图像的图像质量。
[0015] 图1A是示出包括多个摄像单元的智能电话10的外观配置示例的说明图。
[0016] 图1B是示出包括多个摄像单元的智能电话10的外观配置示例的说明图。
[0017] 图2是示出主相机所包括的透镜和成像元件的示例的说明图。
[0018] 图3是示出要成像的物体的示例的说明图。
[0019] 图4是示出通过切换摄像单元来放大图3所示的一些物体的说明图。
[0020] 图5是示出阴影的示例的说明图。
[0021] 图6是示出根据本公开的实施例的摄像装置的功能配置示例的说明图。
[0022] 图7是示出根据实施例的成像元件的像素的布置的说明图。
[0023] 图8是描述用于本技术的成像元件的基本示意配置的说明图。
[0024] 图9是示出由两个成像元件拍摄的图像的组合的概要的说明图。
[0025] 图10是使用曲线图示出与图像高度相对应的混合比的示例的说明图。
[0026] 图11是使用曲线图示出与阴影特性相对应的混合比的示例的说明图。
[0027] 图12是示出根据实施例的成像元件的像素的布置示例的说明图。
[0028] 图13是示出根据实施例的成像元件的像素的布置示例的说明图。
[0029] 图14是示出根据实施例的成像元件的像素的布置示例的说明图。
[0030] 图15是示出根据实施例的成像元件的像素的布置示例的说明图。
[0031] 图16是示出根据实施例的成像元件的像素的布置示例的说明图。
[0032] 图17是示出根据实施例的摄像装置的操作示例的流程图。
[0033] 图18是示出根据用户设置的倍率来切换根据实施例的摄像装置的被驱动的成像元件的示例的说明图。
[0034] 图19是示出头戴式显示装置的说明图。
具体实施方式
[0035] 在下文中，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有基本相同的功能和结构的构成元件用相同的附图标记表示，并且省略对这些构成元件的重复说明。
[0036] 注意，将按以下顺序进行描述。
[0037] 1.本公开的实施例
[0038] 1.1.背景技术
[0039] 1.2.配置示例
[0040] 1.3.操作示例
[0041] 2.应用示例
[0042] 3.结论
[0043] <1.本公开的实施例>
[0044] <<1.1.背景技术>>
[0045] 在详细描述本公开的实施例之前，将描述本公开的实施例的背景技术。
[0046] 图像缩放技术包括：光学变焦，其移动透镜以改变成像倍率；以及电子变焦，其通过执行图像处理来剪裁一部分图像以获得缩放效果。此外，除了这些技术外，还有一种技术：切换摄像单元以提高成像倍率，同时保持优良的图像质量。
[0047] 图1A和图1B均是示出包括多个摄像单元的智能电话10的外观配置示例的说明图。图1A和图1B所示的智能电话10包括：设置在设有显示器11的表面上的前侧相机12，以及设置在与设有显示器11的表面相反的表面上的主相机13和主相机14。主相机13和主相机14是用于根据光学变焦获得具有期望的成像倍率的图像的摄像单元。
[0048] 图2是示出了主相机13和主相机14所包括的透镜和成像元件的示例的说明图。主相机13是用于在广角侧拍摄图像的摄像单元，并且包括透镜13a和具有拜耳排布的成像元件13b。另外，主相机14是用于在长焦侧拍摄图像的摄像单元，并且包括透镜14a和具有拜耳排布的成像元件14b。
[0049] 如果将在广角侧拍摄图像的主相机13的成像元件13b与在长焦侧拍摄图像的主相机14的成像元件14b进行比较，则成像元件14b包括具有更小尺寸的像素。这是因为，主相机14的成像元件14b采用比由透镜14a入射的光学尺寸小的光学尺寸，并且主相机14的成像元件14b旨在仅精细地拍摄光学中心附近的光。主相机14的面积比主相机13的面积窄，但是能够拍摄更高分辨率的图像。
[0050] 为了简单起见，图2示出了透镜13a和透镜14a各自一个，但是还可以包括两个或更多个透镜。另外，透镜13a和透镜14a均以相同的尺寸示出，但是透镜13a和透镜14a可以是不同的透镜。即，具有高变焦倍率(即，大焦距)的透镜可以用于透镜14a。
[0051] 将描述由主相机13和主相机14获得的图像的示例。图3是示出要由智能电话10成像的物体的示例的说明图。在期望以广角成像如图3所示的整个物体的情况下，智能电话10使用主相机13执行成像。在期望以大尺寸对诸如人或对象等特定物体成像的情况下，使用由主相机13拍摄图像的电子变焦会导致分辨率变差。
[0052] 因此，在用户操作设定了可以单独用主相机14执行成像的视角的倍率时，智能电话10切换为使用主相机14执行成像。尽管主相机14的成像区域比主相机13的成像区域窄，但是主相机14的成像元件14b包括更多表示放大后的成像区域的像素。因此，在预定倍率或更高的情况下，使用主相机14执行成像使得智能电话10能够拍摄抑制了分辨率下降的图像。
[0053] 图4是示出通过切换摄像单元来放大图3所示的一些物体的说明图。例如，如图4所示，在期望使用智能电话10以大尺寸对在跷跷板上玩耍的人执行成像的情况下，使用主相机14执行成像使得智能电话10能够拍摄出抑制了分辨率劣化的图像。
[0054] 以这种方式，包括多个摄像单元的智能电话10根据成像倍率选择主相机13和主相机14中的任何一个来执行成像，这使得即使在增加电子变焦的成像倍率的同时拍摄高分辨率的图像，也可以抑制图像分辨率的劣化。同时，即使包括多个摄像单元，但用于成像的是主相机13和主相机14中的任何一个。因此，即使包括具有不同成像区域的两个主相机，两个主相机也不会同时用于成像。
[0055] 另外，普通的摄像装置根据透镜的影响具有较大的光入射角。这引起在主相机13等中称为阴影的现象。该阴影是由于在图像的外围区域中光减少而导致的亮度下降。总的来说，每个摄像装置通常都会出现阴影。图5是示出阴影的示例的说明图。如图5所示，在靠近图像的外围区域输出减小。通常，在摄像装置中，执行阴影校正以克服该阴影。阴影校正的示例包括执行增加图像的外围区域的增益的处理的技术。但是，从S/N的观点来看，外围区域由于信号量少而不利。通过阴影校正增加的外围增益使噪声更加明显。
[0056] 并且，本发明人已经认真研究了能够通过在包括多个摄像单元的摄像装置中同时使用多个摄像单元来提高拍摄图像的图像质量的技术。因此，本发明人已经设计出一种能够通过在包括多个摄像单元的摄像装置中同时使用多个摄像单元来提高拍摄图像的图像质量的技术。
[0057] 以上描述了本公开的实施例的背景技术。接下来，将详细描述本公开的实施例。
[0058] <<1.2.配置示例>>
[0059] 图6是示出根据本公开的实施例的摄像装置100的功能配置示例的说明图。图6示出了如同用于上述说明的智能电话10包括两个摄像单元的摄像装置100的功能配置示例。以下使用图6描述根据本公开的实施例的摄像装置100的功能配置示例。
[0060] 如图6所示，根据本公开的实施例的摄像装置100包括摄像单元110和摄像单元120、存储部130、双镜头组合部132、线性矩阵部134、伽马校正部136、亮度色度信号生成部
138、输出部140、相机应用用户界面142和变焦控制部144。
138、输出部140、相机应用用户界面142和变焦控制部144。
[0061] 摄像单元110是拍摄广角侧的图像时启动的摄像单元。摄像单元110包括透镜111、红外截止滤光片112、成像元件113、A/D转换部114和钳位部115。摄像单元120是拍摄长焦侧的图像时启动的摄像单元。摄像单元120包括透镜121、红外截止滤光片122、成像元件123、A/D转换部124和钳位部125。此外，不仅在拍摄长焦侧的图像时，而且在拍摄广角侧的图像时，都启动摄像单元120来提高广角侧的图像的图像质量。
[0062] 成像元件113被穿过透镜111和红外截止滤光片112(其阻断红外区域)的光照射。成像元件113例如是CMOS图像传感器。多个单位像素(在某些情况下将简称为“像素”)以矩阵形式二维布置。成像元件113不限于CMOS图像传感器。各个单位像素包括例如拜耳排布的滤色器。
[0063] 类似地，成像元件123被穿过透镜121和红外截止滤光片122的光照射。成像元件123例如是CMOS图像传感器，并且多个像素以矩阵形式二维布置。成像元件123不限于CMOS图像传感器。各个单位像素包括例如拜耳排布的滤色器。
[0064] 从成像元件113输出的像素的信号通过A/D转换部114从模拟信号转换为数字信号。类似地，从成像元件123输出的像素的信号通过A/D转换部124从模拟信号转换为数字信号。在钳位部115和钳位部125对这些类型的数据执行黑电平校正处理之后，将这些类型的数据提供给存储部130。这里，成像元件113和成像元件123可以具有内置在其中的A/D转换部。
[0065] 存储部130包括例如帧存储器。存储部130按以矩阵形式布置的像素的行(线)为单位或者以帧为单位存储从成像元件113和成像元件123输出的数据。该存储部130包括控制帧存储器的存储器控制部(未示出)。存储部130在存储器控制部的控制下在帧存储器中写入或读取数据。
[0066] 双镜头组合部132执行对从成像元件113和成像元件123输出的数据进行组合的处理。双镜头组合部132除了执行数据的组合之外还执行去马赛克处理。线性矩阵部134对从双镜头组合部132输出的数据进行色彩再现处理。伽马校正部136对从线性矩阵部134输出的数据进行伽马校正处理。亮度色度信号生成部138为从伽马校正部136输出的数据生成亮度信号和色度信号。输出部140将从亮度色度信号生成部138输出的数据输出到外部(例如，显示器等)。
[0067] 通过用户操作未示出的触摸屏上所显示的相机应用用户界面142来设置成像时的倍率。变焦控制部144根据通过相机应用用户界面142设置的倍率的信息选择要驱动的摄像单元。
[0068] 成像元件113包括如同图2中的成像元件13b一样拜耳排布的滤色器。同时，像图2中的成像元件14b一样，成像元件123具有围绕高分辨率像素布置的高灵敏度像素组，以提高颜色分离的能力。成像元件123的像素比成像元件113的像素小。
[0069] 图7是示出根据本公开的实施例的成像元件113和成像元件123的像素的布置的说明图。成像元件113和成像元件123均以使得成像元件113和成像元件123能够以基本相同的视角执行成像的尺寸制造。在本实施例中，在长焦侧拍摄图像的成像元件123因此被配置为具有高灵敏度像素组123b，该高灵敏度像素组123b设置在具有拜耳排布的像素123a周围。该高灵敏度像素组是能够在入射白光时以比像素123a更高的灵敏度来执行成像的一组像素。例如，如下所述，该高灵敏度像素组是具有以下布置的像素组：包括全部为白色的像素或包括部分为白色的像素。
[0070] 换言之，具有与成像元件113的像素的中心部分的视角基本相同的视角的成像元件123的像素123a具有相同的布置(拜耳排布)。在与成像元件113的像素的中心部分的视角之外的区域相同的区域中，成像元件123设置有高灵敏度像素组123b。
[0071] 以此方式，整体上具有拜耳排布的成像元件113和部分具有高灵敏度像素组的成像元件123对同一物体进行成像，从而使得能够提高摄像装置100在广角侧拍摄图像时的图像质量。
[0072] 具有与成像元件113的像素的中心部分的视角相同的视角的成像元件123的像素123a可以具有相同的布置。然而，例如，具有与成像元件113的像素相同的布置的像素123a可以设置在比成像元件113的像素的中心部分的视角大一个像素的区域中。在一般RGB像素与白色像素相邻的部分中，像素数据输出的增加会导致混色。因此，在电子变焦中，可以在与比成像元件123的中心部分的像素123a的像素小一个像素的周边对应的倍率时，切换成像元件113的输出和成像元件123的输出。
[0073] 在本实施例中，已经示出包括两个摄像单元110和摄像单元120的摄像装置100的示例。然而，本公开不限于该示例。可以为摄像装置100设置三个或更多个摄像单元，以增加电子变焦的倍率。
[0074] 这里，参考图8，将描述用于本技术的成像元件的基本示意配置。
[0075] 作为用于本技术的成像元件的第一示例，图8的上部所示的固态成像装置330包括在一个半导体芯片331中的像素区域332、控制电路333和逻辑电路334。逻辑电路334可以包括例如图6所示的双镜头组合部132。
[0076] 作为用于本技术的成像元件的第二示例，图8的中部所示的固态摄像装置340包括第一半导体芯片部341和第二半导体芯片部342。第一半导体芯片部341配备有像素区域343和控制电路344。第二半导体芯片部342配备有逻辑电路345。并且，第一半导体芯片部341电连接到第二半导体芯片部342，构成作为一个半导体芯片的固态摄像装置340。逻辑电路345可以包括例如图6所示的双镜头组合部132。
[0077] 作为用于本技术的成像元件的第三示例，图8的下部所示的固态摄像装置350包括第一半导体芯片部351和第二半导体芯片部352。第一半导体芯片部351配备有像素区域353。第二半导体芯片部352配备有控制电路354和逻辑电路355。并且，第一半导体芯片部
351电连接到第二半导体芯片部352，构成作为一个半导体芯片的固态摄像装置350。逻辑电路355可以包括例如图6所示的双镜头组合部132。
351电连接到第二半导体芯片部352，构成作为一个半导体芯片的固态摄像装置350。逻辑电路355可以包括例如图6所示的双镜头组合部132。
[0078] 接下来，将描述由成像元件113和成像元件123拍摄的图像的组合的概要。图9是示出由成像元件113和成像元件123拍摄的图像的组合的概要的说明图。由成像元件113的像素和除成像元件123的高灵敏度像素组123b之外的像素123a成像的区域被称为区域1。将由成像元件113的像素和成像元件123的高灵敏度像素组123b成像的区域从内侧起称为区域2和区域3。
[0079] 区域1是图像的中心(光学中心附近)的区域，并且受阴影影响较小。因此，双镜头组合部132针对区域1的区域输出由成像元件113产生的输出。
[0080] 同时，区域3的区域是图像的外围区域，并且受阴影影响很大。从成像元件113输出的SN比减小。因此，双镜头组合部132将成像元件113的输出与以高灵敏度成像的成像元件123的输出进行组合，以针对区域3的区域补充成像元件113的输出。双镜头组合部132例如通过使用成像元件123的白色像素作为亮度(Y)信号、使用成像元件113的彩色像素作为颜色(C)信号的技术将成像元件113和成像元件123的输出组合。使用白色像素来增加SN比的技术的示例包括本申请的申请人的JP2012-85334A中所描述的技术。
[0081] 注意，尽管图9用矩形限定了各区域，但是本公开不限于该示例。从图像的中心同心地出现阴影，因此可以将区域1到区域3分别限定为圆形。
[0082] 在本实施例中，两个摄像单元110和摄像单元120位于物理上不同的位置，从而产生差异。因此，双镜头组合部132可以通过在两个摄像单元110和摄像单元120的每个中生成亮度信号并匹配亮度信号来调整组合部分。调整后的组合部分使得由双镜头组合部132组合的图像看起来更加自然。
[0083] 以这种方式，根据本公开的实施例的摄像装置100在由成像元件113的像素和成像元件123的高灵敏度像素组123b成像的区域中执行组合处理，从而使得可以提高所拍摄图像的外围区域的图像质量。在此，在与高灵敏度像素组123b输出的数据进行组合的区域和未与数据进行组合的区域之间，可能产生图像质量的差异，造成视觉上的不适。
[0084] 并且，双镜头组合部132可以在区域1的区域和区域3的区域之间的区域2的区域中以高灵敏度像素组的贡献小于在区域3中的贡献的方式进行组合。此时，双镜头组合部132可以根据图像高度来改变高灵敏度像素组123b的数据的混合比。图10是使用曲线图示出与图像高度相对应的高灵敏度像素组123b的数据的混合比的示例的说明图。在图10的曲线图中，横轴表示图像高度，纵轴表示高灵敏度像素组123b的数据的混合比。注意，图像高度以百分比显示。如图10的曲线图所示，例如，在高灵敏度像素组123b以50％以上的图像高度设置的情况下，在图像高度为50％之前输出由成像元件113得到的输出。然而，一旦超过图像高度的50％，则高灵敏度像素组123b的数据的混合比与图像高度的增加成比例地增加。
[0085] 另外，双透镜组合部132可以根据在设计时预先获得的透镜111和成像元件113的阴影特性等来改变高灵敏度像素组123b的数据的混合比。图11是使用曲线图示出与阴影特性相对应的高灵敏度像素组123b的数据的混合比的示例的说明图。在图11的曲线图中，横轴表示阴影特性，纵轴表示高灵敏度像素组123b的数据的混合比。注意，阴影特性以百分比显示。如图11的曲线图所示，在阴影特性达到大约75％之前根本不使用高灵敏度像素组123b。然而，一旦阴影特性超过大约75％，则高灵敏度像素组123b的数据的混合比与阴影特性的增加成比例地增加。
[0086] 接下来，将描述成像元件113和成像元件123的像素的布置示例。如上所述，成像元件123的高灵敏度像素组123b的像素可以全是白色，或者一些像素可以是白色。图12是示出成像元件123的像素的布置示例的说明图。图12示出了高灵敏度像素组123b的像素都是白色的示例。图13是示出成像元件123的像素的布置示例的说明图。图13示出了高灵敏度像素组123b的一些像素是白色、并且普通RGB像素被设置为剩余像素的示例。
[0087] 另外，在上述示例中，描述了成像元件123而不是成像元件113使用更高清晰度的像素。然而，本公开不限于该示例。当成像元件113和成像元件123中的像素具有相同尺寸时，成像元件113可以布置为同一颜色高两个像素宽两个像素。图14是示出成像元件113的像素的布置示例的说明图。图14示出了布置示例：成像元件113的像素布置为同一颜色高两个像素宽两个像素。成像元件113的像素的这种同一颜色高两个像素宽两个像素的布置，使得光学中心附近的成像元件123的分色能力高于成像元件113的分色能力。另外，例如，如同本申请的申请人的JP2012-28423A中所述的技术，同一颜色高两个像素宽两个像素的这种布置使得每个像素能够改变诸如快门时间等曝光量并扩大动态范围。
[0088] 不将布置在高灵敏度像素组123b中的像素设置为白色像素，而是设置为例如检测红外光的红外像素，可以使成像元件123成为多光谱的。图15是示出成像元件123的像素的布置示例的说明图。图15示出了在布置于高灵敏度像素组123b中像素处不设置白色像素、而是设置例如检测红外光的红外像素的示例。以这种方式设置红外像素使得可以利用从成像元件123输出的数据来识别各种信息。例如，可以利用从成像元件123输出的数据来识别对象。另外，例如，可以利用从成像元件123输出的数据来识别室内光和日光。另外，设置红外像素还可以利用来自成像元件123的数据来识别房间中的各种光源。注意，设置在高灵敏度像素组123b中的像素不限于红外像素。可以将具有RGB之外的诸如黄色或青色等颜色的像素设置在高灵敏度像素组123b中。
[0089] 注意，布置在成像元件123的高灵敏度像素组123b中的像素可以包括白色像素或红外像素中的任一个，或者包括白色像素和红外像素两者。
[0090] 以上示出了成像元件113和成像元件123形成为不同实体的示例，但是本公开不限于该示例。即，可以使用在同一硅基板上形成有以下区域的成像元件：布置有具有普通拜耳排布的像素的区域，以及布置有具有拜耳排布的高清晰度像素和高灵敏度像素组的区域。图16是示出根据本公开的实施例的成像元件150的像素的布置示例的说明图。以此方式，使用具有以下区域的成像元件，双镜头组合部132可以对图像执行如上所述的组合处理：布置有具有普通拜耳排布的像素的区域151，以及布置有具有拜耳排布的高清晰度像素和高灵敏度像素组的区域152。注意，在这种情况下，在成像元件150的前表面上设置两个透镜以使光入射在区域151和区域152中的每一个上。
[0091] <<1.3.操作示例>>
[0092] 接下来，将描述根据本公开的实施例的摄像装置100的操作示例。图17是示出根据本公开的实施例的摄像装置100的操作示例的流程图。图17示出了摄像装置100的操作示例，其中利用两个摄像单元110和摄像单元120根据电子变焦执行成像处理。下面使用图17来描述根据本公开的实施例的摄像装置100的操作示例。
[0093] 一旦用户在摄像装置100中启动了相机应用，摄像装置100首先开始驱动摄像单元110的成像元件113(在图17中称为“成像元件1”)(步骤S101)。
[0094] 当用户使用相机应用用户界面142来设置变焦倍率时(步骤S102)，摄像装置100确定用户设置的倍率是否大于或等于预定值(步骤S103)。步骤S103中的确定处理可以由例如变焦控制部144执行。
[0095] 图18是示出根据用户设置的倍率来切换根据本公开的实施例的摄像装置100的被驱动的成像元件的示例的说明图。在本实施例中，在设定的倍率达到倍率a之前，使用成像元件113(在图18中称为“成像元件1”)进行电子变焦处理。在设定的倍率超过倍率a之后，使用成像元件123(在图18中称为“成像元件2”)来进行电子变焦处理。图17的步骤S103中的确定处理是确定用户设置的该倍率是否超过倍率a。
[0096] 如果步骤S103中的确定结果表明用户设置的倍率大于或等于预定值(步骤S103，是)，则摄像装置100开始驱动摄像单元120的成像元件123(在图17中称为“成像元件2”)(步骤S104)。然后，摄像装置100确定用户是否拉动成像触发器(例如，操作由相机应用用户界面142显示的成像按钮，按下设于摄像装置100的快门按钮等)(步骤S105)。如果拉动了成像触发器(步骤S105，是)，则摄像装置100使用成像元件123的输出来执行成像(步骤S106)。如果没有拉动成像触发器(步骤S105，否)，则摄像装置100返回到上述步骤S102中的处理。
[0097] 相反，如果步骤S103中的确定结果表明用户设置的倍率不大于或等于预定值(步骤S103，否)，则摄像装置100确定用户是否拉动成像触发器(例如，操作由相机应用用户界面142显示的成像按钮，按下设于摄像装置100的快门按钮等)(步骤S107)。
[0098] 如果步骤S107中的确定结果表明拉动了成像触发器(步骤S107，是)，则摄像装置100开始驱动成像元件123(步骤S108)，并且组合成像元件113和成像元件123的输出以执行成像(步骤S109)。成像元件113和成像元件123的输出例如通过双镜头组合部132进行组合。
摄像装置100可以在执行组合时如上所述针对图像的每个区域改变组合比。
摄像装置100可以在执行组合时如上所述针对图像的每个区域改变组合比。
[0099] 注意，在图17所示的流程图中，当成像元件113执行成像时，启动成像元件123。然而，在上述步骤S101中，摄像装置100不仅可以启动成像元件113，而且可以预先启动成像元件123。
[0100] 一旦在上述步骤S106或步骤S109中执行成像，则摄像装置100确定成像是否完成(步骤S110)。在静态成像的情况下，根据一个成像触发器完成成像。例如，在拍摄视频或拍摄多个图像以生成高动态范围(HDR)图像的情况下，根据步骤S110中的该处理来确定成像是否完成。如果成像完成(步骤S110，是)，则摄像装置100终止相机应用。如果成像未完成(步骤S110，否)，则摄像装置100返回到上述步骤S102中的处理。
[0101] 根据本公开的实施例的摄像装置100在预定变焦倍率的区域中利用成像元件113执行成像时，也利用成像元件123执行上述一系列操作以执行成像，并将从成像元件113和成像元件123输出的数据组合。根据本公开的实施例的摄像装置100能够通过组合从成像元件113和成像元件123输出的数据来提高图像的外围部分的图像质量。
[0102] 在本实施例中，已经示出了示例：采用使用滤色器的成像元件。然而，本公开不限于该示例。例如，本公开可类似地应用于使用有机光电转换膜的成像元件。例如，像本申请申请人的JP 2011-29337 A中描述的技术一样，使用包括有机光电转换膜的成像元件使得能够获得包括在垂直方向上分色的更高分辨率的图像。
[0103] 在本实施例中，由成像元件113产生的输出用于预定倍率的区域中图像的中心部分(图9中的区域1)。然而，本公开不限于该示例。图像的中心部分还包括从成像元件123输出的信号，使得可以将成像元件113的输出与成像元件123的输出组合。对应于图像的中心部分的成像元件123的像素123a不是高灵敏度的像素，因此不能期望得到与在外围部分(图9中的区域2和区域3)所期望的效果一样高的效果。但是，可以期望组合多条数据来提高SN比。
[0104] 另外，本公开不限于图7中的成像元件123的像素的布置。例如，如图13所示，在具有普通拜耳排布的像素123a的区域与高灵敏度像素组123b的区域之间可能存在部分包括高灵敏度像素(白色像素)的区域。
[0105] <2.应用示例>
[0106] 根据本实施例的摄像装置100可以用于各种设备。例如，根据本实施例的摄像装置100也可以被包括在头戴式显示装置(即，头戴式显示器)中。
[0107] 图19是示出头戴式显示装置的说明图。图19所示的头戴式显示装置包括图像生成装置1110A和图像生成装置1110B，以及附接到图像生成装置1110A和图像生成装置1110B的透视(半透射)光导1120。从图像生成装置1110A和图像生成装置1110B发出的光入射并被引导到光导1120，并发射到观察者1040的眼睛1041。整个图像生成装置1110A和图像生成装置1110B被容纳在壳体1113中。
[0108] 框架1010包括设置在观察者1040前的前部1010B，通过铰链1011可枢转地附接到前部1010B的两端1010A的两个镜腿部1012，以及附接到各镜腿部1012的尖端部分的镜腿尖端部(也称为镜腿尖端、眼镜脚、或耳垫)1013。联接构件1020附接到前部1010B的中心部分1010C(对应于普通眼镜的桥接部分)，该中心部分1010C位于观察者1040的两眼1041之间。
并且，鼻垫1014附接到联接构件1020的面向观察者1040的一侧上。框架1010和联接构件
1020包括金属或塑料。联接构件1020被成形为弯曲的棒。
并且，鼻垫1014附接到联接构件1020的面向观察者1040的一侧上。框架1010和联接构件
1020包括金属或塑料。联接构件1020被成形为弯曲的棒。
[0109] 另外，从图像生成装置1110A延伸的电线(例如信号线或电源线等)1015经由镜腿部1012和镜腿尖端部1013的内部从镜腿尖端部1013的尖端部分延伸至外部。此外，图像生成装置1110A和图像生成装置1110B均包括耳机部分1016。从图像生成装置1110A和图像生成装置1110B中的每一个延伸的耳机线1017经由镜腿部1012和镜腿尖端部1013的内部从镜腿尖端部1013的尖端部分延伸到耳机部分1016。更具体地，耳机线1017穿过耳廓的背面(耳道)从镜腿尖端部1013的尖端部分延伸到耳机部分1016。这样的配置消除了耳机部分1016和耳机线1017无序布置的印象，而且可以制成整洁的头戴式显示器。注意，附图标记1012a表示镜腿部的封罩构件。附图标记1013a和附图标记1013b表示镜腿尖端部组件。镜腿尖端部组件1013a和镜腿尖端部组件1013b通过螺钉1013c被组装。
[0110] 另外，包括固态成像元件的摄像装置1018附接到前部1010B的中心部分1010C，该固态成像元件包括CCD或CMOS传感器和透镜(未示出)。具体地，中心部分1010C具有通孔。联接构件1020的面对中心部分1010C的通孔的部分具有凹入部分。摄像装置1018设置在该凹入部分内。来自中心部分1010C的通孔的光被透镜会聚在固态成像元件上。来自固态成像元件的信号经由从摄像装置1018延伸的电线(未示出)被发送至图像生成装置1110A。注意，从摄像装置1018延伸的电线通过联接构件1020和前部1010B之间连接至图像生成装置1110A。这样的配置使得摄像装置难以在视觉上识别为被结合到头戴式显示器中。
[0111] 为这样的头戴式显示器设置根据本实施例的包括多个摄像单元的摄像装置100，可以获得高质量的拍摄图像。
[0112] 这里，已经示出了三个装置作为应用示例。然而，应用根据本公开的实施例的摄像装置100的装置不限于该示例。例如，根据本公开的实施例的摄像装置100还可以应用于允许用户体验虚拟现实(VR)或增强现实(AR)的头戴式显示器设备、单反相机、电视相机等。
[0113] <3.结论>
[0114] 如上所述，根据本公开的实施例，可以提供包括多个摄像单元的摄像装置100，摄像装置100能够通过同时使用多个摄像单元来提高拍摄图像的图像质量。
[0115] 由本文描述的每个装置执行的处理中的各个步骤并非必须以顺序图或流程图中描述的顺序按时间顺序执行。例如，可以以与流程图中描述的顺序不同的顺序执行、或者可以并行执行每个装置执行的处理中的各个步骤。
[0116] 还可以编辑一种计算机程序，用于使内置于每个装置中的诸如CPU、ROM和RAM等硬件实现与每个装置的构成元件相同的功能。还可以提供一种存储有计算机程序的存储介质。在功能框图中描述的各个功能块配置有硬件，从而使得能够通过硬件来实现一系列处理。
[0118] 此外，在本说明书中描述的效果仅仅是说明性或示例性效果，而不是限制性的。即，具有或代替上述效果，根据本说明书的描述，根据本公开的技术可以实现对于本领域技术人员显而易见的其他效果。
[0119] 另外，本技术还可以按如下方式构造。
[0120] (1)
[0121] 一种摄像装置，其包括：
[0122] 至少第一成像元件和第二成像元件，所述第一成像元件和第二成像元件均被配置为沿相同方向执行成像，其中，
[0123] 所述第一成像元件或所述第二成像元件中的至少任何一个的中心部分和所述中心部分之外的部分的像素布置不同。
[0124] (2)
[0125] 根据(1)所述的摄像装置，其中，
[0126] 所述第一成像元件在所有部分中具有相同的像素布置，并且
[0127] 所述第二成像元件的所述中心部分和所述中心部分之外的部分的像素布置不同。
[0128] (3)
[0129] 根据(1)或(2)所述的摄像装置，其中，
[0130] 所述第二成像元件包括像素，所述像素的所述中心部分之外的部分具有比所述中心部分的灵敏度更高的灵敏度。
[0131] (4)
[0132] 根据(3)所述的摄像装置，其中，
[0133] 所述第二成像元件具有布置在所述中心部分之外的区域中的像素，所述像素至少包括白色像素。
[0134] (5)
[0135] 根据(4)所述的摄像装置，其中，
[0136] 所述第二成像元件具有布置在所述中心部分之外的所有区域中的白色像素。
[0137] (6)
[0138] 根据(3)所述的摄像装置，其中，
[0139] 所述第二成像元件具有布置在所述中心部分之外的区域中的像素，所述像素至少包括所述中心部分中所不包括的颜色。
[0140] (7)
[0141] 根据(6)所述的摄像装置，其中，
[0142] 所述第二成像元件具有布置在所述中心部分之外的区域中的像素，所述像素包括检测红外光的像素。
[0143] (8)
[0144] 根据(6)或(7)所述的摄像装置，其中，
[0145] 利用所述第二成像元件的所述中心部分之外的区域中的像素来识别信息。
[0146] (9)
[0147] 根据(8)所述的摄像装置，其中，
[0148] 被识别的所述信息是物体。
[0149] (10)
[0150] 根据(8)所述的摄像装置，其中，
[0151] 被识别的所述信息是光源。
[0152] (11)
[0153] 根据(1)至(10)中任一项所述的摄像装置，还包括：
[0154] 组合部，所述组合部被配置为将所述第一成像元件的输出与所述第二成像元件的输出进行组合。
[0155] (12)
[0156] 根据(11)所述的摄像装置，其中，
[0157] 所述组合部根据所述第一成像元件的图像高度改变组合比。
[0158] (13)
[0159] 根据(11)所述的摄像装置，其中，
[0160] 所述组合部根据所述第一成像元件的阴影特性改变组合比。
[0161] (14)
[0162] 根据(1)至(13)中任一项所述的摄像装置，其中，
[0163] 所述第二成像元件的像素比所述第一成像元件的像素小。
[0164] (15)
[0165] 根据(1)至(13)中任一项所述的摄像装置，其中，
[0166] 所述第一成像元件的像素和所述第二成像元件的像素具有相同的尺寸。
[0167] (16)
[0168] 根据(15)所述的摄像装置，其中，
[0169] 所述第一成像元件的像素在高两个像素宽两个像素的单位内具有相同的颜色。
[0170] (17)
[0171] 一种摄像装置，其包括：
[0172] 至少第一成像元件和第二成像元件，所述第一成像元件和第二成像元件均被配置为沿相同方向执行成像，其中，
[0173] 所述第二成像元件的具有与所述第一成像元件的中心部分的视角基本相同的视角的区域具有相同的像素布置，并且所述第二成像元件的具有与所述第一成像元件的所述中心部分之外的部分的视角基本相同的视角的区域具有不同的像素布置。
[0174] 相关申请的交叉引用
[0175] 本申请要求于2017年7月5日提交的日本优先权专利申请JP2017-132134的权益，其全部内容通过引用并入本文中。
[0176] 附图标记列表
[0177] 100 摄像装置
[0178] 110，120 摄像单元
[0179] 111，121 透镜
[0180] 112，122 红外截止滤光片
[0181] 113，123 成像元件
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种用于广角摄像机照明系统的LED自由曲面透镜 | 2020-05-08 | 807 |
| 晶格光片显微镜和在晶格光片显微镜中平铺晶格光片的方法 | 2020-05-08 | 938 |
| 一种手套箱扳手组装检测设备 | 2020-05-08 | 340 |
| 20GHz行波光波导探测器 | 2020-05-08 | 939 |
| 一种光缆线路防鼠装置及光缆线路配套设施防鼠装置 | 2020-05-08 | 53 |
| 一种基于视觉的钢筋参数测量装置及方法 | 2020-05-08 | 223 |
| X射线管阳极靶盘的激光冲击强化方法 | 2020-05-08 | 345 |
| 在大规模MIMO中基于光滑范数的压缩感知信道估计方法 | 2020-05-08 | 99 |
| 激光电视机底座结构及激光电视机 | 2020-05-08 | 363 |
| 单轴延迟器堆栈的广角补偿 | 2020-05-08 | 774 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
光配向热门专利
QQ群二维码
意见反馈
意见反馈