| 热词 | 像素 深度 光电 传感器 传感 图像 抽头 区域 电荷 衬底 | ||
| 专利类型 | 发明授权 | 法律事件 | 公开; 实质审查; 授权; |
| 专利有效性 | 有效专利 | 当前状态 | 授权 |
| 申请号 | CN201310475866.3 | 申请日 | 2013-10-12 |
| 公开(公告)号 | CN103731611B | 公开(公告)日 | 2018-06-15 |
| 申请人 | 三星电子株式会社; | 申请人类型 | 企业 |
| 发明人 | 金庆溢; 权东旭; 金民镐; 李起相; 李相普; 李镇京; 陈瑛究; 崔镇旭; | 第一发明人 | 金庆溢 |
| 权利人 | 三星电子株式会社 | 权利人类型 | 企业 |
| 当前权利人 | 三星电子株式会社 | 当前权利人类型 | 企业 |
| 省份 | 当前专利权人所在省份： | 城市 | 当前专利权人所在城市： |
| 具体地址 | 当前专利权人所在详细地址：韩国京畿道 | 邮编 | 当前专利权人邮编： |
| 主IPC国际分类 | H04N13/254 | 所有IPC国际分类 | H04N13/254 ; H04N13/257 ; G01S17/08 ; G01S17/89 |
| 专利引用数量 | 0 | 专利被引用数量 | 0 |
| 专利权利要求数量 | 17 | 专利文献类型 | B |
| 专利代理机构 | 北京天昊联合知识产权代理有限公司 | 专利代理人 | 陈源; 张帆; |
| 摘要 | 本 发明 涉及深度 传感器 、图像捕获方法和 图像处理 系统，其中由深度传感器执行的图像捕获方法包括步骤：向场景发射具有第一幅度的第一源 信号 ，随后向该场景发射具有不同于第一幅度的第二幅度的第二源信号；响应于第一源信号捕获第一图像，并且响应于第二源信号捕获第二图像；以及对第一图像和第二图像进行内插以便生成最终图像。 | ||
| 权利要求 | 1.一种由深度传感器执行的图像捕获方法，所述方法包括步骤： |
||
| 说明书全文 | 深度传感器、图像捕获方法和图像处理系统[0001] 相关申请的交叉引用 技术领域[0003] 本发明构思总体上涉及传感器以及操作传感器的方法。更具体来说，本发明构思涉及深度信息计算、利用行程时间（TOF）原理的深度传感器、利用深度传感器的图像捕获方法以及包括深度传感器的图像处理系统。 背景技术[0005] 传感器包括光传感器、温度传感器、压力传感器、磁性传感器以及所谓的深度（或距离）传感器。术语“深度传感器”用来指代（作为一种状态类型）检测对象的位置（或相对位置）的一类传感器。传感器可以用来检测某个对象关于特定范围的电磁信号（比如微波信号、可见光信号、红外信号、超声信号等等）的状态。在某些应用中，传感器将与朝向对象发送（或发射）“源信号”或测距信号的“源”相关联。对象于是可以反射源信号的一部分，并且通过深度传感器检测源信号的反射部分。 [0006] 通过这种方式，深度传感器可以利用TOF测量方法来测量对象与传感器之间的深度（或者说范围或距离）。也就是说，深度传感器可以用来测量源信号的发送（或发射）与回到传感器的源信号的反射部分之间的延迟时间。在这一情境中，围绕对象的区域、实际上接收到源信号的发送的区域和/或实际上被传感器检测到的区域可以被称作“场景”。 [0007] 当深度传感器被布置成与场景相对较远时，到达场景的源信号的水平和/或回到深度传感器的源信号的反射部分的水平可能相对较低。源信号的低水平会对源信号的反射部分的信噪比造成负面影响。也就是说，深度传感器将随着源信号的相对较弱的反射部分而接收到相对大量的噪声。 [0008] 与此相对，当深度传感器与场景相对较近时，源信号的反射部分的水平将相对较高，从而提供良好的信噪比。然而不幸的是，许多场景都包含一些远离深度传感器的对象以及靠近深度传感器的其他对象。从同时反射自近距离和远距离对象或场景部分的复杂信号混合捕获图像通常是较为困难的。因此需要一种对由深度传感器所提供的深度信息的总体精度进行提高的方法，特别当这样的深度信息涉及具有靠近及远离深度传感器的多个分开的对象的场景时尤其如此。 发明内容[0009] 根据本发明构思的一方面，提供一种由深度传感器执行的图像捕获方法，所述方法包括：顺序地向场景发射具有不同幅度的源信号；以及根据由场景顺序地反射的各个源信号捕获各幅图像。 [0010] 所述图像捕获方法还可以包括：通过对各幅图像进行内插而生成单一图像。 [0011] 各个源信号当中的具有低幅度的源信号用来捕获场景上的靠近深度传感器的点。各个源信号当中的具有高幅度的源信号用来捕获场景上的远离深度传感器的点。 [0012] 根据本发明构思的另一方面，提供一种深度传感器，其包括：顺序地向场景发射具有不同幅度的源信号的光源；顺序地驱动光源从而使得各个源信号具有不同幅度的光源驱动器；以及检测根据由场景顺序地反射的各个源信号而具有不同像素值的各个像素信号的深度像素。 [0013] 所述深度传感器还可以包括图像信号处理器，其通过使用具有不同像素值的各个像素信号而生成各幅图像。 [0015] 根据本发明构思的另一方面，提供一种图像处理系统，其包括：深度传感器；以及处理由深度传感器输出的像素信号的处理器。 [0018] 图2是可以包括在图1的阵列中的1抽头深度像素的平面图； [0019] 图3是通过沿着I-I'线切割图2的1抽头深度像素而获得的剖面图； [0020] 图4是示出了与图1的深度传感器的操作有关的信号的时序图； [0021] 图5是根据本发明构思的另一个实施例的深度传感器的方框图； [0022] 图6是可以包括在图5的阵列中的2抽头深度像素的平面图； [0023] 图7是通过沿着I-I'线切割图6的2抽头深度像素而获得的剖面图； [0024] 图8是示出了与图5的深度传感器的操作有关的信号的时序图； [0025] 图9是示出了可以由根据本发明的一个实施例的深度传感器执行的图像捕获方法的概念图； [0026] 图10是概括可以由根据本发明构思的一个实施例的深度传感器执行的一种可能的图像捕获方法的流程图； [0027] 图11示出了可以用在本发明构思的某些实施例中的用于三维（3D）图像传感器的单元像素阵列的一个可能实例； [0028] 图12示出了可以用在本发明构思的某些实施例中的用于3D图像传感器的单元像素阵列的另一个可能实例； [0029] 图13是根据本发明构思的一个实施例的3D图像传感器的方框图； [0030] 图14是可以包括图13的3D图像传感器的图像处理系统的方框图； [0031] 图15是可以包括彩色图像传感器和根据本发明构思的一个实施例的深度传感器的图像处理系统的方框图； [0032] 图16是图像处理系统的方框图；以及 [0033] 图17是可以包括根据本发明构思的一个实施例的深度传感器的图像处理系统的方框图。 具体实施方式[0034] 如前所述，图1是根据本发明构思的一个实施例的深度传感器10的方框图。图2是可以包括在图1的阵列22中的1抽头深度像素23的平面图。图3是通过沿着I-I'线切割图2的1抽头深度像素23而获得的剖面图，并且图4是示出了与图1的深度传感器10的操作有关的信号的时序图。 [0035] 一同参照图1、图2、图3和图4，深度传感器10能够利用行程时间（TOF）原理来测量距离或深度。深度传感器10包括：光源32，透镜模块34，以及包括阵列22的半导体芯片20。假设阵列22包括多个1抽头深度像素（检测器或传感器）23。 [0036] 各个1抽头深度像素23被设置在二维矩阵中从而形成阵列22。每一个1抽头深度像素包括光电门110和用于信号处理的多个晶体管。 [0037] 行译码器24可以用来响应于由定时控制器（T/C）26提供的行地址而选择多行的其中之一。每一“行”是在阵列22内的一个任意定义的方向（例如X方向）上的1抽头深度像素的特定设置。 [0038] 光电门控制器（TG CON）28可以用来生成第一光电门控制信号、第二光电门控制信号、第三光电门控制信号和第四光电门控制信号（Ga、Gb、Gc和Gd），并且在定时控制器26的控制下将其提供到阵列22。 [0039] 如图4中所示，在第一光电门控制信号和第三光电门控制信号（Ga与Gc）之间存在90°相位差，在第一光电门控制信号和第二光电门控制信号（Ga与Gb）之间存在180°相位差，并且在第一光电门控制信号和第四光电门控制信号（Ga与Gd）之间存在270°相位差。 [0040] 光源驱动器30可以用来生成能够在定时控制器26的控制下驱动光源32的时钟信号（MLS）。 [0041] 光源32响应于时钟信号向场景40发射已调源信号（EL）。场景40通常可以包括一个或更多目标对象。已调源信号根据光源驱动器30的驱动可以具有不同的幅度。正如在图1中概念化示出的那样，场景40的各个部分（和有关对象）将与深度传感器10分开不同的距离。 [0042] 光源32可以是发光二级管（LED）、有机发光二级管（OLED）、有源矩阵有机发光二级管（AMOLED）和激光二极管当中的一种或更多种。施加到光源的时钟信号和/或由光源32发送的已调源信号可以具有正弦波或方波。 [0043] 光源驱动器30把时钟信号和/或从时钟信号导出的信息提供到光电门控制器28。相应地，光电门控制器28可以用来生成与时钟信号同相的第一光电门控制信号Ga，以及关于时钟信号具有180°相位差的第二光电门控制信号Gb。光电门控制器28还可以用来生成关于时钟信号具有90°相位差的第三光电门控制信号Gc，以及关于时钟信号具有270°相位差的第四光电门控制信号Gd。也就是说，在本发明构思的某些实施例中，可以同步操作光电门控制器28和光源驱动器30。 [0044] 光电门110可以由透明多晶硅形成。在本发明构思的某些实施例中，光电门110可以由氧化铟锡、掺杂锡的氧化铟（ITO）、氧化铟锌（IZO）和/或氧化锌（ZnO）形成。光电门110可以用来透射经由透镜模块34接收到的近红外波长。 [0045] 由光源32提供的已调源信号的各个部分将被场景40中的（多个）对象反射。出于解释的目的，假设图1的场景40包括处在与深度传感器10（例如光源32和/或阵列22）相距三（3）个主要距离Z1、Z2和Z3处的对应对象。一般来说，深度传感器10与场景40中的对象之间的距离“Z”可以被如下计算。 [0046] 如果假设已调源信号具有波形“cosωt”，并且进一步假设由1抽头深度像素23接收到的源信号的反射部分（在下文中称作“反射信号”）（RL）是“cos(ωt+θ)”，其中“θ”是相移或相位差，则可以利用等式1进行TOF计算： [0047] θ=2*ω*Z/C=2*(2πf)*Z/C....（等式1） [0048] 其中C是光速。 [0049] 随后可以利用等式2计算深度传感器10与场景40中的对象之间的距离Z： [0050] Z=θ*C/(2*ω)=θ*C/(2*(2πf))....（等式2） [0051] 可以利用透镜模块34把反射信号聚焦（或入射）到阵列22上。透镜模块34可以被不同地实施为包括一个或更多透镜以及一个或更多光学滤波器（例如红外通过滤波器）的单元。 [0052] 在某些实施例中，深度传感器10可以包括按照一定模式（例如圆圈）围绕透镜模块34设置的多个光源。但是为了便于解释，这里给出的描述性实施例采用单一光源32。 [0053] 可以通过执行N次采样操作（例如4次采样操作）对经由透镜模块34回到阵列22的反射信号进行解调。通过这种方式，适当的采样操作可以从反射信号生成（或检测）采样像素信号（例如图4的像素样本A0、A1、A2和A3）。后面将描述采样像素信号A0、A1、A2或A3的一些附加细节。 [0054] 可以通过等式3来表示通过等式1计算的已调源信号（EL）与反射信号（RL）之间的相移θ： [0055] [0056] 其中可以通过等式4来表示反射信号（RL）的幅度“A”： [0057] [0058] 因此，可以通过图1和图4所示的实例中的已调源信号（EL）的幅度来确定反射信号（RL）的幅度“A”。 [0059] 随后可以通过等式5来表示对应于反射信号（RL）的偏移量“B”： [0060] [0061] 参照图2、图3和图4，在P型衬底100内形成浮动扩散区域114。浮动扩散区域114连接到驱动晶体管S/F的栅极。驱动晶体管S/F（未示出）执行源极跟随器的功能。可以通过掺杂N型杂质形成浮动扩散区域114。 [0062] 在P型衬底100上形成氧化硅层，在氧化硅层上形成光电门110，并且还在氧化硅层上形成传输晶体管112。P型衬底100可以是P掺杂的外延衬底。 [0063] 在积分间隔期间把第一光电门控制信号（Ga）提供到光电门110。这被称作电荷收集操作。传输控制信号（TX）被提供到传输晶体管112的栅极，该传输控制信号（TX）对在光电门110下方的P型衬底100的一个区域内生成的光电荷到浮动扩散区域114的传输进行控制。这被称作电荷传输操作。 [0064] 根据本发明构思的某些实施例，还可以在光电门110与传输晶体管112下方的P型衬底100的各个区域之间的P型衬底100的一个区域内形成桥接扩散区域116。可以用N型杂质掺杂桥接扩散区域116。通过经由光电门110入射到P型衬底100上的源信号生成光电荷。 [0065] 当具有“低”电平（例如1.0V）的传输控制信号（TX）被提供到传输晶体管112的栅极并且具有“高”电平（例如3.3V）的第一光电门控制信号（Ga）被提供到光电门110时，在P型衬底100内生成的光电荷被集中在处于光电门110下方的P型衬底100的区域内，并且该集中的光电荷随后可以被传输到浮动扩散区域114（例如当没有形成桥接扩散区域116时）或者经由桥接扩散区域116被传输到浮动扩散区域114（例如当形成桥接扩散区域116时）。 [0066] 图3示出了“VHA区域”，其中聚集了在把第一光电门控制信号（Ga）提供到第一光电门110时生成的电位或光电荷。 [0067] 当把低传输控制信号（TX）提供到传输晶体管112的栅极并且把低第一光电门控制信号（Ga）提供到光电门110时，在处于光电门110下方的P型衬底100的区域内生成光电荷，但是光电荷不会被传输到浮动扩散区域114。 [0068] 在把第二光电门控制信号Gb、第三光电门控制信号Gc和第四光电门控制信号Gd当中的每一个提供到光电门110时执行的电荷收集操作和电荷传输操作与在把第一光电门控制信号Ga提供到光电门110时所执行的操作类似。 [0069] 虽然在图3中示出的1抽头深度像素23包括安装在光电门110上的微透镜150，但是1抽头深度像素23在某些情况下也可以不包括微透镜150。 [0070] 1抽头深度像素23在一个已定义时间段期间（例如在积分时间期间）聚集光电荷，并且输出根据该聚集的结果生成的相应像素信号A0、A1、A2和A3。可以通过等式6表示由每一个1抽头深度像素23生成的像素信号（Ak）： [0071] [0072] 当第一光电门控制信号（Ga）被输入到1抽头深度像素23的光电门110时，等式6中的“k”的值为“0”。当第三光电门控制信号（Gc）被输入到1抽头深度像素23的光电门110时，等式6中的“k”的值将为“1”。当第二光电门控制信号（Gb）被输入到1抽头深度像素23的光电门110时，等式6中的“k”的值将为“2”，并且当第四光电门控制信号（Gd）关于时钟信号MLS的相位差是270°时，等式6中的“k”的值将为“3”。 [0073] 因此，在等式6中，“ak,n”项表示当施加具有对应于变量“k”的相位差的第N门信号时由1抽头深度像素23生成的光电荷的数量，并且N的自然数值等于(fm*Tint)，其中“fm”是已调源信号（EL）的频率，并且“Tint”表示积分时间段。 [0074] 参照图1，在定时控制器26的控制下，例如相关双采样（CDS）/模拟到数字转换（ADC）电路36之类的数字电路关于由1抽头深度像素23提供的像素信号A0、A1、A2和A3执行CDS操作和ADC操作，以便生成并提供输出数字像素信号。图1中所示的深度传感器10还可以包括有源负载电路（未示出），以用于把通过实施在阵列22中的多条列线输出的像素信号传输到CDS/ADC电路36。存储器38可以用作接收并存储由CDS/ADC电路36提供的数字像素信号的缓冲器。 [0075] 根据图1、图2和图3中示出的实施例，深度传感器10还可以包括图像信号处理器（ISP）39。ISP39可以用来计算从存储在存储器38中的像素信号A0、A1、A2和A3导出的距离信息或深度信息。 [0076] 图5是根据本发明构思的另一个实施例的深度传感器10'的方框图。图6是可以包括在图5的阵列22中的2抽头深度像素23-1的平面图。图7是通过沿着I-I'线切割图6的2抽头深度像素23-1而获得的剖面图，并且图8是示出了与图5的深度传感器10'的操作有关的信号的时序图。 [0077] 参照图5，可以假设深度传感器10'的结构类似于图1的深度传感器10，其不同之处在于在阵列22中提供了2抽头深度像素23-1而不是1抽头深度像素23。因此将省略重复的描述。 [0078] 与前面一样，图5、图6和图7的深度传感器23-1能够利用TOF原理测量距离或深度。 [0079] 可以被二维实地施在阵列22中的每一个2抽头深度像素23-1包括第一光电门110和第二光电门120。每一个2抽头深度像素23-1还包括用于信号处理的多个晶体管。 [0080] 由于图7的深度传感器10'和图1的深度传感器10仅仅在2抽头深度像素23-1和1抽头深度像素23方面是不同的，因此除非另行声明，否则图7中所示的组件和信号的功能和操作与前面描述的可比功能和操作类似。 [0081] 在第一积分间隔期间，第一光电门控制信号（Ga）被提供到第一光电门110，并且第二光电门控制信号（Gb）被提供到第二光电门120。在第二积分间隔期间，第三光电门控制信号（Gc）被提供到第一光电门110，并且第四光电门控制信号（Gd）被提供到第二光电门120。 [0082] 现在参照图5、图6和图7，在P型衬底100内形成第一浮动扩散区域114和第二浮动扩散区域124。 [0083] 第一浮动扩散区域114连接到第一驱动晶体管S/F_A（未示出）的栅极，第二浮动扩散区域124连接到第二驱动晶体管S/F_B（未示出）的栅极。第一驱动晶体管S/F_A和第二驱动晶体管S/F_B当中的每一个都可以执行源极跟随器的功能。第一浮动扩散区域114和第二浮动扩散区域124当中的每一个都可以掺杂有N型杂质。 [0084] 在P型衬底100上形成氧化硅层，在氧化硅层上形成第一光电门110和第二光电门120，并且还在氧化硅层上形成第一传输晶体管112和第二传输晶体管122。可以在P型衬底 100内形成隔离区域130，其用于防止由第一光电门110在P型衬底100内生成的光电荷与由第二光电门120在P型衬底100内生成的光电荷发生干扰。 [0085] P型衬底100可以是P掺杂的外延衬底，并且隔离区域130可以是P+掺杂区域。根据本发明构思的某些实施例，可以通过浅沟槽隔离（STI）或局部硅氧化（LOCOS）形成隔离区域130。 [0086] 在第一积分间隔期间，第一光电门控制信号（Ga）被提供到第一光电门110，并且第二光电门控制信号（Gb）被提供到第二光电门120。第一传输控制信号（TX_A）被提供到第一传输晶体管112的栅极，该第一传输控制信号（TX_A）对在第一光电门110下方的P型衬底100的一个区域内生成的光电荷到第一浮动扩散区域114的传输进行控制。第二传输控制信号（TX_B）被提供到第二传输晶体管122的栅极，该第二传输控制信号（TX_B）在第二光电门120下方的P型衬底100的一个区域内生成的光电荷到第二浮动扩散区域124的传输进行控制。 [0087] 根据图7所示的实施例，可以在第一光电门110与第一传输晶体管112下方的P型衬底100的各个区域之间的P型衬底100的一个区域内形成第一桥接扩散区域116。可以在第二光电门120与第二传输晶体管122下方的P型衬底100的各个区域之间的P型衬底100的一个区域内形成第二桥接扩散区域126。第一桥接扩散区域116和第二桥接扩散区域126可以掺杂有N型杂质。 [0088] 由通过第一光电门110和第二光电门120当中的每一个入射到P型衬底100中的源信号生成光电荷。 [0089] 当把低第一传输控制信号（TX_A）提供到第一传输晶体管112的栅极并且把高第一光电门控制信号（Ga）提供到第一光电门110时，在P型衬底100内生成的光电荷集中在处于第一光电门110下方的P型衬底100的区域内，并且所集中的光电荷被传输到第一浮动扩散区域114（例如当没有形成第一桥接扩散区域116时）或者经由第一桥接扩散区域116被传输到第一浮动扩散区域114（例如当形成第一桥接扩散区域116时）。 [0090] 与此同时，当把低第二传输控制信号（TX_B）提供到第二传输晶体管122的栅极并且把低第二光电门控制信号（Gb）提供到第二光电门120时，在处于第二光电门120下方的P型衬底100的区域内生成光电荷，但是所生成的光电荷不会被传输到第二浮动扩散区域124。这一操作被称作电荷收集操作。 [0091] 在图7中，VHA区域聚集当把高第一光电门控制信号（Ga）提供到第一光电门110时生成的电荷，并且VLB区域聚集当把低第二光电门控制信号（Gb）提供到第二光电门120时生成的电荷。 [0092] 当把低第一传输控制信号（TX_A）提供到第一传输晶体管112的栅极并且把低第一光电门控制信号（Ga）提供到第一光电门110时，在处于第一光电门110下方的P型衬底100的区域内生成光电荷，但是所生成的光电荷不会被传输到第一浮动扩散区域114。 [0093] 与此同时，当把低第二传输控制信号（TX_B）提供到第二传输晶体管122的栅极并且把高第二光电门控制信号（Gb）提供到第二光电门120时，在P型衬底100内生成的光电荷集中在处于第二光电门120下方的P型衬底100的区域内，并且所集中的光电荷被传输到第二浮动扩散区域124（例如当没有形成第二桥接扩散区域126时）或者经由第二桥接扩散区域126被传输到第二浮动扩散区域124（例如当形成第二桥接扩散区域126时）。这一操作被称作电荷传输操作。 [0094] 在图7中，VHB区域聚集当把高第二光电门控制信号（Gb）提供到第二光电门120时生成的电荷，并且VLA区域聚集当把低第一光电门控制信号（Ga）提供到第一光电门110时生成的电荷。 [0095] 在把第三光电门控制信号（Gc）提供到第一光电门110时执行的电荷收集操作和电荷传输操作类似于在把第一光电门控制信号（Ga）提供到第一光电门110时执行的操作。并且在把第四光电门控制信号（Gd）提供到第二光电门120时执行的电荷收集操作和电荷传输操作类似于在把第二光电门控制信号（Gb）提供到第二光电门120时执行的操作。 [0096] 图9是示出了可以由图1的深度传感器10（或者类似地由图5的深度传感器10'）执行的图像捕获方法的图示。 [0097] 参照图1、图4、图5、图8和图9，深度传感器10在第一时间点T1响应于时钟信号向场景40中的一个对象发射具有第一幅度的第一已调源信号（EL'）。其结果是，由场景40中的该对象朝向深度传感器10返回第一反射信号RL'。根据第一已调源信号EL'与第一反射信号RL'之间的所计算的第一相移θ，生成表示深度传感器10与场景40之间的第一距离（或深度）的第一距离（或深度）信息。 [0098] 随后，深度传感器10在第二时间点T2响应于时钟信号向场景40中的该对象发射具有第二幅度（其不同于第一幅度）的第二已调源信号EL''。相应地，从场景40的该对象朝向深度传感器10返回第二反射信号RL''。这里在图9所示的实例中，假设第二幅度大于第一幅度。因此，第一反射信号RL'和第二反射信号RL''的幅度分别对应于第一已调源信号EL'和第二已调源信号EL''的第一幅度和第二幅度。相应地，与第一已调源信号EL'和第一反射信号RL'相比，第二已调源信号EL''和第二反射信号RL''在随后的场景图像显示期间导致更强的图像亮度。换句话说，在该实施例中，幅度对应于亮度，因此幅度越大，亮度就将越强（或“更高”）。 [0099] 具有第一幅度的第一已调源信号EL'可以用来捕获场景40的与深度传感器10相对靠近的“近点”（例如Z1）。而具有第二幅度的第二已调源信号EL''则可以用来捕获场景40的相对远离深度传感器10的“远点”（例如Z3）。 [0100] 通过朝向场景40顺序地发射具有不同幅度的第一已调源信号EL'和第二已调源信号EL''，通过深度像素23检测具有不同像素值的像素信号A0、A1、A2和A3。举例来说，通过对第一反射信号RL'执行四次采样操作而检测到分别具有第一像素值的像素信号A0、A1、A2和A3，并且通过对第二反射信号RL''执行四次采样操作而检测到分别具有第二像素值的像素信号A0、A1、A2和A3。 [0101] 通过第一反射信号RL'检测到的第一像素信号A0的第一像素值可以不同于通过第二反射信号RL''检测到的第一像素信号A0的第二像素值。因此，ISP39利用分别具有第一像素值的像素信号A0、A1、A2和A3生成“第一图像”，并且利用分别具有第二像素值的像素信号A0、A1、A2和A3生成“第二图像”。第一图像是根据具有第一幅度的第一已调源信号EL'生成的，而第二图像则是根据具有第二幅度的第二已调源信号EL''生成的。第一图像中的相对远离深度传感器10的第一点（或第一对象）例如可能由于噪声而失真（或失焦），并且第二图像中的与深度传感器10相对靠近的第二点（或第二对象）例如可能由于噪声而失真（或失焦）。相应地，ISP39生成第一图像和第二图像，并且随后对第一图像和第二图像进行内插以便生成最终图像。最终图像的特征在于大大改进了第一图像和第二图像当中的任一幅的质量。换句话说，改进了用来生成最终图像的距离信息的精度。 [0102] 图10是由根据本发明构思的深度传感器执行的图像捕获方法的流程图。 [0103] 参照图1、图4、图5、图8、图9和图10，光源32朝向场景40顺序地发射分别具有不同幅度的第一已调源信号EL'和第二已调源信号EL''（S10）。光源驱动器30可以驱动光源32顺序地发射第一已调源信号EL'和第二已调源信号EL''。 [0104] 随后，ISP39可以用来捕获从场景40返回的分别对应于第一反射信号RL'和第二反射信号RL''的第一图像和第二图像（S20）。也就是说，深度像素23根据第一反射信号RL'和第二反射信号RL''检测具有不同像素值的第一像素信号和第二像素信号。ISP39利用第一像素信号和第二像素信号捕获第一图像和第二图像。 [0105] 随后，ISP39可以用来通过对第一图像和第二图像进行内插来生成单一（最终）图像（S30）。 [0106] 图11示出了根据一个实例的三维（3D）图像传感器的单元像素阵列522-1。参照图11，单元像素阵列522-1构成图13的像素阵列522的一部分，并且单元像素阵列522-1可以包括红色像素R、绿色像素G、蓝色像素B和深度像素D。深度像素D可以是具有如图1所示的1抽头像素结构的深度像素23，或者是具有如图5所示的2抽头像素结构的深度像素23-1。红色像素R、绿色像素G和蓝色像素B可以被称作RGB彩色像素。 [0107] 红色像素R生成与属于可见光区域的红色区域的波长相对应的红色像素信号，绿色像素G生成与属于可见光区域的绿色区域的波长相对应的绿色像素信号，并且蓝色像素B生成与属于可见光区域的蓝色区域的波长相对应的蓝色像素信号。深度像素D生成与属于红外区域的波长相对应的深度像素信号。 [0108] 图12示出了根据另一个实例的3D图像传感器的单元像素阵列522-2。参照图12，单元像素阵列522-2构成图13的像素阵列522的一部分，并且可以包括两个红色像素R、两个绿色像素G、两个蓝色像素B和两个深度像素D。 [0109] 图11和图12的单元像素阵列522-1和522-2是通过举例的方式示出的，应当认识到特定单元像素阵列的模式和构成该模式的像素可以根据实施例而不同。举例来说，图12的红色R、绿色G和蓝色像素B可以分别由品红色像素、青色像素和黄色像素替代。包括红色R、绿色G和蓝色像素B的彩色像素阵列可以与包括深度像素D的阵列分开。 [0110] 图13是根据本发明构思的一个实施例的三维（3D）图像传感器500的方框图。3D图像传感器500表示能够获得3D图像信息的器件，这是通过把利用包括在图11或图12的单元像素阵列522-1或522-2中的深度像素D来测量深度信息的功能与利用包括在单元像素阵列522-1或522-2中的红色R、绿色G和蓝色像素B来测量每一项颜色信息（例如红色信息、绿色信息或蓝色信息）的功能相组合而实现的。 [0111] 参照图13，3D图像传感器500包括半导体芯片520、光源532和透镜模块534。半导体芯片520包括像素阵列522、行译码器524、定时控制器526、光电门控制器528、光源驱动器530、CDS/ADC电路536、存储器538和ISP539。 [0112] 图13的行译码器524、定时控制器526、光电门控制器528、光源驱动器530、CDS/ADC电路536、存储器538和ISP539的操作和功能分别与图1的行译码器24、定时控制器26、光电门控制器28、光源驱动器30、CDS/ADC电路36、存储器38和ISP39的操作和功能相同，因此除非特别另行声明，否则将省略其详细描述。 [0113] 根据一个实施例，3D图像传感器500还可以包括列译码器（未示出）。列译码器可以对由定时控制器526输出的列地址进行译码，以便输出列选择信号。 [0114] 行译码器524可以生成用于控制包括在像素阵列522中的每一个像素的操作（例如图11或图12的像素R、G、B和D的操作）的控制信号。 [0115] 像素阵列522包括图11或图12的单元像素阵列522-1或522-2。举例来说，像素阵列522包括多个像素。这些像素可以是红色像素、绿色像素、蓝色像素、深度像素、品红色像素、青色像素和黄色像素当中的至少两项的混合。各个像素可以按照矩阵形状被设置在多条行线与多条列线的交叉点处。根据一个实施例，3D图像传感器500可以不包括ISP539。 [0116] 图14是可以合并有图13的3D图像传感器500的图像处理系统600的方框图。参照图14，图像处理系统600可以包括3D图像传感器500和处理器210。 [0117] 处理器210可以控制3D图像传感器500的操作。举例来说，处理器210可以存储用于控制3D图像传感器500的操作的程序。根据一个实施例，处理器210可以访问其中存储有用于控制3D图像传感器500的操作的程序的存储器（未示出），以便运行存储在该存储器中的程序。 [0118] 3D图像传感器500可以在处理器210的控制下基于每一个数字像素信号（例如颜色信息或深度信息）生成3D图像。可以在连接到接口（I/F）230的显示器（未示出）上显示3D图像信息。可以在处理器210的控制下通过总线201把由3D图像传感器500生成的3D图像信息存储在存储器220中。可以利用非易失性存储器来实施存储器220。 [0119] 可以利用用于接收及输出3D图像信息的接口来实施I/F230。根据一个实施例，可以利用无线接口来实施I/F230。 [0120] 图15是可以合并有图1的深度传感器10或图5的深度传感器10'和彩色图像传感器310的图像处理系统700的方框图。参照图15，图像处理系统700可以包括深度传感器10或 10'、包括RGB彩色像素的彩色图像传感器310以及处理器210。 [0121] 虽然为了解释方便而在图15中使得深度传感器10或10'在物理上与彩色图像传感器310分开，但是深度传感器10或10'与彩色图像传感器310也可以包括物理上重叠的信号处理电路。 [0122] 彩色图像传感器310可以表示不包括深度像素而包括具有红色像素、绿色像素和蓝色像素的像素阵列的图像传感器。相应地，处理器210可以基于由深度传感器10或10'预测（或计算）的深度信息以及由彩色图像传感器310输出的每一项颜色信息（例如红色信息、绿色信息、蓝色信息、品红色信息、青色信息或黄色信息的至少其中之一）生成3D图像信息，并且可以在显示器上显示3D图像信息。可以通过总线301把由处理器210生成的3D图像信息存储在存储器220中。 [0123] 图16是可以合并有图1的深度传感器10或图5的深度传感器10'的图像处理系统800的方框图。参照图16，信号处理系统800能够仅仅充当简单的深度（或距离）测量传感器并且包括深度传感器10或10'以及用于控制深度传感器10或10'的操作的处理器210。 [0124] 处理器210可以基于由深度传感器10或10'输出的像素信号计算分别代表信号处理系统800与一个物体（或目标对象）之间的距离或深度的距离信息或深度信息。在这种情况下，深度传感器10或10'可以不包括ISP39。可以通过总线401把由处理器210测量的距离信息或深度信息存储在存储器220中。 [0125] 可以实施I/F410以用于接收和输出深度信息。根据一个实施例，可以利用无线接口来实施I/F410。 [0126] 图14、图15或图16的图像处理系统600、700或800可以被使用在3D距离测量器、游戏控制器、深度摄影机、便携式设备或姿态感测设备中。根据一个实施例，可以利用移动电话、智能电话、平板PC、个人数字助理（PDA）、企业数字助理（EDA）、数字静止摄影机、数字视频摄影机、便携式多媒体播放器（PMP）、个人（或便携式）导航器件（PND）、智能TV、手持式游戏控制台、保安摄影机或电子书来实施图14、图15或图16的图像处理系统600、700或800。 [0127] 图17是可以合并有根据本发明构思的一个实施例的深度传感器的图像处理系统1200的方框图。参照图17，可以利用能够使用或支持移动工业处理器接口 的数据处理设备来实施图像处理系统1200，例如PDA、PMP、移动电话、智能电话或平板PC之类的便携式设备。 [0128] 图像处理系统1200包括应用处理器1210、图像传感器1220以及显示器1230。 [0129] 实施在应用处理器1210中的摄影机串行接口（CSI）主机1212可以通过CSI与图像传感器1220的CSI器件1221串行地通信。根据一个实施例，可以在CSI主机1212中实施去串行化器DES，并且可以在CSI器件1221中实施串行化器SER。图像传感器1220可以是图1的深度传感器10或者是图5的深度传感器10'。 [0130] 实施在应用处理器1210中的显示器串行接口（DSI）主机1211可以通过DSI与显示器1230的DSI器件1231串行地通信。根据一个实施例，可以在DSI主机1211中实施串行化器SER，并且可以在DSI器件1231中实施去串行化器DES。 [0131] 图像处理系统1200还可以包括能够与应用处理器1210通信的射频（RF）芯片1240。应用处理器1210的PHY（物理层）1213和RF芯片1240的PHY1241可以通过MIPI DigRF向/从彼此发送及接收数据。 [0132] 图像处理系统1200还可以包括全球定位系统（GPS）1250、例如动态随机存取存储器（DRAM）之类的存储器1252、利用例如NAND闪存之类的非易失性存储器实施的数据存储器件1254、麦克风（MIC）1256或扬声器1258。 [0133] 图像处理系统1200可以利用至少一种通信协议（或通信标准）与外部设备通信，比如超宽带（UWB）1260、无线局域网（WLAN）1262、全球微波互联接入（WiMAX）1264或者长期演进（LTETM）（未示出）。 [0134] 在根据本发明构思的一个实施例的深度传感器和由所述深度传感器执行的图像捕获方法中，可以朝向一个场景顺序地发射分别具有不同幅度的多个源信号，并且有利地利用其来提高场景的最终图像中的距离信息的精度。 |
||
QQ群二维码
意见反馈
意见反馈