图像传感器、成像单元和生成灰阶图像的方法专利检索-单光子雪崩二极管光电二极管光探测器光电子器件激光与光电专利检索查询-专利查询网

图像 传感器、成像单元和生成灰阶图像的方法

阅读：663发布：2020-05-16

专利汇可以提供图像传感器、成像单元和生成灰阶图像的方法专利检索，专利查询，专利分析的服务。并且一种图像传感器包括时间分辨传感器和处理器。所述时间分辨传感器响应于探测到从物体反射的一个或多个光子而输出一对第一信号与第二信号。第一信号的振幅对所述第一信号的所述振幅和第二信号的振幅的和的第一比率与所探测到的所述一个或多个光子的飞行时间成比例。第二信号的振幅对第一信号的振幅和所述第二信号的所述振幅的和的第二比率与所探测到的所述一个或多个光子的所述飞行时间成比例。所述处理器基于所述一对第一信号与第二信号来确定反射光脉冲的物体的表面反射率且可生成灰阶图像。也提供一种成像单元和一种生成灰阶图像的方法。，下面是图像传感器、成像单元和生成灰阶图像的方法专利的具体信息内容。

权利要求

1.一种图像传感器，包括：
时间分辨传感器，包括至少一个像素，所述时间分辨传感器响应于通过所述至少一个像素探测到与朝物体投射的光脉冲对应的一个或多个光子而输出一对的第一信号与第二信号，所述一个或多个光子是从所述物体反射，所述一对中的所述第一信号的振幅对所述一对中的所述第一信号的所述振幅和所述一对中的所述第二信号的振幅的和的第一比率与所探测到的所述一个或多个光子的飞行时间成比例，且所述一对中的所述第二信号的所述振幅对所述一对中的所述第一信号的所述振幅和所述一对中的所述第二信号的所述振幅的所述和的第二比率与所探测到的所述一个或多个光子的所述飞行时间成比例；以及处理器，基于所述一对的第一信号与第二信号来确定反射所述光脉冲的所述物体的表面反射率。
2.根据权利要求1所述的图像传感器，其中所述处理器还基于所述一对的第一信号与第二信号来确定到所述物体的距离。
3.根据权利要求1所述的图像传感器，其中所述时间分辨传感器响应于对于朝所述物体投射的多个光脉冲而言在所述至少一个像素处探测到一个或多个光子而输出多对的第一信号与第二信号，所述一个或多个光子是从所述物体反射，所述多对的第一信号与第二信号中每一对的第一信号与第二信号与相应光脉冲对应，且
其中所述处理器基于多对的第一信号与第二信号来确定反射所述多个光脉冲的所述物体的表面反射率。
4.根据权利要求3所述的图像传感器，其中所述时间分辨传感器响应于在多个像素中的每一个像素处探测到与朝物体投射的相应光脉冲对应的一个或多个光子而输出所述多对的第一信号与第二信号中每一对的第一信号与第二信号，所述一个或多个光子是从所述物体反射，且
其中所述处理器还基于所述多对的第一信号与第二信号来生成所述物体的灰阶图像。
5.根据权利要求4所述的图像传感器，其中所述处理器生成通过所述多个像素中的预定像素探测到的光子的抵达时间的至少一个直方图以生成所述灰阶图像。
6.根据权利要求书3所述的图像传感器，其中所述时间分辨传感器还包括多个像素，所述多个像素中的至少一个像素包括：
至少一个单光子雪崩二极管，所述至少一个单光子雪崩二极管中的每一个单光子雪崩二极管响应于现用光闸信号而基于探测到入射在所述每一个单光子雪崩二极管上且从所述物体反射的一个或多个光子来生成输出信号；
逻辑电路，耦合到所述至少一个单光子雪崩二极管的所述输出信号，所述逻辑电路用于生成第一使能信号和第二使能信号，所述第一使能信号响应于所述现用光闸信号的开始而为现用且响应于所述至少一个单光子雪崩二极管的所述输出信号而为非现用，且所述第二使能信号响应于所述至少一个单光子雪崩二极管的所述输出信号而为在现用中且响应于所述现用光闸信号的结束而为非现用；以及
差分时间到电荷转换器电路，耦合到所述第一使能信号和所述第二使能信号，所述差分时间到电荷转换器电路包括：
电容装置，具有第一端子和第二端子，所述第二端子耦合到地电压；
第一开关装置，具有第一端子、第二端子和第三端子，所述第一开关装置的所述第一端子耦合到所述电容装置的所述第一端子，所述第一开关装置的所述第二端子耦合到第一浮动扩散节点，所述第一开关装置的所述第三端子耦合到所述第一使能信号，且所述第一开关装置响应于所述第一使能信号而将所述电容装置上的第一电荷转移到所述第一浮动扩散节点；
第二开关装置，具有第一端子、第二端子和第三端子，所述第二开关装置的所述第一端子耦合到所述电容装置的所述第一端子，所述第二开关装置的所述第二端子耦合到第二浮动扩散节点，所述第二开关装置的所述第三端子耦合到所述第二使能信号，且所述第二开关装置响应于所述第二使能信号而将所述电容装置上的剩余电荷转移到所述第二浮动扩散节点；以及
输出电路，用于输出所述一对的第一信号与第二信号，所述第一信号包括第一电压且所述第二信号包括第二电压，所述第一电压是基于所述第一浮动扩散节点上的所述第一电荷，所述第二电压是基于所述第二浮动扩散节点上的所述剩余电荷。
7.根据权利要求6所述的图像传感器，还包括基于斜坡函数改变的驱动信号，所述驱动信号响应于从中探测到所述一个或多个光子的光脉冲的开始时间而开始改变直到所述现用光闸信号结束，如果所述第一使能信号为现用，则所述驱动信号连接到所述第一开关装置的所述第三端子，且如果所述第二使能信号为现用，则所述驱动信号连接到所述第二开关装置的所述第三端子。
8.根据权利要求7所述的图像传感器，其中所述第一电压对所述第一电压和所述第二电压的和的第一比率还与所述一个或多个光子的所述飞行时间减去延迟时间成比例，且所述第二电压对所述第一电压和所述第二电压的所述和的第二比率还与所述一个或多个光子的所述飞行时间减去所述延迟时间成比例，所述延迟时间包括所述光脉冲的传输时间的开始到所述驱动信号开始改变的时间之间的时间。
9.根据权利要求6所述的图像传感器，其中所述电容装置包括电容器或钉扎二极管。
10.一种成像单元，包括：
光源，以朝物体的表面投射的一系列光脉冲照射所述物体；
时间分辨传感器，包括至少一个像素，所述时间分辨传感器与所述光源同步且响应于在所述至少一个像素处探测到与光脉冲对应的一个或多个光子而输出一对的第一信号与第二信号，所述一个或多个光子是从所述物体的所述表面反射，所述一对中的所述第一信号的振幅对所述一对中的所述第一信号的所述振幅和所述一对中的所述第二信号的振幅的和的第一比率与所探测到的所述一个或多个光子的飞行时间成比例，且所述一对中的所述第二信号的所述振幅对所述一对中的所述第一信号的所述振幅和所述一对中的所述第二信号的所述振幅的所述和的第二比率与所探测到的所述一个或多个光子的所述飞行时间成比例；以及
处理器，基于所述一对的第一信号与第二信号来确定到所述物体的距离且基于所述一对的第一信号与第二信号来确定反射所述光脉冲的所述物体的表面反射率。
11.根据权利要求10所述的成像单元，其中所述时间分辨传感器响应于在所述至少一个像素处探测到从所述物体反射的一个或多个光子而输出多对的第一信号与第二信号，所述多对的第一信号与第二信号中的每一对的第一信号与第二信号与朝所述物体投射的多个光脉冲中的相应光脉冲对应，且
其中所述处理器还基于对应的一对的第一信号与第二信号来确定所述物体的多个表面反射率。
12.根据权利要求11所述的成像单元，其中所述处理器还基于所述多个表面反射率来生成所述物体的灰阶图像。
13.根据权利要求12所述的成像单元，其中所述处理器生成通过多个像素中的预定像素探测到的光子的抵达时间的至少一个直方图以生成所述灰阶图像。
14.根据权利要求11所述的成像单元，其中所述时间分辨传感器还包括多个像素，所述多个像素中的至少一个像素包括：
至少一个单光子雪崩二极管，所述至少一个单光子雪崩二极管中的每一个单光子雪崩二极管响应于现用光闸信号而基于探测到入射在所述每一个单光子雪崩二极管上且从所述物体反射的一个或多个光子来生成输出信号；
逻辑电路，耦合到所述至少一个单光子雪崩二极管的所述输出信号，所述逻辑电路用于生成第一使能信号和第二使能信号，所述第一使能信号响应于所述现用光闸信号的开始而为现用且响应于所述至少一个单光子雪崩二极管的所述输出信号而为非现用，且所述第二使能信号响应于所述至少一个单光子雪崩二极管的所述输出信号而为在现用中且响应于所述现用光闸信号的结束而为非现用；以及
差分时间到电荷转换器电路，耦合到所述第一使能信号和所述第二使能信号，所述差分时间到电荷转换器电路输出所述第一信号和所述第二信号。
15.根据权利要求14所述的成像单元，其中所述差分时间到电荷转换器电路包括：
电容装置，具有第一端子和第二端子，所述第二端子耦合到地电压；
第一开关装置，具有第一端子、第二端子和第三端子，所述第一开关装置的所述第一端子耦合到所述电容装置的所述第一端子，所述第一开关装置的所述第二端子耦合到第一浮动扩散节点，所述第一开关装置的所述第三端子耦合到所述第一使能信号，且所述第一开关装置响应于所述第一使能信号而将所述电容装置上的第一电荷转移到所述第一浮动扩散节点；以及
第二开关装置，具有第一端子、第二端子和第三端子，所述第二开关装置的所述第一端子耦合到所述电容装置的所述第一端子，所述第二开关装置的所述第二端子耦合到第二浮动扩散节点，所述第二开关装置的所述第三端子耦合到所述第二使能信号，且所述第二开关装置响应于所述第二使能信号而将所述电容装置上的剩余电荷转移到所述第二浮动扩散节点，
其中所述第一信号包括第一电压且所述第二信号包括第二电压，所述第一电压是基于所述第一浮动扩散节点上的所述第一电荷，所述第二电压是基于所述第二浮动扩散节点上的所述剩余电荷，
其中根据斜坡函数改变的驱动信号响应于从中探测到所述一个或多个光子的第一光脉冲的开始时间而开始改变直到所述现用光闸信号结束，如果所述第一使能信号为现用，则所述驱动信号连接到所述第一开关装置的所述第三端子，且如果所述第二使能信号为现用，则所述驱动信号连接到所述第二开关装置的所述第三端子。
16.根据权利要求15所述的成像单元，其中所述电容装置包括电容器或钉扎光电二极管。
17.一种生成物体的灰阶图像的方法，其中所述方法包括：
从光源朝物体的表面投射一系列光脉冲；
在像素处探测与光脉冲对应的一个或多个光子，所述一个或多个光子是从所述物体的所述表面反射；
由时间分辨传感器响应于探测到所述一个或多个光子而生成一对的第一信号与第二信号，所述时间分辨传感器与所述光源同步，所述一对中的所述第一信号的振幅对所述一对中的所述第一信号的所述振幅和所述一对中的所述第二信号的振幅的和的第一比率与所探测到的所述一个或多个光子的飞行时间成比例，且所述一对中的所述第二信号的所述振幅对所述对中的所述第一信号的所述振幅和所述一对中的所述第二信号的所述振幅的所述和的第二比率与所探测到的所述一个或多个光子的所述飞行时间成比例；
由处理器基于所述一对的第一信号与第二信号来确定到所述物体的距离；以及由所述处理器基于所述一对的第一信号与第二信号来确定所述物体的表面反射率。
18.根据权利要求17所述的方法，还包括：
对于朝所述物体投射的多个光脉冲而言在所述像素处探测从所述物体反射的一个或多个光子，多对的第一信号与第二信号中每一对的第一信号与第二信号与所述一系列光脉冲中的相应光脉冲对应；以及
由所述处理器基于所述多对的第一信号与第二信号中的至少一对来确定所述物体的表面反射率。
19.根据权利要求17所述的方法，还包括：
在多个像素中的每一个像素处探测一个或多个光子，对于从每条扫描线的光源朝所述物体的所述表面投射的所述一系列光脉冲中的对应光脉冲而言，所探测到的所述一个或多个光子中的每一个光子是从所述物体反射；
由所述时间分辨传感器响应于探测到所述一个或多个光子而为每一个像素生成一对的第一信号与第二信号；以及
由所述处理器基于多对的第一信号与第二信号来生成所述物体的灰阶图像。
20.根据权利要求19所述的方法，还包括由所述处理器生成通过所述多个像素中的预定像素探测到的光子的抵达时间的至少一个直方图以生成所述灰阶图像。

说明书全文

图像传感器、成像单元和生成灰阶图像的方法

[0001] [相关申请的交叉参考]

[0002] 本申请主张在2018年7月24日提出申请的美国临时申请第62/702,891号的优先权利，所述美国临时申请的公开内容全文并入本文中供参考。

技术领域

[0003] 本文所公开主题总体来说涉及图像传感器。更具体来说，本文所公开主题涉及一种也可从累加光子探测事件中生成灰阶图像的飞行时间(Time-of-Fight，TOF)图像感测器。

背景技术

[0004] 三维(Three-dimensional，3D)成像系统越来越多地用于各种各样的应用，例如工业生产、视频游戏、计算机图形、机器人外科手术、消费型显示器、监控视频、3D建模、房地产销售等。现有的3D成像技术可例如包括基于飞行时间(TOF)的范围成像、立体视觉系统和结构光(structured light，SL)方法。

[0005] 在TOF方法中，基于已知的光速来分辨到3D物体的距离—通过针对图像的每一点测量光信号在照相机与3D物体之间行进所花费的往返时间。TOF照相机可使用无扫描方法来以每一个激光脉冲或光脉冲俘获整个场景。TOF方法的一些示例性应用可包括先进汽车应用，例如基于实时距离图像进行主动行人安全或碰撞前探测；例如在与视频游戏机上的游戏交互期间跟踪人类的移动；在工业机器视觉中对物体进行分类并帮助机器人找到物品(例如传送带上的物品)，等等。

[0006] 在立体成像系统或立体视觉系统中，使用彼此水平移位的两个照相机来获得关于场景或关于场景中的3D物体的两个不同的视图。通过对这两个图像进行比较，可获得3D物体的相对深度信息。立体视觉在例如机器人学等领域中是非常重要的，以提取关于自主系统/机器人附近的3D物体的相对位置的信息。机器人学的其他应用包括物体辨别，在所述物体辨别中，立体深度信息使得机器人系统能够将机器人原本可能无法区分为两个单独物体的遮掩图像分量分开—例如一个物体在另一物体的前方而使得部分地或完全地隐藏所述另一物体。3D立体显示器也用于娱乐系统和自动化系统。

[0007] 在SL方法中，可使用所投射光图案和成像照相机来测量物体的3D形状。在SL方法中，将已知的光图案(通常为栅格或水平条或者由平行条带形成的图案)投射到场景或场景中的3D物体上。所投射图案在射到3D物体的表面上时可发生变形或移位。这种变形可使得SL视觉系统能够计算物体的深度信息和表面信息。因此，将窄光带投射到3D表面上可产生照射线，所述照射线从除投影仪的视角以外的视角来看可显现为失真的且可用于对被照射的表面形状进行几何重构。基于SL的3D成像可用于不同的应用，例如，由警察用于拍摄3D场景中的指纹、在生产过程期间对组件进行线上检验、在医疗保健中用于对人体形状和/或人类皮肤的微结构进行现场测量。

[0008] 技术问题

[0009] 本发明的目标是提供用于感测以脉冲方式从物体反射的光以生成3D图像与二维(two-dimensional，2D)图像两者的装置和方法。

发明内容

[0010] 示例性实施例提供一种可包括时间分辨传感器和处理器的图像传感器。所述时间分辨传感器可包括至少一个像素且可响应于通过所述至少一个像素探测到与朝物体投射的光脉冲对应的一个或多个光子而输出一对的第一信号与第二信号，所述一个或多个光子是从所述物体反射，其中所述一对中的所述第一信号的振幅对所述一对中的所述第一信号的所述振幅和所述一对中的所述第二信号的振幅的和的第一比率可与所探测到的所述一个或多个光子的飞行时间成比例，且其中所述一对中的所述第二信号的所述振幅对所述一对中的所述第一信号的所述振幅和所述一对中的所述第二信号的所述振幅的所述和的第二比率可与所探测到的所述一个或多个光子的所述飞行时间成比例。所述处理器可基于所述一对的第一信号与第二信号来确定反射所述光脉冲的所述物体的表面反射率。所述处理器还可基于所述一对的第一信号与第二信号来确定到所述物体的距离。在一个实施例中，所述时间分辨传感器可响应于对于朝所述物体投射的多个光脉冲而言在所述像素处探测到从所述物体反射的一个或多个光子而输出多对的第一信号与第二信号，其中每一对的第一信号与第二信号可与相应光脉冲对应，且所述处理器可基于多对的第一信号与第二信号来确定反射所述光脉冲的所述物体的表面反射率。

[0011] 示例性实施例提供一种可包括光源、时间分辨传感器和处理器的成像单元。所述光源可以朝物体的表面投射的一系列光脉冲照射所述物体。所述时间分辨传感器可包括至少一个像素，可与所述光源同步且响应于在所述至少一个像素处探测到与光脉冲对应的一个或多个光子而输出一对的第一信号与第二信号，所述一个或多个光子是从所述物体的所述表面反射，其中所述一对中的所述第一信号的振幅对所述一对中的所述第一信号的所述振幅和所述一对中的所述第二信号的振幅的和的第一比率可与所探测到的所述一个或多个光子的飞行时间成比例，且其中所述一对中的所述第二信号的所述振幅对所述一对中的所述第一信号的所述振幅和所述一对中的所述第二信号的所述振幅的所述和的第二比率可与所探测到的所述一个或多个光子的所述飞行时间成比例。所述处理器可基于所述一对的第一信号与第二信号来确定到所述物体的距离且可基于所述一对的第一信号与第二信号来确定反射所述光脉冲的所述物体的表面反射率。在一个实施例中，所述时间分辨传感器可响应于在所述像素处探测到从所述物体反射的一个或多个光子而输出多对的第一信号与第二信号，其中每一对的第一信号与第二信号可与朝所述物体投射的多个光脉冲中的相应光脉冲对应。所述处理器还可基于对应的一对的第一信号与第二信号来确定反射每一个相应光脉冲的所述物体的多个表面反射率。在一个实施例中，所述处理器还可基于所述多个表面反射率来生成所述物体的灰阶图像。

[0012] 示例性实施例提供一种生成物体的灰阶图像的方法，其中所述方法可包括：从光源朝物体的表面投射一系列光脉冲；在像素处探测与光脉冲对应的一个或多个光子，所述一个或多个光子是从所述物体的所述表面反射；由时间分辨传感器响应于探测到所述一个或多个光子而生成一对的第一信号与第二信号，其中所述时间分辨传感器可与所述光源同步，其中所述一对中的所述第一信号的振幅对所述一对中的所述第一信号的所述振幅和所述一对中的所述第二信号的振幅的和的第一比率可与所探测到的所述一个或多个光子的飞行时间成比例，且所述一对中的所述第二信号的所述振幅对所述一对中的所述第一信号的所述振幅和所述一对中的所述第二信号的所述振幅的和的第二比率可与所探测到的所述一个或多个光子的所述飞行时间成比例；由处理器基于所述一对的第一信号与第二信号来确定到所述物体的距离；以及由所述处理器基于所述一对的第一信号与第二信号来确定反射所述一个或多个光子的所述物体的表面反射率。在一个实施例中，所述方法还可包括对于朝所述物体投射的多个光脉冲而言在所述像素处探测从所述物体反射的一个或多个光子，其中每一对第一信号与第二信号可与所述多个光脉冲中的一个光脉冲对应；以及由所述处理器基于至少一对的第一信号与第二信号来确定反射所述光脉冲的所述物体的表面反射率。在一个实施例中，所述方法还可包括由所述处理器生成通过所述多个像素中的预定像素探测到的光子的抵达时间的至少一个直方图以生成所述灰阶图像。

[0013] 发明有益效果

[0014] 根据本发明，通过向物体投射光脉冲以感测从所述物体反射的光脉冲，所转移的电荷量被转换成第一信号。剩余电荷量被转换成第二信号。基于第一信号和第二信号计算光脉冲的飞行时间并根据飞行时间计算距离以生成3D图像。基于第一信号和第二信号计算所反射的光脉冲的功率并根据所计算出的功率和所计算出的距离计算物体的反射率以生成所述物体的2D灰阶图像。附图说明

[0015] 在以下部分中，将参照在各图中所示的示例性实施例来阐述本文所公开主题的各个方面，在各图中：

[0016] 图1绘示根据本文所公开主题的图像传感器系统的高度简化局部配置。

[0017] 图2绘示根据本文所公开主题的图1中的图像传感器系统的示例性操作配置。

[0018] 图3绘示根据本文所公开主题的可如何执行3D深度测量的示例性实施例的流程图。

[0019] 图4绘示根据本文所公开主题，可如何执行示例性点扫描来进行3D深度测量。

[0020] 图5绘示根据本文所公开主题的像素的示例性实施例的框图。

[0021] 图6A到图6C分别绘示根据本文所公开主题的像素阵列架构的三个不同实例。

[0022] 图7绘示根据本文所公开主题的像素的示例性实施例的电路细节。

[0023] 图8是示例性时序图，其提供对根据本文所公开主题的图7所示像素中的调制式电荷转移机制的概述。

[0024] 图9是根据本文所公开主题的当在像素阵列中使用图7所示实施例中的像素来测量TOF值时，图1和图2所示图像传感器系统中的不同信号的示例性时序的时序图。

[0025] 图10示出根据本文所公开主题，可如何在像素中实现逻辑单元。

[0026] 图11绘示示出根据本文所公开主题的可如何在图1和图2所示图像传感器系统中确定TOF值的示例性流程图。

[0027] 图12是根据本文所公开主题的图像传感器单元的一部分的示例性布局。

[0028] 图13绘示根据本文所公开主题的像素的另一示例性实施例。

[0029] 图14是根据本文所公开主题的当在像素阵列中使用图13中所绘示实施例中的像素来测量TOF值时，图1和图2所示图像传感器系统中的不同信号的示例性时序的时序图。

[0030] 图15绘示根据本文所公开主题的时间分辨传感器的示例性实施例的框图。

[0031] 图16绘示根据本文所公开主题的图15所示时间分辨传感器的单光子雪崩二极管(single-photon avalanche diode，SPAD)电路的示例性实施例的示意图。

[0032] 图17绘示根据本文所公开主题的图15所示时间分辨传感器的逻辑电路的示例性实施例的示意图。

[0033] 图18绘示根据本文所公开主题的图15所示时间分辨传感器的钉扎光电二极管(pinned photodiode，PPD)电路的示例性实施例的示意图。

[0034] 图19绘示根据本文所公开主题的图15所示时间分辨传感器的示例性相对信号时序图。

[0035] 图20绘示根据本文所公开主题的时间分辨传感器的另一个示例性实施例的框图。

[0036] 图21绘示根据本文所公开主题的图20所示时间分辨传感器的第二PPD电路的示例性实施例的示意图。

[0037] 图22绘示根据本文所公开主题的图20所示时间分辨传感器的示例性相对信号时序图。

[0038] 图23绘示根据本文所公开主题的时间分辨传感器的再一个示例性实施例的框图。

[0039] 图24绘示根据本文所公开主题的图23所示时间分辨传感器的示例性相对信号时序图。

[0040] 图25绘示根据本文所公开主题的使用图23所示时间分辨传感器来分辨时间的方法的流程图。

[0041] 图26A绘示从SPAD输出的示例性触发波形。

[0042] 图26B绘示根据本文所公开主题的示例性像素的光子探测时间所可形成的的示例性直方图。

[0043] 图26C绘示根据本文所公开主题的示例性直方图，其中指示表示所投射脉冲(未示出)的半峰全宽(full width at half-maximum，FWHM)的窗口宽度，可在其中确定事件计数最大值。

[0044] 图26D绘示根据本文所公开主题的示例性直方图，其中从SPAD(图26A)输出的触发波形与所述直方图进行卷积以确定事件计数最大值。

[0045] 图27绘示根据本文所公开主题的示例性像素的示例性直方图。

[0046] 图28绘示根据本文所公开主题的生成场景的深度图或范围图以及灰阶图像的示例性方法的流程图。

[0047] 图29A绘示示例性场景。

[0048] 图29B和图29C分别绘示根据本文所公开主题的图29A中所绘示场景所已形成的示例性深度图和示例性灰阶图像。

[0049] 图30绘示根据本文所公开主题的图1和图2中所绘示成像系统的总体布局的示例性实施例。

[0050] [符号的说明]

[0051] 15：系统/成像系统/飞行时间(TOF)系统；

[0052] 17：模块/成像模块；

[0053] 19：模块/处理器/处理器模块/主机；

[0054] 20：模块/存储器/存储器模块/系统存储器/存储器单元；

[0055] 22：光源/模块/投影仪模块/光源模块；

[0056] 24：模块/图像传感器单元；

[0057] 26：物体/3D物体；

[0058] 28：脉冲/所投射脉冲/光信号/光脉冲/脉冲光；

[0059] 29：箭头；

[0060] 30、31：照射路径；

[0061] 33：激光/光源/激光光源/照射源/激光源；

[0062] 34：激光控制器；

[0063] 35：投影光学装置/聚焦透镜；

[0064] 36、38、39：收集路径；

[0065] 37：反射脉冲/收集路径/返回光脉冲/返回脉冲/所接收脉冲/所接收光/返回光；

[0066] 42：图像传感器/阵列/像素阵列/二维(2D)像素阵列；

[0067] 43、601、602、603、604、621、622、623、624、700、1000、1202、1300：像素；

[0068] 44：收集光学装置/聚焦透镜；

[0069] 46：像素处理单元/像素处理电路；

[0070] 50、1100、2800：流程图；

[0071] 52、54、56、58、60、1101、1102、1103、1004、1105、1106、1107：操作；

[0072] 62、64：角运动；

[0073] 66：扫描线SR；

[0074] 68：扫描线SR+1；

[0075] 70、72、73：光点；

[0076] 71：斑点/光点；

[0077] 75：行R/像素行R；

[0078] 76：行R+1；

[0079] 78：照射；

[0080] 80：光点；

[0081] 82：列Ci；

[0082] 84：深度/距离；

[0083] 86：轴/X轴；

[0084] 275：外围存储单元；

[0085] 277：输出装置/显示单元；

[0086] 278：网络接口/网络接口单元；

[0087] 280：电源单元/板载电源单元；

[0088] 501：SPAD核心/SPAD核心部分；

[0089] 502：PPD核心/PPD核心部分；

[0090] 503、1302、1603、2311a、2311n：SPAD；

[0091] 504：第一控制电路；

[0092] 505：传入光；

[0093] 506：输出/SPAD输出/数字SPAD输出/SPAD专有数字输出/信号/输出信号；

[0094] 507：第二控制电路；

[0095] 508、1801、2101：PPD；

[0096] 510：像素专有模拟输出/像素专有输出数据线/像素输出数据线/像素专有输出/PIXOUT信号/PIXOUT数据线/PIXOUT线/Pixout线；

[0097] 600A：架构/2×2像素阵列架构；

[0098] 600B：架构/像素阵列架构/SPAD共享配置；

[0099] 600C：像素阵列架构/4×4像素阵列架构/像素阵列配置；

[0100] 605、641、1001、1311：PPD核心；

[0101] 606、607、608、609、625、642、643、644、645、646、647、648、649、650、1002、1003、1004、1005：SPAD核心；

[0102] 701：光闸/光闸信号/电子光闸/电子光闸信号；

[0103] 702、1319：逻辑单元；

[0104] 703：晶体管/第一N沟道金属氧化物半导体场效晶体管(NMOSFET)/第一NMOS晶体管/第一晶体管；

[0105] 704：晶体管/第二NMOS晶体管/第二晶体管；

[0106] 705：晶体管/第三NMOS晶体管/第三晶体管；

[0107] 706：第四NMOS晶体管/第四晶体管/源极跟随器；

[0108] 707：第五NMOS晶体管/第五晶体管；

[0109] 708：转移使能(TXEN)信号；

[0110] 709：复位(RST)信号/RST脉冲；

[0111] 710：转移电压(VTX)信号；

[0112] 711：TX信号/TX电压；

[0113] 712：浮动扩散(FD)节点/浮动扩散结；

[0114] 713：VPIX信号/像素电压(VPIX)信号；

[0115] 715：选择(SEL)信号；

[0116] 800、900、1400：时序图；

[0117] 801、802：波形；

[0118] 901：时间延迟/延迟时间Tdly/飞行时间Ttof持续时间；

[0119] 902：像素专有TOF值/飞行时间Ttof；

[0120] 903：时间周期/电子光闸接通或现用周期Tsh；

[0121] 904：光闸接通周期；

[0122] 905：PPD预设事件；

[0123] 906：第一浮动扩散复位事件；

[0124] 907：第二FD复位事件；

[0125] 908、909：参考编号；

[0126] 910、1402：事件；

[0127] 1006、1007、1008、1009：框/F(x,y)框；

[0128] 1010、1011、1012：脉冲；

[0129] 1200：图像传感器单元；

[0130] 1201：像素阵列/2D像素阵列；

[0131] 1203：行解码器/行驱动器/处理单元；

[0132] 1204：列解码器/处理单元；

[0133] 1205：像素列单元/处理单元；

[0134] 1206、1207、1208：列专用pixout信号/像素接收PIXOUT信号；

[0135] 1209、1210、1211：行专有集合；

[0136] 1212：输入/行地址输入/控制输入；

[0137] 1213：P1和P2值；

[0138] 1214：列地址输入/控制输入；

[0139] 1301A、1301N：SPAD核心/SPAD；

[0140] 1303：SPAD工作电压/VSPAD电压/信号；

[0141] 1304：电阻元件/电阻器；

[0142] 1305：电容器/耦合电容器；

[0143] 1306、1316：反相器；

[0144] 1307：晶体管/PMOS晶体管；

[0145] 1308：电子光闸信号/光闸输入/光闸/电子光闸；

[0146] 1309：VDD/电源电压VDD；

[0147] 1310：输出/输出线/SPAD输出/SPAD核心/SPAD核心专有输出；

[0148] 1312：SPAD/核心专有SPAD；

[0149] 1313：电阻元件；

[0150] 1315：耦合电容器；

[0151] 1317：PMOS晶体管；

[0152] 1318：输出/SPAD输出/SPAD核心专有输出；

[0153] 1320：晶体管/第一NMOS晶体管/第一晶体管/NMOS晶体管；

[0154] 1321：晶体管/NMOS晶体管/第二NMOS晶体管/TX晶体管；

[0155] 1322：晶体管/NMOS晶体管/第三NMOS晶体管；

[0156] 1323：晶体管/NMOS晶体管/第四NMOS晶体管；

[0157] 1324：晶体管/NMOS晶体管/第五NMOS晶体管；

[0158] 1325：TXEN信号/TXEN输入/内部输入TXEN；

[0159] 1326：RST信号/外部输入RST信号；

[0160] 1327：VTX信号；

[0161] 1328：TX信号/TX波形/TX输入；

[0162] 1329：VPIX信号；

[0163] 1330：SEL信号；

[0164] 1331：浮动扩散(FD)节点/浮动扩散结/FD信号/浮动扩散电压波形；

[0165] 1333：第二TXEN信号/TXENB信号；

[0166] 1334：晶体管/NMOS晶体管/第六NMOS晶体管；

[0167] 1335：地(GND)电势；

[0168] 1336：存储扩散(SD)电容器；

[0169] 1337：晶体管/NMOS晶体管/第七NMOS晶体管；

[0170] 1338：SD节点；

[0171] 1339：第二转移(TX2)信号；

[0172] 1401：转移模式(TXRMD)信号；

[0173] 1403：PPD预设事件；

[0174] 1404：延迟时间Tdly；

[0175] 1405：TOF周期Ttof；

[0176] 1406：光闸关断间隔；

[0177] 1407：光闸接通或现用周期Tsh；

[0178] 1408：光闸接通周期/光闸接通或现用周期Tsh；

[0179] 1409：FD复位事件；

[0180] 1412：第一读出周期；

[0181] 1413：第二读出周期；

[0182] 1500、2000：时间分辨传感器；

[0183] 1501、2001、2301a、2301n：SPAD电路；

[0184] 1503、2003、2303：逻辑电路；

[0185] 1505：PPD电路；

[0186] 1601、2313a、2313n：电阻器；

[0187] 1605：电容器；

[0188] 1607、2317a、2317n：p型MOSFET晶体管；

[0189] 1609、2319a、2319n：缓冲器；

[0190] 1701：锁存器；

[0191] 1703：双输入OR门；

[0192] 1803、2103、2351：第一晶体管；

[0193] 1805、2105、2353：第二晶体管；

[0194] 1807、2107、2355：第三晶体管；

[0195] 1809、2109、2357：第四晶体管；

[0196] 1811、2111、2359：第五晶体管；

[0197] 1900、2200、2400：相对信号时序图；

[0198] 2005：第二PPD电路；

[0199] 2113、2361：第六晶体管；

[0200] 2115、2363：第七晶体管；

[0201] 2117、2365：第八晶体管；

[0202] 2119、2367：第九晶体管；

[0203] 2300：像素/时间分辨传感器；

[0204] 2305：第三PPD电路；

[0205] 2315a、2315n：电容器；

[0206] 2369：第十晶体管；

[0207] 2371：第十一晶体管；

[0208] 2373：第十二晶体管；

[0209] 2375：第十三晶体管；

[0210] 2500：方法；

[0211] 2501、2502、2503、2504、2505、2506、2507、2508、2509：步骤；

[0212] 2600：触发波形；

[0213] 2601、2602、2603、2700：直方图；

[0214] 2602a：窗口宽度；

[0215] 2701：事件M的数量；

[0216] 2702：事件N的数量；

[0217] 2801、2802、2803、2804、2805、2806：步骤；

[0218] 2900：场景；

[0219] 2901：深度图；

[0220] 2902：灰阶图像；

[0221] a、b、c、d：输出/输入；

[0222] Ci：列i/列；

[0223] DE：探测事件；

[0224] d：偏移距离；

[0225] h：距离；

[0226] PIXA、PIXB：像素输出线；

[0227] PIXOUT：像素专有模拟输出/像素专有输出；

[0228] PIXOUT1：像素输出1/信号/电压；

[0229] PIXOUT2：像素输出2/信号/电压；

[0230] q：偏移距离/偏移/位置/参数；

[0231] R、R+1：行；

[0232] SC：电容装置；

[0233] SR、SR+1：线/扫描线；

[0234] Tdly：值/延迟时间参数/延迟时间/参数/延迟/时间延迟周期；

[0235] Tsh：参数/周期/电子光闸接通或现用周期/光闸接通周期/光闸接通或现用周期/电子光闸时间；

[0236] Ttof：值/参数/飞行时间/TOF周期；

[0237] VDD：电压/电源电压/通用电源电压；

[0238] VSPAD：电压/信号/SPAD工作电压；

[0239] X：轴/方向/水平方向；

[0240] XR,i：光点；

[0241] x、y：输入；

[0242] Y：轴/方向/垂直方向；

[0243] Z：轴/深度/距离；

[0244] α、β：角度；

[0245] θ：参数/扫描角度/束角度。

具体实施方式

[0246] 在以下详细说明中，阐述许多具体细节来提供对公开内容的透彻理解。然而，所属领域中的技术人员应理解，无需这些具体细节也可实践所公开的各个方面。在其他情形中，未详细阐述众所周知的方法、流程、组件和电路，以免使本文所公开的主题模糊不清。另外，可实现所阐述的各个方面以在任何成像装置或系统中执行低功率3D深度测量，所述成像装置或系统包括但不限于智能手机、用户设备(User Equipment，UE)和/或膝上型计算机。

[0247] 本说明书通篇中所提及的“一个实施例(one embodiment)”或“实施例(an embodiment)”意指结合所述实施例所阐述的特定特征、结构或特性可包括在本文所公开的至少一个实施例中。因此，在本说明书通篇中各处出现的短语“在一个实施例中(in one embodiment)”或“在实施例中(in an embodiment)”或者“根据一个实施例(according to one embodiment)”(或具有相似含义的其他短语)可能未必均指同一实施例。此外，在一个或多个实施例中，特定特征、结构或特性可以任何适合的方式进行组合。就此来说，本文所用的词“示例性(exemplary)”意指“用作实例、例子或例示”。本文被阐述为“示例性”的任何实施例不应被视为与其他实施例相比必定是优选的或有利的。另外，在一个或多个实施例中，可以任何适合的方式来组合特定特征、结构或特性。另外，根据本文中的论述的上下文而定，单数用语可包括对应的复数形式且复数用语可包括对应的单数形式。类似地，带连字符的用语(例如，“二维(two-dimensional)”、“预定(pre-determined)”、“像素专有(pixel-specific)”等)偶尔可与对应的未带连字符的版本(例如，“二维(two dimensional)”、“预定(predetermined)”、“像素专有(pixel specific)”等)可互换地使用，且大写词条(例如，“逆时针(Counter Clock)”、“行选择(Row Select)”、“PIXOUT”等)可与对应的非大写版本(例如，“逆时针(counter clock)”、“行选择(row select)”、“pixout”等)可互换地使用。这种偶尔的可互换使用不应被视为彼此不一致。

[0248] 另外，根据本文中的论述的上下文而定，单数用语可包括对应的复数形式且复数用语可包括对应的单数形式。还应注意，本文中所示和所论述的各个图(包括组件图)仅是出于说明性目的，而并非按比例绘制。相似地，各种波形和时序图是仅出于说明性目的而示出。举例来说，为清晰起见，可相对于其他元件夸大元件中的一些元件的尺寸。另外，在适当情况下，在各个图中重复使用参考编号来指示对应的元件和/或类似元件。

[0249] 本文所用术语仅是用于阐述一些示例性实施例的目的，而非旨在限制所主张的主题。除非上下文另外清楚地指明，否则本文所用单数形式“一(a、an)”和“所述(the)”旨在也包括复数形式。还应理解，当在本说明书中使用用语“包括(comprises和/或comprising)”时，是指明所陈述特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或其群组的存在或添加。本文所用用语“第一(first)”、“第二(second)”等被用作位于所述用语后面的名词的标签，且除非明确定义，否则所述用语并不隐含着任何类型的次序(例如，空间的、时间的、逻辑的等)。此外，在两个或更多个图中可使用相同的参考编号来指代具有相同或相似的功能的部件、组件、区块、电路、单元或模块。然而，这种用法仅是为了使说明简洁且易于论述起见；所述用法并不隐含着这种组件或单元的构造细节或架构细节在所有实施例中是相同的或者这些通常提及的部件/模块是实现本文所公开示例性实施例中的一些示例性实施例的唯一方式。

[0250] 应理解，当称一元件或层位于另一元件或层上、“连接到”或“耦合到”另一元件或层时，所述元件可直接位于所述另一元件或层上、直接连接到或直接耦合到所述另一元件或层，抑或可存在中间元件或层。相比之下，当称一元件“直接位于”另一元件或层“上”、“直接连接到”或“直接耦合到”另一元件或层时，不存在中间元件或层。通篇中相同的编号指代相同的元件。本文所用用语“和/或”包含相关联列出项中的一个或多个项的任意和所有组合。

[0251] 本文所用用语“第一”、“第二”等用作位于所述用语后面的名词的标签，且除非明确定义，否则所述用语并不暗含着任何类型的次序(例如，空间的、时间的、逻辑的等)。此外，在两个或更多个图中可使用相同的参考编号来指代具有相同或相似的功能的部件、组件、区块、电路、单元或模块。然而，这种用法仅是为了使说明简洁且易于论述起见；所述用法并不隐含着这种组件或单元的构造细节或架构细节在所有实施例中是相同的或者这些通常提及的部件/模块是实现本文所公开示例性实施例中的一些示例性实施例的唯一方式。

[0252] 在本文中，为便于说明，可使用例如“在……之下(beneath)”、“在……下面(below)”、“下方的(lower)”、“在……之上(above)”、“上方的(upper)”等空间相对性用语来阐述图中所示的一个元件或特征与另一(其他)元件或特征的关系。应理解，这些空间相对性用语旨在除图中所绘示取向以外还包含装置在使用或操作中的不同取向。举例来说，如果图中装置被翻转，则被阐述为在其他元件或特征“下面”或“之下”的元件此时将被取向为在其他元件或特征“之上”。因此，用语“在……下面”可包含上方与下方两种取向。所述装置可具有其他取向(旋转90度或其他取向)，且本文所用空间相对性描述语将相应地进行解释。

[0253] 除非另外定义，否则本文所用所有用语(包括技术和科学用语)的含义均与本主题所属领域中的一般技术人员所通常理解的含义相同。还应理解，用语(例如在常用词典中所定义的用语)应被解释为具有与其在相关技术的上下文中的含义一致的含义，且除非在本文中明确定义，否则不应将其解释为具有理想化或过于正式的意义。

[0254] 本文所用用语“模块”指代用以结合模块提供本文所述功能的软件、固件和/或硬件的任意组合。所述软件可实施成软件封装、代码和/或指令集或指令，且本文所述任何实现方案中所用用语“硬件”可单独地或以任意组合方式包括例如硬件电路系统、可编程电路系统、状态机电路系统和/或存储由可编程电路系统执行的指令的固件。所述模块可共同地或单独地实施成电路系统，所述电路系统形成较大系统的一部分，例如(但不限于)集成电路(integrated circuit，IC)、系统级芯片(system on-chip，SoC)等。

[0255] 早先所提及的3D技术具有许多缺点。举例来说，基于TOF的3D成像系统可能需要高的功率以使光闸或电闸工作。这些系统通常在几米到几十米的范围内工作，但这些系统的分辨率在短距离内的测量时降低，从而使得在约一米的距离内进行3D成像几乎是不实际的。因此，TOF系统对于其中主要在近距离处拍摄照片的手机照相机应用而言可能是不合意的。TOF传感器可能还需要具有大的像素尺寸(一般大于7微米(μm))的专有像素。这些像素还可能易于受环境光影响。

[0256] 立体成像方法通常仅对纹理化表面有效。立体成像方法由于需要在物体的立体图像对之间使各特征匹配并找出对应性而具有高计算复杂度。这需要高系统功率，而高系统功率在需要节能的应用中(例如在智能手机中)是不期望的属性。此外，立体成像需要两个常规的高位分辨传感器以及两个透镜，从而使整个装配不适合应用于如其中装置占用面积珍贵的手机或平板计算机(tablet)等便携式装置中。

[0257] SL方法引入距离多义性(distance ambiguity)，而且也需要高系统功率。对于3D深度测量，SL方法可能需要具有多个图案的多个图像—所有这些会增大计算复杂度和功耗。此外，SL成像还可能需要具有高位分辨率的常规图像传感器。因此，基于结构光的系统可能不适合于智能手机中的低成本低功率小型图像传感器。

[0258] 与以上提及的3D技术相比，本文所公开的一些实施例提供用以在例如智能手机、平板计算机、UE等便携式电子装置上实现低功率3D成像系统。根据本文所公开的一些实施例的2D成像传感器在能够在3D深度测量期间抑制环境光的同时，可利用可见光激光扫描同时俘获2D红绿蓝(red,green,blue，RGB)图像与3D深度测量值两者。应注意，尽管以下论述可频繁将可见光激光称为用于点扫描的光源且将2D RGB传感器称为图像/光俘获装置，然而这种说法仅是出于说明性的目的和论述上的一致。以下所论述的基于可见激光和RGB传感器的实例可应用于例如智能手机、平板计算机或UE等具有照相机的低功率消费级移动电子装置中。然而，应理解，本文所公开主题并不仅限于以下提及的基于可见激光RGB传感器的实例。确切来说，根据本文所公开的一些实施例，可使用2D传感器与激光光源(用于点扫描)的许多不同组合来执行基于点扫描的3D深度测量和环境光抑制方法，所述组合例如为(但不限于)：(i)2D彩色(RGB)传感器与可见光激光源，其中激光源可为红(R)光、绿(G)光或蓝(B)光激光、或者产生这些光的组合的激光源；(ii)可见光激光与具有红外(Infrared，IR)截止滤光器的2D RGB彩色传感器；(iii)近红外(Near Infrared，NIR)激光与2D IR传感器；(iv)NIR激光与2D NIR传感器；(v)NIR激光与2D RGB传感器(不具有IR截止滤光器)；(vi)NIR激光与2D RGB传感器(不具有NIR截止滤光器)；(vii)2D RGB-IR传感器与可见激光或NIR激光；(viii)2D红绿蓝白(red,green,blue,white，RGBW)与可见激光或NIR激光；等等。

[0259] 在3D深度测量期间，整个传感器可结合激光扫描而作为二元传感器来工作以重构3D内容。在一些实施例中，所述传感器的像素尺寸可小至1μm。此外，由于位分辨率较低，因此根据本文所公开的一些实施例的图像传感器中的模数转换器(analog-to-digital converter，ADC)单元需要的处理功率可显著低于传统3D成像系统中的高位分辨率传感器所需的处理功率。由于需要较小的处理功率，因此根据本文所公开主题的3D成像模块可需要较低的系统功率且因此，可相当适合于包含在如智能手机等低功率装置中。

[0260] 在一些实施例中，本文所公开主题使用三角测量和点扫描，所述三角测量和点扫描是利用一组线传感器(line sensor)、使用激光光源进行3D深度测量。激光扫描平面与成像平面是使用对极几何形状来取向。根据本文所公开的一个实施例的图像传感器可使用时间戳来去除三角测量方法中的多义性，从而降低深度计算量和系统功率。在正常2D(RGB彩色或非RGB)成像模式与3D激光扫描模式中可使用相同的图像处理器—即所述图像处理器中的每一个像素。然而，在激光扫描模式中，图像传感器中的ADC的分辨率降低为二元输出(仅1位分辨率)，从而使读出速度提高且使例如因在ADC单元中(在包含图像传感器和相关联处理单元的芯片中)进行开关而造成的功耗降低。点扫描方法可使得系统能够一遍完成所有测量，从而降低深度测量延时且减少运动模糊。

[0261] 如上所述，在一些实施例中，整个图像传感器可用于利用例如环境光进行例行2D RGB彩色成像以及利用可见激光扫描进行3D深度成像。同一照相机单元的这种双重用途可节约移动装置的空间和成本。在特定应用中，与近红外(NIR)激光相比，用于3D应用的可见激光可更能保证用户眼睛的安全。所述传感器在可见光谱下的量子效率可比在NIR光谱下的量子效率高，从而使光源的功耗降低。在一个实施例中，两用图像传感器可作为常规2D传感器以线性操作模式工作来进行2D成像。然而，对于3D成像，传感器可在中等照明条件下以线性模式工作且在强环境光下以对数模式工作，以便通过抑制强环境光来促进可见激光源的继续使用。例如，如果与RGB传感器一起采用的IR截止滤光器的通带带宽不够窄，则在NIR激光的情形中也可能需要进行环境光抑制。

[0262] 总之，本公开使用像素中的钉扎光电二极管(PPD)作为时间到电荷转换器(time-to-charge converter，TCC)以确定TOF，所述时间到电荷转换器的振幅调制电荷转移操作是通过来自像素中的多个邻近SPAD的输出来控制。当环境光高时，SPAD可由环境光子而不是(举例来说，反射脉冲37中的)反射光子触发的可能性高。依靠这种触发可能导致范围测量误差。因此，在本发明中，仅当两个或更多个SPAD在极短的预定义时间间隔内被触发时(例如当电子光闸接通时)，PDD电荷转移才被停止以记录TOF。因此，根据本公开的教示内容的全天候自主导航系统可在困难的驾驶条件(例如(举例来说)，低光照、雾天、不好的天气、强环境光等等)下为驾驶员提供改善的视觉。在一些实施例中，根据本公开的教示内容的导航系统可具有高达100千勒克斯(100kLux)的高环境光抑制水平。在一些实施例中，具有较小像素尺寸的高空间分辨率像素架构可以1:1的SPAD/PPD比提供。在一些实施例中，SPAD可偏置成低于其击穿电压，并且可以雪崩光电二极管(avalanche photodiode，APD)模式来使用。

[0263] 图1绘示根据本文所公开主题的成像系统15的高度简化局部配置。系统15可包括成像模块17，成像模块17耦合到处理器模块或主机19且与处理器模块或主机19通信。系统15还可包括耦合到处理器模块19的存储器模块20，以存储例如从成像模块17接收的图像数据等信息内容。在一些实施例中，整个系统15可被包封在单个集成电路(IC)或芯片中。作为另一选择，模块17、19和20中的每一个可在单独的芯片中实现。存储器模块20可包括多于一个存储器芯片，且处理器模块19也可包括多个处理芯片。关于对图1中的模块的封装以及所述模块是如何被制作或实现—在单个芯片中还是在多个离散芯片中—的细节与本论述无关，且因此，本文中不提供这类细节。

[0264] 系统15可为根据本文所公开主题而针对2D照相机应用和3D照相机应用配置的任何低功率电子装置。系统15可为便携式或非便携式的。系统15的便携式版本的一些实例可包括大众化的消费型电子器件，例如(但不限于)移动装置、手机、智能手机、用户设备(UE)、平板计算机、数字照相机、膝上型计算机或桌上型计算机、电子智能手表、机器对机器(Machine-to-Machine，M2M)通信单元、虚拟现实(Virtual Reality，VR)设备或模块、机器人等等。另一方面，系统15的非便携式版本的一些实例可包括电子游戏室中的游戏机、交互式视频终端、汽车、机器视觉系统、工业机器人，VR设备、在车辆中安装在驾驶员侧的照相机(举例来说，用于监视驾驶员是否清醒)等。本文所公开的3D成像功能可用于许多应用，例如(但不限于)，汽车应用(例如全天候自主导航和在低光照或恶劣天气条件下的驾驶员辅助)、人机界面和游戏应用、机器视觉和机器人学应用。

[0265] 在本文所公开的一些实施例中，成像模块17可包括投影仪模块(或光源模块)22和图像传感器单元24。投影仪模块22中的光源可为红外(IR)激光，例如(举例来说)近红外(NIR)激光或短波红外(Short Wave Infrared，SWIR)激光，以使照明不显眼。在其他实施例中，光源可为可见光激光。图像传感器单元24可包括如图2中所绘示的像素阵列和辅助处理电路。

[0266] 在一个实施例中，处理器模块19可为中央处理器(central processing unit，CPU)，其可为通用微处理器。本文所用用语“处理器”和“CPU”可互换地使用。然而，应理解，作为CPU的替代或补充，处理器模块19可含有任何其他类型的处理器，例如(但不限于)微控制器、数字信号处理器(Digital Signal Processor，DSP)、图形处理单元(Graphics Processing Unit，GPU)、特定应用专用集成电路(Application Specific Integrated Circuit，ASIC)处理器等。在一个实施例中，处理器模块/主机19可包括多于一个CPU，所述多于一个CPU可在分布式处理环境中工作。处理器模块19可被配置成根据特定指令集架构(Instruction Set Architecture，ISA)(例如(但不限于)，x86指令集架构(32位版本或64位版本)、 ISA、或不具有联锁流水线级的微处理器(Microprocessor without Interlocked Pipeline Stages，MIPS)指令集架构，所述不具有联锁流水线级的微处理器指令集架构依赖于精简指令集计算机(Reduced Instruction Set Computer，RISC)ISA)来执行指令并处理数据。在一个实施例中，处理器模块19可为除CPU功能以外还具有功能的系统级芯片(SoC)。

[0267] 在一些实施例中，存储器模块20可为动态随机存取存储器(Dynamic Random Access Memory，DRAM)(例如(但不限于)同步动态随机存取存储器(Synchronous DRAM，SDRAM))或基于DRAM的三维堆叠(Three-Dimensional Stack，3DS)存储器模块(例如(但不限于)高带宽存储器(High Bandwidth Memory，HBM)模块或混合存储器立方体(Hybrid Memory Cube，HMC)存储器模块)。在其他实施例中，存储器模块20可为固态驱动器(Solid-State Drive，SSD)、非3DS DRAM模块或任何其他基于半导体的存储系统，例如(但不限于)静态随机存取存储器(Static Random Access Memory，SRAM)、相变随机存取存储器(Phase-Change Random Access Memory，PRAM或PCRAM)、电阻式随机存取存储器(Resistive Random Access Memory，RRAM或ReRAM)、导电桥接随机存取存储器
(Conductive-Bridging RAM，CBRAM)、磁性随机存取存储器(Magnetic RAM，MRAM)或自旋转移力矩磁性随机存取存储器(Spin-Transfer Torque MRAM，STT-MRAM)。

[0268] 图2绘示根据本文所公开主题的图1中的成像系统15的示例性操作配置。系统15可用于获得物体(例如物体26)的范围信息或深度信息(沿Z轴)，所述物体可为单独的物体或者场景(未示出)内的物体。系统15可为其中(像素阵列的)每图像帧可使用单个脉冲的直接TOF成像器。在一些实施例中，可将短脉冲发射到物体26上。在一个实施例中，可由处理器模块19基于从图像传感器单元24接收的扫描数据来确定范围/深度信息。在另一实施例中，可由图像传感器单元24确定范围/深度信息。在一些实施例中，深度信息可由处理器模块19用作3D 用户界面的一部分，以使系统15的用户能够与物体的3D图像交互或者使用物体的3D图像作为在系统15上运行的游戏或另一应用(例如自主导航应用)的一部分。根据本文所公开主题的3D成像也可用于其他目的或应用，且可应用于实质上任何场景或3D物体。

[0269] 在图2中，X轴被视为沿系统15的前部的水平方向，Y轴是垂直方向(在此视图中超出页面)，并且Z轴在被成像的物体26的总体方向上远离系统15延伸。对于深度测量，模块22的光轴和模块24的光轴可平行于Z轴。可使用其它光学排列来实现本文所阐述的原理，并且这些替代排列被视为在本文所公开主题的范围内。

[0270] 投影仪(或光源)模块22可如箭头28和29所指示在光学视场(field of view，FOV)内照射物体26，箭头28和29与对应的虚线30和31相关联，虚线30和31表示可用于对物体26进行点扫描的光束或光学辐射的照射路径。可使用光学辐射源来对物体表面执行逐行点扫描，在一个实施例中，光学辐射源可为由激光控制器34操作和控制的激光光源33。在激光控制器34的控制下，来自激光源33的光束可通过投影光学装置35在X-Y方向上横跨物体26的表面进行点扫描。点扫描可沿扫描线在物体的表面上投射光点，如参考图4更详细地论述。投影光学装置35可为聚焦透镜、玻璃/塑料表面或其他将来自激光33的激光束集中为物体
26的表面上的点或斑点的圆柱形光学元件。在图2中所绘示的实施例中，凸出结构被示为聚焦透镜35。然而，可为投影光学装置35选择任何其他适合的透镜设计。物体26可放置在聚焦位置，来自光源33的照射光在聚焦位置被投影光学装置35聚焦为光点。因此，在点扫描中，可通过来自投影光学装置35的聚焦光束依序照射物体26的表面上的点或窄区域/斑点。

[0271] 在一些实施例中，光源(或照射源)33可为二极管激光、或发出可见光的发光二极管(Light Emitting Diode，LED)、NIR激光、点光源、可见光谱中的单色照射源(例如，白灯与单色器的组合)、或任何其他类型的激光光源。激光33可固定在系统15的壳体内的一个位置中，但可在X-Y方向上旋转。激光33可为X-Y可寻址的(举例来说，通过激光控制器34)，以对3D物体26执行点扫描。在一个实施例中，可见光可为实质上绿色的光。来自激光源33的可见光照射可使用镜(未示出)投射到3D物体26的表面上，或者点扫描可为完全无镜式。在一些实施例中，光源模块22可包括比图2中所绘示的示例性实施例中所示的组件多或少的组件。

[0272] 在图2所示实施例中，从对物体26的点扫描反射的光可沿由箭头36和37以及虚线38和39指示的收集路径行进。光收集路径可携载在从激光源33接收到照射时从物体26的表面反射或由物体26的表面散射的光子。此处，应注意，图2中(以及图4中，如果适用的话)使用实线箭头和虚线绘示各种传播路径仅是出于说明性目的，且所述绘示不应被理解为绘示任何实际的光信号传播路径。实际上，照射信号路径和收集信号路径可不同于图2中所示路径，且可不像图2中绘示的那样被清晰地界定。

[0273] 从被照射物体26接收的光可通过图像传感器单元24中的收集光学装置44聚焦到2D像素阵列42的一个或多个像素上。如同投影光学装置35，收集光学装置44可为聚焦透镜、玻璃/塑料表面或其他将从物体26接收的反射光集中到阵列42中的一个或多个像素上的圆柱形光学元件。在图2中所绘示的实施例中，凸出结构被示为聚焦透镜44。然而，可为收集光学装置44选择任何其他适合的透镜设计。尽管像素阵列42被绘示成仅为图2中的3×3像素阵列，然而应理解，现代的像素阵列可含有数千个或甚至数百万个像素。像素阵列42可为RGB像素阵列，其中不同像素可收集不同颜色的光信号。在一些实施例中，像素阵列42可为任何2D传感器，例如(但不限于)具有IR截止滤光器的2D RGB传感器、2D IR传感器、2D NIR传感器，2D RGBW传感器、2D RGB-IR传感器。系统15可使用相同的像素阵列42来对物体26(或含有所述物体的场景)进行2D RGB彩色成像以及对物体26进行3D成像(涉及深度测量)。

[0274] 像素阵列42可将所接收的光子转换成对应的电信号，所述电信号接着由相关联的像素处理单元46处理以确定物体26的3D深度图像。在一个实施例中，像素处理单元46可使用三角测量来进行深度测量。随后参照图4论述三角测量方法。像素处理单元46还可包括用于控制像素阵列42的操作的电路。

[0275] 处理器19可控制光源模块22和图像传感器单元24的操作。举例来说，系统15可具有模式开关(未示出)，所述模式开关可由用户控制以从2D成像模式切换到3D成像模式。如果用户使用模式开关选择2D成像模式，则处理器19可激活图像传感器单元24，但可不激活光源模块22，这是因为2D成像可使用环境光。另一方面，如果用户使用模式开关选择3D成像模式，则处理器19可激活模块22和24两者，且举例来说，如果环境光太强而被线性模式抑制(如以下进一步阐述)，则处理器19也可触发像素处理单元46中的复位(RST)信号的电平的变化以从线性模式切换到对数成像模式。从像素处理单元46接收的经处理图像数据可由处理器19存储在存储器20中。处理器19还可在系统15的显示屏(未示出)上显示用户选择的2D图像或3D图像。处理器19可以软件或固件被编程，以实施本文中所阐述的各种处理任务。作为另一选择或另外，处理器19可包括用于实施处理器19的功能中的一些或全部的可编程硬件逻辑电路。在一些实施例中，存储器20可存储程序代码、查找表和/或中间计算结果，以使处理器19能够提供处理器19的功能。

[0276] 图3绘示根据本文所公开主题的可如何执行3D深度测量的示例性实施例的流程图50。图3中所绘示的各种操作可由系统15中的单个模块或者模块或系统组件的组合执行。将特定任务阐述为由特定模块或系统组件执行仅是用来举例。其他模块或系统组件可被适合地配置成执行这类任务。

[0277] 在图3中，在操作52处，系统15(更具体来说，处理器19)可使用光源(例如光源模块22)沿扫描线对3D物体(例如图2中的物体26)执行一维(one-dimensional，1D)点扫描。作为点扫描的一部分，可通过例如处理器19来配置光源模块22，以逐行方式在3D物体26的表面上投射一系列光点。在操作54处，系统15中的像素处理单元46可选择图像传感器(例如2D像素阵列42)中的一行像素。图像传感器42可具有排列成2D阵列从而形成图像平面的多个像素，所选择的一行像素在图像平面上形成扫描线的对极线(epipolar line)(在操作52处)。
以下参照图4提供对对极几何形状的简要论述。在操作56处，可由处理器19操作地配置像素处理单元46以使用所述一行像素中的对应像素来探测每一个光点。应注意，例如，如果从被照射斑点反射的光被收集光学装置44聚焦到两个或更多个邻近像素上，则可通过单个像素或多于一个像素来探测从被照射光点反射的光。还有一种可能是，可在2D像素阵列42中的单个像素处收集从两个或更多个光点反射的光。可使用基于时间戳的方法去除由相同像素对两个不同斑点的成像或由两个不同像素对单个斑点的成像所造成的与深度计算有关的多义性。在操作58处，像素处理单元46(如由处理器19适合地配置)可响应于对所述一系列光点(在操作52处的点扫描中)中的对应光点的像素专有探测(在操作56处)而生成像素专有输出。因此，在操作60处，像素处理单元46可至少基于像素专有输出(在操作58处)以及光源投射对应光点(在操作52处)所使用的扫描角度来确定到3D物体的表面上的对应光点的
3D距离(或深度)。参照图4更详细地论述深度测量。

[0278] 图4绘示根据本文所公开主题，可如何执行示例性点扫描来进行3D深度测量。在图4中，激光源33的X-Y旋转能力由箭头62和64指示，箭头62和64绘示激光在X方向(具有角度β)和Y方向(具有角度α)上的角运动。在一个实施例中，激光控制器34可基于从处理器19接收的扫描指令/输入来控制激光源33的X-Y旋转。举例来说，如果用户选择3D成像模式，则处理器19可配置和控制激光控制器34以启动对面向投影光学装置35的物体表面的3D深度测量。作为响应，激光控制器34可通过激光光源33的X-Y运动来启动对物体表面的1D X-Y点扫描。如图4中所绘示，激光33可通过沿1D水平扫描线(其中的两条扫描线SR 66和SR+1 68由图
4中的虚线指示)投射光点来对物体26的表面进行点扫描。由于物体26的表面的曲率，光点
70到73可形成图4中的扫描线SR 66。形成扫描线SR+1 68的光点未使用参考编号指示。举例来说，激光33可沿行R、R+1等在从左到右的方向上一次一个斑点地扫描物体26。R、R+1等的值是参照2D像素阵列42中的像素行且是已知的。举例来说，在图4中的2D像素阵列42中，像素行R是使用参考编号75指示且行R+1是使用参考编号76指示。应理解，从所述多个像素行中选择行R和R+1仅是出于说明性目的。

[0279] 含有2D像素阵列42中的像素行的平面可称为图像平面，而含有扫描线(例如线SR和SR+1)的平面可称为扫描平面。在图4中所绘示的实施例中，使用对极几何形状对图像平面和扫描平面进行取向，使得2D像素阵列42中的每一个像素行R、R+1等形成对应扫描线SR、SR+1等的对极线。如果(扫描线中的)被照射斑点在图像平面上的投影可沿一条线(也就是行R本身)形成不同的点，则像素行R可被视为是对应扫描线SR的对极。举例来说，在图4中，箭头78指示由激光33照射光点71，而箭头80指示由聚焦透镜44沿行R 75成像或投射的光点71。尽管图4中未示出，然而光点70到73中的所有光点将通过行R中的对应像素成像。因此，在一个实施例中，激光33和像素阵列42的物理排列(例如位置和取向)可为使得可通过像素阵列42中的对应行中的像素俘获或探测物体26的表面上的扫描线中的被照射光点，其中此像素行形成扫描线的对极线。

[0280] 2D像素阵列42中的像素可排列成行和列。被照射光点可通过像素阵列42中的对应的行和列来引用。举例来说，在图4中，扫描线SR中的光点71被指定为XR,i以指示斑点71可通过像素阵列42中的行R和列i(Ci)成像。列Ci是由虚线82指示。其它被照射斑点可以相似的方式来识别。如前所述，可能的是，从两个或更多个光点反射的光可被一行中的单个像素接收，或者作为另一选择，从单个光点反射的光可被一像素行中的多于一个像素接收。可使用基于时间戳的方法去除由这类多重投影或重叠投影引起的深度计算中的多义性。

[0281] 在图4所示绘示中，具有参考编号84的箭头表示光点71相对于沿着系统15的前部的X轴(例如图2中所指示的X轴)的深度或距离Z(沿Z轴)。在图4中，具有参考编号86的虚线表示这种轴，其可被想象成包含在也含有投影光学装置35和收集光学装置44的垂直平面中。然而，为便于对基于三角测量的方法进行解释，在图4中将激光源33示为位于X轴86上而不是投影光学装置35上。在基于三角测量的方法中，可使用以下方程式确定Z的值：

[0282]

[0283] 其中h是收集光学装置44与图像传感器42之间沿Z轴的距离，图像传感器42被假定为位于收集光学装置44后面的垂直平面中；d是光源33与和图像传感器单元24相关联的收集光学装置44之间的偏移距离；q是收集光学装置44与探测对应光点的像素之间的偏移距离(在图4所示实例中，探测/成像像素i是由与光点XR,i 71相关联的列Ci表示)；并且θ是所考虑到的光点(在图4所示实例中，为光点71)的光源的扫描角度或束角度。作为另一选择，q也可被视为在像素阵列42的视场内光点的偏移。图4中也指示方程式(1)中的参数。

[0284] 应从方程式(1)中看出，仅参数θ和q对于给定的点扫描是可变的，且h和d基本上是基于系统15的物理几何形状而预定的或固定的。由于行R 75是扫描线SR的对极线，因此物体26的深度差或深度轮廓可通过水平方向上的图像移位(如由被成像的不同光点的q的值表示)来反映。可使用基于时间戳的方法来寻找所俘获光点的像素位置与激光源33的对应扫描角度之间的对应关系。也就是说，时间戳可表示q的值与θ的值之间的关联。因此，根据扫描角度θ的已知值和被成像的光点的对应位置(如由q表示)，可使用三角测量方程式(1)来确定到此光点的距离Z。用于距离测量的三角测量在相关文献中也有所阐述，所述相关文献包括例如颁予布朗(Brown)等人的美国专利申请公开案第2011/0102763A1号(布朗)。因此，与基于三角测量的距离测量有关的布朗公开案的公开内容全文并入本文中供参考。

[0285] 图5绘示根据本文所公开主题的像素(例如图2所示像素阵列42中的像素43)的示例性实施例的方块图。对于TOF测量，像素43可作为时间分辨传感器来工作。如图5中所绘示，像素43可包括电连接到PPD核心部分502的SPAD核心部分501。图6A到图6C中绘示如本文所公开的像素中的SPAD核心排列和PPD核心排列的不同示例性配置。SPAD核心部分501可包括可操作地连接到第一控制电路504的两个或更多个SPAD 503。SPAD 503中的一个或多个可接收传入光505并生成对应的SPAD专有电信号，所述SPAD专有电信号由第一控制电路504处理以生成SPAD专有数字输出。所有这类SPAD专有数字输出在图5中由箭头506共同地、符号化地绘示。PPD核心502可包括耦合到PPD 508的第二控制电路507。第二控制电路507可接收SPAD输出506并作为响应而控制从PPD 508进行的电荷转移以生成像素专有模拟输出(PIXOUT)数据线510。更具体来说，如以下更详细地论述，仅当像素43中的邻近SPAD 503中的两个或多个在预定时间间隔内探测到传入光505中的(反射)光子时，从PPD 508进行的电荷转移才被第二控制电路507停止以便记录TOF值和到3D物体26的对应范围。换句话说，至少两个邻近SPAD 503的输出之间的时空相关性被用来控制PPD 508的操作。对于像素43，SPAD 503执行感光功能，而PPD 508用作TCC而非感光元件。(返回光脉冲37的)反射光子与所传输的脉冲28相关(与不相关的环境光子相比)，因此控制从PPD 508进行的电荷转移是基于在预定时间间隔内触发两个或更多个邻近SPAD，使得通过抑制环境光子而在强环境光条件下提供图像传感器单元24的改善性能，从而实质上防止范围测量误差。

[0286] 图6A到图6C分别绘示根据本文所公开主题的像素阵列架构的三个不同实例。图6A到图6C中所示的像素阵列架构中的任意一个像素阵列架构可用于实现图2所示像素阵列42。图6A中绘示示例性2×2像素阵列架构600A，其中每一个像素601到604(在一些实施例中可表示图5中的像素43)包括一个像素专有PPD核心和四个像素专有SPAD核心。为简单起见，仅识别像素601的PPD核心和SPAD核心，其中PPD核心是由参考编号605指示且SPAD核心是由参考编号606到609指示。

[0287] 由于每一个像素在给定尺寸的半导体管芯上占用物理空间，因此图6A中所绘示的架构600A可被视为低(空间)分辨率架构。因此，与图6B中所绘示的示例性架构600B相比，可在管芯上的像素阵列中形成相对更少的像素数量，示例性架构600B提供较高分辨率3×3像素阵列架构。在图6B中的较高分辨率架构600B中，一个SPAD核心由四个(2×2)邻近PPD核心共享。举例来说，在图6B中，SPAD核心625被绘示为由邻近像素621到624的PPD核心共享(在一些实施例中，像素621到624中的每一个像素可表示图5中的像素43)。为简单起见，不以参考编号来识别图6B中的像素阵列架构600B中的其他组件。图6B中的像素阵列架构600B的配置提供像素中的PPD与和所述像素相关联的SPAD之间的有效比1:1，在像素阵列架构600B中，其中四个邻近像素之间共享一个SPAD。

[0288] 如图6C中的像素阵列架构600C所绘示，这种共享可扩展为3×3共享或更多。图6B中所绘示的SPAD共享配置600B为像素阵列提供高(空间)分辨率架构，这是因为如果每一个SPAD在管芯上的相邻像素之间被共享，则在像素阵列中可形成更多的像素，从而在管芯上腾出更多可用的空间以容纳更多的像素。另外，由于图6B中的像素阵列架构600B中的像素具有与呈2×2配置的四个SPAD核心相关联的单个PPD核心，因此每一个像素可探测多达四个重合光子(即每SPAD一个光子)。

[0289] 图6A和图6B绘示示例性像素阵列架构，在所述示例性像素阵列架构中，PPD和SPAD可在单个管芯中实现。也就是说，SPAD与PPD在管芯中处于相同的水平高度。相反，图6C绘示示例性4×4像素阵列架构600C，在4×4像素阵列架构600C中，像素可在堆叠管芯中实现。举例来说，SPAD核心可在上部管芯中实现，且PPD核心(和读出电路)可在下部管芯中实现。因此，PPD和SPAD可位于两个不同的管芯上，这两个不同的管芯可进行堆叠且这些管芯上的电路元件(PPD、SPAD、晶体管等)可通过导线或金属凸块电连接。如同图6B中的架构600B，图6C中的像素阵列架构600C也可提供高分辨率架构，在所述高分辨率架构中，单个SPAD核心可由九个(3×3)邻近PPD核心共享。等效地，如图6C中所示，单个PPD核心(例如PPD核心641)可与九个SPAD核心(例如SPAD核心642到650)相关联以形成单个像素。SPAD核心642到650也可由其他像素共享。为简单起见，不以图6C中的参考编号指示其他像素、它们的PPD核心和相关联的SPAD核心。另外，由于图6C中的像素阵列架构600C中的像素具有与呈3×3配置的九个SPAD核心相关联的单个PPD核心，因此每一个像素可探测多达九个重合光子(即每SPAD一个光子)。

[0290] 图7绘示根据本文所公开主题的像素700的示例性实施例的电路细节。图7中所绘示的像素700可为图2和图5中所绘示的更一般的像素43的实例。可向每一个像素提供电子光闸信号701(如随后参照图8、图9和图14中的时序图更详细地论述)，以使像素700能够以时间相关方式俘获由返回光脉冲37造成的像素专有光电子。更一般来说，像素700可被视为具有电荷转移触发部分、电荷生成与转移部分和电荷收集与输出部分。电荷转移触发部分可包括SPAD核心501和逻辑单元702。电荷生成与转移部分可包括PPD 508、第一N沟道金属氧化物半导体场效晶体管(N-channel Metal Oxide Semiconductor Field Effect Transistor，NMOSFET或NMOS晶体管)703、第二NMOS晶体管704和第三NMOS晶体管705。电荷收集与输出部分可包括第三NMOS晶体管705、第四NMOS晶体管706和第五NMOS晶体管707。在一些实施例中，图7中的像素700中的PPD核心和图13中的像素1300可由P沟道金属氧化物半导体场效晶体管(P-channel Metal Oxide Semiconductor Field Effect Transistor，PMOSFET或PMOS晶体管)或者其他不同类型的晶体管或电荷转移装置形成。另外，本文所述像素700的各个部分仅是出于说明性目的和论述目的。在一些实施例中，与本文所述电路元件相比，所述部分可包括更多、更少和/或不同的电路元件。

[0291] PPD 508可与电容器相似地存储电荷。在一个实施例中，PPD 508可被覆盖且因此不对光作出响应。因此，PPD 508可用作TCC而非感光元件。然而，如前所述，感光功能可通过SPAD核心501中的SPAD来实现。在一些实施例中，在图7和图13所示像素配置中可使用光门或其它半导体装置(具有适合的修改)来代替PPD。

[0292] 电荷转移触发部分可在电子光闸信号701的控制下生成转移使能(Transfer Enable，TXEN)信号708，以触发存储在PPD 508中的电荷的转移。SPAD可探测从物体(例如图2中的物体26)发射和反射的光脉冲中的光子(本文称为“光子探测事件”)并输出脉冲信号，所述脉冲信号可在光闸信号701的操作控制下锁存以供逻辑单元702进行后续处理。逻辑单元702可包括逻辑电路，所述逻辑电路用于当例如在光闸信号701为现用的同时在预定义时间间隔内从至少两个邻近SPAD接收到输出506时处理所有数字SPAD输出506以生成TXEN信号708。

[0293] 在电荷生成与转移部分中，可结合第三晶体管705而使用复位(RST)信号709首先将PPD 508设定成其满阱容量(full well capacity)。第一晶体管703可在第一晶体管703的漏极端子处接收转移电压(VTX)信号710且在第一晶体管703的栅极端子处接收TXEN信号708。TX信号711可在第一晶体管703的源极端子处获得并被施加到第二晶体管704的栅极端子。如所绘示，第一晶体管703的源极端子可连接到第二晶体管704的栅极端子。VTX信号710(或等效地，TX信号711)可用作振幅调制信号，以控制将从PPD 508转移的电荷，PPD 508可连接到晶体管704的源极端子。第二晶体管704可将PPD 508上的电荷从第二晶体管704的源极端子转移到第二晶体管704的漏极端子，第二晶体管704的漏极端子可连接到第四晶体管
706的栅极端子并形成在本文中被称为浮动扩散(floating diffusion，FD)节点/结712的电荷“收集位点”。在一些实施例中，从PPD 508转移的电荷可取决于由振幅调制信号710(或等效地，TX信号711)提供的调制。在图7和图13所示实施例中，所转移的电荷是电子。然而，本文所公开的主题并不限于本公开，且可使用具有不同设计的PPD，在所述不同设计中，所转移的电荷可为电洞(hole)。

[0294] 在电荷收集与输出部分中，第三晶体管705可在第三晶体管705的栅极端子处接收RST信号709且在第三晶体管705的漏极端子处接收像素电压(VPIX)信号713。晶体管705的源极端子可连接到浮动扩散节点/结712。在一个实施例中，VPIX信号713的电压电平可等于通用电源电压VDD的电压电平，且可处于2.5伏(V)到3.0V的范围中。第四晶体管706的漏极端子也可接收VPIX信号713。在一些实施例中，第四晶体管706可作为NMOS源极跟随器工作以充当缓冲放大器。第四晶体管706的源极端子可连接到第五晶体管707的漏极端子，第五晶体管707可与源极跟随器706共源共栅且在第五晶体管707的栅极端子处接收选择(SEL)信号715。从PPD 508转移并在浮动扩散节点/结712处被收集的电荷可在第五晶体管707的源极端子处显现为像素专有输出(PIXOUT)数据线510。

[0295] 从PPD 508转移到FD节点/结712的电荷是由VTX信号710(和TX信号711)控制。到达浮动扩散节点/结712的电荷量是由TX信号711调制。在一个实施例中，转移电压(VTX)信号710(和TX信号711)可斜变以逐渐地将电荷从PPD 508转移到浮动扩散节点/结712。因此，所转移的电荷量可为振幅调制的TX信号711的函数，且TX信号711的斜变为时间的函数。因此，从PPD 508转移到浮动扩散节点/结712的电荷量也为时间的函数。如果在电荷从PPD 508转移到浮动扩散节点/结712期间，第二晶体管704因逻辑单元702在SPAD核心501中的至少两个邻近SPAD发生光子探测事件时生成TXEN信号708而被关断，则电荷从PPD 508到浮动扩散节点/结712的转移停止。因此，转移到浮动扩散节点/结712的电荷量和PPD 508中剩余的电荷量均为传入光子的TOF的函数。结果是时间到电荷转换和单端到差分信号转换。因此，PPD
508作为时间到电荷转换器(TCC)工作。转移到浮动扩散节点/结712的电荷越多，则在浮动扩散节点/结712上电压就降低越多，且在PPD 508上电压就增大越多。

[0296] 浮动扩散节点/结712处的电压可随后通过第五晶体管707作为PIXOUT信号被转移到模数转换器(analog-to-digital converter，ADC)单元(未示出)，且被转换成适当的数字信号/值以供进一步处理。参照对图9的论述来提供图7中的各种信号的时序和操作的更多细节。在图7所示实施例中，第五晶体管707可接收用于选择像素700的SEL信号715，以读出浮动扩散节点/结712中的电荷作为PIXOUT1(或像素输出1)电压并在PPD 508中的剩余电荷被完全转移到浮动扩散节点/结712之后读出PPD 508中的剩余电荷作为PIXOUT2(或像素输出2)电压，其中浮动扩散点/结712将PPD 508上的电荷转换成电压，且像素输出数据线510依序输出PIXOUT1信号和PIXOUT2信号，如随后参照图10所论述。在另一个实施例中，可读出PIXOUT1信号或PIXOUT2信号，但不可同时读出两者。

[0297] 图8是示例性时序图800，其提供对根据本文所公开主题的图7所示像素700中的调制式电荷转移机制的概述。图8中(以及图9和图14)所示的波形本质上得以简化且仅出于说明性目的；视电路实现方案而定，实际波形可在时序以及形状上不同。图7和图8之间所共有的信号是使用相同的参考编号来识别，且包括VPIX信号713、RST信号709、电子光闸信号701和振幅调制信号710。图8中还绘示两个附加波形801和802，以分别示出在电荷转移期间当振幅调制信号710被施加时PPD 508中的电荷的状态和浮动扩散节点/结712中的电荷的状态。在图8所示实施例中，VPIX信号713可以低逻辑电压(举例来说，逻辑0或0V)而开始以将像素700初始化，且在像素700的操作期间切换成高逻辑电压(举例来说，逻辑1或3V))。复位(RST)信号709可在像素700的初始化期间以高逻辑电压脉冲(举例来说，从逻辑0变为逻辑1且变回逻辑0的脉冲)开始，以将PPD 508中的电荷设定成其满阱容量并将浮动扩散节点/结712中的电荷设定成零库伦(0C)。浮动扩散节点/结712的复位电压电平可为逻辑1电平。在范围(TOF)测量操作期间，浮动扩散节点/结712从PPD 508接收到的电子越多，则浮动扩散节点/结712上的电压就变得越低。电子光闸信号701可在像素700的初始化期间以低逻辑电压(举例来说，逻辑0或0V)开始，在像素700的操作期间与最小测量范围对应的时间切换成逻辑1电平(举例来说，3V)以使SPAD核心501中的SPAD 503能够探测返回光脉冲37中的光子，且接着在与最大测量范围对应的时间切换成逻辑0电平(举例来说，0V)。因此，光闸信号
701的逻辑1电平的持续时间可提供预定义时间间隔/窗口，使得在此时间间隔期间从邻近SPAD接收到的输出具有时空相关性。PPD 508中的电荷在初始化期间以完全充满而开始，且随着VTX信号710从0V优选地以线性方式斜变到更高电压而减小。在振幅调制的VTX信号710的控制下的PPD电荷电平在图8中由具有参考编号801的波形绘示。PPD电荷减少可为VTX信号的斜变时间的函数，这使得一定量的电荷从PPD 508转移到浮动扩散节点/结712。因此，如图8中由具有参考编号801的波形所绘示，浮动扩散节点/结712中的电荷以低电荷(举例来说，0C)而开始且随着VTX信号710从0V斜变到更高电压而增加，这部分地将一定量的电荷从PPD 508转移到浮动扩散节点/结712。所述电荷转移是VTX信号710的斜变时间的函数。

[0298] 如前所述，数据线510上的像素专有输出(PIXOUT)源于转移到浮动扩散节点/结712的PPD电荷。因此，PIXOUT信号510可被视为通过振幅调制的VTX电压710(或等效地，TX电压711)而被随时间进行振幅调制。这样一来，通过使用振幅调制的VTX信号710(或等效地，TX信号711)对像素专有输出510进行振幅调制而提供TOF信息。在一些实施例中，用于生成VTX信号710的调制函数可为单调的。在图8、图9和图14中所绘示的示例性实施例中，可使用斜坡函数来生成振幅调制信号，且因此，所述振幅调制信号被示为具有斜坡型波形。然而，在其他实施例中，可使用不同类型的模拟波形/函数作为调制信号。

[0299] 在一个实施例中，一个像素输出(举例来说，PIXOUT1)对所述两个像素输出的和(此处，PIXOUT1+PIXOUT2)的比率可与Ttof值和Tdly值的时间差成比例，Ttof值和Tdly值例如示出在图9中且随后在以下更详细地加以论述。在像素700的情形中，举例来说，参数Ttof可为由SPAD核心501中的两个或更多个SPAD接收的光信号的像素专有TOF值，且延迟时间参数Tdly可为从光信号28首先被发射时直到VTX信号710开始斜变时的时间。如果光脉冲28是在VTX信号710开始斜变之后被发射，则延迟时间Tdly可为负的(此通常可在电子光闸701打开时发生)。比例关系可由以下表示：

[0300]

[0301] 然而，本文所公开主题并不限于方程式(2)所示的关系。如以下所论述，方程式(2)中的比率可用于计算物体的深度或距离，且如果Pixout1+Pixout2并非始终相同，则所述比率对像素间变化不那么敏感。

[0302] 为方便起见，可使用用语“P1”来指代如本文所用的“Pixout1”且可使用用语“P2”来指代如本文所用的“Pixout2”。从方程式(2)中的关系可看出，像素专有TOF值可被确定为像素专有输出值P1与P2的比率。在一些实施例中，一旦如此确定出像素专有TOF值，便可通过下式给出到物体(例如图2中的物体26)或所述物体上的特定位置的像素专有距离D或范围R：

[0303]

[0304] 其中c为光速。作为另一选择，在其中例如调制信号(例如图7中的VTX信号710(或TX信号711))在光闸窗口内是线性的一些实施例中，可如下来计算范围/距离：

[0305]

[0306] 因此，TOF系统15可基于如以上所给出的方程式而确定的像素专有范围值来生成物体(例如物体26)的3D图像。

[0307] 对像素内的PPD电荷分布进行的基于振幅调制的操纵或控制使得范围测量和分辨率也为可控制的。对PPD电荷的像素级振幅调制可与电子光闸一同起作用，所述电子光闸可为例如互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)图像传感器中的滚动光闸或者例如电荷耦合装置(charge coupled device，CCD)图像传感器中的全局光闸。尽管本文的公开内容可主要在单脉冲TOF成像系统(如图1和图2中的系统15)的上下文中提供，然而本文所论述的像素级内部振幅调制方法的原理可在作出适合修改(如果需要)的情况下在连续波调制TOF成像系统或非TOF系统以及像素43(图5)中实现。

[0308] 图9是根据本文所公开主题的当在像素阵列(例如图2和图12中的像素阵列42)中使用图7所示实施例中的像素700时，图1和图2所示系统15中的不同信号的示例性时序的时序图900。在图9中使用相同的参考编号来识别图2和图7所示实施例中所绘示的各种信号，例如所发射的脉冲28、VPIX信号713、TXEN信号708等。在论述图9之前，应注意，在图9的上下文中(以及在图14的情形中)，参数Tdly指代所投射脉冲28的上升边缘与VTX信号710开始斜变时的时间例子之间的时间延迟，如参考编号901所指示；参数Ttof指代通过所投射脉冲28的上升边缘与所接收脉冲37的上升边缘之间的延迟所测量的像素专有TOF值，如参考编号902所指示；且参数Tsh指代电子光闸的打开与关闭之间的时间周期，如参考编号903所指示且通过光闸信号701的置位(举例来说，逻辑1或接通)和解除置位(或解除激活)(举例来说，逻辑0或关断)给出。因此，电子光闸701被视为在周期Tsh期间为现用，此也使用参考编号904来加以识别。在一些实施例中，延迟Tdly可为预定和固定的，而不管工作条件如何。在其他实施例中，视例如外部天气条件而定，延迟Tdly可在运行时间调节。此处，应注意，高信号电平或低信号电平与像素700的设计有关。基于例如所使用的晶体管或其他电路组件的类型，图
9中所示的信号极性或偏压电平在其他类型的像素设计中可为不同的。

[0309] 如前所述，图9(以及图14)中所示的波形本质上得以简化且仅出于说明性目的；视电路实现方案而定，实际波形可在时序以及形状上不同。如图9中所示，返回脉冲37可为所投射脉冲28的在时间方面延迟的版本。在一些实施例中，所投射脉冲28可具有极短持续时间，例如(举例来说)，在约5纳秒(ns)到约10ns的范围中。返回脉冲37可使用像素700中的两个或更多个SPAD来感测。电子光闸信号701可对SPAD进行使能以俘获所接收光37中的像素专有光子。电子光闸信号701可具有门控延迟(参照所投射脉冲28)，以避免光散射到达像素阵列42。所投射脉冲28的光散射可例如因恶劣天气而发生。

[0310] 除了各种外部信号(例如VPIX信号713、RST信号709等)和内部信号(举例来说，TX信号711、TXEN信号708和浮动扩散节点/结712的电压)之外，图9中的时序图900还识别以下事件或时间周期：(i)当RST信号、VTX信号、TXEN信号和TX信号为高而VPIX信号713和光闸信号701为低时的PPD预设事件905；(ii)从TX信号为低时直到RST信号从高变低时的第一浮动扩散复位事件906；(iii)延迟时间Tdly 901；(iv)飞行时间Ttof 902；(v)电子光闸接通或现用周期Tsh 903；以及(vi)在RST信号709第二次为逻辑1时的持续时间内的第二FD复位事件907。图9还说明电子光闸何时首先被关闭或关断(此由参考编号908指示)、电子光闸何时打开或接通(此由参考编号904指示)、首先被转移到浮动扩散节点/结712的电荷何时通过PIXOUT数据线510被读出(此由参考编号909指示)、浮动扩散节点/结712的电压何时在907处第二次被复位、以及PPD 508中的剩余电荷何时被转移到浮动扩散节点/结712并在事件
910处再次被读出(举例来说，作为输出而输出到PIXOUT 510)。在一个实施例中，光闸接通周期Tsh可小于或等于VTX信号710的斜变时间。

[0311] 参照图9，在图7中的像素700的情形中，PPD 508可在初始化阶段处被填充电荷而达到其满阱容量(举例来说，PPD预设事件905)。在PPD预设事件905期间，RST信号709、VTX信号710、TXEN信号708和TX信号711可为高的，而VPIX信号713和光闸信号701可为低的，如图所示。接着，VTX信号710(和TX信号711)可变低以切断第二晶体管704，且VPIX信号713可变高以开始从充满电荷的PPD 508进行电荷转移。在一些实施例中，像素阵列42中一像素行中的所有像素可一次被一起选择，且所选择行中的所有像素中的PPD可使用RST信号709被一起复位。所选择的像素行中的每一个像素可被单独地读取，且基于模拟的pixout信号可由对应的列ADC单元(未示出)转换成数字值。在一个实施例中，RST线可对未选择的像素行保持高位或接通，以防止光晕(blooming)。

[0312] 在图9中所示实施例中，除TXEN信号708外的所有信号均以逻辑0或低电平开始，如图所示。首先，当RST信号709、VTX信号710、TXEN信号708和TX信号711变为逻辑1电平且VPIX信号713保持为低时，PPD 508被预设。此后，当VTX信号710和TX信号711变成逻辑0且VPIX信号713变成高(或逻辑1)时，浮动扩散节点/结712在RST信号709为逻辑1的同时被复位。为方便起见，使用相同的参考编号712来指代图7中的浮动扩散节点/结和图9所示时序图中的相关联电压波形。在浮动扩散节点/结712被复位成高(举例来说，电荷域中的0C)之后，VTX信号710在TXEN信号708为逻辑1的同时斜变。飞行时间Ttof持续时间901是从脉冲光28被发射时直到返回光37被接收时，且也是其间电荷从PPD 508部分地转移到浮动扩散节点/结712的时间。VTX信号710(和TX信号711)可在光闸701接通或打开的同时斜变。此可使PPD 508中的一定量的电荷被转移到浮动扩散节点/结712，此量可为VTX的斜变时间的函数。当所发射的脉冲28从物体26反射且由像素700的SPAD核心501中的至少两个SPAD接收时，所生成的SPAD输出506可由逻辑单元702处理，逻辑单元702又可使TXEN信号708变成静态逻辑0。因此，至少两个邻近SPAD以时间相关的方式(即当光闸接通或为现用时)对返回脉冲37的探测可由TXEN信号708的逻辑0电平指示。TXEN信号708的逻辑低电平使晶体管703和晶体管704关断，这会停止电荷从PPD 508到浮动扩散节点/结712的转移。当电子光闸信号701变成逻辑0且SEL信号715(图9中未示出)变成逻辑1时，浮动扩散节点/结712中的电荷作为电压PIXOUT1被输出到PIXOUT线510上。接着，浮动扩散节点/结712可以逻辑高的RST脉冲709再次被复位(如参考编号907所指示)。此后，当TXEN信号708变成逻辑1时，PPD 508中的剩余电荷实质上完全被转移到浮动扩散节点/结712且作为电压PIXOUT2被输出到PIXOUT线510上。如早先所提及，PIXOUT1和PIXOUT2信号可由适当的ADC单元(未示出)转换成对应的数字值P1和P2。在某些实施例中，可在方程式(3)或方程式(4)中使用这些P1和P2值来确定像素700与物体26之间的像素专有距离/像素专有范围。

[0313] 在一个实施例中，逻辑单元702可包括逻辑电路(未示出)，以基于G()函数(参照图10示出并论述)生成输出并接着对所述输出与在内部生成的信号(例如与图14中所示TXRMD信号1401相似的信号)进行逻辑或(OR)运算以获得最终的TXEN信号708。此种在内部生成的信号可在电子光闸接通的同时保持为低，但可被置位成高以使得TXEN信号708变成逻辑1，从而促进PPD中的剩余电荷的转移(在图9中的事件910处)。在一些实施例中，TXRMD信号或相似的信号可为从外部供应的。

[0314] 图10示出根据本文所公开主题的逻辑单元(例如逻辑单元702(图7)或逻辑单元1319(图13)可如何在像素(例如像素700(图7)或像素1300(图13))中实现。图10示出具有与呈如图6A或图6B中所绘示的2×2架构配置的四个SPAD核心1002到1005相关联的PPD核心
1001的像素1000(像素1000可表示像素700或1300中的任意一个像素)的高度简化图。四个SPAD的可用性使得能够探测多达四个时间上和空间上相关的重合光子。在一些实施例中，像素1000中的逻辑单元(未示出)可包括实现图10中所绘示函数F(x,y)和G(a,b,c,d)的逻辑电路(未示出)。图10中的框1006到1009绘示实现F(x,y)函数的逻辑电路的输入和输出。
因此，框1006到1009可被视为表示这类逻辑电路并共同形成像素1000的逻辑单元的一部分。为易于论述，可将这些框称为F(x,y)框。尽管为方便起见在PPD核心1001外部示出框
1006到1009，然而应理解，实现框1006到1009的功能的逻辑电路可为PPD核心1001中的逻辑单元(未示出)的一部分。

[0315] 如图所示，每一个F(x,y)框1006到1009可接收两个输入x和y，即从其两个相关联的SPAD核心中的每一个SPAD核心接收一个输入。在图5和7的上下文中，这类输入的形式可为来自SPAD核心501的输出信号506。在图13的上下文中，SPAD输出1310和1318可表示逻辑单元1319中这类F(x,y)框所必需的x、y输入。对于具有与PPD核心相关联的多于四个SPAD核心的像素(例如(举例来说)，图6C中的像素阵列配置600C)，可每对SPAD核心提供相似的双输入(two-input)F(x,y)框。在一些实施例中，所有的F(x,y)框1006到1009可通过PPD核心1001中的单个F(x,y)单元来整合和实现，所述F(x,y)单元含有逻辑电路，所述逻辑电路被配置成对不同的SPAD输出对(作为其x和y输入)进行操作以实现单独的F(x,y)框1006到
1009的功能。如前所述，本文所公开的TOF测量可基于像素中的至少两个SPAD对空间上和时间上相关的光子的探测。因此，如图10中所示，每一个F(x,y)框1006到1009(更具体来说，F(x,y)框中的逻辑电路)可被配置成执行以下预定义操作：(i)对其各自的输入x和y进行逻辑与非(NAND)运算(由(x*y)给出)以探测两个或四个重合光子，以及(ii)对其各自的输入x和y进行逻辑或非(NOR)运算(由(x+y)给出)以探测三个重合光子。因此，当来自SPAD核心
1002到1005的信号506(图5)指示两个(或全部四个)SPAD在光闸接通周期期间检测到光子时，实现F(x,y)框1006到1009的逻辑电路可执行逻辑NAND运算。相似地，当来自SPAD核心
1002到1005的信号506指示三个SPAD在光闸接通周期期间检测到光子时，可选择逻辑NOR运算。在图10中的示例性绘示中示出三个脉冲1010到1012，以表示当所述三个SPAD核心1003到1005中的每一个SPAD核心探测到传入光(例如返回脉冲37(图2))时对三个重合光子进行探测的情形。

[0316] 重新参照图10，每一个F(x,y)框1006到1009的输出是使用对应的参考字母a、b、c和d绘示。PPD核心1001中的逻辑单元(未示出)还可包括用于接收和处理输出a到d的附加逻辑电路(未示出)。逻辑电路可接收所有这四个输出作为对所述逻辑电路的输入，并根据预定义逻辑函数G(a,b,c,d)对它们进行操作。举例来说，如图10中所绘示，在对两个重合光子进行探测的情形中，G()函数可对其所有四个输入a到d执行逻辑NAND运算(由(a*b*c*d)给出)。另一方面，在对三个或四个重合光子进行探测的情形中，G()函数可对其所有四个输入a到d执行逻辑NOR运算(由(a+b+c+d)给出)。在一个实施例中，TXEN信号(例如图7中的TXEN信号708或图13中的TXEN信号1325)可为实现G()函数的逻辑电路的输出。在另一个实施例中，可对用于G()函数的逻辑电路的输出与在内部生成的信号(例如图14中的TXRMD信号1401)进行OR运算，以获得最终TXEN信号。

[0317] 图11绘示示出根据本文所公开主题的可如何在图1和图2中所示系统15中确定TOF值的示例性流程图1100。图11中所指示的各种步骤可由系统15中的单个模块或者模块或系统组件的组合执行。在本文的论述中，将特定任务阐述为由特定模块或系统组件执行仅是用来举例。其他模块或系统组件也可被适合地配置成执行这类任务。如在操作1101处所述，首先，系统15(更具体来说，投影仪模块22)可将激光脉冲(例如图2中的脉冲28)投射到物体(如图2中的物体26)上。在操作1102处，处理器19(或者在某些实施例中为像素处理单元46)可将振幅调制信号(例如图7中的VTX信号710)施加到像素中的PPD(例如图7中的像素700中的PPD 508)。像素700可为图2中的像素阵列42中的像素43中的任意一个像素。在操作1103处，像素处理单元46可基于从振幅调制信号710接收到的调制而启动对存储在PPD 508中的电荷的一部分的转移。为启动这种电荷转移，像素处理电路46可以图9所示示例性时序图中所绘示的逻辑电平向像素700提供各种外部信号，例如电子光闸信号701、VPIX信号713和RST信号709。在操作1104处，可使用像素700中的多个SPAD来探测返回脉冲，例如返回脉冲37。如早先所提及，返回脉冲37可为从物体26反射的所投射脉冲28，且像素700中的(SPAD核心501中的)每一个SPAD可操作以将从返回脉冲接收到的照射转换成对应的(SPAD专有)电信号。

[0318] 对于每一个接收照射的SPAD，像素700中的SPAD核心501中的第一控制电路504可处理对应的(SPAD专有)电信号以从其生成SPAD专有数字输出(操作1105)。在图5和图7中，所有这类SPAD专有数字输出都由具有参考编号506的箭头共同表示。如参照对图9的论述所述，逻辑单元702可处理输出506，且只要所述输出在时间上和空间上是相关的，则可将TXEN信号708置于逻辑0(低)状态。TXEN信号708的逻辑0电平使像素700中的第一晶体管703和第二晶体管704关断，这会停止电荷从PPD 508到浮动扩散节点/结712的转移。因此，在操作1106处，第二控制电路507可在以预定时间间隔(例如在图9中的光闸接通周期904内)生成至少两个SPAD专有数字输出时终止早先启动的对电荷的所述部分的转移(在操作1103处)。

[0319] 如早先参照图7所论述，转移到浮动扩散点/结712(直到在操作1106处转移终止为止)的电荷的所述部分可作为Pixout1信号被读出并被转换成适当的数字值P1，数字值P1可与(Pixout2信号的)随后生成的数字值P2一起用于从比率P1/(P1+P2)获得TOF信息。因此，在操作1107处，系统15中的像素处理单元46或处理器19可基于在终止时(在操作1106处)所转移的模拟电荷的所述部分而确定返回脉冲37的TOF值。

[0320] 图12是根据本文所公开主题的图像传感器单元1200的一部分的示例性布局。图像传感器单元1200可对应于图1和图2中所绘示的图像传感器单元24。图12中所示图像传感器单元1200的所述部分可与提供俘获返回光并生成P1和P2值以对TOF值(来自方程式(2))进行后续计算所必需的信号且在需要时生成物体26的3D图像有关。如在图2所示情形中，为方便起见，图12中的图像传感器单元1200中的像素阵列1201被示出为具有排列成3×3阵列的九个像素。实际上，像素阵列可含有呈多个行和列的数十万个或数百万个像素。在一些实施例中，像素阵列1201中的每一个像素可具有相同的配置，且因此，如图12中所示，使用相同的参考编号1202来识别每一个像素。在图12所示实施例中，2D像素阵列1201可为互补金属氧化物半导体(CMOS)阵列，其中每一个像素1202可为图13中所示像素1300。尽管图12中的示例布局是参照图13所示像素配置，然而应理解，当每一个像素1202具有图7中所示的配置时，可对图12中的图像传感器单元1200适合地加以修改。在一些实施例中，像素1202可具有与图7和图13中所示配置不同的配置，且可对图12中的辅助处理单元(例如行解码器/驱动器1203、列解码器1204等)适合地修改成以所期望的像素配置运行。

[0321] 除了像素阵列1201之外，图12中所绘示的实施例中的图像传感器单元1200还可包括行解码器/驱动器1203、列解码器1204和像素列单元1205，像素列单元1205包括用于相关双采样(Correlated Double Sampling，CDS)的电路以及将在2D成像和3D成像期间使用的列专用模数转换器(ADC)。在一个实施例中，每列像素可有一个ADC。在一些实施例中，处理单元1203、1204和1205可为图2中所示像素处理单元46的一部分。在图12所示实施例中，行解码器/驱动器1203被示为将六个不同的信号作为输入提供到像素行中的每一个像素1202，以控制像素阵列1201中的像素的操作且从而能够生成列专用pixout信号1206到
1208。图12中的箭头1209到1211中的每一个说明将作为输入被施加到对应行中的每一个像素43的这些信号的行专有集合。这些信号可包括：复位(RST)信号、第二转移(TX2)信号、电子光闸(SH)信号、转移电压(VTX)信号、像素电压(VPIX)信号和行选择(SEL)信号。图13绘示可如何将这些信号施加到像素。图14绘示包含这些信号中的许多信号的示例时序图。

[0322] 在一个实施例中，行选择(SEL)信号可被置位成选择适当的像素行。行解码器/驱动器1203可例如从处理器19接收将通过行地址/控制输入1212选择的行的地址或控制信息。行解码器/驱动器1203可对所接收的输入1212进行解码以使行解码器/驱动器1203能够使用SEL信号选择适当的行，且还将对应的RST信号、VTX信号和其它信号提供到所选择/经解码的行。以下参照对图13和图14的论述提供对这些信号(当作为像素输入被施加时)的更详细论述。在一些实施例中，行解码器/驱动器1203还可接收例如来自处理器19的控制信号(未示出)，以配置行解码器/驱动器1203对在箭头1209到1211处所指示的SEL信号、RST信号、VTX信号、SH信号和各种其他信号施加适当的电压电平。

[0323] 像素列单元1205可从所选择的行中的像素接收PIXOUT信号1206到1208，并处理它们以生成可从中获得TOF测量值的像素专有信号值。所述信号值可为早先所阐述的P1和P2值，如由图12中的箭头1213所指示。每一个列专有ADC单元可处理所接收的输入(pixout信号)以生成对应的数字数据输出(P1/P2值)。以下参照图14提供由像素列单元1205中的CDS电路和ADC电路(未示出)提供的CDS操作和ADC操作的更多细节。在图12中所绘示的实施例中，列解码器1204被绘示为耦合到像素列单元1205。列解码器1204可针对将结合给定行选择(SEL)信号而被选择的列而从例如处理器19接收列地址/控制输入1214。列选择可为依序的，从而使得能够从由对应的SEL信号所选择的行中的每一个像素依序接收像素输出。处理器19可提供适当的行地址输入以选择像素行，且还可将适当的列地址输入提供到列解码器1204以使得像素列单元1205能够从所选择的行中的单独的像素接收输出(pixout)。

[0324] 图13绘示根据本文所公开主题的像素1300的另一示例性实施例。图13中的像素1300是图2中所绘示的更一般的像素43的另一实例。像素1300可包括多个SPAD核心(即SPAD核心1到SPAD核心N，其中N≥2)来作为像素1300的SPAD核心的一部分。图13中绘示两个此类SPAD核心1301A和1301N的一些电路细节。应注意，在一些实施例中，可对图7中的像素700中的SPAD核心采用相似的电路。SPAD核心1301A可包括SPAD 1302，SPAD 1302通过电阻元件(例如电阻器)1304接收SPAD工作电压VSPAD 1303。然而，SPAD的配置可不限于图13中所绘示的配置。在一个实施例中，电阻器1304与SPAD 1302可交换位置。在SPAD核心1301A中，SPAD 1302对光作出响应。当SPAD 1302接收到光子时，SPAD 1302输出从VSPAD的电平变为
0V且变回VSPAD的脉冲。来自SPAD 1302的输出可通过电容器1305过滤并被施加到反相器
1306(反相器1306可用作缓冲器与锁存器的组合)。在一个实施例中，可省略电容器1305。
SPAD核心1301A可包括PMOS晶体管1307，PMOS晶体管1307在其栅极端子处接收电子光闸信号1308，而晶体管1307的漏极端子连接到电容器(和反相器1306的输入)，且晶体管1307的源极端子可接收电源电压VDD 1309(或者在一些实施例中为VPIX电压)。当电子光闸信号
1308被关断(举例来说，逻辑0或低电平)时，晶体管1307导通且反相器1306的输出1310均可保持在固定电压电平(举例来说，处于逻辑低或逻辑0状态)，而不管从SPAD 1302接收的任何输出的状态如何。仅当电子光闸信号1308被接通或为现用时，来自SPAD核心1301A的输出才可被施加到PPD核心1311。当光闸为现用(举例来说，逻辑1电平)时，晶体管1307被关断且SPAD所生成的输出可(通过耦合电容器1305)被发射到反相器1306且可在输出线1310上显现为正脉冲(低到高)。

[0325] SPAD核心1301N可在电路细节上与SPAD核心1301A相同，且因此，不提供SPAD核心1301N的操作细节。如图所示，SPAD核心1310N可包括核心专有SPAD 1312、电阻元件1313、耦合电容器1315、反相器1316和PMOS晶体管1317，VSPAD电压1303通过电阻元件1313被供应到SPAD 1312，反相器1316用于锁定和输出由SPAD 1312生成的输出，PMOS晶体管1317用于通过光闸输入1308控制反相器1316的操作。反相器1316的输出1318可被提供到PPD核心1311以供进一步处理。在一些实施例中，信号VSPAD 1303、VDD 1309和光闸1308可从外部单元(例如图12中所绘示的行解码器/驱动器1203)或图2中的像素处理单元46(或处理器19)中的任何其他模块(未示出)被供应到每一个SPAD核心1301A和1301N。SPAD核心专有输出1310和1318中的所有SPAD核心专有输出可共同形成在图5中使用参考编号506来识别的信号。

[0326] 因此，电子光闸信号1308确保来自SPAD核心1301A和1301N的输出1310和1318除了由于像素1300中的SPAD核心1301A和1301N的位置邻近而在空间上相关之外，也在时间上(或在时间方面)相关。在图6A到图6C所示示例性实施例中示出附加的像素几何形状。

[0327] 如同图7中的像素700，图13中的像素13也包括PPD 508、逻辑单元1319、第一NMOS晶体管1320、第二NMOS晶体管1321、第三NMOS晶体管1322、第四NMOS晶体管1323、第五NMOS晶体管1324；生成内部输入TXEN 1325；接收外部输入RST信号1326、VTX信号1327(和TX信号1328)、VPIX信号1329和SEL信号1330；具有浮动扩散(FD)节点/结1331；且输出PIXOUT信号
510。然而，不同于图7中的像素700，图13中的像素1300还生成第二TXEN信号(TXENB)1333，第二TXEN信号(TXENB)1333可为TXEN信号1325的补数且可被供应到第六NMOS晶体管1334的栅极端子。第六NMOS晶体管1334的漏极端子可连接到第一晶体管1320的源极端子，且第六NMOS晶体管1334的源极端子可连接到地(GND)电势1335。TXENB信号1333可用于将GND电势带至TX晶体管1321的栅极端子。在没有TXENB信号1333的情况下，当TXEN信号1325变低时，TX晶体管1321的栅极可为浮动的，且从PPD 508进行的电荷转移可不完全被终止。可使用TXENB信号1333来改善这种情况。另外，像素1300还可包括存储扩散(storage diffusion，SD)电容器1336和第七NMOS晶体管1337。SD电容器1336可连接在晶体管1321的漏极端子与晶体管1337的源极端子的结处，且可在所述结处形成SD节点1338。NMOS晶体管1337可在其栅极端子处接收不同的第二转移(TX2)信号1339作为输入。晶体管1337的漏极可如所绘示连接到FD节点1331。

[0328] 在一些实施例中，RST信号、VTX信号、VPIX信号、TX2信号和SEL信号可从外部单元(例如图12中所绘示的行解码器/驱动器1203)被供应到像素1300。在一些实施例中，SD电容器1336可并非是额外的电容器，而可仅为SD节点1338的结电容。图5与图13的对比示出，在像素1300中，SPAD核心1301A、1301N等中的所有SPAD可共同形成图5中的SPAD 503；来自每一个SPAD核心1301A、1301N等的所有非SPAD电路元件可共同形成图5中的第一控制电路504；并且PPD核心502中的所有非PPD电路元件可形成图5中的第二控制电路507。

[0329] 在像素1300中，电荷转移触发部分可包括SPAD核心1301A和1301N(和其它此类核心)以及逻辑单元1319。电荷生成与转移部分可包括PPD 508、NMOS晶体管1320到1322、1334和1337以及SD电容器1336。电荷收集与输出部分可包括NMOS晶体管1322到1324。此处，应注意，将各种电路组件分成相应部分仅是出于说明性目的和论述目的。在一些实施例中，与此处所列的电路元件相比，这类部分可包括更多或更少或者不同的电路元件。

[0330] 如前所述，除了基于CDS的电荷收集与输出部分之外，图13中的像素配置与图7中的像素配置实质上相似。因此，为方便起见，此处不论述图7和图13中的实施例之间共有的电路部分和信号，例如晶体管1320到1324以及如RST、SEL、VPIX等相关联输入。应理解，CDS是一种用于以使得能够去除非期望偏移的方式测量电值(例如像素/传感器输出电压(pixout))的噪声减少技术。在一些实施例中，可在像素列单元1205(图12)中采用列专有CDS单元(未示出)来执行相关双采样。在CDS中，可对像素(例如图13中的像素1300)的输出进行两次测量；一次是在已知条件下且一次是在未知条件下。接着，可自从未知条件测量的值减去从已知条件测量的值，以生成与所测量的物理量(即表示所接收光的像素专有部分的PPD电荷)具有已知关系的值。使用CDS，可通过在每次电荷转移结束时从像素的信号电压去除像素的参考电压(例如(举例来说)，像素在其被复位之后的电压)来减少噪声。因此，在CDS中，在像素的电荷作为输出被转移之前，对复位值/参考值进行采样，接着，从像素的电荷被转移之后的值扣除所述复位值/参考值。

[0331] 在图13所示实施例中，SD电容器1336(或相关联的SD节点1338)在PPD电荷转移到浮动扩散节点1331之前存储所述PPD电荷，从而使得能够在任何电荷被转移到浮动扩散节点1331之前在浮动扩散节点1331处建立适当的复位值(并对所述适当的复位值进行采样)。因此，每一个像素专有输出(Pixout1和Pixout2)可在像素列单元1205(图12)中的列专有CDS单元(未示出)被处理，以获得一对像素专有CDS输出。随后，像素专有CDS输出可由像素列单元1205中的相应列专有ADC单元(未示出)转换成数字值(例如在图12中由箭头1213所指示的P1和P2值)。图13中的晶体管1334和1337以及TXENB信号1333和TX2信号1339提供促进基于CDS的电荷转移所需的辅助电路组件。在一个实施例中，可使用例如一对相同的ADC电路作为列专有ADC单元的一部分来并行地生成P1和P2值。因此，pixout1信号和pixout2信号的复位电平与pixout1信号和pixout2信号的对应PPD电荷电平之间的差可由列并行ADC转换成数字值并作为像素专有信号值(即P1和P2)而被输出，以使得能够基于方程式(2)而针对像素1300计算返回脉冲37的像素专有TOF值。如早先所述，这种计算可由像素处理单元
46执行或由系统15中的处理器19执行。因此，还可使用例如方程式(3)或方程式(4)来确定到物体26(图2)的像素专有距离。可对像素阵列42中的所有像素行重复地进行逐像素电荷收集操作。基于像素阵列42中的像素43的所有像素专有距离值或像素专有范围值，可例如由处理器19生成并在与系统15相关联的适当显示界面或用户界面上显示物体26的3D图像。
举例来说，当未计算出范围值时或当不管范围值的可用性如何均需要2D图像时，可通过简单地将P1值和P2值相加来生成物体26的2D图像。在一些实施例中，举例来说，当使用IR激光时，这种2D图像简单地可为灰阶图像。

[0332] 应记住，图7和图13中所示像素配置仅为实例。其他类型的具有多个SPAD的基于PPD的像素也可用于实现本文所公开的主题。这类像素可包括例如具有单个输出的像素(例如图7和图13所示实施例中的PIXOUT线510)或者具有双输出的像素，其中Pixout1和Pixout2信号可通过像素中的不同输出而输出。

[0333] 图14是时序图1400，其示出根据本文所公开主题的当在像素阵列(例如图2和图12中的像素阵列42)中使用图13中所绘示实施例中的像素1300来测量TOF值时，图1和图2所示系统15中的不同信号的示例性时序。图14中的时序图1400与图9中的时序图900相似，尤其在VTX信号、光闸信号、VPIX信号和TX信号的波形以及对各种时序间隔或事件(例如(举例来说)，PPD复位事件、光闸接通周期、时间延迟周期Tdly等)的识别方面。由于早先对图9中的时序图900的广泛论述，为方便起见，仅对图14中的时序图1400中的有区别的特征提供简要的论述。

[0334] 在图14中，各种从外部供应的信号(例如VPIX信号1329、RST信号1326、电子光闸信号1308、振幅调制信号VTX 1327和TX2信号1339)以及在内部生成的TXEN信号1325是使用与图13中所使用的参考编号相同的参考编号来识别。相似地，为方便起见，使用相同的参考编号1331来指代图13中的浮动扩散节点1331和图14所示时序图中的相关联的电压波形。在图14中示出转移模式(TXRMD)信号1401，但在图13中或早先在图10所示的时序图中未示出。在一些实施例中，TXRMD信号1401可由逻辑单元1319在内部生成或由行解码器/驱动器(例如图12中的行解码器/驱动器1203)从外部供应到逻辑单元1319。在一个实施例中，逻辑单元
1319可包括逻辑电路(未示出)，以基于G()函数生成输出(图10)且接着对所述输出与在内部生成的信号(例如TXRMD信号1401)进行逻辑OR运算，以获得最终TXEN信号1325。如图14中所示，在一个实施例中，这种在内部生成的TXRMD信号1401可在电子光闸接通的同时保持为低，但之后可被置位成高，以使得TXEN信号1325变成逻辑1，从而促进PPD中的剩余电荷的转移(图14中的事件1402处)。

[0335] 应注意，图14中的PPD预设事件1403、延迟时间Tdly1404、TOF周期Ttof1405、光闸关断间隔1406和光闸接通或现用周期Tsh1407或1408以及FD复位事件1409与图9中所示的对应的事件或时间周期相似。因此，不对这些参数提供附加论述。首先，FD复位事件1409使得FD信号1331变高，如图所示。在PPD 508被预设成低之后，SD节点1338被复位成高。更具体来说，在PPD预设事件1403期间，TX信号1328可为高，TX2信号1339可为高，RST信号1326可为高，且VPIX信号1329可为低，以将电子填充到PPD 508并将PPD 508预设成零伏。此后，TX信号1328可变低，但TX2信号1339和RST信号1326可短暂地保持为高，这连同高VPIX信号1329一起可将SD节点1338复位成高并从SD电容器1336去除电子。同时，FD节点1331被复位(在FD复位事件1409之后)。图14中未示出SD节点1338或SD复位事件处的电压。

[0336] 与图7和图9中的实施例相比，在图13和图14中所绘示的实施例中，当光闸1308为现用且VTX信号1327向上斜变(如在TX波形1328上所示)时，PPD电荷被振幅调制且首先被转移到SD节点1338(通过SD电容器1336)。在像素1300(图13)中的至少两个SPAD在光闸接通周期1408期间探测到光子时，TXEN信号1325变低，且从PPD 508到SD节点1338的初始电荷转移停止。在第一读出周期1412期间，存储在SD节点1338处的所转移电荷可在Pixout线510上被读出(作为Pixout1输出)。在第一读出周期1412期间，RST信号1326可在电子光闸1308被解除激活或关断之后短暂地被置位成高，以将浮动扩散节点1331复位。此后，TX2信号1339可以脉冲方式变成高，以在TX2 1339信号为高的同时将电荷从SD节点1338转移到浮动扩散节点1331。浮动扩散电压波形1331绘示电荷转移操作。接着，可在第一读出周期1412期间使用SEL信号1330(图14中未示出)通过Pixout线510来读出所转移电荷(作为Pixout1电压)。

[0337] 在第一读出间隔1412期间，在初始电荷从SD节点转移到FD节点且TX2信号1339返回到逻辑低电平之后，TXRMD信号1401可被置位成(以脉冲方式变成)高，以在TXEN输入1325上生成高脉冲，这又可在TX输入1328上生成高脉冲，以使得PPD 508中的剩余电荷能够转移到SD节点1338(通过SD电容器1336)，如图14中的参考编号1402所指示。此后，当RST信号1326再次短暂地被置位成高时，FD节点1331可再次被复位。第二RST高脉冲可界定第二读出周期1413，其中TX2信号1339可再次以脉冲方式变成高，以在TX2为高的同时将PPD 508上的剩余电荷从SD节点1338转移(在事件1402处)到浮动扩散节点1331。浮动扩散电压波形1331绘示第二电荷转移操作。接着，可在第二读出周期1413期间使用SEL信号1332(图14中未示出)通过Pixout线510读出所转移的剩余电荷(作为Pixout2电压)。如早先所提及，PIXOUT1信号和PIXOUT2信号可由适当的ADC单元(未示出)转换成对应的数字值P1和P2。在某些实施例中，可在方程式(3)或方程式(4)中使用这些值P1和P2来确定像素1300与物体26之间的像素专有距离/像素专有范围。图14中所绘示的基于SD的电荷转移使得能够生成一对像素专有CDS输出，如早先参照对图13的论述所述。基于CDS的信号处理实现附加噪声减少。

[0338] 图15绘示根据本文所公开主题的时间分辨传感器1500的示例性实施例的框图。时间分辨传感器1500可包括SPAD电路1501、逻辑电路1503和PPD电路1505。

[0339] SPAD电路1501可包括SPAD、第一输入、第二输入、第三输入和输出，SPAD用于探测光子，所述第一输入用于接收VSPAD电压，所述第二输入用于接收光闸信号以控制电子光闸的打开和关闭，所述第三输入用于接收VDD电压，所述输出用于输出探测事件(DE)信号。响应于接收到光子，SPAD电路1501输出脉冲信号，所述脉冲信号从VSPAD电压快速变为低于SPAD击穿电压的电压且接着更缓慢地返回到VSPAD电压。

[0340] 逻辑电路1503可包括第一输入、第二输入和输出，所述第一输入连接到从SPAD电路1501输出的DE信号，所述第二输入用于接收TXRMD信号以将在PPD电路1505的PPD中剩余的电荷完全转移到FD节点，所述输出用于输出TXEN信号。

[0341] PPD电路1505可包括第一输入、第二输入、第三输入、第四输入、第五输入和PIXOUT输出，所述第一输入连接到从逻辑电路1503输出的TXEN信号，所述第二输入用于接收VTX信号以将电荷部分地或完全地从PPD电路1505的PPD转移到PPD电路1505中的FD节点，所述第三输入用于接收RST信号以将FD节点中的电荷复位以及对PPD中的电荷进行预设，所述第四输入用于接收PPD电路1505的VPIX电压，所述第五输入用于接收SEL信号以使得能够读出PIXOUT1信号(表示FD节点上的电荷)或PIXOUT2信号(表示PPD中剩余的电荷)，所述PIXOUT输出用于响应于SEL信号而输出PIXOUT1信号和PIXOUT2信号。

[0342] 图16绘示根据本文所公开主题的时间分辨传感器1500的SPAD电路1501的示例性实施例的示意图。在一个实施例中，SPAD电路1501可包括电阻器1601、SPAD 1603、电容器1605、p型MOSFET晶体管1607和缓冲器1609。电阻器1601可包括第一端子和第二端子，所述第一端子用于接收VSPAD电压。SPAD 1603可包括阳极和阴极，所述阳极与地电势连接，所述阴极与电阻器1601的第二端子连接。在另一个实施例中，电阻器1601与SPAD 1603可交换位置。SPAD 1603可对光作出响应。响应于接收到光子，SPAD 1603输出脉冲信号，所述脉冲信号从VSPAD电压快速变为低于击穿电压的电压且接着更缓慢地返回到VSPAD电压。在一个实例中，击穿电压可为特定阈值电压。

[0343] 电容器1605可包括第一端子和第二端子，所述第一端子连接到SPAD 1603的阴极。在替代实施例中，可省略电容器1605。p型MOSFET晶体管1607可包括第一S/D(源极/漏极)端子、栅极和第二S/D端子，所述第一S/D端子连接到电容器1605的第二端子，所述栅极用于接收光闸信号，所述第二S/D端子用于接收VPIX电压(VDD)。缓冲器1609可包括输入和输出，所述输入连接到电容器1605的第二端子，所述输出用于输出DE信号。DE信号可对应于SPAD电路1501的DE输出。在替代实施例中，缓冲器1609可为反相器。

[0344] 图17绘示根据本文所公开主题的时间分辨传感器1500的逻辑电路1503的示例性实施例的示意图。逻辑电路1503可包括锁存器1701和双输入OR门1703。

[0345] 锁存器1701可包括输入和输出，所述输入连接到从SPAD电路1501输出的DE信号。响应于DE信号，锁存器1701输出例如从逻辑1变为逻辑0且保持处于逻辑0的逻辑信号。换句话说，锁存器1701将脉冲型信号转换成从逻辑1变为逻辑0且在复位之前保持处于逻辑0而不会返回到逻辑1的信号。锁存器输出可被DE信号的前沿触发，其中视SPAD电路1501的设计而定，前沿可为正向或负向。

[0346] 双输入OR门1703可包括第一输入、第二输入和输出，所述第一输入连接到锁存器1701的输出，所述第二输入用于接收TXRMD信号，所述输出用于输出TXEN信号。双输入OR门
1703执行逻辑OR函数且输出结果作为TXEN信号。具体来说，如果光子是在光闸信号为逻辑1时由SPAD电路1501接收到或者如果TXRMD信号为逻辑1，则双输入OR门1703的输出变为逻辑
1，这是在PPD电路1505的PPD中剩余电荷将完全转移到FD节点以被读出为PIXOUT2信号时发生。

[0347] 图18绘示根据本文所公开主题的时间分辨传感器1500的PPD电路1505的示例性实施例的示意图。PPD电路1505可包括PPD 1801、第一晶体管1803、第二晶体管1805、第三晶体管1807、第四晶体管1809和第五晶体管1811。

[0348] PPD 1801可包括阳极和阴极，所述阳极连接到地电势。PPD 1801可以与电容器相似的方式存储电荷。在一个实施例中，PPD 1801可被覆盖且因此不对光作出响应，且可用作TCC而非感光元件。

[0349] 第一晶体管1803可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子连接到逻辑电路1503的TXEN信号输出，所述第一S/D端子用于接收VTX信号。第一晶体管1803可接收VTX信号且可使VTX信号能够在TXEN信号的控制下通过第一晶体管1803，以在第一晶体管1803的第二S/D端子处输出TX信号。

[0350] 第二晶体管1805可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子连接到第一晶体管1803的第二S/D端子，所述第一S/D端子连接到PPD 1801的阴极。第二晶体管1805可在栅极端子上接收TX信号并将源极端子上的PPD 1801上的电荷转移到与FD节点连接的漏极端子。在FD节点与地之间可存在寄生电容，其未在图18中指示。在一个实施例中，在FD节点与地之间还可连接有实体电容。

[0351] 第三晶体管1807可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子用于接收RST信号，所述第一S/D端子用于接收VPIX电压，所述第二S/D端子连接到第二晶体管1805的第二S/D端子。

[0352] 第四晶体管1809可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子连接到第二晶体管1805的第二S/D端子，所述第一S/D端子连接到第三晶体管1807的第一S/D端子。

[0353] 第五晶体管1811可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子用于接收SEL信号，所述第一S/D端子连接到第四晶体管1809的第二S/D端子，所述第二S/D端子是PPD电路1505的PIXOUT输出。第五晶体管1811可接收SEL信号以选择像素来读出FD节点中的电荷(作为PIXOUT1)或PPD 1801中的剩余电荷(作为PIXOUT2)。

[0354] 从PPD 1801转移到FD节点的电荷受到TX信号的控制。在一个实施例中，VTX信号通过第一晶体管1803进行耦合以变为TX信号。VTX信号向上斜变以越来越快地将电荷从PPD 1801转移到FD节点。从PPD 1801转移到FD节点的电荷量可为TX信号的电平的函数，且TX信号的斜变可为时间的函数。因此，从PPD 1801转移到FD节点的电荷可为时间的函数。如果在电荷从PPD 1801转移到FD节点期间第二晶体管1805响应于SPAD电路1501探测到传入光子而关断，则电荷从PPD 1801到FD节点的转移停止。转移到FD节点的电荷量与PPD 1801中剩余的电荷量两者可均与传入光子的TOF有关。基于TX信号以及基于探测到传入光子而进行的电荷从PPD 1801到FD节点的转移可被考虑以提供电荷到时间的单端到差分转换。

[0355] 第四晶体管1809运行以将存储在FD节点上的电荷转换成第四晶体管1809的第二S/D端子处的电压。SEL信号用于选择像素来读出与已被转移到FD节点的电荷对应的PIXOUT1信号或者随后读出与在已将PPD 1801中的剩余电荷转移到FD节点之后在PPD 1801中剩余的电荷对应的PIXOUT2信号。在一个实施例中，PIXOUT1信号对PIXOUT1信号加上PIXOUT2信号的和的比率与由像素接收的光信号的TOF和延迟时间之间的差成比例，如方程式(2)中的比率所表达。在其中光脉冲在VTX信号开始向上斜变之后被发射的实施例中，延迟时间可为负的。

[0356] 对于时间分辨传感器1500，可使用方程式(2)中所表达的比率来确定物体的深度或范围，且如果PIXOUT1+PIXOUT2不因测量到测量而异，则所述比率对于测量到测量之间的变化不太敏感。在一个实施例中，VTX信号可理想地为线性的，且可理想地在TOF像素阵列的所有不同像素中为均匀的。然而，实际上，可被施加到TOF像素阵列的不同像素的VTX信号可因像素到像素而异，从而在范围测量中引入误差，所述误差取决于像素到像素之间的VTX信号的变化且还可因测量到测量而异。

[0357] 在一个实施例中，第一晶体管1803、第二晶体管1805、第三晶体管1807、第四晶体管1809和第五晶体管1811可分别为n型MOSFET或p型MOSFET。然而，本文所公开主题并不限于使用n型MOSFET或p型MOSFET，这是因为可使用任何其他适合的晶体管。

[0358] 图19绘示根据本文所公开主题的图15所示时间分辨传感器1500的示例性相对信号时序图1900。在图19中，在光闸关断(初始化)周期期间，RST信号、VTX信号和TX信号分别变高(逻辑1)，接着返回到0(逻辑0)以将PPD电路1505复位。TXEN信号为高。在此初始化周期处，PPD 1801可被电荷填充到其满阱容量。VTX信号和TX信号变低以关断PPD电路1505的第二晶体管1805。VPIX电压变高，从而使FD节点复位。当RST信号返回到0时或者此后不久，朝物体发射光脉冲。VTX信号接着开始向上斜变且光闸信号变高以开始光闸接通周期。

[0359] 随着VTX信号向上斜变，TX信号也向上斜变且FD节点上的电荷响应于TX信号而开始减少。返回的光脉冲使TXEN信号变低(逻辑0)，从而停止电荷在FD节点与PPD 1801之间的转移。

[0360] 延迟时间Tdly表示开始发射光脉冲与TX信号开始向上斜变的时间之间的时间。飞行时间Ttof表示开始发射光脉冲与接收到返回信号的时间之间的时间。电子光闸时间Tsh表示从电子光闸打开时到电子光闸关闭时的时间(光闸接通周期)。在一个实施例中，电子光闸时间Tsh可小于或等于VTX信号的斜变时间。

[0361] 已转移的电荷在读取电荷转移周期期间被读出为PIXOUT1信号。在光闸信号为低的同时，RST信号第二次变高以将FD节点上的电荷复位，接着TXRMD信号、TXEN信号和TX信号变高以将PPD 1801上的剩余电荷转移到FD节点以被读出为PIXOUT2信号。

[0362] 图20绘示根据本文所公开主题的时间分辨传感器2000的另一个示例性实施例的框图。时间分辨传感器2000可包括SPAD电路2001、逻辑电路2003和第二PPD电路2005。

[0363] SPAD电路2001可包括SPAD、第一输入、第二输入、第三输入和输出，SPAD用于探测光子，所述第一输入用于接收VSPAD电压，所述第二输入用于接收光闸信号以控制电子光闸的打开和关闭，所述第三输入用于接收VDD电压(VDD)，所述输出用于输出探测事件(DE)信号。响应于接收到光子，SPAD电路2001输出脉冲信号，所述脉冲信号从VSPAD快速变为0且缓慢地返回到VSPAD。在一个实施例中，SPAD电路2001可与图15中所绘示的SPAD电路1501相同。

[0364] 逻辑电路2003可包括第一输入、第二输入和输出，所述第一输入连接到SPAD电路2001的DE输出，所述第二输入用于接收TXRMD信号以将在第二PPD电路2005的PPD中剩余的电荷完全转移，所述输出用于输出TXEN信号。在一个实施例中，逻辑电路2003可与图15中所绘示逻辑电路1503相同。

[0365] 第二PPD电路2005可包括第一输入、第二输入、第三输入、第四输入、第五输入和第六输入，所述第一输入连接到从逻辑电路2003输出的TXEN信号，所述第二输入连接到逻辑电路2003的第二输入以接收TXRMD信号，所述第三输入用于接收VTX信号以将电荷部分地或完全地从第二PPD电路2005的PPD转移到第二PPD电路2005中的第一浮动扩散(FD1)节点，所述第四输入用于接收RST信号以将FD1节点中的电荷复位以及对PPD中的电荷进行预设，所述第五输入用于接收第二PPD电路2005的VPIX电压，所述第六输入用于接收SEL信号以使得能够在PIXOUT1输出上读出与FD1节点上的电荷对应的PIXOUT1信号且使得能够在PIXOUT2输出上读出与在第二PPD电路2005的PPD中剩余的电荷对应的PIXOUT2信号。

[0366] 图21绘示根据本文所公开主题的时间分辨传感器2000的第二PPD电路2005的示例性实施例的示意图。第二PPD电路2005可包括PPD 2101、第一晶体管2103、第二晶体管2105、第三晶体管2107、第四晶体管2109、第五晶体管2111、第六晶体管2113、第七晶体管2115、第八晶体管2117和第九晶体管2119。

[0367] PPD 2101可包括阳极和阴极，所述阳极连接到地电势。PPD 2101可以与电容器相似的方式存储电荷。在一个实施例中，PPD 2101可被覆盖且因此不对光作出响应，且可用作TCC而非感光元件。

[0368] 第一晶体管2103可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子连接到逻辑电路2003的输出以接收TXEN信号输出，所述第一S/D端子用于接收VTX电压以控制电荷从PPD 2101的转移。

[0369] 第二晶体管2105可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子连接到第一晶体管2103的第二S/D端子以接收TX信号来从PPD 2101转移电荷，所述第一S/D端子连接到PPD 2101的阴极，所述第二S/D端子连接到第一浮动扩散(FD1)节点，电荷从PPD 2101转移到第一浮动扩散节点FD1。FD1节点可具有第一电容。在FD1节点与地之间可存在寄生电容，其未在图21中指示。在一个实施例中，在FD1节点与地之间还可连接有实体电容。通过第二晶体管2105从PPD 2101转移到FD1节点的电荷受TX信号控制。

[0370] 第三晶体管2107可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子连接到FD1节点且连接到第二晶体管2105的第二S/D端子，第一S/D端子用于接收VPIX电压。第三晶体管2107可运行以将存储在FD1节点上的电荷转换成第三晶体管2107的第二S/D端子处的电压。

[0371] 第四晶体管2109可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子用于接收RST信号以对FD1节点的电荷电平进行置位，所述第一S/D端子用于接收VPIX电压，所述第二S/D端子连接到第二晶体管2105的第二S/D端子。

[0372] 第五晶体管2111可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子用于接收SEL信号以读出FD1节点上的电荷，所述第一S/D端子连接到第三晶体管2107的第二S/D端子，所述第二S/D端子连接到像素输出PIXOUT1数据线以输出与FD1节点上的电荷对应的电压作为PIXOUT1信号。

[0373] 第六晶体管2113可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子用于接收TXRMD信号以将PPD 2101中剩余的电荷完全转移到第二浮动扩散节点FD2，所述第一S/D端子连接到PPD 2101的阴极，所述第二S/D端子连接到FD2节点。FD2节点可具有第二电容。在FD2节点与地之间可存在寄生电容，其未在图21中指示。在一个实施例中，在FD2节点与地之间还可连接有实体电容。在一个实施例中，FD2节点的第二电容可等于FD1节点的第一电容。PPD 2101中的任何剩余电荷均可通过第六晶体管2113转移到FD2节点。

[0374] 第七晶体管2115可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子连接到第六晶体管2113的第二S/D端子且连接到FD2节点，所述第一S/D端子用于接收VPIX电压。第七晶体管2115可运行以将存储在FD2节点上的电荷转换成第七晶体管的第二S/D端子处的电压。

[0375] 第八晶体管2117可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子用于接收RST信号以对FD2节点的电荷电平进行置位，所述第一S/D端子用于接收VPIX信号，所述第二S/D端子连接到第六晶体管2113的第二S/D端子。

[0376] 第九晶体管2119可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子用于接收SEL信号以选择像素来读出与FD2节点中的电荷对应的电压，所述第一S/D端子连接到第七晶体管2115的第二S/D端子，所述第二S/D端子连接到像素输出PIXOUT2数据线以输出与FD2节点上的电荷对应的电压作为PIXOUT2信号。

[0377] 在一个实施例中，VTX信号(和TX信号)可向上斜变以将电荷从PPD 2101转移到FD1节点。从PPD 2101转移到FD节点的电荷量可为TX信号的电平的函数，且TX信号的斜变可为时间的函数。因此，从PPD 2101转移到FD1节点的电荷可为时间的函数。如果在电荷从PPD 2101转移到FD1节点期间，第二晶体管2105响应于SPAD电路2001探测到传入光子而关断，则电荷从PPD 2101到FD1节点的转移停止，且转移到FD1节点的电荷量与在PPD 2101中剩余的电荷量两者均与传入光子的TOF有关。基于TX信号以及基于探测到传入光子而进行的电荷从PPD 2101到FD1节点的转移提供电荷到时间的单端到差分转换。

[0378] 对于时间分辨传感器2000，可使用方程式(2)中所表达的比率来确定物体的深度或范围，且如果PIXOUT1+PIXOUT2不因测量到测量而异，则所述比率对于测量到测量之间的变化不太敏感。在一个实施例中，VTX信号可理想地为线性的，且可理想地在TOF像素阵列的所有不同像素中为均匀的。然而，实际上，可被施加到TOF像素阵列的不同像素的VTX信号可因像素到像素而异，从而在范围测量中引入误差，所述误差取决于像素到像素之间的VTX信号的变化且还可因测量到测量而异。

[0379] 在一个实施例中，第一晶体管2103、第二晶体管2105、第三晶体管2107、第四晶体管2109、第五晶体管2111、第六晶体管2113、第七晶体管2115、第八晶体管2117和第九晶体管2119可各自为n型MOSFET或p型MOSFET；然而，可使用任何其他适合的晶体管。

[0380] 图22绘示根据本文所公开主题的时间分辨传感器2000的示例性相对信号时序图2200。图22所示信号时序图与图19所示信号时序图相似且相似之处已参照图19加以阐述。
图22所示信号时序图的不同之处在于：包括FD2信号，且在光闸接通周期结束处，PPD 2101上的剩余电荷通过TXRMD信号的操作被转移到FD2节点。另外，可同时读出PIXOUT1信号和PIXOUT2信号。

[0381] 应注意，第二PPD电路2005依赖于不变的满阱容量来确定最大范围；然而，时间分辨传感器2000的实际实现方式可基于不同的第二PPD电路2005之间的热噪声而经历PPD 2101的满阱变化。另外，VTX信号可基于像素阵列中像素的位置而具有不同的斜坡(斜率)。
也就是说，像素处的VTX信号的斜坡(斜率)可视像素与VTX信号的来源的靠近程度而异。

[0382] 图23绘示根据本文所公开主题的时间分辨传感器2300的再一个示例性实施例的框图。时间分辨传感器2300可包括一个或多个SPAD电路2301a到2301n、逻辑电路2303和第三PPD电路2305。

[0383] 在一个实施例中，所述一个或多个SPAD电路2301a到2301n中的每一个可包括SPAD 2311a到2311n、电阻器2313a到2313n、电容器2315a到2315n、p型MOSFET晶体管2317a到
2317n和缓冲器2319a到2319n。SPAD 2311a到2311n可包括阳极和阴极，所述阳极连接到地电势。电阻器2313a到2313n可包括第一端子和第二端子，所述第一端子用于接收VSPAD电压，所述第二端子连接到SPAD 2311a到2311n的阴极。在另一个实施例中，SPAD 2311a到
2311n与电阻器2313a到2313n可交换位置。SPAD 2311a到2311n可对光作出响应。响应于接收到光子，SPAD 2311a到2311n输出脉冲信号，所述脉冲信号从VSPAD电压快速变为低于击穿电压的电压且接着更缓慢地返回到VSPAD电压。

[0384] 电容器2315a到2314n可包括第一端子和第二端子，所述第一端子连接到SPAD 2311a到2311n的阴极。在替代实施例中，可省略电容器2315a到2315n。p型MOSFET晶体管
2317a到2317n可包括第一S/D端子、栅极和第二S/D端子，所述第一S/D端子连接到电容器
2315a到2315n的第二端子，所述栅极用于接收光闸信号，所述第二S/D端子用于接收VPIX电压(VDD)。缓冲器2319a到2319n可包括输入和反相输出，所述输入连接到电容器2315a到
2315n的第二端子，所述反相输出可输出与SPAD电路2301a到2301n的输出对应的DE信号。在替代实施例中，缓冲器2319a到2319n可为非反相的。

[0385] 逻辑电路2303可包括输入和输出，所述输入连接到所述一个或多个SPAD电路2301a到2301n中的每一个SPAD电路的DE信号输出，所述输出输出TXEN信号和TXENB信号，TXENB信号可为TXEN信号的反相。

[0386] 第三PPD电路2305可包括电容装置SC、第一晶体管2351、第二晶体管2353、第三晶体管2355、第四晶体管2357、第五晶体管2359、第六晶体管2361、第七晶体管2363、第八晶体管2365、第九晶体管2367、第十晶体管2369、第十一晶体管2371、第十二晶体管2373和第十三晶体管2375。

[0387] 电容装置SC可包括第一端子和第二端子，所述第一端子连接到地电势。电容装置SC可以与电容器相似的方式存储电荷。在一个实施例中，电容装置SC可为电容器。在另一个实施例中，电容装置SC可为PPD，所述PPD可被覆盖以使其不对光作出响应。在这两个实施例中的任一个实施例中，电容装置SC均可用作TCC的一部分。

[0388] 第一晶体管2351可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子连接到RST信号，所述第一S/D端子连接到地电势，所述第二S/D端子连接到电容装置SC的第二端子。

[0389] 第二晶体管2353可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子连接到TXA信号，所述第一S/D端子连接到第一浮动扩散FD1节点，所述第二S/D端子连接到第一晶体管2351的第二S/D端子和电容装置SC的第二端子。第一浮动扩散FD1节点在图23中以电容器符号表示。在FD1节点与地之间可存在寄生电容，其未在图23中指示。在一个实施例中，在FD1节点与地之间还可连接有实体电容。

[0390] 第三晶体管2355可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子连接到FD1节点和第二晶体管2353的第一S/D端子，所述第一S/D端子连接到VPIX电压。第三晶体管2355可运行以将FD1节点上的电荷转换成第三晶体管2355的第二S/D端子处的电压。

[0391] 第四晶体管2357可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子连接到RST信号，第一S/D端子连接到VPIX电压，所述第二S/D端子连接到第一晶体管2351的第二S/D端子和电容装置SC的第二端子。

[0392] 第五晶体管2359可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子连接到TXEN信号，所述第一S/D端子连接到VTX信号，所述第二S/D端子连接到第二晶体管2353的栅极端子。

[0393] 第六晶体管2361可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子连接到TXENB信号，所述第一S/D端子连接到地电势，所述第二S/D端子连接到第二晶体管2353的栅极端子和第五晶体管2359的第二S/D端子。

[0394] 第七晶体管2363可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子连接到SEL信号，所述第一S/D端子连接到第三晶体管2355的第二S/D端子，所述第二S/D端子连接到像素输出线PIXA。

[0395] 第八晶体管2365可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子连接到TXB信号，所述第一S/D端子连接到第二浮动扩散FD2节点，所述第二S/D端子连接到第一晶体管2351的第二S/D端子、电容装置SC的第二端子和第二晶体管2353的第二S/D端子。第二浮动扩散FD2节点在图23中以电容器符号表示。在FD2节点与地之间可存在寄生电容，其未在图23中指示。在一个实施例中，在FD2节点与地之间还可连接有实体电容。

[0396] 第九晶体管2367可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子连接到FD2节点和第八晶体管2365的第一S/D端子，所述第一S/D端子连接到VPIX电压。第九晶体管2367可运行以将FD2节点上的电荷转换成第九晶体管2367的第二S/D端子处的电压。

[0397] 第十晶体管2369可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子连接到RST信号，所述第一S/D端子连接到VPIX电压，所述第二S/D端子连接到第一晶体管2351的第二S/D端子、电容装置SC的第二端子和第八晶体管2365的第二S/D端子。

[0398] 第十一晶体管2371可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子连接到TXENB信号，所述第一S/D端子连接到VTX信号，所述第二S/D端子连接到第八晶体管2365的栅极端子。

[0399] 第十二晶体管2373可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子连接到TXEN信号，所述第一S/D端子连接到地电势，所述第二S/D端子连接到第八晶体管2365的栅极端子和第十一晶体管2371的第二S/D端子。

[0400] 第十三晶体管2375可包括栅极端子、第一S/D端子和第二S/D端子，所述栅极端子连接到SEL信号，所述第一S/D端子连接到第九晶体管2367的第二S/D端子，所述第二S/D端子连接到像素输出线PIXB。

[0401] 图24绘示根据本文所公开主题的时间分辨传感器2300的示例性相对信号时序图2400。图24所示信号时序图与图19和图22所示信号时序图相似且相似之处已参照图19加以阐述。图24所示信号时序图与图22所示信号时序图的不同之处在于不包括TXRMD信号和TX信号，而是包括TXENB信号、TXA信号和TXB信号。

[0402] 在图24所示信号时序图中，TXENB信号是TXEN信号的反相。当光闸信号为现用高时，TXEN信号为现用且VTX信号通过第五晶体管2359，从而使TXA信号为现用。电容装置SC上的电荷通过第二晶体管2353转移到FD1节点。同时，地电势通过第十二晶体管2373，从而使TXB信号非现用。

[0403] 当发生探测事件(DE)时，TXEN信号变为非现用且TXENB信号变为现用。当TXEN信号变为非现用时，TXA信号也变为非现用且电荷停止通过第二晶体管2353从电容装置SC转移到FD1节点。当TXENB信号变为现用时，TXB信号变为现用且电荷通过第八晶体管2365从电容装置SC转移到FD2节点。

[0404] 当光闸信号结束时，TXB信号变为非现用且电荷停止通过第八晶体管2365从电容装置SC转移到FD2节点。与FD1节点和FD2节点上的电荷相关联的各个电压是从PIXA输出线和PIXB输出线读出。

[0405] 应注意，VTX信号的斜率的变化和像素到像素之间电容装置SC的电容的变化不会造成范围测量误差，只要第二晶体管2353(TXA)和第八晶体管2365(TXB)在现用光闸信号期间以线性模式运行即可。

[0406] 图25绘示根据本文所公开主题的使用时间分辨传感器2300来分辨时间的方法2500的流程图。所述方法在2501处开始。在2502处，生成现用光闸信号。在2503处，在现用光闸信号期间探测入射在至少一个SPAD电路2301a到2301n上的一个或多个光子(探测事件(DE))，其中所探测到的所述一个或多个光子是从物体反射。在2504处，基于探测事件(DE)生成输出信号。在2505处，基于关于探测事件(DE)的输出信号生成第一使能信号(例如，TXEN)和第二使能信号(例如，TXENB)。在一个实施例中，第一使能信号响应于现用光闸信号的开始而变为现用且响应于输出信号而变为非现用，且第二使能信号响应于输出信号而变为现用且响应于现用光闸信号的结束而变为非现用。

[0407] 在2506处，如果第一使能信号为现用，则将电容装置SC上的电荷转移到第一浮动扩散(FD1)节点以在第一浮动扩散(FD1)节点上形成第一电荷。在2507处，如果第二使能信号为现用，则将电容装置SC上的剩余电荷转移到第二浮动扩散(FD2)节点以在第二浮动扩散(FD2)节点上形成第二电荷。在2508处，输出第一电压和第二电压，所述第一电压是基于第一电荷，所述第二电压是基于第二电荷。第一电压对第一电压和第二电压的和的第一比率与所探测到的所述一个或多个光子的飞行时间成比例，且第二电压对第一电压和第二电压的和的第二比率与所探测到的所述一个或多个光子的飞行时间成比例。在2509处，所述方法结束。

[0408] 在一个实施例中，转移第一电荷和第二电荷还包括根据斜坡函数改变VTX信号(或驱动信号)，其中VTX信号(或驱动信号)响应于从中探测到所探测到的所述一个或多个光子的光脉冲的开始时间而开始改变，直到现用光闸信号结束。另外，将电容装置上的电荷转移到第一浮动扩散(FD1)节点以在第一浮动扩散(FD1)节点上形成第一电荷还可基于当第一使能信号为现用时VTX信号(或驱动信号)的电平，且将电容装置上的剩余电荷转移到第二浮动扩散(FD2)节点以在第二浮动扩散(FD2)节点上形成第二电荷还可基于当第二使能信号为现用时VTX信号(或驱动信号)的电平。

[0409] 在另一个实施例中，第一电压对第一电压和第二电压的和的第一比率还可与所探测到的所述一个或多个光子的飞行时间减去延迟时间成比例。相似地，第二电压对第一电压和第二电压的和的第二比率还可与所探测到的所述一个或多个光子的飞行时间减去延迟时间成比例，所述延迟时间包括光脉冲的传输时间的开始到VTX信号(或驱动信号)开始改变的时间之间的时间。

[0410] 使用SPAD的LiDAR(光探测和范围测量)系统通常不提供基于光强度的成像能力。强度成像与范围信息一起可显著改善先进驾驶员辅助系统(advanced driver-assistance system，ADAS)和自主驾驶应用中的物体辨别性能。本文所公开主题提供一种提供范围信息和强度成像信息两者的成像系统。范围图像和强度图像均是从同一来源生成，因此不存在图像对准问题和/或不需要复杂的融合算法。本文所公开的像素的实施例被配置成TCC。另外，也可使用被配置成时间到数字转换器(time-to-digital converter，TDC)的像素，但可提供具有小于被配置成TCC的像素的空间分辨率的图像。也就是说，被配置成TCC的像素较小且可提供具有比使用被配置成TDC的像素的像素阵列更高的分辨率的像素阵列。

[0411] 可提供范围信息和光强度信息的成像系统的一个示例性实施例是图1中所绘示的成像系统15。像素阵列42可包括本文所公开的TCC像素的实施例，例如图5中所绘示的像素43、图7中所绘示的像素700、图13中所绘示的像素1300、图21中所绘示的像素2100和/或图
23中所绘示的像素2300。光源22被控制成提供点扫描(例如结合图3和图4所公开)，所述点扫描与像素处理单元46同步。可重复进行多次点扫描，以对范围信息和光强度信息两者提供统计平均。光强度信息可用于确定成像系统15的视场中的物体的反射率。在替代实施例中，光源22可被控制成照射整个场景。如果投射并俘获多个光脉冲，则可为每一个像素形成一直方图，且通过对直方图中的峰值附近的组(bin)进行求和，可产生灰阶图像，所述灰阶图像可用于显著改善ADAS和自主驾驶应用中的物体辨别性能。应记住，替代实施例可使用被配置成提供TDC输出的像素。

[0412] 图像传感器单元24所俘获的每一个斑点的反射率可基于所述斑点的距离和灰阶值来确定。也可在不存在激光脉冲的情况下生成灰阶图像。通过将多个帧相加在一起，图像传感器单元24可如同每像素每帧最多俘获一个光子的量子图像传感器那样运行。当将多个位平面(即帧)相加在一起时，可实现高动态范围成像。通过使用从同一图像传感器单元生成的3D图像和2D图像两者进行物体辨别，可避免复杂的图像融合处理且可改善辨别性能。

[0413] 在一个实施例中，可直接使用由像素所探测到的光子的抵达时间(即探测时间)直方图的峰值来生成像素的灰阶值。窗口宽度可与所投射的激光或光、脉冲的半峰全宽(FWHM)相同。可形成光子探测时间的直方图，且可使用与所探测到的光子的峰数对应的组来估测物体在已反射光脉冲的点处的表面反射率S。作为另一选择，可对像素的直方图与从SPAD输出的触发波形进行卷积，且接着选择最大所探测光子计数。

[0414] 图26A绘示从SPAD输出的示例性触发波形2600。图26A的横坐标为相对时间(无单位)，且图26A的纵坐标为相对振幅(无单位)。图26B绘示根据本文所公开主题的示例性像素的光子探测时间所可形成的示例性直方图2601。图26B的横坐标是相对归一化时间，且纵坐标是光子探测事件计数。

[0415] 图26C绘示示例性直方图2602，其中在2602a处指示表示所投射脉冲(未示出)的FWHM的窗口宽度，以指示可在其中确定事件计数最大值的窗口。图26D绘示示例性直方图2603，其中从SPAD(图26A)输出的触发波形与所述直方图进行卷积以确定事件计数最大值。

[0416] 表面反射率S可从以下方程式开始估测：

[0417] P＝α*S*L (5)

[0418] 其中P是像素值；α是将勒克斯(lux)转换为像素值的系统相依常数；S是表面反射率，L是光强度。光强度L可由Lamb+Llaser表示，其分别是抵达传感器的环境光强度和激光强度。

[0419] 因此，表面反射率S可被估测为

[0420]

[0421] 环境光强度Lamb可被表达成

[0422] Lamb＝[(β*M/D)/N]*Llaser (7)

[0423] 其中N是从光脉冲中探测到的事件的数量，M是在探测到光脉冲之前(即从环境中)探测到的事件的数量，D是所估测距离，且β是另一个可被校准的系统相依变量。

[0424] 图27绘示根据本文所公开主题的示例性像素的示例性直方图2700。直方图2700的横坐标为相对时间(无单位)，且直方图2700的纵坐标为光子探测事件的计数。在2701处指示在探测到光脉冲之前所探测到的事件M的数量。在2702处指示在光脉冲内探测到的事件N的数量。

[0425] 发射激光功率(由Ilaser表示)与接收激光功率Llaser之间的关系可为：

[0426] Llaser＝γ*(1/D2)*Ilaser (8)

[0427] 其中γ为系统常数。

[0428] 接着，对位置(x,y)处的反射率S的估测可被表达成：

[0429] S(x,y)＝f(D(x,y))*P/Ilaser (9)

[0430] 其中f(D)为距离相依函数，即如以上所导出的

[0431] f＝1/[α*(1+β*M/D*N)*γ*(1/D2)]。 (10)

[0432] 图28绘示根据本文所公开主题的生成场景的深度图或范围图以及灰阶图像的示例性方法的流程图2800。所述方法在2801处开始。在2802处，通过例如图1中所绘示的成像系统15对场景进行点扫描。成像系统15的像素阵列42可包括示例性像素43(图5)、700(图7)、1300(图13)、2100(图21)和/或2300(图23)。点扫描可仅执行一次，但是应理解，重复进行多次点扫描可获得更好的结果。在2803处，对像素阵列42的像素累加光子探测事件。在
2804处，如本文所公开，生成深度图或范围图。可由像素处理单元46和/或处理器19来确定范围信息。在2805处，基于对场景的反射率的估测而生成场景的灰阶图像。可由像素处理单元46和/或处理器19来确定灰阶图像。在2806处，所述方法结束。

[0433] 图29A绘示示例性场景2900。图29B和图29C分别绘示根据本文所公开主题的图29A中所绘示场景所已形成的示例性深度图2901和示例性灰阶图像2902。图29B右侧的刻度是以米为单位。

[0434] 图30绘示根据本文所公开主题的图1和图2中所绘示成像系统15的总体布局的示例性实施例。成像模块17可包括在图2、图5、图7(或图13)所示示例性实施例中示出的所期望硬件，以实现根据本公开各发明方面的2D/3D成像和TOF测量。处理器19可被配置成与一定数量的外部装置介接。在一个实施例中，成像模块17可充当输入装置，所述输入装置以经处理像素输出(例如图12中的P1和P2值)的形式将数据输入提供到处理器19以供进一步处理。处理器19还可从可为系统15的一部分的其他输入装置(未示出)接收输入。这类输入装置的一些实例包括计算机键盘、触摸板、触摸屏、操纵杆、物理“可敲击按钮”或虚拟“可敲击按钮”、和/或计算机鼠标/指向装置。在图30中，处理器19被示出为耦合到系统存储器20、外围存储单元275、一个或多个输出装置277和网络接口单元278。在图30中，示出显示单元作为输出装置277。在一些实施例中，系统15可包括所示装置的多于一个例子。系统15的一些实例包括计算机系统(桌上型或膝上型)、平板计算机、移动装置、手机、视频游戏单元或视频游戏机、机器对机器(M2M)通信单元、机器人、汽车、虚拟现实设备、无状态瘦型客户端系统、车辆的行车记录仪或后视照相机系统、自主导航系统、或者任何其他类型的计算或数据处理装置。在各种实施例中，图30中所示的所有组件均可容纳在单个壳体内。因此，系统15可被配置成独立式系统或任何其他适合的形状因子。在一些实施例中，系统15可被配置成客户端系统而非服务器系统。

[0435] 在一些实施例中，系统15可包括多于一个处理器(例如，呈分布式处理配置)。当系统15是多处理器系统时，处理器19可存在多于一个例子，或者可存在多个通过各自的接口(未示出)耦合到处理器19的处理器。处理器19可为系统芯片(SoC)，和/或可包括多于一个中央处理器(CPU)。

[0436] 系统存储器20可为任何基于半导体的存储系统，例如(举例来说)，DRAM、SRAM、PRAM、RRAM、CBRAM、MRAM、STT-MRAM等等。在一些实施例中，存储器单元20可包括至少一个3DS存储器模块与一个或多个非3DS存储器模块的联合。非3DS存储器可包括双倍数据速率同步动态随机存取存储器或者双倍数据速率2同步动态随机存取存储器、双倍数据速率3同步动态随机存取存储器或双倍数据速率4同步动态随机存取存储器(Double Data Rate or Double Data Rate 2,3,or 4 Synchronous Dynamic Random Access Memory，DDR/DDR2/DDR3/DDR4 SDRAM)、或者 DRAM、闪存存储器、各种类型的只读存储器(Read Only Memory，ROM)等。此外，在一些实施例中，系统存储器20可包括多种不同类型的半导体存储器，而非单一类型的存储器。在其他实施例中，系统存储器20可为非暂时性数据存储介质。

[0437] 在各种实施例中，外围存储单元275可包括对磁性存储介质、光学存储介质、磁光存储介质或固态存储介质的支持，例如硬盘驱动器、光盘(例如压缩盘(Compact Disk，CD)或数字通用盘(Digital Versatile Disk，DVD))、非易失性随机存取存储器(RAM)装置等等。在一些实施例中，外围存储单元275可包括更复杂的存储装置/系统，例如盘阵列(其可呈适合的独立盘冗余阵列(Redundant Array of Independent Disks，RAID)配置)或存储区域网路(Storage Area Network，SAN)，且外围存储单元275可通过标准外围接口(例如小型计算机系统接口(Small Computer System Interface，SCSI)、光纤通道接口(Fibre Channel interface)、 (IEEE 1394)接口、基于外围组件接口高速(Peripheral Component Interface Express，PCI ExpressTM)标准的接口、基于通用串行总线(Universal Serial Bus，USB)协议的接口或另一个适合的接口)耦合到处理器19。各种这类存储装置可为非暂时性数据存储介质。

[0438] 显示单元277可为输出装置的实例。输出装置的其他实例可包括图形装置/显示装置、计算机屏幕、警报系统、计算机辅助设计/计算机辅助制造(Computer Aided Design/Computer Aided Machining，CAD/CAM)系统、视频游戏站、智能手机显示屏、汽车中安装在仪表盘上的显示屏或者任何其他类型的数据输出装置。在一些实施例中，输入装置(例如成像模块17)和输出装置(例如显示单元277)可通过输入/输出(I/O)接口或外围接口耦合到处理器19。

[0439] 在一个实施例中，网络接口278可与处理器19进行通信，以使系统15能够耦合到网络(未示出)。在另一个实施例中，网络接口278可完全不存在。网络接口278可包括适用于将系统15连接到网络(不论是有线还是无线)的任何装置、介质和/或协议内容。在各种实施例中，网络可包括局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、有线或无线以太网、电信网络、卫星链路或其他适合类型的网络。

[0440] 系统15可包括板载电源单元280，以向图30中所示各种系统组件提供电力。电源单元280可为电池或可连接到交流(AC)电源插口或基于汽车的电源插口。在一个实施例中，电源单元280可将太阳能或其他可再生能量转换成电力。

[0441] 在一个实施例中，成像模块17可集成有高速接口(例如(举例来说)，通用串行总线2.0或3.0(USB 2.0或3.0)接口或更高级接口)，所述高速接口插入到任何个人计算机(Personal Computer，PC)或膝上型计算机中。非暂时性计算机可读数据存储介质(例如(举例来说)，系统存储器20或外围数据存储单元(例如CD/DVD))可存储程序代码或软件。处理器19和/或成像模块17中的像素处理单元46(图2)可被配置成执行程序代码，从而使系统15可操作以执行2D成像(举例来说，3D物体的灰阶图像)、TOF与范围测量、和使用像素专有距离值/像素专有范围值来生成物体的3D图像，例如早先参照图1到图29所论述的操作。举例来说，在某些实施例中，在执行程序代码时，处理器19和/或像素处理单元46可适合地配置(或激活)相关的电路组件(例如图12中的行解码器/驱动器1203和像素列单元1205)，以向像素阵列42中的像素43施加适当的输入信号(如光闸信号、RST信号、VTX信号、SEL信号等等)，从而使得能够从返回激光脉冲俘获光且随后处理进行TOF与范围测量所需的像素专有P1和P2值的像素输出。所述程序代码或软件可为专属软件或开放源软件，其在由适当的处理实体(例如处理器19和/或像素处理单元46)执行时可使处理实体能够处理各种像素专有ADC输出(P1和P2值)、确定范围值、以多种格式渲染结果(举例来说，包括根据基于TOF的范围测量值来显示远距离物体的3D图像)。在某些实施例中，成像模块17中的像素处理单元46可在像素输出数据被发送到处理器19以供进一步处理和显示之前对像素输出执行一些处理。在其他实施例中，处理器19也可执行像素处理单元46的功能中的一些或全部，在此种情况中，像素处理单元46可并非是成像模块17的一部分。

[0442] 如所属领域中的技术人员将认识到，可在广大范围的应用中对本文所述创新概念进行修改和变化。因此，所主张主题的范围不应仅限于以上所论述的任何具体示例性教示内容，而是由以上权利要求书来界定。

标题	发布/更新时间	阅读量
一种荧光分子定向定位方法和装置	2020-05-08	90
基于雪崩二极管的物体检测装置	2020-05-12	818
一种单光子雪崩二极管探测器结构及其制造方法	2020-05-19	793
一种应用于TOF技术的多SPAD门控模拟计数电路	2020-05-08	630
带时钟门控的数据读出接口电路	2020-05-12	327
用于光发射深度传感器的提前-滞后脉冲计数	2020-05-14	523
环境光调节装置、方法、图像传感器及电子装置	2020-05-18	177
一种具备测温功能的光量子测距仪及测温测距方法	2020-05-11	633
双波长多偏振激光成像装置	2020-05-19	662
单光子雪崩二极管、主动式淬灭电路、脉冲式TOF传感器以及成像装置	2020-05-19	89

图像传感器、成像单元和生成灰阶图像的方法

图像传感器、成像单元和生成灰阶图像的方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：