机器视觉3D线扫描图像获取及处理
阅读：884发布：2020-05-14
专利汇可以提供机器视觉3D线扫描图像获取及处理专利检索，专利查询，专利分析的服务。并且本 申请 案针对于 机器视觉 3D线扫描图像获取及处理。机器视觉系统可通过聚合来自多个 像素 的 信号 而执行压缩感测。所述信号聚合可基于取样函数。所述取样函数可由可为稀疏的随机基与滤波函数的积形成。，下面是机器视觉3D线扫描图像获取及处理专利的具体信息内容。
1.一种图像传感器(107)，其包括：
像素阵列(301、400)，其包括分割成若干行和若干列(331、332、333、334)的多个像素元件，每个所述像素元件包括光传感器(406)；
其中每一行中的所述像素元件具有用于接收该行的像素元件的控制信号的共用控制耦合(405)，每个所述像素元件的所述共用控制耦合包括第一控制耦合和第二控制耦合，所述第一控制耦合用于接收指示两个信息位中的第一者的控制信号，且所述第二控制耦合用于接收指示所述两个信息位中的第二者的控制信号；
其中每一列中的所述像素元件具有共用输出耦合，所述共用输出耦合用于提供第一输出耦合上的第一模拟列输出信号和该列的第二输出耦合上的第二模拟列输出信号中的每一者，所述第一模拟列输出信号取决于由该列的两个或更多个所述像素元件积累的光能量，所述两个或更多个所述像素元件选择性地与已经接收到指示两个信息位中的第一者的相应控制信号的相应第一控制耦合相耦合，且所述第二模拟列输出信号取决于由该列的不同的两个或更多个像素元件积累的光能量，所述不同的两个或更多个像素元件选择性地与已经接收到指示所述两个信息位中的第二者的相应控制信号的相应第二控制耦合相耦合，其中所述两个信息位表示将选择的所述第一输出耦合和所述第二输出耦合中的哪一输出耦合；及
比较器阵列(340)，其与所述像素阵列的所述列以一一对应形式耦合，每个比较器(341、342、343、344或404)输出指示来自所述像素阵列的其相应列的所述第一模拟列输出信号的量级是否大于所述第二模拟列输出信号的量级的1位值。
2.根据权利要求1所述的图像传感器，其包括：
存储元件(300)，其与所述行的所述控制耦合相关联，其中所述存储元件包括存储单元阵列，每个所述存储单元包括用于表示所述控制信号的所述两个信息位的存储。
3.根据权利要求2所述的图像传感器，其包括：
移位寄存器(321、322、323)，其具有与所述存储元件相耦合的输入以及与所述像素阵列的相应行的控制耦合以一一对应形式相耦合的输出，其中所述移位寄存器经配置以：
接收存储在所述存储元件中的若干控制信号，所述若干控制信号的数量等于所述像素阵列的行数，及
将接收到的控制信号提供给所述像素阵列的所述相应行的所述控制耦合。
4.根据权利要求3所述的图像传感器，其包括：
输入缓冲器(311、312、313)，其具有耦合到所述存储元件的输入和耦合到所述移位寄存器的输出，其中所述输入缓冲器经配置以将控制信号从所述存储元件传送到所述若干控制信号的子集中的所述移位寄存器。
5.根据权利要求4所述的图像传感器，其中所述移位寄存器经配置以保持先前接收到的控制信号，同时通过所述输入缓冲器将新的控制信号从所述存储元件传送到所述移位寄存器，从而维持所述控制耦合的状态，同时新的控制信号正在被传送到所述移位寄存器中。
6.根据权利要求1所述的图像传感器，其包括：
第一存储元件(300)，其邻近于所述像素阵列的一侧设置，且用于存储表示所述控制信号的信息；及
第二存储元件，其邻近于所述像素阵列的另一侧设置，且用于存储表示所述控制信号的信息的拷贝。
7.根据权利要求1所述的图像传感器，其中至少一些所述像素元件的所述光传感器包括钉扎光电二极管。
8.根据权利要求1所述的图像传感器，其中每个所述像素元件包括：
跨导器(409)，及
浮动扩散节点(412)，其与所述光传感器和所述跨导器相耦合，所述浮动扩散节点经配置以存储由所述光传感器积累的电荷，使得所述浮动扩散节点的电压引起所述跨导器提供与所述电压成比例的像素电流。
9.根据权利要求8所述的图像传感器，其中每个所述像素元件包括：
第一晶体管(410)，其与所述跨导器、对应行的所述控制耦合以及对应列的所述第一输出耦合相耦合，以及
第二晶体管(411)，其与所述跨导器耦合、对应行的所述控制耦合以及对应列的所述第二输出耦合相耦合，
所述第一晶体管和所述第二晶体管经布置且经配置：
如果所述控制耦合已经接收到指示所述两个位中的第一者的控制信号，则将由所述跨导器提供的所述像素电流切换到所述第一输出耦合，从而所述像素电流有助于所述第一输出耦合上的所述第一模拟列输出信号，以及
如果所述控制耦合已经接收到指示所述两个位中的第二者的控制信号，则将由所述跨导器提供的所述像素电流切换到所述第二输出耦合，从而所述像素电流有助于所述第二输出耦合上的所述第二模拟列输出信号。
10.根据权利要求1所述的图像传感器，其包括：
输出数据多路复用器(302)，其通过1位数字输出信号线与所述比较器的相应输出相耦合，其中所述输出数据多路复用器经配置以输出一行二进制测量信号。
11.根据权利要求10所述的图像传感器，其中，
所述像素阵列包括N1个行和N2个列，
由所述像素元件积累的所述光能量来自于在所述像素阵列处形成的光学图像，及所述二进制测量信号代表所述光学图像并且通过图像传感器输出为具有M个行和N2个列的矩阵，其中M小于N1。
机器视觉3D线扫描图像获取及处理
[0001] 分案申请信息
技术领域
[0003] 本发明一般来说涉及机器视觉，且更特定来说涉及用于感测由光平面照明的场景的深度信息的机器视觉系统。
背景技术
[0004] 用于获取3D范围图像的众所周知的方法包含以下步骤：提供具有用以照明场景的单个平面的线产生光学器件的光源；定位数码相机以观看光平面，使得由所述光源照明的物件显现于由相机透镜形成的光学图像中；捕获所述场景的数字图像；处理所述数字图像以提取由所述光源照明的所述场景中的点的图像坐标；及根据光学系统的三角测量几何学处理所述图像坐标以形成适合于所述场景中的物件的测量的一组物理坐标。
[0005] 与此常规机器视觉过程相关联的主要限制为必须由数码相机捕获由系统形成的物理坐标中的每一者及每一线的实质大小的2维强度图像。此可使用以捕获场景的3D图像的时间比获取相同大小场景的强度图像所需的时间长100倍，因此使基于激光线的3D图像形成方法对于许多工业机器视觉应用来说太慢。
发明内容
[0006] 本发明的若干方面提供可适用于照明平面与场景中的物件的交叉位置的机器视觉系统及方法。
[0007] 本发明的若干方面引入使得可能实际实现具有优于所述应用领域中的常规视觉系统的显著优点的视觉系统的方法及设备。在一些方面中，本发明实质上执行与图1a及图1b的常规视觉系统相同的功能(即，提取由和由照明平面与物理场景中的所关注物件的交叉形成的曲线的图像特征相关联的参数)，但在实际实施方案中以实现吞吐量优点的方式执行包含计算的功能。
[0008] 在一个方面中，本发明提供一种用于确定图像的信息的方法，其包括：针对像素阵列的多个像素元件中的每一者，基于传入光能量积累第一像素信号，所述像素元件各自包含光传感器，所述第一像素信号指示场景的图像；及通过以下方式获得指示所述场景的所述图像的测量信息：将若干组控制信号施加到所述像素元件的行，每一行的像素元件共享共用控制信号，所述若干组控制信号中的每一者彼此实质上不相关，所述若干组控制信号中的每一者表示矩阵的不同向量，所述矩阵包括随机基函数与具有调谐到所预期图像信号中的所关注所要空间频率的频率响应的滤波函数的积；针对每一组控制信号，根据所述控制信号聚合像素元件的列的基于所述第一像素信号的输出信号；及将所述像素元件的所述列的所述经聚合输出信号中的每一者数字化。
[0009] 根据一些此类方面，所述第一像素信号的积累在所述若干组控制信号的施加之前开始且贯穿所述若干组控制信号的施加继续。根据一些此类方面，所述第一像素信号的积累在所述若干组控制信号的施加之前开始，且所述若干组控制信号的施加暂时被中断，且在所述中断期间发生所述第一像素信号的积累的复位及重新开始积累。根据一些此类方面，根据所述控制信号聚合像素元件的列的基于所述第一像素信号的输出信号包括：针对每一列像素元件，将所述第一像素信号中的第一选定像素信号耦合到所述列的第一列输出线及将所述第一像素信号中的第二选定像素信号耦合到所述列的第二列输出线，所述第一像素信号中的所述第一选定像素信号及所述第一像素信号中的所述第二选定像素信号由所述控制信号确定。根据一些此类方面，将所述像素元件的所述列的所述经聚合输出信号中的每一者数字化包括：针对所述像素元件的所述列中的每一者，将所述第一列输出线与所述第二列输出线的信号进行比较。根据一些此类方面，所述第一像素信号包括电压信号且其中所述输出信号包括电流信号。根据一些此类方面，所述像素阵列包含N1行像素元件、N2列像素元件，且M组控制信号被施加到所述像素元件的行以形成指示所述场景的所述图像的测量，M比N1小得多。根据一些此类方面，所述滤波函数基于中心差分近似。根据一些此类方面，将所述数字化的经聚合输出信号写入到缓冲器，所述缓冲器存储指示所述场景的所述图像的测量。根据一些此类方面，通过形成所述随机基函数的转置与所述测量的积而确定估计，细化所述估计及在所述估计中定位线的边缘。
[0010] 在另一方面中，本发明提供一种用于确定图像的信息的方法，其包括：针对像素阵列的多个像素元件中的每一者，基于传入光能量积累第一像素信号，所述像素元件各自包含光传感器；及通过以下方式获得指示场景的所述图像的测量信息：将若干组控制信号施加到所述像素元件的行，每一行的像素元件分组成各自包含所述行的多个像素的若干像素子组，每一行中的像素元件属于共享共用控制信号的每一像素子组，所述若干组控制信号中的每一者彼此实质上不相关；针对每一组控制信号，根据所述控制信号聚合像素元件的列的输出信号，所述输出信号基于所述第一像素信号；及将所述像素元件的所述列的所述经聚合输出信号中的每一者数字化。
[0011] 根据一些此类方面，针对每一行，第一像素子组中的像素元件与至少一个其它像素子组的像素元件分离。根据一些此类方面，每一列像素元件仅包含属于同一像素子组的像素元件。根据一些此类方面，所述若干组控制信号包括若干组控制信号的群组，若干组控制信号的每一群组基于不同取样函数。根据一些此类方面，每一取样函数与其它取样函数实质上不相关。根据一些此类方面，每一子组中的像素元件接收基于不同取样函数的控制信号。根据一些此类方面，所述控制信号基于至少九个不同取样函数，其中在第一时间周期内施加基于至少三个不同取样函数的控制信号，在第二时间周期内施加基于至少三个其它不同取样函数的控制信号，且在第三时间周期内施加基于至少另外三个不同取样函数的控制信号。根据一些此类方面，每一取样函数包括随机基函数与具有调谐到所预期图像信号中的所关注所要空间频率的频率响应的滤波函数的积。根据一些此类方面，所述第一像素信号的积累相对于所述若干组控制信号的施加不同步地发生。根据一些此类方面，所述第一像素信号的积累相对于所述若干组控制信号的施加同步地发生。根据一些此类方面，根据所述控制信号聚合像素元件的列的基于所述第一像素信号的输出信号包括：针对每一列像素元件，将所述第一像素信号中的第一选定像素信号耦合到所述列的第一列输出线及将所述第一像素信号中的第二选定像素信号耦合到所述列的第二列输出线，所述第一像素信号中的所述第一选定像素信号及所述第一像素信号中的所述第二选定像素信号由所述控制信号确定。根据一些此类方面，将所述像素元件的所述列的所述经聚合输出信号中的每一者数字化包括：针对所述像素元件的所述列中的每一者，将所述第一列输出线与所述第二列输出线的信号进行比较。根据一些此类方面，所述第一像素信号包括电压信号且其中所述输出信号包括电流信号。根据一些此类方面，所述像素阵列包含N1行像素元件、N2列像素元件，且M组控制信号基于每一取样函数，M比N1小得多。
[0012] 在另一方面中，本发明提供一种用于确定图像的信息的方法，其包括：提供图像传感器，所述图像传感器包括：像素阵列，其包含分割成若干行及若干列的多个像素元件，所述像素元件中的每一者包括光传感器；每一行中的像素元件，其属于多个不同组中的一者，每一行中的所述像素元件属于具有共用耦合的每一组，所述共用耦合用于接收用于所述行的所述组的像素元件的控制信号；每一列像素元件中的像素元件，其具有用于提供所述列的列输出信号的共用耦合，所述像素元件对所述列输出信号的贡献取决于所述控制信号及由所述像素元件积累的光能量；及数字化器阵列，其与所述像素阵列的列以一一对应耦合，所述数字化器经耦合以便从所述像素阵列的其对应列接收所述列输出信号；通过以下方式获得对所述像素元件的图像强度信号测量：将行输入信号向量施加到所述像素阵列的控制线；针对每一组施加不同行输入信号向量，每一行输入信号向量为一组所有可能行输入信号向量的子组中的针对当前帧时间与所有先前施加的行输入信号向量实质上不相关的一子组；读取所述数字化器阵列的输出；及多次重复施加所述行输入信号向量及读取所述数字化器阵列的输出。
[0013] 根据一些此类方面，所述行输入信号向量基于多个取样函数的向量。根据一些此类方面，每一取样函数包括随机基函数与具有调谐到所预期图像信号中的所关注所要空间频率的频率响应的滤波函数的积。
[0014] 在另一方面中，本发明提供一种图像传感器，其包括：像素阵列，其包含分割成若干行及若干列的多个像素元件，所述像素元件中的每一者包括光传感器；每一行中的像素元件，其属于多个不同组中的一者，每一行中的所述像素元件属于具有共用耦合的每一组，所述共用耦合用于接收用于所述行的所述组的像素元件的控制信号；每一列像素元件中的像素元件，其具有用于提供所述列的第一列输出信号及第二列输出信号中的每一者的共用耦合，所述像素元件对所述列输出信号的贡献取决于所述控制信号及由所述像素元件积累的光能量；及数字化器阵列，其与所述像素阵列的列以一一对应耦合，所述数字化器经耦合以便从所述像素阵列的其对应列接收所述列输出信号的指示。
[0015] 根据一些此类方面，第一存储元件在所述像素阵列的一侧附近以用于存储供在产生所述控制信号中的一些控制信号时使用的信息，且第二存储元件在所述像素阵列的另一侧附近以用于存储供在产生所述控制信号中的其它控制信号时使用的信息。根据一些此类方面，所述第一存储元件及所述第二存储元件各自包括存储单元阵列，每一存储单元包含用于信息的至少两个位的存储区。根据一些此类方面，用于接收每一像素元件的控制信号的所述共用耦合包含用于接收指示所述两个位中的第一者的信号的第一耦合及用于接收指示所述两个位中的第二者的信号的第二耦合。根据一些此类方面，数字化器通过电流输送器及限流器耦合到所述像素阵列的列。
[0017] 图1a是操作环境中的机器视觉系统的若干方面的半框图、半图解。
[0018] 图1b是现有技术的视觉系统的计算的图式。
[0019] 图2a是描绘由根据本发明的特定方面的机器视觉系统执行的计算的过程的流程图。
[0020] 图2b是描绘由根据本发明的特定方面的机器视觉系统执行的计算的另一过程的流程图。
[0021] 图3是表示本发明的特定方面的图像传感器架构的高级框图。
[0022] 图4是展示根据本发明的若干方面的图像传感器的更详细方面的电路图。
[0023] 图5是与本发明的特定方面一致的处理架构的框图。
[0024] 图6是图解说明传感器响应曲线的图。
[0025] 图7是图解说明根据本发明的若干方面的形成图像信号的近似的方法的图式。
[0026] 图8是图解说明根据本发明的若干方面的高传感器动态范围获取的时序图。
具体实施方式
[0027] 图1a是用于实施用于捕获3D范围图像的已知方法的视觉系统的图式。图1a包括激光线产生器101、物件输送器102、所关注物件103、激光照明的物件平面104、数码相机105、数字通信信道109及数字计算机111，所述数字计算机用于存储、处理、解释及显示从所关注物件提取的3D范围数据，所述数据由结果110以图形方式表示于图1a中。数码相机105进一步包括成像透镜106、图像传感器107及本地图像处理器108。
[0028] 在操作中，由激光线产生器101形成的窄照明平面112与包含输送器102及所关注物件103的3D场景交叉。由激光线产生器101形成的窄照明平面与成像透镜106的物件平面104重合。成像透镜106收集由3D场景散射的光且将其聚焦于图像传感器107上。包括矩形光敏像素阵列的图像传感器107捕获表示由透镜106在曝光时间段内形成的平均光强度信号的电信号。形成于图像传感器107上的电信号被转换成由本地数字处理器108接收的数字信息流。数字处理器108将数字图像信息格式化以供传输到数字计算机111。在一些实施方案中，本地数字处理器108还处理图像以形成图像的替代表示或提取相关特征以基于数字图像信息达到关键测量或某种其它形式的紧凑分类。
[0029] 一般来说，由数码相机105捕获的图像由本地数字处理器108或数字计算机111处理以测量由照明平面与场景中的物件的交叉形成的线的位移。根据预定相机校准，每一位移测量表示可变换成物件平面104中的物件表面坐标的图像坐标。在一些应用中，物件103移动通过激光线产生器101的平面，同时以有规律的间隔连续地捕获图像且提取位移坐标。以此方式，可由数字计算机111随时间建构图1a的视觉系统可见的物件103的表面的地图。
[0030] 为促进对本发明的若干方面的更好的理解，由于其与已知技术的常规视觉系统相关，因此关于图1b论述通常基于现有技术的实例。然而，舍弃在与关于本发明的后续揭示内容一致的方面中的论述。
[0031] 在以下说明中，大写字母符号通常表示矩阵数量，矩阵的行数由下标i识别，列数由下标j识别，且帧时间由下标t识别。小写字母符号表示标量或向量值，举例来说，xi,j指X的一个元素且xj指X的列向量。括号用于笼统地指矩阵的所有向量或元素，举例来说，X＝(xj)＝(xi,j)。
[0032] 在由图1b概述的计算中：
[0033] ·符号 表示图像强度信号，这是因为其存在于像素阵列的N1个像素行及N2个像素列上。
[0034] ·符号 表示通过Q256(·)量化为256级的图像信号X与正则取样函数的积。
[0035] ·符号 表示从测量Y恢复的图像强度信号。
[0037] ·符号 表示由f卷积的经恢复图像信号 其可造成成为(举例来说)经恢复图像信号 关于行的近似偏导数。
[0038] ·符号 表示本地信号极端值(即，每一列上的信号 的P相关信号峰值)的图像偏移参数。
[0039] 在图1b中，过程接收表示场景的光能量的信息。所述信息可视为图像强度信号(举例来说X，其中 且表示图像强度信号，这是因为其存在于像素阵列的N1个像素行及N2个像素列上。所述信息可由图像传感器(举例来说，图1a的图像传感器107)接收。
[0040] 图1b的图像信号X包含激光线的三个区段，其中第三区段在水平上介于第一区段与第二区段之间且在垂直上从第一区段及第二区段偏移，所述区段表示(举例来说)图1a的照明平面112与输送器102及物件103的交叉的图像。图像信号X还可包含不希望的偏离平面照明假像及噪声(未展示)。照明假像可为从物件的一部分到另一部分在内部扩散的光(举例来说，激光线的光)，且噪声可由周围光或由图像传感器引入。
[0041] 一般来说，图1b中所概述的计算的功能为提取和由照明平面与物理场景中的所关注物件的交叉形成的曲线的图像特征相关联的行偏移参数。常规方法包含以下步骤：对图像信号进行取样；形成数字图像；对数字图像进行滤波；及从经滤波数字图像提取图像特征。
[0042] 与图1b中所概述的常规机器视觉过程相关联的主要限制为必须由数码相机捕获由系统形成的物理坐标中的每一者及每一线的实质大小的2维强度图像。此可使用以捕获场景的3D图像的时间比获取相同大小场景的强度图像所需的时间长100倍，因此使基于激光线的3D图像形成方法对于许多工业机器视觉应用来说太慢。
[0043] 产生由图像传感器捕获的图像信号的常规数字表示所花费的时间随图像的大小、数字化器的速度及数字化器的数目而变。常规图像传感器通过以下方式操作：对由阵列的每一像素产生的电压信号进行取样；将电压量化为数百或甚至数千级以形成数字强度图像。数字读出的过程包含：将像素的电压信号切换到连接到取样装置的导体上；等待信号成长并稳定；对电压信号进行取样；在多个离散步骤中将所取样电压信号与参考信号进行比较以达到数字值。改进图像捕获率的已知方法涉及将行(或列)的数目拘限于适应场景中的物件的所预期激光线位移所需的最小数目，但在实践中有用位移图像仍需要数百行像素读出。改进图像捕获率的其它方法涉及使用多个模/数转换器。然而，在实践中，模/数转换器的数目受接入个别像素电压所必需的导体拘限。在常规CMOS图像传感器中，导体为不透明的，通常定位于光敏区域附近的光学路径中且仅可堆叠成有限数目个层。先前内容通常将数字化器的有用数目限于小于或等于像素阵列的列或行的数目。虽然关于用于将图像数字化的高速方法已知晓许多，但最终，存在对可使用常规数字图像获取方法实现的速度的特定实际限制。
[0044] 在本发明机器视觉应用中，观察到，由光平面照明的场景将由相机观看为相对稀疏图像，即，其中从场景接收到极少光(或未接收到光)的绝大部分的图像传感器像素可由数值零表示的图像。进一步观察到，可见照明平面与移动通过相机视场的实际所关注物件的交叉通常为分段光滑且连续函数，且所寻求的图像信息内容可由每图像列仅几个位充分表示。鉴于既定应用，显而易见，图像信号流的有用信息内容相对于信号的维度极其小，此暗示常规图像数字化方法将其大部分时间花费在对冗余信号信息进行取样及转换。如果可避免模拟图像信号的此冗余读出及转换，那么视觉系统的吞吐量的显著改进可能为可能的。
[0045] 在压缩感测领域中，已展示，在特定条件下，由零及K非零系数组成的信号向量可从仅 测量恢复。在此公式中：
[0046] y＝Ax， 其中 M＜＜N。
[0047] 上文所提到的条件为信号向量x的任何相关变化必须造成唯一测量向量y的形成，使得：
[0048] 针对所有x1≠x2，Ax1-Ax2≠0
[0049] 鉴于以上内容，x可通过搜索产生匹配测量向量y的最大程度稀疏向量 而从y及A恢复。
[0050] 以y＝Ax为条件， 此搜索的计算复杂性随与信号向量x的稀疏度K成正比的搜索空间的维度以指数方式增加。此事实使解决方案针对K的较大值通常为棘手的，即，以下情况除外：1)x充分稀疏；及2)测量矩阵A符合所谓的约束等距性质，此需要存在常数δ使得针对稀疏度K的信号向量x，
[0051]
[0052] 前述内容暗示，针对小常数δ，测量及信号具有充分类似的 标准，在所述情形中，凸优化方法适用，借此可找到以其与测量一致的约束为条件的处于其 最小值的[0053] 以y＝Ax为条件，
[0054] 假设相加噪声向量n，其中||n||2≤∈
[0055] 以||y-Ax||≤∈为条件，
[0056] 无论恢复方法如何，压缩感测模型的必要元素为信号稀疏度的现有知识，没有所述现有知识，难以或不可能保证从信号向量x到测量向量y的唯一映射，或者即使确实存在唯一映射，仍难以或不可能提供高效恢复。
[0057] 依据所期待图像信号的稀疏度，先前压缩感测模型似乎为有希望的。然而，相对于已知图像传感器设计及制作方法，表面上存在显著困难。一个困难为测量向量y及取样函数A两者均假设为由属于实数集的系数组成。为实现优于常规方法的速度改进将需要并行执行大量高动态范围模拟计算，外加所产生模拟信号的精确数字化。
[0058] 与上文所提及的实际实施方案相关联的困难中的一些困难通过1位压缩感测的理论解决，所述1位压缩感测基本上为具有测量信号y的极端量化的常规压缩感测理论。在1位压缩感测中，通过函数sign(.)将每一测量量化为1位，且仅将测量的正负号存储于测量向量y中。
[0059] y＝sign(Ax)，其中y∈{1，-1}M
[0060] 前述内容表示模/数转换过程的简化，其为现实实施方案提供某种希望。然而，注意，测量过程的本质为毁坏来自原始信号的比例信息。因此，在此公式中，在比例因数内仅部分重建为可能的。此事实相对于稍后将解释的本发明的图像传感器的设计具有重要性。
[0061] 为估计1位压缩感测相对于由光平面照明的场景的图像内所含的信息的数字捕获的加速的实际可能性，有必要了解存在于信号向量x、取样矩阵A及测量向量y之间的关系的本质。
[0062] 令x1及x2表示标准化到单位球面的两个信号向量x1≠x2中的任一者，且令测量y1＝sign(Ax1)且测量y2＝sign(Ax2)，如果满足以下方程式，那么对于K稀疏信号x，映射的sign(Ax)为阶次K的所谓的二进制∈稳定嵌入：
[0063] dang(x1，x2)-∈≤dham(y1，y2)≤dang(x1，x2)+∈
[0064] 用语言表述，在某一容限∈内，任两个信号之间的标准化向量角等于其测量之间的标准化汉明(Hamming)距离。
[0065] 在1位压缩感测中，已展示，如果A由I.I.D(独立且相同分布)随机变量(例如，伯努利(Bernoulli)分布)组成且∈>0，那么针对以下方程式，y＝sign(Ax)为具有概率Pr＞1-ρ的二进制∈稳定嵌入：
[0066]
[0068] 为达到对将由光平面照明的场景所形成的图像的列编码所需的样本M的最小数目的估计，通过以下方式开始：假设可将信号x模型化为包括移位成某一行偏移θ的窄激光线脉冲的稀疏图像向量。此理想激光线脉冲信号将在图像的每一列向量上为K＝1稀疏的。
[0069] 假设希望在某一移位容限δ＝1内估计θ，此暗示∈＜0.50对保证最小准确性水平为必要的。
[0070] 因此，为确保
[0071] dang(xθ，xθ+δ)-∈≤dham(yθ，yθ+δ)≤dang(xθ，xθ+δ)+∈
[0072] 为大于0.90的概率，给定K＝1，N＝512，∈＜0.50在理论上仅需要
[0073] 位/图像列。
[0074] 前述计算暗示相对于通常由常规CMOS图像传感器形成的8位/像素数字图像的实质数据减少的可能性。在图像传感器的吞吐量(即，帧速率)由所处理的信息量管控的程度上，期待相同数量级的速度改进并不是不合理的。
[0075] 不幸的是，与上文所描述的理想实例性情形相关联的假设中的一些假设显著脱离实际现实。举例来说，由照明物件的表面的光平面形成的图像的列向量虽然通常含有比正常照明的图像少的非零元素，但仍含有比将激光线的位置编码为最近像素所必需的非零值多得多的非零值。这是由于以下事实：即使在最好情形中，激光线的图像在其在图像的任何给定列上占据的行数目方面仍具有有限且可变厚度。另外，以下情况为常见的：由物件散射或扩散的光中的一些光照明物件的表面的不在激光的平面中但无论如何在相机的视场中且借此贡献于图像中的非零值的和的其它点。由于典型激光线图像已相对稀疏，因此变换成不同基的线性变换通常不提供非零信号系数的有意义的减少。与激光线图像相关联的噪声及特定不可避免的多余参数直接贡献于图像信号中的非零值的数目且间接贡献于捕获在测量中将激光线坐标准确编码的测量所必需的样本M的数目。此外，取决于数字处理器的实施方案，从测量还原数字信号的任务可迅速增加以支配有效循环时间，从而使压缩感测方法对于改进视觉系统吞吐量的目的无用。
[0076] 本发明的一方面为，不同于图1b的系统，在测量Y中并不将原始图像信号X编码，这是因为如此做将必要地需要将与提取照明平面与物理场景中的所关注物件的交叉的偏移参数不直接相关的额外图像信息编码。而是，在测量Y中将经滤波图像信号Z编码。对于此，一个原因为(如上文所解释)将信号的所有变化嵌入到特定误差容限∈所需的样本的数目具有阶次O(Klog(N))。通过对图像信号X进行滤波以使不含提取激光线偏移参数必要的信息的空间频率衰减，Z的稀疏度增加，使得KZ＜KX且在测量Y中将经滤波信号稳健编码所需的样本的数目将实际上总是小于(通常要小得多)将原始图像信号X编码所需的样本的数目，假设误差容限∈保持相同。
[0078] 在图2a中所概述的计算中：
[0079] ·符号 表示图像强度信号，这是因为其存在于图像传感器的N1×N2个像素元件上，其中(举例来说)图像传感器的像素元件形成可具有N1个像素行及N2个像素列的像素阵列。
[0080] ·符号 表示由用于计算关于图像信号X的行的一阶偏导数的中心差分近似的系数构成且在一些实施例中由所述系数组成的图像滤波函数。
[0082] ·符号 表示通过从r绘制行向量形成的随机基函数。
[0083] ·符号 表示由随机基Θ与滤波函数Ψ的积形成的图像取样函数。
[0084] ·符号 表示经滤波图像强度信号的测量，其由通过sign(.)量化为两级{-1，1}的取样函数Φ与图像信号X的积形成。
[0085] ·符号 表示经滤波图像信号的估计，其由测量Y与随机基函数Θ的转置的积形成。
[0086] ·符号 表示原始图像信号X与滤波函数Ψ的积的估计。
[0087] ·符号 表示本地信号极端值(即，每一列上的信号Z的P相关信号峰值)的图像偏移参数。
[0088] 在图2b中，框215表示图像信号X的信息，其为表示场景的光能量的信息。所述信息可由图像传感器(举例来说，图1a的图像传感器107)接收。光能量可为从场景散射的光，其中所述光中的至少一些光由透镜聚焦到图像传感器上。图像还可包含不希望的偏离平面照明假像及噪声(未展示)。照明假像可为从物件的一部分到另一部分在内部扩散的光(举例来说，激光线的光)，且噪声可(举例来说)由周围光或由图像传感器引入。
[0089] 框217包含产生图像强度信号X的测量Y的过程的表示。测量Y表示量化为两级的图像信号X与取样函数Φ的积。在多数实施例中，取样函数为随机基函数与空间滤波函数的积。在一些实施例中，随机基函数为从伯努利分布或某种其它通常随机分布绘制的稀疏非零元素。在一些实施例中，预期取样函数通常通过与图像的形成激光线的部分相关联的空间频率且实质上拒绝与图像的包含噪声及其它不希望的图像信息的部分相关联的空间频率。在一些实施例中，框217的过程通过迭代地产生测量Y的元素而提取图像信号X的信息。在一些实施例中，可由图像传感器装置及/或图像传感器装置连同相关联电路一起执行测量Y的信息的产生。
[0090] 在一些实施例中，以M个迭代产生Y的元素，其中(举例来说)M个迭代中的每一者产生不同yi的元素。在一些实施例(举例来说，其中具有带布置成N1行及N2列的像素元件的图像传感器及带M行及N1列的取样函数的实施例)中，在每一迭代中，在于每列基础上执行正负号运算之后，将取样函数的不同特定行的信息有效地施加到图像传感器的列以获得yi。在一些实施例中，实质上同时获得yi的若干元素。在一些实施例中，使用比较器来执行正负号运算。
[0091] 在一些实施例中，针对每一迭代，使用取样函数的每一行φi的信息来产生施加到图像传感器的像素元件的控制信号，其中每一行像素元件接收同一或若干相同控制信号。因此，在一些实施例中，针对第一迭代，可将基于φ1，1的信息的控制信号施加到像素元件的第一行的像素元件，可将基于φ1，2的信息的控制信号施加到第二行的像素元件等等。类似地，针对第M迭代，可将基于φM，1的信息的控制信号施加到的第一行像素元件，可将基于φM，2的信息的控制信号施加到第二行的像素元件等等。
[0092] 在一些实施例中且如图2a中所展示，从取样函数产生器框260提供图像信号取样信息。如图2a中所图解说明，取样函数产生器框与图像处理器220相关联，在各种实施例中，不同地，图像处理器220可为图1a的本地数字处理器108或数字计算机111。然而，应认识到，在各种实施例中，取样函数产生器或其部分可包含于图像传感器211中。在一些实施例中，图像传感器或者与图像传感器相关联的存储器或电路提供用于存储图像信号取样信息的存储区，举例来说，如由图2a的框216图解说明。在一些实施例中，图像传感器或图像处理器均不包含取样函数产生器框，其中替代地预先产生的图像信号取样信息存储于图像传感器的存储区中或与图像传感器相关联。在一些实施例中，图像信号取样信息可存储于两个存储元件中的两者中，其中第一存储元件物理上更接近一些像素元件且第二存储元件物理上更接近其它像素元件。举例来说，如果将像素元件的形成像素阵列的列视为以界定正方形或矩形的方式布置，那么第一存储元件可在可视为像素阵列的一侧附近，且第二存储元件可在像素阵列的相对侧附近。在一些此类实施例中，更接近第一存储元件的像素元件可接收与第一存储元件相关联的控制信号，且更接近第二存储元件的像素元件可接收与第二存储元件相关联的控制信号。
[0093] 图6是图解说明此处关于表示根据本发明的若干方面的一些实施例的图像行采用的空间频率响应的示范性图。图6包含频率响应轴601、频率轴602、平坦频率响应线605以及常规压缩取样函数的频率响应曲线603及为本发明的一些实施例的示范性的频率响应曲线604。
[0094] 一般来说，信号感测设备(举例来说，图像传感器)提供能够对信号进行取样以在测量中将来自信号的信息尽可能完整地编码的一组基向量。符合最小规则取样率准则(例如，奈奎斯特准则)的正则取样函数实际上表示如以频率响应曲线605所图解说明的完全平坦频率响应曲线，且理论上，任何符合信号均可从其测量向量完全重建。
[0095] 压缩感测方法允许基于关于信号的信息内容的先验知识使传统取样率准则松弛，如在稀疏度或压缩率方面表示，稀疏度或压缩率为以某种可能未知正交线性基础准确地表示信号所必要的系数的最小数。为提供此普遍性，压缩取样函数必须具有从基于随机投射的常规压缩取样函数导出的大致平坦频率响应，例如以频率响应曲线603所展现。依据以下事实，此要求本身为明显的：一般来说，关于信号中所包含的信息量的知识不传达关于频率分布的任何信息。因此，常规压缩取样函数的频率响应必须为大致平坦的，以保证一般稀疏信号可恢复性。
[0096] 与正则取样函数605及常规压缩取样函数603的频率响应曲线相比，以为本发明的一些实施例的示范性的曲线604所描绘的频率响应为明显不平坦的。这是因为在此实例中，形成不仅具有信号的一般信息内容的先验知识而且具有不仅信号而且是信号的信息内容的空间频率分布的现有知识的取样函数。
[0097] 返回图2a及取样函数产生器的框261、262、259(在一些实施例中，向量其中N3＝N1+2Md且d＝support(ψ)，空间滤波核ψ的大小。在一些实施例中，向量r的信息可理解为已由两个向量 及 的逐元素积形成，
如在以下方程式中：
如在以下方程式中：
[0098] r＝(ri)＝(bici)
[0099] 其中b基于随机分布：
[0100] P(bi＝1)＝P(bi＝-1)＝1/2
[0101] 且c基于阶次m＝2d的马尔可夫链：
[0102] 其中
[0103] 随机基函数Θ通过根据以下方程式对向量r进行取样导出：
[0104] 其中
[0105] 用语言表述，随机基函数Θ的行为r的相对于彼此移位不小于m的N1个元素区段。
[0106] 取样函数Φ可视为由Θ的行与滤波核ψ的卷积形成，如下：
[0107] φi＝θi*ψ
[0108] 其在图2a中陈述为：
[0109] Φ＝ΘΨ，其中Ψ＝I*ψ
[0110] 在一些实施例中，卷积核ψ执行基于第一导数的中心差分近似执行空间滤波，举例来说，ψ＝(+1，+1，+1，0，-1，-1，-1)，在所述情形中：
[0111] m≥2d＝M
[0112] 一般来说，m应为充分大小以确保保证由图像传感器硬件限于离散级的取样函数Φ的范围。在优选实施例中，Φ的元素全部在范围内(即，φi，j∈{-1，0，1}φi，j∈{-1，0，1})且取样函数Φ的行充分不相关。
[0113] 在框223中，过程对图像信号的测量Y进行缓冲。所述测量由图像强度信号的测量的列向量yj构成。在多数实施例中，图像信号的测量由图像传感器的电路形成或与图像传感器相关联，且所述测量可存储于图像处理器的存储器中或与图像处理器相关联。用于图2b的实施例及其它实施例的图像传感器及图像处理器可在一些实施例中通过串行数据链路或在其它实施例中通过并行数据链路耦合。另外，下文论述的框225到231的运算还可由图像处理器的电路执行或与图像处理器相关联。
[0114] 在框225中，过程形成W，其为对经滤波图像Z的第一估计。在图2a的实施例中，所述估计由随机基函数Θ的转置与测量Y的积确定。在框227中，过程细化经滤波图像Z的估计。在某一实施例中且如图2a中所展示，通过框255的过程形成的对经滤波图像的估计通过与核α的卷积细化。
[0115] 在涉及激光线照明的一些应用中，激光线可有时由有限宽度的正方形脉冲模型化，其中激光线脉冲的宽度大于(或等于)滤波核ψ的支持。根据上文所描述的模型，图像平均核有时与滤波核ψ的所预期输出匹配。举例来说，如果滤波核由ψ＝(+1，+1，+1，0，-1，-1，-1)给出，那么框227的卷积核可为α＝(1，2，3，3，2，1)。
[0116] 可能注意到，框227的细化步骤可在框225中通过在计算核α与测量Y的积之前将其加倍成随机基函数Θ的转置而执行。然而，通过框227中的卷积执行所述运算在其中框225的矩阵乘法通过稀疏矩阵乘法的方法执行的一些实施例中提供显著计算优点。
[0118] 图2b描绘由根据本发明的特定方面的机器视觉系统执行的过程、特别是过程的计算的半流程图。所述机器视觉系统可为(举例来说)包含图1a的系统的硬件中的一些或所有硬件的系统。
[0119] 图2b的过程利用以下先验知识：由在3维所关注物件上方通过的照明平面形成的暂时图像流一般比通过图2a的方法期待的更稀疏；图像信号不仅相对于信号X的行维度而且相对于列且相对于时间为稀疏及/或可压缩的。换句话说，X的邻近列j可能非常类似，即，彼此高度相关。同样地，图像信号X通常从一个帧时间到另一帧时间非常类似。帧时间可为(举例来说)其中针对图像信号的列中的每一者获得M个样本的时间段。
[0120] 图2b展示类似于视觉系统的图2a的计算的计算，只有随机基函数Θ及取样函数Φ分割成多个独立区段且这些区段以时空交错方式使用除外。优选地且在一些实施例中，时空交错保证在任何给定帧时间t，图像的列j均不与其空间邻居j－1或j+1中的任一者以相同模式取样，且在当前帧时间使用的取样模式不同于前一帧时间的取样模式及下一帧时间的取样模式。
[0121] 如与图2a相比，图2b中所概述的计算展示可视为在3个帧时间内使用9个较小取样函数，3个取样函数在任何给定时间t处同时施加到X的情况。在实践中，此方法允许每帧时间t样本M的数目相对于图2a中所概述的方法减小，同时维持与信号Z的二进制∈稳定嵌入相关联的相同误差容限，且借此提供相对于图2a的视觉系统的显著更大计算效率。
[0122] 虽然图2b展示取样函数的空间及时间交错两者的使用，然而，在替代实施例中，取样函数的使用可仅在空间上或仅在时间上交错。
[0123] 在图2b中所概述的过程中：
[0124] ·符号 表示图像强度信号，这是因为其在时间t处存在于像素阵列的N1个像素行及N2个像素列上。
[0125] ·符号 表示由用于计算一阶偏导数的中心差分近似的系数构成且在一些实施例中由所述系数组成的图像滤波函数。
[0126] ·符号 表示稀疏随机序列，其在一些实施例中基于阶次m的马尔可夫链，其中m＞1。
[0127] ·符号 h＝(j％3+1)且k＝(t％3+1))表示通过从r绘制行向量形成的随机基函数Θ的阵列。
[0128] ·符号 表示由随机基Θh,k与滤波函数Ψ的积形成的图像取样函数的阵列。
[0129] ·符号 表示在时间t处的经滤波图像强度信号的测量，其由通过sign(.)量化到两级{-1，1}的取样函数Φ1,k、Φ2,k及Φ3,k与图像信号Xt的积形成。
[0130] ·符号 表示经滤波图像信号的估计，其由测量Yt与由α卷积的随机基函数Θ1,k、Θ2,k及Θ3,k的转置的积形成。
[0131] ·符号 表示原始图像信号X与滤波函数Ψ的积的估计，其由Wt、Wt－1与Wt－2的和形成。
[0132] ·符号 表示本地信号极端值(即，在时间t－1处的每一列上的信号Z的P相关信号峰值)的图像偏移参数。
[0133] 因此，如同图2a的过程，在框255中，图2b的过程接收表示场景的光能量的信息，且在框256中，所述过程基于场景的图像的相对光能量迭代地产生图像强度信号的测量的向量。如在图2a的过程中，由框255及256提供的函数可使用图像传感器251执行。
[0134] 然而，在图2b的过程中，使用多个取样函数执行测量的产生。在图2b的实施例中，使用在空间上且在时间上交错的九个取样函数。在一些实施例中，在任何帧时间t处使用三个不同取样函数，其中先前帧时间及随后帧时间使用不同组的三个取样函数。九个取样函数或用以产生取样函数的信息可动态地产生及/或存储于图像传感器的存储器291中或与图像传感器相关联。
[0135] 在框263中，过程在帧时间t处对图像信号X的测量Yt进行缓冲。在多数实施例中，图像信号的测量Y由图像传感器的电路形成或与图像传感器相关联且存储于图像处理器的存储器中或与图像处理器相关联。另外，下文论述的框265到281的运算也可由图像处理器的电路执行或与图像处理器相关联。
[0136] 在框265中，过程计算经滤波图像信号Z的偏估计。在图2b的实施例中，通过采用对应随机基函数Θh,k的转置与测量Yt的积确定估计W，其中在每一帧时间t内形成新估计W。
[0137] 在框267中，过程以核α卷积由框265发射的部分和，此除了如较早关于图2a所描述细化经滤波图像的估计之外，还组合相邻列向量，使得每一列向量由本身与其在左侧及右侧的紧邻邻居的和取代。
[0138] 在框279中，过程组合在先前三个帧时间内由框267输出的部分和以形成在帧时间t－1处对经滤波图像信号Z的最后估计，将结果存储于框280中。如在图2a中，通过框281中的过程(举例来说)使用峰值检测算法确定照明平面的参数。
[0139] 图3是描绘表示本发明的特定方面的图像传感器架构的高级框图。图3的图像传感器包括：取样函数存储缓冲器300；取样函数移位寄存器输入缓冲器311、312、313；取样函数移位寄存器321、322、323；像素阵列301，其中包含有像素列331、332、333、334；模拟信号比较器阵列340，其包含模拟信号比较器341、342、343及344；1位数字输出信号线351、352、353、354；及输出数据多路复用器302。所述像素列中的每一者包含多个像素元件。一般来说，每一像素元件包含辐射敏感传感器(在多数实施例中为光敏传感器)及相关联电路。
[0140] 像素阵列301的像素元件在局部电荷存储点处积累光生电子电荷。在一些方面中，图像传感器像素上的光生电荷可视为图像强度信号。在一些实施例中，每一像素元件包含将所积累电荷转换成像素电压信号的固定电容。每一像素电压信号控制局部电流源，以便提供像素电流信号。在取样函数的控制下，可选择像素电流源及将像素电流源切换到每像素列可用的两个信号输出线中的一者上。输出线由一列上的所有像素共享，使得在一列上形成的两个电流输出信号中的每一者表示由选定像素供应的电流的和。
[0141] 如从三个取样函数移位寄存器的使用可看出，图3的实施例适于在如关于图2b所论述的实施空间交错(及空间-时间交错)的系统中使用。图3的架构还可用于图2a的非交错实施例，其中三个移位寄存器中的任一者填充有相同信息或其中三个移位寄存器由单个寄存器取代。
[0142] 在本发明的一些实施例中，取样函数φi的行由存储器缓冲器的内容使用移位寄存器动态地形成。在任何时间，有三个不同取样函数行作用。含有φi，1，k的取样函数移位寄存器321给列{1，4，7...}中的所有像素提供输出控制信号。含有φi，2，k的取样函数移位寄存器322给列{2，5，8...}中的所有像素提供输出控制。含有φi，3，k的取样函数移位寄存器323给列{3，6，9...}中的所有像素提供输出控制信号。在本发明的一些实施例中，取样函数存储缓冲器300为保持像素控制信号的数字存储器缓冲器，每一像素控制信号由表示将选择两个电流输出线中的哪一电流输出线(如果有的话)的2个位组成。在一些实施例中，保持控制信号的数字存储器存取为在长度上为2(m)位的字，其中m≥2(supp(ψ))。在本发明的一些实施例中，m＝16≥2(support(ψ))且存储器数据宽度为32个位。
[0143] 为动态地产生取样函数的新的行i，图3的图像传感器将3个字从存储缓冲器300拷贝到移位寄存器输入缓冲器311、312、313中，接着致使输入缓冲器311、312、313及移位寄存器321、322、323的内容共同移位m个地点。在一些实施例中，取样函数移位寄存器321、322、323进一步包括N1元素长影子寄存器以提供在下一移位操作发生时维持施加到像素阵列
301的像素控制信号的状态的构件。在本发明的一些实施例中，取样函数存储器缓冲器300以循环模式存取使得以第一行填充移位寄存器321、322、323的过程仅需要在电源开启初始化时执行一次。
301的像素控制信号的状态的构件。在本发明的一些实施例中，取样函数存储器缓冲器300以循环模式存取使得以第一行填充移位寄存器321、322、323的过程仅需要在电源开启初始化时执行一次。
[0144] 在初始化之后，针对移位寄存器的每一循环，形成取样函数的新的行且将所述行施加到像素阵列301，借此致使在电流比较器阵列340的输入上形成指示选定像素输出的和的每列两个新电流输出信号。将一列的所述两个电流输出信号进行比较以形成表示其相对量值的1位值。列输出位合起来表示数字输出的一行且在像素阵列的图像传感器像素上形成图像强度信号的测量的行向量。数字输出的行由多路复用器302多路复用成若干较小字以形成数字输出流。
[0145] 在操作中，针对每一帧时间t产生3个不同取样函数的M个行以形成测量矩阵Yt，测量矩阵Yt在一些实施例中针对像素阵列的N2个列中的每一者由M个位组成。根据图2a及2b，测量矩阵yi,j的每一位可视为像素阵列xj,t的一列与取样函数φi，h，k中的每一者的一行的向量积的正负号，如先前关于图2b所解释。
[0146] 如较早所述，先前方程式中所使用的sign(.)量化的一个效应为测量通常不能将存在于图像信号中的空间频率的DC系数编码。出于此原因，本发明的一些实施例提供可经配置以在由取样函数选择时对电流输出提供先前已知贡献的多个行的暗像素。以此方式，形成在完全恢复且以恰当比例缩放的图像信号中，每一列中的特定像素将具有已知恒定值的预期。此允许针对每一列计算可从所预期值与经重建信号值的比率导出的比例因数。可使用多个行，这是因为必须相对低以避免在重定比例计算时放大噪声的经重建比例系数中的噪声被减小与载运比例信息的行的数目的平方根成比例的因数。
[0147] 图4是展示根据本发明的若干方面的图像传感器的部分的更详细方面的电路图。在一些实施例中，图4的图像传感器的部分为图3的图像传感器的部分。图4的实施例包含像素阵列400(其中为了清晰仅展示像素阵列的四个元件)；电流输送器401；限流器402；电流镜403；电流比较器404；像素输出控制线405；钉扎光电二极管406；复位晶体管407；传送栅极408；跨导器409；输出选择晶体管410、411及浮动扩散节点412。
[0148] 在一些实施例中，每一像素包括钉扎光电二极管406。钉扎光电二极管可通过复位晶体管407复位、被允许在曝光周期内积累光生电荷，其中电荷通过传送栅极408传送到浮动扩散节点412以供暂时存储。浮动扩散节点处的电压VFD控制跨导器409以提供与电压信号成比例的电流源。取决于像素控制线405的状态，来自像素的电流可切换穿过晶体管410或411到达由一列上的所有像素共享的两个电流输出线中的一者。在概念上，列输出电流表示来自选定像素的电流的简单和，但在实践中存在额外因素。更现实估计包含由读出电路块引入的偏移及增益误差以及由跨导器409引入的非线性误差，如下：
[0149]
[0150] 其中a、b及c为I＝f(VFD)的二阶调整的系数，VFD为存储于像素的浮动扩散412中的电压。系数取决于晶体管的操作点(Vdd、V0+及V0-)。虽然系数a、b及c针对所有像素大致相等，但可需要考虑某种不匹配。
[0151] 每一列的电压V0+及V0-使用两个电流输送器固定。在一些实施例中，电流输送器基于单个PMOS晶体管，其中：
[0152] 且
[0153] 电流输送器401借助电流Icc偏置以确保实现固定要求必要的最小速度。正分支与负分支使用电流镜403平衡且正负号使用电流比较器404获得。限流器402经包含以避免由具有驱动列输出线的过多数目个亮像素的图像列导致的断开问题。
[0154] 本发明的另一方面为，在一些实施例中，测量Yt的行可与图像信号Xt的时间成长同时形成，使得测量Yt的每一行向量表示图像信号Zt在其于像素复位与取样之间的时间间隔内集成于图像传感器的像素中时的瞬时状态。在多数实施例中，测量Y的每一元素yi,j通过sign(.)函数有效地标准化。然而，鉴于如本发明的背景技术中所解释的信号与测量向量之间的关系，测量Y可概念化为基于M个标准化信号向量的和，如在以下方程式中：
[0155]
[0156] 上文的概念公式暗示：即使在图像传感器的本质信号存储区变得饱和之后，Zt的列向量的元素仍将倾向于在量值方面保存其相对关系。此行为可从以下事实直观地理解：在图像传感器的像素仍在其线性范围内操作时，在此时间段内产生测量Yt的某一有限百分比。
[0157] 图8是图解说明根据本发明的若干方面的扩展的动态范围获取的时序图。所述时序图包含触发信号TRIG 841、复位信号RST 842及选择信号SEL 843。一旦使光电二极管复位，如果光电二极管的传送栅极在特定图像的M个样本期间保持作用，那么取样矩阵Φ的每一向量施加到与逐渐增长的曝光时间相关联的图像信号。
[0158] 触发信号指示传感器对图像的获取的开始。复位信号使传感器中的像素的浮动扩散节点复位。选择信号选择传感器的选定像素的输出。如图8中所图解说明，选择信号在时间t1处开始且继续到时间tm(845)从各种选定像素获得M个样本。时间t1通常稍微在复位信号变低之后以允许充分曝光时间且因此允许充分电荷积累时间以使像素获得有效响应。此时间要求标示为Texp_min，最小曝光时间(844)。像素在从t1到tm的时间段期间保持曝光。因此，通常在每一随后取样时间(从1到m)期间，像素已有效地增加曝光持续时间，从而增加传感器的动态范围。
[0159] 在一些实施例中，获得样本及积累电荷可同时发生，举例来说，如图8的时序图中所图解说明，其中在施加复位信号之间获得用于测量的M个样本。在其它实施例中，在于其中获得用于测量的M个样本的时间段期间施加复位信号的情况下，获得M个样本可能被中断，且电荷积累周期可与在其期间获得用于测量的样本的周期不同步。
[0160] 在本发明的一些实施方案中，提供用以处理测量流的具有类似于图5中所展示的架构的架构的并行处理装置。图5是与本发明的若干方面一致的处理架构的框图。
[0161] 图5包含测量输入缓冲器501；测量处理缓冲器502；基函数缓冲器504；矩阵乘法器500，其包含：测量寄存器503、乘法器505、求和结506及积累寄存器507。图5的处理器中还包含：部分和存储器508；部分和缓冲器509；信号平均处理器510；信号重建行寄存器511；信号重建行缓冲器512；峰值检测处理器513；信号参数寄存器514及输出缓冲器515。
[0162] 在操作中，将传入测量流写入到测量输入缓冲器501。当全帧时间测量Yt可用于输入缓冲器501中时，其被传送到测量处理缓冲器502。在此处所考虑的实施方案中，测量位的行从测量缓冲器502一次一行地传送到测量处理缓冲器503以供处理。为形成缓冲器508中的wi,t的每一元素，将缓冲器502中的测量Y的每一列yj的每一位乘以一个列向量θj,h,k的对应位，如下：
[0163] 其中h＝j％3+1且k＝t％3+1
[0164] 寄存器511中的经重建信号行向量 在信号平均处理器510中通过以下方式形成：对wi,t(矩阵乘法器500的输出)与来自两个先前帧时间wi,t－1及wi,t－2的对应行求和，接着通过核α进行卷积，如先前关于图2a及图2b所解释。用于此图像平均功能性的高效实施方案的方法将为高速数字图像处理领域的技术人员众所周知。
[0165] 峰值检测处理器513通过估计和照明平面与所关注物件的交叉点相关联的偏移参数而处理存储于缓冲器512中的经重建信号的行。重新调用经重建信号 为对由空间滤波函数Ψ处理的原始图像信号X的估计，在一些实施方案中，空间滤波函数Ψ为图像信号关于行的一阶导数的中心差分近似。用于从此经滤波图像信号Z＝ΨX提取偏移的已知方法包含以下步骤：找到在经重建图像的每一列上发现的局部最小值及最大值并将其分类；将相邻最小值/最大值对配对以找到所关注点；以差分量值的次序将每一列上的所关注点分类；及从那些P所关注点的PxN2行偏移坐标形成偏移坐标向量 额外步骤可包含内插以估计子像素参数及修剪坐标集以排除相对于所关注物件的表面相对于先验预期不一致的那些点。用于此峰值检测功能性的高效实施方案的方法将为机器视觉领域的技术人员众所周知。
[0166] 在一些实施例中，可基于基函数Θ及测量Y形成信号Z的更准确近似。
[0167] 图7是展示用于连续地形成图像信号 的更准确近似的方法的图。图7包含流程图700及示范性图解750。流程图700包含：701将经重建图像缓冲器初始化；702对经重建图像进行空间滤波；703计算重建误差；704测试重建误差；705计算信号梯度；706在存储缓冲器
707中形成新的经重建图像；及708从存储缓冲器707读取最后结果。
707中形成新的经重建图像；及708从存储缓冲器707读取最后结果。
[0168] 可借助图解说明性图式750的帮助解释流程图700的重建方法，如下：
[0169] 701.将原始测量向量Y从测量空间变换为信号空间以形成信号Z1的第一近似。
[0170] 702.对信号Z1的第一近似进行滤波以形成第二近似Z2(未展示)。所述滤波包括信号的线性或非线性变换，其打算保存信号的相关信息同时使重建的噪声衰减。
[0171] 703.将第二近似Z2往回变换成测量域以形成从原始测量向量Y减去的第二测量向量以形成测量梯度dY。
[0172] 704.如果测量梯度的量值||dY||2充分小，那么将信号的当前第一近似 报告为信号Z的最佳近似。
[0173] 705.在704失败的情况下，将测量梯度dY变换成信号空间以形成信号梯度dZ。
[0174] 706.将信号梯度dZ与信号Z2的第二近似相加以形成信号Z1的新的第一近似且重建过程返回到步骤702。
[0175] 流程图700的方法基于图像信号Z的先验知识，尤其是信息内容与信号的维度相比较小的知识。假设如701中所计算的信号的第一近似包括稀疏信号加上取样噪声及假设增加复杂性的其它噪声。将702的滤波过程设计为将信号近似拘限于在原始信号中期待的信息内容或稀疏度水平。虽然第二信号近似可具有与原始信号相同的稀疏度，但不能保证其实际上足够接近于原始信号以表示充分准确近似。由于原始信号Z为未知的，因此不存在用以测试近似Z2的准确性的直接方式。然而，存在间接方法且其为将信号的近似往回变换成测量空间并计算到测量向量的距离，测量向量为完全知晓的。由于在测量空间上的距离与信号空间上的距离之间存在已知关系(如本发明的背景技术中所解释)，因此可从测量空间中的梯度向量推测信号空间中的实际上指向原始信号的方向的梯度向量。通过将信号梯度向量与当前近似相加，形成更接近于原始信号的新的信号近似。先前滤波、形成及施加梯度的过程可迭代直到由经滤波图像形成的测量向量充分接近于实际测量向量或直到在测量空间中形成的梯度向量不再变小，此指示已超过取样函数的准确性限制。
[0176] 在压缩感测文献中，类似于上文的已知方法包含参考通过将除K系数(其中K为特定基中的信号的已知稀疏度)之外的所有数归零的方法对经重建信号进行滤波的过程命名的BIHT(二进制硬阈值)。虽然此滤波方法可为有效的，但在实践中其可难以高效地实施。在一些应用中，应用于Z1的简单中值滤波可起到与系数截断的更复杂方法相同的作用，但其更容易实施且其不取决于对原始图像信号的稀疏度K的准确知识或对其中应用阈值过程的最大压缩基的知识(或搜索)。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 具有升压型光电二极管驱动的成像传感器 | 2020-05-13 | 232 |
| 背照式图像传感器 | 2020-05-14 | 3 |
| 具有多存储图像传感器像素的图像传感器 | 2020-05-12 | 288 |
| 图像传感器及制造图像传感器的方法 | 2020-05-16 | 976 |
| 用于相位检测自动聚焦的双光电二极管 | 2020-05-18 | 406 |
| 具有混合型异质结构的图像传感器 | 2020-05-11 | 153 |
| 用以减少图像记忆效应的带负电荷层 | 2020-05-19 | 345 |
| 带溢出能力的图像传感器像素 | 2020-05-15 | 619 |
| 具有混合型异质结构的图像传感器 | 2020-05-15 | 881 |
| 一种改善小像素CMOS图像传感器性能的结构和工艺方法 | 2020-05-08 | 165 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
钉扎光电二极管热门专利
QQ群二维码
意见反馈
意见反馈