一种动态视觉传感器
阅读：726发布：2020-05-08
专利汇可以提供一种动态视觉传感器专利检索，专利查询，专利分析的服务。并且本 申请 提供一种动态视觉 传感器 。该传感器通过光电转换单元将光 信号 转换为 电信号 ，生成光感 电压 ，并通过二阶差分 电路 对光感电压进行二阶差分，根据二阶差分的结果生成二阶事件信号。包含该传感器的摄像机能够根据该二阶事件信号生成图像，该图像表征光的变化速度的变化，因此在摄像机运动时能减少冗余背景信息。，下面是一种动态视觉传感器专利的具体信息内容。
1.一种动态视觉传感器，其特征在于，所述传感器包括：
光电转换单元，用于将接收到的光信号转换为电信号，生成光感电压；
二阶差分单元，用于对所述光感电压进行二阶差分，生成二阶差分电压；
比较单元，用于将所述二阶差分电压与二阶比较阈值进行比较，根据比较结果生成二阶事件信号。
2.如权利要求1所述的动态视觉传感器，其特征在于，所述二阶差分电压包括非零二阶差分电压和零二阶差分电压；所述用于对所述光感电压进行二阶差分，生成二阶差分电压包括：当当前时刻光感电压的变化速度与之前时刻光感电压的变化速度不同时，所述二阶差分单元用于生成所述非零二阶差分电压；当所述当前时刻光感电压的变化速度与所述之前时刻光感电压的变化速度相同时，所述二阶差分单元用于生成所述零二阶差分电压。
3.如权利要求1或2所述的动态视觉传感器，其特征在于，所述二阶差分单元包括采样保持电路和二阶差分电路，所述采样保持电路用于将所述光感电压转换为差分输入电压；
所述二阶差分电路用于根据所述差分输入电压对所述光感电压进行二阶差分，生成所述二阶差分电压。
4.如权利要求3所述的动态视觉传感器，其特征在于，所述差分输入电压包括多个电压，所述多个电压分别与多个不同时刻的所述光感电压一一对应。
5.如权利要求3或4所述的动态视觉传感器，其特征在于，所述二阶差分电路包括第一一阶差分电路和第二一阶差分电路，所述第一一阶差分电路与所述第二一阶差分电路串联；所述第一一阶差分电路用于根据所述差分输入电压生成第一一阶差分电压和第二一阶差分电压，所述第二一阶差分电路用于根据所述第一一阶差分电压和所述第二一阶差分电压生成所述二阶差分电压。
6.如权利要求5所述的动态视觉传感器，其特征在于，所述比较单元还用于将所述第一一阶差分电压或所述第二一阶差分电压与一阶比较阈值进行比较，根据比较结果生成一阶事件信号。
7.如权利要求5所述的动态视觉传感器，其特征在于，所述比较单元还用于将所述第一一阶差分电压和所述第二一阶差分电压分别与一阶比较阈值进行比较，根据所述第一一阶差分电压的比较结果生成第一一阶事件信号，根据所述第二一阶差分电压的比较结果生成第二一阶事件信号。
8.如权利要求5、6或7所述的动态视觉传感器，其特征在于，所述二阶差分单元还包括选通单元，所述选通单元用于在满足预设条件时控制所述第二一阶差分电路根据所述第一一阶差分电压和所述第二一阶差分电压生成所述二阶差分电压。
9.如权利要求1-8任一项所述的动态视觉传感器，其特征在于，所述传感器还包括读出电路，所述光电转换单元还用于将所述光感电压发送给所述读出电路，所述读出电路用于对所述光感电压进行积分，生成积分电压信号。
10.一种动态视觉传感装置，其特征在于，所述传感装置包括动态视觉传感器阵列和外围电路，其中：
所述动态视觉传感器阵列包括多个如权利要求1-9任一项所述的动态视觉传感器，所述动态视觉传感器用于根据接收到的光信号生成二阶事件信号，并将所述二阶事件信号发送给所述外围电路；
所述外围电路用于根据所述二阶事件信号生成地址事件表示，所述地址事件表示包含了所述二阶事件信号和生成所述二阶事件信号的动态视觉传感器的位置信息。
11.一种动态视觉摄像机，其特征在于，包含如权利要求10所述的动态视觉传感装置，还包括工作电路，用于根据所述地址事件表示生成图像。
12.一种移动终端设备，其特征在于，包含如权利要求11所述的动态视觉摄像机，还包括通信单元，所述通信单元用于将所述图像发送给其他设备。
13.一种即时定位与地图构建系统，其特征在于，包含如权利要求10所述的动态视觉传感装置，还包括工作电路，所述工作电路用于根据所述地址事件表示进行场景识别。
14.一种动态视觉传感方法，其特征在于：
将光信号转换为电信号，生成光感电压；
对所述光感电压进行二阶差分，生成二阶差分电压；
将所述二阶差分电压与二阶比较阈值进行比较，根据比较结果生成二阶事件信号。
15.如权利要求14所述的动态视觉传感方法，其特征在于，所述二阶差分电压包括非零二阶差分电压和零二阶差分电压；所述对所述光感电压进行二阶差分，生成二阶差分电压包括：当当前时刻光感电压的变化速度与之前时刻光感电压的变化速度不同时，生成所述非零二阶差分电压；当所述当前时刻光感电压的变化速度与所述之前时刻光感电压的变化速度相同时，生成所述零二阶差分电压。
16.如权利要求14或15所述的动态视觉传感方法，其特征在于，所述对所述光感电压进行二阶差分包括：对所述光感电压进行一阶差分，生成一阶差分电压，再对所述一阶差分电压进行一阶差分，生成所述二阶差分电压。
17.如权利要求16所述的动态视觉传感方法，其特征在于，所述方法还包括：
将所述一阶差分电压与一阶比较阈值进行比较，根据比较结果生成一阶事件信号。
18.如权利要求14至17任一项所述的动态视觉传感方法，其特征在于，所述方法还包括：对所述光感电压进行积分，生成积分电压信号。
一种动态视觉传感器
技术领域
背景技术
[0002] 随着社会的发展，图像采集领域对采集图像的质量有了越来越高的要求。一般摄像头每秒可采集25-30帧，其帧率不足以支撑采集高速运动物体的图像。目前在运动图像采集领域主要有两种摄像技术：基于“帧”采集数据的高速摄像头和基于“事件信号”采集数据的动态视觉传感器(dynamic vision sensor，DVS)。高速摄像头每秒可采集约1000帧，虽然能捕捉到高速运动的物体，但由于采集的帧数非常多，其数据采集量巨大，能耗偏高，效率不佳。相比之下，DVS成像设备由于其数据采集快，采集量不高，功耗偏低，因而在运动图像采集领域得到了广泛应用。
[0003] DVS中像素的采集电路结构模仿了视网膜的成像原理。DVS中的光电二极管将感受到的光信号转换为电信号，并通过一阶差分电路将亮度变化导致的电信号变化放大输出。当电信号变化大于某一阈值时，这一变化被定义为一个“事件信号”，只有当事件信号发生即像素感受到亮度变化时，传感器才会产生脉冲并进行数据通信，进而生成图像。DVS成像效果与普通相机成像效果的区别请参见图1。如图2所示，现有的DVS传感器结构通常包括图像接收器、差分电路和比较装置，在功能上分别对应了生物视觉系统中的光感受器、双极细胞和神经节细胞。在图像接收器中，光电二极管将感受到的光信号转换为电信号，形成对数电压，对数的表示方法便于衡量大范围的光线亮度；差分电路将对数电压作为输入，经过差分放大器，输出放大之后的电压差Vdiff，差分电路具有“对共模信号抑制，对差模信号放大”的特征，可以将亮度变化导致的电信号变化放大输出；最后比较装置将输入的Vdiff与设定的阈值电压作比较，输出脉冲信号，比如在Vdiff大于正阈值时输出正脉冲，小于负阈值时输出负脉冲，脉冲信号通过握手协议传入外部电路，进行数据通信，同时也反馈给差分电路中的复位开关，电压复位，以便在下一个“事件”到来时进行数据通信。综合这三个阶段，只有事件发生即亮度变化时，传感器才会产生脉冲，进行数据通信。传感器对时间衬比(TCON,Temporal CONtrast)十分敏感，TCON衡量了一定时间内电流对数值的变化量，定义为：
[0004]
[0005] 差分电路的输出电压Vdiff与TCON的关系可以表示为：
[0006]
[0007] 比较装置将Vdiff和阈值电压作比较后输出正脉冲或负脉冲。可以说，DVS成像设备本身记录的并不是实际场景画面，而是场景中亮度的变化。同时，异步的输出方式能够快速的将像素变化输出，防止了总线堵塞。因此，DVS成像设备很大程度上减小了数据采集量，优化了总线使用效率，同时降低了能耗。
[0008] 然而，现有DVS利用一阶差分电路进行运动图像的捕捉，对亮度变化十分敏感。在成像设备本身也在运动的情况下，相当于整个画面中每一个像素都会感受到亮度变化，所捕获到的画面十分嘈杂，难以滤除背景干扰，影响识别场景中的关键信息；同时，异步输出的优势也无法体现，可能造成总线堵塞。比如，如果用现有DVS成像设备做自动驾驶系统的路况侦测，在行车途中持续记录路况及周边景物，若前方突然出现障碍物，摄像头捕捉到的图像将是障碍物混杂在周边场景里的全景图，机器很难分辨和识别障碍物，容易出现安全隐患。此外，在成像设备本身运动的情况下，由于每个像素点的亮度都会变化，导致所有像素点都会持续采集信息，使得不仅原本减少数据采集量的优势难以显现，而且还有可能造成信道堵塞，导致通信不畅，影响行车安全。因此，如何在DVS成像设备自身移动的情况下滤除背景干扰，有效识别场景中的关键信息，成为亟待本领域技术人员解决的重要课题。
发明内容
[0009] 本申请提供了一种动态视觉成像传感器和传感装置，以及该传感器和传感装置应用的成像方法。通过对光感电压进行二阶差分，根据二阶差分电压来生成二阶事件信号，使得应用该传感器或传感装置的摄像机在运动时有效减少成像中的背景信息，有效捕获引起光改变速度变化的突发事件。
[0010] 第一方面，本申请提供一种动态视觉成像传感器。该传感器可以包括光电转换单元，二阶差分单元和比较单元。其中，光电转换单元可以用于将接收到的光信号转换为电信号，生成光感电压；二阶差分单元可以用于对光感电压进行二阶差分，生成二阶差分电压；比较单元可以用于将二阶差分电压与二阶比较阈值进行比较，根据比较结果生成二阶事件信号。传感器通过对光感电压的二阶差分结果进行反应，使得输出的二阶事件信号表征了光线变化速度的变化，即传感器对光线变化的加速度进行响应，从而减少了传感器因自身运动导致的持续而无意义的响应输出，提高了成像质量，减少了总线堵塞。
[0011] 可选的，二阶差分电压可以包括非零二阶差分电压和零二阶差分电压；前述对光感电压进行二阶差分，生成二阶差分电压可以包括：在当前时刻光感电压的变化速度与之前时刻光感电压的变化速度不同时，二阶差分单元用于生成非零二阶差分电压；在当前时刻光感电压的变化速度与之前时刻光感电压的变化速度相同时，二阶差分单元用于生成零二阶差分电压。这里的变化速度相同，即可以指当前时刻与之前时刻的电压都在变化，且变化的速度相等，也可以指当前时刻与之前时刻的电压都保持不变，即变化速度为0。二阶差分电路通过对当前时刻与之前时刻光感电压变化速度的关系做不同响应，实现了输出反映光变化速度变化的效果。
[0012] 可选的，二阶比较阈值可以包含正二阶比较阈值和负二阶比较阈值，正二阶比较阈值和负二阶比较阈值可以对称设置，也可以不对称设置，此处不做限定。比较单元可以在二阶差分电压不低于正二阶比较阈值时生成正脉冲信号，可以在二阶差分电压不高于负二阶比较阈值时生成负脉冲信号，可以在二阶差分电压低于正二阶比较阈值高于负二阶比较阈值时生成零脉冲信号。设置正负阈值，并根据二阶差分电压与正负阈值的不同关系输出不同信号，能更准确的反映光感电压变化速率的变化情况，提高传感器的输出精度。
[0013] 可选的，二阶差分单元可以包括采样保持电路和二阶差分电路。其中，采样保持电路可以用于将光感电压转换为差分输入电压；二阶差分电路可以用于根据差分输入电压对光感电压进行二阶差分，以生成二阶差分电压。当对光感电压进行多阶差分时，差分输入电压通常需要包含多个电压，这些电压与多个不同时刻的光感电压一一对应。在进行二阶差分时，光感电压通常包括三个电压，分别对应了三个不同时刻的光感电压。二阶差分单元包括采样保持电路使得传感器不需要引入额外的装置来获取三个不同时刻的光感电压来同时输入给二阶差分电路，精简了传感器的结构。
[0014] 可选的，二阶差分电路可以包括第一一阶差分电路和第二一阶差分电路，并且前述两个差分电路以串联的形式连接。其中，第一一阶差分电路可以用于根据差分输入电压生成第一一阶差分电压和第二一阶差分电压，第二一阶差分电路可以用于根据前述两个一阶差分电压生成二阶差分电压。采用一阶差分电路串联的形式，增加了传感器功能的灵活性，可以将第一一阶差分电路的输出作为最终输出结果的一部分，以获得光感电压的一阶差分数据，使传感器兼具获得一阶事件信号和二阶事件信号的功能。
[0015] 可选的，二阶差分电路也可以不采用一阶差分电路串联的形式，而是采用整体设计的二阶差分电路。采用整体设计的二阶差分电路降低了电路的复杂度，增加了设备的可靠性。
[0016] 可选的，第一一阶差分电压或第二一阶差分电压可以被择一发送给比较单元，比较单元还可以用于将接收到的一阶差分电压与一阶比较阈值进行比较，根据比较结果生成一阶事件信号。可选的，第一一阶差分电压和第二一阶差分电压也可以被同时发送给比较单元，比较单元将两个一阶差分电压分别与一阶比较阈值进行比较，根据第一一阶差分电压的比较结果生成第一一阶事件信号，根据第二一阶差分电压的比较结果生成第二一阶事件信号。一阶比较阈值的具体情况请参见前述二阶比较阈值的相关描述，此处不再赘述。将第一一阶差分电路的输出作为输出结果的一部分，以获得光感电压的一阶差分数据，使传感器兼具获得一阶事件信号和二阶事件信号的功能，增加了传感器功能的灵活性。
[0017] 可选的，传感器还可以包括选通单元，用于在满足预设条件时控制第二一阶差分电路根据第一一阶差分电压和第二一阶差分电压生成二阶差分电压。预设条件可以是判定传感器是否在运动，当判定传感器在运动时将第一一阶差分电压和第二一阶差分电压输入给第二一阶差分电路，以生成二阶差分电压；当判定传感器静止时，不给第二一阶差分电路输入第一一阶差分电压和第二一阶差分电压。根据不同情境选择是否对光进行第二次一阶差分，使得传感器的输出更好的契合场景需求，在传感器静止时输出一阶事件信号保证了输出的内容准确性，在传感器移动时输出二阶事件信号减少了传感器自身运动带来的图像噪声。
[0018] 可选的，传感器还可以包括读出电路，光电转换单元还用于将光感电压发送给读出电路，读出电路用于对光感电压进行积分，生成积分电压信号。积分电压信号用于生成基于帧的图像，即常规摄像机生成的图像。传感器在输出二阶事件信号或一阶事件信号的同时，还输出积分电压信号，使得传感器的输出能够同时用于生成动态视觉图像和常规图像，进而使将二者融合来提高画质成为了可能。
[0019] 第二方面，本申请提供一种动态视觉成像传感装置，包括动态视觉传感器阵列和外围电路。其中，动态视觉传感器阵列包括多个传感器，这些传感器是第一方面任意一种可能实施方式所描述的动态视觉传感器。这些动态视觉传感器用于根据接收到的光信号生成二阶事件信号，并将二阶事件信号发送给外围电路。外围电路用于根据二阶事件信号生成地址事件表示。地址事件表示包含了二阶事件信号和生成该二阶事件信号的动态视觉传感器的位置信息。位置信息可以是传感器的坐标信息，也可以是其他任何能表示该传感器位置的信息，此处不做限定。传感装置通过对光感电压的二阶差分结果进行反应，使得输出的地址事件表示表征了光线变化速度的变化，即传感器对光线变化的加速度进行响应，从而减少了传感装置因自身运动导致的持续而无意义的响应输出，提高了成像质量，防止总线堵塞。
[0020] 可选的，当动态视觉传感器阵列中的传感器采用将一阶差分电路串联得到二阶差分电路的构造形式时，传感器还可以输出一阶事件信号到外围电路，由外围电路生成基于一阶事件信号的地址事件表示。这样，传感装置既能获得基于一阶事件信号的地址事件表示，也能获得基于二阶事件信号的地址事件表示，增加了传感装置功能的灵活性。此外，根据不同情境来选择输出基于一阶事件信号的地址事件表还是基于二阶事件信号的地址事件表，使得传感装置的输出更好的契合场景需求，在传感装置静止时输出基于一阶事件信号的地址事件表示，保证了输出的内容准确性，在传感器移动时输出基于二阶事件信号的地址事件表示，减少了传感器自身运动带来的图像噪声。
[0021] 可选的，当动态视觉传感器阵列中的传感器包括读出电路时，传感器还可以输出积分电压信号到外围电路。传感装置在输出地址事件表示的同时，还可以输出用于生成基于帧的图像的积分电压信号，使得传感装置的输出能够同时用于生成动态视觉图像和常规图像，进而使将二者融合来提高画质成为了可能。
[0022] 第三方面，本申请提供一种动态视觉摄像机，包括如第二方面任意一种实施方式所描述的动态视觉传感装置，还包括工作电路，可以用于根据动态视觉传感装置输出的基于二阶事件信号的地址事件表示生成图像。这样生成的图像，记录了光线变化速度发生变化的像素点的信息，即只记录使光线变化的速度发生变化的关键事件，从而减少了因摄像机自身运动导致的背景噪声，提高了成像质量。
[0023] 第四方面，本申请提供一种移动终端设备，包括如第三方面所描述的动态视觉摄像机，还包括通信单元，可以用于将生成的图像发送给其他设备。该终端设备生成的图像，记录了光线变化速度发生变化的像素点的信息，即只记录使光线变化的速度发生变化的关键事件，从而减少了因终端设备自身运动导致的背景噪声，提高了成像质量。同时，还可以将图像发送给其他设备，实现了该图像在多设备之间的共享。
[0024] 第五方面，本申请提供一种即时定位与地图构建系统，包括如第二方面任意一种实施方式所描述的动态视觉传感装置，还包括工作电路，用于根据动态视觉传感装置输出的基于二阶事件信号的地址事件表示进行场景识别。由于传感装置通过对光感电压的二阶差分结果进行反应，使得输出的地址事件表示表征了光线变化速度的变化，即传感器对光线变化的加速度进行响应，从而减少了因系统自身运动导致的背景噪声干扰，提高了物体识别的准确度。可选的，该即时定位与地图构建系统可以实现为头戴式显示设备、无人机、智能路况识别系统等形式。
[0025] 第六方面，本申请提供一种动态视觉传感方法，包括将光信号转换为电信号生成光感电压；对光感电压进行二阶差分，生成二阶差分电压；将二阶差分电压与二阶比较阈值进行比较，根据比较结果生成二阶事件信号。通过对光感电压的二阶差分结果进行反应，使得输出的二阶事件信号表征了光线变化速度的变化，即输出的二阶事件信号对光线变化的加速度进行响应，从而减少了因获取光信号的设备自身运动而导致的持续而无意义的响应输出，减少噪音，减少了总线堵塞，提高了成像质量。
[0026] 可选的，二阶比较阈值可以包含正二阶比较阈值和负二阶比较阈值，正二阶比较阈值和负二阶比较阈值可以对称设置，也可以不对称设置，此处不做限定。可以在二阶差分电压不低于正二阶比较阈值时生成正脉冲信号，可以在二阶差分电压不高于负二阶比较阈值时生成负脉冲信号，可以在二阶差分电压低于正二阶比较阈值高于负二阶比较阈值时生成零脉冲信号。设置正负阈值，并根据二阶差分电压与正负阈值的不同关系输出不同信号，能更准确的反映光感电压变化速率的变化情况，提高输出精度。
[0027] 可选的，二阶差分电压可以包括非零二阶差分电压和零二阶差分电压；前述对光感电压进行二阶差分，生成二阶差分电压可以包括：在当前时刻光感电压的变化速度与之前时刻光感电压的变化速度不同时，生成非零二阶差分电压；在当前时刻光感电压的变化速度与之前时刻光感电压的变化速度相同时，生成零二阶差分电压。这里的变化速度相同，即可以指当前时刻与之前时刻的电压都在变化，且变化的速度相等，也可以指当前时刻与之前时刻的电压都保持不变，即变化速度为0。二阶差分电路通过对当前时刻与之前时刻光感电压变化速度的关系做不同响应，实现了输出反映光变化速度变化的效果。
[0028] 可选的，对光感电压进行二阶差分可以包括：首先对光感电压进行一阶差分，生成一阶差分电压，通过对前述一阶差分电压再进行一阶差分，生成二阶差分电压。采用两次一阶差分串联的形式，增加了输出功能的灵活性，可以将一阶差分电压作为输出结果的一部分，以获得光感电压的一阶差分数据，从而同时获得一阶事件信号和二阶事件信号。
[0029] 可选的，可以将一阶差分电压与一阶比较阈值进行比较，根据比较结果生成一阶事件信号。一阶比较阈值的具体情况请参见前述二阶比较阈值的相关描述，此处不再赘述。将一阶事件信号作为最终输出结果的一部分，以获得光感电压的一阶差分数据，从而能够获得一阶事件信号和/或二阶事件信号，增加了方法的灵活性。
[0030] 可选的，还可以对光感电压进行积分，生成积分电压信号。积分电压信号用于生成基于帧的图像，即常规摄像机生成的图像。在输出二阶事件信号或一阶事件信号的同时，还输出积分电压信号，使得最终的输出能够同时用于生成动态视觉图像和常规图像，进而使将二者融合来提高画质成为了可能。附图说明
[0031] 图1为现有技术DVS相机成像效果对比图；
[0032] 图2为现有技术DVS传感器结构示意图；
[0033] 图3为一种动态视觉传感器的逻辑结构示意图；
[0034] 图4为一种光电转换电路的结构示意图；
[0035] 图5为一种采样保持电路的结构示意图；
[0036] 图6为一种采样保持电路时序控制示意图；
[0037] 图7为一种二阶差分电路的结构示意图；
[0038] 图8为又一种二阶差分电路的逻辑结构示意图；
[0039] 图9为又一种二阶差分电路的结构示意图；
[0040] 图10为又一种动态视觉传感器的逻辑结构示意图；
[0041] 图11为一种动态视觉传感装置的逻辑结构示意图；
[0042] 图12为一种动态视觉传感装置的结构示意图；
[0043] 图13为一种动态视觉传感方法的流程示意图；
[0044] 图14为又一种动态视觉传感方法的流程示意图；
[0045] 图15为一种动态视觉摄像机的逻辑结构示意图；
[0046] 图16为一种移动终端的逻辑结构示意图；
[0047] 图17为一种即时定位与地图构建系统的逻辑结构示意图。
具体实施方式
[0048] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
[0049] 请参阅图3，为本发明动态视觉传感器一可能实施例的逻辑结构示意图。动态视觉传感器100包括光电转换单元110、二阶差分单元120和比较单元130，其中，二阶差分单元包括采样保持电路121和二阶差分电路122。在一些可能的实施方式中，动态视觉传感器100还可能包括读出电路140。在一些可能的实施方式中，采样保持电路121也可能被认为是属于光电转换单元110的组成部分。为方便说明，本实施例仅以采样保持电路121属于二阶差分单元120为例进行描述，须知，无论将采样保持电路划归哪一功能单元，此类结构划分方式均属于本申请技术方案所保护的结构范围。
[0050] 光电转换单元110用于将接收到的光信号转换为电信号，生成对应的光感电压，并发送给二阶差分单元120。当动态视觉传感器100包括读出电路140时，光电转换单元110还会将光感电压发送给读出电路140。光电转换单元110可以由传统的光电转换电路构成，用于将接收到的光信号转换成对应的电信号，即光感电压。光感电压的大小通常与光的强度成线性正比关系。光电转换电路的一种可能实现方式请参见图4。光信号的输入通过光电二极管，经如图所示的典型光电转换电路之后转换为光感电压。光电转换单元110还可以实现为任何其他形式的具有光电转换功能的装置或电路，此处不做限定。
[0051] 二阶差分单元120用于对光感电压进行二阶差分，生成二阶差分电压。其中，采样保持电路121用于将光感电压转换为差分输入电压，二阶差分电路122用于根据差分输入电压对光感电压进行二阶差分。通常，光感电压是由光电转换单元110输出的一种连续的电压，而二阶差分电路122进行二阶差分则需要多个不同时刻对应的光感电压同时作为二阶差分电路 122的输入，这里同时作为二阶差分电路122输入的多个不同时刻对应的光感电压叫做差分输入电压。本实施例中二阶差分电路的差分输入电压以包括三个不同时刻对应的光感电压为例。须知，在一些可能的实施方式中，随着对光感电压的差分阶数的需求不同(比如三阶差分或四阶差分)，差分输入电压可能包含的对应时刻光感电压的数量也会不同，在此不做限定。
[0052] 采样保持电路121的一种可能实施方式请参见图5。采样保持电路121包括三个采样保持器1211，用于将各自得到的输入电压保持一定时间；三个选择器1212，用于在各自对应的 A1、A2、A3三路输入中选择一路进行输出。光感电压的持续输入为Ux，差分输入电压包括的三个电压分别为三个选择器的输出电压U1、U2和U3。s1、s2和s3分别为三个采样保持器的时序控制输入，M1和M2为选择器的时序控制输入。图6所示为采样保持电路121可以采用的一种时序控制方式。图6中的时序图展示了时序控制的两个循环周期，在实际应用中这一周期可以在电路的使用过程中持续循环下去。现举例说明采样保持电路的工作原理。当采用如图 6所示的时序控制方式时，比如，在初始时刻采样保持器s3及所有开关A1导通，U1，U2，U3存在初始电压。在时刻1，采样保持器s1及所有开关A2导通，使得原U3处电压输出给U2，原 U2处电压输出给U1，时刻1的Ux输出给U3；在时刻2，采样保持器s2及所有开关A3导通，原 U3处电压输出给U2，原U2处电压输出给U1，时刻2的Ux输出给U3；在时刻3，采样保持器s3 及所有开关A1导通，原U3处电压输出给U2,原U2处电压输出给U1，时刻3的Ux输出给U3，以此类推。在一些可能的实施方式中，采样保持电路也可采取其他任何具有采样保持功能的电路形式，比如电容、实现延迟相位功能的数字移相器等，此处不做限定。
[0053] 二阶差分电路122的一种可能实施方式请参见图7。图中U1、U2和U3为差分输入电压， GND为接地点，U0为二阶差分电压。差分输入电压U1、U2、U3输入给图示的二阶差分电路后，输出二阶差分电压U0。U0与U1、U2、U3的关系满足如下等式：
[0054]
[0055] 通常，图示电路中的所有电阻会采用相同阻值(比如10千欧姆)，则此时U0＝U3-2U2+U1。
[0056] 二阶差分电路122的另一种可能实施方式请参见图8和图9。图8为该二阶差分电路实施方式的逻辑结构示意图，二阶差分电路122包括第一一阶差分电路1221和第二一阶差分电路1222，第一一阶差分电路和第二一阶差分电路采用串联的方式连接。第一一阶差分电路 1221接收差分输入电压，并根据差分输入电压生成第一一阶差分电压和第二一阶差分电压，第二一阶差分电路根据第一一阶差分电压和第二一阶差分电压生成二阶差分电压。图9为该二阶差分电路实施方式的电路图。图中U1、U2和U3为差分输入电压，GND为接地点，U0为输出的二阶差分电压。第一一阶差分电路1221根据U1、U2、U3生成第一一阶差分电压UA和第二一阶差分电压UB，第二一阶差分电路1222根据UA和UB生成二阶差分电压U0。UA、UB与U1、U2、 U3的关系满足如下公式：
[0057]
[0058]
[0059] U0与UA、UB的关系满足如下公式：
[0060]
[0061] 通常，图示电路中的所有电阻会采用相同阻值(比如10千欧姆)，则此时U0＝U3-2U2+U1。
[0062] 由二阶差分电压与差分输入电压的关系可知，若U3为当前时刻光感电压，则在当前时刻光感电压的变化速度与之前时刻光感电压的变化速度不同时，二阶差分电路122会生成正电压或负电压，即非零二阶差分电压；在当前时刻光感电压的变化速度与之前时刻光感电压的变化速度相同时，则二阶差分电路122的输出电压为0，即生成零二阶差分电压。
[0063] 比较单元130用于将二阶差分电压与二阶比较阈值进行比较，根据比较结果生成二阶事件信号。比较单元130可以实现为任何能够对电压进行比较并根据比较结果输出信号的装置，比如包括但不限于窗口比较器、专用电压比较芯片等。二阶比较阈值可以包括正二阶比较阈值和负二阶比较阈值，正二阶比较阈值可以设定为正300毫伏，负二阶比较阈值可以设定为负300毫伏。正负阈值也可以不做对称设置，此处不做限定。比较单元130可以在二阶差分电压高于或等于正二阶比较阈值时输出正脉冲，可以在二阶差分电压低于或等于负二阶比较阈值时输出负脉冲，也可以在二阶差分电压低于正二阶比较阈值高于负二阶比较阈值时输出零脉冲。在一些可能的实施方式中，二阶比较阈值也可能只有正阈值，只在二阶差分电压大于正阈值时生成正脉冲；或者只有负阈值，只在二阶差分电压小于负阈值时生成负脉冲，此处不做限定。
[0064] 读出电路140用于根据接收到的光感电压生成积分电压信号。读出电路会对收到的光感电压进行积分，并根据一段时间内(比如1毫秒)的积分结果输出积分电压信号。读出电路 140可以由晶体管构成。读出电路140生成的积分电压信号用于生成基于帧(frame-based) 的图像。
[0065] 在一些可能的实施方式中，当二阶差分电路122采用如图9所示的结构时，第一一阶差分电路1221生成的第一一阶差分电压UA和第二一阶差分电压UB可以直接发送给比较单元130，比较单元130还可以用于将UA和/或UB与一阶差分阈值进行比较，根据比较结果生成一阶事件信号。具体生成一阶事件信号的方式请参见前文生成二阶事件信号方式的表述，以及发明内容中的相关表述，此处不再赘述。
[0066] 请参阅图10，为本发明动态视觉传感器又一可能实施例的逻辑结构示意图。动态视觉传感器200包括光电转换单元210，二阶差分单元220，一阶比较单元231和二阶比较单元232。其中，二阶差分单元包括采样保持电路221，第一一阶差分电路222，第一选通单元223，第二一阶差分电路224和第二选通单元225。在一些可能的实施方式中，所述动态视觉传感器还可能包括读出电路240。在一些可能的实施方式中，采样保持电路221也可能被认为是属于光电转换单元210的组成部分。为方便说明，本实施例仅以采样保持电路221属于二阶差分单元220为例进行描述，须知，无论将采样保持电路划归哪一功能单元，此类结构划分方式均属于本申请技术方案所保护的结构范围。
[0067] 光电转换单元210的具体情况请参见图3中对光电转换单元110的描述，此处不再赘述。
[0068] 二阶差分单元220用于对光感电压进行二阶差分，生成二阶差分电压。其中，采样保持电路221用于将光感电压转换为差分输入电压，通常，光感电压是由光电转换单元210输出的一种连续的电压，而第一一阶差分电路222则需要多个不同时刻对应的光感电压同时作为输入。本实施例中第一一阶差分电路222的差分输入电压以包括三个不同时刻对应的光感电压为例，由采样保持电路221提供，具体提供方式请参见图5和图6中的对应描述，此处不再赘述。须知，在一些可能的实施方式中，随着对光感电压的差分阶数的需求不同，差分输入电压可能包含的对应时刻光感电压的数量也会不同，比如，在三阶差分的情况下，差分输入电压可能包含5个对应时刻的光感电压，在此不做限定。第一一阶差分电路222接收差分输入电压，并根据差分输入电压生成第一一阶差分电压和第二一阶差分电压，第一选通单元 223判定是否进行第二次一阶差分，当判定结果为进行第二次一阶差分时，第二一阶差分电路根据第一一阶差分电压和第二一阶差分电压生成二阶差分电压，并且第一一阶差分电压和第二一阶差分电压也被发送至第二选通单元；当判定结果为不进行第二次一阶差分时，则第一一阶差分电压和第二一阶差分电压直接发送给第二选通单元。具体生成第一一阶差分电压、第二一阶差分电压和二阶差分电压的方式请参见图8和图9中的描述，此处不再赘述。第一选通单元223用于控制是否对光感电压进行第二次一阶差分，控制的条件可以是判断相机是否在运动，如果判断为在运动就做第二次一阶差分，判断为静止就不做第二次一阶差分。第二选通单元225用于在一阶差分电压和二阶差分电压都作为输入时，选通后输出一阶差分电压给一阶比较单元231和/或输出二阶差分电压给二阶比较单元232；当只有一阶差分电压或只有二阶差分电压作为输入时，则将收到的电压输出给对应的比较单元。第一选通单元和第二选通单元具体可以通过多路复用器或者矩阵开关等形式来实现，此处不做限定。
[0069] 一阶比较单元231用于将接收到的一阶差分电压与一阶差分阈值进行比较，根据比较结果生成一阶事件信号。二阶比较单元232用于将接收到的二阶差分电压与二阶比较阈值进行比较，根据比较结果生成二阶事件信号。一阶比较单元231和二阶比较单元232的具体情况请参见图3中对比较单元130的相关描述，此处不再赘述。
[0070] 读出电路240的具体情况请参阅图3中的相关描述，此处不再赘述。
[0071] 在一些可能的实施方式中，二阶差分单元220可能包括更多的一阶差分电路和选通单元，以实现对光感电压的进一步多阶差分，具体实现原理请参阅图10中的对应描述，此处不再赘述。
[0072] 请参阅图11，为本发明一种动态视觉传感装置一可能实施例的逻辑结构示意图。动态视觉传感装置300包括传感器阵列310和外围电路320。其中，外围电路320包括地址编码器 321和第一编码器322。在一些可能的实施方式中，外围电路320还包括第一缓存323。
在一些可能的实施方式中，外围电路320还包括第二编码器324和第二缓存325。
在一些可能的实施方式中，外围电路320还包括第二编码器324和第二缓存325。
[0073] 传感器阵列310包含多个本申请实施例中记载的任意一种动态视觉传感器。传感器阵列 310中的动态视觉传感器用于根据光信号生成二阶事件信号或一阶事件信号，具体生成方式请参见图3至图10中的相关描述，此处不再赘述。这里我们将二阶事件信号和一阶事件信号统称为事件信号。
[0074] 外围电路320用于根据事件信号生成地址事件表示。具体的，传感器阵列310将事件信号发送给地址编码器321，地址编码器321将生成这一事件信号的传感器的坐标连同事件信号一起发送给第一编码器322。
[0075] 第一编码器322用于根据收到的事件信号和坐标生成地址事件表示，并对地址事件表示进行编码，生成二进制码信息。在一些可能的实施方式中，外围电路320还包括第一缓存323，用于存储第一编码器322编码的地址事件表示，以供外部设备调用。在一些可能的实施方式中，第一缓存323也可以用于存储地址编码器321输出的信息，此处不做限定。
[0076] 在一些可能的实施方式中，外围电路320还包括第二编码器324和第二缓存325。第二编码器用于接收和编码传感器阵列发送的积分电压信号，生成二进制码信息，以供外部设备调用。由积分电压信号生成的二进制码信息可以用来生成基于帧的图像。第二缓存325可以用于存储第二编码器324编码生成的信息。
[0077] 请参阅图12，为本发明一种动态视觉传感装置又一可能实施例的装置结构示意图。动态视觉传感装置400包括传感器阵列410、行地址编码器420、列地址编码器430、第一编码器 440和第一缓存450。在一些可能的实施方式中，还可能包括第二编码器460和第二缓存470。
[0078] 传感器阵列410包含多个本申请实施例中记载的任意一种动态视觉传感器。传感器阵列 410中的动态视觉传感器用于根据光信号生成事件信号，具体生成方式请参见图3至图10中的相关描述，此处不再赘述。事件信号包括二阶事件信号和一阶事件信号。传感器阵列410 中的传感器会将事件信号分别发送给行地址编码器420和列地址编码器430。
[0079] 行地址编码器420用于在接收到传感器发送的事件信号后将生成该事件信号的传感器的行坐标连同事件信号一起发送给第一编码器440；列地址编码器430用于在接收到传感器发送的事件信号后将生成该事件信号的传感器的列坐标连同事件信号一起发送给第一编码器 440。
[0080] 第一编码器440用于根据收到的事件信号和坐标生成地址事件表示，并对地址事件表示进行编码，生成二进制码信息。
[0081] 第一缓存450用于存储编码器编码的地址事件表示，以供外部设备调用。第一缓存450 还用于存储列地址编码器430输出的信息。在一些可能的实施方式中，第一缓存450还可以用于存储行地址编码器420输出的信息，此处不做限定。
[0082] 第二编码器460用于接收和编码传感器阵列发送的积分电压信号，生成二进制码信息，以供外部设备调用。由积分电压信号生成的二进制码信息可以用来生成基于帧的图像。第二缓存470可以用于存储第二编码器460编码生成的信息。
[0083] 如图11或图12所描述的动态视觉传感装置，或其他包含图3至图10所描述的动态视觉传感器的动态视觉传感装置，在实际使用中可以根据一段时间(比如3毫秒)内累计的事件信号，产生生成这些事件信号的传感器所对应的输出；也可以根据生成事件信号的传感器达到的预设占比时产生输出(例如：某一行或列有超过80％的传感器有事件信号输出，即产生该行或列的脉冲输出)。需要注意的是，这里的事件信号既可以是一阶事件信号，也可以是二阶事件信号。一阶事件信号可以被认为是表征了光线亮度变化的事件信号，二阶事件信号可以被认为是表征了光线亮度变化的速度发生的变化。当传感器阵列中的每一个传感器对应摄像头中的一个像素点时，如果传感器生成的事件信号是二阶事件信号，则摄像头拍摄出来的信息记录了光亮度变化相对于时间的二阶导数图像，即拍摄的画面记录了整个画面中各个像素的光变化的速度的变化量。这样，当摄像机运动时，由于背景的光相对于相机通常是匀速变化的，背景信息将被减少，图像中主要保留了光变化速度有改变的信息(比如突然进入画面的物体)，从而减少了摄像机运动带来的冗余背景信息。具体来说，如果在运动的车辆上安装该摄像机，那么路边静止的树木、停靠的车辆等将可能被滤除，而超车的车辆、落石等可能会被捕获，从而达到更好的拍摄效果。
[0084] 请参阅图13，为本发明一种动态视觉传感方法的一可能流程示意图。
[0085] S510，将光信号转换为电信号，生成光感电压。可以通过光电转换装置将光信号转换为电信号，以作为差分操作的输入。具体方式请参见发明内容及实施例部分中的相关描述，此处不再赘述。
[0086] S520，对光感电压进行一阶差分。对光感电压进行一阶差分，得到一阶差分电压，具体方式请参见发明内容及实施例部分中的相关描述，此处不再赘述。
[0087] S530，判断是否再进行一阶差分。对S520中得到的一阶差分电压再进行一次一阶差分，就会得到光感电压的二阶差分电压。一阶差分电压表征了光的变化，而二阶差分表征了光变化的速度的变化。可以根据不同的使用场景需求，判断是否进行第二次一阶差分，比如当传感器在运动的时候进行第二次一阶差分，当传感器静止的时候不进行第二次一阶差分。
[0088] S540进行第二次一阶差分。当S530判定再进行一次一阶差分时，对S520中得到的一阶差分电压再进行一次一阶差分，具体方式请参见发明内容及实施例部分中的相关描述，此处不再赘述。在一些可能的实施方式中，在S520之后也可能不经过S530的判断而直接进行S540，即不做判断直接对S520生成的一阶差分电压进行第二次一阶差分，此处不做限定。
[0089] S550将差分电压与阈值进行比较，并输出比较结果。当接收到S520生成的一阶差分电压时，将一阶差分电压与一阶比较阈值进行比较，根据比较结果生成一阶事件信号；当接收到S540生成的二阶差分电压时，将二阶差分电压与二阶比较阈值进行比较，生成二阶事件信号。具体生成一阶事件信号和二阶事件信号的方法请参见图3中比较单元130的相关描述，此处不再赘述。
[0090] 如图14为本发明一种动态视觉传感方法的又一可能流程示意图。
[0091] S610将光信号转换为电信号，生成光感电压。
[0092] S620对光感电压进行二阶差分，生成二阶差分电压。
[0093] S630根据二阶差分电压生成二阶事件信号。S610、S620和S630的具体过程请参见图13 中的相关描述，此处不再赘述。
[0094] S640对光感电压进行积分。
[0095] S650根据一段时间的积分结果生成积分电压信号。积分电压信号用于生成基于帧 (frame-based)的图像。
[0096] 如图15，为应用本发明动态视觉传感装置的动态视觉摄像机一实施例逻辑结构示意图。动态视觉摄像机700包括动态视觉传感装置710和工作电路720。动态视觉传感装置710用于根据光信号生成地址事件表示，具体生成方式请参见发明内容及实施例部分中的具体描述，此处不再赘述。工作电路720用于根据地址事件表示生成图像。工作电路720可以实现为处理器、芯片等形式，此处不做限定。
[0097] 如图16，为应用本发明动态视觉传感装置的移动终端设备一实施例逻辑结构示意图。移动终端800包括动态视觉摄像机810和通信单元820。动态视觉摄像机810用于根据光信号生成图像，具体生成方式请参见图15，此处不再赘述。通信单元820用于将图像发送给其他设备。通信单元可以是无线信号发射装置，也可以是传输端口等，此处不做限定。
[0098] 如图17，为应用本发明动态视觉传感装置的即时定位与地图构建系统一实施例逻辑结构示意图。即时定位与地图构建系统900包括动态视觉传感装置910和工作电路920。动态视觉传感装置910用于根据光信号生成地址事件表示，具体生成方式请参见前文具体描述，此处不再赘述。工作电路920用于根据该地址事件表示进行场景识别。
[0099] 在一个或多个实施例中的工作电路，可以使用专用集成电路(application specific integrated circuit,ASIC)、数字信号处理器(digital signal processor,DSP)、可编程逻辑器件(programmable logic device,PLD)、现场可编程门阵列(field programmable gate array,FPGA)、处理器、控制器、微控制器和/或微处理器等电子单元中的至少一个来实现本申请的实施方式。
[0100] 在一个或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，则功能可作为一个或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体而发送，且通过基于硬件的处理单元执行。
[0101] 应理解，说明书通篇中提到的“一个实施例”、“一实施例”或“一些可能的实施方式”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”、“在一实施例中”或“在一些可能的实施方式中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
[0102] 在本申请所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
[0103] 本领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考方法实施例中的对应过程，在此不再赘述。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种多传感器的高精度即时定位与建图方法 | 2020-05-11 | 735 |
| 地图构建方法、装置和计算机可读存储介质 | 2020-05-22 | 470 |
| 地图构建方法、装置和无人设备 | 2020-05-18 | 483 |
| 虚拟对象的控制方法及相关设备 | 2020-05-20 | 222 |
| 相机位姿估计方法和装置 | 2020-05-21 | 628 |
| 一种基于几何信息的全局定位方法 | 2020-05-17 | 137 |
| 一种即时定位与地图构建的生成方法、系统及装置 | 2020-05-18 | 758 |
| 用于确定机动车的位置的方法和装置 | 2020-05-19 | 343 |
| 远程视频交互的实现方法及相关设备 | 2020-05-16 | 651 |
| 基于增强现实的远程指导方法、装置、终端和存储介质 | 2020-05-17 | 580 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈