本发明涉及传感器和成像系统，特别是提供和解释图像数据的系统。

传感器和成像系统在今日技术驱动的经济需求中不断增长。这些系 统包括观察在视场中目标的摄像机。摄像机产生由计算机分析确定应对 检测到的目标采取什麽行动的图像数据。
许多识别系统用两个或多个摄像机观察在一个视场中的目标。除了 与使用几个摄像机有关的成本外，这些系统需要每个摄像机特殊的安装 位置。因为两个摄像机需要合适的运作，这些系统对于单个摄像机系统 来说降低了可靠性水平。
单个摄像机系统典型的是安装在固定的位置寻找满足或不满足预定 标准的目标。例如，检测结构缺陷的系统。这些系统不能做出还没有指 定的决定。
因此，使用由摄像机提供图像的，能确定条件是否已经满足或没有 满足的传感器和成像系统存在需求。

根据本发明的实施例，提供给系统的有摄像机，处理器，用户接口。 摄像机传送相应于视场中景色的图像数据。相应于图像数据，处理器指 出条件是否已经满足。用户接口可操作的连接处理器并允许用户选择目 标检测的标准，指出选择的标准，提供目标已经检测的可视证实。
在另一实施例中，为了使其它设备有效也提供控制接口。而且系统 提供信号来影响其它设备。
还有一实施例是，在处理器确定条件已经满足系统时提供打开门信 号。然后由具有与门相连的可操作驱动马达的常规电子机械打开门系统 把门打开。
根据下面与图例一起的详细说明，本发明的功能和优点是显然的。
附图说明
图1a和1b是本发明传感器和成像系统实施例框图；
图2是本发明传感器和成像系统另一实施例的简化原理图，具有一 对摄像机组件分别与一对传感器/成像电路相连；
图3是具有安装接近的图2摄像机组件的关了门的正面图；
图4除了门是开的外近似于图3的正面图；
图5是图2摄像机组件之一附在图3门上面的上框的部分透视图；
图6是图5的摄像机装配剖面图；
图7是附在图5的摄像机组件机架的窗上的上框装配的俯视图；
图8是上框装配，窗口沿图7A-A平面的取的剖面图；
图9是与图2的视频处理器之一相连的图8摄像机组件中摄像机的 简化原理图；
图10是图3和图4的门的一边的顶视，俯视图，其中图2摄像机 组件之一有包括门前区域的视场；
图11是作为图10中放在远离摄像机组件目标的视场像素密度的图 画说明；
图12在实施例中提供大量能由用户用图2的膜键盘选择的安全区 域配置；
图13是图2描述的膜键盘实施例的俯视图；
图14是用图13的膜键盘的区域定位方法的俯视图；
图15a和15b是具有场可编程门阵(FPGA)和中央处理单元(CPU) 的图2传感器/成像系统电路的目标之一的简化框图；
图16是根据本发明的处理系统的第一级水平的简化框图，处理系 统有在图15a和15b的FPGA中的图像处理模块、由图15a和15b的CPU 执行的特征处理模块、由图15a和15b的CPU执行的检测处理模块；
图17是图16处理系统初始化顺序的简化框图，初始化输入参数和 计算有关的、导出的参数、初始化检测阈值表、初始化检测和特征计算 区；
图18是图16处理系统初始化顺序的简化框图，通过FPGA连续输 入/输出板从用户输入数据初始化FPGA图像处理阈值和视频数字化设 置，初始化特征和检测处理系统；
图19是图16处理系统的视频环处理顺序的简化框图，使用乒—乓 缓冲器指向，加载和解包参考图像到用户数据。
图20是图16处理系统的视频环处理顺序的简化框图，使用在CPU 的用户数据在当前图像帧产生特征和检测结果。
图21是图16处理系统的视频环处理顺序的简化框图，具有在每一 帧处理的末尾和视频处理任一点输出诊断讯息；
图22是根据本发明的乒—乓系统的简化框图；
图23是在图22中描述的乒—乓系统的初始化的简化框图；
图24是图22的乒—乓系统的乒—乓处理环的简化框图；
图25是图16处理系统的自动对比补偿初始化的简化框图，相应于 图像特征标准和时间动态标准改变视频增益；
图26是图16处理系统在视频环中的自动对比补偿的简化框图，相 应于图像特征标准和时间动态标准改变视频增益；
图27是图17系统初始化的区域初始化顺序的简化框图，在实际世 界坐标系中建立区域，产生区域子掩码(MASK)和建立区域掩码(MASK)；
图28是图17系统初始化的阈值表初始化顺序的简化框图，具有初 始化摄像机内在的参数模块，分辨率模型模块和目标模型模块；
图29是图16处理系统的图像处理模块的简化框图，具有边缘检测 器；
图30是图16处理系统的图像处理模块的简化框图，具有使用区域 的运动检测器；
图31是图16处理系统的图像处理模块的简化框图，具有阴影和光 束处理的区域分析；
图32是图16处理系统的图像处理模块的简化框图，有使用边缘的 运动检测器；
图33是图16处理系统的特征处理模块的简化框图，计算存在，运 动，帧和区域特征；
图34是图33特征产生系统的简化框图，具有标记模块，计算全局 存在特征模块和计算区域存在特征模块；
图35是图34计算存在特征系统的简化框图，计算全局存在特征；
图36是图34计算存在特征系统的简化框图，计算区域存在特征；
图37是图33特征产生系统的简化框图，具有标记模块，计算全局 阴影和光束特征模块，和计算阴影和光束区域特征模块；
图38是图37计算阴影和光束区域特征系统的简化框图，计算全局 阴影和光束特征；
图39是图37计算阴影和光束区域特征系统的简化框图，计算阴影 和光束区域特征；
图40是图16处理系统的双峰直方图灰度水平分析的简化框图；
图41是图33特征产生系统的简化框图，计算帧特征；
图42是图16信息处理模块的简化框图，从产生的特征检测目标的 存在；
图43是图16信息处理模块的简化框图，评估和更新参考图象；
图44是图16信息处理模块的简化框图，相对于视场背景值的改变而 改变阈值；
图45是图16信息处理模块的简化框图，在检测的目标中确定边缘 和区域数据的几何联系；
图46是图45的图16信息处理模块的简化框图的继续，包括在检 测的目标中测试区域边缘以确定区域的交集；
图47是图46的图16信息处理模块的简化框图的继续，包括在检 测的目标中评价区域的地域的界线以确定区域的交集；
图48和图49是定义各种图像操作的表；
图50是背景或参考图象的典型例子；
图51除了这是目标已进入视场的当前的图像外相似于图50；
图52是从图51的当前的图像减去图50的参考图象的差值；
图53是从图50的参考图象减去图51的当前的图像的差值；
图54是对图52的图像作阈值和形状滤波后的最终图像；
图55是对图53的图像作阈值和形状滤波后的最终图像；
图56是对图54和图55的图像完成逻辑‘或’操作后的最终图像；
图57是除了在图56的图像区域内为了分类做了标记外相似于图 56。

本发明内容有许多不同形式的实施例，图中显示的和这里有详细描 述的本发明实施例可理解为本发明原理的范例，说明的实施例不限制本 发明的广阔范围。
见图1a和1b，描述根据本发明的系统实施例框图。系统10包括进 入图像分析12，存在检测14，传感器技术16，电子设备18，设备控制 20，摄像机姿态22，摄像机技术24，图像分析26，和市场应用28。
见图2，描述根据本发明的另一系统实施例的简化原理图。系统110 包括一对摄像机组件112，113分别可操作的与一对传感器/成像电路114， 115相连。传感器/成像电路114，115可操作的与键盘118连接的I/O显 示板116相连。此外在实施例中，系统110包括具有与门121(图3和 图4)相连的可操作驱动马达119的电子机械开门系统117。
摄像机组件112，113包括电荷耦合器件(CCD)，或此类器件，有 优质的广角镜头，能分别给传感器/成像电路114，115传输图像数据。 图像数据分别相应于在每个摄像机中的景色。
传感器/成像电路114，115处理图像数据确定用户选择的条件是否 已经满足。用户选择的条件是通过由I/O显示板116和膜键盘118组成 的人—机接口来选择的。在实施例中，人—机接口可操作的与传感器/成 像电路114，115相连并允许用户选择目标检测的标准，指出选择的标准， 提供目标已经检测的可视证实。
图3提供由门121关闭的门通路120的截面正面图。图2的摄像机 组件112，113安置在接近于门通路120和相反的两边。摄像机组件112， 113分别有门通路相反一边的视场122和123。在门121如图4开的时候， 至少一个摄像机组件的视场包括门通路120。此外，视场122和123在 门通路120附近重叠。
图5说明附在图3的门121上面的上框的图2的摄像机组件112，113 之一的部分组件透视图。摄像机组件包括有窗132的机架组件131。图6 提供图5的摄像机组件的截面图。有视场136和加热器组件140的摄像 机134安放在机架组件131中。在实施例中，给摄像机134供电的电源 (未显示于图中)可安放在加热器中。
图7和图8分别提供加热器组件140的俯视图和截面图。加热器组 件140邻接摄像机机架组件131的窗132，是由金属浇铸或此类制成的， 包括夹在一对导电的接线端144，145之间的陶瓷电阻142。陶瓷电阻142 一般是环状的，由表现为通常称为PTCR(正温度系数或阻抗)或PTC 效应的材料构成。同样的，导电的接线端144，145一般是环状的，由导 电和导热的材料，如铜构成。
在实施例中，环形光圈146通过陶瓷电阻142和导电的接线端144， 145的轴延伸。光圈146有完全同一的外周并互相同心排列。
导电的接线端145的外周界148包括多个向外延伸的耳朵150。松 开附着的螺丝154(图9)通过每一耳朵150延伸了光圈152。
见图9，加热器组件安置在摄像机组件的机架131中。如前所指出 的，附着的螺丝154连接加热器140的导电的接线端145成安装表面， 或安装柱156延伸到机架131内部并完整的附着到那里。
摄像机组件的机架131包括允许摄像机的视场136延伸到机架外的 光圈158。放置在光圈158上面阻止如灰尘和潮气的污染物进入摄像机 组件。
窗132夹在加热器组件140的导热导电的接线端145和由弹性材料 构成的环狀垫圈160之间，并邻接光圈158的摄像机组件的机架131的 内表面162。实施例中，窗132由视觉透明材料组成，如硼硅酸盐玻璃。
摄像机134产生图像数据或电子像素数据218，表示在摄像机的视 场136中所观察到的景色。实施例中，图形数据218由视频处理器114， 115(图1)之一分析确定相应于摄像机的视场136检测到的目标应采取 什麽行动。
摄像机组件的机架131中，加热器组件140的接线端144，145与 电源166相连保持加在陶瓷电阻142上的电势。由陶瓷电阻142产生的 热通过导电的接线端145和上面的窗132消散。实施例中，提供足够的 热量维持窗132处于摄像机组件机架131外空气的露点以上。例如，加 热器能在87°F时工作，不能在106°F时工作。
本领于技术人员将理解，因为电阻材料表现为正温度系数，陶瓷电 阻142的使用消除了机械自动调温器或此类设备。消除自动调温器增加 了加热器的可靠性和减少了加给电源产生开关的噪声量。
见图2，摄像机组件112，113包括照明源(未显示于图中)，如灯 泡，发光二极管，其中有人们可见的或不可见的光谱照明视场。可移动 的耦合显示器(未显示于图中)接收摄像机组件112，113的输出，允许 用户监测摄像机组件的视场配置是否合适。
见图10，顶视图提供图3和4门121的一边，其中图2的摄像机组 件之一(特别是摄像机组件112)有包括门前区域的视场122。摄像机组 件122对视频处理器114提供图像数据(图2)，实施例中，添加了安全 区168，如果需要添加一个或更多的激活区170。视频处理器114，115 中的任一个检测到在安全区168的目标时，门121打开并维持到目标出 了安全区168。视频处理器114，115中的任一个检测到进入激活区168 的目标时，在目标在激活区停止移动或离开激活区后，门121打开并维 持打开一段时间。
当人或目标瞬间邻近门121时，安全区168立即维持在围绕门121 的区域阻止门关掉。此外，在人或车辆接近门121时，激活区168打开 门。无论何时视场中没有照明，剧烈的照明变化、电子设备故障、摄像 机碰开、或摄像机镜头被遮蔽，也能使故障保护系统打开门121。
图11描述作为目标的视场122的像素密度放置在远离摄像机组件 112外。图12提供能由用户用膜键盘118选择的许多安全区配置。
图13提供在图2中描述的膜键盘的实施例118的俯视图。膜键盘118 和I/O显示板116(图2)为用户提供设置系统的用户接口或人—机接口 (图2)。在实施例中，用户接口允许用户定义系统110将要用的门的类 型，尺度，建立大小，位置，和检测区的类型。用户接口允许用户输入 数据从区域、位置、形状、控制区数、控制标准组成的参数组中至少定 义一个控制区参数(即激活区或安全区)。
如以前指出的，通过用户接口，系统110能至少定义摄像机组件接 收的一部分图像为控制区。实施例中，系统110能在控制区内由直接访 问从所有的有坐标的像素选择坐标。另外，系统110有能力从多个预定 义的区域内选择。而且，系统110有能力在视场中放真实的目标，只要 描绘边缘坐标和真实的目标成为图像数据的一部分。
实施例中，用户接口有三个操作模式：参数编辑模式、运行模式、 和诊断模式。在参数编辑模式中，用户可以用触摸键盘按钮610、622、 624和626输入或修改配置参数，如门的样式、英制或公制、摄像机高 度和到门的距离。在运行模式中，系统110是工作状态。同样的，系统 110处理摄像机112，113的图像并通过I/O显示板116输出安全区和激 活区指示信号，在LED 614和616上显示状态信息。在诊断模式，关于 系统110状态的附加信息通过I/O口得到。
图14提供描述使用图13的膜键盘的区域运动的图。实施例中，用 户能在摄像机组件112，113的视场中移动激活区到各个不同的位置。
图15a和15b提供图2的传感器/成像电路114，115之一的简化图。 实施例中，传感器/成像电路114，115在物理设计上实质上是相似的， 包括场可编程门阵(FPGA)124，中央处理单元(CPU)125，和视频数 字化仪126。
实施例中，视频数字化仪126从摄像机之一接收模拟图像信号，并 把模拟图像信号数字化，然后，把数字化图像信号传输给场可编程门阵 124。
如这里进一步的详细解释，编程场可编程门阵124，执行一个或多 个的相应于接收的数字化图像信号的图像处理操作。实施例中，这些操 作包括比较数字化的图像信号与一个或多个以前接收的数字化图像信号 的预先确定的特性，提供合成的图像数据。相应于合成的图像数据，中 央处理单元125确定一个或多个条件是否已满足。
与视频数字化仪126可操作的连接是对视频数字化仪的温度有输出 相关的温度传感器128。根据环境温度传感器的指示以使在预先确定的 温度范围或限制内视频数字化仪126不运作，由复位电路130发布复位 命令，系统110维持复位状态至视频数字化仪的温度回到预先确定的温 度范围或限制内。
实施例中，为了减少CPU 125的负荷和获得期望的视频处理帧速率， FPGA 124执行相对高速率的处理。由于去除了与足够快速的CPU芯片 相关的费用，此硬件结构平衡减少了整个系统的费用。使用FPGA 124和 CPU同时并行处理，获得帧速率的提高。在CPU做当前帧数据处理的间 隔，由FPGA像素处理下一帧实现此并行处理。这样，当CPU完成当 前帧数据处理时立即得到对CPU处理的FPGA的新输出。此处理结构需 要维护两组独立数据的能力，后面涉及为乒/乓控制。
本发明系统图16是描述处理系统的第一级水平的简化框图。系统 包括在图15a和15b的FPGA 124中的图像处理模块212，由图15a和15b 的CPU 125执行的特征处理模块214，和由图15a和15b的CPU 125执行 的检测处理模块216。
实施例中，图像处理模块212接收存储的电子像素数据218包括当 前图像数据220，参考图像数据222，参考边缘数据224，和前一图像数 据226。当前图像数据220是采集的最新图像(即在t时刻采集)，前一 图像数据226是第二最新采集的图像(即在t+1时刻采集)，参考图像 数据222是采集的最老图像(即在t+1+x时刻采集)。此外，如下面详 细描述的，参考边缘数据224由从参考图像数据222抽取的边缘数据组 成。
图像处理模块212也从人—机接口(即图2的膜键盘118和I/O显 示板116)接收参考数据。如下面详细描述的，参数数据228包括，有 关在视场(图2和图3的112和113)中检测到的目标导致门121(图2 和图3)开启的区域信息。
如下面详细描述的一样，相应于电子像素数据218和参数数据228， 图像处理模块212产生导出的图像数据230包含边缘分割，运动分割和 区域分割。
特征处理模块214接收导出的图像数据230和参数数据228。如下 面详细描述的一样，特征处理模块214产生相应的图像数据230和参数 数据228，特征数据232，包括边缘特征，运动特征，区域特征，和帧特 征。
检测处理模块216接收特征数据232和参数数据228。相应于数据， 检测处理模块216产生控制信号234，包括门121(图2和图3)的开启 和关闭检测信号，参考更新和可自适应的阈值。
图17和18是描述图16处理系统初始化顺序的简化框图。初始化 顺序234包括初始化参数步骤236，初始化阈值表步骤238，初始化区域 步骤240，初始化FPGA步骤242，初始化视频数字化仪步骤244，和初 始化视频系统步骤246。
初始化参数步骤236包括初始化人—机接口和常数数据和导出参 数。在人—机接口初始化时，读用户进入的数据并存入存储器。常数数 据与有关控制区门的开启和关闭的导出参数一起也载入存储器。
这样，如上所指出的，根据应用的系统电源，参数初始化模块236 初始化人—机接口(即图2的膜键盘118和I/O显示板116)、常数数据 和导出参数的初始状态。初始化阈值表模块238由摄像机几何学初始化 区域阈值映射和分辨率模块的初始状态。这些映射用于确定目标的最大 和最小像素特征如人和车辆，铲车。
初始化区域模块234初始化控制区域的初始状态，其数据与用户有 关或预先定义的安全区域和相应的激活区一致。初始化FPGA 242和初始 化视频数字化仪244分别对FPGA 124(图15a和15b)和视频数字化仪 126(图15a和15b)作初始化。特别是，在FPGA初始化时间中对控制 状态寄存器(CSR)和图像缓冲器指示器作初始化。构建所需的指令并 通过FPGA串行I/O发送来初始化视频数字化仪。
初始化视频系统246对CPU 125(图15a和15b)作初始化。特别是， 选择第一p-p(乒-乓)数据组。下一步，指令FPGA记录视频帧。然后 初始化四幅图像(参考图像)—灰度级参考(R)，边缘参考(GER)和 存档边缘参考。然后指令FPGA处理这些数据。从FPGA取出FPGA输 出送到Bank 0数据库。
系统初始化后，图19-22的简化框图描述系统在视频处理环中的 运作。实施例中，视频处理环250包括获得下一帧步骤252，取出FPGA 数据步骤254，计算所有特征步骤214，计算检测&控制步骤258，存FPGA 数据步骤260，和写诊断步骤262。
在视频处理环250中，CPU 125程序使用当前乒/乓缓冲器指出加载 和解包那些数据到第三数据库—用户数据—Bank U。后面在CPU程序中 使用这些数据产生特征和当前帧的检测决定。同时，CPU程序在FPGA 124 开始FPGA记录和处理。CPU处理当前帧的特征时，FPGA计算下一帧 的图像数据。通过FPGA串行I/O检测和控制动作发送出安全和活动信 号。CPU的特征和检测处理比FPGA计算耗时更长。CPU完成当前帧处 理时，取出FPGA数据给相对的Bank(例如，如果处理Bank 0就是Bank 1)。在每一帧处理的最后，和在视频处理的任一点输出诊断信息。然后 程序循环设置Bank U成新的当前Bank(Bank 0或Bank 1)，再初始化 FPGA。
见图22，本发明提供系统资源安置方法或乒/乓控制的实施例的简 化框图。如前所述，视频处理系统110包括图像处理的FPGA 124。结果 产生导出的图像数据230，包含边缘分割，运动分割，和区域分割。
一旦产生导出的图像数据230，最好通过开关存储在多个存储器bank 230a和230b之一中，用于特征处理。因此，提供给特征处理模块214 的导出的图像数据230是静态的。然而，FPGA 124连续处理电子像素数 据218，并通过开关将图像处理的结果送到处理模块214现在不能访问 的存储器bank。因此，根据先进先出原理，通过存储器bank 230a和230b 之间转换的开关，在存储器库中的导出的图像数据230对特征处理模块 是可访问的。
最好，提供两个存储器bank 230a，230b。见图19，获得下一帧的 步骤252由图像处理模块212在FPGA 124中提供电子像素数据218的记 录和处理。特别是，使用控制和状态寄存器(CSR)选择存储器bank 230a， 230b并设置记录&处理比特。
取FPGA数据的步骤254提供了在计算所有的特征步骤256中获得 在存储器库中的静态数据作静态数据处理。特别是，复位暂存寄存器和 计数器，解包静态数据提供由特征处理模块214(图16)对导出的图像 数据230的处理。
在实施例中，如这里进一步的详细解释，相应于导出的图像数据230 (图16)和参数数据228(图16)，特征处理模块214(图16)执行计 算所有特征的步骤256。特别是，计算所有特征的步骤256，产生特征数 据232(图16)，包括边缘或P特征，运动特征，阴影和光束或区域特征， 和帧特征。
相应于特征数据232(图16)和参数数据228(图16)，检测处理 模块216执行计算检测&控制的步骤258。特别是，评估帧分析故障标志， 执行检测逻辑，评估参考帧更新需求，评估自适应阈值，更新运动参考 数据。
一旦FPGA 124(图15a和15b)对CPU 125(图15a和15b)提供中 断指出FPGA已完成另一图像帧处理和由特征处理模块(图16)处理的 数据已准备好，发生存储FPGA数据的步骤260。此外，如果需要，由 CPU 125(图15a和15b)执行的写诊断的步骤262把有关如何处理以前 帧数据的一个或更多的信息存储到存储器中。然后视频处理环250继续 回到获得下一帧的步骤252。
见图23，简化框图提供图22的乒—乓系统的初始化实施例步骤。 在实施例中，乒—乓初始化的步骤264包括初始化乒—乓地址模块265， 记录视频缓冲器模块266，记录帧模块267，初始视频参考模块268，处 理视频模块269，处理帧模块270，和取FPGA数据模块271。
图24提供图22的乒—乓系统的乒—乓处理环的简化框图。环272 的底表示FPGA(不以时间比例)工作时，顶表示CPU与串行I/O和CSR 信息联系有效。
图25和26说明在具有可选的自动对比电路(ACC)实施例中乒/乓 工作的细节(初始化&视频环)。由于照明条件的慢变化，ACC可用于改 进系统的检测性能。ACC这样做是因为视频增益随图像特征标准和动态 标准改变。在阻止太多图像白色饱和时最大化ACC增益。增益改变后， 再初始化视频系统。
由用户输入使ACC启动时，在初始化时ACC由反复测试图像结果 得到最好的起始增益。在获得满足于建立的标准的增益时，停止重复， 程序以所选择的标准继续视频环。ACC也在视频环的起点运作，但不反 复去寻找满意的增益。仅在每帧的环中执行单个增益改变。增益的改变 和随之发生的视频系统初始化所用的时间比帧时间(100ms)小得多。 视频环要求增益改变的决定是由在CPU工作的检测和控制部分计算的标 准控制的。标准包括时效、区域活动和长和短时间—常数滤波器。
图27是图17系统初始化的区域初始化顺序240的简化框图。区域 初始化顺序240在实际世界坐标系中产生区域组成，产生控制区域子掩 码(MASK)和构建控制区域掩码(MASK)。图28提供对图17系统初始化 的阈值表初始化顺序238的简化框图。阈值表初始化顺序238产生摄像 机内在的参数、分辨率模型和目标模型的初始化。
见图29(参考图48和49)，提供图16处理系统的包括边缘检测器 301的图像处理模块的简化框图。边缘检测器301最好包括修正的Sobel 算子模块302，正差分算子模块304，阈值模块306，腐蚀模块308，和 标志1模块310。
实施例中，修正的Sobel算子模块302从当前输入图像接收当前(B) 图像输入312并产生边缘图像(GEB)314。在正差分算子模块304中从 当前输入图像减去在CPU中初始化的参考图像(GEB)316，其中负值 设为0。灰度级边缘图像被阈值306，被腐蚀308，和加标志310。标志 1算子310的输出是16比特加了标志的图像318，等值表320，和所用 的标志数目的计数322和等值表入口数。在二进制输入中的像素数计数 324和腐蚀算子308的输出326也输出到CPU，完成边缘图像处理。
标志1算子310用于图像处理的每一细节。标志1 310是用于产生 二进制输入的相应成分打标志的两步处理的第一部分。标志1 310在二 进制输入图像上从图像的左上角开始通过2×2核。核的元素如下
B    C
A    X 如果二进制像素在X是零，输出是零。如果设定X，标志B，A，C按 序扫描。如果B，A，C都为非零，标志计数器的下一个值在X输出， 计数增加。如果任一B，A，C为非零，标志算子是第一个非零标志的值。 如果B，A，C中多于一个为非零，第一个非零值是输出。如果任一保持 非零的标志不同于输出值，输出值和不同值写入等值表。
图30(参考图48和49)是图16处理系统的图像处理模块的简化 框图，具有使用区340的运动检测器。系统340包括分别对当前(B) 输入图像(n)和以前(A)图像(n)的正差分模块342和344、阈值模 块346和348、和膨胀模块350和352。输出通过包含的OR模块354， 腐蚀模块356，和标志1模块358。
当前灰度级输入图像(B)360和以前图像(A)362的正差分被阈 值346和348和腐蚀350和352，及正差分A342和B344。结果是包括 作’OR’的354。最终的二进制图像标志为边缘的状态(图29)，结果传给 CPU。
灰度级边缘图像被阈值、被腐蚀356、和加标志358。标志1算子358 的输出是16比特标志了的图像364、等值表366、和所用的标志数368 和等值表入口数的计数。在二进制输入中的像素数计数370和腐蚀算子 356的输出372也输出到CPU，完成区域边缘图像处理。
标志1算子358用于图像处理的每一细节。标志1 358是用于产生 标记二进制输入的相应成分的两步处理的第一部分。标志1 358在二进 制输入图像上从图像的左上角开始通过2×2核。核的元素如下
B    C
A    X 如果二进制像素在X是零，输出是零。如果设定X，标志B，A，C按 序扫描。如果B，A，C都为非零，标志计数器的下一个值在X输出， 计数增加。如果任一B，A，C为非零，标志算子是第一个非零标志的值。 如果B，A，C中多于一个为非零，第一个非零值是输出。如果任一保持 非零的标志不同于输出值，输出值和不同值写入等值表。
图31(参考图48和49)，是图16处理系统的图像处理模块的简化 框图，具有阴影和光束处理的区域分析。系统380最好分别包括对当前 (B)输入图像394和参考(R)输入396的正差分模块382和384，阈 值模块386和388，和膨胀模块390和392。输出通过包含的OR模块396， 腐蚀模块400，和标志1模块402。标志1算子402的输出是16比特的 标志了的图像404、等值表406、和所用的标志数的计数368和等值表的 项数。在二进制输入中的像素数计数410和腐蚀算子402的输出412也 输出到CPU，完成区域的运动检测器图像处理。
除了不用瞬时以前图像输入A外，系统图像处理区域分析检测操作 类似于图30的运动检测操作，这里用称为参考图像396的以前图像，这 是在CPU命令下更新为当前输入图像的复制。区域分析细节也产生CPU 使用的差分图像414和16级直方图416。
见图32(参考图48和49)，图16处理系统的图像处理模块的简化 框图，有使用边缘420的运动检测器。除了取当前边缘图像(GEB)422 和以前边缘图像(GEA)424为对正差分模块426的输入外，系统420 说明可选择的运动检测图像处理操作相似于图29的边缘检测操作。 GEB 422的正差分减去GEA 424是如图19，20，和21中的阈值化428、 腐蚀的430，和标志了的432。
标志1算子432的输出是16比特的标志了的图像434、等值表436、 和所用的标志数的计数368和等值表项数。在二进制输入中取的像素数 计数440和腐蚀算子430的输出442也输出到CPU，完成有使用边缘的 运动检测器的系统图像处理。
图33是图16处理系统的特征处理模块450的简化框图，计算存在、 运动、帧和区域特征。为了减少CPU 125的负荷和获得期望的视频处理 帧速率，在FPGA中执行系统数据处理，计算所有的特征。
存在(P)或边缘特征模块452和阴影和光束(SL)或区域特征模块458 的计算相似于产生边缘/区域线缺损的点。此外，在P特征452和LS特 征458计算中，全局计算非常相似于区域计算。区域计算限制了对使用 相关的区域掩码(MASK)的每一区域特征计算的空间范围。P和LS特征 计算的结果存储在数据库(特征表)中为检测决定460使用。
计算帧特征456与计算P和LS特征不同。帧特征456不是目标的 特征，而是输入灰度图像和当前边缘图像的特征。为了推论有关摄像机 和视频系统整体的情况计算帧统计。帧统计惯于以作用像自适应阈值的 一些检测变量为条件。由帧特征模块456计算设立三个错误标记：照明 错误标记；模糊错误标记；不一致错误标记。通过相连的度量确定每一 个不一致错误标记。照明错误由评价修改的Kuiper统计、同心方法、和 灰度级输入变化来控制。模糊和不一致错误用当前和存档边缘检测摄像 机和/或视频系统是否已变得模糊或被踫开不一致。
如果在任何的区域中检测到任何运动，系统450不更新参数。为了 确定是否在每一区域中有运动，标志了边缘的图像计数在标志区域中的 非零像素数，在存在P特征模块452中作此计算。非零像素成为运动像 素，在运动特征模块454中作此计算。系统450计数在运动标志了图像 中的非零像素，以检验在每一区域中区域运动像素是否大于零(0)。为 了积累计数，系统450计数在区域检测掩码(MASK)中的非零像素。
图34是图33的特征产生系统470的简化框图，具有标志模块472， 计算全局存在特征模块474和计算区域存在特征模块476。
标志模块472以标志了边缘的图像478、等值表480、和标志冲突 计数482的形式接收存在输入。标志模块472解决了区域内的像素标志 冲突，用区域号代替标志，这使区域有称呼，用顺序索引重编号，再重 索引区域，把有关区域号和区域图像的数据传送到计算全局存在特征模 块474。
计算全局存在特征模块474使用区域图像484、区域号486和当前 边缘(GER)488来建立全局特征表。首先初始化全局特征表，标志区 域为面积，平均灰度强度，直方图，和质心。然后，因为在区域内灰度 级和质心、像素的特征(全局，安全，…)等的变化，重新计算区域。
计算P特征模块476取上述的区域图像484，区域号486，当前边 缘(GER)488，并用区域掩码(MASK)和矩形框490建立特征表。由计 算在安全区，第二安全区，门区，第一活动安全区，第二活动区，第一 保卫区，第二保卫区中的检测，系统470确定在区域中的运动。
图35是图34计算存在(边缘)特征系统计算全局存在特征模块500 的简化框图。
由初始化边缘计数特征表502首先计算全局P特征。在图像首先通 过模块504计算图像的全局范围。积累面积，质心，平均值，直方图和 边缘计数，并通过二阶中心矩和变化积累的图像第二传递模块506。特 征表通过模块508计算得到的特征包括区域的概率散度、变形量、取向， 和椭园形。计算区域界线模块510确定门拒绝开启，边缘形状压缩，和 边缘灰度级压缩。从区域灰度级的变化得到得分，折扣(DISCOUNT)应 用到得分。计算区域得分510后，通过特征表通过模块508的计算，下 一区域被成环。
图36是图34的计算区域存在特征的计算存在特征系统的简化框 图。
首先，由初始化特征表522的区域计数计算区域存在P特征。在图 像第一通过模块524计算图像的全局范围。计算区域以确定像素是否在 所选择的掩码(MASK)内。积累面积，质心，平均值，直方图并通过二阶 中心矩和变化积累的图像第二传递模块526。特征表通过模块528计算 得到的特征包括概率散度、变形量、取向，和区域的椭园形。计算区域 边线模块530确定门拒绝开启，面积比例压缩，边缘形状压缩，和边缘 灰度级压缩。计算区域界线530后，通过特征表通过模块528的计算， 下一区域被成环。
图37是图33的特征产生系统的简化框图，具有标记模块，计算全 局阴影和光(SL)束特征模块，和计算阴影和光束区域特征模块。
标记模块542以标记的边缘图像544、等效表546、标记和冲突计数 的形式接收存在输入。标记模块542解决了在区域内像素标志冲突，用 区域号代替标志，这使区域有称呼，用顺序索引重编号，再重索引区域， 把有关区域号和区域图像的数据传送到计算全局存在特征模块550。
计算全局存在特征模块550使用区域图像552，区域号554和当前 差分图像来建立全局特征表。全局特征表首先初始化，区域标记为面积， 平均灰度强度，直方图，和质心。然后，因为在区域内灰度级和质心第 二移动、图像的形状特征的变化，重新计算区域图像。
计算SL特征区域模块558取上述的区域图像552，区域号554，当 前边缘(GER)560并用区域掩码(MASK)和矩形框562建立特征表。由 计算在安全区，第二安全区，门区，第一活动安全区，第二活动区，第 一保卫区，第二保卫区系统540的检测确定在区域中的运动。
图38是图37的计算阴影和光束区域特征570系统的简化框图，计 算全局阴影和光束特征。
由初始化边缘计数特征表572首先计算全局SL特征。在图像第一 传送模块574中计算图像的全局范围。积累面积，质心，平均值，直方 图和边缘计数并通过二阶中心矩和变化积累的图像第二传递模块576。 特征表通过模块578计算得到的特征包括区域的概率散度、变形量、取 向，和椭园形状因子，修改的Kniper统计和映射平均值和变化。计算区 域得分模块580用区域压缩从阴影和光束折扣(DISCOUNT)、形状折扣 (DISCOUNT)、用瞬时压缩的面积折扣(DISCOUNT)确定SL得分。计算 区域得分580后，根据特征表通过模块578的计算，下一区域形成环状。
见图39，图37的计算阴影和光束区域590系统的简化框图，用于 计算区域阴影和光束特征。
由初始化边缘计数特征表592首先计算区域SL特征。在区域第一 通过模块594计算区域的全局范围。计算区域以确定像素或区域方框是 否在所选的区域掩码(MASK)内。积累面积，质心，平均值，直方图并通 过二阶中心矩和变化积累的图像第二传递模块596。特征表通过模块598 计算得到的特征包括概率散度、变形量、取向，椭园形状因素，修改的 Kniper统计，和映射的平均值和区域的变化。计算区域得分模块600用 区域压缩从阴影和光束折扣(DISCOUNT)、形状折扣(DISCOUNT)、和用 瞬时压缩的面积折扣(DISCOUNT)确定SL得分。区域得分计算600后， 根据特征表通过模块598的计算，下一区域形成环形。
图40提供用于图16的处理系统的双峰直方图灰度水平分析，特别 是特征处理模块214的简化框图。在实施例中，双峰直方图灰度水平分 析700在区域特征的确定中提供帮助。
图41提供图33的计算帧特征的特征产生系统750的简化框图。系 统750包括帧分析初始化模块752，计算帧统计模块754，解释帧照明度 量模块756，解释模糊度量模块758，解释微开度量模块760，和更新FA 滤波器762。
图42是图16的信息处理模块的简化框图，用于从产生的特征检测 目标的存在。检测顺序包括评价错误标记模块800，评价参考更新标记 模块802，自适应阈值模块804，更新帧分析数据模块806，和更新运动 参考模块808。
图43是图16评估和更新参考图象的信息处理模块的简化框图。评 估参考更新顺序包括区域运动检测模块822，更新计数器模块824，决定 标准更新模块826，决定存档更新模块828，增益变化模块830，决定学 习模块832。
图44是图16的相对于视场背景值的变化而改变阈值的信息处理模 块的简化框图。自适应阈值顺序包括初始化SL阈值化边缘阈值840，计 算区域统计模块842，计算区域度量模块844，和应用度量模块846。
图45是图16在检测的目标中确定边缘和区域数据的几何联系的信 息处理模块的简化框图。顺序包括初始化模块850，每一量化的边缘区 应用852，关于特殊区域初始化的应用855，和横断区边界方框模块856。 顺序继续到图46。
图46是图45的图16信息处理模块的简化框图的继续，包括在检 测的目标中测试区域边缘以确定区域的交集。顺序包括测试边缘地区/区 域交集模块862，864和测试地区/运动/区域交集模块866。
图47是图16的信息处理模块的简化框图图46的继续，包括在检 测的目标中评价区域的地域的界线以确定区域的交集。顺序包括评价地 域的界线模块872，874，设置得到的标志的更新计数器/历史模块876， 和更新最高检测界线和安全区寄存器模块878。
实施例中，根据解释光学感受接近门的目标位置和环境的逻辑，自 动门控制和安全系统提供门的控制。为了产生希望的感受面积的图像， 系统使用有适当镜头的摄像机传感器分系统。为了产生常用的驱动特殊 决断逻辑的数据来影响所期望的门控制，由摄像机分系统产生的数字图 像在处理分系统用图像处理方法处理。然后，门控制由图像内容的计算机 解释实现。
实施例中，从处理的观点看，系统表现为几个阶段：1)图像形成； 2)图像调整；3)图像处理；4)图像内容处理；5)得到的数据处理；6)数 据解释处理；7)控制逻辑处理。
门控制和安全系统由包括摄像机分系统的硬件支持，一般目的的处 理器分系统可由数字信号处理设备加强。摄像机分系统包括镜头系统， 电荷耦合器件成像设备，放大器，和模数转换单元。这些单元通常都可 在家用计算机的应用程序中得到，例如，对于各种用途的记录和存储， 这是在计算机屏幕上产生数字图像的数字摄像机的接口。
系统使用可选的用算法实现的图像处理算子，然后，得到数据处理 和解释。通过在摄像机视场中目标表现的光学现象得到选择的图像处理 算子和图像内容处理。图像处理运算包含在由镜头和摄像机几何安置确 定的，表示场景的阵列中的数据。图像处理建立图像处理结果的内部数 据阵列，此数据阵列由后来的操作所使用然后形成随后的图像处理操作。 在系统实施例中，处理全部图像场。而且，为了选择整个图像场的子场， 没有预先的关于目标物体的假设，假设通常是为符合期望目标特征设计 的任何处理元素。
在图像处理顺序的开始，图像处理接收现场新的输入图像(是进行图 像数字化流的单时间样本(‘帧’))。提供存储是为了保持前一帧可与新记 录的图像帧(‘背景’图像)作比较。存储的图像帧以新帧同样的方式记录 存储，是单图像帧而不是多于一帧的平均。
实施例中，用中值滤波器滤波每一新图像帧去除斑点躁声。中值滤 波器去除孤立躁声而不像做平均那样模糊图像。由于成像传感器的躁声， 孤立躁声可能是下游的电子躁声或环境产生的闪烁。如当前图像一样， 中值滤波器滤波用于比较的存储图像。中值滤波器可以用3×3滤波器核 通过图像阵的每一个像素实现。在核中心的值放在新的图像阵上，此值 是在滤波器核上的9个数的中值。
图像滤波后，产生两个新的图像(即图52和图53)。第一图像阵列(即 图52)确定为当前图像像素接像素的减去背景图像(‘正对比’)的差。第二 图像阵列(即图53)确定为背景图像像素接像素的减去当前图像(‘负对比’) 的差。图像保持为8比特的数据阵列，差值大于255或小于0时，因此 数值被调整。
差分后，图像仍包含8比特。(有多个比特的图像通常认为是灰度 级图像)。图像差分后，阈值算子应用到每一个最后正或负对比灰度级图 像。用于两个图像的阈值可以是不同的。值可以是固定的或自适应的， 其中基于下游图像解释的结果产生变化。像素接像素的阈值运算产生两 个新的图像。对每一个图像，在输入图像中灰度级超过相关的阈值时， 在输出在图像阵列放‘1’，否则放‘0’。这样阈值操作的结果是两个 二进制图像。
图54和图55，选择数学形态学的二进制图像处理技术用于二进制 图像帮助下游图像解释。实施例中，选择算子去除不是从有意义的目标 来的孤立二进制区域，而改进了可能是有意义的更大区域的‘连通性’。 关于形状滤波器，除了滤波器核操作是最大算子跟随着最小操作而不是 中值操作外，对两个二进制图像中的任一个的滤波与中值滤波器机制(3 ×3空间核)相似。此滤波器涉及为二进制接近或‘接近’。‘接近’是 ‘侵蚀’跟随着‘膨涨’。‘膨涨’是对核的最大操作，‘侵蚀’是最小 操作。
图56，两个接近的(图54和图55)二进制图像完成像素接像素的 逻辑‘或’产生关于输入图像的代表正和负对比差分的最后二进制图像。
图57，相连成分算法用于最后二进制‘或’图像(图56)。此算法 识别在图像中的所有相连区域。相连区域是其中每一个成员像素是至少 一个其它成员像素的邻居。相连成分算法标记每一个区域并建立包含每 一个区得到的特佂的数据库。实施例中，特征包括区域面积，矩形界限， 椭圆长短轴长度，和周长。处理区域特征数据以选择感兴趣的区域。区 域是在视场中存在目标的直接结果。无算子选择的整个图像场的子图区 域包含在选择的与目标相关的区域，区域由目标确定。
用代表图像内容的数据库，由解释逻辑考虑每一个区域的特佂并产 生控制逻辑决定。实施例中，解释逻辑由一套‘if-then-else’结构执行， 为了确定图像内容解释使用基础区域特佂的算术组件。如，结果区域面 积可用于推断感兴趣区域的存在，和区域质心和界限矩形确定目标位置。 (界限矩形是包含属于区域的所有像素的最小矩形)
实施例中，算子能定义图像视场的矩形区域以确定点特殊控制区的 面积。为了确定随后的控制逻辑结果，计算机推导的感兴趣区域的界限 矩形坐标与算子确定的决定区域作比较。例如，如果确认目标在安全区， 控制逻辑指出门应维持开启直到安全区清除。同样的，如果确认目标在 活动区(代表图像目标的二进制区域界限矩形相交于活动区决定矩形)， 发出信号打开门。实施例中，由算子选择作为控制逻辑用途的图像区域 不以任何方式用于初始化或其它影响为了确定图像内容的整个图像处 理。
在说明和描述了特殊实施例时，在不偏离本发明精神的范围内可以 做各种修改，保护的范围仅由附后的权利范围所限定。