传统的摄像头只能观察其镜头前方一个有限的空间角范围，现有的广角 和超广角视觉系统不能具有高精度的监控效果，在许多场合这是需要具备，例如 在重要的安全监控场合，无特殊情况，现有的广角和超广角视觉系统可以满足要 求，一旦有异常情况，就需要对异常之处进行高精度的监控(包括照相或摄像)， 而且智能监控系统的运行视自动化的，无需人员干预。已有的技术方案可以实现 全方位高分辨率视觉监控。现有的视觉监控方案(包括超鱼眼镜头)可能实现广 角方位视觉监控，但不能解决上述问题。

本发明目的是：提出一种广角或超广角全方位视觉监控方法和系统，尤其是 智能监控系统的方法与实现。超广角全方位视觉系统只用一只摄像头，不用任何 运动部件，便可以连续实时观察其周围360度全方位范围内所发生的所有事件。 将这种超广角全方位视觉系统与稿精度转球相机结合，可以实现全方位高分辨 率视觉监控。将这种系统与其他监控模式(比如声音，运动)检测和高性能视觉 监控算法相结合，可以获得高可靠性智能监控系统。
本发明目的还在于根据视觉图像信息或其附加信息的变化来检测目标物体 的改变或运动，例如通过声音定向的透视视窗根据检测到的讲话人，结合定向的 麦克风，从而调节透视视窗的视窗方向。使用全方位系列图像实现变化/运动检 测的方法，取代常规需要不变形图源变化/运动检测的方法，可直接使用变形的 全方位图源。一旦在全方位图像上检测到变化，可将自动检测到变化目标的透视 视窗参数如旋转(Pan)、俯仰(Tilt)、及变焦(Zoom)PZT算出，它们来自动 控制其他监控装置(如高分辨率转球相机)并报警提醒操作人员注意。
本发明目的是这样实现的：广角或超广角全方位视觉智能监控方法和系 统，根据第一视觉图像信息或其附加信息的变化来检测目标物体的改变或运动， 其特征在于以下述之一方法：在检测图像变化时直接使用连续的全方位图像，将 在先得到的一幅为参照帧，记作I0，储存起来；对每一幅连续的图像Ii，作图像 相减运算：DIFF＝I0-Ii
如果余量图像任一像素“DIFF”都大于预先设定的下限值，则对此像素小范 围邻近的可疑象素作检验论证或进行报警或将像素点转变为不变形的透视图像， 从图像表面上检查状况；或在直接在检测图像变化时采用”自适应”目标检测 的方法超限值像素进行计算：对于第N帧图像中每一象素pn，用一个”滑动平 均” pn和一个标准方差σpn来定义一个时序滤波器：
pn+1＝σpn+(1-σ) pn，  σn+1＝σ|pn+1- pn+1|+(1-σ) σn
这一统计模型应用对噪声的统计测量来确定象素下限值的取值；
或在直接检测图像变化时每幅图像之间匹配代价函数对目标进行跟踪：其 方法是对于每一个可疑目标的图像”板块”，记录以下数据：
·按图像坐标来描述位置p(t)和速度v(t)构成的运动轨迹
·对摄像头标定参数，因而将目标运动轨迹在一个绝对坐标系中进行归 一化 和
·图像“板块”本身参数：大小S，中心位置C，颜色统计H 在上一步tlast时刻Ti的位置和速度被用来确定预测到的当前时刻tnow的位置：
${\hat{p}}_i(t_{\mathrm{now}})\approx {\hat{p}}_i\left(t_{\mathrm{last}}\right)+{\hat{v}}_i\left(t_{\mathrm{last}}\right)\times (t_{\mathrm{now}}-t_{\mathrm{last}})$
利用这一信息，用匹配代价函数来确定一个已知图像”板块”Ti是否与当前运动 的图像”板块”Ri匹配：
$C(T_{i\mathrm{}},R_i)=f\left(\right|{\hat{p}}_i-{\hat{p}}_j|,|s_i-s_j|,|c_i-c_j|,|h_i-h_j\left|\right)$
匹配的目标轨迹被继续跟踪，以建立运动轨迹档案；
在全方位图像中确定可疑区域的中心，通过计算可疑象素的重心确定： $i_0=\frac{\underset{i=1}{\overset{N}{\Sigma }}{i}_i}{N},$ $j_0=\frac{\underset{i=1}{\overset{N}{\Sigma }}{j}_i}{N},$ 上述检测到的目标物体的改变或运动的参数用于精 确控制第二视觉监控的摄像头，第二视觉监控的摄像头是高分辨率相机或摄像 头，用于控制摄像头旋转俯仰平台和焦距控制，用于实施精确目标监测，跟踪， 识别和监控。
上述获得第一视觉图像的摄像头为全方位摄像头，所运全方位摄像头用于 捕捉涵盖接近于180×360度空间角度的整个半球视场图像，其构成是用广角光学 镜头或在常规照相机前面的放置一凸面反射镜，所述凸面反射镜为圆锥镜、球镜、 双曲面或抛物面镜，被称为全方位成像反射镜，投影点M落在镜面某处时，相机 接收到的入射光的延长线总是通过单一视点0，得到变形的全方位图像；或从变 形的全方位图像象素直接映射成透视视窗图像；所述变形的全方位图像或透视视 窗图像在三维空间使用三个参数：旋转，俯仰，焦距；将第二视觉监控摄像头或 高分辨率相机与旋转俯仰平台和高分辨率相机的焦距控制相结合，检测到的可疑 区域的图像信息，自动确定旋转、俯仰和聚焦的参数，并用高分辨率相机对可疑 目标的自动跟踪和记录；通过供给参数使摄像头或高分辨率相机自动聚焦到可疑 区域；自动聚焦的方法是：
(1)在全方位图像中确定可疑区域的中心，可通过计算可疑象素的重心 确定：
$i_0=\frac{\underset{i=1}{\overset{N}{\Sigma }}{i}_i}{N},$ $j_0=\frac{\underset{i=1}{\overset{N}{\Sigma }}{j}_i}{N},$
(2)使用照相机传感器“针孔”模型追踪源自照相机焦点的投影光线在 广角反射镜上撞击点，通过中心象素(i0，j0)，镜面上的撞击点记为 M0。
(3)使用源自广角反射镜焦心并通过撞击点M0的投影光确定透视视窗的 法线，法线向量定义透视视窗的Pan和Tilt参数。
(4)使用同样的光线追踪法，根据可疑象素组的边界确定缩放因子。
对全方位图像的实时处理，把变形的全方位图像或不变形透视视窗内的象素 点W(p，q)与在变形全方位图像上相应的象素位置I(i，j)建立一个映射矩阵；这 样，对透视视窗W上每个象素，在全方位图像相应于W(p，q)有唯一的象素位置， 它的象素值用于视窗中对应的象素；使用了实时全方位图像处理的运算法则：一 旦透视或全景视窗配置决定，从变形的全方位图像象素直接映射成透视视窗；透 视视窗在三维空间使用三个参数：旋转，俯仰，焦距任意定义，把在不变形透视 视窗内的象素点W(p，q)与在变形全方位图像上相应的象素位置I(i，j)建立一个 映射矩阵。由于这种一一对应的关系，把变形的全方位图像转变为不变形图像， 在广角反射镜之上W平面里每个象素的投影可以使用直接的光线追踪法：从W 平面象素位置W(p，q)到广角反射镜焦心0的直线，交于镜面一点，记为M(p，q) (见图8)，点M(p，q)再投影至图像传感器焦点；从M(p，q)到点C的投影线截 图像平面I于象素位置I(i，j)。于是，一一对应的关系就此建立：
W(p，q)        I(i，j)，
这样，对透视视窗W上每个象素，在全方位图像相应于W(p，q)有唯一的象素位 置，它的象素值(如RGB)可用于视窗中对应的象素。表示为MAP的映射矩阵建 立起来，它的维数与在W视窗象素的维数相同。MAP每个单元存储在全方位图像 I上对应象素的2个指数值(i，j)；对透视视窗W上每个象素，在全方位图像相 应于W(p，q)有唯一的象素位置，它的象素值(如RGB)可用于视窗中对应的象素；
并进行象素插值，反射点M(p，q)后投影的交点以下述方法获得W(p，q)的 象素值：
(1)使用在图像平面I最邻近点的象素值而不需任何插入法；
(2)使用插入法解决小数坐标的象素值。假定(i0，j0)落在(i，j)，(i，j+1)， (i+1，j)，和(i+1，j+1)格子里，相应的W(p，q)象素值可从以下公式：
W(p，q)＝(j0-j)·[(i0-i)·I(i，j)+(i+1-i0)·I(i+1，j)]
         +(j+1-j0)·[(i0-i)·I(i，j+1)+(i+1-i0)·I(i+1，j+1)]
(3)使用平均法、二次插入法或样条法，保证转变后图像的精度。
本发明方法可以使用集成电路(IC)芯片实现映射运算，在透视视窗情况下， 参数空间是三维的；在全景视窗，参数空间是二维的；对在参数空间每一可能组 态，预计算出映射矩阵；映射矩阵可用以下格式储存：所有可能的映射矩阵预先 储存在一系列存储芯片，一旦用户选择了视窗配置，即找到储存中的MAP矩阵， 用于计算或直接调用视窗的图像：
式中I是全方位图像。″显示/记忆/本地控制逻辑模块″设计有内置存储 器、图像显示、用户界面和自含操作结构，不依赖其他的计算机。
需要采用动态图像稳定的方法是：
(1)自动特征提取：利用每一幅图像中亮度变化最为激烈的部分作为该图 像的特征如果用I(x，y)来表示图像的亮度函数，则可以定义一个局部亮度变 化矩阵：
$Z=\left[\begin{array}{cc}\frac{{\partial }^{2}I}{\partial x^2}& \frac{{\partial }^{2}I}{\partial x\partial y}\\ \frac{{\partial }^{2}I}{\partial x\partial y}& \frac{{\partial }^{2}I}{\partial y^2}\end{array}\right]$ 用一个小窗口一定面积的象素；如果这一矩阵Z的两个 特征值λ1和λ1超过事先给定的阀值，λ：min(λ1，λ2)＞λ，
则将这一窗口的中心象素取为一个特征的候选者；
(2)自动跟踪：在大多数情况下，连续视觉流中各个图像之间存在多个共 有的和不变的特征点。这些共有的特征点被用来校准图像之间由于震动等原因 引起的不稳定偏移(平移和旋转)，达到稳定图像的作用。首先对两幅图像分别进 行特征提取，得到B组图像。B组图像中的特征点以红色表示。这些特征点的 空间位置应该是固定的，由此可以用它们来将图像#2以图像#1为依据，进行对 准变换。结果如C组所示。通过对图像#2的平移和旋转，使其包涵的特征点对 齐。从而使得图像得到稳定。
上述动态图像稳定的方法中，对于超广角全方位图像，其步骤如下：
(1)采集一幅参考图像；
(2)对参考图像进行特征提取，得到分布在整个半球空间中的”最好”的一组 特征点pi，i＝1，2，...M，(比如说，M＝20)；
(3)利用已知全方位相机参数，将超广角全方位参考图像投影到一个虚拟的半 球面S上；
(4)开始采集超广角全方位图像流；假设新一幅图像为In；；
(5)对新一幅图像进行特征提取，找出与pi，i＝1，2，...M，相对应的特征点组p’， i＝1，2，...M；
(6)利用已知全方位相机参数，将新一幅图像投影到同一个虚拟的半球面S； 上；
(7)两幅图像之间的3×3旋转矩阵R可以用以下方式通过伪逆求出：
[p’1 p’2 ... p’m]＝R[p1 p2 ... pm]
(8)利用R来变换新图像In中的所有象素，将它们投影到S中去。
视觉智能监控装置，采用第一视觉图像信息和第二视觉图像信息获得装置， 其中一只摄像头为一个超广角全方位摄像头2210，超广角全方位摄像头由视觉 传感器2250)和一只全方位成像反射镜构成，第二视觉图像信息获得装置为高分 辨率可变焦相机，第一视觉图像信息和第二视觉图像信息获得装置共用一图像显 示装置。
上述视觉传感器2250)可以装在全方位成像反射镜2260下方，对准全方位 成像反射镜反射镜的中轴线，与之同轴安装的一只由旋转或俯仰驱动的高分辨率 可变焦相机2230装在全方位成像反射镜上部或视觉传感器的下部。由一旋转俯 仰平台2220驱动的高分辨率可变焦相机是变焦转球相机。在摄像头旁或与摄像 头集成为一体的图像处理单元。且图像处理单元为嵌入式CPU和装置，在摄像头 旁或与摄像头集成为一体的图像处理单元2350提供了一个高效率的引擎来实现 这些实时处理功能。检测到的可疑区域的方位信息被用来控制旋高分辨率转球 相机的聚焦，使高分辨率相机能够自动跟踪可疑区域的运动，实现全方位自动 PTZ系统。
本发明还可以根据视觉图像的附加信息进行视觉智能监控，视觉图像的附加 信息是在摄像头所摄的区域周围设有麦克风阵列，以检测声音方向，根据多个声 源的空间和时间(相位)的差异，估计声源的方向，根据麦克风接收到声音信号 的不同，声源的空间方向就可以估算出来，根据声源的方向，确定相机的旋转俯 仰和聚焦参数，对高分辨相机进行运动控制，将其对准麦克风阵列检测到的方向。
本发明视觉监控系统的一个主要目的是建立起目标事件的时序模型，对目标 进行行为分析，从而对其可能产生的危害进行评估。为了建立时序模型，必须 对每一个可能的目标在其活跃时期内进行跟踪。我们可以将运动检测算法从图 像中得出的可疑”板块”，安时序从每一幅连续图像流中提取，得到其运动趋势。 为了避免系统噪声的干扰，我们采用Kalman滤波器对”板块”的位置序列进行 平滑滤波。但这种简单的滤波器可能只能达到有限的结果，因为他们是根据统 一的高斯模型进行设计，不能支持其他可能的运动轨迹假设。
图1展示了一个基于超广角全方位视摄像头的智能监控系统。由超广角全 方位摄像头(110)采集的图像被装置在摄像头旁或者与摄像头相结合的图像处理 单元(140)处理，执行智能目标检测等功能。一旦在全方位图像中发现可疑目 标，图像处理单元(140)便利用检测出的目标方位信息控制俯仰旋转平台(120) 和高分辨率相机的变焦机构，将高分辨率相机(130)调整到合适方向和焦距， 抓取可疑目标的高分辨率图像。由于超广角摄像头不会由于视场的限制而丢失 目标，本系统可以实现实时连续目标跟踪，并获取高质量的目标图像。重要数 据，图像，信息被传输到远程控制主机(150)，进行进一步目标核实，识别，记录， 存储，和报警等功能。在主机处设有人机接口(160)，以便操作人员检视系统运 行情况。而且智能监控系统的运行视自动化的，无需人员干预。
本发明特点是：提供了一个有效的全方位图像获取和处理方法与装置，根 据由全方位图像传感器得到的实时全方位图像，获取实时不变形的透视和全景图 像及录像。本发明的全方位照相机，能实时捕捉全方位图像而不需可移动部件。 在此运用映射矩阵定义用户定义的透视或全景视窗上的象素和原始的全方位图 源象素位置之间一一对应的关系，取代了以前解复杂的高次非线性方程的运算， 不变形图像的计算以视觉速率(比如每秒30幅)实时进行。映射矩阵方案便利 了全方位图像运算的硬件执行。
将本发明用于电话会议时，为了满足电话会议的需要，有必要确定会议中 的讲话人并将照相机焦点对准讲话人。将麦克风排列与全方位图像传感器结合， 由声音定向的视窗根据由麦克风排列检测到的声音信号自动调节透视视窗对准 会议中的讲话人。且根据遥控监测和监视实现全方位图像传递方法。在此呈现的 全方位成像方法和装置，可以解决许多需要360度视角和三维测量才能解决的实 际问题。呈现于此的是实时全方位图像处理系统，以及用声音定向的自动视窗选 择方法，同时介绍通过Internet和全方位传感器实现远程监控和监视的系统结 构。在此呈现的全方位成像方法和装置为需要同时在360度范围监视的很多实际 问题提供了独特的解决办法。显然，本发明是智能监控系统，运行自动化，满足 对大范围与高精度的(包括照相或摄像)相结合监控要求。
附图说明
图1是本发明利用超广角摄像头的智能视觉监控系统。
图2展示常规照相机、全景照相机和全方位照相机视场比较。
图3是本发明举例说明全方位成像的反射凸镜。注意：这些凸镜不满足单 一视点的约束条件，即反射光线的延长线不相交于同一点，也就是说，实际视点 应光线撞击镜面的位置而不同。
图4是本发明利用由旋转相机所采集的多幅图像拼接成为一幅完整360度 图像。
图5是本发明通过超广角反射镜获得超广角全方位(半球)视场-放置在C 位置上的照相机能从虚拟的单一视点，反射镜焦心0“看到”整个半球的视场。
图6是本发明从变形的全方位图像象素直接映射成透视视窗。
图7表示在三维空间中定义透视视，除了旋转，俯仰，变焦这几个参数外， 用户还可调整在透视视窗显示的象素的维数。
图8建立从透视窗口到传感器像平面的映射矩阵。
图9是本发明实时全方位图像的获得和处理的流程图。
图10是本发明从全景式窗口到传感器像平面的映射。
图11是线性象素插值方法。
图12是本发明电子硬件上实现映射运算的方框图。
图13是本发明直接在全方位成像反射镜图像值进行运动目标检测。
图14是本发明利用超广角全方位摄像头采集图像中的可疑区域来确定高分 辨率相机的旋转俯仰和聚焦参数。
图15是本发明在超广角全方位摄像头上装置麦克风阵列以检测声音方向。
图16是本发明用麦克风阵列确定声音方向的方法。
图17是本发明根据麦克风阵列检测到声音方向，控制高分辨率相机运动以 对准可疑区域。
图18本发明基于Internet传输全方位图像系统(全方位成像反射镜网)。
图19是本发明全方位成像反射镜网服务器的布局。
图20是本发明全方位成像反射镜网服务器程序的流程图。
图21是本发明数据格式定义的一种。
图22-25分别是全方位自动PTZ系统的四个实现方案。
图26是本发明利用特征点匹配实现动态图像稳定。
图27是本发明利用特征点匹配直接对全方位图像进行动态图像稳定。
图28和29分别是本发明嵌入式图像/音频单元的框图和电路图。

1.超广角全方位摄像头
本发明提供了一系列超广角全方位视觉系统的设计方法，以及实现这些方 法的装置系统。所谓“超广角全方位视觉系统”，是指能捕捉涵盖整个半球(也 就是180×360度空间角度)视场图像的系统，同时有机械移动部件。这种系统与 传递网络连接并增加适应信息传递需要相关设备，即形超广角全方位视觉系统。
在传统的光学领域，技术人员曾经尝试过许多方法要获取宽视场，包括常规 照相机、鱼眼镜、多相机系统或旋转成像系统等多种宽视场成像系统，但几乎都 不能产生360度全方位图像。现有的数字成像系统使用电子传感芯片，模拟成像 系统使用静态摄影胶片，但两者都是由光学镜头系统记录图像。大多数照相机镜 头图像投影可以看作单一中心投影的针孔，由于照相机镜头的尺寸和所用的传感 器本身都有局限，他们收集到的光线一般形成角度非常小的圆锥，常规照相机的 视场在5-50度范围。比如，装在1/2英寸电荷耦合芯片上，一个8.5mm，焦距 1.3的镜头视场只有41.2度。
光学工程师们设计过几种版本的大广角透镜系统，叫鱼眼镜。鱼眼镜的特征 在于焦距非常短，用它代替普通照相机镜头，能使照相机捕捉到大角度几乎180 度半球内的物体。一般来说，视场越大，鱼眼镜的设计越复杂。为获得半球宽的 视场，鱼眼镜的直径必须很大，结构复杂，因此价格昂贵。同时，设计一个能符 合单一视点约束的鱼眼镜也很困难。单一视点是指所有入射光交于一点形成固定 的视点。这对于市场所售的鱼眼镜来讲，的确是个问题，包括Nikon 8mm，f/2.8 镜头。尽管鱼眼镜获得的图像对于某些应用已足够，但它的失真补偿没得到解 决，另外昂贵的价格仍是广泛运用的障碍。鱼眼镜技术的优点在于采用确定位置 不变的照相机获取大视角。其缺点是：视场图像的圆形边界通常是在地面附近， 对于大多数图象系统来说，这正是需要高分辨率的地方；但是，半球型光学镜头 的球面像差的非线性特征却使图像的圆形边界附近的分辨率很差，因此无法满足 实际工作的需要。
多相机系统是使用多部相机同时捕捉宽视场内的物体，每一点指向不同方向， 可以用多个图象合成出一个完整的全方位图象(图4)。但合成无缝的图像依然相 当复杂，因为每个相机有不同的投影中心。这样一个系统通常花费很高。
另外一种增大视场的简单方法是围绕投影中心旋转整个摄像系统，即旋转成 像系统，相机在不同位置摄到的图像按次序缝合，以获取全景图像。最近有多位 研究者提出这种方法。旋转成像系统的缺点首先在于需要使用可移动部件和精确 的定位装置。更突出的缺点是：该系统获取整个图象需要一个时间跨度，尽管系 统能得到在全方位视场精确的方位信息，但处理过程很花时间，即该系统没有在 瞬间同时获取整个宽视场图像的能力，因此不适合实时实地解决诸如避免移动障 碍物的碰撞等问题。这些不足限制了旋转成像系统只能用于静态，非实时的应用。
图2所示为超广角全方位照相机、全景照相机和常规照相机的视场比较。我 们可以看到，全景照相机仍然不是全方位的，它只提供在某一时间瞬间一个宽角 度的视场，而不是在所有方向。所谓“全方位图像”，是指同时涵盖整个半球 (180×360度空间)视场的图像。在现有技术中尚没有能满足这种要求的技术方 案或装置。
本发明提供的超广角全方位摄像头技术方案是基于以下光学原理：在常规 照相机前面的某一位置放置反射镜，可以大幅度地增加它的视场。视觉照相机由 于使用设计完美的表面形状，反射表面的视场大大增加。本发明为进一步增加其 视场，在成像系统的前方增加了反射表面(如凸面反射镜)。汽车的后视镜是日 常生活中加大驾驶员视场的普通一例。用于产生全方位视场的凸面反射镜有几种 表面外形。图3列出三种：圆锥镜、球镜和抛物面镜。这些凸面反射镜的光学几 何学提供了一个简单有效的方法，在不使用任何移动部件的情况下，改变视觉照 相机的平面视图，使其成为在这些透镜的垂直轴线周围的全方位视图。乍眼一看， 似乎所有凸面反射镜都能得到全方位图像。事实并非如此。回顾图像形成的基本 原理，我们知道图像是亮度(或颜色)的两维形式。一幅令人满意的图像必须满 足以下两个基本特征：
(1)几何对应性：图像中的象素和物体上的点一一对应。
(2)单一视点(Single View Point，SVP)约束：图像中每个象素对应来自 成像平面上的那个象素通过针孔(单一视点)特定方向的视线。
尽管图3中所列的凸面反射镜能大大增加视场，并证实用于某些监视场合 已足够，但他们并不是理想的摄像装置。这些反射表面不能满足单一视点(SVC) 的约束。对于高质量的全方位成像系统，进入全方位成像镜头的所有光线应有单 一视点。本发明提供以下符合单一视点全方位成像反射镜镜的设计，我们将讨论 满足单一视点约束的理想凸面反射镜表面形状：由镜面反射的光线的延长线必须 通过单一视点(虚点)。我们将此反射镜称为全方位成像反射镜反射镜。
1.1.光学设计
首先我们要定义一些必要的符号和术语。如图5所示，我们使用最新上市的 视觉照相机，带一个普通镜头，其视场覆盖整个全方位成像反射镜镜表面。因为 照相机和镜头沿旋转轴对称，我们只需决定截面函数z(r)，该函数定义镜面的 截面形状。全方位成像反射镜镜的作用是反射所有来自视觉照相机视觉中心(焦 点，标注C)至视场内物体表面的视线。反射关键的特征在所有反射光线朝虚拟 的单一视点，在镜子的焦心(标注0)必须有投影面。用另一句话说，反射镜应 有效控制视线使照相机从单一视点0等效地看到物体。我们选择双曲面作为理想 的全方位成像反射镜镜外形。众所周知，双曲线的一个特征是：来自一个焦点的 光线由双曲线反射，其延长线通过另一个焦点。如果我们选双曲面作为全方位成 像反射镜镜，如图4所示，把一个视觉照相机放在焦点C，摄像系统在另一个焦 点0形成单一视点，就如将照相机放在虚拟的0点。描述双曲面形状全方位成像 反射镜镜的数学方程是：
$\frac{{(z+c)}^2}{b^2}\frac{r^2}{a^2}=1,$ 式中 $c=\sqrt{a^2+b^2},$ f＝2c
全方位成像反射镜反射镜与众不同的特征是：不管投影点M落在镜面何处， CCD相机接收到的入射光的延长线总是通过单一视点0。
1.2.全方位图像的实时处理
为便于实时处理全方位图像，本发明使用了实时全方位图像处理的运算法则： 一旦透视或全景视窗配置决定，从变形的全方位图像象素直接映射成透视视窗。
1.2(A)透视视窗：
如图7所示，一个假想的透视视窗可由用户在三维空间使用三个参数：旋转， 俯仰，焦距任意定义，这些参数的定义和图解见图7。除了旋转，俯仰，焦距这 几个参数外，用户还可调整在透视视窗显示的象素数组(如象素数)的维数。一 旦透视视窗W确定，我们就可以把在不变形透视视窗内的象素点W(p，q)与在变 形全方位图像上相应的象素位置I(i，j)建立一个映射矩阵。由于这种一一对应 的关系，把变形的全方位图像转变为不变形图像，这种方法有其独到之处。
图8所示为建立映射矩阵的方框图。用户在三维空间任意定义一个透视视 窗，表示为W，并满足视窗平面的法线应指向反射镜的焦心这一约束，如图7示。 定义为旋转，俯仰，焦距的三个参数用于指定透视视窗配置。这些参数便于满足 用户需要理想视图的宽范围选择。一旦这些参数确定，根据成像系统固定的几 何关系，生成映射矩阵。首先，在全方位成像反射镜反射镜之上W平面里每个 象素的投影可以使用直接的光线追踪法：从W平面象素位置W(p，q)到全方位成 像反射镜反射镜焦心0的直线，交于镜面一点，记为M(p，q)(见图8)，点M(p，q) 再投影至图像传感器焦点。使用“针孔”模型，从M(p，q)到点C的投影线截图 像平面I于象素位置I(i，j)。于是，一一对应关系就此建立：W(p，q)←I(i，j )
这样，对透视视窗W上每个象素，在全方位图像相应于W(p，q)有唯一的象 素位置，它的象素值(如RGB)可用于视窗中对应的象素。表示为MAP的映射矩 阵建立起来，它的维数与在W视窗象素的维数相同。MAP每个单元存储在全方位 图像I上对应象素的2个指数值(i，j)。
建立映射矩阵MAP后，实时图像处理的任务就大大简化了。图9为实时全方 位图像的获得和处理的流程图。每次获得全方位图像，完成查找图表运算，生成 不变形图像显示在透视视窗上。
1.2(B)全景式视窗
我们也可以定义全景式视窗，如图10所示，全景视窗图像处理过程与我们前 面讨论的透视视窗图像处理非常相似。全景视窗由用户使用三个参数在三维空间 任意定义，这三个参数是：旋转，俯仰，焦距，视窗平面的法线指向反射镜的焦 心。除了旋转，俯仰，焦距，用户还能调节显示在透视视窗上象素数组的维数。 一旦这些参数确定，根据成像系统固定的几何关系，可以生成一个映射矩阵。首 先，在全方位成像反射镜反射镜表面上的W平面每个象素的投影，使用直接的光 线追踪法则：从W面上象素位置记作点W(p，q)至全方位成像反射镜反射镜焦心 的直线，该直线交全方位成像反射镜反射镜面于点M(p，q)(见图10)。点M(p，q) 在投影到图像传感器的焦点。使用“针孔”模型，从M(p，q)到C的投影线交图 像平面I于象素位置I(i，j)。于是，一一对应的关系就此建立：
W(p，q)←I(i，j)，
这样，对透视视窗W上每个象素，在全方位图像相应于W(p，q)有唯一的象素 位置，它的象素值(如RGB)可用于视窗中对应的象素。表示为MAP的映射矩阵 建立起来，它的维数与在W视窗象素的维数相同。MAP每个单元储存在全方位图 像I上对应象素的2个指数值(i，j)。建立映射矩阵MAP后，实时图像处理的任 务就大大简化了。每次获得全方位图像，完成查找图表运算，生成不变形图像显 示在透视视窗上。
1.3象素插值
由于超广角全方位摄像头系统W(p，q)和I(i，j)之间非线性的几何关系，反射 点M(p，q)后投影的交点可能不是正好在图像平面的任何象素位置。在这种情况 下，我们有几种方法获得W(p，q)的象素值：
(1)使用在图像平面I最邻近点的象素值而不需任何插入法。例如，计算 出的坐标值为(12.315，26.876)，那么，将坐标值整数化
INT(12.315，26.876)＝(12，27)
象素值I(12，27)即作为W(p，q)的象素值。这种方法是获得象素值最快捷的 方法，但它存在内在的取整时出现的误差。
(2)使用插入法解决小数坐标的象素值。假定(i0，j0)落在(i，j)， (i，j+1)，(i+1，j)，和(i+1，j+1)格子里，相应的W(p，q)象素值可从以下公式 (见图11)得到：
W(p，q)＝(j0-j)·[(i0-i)·I(i，j)+(i+1-i0)·I(i+1，j)|
          +(j+1-j0)·[(i0-i)·I(i，j+1)+(i+1-i0)·I(i+1，j+1)|
(3)使用另外几种插入法，如平均法、二次插入法、样条法等，保证转变后图 像的精度。使用IC芯片实现运算法则：我们简化全方位图像处理的运算法则， 减少了解高次非线性方程的复杂运算，以查找图表函数取而代之。
1.4.使用集成电路(IC)芯片实现映射运算
使用集成电路(IC)芯片可以很方便实现这种运算。图12也展示了在电子硬件 上实现运算的方框图。首先，参数空间需要分成有限数的组态。在透视视窗情况 下，参数空间是三维的。在全景视窗，参数空间是二维的。对在参数空间每一可 能组态，预计算出映射矩阵。映射矩阵可用以下格式储存：
$\mathrm{MAP}=\left[\begin{array}{ccccc}(i_{\mathrm{1,1}},j_{\mathrm{1,1}})& (i_{\mathrm{1,2}},j_{\mathrm{1,2}})& (i_{\mathrm{1,3}},j_{\mathrm{1,3}})& K& (i_{1,M},j_{1,M})\\ (i_{\mathrm{2,1}},j_{\mathrm{2,1}})& \left(i_{\mathrm{2,2}}{,j}_{\mathrm{2,2}}\right)& (i_{\mathrm{2,3}},j_{\mathrm{2,3}})& K& (i_{2,M},j_{2,M})\\ (i_{\mathrm{3,1}},j_{\mathrm{3,1}})& (i_{\mathrm{3,2}},j_{\mathrm{3,2}})& (i_{\mathrm{3,3}},j_{\mathrm{3,3}})& K& (i_{3,M},j_{3,M})\\ M& M& M& O& M\\ (i_{N,1},j_{N,1})& (i_{N,2},)& (i_{N,3},j_{N,3})& K& (i_{N,M},j_{N,M})\end{array}\right]$
所有可能的映射矩阵预先储存在一系列存储芯片，可以很容易获取并调用。 一旦用户选择了视窗配置，即找到储存中的MAP矩阵，用于计算视窗的图像：
$W=\left[\begin{array}{ccccc}I(i_{\mathrm{1,1}},j_{\mathrm{1,1}})& I(i_{\mathrm{1,2}},j_{\mathrm{1,2}})& I(i_{\mathrm{1,3}},j_{\mathrm{1,3}})& K& I(i_{1,M},j_{1,M})\\ I(i_{\mathrm{2,1}},j_{\mathrm{2,1}})& I\left(i_{\mathrm{2,2}}{,j}_{\mathrm{2,2}}\right)& I(i_{\mathrm{2,3}},j_{\mathrm{2,3}})& K& I(i_{2,M},j_{2,M})\\ I(i_{\mathrm{3,1}},j_{\mathrm{3,1}})& I(i_{\mathrm{3,2}},j_{\mathrm{3,2}})& I(i_{\mathrm{3,3}},j_{\mathrm{3,3}})& K& I(i_{3,M},j_{3,M})\\ M& M& M& O& M\\ I(i_{N,1},j_{N,1})& I(i_{N,2},j_{N,2})& I(i_{N,3},j_{N,3})& K& I(i_{N,M},j_{N,M})\end{array}\right]$
式中I是全方位图像。“显示/记忆/本地控制逻辑模块”设计有内置存储器、 图像显示、用户界面和自含操作结构，无需依赖其他的计算机。
2.智能监控方法与实现
2.1.使用全方位图像检测运动
本发明同时还根据图像变化的信息来检测目标物体的改变/运动。这个特点在 安全系统中尤其有意义。直接在检测图像变化时直接使用连续的全方位图像，而 不是使用转化后的透视图像。我们把连续的全方位图像记作I1，I2，...，In。在 发挥安全监测或区域监督的功能时，我们定义最先得到的一幅为参照帧，记作 I0，储存起来。对每一幅连续的图像Ii，作图像相减运算：
                    DIFF＝I0-Ii
这里使用过滤器运算排除可能会造成错误报警的峰值，如果余量图像任一元 素“DIFF”都大于预先设定的下限值，比如，探测到侵入者，引发报警信号，把 小范围邻近的可疑象素点转变为不变形的透视图像，从图像表面上检查状况。图 13展示使用全方位图像检测变化/运动方案的方框图。在变化/运动检测中，使 用全方位图像非常有效，因为它包含光学上压缩的环境图像，监控下的整个区域 在一次操作里就可以检查到。
这种简单的用图像相减的办法检测图像变化在实用上会遇到可靠性问题。 图像的背景，光照，风吹草动等因素可能导致误报警率很高。我们提出了一种“ 自适应”目标检测算法，对于第N帧图像中每一象素pn，我们用一个“滑动平 均” pn和一个标准方差σpn来定义一个时序滤波器：
pn+1＝σpn+(1-σ) pn， σn+1＝σ|pn+1- pn+1|+(1-σ) σn
这一统计模型应用对噪声的统计测量来确定前景象素的取值，而不是采用简 单的阀值，因而有效地提高了动态图像目标检测和背景消除的可靠性。
2.2.目标运动跟踪
视觉监控系统的一个主要目的是建立起目标事件的时序模型，对目标进行行 为分析，从而对其可能产生的危害进行评估。为了建立时序模型，必须对每一 个可能的目标在其活跃时期内进行跟踪。我们可以将运动检测算法从图像中得 出的可疑“板块”，安时序从每一幅连续图像流中提取，得到其运动趋势。为 了避免系统噪声的干扰，我们采用Kalman滤波器对”板块”的位置序列进行平 滑滤波，但这种简单的滤波器可能只能达到有限的结果。因为他们是根据统一 的高斯模型进行设计，不能支持其他可能的运动轨迹假设。
由此我们提出了一种根据每幅之间匹配代价函数的目标跟踪方法。对于每 一个可疑目标”板块”，我们记录以下数据：
·按图像坐标来描述的运动轨迹(位置p(t)和速度v(t))
·摄像头标定参数，因而我们可以将目标运动轨迹在一个绝对坐标系中 进行归一化 和
·“板块”本身参数：大小S，中心位置C，颜色统计H
在上一步tlast时刻Ti的位置和速度被用来确定预测到的当前时刻tnow的位置：
${\hat{p}}_i\left(t_{\mathrm{now}}\right)\approx {\hat{p}}_i\left(t_{\mathrm{last}}\right)+{\hat{v}}_i\left(t_{\mathrm{last}}\right)\times (t_{\mathrm{now}}-t_{\mathrm{last}})$
利用这一信息，我们用匹配代价函数来确定一个已知“板块”Ti是否与当前 运动的“板块”Ri匹配：
$C\left(T_{i,}{R}_i\right)=f\left(\right|{\hat{p}}_i-{\hat{p}}_j|,|s_i-s_j|,|c_i-c_j|,|h_i-h_j\left|\right)$
匹配的目标轨迹被继续跟踪，以建立运动轨迹档案。
2.3.全方位自动PTZ(Pan，Tilt，Zoom)系统
将全方位摄像头与旋转俯仰平台和高分辨率相机的焦距控制相结合， 可以得到一种高性能智能监控系统，如图1所示。本发明的一个关键式利用全 方位摄像头检测到的可疑区域信息，自动确定旋转俯仰聚焦的参数，实现用高 分辨率相机对可疑目标的自动跟踪和记录。
可疑区域的方向可由计算得出，供给透视视窗的参数，这样，高分辨率相机 便可以自动聚焦到可疑区域。自动聚焦的过程可描述如下(见图14)：
(1)在全方位图像中确定可疑区域的中心，可通过计算可疑象素的重心确 定：
$i_0=\frac{\underset{i=1}{\overset{N}{\Sigma }}{i}_i}{N},$ $j_0=\frac{\underset{i=1}{\overset{N}{\Sigma }}{j}_i}{N},$
(2)使用照相机传感器“针孔”模型追踪源自照相机焦点的投影光线在全方 位成像反射镜镜上撞击点，通过中心象素(i0，j0)，镜面上的撞击点记为M0。
(3)使用源自全方位成像反射镜镜焦心并通过撞击点M0的投影光确定透视 视窗的法线，法线向量定义透视视窗的Pan和Tilt参数。
(4)使用同样的光线追踪法，根据可疑象素组的边界确定缩放因子。
下面讨论几种全方位自动PTZ系统的实现方案。(请注意，这里所述的各种 方法和实现：
2.3.1.全方位自动PTZ系统的实现方案之一
我们提出的第一种全方位自动PTZ系统的实现方案(如图22所示)采用一个 超广角全方位摄像头2210，和与之同轴安装的一只由旋转俯仰平台2220驱动的 高分辨率可变焦相机2230。超广角全方位摄像头由两个主要部分组成：视觉 传感器2250)和一只全方位成像反射镜反射镜2260。超广角全方位摄像头所采 集的图像涵盖整个半球视角。根据它提供的图像，实时运动检测算法可疑发现 可疑的图像区域，装置在摄像头旁或与摄像头集成为一体的图像处理单元2270 提供了一个高效率的引擎来实现这些实时处理功能。检测到的可疑区域的方位 信息被用来控制旋转俯仰平台的运动和高分辨率相机的聚焦，使高分辨率相机 能够自动跟踪可疑区域的运动，实现全方位自动PTZ系统。
2.3.2.全方位自动PTZ系统他和实现方案之二
我们提出的第二种全方位自动PTZ系统的实现方案(如图23所示)与第一种 实现方案相似。不同之处在于用了一只高分辨率变焦转球相机2340(比如Pelco 的高速转球相机)来替代了图22中由旋转俯仰平台驱动的高分辨率可变焦相机。 高分辨率变焦转球相机具有体积小，集成度高的特点，而且便于实现与超广角全 方位摄像头的同轴安装，适合全方位自动PTZ系统的应用。
超广角全方位摄像头2310由两个主要部分组成：视觉传感器2320和一只全 方位成像反射镜反射镜2330。超广角全方位摄像头所采集的图像涵盖整个半球 视角。根据它提供的图像，实时运动检测算法可疑发现可疑的图像区域，装置 在摄像头旁或与摄像头集成为一体的图像处理单元2350提供了一个高效率的引 擎来实现这些实时处理功能。检测到的可疑区域的方位信息被用来控制旋高分 辨率转球相机的聚焦，使高分辨率相机能够自动跟踪可疑区域的运动，实现全 方位自动PTZ系统。
2.3.3.全方位自动PTZ系统他和实现方案之三
我们提出的第三种全方位自动PTZ系统的实现方案(如图24所示)与第一、二 种实现方案的主要不同之处是采用了一个微型超广角全方位摄像头，由视觉传 感器2430和一只全方位成像反射镜反射镜2440组成。微型超广角全方位摄像头 由安装支架2420与高分辨率转球相机2410相连接，形成共轴关系。这种实现 方案的特点是可以在现有高分辨率转球相机硬件的安装上将其扩充为全方位自 动PTZ系统，而无需对现有的硬件安装作大量改动。只要加上2420，2430，2440 和图像处理单元2450即可。
超广角全方位摄像头所采集的图像涵盖整个半球视角。根据它提供的图像， 实时运动检测算法可疑发现可疑的图像区域，检测到的可疑区域的方位信息被 用来控制旋高分辨率转球相机的聚焦，使高分辨率相机能够自动跟踪可疑区域 的运动，实现全方位自动PTZ系统。
2.3.4.全方位自动PTZ系统他和实现方案之四
第四种全方位自动PTZ系统的实现方案(如图25所示)与第三种实现方案相似。 不同之处在于用了一只透明机壳2540将视觉传感器2520和一只全方位成像反射 镜反射镜2530相连接，形成一只超广角全方位摄像头。根据它提供的图像， 实时运动检测算法可疑发现可疑的图像区域，装置在摄像头旁或与摄像头集成 为一体的图像处理单元2550提供了一个高效率的引擎来实现这些实时处理功能。 检测到的可疑区域的方位信息被用来控制旋高分辨率转球相机的聚焦，使高分 辨率相机能够自动跟踪可疑区域的运动，实现全方位自动PTZ系统。
2.4.声音定向的透视视窗
根据检测到的讲话人，结合定向的麦克风，从而调节透视视窗的视窗方向。 此项功能在电话会议上有其独到的应用。简单地说，定向的麦克风是在空间分布 的麦克风组，声源传到每个麦克风强度和所化的时间不同。根据麦克风接收到声 音信号的不同，声源的空间方向就可以估算出来，估算出来的声音方向用于控制 任一透视视窗的视窗方向。图15为在超广角全方位摄像头安装的麦克风阵列， 数个麦克风放置在图像单元的外围。我们把第kth麦克风检测到的音响信号记作 sk，k＝1，2，...n，讲话人的方向根据所有探测到的音响信号的矢量和确定：

图16为计算矢量和过程的示意。声音传感器可装在全方位照相机内，也可 分开。方向估测信号需输送到控制计算机，对发声方向进行估计(算法框图有图 17所示)，得到旋转俯仰和聚焦参数来控制高分辨率相机的运动，达到自动跟 踪可疑目标的功能。实现一种基于全方位摄像头的智能控制在实际操作中运用。
实施例1：在带有一个普通镜头的视觉照相机前设置有双曲面的全方位成 像反射镜反射镜，照相机视场覆盖整个全方位成像反射镜镜表面，照相机和全方 位成像反射镜镜头沿旋转轴对称。全方位成像反射镜镜的作用是反射所有来自视 觉照相机视觉中心(焦点，标注C)至视场内物体表面的视线。反射关键的特征 在所有反射光线朝虚拟的单一视点，在镜子的焦心(标注0)必须有投影面。即 反射镜应有效控制视线使照相机从单一视点0等效地看到物体。照相机的输出接 计算机，定向的麦克风(在空间分布的麦克风组)同时接计算机。计算机根据麦 克风接收到声音信号的不同，估算出声源的空间方向，并将其用于控制任一透视 视窗的视窗方向。服务器是带Windows/Unix操作系统的计算机，连接Internet 网，并兼作监视中心。视觉信号和图像通过Internet传输。
2.5.动态图像稳定方法和实现
视觉监控系统在实际应用中需要解决的一个十分重要的问题，是获得稳定的 连续图像流。实际监控系统在安装和使用过程中，不可避免地引入了机械震动 (房屋震动，风，运动平台等)和电子噪声，使获得的动态视觉流图像极不稳定。 我们提出了一套有效的动态图像稳定方法来解决这一问题。
2.5.1.动态图像稳定的一般方法和实现
我们提出一套应用于动态图像稳定的一般方法，分为两个主要部分：
(3)自动特征提取：我们利用每一幅图像中亮度变化最为激烈的部分作为 该图像的特征。这种变化可以沿x轴或y轴，或兼而有之(比如边角点)如果 我们用I(x，y)来表示图像的亮度函数，则可以定义一个局部亮度变化矩阵：
$Z=\left[\begin{array}{cc}\frac{{\partial }^{2}I}{\partial x^2}& \frac{{\partial }^{2}I}{\partial x\partial y}\\ \frac{{\partial }^{2}I}{\partial x\partial y}& \frac{{\partial }^{2}I}{\partial y^2}\end{array}\right]$
用一个小窗口(比如25×25象素)，如果这一矩阵Z的两个特征值λ1和λ1超 过事先给定的阀值，
λ：min(λ1，λ2)＞λ。则将这一窗口的中心象素取为一个特征的候选者。
(4)自动跟踪：在大多数情况下，连续视觉流中各个图像之间存在多个共 有的和不变的特征点。这些共有的特征点(由于其空间位置不变因而在图像中的 位置也应不变)可以被用来校准图像之间由于震动等原因引起的不稳定偏移(平 移和旋转)，达到稳定图像的作用。图26说明利用特征点自动跟踪来达到稳定 图像作用的方法。假设图像#1和图像#2是视觉流中相邻的两幅图像(A组)。由 于相机抖动等原因，图像#2中的目标发生了偏移(旋转+平移)。如果不加动态 图像稳定功能，这种图像流无法为目标检测提供有用信息。我们现在对图像 进行稳定，首先对两幅图像分别进行特征提取，得到B组图像，B组图像中的 特征点以红色表示。这些特征点的空间位置应该是固定的，由此可以用它们来 将图像#2以图像#1为依据，进行对准变换，结果如C组所示。通过对图像#2的 平移和旋转，使其包涵的特征点对齐，从而使得图像得到稳定。
稳定的图像在运动目标检测中至关重要，如果图像流本身不稳定，所有象素 都会产生误报警，再好的运动检测算法也无效。
2.5.2.直接对全方位图像进行动态图像稳定的方法和实现
对于超广角全方位图像，直接应用2.5.1中所述方法还不行。原因是对一般 图像进行动态稳定补偿，我们通常应用Affine变换：
$p^{\prime }=\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}f\\ h\end{array}\right]=\mathrm{Ap}+q.$
对于超广角全方位图像，由于图像本身的非线性，Affine线性变换不能用。 我们提出了直接对全方位图像进行动态图像稳定的方法，其步骤简选如下：
(9)采集一幅参考图像(超广角全方位图像)；
(10)对参考图像进行特征提取，得到分布在整个半球空间中的“最好” 的一组特征点pi，i＝1，2，...M，(比如说，M＝20)；
(11)利用已知全方位相机参数，将超广角全方位参考图像投影到一个虚 拟的半球面S上；
(12)开始采集超广角全方位图像流；假设新一幅图像为I0；；
(13)对新一幅图像进行特征提取，找出与pi，i＝1，2，...M，相对应的特征 点组p’，i＝1，2，...M；
(14)利用已知全方位相机参数，将新一幅图像投影到同一个虚拟的半球 面S；上；
(15)两幅图像之间的3×3旋转矩阵R可以用以下方式通过伪逆求出：
[p’1 p’2 ... p’m]＝R[p1 p2 ... pm]
(16)利用R来变换新图像In中的所有象素，将它们投影到S中去。
3.Internet传输全方位图像
开发基于Internet传输全方位图像系统版本。称之为全方位成像反射镜网。
3.1.系统框架结构
本发明使用一个服务器为全方位成像反射镜网用户提供信息传输服务。服务 器的使用简化了交通控制，减少整个网络的负荷。尽管网桥或路由器等器件可提 供自动数据传递，但它因为不能减少交通负荷，不能和传输服务器起同样的作用。 全方位成像反射镜网在医学运用方面作用尤其明显。病人传输图像或数据给医生 或在Internet上的其他医务机构。没有服务器，每个病人必须明白把他/她的数 据送到哪里，而且要分别送到几位专家手中。借助于服务器，病人只需把数据包 及地址簿传递到服务器，服务器会帮病人分发。这样，不仅网络的交通负荷减少 了，操作也更简便。
系统图示请见图18。主机和本地/遥控监视站都是低成本可上Internet网的 计算机。某些监视中心同时也连接在本地网(LAN)上。服务器是带Windows或 Unix操作系统的计算机，上网速度很快，也可兼作监视中心。图19示意全方 位成像反射镜网服务器的布局。服务器用户机包括病人、远距离医学使用者和开 业者、医学信息视觉系统、数据库、档案和检索系统。服务器基本功能是在用户 之间管理通讯，如接收、传送、分发医学信号和记录、控制信息交流的方向、优 先权、流速等。从用户的眼光看，他/她只需传送到服务器和/或从服务器接收数 据，就能与指定的人或机构联系。
3.2.Socket程序设计
根据全方位成像反射镜网服务器结构，服务器传送协议应包括界面连接和数 据包。我们建议采用的服务器连接协议是连接Internet应用层的socket界面， 网络设计是星型布局的服务器/客户机结构。客户机/服务器通讯应用程序任务应 包括两个组成部分：服务器程序和客户机程序。远距离监测应用需要服务器程序 能为不同的客户提供服务，如：病人、医学专家、急症和存储装置。为有效使用 服务器，客户机程序应提供合适的界面与服务器协同工作。考虑到这些要求，服 务器程序的结构和客户机程序的界面功能在这里解密。使用面向对象编程概念， 服务器程序由监听-socket类的对象和客户-socket类的许多对象组成。
图20是服务器程序的流程图。不管何时，用户打电话给服务器，监听-socket 类对象接电话，创立一个客户-socket类对象，保持与客户的连接并应客户需要 提供服务。当客户-socket类从客户机那里接到数据包，它会编译并应客户要求， 重新设置通信状态，将数据包传递到别的客户。除了面向对象的功能，服务器也 在客户机中间管理通信量。服务器编制表格，储存所有客户socket程序通信信 息，包括：连接状态、客户名、组名、接收居住位、网桥状态和网桥拥有者。服 务器也能提供简单的数据库处理。如果有客户提供的数据库，服务器会传送客户 的需求，并把数据传送回客户。为服务器传送或分发信息给正确的客户，需定义 一个特殊的数据包格式，如图21所示。这个格式包括客户地址、方向信息，数 据长度和传送的数据。软件用C++和JAVA编写。操作系统是Windows或者Unix。
3.3.Internet图像传输
视觉信号和图像通过Internet传输。远距离监测的某些应用不需要图像传输 的视觉速度。事实上，在几秒中传输一帧图像的速度在大多数情况下，是可以接 受的。因此，高分辨率的图像(某些有损和无损的压缩方式，如zip，tiff，mpeg， 或jpg)可以直接用于传输。
3.4.双向通讯及云台变焦控制：变焦和旋转俯仰镜头的控制是现有技术，变 焦镜头是在固定成象面的情况下能够连续调整焦距的镜头，它与电动旋转云台组 合可以对相当广阔的范围进行监视，而且还可以对该范围内任意部分进行特写。 对高分辨率相机(镜头)的控制有变焦，聚焦和光圈3种功能，每种有长短，远 近和开闭控制。Pan&Tilt)云台就是两个交流电组成的安装平台，可以旋转俯仰 的运动，将镜头安装于其上，实现镜头多个自由度运动的装置，满足对固定监控 目标的快速定位，或对大范围监控环境的全景观察。对云台的选择可以按下列分 类来加以区分。在挑选云台时要考虑安装环境、安装方式、工作电压、负载大小， 也要考虑性能价格比和外型是否美观。
图28和29分别是本发明嵌入式图像/音频单元的框图和电路图，可以与上 述系统一体化装置对图像进行处理成可以传达室送的信号。