本发明涉及一种数字影像处理方法及其装置，面向公众安全领域。 背景技术
在我国，尽管在公安领域应用图像处理等信息技术已有多年的历史，但面向 社会治安的监控数字影像处理平台的建设尚属空白。
近年来，为了加强社会治安监控体系建设，我国新建安装了许多监控装置， 防范设施的建设使得监控覆盖面得到进一步加强，对控制、预防和打击犯罪起到 了一定作用。但是，目前公安机关所掌握的还只是监控系统的原始、低质数字影 像资料。在主要的技术防范层面上，自动影像处理、检测和识别的技术还达不到 实用化的要求。对从监控设备获取的大量影像还是基于人工进行处理，费时费工， 效率很低，而有些图像不经过处理，很难进行辨识，不利于提高案件的侦破率。 综上所述，现有的治安监控体系对数字影像的利用还停留在较低层次，难以适应 数字影像资料的爆炸式增长和高层次智能分析处理的需要。平台实施过程中采用 了一种窗口划分和重组的跟踪方法和一种基于小波变换的序列彩色图像融合技 术，该两项技术已经由申请人提出了专利申请，申请号分别为：200810195185.0 和200810234949. 2。 发明内容
发明目的：本发明针对现有平台的不足，提供一种能够处理大量的视频影像 信息的数字影像处理方法和装置。
技术方案：本发明将数字影像处理硬件部分包括影像采集模块、影像处理模 块、场景抽象分析模块。影像采集模块获得实时或者离线的场景影像，将影像转 换成连续图片帧发送至影像处理模块。影像处理模块接受获得的连续帧，进行运 动目标检测和跟踪；对关键的用户感兴趣的多帧图片进行融合，对模糊的单帧图 片进行增强和复原；影像处理模块将运动目标检测和跟踪的信息发送至场景抽象分析模块。场景抽象分析模块根据接受到的运动目标的信息，进行场景分割和异 常行为检测。平台实施过程中采用了一种窗口划分和重组的跟踪方法和一种基于 小波变换的序列彩色图像融合技术，该两项技术已经由申请人提出了专利申请， 申请号分别为：200810195185. 0和200810234949. 2。
有益效果：本发明与现有技术相比，其显著优点是：能够有效的处理大量的 视频影像信息，为用户的决策提供智能的支持。 附图说明
图l是本发明的组成流程图。
图2是本发明的影像采集模块流程图。 图3是本发明的影像处理模块流程图。 图4是本发明的场景抽象分析引擎。 图5是基于小波变换的序列彩色图像融合方法的流程图。 图6是一种窗口划分和重组的跟踪方法的流程图。 具体实施方式
如图l所示，本发明装置包含影像采集模块、影像处理模块、场景抽象分析 引擎。
本发明影像采集模块如图2所示，下面详细说明：
影像采集模块从摄像头等外设获取实时影像（输入方式1)，或者从本地打
开保存的历史影像资料（输入方式2)。使用时，平台根据数据源类型，对影像 进行连续帧的提取：使用视频采集卡直接提取帧（对应输入方式1);对视频文 件解码得到连续帧（对应输入方式2)，这些连续帧被发送到影像处理模块。 本发明影像处理模块如图3所示，下面详细说明：
影像处理模块获得连续帧。对帧的处理方式又分为如下三个子模块-
1、图像增强与复原模块：
对单帧图片进行图像增强与复原，图像增强采用基于Retinex色彩恒常理论 的方法，图像复原采用MeanShift去模糊的方法。2、 图像融合模块：
对于多帧图片，为了充分利用每个帧的有效信息，采用一种基于小波变换的 序列彩色图像融合技术（已由申请人提出专利申请，申请号：200810234949.2)。
3、 运动检测与跟踪模块：
根据连续帧，首先使用G醒建立背景模型，根据当前帧与背景模型检测出运 动目标，在整个迭代处理过程中，不断更新维护背景模型。检测出运动目标后，
使用的一种窗口划分和重组的跟踪方法（已由申请人提出专利申请，申请号：
200810195185.0)来跟踪运动目标，得到目标的信息，包括目标序号，坐标，大 小等。影像处理模块将这些信息发送至场景抽象分析引擎。
本发明场景抽象分析引擎如图4所示，下面详细说明-
场景抽象分析引擎接受影像处理模块发送的信息，利用场景分割与摘要模 块、场景异常行为分析和挖掘模块，对影像进行高层次抽象分析。
1、 场景分割与摘要模块根据场景中每个运动目标的形状、运动轨迹等特征 信息和所有运动目标的数目、分布等统计信息，对视频序列进行场景分割，并对 分割好的场景片段分段提取关键帧。以上述提取好的信息为基础，根据已有聚类 技术，对分割好的场景片段进行聚类，从而完成视频摘要。
2、 场景异常行为分析和挖掘模块中，采用数据流驱动改进后的隐马尔科夫 模型进行建模，并且针对异常行为训练集过小的特殊情况，运用半监督算法进行 训练，完成复杂场景下行为分析和事件挖掘。在此过程中，首先由目标跟踪提供 的物体运动轨迹中计算出物体运动速度、能量等18个基本特征，然后在训练中 自动提取出最关键的特征数据，并训练出一个隐马尔可夫集成训练器，最终通过 训练器投票的方式计算出该运动轨迹是否为异常。若为异常，运用适应技术建立 一个新的训练器，从而提高了假真率和假假率。
场景抽象分析引擎将分析后的结果反馈到影像处理平台，最终提供抽象决策倍息。
本发明方法种引用的基于小波变换的序列彩色图像融合方法流程如图5所示，下面详细说明-
步骤l，从输入的序列图像Pl,P2，...Pn中选取一副为参考图像。以参考图
像为基准，其他图像融合至参考图像中。
步骤2，计算所有图像的128维SIFT特征描述子。为了提高在高维空间进 行特征描述子匹配的效率，建立Kd搜索树，并采用BBF(Best Bin First)的搜 索策略。在得到的N对匹配点对上，采用随机抽样一致性算法RANSAC(Random Sample Consensus)的随机采样算法求取八参数的投影变换矩阵。再根据变换矩 阵对待匹配图像进行空间变换，完成与其他图像与参考图像的配准。
步骤3，对非参考图像作预处理操作，待配准图像空间变换后留下来的黑块 用参考图像来填补。
步骤4，对所有图像进行YIQ色彩空间变换，得到色彩分量 Yl，Y2，…Yn;Il，I2，…In;Ql，Q2，…Qn。其中Y分量代表亮度信息，I和Q为色彩 信息。将彩色图像从RGB转换到YIQ色彩空间，可以把彩色图像中的亮度信息与 色度信息分开，分别独立进行处理。
步骤5，将每副图像的Y色彩分量进行N级小波分解。本发明中N设为2或 者3，小波类型为DB4。
步骤6，对于小波低频系数，高频系数和色彩分量分别采取三种不同的融合 策略。
低频融合策略。首先对序列图像的每个低频图像建立一个跟其大小一样的布 尔矩阵^，\12，..^^ M纪录对应低频图像的低频系数是否属于例外系数。如果
某个低频系数与该位置所有低频系数的中值相差超过给定的阈值，被认为是例外 系数。然后根据例外矩阵，对非例外的低频系数进行加权平均。采用例外系数判 断的方法，可以增强对配准阶段的误差和错误的鲁棒性，能消除大块模糊区域， 减少遮掩等情况对最后融合效果的负面影响。
高频融合策略。以参考图像为基础，其他图像依次两两融合至参考图像中。 小波分解域的每一层有三副高频图像HH、 HL、 LH，两幅图像的对应高频子图像分别进行融合。采取CM (Choose Max)融合策略，即选取拥有最大激活度量的高 频系数。这里采用窗口方差作为激活度量，窗口大小为3*3。对不同的分解层， 不同的高频图像分别进行一致性检测。某个点的3*3的邻域中，如果超过半数的 点的高频系数都选自同一副图像，则该点的高频系数也选自此图像对应点的高频 系数。
色彩分量融合策略。色彩分量II， 12,... In以及Ql， Q2,... Qn依据在低频融 合策略中生成的对应的布尔矩阵Ml， M2，... Mn进行加权平均。如果矩阵Mi纪录
像素点Pm(^'^)的低频系数是例外系数，则彩色分量Ii和Qi的对应像素点
Pn""，A)的值不纳入加权平均计算中。这里Pm和Pn的对应关系根据小波分解 层次而定。比如三级小波分解，低频图像大小是原图像大小的八分之一，则
& = L、 /8」和^ = L凡/8」。最终得到融合后的I和Q色彩分量图像10和Q0。
步骤7，对融合后的小波域图像进行小波反变换，得到融合后彩色图像的 Y0分量。
步骤8，将步骤7所得的Y0分量和步骤6所得的10和Q0分量作色彩空间的 反变换，得到最终融合的RGB图像PO。
本平台中引用的一种窗口划分和重组的跟踪方法流程如图6所示，下面详细 说明：
步骤l，从外设（如摄像头）读入第一张图片。
步骤2,手动用外接矩形把图中要跟踪的物体框定出来。
步骤3，记录下步骤2中目标框外围四点的坐标，如目标框的左上角坐标是
Oro，加)，右上角坐标是(w，j/0，左下角坐标是(&，的)，右下角坐标是(^，w)，则
窗口的高度是A —^，窗口的宽度是w饰。并计算它所包围的封闭区域的颜色 直方图(RGB，灰度都可)信息。
步骤4，根据步骤3中的目标框的位置定义一个矩形的中心区域。如目标框
8的左上角坐标是(:ro,加)，右上角坐标是(xo，w),左下角坐标是Od，y。)，右下角坐 标是0d，2/。，则此目标框中的中心区域的四个角的坐标位置为：左上角为 (a;o + Q!(a^ — :r0),y0 + a;(yi 一饰))，右上角为(;ro + a(a^ — :ro),yi — lo))， 左 下 角 为 (A — —;r0)，y0 + Q;(2/i， 右 下 角 为
(A - a(A - xo),^ — — y0))。其中a， （0 < a; < 0.5)衡量中心区域到目标框的
距离，a越小表示中心区域离目标框的距离越小，反之越远。
步骤5，在步骤4中定义的中心区域中找出一条直线来划分这个目标框区 域，可以垂直的划分，也可以水平的划分，划分评价的依据是使划分的左右两部 分或者上下两部分区域所包围的像素点之间颜色平均值的方差最大。 步骤6，取下一帧的图片，目标框保持不动。
步骤7，对步骤5中的划分出的两部分以及原目标框这三部分分别进行 Mean-Shift的跟踪，得到三个新的窗口 。 Mean-Shift算法的具体步骤是：
(1) 计算当前目标区域直方图与原目标模型直方图的巴氏距离^。
(2) 计算当前帧与上一帧的相似性权值，比如现有一个像素点灰度是^，则 分别统计当前目标区域直方图与原模型直方图中灰度是:r的像素点个数分别是
iVwrn与iVwn2,则此像素点的权值为yf^。
(3) 根据（2)中的权重计算现在目标中心的位置，现在中心的位置是
^，(")，其中&表示区域中像素点的颜色值（灰度，RGB都可)，n表示区
域中像素点的个数，w(&)表示用（2)的方法计算出的^这个点的相似性权值。
(4) 计算目标区域直方图与原目标模型直方图的巴氏距离內。
(5) 根据计算巴氏距离的差值判断是否已经达到收敛的条件，即h —&|是否小于指定的阈值，否就回到（2)继续循环，是就停止。
步骤8，把步骤7中的三个窗口f且合起来，在本发明的方法中，假定划分 是水平划分的，经过步骤7以后两个子窗口的四条边界分别是
(M化，cfow〜，Ze/"1), r&W0， (M仍，doum2， Ze/"2)， r^^2)，和整个窗口的跟踪结 果(^e,dowrZe，Ze/"e)，r^似e)，则组合以后的窗口^^的结果是：上边界是 3/4*"化+ l/4*wpe，下边界是3/4 *down2 +1/4 *doume，左，右边界分别是
3〃 * Ze/h + 3/7 * Ze/i2 + 1〃 * Ze/"， 3/7 * r一工+ 3/7 *吻似2 + 1〃 * ri*e。
同理，垂直划分的情况与此类似。
步骤9，边缘分割。在上一次跟踪窗口四条边缘的邻域内找出一条使分开 的两部分区域的颜色平均值的方差最大，把新的四条边缘组成新的窗口H^。在
本发明的方法中，假设目标框的左上角坐标是(^，加)，右上角坐标是(a;o，w)，左
下角坐标是(&，饰)，右下角坐标是(&,y0，则目标框的高是/i，宽是u;，则上边界
的矩形邻域的四个点的坐标是(:ro-V4,yo)， — V4,W), +/i/4，饰)，
(a:o + V4，W)。 ^理，下，左，右边界的邻域以此类推。
步骤10，把V^和W^的边界以加权平均的方式求平均的新的跟踪窗口^V^。 假定W^和H^的上，下，左，右的边界分别是(M外，do画^e/力(l),r^似0，和
(Mp2,dottm2，Ze/t(2),r^M2)，在我们的方法中WV^的上，下，左，右边界分别是 顺/2 + ，/2， dowrH/2 + doitm2/2, Ze/力〃2 + Ze/Z2/2， r^似i/2 + rig/ji2/2。 步骤ll，回到步骤2，进行下一次跟踪。