技术领域
[0001] 本
发明涉及检测分拨系统领域，尤其涉及一种基于张量流递归神经网络的检测分拨系统及方法。
背景技术
[0002] 现有城管事件检测与
人工智能方法的具体结合方式主要有：
[0003] 1、城管案件空间分布模式研究；
[0004] 2、基于图像的城市场景垃圾自动检测；
[0005] 3、基于
深度学习及运动一致性的街面秩序事件视频检测方法；
[0006] 4、基于WSN和GSM的城市垃圾智能监测系统设计；
[0007] 5、城市管理执法指挥调度平台的设计与实现；
[0008] 6、基于
机器视觉的
水面垃圾自动监测
算法的研究。
[0009] 现有城管事件检测方法在算法方面和系统方面均存在较多
缺陷，列举如下：
[0010] 在系统方面：
[0011] 无法实现夜间城管事件检测：现有的城管事件检测系统主要利用可见光摄像头进行检测，在夜间或光线较差的区域发生的城管事件现有装置/系统检测成功率低。
[0012] 城管事件检测类别单一：现有的城管事件检测系统主要针对某一类城管事件进行检测，例如垃圾检测，而实际城管事件类型较多，因此现有城管事件检测系统检测类别单一，无法满足实际城市业务的需求。
[0013] 城管事件检测流程不全：有城管事件检测系统在检测到城管事件之后，尚无一套完整的预警与分拨机制，无法实现城管事件的实时预警与自动分拨，因此现有系统对于城管事件的检测-处置效率较低。
[0014] 在算法方面：
[0015] 准确率较低：现有城管事件检测算法主要以某
帧图片作检测依据，而城管事件检测是以
视频流的形式存在，因此现有方法对城管数据的利用不够充分。此外，现有城管事件检测算法因某些城管事件容易混淆且有时候同时发生，因此现有城管事件检测算法准确率较低。
[0016] 检测不完备：现有城管事件检测算法主要针对某类城管事件进行检测，城管事件本身种类较多，无法实现各类城管事件的全面检测，此外，某几类城管事件经常同时发生，而现有方法无法将其同时进行检测，因此现有城管事件检测算法缺乏完备性。
发明内容
[0017] (一)发明目的
[0018] 为解决背景技术中存在的技术问题，本发明提出一种基于张量流递归神经网络的检测分拨系统及方法，该系统既能有效地检测到城管事件发生情况，又能起到将城管事件按照事件类型及发生
位置精准地分拨到网格员进行有效处置。
[0019] (二)技术方案
[0020] 为解决上述问题，本发明提出了一种基于张量流递归神经网络的检测分拨系统及方法，包括
传感器单元、第一存储单元、第二存储单元、第三存储单元、图像融合单元、张量流递归检测单元和分拨处置单元；
[0021] 传感器单元包括可见光摄像头和红外摄像头，传感器单元用于收集可见光图像和红外图像；
[0022] 第一存储单元，用于存储可见光摄像头及红外摄像头拍摄到的图像数据；
[0023] 第二存储单元，用于存储摄像头的编号及位置信息；
[0024] 第三存储单元，用于存储网格员的编号、姓名、管理区域和联系方式信息；
[0025] 图像融合单元，用于将可见光图像与神经网络图像进行融合；
[0026] 张量流递归单元，用于将融合后的图像信息进行数据分析，并判断图中有无城管事件发生，并标记出发生城管事件的类型及图中的位置；张量流递归单元的输入参数为融合图像的张量流，输出参数为城管事件的标签；
[0027] 分拨处置单元，用于将发生的城管事件按照摄像头位置以及网格员分管区域将发生的城管事件分拨给附近的网格员进行处置。
[0028] 优选的，图像融合单元采用多层神经网络模型，其输入参数为可见光图像与红外图像，其输出参数为两者进行图像融合之后的RGB图像，RGB图像在可见光图像
基础上突出红外信息。
[0029] 优选的，张量流递归单元，包括CMS模
块、RES模块、RESn模块和FC模块；CMS模块，用于张量流的关键特征提取；CMS模块，包含CONV操作、MaxP操作和SoftP操作，其中，CONV操作为深层卷积操作，MaxP为极大值
池化操作，SoftP为软加和操作；RES模块和RESn模块用于对张量流的递归操作；RES模块包含两个CMS模块和一个递归累加操作；RESn模块包含零填充操作、CMS模块和n个RES模块；FC模块，即，全连接层，用于对提取特征进行合成，以城管事件的检测结果。
[0030] 优选的，还提出关于上述基于张量流递归神经网络的检测分拨系统的使用方法，包括以下步骤：S1：收集传感器单元的数据，数据包含可见光图像数据和红外图像数据以及摄像头所在的位置信息；S2：将图像数据存入第一存储单元，将传感器位置信息存入第二存储单元；收集网格员信息存入第三存储单元；S3：将收集的两类图像数据利用图像融合单元进行图像融合；S4：将图像融合的结果输入训练好的张量流递归单元，对融合后的图像进行城管事件检测；S5：将张量流递归单元的检测结果输入分拨处置单元，分拨处置单元根据第二存储单元中的摄像头位置信息，结合第三存储单元中的网格员信息，将城管事件分拨给适宜的网格员进行处置。
[0031] 优选的，张量流递归单元进行模型
框架的设计，其模型的训练和模型的验证包括以下步骤：S51：设计基于张量流递归神经网络的城管事件检测方法的网络架构；S52：制作城管事件张量流数据集及对应标签，并将其划分为
训练数据集、验证数据集和测试数据集；S53：利用城管事件训练数据集对设计好的基于张量流递归神经网络的城管事件检测方法的网络架构进行训练；S54：利用城管事件验证数据集，验证训练好的基于张量流递归神经网络的检测
精度，若精度低于预期值，则调整神经网络模型的各类超参数；S55：利用城管事件测试数据集，对超参数调整完毕的基于张量流递归神经网络进行测试，若泛化误差高于预期值，则调整神经网络结构并重新进行训练和验证，直至泛化误差低于预期值为止。
[0032] 优选的，输入张量流数据。的帧数为n，则输入的t时刻的张量流TensorX(t)为各张量X1(t)：Xn(t)的集合；输入的张量流TensorX(t)首先被CMS模块处理；CMS模块包含三个子模块：C子模块、M子模块和，其中，C子模块为卷积模块，M子模块为最大池化模块，S子模块为软加和模块；对张量的第i个分量进行CMS计算的结果为CMS(Xi(t))；计算过程包括张量的卷积运算和最大池化操作所得，并将结果再做一次软加和操作；经过CMS模块处理之后，输入数据将被RES模块处理，输入为张量X，将CMS模块对张量的处理定义为CMS(.)函数，则RES模块的处理结果量化为 符号 代表张量的求和；张量流递归经过第n步结果为：Recurn(TensorX(t))＝RES(Recurn-1(TensorX(t))+CMS(Xn(t)))；在对张量流进行递归模块运算之后，需要对张量流进行若干次RESN模块操作，其中包含一次零填充操作，一次CMS操作以及N次RES操作，后续若干模块如
附图所示主要包括了FC模块。
[0033] 优选的，将特征集定义为N个张量流，构造成的张量流特征标签包含的内容如下所示：Pc(t)代表t时刻的张量是否包含某一类城管事件，若包含则为1，否则为0；{Bx(t)，By(t)，Bw(t)，Bh(t)}分别代表边界框的中心坐标以及宽度和高度；{C1(t)，C2(t)，C3(t)，C4(t)}分别代表占道经营、违规撑伞、垃圾打包和建筑垃圾四类城管事件是否发生，若发生某类事件，则为1，否则为0；将张量流划分成S×S个网格，假设设置了3个边界框，那么张量流特征标签的维数为S×S×(5×3+4)；将制作好的N个张量流对应的标签进行组合，得到标签集LabelSet和张量流数据集DataSer；将张量流数据集按照一定比例划分成训练集、验证集和测试集。
[0034] 优选的，在S54中，利用张量流验证数据集，对训练好的张量流递归神经网络结构进行验证，然后计算验证误差；若验证误差高于预期值，则需要对神经网络中的超参数进行调整，利用Grid Search方法寻找最优超参数；若验证误差达到预期值，则进入S55。
[0035] 优选的，利用张量流测试数据集，对验证好的张量流递归神经网络进行测试，并计算测试误差；若测试误差高于预期值，则需要调整张量流数据集；若调整数据集无效，需要重新对张量流递归神经网络结构进行设计，然后重新进行张量流递归神经网络的训练、验证和测试步骤；若测试误差达到预期值，则封装此模型，完成城管事件检测。
[0036] 本发明中，系统既能有效地检测到城管事件发生情况，又能起到将城管事件按照事件类型及发生位置精准地分拨到网格员进行有效处置。
附图说明
[0037] 图1为本发明提出的基于张量流递归神经网络的检测分拨系统及方法的结构
框图。
[0038] 图2为本发明提出的基于张量流递归神经网络的检测分拨系统及方法中中张量流递归检测单元的网络架构。
[0039] 图3为本发明提出的基于张量流递归神经网络的检测分拨系统及方法中CMS模块、RES模块和RESn模块的组成图。
[0040] 图4为本发明提出的基于张量流递归神经网络的检测分拨系统及方法中张量流递归检测模块的模型设计-训练-检测
流程图。
具体实施方式
[0041] 为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
[0042] 如图1-4所示，本发明提出的一种基于张量流递归神经网络的检测分拨系统及方法，包括传感器单元、第一存储单元、第二存储单元、第三存储单元、图像融合单元、张量流递归检测单元和分拨处置单元；
[0043] 传感器单元包括可见光摄像头和红外摄像头，传感器单元用于收集可见光图像和红外图像；
[0044] 第一存储单元，用于存储可见光摄像头及红外摄像头拍摄到的图像数据；
[0045] 第二存储单元，用于存储摄像头的编号及位置信息；
[0046] 第三存储单元，用于存储网格员的编号、姓名、管理区域和联系方式信息；
[0047] 图像融合单元，用于将可见光图像与神经网络图像进行融合；
[0048] 张量流递归单元，用于将融合后的图像信息进行数据分析，并判断图中有无城管事件发生，并标记出发生城管事件的类型及图中的位置；张量流递归单元的输入参数为融合图像的张量流，输出参数为城管事件的标签；
[0049] 分拨处置单元，用于将发生的城管事件按照摄像头位置以及网格员分管区域将发生的城管事件分拨给附近的网格员进行处置。
[0050] 在一个可选的
实施例中，图像融合单元采用多层神经网络模型，其输入参数为可见光图像与红外图像，其输出参数为两者进行图像融合之后的RGB图像，RGB图像在可见光图像基础上突出红外信息。
[0051] 在一个可选的实施例中，张量流递归单元，包括CMS模块、RES模块、RESn模块和FC模块；
[0052] CMS模块，用于张量流的关键特征提取；CMS模块，包含CONV操作、MaxP操作和SoftP操作，其中，CONV操作为深层卷积操作，MaxP为极大值池化操作，SoftP为软加和操作；
[0053] RES模块和RESn模块用于对张量流的递归操作；RES模块包含两个CMS模块和一个递归累加操作；RESn模块包含零填充操作、CMS模块和n个RES模块；
[0054] FC模块，即，全连接层，用于对提取特征进行合成，以城管事件的检测结果。
[0055] 本发明，基于张量流递归神经网络的检测分拨系统还提出关于上述基于张量流递归神经网络的检测分拨系统的使用方法，包括以下步骤：
[0056] S1：收集传感器单元的数据，数据包含可见光图像数据和红外图像数据以及摄像头所在的位置信息；
[0057] S2：将图像数据存入第一存储单元，将传感器位置信息存入第二存储单元；收集网格员信息存入第三存储单元；
[0058] S3：将收集的两类图像数据利用图像融合单元进行图像融合；
[0059] S4：将图像融合的结果输入训练好的张量流递归单元，对融合后的图像进行城管事件检测；
[0060] S5：将张量流递归单元的检测结果输入分拨处置单元，分拨处置单元根据第二存储单元中的摄像头位置信息，结合第三存储单元中的网格员信息，将城管事件分拨给适宜的网格员进行处置。
[0061] 本发明，可实现夜间城管事件检测；传统的城管事件检测系统在光线较差的情况下，城管事件检测效率低甚至无法检测，而本系统中使用的传感器单元包含红外摄像头，经过图像融合操作，结合张量流递归检测模块，可实现城管事件的夜间检测。
[0062] 本发明，实现城管事件的检测-分拨-处置的一体化流程；现有城管事件检测系统在检测到城管事件之后，尚无一套完整的预警与分拨处置机制，本系统中引入图像融合单元，张量流递归检测单元以及分拨处置单元，既能有效地检测到城管事件发生情况，又能起到将城管事件按照事件类型及发生位置精准地分拨到网格员进行有效处置。
[0063] 本发明，可同时检测多类城管事件；现有的城管事件检测系统主要针对某一类城管事件进行检测，本系统中使用的基于张量流递归的神经网络模型，通过在训练标签中合理设置城管事件类别数量，并引入bounding-box等技巧，改进了传统检测方法的缺陷。
[0064] 本发明，提升了城管事件检测精度；现有城管事件检测算法因某些城管事件容易混淆且有时候同时发生，加之对城管事件数据利用不充分，导致现有城管事件检测算法准确率较低。本系统中通过在张量流递归模块中改善
优化算法，可显著提高城管事件的检测精度。
[0065] 同时，本发明在以下的城管事件检测场景下具有一定程度的不可替代性：
[0066] 1、检测夜间发生的城管事件：即在实际应用中，若城管事件在夜间或光线较差的地方发生，而现有文献中提及的多类城管事件同时检测方法往往无法对其进行检测，因此本发明在此类场景下具有一定的不可替代性；
[0067] 2、同时检测多类城管事件：即在实际应用中，若产生了多类城管事件同时检测的需求，而现有文献中提及的多类城管事件同时检测方法相对不足，因此本发明在此类场景下具有一定的不可替代性；
[0068] 3、对检测精度要求较高：即在实际应用中，若检测地区城管事件频繁而城管
力量又相对不足，而现有方法由于面对复杂城管事件检测精度又相对较低，因此本发明在此类场景下具有一定的不可替代的作用。
[0069] 在一个可选的实施例中，张量流递归单元进行模型框架的设计，其模型的训练和模型的验证包括以下步骤：
[0070] S51：设计基于张量流递归神经网络的城管事件检测方法的网络架构；
[0071] S52：制作城管事件张量流数据集及对应标签，并将其划分为训练数据集、验证数据集和测试数据集；
[0072] S53：利用城管事件训练数据集对设计好的基于张量流递归神经网络的城管事件检测方法的网络架构进行训练；
[0073] S54：利用城管事件验证数据集，验证训练好的基于张量流递归神经网络的检测精度，若精度低于预期值，则调整神经网络模型的各类超参数；
[0074] S55：利用城管事件测试数据集，对超参数调整完毕的基于张量流递归神经网络进行测试，若泛化误差高于预期值，则调整神经网络结构并重新进行训练和验证，直至泛化误差低于预期值为止。
[0075] 在一个可选的实施例中，输入张量流数据。的帧数为n，则输入的t时刻的张量流TensorX(t)为各张量X1(t)：Xn(t)的集合；
[0076] 输入的张量流TensorX(t)首先被CMS模块处理；CMS模块包含三个子模块：C子模块、M子模块和，其中，C子模块为卷积模块，M子模块为最大池化模块，S子模块为软加和模块；
[0077] 对张量的第i个分量进行CMS计算的结果为CMS(Xi(t))；计算过程包括张量的卷积运算和最大池化操作所得，并将结果再做一次软加和操作；
[0078] 经过CMS模块处理之后，输入数据将被RES模块处理，输入为张量X，将CMS模块对张量的 处 理定 义 为 CM S ( .) 函数 ，则R E S模 块 的处 理 结 果量 化 为符号 代表张量的求和；
[0079] 张量流递归经过第n步结果为：
[0080] Recurn(TensorX(t))＝RES(Recurn-1(TensorX(t))+CMS(Xn(t)))；
[0081] 在对张量流进行递归模块运算之后，需要对张量流进行若干次RESN模块操作，其中包含一次零填充操作，一次CMS操作以及N次RES操作，后续若干模块如附图所示主要包括了FC模块。
[0082] 在一个可选的实施例中，将特征集定义为N个张量流，构造成的张量流特征标签包含的内容如下所示：
[0083] Pc(t)代表t时刻的张量是否包含某一类城管事件，若包含则为1，否则为0；
[0084] {Bx(t)，By(t)，Bw(t)，Bh(t)}分别代表边界框的中心坐标以及宽度和高度；
[0085] {C1(t)，C2(t)，C3(t)，C4(t)}分别代表占道经营、违规撑伞、垃圾打包和建筑垃圾四类城管事件是否发生，若发生某类事件，则为1，否则为0；
[0086] 将张量流划分成S×S个网格，假设设置了3个边界框，那么张量流特征标签的维数为S×S×(5×3+4)；
[0087] 将制作好的N个张量流对应的标签进行组合，得到标签集LabelSet和张量流数据集DataSer；将张量流数据集按照一定比例划分成训练集、验证集和测试集。
[0088] 在一个可选的实施例中，在S54中，利用张量流验证数据集，对训练好的张量流递归神经网络结构进行验证，然后计算验证误差；若验证误差高于预期值，则需要对神经网络中的超参数进行调整，利用Grid Search方法寻找最优超参数；若验证误差达到预期值，则进入S55。
[0089] 在一个可选的实施例中，利用张量流测试数据集，对验证好的张量流递归神经网络进行测试，并计算测试误差；
[0090] 若测试误差高于预期值，则需要调整张量流数据集；
[0091] 若调整数据集无效，需要重新对张量流递归神经网络结构进行设计，然后重新进行张量流递归神经网络的训练、验证和测试步骤；
[0092] 若测试误差达到预期值，则封装此模型，完成城管事件检测。
[0093] 需要说明的是，本发明总共对占道经营、违规撑伞、垃圾打包、建筑垃圾等四类城管事件进行检测，作为实施例，检测的事件类型及位置均用Bounding Box进行标注。
[0094] 本发明中，要对设计好的基于张量流递归神经网络进行训练；
[0095] 首先，设置网络中CMS、RES及FC模块的数目，从图2中可以看到，网络中一个设置了n+20个CMS，n个RES模块，1个RES8模块，1个RES4模块，2个UPS模块，2个CONCAT模块，3个FC模块，n的具体数值可视为超参数进行调节；
[0096] 其次，设置CMS、RES和FC模块的规模，CMS和RES模块的规模包括设置卷积核的维数、数目和步长、Maxpooling的维数和步长，FC模块的规模是指全连接网络的层数以及每层的
节点数。
[0097] 然后，依照不对称性准则，初始化神经网络的卷积核、全连接层的权值和偏差；再将输入的张量流和标签输入网络，利用前向传递确定输出张量，通过张量流递归模块，得到张量流输入的结果Recurn(TensorX(t))，对其进行RESn模块操作；其中，RESn模块包含零填充模块，CMS模块和n和RES模块，零填充模块是对张量进行补零。
[0098] 根据对张量流的操作，对Recurn(TensorX(t))进行1次RES8、1次RES4，两次CMS，一次全连接层网络之后，得到输出Y1，与输出Y1不同的是，输出Y2和输出Y3需要用到UPS模块和CONCAT模块，其中UPS模块是指上
采样模块(Upsampling)，是对输入的张量流的规模进行缩小，CONCAT模块是对两个张量流进行连接，拼接成一个规模更大的张量流。
[0099] 如图2所示，对Recurn(TensorX(t))进行UPS、CONCAT等模块进行操作后，假设CONCAT之前的变量为CC1和CC2；同样的，根据图2网络结构，可得到CC2。
[0100] 利用CC1、CC2以及CONCAT模块操作，可得到输出Y2；其中CMS5(.)是指对张量流进行5次CMS操作。
[0101] 同样的，为了得到输出Y3，需要进行UPS操作和CONCAT操作，假设CONCAT之前的变量为CS1和CS2；同样的，根据图2的网络结构，可得到CS2，利用CS1和CS2，可得到输出Y3。
[0102] 如此，就完成了张量流递归神经网络的前向传递过程。在完成前向传递之后，需要利用Backpropagation算法更新各个卷积核、权值和偏差。
[0103] 应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何
修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附
权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
