技术领域
[0001] 本
发明公开了一种基于Zynq-7000的交通流量信息采集终端,属于交通控制系统
信号装置的技术领域。
背景技术
[0002] 随着社会经济的迅速发展,城市机动车拥有量急速增加,道路交通流量大幅提高,超负荷运行状况日益突显,交通车辆拥塞、环境恶化、事故频发等现象日趋严重,交通流量监测己成为人们关注的城市管理问题。为此,在城市道路交通管理中,迫切需要通过更有效的技术对复杂的路况进行实时目标检测、交通流量统计和管理调度,从而实现
智能交通系统(ITS,Intelligent Transportation System)的控制,提高城市的交通环境
质量。
[0003] 目前,常用的交通流量检测技术有:感应线圈检测技术、磁
力计检测技术、
超声波检测技术、被动红外检测器技术、雷达检测技术、计算机视频检测技术等。但是,无论使用波式检测还是磁式检测的方法,检测结果均受道路环境因素的严重影响,无法提供全面精确的交通信息,只能作为智能交通监测系统的一种辅助手段。基于计算机视频的道路交通流量检测技术,对城市道路环境破坏小,检测器安装灵活且安装维护成本低,应用价值更大,应用前景更为广阔。传统的计算机视频图像检测处理技术是将摄像机采集到的现场
视频信号传送到信息处理机(PC机),经过数字化处理后,进行目标检测和识别,转换成交通流量信息数据发送到控制指挥中心。然而,常用信息处理机采用的是CPU甚至是GPU处理器,其应用在视频交通流量信息处理方面仍存在较多
缺陷,如:图像信息处理机
机身体积庞大、价格昂贵;摄像头与信息处理机之间进行数据传输必须铺设
电缆或光纤等专用数据通信信道,造成高额成本开支的同时提高了安装的复杂度;检测单元的增加使得网络布局布线越来越复杂,系统可靠性随之下降且维修难度增加,还可能造成数据传输延时、失真甚至丢失的问题,导致系统精准度和实时性能降低。
[0004] 因此本发明采用集成了ARM与FPGA的ZYNQ-7Z20系列开发板进行开发,结合了ARM便捷的操作性与FPGA高并行度的计算能力,采用高速数据通信
接口,且基于
卷积神经网络模型的YOLO(You Only Look Once)实时快速目标检测
算法,在
硬件资源受限的本地离线状态下,满足先进的交通管理系统和智能车路系统的要求,实现图像传输质量无损、实时性能强、可扩展性强、兼容性好的交通流量信息采集终端。
发明内容
[0005] 本发明的发明目的是针对上述背景技术的不足,提供了一种基于Zynq-7000的交通流量信息采集终端,实现了基于
计算机视觉的交通流量统计,解决了视频交通流量统计成本高、实时性低和可扩展性差的技术问题。
[0006] 本发明为实现上述发明目的采用如下技术方案:一种基于Zynq-7000的交通流量信息采集终端,主要包括视频
图像采集传感器、Zynq-
7000芯片、HDMI显示器、外部
存储器,Zynq-7000芯片集成了PL(Progarmmable Logic,可编程逻辑)模
块和PS(Processing System,处理系统)模块,视频图像采集传感器用于路况视频信息的采集并将其通过MIPI接口发送到PL模块,PL模块用于视频图像信息的接收、运算处理和输出,PS模块用于数据交互控制以及交通流量统计,HDMI显示器用于显示处理后的视频图像。
[0007] PL模块主要包括:视频输入模块、卷积神经网络
加速器、视频输出模块,视频输入模块包括OV_Sensor IP和Video in To AXI4-Stream IP模块,OV_Sensor IP模块将接收到的视频数据生成24 bit的数据流与行同步、场
同步信号,Video in To AXI4-Stream IP模块将该24 bit的数据转换成满足AXI4_Stream接口协议的数据格式从而实现单
帧图像信息
数据采集与存储。
[0008] 进一步的,卷积神经网络加速器读取外部存储模块FIFO(First In,First Out)缓存区中预处理后的图像进行交通目标检测识别运算,并将运算结果再返回外部存储模块FIFO缓存区中。
[0009] 进一步的,视频输出模块包括AXI4-Stream To Video out IP模块,将处理后的视频图像数据转换成相应的HDMI输出格式后输出到HDMI显示器,且采用VTC生成HDMI显示器输出所需要的时序信号。
[0010] 进一步的,PL模块还包括 xlcontact IP模块,把DMA和VDMA两个独立的中断信号合并在一起连接到PS模块的ZYNQ IP模块的中断信号接口。
[0011] 进一步的,外部存储模块采用三个首尾相连的缓冲区存储数据,乒乓式读写。
[0012] 进一步的,PS模块包括ARM CotrexA9双硬核MCU,从外部存储模块获取单帧图像信息,对图像进行预处理后将其存储到外部存储模块中,且根据PL模块运算结果获得目标的
位置和类别信息,对图像进行目标画框处理和交通流量统计,并将画框后的图像返回到外部存储模块。
[0013] 进一步的,MCU通过GPIO的10位标志位控制卷积神经网络加速器的工作状态,包括:接收数据和开始运算,判断接收的是卷积核数据还是特征图数据、运算规则,是否需要进行relu操作,stride值为1还是2,及,运算完成后返回数据组数。
[0014] 同时本发明的交通流量信息采集终端其具体的通信架构中,PS模块和PL模块通过AXI4总线连接,实现模块间的数据通信。
[0015] 进一步的, PS模块中的MCU驱动AXI4-VDMA IP核并通过AXI4-Interconnect IP连接到PS端的AXI4_HP0接口,MCU驱动AXI4-DMA IP核并通过AXI4-Interconnect1 IP连接到PS端的AXI4_HP1接口,实现PS模块和PL模块的数据交互传输。
[0016] 进一步的,视频输入模块通过AXI4-VDMA接口将经过预处理后的图像保存到外部存储模块,视频输出模块也通过AXI4-VDMA接口获取外部存储模块中经过画框处理后的视频图像数据。
[0017] 进一步的,卷积神经网络加速器通过AXI4-DMA接口读取外部存储模块中待进行卷积运算的数据信息,进行
指定的运算后,再通过AXI4-DMA接口将运算结果返回到外部存储模块中。
[0018] 且本发明的基于Zynq-7000的交通流量信息采集终端,交通目标检测运算基于优化的YOLO法,其网络参数训练集为PASCAL VOC数据集,该算法将待检测图片划分成不同的网格区域,然后通过运算得出每个区域的边框预测和概率,并依据此概率值分配权重,最后设置
阈值,输出概率值大于阈值的目标检测结果。
[0019] 进一步的,交通流量统计运算基于双虚拟检测线的交通流量统计方法,为了避免交通目标的漏检、误检,提高流量统计的准确性,在视频图像帧的中下部设置两条平行的虚拟检测线,且与交通流量方向垂直,检测线的长度为图像的长度,根据路况和图像采集
角度调整两条检测线之间宽度。
[0020] 本发明采用上述技术方案,具有以下有益效果:(1)本
申请通过以Zynq-7000芯片为载体,使用AXI4总线进行PS模块和PL模块内部互联,设计了加速卷积神经网络计算的IP核,采用MCU驱动AXI4-VDMA IP核和AXI4-DMA IP核的通信架构实现了PS模块和PL模块的实时数据交互,将视频图像采集、存储、目标检测、流量统计、显示输出等功能集成单芯片上,集成度高,高速度和低延迟的数字
图像处理和数据传输能够满足交通流量统计的实时性要求;
(2)通过优化的目标检测方式实现不同种类目标的识别,提高了识别
精度,无需移植LINUX
操作系统,能够兼顾满足交通路况管理的兼容性要求且可扩展性强;
(3)经测试,加入卷积神经网络加速器后,单张图像的目标检测运算时间缩短0.5秒,视频显示输出验证可与实时路况完全同步;
(4)使用性价比高的Zynq-7000芯片,其单片成本为常用GPU的1/5,且功耗低,只需5V供电
电压,同时运算速度能够达到通用CPU 的25倍。
附图说明
[0022] 图2是本发明的数据通信架构示意图。
[0023] 图3是本发明的PS模块控制功能
流程图。
具体实施方式
[0024] 下面结合附图对发明的技术方案进行详细说明。
[0025] 图1为本发明的整体结构框架示意图,该结构框架以具有ARM+FPGA功能架构的赛灵思(Xilinx)公司Zynq-7000芯片为载体,所采用的MIZ702N开发板上具有LVDS接口和HDMI接口,支持多种可扩展设备。视频图像采集传感器通过LDVS接口与MIZ702N连接,HDMI显示器通过HDMI接口与MIZ702N连接,实现图像数据的采集输入和显示输出。
[0026] 下面结合图2所示数据通信架构及图3所示PS控
制模块功能流程图介绍本申请公开的交通流量信息采集终端的功能结构设计实施原理及数据通信原理。
[0027] 具体功能结构设计实施原理及过程如下:1、采用OV5640摄像头作为视频图像采集传感器并对其进行相应配置,获取路况信息图像数据流;
2、视频图像采集传感器将获得的RGB565格式数据发送至视频输入模块的OV_Sensor IP模块,OV_Sensor IP模块对RGB565格式数据进行解码后获得32位宽的数据,Video in To AXI4-Stream IP模块将32位宽的数据转化为满足AXI4_Stream总线接口协议的数据格式后发送到AXI4总线上;
3、MCU驱动AXI4-VDMA IP核将VDMA图像数据流发送到外部存储模块DDR3存储器中;
4、MCU对图像数据进行预处理后驱动AXI4-DMA IP核发送DMA数据流到卷积神经网络加速器进行相应的指定运算,MCU通过GPIO发送标志位数据,由低到高第1位为GPIO使能标志位,第2、3位标志AXI4-DMA IP核发送的是卷积核还是特征图数据,第4位为运算使能标志位,第5、6、7位表示网络层数,第8位标志是否进行relu,第9位为stride值;
5、卷积神经网络加速器接收DDR3存储器中的图像数据,同时根据相应的GPIO值进行卷积运算以检测目标,卷积运算结果再通过AXI4-DMA IP核返回到DDR3存储器;
6、MCU读取卷积神经网络加速器的运算结果,并根据卷积结果识别待检测图像中的目标,根据检测到的目标的
置信度值筛选出大于所设定阈值的目标作为检测结果,选择一个置信度最高的检测结果作为目标识别的区域,对目标识别区域进行分类识别计算得到最终检测目标的
框图大小以及类别;
7、MCU根据目标的框图大小对采集的原始图像数据进行画框处理,并通过AXI4-VDMAIP核、AXI4总线输出到视频输出模块的AXI4-Stream To Video out IP模块,MCU根据目标的类别进行交通流量统计;
8、AXI4-Stream To Video out模块对数据进行格式转换并根据VTC模块发送的时序生成最终的HDMI信号,输出符合HDMI接口协议的数字图像信息到HDMI显示器。
[0028] 本发明的数据通信架构如图2所示,PS模块、PL模块和外部存储模块通过AXI4总线连接以实现模块间的高速数据通信,AXI4-VDMA IP 核输出的接口信号通过AXI4-Interconnect IP核连接到PS端的AXI4_HP0接口;AXI4-DMA接口信号通过AXI4-Interconnect1 IP连接到PS端的AXI4_HP1接口,均由MCU实现驱动控制。
[0029] 具体数据通信原理及过程如下:1、视频输入模块主要包含:OV_Sensor IP模块、Video in To AXI4_Stream IP模块、AXI4-VDMA IP模块、AXI4-Interconnect IP模块,OV_Sensor IP模块将接收到的路况信息图像数据发送到Video in To AXI4_Stream IP模块进行格式转换,经格式转换后的数据通过AXI4总线及AXI4-VDMA接口保存到外部存储模块中;
2、卷积神经网络加速器输入端口与输出端口都采用AXI4_Stream协议,且与AXI4-DMA IP模块输入和输出端口相连,AXI4-DMA IP模块又与AXI4-Interconnect1 IP模块相连,通过AXI4-DMA IP核
访问AXI4-Interconnect1 IP核,并通过AXI4_HP1接口访问DDR3存储器读取外部存储模块中待进行卷积运算的数据信息后进行指定的运算,运算结果通过AXI4-DMA IP核返回到外部存储模块中;
3、MCU通过AXI4_GPIO信号接口连接AXI4_periph IP模块(接口参数配置IP模块),AXI4_periph IP模块对AXI4-Interconnect IP模块、AXI4-VDMA IP模块、AXI4-DMA IP模块和GPIO进行相应配置,如:AXI4_Interconnect IP模块挂载的从设备编号个数,AXI4-VDMA IP模块和AXI4_DMA IP模块的工作模式以及GPIO的寄存器地址等;
4、xlcontact IP模块(信号归并IP模块)把AXI4_DMA IP模块和AXI4_VDMA IP模块2个独立的中断信号合并在一起连接到PS模块中ZYNQ IP模块的IRQ接口;
5、视频输出模块主要包含:AXI4_Stream To Video out IP模块、Hdmi_display IP模块;通过复用AXI4-VDMA IP模块、AXI4-Interconnect IP模块获取外部存储模块中经过画框处理后的视频图像数据,AXI4_Stream To Video out IP模块对经过画框处理后的视频图像数据进行数据格式转换后得到
视频流并输出视频流到Hdmi_display IP模块,Hdmi_display IP模块对视频流进行视频图像编码后显示到HDMI显示器上。
[0030] 以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。