技术领域
[0001] 本
发明涉及光学成像、计算成像、目标检测、识别与
跟踪，以及
人工智能应用等技术领域，尤其是指一种基于深度学习的压缩对象成像方法及系统。
背景技术
[0002] 在复杂的实物场景下，如何模拟
生物视觉系统，快速捕捉到重要的图像信息并进行处理和理解，主动筛选出感兴趣的目标对象，一直是国内外学者热衷的研究方向，具有重要的研究价值。特别是进入到每天都会产生大量数据流的数字化时代，如何充分利用计算机高速计算的特点，在面对复杂的实物场景时，能快速地捕捉到重要的图像信息并进行相应的处理和理解，主动筛选出感兴趣的目标对象，成为多媒体成像技术在
大数据时代下的巨大挑战。
[0003] 近年来，基于深度学习的
卷积神经网络(CNN)的特征提取方法被证明更为精准和有效，因其能够更加有效地模拟人类视觉系统逐级获取目标对象的特征信息，而逐渐成为
计算机视觉领域的主流方法。由此，各学科领域专家纷纷开始探究生物自然视觉的认知机制，尝试使用计算机技术来模拟生物视觉系统来自动筛选和识别人们所感兴趣目标对象。
[0004] 然而目前提出的目标识别和检测方法大都是采用先采集后处理的方式，这会造成系统需要对大量无用信息进行分析和处理，影响系统实时性，且采集到的海量数据在存储和传输过程会给系统
硬件和网络带宽带来巨大的压
力。显然这种方式会受信息传输速度与信息处理速度的限制，成为制约其发展的
瓶颈。如何在确保信息所呈现出来的品质大体不变的前提下，用少量的
采样来获得相近
质量的信息，成为了当务之急。
发明内容
[0005] 针对上述背景技术中的问题，提供一种全新的基于深度学习的压缩对象成像方法。利用深度网络强有效的特征提取技术来获取特定目标对象的特征测量矩阵，然后将其嵌入到单
像素压缩成像系统中，进行目标对象压缩测量，最后通过特定的同一深度学习网络从压缩测量数据中精确恢复出目标对象图像。可以在复杂场景下，在成像过程中排除其他不需要的干扰对象信息，完成对特定目标对象的主动成像。
[0006] 本发明所述的一种基于深度学习的压缩对象成像方法，包括：
[0007] S1获取相机拍摄的训练样本图像；
[0008] S2去除所述训练样本图像的背景干扰，获得只含有样本物体的标签图像；
[0009] S3将所述训练样本图像和所述标签图像输入深度学习网络中训练得出目标对象的特征测量矩阵和目标对象重构子网络；
[0010] S4将含目标对象的被摄场景图像投影在加载有所述特征测量矩阵的空间光
调制器上获得所述目标对象图像的压缩测量数据；
[0011] S5将所述压缩测量数据导入所述目标对象重构子网络中得到压缩对象成像。
[0012] 所述深度学习源于
人工神经网络的研究。含多隐层的多层
感知器就是一种深度学习结构。深度学习通过通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
[0013] 本发明突破了传统成像技术只对整个被摄图像成像的限制，只提取所需的特定目标对象，将其与背景分离，滤除其它背景对象，完成特定目标对象的光学压缩成像，便于目标实时监测、识别与跟踪，同时也大大节省了数据在传输过程中对网络带宽的占用和存储开销，解决了海量数据的存贮与传输问题，提高了系统的实时性，为
机器视觉及人工智能的并行处理提供了可能。
[0014] 具体地，拍摄所述含目标对象的被摄场景图像时设置
光源照射在被摄场景上；所述光源为
激光器发出的光依次经过中性
密度滤光片、针孔
滤波器和傅里叶透镜生成的平行光。
[0015] 所述中性密度滤光片是光强调节器件。中性密度滤光片用于调节光路光强达到实验所需条件。
[0016] 经过针孔滤波器的激光可以汇聚成非常小的一点，所以可作为一个接近于理想的点光源来产生球面波。
[0017] 所述傅里叶透镜作用是将针孔滤波器输出的点光源转换为平行光。
[0018] 进一步地，获取相机拍摄的训练样本图像的步骤包括：将样本物体放置于不同自然环境下，通过相机在固定
位置拍摄图像；在每一种自然环境下，从0度至359度旋转样本对象物体，每旋转30度就在灰白模式下拍摄一次，累计获取2000张不同
角度的训练样本图像。
[0019] 进一步地，所述标签图像是用Photoshop对所述训练样本图像进行抠图操作，去除所有自然环境的背景干扰得到的只含有样本物体的图像。
[0020] 进一步地，将所述训练样本图像和所述标签图像输入深度学习网络中训练得出目标对象的特征测量矩阵和目标对象重构子网络的步骤包括：将所述训练样本图像放入深度学习网络的输入端，将所述标签图像放入深度学习网络的输出端，利用深度学习网络的特征提取技术和端到端训练方法进行训练，
迭代优化误差，待网络收敛后，以深度学习网络第一层的卷积层参数为特征测量矩阵，其他的网络层为目标对象重构子网络。
[0021] 深度学习网络即卷积神经网络，是一种
前馈神经网络，
人工神经元可以响应周围单元，可以进行大型
图像处理。卷积神经网络包括卷积层和
池化层。
[0022] 进一步地，所述特征测量矩阵是以深度学习网络的特征提取技术获取的特定目标对象
压缩感知测量所需的测量矩阵参数；所述目标对象重构子网络包括上采样层、
下采样层和卷积核大小及数量不同的卷积运算层。
[0023] 进一步地，将含目标对象的被摄场景图像投影在加载有所述特征测量矩阵的调制器上获取所述目标对象图像的压缩测量数据的步骤包括：在DMD空间光调制器上加载所述特征测量矩阵，输入含有目标对象的被摄图像并对其进行压缩采样，获取所述目标对象图像的压缩测量数据。
[0024] 空间光调调制器是一类能将信息加载于一维或者两维的光学数据场上，以便有效的利用光的固有速度、并行性和互连能力的器件。例如通过调制光场的振幅，通过折射率调制
相位，通过偏振面的旋转调制偏振态，或是实现非相干--相干光的转换，从而将一定的信息写入光波中，达到光波调制的目的。它常作为实时光学信息处理、光计算和光学神经网络等系统中的构造单元或关键器件。
[0025] 压缩感知，又称压缩采样，压缩传感。它作为一个新的采样理论，通过开发
信号的稀疏特性，在远小于Nyquist采样率的条件下，用随机采样获取信号的离散样本，然后通过非线性重建
算法完美的重建信号。
[0026] 进一步地，将所述压缩测量数据导入所述目标对象重构子网络中得到压缩对象成像，其步骤包括：将所述压缩测量数据输入目标对象重构子网络，经过展开拼接操作、不同特征卷积操作、融合操作、上采样操作和下采样操作及误差迭代，输出压缩对象的重构成像结果。
[0027] 卷积操作是指从图像的左上角开始，开一个与模板同样大小的活动窗口，窗口图像与模板像元对应起来相乘再相加，并用计算结果代替窗口中心的像元
亮度值。然后，活动窗口向右移动一列，并作同样的运算。以此类推，从左到右、从上到下，即可得到一幅新图像。
[0028] 上采样就是采集
模拟信号的样本。采样是将时间上、幅值上都连续的信号，在采样脉冲的作用下，转换成时间、幅值上离散的信号。所以采样又称为
波形的离散化过程。下采样，也就是对信号的
抽取。其实，上采样和下采样都是对
数字信号进行重采，重采的采样率与原来获得该数字信号(比如从模拟信号采样而来)的采样率比较，大于原信号的称为上采样，小于的则称为下采样。
[0029] 本发明还提供一种基于深度学习的压缩对象成像系统，包括：
[0030] 光源生成模
块、图像生成模块、
图像采集模块和图像重构模块；
[0031] 所述光源生成模块用于获取相机拍摄所需的光源；
[0032] 所述图像生成模块用于将含目标对象的被摄场景图像投影在加载有特征测量矩阵的调制器上获得所述目标对象图像的压缩测量数据；
[0033] 所述图像采集模块用于通过汇聚透镜和光电
二极管采集所述目标对象图像的压缩测量数据；
[0034] 所述图像重构模块用于将所述压缩测量数据导入目标对象重构子网络中得到压缩对象成像。
[0035] 进一步地，本发明还提供一种可读储存介质，其上储存有控制程序，其特征在于：该控制程序被处理器执行时实现如上述任意一项所述的基于深度学习的压缩对象成像方法。
[0036] 进一步地，本发明还提供一种计算机控制系统，包括储存器、处理器以及储存在所述储存器中并可被所述处理器执行的控制程序，其特征在于：所述处理器执行所述控制程序时实现如上述任意一项所述的基于深度学习的压缩对象成像方法。
[0037] 为了能更清晰的理解本发明，以下将结合
附图说明阐述本发明的具体实施方式。
附图说明
[0038] 图1为基于分组全卷积神经网络的深度学习网络结构图和基于深度学习的压缩对象成像方法及系统的实验系统图；
[0039] 图2为基于深度学习的压缩对象成像方法及系统的流程
框图；
[0040] 图3为基于深度学习的压缩对象成像方法及系统的结构图。
具体实施方式
[0041] 请参阅图1的Part1和Part3，其为本发明
实施例的基于分组全卷积神经网络的深度学习网络结构图。
[0042] 在该深度学习网络中，Part1为图像的输入和提取目标对象的特征测量矩阵部分，带有CS Layer字样的箭头表示根据压缩感知理论设计的卷积层，网络训练完成后，该卷积层的参数将作为压缩感知理论中的特征测量矩阵，以此实现对特定目标对象的高效测量。作为第一层卷积层的滤波器大小和个数是根据样本以及压缩率的需要，来进行手动调节的，属于超参数。Part3为目标对象的重构子网络和图像的输出部分，带有conv0、conv1、conv2、conv3、conv4、inconv、outconv字样的箭头表示深度学习里卷积神经网络的卷积运算层，其区别在于卷积核的大小及数量不同。各个卷积运算层的滤波器大小、个数和通道数是已确定的。带有up、down字样的箭头分别表示上采样层、下采样层操作。带有reshape+concat字样的箭头表示将大小为16×16×1024的特征图按一定的顺序调整展开为一张512×512大小的图片，以此作为图像的初步重构结果，并送入后续的重构网络。带有concat字样的箭头表示将各分组的卷积通道的特征图进行融合。除了第一层CS Layer作为特定对象的测量矩阵层外，其余的网络层均作为特定对象的重构子网络。
[0043] 本实施例的深度学习网络训练目标对象的特征测量矩阵和目标对象的重构子网络的步骤如下：
[0044] S01：输入512×512×1的灰度图像f，512×512×1的灰度标签图像f0(目标对象)，将灰度图像f划分为16×16个小块，每个小块尺寸为32×32。压缩采样率取103/1024＝10％，则采样矩阵Φ的大小为103×1024。
[0045] 所述灰度图像f是将样本物体放置于不同自然环境下，通过相机在固
定位置拍摄图像。在同一种自然环境下，从0度至359度，每旋转30度就在灰白模式拍摄一次，一共得到2000张不同角度的训练样本图像。
[0046] 所述灰度标签图像f0是利用PhotoShop CS6对灰度图像f进行抠图操作，除掉所有场景背景干扰，得到只含有特定样本物体的标签图像。
[0047] S02：第一层卷积层滤波器大小设置为32×32，卷积步长设为32×32，滤波器个数为103个，相对于将一个滤波器视作为一次采样测量。第一层卷积层滤波器的所有参数即为特征测量矩阵Φ。输入图像f经过第一层卷积层CS Layer后，得到的特征图大小为16×16×103，简记为T1。特征图T1存储的是原输入图像f的16×16个32×32大小的图像块经过10％采样率采样得到的16×16×103个数据点，即目标对象的压缩采样数据f'0。
[0048] 步骤S02中，关于特征测量矩阵(采样矩阵)的构造，根据压缩感知(CS)理论中的分块压缩思想，可以用一个卷积层模拟传统的压缩感知采样矩阵Φ。假设图像块的划分大小2 2
为K×K，采样率为n/N，那么测量矩阵Φ是一个nk＝[n/N·K]行K 列的矩阵。那么第一层卷积层将会是一个有nK＝[n/N·K2]个K×K大小滤波器的卷积层，将滤波器(卷积核)在输入图像上的滑动步长设置为K×K，即可完成对图像的分块压缩。网络训练完成后此卷积层的滤波器参数可以构造为一个 的测量矩阵。
[0049] S03：将第二层卷积层conv0层的滤波器大小设置为1×1×1024×103，1024为滤波器个数，103为滤波器通道数。步骤S02中的特征图T1经过第二个卷积层conv0层后，输出的特征图大小为16×16×1024，简记为T2。此时特征图T2存储的是步骤S02中压缩采样数据f'0的初步重构结果。
[0050] S04：将步骤S03中得到的特征图T2输入到reshape+concat层，进行展开拼接操作，得到特征图T3，此时特征图T3大小为原输入图像大小512×512×1，简记为T5。至此完成图像的初步重构。
[0051] 展开拼接参数是和第一层卷积层的滤波器参数是匹配的。
[0052] S05：将初步重构的图像T5输入到分组全卷积神经网络中，完成对目标对象的精细重构。其中分组全卷积神经网络前半部份由4个不同的卷积层通道组成，每个卷积层通道由一系列的卷积和下采样操作组成，不同的卷积通道分别提取的是目标对象的不同特征，最后再经过concat层进行融合，融合后经过两层的下采样和三次上采样后，最后输出目标对象的重构结果 是目标图像f0的参数估计。
[0053] 精细重构网络的整个网络的滤波器个数和大小参数是固定的。
[0054] S06：将输出的目标对象重构结果 和目标图像f0进行MSE误差计算，通过深度学习迭代
优化算法使误差最小化，以完成对压缩对象的精准重构。
[0055] 网络训练过程中，网络模型的训练参数如下：
[0056]
[0057] S07：网络训练完毕后，保存整个深度学习网络的模型参数。
[0058] 请参阅图1的Part2，其为本发明实施例的基于深度学习的压缩对象成像方法及系统的实验系统图。
[0059] P1：光源生成模块21，通过激光器211发出的光依次经过中性密度滤光片212、针孔滤波器213和傅里叶透镜214生成平行光。
[0060] P2：图像生成模块22，平行光透过含目标对象的被摄场景图像221后，经过双凸透镜222将物象汇聚到加载有Part1中所述目标对象的特征测量矩阵的DMD空间光空间光调制器224平面上，完成对目标对象的压缩采样。
[0061] 在步骤P2中，目标对象的特征测量矩阵223即图像1-M为深度学习网络训练收敛后获得的特定测量矩阵的图像。将特征测量矩阵Φ加载到DMD空间光调制器224上进行采样的过程，可以表示为:
[0062] yi＝Φxi，
[0063] 其中， 表示划分大小为K×K的第i个图像块， 表示第i个图像块压缩采样后的结果，nK表示测量次数，也是第一层卷积层的滤波器的个数，i∈{1,
2,···,m},m表示输入图像能被分割成K×K大小的最大块数。
[0064] P3：图像采集模块23，通过汇聚透镜232和
光电二极管231进行目标对象图像压缩数据的采集。
[0065] P4：图像重构模块24，利用PC机24，将采集到的数据导入到Part3中的目标对象的重构子网络的输入端，完成压缩对象成像。
[0066] 请参阅图2，其为本发明实施例的基于深度学习的压缩对象成像方法及系统的流程框图。
[0067] 首先在训练阶段，输入训练样本图像，将样本图像库的2000张图片输入深度学习网络进行训练，待网络收敛后，第一层的卷积层参数作为目标对象的特征测量矩阵，剩余的网络层作为目标对象的重构子网络；然后在实验阶段，通过Part2的基于深度学习的压缩对象成像实验系统，将含目标对象的被摄场景图像投影在加载有Part1中所述目标对象的特征测量矩阵的DMD空间光调制器上获得所述目标对象图像的压缩测量数据。获得的压缩测量数据导入Part3目标对象的重构子网络，最终完成压缩对象成像。
[0068] 本发明的实施例设计了一种用于压缩对象成像的基于分组全卷积神经网络的深度学习网络，该网络具备训练目标对象的特征测量矩阵和完成目标对象重构(成像)两大功能。网络的输入端是包含特定目标物体图像的样本库图片，输出端的标签图是只出现特定目标物体图像且背景为黑色的标签图像。利用深度网络强有效的特征提取技术和端到端训练的优点，通过迭代训练来获取特定目标对象的特征测量矩阵和重构图像的输出。
[0069] 网络训练完成后，将网络第一层卷积层的参数作为目标对象的特征测量矩阵，将其加载到DMD上完成对目标对象的高效压缩测量。
[0070] 将压缩测量数据导入到深度学习网络的重构子网络来完成对压缩测量数据的快速重构，实现压缩对象成像。
[0071] 请参阅图3，其为本发明实施例的基于深度学习的压缩对象成像方法及系统的结构图。
[0072] 本发明还提供一种基于深度学习的压缩对象成像系统，包括：
[0073] 光源生成模块21、图像生成模块22、图像采集模块23和图像重构模块24；
[0074] 所述光源生成模块21用于获取相机拍摄所需的光源；
[0075] 所述图像生成模块22用于将含目标对象的被摄场景图像投影在加载有所述特征测量矩阵的空间光调制器DMD上获得所述目标对象图像的压缩测量数据；
[0076] 所述图像采集模块23用于通过汇聚透镜和光电二极管采集所述目标对象图像的压缩测量数据；
[0077] 所述图像重构模块24用于将所述压缩测量数据导入所述目标对象重构子网络中得到压缩对象成像。
[0078] 在图3中，右半部分对应的是基于深度学习的压缩对象成像方法的计算机
软件结构图，其中包含图像输入11，特征测量矩阵12，对象成像(图像重构)31和图像输出32步骤。左半部分对应的是基于深度学习的压缩对象成像方法及系统的实验结构图，其中包括光源生成模块21，图像生成模块22，图像采集模块23，图像重构模块24。
[0079] 在图3中，基于深度学习的压缩对象成像方法的计算机软件流程里的图像输入11和目标对象的特征测量矩阵12两步骤对应实验系统结构图里的图像生成模块22；对象成像(图像重构)31和图像输出32两步骤对应实验系统里的图像重构模块24。
[0080] 本发明的核心在于使用有效的深度学习特征提取方法对特定目标对象的特征进行提取，通过训练得到目标对象的特征测量矩阵，形成特定对象的特征滤波器。该特征滤波器与其他普通滤波器(如
低通滤波器等)不同，它能够将复杂场景下特定的目标对象的特征信息，投影到特有的数学特征信号子空间下，该子空间能够将特定目标对象特征与其他干扰对象特征信息分离出来，从而能够通过该成像系统将复杂场景中的特定目标对象筛选出来，实现特定对象的主动成像过程。利用深度学习网络强有效的特征提取方法，能够生成特定目标对象的特征特征测量矩阵。
[0081] 本发明只提取所需的特定目标对象，将其与背景分离，滤除其它背景对象，从而可以在复杂场景下，在成像过程中排除其他不需要的干扰对象信息，完成对特定目标对象的主动成像。同时节省了数据在传输过程中对网络带宽的占用和存储开销，解决了海量数据的存贮与传输问题，提高了系统的实时性，为机器视觉及人工智能的并行处理提供了可能。
[0082] 经过仿真实验表明，本发明能较好的去除图像中的干扰背景，只对特定目标对象成像，且
精度高，验证了基于深度学习的压缩对象成像方法是切实可行的。
[0083] 相对于
现有技术，本发明突破了普通成像方法中先成像后处理的局限，不仅能在成像端实现对特定目标对象的主动识别成像，也避免了对场景中所有对象的全局信息进行分析处理的过程，大大减少了信息的处理量以及无用信息的存储传输，节省了数据在传输过程中对网络带宽的占用和存储开销，具有很好地实时性。除此之外，本发明可以在样本数据非常少的情况下进行训练，以少量的测量次数即可得到精准的重构结果。这样大大减少了数据集采集过程中对资金、时间和人力的消耗，在医疗、军事、遥感、导航等特定领域拥有重要而深远的应用前景。
[0084] 与传统成像方法相比较，本发明能够突破传统成像技术只对整个被摄场景成像的限制，在成像过程中只提取我们感兴趣的特定目标对象，并将其与背景分离，滤除其它背景对象。这样，拍摄采集到的画面只存有我们所需关注的感兴趣的特定对象，而其他背景干扰对象我们不再考虑甚至不需要传输，就可达到节省网络带宽占用和视频存储空间的目的，实现对目标对象的主动成像过程。
[0085] 其次，相比于采用
机器学习方法来完成测量矩阵的设计，用传统的TVAL3方法来完成重建过程的基于压缩感知的对象成像方法，本发明集采样与重构于一体，借助于深度学习强有力的特征学习能力，实现目标对象特征测量矩阵的提取和目标对象重构(成像)两大任务的协同优化。在复杂场景下，能够快速且精确的实现对象成像，具有精度高，实时性好，鲁棒性强的优点。在视频监控、
虚拟现实、
人机交互、自主导航等领域，具有重要的理论研究意义和实际应用价值。
[0086] 在复杂场景下进行成像时，将训练好的模型参数作为特定目标对象的特征滤波器，利用光学与电学成像方法，即可实现在成像过程中，把目标对象从被摄场景中筛选出来，滤除掉背景中其他干扰对象，实现对特定目标的主动成像。
[0087] 本发明并不局限于上述实施方式，如果对本发明的各种改动或
变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的
权利要求和等同技术范围之内，则本发明也一同包含这些改动和变形。
