图像重构方法和装置
阅读：182发布：2020-05-11
专利汇可以提供图像重构方法和装置专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种图像重构方法和装置。该方法包括：利用 观测矩阵 对原始图像进行 水 平 像素 方向和竖直像素方向的二维压缩，获得 压缩 感知 图像，压缩感知图像的每个像素观测值指示原始图像相邻元素之间的空间相关性；构建深度 卷积神经网络 ，并利用训练图像集对深度卷积神经网络进行训练，获得训练好的深度卷积神经网络；将压缩感知图像输入训练好的深度卷积神经网络，利用训练好的深度卷积神经网络对压缩感知图像进行图像重构，获得图片的重构图像。，下面是图像重构方法和装置专利的具体信息内容。
1.一种图像重构方法，其中，包括：
利用观测矩阵对原始图像进行水平像素方向和竖直像素方向的二维压缩，获得压缩感知图像，所述压缩感知图像的每个像素观测值指示所述原始图像相邻元素之间的空间相关性；
构建深度卷积神经网络，并利用训练图像集对所述深度卷积神经网络进行训练，获得训练好的深度卷积神经网络；
将所述压缩感知图像输入所述训练好的深度卷积神经网络，利用所述训练好的深度卷积神经网络对所述压缩感知图像进行图像重构，获得所述图片的重构图像。
2.根据权利要求1所述的方法，其中，所述利用观测矩阵对原始图像进行水平像素方向和竖直像素方向的二维压缩，包括：
构建观测矩阵，所述观测矩阵为稀疏矩阵，其矩阵元素只包括0与1；
计算所述观测矩阵的转置矩阵；
利用所述观测矩阵和所述转置矩阵对原始图像进行水平像素方向和竖直像素方向的二维压缩。
3.根据权利要求2所述的方法，其中，所述观测矩阵为矩阵元素中的数值1分布符合预设规律的行阶梯矩阵，所述预设规律包括：所述观测矩阵中的元素a0,0＝a0,1＝1，a1,2＝a1,3＝1，ai,2i＝a2,2i+1＝1，参数a为所述观测矩阵的元素，参数的下角标i为大于1小于N-1的自然数，N为所述观测矩阵的行数。
4.根据权利要求1所述的方法，其中，所述利用观测矩阵对原始图像水平像素方向和竖直像素方向的进行二维压缩，获得压缩感知图像，包括：
把所述原始图像分割成均匀大小的多个图像块；
利用所述观测矩阵对所述多个图像块进行水平像素方向和竖直像素方向的二维压缩，获得多个压缩后的图像块数据；
将所述多个压缩后的图像块数据分别重排为多个列向量，所述多个列向量为所述压缩感知图像数据。
5.根据权利要求1所述的方法，其中，所述构建深度卷积神经网络，包括：
构建包括输入层、全连接层、神经元重组层和串行的预定数量卷积层的深度卷积神经网络；
设置与每个卷积层对应的激活函数，在每个所述卷积层后连接相应的具有非线性特征的激活函数。
6.根据权利要求5所述的方法，其中，所述构建深度卷积神经网络，具体包括：
构建所述输入层的输入数据与输出数据为维度相同的列向量数据，所述全连接层的输出数据为维度高于与其输入数据维度的列向量，所述输入层输出数据的列向量维度与所述全连接层输入数据的列向量维度相同；
构建所述神经元重组层的输入数据为与所述全连接层输出数据维度相同的列向量，所述神经元重组层的输出数据为一维矩阵；
构建串行的三层卷积层，其中，
第一层卷积层的输入数据为与所述神经元重组层输出数据在矩阵大小上相同的一维矩阵，所述第一层卷积层的输出数据为与其输入数据在矩阵大小上相同的多维矩阵；与所述第一层卷积层连接的激活函数的输入数据与输出数据均为与所述第一层卷积层输出数据在矩阵大小与矩阵维度上均相同的多维矩阵；
第二层卷积层的输入数据为与所述第一层卷积层输出数据在矩阵大小与矩阵维度上均相同的多维矩阵，所述第二层卷积层的输出数据为与其输入数据在矩阵大小上相同而矩阵维度小于输入数据的多维矩阵；与所述第二层卷积层连接的激活函数的输入数据与输出数据均为与所述第二层卷积层输出数据在矩阵大小与矩阵维度上均相同的多维矩阵；
第三层卷积层的输入数据为与所述第二层卷积层输出数据在矩阵大小与矩阵维度上均相同的多维矩阵，所述第三层卷积层的输出数据为与其输入数据在矩阵大小上相同的一维矩阵；与所述第三层卷积层连接的激活函数的输入数据与输出数据均为与所述第三层卷积层输出数据在矩阵大小相同的一维矩阵。
7.根据权利要求6所述的方法，其中，所述构建深度卷积神经网络，进一步包括：
将线性修正单元作为与每个所述卷积层相连接的所述激活函数，并设置与所述第三层卷积层相连接的所述激活函数的输出数据的最大值不大于1。
8.根据权利要求5所述的方法，其中，所述利用所述训练好的深度卷积神经网络对所述压缩感知图像进行图像重构包括：
通过所述输入层接收所述压缩感知图像数据，并将所述压缩感知图像数据输入至所述全连接层；
通过所述全连接层对所述压缩感知图像数据进行升维处理，将经升维处理后的压缩感知图像数据输入所述神经元重组层；
通过所述神经元重组层对所述压缩感知图像数据进行神经元重组操作，将重组后的压缩感知图像数据输入所述串行的卷积层进行重构。
9.一种图像重构装置，其中，包括：
压缩处理单元，利用观测矩阵对原始图像进行水平像素方向和竖直像素方向的二维压缩，获得压缩感知图像，所述压缩感知图像的每个像素观测值指示所述原始图像相邻元素之间的空间相关性；
预处理单元，构建深度卷积神经网络，并利用训练图像集对所述深度卷积神经网络进行训练，获得训练好的深度卷积神经网络；
重构单元，将所述压缩感知图像输入所述训练好的深度卷积神经网络，利用所述训练好的深度卷积神经网络对所述压缩感知图像进行图像重构，获得所述图片的重构图像。
10.根据权利要求9所述的装置，其中，所述压缩处理单元包括矩阵计算模块、分割模块、压缩模块和重排模块；
所述矩阵计算模块用于：构建观测矩阵，所述观测矩阵为稀疏矩阵，其矩阵元素只包括
0与1；计算所述观测矩阵的转置矩阵；利用所述观测矩阵和所述转置矩阵对原始图像进行水平像素方向和竖直像素方向的二维压缩；
所述分割模块用于，将所述原始图像分割成均匀大小的多个图像块；
所述压缩模块用于，利用所述观测矩阵对所述多个图像块进行水平像素方向和竖直像素方向的二维压缩，获得多个压缩后的图像块数据；
所述重排模块用于，将所述多个压缩后的图像块数据分别重排为多个列向量，所述多个列向量为所述压缩感知图像数据。
图像重构方法和装置
技术领域
背景技术
[0002] 压缩感知(Compressed Sensing,CS)理论是近年来针对稀疏信号提出的一种新兴采样理论，以远低于奈奎斯特频率的速度成功实现了对信号的同时采样与压缩。将压缩感知技术运用到图像重构系统，仅需采样少量数据即可解决系统收发两端的压缩、传输和重构等问题,从而降低在传输、存储过程中的带宽资源浪费和硬件设备代价。因此，图像压缩感知的研究具有重要意义。
[0004] 在压缩感知图像领域出现了大量优秀的重构算法，但传统的重构算法实时性比较差，深度学习通过线下训练，利用训练好的参数对压缩感知图像进行重构，达到了很好的实时性。现有技术提出了很多基于深度学习压缩感知图像重构方法，例如重构网络ReconNet方法，该方法利用观测矩阵对图像进行一维压缩，并没有利用图像的空间结构信息，影响图像的重构质量。
发明内容
[0005] 本发明的目的在于提供一种用于图像重构的新的技术方案。
[0006] 根据本发明的第一方面，提供了一种图像重构方法，其包括：利用观测矩阵对原始图像进行水平像素方向和竖直像素方向的二维压缩，获得压缩感知图像，压缩感知图像的每个像素观测值指示原始图像相邻元素之间的空间相关性；构建深度卷积神经网络，并利用训练图像集对深度卷积神经网络进行训练，获得训练好的深度卷积神经网络；将压缩感知图像输入训练好的深度卷积神经网络，利用训练好的深度卷积神经网络对压缩感知图像进行图像重构，获得图片的重构图像。
[0007] 可选地，利用观测矩阵对原始图像进行水平像素方向和竖直像素方向的二维压缩，包括：构建观测矩阵，观测矩阵为稀疏矩阵，其矩阵元素只包括0与1；计算观测矩阵的转置矩阵；利用观测矩阵和转置矩阵对原始图像进行水平像素方向和竖直像素方向的二维压缩。
[0008] 可选地，观测矩阵为矩阵元素中的数值1分布符合预设规律的行阶梯矩阵，预设规律包括：观测矩阵中的元素a0,0＝a0,1＝1，a1,2＝a1,3＝1，ai,2i＝a2,2i+1＝1，参数a为观测矩阵的元素，参数的下角标i为大于1小于N-1的自然数，N为观测矩阵的行数。
[0009] 可选地，利用观测矩阵对原始图像水平像素方向和竖直像素方向的进行二维压缩，获得压缩感知图像，包括：把原始图像分割成均匀大小的多个图像块；利用观测矩阵对多个图像块进行水平像素方向和竖直像素方向的二维压缩，获得多个压缩后的图像块数据；将多个压缩后的图像块数据分别重排为多个列向量，多个列向量为所述压缩感知图像数据。
[0010] 可选地，构建深度卷积神经网络，包括：构建包括输入层、全连接层、神经元重组层和串行的预定数量卷积层的深度卷积神经网络；设置与每个卷积层对应的激活函数，在每个卷积层后连接相应的具有非线性特征的激活函数。
[0011] 可选地，构建深度卷积神经网络，具体包括：构建输入层的输入数据与输出数据为维度相同的列向量数据，全连接层的输出数据为维度高于与其输入数据维度的列向量，输入层输出数据的列向量维度与全连接层输入数据的列向量维度相同；构建神经元重组层的输入数据为与全连接层输出数据维度相同的列向量，神经元重组层的输出数据为一维矩阵；构建串行的三层卷积层，其中，第一层卷积层的输入数据为与神经元重组层输出数据在矩阵大小上相同的一维矩阵，第一层卷积层的输出数据为与其输入数据在矩阵大小上相同的多维矩阵；与第一层卷积层连接的激活函数的输入数据与输出数据均为与第一层卷积层输出数据在矩阵大小与矩阵维度上均相同的多维矩阵；第二层卷积层的输入数据为与所述第一层卷积层输出数据在矩阵大小与矩阵维度上均相同的多维矩阵，第二层卷积层的输出数据为与其输入数据在矩阵大小上相同而矩阵维度小于输入数据的多维矩阵；与第二层卷积层连接的激活函数的输入数据与输出数据均为与第二层卷积层输出数据在矩阵大小与矩阵维度上均相同的多维矩阵；第三层卷积层的输入数据为与第二层卷积层输出数据在矩阵大小与矩阵维度上均相同的多维矩阵，第三层卷积层的输出数据为与其输入数据在矩阵大小上相同的一维矩阵；与第三层卷积层连接的激活函数的输入数据与输出数据均为与第三层卷积层输出数据在矩阵大小相同的一维矩阵。
[0012] 优选地，构建深度卷积神经网络，进一步包括：将线性修正单元作为与每个卷积层相连接的激活函数，并设置与第三层卷积层相连接的激活函数的输出数据的最大值不大于1。
[0013] 优选地，利用训练好的深度卷积神经网络对压缩感知图像进行图像重构包括：通过输入层接收所述压缩感知图像数据，并将压缩感知图像数据输入至全连接层；通过全连接层对压缩感知图像数据进行升维处理，将经升维处理后的压缩感知图像数据输入神经元重组层；通过神经元重组层对压缩感知图像数据进行神经元重组操作，将重组后的压缩感知图像数据输入串行的卷积层进行重构。
[0014] 根据本发明的第二方面，还提供一种图像重构装置，其包括：压缩处理单元，利用观测矩阵对原始图像进行水平像素方向和竖直像素方向的二维压缩，获得压缩感知图像，压缩感知图像的每个像素观测值指示原始图像相邻元素之间的空间相关性；预处理单元，构建深度卷积神经网络，并利用训练图像集对深度卷积神经网络进行训练，获得训练好的深度卷积神经网络；重构单元，将压缩感知图像输入训练好的深度卷积神经网络，利用训练好的深度卷积神经网络对压缩感知图像进行图像重构，获得图片的重构图像。
[0015] 可选地，压缩处理单元包括矩阵计算模块、分割模块、压缩模块和重排模块；矩阵计算模块用于：构建观测矩阵，观测矩阵为稀疏矩阵，其矩阵元素只包括0与1；计算观测矩阵的转置矩阵；利用观测矩阵和转置矩阵对原始图像进行水平像素方向和竖直像素方向的二维压缩；分割模块用于，将原始图像分割成均匀大小的多个图像块；压缩模块用于，利用观测矩阵对多个图像块进行水平像素方向和竖直像素方向的二维压缩，获得多个压缩后的图像块数据；重排模块用于，将多个压缩后的图像块数据分别重排为多个列向量，多个列向量为压缩感知图像数据。
[0016] 本发明的一个有益效果在于：根据本发明实施例的方法和装置，其针对于传统的压缩感知图像重构方案进行改进，利用观测矩阵对原始图像进行二维压缩，充分利用原始图像的空间信息，通过提高重构图像的PSNR，达到改善图像重构质量的效果。
附图说明
[0018] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0019] 图1是根据本发明实施例的图像重构系统的硬件结构示意图；
[0020] 图2是根据本发明实施例的图像重构方法的流程示意图；
[0021] 图3是根据本发明实施例的图像重构过程；
[0023] 图5是根据本发明实施例的第一激活函数与第二激活函数的曲线示意图；
[0024] 图6是根据本发明实施例的第三激活函数的曲线示意图；
[0025] 图7是根据本发明实施例的原始图像示意图；
[0026] 图8是根据本发明实施例的采用对比方法进行图像重构的重构图像示意图；
[0027] 图9是根据本发明实施例的采用改进方法进行图像重构的重构图像示意图；
[0028] 图10是根据本发明实施例的图像重构装置的框图。
具体实施方式
[0029] 现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
[0030] 以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
[0032] 在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
[0033] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0034] <实施例一>
[0035] 图1是根据本发明实施例的图像重构系统100的硬件配置的框图。
[0036] 如图1所示，图像重构系统100包括图像采集装置1000和图像重构装置2000。
[0037] 图像采集装置1000用于采集图像，并将采集到的图像提供至图像重构装置2000。
[0038] 该图像采集装置1000可以是能够进行拍照的任意成像设备，例如摄像头等。
[0040] 在本实施例中，参照图1所示，图像重构装置2000可以包括处理器2100、存储器2200、接口装置2300、通信装置2400、显示装置2500、输入装置2600、扬声器2700、麦克风
2800等等。
2800等等。
[0041] 处理器2100可以是移动版处理器。存储器2200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置2300例如包括USB接口、耳机接口等。通信装置2400例如能够进行有线或无线通信，通信装置2400可以包括短距离通信装置，例如是基于Hilink协议、WiFi(IEEE 802.11协议)、Mesh、蓝牙、ZigBee、Thread、Z-Wave、NFC、UWB、LiFi等短距离无线通信协议进行短距离无线通信的任意装置，通信装置2400也可以包括远程通信装置，例如是进行WLAN、GPRS、2G/3G/4G/5G远程通信的任意装置。显示装置2500例如是液晶显示屏、触摸显示屏等，显示装置2500用于显示图像采集装置采集的目标图像。输入装置2600例如可以包括触摸屏、键盘等。用户可以通过扬声器2700和麦克风2800输入/输出语音信息。
[0042] 在该实施例中，图像重构装置2000的存储器2200用于存储指令，该指令用于控制处理器2100进行操作以至少执行根据本发明任意实施例的图像重构方法。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
[0043] 尽管在图1中示出了图像重构装置2000的多个装置，但是，本发明可以仅涉及其中的部分装置，例如，图像重构装置2000只涉及存储器2200、处理器2100和显示装置2500。
[0044] 在本实施例中，图像采集装置1000用于采集图像提供至图像重构装置2000，图像重构装置2000则基于该图像实施根据本发明任意实施例的方法。
[0045] 应当理解的是，尽管图1仅示出一个图像采集装置1000和一个图像重构装置2000，但不意味着限制各自的数量，图像重构系统100中可以包含多个图像采集装置1000和/或图像重构装置2000。
[0046] <实施例二>
[0047] 本发明实施例还提供了一种图像重构方法，根据图2所示，本实施例的图像重构方法具体包括如下步骤S2100～S2300：
[0048] 步骤S2100，利用观测矩阵对原始图像进行水平像素方向和竖直像素方向的二维压缩，获得压缩感知图像，压缩感知图像的每个像素观测值指示原始图像相邻元素之间的空间相关性。
[0049] 原始图像为根据业务要求进行拍照获得的图像，可以是用于医学监控的医学图像。
[0050] 在一个例子中，该原始图像可以为数字图像，该数字图像可以是由无数个像素点组成。在此，该数字图像可以基于不同的颜色模式进行显示，该颜色模式例如但不限于是RGB(Red，Green，Blue)色彩模式、CMYK(Cyan，Magenta，Yellow，Black)色彩模式、HSB(Hue Saturate Bright)色彩模式以及位图模式等。在另一个例子中，该原始图像也可以为模拟图像。
[0051] 在本实施例中，可以是采用压缩感知观测技术对原始图像进行压缩处理，压缩感知观测过程是观测矩阵对原始图像的像素值进行线性加权求和的过程。通过对原始图像进行压缩感知观测处理，以得到包括原始图像空间信息的特征数据，其中，该特征数据可以是256维度的特征向量数据，当然，还可以是其他维度的特征向量数据，在此不做限定。
[0052] 目前，在基于深度学习压缩感知图像重构网络中，大多采用观测矩阵对图像进行一维压缩，使得压缩感知图像中每个像素观测值都包含了图片的所有信息，没有区分出图像的空间结构信息，也即在重构过程中没有利用图像的空间结构信息，导致图像重构质量较差。
[0053] 由于图片局部存在着一定的空间相关性，对图片进行一维压缩的观测矩阵没有考虑到这种空间相关性。为了利用图片的空间相关性，本实施例中，利用的观测矩阵对原始图像进行观测，每个像素观测值只包含原始图像局部邻近(例如，2x2的4个像素值)的像素信息，而不包含远离这个局部的其他像素信息。因此本实施例在重构时，能利用相邻像素之间的空间相关性信息，也排除了较远像素对当前局部邻近像素的干扰，提高了重构效果。即本实施例中，其是利用特殊形式的观测矩阵对原始图像进行二维压缩，充分利用原始图像的空间结构信息，达到提高重构图像的峰值信噪比(Peak Signal to Noise Ratio，PSNR)，提高图像重构质量的目的。
[0054] 在执行步骤S2100利用观测矩阵对原始图像进行水平像素方向和竖直像素方向的二维压缩，获得压缩感知图像之后，进入步骤S2200。
[0055] 步骤S2200，构建深度卷积神经网络，并利用训练图像集对深度卷积神经网络进行训练，获得训练好的深度卷积神经网络。
[0056] 本实施例中，构建深度卷积神经网络时，主要考虑卷积层的构建。在构建卷积层时，可以基于重构性能与重构效率，均衡卷积层的数量。如图3所示，本发明一个实施例中，深度卷积神经网络采用三层卷积层，即可达到很好的重构性能，也可以增加深度卷积神经网络的深度，即添加更多层的卷积层，但会增加网络重构时的计算量，从而降低实时性。因此，本实施例中卷积层的数量优选为三层。
[0057] 在执行步骤S2200构建深度卷积神经网络，并利用训练图像集对深度卷积神经网络进行训练，获得训练好的深度卷积神经网络之后，进入步骤S2300。
[0058] 步骤S2300，将压缩感知图像输入训练好的深度卷积神经网络，利用训练好的深度卷积神经网络对压缩感知图像进行图像重构，获得图片的重构图像。
[0059] 根据本发明实施例的方法，其针对于传统的压缩感知图像重构方案进行改进，利用观测矩阵对原始图像进行水平像素方向和竖直像素方向的两个维度上的二维压缩，充分利用原始图像相邻像素之间的空间相关信息，通过提高重构图像的PSNR，达到提高图像重构质量的效果。
[0060] <实施例三>
[0061] 本发明实施例还提供了一种图像重构方法，在本实施例中，上述步骤S2100中利用观测矩阵对原始图像进行水平像素方向和竖直像素方向的二维压缩，获得压缩感知图像可以进一步包括如下步骤S2110～S2130：
[0062] 步骤S2110，构建观测矩阵，观测矩阵为稀疏矩阵，观测矩阵的矩阵元素只包括0与1。
[0063] 本实施例中，观测矩阵的规模相较于现有技术而言，规模较小。示例性的，现有技术中，用于一维压缩的观测矩阵大小一般为272×1089＝296208，而本实施例中的观测矩阵的大小为16×32＝512，观测矩阵的规模远远小于现有技术观测矩阵的规模。
[0064] 且由于本实施例的观测矩阵是稀疏矩阵，其元素只有0和1且1的个数很少，这样就降低了存储的位数，便于存储，存储量是现有技术的1024/296208＝0.35％。
[0065] 在一个具体示例中，该观测矩阵为矩阵元素中的数值1分布符合预设规律的行阶梯矩阵，预设规律包括：观测矩阵中的元素a0,0＝a0,1＝1，a1,2＝a1,3＝1，ai,2i＝a2,2i+1＝1，观测矩阵中的其他元素均为零；其中，参数a为观测矩阵的元素，参数的下角标i为大于1小于N-1的自然数，N为观测矩阵的行数。
[0066] 示例性的，观测矩阵的矩阵大小为16*32，该观测矩阵中的矩阵元素包括32个1，且该观测矩阵为矩阵元素中的数值1分布符合上述a0,0＝a0,1＝1，a1,2＝a1,3＝1，ai,2i＝a2,2i+1＝1的规律。
[0067] 该行阶梯观测矩阵如下：
[0068]
[0069] 步骤S2120，计算观测矩阵的转置矩阵。
[0070] 针对上述示例的16*32大小的行阶梯观测矩阵，其转置矩阵的规模为32*16。
[0071] 步骤S2130，利用观测矩阵和转置矩阵对原始图像进行水平像素方向和竖直像素方向的二维压缩。
[0072] 现有技术中，利用规模为272×1089＝296208的观测矩阵进行图像观测的过为：利用观测矩阵Φ′与图像数据x′之间的乘积所得到的乘积结果y′作为压缩感知图像数据，由此实现一维图像观测。其具体的图像观测过程参考公式(1)所示，公式(1)中的参数Φ′为观测矩阵， 为观测矩阵的元素，参数x′为图像的列向量数据，x′1,x′2,x′3...x′1088,x′1089为列向量的向量元素，y′为压缩感知图像数据，y′1...y′272为压缩感知图像数据中的像素观察值。
[0073]
[0074] 而本实施例中，如图3所示，利用规模为16×32＝512的观测矩阵进行图像观测的过程为：利用观测矩阵Φ与原始图像x之间的乘积结果Φ·x再与原始图像Φ的转置矩阵ΦT相乘，所得到的乘积结果y作为压缩感知图像数据，由此实现二维图像观测。其具体的图像观测过程参考公式(2)所示，公式(2)中的参数Φ为观测矩阵， 为观测矩阵的元素，参数x为原始图像的矩阵数据，参数ΦT为转置矩阵，x1,1,x1,2,x1,3...x32,31,x32,32为原始图像的矩阵数据的矩阵元素，y为压缩感知图像的矩阵数据，y1,1...y16,16为压缩感知图像的矩阵数据中的像素观察值。
[0075]
[0076] 可见，采用观测矩阵进行图像观测时，现有技术的乘法计算次数和加法计算次数分别为272×1089×1＝296208和272×1088×1＝295936，而本实施例的乘法计算次数和加法计算次数分别为16×32×32+16×32×16＝24576和16×3×32+16×3×16＝23808，乘法计算和加法计算的总次数是现有技术的8.3％，本实施例的压缩感知观测过程可以加速压缩感知图像的速度，显著降低所需硬件存储资源。
[0077] <实施例四>
[0078] 本发明实施例还提供了一种图像重构方法，在本实施例中，上述步骤S2100中利用观测矩阵对原始图像进行水平像素方向和竖直像素方向的二维压缩，获得压缩感知图像可以进一步包括如下步骤S2140～S2160：
[0079] 步骤S2140，把原始图像分割成均匀大小的多个图像块。
[0080] 可以根据图像尺寸，将该原始图像分割成大小一致的多个图像块，例如可以把该原始图像分割成32*32的小图像块。
[0081] 步骤S2150，利用观测矩阵对多个图像块进行水平像素方向和竖直像素方向的二维压缩，获得多个压缩后的图像块数据。
[0082] 本实施例中，可以利用实施例三中的图像压缩方法对每个图像块进行压缩处理，例如利用上述的16*32行阶梯观测矩阵和32*16的转置矩阵对每个图像块的像素值进行线性加权求和处理，得到压缩后的16*16图像块。
[0083] 步骤S2160，将多个压缩后的图像块数据分别重排为多个列向量，多个列向量为压缩感知图像数据。
[0084] 在得到压缩后的16*16图像块之后，将其重排成大小为256的列向量，当得到多个16*16图像块之后，将每个图像块都重拍成大小为256的列向量，由此得到多个256的列向量，为便于处理，可以进一步将这多个256的列向量按序排列为一个列向量，以便于送入到深度卷积神经网络进行图像重构。
[0085] 根据本实施例，完成对图像的压缩感知处理，获得包括图像空间信息的压缩图像。
[0086] <实施例五>
[0087] 本发明实施例还提供了一种图像重构方法，在本实施例中，上述步骤S2200中构建深度卷积神经网络，并利用神经网络训练图像集对深度卷积神经网络进行训练，获得训练好的深度卷积神经网络可以进一步包括如下步骤S2210～S2220：
[0088] 步骤S2210，构建包括输入层、全连接层、神经元重组层和串行的预定数量卷积层的深度卷积神经网络。
[0089] 可以以keras深度学习框架为基础构建深度卷积神经网络，减少图像重构的耗时。
[0090] 步骤S2220，设置与每个卷积层对应的激活函数，在每个卷积层后连接相应的具有非线性特征的激活函数。
[0091] 在一个实施例中，参考图4，深度卷积神经网络的构建构成包括下述步骤S2211～S2213：
[0092] 步骤S2211，构建输入层的输入数据与输出数据为维度相同的列向量数据，全连接层的输出数据为维度高于与其输入数据维度的列向量，输入层输出数据的列向量维度与全连接层输入数据的列向量维度相同。
[0093] 如图4所示，深度卷积神经网络包括一个输入层(Input Layer)，即为图4所示的“input”，输入层的输入数据与输出数据均为一维的256的列向量，即输入层的输入大小为256，输出大小为256。
[0094] 深度卷积神经网络还包括与输入层连接的全连接层(Fully Connected Layer)，即为图4所示的“dense_1”，全连接层的输出数据的维度高于与全连接层的输入数据的维度，且全连接层的输出数据与输入数据均为列向量，全连接层输入数据的列向量维度与输入层输出数据的列向量维度相同，即全连接层的输入大小为256，输出大小为1024。
[0095] 步骤S2212，构建神经元重组层的输入数据为与全连接层输出数据维度相同的列向量，神经元重组层的输出数据为一维矩阵。
[0096] 如图4所示，深度卷积神经网络包括与全连接层连接的神经元重组层，即为图3所示的“reshape_1”，利用该神经元重组层进行神经元重组操作，以改变特征图的形状，便于随后的卷积层处理。参考图4，神经元重组层输入数据为与全连接层输出数据维度相同的列向量，即神经元重组层的输出数据为大小为1024的列向量，神经元重组层的输出数据为一维矩阵，矩阵大小为32*32，显然，矩阵大小也可以为其他规模，例如为16*16。
[0097] 步骤S2213，构建串行的三层卷积层，其中，
[0098] 第一层卷积层的输入数据为与神经元重组层输出数据在矩阵大小上相同的一维矩阵，第一层卷积层的输出数据为与其输入数据在矩阵大小上相同的多维矩阵；与第一层卷积层连接的激活函数的输入数据与输出数据均为与第一层卷积层输出数据在矩阵大小与矩阵维度上均相同的多维矩阵。
[0099] 如图4所示，在图4示出的包括三层卷积层的深度卷积神经网络中，“conv_1”即为第一层卷积层，卷积核大小为11*11，特征图数量设置为64。第一层卷积层的输入数据为与神经元重组层输出数据在矩阵大小上相同的一维矩阵，即第一层卷积层的输入大小为32*32的一维矩阵，而第一层卷积层的输出数据为与第一层卷积层输入数据在矩阵大小上相同的多维矩阵，即第一层卷积层的输出大小为32*32的多维矩阵，该多维矩阵的维数与特征图的数量相同，都为64。
[0100] 如图4所示，与第一层卷积层连接的第一激活函数relu_1的输入数据与输出数据均为与第一层卷积层输出数据在矩阵大小与矩阵维度上均相同的多维矩阵。本实施例中的第一激活函数的输入大小与输出大小均为32*32的64维矩阵。
[0101] 第二层卷积层的输入数据为与第一层卷积层输出数据在矩阵大小与矩阵维度上均相同的多维矩阵，第二层卷积层的输出数据为与其输入数据在矩阵大小上相同而矩阵维度小于输入数据的多维矩阵；与第二层卷积层连接的激活函数的输入数据与输出数据均为与第二层卷积层输出数据在矩阵大小与矩阵维度上均相同的多维矩阵。
[0102] 如图4所示，在图4示出的包括三层卷积层的深度卷积神经网络中，“conv_2”即为第二层卷积层，卷积核大小为1*1，特征图数量设置为32。第二层卷积层的输入数据为与第一层卷积层输出数据在矩阵大小与矩阵维度上均相同的多维矩阵，即第二层卷积层的输入大小为32*32的64维矩阵，而第二层卷积层的输出数据为与第二层卷积层输入数据在矩阵大小上相同而矩阵维度小于输入数据的多维矩阵，即第二层卷积层的输出大小为32*32的32维矩阵，该32维矩阵的维数与特征图的数量相同，都为32。
[0103] 如图4所示，与第二层卷积层连接的第二激活函数relu_2的输入数据与输出数据均为与第二层卷积层输出数据在矩阵大小与矩阵维度上均相同的多维矩阵。即本实施例中的第二激活函数的输入大小与输出大小均为32*32的32维矩阵。
[0104] 第三层卷积层的输入数据为与第二层卷积层输出数据在矩阵大小与矩阵维度上均相同的多维矩阵，第三层卷积层的输出数据为与其输入数据在矩阵大小上相同的一维矩阵；与第三层卷积层连接的激活函数的输入数据与输出数据均为与第三层卷积层输出数据在矩阵大小相同的一维矩阵。
[0105] 如图4所示，在图4示出的包括三层卷积层的深度卷积神经网络中，“conv_3”即为第三层卷积层，卷积核大小为7*7，特征图数量设置为1。第三层卷积层的输入数据为与第二层卷积层输出数据在矩阵大小与矩阵维度上均相同的多维矩阵，即第三层卷积层的输入大小为32*32的32维矩阵而第三层卷积层的输出数据为与第三层卷积层输入数据在矩阵大小上相同而矩阵维度小于输入数据的一维矩阵，即第三层卷积层的输出大小为32*32的一维矩阵。
[0106] 如图4所示，与第三层卷积层连接的第三激活函数relu_3的输入数据与输出数据均为与第三层卷积层输出数据在矩阵大小与矩阵维度上均相同的一维矩阵。即本实施例中的第三激活函数的输入大小与输出大小均为32*32的一维矩阵。
[0107] 在一个实施例中，将线性修正单元作为与每个卷积层相连接的激活函数，并设置与第三层卷积层相连接的激活函数的输出数据的最大值不大于1，以保证归一化的像素值在0和1之间。
[0108] 其中，第一层卷积层、第二层卷积层与第三层卷积层的特征图数量的设置可以选择，1，32和64都是超参数。另外，本实施例中的第一激活函数、第二激活函数与第三激活函数不改变张量的形状，例如输入大小为(32 32 64)，则输出大小为(32 32 64)。
[0109] 本实施例中的第一激活函数、第二激活函数与第三激活函数都为具有非线性特征的函数，参考图5所示，第一激活函数与第二激活函数相同，函数曲线参考图5，而第三激活函数与第一激活函数不同，其函数曲线参考图6，通过第三激活函数，能保证数据最大值不大于1，便于对重构得到的图像数据进行质量分析。
[0110] 通过上述步骤S2210～S2220完成对深度卷积神经网络的构建，在构建好深度卷积神经网络之后，建立训练图像集，例如可以使用现有技术中使用的训练集，该训练集中包含91张图像。从这些图像集中提取大小为32*32的图像块，滑动步长为14，产生22227个32*32图像块，利用行阶梯观测矩阵对图像块进行压缩，产生22227个16*16图像块，并对每个16*
16的图像块进行重组，变为大小为256的列向量，最终产终产生22227个大小为256的列向量作为训练集，利用该训练集对深度卷积神经网络进行训练，并在训练过程中，利用L1型损失函数进行训练，以得到训练好的网络。
16的图像块进行重组，变为大小为256的列向量，最终产终产生22227个大小为256的列向量作为训练集，利用该训练集对深度卷积神经网络进行训练，并在训练过程中，利用L1型损失函数进行训练，以得到训练好的网络。
[0111] 在得到训练好的深度卷积神经网络之后，步骤S2300中利用训练好的深度卷积神经网络对压缩感知图像进行图像重构包括步骤S2310～S2330：
[0112] 步骤S2310，通过输入层接收压缩感知图像数据，并将压缩感知图像数据输入至全连接层。
[0113] 步骤S2320，通过全连接层对压缩感知图像数据进行升维处理，将经升维处理后的压缩感知图像数据输入神经元重组层。
[0114] 步骤S2330，通过神经元重组层对压缩感知图像数据进行神经元重组操作，将重组后的压缩感知图像数据输入串行的卷积层进行重构。
[0115] 由此，通过上述步骤即可完成对原始图像的重构，并保证重构图像具有较好的图像质量。
[0116] <实施例六>
[0117] 为说明本实施例图像重构的效果，本实施例采用现有技术的压缩感知图像重构方法(下文简称为对比方法)和本实施例提供的图像重构方法(下文简称为改进方法)分别对多种经典测试图像进行了图像重构。
[0118] 在本实施例中，改进方法与对比方法的主要区别包括：
[0119] 对比技术采用大小为272*1089的观测矩阵对原始图像进行一维压缩，并采用卷积神经网络分别对表1中的12幅经典图像进行图像重构；而改进方法采用大小为16*32的行阶梯观测矩阵和32*16的转置矩阵对原始图像进行二维压缩，并采用深度卷积神经网络分别对表1中的12幅经典图像进行图像重构。
[0120] 表1给出了采用改进方法与对比方法对多种经典测试图像重构后的重构结果(主要在PSNR上)进行比较。
[0121] 表1：
[0122]测试图像名 现有技术 本实施例
Monarch 24.31 28.12
Fingerprint 25.57 30.23
Flintstones 22.45 26.60
House 28.46 32.55
Parrot 25.59 29.96
Barbara 23.25 25.78
Boats 27.30 30.47
Cameraman 23.15 26.19
Foreman 29.47 35.29
Lena 26.54 30.43
Peppers 24.77 27.26
Mean PSNR 25.53 29.35
Monarch 24.31 28.12
Fingerprint 25.57 30.23
Flintstones 22.45 26.60
House 28.46 32.55
Parrot 25.59 29.96
Barbara 23.25 25.78
Boats 27.30 30.47
Cameraman 23.15 26.19
Foreman 29.47 35.29
Lena 26.54 30.43
Peppers 24.77 27.26
Mean PSNR 25.53 29.35
[0123] 基于表1公开的内容，采用对比方法分别对表1中的12张经典测试图像进行重构得到的重构图像的PSNR值参见表1第三列所示。同时，采用改进方法分别对表1中的12张经典测试图像进行重构得到的重构图像的PSNR值参见表1第二列所示。
[0124] 对比采用改进方法与对比方法对图像重构的过程，改进方法涉及参数较对比方法涉及参数少近十万数量级的参数，且对比方法中12张经典测试图像的重构结果表现在PSNR上的平均值为25.53，而改进方法为29.35，改进方法得到的图像重构质量明显好于对比方法。其中PSNR值越大，表明图像重构质量越高。
[0125] 为直观给出改进方法与对比方法在重构图像质量上的差异，本实施例通过图7-9进行示意。图7为测试图像的原始图像，图8为采用对比方法进行图像重构所得到的重构结果，图9为采用改进方法进行图像重构所得到的重构结果，为便于观测对比，图8和图9重构结果的中心方框区域以放大显示在图像右下角的方框区域中，对比图7-9可以看出，图9中重构图像的中心方框区域放大示意图的细节明显更为清楚，且更为接近图7中原始图像的细节。
[0126] <实施例六>
[0127] 图10为根据本发明实施例的图像重构装置7000的原理框图。
[0128] 根据图10所示，本实施例的图像重构装置7000可以包括：压缩处理单元7100、预处理单元7200以及重构单元7300。
[0129] 压缩处理单元7100，利用观测矩阵对原始图像进行水平像素方向和竖直像素方向的二维压缩，获得压缩感知图像，压缩感知图像的每个像素观测值指示原始图像相邻元素之间的空间相关性；
[0130] 预处理单元7200，构建深度卷积神经网络，并利用训练图像集对深度卷积神经网络进行训练，获得训练好的深度卷积神经网络；
[0131] 重构单元7300，将压缩感知图像输入训练好的深度卷积神经网络，利用训练好的深度卷积神经网络对压缩感知图像进行图像重构，获得图片的重构图像。
[0132] 在一个实施例中，该压缩处理单元7100包括矩阵计算模块、分割模块、压缩模块和重排模块；
[0133] 矩阵计算模块用于：构建观测矩阵，观测矩阵为稀疏矩阵，其矩阵元素只包括0与1；计算观测矩阵的转置矩阵；利用观测矩阵和转置矩阵对原始图像进行水平像素方向和竖直像素方向的二维压缩；
[0134] 分割模块用于，将原始图像分割成均匀大小的多个图像块；
[0135] 压缩模块用于，利用观测矩阵对多个图像块进行水平像素方向和竖直像素方向的二维压缩，获得多个压缩后的图像块数据；
[0136] 重排模块用于，将多个压缩后的图像块数据分别重排为多个列向量，多个列向量为压缩感知图像数据。
[0137] 在一个实施例中，预处理单元7200用于：构建包括输入层、全连接层、神经元重组层和串行的预定数量卷积层的深度卷积神经网络；设置与每个卷积层对应的激活函数，在每个卷积层后连接相应的具有非线性特征的激活函数。
[0138] 预处理单元7200具体是：构建输入层的输入数据与输出数据为维度相同的列向量数据，全连接层的输出数据为维度高于与其输入数据维度的列向量，输入层输出数据的列向量维度与全连接层输入数据的列向量维度相同；
[0139] 构建神经元重组层的输入数据为与全连接层输出数据维度相同的列向量，神经元重组层的输出数据为一维矩阵；
[0140] 构建串行的三层卷积层，其中，
[0141] 第一层卷积层的输入数据为与神经元重组层输出数据在矩阵大小上相同的一维矩阵，第一层卷积层的输出数据为与其输入数据在矩阵大小上相同的多维矩阵；与第一层卷积层连接的激活函数的输入数据与输出数据均为与第一层卷积层输出数据在矩阵大小与矩阵维度上均相同的多维矩阵；
[0142] 第二层卷积层的输入数据为与第一层卷积层输出数据在矩阵大小与矩阵维度上均相同的多维矩阵，第二层卷积层的输出数据为与其输入数据在矩阵大小上相同而矩阵维度小于输入数据的多维矩阵；与第二层卷积层连接的激活函数的输入数据与输出数据均为与第二层卷积层输出数据在矩阵大小与矩阵维度上均相同的多维矩阵；
[0143] 第三层卷积层的输入数据为与第二层卷积层输出数据在矩阵大小与矩阵维度上均相同的多维矩阵，第三层卷积层的输出数据为与其输入数据在矩阵大小上相同的一维矩阵；与第三层卷积层连接的激活函数的输入数据与输出数据均为与第三层卷积层输出数据在矩阵大小相同的一维矩阵。其中，将线性修正单元作为与每个卷积层相连接的激活函数，与第三层卷积层相连接的激活函数的输出数据的最大值不大于1。
[0144] 在一个实施例中，重构单元7300用于：
[0145] 通过输入层接收压缩感知图像数据，并将压缩感知图像数据输入至全连接层；通过全连接层对压缩感知图像数据进行升维处理，将经升维处理后的压缩感知图像数据输入神经元重组层；通过神经元重组层对压缩感知图像数据进行神经元重组操作，将重组后的压缩感知图像数据输入串行的卷积层进行重构。
[0146] 本发明装置实施例中各模块的具体实现方式可以参见本发明方法实施例中的相关内容，在此不再赘述。
[0147] 本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
[0148] 计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0149] 这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0150] 用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
[0151] 这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0152] 这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0153] 也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0154] 附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 显示装置 | 2020-05-11 | 423 |
| 包括可变高度光发射器的像素元件 | 2020-05-08 | 415 |
| 带宽压缩中的后选择预测方法 | 2020-05-08 | 880 |
| 视锥视杆复用式仿生视觉传感器 | 2020-05-11 | 604 |
| 液晶元件的制造方法 | 2020-05-08 | 457 |
| 一种用于视频压缩的预测方法 | 2020-05-08 | 400 |
| 一种图像处理方法、图像处理装置、电子设备和存储介质 | 2020-05-08 | 416 |
| 光电设备 | 2020-05-08 | 29 |
| 固态摄像元件、制造方法和电子设备 | 2020-05-08 | 1015 |
| 一种基于量子混沌和混沌复动力系统的图像加密方法 | 2020-05-11 | 529 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈