技术领域
[0001] 本
发明涉及
图像处理技术领域，涉及多光谱视频数据的采集，主要应用于对多光谱视频图像信息的获取与重建。
背景技术
[0002] 早在20世纪60年代人造地球卫星围绕地球获取地球的图片资料时，成像就成为研究地球的有利工具。在传统的成像技术中，人们就知道黑白图像的灰度级别代表了光学特性的差异因而可用于辨别不同的材料。在此
基础上，成像技术有了更高的发展，对地球成像时，选择一些不同
颜色的滤波片分别对场景遮挡成像，这对于提高对特殊
农作物、大气、海洋、
土壤等的研究和辨别能
力大有裨益。这种以离散的几种颜色（或者几个波段）对景物成像，就是人们常说的多光谱成像，多次获得的多光谱图像在时间上相连则构成了多光谱视频。
[0003] 多光谱视频是一种高维数据，随着光谱
分辨率的提高，多光谱视频数据急剧增加，针对多光谱视频数据量大的特点，为了能够保证大量的多光谱视频更加高效的传输和处理，高
质量的图像压缩
采样编码已经成为一个非常重要的技术。
[0004] 在传统方法中为了实现对多光谱视频数据高效的传输和处理，是对多光谱图像采样后进行压缩，大量的非重要的数据被扔掉，这种先采样再压缩的过程使得系统的复杂性增加，而且在要求采样速率较高的情况下，A/D转换器的实现就成为了一个难以解决的问题。如何解决这个问题，即用远低于奈奎斯特采样速率对
信号进行采样，同时又可完全恢复信号成为了广大研究者关心的重点。
[0005] 2004年由E.J.Candes、J.Romberg、T.Tao和D.L.Donoho等人提出了一种新的
信号处理理论——压缩感知（Compressive Sensing），该理论的出现为解决上述问题带来了新的思路。压缩感知的基本思路：从尽量少的数据中提取尽可能多的信息，这是一种有着极大理论和应用前景的想法。它是传统信息论的一个延伸，但是又超越了传统的压缩理论，成为了一
门崭新的子分支。其数学模型：假设长度为N的信号X在某个
正交基或紧
框架ψ下的系数是系数的，只含有非常少的非零系数，若将这些系数投影到另外一个与ψ不相关的观测Φ:M*N,M＜N，得到观测数据集合Y:M*1，信号X就可以根据观测值Y通过求解优化问题而精确恢复出来：
[0006]
[0007] 由于X在变换域ψ中是稀疏的,通过求解上述范数优化问题得到恢复值 可以很好的逼近原信号X。
[0008] 由于多光谱图像信号具有可压缩性，只要找到合适的稀疏表示空间，就可以利用一个与变换基不相关的
观测矩阵将变换所得的高维信号投影到一个低维空间上，有效地进行压缩采样，这样就可以在一定的光谱分辨率条件下降低相机的实现难度，或者在相同的技术条件下大幅提升多光谱分辨率；进一步通过优化问题的求解就可以从这些较少的投影中以较高的概率重构出原信号，可以证明这样的投影信息包含了重构原信号所需要的足够多的信息。在一般情况下，随机观测矩阵有着姣好的观测效果，这是因为随机矩阵几乎和所有的变换基矩阵不相关。
[0009] 目前为止，压缩感知理论在单幅图像的低速采样及重构中有较多应用，而对于多光谱成像而言，
频谱宽、数据量大并且各谱段之间有较强的相关性的特点使得压缩感知理论很适用于多光谱图像的低速信息采集和重构。
[0010] 传统的
转轮滤光式多光谱视频成像仪对一个场景依次更换滤光片分别成像，获取多张光谱维图像，受其成像原理的限制，传统的多光谱视频成像仪有较多不足：
[0011] （1）传统的多光谱视频成像仪采用机械转轮式的结构，这种结构会引起成像仪的震动，造成多光谱成像仪的成像质量低，且
稳定性差；
[0012] （2）传统的多光谱视频成像仪对每一光谱段图像进行成像均需要切换一次滤光片，使得成像效率和
信噪比均比较低，而且对于性能良好的滤光片加工较为困难；
[0013] （3）传统的多光谱视频成像方法采用先采样后压缩的方式，造成光谱数据的大量浪费，同时造成
压缩失真。
发明内容
[0014] 本发明的目的在于针对上述已有技术的不足，提出一种基于压缩感知的双通道多光谱视频成像仪及成像方法，以实现对多光谱视频图像数据的完整采集，提升多光谱视频成像仪的成像效率、稳定性和多光谱图像的质量，降低成像仪的实现难度和复杂度。
[0015] 本发明的技术原理是：借鉴Ashwin A.Wagadarikar等人设计、提出的CASSI（Spectral Image Estimation for Coded Aperture Snapshot Spectral Imagers），在原有的单通道的基础上提出双通道技术，整个系统共分为两个部分：数据观测部分和光谱图像重构部分。数据观测部分分为两个光路通道，光谱图像由分光器件分为两个包含信息完全一样的部分，然后分别进入两个光路通道，分别进行数据采样。由于两个通道中的随机编码模板是互补的，因此观测到的数据包含了光谱图像的完整信息。光谱图像重构部分接收数据观测部分采集到的数据，通过解非线性优化问题更高
精度的重构出原光谱图像。
[0016] 根据上述原理，本发明基于压缩感知的双通道多光谱视频成像仪，其特征在于：包括一个分束器、两个物镜、两个编码模板、两个带通
滤波器、两个中继透镜组、两个棱镜组、两个阵列
传感器和一个图像重构处理器；第一物镜、第一编码模板，第一
带通滤波器，第一中继透镜组，第一棱镜组，第一阵列传感器依次相连，构成第一光路通道；第二物镜，第二编码模板，第二带通滤波器，第二中继透镜组，第二棱镜组，第二阵列传感器依次相连，构成第二光路通道；
[0017] 所述分束器，将原始光谱图像X的光束分成两束进入所述的两个光路通道，进入第一光路通道的光束在第一物镜上聚焦成像，通过第一编码模板对光谱图像各
位置上的光束进行随机遮挡，随机遮挡后的光谱图像的光束经过第一带通滤波器滤波，再由第一中继透镜组传递到第一棱镜组，产生色散，色散后的光谱图像的光束照射到第一阵列传感器上，得到第一路
混叠的光谱图像X1传输给图像重构处理器；进入第二光路通道的光束在第二物镜上聚焦成像，并通过第二编码模板对光谱图像各位置上的光束进行随机遮挡，随机遮挡后的光谱图像的光束经过第二带通滤波器的滤波，再由第二中继透镜组传递到第二双棱镜组产生色散，色散后的光谱图像的光束照射到第二阵列传感器上，得到第二路的混叠的光谱图像X2传输给图像重构处理器；
[0018] 所述图像重构处理器，根据输入的第一路混叠光谱图像X1和第二路混叠光谱图像X2，利用非线性的优化方法重构出原光谱图像X。
[0019] 所述双通道的互补编码模板，其特征在于：第一编码模板和第二编码模板，是由通光和不通光的大小相同的方格组成的矩形平面板，通光方格编码为1，不通光方格为遮光板，编码为0；第一编码模板的每一方格的编码随机设定；第二编码模板的每一方格的编码与第一编码模板的相反，实现对光谱图像的每一位置的图像信息的互补编码，保证对光谱图像信息采样的完整性。
[0020] 为实现上述目标，本发明基于压缩感知的双通道多光谱视频成像方法，包括如下步骤：
[0021] （1）将原光谱图像的光束分成两束，分别进入两个光路通道；
[0022] （2）获取光谱混叠图像X1：
[0023] （2a）在第一光路通道内对进入该通道内的光束聚焦成像，获得光谱图像；
[0024] （2b）对光谱图像进行随机编码，即将光谱图像上的每一位置上的光束随机遮挡，被遮挡的位置编码为0，没有被遮挡的位置编码为1；
[0025] （2c）对编码后的光谱图像进行滤波，滤除需要重构的带宽以外的光谱图像的光束；
[0026] （2d）对光谱图像各光谱维的图像在空间维的方向上进行搬移，即光谱图像的光束发生色散，实现每一光谱维图像之间相对位置的变化；
[0027] （2e）由阵列传感器获取搬移后的光谱图像每一位置光束的光量，得到第一路混叠的光谱图像X1；
[0028] （3）获取光谱混叠图像X2：
[0029] （3a）对进入第二光路通道的光束聚焦成像，获得光谱图像；
[0030] （3b）对光谱图像进行与第一光路通道内的光谱图像互补的编码，即对第二通道内的光谱图像上的每一位置上光束进行相应的遮挡，使其与第一光路通道内光谱图像同一位置上的遮挡状态相反；
[0031] （3c）对互补编码后的光谱图像的光束进行滤波，滤除需要重构的带宽以外的光谱图像的光束；
[0032] （3d）对光谱图像各光谱维的图像在空间维的方向上进行搬移，即光谱图像的光束发生色散，实现每一光谱维图像之间相对位置的变化；
[0033] （3e）由阵列传感器获取搬移后的光谱图像每一位置光束的光量，得到第二路混叠的光谱图像X2；
[0034] （4）根据上述得到的第一路混叠光谱图像X1和第二路混叠光谱图像X2，利用非线性的优化方法重构原光谱图像X；
[0035] （5）在时间上对一场景进行多次光谱成像，形成多光谱视频。
[0036] 所述的对光谱图像各光谱维的图像在空间维的方向上进行搬移，是将棱镜组放在光谱图像光束的传播路线上，使不同光谱维图像光束通过棱镜，在到达阵列传感器时产生不同距离的偏移，实现各光谱维图像之间相对位置的变化。
[0037] 本发明与传统技术相比较具有的优点：
[0038] 第一：本发明针对传统的多光谱视频成像仪成像效率较低的缺点，提出了基于压缩感知的成像方法，采用双通道观测技术，使得光谱图像信息采样完整，每次曝光可以对多个谱段进行成像，
时间分辨率高，信噪比高；
[0039] 第二：本发明针对传统的多光谱视频成像仪中机械转轮引起成像仪震动，从而造成成像质量低的缺点，提出了一种无转轮结构的多光谱视频成像仪，保证了光谱成像仪的成像稳定性和成像质量；
[0040] 第三：本发明针对传统的多光谱视频成像仪先以较高
密度传感器阵列采样，再进行压缩，丢失部分冗余信息的缺点，采用直接以低传感器密度对其进行信息采样的方式，实现了采样与压缩的结合，进而提高了传感器阵列的利用率，降低了系统的实现难度和复杂度，避免了压缩失真。
附图说明
[0041] 图1是本发明基于压缩感知的双通道多光谱视频成像仪的结构
框图；
[0042] 图2是本发明成像仪中的第一光路通道内部结构框图；
[0043] 图3是本发明成像仪中的第二光路通道内部结构框图；
[0044] 图4是本发明成像仪中的编码模板示意图；
[0045] 图5是本发明基于压缩感知的双通道多光谱视频成像方法的
流程图；
[0046] 图6是仿真使用的原始拍摄的河流多光谱图像的6张光谱维图像平面图；
[0047] 图7是用现有的单通道方式重建多光谱图像的结果及相应的每一光谱维图像的PSNR值；
[0048] 图8是用本发明的双通道方式重建多光谱图像的结果及相应的每一光谱维图像的PSNR值。
具体实施方式
[0049] 参照图1，本发明的基于压缩感知的双通道多光谱视频成像仪，包括分束器1、第一光路通道2、第二光路通道3、图像重构处理器4。其中第一光路通道2和第二光路通道3的结构分别如图2和图3所示。原光谱图像X的光束由分束器1分成两束，这两束光包含的光谱信息相同，但是方向却是不同的，它们从不同的方向分别进入到两光路通道内；第一路光束和第二路光束分别在第一光路通道2和第二光路通道3内经过各种元件的处理和采集后，得到第一路混叠的光谱图像X1和第二路混叠光谱图像X2,并输出到图像重构处理器4中；图像重构处理器4根据输入的第一路混叠光谱图像X1和第二路混叠光谱图像X2，利用非线性的优化方法重构出原光谱图像X。
[0050] 参照图2，本发明的第一光路通道2，由第一物镜21、第一编码模板22，第一带通滤波器23，第一中继透镜组24，第一棱镜组25和第一阵列传感器26依次相连构成；第一物镜21位于第一光路通道2的最前端，用于对第一光路通道2内的光束进行聚焦，形成清晰的光谱图像；第一编码模板22位于第一物镜21成像的像面位置上，如图4（a）所示，它是由通光和不通光的方格组成的矩形面板，方格的大小相同，其中白色为通光方格编码为1，黑色的不通光方格为遮光板，编码为0，每一方格的编码随机设定，以保证对光谱图像信息编码的随机性；第一带通滤波器23位于第一编码模板22的后端，它是由各种透镜组成的透镜组，用于滤除不需要的光谱维图像光束；第一中继透镜组24接在第一带通滤波器23的后面，将第一带通滤波器23保留下来的光谱维图像的光束传递到第一棱镜组25；第一棱镜组25位于第一中继透镜组24和第一阵列传感器26之间，它对于不同的光谱维图像有不同的折射率，使各光谱维图像透过第一棱镜组25到达第一阵列传感器26时产生不同距离的偏移，从而实现对不同的光谱维图像的搬移；位于第一光路通道2最后端的第一阵列传感器
26，获取光谱图像每一位置光束的光量信息，并将其转换为数字形式，即而得到第一路混叠光谱图像X1。
[0051] 参照图3，本发明的第二光路通道3，由第二物镜31、第二编码模板32，第二带通滤波器33，第二中继透镜组34，第二棱镜组35和第二阵列传感器36依次相连构成；第二物镜31位于第二光路通道2的最前端，用于对第二光路通道3内光束的聚焦，形成清晰的光谱图像；第二编码模板32位于第二物镜31成像的像面位置上，如图4（b）所示，同第一编码模板22一样，它也是由通光和不通光的大小相同方格组成的矩形面板，其中白色的通光方格编码为1，黑色不通光方格为遮光板，编码为0，但是第二编码模板32的每一方格的编码并不是随机设定，而是与第一编码模板22上同一位置上方格的编码相反，与第一编码模板22共同实现对光谱图像信息的互补编码，保证对光谱图像信息观测的完整性；第二带通滤波器33位于第二编码模板32的后端，它是由各种透镜组成的透镜组，用于滤除不需要的光谱维图像光束；第二中继透镜组34接在第二带通滤波器33的后面，将第二带通滤波器33保留下来的光谱维图像的光束传递到第二棱镜组35；第二棱镜组35位于第二中继透镜组34和第二阵列传感器36之间，其对于不同的光谱维图像有不同的折射率，使各光谱维图像透过棱镜到达第二阵列传感器36时产生不同的偏移距离，从而实现对不同的光谱维图像的搬移；位于第二光路通道3最后端的第二阵列传感器36，获取光谱图像每一位置光束的光量信息，并将其转换为数字形式，即而得到第二路混叠光谱图像X2。
[0052] 参照图5，本发明基于压缩感知的双通道多光谱视频成像方法，包括如下步骤：
[0053] 步骤1,将原光谱图像的光束分成包含有光谱图像信息相同的两束，使其从两个不同方向分别进入两个光路通道，即第一光路通道和第二光路通道。
[0054] 步骤2，获取第一光路通道的混叠光谱图像：
[0055] （2a）在第一光路通道内对进入该通道内的光束进行聚焦成像，获得第一光路通道初始光谱图像X11；
[0056] （2b）对第一光路通道初始光谱图像X11每一位置上的信息进行随机编码，即对光谱图像X11上的每一位置上的光束利用遮光板进行随机遮挡，遮挡住的位置将没有光束通过，没有被遮挡的位置上的光束将通过方形孔径继续向后照射；将被遮挡住位置上的信息编码为0，将没有被遮挡位置上的信息编码为1，得到第一光路通道编码后的光谱图像X12；
[0057] （2c）对第一光路通道编码后的光谱图像X12进行滤波，即滤除带宽外不需要的光谱维图像的光束，保留带宽内光谱维图像的光束，得到第一光路通道滤波后的光谱图像X13；
[0058] （2d）将棱镜组放在第一光路通道滤波后的光谱图像X13光束的传播路线上，使滤波后的光谱图像的光束发生色散，由于各光谱维图像的偏移距离不同，从而实现对每一光谱维图像在空间维上不同距离的搬移，得到第一光路通道搬移后的光谱图像X14；
[0059] （2e）通过阵列传感器获取第一光路通道搬移后的光谱图像X14的光量信息，由于在该阵列传感器每一位置上获取的光量信息是光谱图像X14全部搬移后光谱维图像在同一空间位置上光量信息的求和，因而可实现不同光谱维图像信息的混叠；将求和的光量信息转换为数字形式，得到第一光路通道的混叠光谱图像X1；
[0060] 步骤3，获取第二光路通道的混叠光谱图像X2：
[0061] （3a）在第二光路通道内对进入该通道的光束进行聚焦成像，获得第二光路通道初始光谱图像X21；
[0062] （3b）对第二光路通道初始光谱图像X21进行与第一光路通道互补的编码，即对第二通道内的光谱图像X21上的每一位置上光束进行相应的遮挡，使其与第一光路通道内光谱图像X11同一位置上光束的遮挡状态相反，保证原光谱图像X的任一位置上的信息不被遗漏，得到第二光路通道互补编码的光谱图像X22；
[0063] （3c）对第二光路通道互补编码后的光谱图像X22的光束进行滤波，即滤除带宽外不需要的光谱维图像的光束，保留带宽内光谱维图像的光束，得到第二光路通道滤波后的光谱图像X23；
[0064] （3d）将棱镜组放在第二光路通道滤波后的光谱图像X23光束的传播路线上，使光谱图像X23的光束发生色散，由于各光谱维图像的偏移距离不同，从而实现对每一光谱维图像在空间维上不同距离的搬移，得到第二光路通道搬移后的光谱图像X24；
[0065] （3e）通过阵列传感器获取第二光路通道搬移后的光谱图像X24的光量信息，由于在阵列传感器每一位置上获取的光量信息是光谱图像X24全部搬移后的光谱维图像在同一空间位置上光量信息的求和，因而可实现不同光谱维图像信息的混叠；将求和的光量信息转换为数字形式，得到第二光路通道的混叠光谱图像X2；
[0066] 步骤4，根据上述得到的第一路混叠光谱图像X1和第二路混叠光谱图像X2，利用非线性的优化方法重构原光谱图像X：
[0067] （1）将输入的第一路混叠光谱图像X1和第二路混叠光谱图像X2在平面空间上连接在一起，得到一个总的混叠光谱图像Y：
[0068] Y＝[X1,X2]＝[A1X,A2X]＝AX，
[0069] 其中，A1,A2为两个线性算子，A1X,A2X分别表示第一光路通道和第二光路通道对光谱图像X的操作结果；A＝[A1,A2]表示整个观测部分的线性函数算子，AX表示整个观测部分对光谱图像的操作结果；
[0070] （2）设ψ为原光谱图像X稀疏域的一个正交基，则原光谱图像X在基ψ上的表示系数Φ是稀疏的，即系数Φ中的零元素或者小于设定
阈值的元素个数较多：
[0071] Φ＝ψ-1X＝ψTX，
[0072] 其中，ψ-1和ψT分别表示正交基ψ的矩阵的逆和转置；
[0073] （3）设定min||ψTX||0为优化求解的目标函数，Y＝AX为约束条件，采用非线性优化方法，如基追踪
算法或双步
迭代算法或贪婪算法求解下式，作为对原光谱图像X的逼近值
[0074]
[0075] 其中，||ψTX||0表示原光谱图像X在稀疏域上的表示系数Φ的l0范数；argmin表示取最小值；s.t Y＝AX表示约束条件为Y＝AX；
[0076] 步骤5，对同一场景重复进行上述步骤，即在时间上对场景进行多次多光谱成像，形成多光谱视频。
[0077] 为验证本发明的基于压缩感知的双通道多光谱视频成像仪的可行性和有效性，通过MATLAB仿真
软件模拟了一个实例，其中在时间上进行一次光谱成像的过程如下：
[0078] 仿真1：
[0079] a）选用原始拍摄的河流的多光谱图像作为原始光谱图像，其包含6张512*512光谱维图像，如图6所示；
[0080] b）根据现有的单通道光谱成像仪结构，采用余弦稀疏域和双步迭代算法重构原光谱图像，并计算出每一张光谱维图像重构结果的PSNR值，结果如图7所示，其中7(a)、7(b)、7(c)、7(d)、7(e)、7(f)分别是对6(a)、6(b)、6(c)、6(d)、6(e)、6(f)的重构结果及相应的PSNR。
[0081] 仿真2：
[0082] a）选用原始拍摄的河流的多光谱图像作为原始光谱图像，其包含6张512*512光谱维图像，如图6所示；
[0083] b）根据本发明的双通道光谱成像仪结构，采用余弦稀疏域和双步迭代算法重构原光谱图像，并计算出每一张光谱维图像重构结果的PSNR值，结果如图8所示，其中8(a)、8(b)、8(c)、8(d)、8(e)、8(f)分别是对6(a)、6(b)、6(c)、6(d)、6(e)、6(f)的重构结果及相应的PSNR。
[0084] 从仿真1的实验结果可以计算出用单通道方式进行多光谱图像重构出的6张光谱维图像的平均PSNR为30.31dB，其中PSNR最低为28.5167dB，最高为32.7970dB。
[0085] 从仿真2的实验结果可以计算出用本发明双通道方式进行多光谱图像重构出的6张光谱维图像的平均PSNR为32.82dB,其中PSNR最低为31.0005dB，最高可达35.5981dB。
[0086] 将仿真1与仿真2的结果做出比较可以看出，本发明的双通道技术相对于现有单通道技术的光谱重构结果可以将平均PSNR提高2.51dB，证明本发明在进行多光谱图像重建时有更好的性能。
