[0076] 通常,可见光光谱波峰较宽,转换到频域波峰就很窄,大部分可以看作0,就可以只测少数几个低频k对应的,当取K=5个低频系数(k=0,1,2,3,4,K是所用低频系数的个数,K
[0077] 图3为现有技术的一个周期下的编码图形,图4为本申请实施例提供的编码图形,该编码图形上同时分布有不同周期的正弦图形和余弦图形。如图3所示的编码图形,利用频域的稀疏性,若需要5个周期的测量,则需要改变编码图形5次。而图4所示的编码图形,结合空间分布特点,将多个周期的正弦图形和余弦图形分布在一个编码图形进行同时测量,则原先的5次编码就降为1次,进一步减少测量次数,实现快速实时测量。可以理解的是,若不同周期的正弦图形和不同周期的余弦图形分布于两个不同的图像,则也仅需进行一次正弦图形测量和一次余弦图形测量,即原先的5次编码就降为1次,进一步减少测量次数,实现快速实时测量。被测物体的一个空间点经分光装置可以分光展开为一列光谱,通过把一条光谱曲线从波长变换到频域k。
[0078] 在步骤S502中,将所述编码图形写入多光谱成像系统中的数字微镜。
[0079] 在本申请实施例中,光谱成像设备将所述编码图形写入所述数字微镜后,数字微镜会根据编码图形对每个镜片的开/关占空比进行编程来创建灰度图形。
[0080] 在本申请实施例中,所述编码图形用于数字微镜对空间光谱混合图进行编码生成编码后的混合图;所述空间光谱混合图由多光谱成像系统中的分光装置对探测光源照射到被测物体后形成的反射光进行分光获得。
[0081] 在本申请实施例中,分光装置为光栅分光器或者棱镜分光器,具体不做限制。由于分光装置会对被测物体的每一个空间点的反射光进行分光,因此各空间点的反射光经过分光装置分光后形成的为混合光谱,即上述所说的空间光谱混合图。
[0082] 在本申请实施例中,由于各空间点的反射光经过分光装置分光后形成的为混合光谱,即上述所说的空间光谱混合图,因此空间光谱混合图经所述数字微镜进行编码后的编码图也为个空间点的编码后的混合图,即上述所说的编码后的混合图。
[0083] 在步骤S503中,接收所述多光谱成像系统中的探测器发送的空间图。
[0084] 在本申请实施例中,所述空间图由所述多光谱成像系统中的合光装置对所述数字微镜输出的所述混合图进行合光获得。
[0085] 在本申请实施例中,合光装置为光栅合光器或者棱镜合光器,具体不做限制。经过合光的过程,每个空间点的反射分光、编码后的光谱图又合光为以空间点为单位的光谱,即上述所说的空间图。
[0086] 在步骤S504中,基于所述空间图进行解码复原,得到复原的多光谱图像。
[0087] 本申请实施例提供的多光谱成像方法,先根据确定的成像参数及离散傅里叶变换公式生成的编码图形,由于编码图形包括不同周期的正弦图形和余弦图形,将该编码图形写入数字微镜后,数字微镜仅对分光装置形成的空间光谱混合图进行1次或者2次编码,即可实现以往至少5次编码的效果,进一步减少了测量次数,实现快速实时测量。
[0088] 图6示出了本申请实施例提供的一种基于所述空间图进行解码复原,得到复原的多光谱图像步骤的具体实现流程,图7为该过程的示意图,包括如下步骤:
[0089] 在步骤S601中,将所述空间图按照频域系数拆分为多个不同频域系数k的第一图像。
[0090] 在步骤S602中,对所述多个不同频域系数k的第一图像分别进行插补计算和引导滤波,得到多个插补滤波后的第二图像。
[0091] 在本申请实施例中,对所述多个不同频域系数的图分别进行插补计算,得到多个插补图,具体为:利用空间邻域的相关性,取空间距离最近的点或几个邻域的平均值作为该缺失点的值,当间隔距离较大时,即所用系数数量较多K值较大时,同一系数k之间的空间间隔较大,邻域插补得到的图像通常在边缘位置会有很明显的锯齿形状。
[0092] 在本申请实施例中,再增加引导滤波方法,使图像边缘更清晰光滑,保证重建图像的空间质量。
[0093] 具体为:编码时增加k=0的分布概率,使插补得到的k=0下的图像轮廓更接近原始图像,则可以取k=0的图像作为参考图像,对其他系数k下的图像进行引导滤波。
[0094] 如下为引导滤波的计算过程示例:
[0095] 已知参考图像P,待滤波图像I,设定一邻域区域r以及调整系数ε:
[0096] 在邻域范围内分别计算均值和一些相关系数:meanI、meanP、corrI=mean(I.*I)、corrIP=mean(I.*P)、varI=corrI-meanI.*meanI、covIP=corrIP-meanI.*meanP[0097] 计算a、b值:a=covIP./(varI+ε),b=meanP-a.*meanI
[0098] 取均值计算滤波后的图像IP:IP=meana.*I+meanb
[0099] 在步骤S603中,对所述多个插补滤波后的第二图像进行傅里叶逆变换,得到复原的多光谱图像。
[0100] 以式(1)为例,在本申请实施例中,将空间的横轴设定为v方向,纵轴设定为u方向,则光谱只在一个空间方向进行分光(如v方向),在另一u方向不受影响。以图8中的两个空间点为例说明:图8中两个空间点(u,v0)、(u,v1),u是相同的,所以两条光谱实际在u方向是混合在一起的,只在v方向有个偏移。这里分开画只是为了方便看。两个空间点的光谱对应的编码图形区域在v方向也会产生相应的偏移。假设v0对应编码图形的起始位置,则空间点(u,v0)的光谱对应的傅里叶变换就如式(1)。对于空间点(u,v1),对应的编码位置有些偏移,如图8,由于是N范围循环分布,偏移后,后面对应的一部分刚好与前面少的一部分是一致的,不影响傅里叶变换,但式(1)需要加上偏移量,如式(3):
[0101]
[0102] 式(3)中,x(n)代表空间点的光谱,n=0,1,…N-1,N为光谱的波段数;j为虚数标志;Y(k)为对傅里叶变换后的光谱值,k为对应傅里叶变换的频域系数,k=0,1,…K-1,△n代表v方向的偏移量,与空间点的v位置和初始编码位置有关;k对应频域系数,与u的位置有关,在u方向设置不同的k值,若取5个低频系数,则K=5。经前面的插值滤波计算后,Y(k),k=0,1,…K-1的值已知,对式(1)进行傅里叶逆变换就可得到x(n)。
[0103] 考虑上述偏移量△n,本申请实施例在进行傅里叶逆变换的过程中,考虑△n的影响,即根据光谱在分光方向的偏移量,对所述多个插补滤波后的图进行傅里叶逆变换,得到复原的多光谱图。
[0104] 由于式(2)与式(1)本质相同,对于式(2)进行傅里叶逆变换的过程中,也需要考虑△n的影响的原理在此不赘述。
[0105] 图9示出了当所述编码图形中的正弦图形和余弦图形分布于不同图像时,本申请实施例提供的一种多光谱成像方法的流程,其与图5所示的多光谱成像方法的不同点在于:
[0106] 步骤S502具体包括:
[0107] 步骤S901,将不同周期的正弦图形写入多光谱成像系统中的数字微镜。
[0108] 步骤S902,将不同周期的余弦图形写入多光谱成像系统中的数字微镜。
[0109] 在本申请实施例中,由于编码图形中的正弦图形和余弦图形分布于不同图像,因此,需要进行两次写入的过程,一次是将正弦图形写入多光谱成像系统中的数字微镜,一次是将正弦图形写入多光谱成像系统中的数字微镜,本领域技术人员可以理解的是,正弦图形和余弦图形写入的先后顺序对本申请的技术效果实现没有影响。
[0110] 对应的,编码图形写入数字微镜后,数字微镜分别根据正弦图形和余弦图形对数字微镜的镜片的开/关占空比进行两次编程来创建两个灰度图形。
[0111] 相应的,步骤S503具体包括:
[0112] 步骤S903,接收所述多光谱成像系统中的探测器发送的所述正弦图形对应的正弦编码空间图。
[0113] 步骤S904,接收所述多光谱成像系统中的探测器发送的所述余弦图形对应的余弦编码空间图。
[0114] 在本申请实施例中,由于编码图形中的正弦图形和余弦图形分两次写入数字微镜,对应的数字微镜进行了两次编程来创建两个灰度图形,因此,探测器对根据正弦图形编码生成的正弦编码空间图和根据余弦编码图形生成的余弦编码空间图分两次进行采集,并分两次进行发送。本领域技术人员可以理解的是,探测器采集正弦编码空间图和余弦编码空间图的顺序没有严格的顺序限制,在本申请中,与正弦图形和余弦图形写入的先后顺序保持一致即可。
[0115] 相应地,步骤S504具体包括:
[0116] 步骤S905,对所述正弦编码空间图和所述余弦编码空间图进行解码复原,得到复原的多光谱图像。
[0117] 图10示出了当所述编码图形中的正弦图形和余弦图形分布于同一图像时,本申请实施例提供的一种多光谱成像方法的流程,其与图5所示的多光谱成像方法的不同点在于:
[0118] 步骤S502,具体包括:
[0119] 步骤S1001,将分布于相同图像的所述正弦图形和所述余弦图形同时写入多光谱成像系统中的数字微镜。
[0120] 在本申请实施例中,由于编码图形中的正弦图形和余弦图形分布于同一图像,因此进需要向数字微镜写入一次编码图形即可。编码图形写入数字微镜后,数字微镜分别根据正弦图形和余弦图形对数字微镜的镜片的开/关占空比进行一次编程来创建一个灰度图形即可。
[0121] 相应地,步骤S503,具体包括:
[0122] 步骤S1002,接收所述多光谱成像系统中的探测器发送的与所述正弦图形和所述余弦图形对应的正余弦编码空间图。
[0123] 在本申请实施例中,正余弦编码空间图包括正弦编码空间图和余弦编码空间图。
[0124] 在本申请实施例中,由于编码图形中的正弦图形和余弦图形分布于相同图形,一次写入数字微镜,对应的数字微镜进行了一次编程来创建一个灰度图形,因此,探测器对根据正弦图形编码和余弦编码图形生成的正余弦编码空间图一次采集,一次发送即可。
[0125] 相应地,步骤S504,具体包括:
[0126] 步骤S1003,对所述正余弦编码空间图进行解码复原,得到复原的多光谱图像。
[0127] 以下,通过一个实例说明本申请的多光谱成像方法所能达到的效果,图11示出了原始被测物体图(实际为彩色,通过检测的灰度图复原多光谱图),在该实例中,选取一组已知的多光谱图像(400-700nm),间隔10nm,即31个波段,N=31,
图像空间大小512*512,则u,v的取值是[1,512],整个多光谱图像大小就为(512*512*31),仿真时取K=5,即包含k=0,1,2,3,4的编码周期。图12为编码过程得到的编码后的混合图。图13列出了部分波段的解码复原的多光谱图与原多光谱图之间的对比,从图中可以看出,复原重建的图像与原始图像十分接近,定量计算峰值
信噪比(PSNR)也均在30dB以上。
[0128] 如图14所示,在一个实施例中,提供了一种多光谱成像装置,该多光谱成像装置可以集成于图1所示的多光谱成像设备11中,具体可以包括编码图形生成单元1401、编码图形写入单元1402、空间图接收单元1403以及解码复原单元1404。
[0129] 编码图形生成单元1401,用于根据确定的成像参数及离散傅里叶变换公式,生成编码图形。
[0130] 编码图形写入单元1402,用于将所述编码图形写入多光谱成像系统中的数字微镜。
[0131] 空间图接收单元1403,用于接收所述多光谱成像系统中的探测器发送的空间图。
[0132] 解码复原单元1404,用于基于所述空间图进行解码复原,得到复原的多光谱图像。
[0133] 对于上述多光谱成像装置的解释说明可以参考对图5所示的多光谱成像方法的解释说明的内容,在此不再赘述。
[0134] 本申请实施例提供的多光谱成像装置,先根据确定的成像参数及离散傅里叶变换公式生成的编码图形,由于编码图形包括不同周期的正弦图形和余弦图形,将该编码图形写入数字微镜后,数字微镜仅对分光装置形成的空间光谱混合图进行1次或者2次编码,即可实现以往至少5次编码的效果,进一步减少了测量次数,实现快速实时测量。
[0135] 图15示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的多光谱成像设备11。如图15所示,该计算机设备包括该计算机设备包括通过
系统总线连接的处理器、存储器、网络
接口、输入装置和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有
操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现多光谱成像方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行多光谱成像方法。计算机设备的显示屏可以是
液晶显示屏或者
电子墨
水显示屏,计算机设备的输入装置可以是显示屏上
覆盖的触摸层,也可以是计算机设备
外壳上设置的按键、
轨迹球或触控板,还可以是外接的
键盘、触控板或
鼠标等。
[0136] 本领域技术人员可以理解,图15中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的多光谱成像设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0137] 在一个实施例中,本申请提供的多光谱成像装置可以实现为一种计算机程序的形式,计算机程序可在如图15所示的计算机设备上运行。计算机设备的存储器中可存储组成该多光谱成像装置的各个程序模
块,比如,图14所示的编码图形生成单元1401、编码图形写入单元1402、空间图接收单元1403以及解码复原单元1404。各个程序模块构成的计算机程序使得处理器执行本
说明书中描述的本申请各个实施例的多光谱成像方法中的步骤。
[0138] 例如,图15所示的多光谱成像设备可以通过如图14所示的多光谱成像装置中的编码图形生成单元1110根据确定的成像参数及离散傅里叶变换公式,生成编码图形。多光谱成像设备可通过编码图形写入单元1120,执行将所述编码图形写入所述数字微镜。多光谱成像设备可通过编码检测图接收单元1130执行接收所述多光谱成像系统中的探测器发送的空间图。多光谱成像设备可通过解码复原单元1140,执行基于所述空间图进行解码复原,得到复原的多光谱图像。
[0139] 在一个实施例中,提出了一种计算机设备,所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:根据确定的成像参数及离散傅里叶变换公式,生成编码图形;所述编码图形包括不同周期的正弦图形和不同周期的余弦图形;将所述编码图形写入多光谱成像系统中的数字微镜;所述编码图形用于数字微镜对空间光谱混合图进行编码生成编码后的混合图;所述空间光谱混合图由多光谱成像系统中的分光装置对探测光源照射到被测物体后形成的反射光进行分光获得;接收所述多光谱成像系统中的探测器发送的空间图;所述空间图由所述多光谱成像系统中的合光装置对所述数字微镜输出的所述混合图进行合光获得;基于所述空间图进行解码复原,得到复原的多光谱图像。
[0140] 在一个实施例中,提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:根据确定的成像参数及离散傅里叶变换公式,生成编码图形;所述编码图形包括不同周期的正弦图形和不同周期的余弦图形;将所述编码图形写入多光谱成像系统中的数字微镜;所述编码图形用于数字微镜对空间光谱混合图进行编码生成编码后的混合图;所述空间光谱混合图由多光谱成像系统中的分光装置对探测光源照射到被测物体后形成的反射光进行分光获得;接收所述多光谱成像系统中的探测器发送的空间图;所述空间图由所述多光谱成像系统中的合光装置对所述数字微镜输出的所述混合图进行合光获得;基于所述空间图进行解码复原,得到复原的多光谱图像。
[0141] 应该理解的是,虽然本申请各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0142] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的
硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、
数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。
非易失性存储器可包括
只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括
随机存取存储器(RAM)或者外部
高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
[0143] 以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0144] 以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请
专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附
权利要求为准。
[0145] 以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内所作的任何
修改、等同替换和改进等,均应包含在本申请的保护范围之内。