一种基于图像曝光的多光谱成像系统和方法
阅读：774发布：2020-05-08
专利汇可以提供一种基于图像曝光的多光谱成像系统和方法专利检索，专利查询，专利分析的服务。并且本 申请 公开了基于图像曝光的多 光谱 成像系统和方法。多光谱成像系统包括： 光源 模 块 ，提供可见光并产生激发光，被照射区由可见光和激发光组合照射，被照射区受激发光的激发而释放出 荧光 ；相机模块，包括一个或多个图像 传感器 ，所述图像传感器接收来自被照射区的反射光中的可见光和荧光，以形成包含可见光谱段图像信息和荧光谱段图像信息的多光谱图像；其中，可见光谱段图像的曝光时间值呈周期性变化，使可见光谱段的不同光强度的可见光谱段图像信息在视频连续 帧 图像中交替循环输出。本申请能够使可见光背景图像成像清晰明亮，同时荧光成像 对比度 高，噪点低。，下面是一种基于图像曝光的多光谱成像系统和方法专利的具体信息内容。
1.一种多光谱成像系统，包括：
光源模块，提供可见光并产生激发光，被照射区由可见光和激发光组合照射，被照射区受激发光的激发而释放出荧光；
相机模块，包括一个或多个图像传感器，所述图像传感器接收来自被照射区的反射光中的可见光和荧光，以形成包含可见光谱段图像信息和荧光谱段图像信息的多光谱图像；
其中，可见光谱段图像的曝光时间值呈周期性变化，使可见光谱段的不同光强度的可见光谱段图像信息在视频连续帧图像中交替循环输出。
2.根据权利要求1所述的多光谱成像系统，其特征在于：
可见光谱段图像的曝光时间值包括可见光谱段图像的第一曝光时间值和可见光谱段图像的第二曝光时间值，可见光谱段图像的第一曝光时间值和可见光谱段图像的第二曝光时间值分别在视频连续帧图像中交替周期性循环出现。
3.根据权利要求2所述的多光谱成像系统，其特征在于：
所述多个图像传感器包括荧光谱段对应的第一图像传感器以及可见光谱段对应的第二图像传感器；每个周期帧为两帧图像，第一图像传感器的曝光时间值在图像的连续帧中保持不变，第二图像传感器的曝光时间值在上半个周期帧被设置成可见光谱段图像的第一曝光时间值，第二图像传感器的曝光时间值在下半个周期帧被设置成可见光谱段图像的第二曝光时间值，可见光谱段图像的第一曝光时间值不同于可见光谱段图像的第二曝光时间值。
4.根据权利要求2所述的多光谱成像系统，其特征在于：
可见光谱段图像的第一曝光时间值和可见光谱段图像的第二曝光时间值是根据预设的可见光谱段的基准曝光时间值来设置的。
5.根据权利要求2所述的多光谱成像系统，其特征在于：
可见光谱段图像的第一曝光时间值和可见光谱段图像的第二曝光时间值是根据荧光谱段图像的曝光时间值来设置的。
6.根据权利要求3所述的多光谱成像系统，其特征在于：
所述多个图像传感器采用逐行扫描曝光方式。
7.根据权利要求3所述的多光谱成像系统，其特征在于，通过以下各项中的一者或多者来调解图像相邻帧之间的光强度差异：
调解图像的相邻帧中可见光谱段图像的曝光时间值；对相邻帧图像的可见光谱段后期图像进行图像增强处理，或进行加权算法处理调解所述多个图像传感器中输出后期图像硬件增益放大值；或提高图像帧率。
8.根据权利要求2所述的多光谱成像系统，其特征在于：
所述图像传感器采用隔行曝光方式，图像的每一帧分为两个场图像，奇场图像对应所述图像传感器的滤色阵列的奇数行，偶场图像对应所述图像传感器的滤色阵列的偶数行，每个周期帧包括连续四个场图像，其中第一场被设置成以可见光谱段图像的第一曝光时间值曝光，第二场被设置成以可见光谱段图像的第二曝光时间值曝光，第三场被设置成以可见光谱段图像的第二曝光时间值曝光，并且第四场被设置成以可见光谱段图像的第一曝光时间值曝光。
9.根据权利要求2所述的多光谱成像系统，其特征在于：
可见光谱段图像的第一曝光时间值大于可见光谱段图像的第二曝光时间值。
10.根据权利要求8所述的多光谱成像系统，其特征在于：
对相邻奇场和偶场的图像信息进行后期图像增强处理，并分别隔行扫描显示输出。
11.一种多光谱成像方法，包括：
由可见光和激发光对被照射区组合照射，被照射区受激发光的激发而释放出荧光；
接收来自被照射区的反射光中的可见光和荧光，以形成包含可见光谱段图像信息和荧光谱段图像信息的多光谱图像；
其中，可见光谱段图像的曝光时间值呈周期性变化，使可见光谱段的不同光强度的可见光谱段图像信息在视频连续帧图像中交替循环输出。
12.根据权利要求11所述的多光谱成像方法，其特征在于：
可见光谱段图像的曝光时间值包括可见光谱段图像的第一曝光时间值和可见光谱段图像的第二曝光时间值，可见光谱段图像的第一曝光时间值和可见光谱段图像的第二曝光时间值分别在视频连续帧图像中交替周期性循环出现。
13.根据权利要求12所述的多光谱成像方法，其特征在于：
每个周期帧为两帧图像，荧光谱段图像的曝光时间值在图像的连续帧中保持不变，可见光谱段图像的曝光时间值在上半个周期帧被设置成可见光谱段图像的第一曝光时间值，可见光谱段图像的曝光时间值在下半个周期帧被设置成可见光谱段图像的第二曝光时间值，可见光谱段图像的第一曝光时间值不同于可见光谱段图像的第二曝光时间值。
14.根据权利要求12所述的多光谱成像方法，其特征在于：
可见光谱段图像以隔行曝光方式被曝光，图像的每一帧分为两个场图像，奇场图像对应图像的奇数行，偶场图像对应图像的偶数行，每个周期帧包括连续四个场图像，其中第一场被设置成以可见光谱段图像的第一曝光时间值曝光，第二场被设置成以可见光谱段图像的第二曝光时间值曝光，第三场被设置成以可见光谱段图像的第二曝光时间值曝光，并且第四场被设置成以可见光谱段图像的第一曝光时间值曝光。
15.一种计算机可读存储介质，所述计算机可读存储介质存储用于执行以下操作的计算机可执行指令：
由可见光和激发光对被照射区组合照射，被照射区受激发光的激发而释放出荧光；
接收来自被照射区的反射光中的可见光和荧光，以形成包含可见光谱段图像信息和荧光谱段图像信息的多光谱图像；
其中，可见光谱段图像的曝光时间值呈周期性变化，使可见光谱段的不同光强度的可见光谱段图像信息在视频连续帧图像中交替循环输出。
一种基于图像曝光的多光谱成像系统和方法
技术领域
背景技术
[0002] 光学成像在临床医学中应用广泛，具有对人体无害、非侵入性、高灵敏度和可进行在体多目标成像的优点。其中，随着荧光显影剂的不断拓展和创新，荧光成像更是成为术中导航的重要工具。目前，基于近红外荧光显影剂吲哚菁绿(Indocyanine Green,ICG)的应用技术也日益成熟。荧光显影剂吲哚菁绿通过静脉注射后，与血浆蛋白结合，通过805nm波段左右的近红外光的激发，释放出比激发光波长更长的835nm左右波段荧光。成像系统将捕捉到的荧光信号通过算法处理，在屏幕上实时地显示白光、荧光或叠加图像。这种实时荧光显影的方法与传统的有机染料相比，对比度更高，对目标组织的识别效果更佳，且避免了手术后期染料弥散。
[0003] 对于可见光和荧光同时成像而言，系统输出图像的每一图像帧为多光谱融合图像，根据光谱波长段的不同，一帧图像中可以分为可见光谱段图像信息和荧光谱段图像信息。在采用荧光显影剂导航进行肿瘤手术切割的时候，通常荧光标记的组织区域是希望能够被精准切除，而这就需要荧光组织区域清晰且荧光区域边界分明。同时，手术者也希望可见光谱段背景组织区域也能够清晰明确，以便更好的识别组织。然而，被标记的荧光区域组织上既包含荧光谱段又有可见光谱段的信息，且可见光谱段的光强度通常是远远强于荧光谱段的光强度。这导致了荧光通常被可见光淹没，导致在多光谱图像中荧光较暗，不清晰，对比度较低等问题，而通常荧光区域边界处组织病变程度更低，被激发的荧光通常更弱，在强的可见光谱段光强度下，荧光区域的边界更加的模糊不清楚。
[0005] 为了实现上述目的，本申请提供了一种多光谱成像系统，包括：光源模块，提供可见光并产生激发光，被照射区由可见光和激发光组合照射，被照射区受激发光的激发而释放出荧光；相机模块，包括一个或多个图像传感器，所述图像传感器接收来自被照射区的反射光中的可见光和荧光，以形成包含可见光谱段图像信息和荧光谱段图像信息的多光谱图像；其中，可见光谱段图像的曝光时间值在视频的连续帧图像中中呈周期性变化，使不同光强度可见光谱段图像信息在视频图像不同帧中交替循环输出。
[0006] 根据本申请的一个方面，可见光谱段图像的曝光时间值包括可见光谱段图像的第一曝光时间值和可见光谱段图像的第二曝光时间值，可见光谱段图像的第一曝光时间值和可见光谱段的第二曝光时间值分别在视频图像的每个周期帧中交替周期性循环出现。
[0007] 根据本申请的一个实施例，所述多个图像传感器包括荧光谱段对应的第一图像传感器以及可见光谱段对应的第二图像传感器；每个周期帧为两帧图像，第一图像传感器的曝光时间值在图像的连续帧中保持不变，第二图像传感器的曝光时间值在上半个周期帧被设置成可见光谱段图像的第一曝光时间值，第二图像传感器的曝光时间值在下半个周期帧被设置成可见光谱段图像的第二曝光时间值，可见光谱段图像的第一曝光时间值不同于可见光谱段图像的第二曝光时间值。
[0008] 根据本申请的一个方面，可见光谱段图像的第一曝光时间值和可见光谱段图像的第二曝光时间值是根据系统预设的可见光谱段图像的基准曝光时间值来设置的。
[0009] 根据本申请的一个方面，可见光谱段图像的第一曝光时间值和可见光谱段图像的第二曝光时间值也可是根据荧光谱段的曝光时间值来设置的。
[0010] 根据本申请的一个方面，所述多个图像传感器采用逐行扫描曝光方式。
[0011] 根据本申请的一个方面，通过以下各项中的一者或多者来调解图像相邻帧图像之间的光强度差异：调解图像的相邻帧中可见光谱段图像的曝光时间值；对相邻帧图像的可见光谱段后期图像进行图像增强处理，或对后期图像进行加权算法处理调解所述多个图像传感器中输出后期图像硬件增益放大值；或提高图像帧率。
[0012] 根据本申请的另一个实施例，所述图像传感器采用隔行曝光方式，图像的每一帧分为两个场图像，奇场图像对应所述图像传感器滤色阵列的奇数行，偶场图像对应所述图像传感器滤色阵列的偶数行，每个周期帧图像包括连续四个场图像，其中第一场被设置成以可见光谱段图像的第一曝光时间值曝光，第二场被设置成以可见光谱段图像的第二曝光时间值曝光，第三场被设置成以可见光谱段图像的第二曝光时间值曝光，并且第四场被设置成以可见光谱段图像的第一曝光时间值曝光。
[0013] 根据本申请的一个方面，可见光谱段图像的第一曝光时间值大于可见光谱段图像的第二曝光时间值。
[0014] 根据本申请的一个方面，相邻奇场和偶场的图像信息进行后期图像增强处理后被分别输出。
[0015] 申请还提供了一种多光谱成像方法，包括：由可见光和激发光对被照射区组合照射，被照射区受激发光的激发而释放出荧光；接收来自被照射区的反射光中的可见光和荧光，以形成包含可见光谱段图像信息和荧光谱段图像信息的多光谱图像；其中，可见光谱段图像的曝光时间值呈周期性变化，使可见光谱段的不同光强度的可见光谱段图像信息在视频连续帧图像中交替循环输出。
[0016] 根据本申请的一个实施例，可见光谱段图像的曝光时间值包括可见光谱段图像的第一曝光时间值和可见光谱段图像的第二曝光时间值，可见光谱段图像的第一曝光时间值和可见光谱段图像的第二曝光时间值分别在视频连续帧图像中交替周期性循环出现。
[0017] 根据本申请的一个方面，每个周期帧为两帧图像，荧光谱段图像的曝光时间值在图像的连续帧中保持不变，可见光谱段图像的曝光时间值在上半个周期帧被设置成可见光谱段图像的第一曝光时间值，可见光谱段图像的曝光时间值在下半个周期帧被设置成可见光谱段图像的第二曝光时间值，可见光谱段图像的第一曝光时间值不同于可见光谱段图像的第二曝光时间值。
[0018] 根据本申请的另一个实施例，可见光谱段以隔行曝光方式被曝光，图像的每一帧分为两个场图像，奇场图像对应图像的奇数行，偶场图像对应图像的偶数行，每个周期帧包括连续四个场图像，其中第一场被设置成以可见光谱段图像的第一曝光时间值曝光，第二场被设置成以可见光谱段图像的第二曝光时间值曝光，第三场被设置成以可见光谱段图像的第二曝光时间值曝光，并且第四场被设置成以可见光谱段图像的第一曝光时间值曝光。
[0019] 申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储用于执行以下操作的计算机可执行指令：由可见光和激发光对被照射区组合照射，被照射区受激发光的激发而释放出荧光；接收来自被照射区的反射光中的可见光和荧光，以形成包含可见光谱段图像信息和荧光谱段图像信息的多光谱图像；其中，可见光谱段图像的曝光时间值呈周期性变化，使可见光谱段的不同光强度的可见光谱段图像信息在视频连续帧图像中交替循环输出。
[0020] 相比于已有技术，本申请提供的基于图像曝光的多光谱成像系统和方法能够使得可见光背景图像成像清晰明亮，同时荧光成像对比度高，噪点低。
[0022] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0023] 图1为根据本申请一个实施例的多光谱成像系统的结构示意图；
[0024] 图2为根据本申请一个实施例的采用单个图像传感器的多光谱成像系统的结构示意图；
[0025] 图3为根据本申请一个实施例的光源模块采用多个单色光源组合的示意图；
[0026] 图4为根据本申请一个实施例的相机模块采用两个图像传感器的示意图；
[0027] 图5为根据本申请一个实施例的相机模块采用四个图像传感器的示意图；
[0028] 图6为根据本申请一个实施例的多图像传感器模式逐行输出方式下成像方法示意图；
[0029] 图7为根据本申请一个实施例的单个图像传感器模式下滤色阵列排布示意图；
具体实施方式
[0033] 措辞“示例性”在本文中用于表示“用作示例、实例或示出”。本文中描述为“示例性”的任何实现不必然被解释为优于或胜过其他实现。
[0034] 图1示出了根据本申请一个实施例的多光谱成像系统的示例性结构示意图。在该示例中，多光谱成像系统可以用于荧光内窥镜。如图1所示，荧光内窥镜摄像系统可以包括光源模块1，用于成像的相机模块2，进行图像采集和预处理的数据采集和预处理模块3、数字图像处理模块4，系统控制器5和光源控制器6。其中，相机模块2可以包括光学镜头组件和一个或多个图像传感器(下图将详述)。系统控制器5可以根据数字图像处理模块4的反馈处理结果生成相应的控制信号。光源控制器6可以根据系统控制器5的控制信号对光源模块1进行照明控制。
[0035] 图2示出了根据本申请一个实施例的采用单个图像传感器的多光谱成像系统的示例性结构示意图。如图2所示，光源模块1可以包括入射可见光LED 11、近红外(NIR)激发器12和组合分光镜13。在该示例中，相机模块2可以包括光学镜头组件9和单个图像传感器10(例如，CCD或CMOS图像传感器)。可任选地，光学镜头组件9还可以包括光学滤波器8。入射可见光LED 11可以提供可见光波长段(400nm～760nm)的照明。近红外(NIR)激发器12可以产生近红外波段(790nm～820nm)的NIR激发光，特别是800nm附近波长段的近红外激发光。可见光和NIR激发光可以通过组合分光镜13对被照射区(例如，组织)进行组合照射。当被注射荧光显影剂的组织被光源模块1中的NIR激发光照射时，组织中的荧光基团被激发而释放出比激发光波长更长波段的近红外荧光，例如830nm～900nm的荧光。来自被照射区(例如，组织)的反射光可以包括例如可见光、激发光(例如，NIR激发光)和荧光(例如，近红外荧光)三种光谱波段。其中NIR激发光被可选的光学滤波器8完全阻挡而不能进入图像传感器，而可见光和荧光透过光学镜头组件9进入具有NIR像素的单个图像传感器10。来自图像传感器10的数据可以通过数据采集和预处理模块3进入数字图像处理模块4，以形成可见光谱段图像和荧光谱段图像。系统控制器5可以根据数字图像处理模块4的反馈而输出信号给光源控制器6。光源控制器6可以通过控制驱动电流或者电压控制光源模块1。
[0036] 图3为根据本申请一个实施例的光源模块采用多个单色光源组合的示例性示意图。该示例中，光源模块1可以包括如图3所示的三个单色光源组合形式。可见光源由红光LED 18(620nm～760nm)、绿光LED 19(492nm～577nm)和蓝光LED 20(400nm～450nm)三个单色光源通过相应的组合分光镜15、组合分光镜16和组合分光镜17进行组合。在多个单色光源组合的示例中，相机模块2可以包括一个或多个图像传感器。例如，相机模块2可以是如图2所示的单个图像传感器，也可以是如图4所示的双图像传感器组合。
[0037] 图4为根据本申请一个实施例的相机模块采用两个图像传感器的示例性示意图。相机模块2可以包括多个图像传感器，以及相应的分光棱镜。该示例中，相机模块2可以采用可见光的图像传感器32(如，CCD/CMOS图像传感器)和荧光的图像传感器33(如，CCD/CMOS图像传感器)。来自组织的可见光和荧光通过分光棱镜31分别进入相应的图像传感器。
[0038] 图5为根据本申请一个实施例的相机模块采用四个图像传感器的示例性示意图。相机模块2可以包括四个图像传感器，以及相应的三个分光棱镜。如图5所示，当采用4-CCD/CMOS图像传感器组合时，采用棱镜分光技术(例如，分光棱镜34、分光棱镜35和分光棱镜36的组合)将光分别引导至三个RGB单色图像传感器(例如，红光图像传感器38、绿光图像传感器39和蓝光图像传感器40)和一个NIR荧光图像传感器37中，其中各图像传感器分别接收所对应波长段的反射光，以形成多光谱图像。
[0039] 对于可见光和荧光同时成像而言，系统输出图像的每一图像帧为可见光和荧光的多光谱融合图像，根据光谱波长段的不同，一帧图像中可以分为可见光谱段图像信息和荧光谱段图像信息。对于采用多图像传感器分别捕捉不同光谱波长段图像信号进行后期融合的模式下(例如上述图4和图5)，每一图像帧信息中的光强度由组织反射光强度和反射光在图像传感器上光照时间积分共同决定。
[0040] 通过降低可见光光强度可以提高荧光区域的对比度，但是也降低了可见光背景组织亮度和清晰度。在可见光谱段和荧光的多光谱融合图像中，高可见光光强度可以突出可见光图像的图像空间细节，而低光强度下则突出荧光图像的细节。通过降低可见光背景图像的光照强度来提高荧光对比度则会牺牲可见光图像成像质量，同时在系统信噪比一定的情况下，低照度下的图像噪点更加的突出和明显，使得图像边界模糊而噪点突出。
[0041] 在光源光照强度保持不变的条件下，增加曝光时间会增加帧图像的亮度，同理减小曝光时间则相应减少图像的亮度。在保证图像清晰度的基础下，曝光时间长，则图像亮度较强；曝光时间短，则图像亮度减弱。根据前面的描述，在图像一帧曝光时间内，通过减小可见光谱段所对应图像传感器的曝光时间，可以减小多光谱图像中可见光谱段图像信息光强度，从而可以提高多光谱融合图像中荧光谱段图像的对比度和清晰度。
[0042] 图6为根据本申请一个实施例的多图像传感器模式逐行输出方式下成像方法示意图。如图6所示，在多图像传感器模式且逐行图像输出方式下，可以采取如下曝光调节方式。在视频所有连续帧图像中，根据视频图像的帧率，荧光图像传感器的曝光时间保持不变。而系统图像输出的第一帧中，可见光谱段对应的图像传感器进行长曝光时间，而第二帧中的可见光谱段对应的图像传感器为短曝光时间；第三帧中，可见光谱段对应的图像传感器进行长曝光时间，而第四帧中的可见光谱段对应的图像传感器为短曝光时间。同理，后续图像帧亦是如此周期性变化。可见光谱段的长和短的不同曝光时间值分别在图像的每一帧中交替周期性循环出现。换言之，一个周期帧为两帧图像，上半个周期帧为可见光谱段图像的第一曝光时间(如，长曝光时间)，下半个周期帧为可见光谱段图像的第二曝光时间(如，短曝光时间)。应当理解的是，每个周期帧中，可见光谱段的曝光时间可以采取先长后短(如图示实施方式)，但本申请并不局限于此。作为替换，在每个周期帧中，上半个周期帧可以被设置为可见光谱段图像的第二曝光时间(如，短曝光时间)，下半个周期帧可以设置为可见光谱段图像的第一曝光时间(如，长曝光时间)。还应当理解的是，图像可见光谱段的长曝光时间或者短曝光时间均是相对于预设置的可见光谱段基准曝光时间，或者是相对于荧光谱段的曝光时间。可任选地，长曝光时间可以根据帧率大小进行最佳匹配。虽然图像相邻帧的可见光谱段曝光时间具有差异，导致不同图像帧光强具有亮暗差异，但是由于人的视觉暂留特性，以及人眼在一定光强之上对亮度变化敏感性较低的特点，这样连续图像帧中的亮暗部分交织在一起，人眼不易察觉这种快速的可见光谱段亮暗变化。曝光时间差值可以根据具体视觉效果进行调节，达到人眼无明显产生闪屏效果即可。根据色光理论，人眼在非常低亮度下对亮度比较敏感，在高亮度下则不敏感。
[0043] 另外，为了避免相邻帧图像光强度差异过大导致明显的屏闪现象，尤其是在帧率不高的情况下，可通过调节和优化相邻帧图像中可见光谱段曝光时间，同时对相邻帧图像的可见光谱段后期图像进行图像增强处理，或者通过后期图像加权算法处理，或者调节不同图像传感器中输出后期图像硬件增益放大值，将可见光谱段为暗帧数据的亮度进行增强并输出，以适应人眼对光强变化敏感度，达到更好的视觉效果。此外，在具体实施中，也可适当提高图像帧率，以消除曝光时间差异导致的光强变化过大带来的人眼不适应。
[0044] 此外，在各图像帧包含的信息中，可见光谱段为高曝光的帧图像主要突出背景组织的图像细节和清晰度。而可见光谱段低曝光帧图像则突出荧光区域的图像细节，同时突出与背景组织的对比度。如此，在连续图像帧的过程中，利用人眼的视觉暂留特性，既可以反映背景组织高曝光下的结构图像细节，也体现了荧光区域的具体图像细节。
[0045] 图7为根据本申请一个实施例的单个图像传感器模式下滤色阵列排布示意图。
[0046] 由于同样大小CCD像素的不断增加，CCD中传送信号的通路可能无法适应逐行扫描得到的一次性大量数据，会造成图像处理速度的下降。在这种情况下，尤其在高像素的数码相机中，可以采用隔行扫描技术。由此，对于传感器滤色阵列中集成NIR像素的单图像传感器而言，可以通过隔行曝光隔行输出的方式分别调整可见光和荧光图像的光强度信息。一些CCD或者CMOS图像传感器只能进行隔行扫描曝光，并在隔行输出模式下读出。在这种模式下，电子快门在曝光前将所有光电二极管重置，和逐行扫描模式一样。但是在曝光结束时，并不是所有电荷能同时从光电二极管中传送出。图像的奇数行与偶数行电荷必须在不同的时间内转移，所以图像奇行和偶行将有不同的曝光时间，即是图像传感器先曝光图像的奇数行，然后再曝光图像的偶数行。
[0047] 对于摄像系统采用单个图像传感器的情况下，其马赛克滤色镜阵列如图7所示。图中NIR(近红外荧光)像素和蓝光B像素为一行，而红光R和绿光G像素为一行。可以将滤色阵列奇数行设置为红光R和绿光G阵列，而偶数行设置为蓝光和NIR的阵列。根据隔行曝光原理，可以分别设置图像奇数行和偶数行的曝光时间，以调整各单色光的亮度。彩色可见光图像由滤色阵列中的RGB阵列进行色光合成，根据可见光的亮度等于参与混色的基色的亮度总和，在偶数行(蓝光B和NIR)曝光时间不变情况下，通过单独减少图像奇数行的曝光时间，可以减少红光R和绿光G成分的光谱分量，导致可见光谱段图像的总光强度减小。但这会导致可见光混合基色中蓝光强度偏高而造成偏色现象。对此，可选地，可在图像后期处理中进行伽马矫正，根据奇偶数行间曝光时间的差值和光照强度的大小，重新确定伽马矫正中蓝光成分的权重比，从而还原可见光谱段图像的真实色彩。
[0048] 作为替换，和NIR像素为同一行的也可为红光R或者绿光G(图中未示出)。同理，这样后期伽马矫正中需要调整相应红光R或者绿光G成分的权重比。
[0049] 图8示出了根据本申请一个实施例的隔行输出方式下成像方法示意图。在该示例中，采用单个图像传感器。在隔行曝光隔行输出方式下，可以采用如下帧图像曝光调节方式。如图8所示，在隔行曝光方式下，图像一帧分为两个场图像：奇场图像和偶场图像。奇场图像对应图像传感器滤色阵列奇数行，偶场图像对应图像传感器偶数行。第一场为长时间曝光，第二场为短时间曝光，第三场也为短时间曝光，第四场为长时间曝光。换言之，在连续的4个场图像为一个曝光变化周期。所对应的图像帧光照强度变化也如图8所示，图像的第一帧中可见光谱段光强度为高，而第二帧中可见光谱段光强度为低；第三帧中可见光谱段光强度为高，而第四帧中可见光谱段光强度为低。
[0050] 在图像传输中，经过转换后的数字图像信号进入数字图像处理模块4，数字图像处理模块4对于图像传感器奇偶数行不同曝光时间的场图像分别进行后期图像增强处理后合成图像，并在显示器(未示出)上成像。可选地，，也可以进行后期图像增强处理后，直接在显示器上按隔行扫描的方式显示。
[0051] 应当理解的是，图像滤色阵列中的奇数和偶数行不同曝光时间的调整可以实现图像帧中可见光谱段的光强度变化，最后图像的奇数场和偶数场在不同曝光时间下输出显示。由于可见光谱段亮暗的部分交织在一起，利用人的视觉特点，反而不易察觉。采用隔行输出，图像信息被分为两个场图像分别输出，这种方式对于本发明的视觉效果更加具有连续性。同时隔行输出能支持更高分辨率的图像输出。
[0052] 本申请中，根据人眼的视觉暂留特性，结合不同视频输出方式，对连续帧图像信息中，通过设置不同曝光时间来调节视频图像中不同帧图像的可见光光强度，使得高和低可见光谱段光强度在不同帧图像中交替循环输出。这样在一个连续的帧图像信息中，既可以输出高亮度的可见光谱段图像，突出背景组织的可见光图像细节，也可以输出低可见光强度背景下高对比度的荧光图像信息。如此，在一系列的连续帧图像信息中，既体现了可见光谱段图像的清晰细节，又体现了荧光近红外谱段图像的高对比度下的图像细节。采用隔帧输出不同光强度和对比度的图像周期帧技术，在保证荧光图像信息高对比度的同时，也输出高清晰可见光图像信息。
[0053] 根据本申请的方案，解决了现有的荧光和可见光谱段同时成像中时，高可见光强度背景图像下荧光区域对比度低的缺陷。此外，还解决了市场上荧光和可见光谱段同时成像中时，低可见光强度背景图像下可见光图像成像质量差的缺陷。另外，本申请利用曝光时间的差别调节，使得图像亮度信息控制更加方便、灵活和精准。
[0054] 应当理解，上述实施例仅作为示例而非限制，除了上述逐行扫描和隔行扫描方案之外，本领域技术人员还可以构想更多其他类似方法，既能体现可见光谱段图像的清晰细节，又能体现荧光近红外谱段图像的高对比度下的图像细节。这样的实现方式不应被解读成导致脱离了本申请的范围。
[0055] 参考图9，示出了一种示例性的计算机系统900。计算机系统900可以包括逻辑处理器902，例如执行核。尽管图示了一个逻辑处理器902，但在其它的实施例中，计算机系统900可以具有多个逻辑处理器，例如，每个处理器基片多个执行核，和/或多个处理器基片，其中每个处理器基片可以具有多个执行核。如图所示，各种计算机可读存储介质910可以通过一条或多条系统总线互连，所述系统总线将各种系统组件耦合到逻辑处理器902。系统总线可以是若干类型的总线结构中的任何类型，包括存储器总线或存储器控制器、外围总线、以及使用各种各样的总线体系结构中的任一种的本地总线。在示例性的实施例中，计算机可读存储介质910可以包括例如随机存取存储器(RAM)904、存储设备906(例如，机电硬驱动器、固态硬驱动器等等)、固件908(例如，快闪RAM或ROM)、以及可拆卸存储设备918(诸如像CD-ROM、软盘、DVD、闪存驱动器、外部存储设备等等)。本领域的技术人员应当意识到，可以使用其它类型的计算机可读存储介质，诸如磁带盒、闪存卡和/或数字视频盘。计算机可读存储介质910可以提供计算机可执行的指令922、数据结构、程序模块、以及用于计算机系统900的其它数据的非易失性和易失性存储。基本输入/输出系统(BIOS)920——其包含诸如在启动期间帮助在计算机系统900的单元之间转移信息的基本例行程序——可以被存储在固件908中。大量的程序可以被存储在固件908、存储设备906、RAM 904和/或可拆卸存储设备918上，并可以由逻辑处理器902执行，逻辑处理器902包括操作系统和/或应用程序。命令和信息可以通过输入设备916被计算机系统900所接收，输入设备916可以包括但不限于键盘和指向设备。其它的输入设备可以包括话筒、操纵杆、游戏手柄、扫描仪等等。这些和其它输入设备常常通过被耦合到系统总线的串行端口接口而被连接到逻辑处理器902，但是也可以通过其它的接口连接，诸如并行端口、游戏端口或通用串行总线(USB)。显示器或其它类型的显示设备也可以经由接口连接到系统总线，比如视频适配器，其可以是图形处理单元912的一部分或被连接到图形处理单元912。除了显示器，计算机典型地包括其它的外围输出设备，诸如扬声器和打印机(未示出)。图9的示例性系统还可以包括主机适配器、小型计算机系统接口(SCSI)总线、以及连接到SCSI总线的外部存储设备。计算机系统900可以在使用到一个或多个远程计算机(诸如，某个远程计算机)的逻辑连接的联网环境中操作。远程计算机可以是另外的计算机、服务器、路由器、网络PC、对等设备或其它常见的网络节点，以及典型地可以包括上面相对于计算机系统900描述的单元中的多个或所有单元。当在LAN或WAN联网环境中使用时，计算机系统900可以通过网络接口卡914被连接到LAN或WAN。网卡(NIC)
914(其可以是内部的或外部的)可以被连接到系统总线。在联网环境中，相对于计算机系统
900描绘的程序模块或者它们的一些部分可以被存储在远程存储器存储设备中。应意识到，这里描述的网络连接是示范性的，以及可以使用在计算机之间建立通信链路的其它手段。
914(其可以是内部的或外部的)可以被连接到系统总线。在联网环境中，相对于计算机系统
900描绘的程序模块或者它们的一些部分可以被存储在远程存储器存储设备中。应意识到，这里描述的网络连接是示范性的，以及可以使用在计算机之间建立通信链路的其它手段。
[0056] 在一个或更多个示例性实施例中，所描述的功能和过程可以在硬件、软件、固件、或其任何组合中实现。如果在软件中实现，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。对于固件和/或软件实现，这些方法可以用执行本文中所描述功能的模块(例如，程序、函数等等)来实现。有形地体现指令的任何机器可读介质可用于实现本文中所描述的方法体系。例如，软件代码可被存储在例如移动站的存储器之类的存储器中，并由例如台式计算机、膝上型计算机、服务器计算机、移动设备的微处理器等处理器执行。存储器可以实现在处理器内部或处理器外部。如本文所使用的，术语“存储器”是指任何类型的长期、短期、易失性、非易失性、或其他存储器，而并不限于任何特定类型的存储器或特定数目的存储器、或记忆存储在其上的介质的类型。
[0057] 上述描述和图示仅作为说明性示例提供。对单数形式的权利要求元素的任何引述，例如使用冠词“一”、“某”或“该”的引述不应解释为将该元素限定为单数。例如本文使用的“第一”、“第二”等名称对源深的任何引用通常不限制那些元素的数量或次序。对第一和第二元件的引用并不意味着此处采用仅仅两个元件，也不意味着第一元件必须以某种方式在第二元件之前。除非另外说明，否则一组元件可以包括一个或多个元件。技术人员对于每种特定应用可用不同的方式来实现所描述的结构，但这样的实现方式不应被解读成导致脱离了本申请的范围。
[0058] 提供所公开的实施例的先前描述是为了使本领域任何技术人员皆能制作或使用本申请。对这些实施例的各种修改对本领域技术人员来说将是显而易见的，且本文所定义的一般原理可被应用于其它实施例而不背离本申请的精神或范围。由此，本申请并非旨在限定于本文中示出的实施例，而是应被授予与所附权利要求和本文中公开的原理和新颖性特征一致的最广义的范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 硅基微显示器显示控制方法及硅基微显示器 | 2020-05-11 | 938 |
| 用于对异步触发采集到的图像进行校正的方法 | 2020-05-12 | 986 |
| 一种基于深度学习的老旧影片修复重制方法 | 2020-05-13 | 899 |
| 用于媒体传输和存储的视频扫描格式信息的封装 | 2020-05-11 | 539 |
| 基于改进的Apriltag标签的移动机器人视觉定位方法 | 2020-05-13 | 111 |
| 用于以媒体应用程序格式发信号通知可伸缩视频的系统和方法 | 2020-05-08 | 51 |
| 感光触摸屏及手持智能终端 | 2020-05-11 | 378 |
| 硅基微显示器扫描刷新驱动方法及显示器 | 2020-05-11 | 853 |
| 合成用户界面 | 2020-05-12 | 229 |
| 一种自主飞行投物无人机 | 2020-05-13 | 100 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
隔行扫描热门专利
QQ群二维码
意见反馈
意见反馈