技术领域
[0001] 本
发明是属于微
流体重构方法技术领域，涉及一种细胞图像超分辨率重构方法。
背景技术
[0002] 近年来，一种新兴的芯片技术——微流控芯片技术以它独有的快速分析、低功耗、微型化和自动化而发展非常迅速。它具有流体流动可控、消耗试样和
试剂极少、分析速度成百倍提高等优点，可以在几分钟甚至更短的时间内进行上百个样品的同时分析。这使得其在医学研究领域渐渐展现了它独有的迷人魅
力和发展前景。
[0003] 众所周知，在当今的
生物医学的研究中，生物细胞的观察研究一直是处于一个很重要的地位。通过对细胞运动
图像序列的观察研究，我们可以观测到细胞的表型变化和动态行为，并对细胞进行分类和计数，给医学诊断提供良好的依据。但是现有的观察细胞的
显微镜设备过于庞大和昂贵，而且观察细胞只能在玻片上或是玻璃器皿上进行观察，这使得我们观察不到了细胞的最重要的生命特性之一——流动性。种种的这些
缺陷，在微流控芯片的技术出现后，都给医学界带来了一个新的希望，和即将发生的重大变革。
[0004] 微流控芯片中的微通道一般宽度为10～50纳米左右，它与生物细胞的大小相当。而且可以通过可控制的压力等方法，使得生物细胞在微通道内非常容易被操纵、观察和检测，而且他克服了现有设备中检测系统过于庞大、检测过程复杂、检测周期长、必须在相应的实验室中检测的等等众多缺点，它完全可以达到低成本，低功耗，并可在个人家或是不具备建立实验室条件的边远地区进行初步的快速诊断。基于这些诱人的优点，一个新的研究方向应运而生并发展越来越迅速——Optofluidic Microscope。
[0005] 最早由加州理工大学，研制出了OFM系统，并得到了蠕虫在微通道内的图像，他利用了光学的衍射原理，在微通道和
传感器之间做了一层带有点阵的不透光层。但是该OFM系统工艺复杂，必须需要光的垂直照射，而且分辨率有限制。所以后来在此
基础上又诞生了SROFM系统，它不需要微通道和传感器之间的那层复杂工艺，而且在自然光下就可以工作，直接用传感器采集轨道内的一个1:1的图像序列，然后利用超分辨率方法，得到高分辨率的图像，使得分辨率可以达到比OFM更小。
[0006] 超分辨率重构的主要思想旨在利用低分辨率图像序列通过
信号估计理论来生成高分辨率图像。目前，在SROFM系统中用到的图像超分辨率重构
算法中，主要分为基于多
帧的超分辨率重构算法和基于单帧的超分辨率重构算法。基于多帧的超分辨率重构算法是将相邻的多幅低分辨率图像信息集合起来，把有用的信息进行整合得到一幅单独的超分辨率图像。基于单帧的超分辨率重构是利用原图像中相邻
像素点的不同方向的相关信息通过相应的差值来实现超分辨率重构。基于多帧的超分辨率重构算法需要很大的存储空间来对相邻帧的像素信息进行存储，比如实验中就用到了50帧的图像进行了超分辨率重构，这远远不能满足
图像处理的实时性要求。基于单帧的超分辨率重构算法能够满足实时性要求，但是在对细胞图像进行放大时，由于只采用了细胞周围相邻一部分像素的信息，因此放大后细胞的表型特征并不能得到很好的体现。
[0007] 不管是多帧超分辨重构算法，还是单帧超分辨率重构算法都是重构出一种能够充分显示出细胞特征信息的方法，而不是真正的还原出真实细胞。
发明内容
[0008] 本发明的目的在于提供一种细胞图像超分辨率重构方法，解决了
现有技术需要大的存储空间，复杂的追踪过程，且不能满足图像处理的实时性要求的问题，以及传统的基于单帧的超分辨率重构算法放大后细胞的表型特征不能得到很好的体现的问题。
[0009] 本发明的技术方案是，细胞图像超分辨率重构方法，通过微流体显微镜系统得到1:1的低分辨率的细胞图像序列，然后从中分割出超分辨率重构所需的N个同类细胞图像，并利用这些低分辨率的细胞图像信息来重构出高分辨率的细胞图像信息。
[0010] 本发明的特点还在于：
[0011] 具体包括以下步骤：
[0012] 步骤1，通过CMOS图像传感器获得低分辨率的细胞图像序列；
[0013] 步骤2，在当前帧中搜索到超分辨率重构所需要的n个样本细胞，把细胞从背景中分割并提取出来；
[0014] 步骤3，搜索到n个细胞后，根据这n个细胞的信息来对目标细胞进行超分辨率重构。
[0015] 上述步骤3包括：
[0016] (1)从分割出来的细胞中取出一个作为待插值的参考细胞A并做成一个n-1倍的网格，待插值的参考细胞A的像素值放在每个网格单元的左上端；
[0017] (2)对其余分割出的细胞进行配准，把分割出的细胞像素矩阵与待插值的参考细胞像素矩阵进行相应像素
位置一一相减，得到的差值取平方，最后把得到的矩阵每一个差值相加求和，得到一个代价值sad；然后把分割出来的细胞旋转90度继续与待插值细胞像素矩阵进行相应像素位置一一相减后平方求和；依此类推，每个分割出的细胞可以得到4个方向上的sad，然后比较这4个sad，取最小的sad所代表的方向为后续的插值做准备；
[0018] (3)利用分像素插值的方法把待插值的参考细胞A放大4倍，得到矩阵B；
[0019] (4)通过1/4像素差值Motion Estimate的方法，把分割的细胞插入到步骤1所建立的超分辨率网格中，具体方法是用分割出的细胞对应像素点分别减去A的对应位置的像素值，然后平方，最后相加求和，得到一个代价值sad1；总共得到n-1个代价值，比较大小，得到的最小值所对应的位置就是该分割出的细胞所应插入到网格中的最佳位置。
[0020] (5)用加权求和的方法得出插值后剩余的像素值；
[0021] (6)对插值后的放大n-1倍的像素矩阵进行滤波，去除插值过程中所造成的模糊，以及抑制噪声；
[0022] (7)对经过(6)处理后的结果进行锐化处理来增强细节信息。
[0023] (8)用分像素插值的方法，对(7)得出的结果进行放大，最后放大2(n-1)倍；采用的过程同上面的(3)。
[0024] (9)然后对目标区域的图像信息进行增强，来突出目标的信息特征。
[0025] 得到一个经过超分辨率重构后放大2(n-1)倍的细胞。
[0026] 上述(3)中，得到矩阵B的方法为：
[0027] 先把待插值的参考细胞A放大一倍，由如下公式得到：
[0028] Bk＝(Ak+[k/5]+Ak+1+[k/5])/2
[0029] Ck＝(Ak+Ak+6)/2
[0030] Dk＝(Bk+Bk+5+Ck+Ck+1)/4(k＝1、2……30) (1)
[0031] 其中Ak为待插值的参考细胞A中的原始像素值，Bk、Ck、Dk为待参考细胞的n-1倍超分辨率网格中的待求值。
[0032] 边界处的E1和H1以及F1和G1通过溢出位置边缘复制处理的方法来得到，公式如下：
[0033] Ek＝(A6k+A6k)/2
[0034] Hk＝(Ek+Ek+1+C6k+C6k)/4
[0035] Fk＝(A30+k+A30+k)/2
[0036] Gk＝(B25+k+B25+k+Fk+Fk+1)/4(k＝1、2…5) (2)
[0037] 其中Ak为待插值的参考细胞A中的原始像素值，Ck、Bk等为公式(1)已经求出的待求值，Ek、Hk、Fk、Gk为边界处要求得的值；其中k取1、2…5，每个字母变量代表细胞图像中不同的像素点在矩阵中的位置。
[0038] 把按照上面公式(1)与公式(2)中的方法放大一倍的待插值的参考细胞A再进行一次放大。具体方法是在上面得到的结果的基础上,再利用下面公式(3)所示的四分之一像素插值方法将上面由公式(2)得出的最后结果放大一倍，利用待插值的参考细胞A的原始像素数据和上面利用公式(1)和公式(2)所计算出的二分之一
精度像素求平均得来，具体公式如下：
[0039] a0＝(B3+A1)/2 (3)
[0040] 其中A1、B3为a0周围像素值。
[0041] 在计算1/4插值数据时，所采用的数据受到半像素数据位置的影响；半像素为奇数位置时，采用倒“爪”型；为偶数时，采用正“爪”型。
[0042] 上述(5)中，具体像素值的算法如下：
[0043]
[0044]
[0045]
[0046]
[0047]
[0048]
[0049]
[0050]
[0051]
[0052]
[0053]
[0054]
[0055]
[0056]
[0057]
[0058] 其中每项的系数即qA1、qA2、qA7、qA7(i,j)、qA(i,j)的取值遵从如果待处理像素点的像素信息存在则为值1，如果待处理像素点的像素信息不存在则为值0；A(i,j)为需要求得的像素值，它的计算规则是如果待处理像素点中对应网格点的原始像素值为0则结果为上面的公式所计算得到的，如果待处理像素点中对应网格点的像素值不为零，则证明待处理像素点中对应网格点已在步骤3中(3)中插入了新的像素值，那么待处理像素点的像素值还是取在步骤3中(3)中插入的像素值；而在上面的公式右面表达式中的像素变量取值原则也是按照这个标准。
[0059] 本发明的有益效果是：
[0060] 1、本发明从CMOS图像传感器获得低分辨率的细胞图像序列，根据对目标细胞放大的倍数n在当前帧中找到n个同类细胞，通过本发明所述的插值的方法将目标细胞放大n倍。本发明所采用的是基于单帧多目标的细胞图像超分辨率重构方法，相对于基于多帧的超分辨率重构方法，本发明只需要在当前帧中便可以采集到需要的n个细胞，能够大大减少存储空间，提高处理速度；相对于已经存在的一些传统的基于单帧的超分辨率重构方法，本发明是利用多个同类细胞的信息来对目标细胞进行放大，采集的信息多，提高了超分辨率重构的效果，可以更准确的表现出一些细胞的细节特征。
[0061] 2、本发明只需要在一帧图像中找到多个同类细胞来进行超分辨率重构，而不需要读取许多帧图像，减少了存储空间，提高了处理速度，并且同样可以采集更多的相关信息，使放大后的细胞能体现更多的细节特征，达到可以分辨诊断细胞的要求。
附图说明
[0062] 图1为没有经过任何处理的一帧含有细胞图像的一部分Optofluidic Microscope的截图；
[0063] 图2为待插值的参考细胞的像素矩阵示意图；
[0064] 图3为本发明细胞图像超分辨率重构方法中待插值的参考细胞的n-1倍超分辨率网格示意图；
[0065] 图4为本发明细胞图像超分辨率重构方法中待参考细胞用二分之一像素插值法放大2倍的像素矩阵示意图；
[0066] 图5为本发明细胞图像超分辨率重构方法中待参考细胞四分之一像素插值法放大4倍的像素矩阵示意图；
[0067] 图6为本发明细胞图像超分辨率重构方法中分割的细胞插入超分辨率网格的矩阵示意图；
[0068] 图7为本发明细胞图像超分辨率重构方法中用加权求和的方法计算插值后剩余像素信息的矩阵示意图；
[0069] 图8为Optofluidic Microscope中分割出的同类的5个1:1大小的骨髓细胞；
[0070] 图9为从5个分割出的细胞中选出的待参考细胞；
[0071] 图10为本发明细胞图像超分辨率重构方法中超分辨率网格的效果图；
[0072] 图11为本发明细胞图像超分辨率重构方法中经过分像素插值方法放大了4倍的待参考细胞效果图；
[0073] 图12为本发明细胞图像超分辨率重构方法中把分割的其余细胞插入超分辨率网格的效果图；
[0074] 图13为本发明细胞图像超分辨率重构方法中插值后，其余像素点通过加权求和后的效果图；
[0075] 图14为本发明细胞图像超分辨率重构方法中中值滤波后的超分辨率图像的效果图；
[0076] 图15为本发明细胞图像超分辨率重构方法中对滤波后的图像进行锐化后的效果图；
[0077] 图16为本发明细胞图像超分辨率重构方法中锐化后的图像加上锐化前的图像的效果图；
[0078] 图17为本发明细胞图像超分辨率重构方法中用灰级窗的方法增强了
对比度后的效果图；
[0079] 图18为本发明细胞图像超分辨率重构方法中用分像素插值的方法放大了2倍后的效果图；
[0080] 图19为在放大镜下放大了10000倍的细胞图像效果图。
具体实施方式
[0081] 下面结合附图和具体实施方式对本发明进行详细说明。
[0082] 本发明所提出的细胞图像超分辨率重构方法技术方案的实施基于一个假设：在Optofluidic Microscope系统中所采集到的图像中的细胞都是同一类细胞。
[0083] 本发明具体按照以下步骤实施：
[0084] 步骤1：通过CMOS图像传感器获得低分辨率的细胞图像序列；
[0085] 步骤2：在当前帧中搜索到超分辨率重构所需要的n个样本细胞。采用相应的分割方法把细胞从背景中分割并提取出来。
[0086] 步骤3：搜索到n个细胞后，就可以根据这n个细胞的信息来对目标细胞进行超分辨率重构。
[0087] 步骤3中，采用的是基于插值的超分辨率重构方法，即用n个同类的低分辨率细胞的信息经过插值的方法重构出一个放大2(n-1)倍的高分辨率细胞，具体包括以下步骤：
[0088] (1)从分割出来的细胞中取出一个作为待插值的参考细胞如图2所示，并做成一个n-1倍的网格，参考细胞A的像素值放在每个网格单元的左上端，如图3所示。
[0089] (2)然后对其余分割出的细胞进行配准，及把分割出的细胞像素矩阵，与待插值的参考细胞像素矩阵进行相应像素位置一一相减，得到的差值取平方，最后把得到的矩阵每一个差值相加求和，得到一个代价值sad。在把分割出来的细胞旋转90度继续与待插值细胞像素矩阵进行相应像素位置一一相减后平方求和。依此类推，每个分割出的细胞可以得到4个方向上sad，然后比较这4个值，取最小的值所代表的方向为后续的差值做准备。
[0090] (3)利用分像素差值的方法把待插值的参考细胞A放大4倍，得到矩阵B。
[0091] 先是把待插值的参考细胞A放大一倍，如图4，有如下公式得到：
[0092] B1＝(A1+A2)/2
[0093] C1＝(A1+A7)/2
[0094] D1＝(B1+B2+C1+C2)/4 (1)
[0095] 其中A1～A36如图4为待插值的参考细胞A中的原始像素值，B1、C1、D1如图4为待参考细胞的n-1倍超分辨率网格中的待求值。
[0096] 边界处的E1和H1以及F1和G1通过溢出位置边缘复制处理的方法来得到,公式如下:
[0097] E1＝(A6+A6)/2
[0098] H1＝(E1+E2+C6+C6)/4
[0099] F1＝(A31+A31)/2
[0100] G1＝(B26+B26+F1+F2)/4 (2)
[0101] 其中A1～A36如图4为待插值的参考细胞A中的原始像素值，C6、B26等为公式(1)以求得的待求值，E1、H1、F1、G1为边界处待求的值。
[0102] 然后在放大2倍的基础上利用利用下面公式3所示的四分之一像素插值方法在放大一倍，主要是由整像素数据和上面利用公式(1)和公式2所插入的二分之一精度像素计算得来，如图5所示。半像素数据A1周围的1/4精度数据a0，a1…a7，a8都是根据线性插值公式(3)计算得到的：
[0103] a0＝(B3+A1)/2 (3)
[0104] 其中A1、B3如图5所示为周围像素值。
[0105] 在计算1/4插值数据时，所采用的数据收到半像素数据位置的影响。半像素为奇数位置时，采用倒“爪”型；为偶数时，采用正“爪”型；例如，如图5中，整像素X4周围的8个半像素点分别为C1、B4、C2、A1、A2、C3、B7和C4，其中A1是搜索位置为3的半像素点，所以他采用的是倒“爪”型。
[0106] (4)然后通过1/4像素差值Motion Estimate的方法，把分割的细胞插入到步骤1建立的超分辨率网格中，具体方法是用分割出的细胞对应像素点分别减去A的对应位置的像素值，然后平方，最后相加求和，得到一个代价值sad1。总共得到n-1个代价值，比较大小，得到的最小值所对应的位置就是该分割出的细胞所应插入到网格中的最佳位置。如图6，从背景中分割出的2个的细胞J和K在这个超分辨网格中所插入的位置是按如上方法所计算的最佳位置。
[0107] (5)然后用加权求和的方法得出插值后剩余的网格信息，如图7。具体像素值由如下公式所示：
[0108]
[0109]
[0110]
[0111]
[0112]
[0113]
[0114]
[0115]
[0116]
[0117]
[0118]
[0119]
[0120]
[0121] 其中每项的系数(即qa、qb、qc、qd、qe等)的取值遵从如果该店的像素信息存在则为值1，如果该店的像素信息不存在则为值0。字母a、b、c、d、e、f、g、h、i、j、k、l、m等如图7所示为需要计算的像素值。k1、j1等如图7为按步骤4所插入的像素值
[0122] (6)对插值后的放大n-1倍的像素矩阵进行滤波，去除插值过程中所造成的模糊，以及抑制噪声。
[0123] (7)然后对经过(6)处理后的结果进行锐化处理来增强细节信息。
[0124] (8)用分像素差值的方法，对(7)得出的结果进行放大，最后放大2(n-1)倍。采用的过程同上面的步骤3。
[0125] (9)然后对目标区域的图像信息进行增强，来突出目标的信息特征。
[0126] 经过以上9步，就得到一个经过超分辨率重构后放大2(n-1)倍的细胞。从理论上,取得的细胞越多,信息越充分,放大的倍数越多,所成的细胞图像越接近显微镜下的细胞图像。
[0128] 实验中取5个细胞以将细胞放大16倍为例进行说明。
[0129] 步骤1：通过CMOS图像传感器获得低分辨率的细胞图像序列；
[0130] 步骤2：根据细胞的特征把细胞从背景中分割出来，分割出的5个细胞如图8所示。
[0131] 步骤3：利用这分割出的5个细胞的信息来进行超分辨率重构。采用基于插值的超分辨率重构方法，即用这5个同类的低分辨率细胞的图像信息经过一定的差值方法重构出一个放大16倍的高分辨率的可以体现该细胞的细节特征的虚拟细胞图像信息，具体包括以下步骤：
[0132] (1)取分割出的一个细胞为待插值参考细胞，如图9。
[0133] (2)把该参考细胞放大四倍做成高分辨率待插值的网格，如图10。
[0134] (3)采用分像素差值的方法，把待参考细胞插成放大4倍的图像信息，如图11。
[0135] (4)用剩余的4个分割出的细胞，每个细胞的每个像素点与图9中每个对应单元的其余15个像素像素点做差，然后平方。总共36个单元求出的差值平方求和。然后比较大小，最小的则为该分割出的细胞像素信息，插入到超分辨率网格中的最佳位置，如图12。
[0136] (5)对于超分辨率网格剩余的空像素点利用上面提到的加权求和的方式得到，其结果如图13。
[0137] (6)对得到的细胞进行中值滤波，如图14所示，为实验中放大了4倍并用中值滤波后的细胞。
[0138] (7)对去混乱后细胞图像用Sobel算子进行滤波，如图15为实验中进行去混乱中值滤波后，用Sobel进行锐化后的图像。通过图15与图14对应像素相加的方法得到如图16所示锐化前后
叠加图像。
[0139] (8)采用灰级窗的方法，对放大后的额图像进行对比度增强，如图17为用灰级窗方法进行对比度增强后的图像。
[0140] (9)用上面提到的分像素差值的方法把锐化后的图像在放大2倍，如图18为放大后的细胞图像。
[0141] 经过以上9步，就得到一个经过超分辨率重构后的放大8倍的细胞图像。由于本发明提出的细胞图像超分辨率重构方法利用的不仅是参考细胞的像素信息，还利用了其他同类细胞的像素信息，充分利用了采集到的相关信息，提高了待插值参考细胞的清晰度，且本方法不用为大量帧图像的数据信息提供存储空间，且由于不需要多帧后才能重构出高分辨率图像，所以可以满足实时性的要求。
[0142] 图19为在显微镜下放大10000倍的细胞图像。从实验结果可以看出，本发明的超分辨率重构方法可以反映出细胞细节特征的要求，效果是非常好的。而且本发明所采用的是数字图像处理的方法，在CMOS图像传感器所采集到的低分辨率的细胞图像的基础上经过超分辨率重构算法对细胞进行放大，不需要显微镜，也不需要高分辨率的
采样阵列，而且插值的方法计算简单，速度快，又只采用单帧图像，只需要较少的
电子处理
硬件，不仅价格便宜，而且小巧便捷，有着很好的实用性。
