技术领域
[0001] 本
发明涉及一种图像拼接方法，具体涉及一种基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，属于
图像处理领域。
背景技术
[0002] 糖尿病近年来已经成为危害身体健康的高发
疾病，基于
染色尿沉渣细胞计数的方法是诊断糖尿病早期肾损伤的关键技术。鉴于无法获取样本的全
视野，传统的计数方法只能手动挑选一
块样本区域，然后通过细胞计数板的方法进行估算。由于染色尿沉渣中细胞分布不均匀，这种估算方法的结果通常很不准确，严重时会导致误诊，所以获取染色尿沉渣样本的完整显微图像至关重要。
[0003] 目前，基于自动聚焦和显微图像拼接结束的自动显微成像系统的研究已经有了一些成果：比如匈牙利3DHISTECH公司的Pannoramic系列数字切片
扫描仪；日本滨松公司的Hammamatsu系列数字切片扫描仪；国内江丰公司的KF-PRO系列数字切片扫描仪等。相比较而言，国外相关领域的研究开展较早，目前研发的设备准确率更高、
稳定性更强，但是价格也相对昂贵；而国内的设备存在技术上的
缺陷，设计时没有实现一些拓展性功能：比如移动时没有进行自动对焦，图像拼接成功率不高，无法适用于特殊的拼接场景等问题。
发明内容
[0004] 本发明是为了解决上述问题而进行的，目的在于提供一种基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法。
[0005] 本发明提供了一种基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，具有这样的特征，包括如下步骤：S1，拍摄得到原始图像并将原始图像自动聚焦，得到聚焦图；S2，将多张聚焦图拼接，得融合图；其中，S1包括如下步骤：S1.1，拍摄图像，得原始图像，进入S1.2；S1.2，将原始图像灰度化，生成灰度图以及灰度直方图，进入S1.3；S1.3，根据聚焦区域选择策略从灰度图中提取图像，得聚焦图，进入S1.4；S1.4，用评价函数计算聚焦图的清晰度，进入S1.5；S1.5，判断聚焦图清晰度是否大于
阈值，当判断为是时，进入步骤S1.6，否则进入S1.7；S1.6，按照峰值搜索
算法调整图像拍摄装置，进入S1.1；S1.7，保存聚焦图，进入S2；S2包括如下步骤：S2.1，分别对待拼接的聚焦图进行预处理，得预处理图，进入S2.2；S2.2，匹配预处理图的重合区域从而进行
图像配准，得到最佳匹配点，进入S2.3，图像配准是基于灰度的模板配准算法来进行的；S2.3，根据最佳匹配点将预处理图对齐，进入S2.4；S2.4，将预处理图融合，得融合图，进入S2.5；S2.5，保存融合图。
[0006] 在本发明提供的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法中，还可以具有这样的特征：其中，聚焦区域选择策略为基于灰度直方图的非连续聚焦区域选择策略，基于灰度直方图的非连续聚焦区域选择策略的算法流程包括如下步骤：找到灰度直方图中的波峰对应的灰度级M，设定阈值K，则背景灰度级范围为(M-K，M+K)，扫描灰度图，提取背景灰度级以外的区域。
[0007] 在本发明提供的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法中，还可以具有这样的特征：其中，评价函数为Tenegrad梯度评价函数，Tenegrad梯度评价函数如下式所示：
[0008]
[0009] 式中，F为清晰度，G(x,y)表示梯度幅度，M和N表示
像素点，T表示超过阈值的梯度个数。
[0010] 在本发明提供的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法中，还可以具有这样的特征：其中，峰值搜索算法为逐步逼近峰值的爬山算法，逐步逼近峰值的爬山算法包括如下步骤：步骤1，根据图像初始清晰度，初始化移动步长L，方向为正，进入步骤2；步骤2，根据按照移动步长和方向移动一次，采集图像，计算二次清晰度，进入步骤3；步骤
3，判断二次清晰度是否大于初始清晰度，若判断为是，则进入步骤2，否则进入步骤4；步骤
4，减小移动步长，判断步长是否大于设备
精度，当判断为是时，更改移动方向，并进入步骤
2，否则结束算法。
[0011] 在本发明提供的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法中，还可以具有这样的特征：其中，对待拼接图像进行预处理的方法包括如下步骤：步骤1，按照经验权重比值对待拼接图像灰度化，得初步预处理图像，进入步骤2；步骤2，对初步预处理图像使用中值滤波处理除噪，得到预处理图像。
[0012] 在本发明提供的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法中，还可以具有这样的特征：其中，基于灰度的模板配准算法包括如下流程：步骤1，对于两张待配准的预处理图像，选择任意一张待配准的预处理图像提取匹配模板，并称之为模板图，另一张待配准的预处理图像作为搜索图，进入步骤2；步骤2，根据隔行搜索策略获得搜索图像比较区域，进入步骤3；步骤3，计算模板图与搜索图的相似度，进入步骤4；步骤4，判断相似度是否大于设定的阈值，当判断为是时，进入步骤5，否则返回步骤2；步骤5，保存比较区域的坐标点和相似度信息，进入步骤6；步骤6，判断比较区域是否搜索完毕，判断为是时，进入步骤7，否则返回步骤2；步骤7，确定相似度最高的点为最佳匹配点。
[0013] 在本发明提供的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法中，还可以具有这样的特征：其中，提取模板的方法包括如下步骤：步骤1，搜索并计算模板区域内灰度直方图方差，进入步骤2；步骤2，判断灰度直方图方差是否大于当前最大的灰度直方图方差，当判断为是时，进入步骤3，否则返回步骤1；步骤3，保存模板区域的方差和坐标信息，进入步骤4；步骤4，判断比较区域是否搜索完毕，判断为是时，确定当前灰度直方图方差最大的区域为模板区域，并结束流程，否则返回步骤1。
[0014] 在本发明提供的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法中，还可以具有这样的特征：其中，以搜索图中点(i,j)为左上方
顶点，边长为n像素的正方形图像为搜索子图，计算搜索子图与模板图的相似度的公式如下：
[0015]
[0016] 式中，R(i,j)为相似度，Sij(x,y)表示搜索子图在(x,y)点的灰度值， 表示搜索子图的平均灰度值，T(x,y)表示模板图在(x,y)点的灰度值，表示模板图的平均灰度值。
[0017] 在本发明提供的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法中，还可以具有这样的特征：其中，基于灰度的模板配准算法步骤4中的阈值为0.6。
[0018] 在本发明提供的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法中，还可以具有这样的特征：其中，预处理图融合采用加权平均融合算法进行；加权平均融合算法计算公式如下：
[0019] Vdst＝αiVa+(1-αi)Vb
[0020]
[0021] 式中，Vdst表示融合后的图像的像素值、Va、Vb分别表示融合前两张图的像素值；αi表示在融合区域
坐标系中像素点的横坐标，w表示融合区域的宽度。
[0022] 发明的作用与效果
[0023] 根据本发明所涉及的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，因为提出一种通过基于灰度直方图的非连续聚焦区域选择方法提取出评价函数主要作用的区域，再通过改进的Tenegrad梯度评价函数进行清晰度计算，最后使用改进的爬山算法逐步得到最佳聚焦
位置，所以，本发明解决染色尿沉渣样本自动聚焦问题，使能较为快速准确地获得染色尿沉渣显微图像。
[0024] 根据本发明所涉及的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，因为提出一种通过灰度化、滤波操作对染色尿沉渣显微图像进行预处理，获得较为平滑且计算量较小的灰度图，再用改进的基于灰度值的模板配准算法对相邻图像进行配准，最后用改进的基于可变权重的融合方法将两图的重叠区域进行融合，所以，本发明解决尿沉渣显微图像的拼接问题，还减少了图像拼接时间。
附图说明
[0025] 图1是本发明的
实施例中S1拍摄得到原始图像并将原始图像自动聚焦的
流程图；
[0026] 图2是本发明的实施例中爬山搜索的清晰度评价曲线图；
[0027] 图3是本发明的实施例中S2将多张所述聚焦图拼接得融合图的流程图；
[0028] 图4是本发明的实施例中尿沉渣显微图像原图；
[0029] 图5(a)是本发明的实施例中尿沉渣显微图像红色分量灰度图；
[0030] 图5(b)是本发明的实施例中尿沉渣显微图像绿色分量灰度图；
[0031] 图5(c)是本发明的实施例中尿沉渣显微图像蓝色分量灰度图；
[0032] 图6(a)-(b)是本发明的实施例中尿沉渣显微图像两种不同加权平均灰度图；
[0033] 图7是本发明的实施例中基于灰度的模板配准算法的流程图；
[0034] 图8是本发明的实施例中模板提取的流程图；
[0035] 图9是本发明的实施例中未加权融合的融合图；以及
[0036] 图10是本发明的实施例中加权融合的融合图。
具体实施方式
[0037] 为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明作具体阐述。
[0038] <实施例>
[0039] 基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，步骤如下：
[0040] S1，拍摄得到原始图像并将原始图像自动聚焦，得到聚焦图；
[0041] S2，将多张聚焦图拼接，得融合图。
[0042] 图1是本发明的实施例中拍摄得到原始图像并将原始图像自动聚焦的流程图。
[0043] 如图1所示，S1拍摄得到原始图像并将原始图像自动聚焦，得到聚焦图步骤如下：
[0044] S1.1，拍摄图像，得原始图像，进入S1.2；
[0045] S1.2，将所述原始图像灰度化，生成灰度图以及灰度直方图，进入S1.3；
[0046] S1.3，根据聚焦区域选择策略从灰度图中提取图像，得聚焦图，进入S1.4；
[0047] 本步骤中，聚焦区域选择策略为基于灰度直方图的非连续聚焦区域选择策略，[0048] 基于灰度直方图的非连续聚焦区域选择策略的算法流程如下：
[0049] S1.3.1，找到灰度直方图中的波峰对应的灰度级M，设定阈值K，则背景灰度级范围为(M-K，M+K)，扫描所述灰度图，提取背景灰度级以外的区域。
[0050] S1.4，用评价函数计算所述聚焦图的清晰度，进入S1.5；
[0051] 在本步骤中，评价函数可选自Tenegrad梯度评价函数、Laplace评价函数或方差评价函数中的任意一种，在本实施例中，评价函数选用Tenegrad梯度评价函数。
[0052] 具体地，本实施例中使用的Tenegrad梯度评价函数为下式：
[0053]
[0054] 式中，F为清晰度，G(x,y)表示梯度幅度，M和N表示像素点，T表示超过阈值的梯度个数。
[0055] S1.5，判断所述聚焦图清晰度是否大于阈值(设备精度)，当判断为是时，进入步骤S1.6，否则进入S1.7；
[0056] 在本实施例中，阈值为
显微镜的自动聚焦精度。
[0057] S1.6，按照峰值搜索算法调整显微镜的Z轴，进入S1.1；
[0058] 在本实施例中，峰值搜索算法为逐步逼近峰值的爬山算法，
[0059] 逐步逼近峰值的爬山算法步骤如下：
[0060] S1.6.1，根据图像初始清晰度，初始化移动步长L，方向为正，进入S1.6.2；
[0061] S1.6.2，根据按照移动步长和方向移动一次，采集图像，计算二次清晰度，进入S1.6.3；
[0062] S1.6.3，判断二次清晰度是否大于初始清晰度，若判断为是，则进入步骤2，否则进入S1.6.4；
[0063] S1.6.4，减小移动步长，判断步长是否大于设备精度，当判断为是时，更改移动方向，并进入S1.6.2，否则结束算法。
[0064] 在本实施例中，计算初始清晰度和二次清晰度的计算公式与S1.4中相同。
[0065] 图2是本发明的实施例中爬山搜索的清晰度评价曲线图。
[0066] 如图2所示，一开始由于处于完全离焦状态，所以曲线增长速度不快；之后图像逐渐清晰，曲线大幅度增长；然后因为搜索的距离刚好越过了峰值点，导致清晰度略微下降，此时调整了搜索步长，得到了后续逐渐逼近峰值的结果。
[0067] S1.7，保存所述聚焦图，进入S2。
[0068] 图3是本发明的实施例中S2将多张所述聚焦图拼接得融合图的流程图。
[0069] 如图3所示，S2，将多张所述聚焦图拼接，得融合图的流程如下：
[0070] S2.1，分别对待拼接的聚焦图进行预处理，得预处理图，进入S2.2；
[0071] 对待拼接图像进行预处理的方法包括如下步骤：
[0072] S2.1.1，按照经验权重比值对待拼接图像灰度化，得初步预处理图像，进入S2.1.2；
[0073] 图4是本发明的实施例中尿沉渣显微图像原图。图5(a)是本发明的实施例中尿沉渣显微图像红色分量灰度图。图5(b)是本发明的实施例中尿沉渣显微图像绿色分量灰度图。图5(c)是本发明的实施例中尿沉渣显微图像蓝色分量灰度图。图6(a)-(b)是本发明的实施例中两种尿沉渣显微图像不同加权平均灰度图。
[0074] 图4-6中所有图像左侧是10倍物镜下采集到的染色尿沉渣显微图像，右侧是40倍物镜下采集到的图像。
[0075] 如图4所示，染色
试剂颜色较浅并且细胞分布比较稀疏，导致染色尿沉渣显微图像中的细胞轮廓
对比度不太高，图像信息量不大，所以灰度化的结果要最大程度保留这些信息。
[0076] 如图5(a)-(c)所示，图5(a)是红色分量(α＝1，β＝0，γ＝0)处理后的灰度图，相对于原图比较模糊，但是仔细观察会发现保留了大多数原图像的细节，就人眼视觉而言这不是好的灰度变换，可能会给之后的图像配准增加难度；图5(b)是绿色分量(α＝0，β＝1，γ＝0)处理后的灰度图，图像中的很多细节得到了保留，观察能看到细胞核部分都较为清晰，但是细胞其他结构却不够清晰，尤其是在40倍图中模糊的更加明显，而在之后的配准过程中，可能只会选择边界区域作为感兴趣的区域，假如这区域中没有细胞核这样比较有效的信息，很难成功地进行图像的配准；图5(c)是蓝色分量(α＝0，β＝0，γ＝1)处理后的结果，其丢失了部分细胞细节，主要是降低了细胞核与细胞其他结构的对比度，但是提高到了细胞与周围环境的对比度，这相当于扩大了有效信息的面积，理论上更加有利于图像的配准。
[0077] 在本实施例中，采用经验权重比值灰度化，经验权重比值为α＝0.193-0.285，β＝0.203-0.287，γ＝0.512-0.520，且α+β+γ＝1。
[0078] 如图6(a)-(b)所示，图6(a)的经验权重比值为α＝0.285，β＝0.203，γ＝0.512，图6(b)的经验权重比值为α＝0.193，β＝0.287，γ＝0.520，结果发现其没有丢失太多原图像中的细节；并且相对于单纯用绿色分量进行处理，这样处理后的结果显得更为清晰，也就是对比度更为明显；而且相对于单纯用蓝色分量进行处理，这种方式的处理结果在细节描绘上更加全面，这点可以从左侧图片中左下
角的一个细胞群体现出来，权重比值处理的结果能将这些细胞核清晰地分离开来。
[0079] S2.1.2，对所述初步预处理图像使用中值滤波处理除噪，得到预处理图像。
[0080] S2.2，匹配所述预处理图的重合区域从而进行图像配准，得到最佳匹配点，进入S2.3，
[0081] 图像配准是基于灰度的模板配准算法来进行的，
[0082] 图7是本发明的实施例中基于灰度的模板配准算法的流程图。
[0083] 如图7所示，基于灰度的模板配准算法包括如下流程：
[0084] S2.2.1，对于两张待配准的预处理图像，选择任意一张待配准的预处理图像提取匹配模板，并称之为模板图，另一张待配准的预处理图像作为搜索图，进入S2.2.2；
[0085] 图8是本发明的实施例中模板提取的流程图。
[0086] 如图8所示，提取模板的方法步骤如下：
[0087] S2.2.1.1，搜索并计算模板区域内灰度直方图方差，进入S2.2.1.2；
[0088] 模板的大小是基于模板的配准算法中重要的参数，模板越大，包含的信息量越多，配准时越精确，在本实施例中，采用80像素×80像素大小的模板。搜索范围为300像素。
[0089] S2.2.1.2，判断灰度直方图方差是否大于当前最大的灰度直方图方差，当判断为是时，进入S2.2.1.3，否则返回S2.2.1.1；
[0090] 在本实施例中，灰度直方图方差的计算公式如下：
[0091]
[0092] 式中，其中δ表示标准差，i表示灰度值， 表示平均值，Pi表示相应灰度出现的
频率。
[0093] S2.2.1.3，保存模板区域的方差和坐标信息，进入S2.2.1.4；
[0094] S2.2.1.4，判断比较区域是否搜索完毕，判断为是时，确定当前灰度直方图方差最大的区域为模板区域，并结束流程，否则返回S2.2.1.1。
[0095] S2.2.2，根据隔行搜索策略获得搜索图的比较区域，进入S2.2.3；
[0096] S2.2.3，计算模板图与搜索图的相似度，进入S2.2.4；
[0097] 以所述搜索图中点(i,j)为左上方顶点，边长为n像素的正方形图像为搜索子图，计算所述搜索子图与所述模板图的相似度的公式如下：
[0098]
[0099] 式中，R(i,j)为相似度，Sij(x,y)表示所述搜索子图在(x,y)点的灰度值， 表示搜索子图的平均灰度值，T(x,y)表示所述模板图在(x,y)点的灰度值，表示所述模板图的平均灰度值。
[0100] 在本实施例中，搜索子图为边长为80像素的正方形图像，即n＝80。
[0101] S2.2.4，判断相似度是否大于设定的阈值，当判断为是时，进入S2.2.5，否则返回S2.2.2；
[0102] 本实施例中，阈值根据经验值确定为0.6。
[0103] S2.2.5，保存所述比较区域的坐标点和相似度信息，进入S2.2.6；
[0104] S2.2.6，判断比较区域是否搜索完毕，判断为是时，进入S2.2.7，否则返回S2.2.2；
[0105] S2.2.7，确定相似度最高的点为最佳匹配点。
[0106] S2.3，根据最佳匹配点将预处理图对齐，进入S2.4；
[0107] S2.4，将预处理图融合，得融合图，进入S2.5；
[0108] 在本实施例中，预处理图融合采用加权平均融合算法进行；
[0109] 加权平均融合算法计算公式如下：
[0110] Vdst＝αiVa+(1-αi)Vb
[0111]
[0112] 式中，Vdst表示融合后的图像的像素值、Va、Vb分别表示融合前两张图的像素值；αi表示在融合区域坐标系中像素点的横坐标，w表示融合区域的宽度。
[0113] 图9是本发明的实施例中未加权融合的融合图。图10是本发明的实施例中加权融合的融合图。
[0114] 如图9-10所示，在没有使用融合算法时，图像有较为明显的拼接痕迹，而用渐变加权融合算法处理后，图像的信息基本没有变化，拼接的痕迹也都消失了。
[0115] S2.5，保存所述融合图。
[0116] 实施例的作用与效果
[0117] 根据本实施例所涉及的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，因为提出一种通过基于灰度直方图的非连续聚焦区域选择方法提取出评价函数主要作用的区域，再通过改进的Tenegrad梯度评价函数进行清晰度计算，最后使用改进的爬山算法逐步得到最佳聚焦位置，所以，本实施例解决染色尿沉渣样本自动聚焦问题，使能较为快速准确地获得染色尿沉渣显微图像。
[0118] 根据本实施例所涉及的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，因为提出一种通过灰度化、滤波操作对染色尿沉渣显微图像进行预处理，获得较为平滑且计算量较小的灰度图，再用改进的基于灰度值的模板配准算法对相邻图像进行配准，最后用改进的基于可变权重的融合方法将两图的重叠区域进行融合，所以，本实施例解决尿沉渣显微图像的拼接问题，还减少了图像拼接时间。
[0119] 上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。
