一种基于图像相似度计算的植物生长测量方法、系统及电子
设备
技术领域
背景技术
[0002] 研究植物器官对
激素、营养、自然条件等环境的响应情况有利于人为调控，更好地培育理想的植株。人们希望量化植物器官的生长情况，了解器官发育的细节，更好地衡量植物生长与环境之间的关系。了解植物器官生长的潜在分子过程是植物生物学的一个主要挑战。
[0003] 通过量化植物生长的轨迹可以了解植物的生长状况，而运动学分析是研究植物生长状况和生长曲线
时空分布的重要方法。最早在20世纪50年代的时候研究人员通过
显微镜人为观察植物细胞的位移来进行运动学分析，但这种方法耗时耗
力；后来随着摄像机的
质量提升，摄影更加清晰，利用它拍摄植物的人工标记物(如
石墨颗粒、
木炭颗粒)或者自然标记物(叶的静脉结构或根茎上的可识别模式)，也可以进行运动学分析。然而，上述运动学分析的方式都是靠人为测量，比较耗费人力和时间，效率较低。
[0004] 随着数字
图像处理技术的不断发展，越来越多领域都开始应用图像处理来解决领域内的问题，实现自动化，生物信息领域也不例外。近些年来，研究人员利用图像处理技术开发了很多工具，用于植物生长的运动学分析，主要是测量植物器官生长的指标，比如顶端勾
角、长度变化、相对元素增长率、
曲率等。Basu等人[Basu P,Pal A,Lynch J P,et al.A novel image-analysis technique for kinematic study of growth and curvature[J].Plant physiology,2007,145(2):305-316.]和Bastien等人[Bastien R,Legland D,Martin M,et al.KymoRod:a method for automated kinematic analysis of rod-shaped plant organs[J].The Plant Journal,2016,88(3):468-475.]利用图像相似度计算进行植物生长的运动学分析，其主要通过选取
跟踪点及其周围的pattern作为跟踪
框图，待选点及其周围的pattern作为待选框图，计算一定时间间隔内时序图像中跟踪框图和其他待选框图之间的相似度，选择与跟踪框图相似度最高的待选框图作为下一张图像的跟踪框图，实现对时序图像中跟踪点的实时跟踪。当跟踪点在时序图像中被
定位出来，就可以用
算法度量它们在时序中的位移情况，从而利用数学公式计算出上面所提及到的指标。
[0005] 目前，计算图像相似度来跟踪植物生长是图像处理技术用于植物生长运动学分析的主流方法。在目前的应用中，计算相似度的算法主要是最大相关系数搜索算法，该算法简单高效，但是对图像pattern差别较小的
像素块容易出现误识别，不适合用在pattern不明显或者pattern间只有细微差别的图像上。植物在生长过程中会弯曲，发生角度的旋转，导致跟踪的难度加大，而现有的很多应用于植物生长分析的图像相似度计算方法都没有考虑旋转的问题，导致图像跟踪的准确度并不高。
发明内容
[0006] 本申请提供了一种基于图像相似度计算的植物生长测量方法、系统及电子设备，旨在至少在一定程度上解决
现有技术中的上述技术问题之一。
[0007] 为了解决上述问题，本申请提供了如下技术方案：
[0008] 一种基于图像相似度计算的植物生长测量方法，包括以下步骤：
[0009] 步骤a：从包括N幅植物
幼苗图像的时序图像集合中选取一幅图像作为跟踪图，并对所述跟踪图进行预处理，得到跟踪点及其相关参数；
[0010] 步骤b：选取所述跟踪图的上一张或下一张图像作为待选图，并根据所述跟踪点及其相关参数得到待选图对应的跟踪框图；
[0011] 步骤c：对所述待选图进行预处理，得到每个跟踪框图对应的待选框图；
[0012] 步骤d：采用边缘距离直方图算法对所有跟踪框图和对应的待选框图进行图像预处理，并结合图像相似度计算从每个跟踪框图对应的待选框图中得到一幅最相关框图；
[0013] 步骤e：保存所述最相关框图中每一个跟踪点对应的最相关点及其相关参数；
[0014] 步骤f：循环执行步骤a至步骤e，直到遍历完所述时序图像集合中的N幅植物幼苗图像，得到一组新的包含了跟踪点的时序图，所述新的时序图中跟踪点的
位置即为植物幼苗的生长跟踪测量结果。
[0015] 本申请
实施例采取的技术方案还包括：在所述步骤a中，所述对跟踪图进行预处理具体包括：
[0016] 步骤a1：根据植物幼苗图像的像素值得到跟踪图里幼苗图像的等高线，取其中最长的等高线作为幼苗的外轮廓；
[0017] 步骤a2：对所述幼苗的外轮廓进行滤波；
[0018] 步骤a3：基于幼苗的外轮廓找出幼苗的中线，同时得到中线上任意点对应的轮廓半径；
[0019] 步骤a4：选取轮廓半径最大的中线坐标点作为起点，过该坐标点画一条横线交左右轮廓各一点，并将该两点分别作为左轮廓起点和右轮廓起点；
[0020] 步骤a5：计算中线和左右轮廓线连续点之间的欧氏距离，得到中线上每个点相对于起点的曲线距离，左右轮廓上的每个点相对于各自起点的曲线距离，所有起点沿着图像朝上为正轴；
[0021] 步骤a6：以一定距离间隔在中线上取观察点，用三次样条插值得到中线的每个观察点的切线表达式和垂线表达式；
[0022] 步骤a7：中线上的每个观察点的垂线与左右轮廓相交于两点，所有观察点与左右轮廓相交的点即为跟踪点；
[0023] 步骤a8：用三次样条插值得到左右轮廓所有跟踪点的切线表达式和垂线表达式，将跟踪点的切线表达式和垂线表达式作为主要参数。
[0024] 本申请实施例采取的技术方案还包括：在所述步骤c中，所述对待选图进行预处理具体包括：
[0025] 步骤c1：计算待选图中幼苗左右轮廓的起点，以及左右轮廓上每个点的曲线距离；
[0026] 步骤c2：
选定待选图中与跟踪点相同曲线距离的位置，以选定位置为中点，沿着轮廓曲线正负轴方向取一定长度距离的待选范围，将该待选范围内的所有点作为待选点；
[0027] 步骤c3：根据三次样条插值求出每个待选点的切线与垂线表达式，根据待选点及其在轮廓线上的切线和垂线斜率，切线上下平移和垂线左右平移一定距离ws围成一个四边形，所述四边形里的像素组成待选框图。
[0028] 本申请实施例采取的技术方案还包括：在所述步骤d中，所述对所有跟踪框图和对应的待选框图进行图像预处理具体包括：
[0029] 步骤d1：遍历所有的跟踪框图，并判断跟踪框图i≤N是否成立，如果成立，执行步骤d2；否则，结束；
[0030] 步骤d2：对跟踪框图i及其对应的待选框图进行图像增强；
[0031] 步骤d3：对图像增强的跟踪框图i及其对应的待选框图进行滤波去噪；
[0032] 步骤d4：利用ORB算法从所有待选框图中筛选得到n张二次待选框图；
[0033] 步骤d5：对所述二次待选框图进行二值化，得到黑白二次待选框图；
[0034] 步骤d6：对所述黑白二次待选框图进行
腐蚀；
[0035] 步骤d7：对腐蚀后的黑白二次待选框图进行
边缘检测，得到幼苗图像中的边缘图；
[0036] 步骤d8：采用边缘距离直方图算法从腐蚀后的黑白二次待选框图中选取跟踪框图对应的最相关框图。
[0037] 本申请实施例采取的技术方案还包括：在所述步骤d8中，所述采用边缘距离直方图算法从腐蚀后的黑白二次待选框图中选取跟踪框图对应的最相关框图具体包括：
[0038] 步骤d81：将整个边缘图进行直线等距离划分，假设划分为四等份，第一条线为起始线，第五条线为终止线，起始线和终止线的斜率随着
幼苗生长的弯曲而变化；
[0039] 步骤d82：将起始线编号为0，第二条线编号为1，第三条线编号为2，第四条线编号为3，终止线编号为4；
[0040] 步骤d83：计算边缘图中所有的点与起始线的距离，并按距离将所有点分在不同的区域内，即：如果点的距离在直线0和直线1之间，则分在第一区域；如果点的距离在直线1和直线2之间，则分在第二区域；以此类推，最终，得到包括不同数量的点的四个区域，即得到四个不同的数量值；
[0041] 步骤d84：根据四个数量值分别建立跟踪框图和待选框图的边缘距离直方图，并用直方图匹配法的相似性度量衡量所述跟踪框图与待选框图的边缘距离直方图之间的相似度，将相似度最高的待选框图作为最相关框图。
[0042] 本申请实施例采取的另一技术方案为：一种基于图像相似度计算的植物生长测量系统，包括：
[0043] 跟踪图处理模块：用于从包括N幅植物幼苗图像的时序图像集合中选取一幅图像作为跟踪图，并对所述跟踪图进行预处理，得到跟踪点及其相关参数；
[0044] 待选图选择模块：用于选取所述跟踪图的上一张或下一张图像作为待选图，并根据所述跟踪点及其相关参数得到待选图对应的跟踪框图；
[0045] 待选图处理模块：用于对所述待选图进行预处理，得到每个跟踪框图对应的待选框图；
[0046] 最相关框图计算模块：用于采用边缘距离直方图算法对所有跟踪框图和对应的待选框图进行图像预处理，并结合图像相似度计算从每个跟踪框图对应的待选框图中得到一幅最相关框图；
[0047] 数据保存模块：用于保存所述最相关框图中每一个跟踪点对应的最相关点及其相关参数，在遍历完所述时序图像集合中的N幅植物幼苗图像后，得到一组新的包含了跟踪点的时序图，所述新的时序图中跟踪点的位置即为植物幼苗的生长跟踪测量结果。
[0048] 本申请实施例采取的技术方案还包括：所述跟踪图处理模块对跟踪图进行预处理具体包括：根据植物幼苗图像的像素值得到跟踪图里幼苗图像的等高线，取其中最长的等高线作为幼苗的外轮廓；对所述幼苗的外轮廓进行滤波；基于幼苗的外轮廓找出幼苗的中线，同时得到中线上任意点对应的轮廓半径；选取轮廓半径最大的中线坐标点作为起点，过该坐标点画一条横线交左右轮廓各一点，并将该两点分别作为左轮廓起点和右轮廓起点；计算中线和左右轮廓线连续点之间的欧氏距离，得到中线上每个点相对于起点的曲线距离，左右轮廓上的每个点相对于各自起点的曲线距离，所有起点沿着图像朝上为正轴；以一定距离间隔在中线上取观察点，用三次样条插值得到中线的每个观察点的切线表达式和垂线表达式；中线上的每个观察点的垂线与左右轮廓相交于两点，所有观察点与左右轮廓相交的点即为跟踪点；用三次样条插值得到左右轮廓所有跟踪点的切线表达式和垂线表达式，将跟踪点的切线表达式和垂线表达式作为主要参数。
[0049] 本申请实施例采取的技术方案还包括：所述待选图处理模块对待选图进行预处理具体包括：计算待选图中幼苗左右轮廓的起点，以及左右轮廓上每个点的曲线距离；选定待选图中与跟踪点相同曲线距离的位置，以选定位置为中点，沿着轮廓曲线正负轴方向取一定长度距离的待选范围，将该待选范围内的所有点作为待选点；根据三次样条插值求出每个待选点的切线与垂线表达式，根据待选点及其在轮廓线上的切线和垂线斜率，切线上下平移和垂线左右平移一定距离ws围成一个四边形，所述四边形里的像素组成待选框图。
[0050] 本申请实施例采取的技术方案还包括：所述最相关框图计算模块对所有跟踪框图和对应的待选框图进行图像预处理具体包括：遍历所有的跟踪框图，并判断跟踪框图i≤N是否成立，如果成立，对跟踪框图i及其对应的待选框图进行图像增强；对图像增强的跟踪框图i及其对应的待选框图进行滤波去噪；用ORB算法从所有待选框图中筛选得到n张二次待选框图；对所述二次待选框图进行二值化，得到黑白二次待选框图；对所述黑白二次待选框图进行腐蚀；对腐蚀后的黑白二次待选框图进行边缘检测，得到幼苗图像中的边缘图；采用边缘距离直方图算法从腐蚀后的黑白二次待选框图中选取跟踪框图对应的最相关框图。
[0051] 本申请实施例采取的技术方案还包括：所述采用边缘距离直方图算法从腐蚀后的黑白二次待选框图中选取跟踪框图对应的最相关框图具体包括：将整个边缘图进行直线等距离划分，假设划分为四等份，第一条线为起始线，第五条线为终止线，起始线和终止线的斜率随着幼苗生长的弯曲而变化；将起始线编号为0，第二条线编号为1，第三条线编号为2，第四条线编号为3，终止线编号为4；计算边缘图中所有的点与起始线的距离，并按距离将所有点分在不同的区域内，即：如果点的距离在直线0和直线1之间，则分在第一区域；如果点的距离在直线1和直线2之间，则分在第二区域；以此类推，最终，得到包括不同数量的点的四个区域，即得到四个不同的数量值；根据四个数量值分别建立跟踪框图和待选框图的边缘距离直方图，并用直方图匹配法的相似性度量衡量所述跟踪框图与待选框图的边缘距离直方图之间的相似度，将相似度最高的待选框图作为最相关框图。
[0052] 本申请实施例采取的又一技术方案为：一种电子设备，包括：
[0053] 至少一个处理器；以及
[0054] 与所述至少一个处理器通信连接的
存储器；其中，
[0055] 所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的基于图像相似度计算的植物生长测量方法的以下操作：
[0056] 步骤a：从包括N幅植物幼苗图像的时序图像集合中选取一幅图像作为跟踪图，并对所述跟踪图进行预处理，得到跟踪点及其相关参数；
[0057] 步骤b：选取所述跟踪图的上一张或下一张图像作为待选图，并根据所述跟踪点及其相关参数得到待选图对应的跟踪框图；
[0058] 步骤c：对所述待选图进行预处理，得到每个跟踪框图对应的待选框图；
[0059] 步骤d：采用边缘距离直方图算法对所有跟踪框图和对应的待选框图进行图像预处理，并结合图像相似度计算从每个跟踪框图对应的待选框图中得到一幅最相关框图；
[0060] 步骤e：保存所述最相关框图中每一个跟踪点对应的最相关点及其相关参数；
[0061] 步骤f：循环执行步骤a至步骤e，直到遍历完所述时序图像集合中的N幅植物幼苗图像，得到一组新的包含了跟踪点的时序图，所述新的时序图中跟踪点的位置即为植物幼苗的生长跟踪测量结果。
[0062] 相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的基于图像相似度计算的植物生长测量方法、系统及电子设备通过利用ORB算法解决植物生长过程中的弯曲所带来的图像角度旋转问题，并在ORB算法的
基础上采用边缘距离直方图算法解决多个待选框图相关性混淆的问题，实现对植物生长时序图像的准确跟踪，对于计算相关指标、了解植物器官生长状况等具有重大意义。相对于现有技术，本申请至少具有以下有益效果：
[0063] 一、现有技术只研究植物幼苗中线(骨架)的生长情况，无法对两侧不同的生长状况进行解释，也不能很好地说明植物弯曲的情况；本申请在中线上作切线的垂线，交左右轮廓于不同点，并在这些交点的周围提取出对应的框图，利用这些框图可以对植物幼苗两侧轮廓不同的生长状况进行研究；
[0064] 二、现有技术在提取框图时，都是采用固定方向(边框线与图像的边缘平行)的边框，其缺点在于当幼苗弯曲时，边框可能无法提取出主要的pattern，自适应性很差；本申请通过让边框随着弯曲的角度(轮廓切线的斜率)的变化而旋转，以动态调整边框的方式防止主要pattern流失，让后续的跟踪识别更加有效；
[0065] 三、现有技术没有对图像进行预处理操作，其缺点在于如果图像的细节比较模糊，那么计算相关度的难度会大大增加；本申请根据图像自身特点，进行了图像增强、滤波去噪、二值化、腐蚀、边缘检测等一系列有效的图像预处理操作，大大提高了幼苗细节的辨识度，使得特征变多，后续识别准确率提高；
[0066] 四、现有技术使用最大相关系数搜索算法，受到幼苗弯曲性质的影响，不能将跟踪框图与待选框图进行很好地对应，导致相似度计算不准确，出现误识别概率较高。本申请充分考虑到幼苗的弯曲性质，选取具有旋转不变性的ORB算法来计算相似度，可以更好地匹配两张框图之间对应的主要特征，识别准确率更高；
[0067] 五、传统的ORB算法只考虑主要特征的匹配而未考虑特征距离，造成ORB算法识别的准确率下降。每张跟踪框图对应的待选框图是由一定范围内连续的点所组成的框图集合，待选框图之间相似性较高，因此在最相关框图的前后距离较小的范围内，对应的待选框图也包含与最相关框图相同的主要pattern。本申请采用边缘距离直方图算法解决了ORB算法只考虑主要特征的匹配而未考虑特征距离的问题，使得选出的待选框图在最大程度上代表最相关框图，准确率更高。
附图说明
[0068] 图1是本申请实施例的基于图像相似度计算的植物生长测量方法的
流程图；
[0069] 图2为跟踪图的预处理流程图；
[0070] 图3为待选图的预处理过程示意图；
[0071] 图4是跟踪框图和待选框图的图像预处理过程示意图；
[0072] 图5描述了运算ORB算法所需要的预处理，其中图5(a)是框图原图，图5(b)是经过CLAHE图像增强和中值滤波后的框图，用于ORB筛选；图5(c)是经过二值化、腐蚀和Canny边缘检测后的框图，用于边缘距离直方图计算；
[0073] 图6为不对图像进行预处理而直接使用ORB算法进行的特征匹配示意图；
[0074] 图7为对图像进行预处理后再使用ORB算法进行的特征匹配示意图；
[0075] 图8为边缘距离直方图算法的原理图；
[0076] 图9为边缘距离直方图算法的示例说明；
[0077] 图10是本申请实施例的基于图像相似度计算的植物生长测量系统的结构示意图；
[0078] 图11是本申请实施例提供的基于图像相似度计算的植物生长测量方法的
硬件设备结构示意图。
具体实施方式
[0079] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
[0080] 为了解决现有的基于图像相似度计算的植物生长测量方法存在的
缺陷，本申请摒弃目前主流的最大相关系数搜索算法，利用ORB算法参与图像的相似度计算，该算法通过特征提取匹配图像，对图像的旋转、尺度缩放、
亮度变化具有不变性，能够准确提取出连续两幅图像的特征点加以匹配，解决植物生长过程中的弯曲所带来的图像角度旋转问题，并且计算的实时性很强[Rublee E,Rabaud V,Konolige K,et al.ORB:An efficient alternative to SIFT or SURF[C]//ICCV.2011,11(1):2.]。但是直接引用ORB算法来计算跟踪框图和待选框图的相似度存在的问题在于，ORB算法是匹配两个框图之间的主要特征，而有一些待选框图都包含这些主要特征，因此难以确定谁是最相关的框图。为了解决该问题，本申请在ORB算法的基础上通过采用边缘距离直方图算法对ORB算法选取的框图进行进一步的匹配，通过边缘距离直方图的计算再一次得到相似度的度量值，当该值越小时，则相似度越高，从而从ORB算法筛选出的子集框图中进一步筛选最相关的待选框图，作为下一幅时序图像的跟踪框图，解决多个待选框图相关性混淆的问题，实现时序图像的准确跟踪。
[0081] 具体的，请参阅图1，是本申请实施例的基于图像相似度计算的植物生长测量方法的流程图。本申请实施例的基于图像相似度计算的植物生长测量方法包括以下步骤：
[0082] 步骤100：采集植物幼苗的时序图像集合；
[0083] 步骤100中，时序
图像采集方式为：利用植物幼苗高通量动态成像分析系统每间隔一定时间(本申请设定该时间为15min，具体可根据实际应用进行设定)拍摄一张高清的植物幼苗的灰度图像，形成一组包括N张图像的时序图像集合。
[0084] 步骤200：从时序图像集合中选取一幅图像作为跟踪图，并对跟踪图进行预处理，得到跟踪点及其相关参数；
[0085] 步骤200中，假设选取第一幅图像作为跟踪图，则后向搜索第2、第3、第4、…、第N张图像中跟踪点对应的位置；假设选取除第一幅图像以外的其余图像(假设是第n张)作为跟踪图，则先前向搜索第n-1、第n-2、…、第1张图像中跟踪点对应的位置，然后后向搜索第n+1、第n+2、…、第N张图像中跟踪点对应的位置。其中跟踪点数量为超参数，可根据需要进行人为设置。
[0086] 请一并参阅图2，为跟踪图的预处理流程图。跟踪图预处理包括以下步骤：
[0087] 步骤201：根据灰度图的像素值得到跟踪图里幼苗图像的等高线，取其中最长的等高线作为幼苗的外轮廓，该外轮廓由密集的坐标点组成，坐标的大小是以整幅图像的左下角作为原点；
[0088] 步骤202：利用moving average(移动平均，一种低通
滤波器)对幼苗的外轮廓进行滤波；
[0089] 步骤203：基于幼苗的外轮廓，利用Voronoi Diagram(维诺图)找出幼苗的骨架(即幼苗的中线，由密集的坐标点组成)，同时得到中线上任意点对应的轮廓半径；
[0090] 步骤204：选取轮廓半径最大的中线坐标点作为起点，过该坐标点画一条横线交左右轮廓各一点，并将该两点分别作为左轮廓起点和右轮廓起点；该步骤中，本申请首次对植物幼苗两侧轮廓不同的生长状况进行研究。
[0091] 步骤205：计算中线和左右轮廓线连续点之间的欧氏距离，得到中线上每个点相对于起点的曲线距离，左右轮廓上的每个点相对于各自起点的曲线距离，所有起点沿着图像朝上为正轴；
[0092] 步骤206：以一定距离间隔在中线上取观察点，用三次样条插值得到中线的每个观察点的切线表达式和垂线表达式；
[0093] 步骤207：中线上的每个观察点的垂线与左右轮廓相交于两点，假设选取了10个观察点，则该10个观察点与左轮廓相交于10个点，与右轮廓相交于10个点，一共20个点，该20个点即为跟踪点；
[0094] 步骤208：用三次样条插值得到左右轮廓所有跟踪点的切线表达式和垂线表达式，然后将跟踪点的切线表达式和垂线表达式作为主要参数(主要参数即跟踪点在轮廓线上的切线和垂线斜率)进行第一个循环。
[0095] 步骤300：进入循环，并判断是否遍历完时序图像集合中的所有图像，如果没有遍历完所有图像，执行步骤400；如果遍历完所有图像，执行步骤1000；
[0096] 步骤400：判断本轮循环是否是第一次循环，如果不是，进入步骤500；如果是，进入步骤600；
[0097] 步骤500：将上一轮循环选出的每一个跟踪点对应的最相关点及其相关参数作为本轮循环的跟踪点及其相关参数，并进入步骤600；
[0098] 步骤600：选取跟踪图的上一张或下一张图像作为待选图，并根据跟踪点及其参数得到待选图对应的跟踪框图；
[0099] 步骤600中，假设跟踪图是第一幅图像，则选第二幅图像作为待选图；假设跟踪图是第n幅图像，则选第n-1幅图像作为待选图。根据跟踪点及其参数，切线上下平移和垂线左右平移一定距离ws(ws是超参数，人为设置)可以围成一个四边形，该四边形中的像素组成跟踪框图。
[0100] 步骤700：对待选图进行预处理，得到每个跟踪框图对应的待选框图；
[0101] 步骤700中，待选图的预处理过程如图3所示，其具体包括以下步骤：
[0102] 步骤701：计算待选图中幼苗左右轮廓的起点，以及左右轮廓上每个点的曲线距离；
[0103] 步骤701中的左右轮廓和曲线距离计算方法与步骤201至步骤205所述方法相同，此处将不再赘述。
[0104] 步骤702：选定待选图中与跟踪点相同曲线距离的位置(假设有20个跟踪点，则得到20个选定位置)，以选定位置为中点，沿着轮廓曲线正负轴方向取一定长度距离的待选范围(该范围可人为设置，范围越大，计算量越大，范围越小，待选图越少)，将该待选范围内的所有点作为待选点；每个跟踪点都有自己的待选范围，需要从待选范围中选取最相关的待选点。
[0105] 步骤703：根据三次样条插值求出每个待选点的切线与垂线表达式，根据待选点及其在轮廓线上的切线和垂线斜率，切线上下平移和垂线左右平移一定距离ws可以围成一个四边形，该四边形里的像素组成待选框图。
[0106] 步骤800：对所有跟踪框图和对应的待选框图进行图像预处理，并结合图像相似度计算得到每个跟踪框图对应的最相关框图(该最相关框图为每个跟踪框图对应的待选框图中的一幅)；
[0107] 步骤800中，跟踪框图和待选框图的图像预处理过程如图4所示，对跟踪框图和待选框图进行同样的操作，其具体包括以下步骤：
[0108] 步骤801：遍历所有的跟踪框图，并判断跟踪框图i≤N是否成立，如果成立，执行步骤802；否则，结束；
[0109] 步骤802：采用CLAHE算法对跟踪框图i及其对应的待选框图进行图像增强，使得模糊的细节能被凸显出来，pattern的识别率更高；可以理解，具体也可采用直方图均衡、Gamma变换等其他图像增强技术进行图像增强；
[0110] 步骤803：采用中值滤波器对图像增强的跟踪框图i及其对应的待选框图进行滤波去噪；可以理解，也可采用均值滤波、高斯滤波等其他滤波算法进行滤波椒盐去燥；
[0111] 步骤804：利用ORB算法从所有待选框图中筛选得到n张(n张超参数，可人为设置，本申请实施例中选取n＝20)二次待选框图；
[0112] 步骤804中，基于植物生长的弯曲性质，本申请利用具有旋转不
变形的ORB算法选取相关的框图。ORB算法结合Fast与Brief算法，使用Fast检测特征点，使得计算速度变快；并给Fast特征点增加了方向性，使得特征点具有旋转不变性；使用BRIEF算法计算特征点的描述子，用于对特征点的匹配；该描述子特有的2进制串的表现形式不仅节约了存储空间，而且大大缩短了匹配的时间，解决了ORB算法只关注主要pattern，忽视距离移动的问题，使得匹配的框图准确性更高。本申请通过调用OpenCV开源库实现ORB算法，通过计算ORB匹配特征之间的平均距离来衡量两张框图之间的相似度。
[0113] 上述中，本申请在幼苗生长图像细节模糊的基础上，利用了图像增强、滤波去噪、二值化、腐蚀、边缘检测等图像预处理方法，使得细节更加明显，便于后续识别。请参阅图5至图7，图5描述了运算ORB算法所需要的预处理，其中图5(a)是框图原图，图5(b)是经过CLAHE图像增强和中值滤波后的框图，用于ORB筛选；图5(c)是经过二值化、腐蚀和Canny边缘检测后的框图，用于边缘距离直方图计算；附图6、7描述了ORB算法使用的示意图。图6为不对图像进行预处理而直接使用ORB算法进行的特征匹配示意图。可以看到，由于图像细节偏模糊，导致只有少量的特征点被匹配起来，而且个别特征点匹配得明显不准确，大量的有用特征点没有被利用，造成识别的误差较大。图7为对图像进行预处理后再使用ORB算法进行的特征匹配示意图。可以看到，预处理后的图像细节更加明显，pattern更多，匹配的特征点数量大大增加，从而保证识别的准确度。在其他实施例中，也可使用SURF算法替代ORB算法，具有近似的实时性和匹配度。
[0114] 步骤805：对二次待选框图进行二值化，得到黑白二次待选框图；
[0115] 步骤806：对黑白二次待选框图进行腐蚀，去掉一些杂乱无序的像素点，留下主要的pattern；
[0116] 步骤806中，腐蚀的选取领域为3×3，如果黑白二次待选框图中每个像素点的3×3领域内的像素值相加的值cv>＝corrosion_thres(corrosion_thres是超参数，可人为设置，本申请实施例选取corrosion_thres＝3)时，该像素点的值取1，否则，取0。
[0117] 步骤807：对腐蚀后的黑白二次待选框图进行canny算子边缘检测，得到幼苗图像中的边缘图；可以理解，也可采用Sobel算子、Laplacian算子等进行边缘检测。
[0118] 步骤808：采用边缘距离直方图算法从腐蚀后的黑白二次待选框图中选取跟踪框图对应的最相关框图；然后返回步骤701进行循环判断；
[0119] 步骤808中，边缘距离直方图算法的原理如图8所示。其具体包括：
[0120] 1)将整个边缘图进行直线等距离划分为四等份(具体划分份数可根据实际操作进行设定)，最下面的线(第一条线)为起始线，最上面的线(第五条线)为终止线，起始线和终止线的斜率随着幼苗生长的弯曲而变化，具有自适应性；
[0121] 2)将第一条线(起始线)编号为0，第二条线编号为1，第三条线编号为2，第四条线编号为3，第五条线(终止线)编号为4；
[0122] 3)计算边缘图中所有的点与起始线的距离，并按距离将所有点分在不同的区域内，即：如果点的距离在直线0和直线1之间，则分在第一区域；如果点的距离在直线1和直线2之间，则分在第二区域；以此类推，最终，得到包括不同数量的点的四个区域，即得到四个不同的数量值；
[0123] 4)根据四个数量值建立一个直方图，跟踪框图和待选框图可以建立各自的边缘距离直方图，然后用直方图匹配法的相似性度量来衡量两幅直方图之间的相似度。其中，直方图匹配法是通过计算两个直方图中对应的条形的欧式距离来衡量直方图之间的相似程度，距离越小，相似度越高。
[0124] 图9是2行3列的图像集，为边缘距离直方图算法的示例说明。其中，以两幅待选框图为例，第1行分别为跟踪框图、待选框图1和待选框图2的原图，第2行分别为跟踪框图、待选框图1和待选框图2对应的边缘图。可以明显看出，当作出边缘距离直方图时，跟踪框图与待选框图2的直方图距离更小，相似度更高。
[0125] 步骤900：保存最相关框图中每一个跟踪点对应的最相关点及其相关参数，并返回步骤300进行下一次循环，知道遍历完时序图像集合中的所有图像；
[0126] 步骤1000：退出循环，得到一组新的包含了跟踪点的时序图，所有新的时序图中跟踪点的位置即为植物幼苗生长的跟踪测量结果。
[0127] 请参阅图10，是本申请实施例的基于图像相似度计算的植物生长测量系统的结构示意图。本申请实施例的基于图像相似度计算的植物生长测量系统包括图像采集模块、跟踪图处理模块、遍历判断模块、循环判断模块、待选图选择模块、待选图处理模块、最相关框图计算模块、数据保存模块。
[0128] 图像采集模块：用于采集植物幼苗的时序图像集合；其中，时序图像采集方式为：利用植物幼苗高通量动态成像分析系统每间隔一定时间拍摄一张高清的植物幼苗的灰度图像，形成一组包括N张图像的时序图像集合。
[0129] 跟踪图处理模块：用于从时序图像集合中选取一幅图像作为跟踪图，并对跟踪图进行预处理，得到跟踪点及其相关参数；假设选取第一幅图像作为跟踪图，则后向搜索第2、第3、第4、…、第N张图像中跟踪点对应的位置；假设选取除第一幅图像以外的其余图像(假设是第n张)作为跟踪图，则先前向搜索第n-1、第n-2、…、第1张图像中跟踪点对应的位置，然后后向搜索第n+1、第n+2、…、第N张图像中跟踪点对应的位置。其中跟踪点数量为超参数，可根据需要进行人为设置。
[0130] 进一步地，跟踪图处理模块对跟踪图的预处理过程包括：
[0131] 1、根据灰度图的像素值得到跟踪图里幼苗图像的等高线，取其中最长的等高线作为幼苗的外轮廓，该外轮廓由密集的坐标点组成，坐标的大小是以整幅图像的左下角作为原点；
[0132] 2、利用moving average(移动平均，一种
低通滤波器)对幼苗的外轮廓进行滤波；
[0133] 3、基于幼苗的外轮廓，利用Voronoi Diagram(维诺图)找出幼苗的骨架(即幼苗的中线，由密集的坐标点组成)，同时得到中线上任意点对应的轮廓半径；
[0134] 4、选取轮廓半径最大的中线坐标点作为起点，过该坐标点画一条横线交左右轮廓各一点，并将该两点分别作为左轮廓起点和右轮廓起点；该步骤中，本申请首次对植物幼苗两侧轮廓不同的生长状况进行研究。
[0135] 5、计算中线和左右轮廓线连续点之间的欧氏距离，得到中线上每个点相对于起点的曲线距离，左右轮廓上的每个点相对于各自起点的曲线距离，所有起点沿着图像朝上为正轴；
[0136] 6、以一定距离间隔在中线上取观察点，用三次样条插值得到中线的每个观察点的切线表达式和垂线表达式；
[0137] 7、中线上的每个观察点的垂线与左右轮廓相交于两点，假设选取了10个观察点，则该10个观察点与左轮廓相交于10个点，与右轮廓相交于10个点，一共20个点，该20个点即为跟踪点；
[0138] 8、用三次样条插值得到左右轮廓所有跟踪点的切线表达式和垂线表达式，然后将跟踪点的切线表达式和垂线表达式作为主要参数(主要参数即跟踪点在轮廓线上的切线和垂线斜率)进行第一个循环。
[0139] 遍历判断模块：用于在进入每次循环时，判断是否遍历完时序图像集合中的所有图像，如果没有遍历完所有图像，通过循环判断模块判断本轮循环是否是第一次循环；如果遍历完所有图像，则退出循环，得到一组新的包含了跟踪点的时序图，所有新的时序图中跟踪点的位置即为植物幼苗生长的跟踪测量结果；
[0140] 循环判断模块：用于判断本轮循环是否是第一次循环，并通过待选图选择模块选取跟踪图的上一张或下一张图像作为待选图；其中，如果本轮循环不是第一次循环，则将上一轮循环选出的每一个跟踪点对应的最相关点及其相关参数作为本轮循环的跟踪点及其相关参数；
[0141] 待选图选择模块：用于选取跟踪图的上一张或下一张图像作为待选图，并根据跟踪点及其参数得到待选图对应的跟踪框图；假设跟踪图是第一幅图像，则选第二幅图像作为待选图；假设跟踪图是第n幅图像，则选第n-1幅图像作为待选图。根据跟踪点及其参数，切线上下平移和垂线左右平移一定距离ws(ws是超参数，人为设置)可以围成一个四边形，该四边形中的像素组成跟踪框图。
[0142] 待选图处理模块：用于对待选图进行预处理，得到待选框图；其中，待选图处理模块对待选图的预处理过程包括：
[0143] 1、计算待选图中幼苗左右轮廓的起点，以及左右轮廓上每个点的曲线距离；
[0144] 2、选定待选图中与跟踪点相同曲线距离的位置(假设有20个跟踪点，则得到20个选定位置)，以选定位置为中点，沿着轮廓曲线正负轴方向取一定长度距离的待选范围(该范围可人为设置，范围越大，计算量越大，范围越小，待选图越少)，将该待选范围内的所有点作为待选点；每个跟踪点都有自己的待选范围，需要从待选范围中选取最相关的待选点。
[0145] 3、根据三次样条插值求出每个待选点的切线与垂线表达式，根据待选点及其在轮廓线上的切线和垂线斜率，切线上下平移和垂线左右平移一定距离ws可以围成一个四边形，该四边形里的像素组成待选框图。
[0146] 最相关框图计算模块：用于对所有跟踪框图和对应的待选框图进行图像预处理，并结合图像相似度计算得到每个跟踪框图对应的最相关框图(该最相关框图为每个跟踪框图对应的待选框图中的一幅)；其中，最相关框图计算模块对跟踪框图和待选框图的图像预处理过程包括：
[0147] 1、遍历所有的跟踪框图，并判断跟踪框图i≤N是否成立，如果成立，进入下一步；否则，结束；
[0148] 2、采用CLAHE算法对跟踪框图i及其对应的待选框图进行图像增强，使得模糊的细节能被凸显出来，pattern的识别率更高；可以理解，具体也可采用直方图均衡、Gamma变换等其他图像增强技术进行图像增强；
[0149] 3、采用中值滤波器对图像增强的跟踪框图i及其对应的待选框图进行滤波去噪；可以理解，也可采用均值滤波、高斯滤波等其他滤波算法进行滤波椒盐去燥；
[0150] 4、利用ORB算法从所有待选框图中筛选得到n张(n张超参数，可人为设置，本申请实施例中选取n＝20)二次待选框图；
[0151] 5、对二次待选框图进行二值化，得到黑白二次待选框图；
[0152] 6、对黑白二次待选框图进行腐蚀，去掉一些杂乱无序的像素点，留下主要的pattern；腐蚀的选取领域为3×3，如果黑白二次待选框图中每个像素点的3×3领域内的像素值相加的值cv>＝corrosion_thres(corrosion_thres是超参数，可人为设置，本申请实施例选取corrosion_thres＝3)时，该像素点的值取1，否则，取0。
[0153] 7、对腐蚀后的黑白二次待选框图进行canny算子边缘检测，得到幼苗图像中的边缘图；可以理解，也可采用Sobel算子、Laplacian算子等进行边缘检测。
[0154] 8、采用边缘距离直方图算法从腐蚀后的黑白二次待选框图中选取跟踪框图对应的最相关框图；然后返回第1步进行循环判断；其中，边缘距离直方图算法的原理具体包括：
[0155] 1)将整个边缘图进行直线等距离划分为四等份(具体划分份数可根据实际操作进行设定)，最下面的线为起始线，最上面的线为终止线，起始线和终止线的斜率随着幼苗生长的弯曲而变化，具有自适应性；
[0156] 2)将第一条线(起始线)编号为0，第二条线编号为1，第三条线编号为2，第四条线编号为3，第五条线(终止线)编号为4；
[0157] 3)计算边缘图中所有的点与起始线的距离，并按距离将所有点分在不同的区域内，即：如果点的距离在直线0和直线1之间，则分在第一区域；如果点的距离在直线1和直线2之间，则分在第二区域；以此类推，最终，得到包括不同数量的点的四个区域，即得到四个不同的数量值；
[0158] 4)根据四个数量值建立一个直方图，跟踪框图和待选框图可以建立各自的边缘距离直方图，然后用直方图匹配法的相似性度量来衡量两幅直方图之间的相似度。其中，直方图匹配法是通过计算两个直方图中对应的条形的欧式距离来衡量直方图之间的相似程度，距离越小，相似度越高。
[0159] 数据保存模块：保存最相关框图中每一个跟踪点对应的最相关点及其相关参数，并通过遍历判断模块进行下一次循环，直到遍历完时序图像集合中的所有图像。
[0160] 图11是本申请实施例提供的基于图像相似度计算的植物生长测量方法的硬件设备结构示意图。如图11所示，该设备包括一个或多个处理器以及存储器。以一个处理器为例，该设备还可以包括：输入系统和输出系统。
[0161] 处理器、存储器、输入系统和输出系统可以通过总线或者其他方式连接，图11中以通过总线连接为例。
[0162] 存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态
软件程序、非暂态计算机可执行程序以及模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行电子设备的各种功能应用以及
数据处理，即实现上述方法实施例的处理方法。
[0163] 存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储
操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器可以包括高速
随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0164] 输入系统可接收输入的数字或字符信息，以及产生
信号输入。输出系统可包括显示屏等显示设备。
[0165] 所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任一方法实施例的以下操作：
[0166] 步骤a：从包括N幅植物幼苗图像的时序图像集合中选取一幅图像作为跟踪图，并对所述跟踪图进行预处理，得到跟踪点及其相关参数；
[0167] 步骤b：选取所述跟踪图的上一张或下一张图像作为待选图，并根据所述跟踪点及其相关参数得到待选图对应的跟踪框图；
[0168] 步骤c：对所述待选图进行预处理，得到每个跟踪框图对应的待选框图；
[0169] 步骤d：采用边缘距离直方图算法对所有跟踪框图和对应的待选框图进行图像预处理，并结合图像相似度计算从每个跟踪框图对应的待选框图中得到一幅最相关框图；
[0170] 步骤e：保存所述最相关框图中每一个跟踪点对应的最相关点及其相关参数；
[0171] 步骤f：循环执行步骤a至步骤e，直到遍历完所述时序图像集合中的N幅植物幼苗图像，得到一组新的包含了跟踪点的时序图，所述新的时序图中跟踪点的位置即为植物幼苗的生长跟踪测量结果。
[0172] 上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例提供的方法。
[0173] 本申请实施例提供了一种非暂态(非易失性)计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行以下操作：
[0174] 步骤a：从包括N幅植物幼苗图像的时序图像集合中选取一幅图像作为跟踪图，并对所述跟踪图进行预处理，得到跟踪点及其相关参数；
[0175] 步骤b：选取所述跟踪图的上一张或下一张图像作为待选图，并根据所述跟踪点及其相关参数得到待选图对应的跟踪框图；
[0176] 步骤c：对所述待选图进行预处理，得到每个跟踪框图对应的待选框图；
[0177] 步骤d：采用边缘距离直方图算法对所有跟踪框图和对应的待选框图进行图像预处理，并结合图像相似度计算从每个跟踪框图对应的待选框图中得到一幅最相关框图；
[0178] 步骤e：保存所述最相关框图中每一个跟踪点对应的最相关点及其相关参数；
[0179] 步骤f：循环执行步骤a至步骤e，直到遍历完所述时序图像集合中的N幅植物幼苗图像，得到一组新的包含了跟踪点的时序图，所述新的时序图中跟踪点的位置即为植物幼苗的生长跟踪测量结果。
[0180] 本申请实施例提供了一种
计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行以下操作：
[0181] 步骤a：从包括N幅植物幼苗图像的时序图像集合中选取一幅图像作为跟踪图，并对所述跟踪图进行预处理，得到跟踪点及其相关参数；
[0182] 步骤b：选取所述跟踪图的上一张或下一张图像作为待选图，并根据所述跟踪点及其相关参数得到待选图对应的跟踪框图；
[0183] 步骤c：对所述待选图进行预处理，得到每个跟踪框图对应的待选框图；
[0184] 步骤d：采用边缘距离直方图算法对所有跟踪框图和对应的待选框图进行图像预处理，并结合图像相似度计算从每个跟踪框图对应的待选框图中得到一幅最相关框图；
[0185] 步骤e：保存所述最相关框图中每一个跟踪点对应的最相关点及其相关参数；
[0186] 步骤f：循环执行步骤a至步骤e，直到遍历完所述时序图像集合中的N幅植物幼苗图像，得到一组新的包含了跟踪点的时序图，所述新的时序图中跟踪点的位置即为植物幼苗的生长跟踪测量结果。
[0187] 本申请实施例的基于图像相似度计算的植物生长测量方法、系统及电子设备通过利用ORB算法解决植物生长过程中的弯曲所带来的图像角度旋转问题，并在ORB算法的基础上采用边缘距离直方图算法解决多个待选框图相关性混淆的问题，实现对植物生长时序图像的准确跟踪，对于计算相关指标、了解植物器官生长状况等具有重大意义。相对于现有技术，本申请至少具有以下有益效果：
[0188] 一、现有技术只研究植物幼苗中线(骨架)的生长情况，无法对两侧不同的生长状况进行解释，也不能很好地说明植物弯曲的情况；本申请在中线上作切线的垂线，交左右轮廓于不同点，并在这些交点的周围提取出对应的框图，利用这些框图可以对植物幼苗两侧轮廓不同的生长状况进行研究；
[0189] 二、现有技术在提取框图时，都是采用固定方向(边框线与图像的边缘平行)的边框，其缺点在于当幼苗弯曲时，边框可能无法提取出主要的pattern，自适应性很差；本申请通过让边框随着弯曲的角度(轮廓切线的斜率)的变化而旋转，以动态调整边框的方式防止主要pattern流失，让后续的跟踪识别更加有效；
[0190] 三、现有技术没有对图像进行预处理操作，其缺点在于如果图像的细节比较模糊，那么计算相关度的难度会大大增加；本申请根据图像自身特点，进行了图像增强、滤波去噪、二值化、腐蚀、边缘检测等一系列有效的图像预处理操作，大大提高了幼苗细节的辨识度，使得特征变多，后续识别准确率提高；
[0191] 四、现有技术使用最大相关系数搜索算法，受到幼苗弯曲性质的影响，不能将跟踪框图与待选框图进行很好地对应，导致相似度计算不准确，出现误识别概率较高。本申请充分考虑到幼苗的弯曲性质，选取具有旋转不变性的ORB算法来计算相似度，可以更好地匹配两张框图之间对应的主要特征，识别准确率更高；
[0192] 五、传统的ORB算法只考虑主要特征的匹配而未考虑特征距离，造成ORB算法识别的准确率下降。每张跟踪框图对应的待选框图是由一定范围内连续的点所组成的框图集合，待选框图之间相似性较高，因此在最相关框图的前后距离较小的范围内，对应的待选框图也包含与最相关框图相同的主要pattern。本申请采用边缘距离直方图算法解决了ORB算法只考虑主要特征的匹配而未考虑特征距离的问题，使得选出的待选框图在最大程度上代表最相关框图，准确率更高。
[0193] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种
修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。
