技术领域
[0001] 本
发明涉及植物子实识别领域，特别涉及一种采用机械化干预的子实识别装置及对子实图像数据的批量化识别方法。
背景技术
[0002] 目前，大豆是世界重要的粮油兼用作物，也是人类优质蛋白的主要来源。既是我国主要作物之一，也是我国进口量最大的农产品。大豆是关系国计民生的重要
基础性、战略性物资，也是最具经济效益的作物，其延长的产业链和价值链具有很大的发展潜
力，在农产品贸易领域扮演着举足轻重的
角色。
[0003] 为了提高大豆亩产量，提高育种效率极为重要，然而传统的大豆
种子优劣通常通过经验来判断，时间长成效低，现在
人工智能是新一轮科技革命和产业变革的重要驱动力量。利用人工智能
深度学习算法和超级计算机，可以构建大豆人工智能分子设计育种理论和方法体系，大幅提高育种效率，实现育种技术革命性的变革，促进我国育种技术的跨越性进步。利用
图像分析技术以及神经网络等非破坏性的方法对种子进行准确的评估成为人工智能育种的必备技术。
[0004] 对此，已有采集大豆种子的图像的技术公开，但传统的子实
图像采集方法是一颗子实一张照片，附带该子实样本编号等文本信息，比如一万粒大豆种子需要拍摄一万张照片，而且拍摄角度、环境条件等变化使得CV处理困难，表型
数据采集效率较低，且消耗大量的人力物力，同时存在着人为误差，带来后期数据分析的不准确性。
发明内容
[0005] 本发明所要解决的问题是如何弥补上述
现有技术的
缺陷，给出一个面向CV处理需求的机械装置，实现对豆科植物子实的批量标准化图像采集，一张照片可以拍摄多粒子实，同时也给出了一种图像CV处理和归一化处理的方法，提供一种种子识别装置及识别方法。
[0006] 发明的技术问题可以通过以下技术方案解决，所述方法包括如下步骤：：
[0007] 一、图像采集及预处理：
[0008] 对放置于放置区(21)的用于放置种子的放置槽(211)内的种子通过镜头(1)拍摄，并通过
图像处理将批量化拍摄的种子输出成为单个种子图片。
[0009] 二、图像初命名：
[0010] 对于放置于二维码放置区(22)上的二维码文本通过镜头与种子一并拍摄，并通过数据分析形成统一命名规格的模板。
[0011] 三、单个种子图像命名：
[0012] 根据种子的摆放
位置，将步骤一中最终输出的单个种子图片与步骤二中最终输出的命名规则模板结合，确定单个种子图像对应的最终标号。
[0013] 四、图像过滤：
[0014] 对步骤三中输出的带有编号的单个种子图像进行确认，过滤脏坏数据。
[0015] 五、单个种子图像输出：
[0016] 将步骤四中过滤后最终得到的若干张单个种子图像输出至所连设备的
指定目录下。
[0017] 进一步，所述步骤一的图像采集及预处理操作包括：
[0018] 步骤(101)校验区及放置区拍摄及检测，用于采集放置区内的植物子实及校验区内的比色卡，识别拍摄的图像，并获取用于进行图像标准化处理的特定矩形区域；
[0019] 步骤(102)尺寸修正及
颜色修正，用于对步骤(101)采集到的图片的尺寸及颜色进行修正；
[0020] 步骤(103)放置区识别，用于对通过步骤(102)之后的种子图像中的种子所在区域进行识别，确定种子所在的位置，获得单个种子的中心位置坐标，并将非种子单位筛除；
[0021] 步骤(104)区域分割，根据所得种子的中心位置坐标，分割原始图像，生成多个单个种子的图像样例；
[0022] 其中，所述步骤(102)与步骤(103)步骤(104)的操作顺序可互换。
[0023] 进一步，所述步骤(103)放置区识别操作中，对拍摄的所述放置槽内的种子
图像识别通过霍夫圆检测的方式进行，对原始照片进行模糊处理后利用霍夫圆检测对种子进行识别；所述检测适宜参数为：
[0024] 霍夫梯度dp：1最小圆间距：150x(x根据
像素比变化)param1：80param2＝12minRadius＝30x(x与上相同)maxRadius＝85x(x与上相同)。
[0025] 进一步，所述步骤(103)放置区识别操作中，对非种子单位的筛
处方法包括，以识别出的种子圆心为中心，以其半径的2～4倍确定一方形区域，在确定该区域后，判断该区域的种子色位点所占面积比例是否超过
阈值n，若超过该比例则认为识别出的种子为有效，否则认为错误将非种子区域识别为种子。
[0026] 进一步，所述阈值n不小于5％。
[0027] 进一步，所述步骤三单个种子图像命名过程中，需要根据种子摆放位置，确定单个种子图像样本所对应最终编号；所述编号需要对种子矩阵所在位点排序，其排序方式为：
[0028] 设一同行(列)阈值，若两颗种子横(纵)坐标之差未超过该阈值，则认为其属同行(列)；在此规则下，先对种子按所属行排序，再按所属列进行排序，以此确定每粒种子顺序，确定其唯一编号。
[0029] 进一步，所述步骤(101)校验区及放置区拍摄及检测中，采用轮廓检测技术，即opencv中的边界点检测方法，得到放置于校验区及放置区的种子及校验区比色卡的图像，得到一张大图，作为待识别的图像。
[0030] 进一步，一种豆类植物子实识别装置用于执行上述中任一所述的方法。
[0031] 一种豆类植物子实识别装置，包括：图像采集单元、二维码识别单元、二维码分析单元、大图像识别单元、大图像处理单元、种子图像识别单元、种子图像筛选单元、种子图像命名单元、图像过滤单元、及图像输出单元。
[0032] 所述图像采集单元采集豆类植物子实数据及二维码与校验区数据，传递至二维码识别单元及大图像识别单元。
[0033] 所述二维码识别单元与所述二维码分析单元连接，所述二维码分析单元生成统一命名格式的模板。
[0034] 所述大图像识别单元与大图像处理单元或种子图像识别单元连接，所述种子图像识别单元与所述种子图像筛选单元连接，豆类植物子实数据经所述大图像识别单元、大图像处理单元、种子图像识别单元与种子图像筛选单元处理，得到确定的单个种子图像。
[0035] 所述种子图像命名单元将所述单个种子图片与所述统一命名格式的模板结合，确定单个种子图像对应的最终标号。
[0036] 进一步，识别装置包括固定于镜头
连接杆的镜头，及位于背景
底板上的放置区、二维码放置区、校验区，所述镜头用于拍摄所述放置区、二维码放置区、校验区，所述镜头连接杆通过
支撑杆与背景底板连接。
[0037] 所述放置区包括若干个可放置种子的放置槽，所述放置槽向背景底板凹陷，种子可以直接落入放置槽内。
[0038] 所述放置区的放置槽数量为n×n，即横向与纵向数量相同的放置槽，所述放置区始终呈矩形。
[0039] 与现有技术相比，本
专利达到的有益效果是：
[0040] 本发明给出一个面向CV处理需求的机械装置，实现对豆科植物子实的批量标准化图像采集，一张照片可以拍摄多粒子实，方便图像CV处理和归一化处理，实现了快速、
无损检测，提高图像采集效率，
加速子实图像处理速度，实现子实表型数据的统一标准化获取。
附图说明
[0041] 图1为本发明中种子识别装置的整体外观示意图；
[0042] 图2为本发明中种子识别装置的左侧视图；
[0043] 图3为本发明中种子识别装置的
正面视图；
[0044] 图4为本发明中种子识别方法的操作
流程图；
[0045] 图5为本发明中种子识别装置的结构
框图。
[0046] 图中标号
[0047] 镜头1、
[0048] 放置区21、二维码放置区22、校验区23、放置槽211、
[0049] 镜头连接杆31、支撑杆32、背景底板33、
[0050] 镜头中心点1a、放置区中心点2a、放置区边缘点2b、放置区边缘点2c、校验区边缘点2d、
[0051] 图像采集单元A、二维码识别单元B1、二维码分析单元B2、大图像识别单元C1、大图像处理单元C2、种子图像识别单元C3、种子图像筛选单元C4、种子图像命名单元D、图像过滤单元E、图像输出单元F。
具体实施方式
[0052] 以下，基于优选的实施方式并参照附图对本发明进行进一步说明。
[0053] 此外，为了方便理解，放大(厚)或者缩小(薄)了图纸上的各种构件，但这种做法不是为了限制本发明的保护范围。
[0054] 单数形式的词汇也包括复数含义,反之亦然
[0055] 在本发明
实施例中的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，本发明的描述中，为了区分不同的单元，本
说明书上用了第一、第二等词汇，但这些不会受到制造的顺序限制，也不能理解为指示或暗示相对重要性，其在发明的详细说明与
权利要求书上，其名称可能会不同。
[0056] 请参考图1～图3，本发明所述的一种种子识别装置，包括图像采集单元A、二维码识别单元B1、二维码分析单元B2、大图像识别单元C1、大图像处理单元C2、种子图像识别单元C3、种子图像筛选单元C4、种子图像命名单元D、图像过滤单元E、图像输出单元F。其中，图像采集单元A包括放置种子等物体的背景底板33，所述背景底板33上包括放置区21、二维码放置区22及校验区23，所述放置区21用于放置拍摄用的种子，二维码放置区22用于放置当前拍摄批次的种子信息及其他相关文本，利用二维码代替传统的编码文本，不用考虑位置和角度，提高了图像处理速度，这是图像采集标准化的要素之一；校验区23为比色卡，用于对最终图像进行颜色、尺寸校验，其位置固定便于提高图像处理速度，是图像采集标准化的要素之一，所述校验区23呈矩形白色区域。
[0057] 所述放置区21呈矩形，所述放置区21包括若干个可放置种子的放置槽211，所述放置槽211向背景底板33凹陷，使得种子可以直接落入放置槽211内。
[0058] 所述放置区21的放置槽211数量为n×n，即横向与纵向数量相同的放置槽，使得放置区21始终呈矩形。
[0059] 本发明中优选的，所述放置槽211的数量为(2n+1)×(2n+1)，及放置槽211的横、纵个数均为奇数个，本实施例中，所述放置槽的数量为25个，即5×5。
[0060] 本实施例中，所述放置槽211之间的距离为1cm～2cm。当然，只要在镜头1的拍摄范围内，所述放置槽211之间的距离可随实际需求增大或减小，本发明在此不作赘述。
[0061] 本发明中所述的放置槽211，可以根据实际需要设置大小，当拍摄的种子颗粒较大时，其放置槽211的孔位即可以扩大，当拍摄的种子颗粒较小时，其放置槽211的孔位可以缩小。本实施例主要用于拍摄大豆种子，故放置槽211的孔位直径不超过10cm，其放置槽211向下凹陷，使得大豆可以直接落入放置槽211内不会轻易脱出。
[0062] 所述图像采集单元A还包括镜头1，所述镜头1装配在镜头连接杆31上，所述镜头连接杆31通过支撑杆32与背景底板33连接。
[0063] 设所述镜头1的中心点处为1a，所述放置区21的正中心(即对角线的交叉点)处为放置区中心点2a，所述镜头中心点1a位于所述放置区中心点2a的垂直上方，即，二者位于一条垂线上，使得所述镜头1拍摄时，拍摄的所述放置区21为最佳拍摄区域且偏移角度最小。
[0064] 所述支撑杆32为可伸缩支撑杆，使得在拍摄需要时更换镜头，使用者可以根据镜头的实际情况对镜头1与背景底板33之间的距离做出调整。
[0065] 本实施例中，所述镜头1与背景底板33之间的距离为40cm。此时，拍摄个数为5×5的放置槽211内的种子最为适宜。
[0066] 本实施例中，设放置区21两侧的边缘点为2b及2c，放置区21的另一侧为二维码放置区22及校验区23，设二维码放置区22距离镜头1最远处为2e，校验区23距离镜头1最远处为2d，镜头1的拍摄范围不能小于2b、2c、2d、2e所
覆盖的区域。
[0067] 本发明中，背景底板33呈黑色且不反光，具体的，可以将黑色绒布铺置于背景底板33上，避免镜头1对背景底板33进行拍摄时发生反光等不良效果。
[0068] 请参考图1～图4，本发明所述的一种种子识别装置，通过上述机械装置干预采集，可以实现对种子图像进行批量化采集并输出，其识别方法包括如下步骤：
[0069] 一、图像采集及预处理：利用图像采集单元A中的镜头1对放置于放置区21的放置槽211内的种子、放置于校验区23的比色卡、及放置于二维码放置区22上的二维码文本进行拍摄，并通过大图像识别单元C1、大图像处理单元C2、种子图像识别单元C3、种子图像筛选单元C4的图像处理将批量化拍摄的种子输出成为单个种子图片；
[0070] 二、图像初命名：利用二维码识别单元B1、二维码分析单元B2，对上述步骤一采集到的二维码数据分析形成统一命名规格的模板；
[0071] 三、单个种子图像命名：利用种子图像命名单元D，将步骤一中最终输出的单个种子图片与步骤二中最终输出的命名规则模板，根据种子的摆放位置，确定单个种子图像对应的最终标号；
[0072] 四、图像过滤：利用图像过滤单元E，对步骤三中输出的带有编号的单个种子图像进行确认，过滤脏坏数据；
[0073] 五、单个种子图像输出：利用图像输出单元F，将步骤四中过滤后最终得到的若干张单个种子图像输入至所连设备的指定目录下。
[0074] 由此，本发明可以解决及实现如下功能：批量化图像采集及
图像分割，以及分割后单个图像命名和输出。只有通过本发明实现的功能，才能得以实现后期自动化获取种子的表型数据，为计算机的深度学习提供有效基础数据。
[0075] 请参考图4，上述识别方法的具体实施方案如下：
[0076] 一、图像采集及预处理
[0077] (101)校验区及放置区拍摄及检测
[0078] a.将多粒种子放置于放置区21的放置槽211内，使得每个放置槽211内有一粒种子；
[0079] b.种子放置好后，通过镜头1将放置区21及校验区23一并拍摄；
[0080] c.拍摄后的图片进入大图像识别单元C1，大图像识别单元C1识别拍摄的图像，并获取用于进行图像标准化处理的特定矩形区域。
[0081] 校验区及放置区检测后得到的特定矩形区域，本实施例中采用轮廓检测技术，即opencv中的边界点检测。最终得到放置于校验区及放置区的种子及校验区比色卡的图像，得到一张大图，作为待识别的图像。
[0082] (102)尺寸修正及颜色修正
[0083] 经大图像识别单元C1的处理后，图像进入大图像处理单元C2，进行尺寸修正及颜色修正。优选的，大图像处理单元C2包括尺寸修正模
块和颜色修正模块，分别对图像的尺寸和颜色进行修正。具体操作方式如下：
[0084] a.尺寸修正
[0085] 利用校验区23的比色卡，对所得图像尺寸进行均一化处理，统一种子图像的最终尺寸；
[0086] b.颜色修正
[0087] 利用校验区23的比色卡，对所得图像颜色进行均一化处理，还原种子图像的真实颜色。
[0088] 本实施例中，尺寸修正采用几何变换技术，即根据图像中矫正区长宽所占像素大小，与实际中矫正区的物理长度进行做比，从而将种子实际几何信息通过此比与其所占像素相乘来获得。通过尺寸修正后，可以得到种子实际的物理长度、宽度、周长及面积信息。
[0089] 颜色修正采用校验区色差补正技术，即先用矫正区实际颜色(RGB)与图像中矫正区颜色(RGB)做差获得一差值n，随后将此差值对图像中的所有像素点颜色进行补正，即可近似还原图像真实颜色。种子的表面颜色是一个重要的特征，颜色特征是一种全局特征，描述了种子的表面性质及种子的状态，通过校验区色差补正后，得到与真实种子真实颜色一致的种子图像，为之后的图像识别做准备。
[0090] 本步骤中，尺寸修正和颜色修正可以同步进行，也可以任意先后进行，其操作顺序不受限。
[0091] (103)放置区识别
[0092] a.种子图像识别
[0093] 利用种子图像识别单元C3，对通过(102)步骤之后的种子图像中的种子所在区域进行识别，确定种子所在的位置；获得单个种子的中心位置坐标。
[0094] 本实施例中，种子图像识别采用霍夫圆检测(method)的方式进行，即先对原始照片进行模糊处理，并在模糊处理后利用霍夫圆检测对种子进行识别，通过该方法检测识别出的多个种子以圆心及半径的形式存储于一列表中，具体方法及相关适宜参数为：
[0095] 方法：梯度，CV_HOUGH_GRADIENT。
[0096] 霍夫梯度dp：1最小圆间距：150x(x根据像素比变化)param1：80param2＝12minRadius＝30x(x与上相同)maxRadius＝85x(x与上相同)
[0097] 具体的，dp：检测内侧圆心的累加器图像的
分辨率与输入图像之比的倒数，如dp＝1，累加器和输入图像具有相同的分辨率，如果dp＝2，累计器便有输入图像一半那么大的宽度和高度,一般不需要改变就是1。
[0098] minDist：表示两个圆之间圆心的最小距离。
[0099] param1：默认值100，表示传递给canny
边缘检测算子的高阈值，而低阈值为高阈值的一半。
[0100] param2：默认值100，它表示在检测阶段圆心的累加器阈值，它越小，就越可以检测到更多根本不存在的圆，而它越大的话，能通过检测的圆就更加接近完美的圆形了//也就是越大越苛刻。
[0101] minRadius：最小半径。
[0102] maxRadius：最大半径。
[0103] b.种子图像筛选
[0104] 在进行霍夫圆检测后，可能会将部分非种子区识别为种子，为此需将该类非种子单位进行筛除。
[0105] 其筛选的具体方法为：利用种子图像筛选单元C4，首先以识别出的种子圆心为中心，以其半径的x倍(2到4倍为佳)确定一方形区域。在确定该区域后，判断该区域的种子色(黄色，此处以黄色大豆种子为例)位点所占面积比例是否超过阈值n(5％以上为佳)，若超过该比例则认为识别出的种子为有效，否则认为错误地将非种子区域识别为种子。
[0106] 由此步骤后，可以得到确定的种子的图片，实现种子图片确定。
[0107] (104)区域分割
[0108] 继续利用种子图像筛选单元C4，根据所得种子的中心位置坐标，分割原始图像，生成多个单个种子的图像样例。
[0109] 所述(102)与(103)(104)之间的步骤可更换，更换后，先进行放置区识别和区域分割，最后进行图像的尺寸修正及颜色修正，即，步骤调整为：101、103、104、102，更换后不会影响单一图片的输出。
[0110] 二、图像初命名
[0111] (201)二维码拍摄及检测
[0112] a.在进行(101)步骤拍摄的同时，图像采集单元A会将二维码放置区22一并拍摄，得到图片。
[0113] b.拍摄后的图片进入二维码识别单元B1，二维码识别单元B1识别拍摄的图像，并获取和识别二维码所在区域。
[0114] 本实施例中，二维码的检测采用轮廓检测技术，即opencv中的边界点检测。最终得到放置于二维码放置区22中二维码的文本信息，为二维码分析做准备。
[0115] (202)二维码分析
[0116] 根据二维码图像检测得到的结果，利用二维码分析单元B2分析对应种子的文本信息，为了后续对信息的综合管理，此处的二维码预存了一定内容，包括拍摄年份、株系编号、种子编号、图像类别(可以为种子图、子叶图、植株图，本实施例中所拍摄类别为种子图)、拍摄方位(包括种脐方向、平放方向、侧放方向)、拍摄日期、拍摄人信息，这些信息通过googleZxing进行二维码编码存入。
[0117] 本实施例中，二维码分析采用二维码解码的技术，即googleZxing开源解码。分析后，二维码区域的文本信息获取。
[0118] (203)命名模板生成
[0119] 在二维码分析单元B2中，二维码所得文本信息可以自动生成种子图像的统一命名规格模板。
[0120] 本实施例中，命名模板生成采用简单字符串替换的方式，即获取二维码中的拍摄年份、株系编号、图像类别(种子图、子叶图、植株图，该仪器所拍摄类别应为种子图)、拍摄方位(包括种脐方向、平放方向、侧放方向)、拍摄日期、拍摄人信息并依次填入下方字符串中的①②④⑤⑥⑦处，①-②-③-④-⑤-⑥-⑦-Og.jpg,并以此为图像的最终名称。
[0121] 三、单个种子图像命名
[0122] (301)确认种子编号
[0123] 利用种子图像命名单元D，根据种子摆放位置，确定单个种子图像样本所对应最终编号。
[0124] 本实施例中，种子编号采用的具体方法为：
[0125] 对种子矩阵所在位点排序。设一同行(列)阈值，若两颗种子横(纵)坐标之差未超过该阈值，则认为其属同行(列)。在此规则下，先对种子按所属行排序，再按所属列进行排序，以此确定每粒种子顺序，确定其唯一编号。
[0126] 具体的，通过圆检测获得的种子可理解为一圆心集合，而该集合中各圆心排列顺序与种子实际摆放顺序并不相符，即乱序。该步骤主要将乱序种子序列回归真实顺序，以此根据真实顺序确认种子唯一编号。由于同行(列)种子经过圆检测所提取的圆心纵(横)坐标并不相等，会有一定范围的误差(如：第一行种子纵坐标为100 102 101 99 89，第二行种子纵坐标为151 148 158 152 150)，因此不能直接通过横纵坐标进行排序，为此引入一同行(列)阈值，当种子坐标之差小于该阈值时认为其为同行(列)。在该规则下，先对种子按所属行进行排序，再按所属列进行排序，以此确定每粒种子顺序，确定其唯一编号。识别出编号后，再将编号信息填入命名模板中的位置③即可。
[0127] 由此，每个分割后的单个种子图像会获得单独且唯一的名称，保证每个单个种子图像可查找。
[0128] 四、图像过滤
[0129] (401)图像过滤
[0130] 在单一种子图像命名后，利用图像过滤单元E，对所有预输出的种子图像进行确认，过滤脏坏数据。
[0131] 具体的，可采用像素占比过滤法，即根据图像区域中，其RGB在种子颜色范围域内的像素点数占图像总像素数的比例进行判断，若所占比超过一根据实验得出的阈值(10％以上为佳)，则断定该图像为种子图像，否则该图像为非种子图像，即脏数据。
[0132] 五、单个种子图像输出
[0133] (501)单个种子图像输出
[0134] 利用图像输出单元F，将上述处理后的单个种子图像输出至所连接设备的指定目录下，为之后的数据方分析做准备。此处的所连接输出设备可以为计算机
硬盘及任何可存储设备。
[0135] 本领域技术人员还可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以
电子硬件、计算机
软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0136] 显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些
修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
