技术领域
[0001] 本
发明涉及虚拟教学方法技术领域，尤其涉及一种基于AR手机的棉花株型设计实验教学的方法。
背景技术
[0002] 棉花作为世界上最重要的经济作物之一，是关系到国计民生的重要战略物资。棉花产量与株型结构具有密切的关系，优化株型能够提高植株的光能利用效率，从而实现高产、早熟和优质的新品种选育和繁育，另外，不同株型结构的棉花品种具有不同的种植管理方式。因此，棉花株型设计教学是株型育种和棉花栽培管理的主要研究内容，也是国内外农业类高职院校教学以及农民职业教育培训的重要课程。而当前，国内外在棉花株型设计教学仿真实验还停留在田间观察、教学板书以及图文图片等传统的实验教学模式，在人
力、物力、受众的兴趣点、参与度、动手能力以及体验的
沉浸感方面都限制了棉花株型优化设计实验教学的开展，以及受众对株型育种与种植管理知识的学习，教学效果差。
发明内容
[0003] 本发明所要解决的技术问题是如何提供一种可提高教学受众的兴趣点、参与度、动手能力以及体验的基于AR手机的棉花株型设计实验教学的方法。
[0004] 为解决上述技术问题，本发明所采取的技术方案是：一种基于AR手机的棉花株型设计实验教学的方法，其特征在于包括如下步骤：
[0005] 棉花株型三维形态结构动态表达；
[0006] 基于点
云的棉花植株三维形态结构重建；
[0007] 将重建的棉花植株三维形态结构注入到AR手机，使用AR手机完成棉花株型设计实验教学。
[0008] 进一步的技术方案在于，所述棉花株型三维形态结构动态表达的方法如下：
[0009] 建立棉花株型的参考轴结构模型，棉花的株型结构包括若干个轴，轴包括节和节间以及节上着生的器官；棉花的主茎为0阶轴，分枝为1阶轴，在1阶轴上不再萌发新的分枝，因此棉花为2阶轴模型；为了构建棉花动态生长表示模型，引入起始生长点和域
节点；起始生长点除标记棉花生长起始
位置坐标信息外，还存储棉花品种DUS信息和生育时期信息，是株型的基点；域节点建立轴单元与轴单元之间的连接关系，用于表示轴单元之间的位置关系；因此，棉花株型结构由域链GUD表示并进行数据存储。
[0010] 进一步的技术方案在于，域链GUD中G表示棉花株型的起始生长点，存储并记录种植品种的一般约束参数和信息，由数据链表G表示，其中一般约束参数包括品种名称、生育时期以及品种名称对应的DUS参数列表，参考值是指该参数的取值、取值范围或取值代码。
[0011] 进一步的技术方案在于，域链GUD中U表示生长单元，包括节间和节点，所述节点包括
叶片、花蕾以及棉铃器官，生长单元着生在上一个生长单元上，节点各器官着生在节间上，其中节间的属性包括：着生位置，节间长度,节间半径，方位
角和倾角；叶片的属性包括：着生位置，叶柄长度、叶柄方位角、叶柄倾角、叶宽、叶长以及叶倾角；花蕾的属性包括：着生位置、是否存在以及是否是花蕾；棉铃的属性包括：着生位置，棉铃大小以及是否吐絮。
[0012] 进一步的技术方案在于，域链GUD中D表示域节点，是轴单元与轴单元之间的连接点区域，并建立轴单元与轴单元之间的连接关系；域节点D的属性包括域节点方位角α、域节点倾角β和域
密度density；其中，域节点方位角α、域节点倾角β确定了在域节点处的新
坐标系的转化矩阵，新的生长单元的生长方向受到其生长体的约束，因此在域节点处构建新的坐标系，在域节点处的坐标系由父生长单元的方位角α和倾角β所构建的旋转矩阵确定；在生长单元P处构建新的坐标系过程，生长单元P所在的坐标系(X0,Y0,Z0)以及其方位角为α和倾角为β,，首先，X轴绕Z轴旋转α度，形成新的坐标系(X1,Y1,Z1)，其中Z轴不变，从而生长单元P点坐落在新坐标系(X1,Y1,Z1)的X1OY1平面上；然后Z轴绕Y轴旋转β度，形成新的坐标系(X2,Y2,Z2)，其中Y轴不变，从而生长单元P点坐落在新坐标系(X2,Y2,Z2)的Z轴上，从而完成了新的生长单元P处的坐标系的转换，新坐标系的转化矩阵RO由公式(1)表示：
[0013]
[0014] 域密度density属性，通过
三维扫描仪或
深度相机获取植株的深度数据时，深度数据包括致密的点云pointcloud，而在生长点连接处的点云密度较其它处的点云密度大，因此域密度是生长点位置的求解的重要约束参数；定义域密度density：对点云中任意的点p和距离r，以p点为中心、边长为r的正方体
包围盒内的点的个数n称为点p基于距离r的密度，记作n＝density(p,r)；所述域节点D还作为AR修正调整株型结构的交互点。
[0015] 进一步的技术方案在于，基于点云的棉花植株三维形态结构重建的方法如下：
[0016] 通过深度相机对棉花植株进行
数据采集，获取的深度数据是一组植株致密三维点云P；通过地面噪声点云去除、叶片点云聚类提取、花朵点云聚类提取、棉絮点云聚类提取、棉蕾点云聚类提取、植株点云骨架提取以及基于骨架的形态结构参数提取实现棉花植株
三维重建。
[0017] 进一步的技术方案在于，基于点云的棉花植株三维形态结构重建的方法如下：
[0018] 基于点云高度的地面噪声点云去除方法包括以下步骤：1)在待采集的棉花植株的地面处
水平放置一个正方形白色标记版；2)获取棉花植株的深度点云数据，并计算白色标记板对应点云的点云高度h；3)去除点云数据中,高度小于h的点云，即完成了地面噪声点云数据去除；
[0019] 基于邻域法线一致性的叶片点云聚类提取方法包括以下步骤：1)输入叶片个数N；2)基于近邻求解点云中个点法向量；3)求解近邻点云法向量夹角；4)判断近邻点的法向量夹角是否小于a，a值由用户设定，默认为30度，如果夹角小于a,那么把该点和其近邻点归为一类；4)
迭代处理所有点，从而完成点云聚类；5)取出聚类中点云数据最多的N个聚类，完成叶片点云提取；6)对每个叶片点云类，求点云中心，利用最
短路径
算法，求得叶片点云的边缘点，从而实现叶片点云边缘骨架的提取；
[0020] 基于
颜色的花朵点云和棉絮点云聚类提取方法包括以下步骤：1)由用户构建的棉花DUS数据表，载入棉花花朵颜色和棉絮颜色RGB取值数组，形成颜色特征点数组；2)计算点云P各点p(r,g,b)，和颜色特征点之间的色差D，其中r，g，b分别是点的颜色RGB三分量，两点pi(ri,gi,bi)、pj(rj,gj,bj),其色差值D由公式(2)求得；3)判断棉花植株点云个点和颜色特征点的色差，如果色差值小于0.1，表明该点是花朵点云或棉絮点云，从而实现花朵点云和棉絮点云的聚类提取；
[0021]
[0022] η＝(r+g+b)/3 (3)
[0023]
[0024]
[0025] 其中ηi，ηj由公式(3)求得，θ由公式(4)求得，向量 由公式(5)求得；
[0026] 基于椭球形状的棉蕾点云提取方法包括以下步骤：1)由用户构建的棉花品种DUS数据表，载入棉蕾椭球长半轴r1和短半轴r2品种参数；2)分别取(r1/2,r2/2)、(r1/4,r2/4)、(r1/8,r2/8)三组椭球参数，构建椭球拟合形态数组；3)利用椭球形态拟合数组，对棉花植株点云进行拟合求解，能够拟合匹配的点云即为棉蕾点云，从而完成棉蕾点云提取；
[0027] 植株骨架提取方法是基于拉普拉斯算法实现，具体步骤如下：1)利用拉普拉斯方法对去除叶片点云的植株点云数据进行骨架关键点提取，所述拉普拉斯方法为：计算每个点的Delaunay邻域，根据这些邻域信息构建拉普拉斯加权矩阵L，选取余切权，通过公式(6)迭代收缩点云P；其中WL和WH均为对角矩阵，WL控制收缩的力度，WH控制保存原有位置的力度，从而点云的点沿着估计出来的法向方向移动，情况下经过有限次迭代后，点云P收缩为骨架关键点；2)域节点求解：对骨架关键点，利用域密度公式进行点云密度求解，取显著高密度关键点为生长节点域节点，其显著高密度的定义为该点的密度大于相邻关键节点密度的2倍；3)骨架关键点连接，因为棉花植株为2阶轴
植物，因此关键节点最多只有3个临接节点，因此对每个关键节点进行3近邻连接，即完成棉花植株骨架关键点的连接；
[0028]
[0029] 基于骨架的植株形态结构参数提取方法包括以下步骤：1)基于叶边缘骨架，实现叶片长度、叶片宽度、叶倾角参数的求解；2)基于花朵点云，求花朵点云包围盒，求得花朵长度、高度、宽度参数的求解；3)基于棉絮点云，求棉絮点云包围盒，求得棉絮长度、高度、宽度参数的求解；4)基于棉蕾点云，求得棉蕾椭球参数，长半轴、短半轴参数的求解；5)基于植株骨架，求得节间的长度，并构建节点局部坐标系，求得节间的方位角、节间的倾角。
[0030] 进一步的技术方案在于，使用AR手机完成棉花株型设计实验教学的方法如下：
[0031] 1)首先在实验教学AR手机中构建棉花品种DUS库，并为学员AR手机选择一
块棉花种植试验田，按照标准种植流程，种植不同株型混播的棉花品种；2)棉花出苗后，由学员AR手机在试验田中随机选取一组棉花植株，并对选取的棉花植株挂牌标记，以便后期定点采集；3)从棉花苗期开始，通过实验教学AR手机以及学员AR手机进行交互，在对应的棉花种植生育时期，采集田间实验小区内种植的棉花植株点云数据，提取棉花植株株型形态结构数据，并进行植株三维重建；4)使用AR手机，把重建的三维植株骨架模型
叠加到真实植株上，对比重建的三维模型和真实植株模型，如有误差，通过手动调节重建的三维植株域节点，使其和真实植株模型匹配，实现棉花植株株型拓扑结构的快速获取；5)存储获得的株型结构数据以及图像数据；6)以上步骤，在棉花的苗期、蕾期、花期、铃期和吐絮时期按序执行步骤3)-步骤5)；7)分别在棉铃期和吐絮期，记录棉铃个数和大小，估计植株的产量；8)对比分析所有棉花植株实验对象，依据产量为标准，分别选择产量最大的植株、中等产量的植株以及最低产量的植株，其中最大产量的植株为最优株型，中等产量的株型为中等株型，最低产量的株型为低等株型，从而生成实验报告，并提交实验过程数据；9)实验教学AR手机收集到所有学员AR手机的实验数据后，对比分析实验结果，推荐出最优株型及其形态结构参数，并
修改品种DUS数据表，向学员AR手机公布最优株型实验数据，从而完成最优株型实验教学。
[0032] 采用上述技术方案所产生的有益效果在于：所述方法综合利用计算机图形建模技术、
虚拟现实技术以及智能交互技术，在保证株型建模
精度的同时，较大提高了株型设计数据获取效率，增强实验教学的
互动性和趣味性，提升了虚拟实验教学的智能化、虚拟化。从而改善教学实验条件，提高了教学受众的兴趣点、参与度、动手能力以及体验的沉浸感。
附图说明
[0033] 下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0034] 图1是本发明
实施例所述方法的主
流程图；
[0035] 图2是本发明实施例中棉花株型域链的结构示意图；
[0036] 图3是生长单元坐标系变换过程中生长单元所处的坐标系的示意图；
[0037] 图4是生长单元坐标系变换过程中生长单元方位角旋转变换的示意图；
[0038] 图5是生长单元坐标系变换过程中生长单元倾角旋转变换的示意图；
[0039] 图6是本发明实施例中基于深度点云的棉花植株三维重建方法流程图；
[0040] 其中：1、生长点2、地上部域链3、生长单元4、域5、节间、6、结点7、叶片8、花蕾9、棉铃。
具体实施方式
[0041] 下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0042] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0043] 总体的，如图1所示，本发明公开了一种基于AR手机的棉花株型设计实验教学的方法，包括如下步骤：
[0044] 棉花株型三维形态结构动态表达；
[0045] 基于点云的棉花植株三维形态结构重建；
[0046] 将重建的棉花植株三维形态结构注入到AR手机，使用AR手机完成棉花株型设计实验教学。
[0047] 棉花株型三维形态结构化动态表达：
[0048] 棉花属一年生草本植物，其形态生长遵循有序模式，顶芽每隔一定的间隔产生一个新的生长单元，生长单元不断分化，经历现蕾、开花、结铃到吐絮等阶段。参考轴结构模型，棉花的株型结构由多个轴组成，而轴又由节(Node)和节间(Internode)以及节上着生的器官(叶、
腋芽、花或果实)组成，是植物分生单位(Unit)。棉花的主茎为0阶轴，分枝为1阶轴，在1阶轴上不再萌发新的分枝，因此棉花为2阶轴模型。为了构建棉花动态生长表示模型，引入起始生长点(Growth Point)和域节点(Domain)。起始生长点除标记棉花生长起始位置坐标信息外，还存储棉花品种DUS信息和生育时期信息，是株型的基点。域节点建立轴单元与轴单元之间的连接关系，用于表示轴单元之间的位置关系。因此，棉花株型结构可由域链DL(G,U,D)表示并进行数据存储。
[0049] 其中，G表示棉花株型的起始生长点，存储并记录种植品种的一般约束参数和信息，由数据链表G(参数parameter,参考值referencevalue,单位unit)表示，其中参数包括品种名称、生育时期以及品种名称对应的DUS参数列表，参考值是指该参数的取值、取值范围或取值代码，基于棉花DUS测试指南，构建的棉花起始生长点数据链表G的部分参数如表1所示，参数列表可根据用户需求扩充，不同的品种，参数对应的参考值有所不同，具体取值可依据棉花DUS测试指南表，也可由用户定义。
[0050] 表1起始节点数据链表G部分实例
[0051]
[0052] U表示生长单元，由节间和节点组成，节点包括叶、花蕾以及棉铃等器官，生长单元着生在上一个生长单元上，节点各器官着生在节间上，生长单元表示为U(节间(Internode)，叶(Leaf)，花(Flower)，棉铃(Cotton))，即Unit(Internode,Leaf,Flower,Cotton)，如图2所示，每个器官对象具有各自的形态属性，其中节间(Internode)的属性包括：着生位置(position)，节间长度(length),节间半径(radius)，方位角(Azimuth)，倾角(obliquity)；叶片(Leaf)的属性包括：着生位置(position)，叶柄长度(petiole length),叶柄方位角，叶柄倾角，叶宽(leaf width)，叶长，叶倾角；花(Flower)的属性包括：着生位置(position)，是否存在，是否是花蕾；棉铃(Cotton)的属性包括：着生位置(position)，棉铃大小，是否吐絮。
[0053] D表示域节点，是轴单元与轴单元之间的连接点区域，并建立轴单元与轴单元之间的连接关系。域节点D的属性由域节点方位角α、域节点倾角β和域密度density组成。其中，域节点方位角α、域节点倾角β确定了在域节点处的新坐标系的转化矩阵，新的生长单元的生长方向受到其生长体(即前一生长单元)的约束，因此在域节点处构建新的坐标系，在域节点处的坐标系由父生长单元的方位角α和倾角β所构建的旋转矩阵确定。在生长单元P处构建新的坐标系过程如图3-5所示，生长单元P所在的坐标系(X0,Y0,Z0)以及其方位角α和倾角β,如图3，首先，X轴绕Z轴旋转α度，形成新的坐标系(X1,Y1,Z1)，其中Z轴不变，从而生长单元P点坐落在新坐标系(X1,Y1,Z1)的X1OY1平面上，如图4所示；然后Z轴绕Y轴旋转β度，形成新的坐标系(X2,Y2,Z2)，其中Y轴不变，从而生长单元P点坐落在新坐标系(X2,Y2,Z2)的Z轴上，如图5所示，从而完成了新的生长单元P处的坐标系的转换，新坐标系的转化矩阵RO由公式(1)表示。
[0054]
[0055] 域密度density属性，通过三维
扫描仪或深度相机获取植株的深度数据时，深度数据是由致密的点云point cloud组成，而在生长点连接处的点云密度较其它处的点云密度大，因此域密度是生长点位置的求解的重要约束参数。定义域密度density：对点云中任意的点p和距离r，以p点为中心、边长为r的正方体包围盒内的点的个数n称为点p基于距离r的密度，记作n＝density(p,r)。
[0056] 所属域节点D还作为AR修正调整株型结构的交互点。
[0057] 基于点云的棉花植株三维重建：
[0058] 通过深度相机对棉花植株进行数据采集，获取的深度数据是一组植株致密三维点云P。通过点云去噪、叶片聚类提取、花朵聚类提取、棉絮聚类提取、棉蕾聚类提取、植株骨架提取以及基于骨架的形态结构参数提取等七个步骤实现棉花植株三维重建，算法流程如图6所示。
[0059] 所属基于点云高度的地面噪声点云去除方法包括以下步骤：(1)在待采集的棉花植株的地面处水平放置一个正方形白色标记版；(2)获取棉花植株的深度点云数据，并计算白色标记板对应点云的点云高度h；(3)去除点云数据中,高度小于h的点云，即完成了地面噪声点云数据去除。
[0060] 所属基于邻域法线一致性的叶片点云聚类提取方法包括以下步骤：(1)输入叶片个数N；(2)基于近邻求解点云中个点法向量；(3)求解近邻点云法向量夹角；(4)判断近邻点的法向量夹角是否小于a(a值由用户设定，默认为30度)，如果夹角小于a,那么把该点和其近邻点归为一类；(4)迭代处理所有点，从而完成点云聚类；(5)取出聚类中点云数据最多的N个聚类(叶片聚类)，完成叶片点云提取；(6)对每个叶片点云类，求点云中心，利用最短路径算法，求得叶片点云的边缘点，从而实现叶片点云边缘骨架的提取。
[0061] 所属基于颜色的花朵点云和棉絮点云聚类提取方法包括以下步骤：(1)由用户构建的棉花DUS数据表，载入棉花花朵颜色和棉絮颜色RGB取值数组，形成颜色特征点数组；(2)计算点云P各点p(r,g,b)(r，g，b分别是点的颜色RGB三分量)和颜色特征点之间的色差D，两点pi(ri,gi,bi)、pj(rj,gj,bj),其色差值D由公式2求得。(3)判断棉花植株点云个点和颜色特征点的色差，如果色差值小于0.1，表明该点是花朵点云或棉絮点云，从而实现花朵点云和棉絮点云的聚类提取。
[0062]
[0063] η＝(r+g+b)/3 (3)
[0064]
[0065]
[0066] 其中ηi，ηj由公式3求得，θ由公式4求得，向量 由公式5求得。
[0067] 所属基于椭球形状的棉蕾点云提取方法包括以下步骤：(1)由用户构建的棉花品种DUS数据表，载入棉蕾椭球长半轴r1和短半轴r2品种参数；(2)分别取(r1/2,r2/2)、(r1/4,r2/4)、(r1/8,r2/8)三组椭球参数，构建椭球拟合形态数组；(3)利用椭球形态拟合数组，对棉花植株点云进行拟合求解，能够拟合匹配的点云即为棉蕾点云，从而完成棉蕾点云提取。
[0068] 所属植株骨架提取方法是基于拉普拉斯算法实现，具体步骤如下：(1)利用拉普拉斯方法(LPLS)对去除叶片点云的植株点云数据进行骨架关键点提取，所属LPLS方法为：计算每个点的Delaunay邻域，根据这些邻域信息构建拉普拉斯加权矩阵L，选取余切权，通过方程(6)迭代收缩点云P。其中WL和WH均为对角矩阵，WL控制收缩的力度，WH控制保存原有位置的力度，从而点云的点沿着估计出来的法向方向移动，情况下经过有限次迭代后，点云P收缩为骨架关键点；(2)域节点求解：对骨架关键点，利用域密度公式进行点云密度求解，取显著高密度关键点为生长节点域节点，其显著高密度的定义为该点的密度大于相邻关键节点密度的2倍。(3)骨架关键点连接，因为棉花植株为2阶轴植物，因此关键节点最多只有3个临接节点，因此对每个关键节点进行3近邻连接，即完成棉花植株骨架关键点的连接。
[0069]
[0070] 所属基于骨架的植株形态结构参数提取方法包括以下步骤：(1)基于叶边缘骨架，实现叶片长度、叶片宽度、叶倾角等参数求解；(2)基于花朵点云，求花朵点云包围盒，求得花朵长度、高度、宽度等参数求解；(3)基于棉絮点云，求棉絮点云包围盒，求得棉絮长度、高度、宽度等参数求解；(4)基于棉蕾点云，求得棉蕾椭球参数，长半轴、短半轴等参数的求解；(5)基于植株骨架，求得节间的长度，并构建节点局部坐标系，从而求得节间的方位角、节间的倾角等参数。
[0071] 基于AR手机的棉花株型设计实验教学系统：
[0072] 系统由交互终端和棉花株型设计实验教学系统APP两部分组成。所属交互终端由带有深度摄像头的AR手机和一块5cm*5cm正方形白色标记板组成，如图5所示。AR手机(型号包括但不限于联想PHAB2Pro)内置深度摄像头和彩色摄像头，其中深度摄像头用于获得棉花植株的三维点云数据，彩色摄像头用于获得棉花植株点云的颜色RGB数据，白色标记板是棉花植株点云地面噪声去噪标记。
[0073] 所属棉花株型设计实验教学系统的交互流程如下：(1)首先由实验教学指导老师构建棉花品种DUS库，并为学员选择一块棉花种植试验田，按照标准种植流程，种植不同株型混播的棉花品种；(2)棉花出苗后，由学员在试验田中随机选取一组棉花植株(不少于10株)，并对选取的棉花植株挂牌标记，以便后期定点采集；(3)从棉花苗期开始，使用交互终端，在对应的棉花种植生育时期，采集田间实验小区内种植的棉花植株点云数据，提取棉花植株株型形态结构数据，并进行植株三维重建；(4)使用AR手机，把重建的三维植株骨架模型叠加到真实植株上，对比重建的三维模型和真实植株模型，如有误差，通过手动调节重建的三维植株域节点，使其和真实植株模型匹配，从而实现了棉花植株株型拓扑结构的快速获取；(5)存储获得的株型结构数据以及图像数据；(6)以上步骤，在棉花的五个关键生育时期(苗期、蕾期、花期、铃期和吐絮期)，按序执行3-5操作；(7)分别在棉铃期和吐絮期，记录棉铃个数和大小，估计植株的产量；(8)对比分析所有棉花植株实验对象，依据产量为标准，分别选择产量最大的植株、中等产量的植株以及最低产量的植株，其中最大产量的植株为最优株型，中等产量的株型为中等株型，最低产量的株型为低等株型，从而生成实验报告，并提交实验过程数据。(9)实验教学指导老师收集到所有学员的实验数据后，对比分析实验结果，推荐出最优株型及其形态结构参数，并修改品种DUS数据表，向学员公布最优株型实验数据，从而完成最优株型实验教学。
[0074] 所述方法综合利用计算机图形建模技术、虚拟现实技术以及智能交互技术，在保证株型建模精度的同时，较大提高了株型设计数据获取效率，增强实验教学的互动性和趣味性，提升虚拟实验教学的智能化、虚拟化。从而改善教学实验条件，提高了教学受众的兴趣点、参与度、动手能力以及体验的沉浸感。
