一种温室环境下黄瓜采摘机器人系统及采摘方法
专利汇可以提供一种温室环境下黄瓜采摘机器人系统及采摘方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种 温室 环境下黄瓜采摘 机器人 系统，包括双目 立体视觉 系统，用于采集黄瓜图像，实时加以处理，获取 收获 目标的 位置 信息； 机械臂 装置，用于根据收获目标的位置信息，进行收获目标的抓取和分离；机器人移动平台，用于在温室环境下自主运动；双目立体视觉系统包括两个黑白摄像机、双通道视觉实时处理器、照明装置及滤光设备；机械臂装置包括执行机构、运动控制卡和关节 驱动器 ；机器人移动平台包括行走机构、 电机 驱动器、 云 台摄像头、处理器和运动 控制器 。本发明还公开了一种温室环境下黄瓜采摘方法。本发明使用 机器视觉 和 农业机械 相结合的方法，构建了适用于温室的黄瓜 采摘机 器人系统，实现了机器人的自动导航和黄瓜的自动收获，减少了人的劳动强度。，下面是一种温室环境下黄瓜采摘机器人系统及采摘方法专利的具体信息内容。
1、一种温室环境下黄瓜采摘机器人系统，其特征在于，所述系 统包括：
双目立体视觉系统，用于采集黄瓜图像，实时加以处理，获取收 获目标的位置信息；
机械臂装置，用于根据所述收获目标的位置信息，进行所述收获 目标的抓取和分离；
机器人移动平台，用于在温室环境下自主运动；
所述双目立体视觉系统包括：
两个黑白摄像机；
双通道视觉实时处理器，与所述两个黑白摄像机连接，用于完成 两路视频采集、图像识别及坐标运算；
所述机械臂装置包括：
执行机构；
运动控制卡，用于根据所述收获目标的位置信息进行轨迹规划， 并下发运动指令；
关节驱动器，用于根据所述运动指令，带动所述执行机构实现所 述收获目标的抓取和分离动作；
所述机器人移动平台包括：
行走机构；
电机驱动器，用于驱动所述行走机构；
云台摄像头，用于获取环境图像信息；
处理器，用于分析所述图像信息，获取并下发导航参数；
运动控制器，用于根据所述导航参数，控制所述电机驱动器驱动 所述执行机构进行运动。
2、如权利要求1所述的温室环境下黄瓜采摘机器人系统，其特 征在于，所述双目立体视觉系统还包括照明装置，用于提供适于收获 目标的识别采摘的光照环境；所述照明装置包括对称阵列分布的四个 光源和自适应能量输出的直流电源模块，所述电源模块用于给所述四 个光源提供电源。
3、如权利要求1所述的温室环境下黄瓜采摘机器人系统，其特 征在于，所述双目立体视觉系统还包括滤光设备，分别安装于所述两 个黑白摄像机的镜头前；所述滤光设备为近红外光谱波段、峰值透过 率大于90％的窄带干涉滤光器。
4、如权利要求1所述的温室环境下黄瓜采摘机器人系统，其特 征在于，所述双目立体视觉系统还包括支架，所述支架以套筒方式固 定在所述机器人移动平台上，并支撑所述双目立体视觉系统，根据需 要完成所述双目立体视觉系统的升降和旋转。
5、如权利要求1所述的温室环境下黄瓜采摘机器人系统，其特 征在于，所述机械臂装置采用5自由度设计，包括基座旋转、肩关节 俯仰、肘关节俯仰、腕关节俯仰和腕关节旋转。
6、如权利要求1所述的温室环境下黄瓜采摘机器人系统，其特 征在于，所述双目立体视觉系统与机械臂装置之间采用网口和RS232 串口连接，进行通信。
7、如权利要求1所述的温室环境下黄瓜采摘机器人系统，其特 征在于，所述双目立体视觉系统与机器人移动平台之间采用RS232 串口连接，进行通信。
8、一种温室环境下黄瓜采摘方法，其特征在于，所述方法包括 以下步骤：
S1.启动机器人移动平台沿导航线运动，双目立体视觉系统的右 摄像机进行单通道视频实时采集；
S2.对每帧右摄像机图像快速搜索，判断视场果实数量、成熟度 及大小；
S3.搜索到收获目标后，机器人移动平台停止运动，启动双通道 视频采集；
S4.左右摄像机同步获取场景中的收获目标的近红外图像，确定 左右图像中各收获目标的抓取点位置；
S5.判断摄像机公共视场范围内是否有对应匹配点；
S6.当有对应匹配点时，根据左右图像抓取点的视差进行三维信 息重建；
S7.双通道视觉实时处理器计算目标抓取点到双目立体视觉系 统坐标原点的坐标，将距离最近的抓取点目标作为当前采摘对象，并 由所述双目立体视觉系统原点与机械臂装置原点的相对位置关系，得 出与机械臂装置对应的收获目标的位置信息，发送至机械臂装置的运 动控制卡；
S8.机械臂装置的运动控制卡对所述位置信息进行轨迹规划，并 给出各关节的最佳运动参数，引导执行机构进行准确采摘。
9、如权利要求8所述的温室环境下黄瓜采摘方法，其特征在于， 在所述步骤S1之前，还包括：改变黄瓜采摘机器人系统的工作环境， 采用斜拉线栽培模式。
10、如权利要求8所述的温室环境下黄瓜采摘方法，其特征在于， 在所述步骤S8之后，还包括：重复步骤S4～S9，对所述场景范围内 的多个收获目标进行连续采摘，直至无对应抓取点，重新进行步骤 S1。
技术领域
本发明涉及智能机器人技术领域，特别是涉及一种温室环境下黄 瓜采摘机器人系统及采摘方法。
背景技术
果实采摘机器人的首要任务是识别和定位出目标，以便为收获机 械提供可靠的运动参数，并最终完成果实的采摘。因此，视觉部分信 息处理准确与否直接关系到最终收获机器人执行精度和采摘效率。农 业机器人又与某种非结构环境相联系，作业空间结构复杂、信息多义 及弱鲁棒性，较之一般工业机器人其应用难度更大，这对前端视觉感 知提出更高的要求。加之与诸多果蔬(如苹果、西红柿、樱桃、甜橙) 相比，黄瓜颜色特征更接近于瓜叶、茎秆，目标背景多元、近似信息 叠加成为果实信息提取的难点。
发明内容
为达到上述目的，本发明实施例的技术方案提供一种温室环境下 黄瓜采摘机器人系统，所述系统包括：
双目立体视觉系统，用于采集黄瓜图像，实时加以处理，获取收 获目标的位置信息；
机械臂装置，用于根据所述收获目标的位置信息，进行所述收获 目标的抓取和分离；
机器人移动平台，用于在温室环境下自主运动；
所述双目立体视觉系统包括：
两个黑白摄像机；
双通道视觉实时处理器，与所述两个黑白摄像机连接，用于完成 两路视频采集、图像识别及坐标运算；
所述机械臂装置包括：
执行机构；
运动控制卡，用于根据所述收获目标的位置信息进行轨迹规划， 并下发运动指令；
关节驱动器，用于根据所述运动指令，带动所述执行机构实现所 述收获目标的抓取和分离动作；
所述机器人移动平台包括：
行走机构；
电机驱动器，用于驱动所述行走机构；
云台摄像头，用于获取环境图像信息；
处理器，用于分析所述图像信息，获取并下发导航参数；
运动控制器，用于根据所述导航参数，控制所述电机驱动器驱动 所述执行机构进行运动。
其中，所述双目立体视觉系统还包括照明装置，用于提供适于收 获目标的识别采摘的光照环境；所述照明装置包括对称阵列分布的四 个光源和自适应能量输出的直流电源模块，所述电源模块用于给所述 四个光源提供电源。
其中，所述双目立体视觉系统还包括滤光设备，分别安装于所述 两个黑白摄像机的镜头前；所述滤光设备为近红外光谱波段、峰值透 过率大于90％的窄带干涉滤光器。
其中，所述双目立体视觉系统还包括支架，所述支架以套筒方式 固定在所述机器人移动平台上，并支撑所述双目立体视觉系统，根据 需要完成所述双目立体视觉系统的升降和旋转。
其中，所述机械臂装置采用5自由度设计，包括基座旋转、肩关 节俯仰、肘关节俯仰、腕关节俯仰和腕关节旋转。
其中，所述双目立体视觉系统与机械臂装置之间采用网口和 RS232串口连接，进行通信。
其中，所述双目立体视觉系统与机器人移动平台之间采用RS232 串口连接，进行通信。
本发明实施例的技术方案还提供一种温室环境下黄瓜采摘方法， 所述方法包括以下步骤：
S1.启动机器人移动平台沿导航线运动，双目立体视觉系统的右 摄像机进行单通道视频实时采集；
S2.对每帧右摄像机图像快速搜索，判断视场果实数量、成熟度 及大小；
S3.搜索到收获目标后，机器人移动平台停止运动，启动双通道 视频采集；
S4.左右摄像机同步获取场景中的收获目标的近红外图像，确定 左右图像中各收获目标的抓取点位置；
S5.判断摄像机公共视场范围内是否有对应匹配点；
S6.当有对应匹配点时，根据左右图像抓取点的视差进行三维信 息重建；
S7.双通道视觉实时处理器计算目标抓取点到双目立体视觉系 统坐标原点的坐标，将距离最近的抓取点目标作为当前采摘对象，并 由所述双目立体视觉系统原点与机械臂装置原点的相对位置关系，得 出与机械臂装置对应的收获目标的位置信息，发送至机械臂装置的运 动控制卡；
S8.机械臂装置的运动控制卡对所述位置信息进行轨迹规划，并 给出各关节的最佳运动参数，引导执行机构进行准确采摘。
其中，在所述步骤S1之前，还包括：改变黄瓜采摘机器人系统 的工作环境，采用斜拉线栽培模式。
其中，在所述步骤S8之后，还包括：重复步骤S4～S9，对所述 场景范围内的多个收获目标进行连续采摘，直至无对应抓取点，重新 进行步骤S1。
与现有技术相比，本发明的技术方案具有如下优点：
1、黄瓜采摘机器人系统采用模块化设计理念，结构简单，集成 度高，有助于提高机器人的环境适应能力和工作效率。
2、光照环境方案有效地减少自然光对图像的影响，提高图像获 取质量。
3、采用滤光片与高感度摄像机相结合的信息获取模式从绿色背 景中提取果实特征，在很大程度上降低图像处理难度，提高检测精度。
4、选用大基线距、会聚式双目立体视觉模型，提高近距离目标 系统测量精度，为部分遮盖果实探测提供了一个有效解决方案。
5、双目立体视觉系统和机械臂装置的设计皆基于嵌入式处理平 台，更适于高温、潮湿的温室工作环境，具有集成能力强、稳定性好、 运算速度快、系统成本低、功耗小等优势。
附图说明
图1是本发明实施例的一种黄瓜采摘机器人系统结构示意图；
图2是本发明实施例的一种双目立体视觉系统的结构示意图；
图3是本发明实施例的一种温室黄瓜种植模式示意图；
图4是本发明实施例的一种黄瓜采摘机器人功能框图；
图5是本发明实施例的一种温室环境下黄瓜采摘方法的流程图。
其中，1、机器人移动平台；2、机械臂装置；3、双目立体视觉 系统；4、支架；11、控制中心；12、履带式车体；13、云台摄像机； 21、基座；22、肩关节；23、大臂；24、肘关节；25、小臂；26、腕 关节；27、末端执行器；31、黑白Hyper HAD CCD摄像机(左)；32、 黑白Hyper HAD CCD摄像机(右)；33、照明光源；34、窄带干涉滤 光设备；35、直流电源模块；36、双通道视觉实时处理器；37、采摘 对象。
具体实施方式
如图1所示，本发明的黄瓜采摘机器人系统包括机器人移动平台 1、机械臂装置2和双目立体视觉系统3。
机器人移动平台1包括履带式车体12、云台摄像机13、车载PC 处理器(图中未示出，放置于控制中心11内)、运动控制器(图中未 示出，放置于控制中心11内)、电机驱动器(图中未示出，放置于履 带式车体12内)。机器人移动平台采用电机后轮驱动方式，当本系统 接收到双目立体视觉系统3发送的启动指令后，车体12循线行走， 安装于车体正前方的云台摄像机13实时获取导航线路径信息，车载 PC处理器将计算所得导航线角度偏差和横向偏差输出给运动控制 器，电机驱动器根据运动控制器输出的两轮差速值调整车体进行路径 跟踪。
机械臂装置2包括基座21、肩关节22、大臂23、肘关节24、小 臂25、腕关节26、末端执行器27和ARM运动控制卡(图中未示出， 放置于控制中心11内)，执行机构固定于控制中心11平台上。根据 黄瓜实际采摘作业要求，机械臂选用5自由度设计，分别为基座旋转、 肩关节俯仰、肘关节俯仰、腕关节俯仰、腕关节旋转。当本装置接收 到双目立体视觉系统3发送的收获目标位置信息，ARM运动控制卡 进行轨迹规划推算各关节的运动参数，通过CAN总线向各关节节点 发送运动指令，由关节驱动器带动执行机构实现果实的抓取和分离。
双目立体视觉系统3包括两个黑白Hyper HAD CCD摄像机(31、 32)、一个四光源呈对称阵列分布的照明装置33、两个窄带干涉滤光 设备34、一个直流电源模块35及一个双通道视觉实时处理器36，如 图2所示。整个系统由支架4支撑，以套筒方式固定，根据需要完成 系统的升降和旋转，最大升降距离为1000mm，基本满足信息获取的 需求。
上述的黑白Hyper HAD CCD摄像机(31、32)选用美国UNIQ 公司的UM-300系列摄像机，本系列摄像机比普通摄像机在近红外波 段敏感4倍。两黑白Hyper HAD CCD摄像机(31、32)通过调节机 构安装在机翼形状的水平底板上，底板略宽于摄像机尺寸，调节机构 用来调整摄像机的位移和偏航角，双摄像机呈会聚式双目立体视觉模 型，针对近距离目标有较好的测量精度。
上述的照明装置33由四盏Philips公司的摄影用卤素射灯改装而 成，每盏色温为5500K，发光能量峰值在1000nm附近，区域覆盖可 见光到近红外波段，适用于黄瓜的采摘识别作业。照明装置独立于双 摄像机(31、32)系统，四盏光源通过连接件组成一整体，根据需要 相互间角度可调。
上述的直流电源模块35由四组24V、10AH锂电池和感光元件组 成，为照明光源提供稳定的输出电流。感光元件根据环境的照度情况， 分四个等级自行调整电池的电流输出，控制视场亮度从而保证视频图 像获取质量。
上述的双通道视觉实时处理器36为自行开发设计的专用嵌入式 图像处理平台，内核采用美国TI公司TMS320DM642数字信号处理 芯片，完成两路视频并行采集、图像识别及坐标运算。
上述双目立体视觉系统的图像信息获取方法：
适当改变机器人的工作环境和黄瓜的种植模式，如图3所示(尺 寸单位：mm)。为保证机器人在作业现场行走平稳、收获便利，黄瓜 种植垄间区域进行平整硬化，硬化路面宽900mm，黄瓜垄宽600mm， 垄内作物单行栽培，株距400mm，成熟果实分布于离地面600mm以 上区域。为使果实与茎叶容易分离，本发明采用一种斜拉线种植模式， 即用聚丙烯塑料线，上端缠于藤架顶部木制横梁，下端被张紧绕在一 固定于地面线轴上，拉线垂直高度为1800mm、倾角为70°，黄瓜藤 蔓沿拉线生长，当瓜蔓接近横梁，通过下放斜拉线保证成熟果实集中 在距离垂直地面600～1200mm范围内(即摄像机的视野范围)。由于 拉线强度不够，黄瓜叶子因重力下垂严重，极易造成果实的遮挡，为 此在高度600mm和1200mm处添加两条横杆以增加对拉线的支撑， 此外介于两横杆间以斜拉线为中心的两侧15mm处各拉一条细线，将 叶子隔开到横杆后方便于机器人识别采摘。
为了保证图像获取质量，其一视野光照均匀，根据视场范围和目 标形状，确定光源与摄像机的相对位置、光源的入射角度，采用四个 光源以两摄像机公共视场为中心、两侧光源呈75°对称交向阵列分 布；其二视野光照稳定，直流电源模块中的感光元件根据自然光的强 弱，按四个等级自主调整电流输出，控制光源的输出能量从而保证视 场亮度。
装有滤光设备的黑白Hyper HAD CCD摄像机获取黄瓜近红外模 拟光谱图像，经双通道视觉实时处理器A/D模块转换后，以数字图 像形式存储于片上SDRAM中指定的内存，供图像处理用。
双通道视觉实时处理器采用多线程、多任务的系统调度方案，静 态配置了4个线程，分别完成两路图像采集、图像识别及坐标运算， 线程间的同步通过SCOM(同步通讯机制)模块实现，从而解决了恒 速图像采集与变速图像处理之间的矛盾。
双目立体视觉系统首先进行两路图像采集，存储后分别对左右摄 像机图像进行二维特征提取，然后基于双目立体视觉的视差原理从二 维特征中恢复出三维信息，为机械臂运动提供依据。
本发明黄瓜采摘机器人系统的控制采用主从式结构，其功能框图 如图4所示。双目立体视觉系统作为主控系统完成两路视频图像信息 的采集、提取、分析和计算，协调好与从系统的信息交换；机械臂装 置作为从系统负责执行机构的轨迹规划及控制；机器人移动平台作为 另一从系统实现导航信息提取和路径跟踪。
上述的双目立体视觉系统与机械臂装置之间采用网口和RS232 串口作为接口实现两者的相互通信。视觉系统输出采摘目标与机械手 的相对位置信息，接收目标抓取、切割启停信号。
上述的双目立体视觉系统与机器人行走平台之间采用RS232串 口连接，视觉系统输出车体的运动控制指令，接收车体当前运动状态 信息。
采用上述系统方案的一种温室黄瓜自动检测方法，参见图5，其 具体步骤如下：
S1、启动机器人移动平台沿导航线运动，双目视觉系统的右摄像 机进行单通道视频实时采集；
S2、对每帧右摄像机图像快速搜索，判断果实数量、成熟度及大 小；
S3、确定有采摘目标后命令机器人移动平台停止，启动双通道视 频采集；
S4、左右摄像机同步获取场景中的黄瓜近红外图像，分别进行目 标分割、品质分析和特征提取，确定左右图像中黄瓜的抓取点位置；
S5、判断摄像机公共视场范围内是否有对应匹配点；
S6、若抓取点不满足匹配条件，结束双通道视频采集，重新步骤 1)，否则基于左右图像抓取点的视差，由三角法原理进行三维信息重 建；
S7、双通道图像处理器计算目标抓取点到双目视觉系统坐标原点 的X、Y、Z坐标，将距离最近的抓取点目标作为当前采摘对象，并 由标定所得视觉系统原点与机械臂原点的相对位置关系推出机械臂 对应的坐标信息，发送至机械臂装置的运动控制卡；
S8、运动控制卡对发送的位置信息进行轨迹规划后给出各关节的 最佳运动参数，从而引导机械手进行准确采摘；
S9、重复步骤S4～S8，该停车点视野范围内的多个目标进行连 续采摘，直至无可采摘目标重新步骤S1。
本发明所提供的温室黄瓜自动检测方法，将黄瓜的光谱特征与形 状特征结合起来实现目标分割、特征提取，再由双目立体视觉原理得 出目标的空间位置，引导机械手进行采摘。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领 域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以 做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 实验动物无人化实验系统 | 2020-05-11 | 989 |
| 一种可重复飞行轮腿复合移动机器人 | 2020-05-12 | 199 |
| 一种水下自主作业机器人及其作业方法 | 2020-05-08 | 891 |
| 一种区分人员影响的服务机器人导航规划方法 | 2020-05-14 | 925 |
| 基于Docker容器的云机器人导航系统及其工作方法 | 2020-05-15 | 499 |
| 机器人真空清洁器 | 2020-05-13 | 406 |
| 采用人工智能技术的颅颌面外科手术机器人辅助系统 | 2020-05-11 | 358 |
| 一种具有蛇形探测头的巡检智能机器人 | 2020-05-12 | 58 |
| 一种基于电磁弹射的投掷救援机器人 | 2020-05-08 | 253 |
| 一种智能安防辅警机器人及其控制系统 | 2020-05-14 | 980 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
