基于视觉检测技术的集装箱起重机智能预警系统及方法专利检索-计算机编程电脑编程专利检索查询-专利查询网

基于视觉检测技术的集装箱起重机智能预警系统及方法

阅读：1发布：2020-11-30

专利汇可以提供基于视觉检测技术的集装箱起重机智能预警系统及方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于视觉检测技术的集装箱起重机智能预警系统及方法，包括视频图像采集传感器系统、包含有视频图像采集同步触发控制器的视频图像采集同步触发控制系统、与视频图像采集同步触发控制器连接的辅助照明系统、图像分析处理主机系统,及分别与视频图像采集同步触发控制器和图像分析处理主机系统连接的PLC，一声光报警装置连接到图像分析处理主机系统，一电源系统为以上各系统提供电源。通过本发明装置实现了集装箱起重设备对起升后集装箱卡车箱车分离自动检测、吊具电缆逃框自动检测、小车架拖缆和电气箱门异常自动检测等功能。本发明具有智能化程度高、识别准确度高、可靠性强、连续工作能力强、环境适应性强、反应快等优势。，下面是基于视觉检测技术的集装箱起重机智能预警系统及方法专利的具体信息内容。

权利要求

1.一种基于视觉检测技术的集装箱起重机智能预警系统,其特征在于：包括各部位的视频图像采集传感器系统、包含有视频图像采集同步触发控制器的视频图像采集同步触发控制系统、与所述视频图像采集同步触发控制器连接的辅助照明系统、图像分析处理主机系统,及分别与所述视频图像采集同步触发控制器和图像分析处理主机系统连接的PLC可编程控制器，一声光报警装置连接到所述图像分析处理主机系统，一电源系统为以上各系统提供电源；所述视频图像采集传感器系统包括若干个视频检测传感器、一千兆网交换机，每个视频检测传感器包含一个带外触发的千兆网GIGE相机，每个相机的GIGE端口都通过GIGE网线与千兆网交换机相连，千兆网交换机通过GIGE网线与图像分析处理主机系统相连，相机的触发端口分别通过触发线缆连接到所述视频图像采集同步触发控制器的对应端口。
2.根据权利要求1所述的集装箱起重机智能预警系统，其特征在于：所述视频图像采集同步触发控制系统主要由输入输出隔离光电耦合电路、单片机电路、稳压电源电路和RS232通讯电路构成；其输入端口用于接收所述PLC可编程控制器发出的作业状态开关指令，当所述PLC可编程控制器发出对应的动作指令时，所述光电耦合电路将与之对应的PLC可编程控制器I/O口电平拉低，PLC可编程控制器根据I/O口的电平状态使对应的相机开启或关闭，通过改变同步触发端口的信号输出状态，使得相对应的传感器触发采集图像，并通过RS232端口向图像分析处理主机系统发出设备动作信号，通知图像分析处理主机系统进行视频图像处理画面的开或闭动作。
3.根据权利要求2所述的集装箱起重机智能预警系统，其特征在于：所述视频图像采集传感器系统中的3个相机设置在所述集装箱起重机吊具电缆上端位置。
4.根据权利要求3所述的集装箱起重机仿生智能控制系统，其特征在于：所述视频图像采集传感器系统中的1个相机设置在运输所述集装箱起重机的小车车顶上。
5.根据权利要求4所述的集装箱起重机智能预警系统，其特征在于：所述视频图像采集传感器系统中的2个相机设置在所述小车的小车架拖缆两端。
6.根据权利要求5所述的集装箱起重机智能预警系统，其特征在于：所述相机都分别安装在一个防水防尘的外壳内。
7.根据权利要求6所述的集装箱起重机智能预警系统，其特征在于：所述电源系统为通用的稳压电源。
8.根据权利要求7所述的集装箱起重机智能预警系统，其特征在于：所述辅助照明系统为分别与视频图像采集同步触发控制器连接的LED补光灯和光照度传感器组成。
9.根据权利要求8所述的集装箱起重机智能预警系统，其特征在于：所述图像分析处理主机系统由计算机或工控机构成，其主机内包含千兆网络通讯设备、RS232端口或RS485兼容端口，且安装有用于图像分析处理的应用程序。
10.利用权利要求9所述的集装箱起重机智能预警系统的方法，其特征在于：包括集装箱装卸机械在作业过程中实现起升后集装箱卡车箱车分离检测、吊具电缆逃框检测、小车架拖缆和电气箱门异常检测的检测识别，其中集装箱卡车箱车分离检测包括：
当集装箱卡车进入监测目标区域后，所述图像分析处理主机系统根据相对固定的集卡轮胎尺寸在画面中搜索集卡轮胎区域并实时跟踪其位置变化，当起重机设备有闭锁动作时，所述图像分析处理主机系统记录集卡轮胎区域的形状特征和灰度特征并输出基准3D位置数据，分别对应X方向位移、Y方向位移、X方向偏转角度、Y方向偏转角度和Z方向偏转角度，此时的基准数据皆为0.00，当起重机有起升动作时，所述图像分析处理主机系统实时分析轮胎区域各数据的偏移量与基准数据比较，当起升一定时间后数据偏移量在一定范围内，证明集装箱与卡车正常分离，可以正常起升，当某个数据或多个数据偏移超过一定范围时为异常，图像分析处理主机系统将通过所述声光报警装置发出预警或报警继电器信号，并通过所述PLC可编程控制器输入口控制设备停止起升或通知司机确认；吊具电缆逃框检测包括：
当设备起升时，安装在起重机吊具电缆上端位置的3个相机实时获取吊具电缆框图像画面传输到所述图像分析处理主机系统，图像分析处理主机系统将图像画面根据位置关系取出重点部位即电缆框位置进行拼接，生成一幅完整的电缆框图像，因吊具电缆与电缆框有明显的颜色特征、形状特征和边缘特征，通过分析吊具电缆的位置判断电缆是否正常卷入电缆框内，正常情况下电缆的位置不应超出电缆框外边沿，图像分析处理主机系统一旦识别出吊具电缆位置超过电缆框外边缘，即可认为吊具电缆非正常卷入，系统将输出预警或报警信号给PLC可编程控制器，或提醒司机作进一步确认；小车架拖缆检测包括:
安装在小车架拖缆两端的相机实时拍摄小车架拖缆位置图像并传输到图像分析处理主机系统,当起重机设备的小车运行时，小车架拖缆应随小车运行方向平稳折叠或展开，其相对位置基本固定，左右边缘不应超出其最大运行位置，一旦其边缘超出最大允许范围，即可认为小车拖缆运行不良，此时图像分析处理主机系统将输出预警或报警信号给PLC可编程控制器，控制设备停止运行或提醒司机进行检修或维护；
电气箱门异常检测包括：安装在小车上的相机采集小车顶画面并传输到图像分析处理主机系统，当设备小车运行时，小车顶上不应有人员滞留或小车顶电器箱门应关闭，图像分析处理主机系统通过预先建立的小车顶图像模型与实时画面对比，当小车顶有人员滞留或电器箱门异常打开时，小车顶实时图像与预先建立的图像模型产生差异，其差异部分即为异常部位，当差异区域面积超过一定范围时，图像分析处理主机系统同样输出预警或报警给PLC可编程控制器，提醒相关人员作出相应处理。

说明书全文

基于视觉检测技术的集装箱起重机智能预警系统及方法

技术领域

[0001] 本发明属于集装箱码头或集装箱运输行业安全及自动化控制领域，涉及人工智能和计算机视觉技术的应用。更具体地说，是一种基于视觉检测技术地集装箱起重机智能预警系统及方法。

背景技术

[0002] 近年来随着全球港口集装箱运输业的飞速发展，集装箱码头的作业现场越来越繁忙，作业环境也愈加复杂。为了提升港口作业效率，远程操控设备也逐渐投入到港口生产作业当中，其在工作效率、运营成本上都有着传统设备无法比拟的优势。然而集装箱起重机的作业量直线上升，司机在连续高强度的作业中更容易疲劳。尤其是远程操控设备，虽然司机可通过远程监控查看现场情况，但由于设备结构的限制和监控画面繁多，司机无法兼顾所有细节，存在一定的控制难点和安全隐患。究其原因，主要是传统的监控设施只是画面传输装置，不具备主动识别判断和自动响应能力，当众多的监控画面需要司机实时查看时，容易产生视觉疲劳，最终忽略了某些潜在的不安全因素。

[0003] 为此，应用视觉仿生智能识别技术开发一套高智能化综合检测装置实时主动检测设备运行中的异常情况并发出预警，可以提升集装箱起重机自动化检测水平，从而保证港区作业安全高效有序进行。

发明内容

[0004] 针对背景技术里所提及的问题，本发明提出了一种基于视觉检测技术的集装箱起重机智能预警系统及方法，该系统利用视觉传感器(相机)仿生人眼识别功能，对视野内的被测目标进行自动检测、跟踪、自动分析判断并作出反应，实现了仿生智能控制的功能。

[0005] 本发明可通过以下技术方案予以实现：

[0006] 一种基于视觉检测技术的集装箱起重机智能预警系统,包括各部位的视频图像采集传感器系统、包含有视频图像采集同步触发控制器的视频图像采集同步触发控制系统、与所述视频图像采集同步触发控制器连接的辅助照明系统、图像分析处理主机系统,及分别与所述视频图像采集同步触发控制器和图像分析处理主机系统连接的PLC可编程控制器，一声光报警装置连接到所述图像分析处理主机系统，一电源系统为以上各系统提供电源；

[0007] 所述视频图像采集传感器系统包括若干个视频检测传感器、一千兆网交换机，[0008] 每个视频检测传感器包含一个带外触发的千兆网GIGE相机，每个相机的GIGE端[0009] 口都通过GIGE网线与千兆网交换机相连，千兆网交换机通过GIGE网线与图像分[0010] 析处理主机系统相连，每个相机的触发端口分别通过触发线缆连接到所述视频图像

[0011] 采集同步触发控制器的同一个端口。

[0012] 其中，所述视频图像采集同步触发控制系统主要由输入输出隔离光电耦合电路、单片机电路、稳压电源电路和RS232通讯电路构成；其输入端口用于接收所述PLC可编程控制器发出的作业状态开关指令，当所述PLC可编程控制器发出对应的动作指令时，所述光电耦合电路将与之对应的PLC可编程控制器I/O口电平拉低，PLC可编程控制器根据I/O口的电平状态使对应的相机开启或关闭，通过改变同步触发端口的信号输出状态，使得相对应的传感器触发采集图像，并通过RS232端口向图像分析处理主机系统发出设备动作信号，通知图像分析处理主机系统进行视频图像处理画面的开或闭动作。

[0013] 其中，所述视频图像采集传感器系统中的3个相机设置在所述集装箱起重机吊具电缆上端位置。

[0014] 其中，所述视频图像采集传感器系统中的1个相机设置在运输所述集装箱起重机的小车车顶上。

[0015] 其中，所述视频图像采集传感器系统中的2个相机设置在所述小车的小车架拖缆两端。

[0016] 其中，所述相机都分别安装在一个防水防尘的外壳内。

[0017] 其中，所述电源系统为通用的稳压电源。

[0018] 其中，所述辅助照明系统为分别与视频图像采集同步触发控制器连接的LED补光灯和光照度传感器组成。

[0019] 其中，所述图像分析处理主机系统由计算机或工控机构成，其主机内包含千兆网络通讯设备、RS232端口或RS485兼容端口，且安装有用于图像分析处理的应用程序。

[0020] 本发明还提出一种利用以上所述的集装箱起重机智能预警系统实现的方法包括集装箱装卸机械在作业过程中实现起升后集装箱卡车箱车分离检测、吊具电缆逃框检测、小车架拖缆和电气箱门异常检测的检测识别，其中

[0021] 集装箱卡车箱车分离检测包括：

[0022] 当集装箱卡车进入监测目标区域后，所述图像分析处理主机系统根据相对固定的集卡轮胎尺寸在画面中搜索集卡轮胎区域并实时跟踪其位置变化，当起重机设备有闭锁动作时，所述图像分析处理主机系统记录集卡轮胎区域的形状特征和灰度特征并输出基准3D位置数据，分别对应X方向位移、Y方向位移、X方向偏转角度、Y方向偏转角度和Z方向偏转角度，此时的基准数据皆为0.00，当起重机有起升动作时，所述图像分析处理主机系统实时分析轮胎区域各数据的偏移量与基准数据比较，当起升一定时间后数据偏移量在一定范围内，证明集装箱与卡车正常分离，可以正常起升，当某个数据或多个数据偏移超过一定范围时为异常，图像分析处理主机系统将通过所述声光报警装置发出预警或报警继电器信号，并通过所述PLC可编程控制器输入口控制设备停止起升或通知司机确认；

[0023] 吊具电缆逃框检测包括：

[0024] 当设备起升时，安装在起重机吊具电缆上端位置的3个相机实时获取吊具电缆框图像画面传输到所述图像分析处理主机系统，图像分析处理主机系统将图像画面根据位置关系取出重点部位即电缆框位置进行拼接，生成一幅完整的电缆框图像，因吊具电缆与电缆框有明显的颜色特征、形状特征和边缘特征，通过分析吊具电缆的位置判断电缆是否正常卷入电缆框内，正常情况下电缆的位置不应超出电缆框外边沿，图像分析处理主机系统一旦识别出吊具电缆位置超过电缆框外边缘，即可认为吊具电缆非正常卷入，系统将输出预警或报警信号给PLC可编程控制器，或提醒司机作进一步确认；

[0025] 小车架拖缆检测包括:

[0026] 安装在小车架拖缆两端的相机实时拍摄小车架拖缆位置图像并传输到图像分析处理主机系统,当起重机设备的小车运行时，小车架拖缆应随小车运行方向平稳折叠或展开，其相对位置基本固定，左右边缘不应超出其最大运行位置，一旦其边缘超出最大允许范围，即可认为小车拖缆运行不良，此时图像分析处理主机系统将输出预警或报警信号给PLC可编程控制器，控制设备停止运行或提醒司机进行检修或维护；

[0027] 电气箱门异常检测包括：

[0028] 安装在小车上的相机采集小车顶画面并传输到图像分析处理主机系统，当设备小车运行时，小车顶上不应有人员滞留或小车顶电器箱门应关闭，图像分析处理主机系统通过预先建立的小车顶图像模型与实时画面对比，当小车顶有人员滞留或电器箱门异常打开时，小车顶实时图像与预先建立的图像模型产生差异，其差异部分即为异常部位，当差异区域面积超过一定范围时，图像分析处理主机系统同样输出预警或报警给PLC可编程控制器，提醒相关人员作出相应处理。

[0029] 由于采用以上技术方案，本发明具有以下有益效果：

[0030] 本发明利用高清相机对设备关键部位进行监测，依据所监测目标的各种先验条件和设备动作关联，对图像画面的各种特征进行实时识别、分析、判断，最终进行预警报警或实时反馈各种参数数据，以实现仿生智能控制的目的，排除司机操控起重机设备时可能忽略的潜在安全隐患。与传统检测手段不同，本发明不仅可以输出传统的视频监控画面供司机随时查看，更拥有主动检测识别判断功能，可有效缓解司机的劳动强度，为设备的安全运行提供保障，预防各类事故的发生。附图说明

[0031] 下面根据附图和具体实施例对本发明作进一步说明：

[0032] 图1为本发明的结构框图；

[0033] 图2为本发明的传感器结构示意图；

[0034] 图3为本发明控制回路示意图；

[0035] 图4为本发明图像识别检测流程示意图。

[0036] 其中，1，图像分析处理主机系统；2，辅助照明系统；3，PLC可编程控制器；4,视频图像采集同步触发控制器；5,声光报警装置，6,千兆网交换机；7,电源系统；A，相机防水外壳；B，相机；B-1,GIGE端口；B-2，相机触发端口。

具体实施方式

[0037] 如图1所示，本发明的一种基于实时视频图像识别的轮胎吊防碰撞预警系统,包括视频图像采集传感器系统、包含有视频图像采集同步触发控制器4的视频图像采集同步触发控制系统、与视频图像采集同步触发控制器4连接的辅助照明系统2、图像分析处理主机系统1,及分别与视频图像采集同步触发控制器4和图像分析处理主机系统1连接的PLC可编程控制器3，一声光报警装置5连接到图像分析处理主机系统1，电源系统为以上各系统提供电源。图像分析处理主机系统1包括计算机或工控机硬件系统和应用软件系统。

[0038] 其中视频图像采集传感器系统包括若干个视频检测传感器、千兆网交换机6，如图2所示，每个视频检测传感器包含一个带外触发的千兆网GIGE相机，每个相机B的GIGE端口B-1都通过GIGE网线与千兆网交换机相连，千兆网交换机6通过GIGE网线与图像分析处理主机系统1相连，每个相机的触发端口B-2分别通过触发线缆连接到视频图像采集同步触发控制器4的对应端口，使得相机可以随时按照图像分析处理主机系统1命令有效触发。相机都安装在一个防水防尘的外壳A内。图像分析处理主机系统1可连接多个视频检测传感器用于检测不同的部位。本实施例中视频图像采集传感器系统中的3个相机设置在集装箱起重机吊具电缆上端位置，1个相机设置在运输所述集装箱起重机的小车车顶上，2个相机设置在小车的小车架拖缆两端。

[0039] 其中视频图像采集同步触发控制系统主要由输入输出隔离光电耦合电路、单片机电路、稳压电源电路和RS232通讯电路构成；其输入端口用于接收PLC可编程控制器3发出的作业状态开关指令，当PLC可编程控制器3发出对应的动作指令时，光电耦合电路将与之对应的PLC可编程控制器3I/O口电平拉低，PLC可编程控制器3根据I/O口的电平状态使对应的相机开启或关闭，通过改变同步触发端口的信号输出状态，使得相对应的传感器触发采集图像，并通过RS232端口向图像分析处理主机系统1发出设备动作信号，通知图像分析处理主机系统1进行视频图像处理画面的开启或关闭。同步触发控制系统的另一个功能是根据照度传感器信号判断当前行进方向的光照度，当照度低于一定值时，触发打开辅助光源对视频检测传感器进行补光，以保证视频检测传感器采集的图像保持在可识别范围内。图像分析处理主机系统1由计算机PC或工控机IPC构成，其主机内包含千兆网络通讯设备、RS232端口或RS485兼容端口，且安装有用于图像分析处理的应用程序。

[0040] 本发明的电源系统7为通用的稳压电源，为系统中各设备提供稳压电源。

[0041] 本发明的视频采集同步触发控制系统原理如图3所示，主要由输入输出光电隔离耦合电路、单片机电路、稳压电源电路和RS232通讯电路构成。其输入端口用于接收轮胎吊设备PLC发出的作业状态开关指令，当轮胎吊设备发出对应的动作指令时，光电耦合电路将与之对应的单片机I/O口电平拉低，单片机根据I/O口的电平状态使能对应的相机使其开启或关闭，通过改变同步触发端口的信号输出状态，使得相对应的传感器触发采集图像，同时通过RS232端口向主机发出设备动作信号，通知主机进行视频图像处理画面的开启或关闭。同步触发控制系统的另一个功能是根据照度传感器信号判断当前行进方向的光照度，当照度低于一定值时，触发打开辅助光源对视频检测传感器进行补光，以保证视频检测传感器采集的图像保持在可识别范围内。

[0042] 利用以上所述的集装箱起重机智能预警系统实现的方法包括集装箱装卸机械在作业过程中实现起升后集装箱卡车箱车分离检测、吊具电缆逃框检测、小车架拖缆和电气箱门异常检测的检测识别，图4为图像识别检测流程示意图，其中

[0043] 集装箱卡车箱车分离检测包括：

[0044] 当集装箱卡车进入监测目标区域后，图像分析处理主机系统1根据相对固定的集卡轮胎尺寸在画面中搜索集卡轮胎区域并实时跟踪其位置变化，当起重机设备有闭锁动作时，图像分析处理主机系统1记录集卡轮胎区域的形状特征和灰度特征并输出基准3D位置数据，分别对应X方向位移、Y方向位移、X方向偏转角度、Y方向偏转角度和Z方向偏转角度，此时的基准数据皆为0.00，当起重机有起升动作时，图像分析处理主机系统1实时分析轮胎区域各数据的偏移量与基准数据比较，当起升一定时间后数据偏移量在一定范围内，证明集装箱与卡车正常分离，可以正常起升，当某个数据或多个数据偏移超过一定范围时为异常，图像分析处理主机系统1将通过声光报警装置5发出预警或报警继电器信号，并通过PLC可编程控制器3输入口控制设备停止起升或通知司机确认；

[0045] 吊具电缆逃框检测包括：

[0046] 当设备起升时，安装在起重机吊具电缆上端位置的3个相机实时获取吊具电缆框图像画面传输到图像分析处理主机系统1，图像分析处理主机系统1将图像画面根据位置关系取出重点部位即电缆框位置进行拼接，生成一幅完整的电缆框图像，因吊具电缆与电缆框有明显的颜色特征、形状特征和边缘特征，通过分析吊具电缆的位置判断电缆是否正常卷入电缆框内，正常情况下电缆的位置不应超出电缆框外边沿，图像分析处理主机系统1一旦识别出吊具电缆位置超过电缆框外边缘，即可认为吊具电缆非正常卷入，系统将输出预警或报警信号给PLC可编程控制器3，或提醒司机作进一步确认；

[0047] 小车架拖缆检测包括:

[0048] 安装在小车架拖缆两端的相机实时拍摄小车架拖缆位置图像并传输到图像分析处理主机系统1,当起重机设备的小车运行时，小车架拖缆应随小车运行方向平稳折叠或展开，其相对位置基本固定，左右边缘不应超出其最大运行位置，一旦其边缘超出最大允许范围，即可认为小车拖缆运行不良，此时图像分析处理主机系统1将输出预警或报警信号给PLC可编程控制器3，控制设备停止运行或提醒司机进行检修或维护；

[0049] 电气箱门异常检测包括：

[0050] 安装在小车上的相机采集小车顶画面并传输到图像分析处理主机系统1，当设备小车运行时，小车顶上不应有人员滞留或小车顶电器箱门应关闭，图像分析处理主机系统1通过预先建立的小车顶图像模型与实时画面对比，当小车顶有人员滞留或电器箱门异常打开时，小车顶实时图像与预先建立的图像模型产生差异，其差异部分即为异常部位，当差异区域面积超过一定范围时，图像分析处理主机系统1同样输出预警或报警给PLC可编程控制器3，提醒相关人员作出相应处理。

[0051] 所有实现监测的目标产生报警后系统将现场图像存储在主机硬盘内，以实现事故分析时事故原因的追溯。

[0052] 但是，上述的具体实施方式只是示例性的，是为了更好的使本领域技术人员能够理解本专利，不能理解为是对本专利包括范围的限制；只要是根据本专利所揭示精神的所作的任何等同变更或修饰，均落入本专利包括的。

标题	发布/更新时间	阅读量
使用虚拟局域网(VLAN)扫描进行网络测试配置的方法、系统和计算机可读介质	2020-09-25	0
用于控制道路车辆队列的方法和道路车辆队列	2021-02-12	2
用于数据卸载的远程套接字连接	2022-03-07	1
用于使用第二屏幕设备来与内容交互的方法、系统和介质	2020-12-16	1
一种基于器件运行自编程和双中断向量表的ECU程序与数据升级方法	2020-09-22	0
硬件辅助的垃圾收集	2020-11-25	0
用于使用稀疏不连续的时域导频的低复杂度ISI估计的方法和装置	2021-02-24	0
具有边缘处理的视网膜成像器设备和系统	2020-08-11	0
一种无人机飞行控制方法、装置及电子设备和存储介质	2020-06-06	1
一种制造最佳化的平台及方法	2022-08-30	0

基于视觉检测技术的集装箱起重机智能预警系统及方法

基于视觉检测技术的集装箱起重机智能预警系统及方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：