集装箱叠箱方法、装置、电子设备以及存储介质 |
|||||||
| 申请号 | CN202311787088.1 | 申请日 | 2023-12-25 | 公开(公告)号 | CN117446520B | 公开(公告)日 | 2024-03-26 |
| 申请人 | 聚时科技(深圳)有限公司; | 发明人 | 江子奔; 王剑涛; 郑军; | ||||
| 摘要 | 本 发明 提供的一种集装箱叠箱方法、装置、 电子 设备以及存储介质，涉及港口自动化技术领域。该方法：基于俯视 角 度的集装箱叠箱图像，得到下层箱偏差和地标线偏差，根据当前叠箱高度，对下层箱偏差和地标线偏差进行融合，得到融合 位置 偏差，按照融合位置偏差控制当前箱进行对箱，以使当前箱的底部与下层箱的顶部重合且不偏离叠箱区域，从而同时保证叠箱的相对位置 精度 和绝对位置精度，减少叠箱误差。 | ||||||
| 权利要求 | 1.一种集装箱叠箱方法，其特征在于，所述方法包括： |
||||||
| 说明书全文 | 集装箱叠箱方法、装置、电子设备以及存储介质技术领域[0001] 本发明涉及港口自动化技术领域，具体而言，涉及一种集装箱叠箱方法、装置、电子设备以及存储介质。 背景技术[0002] 随着码头业务的发展，港口自动化成为了未来的趋势。目前已经有部分码头开始采用自动化起重机在堆场对集装箱进行自动抓放。集装箱叠箱是指利用起重机将一个集装箱堆放在下一层集装箱的顶面，是集装箱抓放作业过程中最难，却也是最重要的一项工作。现有的自动叠箱技术仅仅考虑了当前箱和下层箱的位置误差（即下层箱偏差），而没有考虑叠多层箱之后误差累积导致的叠箱倾斜的问题，并且随着垒箱高度的增加，地标线的识别精度在不断下降，也会引起叠箱误差变大。 发明内容[0003] 本发明提供了一种集装箱叠箱方法、装置、电子设备和计算机可读存储介质，其能够同时保证叠箱的相对位置精度和绝对位置精度，减少叠箱误差。 [0004] 本发明的技术方案可以这样实现： [0005] 第一方面，本发明提供一种集装箱叠箱方法，所述方法包括： [0006] 基于俯视角度的集装箱叠箱图像，得到下层箱偏差和地标线偏差，所述下层箱偏差是当前箱的底部与下层箱的顶部的位置偏差，所述地标线偏差是下层箱与叠箱区域的地标线的位置误差； [0007] 根据当前叠箱高度，对所述下层箱偏差和所述地标线偏差进行融合，得到融合位置偏差； [0008] 按照所述融合位置偏差控制所述当前箱进行对箱，以使所述当前箱的底部与所述下层箱的顶部重合且不偏离所述叠箱区域。 [0009] 可选地，所述基于俯视角度的集装箱叠箱图像，得到下层箱偏差和地标线偏差的步骤包括： [0010] 对所述集装箱叠箱图像进行目标检测，得到所述当前箱的底面箱角点的三维坐标、所述下层箱的顶面箱角点的三维坐标以及所述叠箱区域的地标线角点的三维坐标； [0011] 根据所述当前箱的底面箱角点的三维坐标与所述下层箱的顶面箱角点的三维坐标，得到所述下层箱偏差； [0012] 根据所述当前箱的底面箱角点的三维坐标与所述叠箱区域的地标线角点的三维坐标，得到所述地标线偏差。 [0013] 可选地，所述当前箱包括四个底面箱角点，所述下层箱包括四个顶面箱角点，所述四个底面箱角点与所述四个顶面箱角点一一对应，所述根据所述当前箱的底面箱角点的三维坐标与所述下层箱的顶面箱角点的三维坐标，得到所述下层箱偏差的步骤包括： [0014] 针对每个所述底面箱角点，利用所述底面箱角点的三维坐标与对应的所述顶面箱角点的三维坐标，得到所述底面箱角点的第一偏差； [0015] 根据所有所述底面箱角点的第一偏差，得到所述当前箱的底面的中心点相对于所述下层箱的顶面的中心点的偏差； [0016] 将所述当前箱的底面的中心点相对于所述下层箱的顶面的中心点的偏差作为所述下层箱偏差。 [0017] 可选地，所述当前箱包括四个底面箱角点，所述叠箱区域包括四个地标线角点，所述四个底面箱角点与所述四个地标线角点一一对应，所述根据所述当前箱的底面箱角点的三维坐标与所述叠箱区域的地标线角点的三维坐标，得到所述地标线偏差的步骤包括： [0018] 针对每个所述底面箱角点，利用所述底面箱角点的三维坐标与对应的所述地标线角点的三维坐标，得到所述底面箱角点的第二偏差； [0019] 根据所有所述底面箱角点的第二偏差，得到所述当前箱的底面的中心点相对于所述叠箱区域的中心点的偏差； [0020] 将所述当前箱的底面的中心点相对于所述叠箱区域的中心点的偏差作为所述地标线偏差。 [0021] 可选地，所述根据当前叠箱高度，对所述下层箱偏差和所述地标线偏差进行融合，得到融合位置偏差的步骤包括： [0022] 根据对所述集装箱叠箱图像进行目标检测时的检测精度，得到所述下层箱偏差服从的正态分布； [0023] 根据所述当前叠箱高度对应的测量误差，得到所述地标线偏差服从的正态分布； [0024] 利用所述下层箱偏差服从的正态分布和所述地标线偏差服从的正态分布，对所述下层箱偏差和所述地标线偏差进行融合，得到所述融合位置偏差。 [0025] 可选地，所述利用所述下层箱偏差的正态分布和所述地标线偏差的正态分布，对所述下层箱偏差和所述地标线偏差进行融合，得到所述融合位置偏差的步骤包括： [0026] 根据所述下层箱偏差服从的正态分布的方差以及所述地标线偏差服从的正态分布的方差，得到融合参数； [0027] 利用所述融合参数对所述下层箱偏差和所述地标线偏差进行融合，得到所述融合位置偏差。 [0028] 可选地，所述利用所述融合参数对所述下层箱偏差和所述地标线偏差进行融合，得到所述融合位置偏差的步骤包括： [0029] 将所述地标线偏差与所述下层箱偏差的差值乘以所述融合参数，得到偏差增益； [0030] 将所述下层箱偏差与所述偏差增益的和值作为所述融合位置偏差。 [0031] 第二方面，本发明提供一种集装箱叠箱装置，所述装置包括： [0032] 获得模块，用于基于俯视角度的集装箱叠箱图像，得到下层箱偏差和地标线偏差，所述下层箱偏差是当前箱的底部与下层箱的顶部的位置偏差，所述地标线偏差是下层箱与叠箱区域的地标线的位置误差； [0033] 处理模块，用于根据当前叠箱高度，对所述下层箱偏差和所述地标线偏差进行融合，得到融合位置偏差； [0034] 控制模块，用于按照所述融合位置偏差控制所述当前箱进行对箱，以使所述当前箱的底部与所述下层箱的顶部重合且不偏离所述叠箱区域。 [0036] 第四方面，本发明提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如前述第一方面所述的集装箱叠箱方法。 [0037] 相较于现有技术，本发明提供的集装箱叠箱方法：基于俯视角度的集装箱叠箱图像，得到下层箱偏差和地标线偏差，根据当前叠箱高度，对下层箱偏差和地标线偏差进行融合，得到融合位置偏差，按照融合位置偏差控制当前箱进行对箱，以使当前箱的底部与下层箱的顶部重合且不偏离叠箱区域，其中，下层箱偏差是当前箱的底部与下层箱的顶部的位置偏差，地标线偏差是下层箱与叠箱区域的地标线的位置误差。由于本发明通过下层箱偏差和地标线偏差进行融合得到的融合位置偏差来控制当前箱进行对箱，使当前箱的底部与下层箱的顶部能够重合，从而保证叠箱的相对位置精度，同时还使当前箱的底部不偏离叠箱区域，从而保证叠箱的绝对位置精度，进而减少叠箱误差。附图说明 [0038] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。 [0039] 图1为本发明实施例提供的一种集装箱叠箱方法的流程示意图； [0040] 图2为本发明实施例提供的一种步骤S101的实现方式的流程示意图； [0041] 图3为本发明实施例提供的一种集装箱叠箱图像示例图； [0042] 图4为本发明实施例提供的一种步骤S102的实现方式的流程示意图； [0043] 图5为本发明实施例提供的一种集装箱叠箱装置的功能单元框图； [0044] 图6为本发明实施例提供的一种电子设备的结构示意框图。 [0045] 图标：100‑集装箱叠箱装置；101‑获得模块；102‑处理模块；103‑控制模块；200‑电子设备；210‑存储器；220‑处理器。 具体实施方式[0046] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。 [0047] 因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。 [0048] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。 [0049] 此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。 [0050] 需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。 [0051] 为了同时保证叠箱的相对位置精度和绝对位置精度，减少叠箱误差，本发明实施例提供一种应用于自动化起重机的控制器的集装箱叠箱方法，下面将进行详细介绍。 [0052] 请参照图1，该集装箱叠箱方法包括步骤S101 S103。~ [0053] S101，基于俯视角度的集装箱叠箱图像，得到下层箱偏差和地标线偏差。 [0054] 其中，下层箱偏差是当前箱的底部与下层箱的顶部的位置偏差，地标线偏差是下层箱与叠箱区域的地标线的位置误差。 [0055] 俯视角度的集装箱叠箱图像是由安装在自动化起重机的吊具上四个角的四个相机采集的画面图像拼接得到的。 [0056] 在相机采集画面图像之前，需先控制吊具悬停到目标集装箱（包括当前箱和下层箱）上方一个固定的悬停高度，由于目标集装箱的高度可以由贝位模块给出，吊具的高度可以由绳索上的编码器给出，从而可以实现相应的高度控制。 [0057] 在可能的实现中，请参照图2，步骤S101可以包括子步骤S101‑1 S101‑3。~ [0058] S101‑1，对集装箱叠箱图像进行目标检测，得到当前箱的底面箱角点的三维坐标、下层箱的顶面箱角点的三维坐标以及叠箱区域的地标线角点的三维坐标。 [0059] 其中，当前箱包括四个底面箱角点，下层箱包括四个顶面箱角点，四个底面箱角点与四个顶面箱角点一一对应；叠箱区域也包括四个地标线角点，四个底面箱角点也与所述四个地标线角点一一对应。 [0060] 示例性地，如图3所示，在四个相机采集的画面图像拼接得到的俯视角度的集装箱叠箱图像中，当前箱的底面箱角点分别为A1，A2，A3和A4，下层箱的顶部箱角点分别为B1，B2，B3和B4，叠箱区域的地标线角点为C1，C2，C3和C4。 [0061] 首先使用目标检测算法（例如YOLO, Fast RCNN等）检测当前箱的底面箱角点A1，A2，A3和A4的像素坐标，下层箱的顶面箱角点B1，B2，B3和B4的像素坐标，以及叠箱区域的地标线角点C1，C2，C3和C4的像素坐标。 [0062] 利用张氏标定法预先标定好相机的内参（包括焦距、主点位置以及畸变参数等）。 [0063] 由于相机是安装于吊具上，则当前箱的底面箱角点A1，A2，A3和A4的深度是固定的，可以通过测量得到，下层箱的顶面箱角点B1，B2，B3和B4的深度便是吊具的悬停高度，叠箱区域的地标线角点C1，C2，C3和C4的深度可以通过吊具的高度获取到。 [0064] 利用预先标定好的相机内参与当前箱的底面箱角点A1，A2，A3和A4的深度，将当前箱的底面箱角点A1，A2，A3和A4的像素坐标换算成在相机坐标系下的三维坐标。 [0065] 利用预先标定好的相机内参与下层箱的顶面箱角点B1，B2，B3和B4的深度，将下层箱的顶面箱角点B1，B2，B3和B4的像素坐标换算成在相机坐标系下的三维坐标。 [0066] 同样地，利用预先标定好的相机内参与叠箱区域的地标线角点C1，C2，C3和C4的深度，将叠箱区域的地标线角点C1，C2，C3和C4的像素坐标换算成在相机坐标系下的三维坐标。 [0067] S101‑2，根据当前箱的底面箱角点的三维坐标与下层箱的顶面箱角点的三维坐标，得到下层箱偏差。 [0068] 在可能的实现中，步骤S101‑2的实现过程可以如下： [0069] S101‑2‑1，针对每个底面箱角点，利用该底面箱角点的三维坐标与对应的顶面箱角点的三维坐标，得到该底面箱角点的第一偏差。 [0070] 其中，第一偏差为底面箱角点的三维坐标的各坐标值与对应的顶面箱角点的三维坐标的各坐标值的差值，例如，底面箱角点的三维坐标为（x1，y1，z1），对应的顶面箱角点的三维坐标为（x2，y2，z2），则第一偏差为（x2‑x1，y2‑y1，z2‑z1）。 [0071] S101‑2‑2，根据所有底面箱角点的第一偏差，得到当前箱的底面的中心点相对于下层箱的顶面的中心点的偏差。 [0072] 其中，当前箱的底面的中心点相对于下层箱的顶面的中心点的偏差为所有底面箱角点的第一偏差的均值。 [0073] S101‑2‑3，将当前箱的底面的中心点相对于下层箱的顶面的中心点的偏差作为下层箱偏差。 [0074] 示例性地，假设当前箱包括四个底面箱角点A1，A2，A3和A4，以及底面的中心点OA，下层箱包括四个顶面箱角点B1，B2，B3和B4，以及顶面的中心点OB。 [0075] 可以通过对当前箱的底面箱角点A1的三维坐标与下层箱的顶面箱角点B1的三维坐标之间的第一偏差XA1‑B1、当前箱的底面箱角点A2的三维坐标与下层箱的顶面箱角点B2的三维坐标之间的第一偏差XA2‑B2、当前箱的底面箱角点A3的三维坐标与下层箱的顶面箱角点B3的三维坐标之间的第一偏差XA3‑B3以及当前箱的底面箱角点A4的三维坐标与下层箱的顶面箱角点B4的三维坐标之间的第一偏差XA4‑B4求平均，来计算当前箱的底面的中心点OA相对于下层箱的顶面的中心点OB的位置偏差X，即X=（XA1‑B1+ XA2‑B2+ XA3‑B3+ XA4‑B4）/4。 [0076] S101‑3，根据当前箱的底面箱角点的三维坐标与叠箱区域的地标线角点的三维坐标，得到地标线偏差。 [0077] 在可能的实现中，步骤S101‑3的实现过程可以如下： [0078] S101‑3‑1，针对每个底面箱角点，利用底面箱角点的三维坐标与对应的地标线角点的三维坐标，得到底面箱角点的第二偏差。 [0079] 其中，第二偏差为底面箱角点的三维坐标的各坐标值与对应的地标线角点的三维坐标的各坐标值的差值，例如，底面箱角点的三维坐标为（x1，y1，z1），对应的地标线角点的三维坐标为（x3，y3，z3），则第二偏差为（x3‑x1，y3‑y1，z3‑z1）。 [0080] S101‑3‑2，根据所有底面箱角点的第二偏差，得到当前箱的底面的中心点相对于叠箱区域的中心点的偏差。 [0081] 其中，当前箱的底面的中心点相对于叠箱区域的中心点的偏差为所有底面箱角点的第二偏差的均值。 [0082] S101‑3‑2，将当前箱的底面的中心点相对于叠箱区域的中心点的偏差作为地标线偏差。 [0083] 示例性地，假设当前箱包括四个底面箱角点A1，A2，A3和A4，以及底面的中心点OA，叠箱区域包括四个地标线角点C1，C2，C3和C4，以及中心点OC。 [0084] 可以通过对当前箱的底面箱角点A1的三维坐标与叠箱区域的地标线角点C1的三维坐标之间的第二偏差YA1‑C1、当前箱的底面箱角点A2的三维坐标与叠箱区域的地标线角点C2的三维坐标之间的第二偏差YA2‑C2、当前箱的底面箱角点A3的三维坐标与叠箱区域的地标线角点C3的三维坐标之间的第二偏差YA3‑C3以及当前箱的底面箱角点A4的三维坐标与叠箱区域的地标线角点C4的三维坐标之间的第二偏差YA4‑C4求平均，来计算当前箱的底面的中心点OA相对于叠箱区域的中心点OC的位置偏差Y，即Y=（YA1‑C1+ YA2‑C2+ YA3‑C3+ YA4‑C4）/4。 [0085] S102，根据当前叠箱高度，对下层箱偏差和地标线偏差进行融合，得到融合位置偏差。 [0086] 在可能的实现中，请参照图4，步骤S102可以包括子步骤S102‑1 S102‑3。~ [0087] S102‑1，根据对集装箱叠箱图像进行目标检测时的检测精度，得到下层箱偏差服从的正态分布。 [0088] 由于吊具的悬停高度是固定的，所以下层箱偏差主要由使用的目标检测算法的精度决定，下层箱偏差的概率分布相对固定。 [0089] 在本发明实施例中，下层箱偏差服从的正态分布可以为 ，其中， 为期望， 为标准差， 为方差。 [0090] S102‑2，根据当前叠箱高度对应的测量误差，得到地标线偏差服从的正态分布。 [0091] 地标线偏差会随着叠箱高度的变化而变化，由于对箱时集装箱的高度相对固定，所以可以通过在不同集装箱高度去测量地标线偏差的分布并建立一个测量误差分布表。 [0092] 假设叠第i层箱时，利用通过查表获得的叠箱高度对应的测量误差得到的地标线偏差服从的正态分布 ，其中， 为期望， 为标准差， 为方差。 [0093] S102‑3，利用下层箱偏差服从的正态分布和地标线偏差服从的正态分布，对下层箱偏差和地标线偏差进行融合，得到融合位置偏差。 [0094] 步骤S102‑3的实现过程可以如下： [0095] S102‑3‑1，根据下层箱偏差服从的正态分布的方差以及地标线偏差服从的正态分布的方差，得到融合参数。 [0096] 可以理解地，利用下层箱偏差服从的正态分布 的方差 与地标线偏差服从的正态分布 的方差 ，计算融合参数 ，其中， 。 [0097] S102‑3‑2，利用融合参数对下层箱偏差和地标线偏差进行融合，得到融合位置偏差。 [0098] 步骤S102‑3‑2的实现过程可以如下： [0099] 首先，将地标线偏差与下层箱偏差的差值乘以融合参数，得到偏差增益； [0100] 然后，将下层箱偏差与偏差增益的和值作为融合位置偏差。 [0101] 在本发明实施例中，下层箱偏差为 ，地标线偏差 ，融合参数为 ，可以理解地，偏差增益可以表示为 。 [0102] 假设，融合位置偏差为 ，则 ，方差为 。 [0103] S103，按照融合位置偏差控制当前箱进行对箱，以使当前箱的底部与下层箱的顶部重合且不偏离叠箱区域。 [0104] 其中，融合位置偏差可以看作当前箱目前的位置与最佳放置位置之间的位置偏差，可以理解地，利用当前箱的底面箱角点A1，A2，A3和A4的三维坐标与融合位置偏差，可以确定最佳放置位置的四个角点的三维坐标。 [0105] 按照最佳放置位置的四个角点的三维坐标放置当前箱，使当前箱叠在下层箱上后，在俯视角度，当前箱的底面箱角点A1，A2，A3和A4可以尽量接近下层箱的顶面箱角点B1，B2，B3和B4，即当前箱的底部与下层箱的顶部能够重合，从而保证叠箱的相对位置精度。 [0106] 同时，在俯视角度，当前箱的底面箱角点A1，A2，A3和A4可以尽量接近叠箱区域的地标线角点C1，C2，C3和C4，即当前箱的底部不偏离叠箱区域，从而保证叠箱的绝对位置精度。 [0107] 为了执行上述方法实施例及各个可能的实施方式中的相应步骤，下面给出一种应用于自动化起重机的控制器的集装箱叠箱装置100实现方式。 [0108] 请参照图5，该集装箱叠箱装置100包括获得模块101、处理模块102以及控制模块103。 [0109] 获得模块101，用于基于俯视角度的集装箱叠箱图像，得到下层箱偏差和地标线偏差，下层箱偏差是当前箱的底部与下层箱的顶部的位置偏差，地标线偏差是下层箱与叠箱区域的地标线的位置误差； [0110] 处理模块102，用于根据当前叠箱高度，对下层箱偏差和地标线偏差进行融合，得到融合位置偏差； [0111] 控制模块103，用于按照融合位置偏差控制当前箱进行对箱，以使当前箱的底部与下层箱的顶部重合且不偏离叠箱区域。 [0112] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的应用于自动化起重机的控制器的集装箱叠箱装置100的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。 [0113] 进一步地，本发明实施例还提供了一种电子设备200，请参照图6，电子设备200可以包括存储器210和处理器220。 [0114] 其中，处理器220可以是一个通用的中央处理器(Central Processing Unit，CPU)，微处理器，特定应用集成电路(Application‑Specific Integrated Circuit，ASIC)，或一个或多个用于控制上述方法实施例提供的集装箱叠箱方法的程序执行的集成电路。 [0115] 存储器210可以是ROM或可存储静态信息和指令的其它类型的静态存储设备，RAM或者可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmabler‑Only MEMory，EEPROM)、只读光盘(Compactdisc Read‑Only MEMory，CD‑ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于此。存储器210可以是独立存在，通过通信总线与处理器220相连接。存储器210也可以和处理器220集成在一起。其中，存储器210用于存储执行本发明方案的机器可执行指令。处理器220用于执行存储器210中存储的机器可执行指令，以实现上述的方法实施例。 [0116] 本发明实施例还提供一种包含计算机程序的计算机可读存储介质，计算机程序在被执行时可以用于执行上述的方法实施例提供的集装箱叠箱方法中的相关操作。 [0117] 以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。 |
||||||
QQ群二维码
意见反馈
意见反馈