商品陈列状态的检测方法、装置、电子设备及存储介质
阅读：379发布：2020-05-15
专利汇可以提供商品陈列状态的检测方法、装置、电子设备及存储介质专利检索，专利查询，专利分析的服务。并且本公开的 实施例 提供了一种商品陈列状态的检测方法、装置、 电子 设备及存储介质，所述方法包括：分别从目标图像中提取商品 位置 、标签位置以及标定线信息，所述标定线信息分为基准标定线信息和非基准标定线信息；根据所述标签位置确定货架层信息；根据所述基准标定线信息、所述货架层信息，对所述非基准标定线信息进行校正，得到校正之后的非基准标定线信息；采用所述基准标定线信息、校正之后的非基准标定线信息、所述商品位置，确定当前商品陈列状态。可以对标定线信息进行校正，并根据校正之后的标定线信息确定当前商品陈列状态，有助于提高标定线信息和商品陈列状态的准确度。，下面是商品陈列状态的检测方法、装置、电子设备及存储介质专利的具体信息内容。
1.一种商品陈列状态的检测方法，其特征在于，所述方法包括：
分别从目标图像中提取商品位置、标签位置以及标定线信息，所述标定线信息分为基准标定线信息和非基准标定线信息；
根据所述标签位置确定货架层信息；
根据所述基准标定线信息、所述货架层信息，对所述非基准标定线信息进行校正，得到校正之后的非基准标定线信息；
采用所述基准标定线信息、校正之后的非基准标定线信息、所述商品位置，确定当前商品陈列状态。
2.根据权利要求1所述的方法，其特征在于，所述货架层信息包括：货架层高度，所述货架层高度分为基准标定线信息对应的货架层高度和所述非基准标定线信息对应的货架层高度，所述标定线信息包括：标定线位置和对应的标定商品陈列状态，所述根据所述基准标定线信息、所述货架层信息，对所述非基准标定线信息进行校正，得到校正之后的非基准标定线信息的步骤，包括：
根据所述基准标定线信息对应的货架层高度、所述非基准标定线信息对应的货架层高度、所述基准标定线信息对应的标定线位置、所述非基准标定线信息对应的标定线位置，对所述非基准标定线信息对应的标定商品陈列状态进行校正，得到校正之后的标定商品陈列状态。
3.根据权利要求2所述的方法，其特征在于，所述根据所述基准标定线信息对应的货架层高度、所述非基准标定线信息对应的货架层高度、所述基准标定线信息对应的标定线位置、所述非基准标定线信息对应的标定线位置，对所述非基准标定线信息对应的标定商品陈列状态进行校正，得到校正之后的标定商品陈列状态的步骤，包括：
选取参考位置，并分别计算所述非基准标定线信息对应的标定线位置与所述参考位置之间的距离，以及，所述基准标定线信息对应的标定线位置与所述参考位置之间的距离，得到第一距离和第二距离；
计算所述第一距离与第二距离的比值，得到第一比值；
计算所述基准标定线信息对应的货架层高度、所述非基准标定线信息对应的货架层高度之间的比值，得到第二比值；
根据所述第一比值、第二比值对所述非基准标定线信息进行校正。
4.根据权利要求3所述的方法，其特征在于，所述采用所述基准标定线信息、校正之后的非基准标定线信息、所述商品位置，确定当前商品陈列状态的步骤，包括：
计算所述商品位置与所述参考位置之间的距离，得到第三距离；
计算所述标定线位置与所述参考位置之间的距离，得到第四距离；
计算所述第三距离与所述第四距离之间的比值，得到第三比值；
若所述第三比值小于1，则根据所述第三比值对所述标定商品陈列状态进行调整，得到当前商品陈列状态；
若所述第三比值大于或等于1，且所述第三比值小于预设比值阈值，则将所述标定商品陈列状态确定为当前商品陈列状态；
若所述第三比值大于或等于预设比值阈值，则将预设预警商品陈列状态确定为当前商品陈列状态。
5.根据权利要求1至4其中任一项所述的方法，其特征在于，在所述采用所述基准标定线信息、校正之后的非基准标定线信息、所述商品位置，确定当前商品陈列状态的步骤之前，所述方法还包括：
基于预设标准商品位置库，根据所述商品位置确定每个标准商品位置上对应的商品数目；
若所述商品数目大于或等于2，则确定所述标准商品位置对应的当前商品陈列状态为混乱状态；
若所述商品数目为1，则进入所述采用所述基准标定线信息、校正之后的非基准标定线信息、所述商品位置，确定当前商品陈列状态的步骤；
若所述商品数目为0，则确定所述标准商品位置对应的当前商品陈列状态为缺货状态。
6.根据权利要求4所述的方法，其特征在于，所述分别从目标图像中提取商品位置、标签位置以及标定线信息的步骤，包括：
通过预先训练得到的商品位置检测模型从所述目标图像中检测商品位置，所述商品位置检测模型通过标注了商品位置的第一图像样本集训练得到；
通过预先训练得到的标签位置检测模型从所述目标图像中检测标签位置，所述标签位置检测模型通过标注了标签位置的第二图像样本集训练得到；
通过直线检测技术从所述目标图像中检测标定线信息。
7.根据权利要求1至4其中任一项所述的方法，其特征在于，所述标签位置包括：上端位置、下端位置，所述根据所述标签位置确定货架层信息的步骤，包括：
对标签位置进行排序，并计算两个相邻标签位置之间的差值，得到标签距离；
针对每个标签位置，计算所述上端位置和下端位置之间的差值，得到标签高度；
计算各标签高度的平均值，得到平均高度；
若其中两个相邻标签位置之间的标签距离大于所述平均高度的预设倍数阈值，则确定所述两个相邻标签位置属于两个货架层，并将所述标签距离确定为较小标签位置对应的货架层高度。
8.根据权利要求2至4其中任一项所述的方法，其特征在于，所述基准标定线信息通过如下步骤确定：
从所述目标图像中选取所述标定线位置处于最下方的标定线信息作为基准标定线信息。
9.一种商品陈列状态的检测装置，其特征在于，所述装置包括：
图像信息提取模块，用于分别从目标图像中提取商品位置、标签位置以及标定线信息，所述标定线信息分为基准标定线信息和非基准标定线信息；
货架层确定模块，用于根据所述标签位置确定货架层信息；
矫正模块，用于根据所述基准标定线信息、所述货架层信息，对所述非基准标定线信息进行校正，得到校正之后的非基准标定线信息；
商品陈列状态确定模块，用于采用所述基准标定线信息、校正之后的非基准标定线信息、所述商品位置，确定当前商品陈列状态。
10.一种电子设备，其特征在于，包括：
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中一个或多个所述的商品陈列状态的检测方法。
11.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如方法权利要求1-8中一个或多个所述的商品陈列状态的检测方法。
商品陈列状态的检测方法、装置、电子设备及存储介质
技术领域
背景技术
[0002] 图像识别技术可以广泛应用于各种场景，例如商品陈列状态的识别。在实际应用中，可以采用摄像头实时拍摄商品的货架层图像，并对货架层图像进行图像识别，得到商品的缺货比例。
[0003] 现有技术中，商品缺货比例的检测可以通过标定线实现。具体可以包括：首先，通过预先训练的模型识别货架层图像中的商品、标定线以及标定线对应的缺货比例；然后，根据商品和标定线的位置关系，确定商品的缺货比例。例如，若商品在两条标定线之间，则商品的缺货比例在两条标定线分别对应的缺货比例之间；若商品在一条标定线上，则商品的缺货比例为该标定线对应的缺货比例。
[0005] 本公开的实施例提供一种商品陈列状态的检测方法、装置、电子设备及存储介质，可以通过历史特征序列和当前特征共同预测用户类型，有助于提高预测的准确度。
[0006] 根据本公开的实施例的第一方面，提供了一种商品陈列状态的检测方法，所述方法包括：
[0007] 分别从目标图像中提取商品位置、标签位置以及标定线信息，所述标定线信息分为基准标定线信息和非基准标定线信息；
[0008] 根据所述标签位置确定货架层信息；
[0009] 根据所述基准标定线信息、所述货架层信息，对所述非基准标定线信息进行校正，得到校正之后的非基准标定线信息；
[0010] 采用所述基准标定线信息、校正之后的非基准标定线信息、所述商品位置，确定当前商品陈列状态。
[0011] 根据本公开的实施例的第二方面，提供了一种商品陈列状态的检测装置，所述装置包括：
[0012] 图像信息提取模块，用于分别从目标图像中提取商品位置、标签位置以及标定线信息，所述标定线信息分为基准标定线信息和非基准标定线信息；
[0013] 货架层确定模块，用于根据所述标签位置确定货架层信息；
[0014] 矫正模块，用于根据所述基准标定线信息、所述货架层信息，对所述非基准标定线信息进行校正，得到校正之后的非基准标定线信息；
[0015] 商品陈列状态确定模块，用于采用所述基准标定线信息、校正之后的非基准标定线信息、所述商品位置，确定当前商品陈列状态。
[0016] 根据本公开的实施例的第三方面，提供了一种电子设备，包括：
[0018] 根据本公开的实施例的第四方面，提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述商品陈列状态的检测方法。
[0019] 本公开的实施例提供了一种商品陈列状态的检测方法、装置、电子设备及存储介质，所述方法包括：分别从目标图像中提取商品位置、标签位置以及标定线信息，所述标定线信息分为基准标定线信息和非基准标定线信息；根据所述标签位置确定货架层信息；根据所述基准标定线信息、所述货架层信息，对所述非基准标定线信息进行校正，得到校正之后的非基准标定线信息；采用所述基准标定线信息、校正之后的非基准标定线信息、所述商品位置，确定当前商品陈列状态。附图说明
[0020] 为了更清楚地说明本公开的实施例的技术方案，下面将对本公开的实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0021] 图1示出了本公开的一种实施例中的商品陈列状态的检测方法步骤流程图；
[0022] 图2示出了本公开的另一种实施例中的商品陈列状态的检测方法步骤流程图；
[0023] 图3示出了本公开的实施例中一种目标图像的示意图；
[0024] 图4(A、B)示出了本公开的实施例中标准商品位置和商品位置之间的相对位置示意图；
[0025] 图5示出了本公开的实施例中货架层的三角关系示意图；
[0026] 图6示出了本公开的一种实施例中的商品陈列状态的检测装置的结构图；
[0027] 图7示出了本公开的另一种实施例中的商品陈列状态的检测装置的结构图；
[0028] 图8示出了本公开的一种实施例中的电子设备的结构图。
具体实施方式
[0029] 下面将结合本公开的实施例中的附图，对本公开的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的实施例一部分实施例，而不是全部的实施例。基于本公开的实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开的实施例保护的范围。
[0030] 实施例一
[0031] 参照图1，其示出了本公开的一种实施例中的商品陈列状态的检测方法的步骤流程图，具体如下。
[0032] 步骤101，分别从目标图像中提取商品位置、标签位置以及标定线信息，所述标定线信息分为基准标定线信息和非基准标定线信息。
[0033] 本公开的实施例应用于识别目标图像中的商品状态。其中，目标图像为针对陈列商品的货架层拍摄得到的图像。在本公开的实施例中，商品位于货架层上，货架层的底部有标签。
[0034] 商品位置可以用线划定的区域表示，例如，如图3所示的目标图像中，矩形区域S1为商品位置，图中第一层货架层和第二层货架层均包含了多个矩形区域的商品位置。
[0035] 标签位置为位于货架层底部的标签的位置，可以用线划定的区域表示例如，如图3所示的目标图像中，矩形区域S3为位于货架层S2底部的标签位置，图中存在两层货架层，从而两个货架层底部均存在矩形区域S3的标签位置。
[0036] 其中，基准标定线和非基准标定线用于表示商品陈列状态，例如，如图3所示，L1和L2分别为两层货架层的标定线，其中L1为基准标定线，L2为非基准标定线。在实际应用中，由于拍摄角度的问题，导致不同位置的标定线具有偏差，从而需要对齐进行矫正。
[0037] 步骤102，根据所述标签位置确定货架层信息。
[0038] 在本公开的实施例中，每层货架层中针对商品的标签位于每层货架层的底部，从而可以根据标签位置确定货架层的高度、位置和数目。
[0039] 具体地，若所有标签位置的纵坐标均在同一高度，则代表所有标签位于同一层货架层；若部分标签与其余标签的纵坐标相差很大，则代表该部分标签与其余标签很有可能不在同一个货架层上，从而该部分标签所在的货架层的位置可以为该部分标签的标签位置的纵坐标的平均值，其余标签所在的货架层的位置可以为其余标签的标签位置的纵坐标的平均值，该部分标签与其余标签的纵坐标的差值可以为货架层高度，标签位置的纵坐标接近的标签集的数目可以为货架层数目。
[0040] 步骤103，根据所述基准标定线信息、所述货架层信息，对所述非基准标定线信息进行校正，得到校正之后的非基准标定线信息。
[0041] 在实际应用中，在拍摄图像时可以采用各种拍摄角度，可以划分为标准角度和非标准角度，标准角度可以为垂直于拍摄对象的拍摄角度，非标准角度可以为倾斜于拍摄对象的拍摄角度，可以理解，垂直于拍摄对象得到的拍摄图像能准确的显示拍摄对象的比例关系，而倾斜拍摄对象得到的拍摄图像不能准确的显示拍摄对象的比例关系。
[0042] 而针对多个对象在拍摄，且对象之间的距离较大时，不可能保证每个对象均在标准角度下，从而基准标定线信息为标准角度拍摄的准确度较高的标定线信息，而非基准标定线信息可能会出现偏差，从而需要根据基准标定线信息对非基准标定线信息进行校正。
[0043] 在本公开的实施例中，基准标定线信息包括基准标定线位置，非基准标定线信息包括非基准标定线位置，货架层信息包括：货架层高度，从而矫正的对象具体为非基准标定线位置。
[0044] 本公开的实施例可以结合基准标定线和非基准标定线比例关系，以及非基准标定线的货架层信息和基准标定线的货架层信息之间的比例关系，对非基准标定线信息进行校正。
[0045] 步骤104，采用所述基准标定线信息、校正之后的非基准标定线信息、所述商品位置，确定当前商品陈列状态。
[0046] 其中，基准标定线信息和非基准标定线信息对应有标定商品陈列状态，与当前商品陈列状态统称为商品陈列状态，商品陈列状态可以用缺货比例表示。
[0047] 在本公开的实施例中，根据标定线位置与商品位置之间的相对位置可以确定当前商品陈列状态。最简单地，当商品位置和标定线位置接近时，可以直接将标定线信息对应的标定商品陈列状态确定为当前商品陈列状态；当商品位置比标定线位置更接近货架层边缘时，确定当前缺货比例小于标定线信息对应的标定缺货比例；当标定线位置比商品位置更接近货架层边缘时，确定当前缺货比例大于标定线信息对应的标定缺货比例。
[0048] 需要说明的是，由于相对于商品而言，标定线很小，从而在不同角度下出现偏差较严重，从而本公开的实施例对标定线进行校正。
[0049] 综上所述，本公开的实施例提供了一种商品陈列状态的检测方法，所述方法包括：分别从目标图像中提取商品位置、标签位置以及标定线信息，所述标定线信息分为基准标定线信息和非基准标定线信息；根据所述标签位置确定货架层信息；根据所述基准标定线信息、所述货架层信息，对所述非基准标定线信息进行校正，得到校正之后的非基准标定线信息；采用所述基准标定线信息、校正之后的非基准标定线信息、所述商品位置，确定当前商品陈列状态。可以对标定线信息进行校正，并根据校正之后的标定线信息确定当前商品陈列状态，有助于提高标定线信息和商品陈列状态的准确度。
[0050] 实施例二
[0051] 参照图2，其示出了在本公开的另一种实施例中的商品陈列状态的检测方法的具体步骤流程图，具体如下。
[0052] 步骤201，通过预先训练得到的商品位置检测模型从所述目标图像中检测商品位置，所述商品位置检测模型通过标注了商品位置的第一图像样本集训练得到。
[0053] 其中，商品位置可以以线条标定一个区域，从而确定商品位置。
[0054] 可以理解，商品位置检测模型可以为包含卷积神经网络的深度学习模型，在训练过程中，该模型从标定了商品位置的第一图像样本中学习到商品特征，从而在应用时，该模型可以从目标图像中识别该商品特征，并得到商品位置。
[0055] 步骤202，通过预先训练得到的标签位置检测模型从所述目标图像中检测标签位置，所述标签位置检测模型通过标注了标签位置的第二图像样本集训练得到。
[0056] 其中，标签位置也可以以线条标定一个区域，从而确定标签位置。
[0057] 可以理解，标签位置检测模型可以为包含卷积神经网络的深度学习模型，在训练过程中，该模型从标定了标签位置的第二图像样本中学习到标签特征，从而在应用时，该模型可以从目标图像中识别该标签特征，并得到标签位置。
[0058] 当然，需要说明的是，为了减少模型训练成本，可以采用同时标注有商品位置、标签位置的图像样本进行训练，得到同时能识别商品位置、标签位置的模型，输出结果为位置、以及指明为商品位置或标签位置的类型信息。
[0059] 步骤203，通过直线检测技术从所述目标图像中检测标定线信息，所述标定线信息分为基准标定线信息和非基准标定线信息，所述标定线信息包括：标定线位置和对应的标定商品陈列状态。
[0060] 在本公开的实施例中，标定商品陈列状态为标定线预设的商品陈列状态。
[0062] 其中，Hough直线检测算法把在图像空间中的直线检测问题转换到参数空间中对点的检测问题，通过在参数空间里进行简单的累加统计完成检测任务。但其时间复杂度和空间复杂度都很高，并且在变换过程中丢失了线段的长度信息。
[0063] Freeman直线检测算法是一种从链码中检测直线的算法，该算法从起始链码开始，对每一链码确定一个直线穿行区域以及用于确定下一链码是否属于同一直线的上下边界线。如果下一链码位于上下边界线之内，则该链码与上一链码属于同一直线；否则该链码属于另一直线。
[0065] 可选地，在本公开的另一种实施例中，所述基准标定线信息通过如下步骤A1确定：
[0066] 步骤A1，从所述目标图像中选取所述标定线位置处于最下方的标定线信息作为基准标定线信息。
[0067] 在本公开的实施例中，由于摄像头在拍摄时是以俯视的角度拍摄，从而位于图像中最下方的标定线信息更准确，从而将最下方的标定线信息作为基准标定线。
[0068] 步骤204，对标签位置进行排序，并计算两个相邻标签位置之间的差值，得到标签距离。
[0069] 具体地，可以以标签位置的中心点来计算标签距离。
[0070] 步骤205，针对每个标签位置，计算所述上端位置和下端位置之间的差值，得到标签高度。
[0071] 其中，上端位置为标签的最上端位置，下端位置为标签的最下端位置。本公开的实施例将上端位置和下端位置之间的差值确定为标签高度。
[0072] 步骤206，计算各标签高度的平均值，得到平均高度。
[0073] 在本公开的实施例中，标签的平均高度用于划定货架层。
[0074] 步骤207，若其中两个相邻标签位置之间的标签距离大于所述平均高度的预设倍数阈值，则确定所述两个相邻标签位置属于两个货架层，并将所述标签距离确定为较小标签位置对应的货架层高度，所述货架层信息包括：货架层高度，所述货架层高度分为基准标定线信息对应的货架层高度和所述非基准标定线信息对应的货架层高度。
[0075] 在实际应用中，商品陈列于每层货架层上，标签位于每层货架层的底部，由于标签大小可能不同，从而如图3所示的货架层底部的高度需要设置较大的值，以保证容纳较大的标签，而较小的标签在同一货架层底部的高度不一定相同。从而为了准确的划分货架层，可以根据货架层底部的高度与平均高度的比值确定预设倍数阈值，例如，若货架层底部的高度通常与平均高度的比值为2，则可以将预设倍数阈值设置为2，从而当两个标签位置的差值大于预设倍数阈值时，确定该两个标签位置不属于同一货架层底部，必然属于相邻两个货架层底部。
[0076] 本公开的实施例可以根据标签位置准确确定货架层信息。
[0077] 步骤208，根据所述基准标定线信息对应的货架层高度、所述非基准标定线信息对应的货架层高度、所述基准标定线信息对应的标定线位置、所述非基准标定线信息对应的标定线位置，对所述非基准标定线信息对应的标定商品陈列状态进行校正，得到校正之后的标定商品陈列状态。
[0078] 本公开的实施例可以结合基准标定线的位置和非基准标定线的位置之间的比例关系，以及非基准标定线的货架层高度和基准标定线的货架层高度之间的比例关系，对非基准标定线的位置进行校正。
[0079] 可选地，在本公开的实施例中，所述步骤208包括子步骤B1至B4：
[0080] 子步骤B1，选取参考位置，并分别计算所述非基准标定线信息对应的标定线位置与所述参考位置之间的距离，以及，所述基准标定线信息对应的标定线位置与所述参考位置之间的距离，得到第一距离和第二距离。
[0081] 其中，参考位置可以为货架层中一个固定的位置，为方便计算，可以选取每层货架层的边缘位置作为参考位置，如图3所示，第一层货架层的边缘位置E1作为第一层货架层的参考位置，第二层货架层的边缘位置E2作为第二层货架层的参考位置。
[0082] 如图3所示，当标定线L1为基准标定线，标定线L2为非基准标定线时，计算L2与E2之间的距离得到第一距离，计算L1与E1之间的距离得到第二距离。在本公开的实施例中，可以直接将L2的纵坐标和E2的纵坐标之间的差值作为第一距离，可以直接将L1的纵坐标和E1的纵坐标之间的差值作为第二距离。
[0083] 子步骤B2，计算所述第一距离与第二距离的比值，得到第一比值。
[0084] 在本公开的实施例中，如图3所示同一货架上的不同货架层的长度和宽度均相同，由于标定线L1对应的标定商品陈列状态和标定线L2对应的标定商品陈列状态的意义相同，例如均为缺货70％，从而L1和L2在货架层上的位置相同。但采用同一个摄像头同时拍摄两层货架层，会导致针对两层货架层的拍摄角度不同，从而目标图像中L1和L2在货架层上的位置也不同，即第一距离和第二距离不同。
[0085] 通常情况下，以俯视角度拍摄，从而可以将摄像头安装于最高层货架层的上面，上面的货架层距离摄像头更近，从而图3中的第二距离大于第一距离。
[0086] 子步骤B3，计算所述基准标定线信息对应的货架层高度、所述非基准标定线信息对应的货架层高度之间的比值，得到第二比值。
[0087] 其中，基准标定线信息对应的货架层高度可以为如图3所示的下面一层货架层高度，非基准标定线对应的货架层高度可以为如图3所示的上面一层货架层高度。
[0088] 子步骤B4，根据所述第一比值、第二比值对所述非基准标定线信息进行校正。
[0089] 首先，以其中一个货架层的三角关系为例，如图5所示，d为标定线与货架层边缘的距离，h为货架层高度，假设如下公式成立：
[0090]
[0091] 由公式(1)推导可得到如下公式：
[0092]
[0093] 其中，α、β分别为两个参数，可以根据经验或需求设定，本公开的实施例设定为α＝0.6，β＝0.7。
[0094] 在本公开的实施例中， 代表以标准角度进行拍摄时标定线与货架层边缘的距离，当不同货架层中标定线信息对应的标定商品陈列状态的物理意义相同时，不同货架层中标定线信息对应的该距离相同，从而得到如下公式：
[0095]
[0096] 将基准标定线和非基准标定线对应的货架层信息分别代入公式(2)得到两个货架层中角度θ的公式，并代入公式(3)，得到如下公式：
[0097]
[0098] 其中，d1'为标准角度进行拍摄时非基准标定线与参考位置之间的距离，为未知量，d2'为标准角度进行拍摄时基准标定线与参考位置之间的距离，为已知量，d1为目标图像中非基准标定线与参考位置的距离，由于拍摄目标图像时，针对目标对象的拍摄角度为非标准角度，从而d1与d1'不同；d2为目标图像中基准标定线与参考位置的距离，由于拍摄目标图像时，针对目标对象的拍摄角度为标准角度，从而在拍摄距离相同时d2等于d2'；h1为非基准标定线对应的货架层高度，h2为非基准标定线对应的货架层高度。
[0099] 在实际应用中，d2'可以预先从标准角度拍摄的图像中获取，从而可以根据上述公式(4)计算得到d1'，实现了对d1的矫正，以将非基准标定线在非标准角度下的位置矫正为标准角度下的位置。
[0100] 步骤209，基于预设标准商品位置库，根据所述商品位置确定每个标准商品位置上对应的商品数目。
[0101] 其中，标准商品位置库可以为预先设定的正常情况下每个商品的位置。可以从划定了标准商品位置的标准图像中识别得到标准商品位置库，也可以直接将标准商品位置存储至标准商品位置库中。其中，标准图像中每个位置上均设定有商品，即所有货架层置满商品时拍摄得到的图像。
[0102] 在本公开的实施例中，对于一个标准商品位置，若该标准商品位置与任意商品位置均不重叠，则确定该标准商品位置上对应的商品数目为0；若该标准商品位置与2个商品位置重叠，则确定该标准商品位置上对应的商品数目为2。如图4(A)所示，P1为标准商品位置，P2和P3为两个商品位置，从而可知标准商品位置上对应的商品数目为2。
[0103] 在实际应用中，标准商品位置和商品位置的重叠部分占比大于重叠阈值(例如30％)时，确定该标准商品位置和该商品位置具有重叠。如图4(B)所示，商品位置和标准商品位置的重叠部分较少，小于预设阈值，从而确定标准商品位置上对应的商品数目为1。
[0104] 可以理解，重叠阈值可以根据实际应用场景设定，若重叠阈值设置较小，则当前商品陈列状态的准确度较高，对商品陈列的整洁度要求很高。
[0105] 步骤210，若所述商品数目大于或等于2，则确定所述标准商品位置对应的当前商品陈列状态为混乱状态。
[0106] 在正常情况下，每个标准商品位置上陈列1个商品，当标准商品位置上陈列的商品数目大于或等于2，则确定该标准商品位置对应的当前商品陈列状态为混乱状态，并可以提示对其进行整理。
[0107] 步骤211，若所述商品数目为1，则进入所述采用所述基准标定线信息、校正之后的非基准标定线信息、所述商品位置，确定当前商品陈列状态的步骤。
[0108] 在本公开的实施例中，当每个标准商品位置上对应的商品数目均为1，则确定所有标准商品位置均陈列整齐，从而确定的当前商品陈列状态更准确。
[0109] 步骤212，若所述商品数目为0，则确定所述标准商品位置对应的当前商品陈列状态为缺货状态。
[0110] 可以理解，当标准商品位置上的商品数目为0，代表当前商品陈列状态为缺货状态。此时可以提示进行补货。
[0111] 本公开的是实施例可以根据标准商品位置确定商品陈列是否整齐，或缺货状态。
[0112] 步骤213，计算所述商品位置与所述参考位置之间的距离，得到第三距离。
[0113] 具体地，若参考位置在所述商品位置下方，则从商品位置中提取商品最下端位置，并计算商品最下端位置与参考位置之间的距离得到第三距离；若参考位置在所述商品位置上方，则从商品位置中提取商品最上端位置，并计算商品最上端位置与参考位置之间的距离得到第三距离。
[0114] 步骤214，计算所述标定线位置与所述参考位置之间的距离，得到第四距离。
[0115] 其中，标定线位置可以为标定线在目标图像中的纵坐标或横坐标，若标定线沿着目标图像的横向延伸，则标定线位置用纵坐标表示，此时第四距离为参考位置的纵坐标与标定线的纵坐标之间的差值；若标定线沿着目标图像的纵向延伸，则标定线位置用横坐标表示，此时第四距离为参考位置的横坐标与标定线的横坐标之间的差值。
[0116] 可以理解，该第四距离为经过步骤208校正之后标定线位置与参考位置之间的距离。
[0117] 步骤215，计算所述第三距离与所述第四距离之间的比值，得到第三比值。
[0118] 可以理解，第三比值可以代表商品和标定线之间的相对位置。第三比值大于1，代表标定线距离参考位置较近；第三比值小于1，代表商品距离参考位置较近。
[0119] 步骤216，若所述第三比值小于1，则根据所述第三比值对所述标定商品陈列状态进行调整，得到当前商品陈列状态。
[0120] 具体地，采用如下公式对标定商品陈列状态进行调整得到当前商品陈列状态CDS：
[0121] CDS＝R3·SDS (5)
[0122] 其中，R3为第三比值，SDS为标定商品陈列状态。
[0123] 可以理解，当商品距离参考位置较近时，标定商品陈列状态不能准确的表示当前陈列状态，如图3所示，参考位置为第二层货架层的边缘位置E2，图中商品C2与E2的距离小于标定线L2与E2的距离，从而第三比值小于1，此时，将第三比值、标定线L2对应的标定商品陈列状态SDS代入公式(5)得到商品C2的当前商品陈列状态。
[0124] 此外，由于本公开的实施例中，标定商品陈列状态具体为标定商品缺货比例，当前商品陈列状态具体为当前商品缺货比例，从而通过公式(5)将标定商品缺货比例适当调小。例如，若上述标定线L2对应的标定缺货比例为60％，第三比值为0.5，则通过公式(5)得到商品C2的当前商品缺货比例为60％*0.5＝30％。
[0125] 步骤217，若所述第三比值大于或等于1，且所述第三比值小于预设比值阈值，则将所述标定商品陈列状态确定为当前商品陈列状态。
[0126] 其中，预设比值阈值可以根据实际应用场景设定，本公开的实施例对其不加以限制。例如，预设比值阈值可以设定为2，参考位置为货架层边缘，从而当商品距离货架层边缘的距离是标定线距离货架层边缘的距离的1倍至2倍之间时，标定商品陈列状态较准确，可以作为当前商品陈列状态。如图3所示，参考位置为第二层货架层的边缘位置E2，图中商品C1与E2的距离大于标定线L2与E2的距离，且小于标定线L2与E2的距离的2倍，从而可以将标定线L2的标定商品陈列状态作为商品C1的当前商品陈列状态。
[0127] 此外，还可以根据公式(5)将标定商品陈列状态调整为较大值，使得当前商品陈列状态更准确。
[0128] 通过上述分析可知，预设比值阈值较小时，可以有助于提高当前商品陈列状态的准确度，若商品位置接近标定线L2且第三距离大于第四距离，则该商品对应的标定商品陈列状态越接近标定商品陈列状态。
[0129] 步骤218，若所述第三比值大于或等于预设比值阈值，则将预设预警商品陈列状态确定为当前商品陈列状态。
[0130] 其中，预设预警商品陈列状态可以根据预设比值阈值确定，预设比值阈值越大，当前商品陈列状态的取值越大；预设比值阈值越小，当前商品陈列状态的取值越小。
[0131] 本公开的实施例可以在一层货架层上采用一个标定线即可准确的确定当前商品陈列状态。
[0132] 综上所述，基于实施例一，本公开的实施例提供了另一种商品陈列状态的检测方法，除实施例一所具有的有益效果外，还可以通过模型识别商品位置和标签位置，以及通过直线检测技术检测标定线信息；还可以根据标签距离以及标签的平均高度准确确定货架层信息；还可以根据货架层高度的比值、非基准标定线和基准标定线信息对非基准标定线信息进行校正；还可以根据商品位置和标定线位置，调整标定商品陈列状态，或直接作为当前商品陈列状态，或直接将预警商品陈列状态作为当前商品陈列状态，有助于进一步提高当前商品陈列状态的准确度。
[0133] 实施例三
[0134] 参照图6，其示出了在本公开的另一种实施例中的商品陈列状态的检测装置的结构图，具体如下。
[0135] 图像信息提取模块301，用于分别从目标图像中提取商品位置、标签位置以及标定线信息，所述标定线信息分为基准标定线信息和非基准标定线信息。
[0136] 货架层确定模块302，用于根据所述标签位置确定货架层信息。
[0137] 矫正模块303，用于根据所述基准标定线信息、所述货架层信息，对所述非基准标定线信息进行校正，得到校正之后的非基准标定线信息。
[0138] 商品陈列状态确定模块304，用于采用所述基准标定线信息、校正之后的非基准标定线信息、所述商品位置，确定当前商品陈列状态。
[0139] 综上所述，本公开的实施例提供了一种商品陈列状态的检测装置，所述装置包括：图像信息提取模块，用于分别从目标图像中提取商品位置、标签位置以及标定线信息，所述标定线信息分为基准标定线信息和非基准标定线信息；货架层确定模块，用于根据所述标签位置确定货架层信息；矫正模块，用于根据所述基准标定线信息、所述货架层信息，对所述非基准标定线信息进行校正，得到校正之后的非基准标定线信息；商品陈列状态确定模块，用于采用所述基准标定线信息、校正之后的非基准标定线信息、所述商品位置，确定当前商品陈列状态。可以对标定线信息进行校正，并根据校正之后的标定线信息确定当前商品陈列状态，有助于提高标定线信息和商品陈列状态的准确度。
[0140] 实施例三为实施例一对应的装置实施例，详细说明可以参照实施例一，在此不再赘述。
[0141] 实施例四
[0142] 参照图7，其示出了在本公开的一种实施例中的商品陈列状态的检测装置的结构图，具体如下。
[0143] 图像信息提取模块401，用于分别从目标图像中提取商品位置、标签位置以及标定线信息，所述标定线信息分为基准标定线信息和非基准标定线信息；可选地，在本公开的实施例中，所述图像信息提取模块401包括：
[0144] 商品位置检测子模块4011，用于通过预先训练得到的商品位置检测模型从所述目标图像中检测商品位置，所述商品位置检测模型通过标注了商品位置的第一图像样本集训练得到。
[0145] 标签位置检测子模块4012，用于通过预先训练得到的标签位置检测模型从所述目标图像中检测标签位置，所述标签位置检测模型通过标注了标签位置的第二图像样本集训练得到。
[0146] 标定线检测子模块4013，用于通过直线检测技术从所述目标图像中检测标定线信息。
[0147] 货架层确定模块402，用于根据所述标签位置确定货架层信息；可选地，在本公开的另一种实施例中，所述标签位置包括：上端位置、下端位置，所述货架层确定模块402，包括：
[0148] 标签距离计算子模块4021，用于对标签位置进行排序，并计算两个相邻标签位置之间的差值，得到标签距离。
[0149] 标签高度计算子模块4022，用于针对每个标签位置，计算所述上端位置和下端位置之间的差值，得到标签高度。
[0150] 平均高度计算子模块4023，用于计算各标签高度的平均值，得到平均高度。
[0151] 货架层高度计算子模块4024，用于若其中两个相邻标签位置之间的标签距离大于所述平均高度的预设倍数阈值，则确定所述两个相邻标签位置属于两个货架层，并将所述标签距离确定为较小标签位置对应的货架层高度。
[0152] 矫正模块403，用于根据所述基准标定线信息、所述货架层信息，对所述非基准标定线信息进行校正，得到校正之后的非基准标定线信息；可选地，在本公开的实施例中，所述矫正模块403包括：
[0153] 矫正子模块4031，用于根据所述基准标定线信息对应的货架层高度、所述非基准标定线信息对应的货架层高度、所述基准标定线信息对应的标定线位置、所述非基准标定线信息对应的标定线位置，对所述非基准标定线信息对应的标定商品陈列状态进行校正，得到校正之后的标定商品陈列状态。
[0154] 商品数目确定模块404，用于基于预设标准商品位置库，根据所述商品位置确定每个标准商品位置上对应的商品数目。
[0155] 混乱状态确定模块405，用于若所述商品数目大于或等于2，则确定所述标准商品位置对应的当前商品陈列状态为混乱状态。
[0156] 商品状态确定进入模块406，用于若所述商品数目为1，则进入所述商品陈列状态确定模块404。
[0157] 缺货状态确定模块407，用于若所述商品数目为0，则确定所述标准商品位置对应的当前商品陈列状态为缺货状态。
[0158] 商品陈列状态确定模块408，用于采用所述基准标定线信息、校正之后的非基准标定线信息、所述商品位置，确定当前商品陈列状态；可选地，在本公开的另一种实施例中，所述商品陈列状态确定模块408包括：
[0159] 第三距离计算子模块4081，用于计算所述商品位置与所述参考位置之间的距离，得到第三距离。
[0160] 第四距离子模块4082，用于计算所述标定线位置与所述参考位置之间的距离，得到第四距离。
[0161] 第三比值计算子模块4083，用于计算所述第三距离与所述第四距离之间的比值，得到第三比值。
[0162] 第一状态确定子模块4084，用于若所述第三比值小于1，则根据所述第三比值对所述标定商品陈列状态进行调整，得到当前商品陈列状态。
[0163] 第二状态确定子模块4085，用于若所述第三比值大于或等于1，且所述第三比值小于预设比值阈值，则将所述标定商品陈列状态确定为当前商品陈列状态。
[0164] 第三状态确定子模块4086，用于若所述第三比值大于或等于预设比值阈值，则将预设预警商品陈列状态确定为当前商品陈列状态。
[0165] 可选地，在本公开的另一种实施例中，所述矫正子模块4031，包括：
[0166] 距离计算单元，用于选取参考位置，并分别计算所述非基准标定线信息对应的标定线位置与所述参考位置之间的距离，以及，所述基准标定线信息对应的标定线位置与所述参考位置之间的距离，得到第一距离和第二距离；
[0167] 距离比值计算单元，用于计算所述第一距离与第二距离的比值，得到第一比值；
[0168] 货架高度比值计算单元，用于计算所述基准标定线信息对应的货架层高度、所述非基准标定线信息对应的货架层高度之间的比值，得到第二比值；
[0169] 矫正单元，用于根据所述第一比值、第二比值对所述非基准标定线信息进行校正。
[0170] 可选地，在本公开的另一种实施例中，所述基准标定线信息通过如下模块确定：
[0171] 基准标定线选取模块，用于从所述目标图像中选取所述标定线位置处于最下方的标定线信息作为基准标定线信息。
[0172] 综上所述，基于实施例三，本公开的实施例提供了另一种商品陈列状态的检测装置，除所述实施例三具有的有益效果之外，还可以通过模型识别商品位置和标签位置，以及通过直线检测技术检测标定线信息；还可以根据标签距离以及标签的平均高度准确确定货架层信息；还可以根据货架层高度的比值、非基准标定线和基准标定线信息对非基准标定线信息进行校正；还可以根据商品位置和标定线位置，调整标定商品陈列状态，或直接作为当前商品陈列状态，或直接将预警商品陈列状态作为当前商品陈列状态，有助于进一步提高当前商品陈列状态的准确度。
[0173] 实施例四为实施例二对应的装置实施例，详细说明可以参照实施例二，在此不再赘述。
[0174] 本公开的实施例还提供了一种电子设备，参照图8，包括：处理器501、存储器502以及存储在所述存储器502上并可在所述处理器上运行的计算机程序5021，所述处理器501执行所述程序时实现前述实施例的商品陈列状态的检测方法。
[0175] 本公开的实施例还提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述实施例的商品陈列状态的检测方法。
[0176] 对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0177] 在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本公开的实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本公开的实施例的内容，并且上面对特定语言所做的描述是为了披露本公开的实施例的最佳实施方式。
[0178] 在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0179] 类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本公开的实施例的示例性实施例的描述中，本公开的实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开的实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的实施例的单独实施例。
[0180] 本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0181] 本公开的实施例的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开的实施例的商品陈列状态的检测设备中的一些或者全部部件的一些或者全部功能。本公开的实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本公开的实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0182] 应该注意的是上述实施例对本公开的实施例进行说明而不是对本公开的实施例进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开的实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0183] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0185] 以上所述，仅为本公开的实施例的具体实施方式，但本公开的实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开的实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的实施例的保护范围之内。因此，本公开的实施例的保护范围应以权利要求的保护范围为准。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种天线结构、阅读器和智能售货设备 | 2020-05-13 | 385 |
| 适用于电子显示标签的自适应二值图像压缩方法 | 2020-05-14 | 149 |
| 一种电子货架标签自动更新系统及更新方法 | 2020-05-11 | 90 |
| 用于检测和存储销售点中的物品的位置的系统和方法 | 2020-05-14 | 181 |
| 货到人播撒拣选一体化工作站 | 2020-05-08 | 215 |
| 一种电子标签用夹持固定装置 | 2020-05-08 | 243 |
| 一种导轨式电子标签及系统 | 2020-05-15 | 657 |
| 一种电子货位标签系统 | 2020-05-13 | 221 |
| 一种货架电子显示屏 | 2020-05-08 | 554 |
| 自动售货机 | 2020-05-15 | 1024 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
电子货架标签热门专利
-
7 自动售货机
QQ群二维码
意见反馈
意见反馈