技术领域
[0001] 本
发明涉及计算机领域，其特征涉及一种库存盘点方法及装置。
背景技术
[0002] 零售终端
门店为了清点商品数量以及货架商品陈列
整理，每隔一段时间需要进行库存盘点。定期的库存盘点可以帮助零售终端门店合理化库存，
加速资金周转，最终降低经营成本、提高利润。目前，零售终端门店通常都需要人工来对零售终端门店的货架和仓库中的商品进行统计盘点。但是由于零售终端门店的商品数目巨大，人工盘点的方式效率低下、十分耗时耗
力、甚至往往会影响到零售终端门店的正常营业。
[0003] 近几年来，基于
深度神经网络的目标检测技术在
人脸检测、图像内容检索等领域得到了快速发展。但是在库存盘点的实际应用场景中，仍然存在一系列的难题：大多数商品目标在货架图像中往往存在尺寸较小，商品分布十分密集等。而目前流行的基于深度神经网络的目标检测方法在遇到上述情况时检测准确率比较低，尤其是当目标物体分布密集时往往会漏检或者无法检出目标。
发明内容
[0004] 本发明为了克服现有库存盘点方法因目标检测准确率低而导致盘点准确率低的问题，提供一种目标识别准确率高的库存盘点方法及装置。
[0005] 为了实现上述目的，本发明提供一种库存盘点方法，其包括：
[0006] 获取待检测的货架图像；
[0007] 对获取的待检测的货架图像进行特征提取，得到具有多个尺度的多层特征图；
[0008] 融合获得的多层特征图，得到多尺度融合的特征图；
[0009] 利用区域提名网络对多尺度融合的特征图进行区域提名，以获得满足设定要求的多个候选框；
[0010] 修正获得的多个候选框以形成修正后的特征图；
[0012] 根据获得的特征向量检测每个候选框所包含的商品种类以及对应的坐标
位置；
[0013] 统计待检测的货架图像中各种商品的总数。
[0014] 根据本发明的一
实施例，对获取的待检测的货架图像进行特征提取时，将待检测的货架图像输入包含多个卷积单元的特征提取网络内，每个卷积单元输出一层特征图。
[0015] 根据本发明的一实施例，当获得多层特征图后，融合获得的多层特征图，其具体的步骤为：
[0016] 对上一层融合后的特征图bn-1做上
采样操作；
[0017] 通过1*1卷积使当前层特征图an的特征图通道数减半；
[0018] 将卷积后的当前层特征图an与上采样后的上一层融合后的特征图bn-1相加，获得当前层融合后的特征图bn；
[0019] 其中：b1＝a1；
[0020] bn＝1*1卷积(an)+上采样(bn-1)。
[0021] 根据本发明的一实施例，利用区域提名网络对多尺度融合的特征图进行区域提名，以获得满足设定要求的多个候选框的步骤包括：
[0022] 将多尺度融合后的特征图上的每一点根据候选框的长宽比和尺度放大倍数生成多个具有不同规格大小的候选框；
[0023] 用于分类的全连接层推测出每个候选框包含商品的概率值；
[0024] 获取概率值大于设定值的候选框；
[0025] 使用非极大值抑制
算法处理概率值大于设定值的候选框，选取概率值最高的多个候选框作为区域提名网络的输出。
[0026] 根据本发明的一实施例，在生成多个具有不同规格大小的候选框前将获得的多尺度融合的特征图输入卷积层内以提高多尺度融合的特征图的层特征。
[0027] 根据本发明的一实施例，修正获得的多个候选框以形成修正后的特征图包括：
[0028] 将提取出的多个候选框通过坐标点映射变换映射到对获取的货架图像进行特征提取所获得的多层特征图上，得到对应候选框位置的局部特征图；
[0029] 通过兴趣区域
池化操作将不同大小的局部特征图划分为固定的K*K个子区域；
[0030] 在每一个子区域中选取最大值输出以形成修正后的特征图；
[0031] 根据本发明的一实施例，将修正后的特征图输入包含多个神经元的全连接层进行特征向量提取。
[0032] 根据本发明的一实施例，根据获得的特征向量检测每个候选框所包含的商品种类以及对应的坐标位置包括：
[0033] 将提取的多个特征向量输入用于分类的全连接层，输出表征n个待检测商品的n维向量，将多维向量中取值最高项的索引值确定为该特征向量所在区域内的商品类别；
[0034] 将提取的多个特征向量输入用于回归预测的全连接层，输出表征n个待检测商品坐标的4n维向量；
[0035]
[0036] 其中，Xli为第i个待检测商品左上
角的横坐标；Yli为第i个待检测商品左上角的纵坐标；Xri第i个待检测商品右下角的横坐标；Yri为第i个待检测商品右下角的纵坐标。
[0037] 相对应的，本发明还提供一种库存盘点装置，其包括图像获取模
块、特征提取模块、融合模块、候选框提取模块、修正模块、特征向量提取模块、识别模块以及统计模块。图像获取模块获取待检测的货架图像。特征提取模块对获取的待检测的货架图像进行特征提取，得到具有多个尺度的多层特征图。融合模块融合获得的多层特征图，得到多尺度融合的特征图。候选框提取模块利用区域提名网络对多尺度融合的特征图进行区域提名，以获得满足设定要求的多个候选框。修正模块修正获得的多个候选框以形成修正后的特征图。特征向量提取模块对修正后的特征图进行特征向量提取。识别模块根据获得的特征向量检测每个候选框所包含的商品种类以及对应的坐标位置。统计模块统计待检测的货架图像中各种商品的总数。
[0038] 综上所述，本发明提供的库存盘点方法及装置，在特征提取时，将待检测的货架图像转换为多个尺度的多层特征图，进而再将多层特征图进行融合已形成多尺度融合的特征图。多层特征图的提取和融合大大提高了图像的层特征，从而使得提取的包含商品信息的特征更加的突出。之后采用利用区域提名网络来获取包含商品的多个候选框。之后，修正步骤将多个候选框所对应的不同尺寸的局部特征图转
化成同样维度的特征图以进行特征向量提取。将特征提取后的多个特征向量输入
深度学习的分类器中进行识别以获得每个商品的分类以及其对应的坐标位置。最后进行统计即可获得待检测的货架图像中所包含的商品总数。
[0039] 为让本发明的上述和其它目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合
附图，作详细说明如下。
附图说明
[0040] 图1所示为本发明一实施例提供的库存盘点方法的
流程图。
[0041] 图2所示为图1中步骤S40的具体流程图。
[0042] 图3所示为图1中步骤S50的具体流程图。
[0043] 图4所示为步骤S20中采用特征提取网络进行特征提取的结构示意图。
[0044] 图5所示为步骤S30中多层特征图融合的结构示意图。
[0045] 图6所示为步骤S40中区域提名网络结构图的结构示意图。
[0046] 图7所示为本发明一实施例提供的库存盘点装置的结构示意图。
具体实施方式
[0047] 如图1所示，本实施例提供的库存盘点方法包括：获取待检测的货架图像(步骤S10)。对获取的待检测的货架图像进行特征提取，得到具有多个尺度的多层特征图(步骤S20)。融合获得的多层特征图，得到多尺度融合的特征图(步骤S30)。利用区域提名网络对多尺度融合的特征图进行区域提名，以获得满足设定要求的多个候选框(步骤S40)。修正获得的多个候选框以形成修正后的特征图(步骤S50)。对修正后的特征图进行特征向量提取(步骤S60)。根据获得的特征向量检测每个候选框所包含的商品种类以及对应的坐标位置(步骤S70)。统计待检测的货架图像中各种商品的总数(步骤S80)。以下将结合图1至图6详细介绍本实施例提供的库存盘点方法的原理。
[0048] 本实施例提供的库存盘点方法始于步骤S10，在该步骤中，门店店主通过智能手机或
平板电脑上自带的摄像头来获取包含待检测的货架图像。然而，本发明对此不作任何限定。于其它实施例中，还可通过门店内安装的摄像装置来获取待检测的货架图像。
[0049] 在获得待检测的货架图像后执行步骤S20，对获取的待检测的货架图像进行特征提取，得到具有多个尺度的多层特征图。于本实施例中，采用包含多个卷积单元的特征提取网络对获取的待检测出的货架图像进行特征提取。优选的，特征提取网络包含第一卷积单元conv1、第二卷积单元conv2、第三卷积单元conv3、第四卷积单元conv4、第五卷积单元conv5。进一步的，第一卷积单元conv1包含两个3*3*64的卷积层以及一个池化层。第二卷积单元conv2包含两个3*3*128的卷积层以及一个池化层。第三卷积单元conv3包含四个3*3*256的卷积层以及一个池化层。第四卷积单元conv4包含四个3*3*512的卷积层以及一个池化层。第五卷积单元conv5包含四个3*3*512的卷积层以及一个池化层。具体的特征提取的步骤包括：
[0050] S21：将获取的待检测的货架图像输入第一卷积单元conv1，得到第一层特征图记为a1，尺寸为(H/2*W/2*64)；
[0051] S22：将第一层特征图a1输入第二卷积单元conv2，得到第二层特征图记为a2，尺寸为(H/4*W/4*128)，；
[0052] S23：将第二层特征图a2输入第三卷积单元conv3，得到第三层特征图记为a3，尺寸为(H/8*W/8*256)；
[0053] S24：将第三层特征图a3输入第四卷积单元conv4，得到第四层特征图记为a4，尺寸为(H/16*W/16*512)；
[0054] S25：将第四层特征图a4输入第五卷积单元conv5，得到第五层特征图记为a5，尺寸为(H/32*W/32*512)。
[0055] 待检测的货架图像的多层特征图的提取，使得待检测的货架图像中包含商品的某些特征被增强，而其他的背景噪声则得到很好地降低，大大提高了
图像识别的准确度。
[0056] 在经过步骤S20的特征提取后，步骤S30将获得的五层特征图进行融合，形成多尺度融合的特征图。具体的融合步骤如下所示：
[0057] S31：对上一层融合后的特征图bn-1做上采样操作；
[0058] S32：通过1*1卷积使当前层特征图an的特征图通道数减半；
[0059] S33：将卷积后的当前层特征图an与上采样后的上一层融合后的特征图bn-1相加，获得当前层融合后的特征图bn；
[0060] 其中：b1＝a1；
[0061] bn＝1*1卷积(an)+上采样(bn-1)。
[0062] 譬如，第二层融合后的特征图为b2＝1*1卷积(a2)+上采样(b1)。于本实施例中，由于步骤S20中特征提取提取网络内包含五个卷积单元，因此融合后的五层特征图b5＝1*1卷积(a5)+上采样(b4)。然而，本发明对卷积单元的数量不作任何限定。
[0063] 之后，执行步骤S40，利用区域提名网络对多尺度融合的特征图进行区域提名，以获得满足设定要求的多个候选框，其具体的步骤为：S42：将多尺度融合后的特征图上的每一点根据候选框的长宽比和尺度放大倍数生成多个具有不同规格大小的候选框。具体而言，将多尺度融合后的特征图上的每一点生成9种不同规格大小的候选框：三种长宽比{1∶1，2∶1，3∶1}×三种尺度放大倍数{64，128，256}。S43：将生成的9种不同规格大小的候选框输入已经训练好的多个用于分类的全连接层中，推测出每个候选框包含商品的概率值。于本实施例中，步骤S43中包含两个全连接层，分别为第一全连接层和第二全连接层。然而，本发明对此不作任何限定。S44：预先设定概率设定值，获取概率值大于设定值的候选框。S45：
使用非极大值抑制算法处理概率值大于设定值的候选框，选取概率值最高的多个候选框作为区域提名网络的输出。
[0064] 为进一步提高图像的层特征以提高图像的识别准确率，于本实施例中，步骤S40在生成多个具有不同规格大小的候选框(步骤S42)前将获得的多尺度融合的特征图输入卷积层内以提高多尺度融合的特征图的层特征(步骤S41)。
[0065] 在获得区域提名网络输出的多个候选框后，执行步骤S50，对其进行修正。具体的步骤为：步骤S51：将提取出的多个候选框通过坐标点映射变换映射到步骤S20所获得的多层特征图上，得到对应候选框位置的局部特征图。每个候选框所对应的局部特征图的尺寸并不一致。将不同尺寸的局部特征图转化成了同样维度的特征图，于本实施例中，步骤S50还包括步骤S52：通过兴趣区域池化操作将不同大小的局部特征图划分为固定的K*K个子区域。于本实施例中，将不同大小的局部特征图划分为固定的14*14个子区域。然而，本发明对此不作任何限定。步骤S53：在每一个子区域中选取最大值输出以形成修正后的特征图。
[0066] 在获得修正后的特征图后，执行步骤S60，将修正后的特征图输入包含4096个神经元的全连接层进行特征向量提取，以获得多个特征向量。
[0067] 执行步骤S70，将多个特征向量分别输入已经训练好的用于分类的全连接层和用于回归预测的全连接层分别对商品的类别和坐标进行识别。具体而言，将提取的多个特征向量输入用于分类的全连接层，输出表征n个待检测商品的n维向量，将多维向量中取值最高项的索引值确定为该特征向量所在区域内的商品类别。
[0068] 将提取的多个特征向量输入用于回归预测的全连接层，输出表征n个待检测商品坐标的4n维向量；
[0069]
[0070] 其中，Xli为第i个待检测商品左上角的横坐标；Yli为第i个待检测商品左上角的纵坐标；Xri第i个待检测商品右下角的横坐标；Yri为第i个待检测商品右下角的纵坐标。
[0071] 最后，执行步骤S80，统计待检测的货架图像中各种商品的总数，实现库存的盘点。当统计发现某商品的数量已经少于设定值时，发送警示信息至商家的智能终端和供货商的智能终端。
[0072] 更进一步的，当统计发现货架上某商品的数量连续多次超过设定数量时(次数可根据商品的保质期和库存盘点的
频率进行设置)，表征该商品在近一段时间内销量并不佳。发送警示信息至商家智能终端，提醒商家对该商品进行有效期筛查。
[0073] 相对应的，本实施例还提供一种库存盘点装置，其包括图像获取模块10、特征提取模块20、融合模块30、候选框提取模块40、修正模块50、特征向量提取模块60、识别模块70以及统计模块80。图像获取模块10获取待检测的货架图像。特征提取模块20对获取的待检测的货架图像进行特征提取，得到具有多个尺度的多层特征图。融合模块30融合获得的多层特征图，得到多尺度融合的特征图。候选框提取模块40利用区域提名网络对多尺度融合的特征图进行区域提名，以获得满足设定要求的多个候选框。修正模块50修正获得的多个候选框以形成修正后的特征图。特征向量提取模块60对修正后的特征图进行特征向量提取。识别模块70根据获得的特征向量检测每个候选框所包含的商品种类以及对应的坐标位置。
统计模块80统计待检测的货架图像中各种商品的总数。
[0074] 本实施例提供的库存盘点装置的工作原理本实施例提供的库存盘点方法中步骤S10至步骤S70所述，在此不再赘述。
[0075] 于本实施例中，库存盘点装置还包括关联商家的智能终端和供货商的智能终端的信息发送模块90。当统计模块80盘点后发现某商品的数量已经少于设定值时，信息发送模块90同时发送警示信息至商家的智能终端和供货商的智能终端。商家或供货商可及时确认是否再次补给即将缺货的商品，避免商品缺货。更进一步的，当统计模块80发现货架上某商品的数量连续多次超过设定
阈值时，表征该商品在近一段时间内销量并不佳。信息发送模块90发送警示信息至商家智能终端，提醒商家对该商品进行有效期筛查。
[0076] 综上所述，本发明提供的库存盘点方法及装置，在特征提取时，将待检测的货架图像转换为多个尺度的多层特征图，进而再将多层特征图进行融合已形成多尺度融合的特征图。多层特征图的提取和融合大大提高了图像的层特征，从而使得提取的包含商品信息的特征更加的突出。之后采用利用区域提名网络来获取包含商品的多个候选框。之后，修正步骤将多个候选框所对应的不同尺寸的局部特征图转化成同样维度的特征图以进行特征向量提取。将特征提取后的多个特征向量输入深度学习的分类器中进行识别以获得每个商品的分类以及其对应的坐标位置。最后进行统计即可获得待检测的货架图像中所包含的商品总数。
[0077] 虽然本发明已由较佳实施例揭露如上，然而并非用以限定本发明，任何熟知此技艺者，在不脱离本发明的精神和范围内，可作些许的更动与润饰，因此本发明的保护范围当视
权利要求书所要求保护的范围为准。
