商品识别方法及装置
阅读：809发布：2021-06-15
专利汇可以提供商品识别方法及装置专利检索，专利查询，专利分析的服务。并且本 申请 公开了一种商品识别方法及装置，属于互联网技术领域。在本申请中，通过商品识别模型对多张图像中的每张图像进行识别。由于商品识别模型由包含有手部和商品的多张样本图像训练得到，因此，根据该商品识别模型可以检测到图像中包含的手部以及商品。在此 基础 上，根据商品识别模型得到的图像的检测结果，可以确定出包含有手部和手部所持商品的多张目标图像。这样，根据每张目标图像中手部和手部所持商品的 位置 信息以及每张目标图像的采集时间来确定商品识别结果，相当于过滤掉了图像中包含的其他干扰信息，只关注手部所持商品的类别，从而减少了对其他无关商品的误识别，提高商品识别准确率。，下面是商品识别方法及装置专利的具体信息内容。
1.一种商品识别方法，其特征在于，所述方法包括：
获取在用户选购商品的过程中采集到的多张图像；
通过商品识别模型对所述多张图像中的每张图像进行识别，得到每张图像的检测结果，所述商品识别模型由包含有手部和商品的多张样本图像训练得到；
根据每张图像的检测结果，从所述多张图像中确定包含有手部和手部所持商品的多张目标图像；
根据每张目标图像中手部和手部所持商品的位置信息以及每张目标图像的采集时间，确定商品识别结果。
2.根据权利要求1所述的方法，其特征在于，所述通过商品识别模型对所述多张图像中的每张图像进行识别之前，还包括：
获取多张测试图像和每张测试图像的标注信息，以及获取所述多张样本图像和每张样本图像的标注信息，所述标注信息用于指示相应图像中手部的位置和商品的位置；
根据所述多张样本图像和每张样本图像的标注信息，对所述初始网络进行训练，得到基础识别模型；
根据所述多张测试图像和每张测试图像的标注信息，确定所述基础识别模型的检测精度；
如果所述检测精度未达到参考精度值，则对所述多张样本图像进行更新，返回获取所述多张样本图像和每张样本图像的标注信息的步骤，直到所述检测精度达到所述参考精度值时，将最后一次得到的基础识别模型作为所述商品识别模型。
3.根据权利要求2所述的方法，其特征在于，所述初始网络包括特征提取网络和目标检测网络；
所述根据所述多张样本图像和每张样本图像的标注信息，对所述初始网络进行训练，得到基础识别模型，包括：
通过所述特征提取网络对第一样本图像进行特征提取，得到所述第一样本图像的特征矩阵，所述第一样本图像为所述多张样本图像中的任一样本图像；
通过所述目标检测网络对所述特征矩阵进行处理，得到所述第一样本图像的样本检测结果；
根据所述第一样本图像的标注信息和样本检测结果，确定损失函数值；
如果所述损失函数值不满足第一预设条件，则根据所述损失函数值对所述特征提取网络和所述目标检测网络中的参数进行调整，并对所述第一样本图像进行更新，返回所述通过所述特征提取网络对第一样本图像进行特征提取的步骤，直至所述损失函数值满足所述第一预设条件时，将最后一次调整参数后的网络确定为所述基础识别模型。
4.根据权利要求3所述的方法，其特征在于，
所述标注信息包括相应图像中的每个标注框的位置和尺寸、以及每个标注框中的标注对象的类别，所述标注对象为手部或商品；
所述样本检测结果包括在相应样本图像中检测到的每个检测框的位置和尺寸、以及每个检测框内的检测对象的类别。
5.根据权利要求2所述的方法，其特征在于，所述根据所述多张测试图像和每张测试图像的标注信息，确定所述基础识别模型的检测精度，包括：
通过所述基础识别模型对每张测试图像进行识别，得到相应测试图像的检测结果；
对每张测试图像的检测结果进行过滤，得到每张测试图像的识别结果；
根据每张测试图像的识别结果和标注信息，确定所述基础识别模型的检测精度。
6.根据权利要求1-5任一所述的方法，其特征在于，所述多张图像中的每张图像的检测结果包括相应图像中的一个或多个候选框中每个候选框的位置和尺寸、用于指示每个候选框内是否包含有对象的对象存在概率、每个候选框内的对象的多个候选类别以及所述多个候选类别中每个候选类别对应的概率；
所述根据每张图像的检测结果，从所述多张图像中确定包含有手部和商品的多张目标图像，包括：
根据每张图像的检测结果中每个候选框的对象存在概率、相应候选框内的对象的多个候选类别中每个候选类别对应的概率，确定相应候选框内的对象的类别和相应候选框对应的置信度；
根据每张图像中每个候选框内的对象的类别、每个候选框对应的置信度以及每个候选框的位置和尺寸，对每张图像的检测结果进行过滤，得到每张图像的识别结果；
根据每张图像的识别结果，从所述多张图像中确定所述多张目标图像。
7.根据权利要求6所述的方法，其特征在于，所述根据每张图像的识别结果，从所述多张图像中确定所述多张目标图像，包括：
如果第一图像中存在包含的对象的类别为手部且对应的置信度大于参考置信度的一个或多个第一候选框，则从一个或多个第一候选框获取置信度最大的候选框作为第一目标框；
如果第一图像中存在包含的对象的类别为预设商品类别中的任一类别的一个或多个第二候选框，则从所述一个或多个第二候选框中获取置信度大于所述参考置信度的第二目标框；
根据每个第二目标框的位置和所述第一目标框的位置，确定每个第二目标框与所述第一目标框的相对位置关系；
如果任一第二目标框与所述第一目标框的相对位置关系满足第二预设条件，则将所述第一图像确定为所述目标图像。
8.一种商品识别装置，其特征在于，所述装置包括：
第一获取模块，用于获取在用户选购商品的过程中采集到的多张图像；
识别模块，用于通过商品识别模型对所述多张图像中的每张图像进行识别，得到每张图像的检测结果，所述商品识别模型由包含有手部和商品的多张样本图像训练得到；
第一确定模块，用于根据每张图像的检测结果，从所述多张图像中确定包含有手部和手部所持商品的多张目标图像；
第二确定模块，用于根据每张目标图像中手部和手部所持商品的位置信息以及每张目标图像的采集时间，确定商品识别结果。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取多张测试图像和每张测试图像的标注信息，以及获取所述多张样本图像和每张样本图像的标注信息，所述标注信息用于指示相应图像中手部的位置和商品的位置；
训练模块，用于根据所述多张样本图像和每张样本图像的标注信息，对所述初始网络进行训练，得到基础识别模型；
第三确定模块，用于根据所述多张测试图像和每张测试图像的标注信息，确定所述基础识别模型的检测精度；
触发模块，用于如果所述检测精度未达到参考精度值，则对所述多张样本图像进行更新，并触发所述第二获取模块获取所述多张样本图像和每张样本图像的标注信息，直到所述检测精度达到所述参考精度值时，将最后一次得到的基础识别模型作为所述商品识别模型。
10.根据权利要求9所述的装置，其特征在于，所述初始网络包括特征提取网络和目标检测网络；
所述训练模块具体用于：
通过所述特征提取网络对第一样本图像进行特征提取，得到所述第一样本图像的特征矩阵，所述第一样本图像为所述多张样本图像中的任一样本图像；
通过所述目标检测网络对所述特征矩阵进行处理，得到所述第一样本图像的样本检测结果；
根据所述第一样本图像的标注信息和样本检测结果，确定损失函数值；
如果所述损失函数值不满足第一预设条件，则根据所述损失函数值对所述特征提取网络和所述目标检测网络中的参数进行调整，并对所述第一样本图像进行更新，返回所述通过所述特征提取网络对第一样本图像进行特征提取的步骤，直至所述损失函数值满足所述第一预设条件时，将最后一次调整参数后的网络确定为所述基础识别模型。
商品识别方法及装置
技术领域
[0001] 本申请涉及互联网技术领域，特别涉及一种商品识别方法及装置。
背景技术
[0002] 当前，随着智能化的发展，在商场、学校、写字楼等公共场所中，自动售货柜得以大规模的落地应用。自动售货柜分为封闭式自动售货柜和开放式自动售货柜两种。其中，用户在开放式自动售货柜上购买商品时，可以通过扫码打开柜门选购商品。自动售货柜可以通过柜体上安装的图像采集装置对用户选购商品的过程进行图像采集，并根据采集的图像来识别用户选购的商品，进而在用户关闭柜门之后，对识别出的用户选购的商品进行结算。然而，由于图像采集装置在用户选购商品的过程中采集到的图像存在较多的干扰信息，因此，容易造成商品误识别，基于此，亟需提供一种商品识别方法，以提高商品识别的准确度。发明内容
[0003] 本申请实施例提供了一种商品识别方法、装置及存储介质，可以降低商品误识别概率，提高商品识别准确率。所述技术方案如下：
[0004] 一方面，提供了一种商品识别方法，所述方法包括：
[0005] 获取在用户选购商品的过程中采集到的多张图像；
[0006] 通过商品识别模型对所述多张图像中的每张图像进行识别，得到每张图像的检测结果，所述商品识别模型由包含有手部和商品的多张样本图像训练得到；
[0007] 根据每张图像的检测结果，从所述多张图像中确定包含有手部和手部所持商品的多张目标图像；
[0008] 根据每张目标图像中手部和手部所持商品的位置信息以及每张目标图像的采集时间，确定商品识别结果。
[0009] 可选地，所述通过商品识别模型对所述多张图像中的每张图像进行识别之前，还包括：
[0010] 获取多张测试图像和每张测试图像的标注信息，以及获取所述多张样本图像和每张样本图像的标注信息，所述标注信息用于指示相应图像中手部的位置和商品的位置；
[0011] 根据所述多张样本图像和每张样本图像的标注信息，对所述初始网络进行训练，得到基础识别模型；
[0012] 根据所述多张测试图像和每张测试图像的标注信息，确定所述基础识别模型的检测精度；
[0013] 如果所述检测精度未达到参考精度值，则对所述多张样本图像进行更新，返回获取所述多张样本图像和每张样本图像的标注信息的步骤，直到所述检测精度达到所述参考精度值时，将最后一次得到的基础识别模型作为所述商品识别模型。
[0014] 可选地，所述初始网络包括特征提取网络和目标检测网络；
[0015] 所述根据所述多张样本图像和每张样本图像的标注信息，对所述初始网络进行训练，得到基础识别模型，包括：
[0016] 通过所述特征提取网络对第一样本图像进行特征提取，得到所述第一样本图像的特征矩阵，所述第一样本图像为所述多张样本图像中的任一样本图像；
[0017] 通过所述目标检测网络对所述特征矩阵进行处理，得到所述第一样本图像的样本检测结果；
[0018] 根据所述第一样本图像的标注信息和样本检测结果，确定损失函数值；
[0019] 如果所述损失函数值不满足第一预设条件，则根据所述损失函数值对所述特征提取网络和所述目标检测网络中的参数进行调整，并对所述第一样本图像进行更新，返回所述通过所述特征提取网络对第一样本图像进行特征提取的步骤，直至所述损失函数值满足所述第一预设条件时，将最后一次调整参数后的网络确定为所述基础识别模型。
[0020] 可选地，所述标注信息包括相应图像中的每个标注框的位置和尺寸、以及每个标注框中的标注对象的类别，所述标注对象为手部或商品；所述样本检测结果包括在相应样本图像中检测到的每个检测框的位置和尺寸、以及每个检测框内的检测对象的类别。
[0021] 可选地，所述根据所述多张测试图像和每张测试图像的标注信息，确定所述基础识别模型的检测精度，包括：
[0022] 通过所述基础识别模型对每张测试图像进行识别，得到相应测试图像的检测结果；
[0023] 对每张测试图像的检测结果进行过滤，得到每张测试图像的识别结果；
[0024] 根据每张测试图像的识别结果和标注信息，确定所述基础识别模型的检测精度。
[0025] 可选地，所述多张图像中的每张图像的检测结果包括相应图像中的一个或多个候选框中每个候选框的位置和尺寸、用于指示每个候选框内是否包含有对象的对象存在概率、每个候选框内的对象的多个候选类别以及所述多个候选类别中每个候选类别对应的概率；
[0026] 所述根据每张图像的检测结果，从所述多张图像中确定包含有手部和商品的多张目标图像，包括：
[0027] 根据每张图像的检测结果中每个候选框的对象存在概率、相应候选框内的对象的多个候选类别中每个候选类别对应的概率，确定相应候选框内的对象的类别和相应候选框对应的置信度；
[0028] 根据每张图像中每个候选框内的对象的类别、每个候选框对应的置信度以及每个候选框的位置和尺寸，对每张图像的检测结果进行过滤，得到每张图像的识别结果；
[0029] 根据每张图像的识别结果，从所述多张图像中确定所述多张目标图像。
[0030] 可选地，所述根据每张图像的识别结果，从所述多张图像中确定所述多张目标图像，包括：
[0031] 如果第一图像中存在包含的对象的类别为手部且对应的置信度大于参考置信度的一个或多个第一候选框，则从一个或多个第一候选框获取置信度最大的候选框作为第一目标框；
[0032] 如果第一图像中存在包含的对象的类别为预设商品类别中的任一类别的一个或多个第二候选框，则从所述一个或多个第二候选框中获取置信度大于所述参考置信度的第二目标框；
[0033] 根据每个第二目标框的位置和所述第一目标框的位置，确定每个第二目标框与所述第一目标框的相对位置关系；
[0034] 如果任一第二目标框与所述第一目标框的相对位置关系满足第二预设条件，则将所述第一图像确定为所述目标图像。
[0035] 另一方面，提供了一种商品识别装置，所述装置包括：
[0036] 第一获取模块，用于获取在用户选购商品的过程中采集到的多张图像；
[0037] 识别模块，用于通过商品识别模型对所述多张图像中的每张图像进行识别，得到每张图像的检测结果，所述商品识别模型由包含有手部和商品的多张样本图像训练得到；
[0038] 第一确定模块，用于根据每张图像的检测结果，从所述多张图像中确定包含有手部和手部所持商品的多张目标图像；
[0039] 第二确定模块，用于根据每张目标图像中手部和手部所持商品的位置信息以及每张目标图像的采集时间，确定商品识别结果。
[0040] 可选地，所述装置还包括：
[0041] 第二获取模块，用于获取多张测试图像和每张测试图像的标注信息，以及获取所述多张样本图像和每张样本图像的标注信息，所述标注信息用于指示相应图像中手部的位置和商品的位置；
[0042] 训练模块，用于根据所述多张样本图像和每张样本图像的标注信息，对所述初始网络进行训练，得到基础识别模型；
[0043] 第三确定模块，用于根据所述多张测试图像和每张测试图像的标注信息，确定所述基础识别模型的检测精度；
[0044] 触发模块，用于如果所述检测精度未达到参考精度值，则对所述多张样本图像进行更新，并触发所述第二获取模块获取所述多张样本图像和每张样本图像的标注信息，直到所述检测精度达到所述参考精度值时，将最后一次得到的基础识别模型作为所述商品识别模型。
[0045] 可选地，所述初始网络包括特征提取网络和目标检测网络；
[0046] 所述训练模块具体用于：
[0047] 通过所述特征提取网络对第一样本图像进行特征提取，得到所述第一样本图像的特征矩阵，所述第一样本图像为所述多张样本图像中的任一样本图像；
[0048] 通过所述目标检测网络对所述特征矩阵进行处理，得到所述第一样本图像的样本检测结果；
[0049] 根据所述第一样本图像的标注信息和样本检测结果，确定损失函数值；
[0050] 如果所述损失函数值不满足第一预设条件，则根据所述损失函数值对所述特征提取网络和所述目标检测网络中的参数进行调整，并对所述第一样本图像进行更新，返回所述通过所述特征提取网络对第一样本图像进行特征提取的步骤，直至所述损失函数值满足所述第一预设条件时，将最后一次调整参数后的网络确定为所述基础识别模型。
[0051] 可选地，所述标注信息包括相应图像中的每个标注框的位置和尺寸、以及每个标注框中的标注对象的类别，所述标注对象为手部或商品；所述样本检测结果包括在相应样本图像中检测到的每个检测框的位置和尺寸、以及每个检测框内的检测对象的类别。
[0052] 可选地，所述第三确定模块具体用于：
[0053] 通过所述基础识别模型对每张测试图像进行识别，得到相应测试图像的检测结果；
[0054] 对每张测试图像的检测结果进行过滤，得到每张测试图像的识别结果；
[0055] 根据每张测试图像的识别结果和标注信息，确定所述基础识别模型的检测精度。
[0056] 可选地，所述多张图像中的每张图像的检测结果包括相应图像中的一个或多个候选框中每个候选框的位置和尺寸、用于指示每个候选框内是否包含有对象的对象存在概率、每个候选框内的对象的多个候选类别以及所述多个候选类别中每个候选类别对应的概率；
[0057] 所述第一确定模块具体用于：
[0058] 根据每张图像的检测结果中每个候选框的对象存在概率、相应候选框内的对象的多个候选类别中每个候选类别对应的概率，确定相应候选框内的对象的类别和相应候选框对应的置信度；
[0059] 根据每张图像中每个候选框内的对象的类别、每个候选框对应的置信度以及每个候选框的位置和尺寸，对每张图像的检测结果进行过滤，得到每张图像的识别结果；
[0060] 根据每张图像的识别结果，从所述多张图像中确定所述多张目标图像。
[0061] 可选地，所述第一确定模块具体用于：
[0062] 如果第一图像中存在包含的对象的类别为手部且对应的置信度大于参考置信度的一个或多个第一候选框，则从一个或多个第一候选框获取置信度最大的候选框作为第一目标框；
[0063] 如果第一图像中存在包含的对象的类别为预设商品类别中的任一类别的一个或多个第二候选框，则从所述一个或多个第二候选框中获取置信度大于所述参考置信度的第二目标框；
[0064] 根据每个第二目标框的位置和所述第一目标框的位置，确定每个第二目标框与所述第一目标框的相对位置关系；
[0065] 如果任一第二目标框与所述第一目标框的相对位置关系满足第二预设条件，则将所述第一图像确定为所述目标图像。
[0067] 其中，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信；
[0068] 所述存储器用于存放计算机程序；
[0069] 所述处理器用于执行所述存储器上所存放的程序，以实现前述提供商品识别方法。
[0070] 另一方面，提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现前述提供的商品识别方法的步骤。
[0071] 另一方面，提供了一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行前述的商品识别方法的步骤。
[0072] 本申请实施例提供的技术方案带来的有益效果至少包括：
[0073] 在本申请实施例中，可以通过商品识别模型对多张图像中的每张图像进行识别。由于商品识别模型由包含有手部和商品的多张样本图像训练得到，因此，根据该商品识别模型可以检测到图像中包含的手部以及商品。在此基础上，根据商品识别模型得到的图像的检测结果，可以确定出包含有手部和手部所持商品的多张目标图像。这样，根据每张目标图像中手部和手部所持商品的位置信息以及每张目标图像的采集时间来确定商品识别结果，相当于过滤掉了图像中包含的其他干扰信息，只关注手部所持商品的类别，从而减少了对其他无关商品的误识别，提高商品识别准确率。
附图说明
附图说明
[0074] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0075] 图1是本申请实施例提供的一种自动售货柜的结构示意图；
[0076] 图2是本申请实施例提供的一种训练商品识别模型的方法流程图；
[0077] 图3是本申请实施例提供的一种标注样本图像的示意图；
[0078] 图4是本申请实施例提供的一种商品识别方法流程图；
[0079] 图5是本申请实施例提供的一种用户手部位于柜门内和柜门外的示意图；
[0080] 图6是本申请实施例提供的一种商品识别装置的结构示意图；
[0081] 图7是本申请实施例提供的一种识别设备的结构示意图。
具体实施方式
[0082] 为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0083] 为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0084] 在对本申请实施例进行详细的解释说明之前，先对本申请实施例涉及的应用场景予以介绍。
[0085] 对于开放式自动售货柜而言，用户可以通过扫码打开自动售货柜的柜门，之后，用户可以拿取商品，并关闭柜门。自动售货柜可以在用户拿取商品过程中采集图像，对采集到的图像进行识别，根据商品识别结果进行结算，从而完成整个售卖流程。其中，在用户拿取商品的过程中采集到的图像中包含有大量周围环境的信息，例如，采集到的图像可能包含有柜内用户未拿取的商品的信息。在这种情况下，这些额外的信息将会对商品识别造成干扰，从而导致商品误识别。而本申请实施例提供的一种商品识别方法即可以应用于上述场景中，用于减轻图像中额外的信息的干扰，提高商品识别的准确率。
[0086] 接下来对本申请实施例提供商品识别方法所涉及的系统架构予以介绍。
[0087] 图1是本申请实施例提供的商品识别方法所涉及的一种自动售货柜。如图1所示，该自动售货柜可以包括图像采集装置101和识别设备102。
[0088] 其中，图像采集装置101设置在自动售货柜的柜体上，且该图像采集装置可以为多角度的摄像头。在本申请实施例中，图像采集装置101可以在用户打开自动售货柜的柜门选购商品的过程中进行图像采集，并将采集到的图像发送至识别设备102。需要说明的是，图像采集装置101可以是按照预设周期进行图像采集，也可以是直接拍摄视频数据发送至识别设备102。
[0089] 可选地，图像采集装置101的数量可以为多个。在这种情况下，该多个图像采集装置101可以设置在自动售货柜的不同位置处，从而从多种角度采集图像。
[0090] 识别设备102可以接收图像采集装置采集的多张图像或者是视频数据，并根据接收到的图像或视频数据，采用本申请实施例提供的商品识别方法对用户选购的商品进行识别。其中，识别设备102可以为工控机或者是智能终端，本申请实施例对此不做限定。
[0091] 在一些可能的情况中，识别设备102还可以用于控制该自动售货柜，例如，控制该自动售货柜的柜门的开启和关闭等。
[0092] 接下来对本申请实施例提供的商品识别方法进行介绍。
[0093] 在本申请实施例中，可以通过商品识别模型来对采集到的多张图像进行识别，进而根据多张图像的检测结果来确定商品识别结果。其中，商品识别模型可以是预先根据包含有手部和商品的多张样本图像进行训练得到的。基于此，在对本申请实施例提供的商品识别方法进行介绍之前，首先对商品识别模型的训练过程进行介绍。
[0094] 图2是本申请实施例提供的一种商品识别模型的训练方法的流程图。该训练方法可以由识别设备、服务器或者其他设备来执行，本申请实施例对此不做限定。在接下来的实施例中，以该训练方法应用于服务器为例来进行解释说明。参见图2，该方法包括以下步骤：
[0095] 步骤201：获取多张测试图像和每张测试图像的标注信息，以及获取多张样本图像和每张样本图像的标注信息。
[0096] 在本申请实施例中，在多个不同的自动售货柜上，多次模拟用户购买操作，通过各个自动售货柜上的图像采集装置在用户选购过程中进行图像采集，从而得到大量的图像。在得到的大量的图像之后，可以人工对包含有人体手部和手部所持商品的图像进行标注。
示例性地，可以在图像中分别用矩形的标注框标注出手部和手部所持商品，并根据每个标注框的位置和尺寸以及相应标注框中包括的对象的类别，生成相应图像的标注信息。
示例性地，可以在图像中分别用矩形的标注框标注出手部和手部所持商品，并根据每个标注框的位置和尺寸以及相应标注框中包括的对象的类别，生成相应图像的标注信息。
[0097] 例如，参见图3，在一张图像中用第一标注框301标出了手部，用第二标注框标出了手部所持商品。此时，可以获取第一标注框301的中心位置坐标和的尺寸，获取第二标注框的中心位置坐标和尺寸。将第一标注框301的中心位置坐标、尺寸以及用于指示第一标注框包含的对象的类别为手部的类别编号1作为一条映射关系，将第二标注框302的中心位置坐标、尺寸以及用于指示第二标注框包含的商品的类别的类别编号2作为一条映射关系，将这两条映射关系作为该图像的标注信息存储在于该图像的图像ID同名的文本中。
[0098] 对于根据模拟用户操作采集到的多张图像，均可以采用上述方法进行标注，从而得到每张图像的标注信息。之后，可以根据标注过的多张图像中的部分图像生成训练数据集，根据剩余的部分图像生成测试数据集。其中，训练数据集包括的图像即为用于进行模型训练的多张样本图像，测试数据集包括的图像即为用于进行模型测试的多张测试图像。
[0099] 基于此，在本步骤中，服务器可以从训练数据集中获取多张样本图像，并获取每张样本图像的标注信息。同时，服务器可以从测试数据集中获取多张测试图像，并获取每张测试图像的标注信息。
[0100] 步骤202：根据多张样本图像和每张样本图像的标注信息，对初始网络进行训练，得到基础识别模型。
[0101] 在本申请实施例中，初始网络可以包括特征提取网络和目标检测网络。服务器可以通过特征提取网络对第一样本图像进行特征提取，得到第一样本图像的特征矩阵，第一样本图像为多张样本图像中的任一样本图像；通过目标检测网络对特征矩阵进行处理，得到第一样本图像的样本检测结果；根据第一样本图像的标注信息和样本检测结果，确定损失函数值；根据损失函数值对特征提取网络和目标检测网络中的参数进行调整，并对第一样本图像进行更新，返回通过特征提取网络对第一样本图像进行特征提取的步骤，直至损失函数值满足第一预设条件时，将最后一次调整参数后的网络确定为基础识别模型。
[0102] 其中，服务器可以从多张样本图像中获取一张样本图像作为第一样本图像，将第一样本图像作为特征提取网络的输入，通过该特征提取网络对第一样本图像进行特征提取，从而得到第一样本图像的特征矩阵。该特征矩阵能够在高维抽象层面表征该第一样本图像内的信息。其中，考虑到该特征提取网络用于自动售货柜中，为了减少运算量，提高运算速度，该特征提取网络可以采用基于tensorflow深度学习框架下搭建的mobilenet-V2轻量级网络结构。当然，该特征提取网络也可以采用ShuffleNet、SqueezeNet或者更为强大的Darknet，Resnet等网络结构，本申请实施例对此不做限定。
[0103] 在得到第一样本图像的特征矩阵之后，可以将该特征矩阵作为目标检测网络的输入，通过目标检测网络对该特征矩阵进行处理，从而输出该第一样本图像的样本检测结果。该样本检测结果可以包括在第一样本图像中检测到的每个检测框的位置和尺寸以及每个检测框内的检测对象的类别。其中，在第一样本图像中检测到的检测框可能为一个，也可能为多个，且各个检测框的形状可以为矩形，每个检测框的位置可以为相应检测框的中心位置坐标。
[0104] 另外，还需要说明的是，目标检测网络可以采用基于tensorflow深度学习框架下搭建的YOLO-v3网络结构。可选地，也可以采用YOLOv2、SSD、RetinaNet、RefineNet、Faster RCNN等网络结构来进行目标检测，本申请实施例对此不做限定。
[0105] 可选地，除tensorflow深度学习框架之外，本申请实施例也可以选用其他的深度学习框架，例如Pytorch、Caffe、MXnet等，本申请实施例对此不做限定。
[0106] 在得到第一样本图像的样本检测结果之后，可以根据第一样本图像的样本检测结果与标注信息之间的差异来计算损失函数值，进而根据该损失函数值对网络中的各个参数进行调整。
[0107] 其中，对于第一样本图像的样本检测结果包括的每个检测框，可以根据该检测框的位置和包含的对象的类别，从第一样本图像的标注信息中查找该检测框对应的标注框。之后，可以根据每个检测框与对应的标注框之间的位置差异、每个检测框内包含的对象的类别与对应的标注框内包含的对象的类别之间的差异，计算得到损失函数值。该损失函数值可以用于表征样本检测结果与标注信息之间的差值，该损失函数值越大，则说明当前的检测结果越偏离真实结果。
[0108] 需要说明的是，在开始对初始网络进行训练之前，可以设置初始学习率，随着对网络训练次数的增加，学习率可以逐渐减小。学习率越小，对网络内参数的调整幅度越小，损失函数值的变化速度也越慢。
[0109] 在确定损失函数值之后，可以判断该损失函数值是否满足第一预设条件。如果该损失函数值不满足第一预设条件，则可以重新从多张样本图像中获取一张样本图像作为第一样本图像，也即，对之前的第一样本图像进行更新，从而根据更新后的样本图像重新参考前述过程来对网络内部参数进行调整，直至损失函数值满足第一预设条件时，将最后一次调整参数后的网络作为基础识别模型。
[0110] 其中，第一预设条件是指当前计算得到的损失函数值相较于之前计算的函数值已经无法再继续减小。基于此，在判断该损失函数值是否满足第一预设条件时，可以判断当前计算得到的损失函数值与当前时刻之前连续几次计算得到的损失函数值之间的差值是否均处于预设数值范围之内，如果是，则说明损失函数值已经趋于稳定，无法进一步减小，此时，可以停止训练过程，并将最近一次根据损失函数值调整参数后得到的网络作为基础识别模型。
[0111] 步骤203：根据多张测试图像和每张测试图像的标注信息，确定基础识别模型的检测精度。
[0112] 在训练得到基础识别模型之后，服务器还可以进一步地通过从测试数据集中获取的多张测试图像来对该基础识别模型进行测试。
[0113] 示例性地，服务器可以通过基础识别模型对每张测试图像进行识别，得到相应测试图像的检测结果；对每张测试图像的检测结果进行过滤，得到每张测试图像的识别结果；根据每张测试图像的识别结果和标注信息，确定基础识别模型的检测精度。
[0114] 以多张测试图像中的任一张测试图像为例，为了方便描述，将该测试图像称为第一测试图像。服务器可以将第一测试图像作为基础识别模型的输入，基础识别模型可以通过特征提取网络对该第一测试图像进行特征提取，得到第一测试图像的特征矩阵。之后，通过目标检测网络对特征矩阵进行处理，从而输出第一测试图像的检测结果。其中，第一测试图像的检测结果包括有在该第一测试图像中检测到的每个检测框的位置和大小、用于指示每个检测框内是否包含有对象的对象存在概率、每个检测框内包含的对象的多个候选类别以及每个候选类别对应的概率。
[0115] 在得到第一测试图像的检测结果之后，考虑到检测结果包括的检测框中可能存在误识别的检测框或者是存在重复的用于框选同一个对象的检测框，因此，服务器还可以对第一测试图像的检测结果包括的多个检测框进行筛选过滤，从而得到第一测试图像的最终识别结果。
[0116] 示例性地，对于第一测试图像的检测结果包括的每个检测框，服务器可以根据每个检测框的位置和尺寸，判断检测框是否全部位于第一测试图像的图像范围之内，如果检测框有部分或全部区域不位于第一测试图像的图像范围内，则可以确定该检测框为识别错误的无效检测框，此时，可以将该无效检测框删除。
[0118] 示例性地，服务器可以计算该检测框的对象存在概率与该检测框包含的对象的每个候选类别对应的概率之间的乘积，将计算得到的乘积中的最大值作为相应检测框的置信度，并将用于计算得到最大值的候选类别作为相应检测框包含的对象的目标类别。对于第一测试图像中的每个检测框，服务器均可以参考上述方法得到相应检测框对应的置信度和相应检测框内包含的对象的目标类别。
[0119] 之后，服务器可以从第一测试图像的检测结果包括的检测框中查找是否存在重复的检测框。其中，如果第一测试图像的检测结果中仅包括一个检测框，则可以直接确定该第一测试图像中不存在重复的检测框。此时，服务器可以将计算得到的该检测框对应的置信度和该检测框内包含的对象的目标类别作为第一测试图像的识别结果。
[0120] 可选地，如果第一测试图像的检测结果中包括多个检测框，则服务器可以计算每两个检测框之间的相对位置关系。根据每两个检测框之间的相对位置关系来判断这两个检测框是否为重复检测框。
[0121] 其中，服务器可以根据两个检测框的位置坐标和两个检测框的尺寸来确定两个检测框之间是否存在重叠区域，如果不存在重叠区域，则说明这两个检测框不为重复的检测框。如果存在重叠区域，若两个检测框的交集(重叠区域)面积占两个框并集(连通区域)面积的比例超过预设数值，且两个检测框内的类别对象为同一类别时，则可以确定这两个检测框为重复的检测框。
[0122] 对于确定出的重复的两个检测框，服务器可以将重复的检测框中置信度最高的检测框保留，而将置信度低的检测框删除。
[0123] 需要说明的是，可能存在多于两个的检测框均为重复的检测框，此时，也可以将其中置信度最高的保留。
[0124] 在对第一测试图像的检测结果中的检测框进行过滤之后，剩余的检测框即可以作为第一测试图像的最终识别结果。
[0125] 对于每张测试图像，服务器均可以参考上述对第一测试图像的处理过程对其进行处理，从而得到每张测试图像的识别结果。
[0126] 在确定出每张测试图像的识别结果之后，服务器可以根据将每张测试图像的识别结果与相应测试图像的标注信息，确定该基础识别模型的检测精度。
[0127] 示例性地，对于任一张测试图像的识别结果中的任一检测框，服务器可以根据该检测框内的对象的类别和位置，从该测试图像的标注信息中查找与其匹配的标注框，如果查找到，则可以计算该检测框与对应的标注框的交并集。如果交并集大于预设阈值，则确定这个检测框为正确检测。之后，服务器可以按照包含的对象的类别对该测试图像中的多个正确检测框进行分类，并对该测试图像的标注信息中的多个标注框分类。然后，服务器可以计算每个类别的正确检测框的数量占相应类别的标注框的数量的比例，从而得到基础识别模型对该测试图像中包含的每类对象的检测精确率。之后，服务器可以将所有测试图像中对同一类对象的检测精确率求均值，从而得到该基础识别模型对每类对象的检测平均精度。最后，服务器可以将所有类别的检测平均精度求均值，从而得到用于评价该基础识别模型的检测精度的mAP(Mean Average Precision，平均精度均值)。
[0128] 步骤204：判断该基础识别模型的检测精度是否达到参考精度值。
[0129] 其中，参考精度值可以为0.8、0.9或者是其他预设的数值。服务器可以判断基础识别模型的识别精度是否小于参考精度值，如果该识别精度小于参考精度值，则可以确定未达到参考精度值，此时，可以执行步骤206。如果该识别精度不小于参考精度值，则可以确定该识别精度达到了参考精度值，此时可以执行步骤205。
[0130] 步骤205：如果该基础识别模型的检测精度达到参考精度值，则将该基础识别模型确定为商品识别模型。
[0131] 步骤206：如果该基础识别模型的检测精度未达到参考精度值，则对多张样本图像进行更新，并返回步骤201。
[0132] 如果基础识别模型的检测精度未达到参考精度值，则服务器可以对多张样本图像进行更新，例如，可以对训练数据集进行更新。之后，服务器可以返回步骤201，重新获取多张样本图像，之后，根据重新获取的多张样本图像，通过步骤202-204重新对初始网络进行训练和测试，直至训练得到的模型的检测精度达到参考精度值时，将该模型作为商品识别模型。
[0133] 可选地，在一些可能的场景中，服务器可以参考上述方法通过多组样本图像对初始网络进行训练，得到多个基础识别模型，并通过测试数据集确定每个基础识别模型的检测精度。之后，可以将多个基础识别模型中检测精度大于参考精度值且检测精度最大的基础识别模型作为商品识别模型。
[0134] 在训练得到商品识别模型之后，可以将该商品识别模型部署在前述图1所示的自动售货柜的识别设备中。这样，识别设备即可以通过该商品识别模型对用户选购的商品进行识别。
[0135] 图4是本申请实施例提供的一种商品识别方法的流程图。如图4所示，该方法可以应用于图1所示的自动售货柜的识别设备中，该方法可以包括以下步骤：
[0136] 步骤401：获取在用户选购商品的过程中采集到的多张图像。
[0137] 在本申请实施例中，当自动售货柜的柜门打开时，自动售货柜上安装的图像采集装置可以开始进行图像采集，直到自动售货柜的柜门关闭为止，自动售货柜可以停止图像采集。由于自动售货柜的柜门从开启到关闭是用户选购商品的过程中，因此，图像采集装置在这个过程中采集到的图像即为在用户选购商品的过程中采集到的图像。图像采集装置可以在柜门关闭之后，将采集到的多张图像发送至识别设备，也可以在采集图像的过程中，实时的将采集到的图像发送至识别设备。相应地，识别设备可以接收图像采集装置采集的多张图像。
[0139] 需要说明的是，如果图像采集装置采集到的是图像，则每张图像上可以有一个时间戳，该时间戳可以用于指示相应图像的采集时间。如果图像采集装置采集到的是视频数据，则视频数据包括的每帧图像上可以具有一个时间戳，该时间戳同样可以指示相应图像的采集时间。
[0140] 可选地，如果自动售货柜上安装的图像采集装置有多个，则识别设备可以接收每个图像采集装置采集的图像或视频数据，并根据每个图像采集装置采集的图像或视频数据得到一个图像集，该每个图像采集装置对应的图像集中可以包括相应图像采集装置采集到的多张图像。在这种情况下，对于每个图像集，识别设备均可以采用下述步骤402-404来对该图像集内包括的多张图像进行处理。
[0141] 步骤402：通过商品识别模型对多张图像中的每张图像进行识别，得到每张图像的检测结果。
[0142] 其中，商品识别模型可以是通过图2所示的训练方法训练得到的。基于此，当识别设备获取到自动售货柜采集的多张图像之后，可以按照多张图像的采集时间的先后顺序，通过商品识别模型来依次对该多张图像中的每张图像进行识别，从而得到每张图像的检测结果。其中，每张图像的检测结果可以包括在相应图像中检测到的一个或多个候选框中每个候选框的位置和尺寸、用于指示每个候选框内是否包含有对象的对象存在概率、每个候选框内的对象的多个候选类别以及所述多个候选类别中每个候选类别对应的概率。
[0143] 步骤403：根据每张图像的检测结果，从多张图像中确定包含有手部和手部所持商品的多张目标图像。
[0144] 在得到每张图像的检测结果之后，识别设备可以根据每张图像的检测结果中每个候选框的对象存在概率、相应候选框内的对象的多个候选类别中每个候选类别对应的概率，确定相应候选框内的对象的类别和相应候选框对应的置信度；根据每张图像中每个候选框内的对象的类别和相应候选框对应的置信度，从多张图像中确定多张目标图像。
[0145] 以多张图像中的任一张图像为例，为了方便描述，可以将其称为第一图像。对于第一图像的检测结果包括的每个候选框，识别设备可以计算该候选框的对象存在概率与该候选框内的对象的每个候选类别对应的概率之间的乘积，将确定的乘积中的最大值作为该候选框的置信度，将用于计算得到最大值的候选类别作为该候选框内的对象的类别。
[0146] 在确定每个候选框的置信度和包含的对象的类别之后，识别设备可以参考前述介绍的对第一测试图像中的检测框进行过滤的方法对第一图像中的候选框进行过滤。
[0147] 在对第一图像的检测结果包括的候选框进行过滤之后，识别设备可以检测第一图像中是否存在包括的对象的类别为手部且对应的置信度大于参考置信度的一个或多个第一候选框，以及检测第一图像中是否存在包含的对象的类别为预设商品类别中的任一类别的一个或多个第二候选框。如果上述两种候选框均存在，则识别设备可以从一个或多个第一候选框中获取置信度最大的候选框作为第一目标框。与此同时，识别设备还可以从上述一个或多个第二候选框中获取置信度大于参考置信度的第二候选框作为第二目标框。
[0148] 在确定出第一目标框和第二目标框之后，如果第二目标框只有一个，则识别设备可以确定第一目标框和第二目标框之间的相对位置关系，如果第二目标框有多个，则识别设备可以确定每个第二目标框与第一目标框之间的相对位置关系。
[0149] 其中，识别设备可以根据第一目标框的中心位置坐标和第一目标框的尺寸、第二目标框的中心位置坐标和第二目标框的尺寸，确定第一目标框和第二目标框之间是否存在重叠区域。如果第一目标框和第二目标框之间存在重叠区域，则可以确定该重叠区域的面积。通过该重叠区域的面积来表征第一目标框和第二目标框之间的相对位置关系。如果第一目标框和第二目标框之间不存在重叠区域，则可以确定二者之间的相对位置关系为不重叠。
[0150] 在确定第一目标框和第二目标框的相对位置关系之后，如果第一目标框和第二目标框的相对位置关系表征二者之间存在重叠，则可以确定这两个目标框满足第二预设条件。如果第一图像中存在满足第二预设条件的第一目标框和第二目标框，则可以将该第一图像确定为目标图像。
[0151] 对于该多张图像中的每张图像，识别设备均可以参考上述对第一图像的处理方法来进行处理，从而从多张图像中确定出多张目标图像。
[0152] 步骤404：根据每张目标图像中手部和手部所持商品的位置信息以及每张目标图像的采集时间，确定商品识别结果。
[0153] 由上述确定目标图像的过程可知，每张目标图像中包括存在重叠区域的第一目标框和第二目标框，其中，第一目标框内的对象为手部，第二目标框内的对象为商品。由于第一目标框和第二目标框存在重叠区域，因此可知，第二目标框内的商品即为手部所持商品。在此基础上，识别设备可以根据多张目标图像中手部和手部所持商品的位置信息以及每张目标图像的采集时间，确定商品识别结果。
[0154] 示例性地，识别设备可以按照采集时间先后顺序对多张目标图像进行排序。之后，根据每张目标图像中的第一目标框的位置(也即手部的位置)和第二目标框的位置，(也即手部所持商品的位置)，按照多张目标图像的顺序来确定手部和手部所持商品在图像中的运动轨迹。如果该运动轨迹沿着第一方向逐渐远离图像中的预设基准线，并且，最终该运动轨迹并未折返，则可以根据将第二目标框内的对象的类别作为最终的商品识别结果。
[0155] 可选地，如果该运动轨迹沿着第一方向逐渐远离预设基准线，之后，由沿着第二方向逐渐靠近预设基准线，在跨过预设基准线之后，继续沿着第二方向远离预设基准线，则说明用户在拿取了商品之后，又将商品放回了货架，此时，构成这一段运动轨迹的第二目标框内的对象将不为用户拿取的商品，可以对这些第二目标框内的商品进行排除。
[0156] 其中，预设基准线是指用户手部位于柜门边缘不同位置处时，手部在图像采集装置中采集到的图像中对应的位置点所形成的一条基准线。当用户手部在图像中的位置位于该基准线的一侧时，表明在现实环境中用户手部在柜门内，当用户手部在图像中的位置位于该基准线的另一侧时，则表明现实环境中用户手部已经在柜门之外。
[0157] 例如，参见图5，预设基准线为L1，当用户的手部位于该预设基准线的上方时，则说明用户手部已经位于柜门之外，当用户手部位于该预设基准线的下方时，则说明用户手部位于柜门内。当用户手部和手部所持商品沿着向上的方向逐渐远离预设基准线时，则可以确定用户拿取了商品，否则，可以确定用户放回了商品。据此，可以根据手部所持商品远离基准线且不存在折返的运动轨迹中第二目标框内的对象类别确定得到商品的类别。
[0158] 在本申请实施例中，可以通过商品识别模型对多张图像中的每张图像进行识别。由于商品识别模型由包含有手部和商品的多张样本图像训练得到，因此，根据该商品识别模型可以检测到图像中包含的手部以及商品。在此基础上，根据商品识别模型得到的图像的检测结果，可以确定出包含有手部和手部所持商品的多张目标图像。这样，根据每张目标图像中手部和手部所持商品的位置信息以及每张目标图像的采集时间来确定商品识别结果，相当于过滤掉了图像中包含的其他干扰信息，只关注手部所持商品的类别，从而减少了对其他无关商品的误识别，提高商品识别准确率。
[0159] 接下来对本申请实施例提供的商品识别装置进行介绍。
[0160] 参见图6，本申请实施例提供了一种商品识别装置600，该商品识别装置可以应用于图1所示的自动售货柜中，该装置600包括：
[0161] 第一获取模块601，用于获取在用户选购商品的过程中采集到的多张图像；
[0162] 识别模块602，用于通过商品识别模型对多张图像中的每张图像进行识别，得到每张图像的检测结果，商品识别模型由包含有手部和商品的多张样本图像训练得到；
[0163] 第一确定模块603，用于根据每张图像的检测结果，从多张图像中确定包含有手部和手部所持商品的多张目标图像；
[0164] 第二确定模块604，用于根据每张目标图像中手部和手部所持商品的位置信息以及每张目标图像的采集时间，确定商品识别结果。
[0165] 可选地，该装置600还包括：
[0166] 第二获取模块，用于获取多张测试图像和每张测试图像的标注信息，以及获取多张样本图像和每张样本图像的标注信息，标注信息用于指示相应图像中手部的位置和商品的位置；
[0167] 训练模块，用于根据多张样本图像和每张样本图像的标注信息，对初始网络进行训练，得到基础识别模型；
[0168] 第三确定模块，用于根据多张测试图像和每张测试图像的标注信息，确定基础识别模型的检测精度；
[0169] 触发模块，用于如果检测精度未达到参考精度值，则对多张样本图像进行更新，并触发第二获取模块获取多张样本图像和每张样本图像的标注信息，直到检测精度达到参考精度值时，将最后一次得到的基础识别模型作为商品识别模型。
[0170] 可选地，初始网络包括特征提取网络和目标检测网络；
[0171] 训练模块具体用于：
[0172] 通过特征提取网络对第一样本图像进行特征提取，得到第一样本图像的特征矩阵，第一样本图像为多张样本图像中的任一样本图像；
[0173] 通过目标检测网络对特征矩阵进行处理，得到第一样本图像的样本检测结果；
[0174] 根据第一样本图像的标注信息和样本检测结果，确定损失函数值；
[0175] 如果损失函数值不满足第一预设条件，则根据损失函数值对特征提取网络和目标检测网络中的参数进行调整，并对第一样本图像进行更新，返回通过特征提取网络对第一样本图像进行特征提取的步骤，直至损失函数值满足第一预设条件时，将最后一次调整参数后的网络确定为基础识别模型。
[0176] 可选地，标注信息包括相应图像中的每个标注框的位置和尺寸、以及每个标注框中的标注对象的类别，标注对象为手部或商品；样本检测结果包括在相应样本图像中检测到的每个检测框的位置和尺寸、以及每个检测框内的检测对象的类别。
[0177] 可选地，第三确定模块具体用于：
[0178] 通过基础识别模型对每张测试图像进行识别，得到相应测试图像的检测结果；
[0179] 对每张测试图像的检测结果进行过滤，得到每张测试图像的识别结果；
[0180] 根据每张测试图像的识别结果和标注信息，确定基础识别模型的检测精度。
[0181] 可选地，多张图像中的每张图像的检测结果包括相应图像中的一个或多个候选框中每个候选框的位置和尺寸、用于指示每个候选框内是否包含有对象的对象存在概率、每个候选框内的对象的多个候选类别以及多个候选类别中每个候选类别对应的概率；
[0182] 第一确定模块603具体用于：
[0183] 根据每张图像的检测结果中每个候选框的对象存在概率、相应候选框内的对象的多个候选类别中每个候选类别对应的概率，确定相应候选框内的对象的类别和相应候选框对应的置信度；
[0184] 根据每张图像中每个候选框内的对象的类别、每个候选框对应的置信度以及每个候选框的位置和尺寸，对每张图像的检测结果进行过滤，得到每张图像的识别结果；
[0185] 根据每张图像的识别结果，从多张图像中确定多张目标图像。
[0186] 可选地，第一确定模块603具体用于：
[0187] 如果第一图像中存在包含的对象的类别为手部且对应的置信度大于参考置信度的一个或多个第一候选框，则从一个或多个第一候选框获取置信度最大的候选框作为第一目标框；
[0188] 如果第一图像中存在包含的对象的类别为预设商品类别中的任一类别的一个或多个第二候选框，则从一个或多个第二候选框中获取置信度大于参考置信度的第二目标框；
[0189] 根据每个第二目标框的位置和第一目标框的位置，确定每个第二目标框与第一目标框的相对位置关系；
[0190] 如果任一第二目标框与第一目标框的相对位置关系满足第二预设条件，则将第一图像确定为目标图像。
[0191] 综上所述，本申请实施例可以通过商品识别模型对多张图像中的每张图像进行识别。由于商品识别模型由包含有手部和商品的多张样本图像训练得到，因此，根据该商品识别模型可以检测到图像中包含的手部以及商品。在此基础上，根据商品识别模型得到的图像的检测结果，可以确定出包含有手部和手部所持商品的多张目标图像。这样，根据每张目标图像中手部和手部所持商品的位置信息以及每张目标图像的采集时间来确定商品识别结果，相当于过滤掉了图像中包含的其他干扰信息，只关注手部所持商品的类别，从而减少了对其他无关商品的误识别，提高商品识别准确率。
[0192] 需要说明的是：上述实施例提供的商品识别装置在进行商品识别时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的商品识别装置与商品识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0193] 图7是本申请实施例提供的一种用于进行商品识别的识别设备700的结构示意图。上述图4所示的实施例中的识别设备的功能即可以通过图7中所示的识别设备来实现。具体来讲：
[0194] 处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Processing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
[0195] 存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，其中，，该至少一个指令用于被处理器701所执行以实现本申请中方法实施例提供的商品识别方法。
[0196] 在一些实施例中，识别设备700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：射频电路704、定位组件705和电源706中的至少一种。
[0197] 外围设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
[0198] 射频电路704用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它识别设备进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路704还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
[0199] 定位组件705用于定位识别设备700的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件705可以是基于美国的GPS(Global Positioning System，全球定位系统)、中国的北斗系统或欧盟的伽利略系统的定位组件。
[0200] 电源706用于为识别设备700中的各个组件进行供电。电源706可以是交流电、直流电、一次性电池或可充电电池。当电源706包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
[0201] 应当理解的是，上述图7所示的结构并不构成对识别设备700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0202] 另外，本申请实施例不仅提供了一种识别设备，包括处理器和用于存储处理器可执行指令的存储器，其中，处理器被配置为执行图4所示的商品识别方法，而且，本申请实施例还提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，该计算机程序被处理器执行时可以实现图4所示的商品识别方法。
[0203] 本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述图4所示实施例提供的商品识别方法或者是上述图3所示实施例提供的商品识别模型的训练方法。
[0204] 本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 用于确定数字资产交易所的偿付能力的方法、系统和计算机程序产品 | 2020-05-08 | 763 |
| 多通道无源互调数字抵消电路 | 2020-05-08 | 92 |
| 电动助力转向装置 | 2020-05-08 | 878 |
| 用于对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的设备 | 2020-05-08 | 904 |
| 实现基于区块链的工作流 | 2020-05-08 | 173 |
| 使用基于图案的块滤波进行视频编码和解码的方法和装置 | 2020-05-08 | 1088 |
| 基于区块链的传票送达 | 2020-05-08 | 807 |
| 用于当取回像素核时降低存储器延迟的方法、系统和设备 | 2020-05-08 | 968 |
| 用于数据传输的方法、发送端设备和接收端设备 | 2020-05-08 | 969 |
| 操作高速缓存的方法 | 2020-05-11 | 881 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈