一种基于RGBD信息与深度学习的商品快速结算系统
阅读：829发布：2024-01-04
专利汇可以提供一种基于RGBD信息与深度学习的商品快速结算系统专利检索，专利查询，专利分析的服务。并且本 发明 涉及 机器学习 、 计算机视觉 以及商品快速结算等技术领域，尤其涉及一种基于RGBD信息与 深度学习 的商品快速结算系统，该系统由 硬件 部分及 软件 部分构成，硬件部分由传送带、商品、结算关口、摄像头及红外传感装置组成，软件部分的主要载体为PC及其他提供程序运行环境的设备，所述商品放置在传送带上，且传送带为商品的输送装置；所述结算关口设置在传送带的一端；所述红外传感装置设置在结算关口的内壁上，且红外传感装置与结算关口通过镶嵌方式相连接。本发明通过结构上的改进，具有对硬件环境要求低，成本低，商品结算效率高，不存在信息标签受损而无法识别的情况， 稳定性 高，识别 精度 准度高，识别效果好，从而有效的解决了 现有技术 中存在的问题和不足。，下面是一种基于RGBD信息与深度学习的商品快速结算系统专利的具体信息内容。
1.一种基于RGBD信息与深度学习的商品快速结算系统，其特征在于：该系统由硬件部分及软件部分构成，硬件部分由传送带（1）、商品（2）、结算关口（3）、摄像头（4）及红外传感装置（5）组成，软件部分的主要载体为PC及其他提供程序运行环境的设备，所述商品（2）放置在传送带（1）上，且传送带（1）为商品（2）的输送装置；所述结算关口（3）设置在传送带（1）的一端；所述红外传感装置（5）设置在结算关口（3）的内壁上，且红外传感装置（5）与结算关口（3）通过镶嵌方式相连接；所述摄像头（4）设置在结算关口（3）顶端中间位置的内壁上，且摄像头（4）与结算关口（3）通过镶嵌方式相连接。
2.根据权利要求1所述的一种基于RGBD信息与深度学习的商品快速结算系统，其特征在于：所述软件部分信息输入设备为摄像头（4），且软件部分包括图像采集和拼接、目标商品定位、目标商品特征提取和属性标签识别、图像检索四个功能模块。
3.根据权利要求1所述的一种基于RGBD信息与深度学习的商品快速结算系统，其特征在于：所述软件部分开发工具为Python3.5.2、TensorFlow1.6.0、OpenCV3.2.0。
4.根据权利要求1所述的一种基于RGBD信息与深度学习的商品快速结算系统，其特征在于：所述摄像头（4）及红外传感装置（5）均与载体通过电性相连接。
5.根据权利要求1所述的一种基于RGBD信息与深度学习的商品快速结算系统，其特征在于：所述红外传感装置（5）为LHl958型热释电红外传感器，且红外传感装置（5）由红外线发射端及红外线接收端组成，红外线发射端与红外线接收端在结算关口（3）两侧的内壁上呈对称状分布。
6.根据权利要求1所述的一种基于RGBD信息与深度学习的商品快速结算系统，其特征在于：所述摄像头（4）为RGBD摄像头。
7.一种根据权利要求1所述基于RGBD信息与深度学习的商品快速结算系统的工作方法：将购买的所有商品2无堆叠地排放在传送带1上，红外装置感应5到有商品2经过时，后台系统控制RGBD摄像头4开始采集商品2图像，在商品2离开时停止采集，并将采集到的多张时间序列图像拼接为一副完整图像；然后，基于深度信息对图像中出现的所有目标商品进行定位，得到多个候选区位置信息，并基于这些候选区对相应的位置上的RGB图像进行裁剪和统一大小；接着将这些RGB图像作为一个批次，进行特征提取，可以得到每个目标商品的特征和属性标签；在商品数据库中，利用属性标签进行索引，与相应索引空间中的样本商品特征进行相似度匹配，从而识别商品并获得商品信息。
8.根据权利要求7所述基于RGBD信息与深度学习的商品快速结算系统的工作方法，其特征在于，还包括通过层级属性进行复杂商品的识别，具体步骤如下：
（1）、构建具有层级属性标签的商品数据集：
在商品数据集中，标注信息需要包括目标商品的位置信息和类别信息；
为节省人力，采用RGBD摄像头采集商品图像，并编写程序根据深度信息对图像中的目标商品的位置进行自动标注，另外，类别信息除了要包含商品的最小类别标签，还引入了商品的层级属性标签，用来辅助商品识别，这些属性标签分属不同的属性维度，如品种、品牌、包装等，属性标签就对应于这些属性维度的取值，具体到某一个单品，如伊利纯牛奶，各属性维度的取值分别是牛奶、伊利、盒装等；
（2）、基于层级属性进行多任务学习：
本系统基于商品的层级属性，使用了多任务学习方式，具体的，基于卷积神经网络DenseNet，设计了一个带有分支结构的新模型，各分支可以分别针对不同任务进行学习，在模型训练过程中，经过数据集中不同的属性标签的引导，该模型最后可以提取目标商品在不同属性维度上的属性特征，经过特征融合后，可以得到辨识力更好的商品特征，从而提高商品识别的准确率；
（3）、基于属性标签进行图像检索：
考虑到系统对新商品的识别问题，在获得目标商品的特征信息后，采用特征匹配的方式来代替分类操作，具体过程是将目标商品的特征与商品数据库中的样本商品的特征进行组合，利用一种分类器对该组合特征进行预测，可以得到目标商品就是该样本商品的置信分数，通过对多组组合特征进行预测和比较，最后根据最大置信分数完成商品识别，本专利使用三层全连接神经网络作为分类器，在本专利中，对目标商品的属性标签进行识别后，可以缩小对商品数据库的检索范围，减少与样本商品的特征的组合数，提高商品识别的效率；
（4）、构建样本商品数据库：
超市中的每一种商品在进入超市货架前，都需要在数据库中进行注册，注册过程就是利用模型对商品进行特征提取和属性标签的识别，然后基于属性标签构建具有一定层次结构的索引空间，空间内存放的便是该种商品的融合特征。
一种基于RGBD信息与深度学习的商品快速结算系统
技术领域
背景技术
[0002] 图像拼接技术就是将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅大型的无缝高分辨率图像的技术。很多时候，由于普通摄像头的分辨率有限，捕获更大视野范围的图像会使得目标区域失真严重。为了在不降低图像分辨率的条件下获取更大视角的图像,利用计算机进行图像拼接的技术已经成为计算机图形学的研究焦点,被广泛应用于空间探测、遥感图像处理、医学图像分析、视频压缩和传输、虚拟现实技术、超分辨率重构等领域。
[0003] 图像配准和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础,而且图像配准算法的计算量一般非常大,因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。早期的图像配准技术主要采用点匹配法,这类方法速度慢、精度低,而且常常需要人工选取初始匹配点,无法适应大数据量图像的融合。之后,许多图像自动拼接技术陆续提出，并被广泛应用。
[0004] 图像拼接的方法很多,不同的算法步骤会有一定差异,但大致的过程是相同的，主要包括：1)图像预处理：包括数字图像处理的基本操作(如去噪、边缘提取、直方图处理等)、建立图像的匹配模板以及对图像进行某种变换(如傅里叶变换、小波变换等)等操作；
2)图像配准：就是采用一定的匹配策略,找出待拼接图像中的模板或特征点在参考图像中对应的位置,进而确定两幅图像之间的变换关系；
3)建立变换模型：根据模板或者图像特征之间的对应关系,计算出数学模型中的各参数值,从而建立两幅图像的数学变换模型；
4)统一坐标变换：根据建立的数学转换模型,将待拼接图像转换到参考图像的坐标系中,完成统一坐标变换；
5)融合重构：将带拼接图像的重合区域进行融合得到拼接重构的平滑无缝全景图像。
2)图像配准：就是采用一定的匹配策略,找出待拼接图像中的模板或特征点在参考图像中对应的位置,进而确定两幅图像之间的变换关系；
3)建立变换模型：根据模板或者图像特征之间的对应关系,计算出数学模型中的各参数值,从而建立两幅图像的数学变换模型；
4)统一坐标变换：根据建立的数学转换模型,将待拼接图像转换到参考图像的坐标系中,完成统一坐标变换；
5)融合重构：将带拼接图像的重合区域进行融合得到拼接重构的平滑无缝全景图像。
[0005] 在商品检测和识别的系统中，同一顾客购买的商品可能会排放地较为分散，而摄像头位置固定且视距有限，通过传送带移动商品进行检测会得到多张连续的时间序列图像，使用图像拼接技术可以保证结算过程不会重复计算同一个商品的价格。
[0006] RGB色彩空间是工业界的一种颜色标准，是通过对红、绿、蓝三个颜色通道值的变化以及它们相互之间的叠加来得到各种各样的颜色，这几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。日常图像采集中获得的RGB图像就是指包含了红、绿、蓝三个颜色通道信息的图像。RGBD图像则包含了一个普通的RGB三通道彩色图像和一个深度信息图像，其中深度图像类似于灰度图像，它的每个像素值都是传感器距离成像物体的实际距离。通常RGB图像和深度图像是配准的，像素点之间具有一对一的对应关系。
[0007] 近年来，由于3D技术、设备的不断发展和完善，3D图像的质量越来越高，对深度信息的获取也越来越容易。因此，利用RGBD图像进行计算机视觉研究的工作也越来越多，传统的利用平面图像进行的图像分析已经逐步转变为利用深度信息或平面图像与深度信息相结合的方式，这可以解决一些二维平面图像难以解决的问题，如对物体进行空间定位的问题。
[0008] 目前，利用图像深度信息进行物体定位的方式是基于物体的几何特征进行点云分割，然后通过成像关系和RGBD配准信息，在图像上找到对应的ROI，从而完成物体的定位。在物体相互遮挡的复杂情况下，点云分割仍然可行，但是需要进行大量计算。
[0009] 在本专利中，成像区域中的背景区域为水平传送带，目标区域为分开排放的各种商品，二者的深度信息有着明显的落差。通过成像区域深度信息的落差和配准信息，可以直接判断出物体在RGB图像中的位置，从而更加简单快速地对图像中的商品进行定位。
[0010] 在2012年之前，业界普遍采用传统的目标检测方法：首先，设置不同尺度和不同长宽比的滑动窗口，在整幅图像上进行遍历，得到目标所有可能出现的位置；然后，使用SIFT或HOG等特征提取器，对这些区域提取特征；最后，基于这些特征，使用SVM或AdaBoost等分类器进行分类。传统的方式存在两个主要问题：一个是基于滑动窗口的区域选择策略没有针对性，时间复杂度高，窗口冗余；二是手工设计的特征对于多样性的变化并没有很好的鲁棒性。
[0011] 2012年，在ILSVRC（ImageNet Large Scale Visual Recognition Challenge）比赛中，一个大规模、有深度的卷积神经网络——AlexNet，以15.4%的top 5分类错误率获得了冠军，而没有使用深度卷积神经网络的第二名的成绩是26.2%。此后，深度神经网络在图像识别等领域开始引起国内外研究人员的广泛关注，每年都出现了各种结构的卷积神经网络模型，包括ZFNet、VGGNet、GoogleNet、ResNet以及DenseNet等。
[0012] 2014年，第一个基于深度卷积神经网络的目标检测算法——R-CNN出现，并在VOC2007上的检测结果（mAP）达到了66%，远超传统目标检测算法DPM HSC的34.3%。此后，在此基础上不断出现经过改进的或是新的基于深度学习的目标检测算法。大致出现了两种路线，一种是基于候选框的目标检测算法，以R-CNN、SPP-NET、Fast R-CNN、Faster R-CNN为代表。另一种是基于回归方法的目标检测算法，以YOLO和SSD为代表。总的来看，基于深度学习的目标检测流程变得越来越精简，精度越来越高，速度越来越快。其中，基于候选框的R-CNN系列目标检测方法是当前目标检测最主要的分支之一。而YOLO则提出了利用回归方法进行目标检测的新思路，SSD则使目标检测在实际中的应用成为可能。
[0013] 目前，一些超市和商店采用的商品结算的技术方案主要有两种，包括基于条形码技术的方案和基于RFID（无线射频识别）技术的方案。另外，也有一部分像亚马逊无人商店那样，采用基于多传感器、计算机视觉和深度学习技术的商品结算方案。
[0014] 1、基于条形码技术的商品结算方案：目前，大多数超市和商店的商品结算都是基于商品条形码识别技术，通过扫描条形码便可完成商品识别，从而完成结算过程。条形码识别方式具有简单实用、准确可靠、成本低廉的特点，有着完善的标准体系，已被普遍接受；2、基于RFID技术的商品结算方案：2016年以来，一些新型的无人商店开始陆续出现，为解决多点购物结算问题，提高结算效率和可靠性，相当一部分无人商店的商品结算方案是基于RFID技术。这些商店内设有专门的商品识别区，可以对多物品同时进行识别，可靠性高。RFID技术具有快速扫描、抗污染能力强、使用寿命长、读取距离大、数据存储容量大、可重新写入和可加密等优点；
3、“Amazon Go”：“Amazon Go”实现了一种“即买即走”的新型无人商店购物模式。这种无排队结算过程的技术方案采用了红外传感器、压力传感器等多传感器融合技术，并基于计算机视觉和深度学习技术对用户购买行为进行分析，得到商品的状态和位置以及用户行为等数据后，通过商品—动作—人的判别模型，对顾客购买的商品进行记录和跟踪，并在顾客离开商店后自动完成结算。
3、“Amazon Go”：“Amazon Go”实现了一种“即买即走”的新型无人商店购物模式。这种无排队结算过程的技术方案采用了红外传感器、压力传感器等多传感器融合技术，并基于计算机视觉和深度学习技术对用户购买行为进行分析，得到商品的状态和位置以及用户行为等数据后，通过商品—动作—人的判别模型，对顾客购买的商品进行记录和跟踪，并在顾客离开商店后自动完成结算。
[0015] 但是，现有商品结算的技术方案存在以下缺点：一、条形码技术：
1)只能逐个商品进行扫码识别；
2)容易受到毁损，无法进行正常的识别；
3)条形码中只包含了有限的商品信息，且需要主动写入；
4)视野范围有限，需要将条形码对齐到扫描区才能完成识别。
1)只能逐个商品进行扫码识别；
2)容易受到毁损，无法进行正常的识别；
3)条形码中只包含了有限的商品信息，且需要主动写入；
4)视野范围有限，需要将条形码对齐到扫描区才能完成识别。
[0016] 二、RFID技术：1)RFID标签成本较高；
2)商品信息要靠主动写入；
3)RFID标签容易脱落，导致商品无法进行识别；
4)应用到金属和液体商品上时，识别效果可能会有影响。
2)商品信息要靠主动写入；
3)RFID标签容易脱落，导致商品无法进行识别；
4)应用到金属和液体商品上时，识别效果可能会有影响。
[0017] 三、“Amazon GO”：1)整套系统搭建起来成本很高，门店改造较大；
2)对算法能力要求非常高，技术实施起来较难；
3)当店内人数过多时，计算量会很大，容易出现失效的情况。
2)对算法能力要求非常高，技术实施起来较难；
3)当店内人数过多时，计算量会很大，容易出现失效的情况。
[0018] 目前，在超市或小商店中采用的商品结算方式，基本上分为两种：一是传统方式，由收银员全程负责扫描商品完成结算；二是自助支付方式，由顾客单独完成商品结算。
[0019] 出于商品防损的考虑，绝大部分的超市和商店仍采用传统的结算方式。但是，在节假日期间或是平时高峰时间段，由于收银员短缺，常常会出现顾客排长队，产生销售损失，以及顾客体验变差等问题。出于这些原因，以及近年来移动支付的兴起，一些零售商开始尝试自助支付的方式。
[0020] 这两种方式都是通过扫描条形码来识别商品，从而完成结算过程。扫描过程是逐个商品进行的，而且需要将条形码对齐到扫描区。整个扫描过程需要收银员或顾客自己全程参与，而且只能逐个商品地进行，不仅耗费了大量人力，而且结算速度慢。另外，商品条形码损坏的情况也时有发生，使得顾客不得不重新选购该商品或直接导致顾客放弃购买该商品。
[0021] 基于这两个现实问题，本专利设计了一种商品快速结算系统。该系统可以同时识别多个商品；并且基于商品整体特点进行识别，即使受到部分损坏，也不会受到太大影响。这可以加快商品结算速度，有助于提高超市管理的效率，并能改善顾客的购物体验。
[0022] 该系统设置在超市商品的结算关口，由商品传送带、RGBD摄像头、深度学习算法模型和商品数据库组成。顾客将所有商品依次分开排放在水平传送带上，由传送带将商品送至商品检测关口；检测关口的RGBD摄像头实时地捕捉商品图片；由后台系统进行图像配准拼接，并基于拼接后的图像进行商品检测；检索商品数据库中的样本商品并进行比对，根据相似度完成识别过程。上述问题的本质是图像配准拼接、目标定位、特征提取和匹配，以及图像检索问题。
发明内容
[0023] 本发明的目的在于提供一种基于RGBD信息与深度学习的商品快速结算系统，以解决背景技术中提出的条形码技术：只能逐个商品进行扫码识别；容易受到毁损，无法进行正常的识别；条形码中只包含了有限的商品信息，且需要主动写入；视野范围有限，需要将条形码对齐到扫描区才能完成识别，RFID技术：RFID标签成本较高；商品信息要靠主动写入；RFID标签容易脱落，导致商品无法进行识别；应用到金属和液体商品上时，识别效果可能会有影响，“Amazon GO”：整套系统搭建起来成本很高，门店改造较大；对算法能力要求非常高，技术实施起来较难；当店内人数过多时，计算量会很大，容易出现失效的情况的问题和不足。
[0024] 本发明的目的与功效，由以下具体技术方案所达成：一种基于RGBD信息与深度学习的商品快速结算系统，该系统由硬件部分及软件部分构成，硬件部分由传送带、商品、结算关口、摄像头及红外传感装置组成，软件部分的主要载体为PC及其他提供程序运行环境的设备，所述商品放置在传送带上，且传送带为商品的输送装置；所述结算关口设置在传送带的一端；所述红外传感装置设置在结算关口的内壁上，且红外传感装置与结算关口通过镶嵌方式相连接；所述摄像头设置在结算关口顶端中间位置的内壁上，且摄像头与结算关口通过镶嵌方式相连接。
[0025] 优选的，所述软件部分信息输入设备为摄像头，且软件部分包括图像采集和拼接、目标商品定位、目标商品特征提取和属性标签识别、图像检索四个功能模块。
[0026] 优选的，所述软件部分开发工具为Python3.5.2、TensorFlow1.6.0、OpenCV3.2.0。
[0027] 优选的，所述摄像头及红外传感装置均与载体通过电性相连接。
[0028] 优选的，所述红外传感装置为LHl958型热释电红外传感器，且红外传感装置由红外线发射端及红外线接收端组成，红外线发射端与红外线接收端在结算关口两侧的内壁上呈对称状分布。
[0029] 优选的，所述摄像头为RGBD摄像头。
[0030] 上述基于RGBD信息与深度学习的商品快速结算系统的工作方法：将购买的所有商品2无堆叠地排放在传送带1上，红外装置感应5到有商品2经过时，后台系统控制RGBD摄像头4开始采集商品2图像，在商品2离开时停止采集，并将采集到的多张时间序列图像拼接为一副完整图像；然后，基于深度信息对图像中出现的所有目标商品进行定位，得到多个候选区位置信息，并基于这些候选区对相应的位置上的RGB图像进行裁剪和统一大小；接着将这些RGB图像作为一个批次，进行特征提取，可以得到每个目标商品的特征和属性标签；在商品数据库中，利用属性标签进行索引，与相应索引空间中的样本商品特征进行相似度匹配，从而识别商品并获得商品信息。
[0031] 上述基于RGBD信息与深度学习的商品快速结算系统的工作方法，还包括通过层级属性进行复杂商品的识别，具体步骤如下：（1）、构建具有层级属性标签的商品数据集：
在商品数据集中，标注信息需要包括目标商品的位置信息和类别信息。为节省人力，采用RGBD摄像头采集商品图像，并编写程序根据深度信息对图像中的目标商品的位置进行自动标注，另外，类别信息除了要包含商品的最小类别标签，还引入了商品的层级属性标签，用来辅助商品识别，这些属性标签分属不同的属性维度，如品种、品牌、包装等，属性标签就对应于这些属性维度的取值，具体到某一个单品，如伊利纯牛奶，各属性维度的取值分别是牛奶、伊利、盒装等；
（2）、基于层级属性进行多任务学习：
本系统基于商品的层级属性，使用了多任务学习方式，具体的，基于卷积神经网络DenseNet，设计了一个带有分支结构的新模型，各分支可以分别针对不同任务进行学习，在模型训练过程中，经过数据集中不同的属性标签的引导，该模型最后可以提取目标商品在不同属性维度上的属性特征，经过特征融合后，可以得到辨识力更好的商品特征，从而提高商品识别的准确率；
（3）、基于属性标签进行图像检索：
考虑到系统对新商品的识别问题，在获得目标商品的特征信息后，采用特征匹配的方式来代替分类操作，具体过程是将目标商品的特征与商品数据库中的样本商品的特征进行组合，利用一种分类器对该组合特征进行预测，可以得到目标商品就是该样本商品的置信分数，通过对多组组合特征进行预测和比较，最后根据最大置信分数完成商品识别，本专利使用三层全连接神经网络作为分类器，在本专利中，对目标商品的属性标签进行识别后，可以缩小对商品数据库的检索范围，减少与样本商品的特征的组合数，提高商品识别的效率；
（4）、构建样本商品数据库：
超市中的每一种商品在进入超市货架前，都需要在数据库中进行注册，注册过程就是利用模型对商品进行特征提取和属性标签的识别，然后基于属性标签构建具有一定层次结构的索引空间，空间内存放的便是该种商品的融合特征。
在商品数据集中，标注信息需要包括目标商品的位置信息和类别信息。为节省人力，采用RGBD摄像头采集商品图像，并编写程序根据深度信息对图像中的目标商品的位置进行自动标注，另外，类别信息除了要包含商品的最小类别标签，还引入了商品的层级属性标签，用来辅助商品识别，这些属性标签分属不同的属性维度，如品种、品牌、包装等，属性标签就对应于这些属性维度的取值，具体到某一个单品，如伊利纯牛奶，各属性维度的取值分别是牛奶、伊利、盒装等；
（2）、基于层级属性进行多任务学习：
本系统基于商品的层级属性，使用了多任务学习方式，具体的，基于卷积神经网络DenseNet，设计了一个带有分支结构的新模型，各分支可以分别针对不同任务进行学习，在模型训练过程中，经过数据集中不同的属性标签的引导，该模型最后可以提取目标商品在不同属性维度上的属性特征，经过特征融合后，可以得到辨识力更好的商品特征，从而提高商品识别的准确率；
（3）、基于属性标签进行图像检索：
考虑到系统对新商品的识别问题，在获得目标商品的特征信息后，采用特征匹配的方式来代替分类操作，具体过程是将目标商品的特征与商品数据库中的样本商品的特征进行组合，利用一种分类器对该组合特征进行预测，可以得到目标商品就是该样本商品的置信分数，通过对多组组合特征进行预测和比较，最后根据最大置信分数完成商品识别，本专利使用三层全连接神经网络作为分类器，在本专利中，对目标商品的属性标签进行识别后，可以缩小对商品数据库的检索范围，减少与样本商品的特征的组合数，提高商品识别的效率；
（4）、构建样本商品数据库：
超市中的每一种商品在进入超市货架前，都需要在数据库中进行注册，注册过程就是利用模型对商品进行特征提取和属性标签的识别，然后基于属性标签构建具有一定层次结构的索引空间，空间内存放的便是该种商品的融合特征。
[0032] 由于上述技术方案的运用，本发明与现有技术相比具有下列优点：1、本发明该系统由硬件部分及软件部分构成，硬件部分由传送带、商品、结算关口、摄像头及红外传感装置组成，软件部分的主要载体为PC及其他提供程序运行环境的设备的设置，通过硬件部分及软件部分的配合能够大大提高商品结算效率，且对硬件环境要求相对较低，因此成本较低，系统搭建起来较为容易，门店改造相对可控。
[0033] 2、本发明软件部分信息输入设备为摄像头，且软件部分包括图像采集和拼接、目标商品定位、目标商品特征提取和属性标签识别、图像检索四个功能模块的设置，可以同时识别多个商品，且该系统基于商品整体特点进行识别，即使受到部分损坏，也不会受到太大影响，识别精准度高，可以加快商品结算速度。
[0034] 3、本发明摄像头及红外传感装置均与载体通过电性相连接的设置，能够将摄像头采集到的商品图像实时传输至载体，且通过红外传感装置能够实时检测是否有商品经过，并根据反馈信息决定是否开始采集商品图像。
[0035] 4、本发明摄像头为RGBD摄像头的设置，基于RGBD图像信息进行定位操作，简化了目标检测算法并且可以得到更加准确的位置信息。
[0036] 5、本发明通过结构上的改进，具有对硬件环境要求低，成本低，商品结算效率较高，不存在信息标签受损而无法识别的情况，稳定性高，识别精度准度高，识别效果好等优点，从而有效的解决了现有技术中存在的问题和不足。附图说明
[0037] 图1为本发明的系统结构示意图。
[0038] 图2为本发明的系统工作流程示意图。
[0039] 图3为发明的基于DenseNet的多任务学习模型示意图。
[0040] 图4为本发明的商品数据库的构建过程及检索过程示意图。
[0041] 图中：传送带1、商品2、结算关口3、摄像头4、红外传感装置5。
具体实施方式
[0042] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043] 请参阅图1至图4，本发明提供一种技术方案：一种基于RGBD信息与深度学习的商品快速结算系统，该系统由硬件部分及软件部分构成，硬件部分由传送带1、商品2、结算关口3、摄像头4及红外传感装置5组成，软件部分的主要载体为PC及其他提供程序运行环境的设备，所述商品2放置在传送带1上，且传送带1为商品2的输送装置；所述结算关口3设置在传送带1的一端；所述红外传感装置5设置在结算关口3的内壁上，且红外传感装置5与结算关口3通过镶嵌方式相连接；所述摄像头4设置在结算关口3顶端中间位置的内壁上，且摄像头4与结算关口3通过镶嵌方式相连接。通过硬件部分及软件部分的配合能够大大提高商品结算效率，且对硬件环境要求相对较低，因此成本较低，系统搭建起来较为容易，门店改造相对可控。
[0044] 具体的，软件部分信息输入设备为摄像头4，且软件部分包括图像采集和拼接、目标商品定位、目标商品特征提取和属性标签识别、图像检索四个功能模块，可以同时识别多个商品，且该系统基于商品整体特点进行识别，即使受到部分损坏，也不会受到太大影响，识别精准度高，可以加快商品结算速度。
[0045] 具体的，软件部分开发工具为Python3.5.2、TensorFlow1.6.0、OpenCV3.2.0。
[0046] 具体的，摄像头4及红外传感装置5均与载体通过电性相连接，能够将摄像头采集到的商品图像实时传输至载体，且通过红外传感装置5能够实时检测是否有商品经过，并根据反馈信息决定是否开始采集商品图像。
[0047] 具体的，红外传感装置5为LHl958型热释电红外传感器，且红外传感装置5由红外线发射端及红外线接收端组成，红外线发射端与红外线接收端在结算关口3两侧的内壁上呈对称状分布。
[0048] 具体的，摄像头4为RGBD摄像头，基于RGBD图像信息进行定位操作，简化了目标检测算法并且可以得到更加准确的位置信息。
[0049] 具体使用方法与作用：工作流程如图2所示，将购买的所有商品2无堆叠地排放在传送带1上，红外装置感应5到有商品2经过时，后台系统控制RGBD摄像头4开始采集商品2图像，在商品2离开时停止采集，并将采集到的多张时间序列图像拼接为一副完整图像；然后，基于深度信息对图像中出现的所有目标商品进行定位，得到多个候选区位置信息，并基于这些候选区对相应的位置上的RGB图像进行裁剪和统一大小；接着将这些RGB图像作为一个批次，进行特征提取，可以得到每个目标商品的特征和属性标签；在商品数据库中，利用属性标签进行索引，与相应索引空间中的样本商品特征进行相似度匹配，从而识别商品并获得商品信息。
[0050] 由于商品结算时的背景只是水平传送带，RGBD摄像头采集到的图像在时间上又是连续的，因此，图像拼接的效果可以得到保证。同时，顾客的商品排放要求是水平无堆叠的，因此，可以保证所有目标商品都能被准确定位到。在这些前提下，这套系统需要解决的关键问题就是如何在复杂商品的识别中获得较高的识别准确率。
[0051] 通过层级属性进行复杂商品的识别：商品种类繁多，某一品种商品就包含有不同的品牌（像伊利、蒙牛等），不同品牌之间的商品的相似度可能很大，而在同一品牌之下又有细分为不同的子品牌。这要求网络模型需要具备良好的特征提取能力，能够将注意力集中到那些真正具有影响力的细节特征上。如果直接以商品的最小类别为预测目标，网络结构不仅会很大，而且由于神经网络的黑盒特性，难以保证模型可以关注到真正具有影响力的细节特征上。 为解决这些问题，本专利从商品的属性出发，具体步骤如下：
1、构建具有层级属性标签的商品数据集：
在商品数据集中，标注信息需要包括目标商品的位置信息和类别信息。为节省人力，采用RGBD摄像头采集商品图像，并编写程序根据深度信息对图像中的目标商品的位置进行自动标注。另外，类别信息除了要包含商品的最小类别标签，还引入了商品的层级属性标签，用来辅助商品识别。这些属性标签分属不同的属性维度，如品种、品牌、包装等，属性标签就对应于这些属性维度的取值。具体到某一个单品，如伊利纯牛奶，各属性维度的取值分别是牛奶、伊利、盒装等。
1、构建具有层级属性标签的商品数据集：
在商品数据集中，标注信息需要包括目标商品的位置信息和类别信息。为节省人力，采用RGBD摄像头采集商品图像，并编写程序根据深度信息对图像中的目标商品的位置进行自动标注。另外，类别信息除了要包含商品的最小类别标签，还引入了商品的层级属性标签，用来辅助商品识别。这些属性标签分属不同的属性维度，如品种、品牌、包装等，属性标签就对应于这些属性维度的取值。具体到某一个单品，如伊利纯牛奶，各属性维度的取值分别是牛奶、伊利、盒装等。
[0052] 2、基于层级属性进行多任务学习：本系统基于商品的层级属性，使用了多任务学习方式。具体地，基于卷积神经网络DenseNet，设计了一个带有分支结构的新模型（如图3所示），各分支可以分别针对不同任务进行学习。在模型训练过程中，经过数据集中不同的属性标签的引导，该模型最后可以提取目标商品在不同属性维度上的属性特征。经过特征融合后，可以得到辨识力更好的商品特征，从而提高商品识别的准确率。
[0053] 3、基于属性标签进行图像检索：考虑到系统对新商品的识别问题，在获得目标商品的特征信息后，采用特征匹配的方式来代替分类操作。具体过程是将目标商品的特征与商品数据库中的样本商品的特征进行组合，利用一种分类器对该组合特征进行预测，可以得到目标商品就是该样本商品的置信分数。通过对多组组合特征进行预测和比较，最后根据最大置信分数完成商品识别。本专利使用三层全连接神经网络作为分类器。在本专利中，对目标商品的属性标签进行识别后，可以缩小对商品数据库的检索范围，减少与样本商品的特征的组合数，提高商品识别的效率。
[0054] 4、构建样本商品数据库：超市中的每一种商品在进入超市货架前，都需要在数据库中进行注册。注册过程就是利用模型对商品进行特征提取和属性标签的识别，然后基于属性标签构建具有一定层次结构的索引空间，空间内存放的便是该种商品的融合特征。商品数据库的构建过程及检索过程如图4所示。
[0055] 本发明是为了解决顾客长时间排队进行商品结算的问题，提高超市或商店的管理效率，改善顾客的购物体验。本发明采用RGBD摄像头捕获商品图像，利用图像深度信息对多个商品进行准确定位，然后利用基于深度学习的图像识别技术提取多个目标商品的特征信息，并与商品数据库中的样本商品的特征进行相似度的匹配，从而准确识别多个目标商品的详细信息，完成商品结算过程。
[0056] 本发明实际上是一套集成了图像拼接、目标检测和图像检索等计算机视觉和深度学习技术的商品检测和识别系统，对硬件环境要求相对较低，主要功能集中于软件系统。因此，成本较低，系统搭建起来很容易，门店改造相对可控。另外，由于商品识别过程是基于商品本身的特点进行的，因此不存在信息标签受损而无法识别的情况，稳定性高；基于目标检测技术可以做到多目标同时识别，商品结算效率较高。
[0057] 与现有技术相比，该系统具有如下优点：1、对硬件环境要求相对较低，主要功能集中于软件系统。因此，成本较低，系统搭建起来很容易，门店改造相对可控；
2、基于目标检测技术可以做到多目标同时识别，商品结算效率较高；
3、由于是基于商品图像的特点进行商品识别，因此不存在信息标签受损而无法识别的情况，稳定性高；
4、基于RGBD图像信息进行定位操作，简化了目标检测算法并且可以得到更加准确的位置信息；
5、基于层级属性和多任务学习方式进行复杂物体的识别，可以获得更好的商品识别效果。
2、基于目标检测技术可以做到多目标同时识别，商品结算效率较高；
3、由于是基于商品图像的特点进行商品识别，因此不存在信息标签受损而无法识别的情况，稳定性高；
4、基于RGBD图像信息进行定位操作，简化了目标检测算法并且可以得到更加准确的位置信息；
5、基于层级属性和多任务学习方式进行复杂物体的识别，可以获得更好的商品识别效果。
[0058] 本发明的关键点和保护点如下：1、商品检测系统的硬件设计；
2、基于商品层级属性和多任务学习方式的特征提取方法；
3、基于商品属性标签的图像检索方法。
2、基于商品层级属性和多任务学习方式的特征提取方法；
3、基于商品属性标签的图像检索方法。
[0059] 值得注意的是，该技术方案中具有如下替代方案同样能够完成发明目的：1、可以使用多个独立的网络模型代替多任务学习模型；
2、多任务学习模型可以基于其他卷积神经网络实现；
3、特征匹配中使用的三层全连接神经网络可以由其他的分类器代替，如：SVM、Logistic回归等。
2、多任务学习模型可以基于其他卷积神经网络实现；
3、特征匹配中使用的三层全连接神经网络可以由其他的分类器代替，如：SVM、Logistic回归等。
[0060] 上述替代方案均属于本专利保护范围之内。
[0061] 综上所述：该一种基于RGBD信息与深度学习的商品快速结算系统，通过该系统由硬件部分及软件部分构成，硬件部分由传送带、商品、结算关口、摄像头及红外传感装置组成，软件部分的主要载体为PC及其他提供程序运行环境的设备的设置，通过硬件部分及软件部分的配合能够大大提高商品结算效率，且对硬件环境要求相对较低，因此成本较低，系统搭建起来较为容易，门店改造相对可控；通过软件部分信息输入设备为摄像头，且软件部分包括图像采集和拼接、目标商品定位、目标商品特征提取和属性标签识别、图像检索四个功能模块的设置，可以同时识别多个商品，且该系统基于商品整体特点进行识别，即使受到部分损坏，也不会受到太大影响，识别精准度高，可以加快商品结算速度；通过摄像头及红外传感装置均与载体通过电性相连接的设置，能够将摄像头采集到的商品图像实时传输至载体，且通过红外传感装置能够实时检测是否有商品经过，并根据反馈信息决定是否开始采集商品图像；通过摄像头为RGBD摄像头的设置，基于RGBD图像信息进行定位操作，简化了目标检测算法并且可以得到更加准确的位置信息。本发明通过结构上的改进，具有对硬件环境要求低，成本低，商品结算效率高，不存在信息标签受损而无法识别的情况，稳定性高，识别精度准度高，识别效果好的优点，从而有效的解决了现有技术中存在的问题和不足。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于对抗神经网络的隐写分析方法 | 2020-05-24 | 0 |
| 一种引入对抗训练的基于内容的实例检索方法 | 2021-01-08 | 2 |
| 多重CNN网络预测全景视频观看位置的方法和系统 | 2021-02-25 | 1 |
| 一种基于人工智能的消化内镜检查质量自动评估方法和系统 | 2021-04-02 | 2 |
| 特征图放大方法、装置和设备及计算机可读存储介质 | 2021-04-08 | 0 |
| 基于深度学习的鱼类细粒度分类方法 | 2021-04-08 | 2 |
| 一种无切分的脱机手写汉字文本识别方法 | 2023-07-25 | 0 |
| 视频分类方法、模型训练方法、装置及设备 | 2020-07-20 | 1 |
| 年龄的估计方法、装置、电子设备和计算机存储介质 | 2021-08-29 | 1 |
| 一种基于机器视觉的表面缺陷检测算法 | 2022-03-26 | 1 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈