技术领域
[0001] 本
申请涉及智能家电领域，具体而言，涉及一种识别食物种类的方法、系统及装置、冰箱。
背景技术
[0002] 目前，对冰箱内食物新鲜度的管理、判断食品是否过期等，都依赖用户对冰箱内食物类型的识别；
现有技术中，用户在对冰箱内的食品进行识别时，主要通过人眼识别食品类型的方式实现，该种识别方法需要用户自身的参与，浪
费用户的时间较多，操作比较复杂，用户体验较差。
[0003] 针对上述问题，目前尚未提出有效的解决方案。
发明内容
[0004] 本申请
实施例提供了一种识别食物种类的方法、系统及装置、冰箱，以至少解决通过在食品上贴上标签来区分食物，导致识别过程复杂，用户体验较差的技术问题。
[0005] 根据本申请实施例的一个方面，提供了一种识别食物种类的方法，包括：获取食物的图像信息；基于
深度神经网络的分类器分析食物的图像信息，确定图像信息的预测类别；在预测类别满足预定条件的情况下，基于深度神经网络模型分析信息，识别出食物的种类。
[0006] 可选地，在基于深度神经网络的分类器分析食物的图像信息，确定图像信息的预测类别之前，方法还包括：利用预设的反交叉熵训练方法训练深度神经网络模型，获得深度神经网络的分类器。
[0007] 可选地，利用预设的反交叉熵训练方法训练深度神经网络模型，获得深度神经网络的分类器，包括：将样本训练集合输入到深度神经网络中，将反交叉熵作为网络参数的目标函数，并通过最小化平均反交叉熵对深度神经网络进行训练；将训练后的深度神经网络中的
输出层的输入取反，将取反后输出层的输出作为深度神经网络的分类器。
[0008] 可选地，基于深度神经网络的分类器分析食物的图像信息，确定图像信息的预测类别，包括：将食物的图像信息输入深度神经网络的分类器，利用预设的联合分数
阈值输出方法，计算图像信息的预测类别。
[0009] 可选地，将食物的图像信息输入深度神经网络的分类器，利用预设的联合分数阈值输出方法，计算图像信息的预测类别，包括：将食物的图像信息输入深度神经网络的分类器；计算得到深度神经网络的分类器在图像信息上的预测类别。
[0010] 可选地，在计算得到深度神经网络的分类器在图像信息上的预测类别之后，方法还包括：计算得到预测类别的联合分数，该步骤包括：获取深度神经网络的分类器在图像信息上的非最大元素熵、预测类别和预测类别的
置信度；根据非最大元素熵，获取深度神经网络的分类器在图像信息上的高斯核非最大元素熵；根据高斯核非最大元素熵和预测类别的置信度，获取预测类别的联合分数。
[0011] 可选地，在根据高斯核非最大元素熵和预测类别的置信度，获取预测类别的联合分数之后，方法还包括：判断预测类型的联合分数是否小于等于预设
阀值；如果联合分数大于预设阈值，确定图像信息为正常样本，其中，如果图像信息为正常样本，则确定预测类型满足预定条件，输出并返回预测类别。
[0012] 可选地，如果联合分数小于等于预设阈值，则确定图像信息为对抗样本，其中，如果图像信息为对抗样本，则确定预测类别不满足预定条件，禁止返回预测类别。
[0013] 可选地，在获取食物的图像信息之后，方法还包括：识别采集到的图像信息；如果图像信息中包含有文字信息，识别文字信息，并基于识别到的文字信息确定食品的种类；如果图像信息中不包含文字信息，或者识别文字信息失败，则执行基于深度神经网络的分类器分析食物的图像信息，确定图像信息的预测类别的步骤。
[0014] 根据本申请实施例的一个方面，提供了一种识别食物种类的系统，包括：内置摄像头的冰箱，用于存储食物，并拍摄得到食物的图像信息；
服务器，与冰箱通信，用于基于深度神经网络的分类器分析食物的图像信息，确定图像信息的预测类别，并在预测类别满足预定条件的情况下，基于深度神经网络模型学习信息，识别出食物的种类。
[0015] 根据本申请实施例的一个方面，提供了一种冰箱，包括：拍摄器，用于拍摄得到食物的图像信息；处理器，用于基于深度神经网络的分类器分析食物的图像信息，确定图像信息的预测类别，并在预测类别满足预定条件的情况下，基于深度神经网络模型学习信息，识别出食物的种类。
[0016] 根据本申请实施例的一个方面，提供了一种识别食物种类的装置，包括：获取模
块,用于获取食物的图像信息；确定模块,用于基于深度神经网络的分类器分析食物的图像信息，确定图像信息的预测类别；识别模块,用于在预测类别满足预定条件的情况下，基于深度神经网络模型学习信息，识别出食物的种类。
[0017] 根据本申请实施例的一个方面，提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的识别食物种类的方法。
[0018] 根据本申请实施例的一个方面，提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述的识别食物种类的方法。
[0019] 在本申请实施例中，通过获取食物的图像信息；基于深度神经网络的分类器分析食物的图像信息，确定图像信息的预测类别；在预测类别满足预定条件的情况下，基于深度神经网络模型学习信息，识别出食物的种类的方式，达到了通过拍
摄食物的图像信息，通过神经网络模型学习的方式，自动识别食物的种类的效果，从而解决了通过在食品上贴上标签来区分食物，导致识别过程复杂，用户体验较差的技术问题。
附图说明
[0020] 此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0021] 图1是根据本申请实施例的一种可选的识别食物种类的方法的流程示意图；
[0022] 图2是根据本申请实施例的一种可选的识别食物种类的系统的结构示意图；
[0023] 图3是根据本申请实施例的一种可选的冰箱的结构示意图；
[0024] 图4是根据本申请实施例的一种可选的识别食物种类的装置的结构示意图。
具体实施方式
[0025] 为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0026] 需要说明的是，本申请的
说明书和
权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何
变形，意图在于
覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0027] 根据本申请实施例，提供了一种电器设备的识别食物种类的方法实施例，需要说明的是，在附图的
流程图示出的步骤可以在诸如一组计算机可执行指令的
计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0028] 图1是根据本申请实施例的电器设备的识别食物种类的方法的流程示意图，如图1所示，该方法至少包括如下步骤：
[0029] 步骤S102，获取食物的图像信息；
[0030] 在本申请的一些可选的实施例中，可通过安装在冰箱内的拍摄装置获取食物的图像信息，拍摄装置可以安装在冰箱中不同的储物层。
[0031] 步骤S104，基于深度神经网络的分类器分析食物的图像信息，确定图像信息的预测类别；
[0032] 在本申请的一些可选的实施例中，拍摄装置获取到食物的图像信息之后，可将图像信息发送至
数据处理设备，数据处理设备基于深度神经网络的分类器对食物的图像信息进行分析，并确定图像信息的预测类型，其中，数据处理设备也可以为拍摄装置本身。
[0033] 步骤S106，在预测类别满足预定条件的情况下，基于深度神经网络模型学习信息，识别出食物的种类。
[0034] 在本申请的一些可选的实施例中，上述预定条件为预测类别不属于对抗样本类别；在本申请的一些可选的实施例中，在上述步骤S104基于深度神经网络的分类器分析食[0035] 物的图像信息，确定图像信息的预测类别之前，还需执行以下步骤：
[0036] 利用预设的反交叉熵训练方法训练深度神经网络模型，获得深度神经网络的分类器。
[0037] 其中，上述步骤利用预设的反交叉熵训练方法训练深度神经网络模型，获得深度神经网络的分类器，可以通过以下步骤S1022-S1024实现；
[0038] 步骤S1022，将样本训练集合输入到深度神经网络中，将反交叉熵作为网络参数的目标函数，并通过最小化平均反交叉熵对深度神经网络进行训练；
[0039] 在本申请的一个可选的实施例中，若样本训练集合中包含样本图像-类别数据D＝{(xi,yi)|i∈[N]}，深度神经网络的输出的分类器为：F(X,θ)＝softmax(Z(X,θ))且F(X,θ)∈[0，1]L，其中，Z(X,θ)表示softmax输出层的输入向量，N为正整数，[N]表示所有不大于N的正整数集合，yi∈{0，1}L，yi中元素等于1当且仅当xi与yi属于相同类别，L为不同类别数目，X为输入的图像，θ为网络参数，softmax(·)表示softmax输出层映射；
[0040] 则将反交叉熵作为网络参数的目标函数，通过最小化平均反交叉熵对深度神经网络进行训练为：将反交叉熵作为网络参数θ的目标函数，通过第一公式计算优化后的网络参数 进而对深度神经网络进行训练；
[0041] 其中，第一公式为
[0042]
[0043] 其中，F(xd,θ)i表示神经网络输出向量的第i个元素，td表示输入xd的真实类别，xd表示输入图像。
[0044] 可以理解的是，步骤A1中的训练过程收敛于
[0045] 进一步地，在具体应用中，第一公式可以进一步具体细化为：
[0046]
[0047] 其中，r表示训练步数， 表示第r步训练得到的优化后的网络参数， 表示第r+1步训练得到的优化后的网络参数，ε为训练步长， 表示关于网络参数θ的梯度运算符号,Nbatch为每步训练过程随机
抽取加入样本训练集合的batch(批)的大小。
[0048] 步骤S1024，将训练后的深度神经网络中的输出层的输入取反，将取反后输出层的输出作为深度神经网络的分类器。
[0049] 在一个可选的实时例中，上述训练好的分类器为：
[0050]
[0051] 在上述步骤基于深度神经网络的分类器分析食物的图像信息，确定图像信息的预测类别，可以通过以下方式进行实现：将食物的图像信息输入深度神经网络的分类器，利用预设的联合分数阈值输出方法，计算图像信息的预测类别。
[0052] 在本申请的一些可选的实施例中，将食物的图像信息输入深度神经网络的分类器，利用预设的联合分数阈值输出方法，计算图像信息的预测类别，可以通过以下步骤S1042-S1044进行实现：
[0053] 步骤S1042，将食物的图像信息输入深度神经网络的分类器；
[0054] 步骤S1044，计算得到深度神经网络的分类器在图像信息上的预测类别。
[0055] 在本申请的一些可选的实施例中，在计算得到深度神经网络的分类器在图像信息上的预测类别之后，还需要执行步骤：计算得到预测类别的联合分数，计算得到预测类别的联合分数可通过执行以下步骤S1046-S10410实现：
[0056] 步骤S1046，获取深度神经网络的分类器在图像信息上的非最大元素熵、预测类别和预测类别的置信度；
[0057] 在一个可选的实施例中，上述置信度为
[0058] 假定目标图像为x，可以通过第二公式，计算得到深度神经网络分类器在目标图像上的预测类别其中，第二公式为：
[0059]
[0060] 可以通过第三公式，计算得到预测类别的置信度Confidence，其中，第三公式为：
[0061]
[0062] 具体地，可以通过第四公式，计算得到深度神经网络分类器在目标图像上的非最大元素熵non-MER，其中，第四公式为：
[0063]
[0064] 其中， 为输出概率向量 的归一化非最大元素。
[0065]
[0066] 步骤S1048，根据非最大元素熵，获取深度神经网络的分类器在图像信息上的高斯核非最大元素熵；
[0067] 可以根据非最大元素熵non-MER，通过第五公式，计算得到深度神经网络分类器在目标图像上的高斯核非最大元素熵non-MEker，其中，第五公式为：
[0068] non-MEker＝exp(-non-MER-μ)2/ησ2)
[0069] 其中，μ和σ2均为高斯核的参数，η为松弛因子。
[0070] 在具体应用中，以L＝10为例，可以取μ＝log(L-1)＝log(9)，σ2为非最大元素熵non-MER以μ为均值的方差，η可以简单设置为1或者通过交叉验证进行具体设置。
[0071] 步骤S10410，根据高斯核非最大元素熵和预测类别的置信度，获取预测类别的联合分数。
[0072] 具体地，可以根据高斯核非最大元素熵non-MEker和该预测类别的置信度Confidence，通过第六公式，计算得到预测类别的联合分数J-score，其中，第六公式为：
[0073] J-score＝confidence×non-MEker
[0074] 在本申请的一些可选的实施例中，在根据高斯核非最大元素熵和预测类别的置信度，获取预测类别的联合分数之后，还需要执行步骤：判断预测类型的联合分数是否小于等于预设阀值；如果联合分数大于预设阈值，确定图像信息为正常样本，其中，如果图像信息为正常样本，则确定预测类型满足预定条件，输出并返回预测类别。
[0075] 在本申请的一个可选的实施例中，如果联合分数小于等于预设阈值，则确定图像信息为对抗样本，其中，如果图像信息为对抗样本，则确定预测类别不满足预定条件，禁止返回预测类别。
[0076] 在本申请的一个可选的实施例中，在获取食物的图像信息之后，还需要执行以下步骤：
[0077] 步骤S1026，识别采集到的图像信息；
[0078] 步骤S1028，如果图像信息中包含有文字信息，识别文字信息，并基于识别到的文字信息确定食品的种类；
[0079] 步骤S10210，如果图像信息中不包含文字信息，或者识别文字信息失败，则执行基于深度神经网络的分类器分析食物的图像信息，确定图像信息的预测类别的步骤。
[0080] 在本申请的一些可选的实施例中，当图像信息中包含文字信息或二维码
条形码等标签信息时，可根据标签信息确定
包装上的生产日期或根据菜品购买的日期判断是否过期，确定是否及时食用对应的食品；或者根据手动扫描
食品包装上的二维码或条形码确定适宜储存对应食品的
温度，调整食品的存放
位置，从而方便对食物进行管理。
[0081] 在本申请实施例中，通过获取食物的图像信息；基于深度神经网络的分类器分析食物的图像信息，确定图像信息的预测类别；在预测类别满足预定条件的情况下，基于深度神经网络模型学习信息，识别出食物的种类的方式，达到了通过拍摄食物的图像信息，通过神经网络模型学习的方式，自动识别食物的种类的效果，从而解决了通过在食品上贴上标签来区分食物，导致识别过程复杂，用户体验较差的技术问题。
[0082] 图2是根据本申请实施例的识别食物种类的系统，如图2所示，该系统至少包括：内置摄像头的冰箱22、服务器24；其中：
[0083] 内置摄像头的冰箱22，用于存储食物，并拍摄得到食物的图像信息；
[0084] 服务器24，与冰箱通信，用于基于深度神经网络的分类器分析食物的图像信息，确定图像信息的预测类别，并在预测类别满足预定条件的情况下，基于深度神经网络模型学习信息，识别出食物的种类。
[0085] 需要说明的是，图2所示实施例的优选实施方式可以参见图1所示实施例的相关描述，此处不再赘述。
[0086] 图3是根据本申请实施例的冰箱的结构示意图，如图3所示，该冰箱至少包括：拍摄器32、处理器34；其中：
[0087] 拍摄器32，用于拍摄得到食物的图像信息；
[0088] 处理器34，用于基于深度神经网络的分类器分析食物的图像信息，确定图像信息的预测类别，并在预测类别满足预定条件的情况下，基于深度神经网络模型学习信息，识别出食物的种类。
[0089] 需要说明的是，图3所示实施例的优选实施方式可以参见图1所示实施例的相关描述，此处不再赘述。
[0090] 图4是根据本申请实施例的一种识别食物种类的装置的结构示意图，该装置至少包括：获取模块42、确定模块44、识别模块46；其中：
[0091] 获取模块42,用于获取食物的图像信息；
[0092] 确定模块44,用于基于深度神经网络的分类器分析食物的图像信息，确定图像信息的预测类别；
[0093] 识别模块46,用于在预测类别满足预定条件的情况下，基于深度神经网络模型学习信息，识别出食物的种类。
[0094] 需要说明的是，图4所示实施例的优选实施方式可以参见图1所示实施例的相关描述，此处不再赘述。
[0095] 根据本申请实施例的另一个方面，还提供了一种存储介质，其特征在于，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的识别食物种类的方法。
[0096] 根据本申请实施例的另一个方面，还提供了一种处理器，其特征在于，处理器用于运行程序，其中，程序运行时执行上述的识别食物种类的方法。
[0097] 上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
[0098] 在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0099] 在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些
接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0100] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0101] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用
硬件的形式实现，也可以采用
软件功能单元的形式实现。
[0102] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读
存储器(ROM，Read-Only Memory)、
随机存取存储器(RAM，Random Access Memory)、移动
硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0103] 以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
