模型训练方法、装置、计算机设备和存储介质
阅读：0发布：2020-07-11
专利汇可以提供模型训练方法、装置、计算机设备和存储介质专利检索，专利查询，专利分析的服务。并且本 申请 涉及一种模型训练方法、装置、计算机设备和存储介质。所述方法涉及 深度学习 ，包括：获取模型输出数据，模型输出数据通过将训练样本数据输入待训练模型中得到；获取训练样本数据对应预设的基准结果数据；当待训练模型不满足训练完成条件时，根据模型输出数据和基准结果数据之间的输出差异，确定模型输出数据的当前梯度；根据预设的高斯随机规则，对当前梯度进行梯度更新，得到模型输出数据的更新梯度；根据更新梯度确定待训练模型的更新权值，并根据更新权值对待训练模型进行更新，返回获取模型输出数据的步骤。采用本方法能够提高模型训练效果。，下面是模型训练方法、装置、计算机设备和存储介质专利的具体信息内容。
1.一种模型训练方法，所述方法包括：
获取模型输出数据，所述模型输出数据通过将训练样本数据输入待训练模型中得到；
获取所述训练样本数据对应预设的基准结果数据；
当所述待训练模型不满足训练完成条件时，根据所述模型输出数据和所述基准结果数据之间的输出差异，确定所述模型输出数据的当前梯度；
根据预设的高斯随机规则，对所述当前梯度进行梯度更新，得到所述模型输出数据的更新梯度；
根据所述更新梯度确定所述待训练模型的更新权值，并根据所述更新权值对所述待训练模型进行更新，返回获取模型输出数据的步骤。
2.根据权利要求1所述的方法，其特征在于，在所述获取所述训练样本数据对应预设的基准结果数据之后，还包括：
当根据所述模型输出数据和所述基准结果数据，确定所述待训练模型满足训练完成条件，或训练次数达到预设次数阈值时，结束训练，得到将所述待训练模型作为训练完成的目标模型。
3.根据权利要求1所述的方法，其特征在于，所述根据所述模型输出数据和所述基准结果数据之间的输出差异，确定所述模型输出数据的当前梯度包括：
获取预设的损失函数；
根据所述损失函数，确定所述模型输出数据的梯度函数；
根据所述梯度函数、所述模型输出数据和所述基准结果数据，得到所述模型输出数据的当前梯度。
4.根据权利要求1所述的方法，其特征在于，所述根据预设的高斯随机规则，对所述当前梯度进行梯度更新，得到所述模型输出数据的更新梯度包括：
获取高斯随机数；
当所述高斯随机数满足预设的梯度更新条件时，通过预设的梯度更新参数对所述当前梯度进行梯度更新，得到所述模型输出数据的更新梯度。
5.根据权利要求4所述的方法，其特征在于，所述高斯随机数在预设均值和预设标准差的条件下得到；所述梯度更新条件包括所述高斯随机数与所述预设均值的距离，超过3倍所述预设标准差；所述梯度更新参数取值范围为0～1。
6.根据权利要求1至5任意一项所述的方法，其特征在于，所述根据所述更新梯度确定所述待训练模型的更新权值包括：
基于梯度下降法，根据所述更新梯度确定所述待训练模型的更新权值。
7.根据权利要求6所述的方法，其特征在于，所述基于梯度下降法，根据所述更新梯度确定所述待训练模型的更新权值包括：
获取所述待训练模型的当前权值和学习速率；
根据所述当前权值、所述学习速率、所述更新梯度和所述训练样本数据，计算所述待训练模型的更新权值。
8.一种模型训练装置，其特征在于，所述装置包括：
模型输出获取模块，用于获取模型输出数据，所述模型输出数据通过将训练样本数据输入待训练模型中得到；
基准结果获取模块，用于获取所述训练样本数据对应预设的基准结果数据；
当前梯度确定模块，用于当所述待训练模型不满足训练完成条件时，根据所述模型输出数据和所述基准结果数据之间的输出差异，确定所述模型输出数据的当前梯度；
梯度更新处理模块，用于根据预设的高斯随机规则，对所述当前梯度进行梯度更新，得到所述模型输出数据的更新梯度；
权值更新处理模块，用于根据所述更新梯度确定所述待训练模型的更新权值，并根据所述更新权值对所述待训练模型进行更新，返回获取模型输出数据的步骤。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
模型训练方法、装置、计算机设备和存储介质
技术领域
[0001] 本申请涉及计算机技术领域，特别是涉及一种模型训练方法、装置、计算机设备和存储介质。
背景技术
[0002] 随着计算机技术的发展，人工智能(Artificial Intelligence，AI)的理论和技术日益成熟，应用领域也不断扩大。机器学习(Machine Learning，ML)是目前最主流的人工智能实现方法，而深度学习(Deep Learning，DL)则是机器学习的一个分支，深度学习使得机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。深度学习的概念源于人工神经网络(Artificial Neural Network，ANN)的研究，而人工神经网络是从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络，简称为神经网络或类神经网络。因此，深度学习又叫深层神经网络(Deep Neural Networks，DNN)。
[0003] 深度学习网络中的性能函数，即目标函数大多数为非凸的，即非严格单调的。目前直接基于梯度下降法训练网络模型，无法有效解决目标函数的非凸问题，对于非严格单调的目标函数，梯度下降容易陷入较小的局部最优问题，导致网络模型的训练效果有限。发明内容
[0004] 基于此，有必要针对上述技术问题，提供一种能够提高模型训练效果的模型训练方法、装置、计算机设备和存储介质。
[0005] 一种模型训练方法，所述方法包括：
[0006] 获取模型输出数据，模型输出数据通过将训练样本数据输入待训练模型中得到；
[0007] 获取训练样本数据对应预设的基准结果数据；
[0008] 当待训练模型不满足训练完成条件时，根据模型输出数据和基准结果数据之间的输出差异，确定模型输出数据的当前梯度；
[0009] 根据预设的高斯随机规则，对当前梯度进行梯度更新，得到模型输出数据的更新梯度；
[0010] 根据更新梯度确定待训练模型的更新权值，并根据更新权值对待训练模型进行更新，返回获取模型输出数据的步骤。
[0011] 在其中一个实施例中，在获取训练样本数据对应预设的基准结果数据之后，还包括：
[0012] 当根据模型输出数据和基准结果数据，确定待训练模型满足训练完成条件，或训练次数达到预设次数阈值时，结束训练，得到将待训练模型作为训练完成的目标模型。
[0013] 在其中一个实施例中，根据模型输出数据和基准结果数据之间的输出差异，确定模型输出数据的当前梯度包括：
[0014] 获取预设的损失函数；
[0015] 根据损失函数，确定模型输出数据的梯度函数；
[0016] 根据梯度函数、模型输出数据和基准结果数据，得到模型输出数据的当前梯度。
[0017] 在其中一个实施例中，根据预设的高斯随机规则，对当前梯度进行梯度更新，得到模型输出数据的更新梯度包括：
[0018] 获取高斯随机数；
[0019] 当高斯随机数满足预设的梯度更新条件时，通过预设的梯度更新参数对当前梯度进行梯度更新，得到模型输出数据的更新梯度。
[0020] 在其中一个实施例中，高斯随机数在预设均值和预设标准差的条件下得到；梯度更新条件包括高斯随机数与预设均值的距离，超过3倍预设标准差；梯度更新参数取值范围为0～1。
[0021] 在其中一个实施例中，根据更新梯度确定待训练模型的更新权值包括：
[0022] 基于梯度下降法，根据更新梯度确定待训练模型的更新权值。
[0023] 在其中一个实施例中，基于梯度下降法，根据更新梯度确定待训练模型的更新权值包括：
[0024] 获取待训练模型的当前权值和学习速率；
[0025] 根据当前权值、学习速率、更新梯度和训练样本数据，计算待训练模型的更新权值。
[0026] 一种模型训练装置，所述装置包括：
[0027] 模型输出获取模块，用于获取模型输出数据，模型输出数据通过将训练样本数据输入待训练模型中得到；
[0028] 基准结果获取模块，用于获取训练样本数据对应预设的基准结果数据；
[0029] 当前梯度确定模块，用于当待训练模型不满足训练完成条件时，根据模型输出数据和基准结果数据之间的输出差异，确定模型输出数据的当前梯度；
[0030] 梯度更新处理模块，用于根据预设的高斯随机规则，对当前梯度进行梯度更新，得到模型输出数据的更新梯度；
[0031] 权值更新处理模块，用于根据更新梯度确定待训练模型的更新权值，并根据更新权值对待训练模型进行更新，返回获取模型输出数据的步骤。
[0033] 获取模型输出数据，模型输出数据通过将训练样本数据输入待训练模型中得到；
[0034] 获取训练样本数据对应预设的基准结果数据；
[0035] 当待训练模型不满足训练完成条件时，根据模型输出数据和基准结果数据之间的输出差异，确定模型输出数据的当前梯度；
[0036] 根据预设的高斯随机规则，对当前梯度进行梯度更新，得到模型输出数据的更新梯度；
[0037] 根据更新梯度确定待训练模型的更新权值，并根据更新权值对待训练模型进行更新，返回获取模型输出数据的步骤。
[0038] 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0039] 获取模型输出数据，模型输出数据通过将训练样本数据输入待训练模型中得到；
[0040] 获取训练样本数据对应预设的基准结果数据；
[0041] 当待训练模型不满足训练完成条件时，根据模型输出数据和基准结果数据之间的输出差异，确定模型输出数据的当前梯度；
[0042] 根据预设的高斯随机规则，对当前梯度进行梯度更新，得到模型输出数据的更新梯度；
[0043] 根据更新梯度确定待训练模型的更新权值，并根据更新权值对待训练模型进行更新，返回获取模型输出数据的步骤。
[0044] 上述模型训练方法、装置、计算机设备和存储介质，在待训练模型不满足训练完成条件时，确定模型输出数据的当前梯度，并根据预设的高斯随机规则对当前梯度进行梯度更新，再基于得到的更新梯度确定待训练模型的更新权值，并根据更新权值对待训练模型进行更新，并返回继续进行训练。在模型训练过程中，通过高斯随机规则进行梯度更新，可以小概率实现梯度上升，避免梯度过快达到0而陷入局部最优解，从而提高了模型训练的效果。附图说明
[0045] 图1为一个实施例中模型训练方法的应用场景图；
[0046] 图2为一个实施例中模型训练方法的流程示意图；
[0047] 图3为一个实施例中确定当前梯度的流程示意图；
[0048] 图4为一个实施例中模型训练装置的结构框图；
[0049] 图5为一个实施例中计算机设备的内部结构图。
具体实施方式
[0050] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0051] 本申请提供的模型训练方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。终端102向服务器104发送训练样本数据，服务器104将训练样本数据输入服务器104上存储的待训练模型中，得到模型输出数据，在待训练模型不满足训练完成条件时，确定模型输出数据的当前梯度，并根据预设的高斯随机规则对当前梯度进行梯度更新，再基于得到的更新梯度确定待训练模型的更新权值，并根据更新权值对待训练模型进行更新，并返回继续进行训练。此外，也可以由服务器104从本地直接获取训练样本数据以进行模型训练，且待训练模型可以在当前服务器104构建，也可以从其他端获取，而本地服务器104仅进行模型训练处理。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
[0052] 在一个实施例中，如图2所示，提供了一种模型训练方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
[0053] 步骤S201：获取模型输出数据，模型输出数据通过将训练样本数据输入待训练模型中得到。
[0054] 其中，训练样本数据为在进行网络模型训练时，根据训练样本集构建得到的模型训练输入数据，用于对网络模型进行训练。待训练模型即为需要进行训练的模型，如神经网络模型。模型输出数据为将训练样本数据输入待训练模型后，由待训练模型的输出得到。
[0055] 步骤S203：获取训练样本数据对应预设的基准结果数据。
[0056] 基准结果数据为训练样本数据对应预先设置，作为训练样本数据实际对应的结果，即为网络模型输出需要进行拟合的基准数据。
[0057] 步骤S205：当待训练模型不满足训练完成条件时，根据模型输出数据和基准结果数据之间的输出差异，确定模型输出数据的当前梯度。
[0058] 在待训练模型不满足训练完成条件，即训练是否结束的条件时，例如待训练模型的训练次数不足，或待训练模型的输出精确度不满足要求时，认为该待训练模型不满足训练完成条件，即需要继续进行训练，则根据模型输出数据和基准结果数据之间的输出差异确定模型输出数据的当前梯度。其中，模型输出数据和基准结果数据之间的输出差异用于反映当前模型与目标所需模型之间的差距；梯度本意是一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向(此梯度的方向)变化最快，变化率最大，当前梯度则为模型输出数据该数据点的梯度值。具体地，在用损失函数表征模型输出数据和基准结果数据之间的输出差异时，可以根据该损失函数得到梯度函数，并进一步得到当前梯度。
[0059] 步骤S207：根据预设的高斯随机规则，对当前梯度进行梯度更新，得到模型输出数据的更新梯度。
[0060] 确定当前梯度后，基于预设的高斯随机规则对当前梯度进行梯度更新，得到模型输出数据的更新梯度。高斯随机规则可以为产生一高斯随机数，根据该高斯随机数判断是否需要对当前梯度进行更新，例如，根据该高斯随机数的大小是否满足预设阈值来判断是否需要对当前梯度进行更新，若是，则按照预设的梯度更新参数对当前梯度进行更新，得到模型输出数据的更新梯度。通过高斯随机数可以对当前梯度进行随机干扰，使得待训练模型在进入局部最优时，仍然可以以很小的概率通过梯度上升的方法，避免梯度太快达到0，从而陷入局部最优解，提高了模型训练的效果。
[0061] 步骤S209：根据更新梯度确定待训练模型的更新权值，并根据更新权值对待训练模型进行更新，返回获取模型输出数据的步骤。
[0062] 得到模型输出数据的更新梯度后，根据该更新梯度确定待训练模型的更新权值。其中，权值为待训练模型中隐藏层的参数，通过调节权值可以控制待训练模型对输入进行不同处理以得到不同输出，从而对待训练模型进行调节。更新权值则为此次训练过程中，需要权值需要调整的目标值。得到待训练模型的更新权值后，根据该更新权值对待训练模型进行更新，如直接将该更新权值替换待训练模型中的当前权值，实现对待训练模型的更新，并返回获取模型输出数据的步骤，以进行下一次训练处理，直至待训练模型训练完成为止。
[0063] 上述模型训练方法中，在待训练模型不满足训练完成条件时，确定模型输出数据的当前梯度，并根据预设的高斯随机规则对当前梯度进行梯度更新，再基于得到的更新梯度确定待训练模型的更新权值，并根据更新权值对待训练模型进行更新，并返回继续进行训练。在模型训练过程中，通过高斯随机规则进行梯度更新，可以小概率实现梯度上升，避免梯度过快达到0而陷入局部最优解，从而提高了模型训练的效果。
[0064] 在一个实施例中，在获取训练样本数据对应预设的基准结果数据之后，还包括：当根据模型输出数据和基准结果数据，确定待训练模型满足训练完成条件，或训练次数达到预设次数阈值时，结束训练，得到将待训练模型作为训练完成的目标模型。
[0065] 本实施例中，当确定待训练模型已训练完成时，结束训练，得到训练完成的目标模型，如深度学习神经网络模型。具体地，在获取训练样本数据对应预设的基准结果数据之后，根据模型输出数据和基准结果数据，确定待训练模型是否满足训练完成条件，如根据模型输出数据和基准结果数据确定此次训练的输出精确度，若该输出精确度满足预设的模型精确度阈值，则可认为已满足训练完成条件，此时结束训练，将待训练模型作为训练完成的目标模型。另外，也可以在待训练模型的训练次数达到预设次数阈值时，如预设次数阈值为100次，而在检测到待训练模型的训练次数达到100次时，终止训练，得到训练完成的目标模型。
[0066] 在一个实施例中，如图3所示，根据模型输出数据和基准结果数据之间的输出差异，确定模型输出数据的当前梯度包括：
[0067] 步骤S301：获取预设的损失函数。
[0068] 损失函数用于表征模型输出数据和基准结果数据之间的输出差异，可以根据实际需求进行灵活设置。例如，对于实数域向量y1和y2，y1为n个输入为x的训练样本数据对应的因变量，即训练样本数据对应的基准结果数据，y2为以x作为待训练模型的输入时，该待训练模型的输出，即模型输出数据。则y1和y2之间的输出差异可以通过损失函数E(y1,y2)表征，具体地，损失函数可以为欧拉距离函数。
[0069] 步骤S303：根据损失函数，确定模型输出数据的梯度函数。
[0070] 得到损失函数后，根据该损失函数确定模型输出数据的梯度函数。如上例中模型输出数据y2的梯度函数可以为
[0071] 步骤S305：根据梯度函数、模型输出数据和基准结果数据，得到模型输出数据的当前梯度。
[0072] 得到模型输出数据的梯度函数后，根据梯度函数、模型输出数据和基准结果数据，得到模型输出数据的当前梯度，具体可以将模型输出数据和基准结果数据分别代入梯度函数中，得到模型输出数据的当前梯度。如上例中，将y1和y2的具体值代入中，得到模型输出数据的当前梯度。
[0073] 在一个实施例中，根据预设的高斯随机规则，对当前梯度进行梯度更新，得到模型输出数据的更新梯度包括：获取高斯随机数；当高斯随机数满足预设的梯度更新条件时，通过预设的梯度更新参数对当前梯度进行梯度更新，得到模型输出数据的更新梯度。
[0074] 本实施例中，通过产生的高斯随机数对当前梯度进行更新。具体地，对当前梯度进行梯度更新时，获取高斯随机数，高斯随机数可以在预设均值和预设标准差的条件下随机产生。获取预设的梯度更新条件，具体可以为针对高斯随机数构建的大小判定条件，当得到的高斯随机数满足该梯度更新条件时，通过预设的梯度更新参数对当前梯度进行梯度更新，得到模型输出数据的更新梯度。在一具体应用中，高斯随机数k的均值为μ，标准差为σ，而梯度更新条件为|k-μ|>3σ，即当获得的高斯随机数k满足|k-μ|>3σ时，表明满足梯度更新条件，可以通过预设的梯度更新参数，如取值为0～1的梯度更新参数θ对当前梯度进行梯度更新，得到模型输出数据的更新梯度。
[0075] 在一个实施例中，高斯随机数在预设均值和预设标准差的条件下得到；梯度更新条件包括高斯随机数与预设均值的距离，超过3倍预设标准差；梯度更新参数取值范围为0～1。
[0076] 本实施例中，高斯随机数在预设均值和预设标准差的条件下得到，如高斯随机数k的均值为μ，标准差为σ。梯度更新条件包括高斯随机数与预设均值的距离，超过3倍预设标准差，即梯度更新条件为|k-μ|>3σ。梯度更新参数θ取值范围为0～1。在对当前梯度进行梯度更新，得到模型输出数据的更新梯度，可以得到更新梯度为 引入高斯随机数对当前梯度进行梯度更新，可以对梯度的更新产生随机干扰，避免梯度太快达到0，从而陷入局部最优解，提高模型训练的效果。
[0077] 在一个实施例中，根据更新梯度确定待训练模型的更新权值包括：基于梯度下降法，根据更新梯度确定待训练模型的更新权值。
[0078] 本实施例中，基于梯度下降法，根据更新梯度确定待训练模型的更新权值。梯度下降法的目的是找到目标函数的最小值，梯度是一个向量，目标函数在具体某点沿着梯度的相反方向下降最快，一个形象的比喻是想象下山的时候，只能走一步下山最快的方向即是梯度的相反方向，每走一步就相当于梯度下降法的一次迭代更新。而正因为深度学习网络模型中的性能函数，即目标函数几乎全都是非凸的，传统的直接通过梯度下降法难以得到目标函数的最优解，而多为局部最优。而本申请中，通过引入高斯随机数对梯度下降进行干扰，可以避免梯度太快达到0，从而陷入局部最优解，从而得到更好的更新权值，提高模型训练的效果。
[0079] 在一个实施例中，基于梯度下降法，根据更新梯度确定待训练模型的更新权值包括：获取待训练模型的当前权值和学习速率；根据当前权值、学习速率、更新梯度和训练样本数据，计算待训练模型的更新权值。
[0080] 具体通过梯度下降法确定待训练模型的更新权值时，获取待训练模型的当前权值和学习速率。当前权值可以根据待训练模型的隐藏层确定，学习速率由模型训练前预先设置。例如，当前权值w可以为初始值0.5，学习速率lr＝0.01。根据当前权值、学习速率、更新梯度和训练样本数据，计算待训练模型的更新权值。如更新权值
[0081] 在一个实施例中，待训练模型为图像识别模型，用于识别图像中对象的类别。训练样本数据x＝[0.5,0.7,1.0]，基准结果数据y1＝[0.6,0.71,1.2]，初始化的当前权值w＝0.5，定义损失函数E(y1,y2)为欧拉距离函数，学习速率lr＝0.01，迭代步数，即训练次数阈值为100次，梯度更新参数θ＝0.2。在将训练样本数据x输入待训练模型后，可以得到待训练模型输出的模型输出数据y2＝[0.25,0.35,0.5]。损失函数E(y1,y2)为欧拉距离函数，即E(y1,y2)＝(y1-y2)2，y2对应的梯度为 获取高斯随机数k，高斯随机数k的
均值为0，标准差为1。若高斯随机数k>3.0，则根据梯度更新参数θ可以得到y2对应的梯度为否则保持当前梯度保持不变。因为对于待训练模型而言，模型输出y＝
x*w，所以 所以更新权值w’的更新公式为 从而得到
待训练模型的更新权值，并根据该更新权值对待训练模型进行更新，返回获取模型输出数据的步骤，以进行下一次的更新，直至模型训练完成为止，即训练次数达到迭代步数100次为止。
均值为0，标准差为1。若高斯随机数k>3.0，则根据梯度更新参数θ可以得到y2对应的梯度为否则保持当前梯度保持不变。因为对于待训练模型而言，模型输出y＝
x*w，所以 所以更新权值w’的更新公式为 从而得到
待训练模型的更新权值，并根据该更新权值对待训练模型进行更新，返回获取模型输出数据的步骤，以进行下一次的更新，直至模型训练完成为止，即训练次数达到迭代步数100次为止。
[0082] 应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0083] 在一个实施例中，如图4所示，提供了一种模型训练装置，包括：模型输出获取模块401、基准结果获取模块403、当前梯度确定模块405、梯度更新处理模块407和权值更新处理模块409，其中：
[0084] 模型输出获取模块401，用于获取模型输出数据，模型输出数据通过将训练样本数据输入待训练模型中得到；
[0085] 基准结果获取模块403，用于获取训练样本数据对应预设的基准结果数据；
[0086] 当前梯度确定模块405，用于当待训练模型不满足训练完成条件时，根据模型输出数据和基准结果数据之间的输出差异，确定模型输出数据的当前梯度；
[0087] 梯度更新处理模块407，用于根据预设的高斯随机规则，对当前梯度进行梯度更新，得到模型输出数据的更新梯度；
[0088] 权值更新处理模块409，用于根据更新梯度确定待训练模型的更新权值，并根据更新权值对待训练模型进行更新，返回获取模型输出数据的步骤。
[0089] 在一个实施例中，还包括结束训练模块，用于当根据模型输出数据和基准结果数据，确定待训练模型满足训练完成条件，或训练次数达到预设次数阈值时，结束训练，得到将待训练模型作为训练完成的目标模型。
[0090] 在一个实施例中，当前梯度确定模块405包括损失函数单元、梯度函数单元和梯度确定单元；其中：损失函数单元，用于获取预设的损失函数；梯度函数单元，用于根据损失函数，确定模型输出数据的梯度函数；梯度确定单元，用于根据梯度函数、模型输出数据和基准结果数据，得到模型输出数据的当前梯度。
[0091] 在一个实施例中，梯度更新处理模块407包括随机数获取单元和梯度更新单元；其中：随机数获取单元，用于获取高斯随机数；梯度更新单元，用于当高斯随机数满足预设的梯度更新条件时，通过预设的梯度更新参数对当前梯度进行梯度更新，得到模型输出数据的更新梯度。
[0092] 在一个实施例中，高斯随机数在预设均值和预设标准差的条件下得到；梯度更新条件包括高斯随机数与预设均值的距离，超过3倍预设标准差；梯度更新参数取值范围为0～1。
[0093] 在一个实施例中，权值更新处理模块409包括梯度下降处理单元，用于基于梯度下降法，根据更新梯度确定待训练模型的更新权值。
[0094] 在一个实施例中，梯度下降处理单元包括参数获取子单元和权值更新子单元；其中：参数获取子单元，用于获取待训练模型的当前权值和学习速率；权值更新子单元，用于根据当前权值、学习速率、更新梯度和训练样本数据，计算待训练模型的更新权值。
[0095] 关于模型训练装置的具体限定可以参见上文中对于模型训练方法的限定，在此不再赘述。上述模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0096] 在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种模型训练方法。
[0097] 本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0098] 在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0099] 获取模型输出数据，模型输出数据通过将训练样本数据输入待训练模型中得到；
[0100] 获取训练样本数据对应预设的基准结果数据；
[0101] 当待训练模型不满足训练完成条件时，根据模型输出数据和基准结果数据之间的输出差异，确定模型输出数据的当前梯度；
[0102] 根据预设的高斯随机规则，对当前梯度进行梯度更新，得到模型输出数据的更新梯度；
[0103] 根据更新梯度确定待训练模型的更新权值，并根据更新权值对待训练模型进行更新，返回获取模型输出数据的步骤。
[0104] 在一个实施例中，处理器执行计算机程序时还实现以下步骤：当根据模型输出数据和基准结果数据，确定待训练模型满足训练完成条件，或训练次数达到预设次数阈值时，结束训练，得到将待训练模型作为训练完成的目标模型。
[0105] 在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取预设的损失函数；根据损失函数，确定模型输出数据的梯度函数；根据梯度函数、模型输出数据和基准结果数据，得到模型输出数据的当前梯度。
[0106] 在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取高斯随机数；当高斯随机数满足预设的梯度更新条件时，通过预设的梯度更新参数对当前梯度进行梯度更新，得到模型输出数据的更新梯度。
[0107] 在一个实施例中，处理器执行计算机程序时还实现以下步骤：高斯随机数在预设均值和预设标准差的条件下得到；梯度更新条件包括高斯随机数与预设均值的距离，超过3倍预设标准差；梯度更新参数取值范围为0～1。
[0108] 在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于梯度下降法，根据更新梯度确定待训练模型的更新权值。
[0109] 在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取待训练模型的当前权值和学习速率；根据当前权值、学习速率、更新梯度和训练样本数据，计算待训练模型的更新权值。
[0110] 在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0111] 获取模型输出数据，模型输出数据通过将训练样本数据输入待训练模型中得到；
[0112] 获取训练样本数据对应预设的基准结果数据；
[0113] 当待训练模型不满足训练完成条件时，根据模型输出数据和基准结果数据之间的输出差异，确定模型输出数据的当前梯度；
[0114] 根据预设的高斯随机规则，对当前梯度进行梯度更新，得到模型输出数据的更新梯度；
[0115] 根据更新梯度确定待训练模型的更新权值，并根据更新权值对待训练模型进行更新，返回获取模型输出数据的步骤。
[0116] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当根据模型输出数据和基准结果数据，确定待训练模型满足训练完成条件，或训练次数达到预设次数阈值时，结束训练，得到将待训练模型作为训练完成的目标模型。
[0117] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取预设的损失函数；根据损失函数，确定模型输出数据的梯度函数；根据梯度函数、模型输出数据和基准结果数据，得到模型输出数据的当前梯度。
[0118] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取高斯随机数；当高斯随机数满足预设的梯度更新条件时，通过预设的梯度更新参数对当前梯度进行梯度更新，得到模型输出数据的更新梯度。
[0119] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：高斯随机数在预设均值和预设标准差的条件下得到；梯度更新条件包括高斯随机数与预设均值的距离，超过3倍预设标准差；梯度更新参数取值范围为0～1。
[0120] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于梯度下降法，根据更新梯度确定待训练模型的更新权值。
[0121] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取待训练模型的当前权值和学习速率；根据当前权值、学习速率、更新梯度和训练样本数据，计算待训练模型的更新权值。
[0122] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种HDMI多媒体数据质量评测方法、装置和系统 | 2020-08-20 | 3 |
| 基于深度学习的电话机器人语音识别结果校正方法 | 2021-03-14 | 2 |
| 基于深度学习的医学文献中关键词筛选方法及装置 | 2021-09-09 | 2 |
| 一种基于深度学习的全自动电路板缺陷检测系统及方法 | 2020-07-18 | 2 |
| 结合人工智能的宠物盆栽系统 | 2022-08-24 | 1 |
| 基于深度学习的软笔书法临摹评价方法 | 2021-02-25 | 2 |
| 卷积神经网络模型、数据处理方法及装置 | 2021-03-21 | 2 |
| 一种基于fisher信息矩阵的主动深度学习方法 | 2023-10-01 | 0 |
| 一种光伏电站集群的高精度动态建模方法 | 2021-11-10 | 2 |
| 一种具有局部实时可重构流水级的运算装置 | 2020-06-18 | 0 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈