目标识别的训练方法、装置、计算机设备和存储介质
阅读：751发布：2020-05-11
专利汇可以提供目标识别的训练方法、装置、计算机设备和存储介质专利检索，专利查询，专利分析的服务。并且本 申请 涉及一种目标识别的训练方法、装置、计算机设备和存储介质。所述方法包括：获取 视频流 数据，所述视频流数据包括多 帧 图像；读取所述图像，在所述图像中检测相应的目标，利用所述目标生成多个类别的样本图像集；利用识别模型对多个类别的所述样本图像集进行训练，得到与类别对应的识别概率；根据所述识别概率对相应的样本图像集中的样本进行调节处理；利用调节后的样本图像集对所述识别模型进行优化，通过调节后的样本图像集对优化后的识别模型进行训练。采用本方法能够解决样本 不平衡 的情况下导致的模型学习效果差的问题，由此使得训练后的识别模型可以进行精确的目标识别，避免了训练模型出现欠拟合和过拟合的问题。，下面是目标识别的训练方法、装置、计算机设备和存储介质专利的具体信息内容。
1.一种目标识别的训练方法，所述方法包括：
获取视频流数据，所述视频流数据包括多帧图像；
读取所述图像，在所述图像中检测相应的目标，利用所述目标生成多个类别的样本图像集；
利用识别模型对多个类别的所述样本图像集进行训练，得到与类别对应的识别概率；
根据所述识别概率对相应的样本图像集中的样本进行调节处理；
利用调节后的样本图像集对所述识别模型进行优化，通过调节后的样本图像集对优化后的识别模型进行训练。
2.根据权利要求1所述的方法，其特征在于，所述利用识别模型对多个类别的所述样本图像集进行训练，包括：
获取每个类别的样本图像集对应的样本数量；
选取最小的样本数量作为标准单位量；
将每个类别的样本图像集的样本数量，按照所述标准单位量进行等分，得到对应的多个标准单位量样本图像集；
对所述每个类别的样本图像集对应的标准单位量样本图像集进行训练。
3.根据权利要求1所述的方法，其特征在于，所述根据所述识别概率对相应的样本图像集中的样本进行调节处理，包括：
获取所述样本图像集对应的样本比例；
当所述样本比例达到第一阈值时，将所述样本比例对应类别的样本图像集标记为多数类别的样本图像集；
获取所述多数类别的样本图像集对应的目标坐标精确度；
将所述目标坐标精确度与预设目标坐标精确度进行相似度匹配，得到与多数类别对应的识别概率；
当所述识别概率大于预设识别概率时，对所述识别概率对应的多数类别的样本图像集进行裁剪处理，直至所述多数类别的样本图像集对应的样本数量达到数据平衡合理范围。
4.根据权利要求1所述的方法，其特征在于，所述根据所述识别概率对相应的样本图像集中的样本进行调节处理，包括：
获取所述样本图像集对应的样本比例；
当所述样本比例达到第二阈值时，将所述样本比例对应类别的样本图像集标记为少数类别的样本图像集；
获取所述少数类别的样本图像集对应的目标坐标精确度；
将所述目标坐标精确度与预设目标坐标精确度进行相似度匹配，得到与少数类别对应的识别概率；
当所述识别概率小于预设识别概率时，对所述识别概率对应的少数类别的样本图像集进行增强处理，直至所述少数类别的样本图像集对应的样本数量达到数据平衡合理范围。
5.根据权利要求4所述的方法，其特征在于，所述对所述识别概率对应的少数类别的样本图像集进行增强处理，包括：
对所述少数类别的样本图像集中的样本图像进行随机抽取，得到随机抽取的原样本图像；
对所述原样本图像的亮度和对比度进行随机调节，得到新增样本图像；
对所述原样本图像进行遮挡处理，得到新增样本图像。
6.根据权利要求1所述的方法，其特征在于，所述利用调节后的样本图像集对所述识别模型进行优化，包括：
通过调节所述识别模型中的损失函数，向所述识别模型添加调节后的样本图像集的样本数量比例权重，对所述识别模型进行优化。
7.一种目标识别的训练装置，其特征在于，所述装置包括：
获取模块，用于获取视频流数据，所述视频流数据包括多帧图像；
生成模块，用于读取所述图像，在所述图像中检测相应的目标，利用所述目标生成多个类别的样本图像集；
训练模块，用于利用识别模型对多个类别的所述样本图像集进行训练，得到与类别对应的识别概率；
调节模块，用于根据所述识别概率对相应的样本图像集中的样本进行调节处理；
优化模块，用于利用调节后的样本图像集对所述识别模型进行优化，通过调节后的样本图像集对优化后的识别模型进行训练。
8.根据权利要求7的目标识别的训练装置，其特征在于，所述装置还包括：
获取模块还用于获取每个类别的样本图像集对应的样本数量；
选取模块，用于选取最小的样本数量作为标准单位量；
等分模块，用于将每个类别的样本图像集的样本数量，按照所述标准单位量进行等分，得到对应的多个标准单位量样本图像集；
训练模块还用于对所述每个类别的样本图像集对应的标准单位量样本图像集进行训练。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
目标识别的训练方法、装置、计算机设备和存储介质
技术领域
[0001] 本申请涉及计算机技术领域，特别是涉及一种目标识别的训练方法、装置、计算机设备和存储介质。
背景技术
[0002] 随着机器学习和深度学习技术的发展，越来越多的用户使用深度学习技术对目标进行识别。在人工智能领域中,机器学习和深度学习需要通过学习大量的样本案例,改善机器判断的精准度。尤其在机器视觉领域的特定目标识别中,需要把具有目标的样本图像标记出来,对目标样本图像集进行大量的训练，从而使得训练模型具备可以同时识别多种目标样本的能力。
[0003] 然而，在目前目标识别的训练方式中，通过随机抽取随机条目的数据进行复制，再将上述随机抽取的数据加入到原始样本中，难以解决学习样本不平衡的问题，因而极易造成训练模型欠拟合和过拟合的问题，从而导致训练后的识别模型难以进行精确的目标识别。发明内容
[0004] 基于此，有必要针对上述技术问题，提供一种能够解决学习样本不平衡问题的目标识别的训练方法、装置、计算机设备和存储介质。
[0005] 一种目标识别的训练方法，所述方法包括：
[0007] 读取所述图像，在所述图像中检测相应的目标，利用所述目标生成多个类别的样本图像集；
[0008] 利用识别模型对多个类别的所述样本图像集进行训练，得到与类别对应的识别概率；
[0009] 根据所述识别概率对相应的样本图像集中的样本进行调节处理；
[0010] 利用调节后的样本图像集对所述识别模型进行优化，通过调节后的样本图像集对优化后的识别模型进行训练。
[0011] 在其中一个实施例中，所述利用识别模型对多个类别的所述样本图像集进行训练，包括：
[0012] 获取每个类别的样本图像集对应的样本数量；
[0013] 选取最小的样本数量作为标准单位量；
[0014] 将每个类别的样本图像集的样本数量，按照所述标准单位量进行等分，得到对应的多个标准单位量样本图像集；
[0015] 对所述每个类别的样本图像集对应的标准单位量样本图像集进行训练。
[0016] 在其中一个实施例中，所述根据所述识别概率对相应的样本图像集中的样本进行调节处理，包括：
[0017] 获取所述样本图像集对应的样本比例；
[0018] 当所述样本比例达到第一阈值时，将所述样本比例对应类别的样本图像集标记为多数类别的样本图像集；
[0019] 获取所述多数类别的样本图像集对应的目标坐标精确度；
[0020] 将所述目标坐标精确度与预设目标坐标精确度进行相似度匹配，得到与多数类别对应的识别概率；
[0021] 当所述识别概率大于预设识别概率时，对所述识别概率对应的多数类别的样本图像集进行裁剪处理，直至所述多数类别的样本图像集对应的样本数量达到数据平衡合理范围。
[0022] 在其中一个实施例中，所述根据所述识别概率对相应的样本图像集中的样本进行调节处理，包括：
[0023] 获取所述样本图像集对应的样本比例；
[0024] 当所述样本比例达到第二阈值时，将所述样本比例对应类别的样本图像集标记为少数类别的样本图像集；
[0025] 获取所述少数类别的样本图像集对应的目标坐标精确度；
[0026] 将所述目标坐标精确度与预设目标坐标精确度进行相似度匹配，得到与少数类别对应的识别概率；
[0027] 当所述识别概率小于预设识别概率时，对所述识别概率对应的少数类别的样本图像集进行增强处理，直至所述少数类别的样本图像集对应的样本数量达到数据平衡合理范围。
[0028] 在其中一个实施例中，所述对所述识别概率对应的少数类别的样本图像集进行增强处理，包括：
[0029] 对所述少数类别的样本图像集中的样本图像进行随机抽取，得到随机抽取的原样本图像；
[0031] 对所述原样本图像进行遮挡处理，得到新增样本图像。
[0032] 在其中一个实施例中，所述利用调节后的样本图像集对所述识别模型进行优化，包括：
[0033] 通过调节所述识别模型中的损失函数，向所述识别模型添加调节后的样本图像集的样本数量比例权重，对所述识别模型进行优化。
[0034] 一种目标识别的训练装置，所述装置包括：
[0035] 获取模块，用于获取视频流数据，所述视频流数据包括多帧图像；
[0036] 生成模块，用于读取所述图像，在所述图像中检测相应的目标，利用所述目标生成多个类别的样本图像集；
[0037] 训练模块，用于利用识别模型对多个类别的所述样本图像集进行训练，得到与类别对应的识别概率；
[0038] 调节模块，用于根据所述识别概率对相应的样本图像集中的样本进行调节处理；
[0039] 优化模块，用于利用调节后的样本图像集对所述识别模型进行优化，通过调节后的样本图像集对优化后的识别模型进行训练。
[0041] 获取视频流数据，所述视频流数据包括多帧图像；
[0042] 读取所述图像，在所述图像中检测相应的目标，利用所述目标生成多个类别的样本图像集；
[0043] 利用识别模型对多个类别的所述样本图像集进行训练，得到与类别对应的识别概率；
[0044] 根据所述识别概率对相应的样本图像集中的样本进行调节处理；
[0045] 利用调节后的样本图像集对所述识别模型进行优化，通过调节后的样本图像集对优化后的识别模型进行训练。
[0046] 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0047] 获取视频流数据，所述视频流数据包括多帧图像；
[0048] 读取所述图像，在所述图像中检测相应的目标，利用所述目标生成多个类别的样本图像集；
[0049] 利用识别模型对多个类别的所述样本图像集进行训练，得到与类别对应的识别概率；
[0050] 根据所述识别概率对相应的样本图像集中的样本进行调节处理；
[0051] 利用调节后的样本图像集对所述识别模型进行优化，通过调节后的样本图像集对优化后的识别模型进行训练。
[0052] 上述目标识别的训练方法、装置、计算机设备和存储介质，通过获取视频流数据，视频流数据包括多帧图像。读取图像，在图像中检测相应的目标，利用目标生成多个类别的样本图像集。利用识别模型对多个类别的样本图像集进行训练，得到与类别对应的识别概率。根据识别概率对相应的样本图像集中的样本进行调节处理。利用调节后的样本图像集对识别模型进行优化，通过调节后的样本图像集对优化后的识别模型进行训练。相对于传统的目标识别训练方式，通过对不同类别的样本图像集之间的样本数量关系进行分析，将增强少数类别样本和减弱多数类别样本高效有机的融合应用，达到平衡样本库中类间样本数量的作用，同时也不影响神经网络的学习训练质量，即根据样本库中不同类别的样本图像集之间的样本数量关系，采用动态的处理方案解决样本不平衡的情况下导致的模型学习效果差的问题，由此使得训练后的识别模型可以进行精确的目标识别，避免了训练模型出现欠拟合和过拟合的问题。附图说明
[0053] 图1为一个实施例中目标识别的训练方法的应用场景图；
[0054] 图2为一个实施例中目标识别的训练方法的流程示意图；
[0055] 图3为一个实施例中利用识别模型对多个类别的样本图像集进行训练步骤的流程示意图；
[0056] 图4为一个实施例中根据识别概率对相应的样本图像集中的样本进行调节处理步骤的流程示意图；
[0057] 图5为另一个实施例中根据识别概率对相应的样本图像集中的样本进行调节处理步骤的流程示意图；
[0058] 图6为一个实施例中目标识别的训练装置的结构框图；
[0059] 图7为一个实施例中计算机设备的内部结构图。
具体实施方式
[0060] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0061] 本申请提供的目标识别的训练方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。终端102可以通过向服务器104发送请求，从服务器104获取对应的视频流数据。具体的，终端102向服务器104发送数据获取请求，以使得服务器104根据接收到的数据获取请求，查询对应的视频流数据，将对应的视频流数据按序传输至终端102，其中，视频流数据包括多帧图像。终端102读取多帧图像，在多帧图像中检测相应的目标，利用目标生成多个类别的样本图像集。终端102利用识别模型对多个类别的样本图像集进行训练，得到与类别对应的识别概率。终端102根据识别概率对相应的样本图像集中的样本进行调节处理，终端102利用调节后的样本图像集对识别模型进行优化，通过调节后的样本图像集对优化后的识别模型进行训练。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
[0062] 在一个实施例中，如图2所示，提供了一种目标识别的训练方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
[0063] 步骤202，获取视频流数据，视频流数据包括多帧图像。
[0064] 服务器中存储有大量的视频流数据，终端可以从服务器中获取视频流数据，并对获取的视频流数据进行视频解码，得到具有统一图片格式的多帧图像。服务器也可以直接将存储的视频流数据按序传输至终端。具体的，终端根据用户的不同需求，向服务器发送数据获取请求，以使得服务器根据接受到的数据获取请求，查询对应的视频流数据，将对应的视频流数据按序传输至终端。其中，视频流数据包括按序排列的多帧图像，视频流数据的传输是指将多帧图像按顺序通过视频流进行传输。
[0065] 步骤204，读取图像，在图像中检测相应的目标，利用目标生成多个类别的样本图像集。
[0066] 终端接收到服务器传输的视频流数据后，终端读取视频流数据中的多帧图像，在多帧图像中检测相应的目标，终端根据检测到的目标生成多个类别的样本图像集。例如终端读取视频流数据中的多帧图像，在多帧图像中检测相应的目标对象为猫科动物，终端根据猫科动物的不同类型生成对应的多个类别的猫科动物样本图像集。
[0067] 步骤206，利用识别模型对多个类别的样本图像集进行训练，得到与类别对应的识别概率。
[0068] 终端根据生成的多个类别的样本图像集，终端利用识别模型对上述多个类别的样本图像集进行训练，得到与类别对应的识别概率。具体的，终端可以根据实验测试结果预先设置标准样本数量值，终端调用计算模块对每个类别的样本图像集的图像数量进行计算，得到每个类别的样本图像集对应的样本数量，终端计算每个类别的样本图像集的样本数量与预置的标准样本数量值之间的比率，生成对应的多个类别的样本图像集的样本比例。终端可以通过获取上述多个类别的样本图像集的样本比例，终端利用配置工具遍历扫描上述多个类别的样本图像集的样本比例，终端将扫描到的样本比例与预设阈值相比较，根据不同的预设阈值范围，终端可以将多个类别的样本图像集划分为少数类别的样本图像集和多数类别的样本图像集。进一步的，终端利用识别模型对少数类别的样本图像集进行训练，得到少数类别对应的识别概率。终端利用识别模型对多数类别的样本图像集进行训练，得到多数类别对应的识别概率。例如当终端检测到样本比例不大于0.5时，终端将该样本比例对应类别的样本图像集标记为少数类别的样本图像集，表明该类样本图像集的样本数量严重缺失，单一的增强处理方式可能会出现过拟合现象。当终端检测到样本比例不小于1.5时，终端将该样本比例对应类别的样本图像集标记为多数类别的样本图像集，表明该类样本图像集的样本数量过多，单一的删减样本，会导致特征信息减少，降低识别率，从而可能会出现欠拟合现象，因此需要采用动态的处理方案解决样本不平衡的问题，避免训练模型出现欠拟合和过拟合的问题。
[0069] 步骤208，根据识别概率对相应的样本图像集中的样本进行调节处理。
[0070] 步骤210，利用调节后的样本图像集对识别模型进行优化，通过调节后的样本图像集对优化后的识别模型进行训练。
[0071] 终端根据识别概率对相应的样本图像集中的样本进行调节处理。具体的，终端利用识别模型对少数类别的样本图像集进行训练，记录每次训练后的样本图像集的识别结果，得到少数类别对应的识别概率。终端根据少数类别对应的识别概率对该少数类别的样本图像集进行调节处理，得到调节后的样本图像集。终端利用识别模型对多数类别的样本图像集进行训练，记录每次训练后的样本图像集的识别结果，得到多数类别对应的识别概率。终端根据多数类别对应的识别概率对该多数类别的样本图像集进行调节处理，得到调节后的样本图像集。其中，每次训练后的样本图像集的识别结果可以包括每个类别的样本图像集对应的目标坐标信息。终端根据识别概率对相应的样本图像集中的样本进行调节处理，包括对样本图像集进行增强或者裁剪处理，得到调节后的样本图像集。终端利用调节后的样本图像集对识别模型进行优化，通过调节后的样本图像集对优化后的识别模型进行训练。
[0072] 本实施例中，通过获取视频流数据，视频流数据包括多帧图像。读取图像，在图像中检测相应的目标，利用目标生成多个类别的样本图像集。利用识别模型对多个类别的样本图像集进行训练，得到与类别对应的识别概率。根据识别概率对相应的样本图像集中的样本进行调节处理。利用调节后的样本图像集对识别模型进行优化，通过调节后的样本图像集对优化后的识别模型进行训练。相对于传统的目标识别训练方式，通过对不同类别的样本图像集之间的样本数量关系进行分析，将增强少数类别样本和减弱多数类别样本高效有机的融合应用，达到平衡样本库中类间样本数量的作用，同时也不影响神经网络的学习训练质量，即根据样本库中不同类别的样本图像集之间的样本数量关系，采用动态的处理方案解决样本不平衡的情况下导致的模型学习效果差的问题，由此使得训练后的识别模型可以进行精确的目标识别，避免了训练模型出现欠拟合和过拟合的问题。
[0073] 在一个实施例中，利用识别模型对多个类别的样本图像集进行训练的步骤，如图3所示，包括：
[0074] 步骤302，获取每个类别的样本图像集对应的样本数量。
[0075] 步骤304，选取最小的样本数量作为标准单位量。
[0076] 步骤306，将每个类别的样本图像集的样本数量，按照标准单位量进行等分，得到对应的多个标准单位量样本图像集。
[0077] 步骤308，对每个类别的样本图像集对应的标准单位量样本图像集进行训练。
[0078] 终端读取多帧图像，在多帧图像中检测相应的目标，利用目标生成多个类别的样本图像集。进一步的，终端利用识别模型对多个类别的样本图像集进行训练。具体的，终端获取每个类别的样本图像集对应的样本数量，选取其中最小的样本数量作为标准单位量。终端将待训练的每个类别的样本图像集的样本数量，按照标准单位量进行等分，得到对应的多个标准单位量样本图像集。例如，终端获取每个类别的样本图像集对应的样本数量，选取其中最小的样本数量Ns作为标准单位量。若其中一个类别的样本图像集的样本数量为Nm，终端计算上述样本数量Nm与标准单位量Ns的倍数关系，即Nm/Ns＝m，其中m四舍五入取整，则终端将样本数量Nm对应的样本图像集均分为m个标准单位量样本图像集。进一步的，终端利用K折交叉验证的方法对每个类别的样本图像集对应的标准单位量样本图像集进行训练，记录每次训练后的样本图像集的识别结果，得到与类别对应的识别概率。例如样本库中有3个类别的样本图像集，第一个类别的样本图像集有10张样本图像，第二个类别的样本图像集有21张样本图像，第三个类别的样本图像集有38张样本图像。终端获取上述3个类别的样本图像集对应的样本数量为N1＝10、N2＝21、N3＝38，选取其中最小样本数量为第一个类别的样本图像集的样本量N1＝10，即Ns＝N1＝10为标准单位量。进一步的，终端按照标准单位量Ns对第二个类别的样本图像集进行等分，即第二个类别的样本图像集被等分为2个标准单位量样本图像集Ns(10)和Ns(11)，则终端将Ns(10)标准单位量样本图像集作为训练样本，剩余的Ns(11)标准单位量样本图像集作为测试样本进行训练。终端按照标准单位量Ns对第三个类别的样本图像集进行等分，即第三个类别的样本图像集被等分为4个标准单位量样本图像集Ns(10)、Ns(10)、Ns(10)和Ns(8)，则终端将Ns(10)标准单位量样本图像集作为训练样本，剩余的3个Ns(10)、Ns(10)和Ns(8)标准单位量样本图像集作为测试样本进行训练。由此使得通过利用K折交叉验证的方法，将每个类别的样本图像集等分为多个标准单位量样本图像集，实现了每次迭代过程中每个样本只有一次被划入训练集或测试集的机会，解决了样本不平衡的情况下导致的模型学习效果差的问题,同时避免了训练模型出现欠拟合和过拟合的问题。
[0079] 在其中一个实施例中，终端对每个类别的样本图像集对应的标准单位量样本图像集进行训练时，若其中一个类别的样本图像集对应的标准单位量图像集有多个，则可以引用K折交叉验证的方法，终端可将其中一个标准单位量图像集作为训练样本，将剩余的标准单位量图像集作为测试样本。例如现有3个类别的样本图像集，终端获取每个类别的样本图像集对应的样本数量N1、N2、N3，终端选取其中最小样本数量为第三个类别的样本图像集的样本量，即Ns＝N3为标准单位量。第1个类别的样本图像集对应的标准单位量图像集为(Ns11，Ns12，Ns13)，第2个类别的样本图像集对应的标准单位量图像集为(Ns21，Ns22)，第3个类别的样本图像集对应的标准单位量图像集为(Ns31)，因为Ns31为最小样本数量即标准单位量，则每次迭代过程中，终端从第3个类别的样本图像集对应的标准单位量图像集中不重复抽取20％张图像作为测试集，其余80％张图像作为训练集，即第3个类别的样本图像集对应的测试集为0.2*(Ns31)，训练集为0.8*(Ns31)。终端根据排列组合原理依次进行下列组合训练。终端根据第一训练集{Ns11，Ns21，0.8*(Ns31)}，对测试集{Ns12，Ns13，Ns22，0.2*(Ns31)}进行训练。终端根据第二训练集{Ns11，Ns22，0.8*(Ns31)}，对测试集{Ns12，Ns13，Ns21,0.2*(Ns31)}进行训练。终端根据第三训练集{Ns12，Ns21，0.8*(Ns31)}，对测试集{Ns11，Ns13，Ns22,0.8*(Ns31)}进行训练。终端根据第四训练集{Ns12，Ns22，0.8*(Ns31)}，对测试集{Ns11，Ns13，Ns21,0.2*(Ns31)}进行训练。终端根据第五训练集{Ns13，Ns21，0.8*(Ns31)}，对测试集{Ns11，Ns12，Ns22,0.2*(Ns31)}进行训练。终端根据第六训练集{Ns13，Ns22，0.8*(Ns31)}，对测试集为{Ns11，Ns12，Ns21,0.2*(Ns31)}进行训练，记录每次训练后的样本图像集的识别结果，即每次训练后的测试集对应的识别概率。由此使得识别模型可以对不同类别的样本图像集按照标准单位量样本图像集排列组合进行训练，可有效处理多样本的动态样本平衡问题。
[0080] 在一个实施例中，根据识别概率对相应的样本图像集中的样本进行调节处理的步骤，如图4所示，包括：
[0081] 步骤402，获取样本图像集对应的样本比例。
[0082] 步骤404，当样本比例达到第一阈值时，将样本比例对应类别的样本图像集标记为多数类别的样本图像集。
[0083] 步骤406，获取多数类别的样本图像集对应的目标坐标精确度。
[0084] 步骤408，将目标坐标精确度与预设目标坐标精确度进行相似度匹配，得到与多数类别对应的识别概率。
[0085] 步骤410，当识别概率大于预设识别概率时，对识别概率对应的多数类别的样本图像集进行裁剪处理，直至多数类别的样本图像集对应的样本数量达到数据平衡合理范围。
[0086] 终端利用识别模型对多个类别的样本图像集进行训练，得到与类别对应的识别概率，终端根据识别概率对相应的样本图像集中的样本进行调节处理。具体的，终端利用识别模型对多个类别的样本图像集进行训练之前，终端可以通过获取上述多个类别的样本图像集的样本比例，终端利用配置工具遍历扫描上述多个类别的样本图像集的样本比例，当终端检测到样本比例达到第一阈值时，将该样本比例对应类别的样本图像集标记为多数类别的样本图像集。终端加载识别模型对多数类别的样本图像集进行训练时，终端根据排列组合原理依次对多数类别的样本图像集对应的标准单位量样本图像集进行训练，记录每次训练后的测试集的识别结果。进一步的，终端根据训练后的每个测试集的识别结果，获取每个测试集对应的目标坐标精确度。终端预先对目标对应的多帧图像进行图像标注，得到预设目标坐标精确度，终端将获取到的每个测试集对应的目标坐标精确度与预设目标坐标精确度进行相似度匹配，得到与多数类别对应的多个测试集的识别概率。当终端检测到其中一个测试集的识别概率大于预设识别概率时，终端对该测试集对应的多数类别的样本图像集进行裁剪处理，直至多数类别的样本图像集对应的样本数量达到样本数据平衡的合理范围。由此使得利用深度学习算法找出多数类别样本中比较容易识别的样本图像并进行数据削减，既不会过多流失多数类别样本的图像数据特征，同时也可以对多数类别样本进行适当裁剪，最终将不平衡样本集动态调节到相对平衡，有效解决了样本不平衡的情况下导致的模型学习效果差的问题。
[0087] 在一个实施例中，根据识别概率对相应的样本图像集中的样本进行调节处理的步骤，如图5所示，包括：
[0088] 步骤502，获取样本图像集对应的样本比例。
[0089] 步骤504，当样本比例达到第二阈值时，将样本比例对应类别的样本图像集标记为少数类别的样本图像集。
[0090] 步骤506，获取少数类别的样本图像集对应的目标坐标精确度。
[0091] 步骤508，将目标坐标精确度与预设目标坐标精确度进行相似度匹配，得到与少数类别对应的识别概率。
[0092] 步骤510，当识别概率小于预设识别概率时，对识别概率对应的少数类别的样本图像集进行增强处理，直至少数类别的样本图像集对应的样本数量达到数据平衡合理范围。
[0093] 终端利用识别模型对多个类别的样本图像集进行训练，得到与类别对应的识别概率，终端根据识别概率对相应的样本图像集中的样本进行调节处理。具体的，终端利用识别模型对多个类别的样本图像集进行训练之前，终端可以通过获取上述多个类别的样本图像集的样本比例，终端利用配置工具遍历扫描上述多个类别的样本图像集的样本比例，当终端检测到样本比例达到第二阈值时，将该样本比例对应类别的样本图像集标记为少数类别的样本图像集。终端加载识别模型对少数类别的样本图像集进行训练时，终端根据排列组合原理依次对少数类别的样本图像集对应的标准单位量样本图像集进行训练，记录每次训练后的测试集的识别结果。进一步的，终端根据训练后的每个测试集的识别结果，获取每个测试集对应的目标坐标精确度。终端预先对目标对应的多帧图像进行图像标注，得到预设目标坐标精确度，终端将获取到的每个测试集对应的目标坐标精确度与预设目标坐标精确度进行相似度匹配，得到与少数类别对应的多个测试集的识别概率。当终端检测到其中一个测试集的识别概率小于预设识别概率时，终端对该测试集对应的少数类别的样本图像集进行增强处理，直至少数类别的样本图像集对应的样本数量达到样本数据平衡的合理范围。由此使得利用深度学习算法找出少数类别样本中比较难识别的样本图像，对这些比较难识别的样本图像进行数据增强处理，最终将不平衡样本集动态调节到相对平衡，有效解决了样本不平衡的情况下导致的模型学习效果差的问题。
[0094] 在一个实施例中，对识别概率对应的少数类别的样本图像集进行增强处理的步骤，包括：
[0095] 对少数类别的样本图像集中的样本图像进行随机抽取，得到随机抽取的原样本图像。
[0096] 对原样本图像的亮度和对比度进行随机调节，得到新增样本图像。
[0097] 对原样本图像进行遮挡处理，得到新增样本图像。
[0098] 当终端检测到其中一个测试集的识别概率小于预设识别概率时，终端将该测试集对应的少数类别的样本图像集进行增强处理，直至少数类别的样本图像集对应的样本数量达到样本平衡。具体的，终端对该测试集对应的少数类别的样本图像集中的图像进行随机抽取，得到随机抽取的原样本图像。终端可以预先设置最大对比度阈值m1以及最大偏置阈值m2，终端随机产生10以内的随机数n，将其转换为百分比数值p＝n/100，根据下述调整公式：
[0099] g(x)＝af(x)+b (1)[0100] 其中：f(x)为源图像；g(x)为输出图像；a为增益值，用于设置图像对比度；b为偏置值，用于调整图像亮度。
[0101] 终端根据下述公式进行计算：
[0102] a＝m1*p/100 (2)[0103] b＝m2*p (3)[0104] 终端将计算得到的a，b代入公式(1)中，即得到亮度和对比度随机调整后的新增样本图像。通过对图像亮度和对比度的随机处理，即对图像亮度和对比度随机性增强，从而提高了样本的丰富度，有助于提高神经网络的鲁棒性。
[0105] 终端还可以对原样本图像进行随机遮挡处理，得到随机遮挡后的新增样本图像。例如终端可以将原样本图像按照4*4均匀划分为16个图像单元，随机遮挡16个图像单元中的1个或2个图像单元，即得到随机遮挡后的新增样本图像。由此使得通过对缺少样本数量的少数类别样本进行增强处理，采用上采样方法从颜色、遮挡等方面进行增强处理，从而提高样本的多样性和鲁棒性，使得训练识别模型能够更好的学习样本图像特征。
[0106] 在一个实施例中，利用调节后的样本图像集对识别模型进行优化的步骤，包括：
[0107] 通过调节识别模型中的损失函数，向识别模型添加调节后的样本图像集的样本数量比例权重，对识别模型进行优化。
[0108] 终端根据识别概率对相应的样本图像集中的样本进行调节处理，终端利用调节后的样本图像集对识别模型进行优化，通过调节后的样本图像集对优化后的识别模型进行训练。具体的，终端可以分别计算每个调节后的样本图像集的损失函数值，终端根据上述计算得到的每个调节后的样本图像集对应的损失函数值，修改识别模型中的损失函数值，向识别模型添加每个调节后的样本图像集的样本数量比例权重，对识别模型进行优化。终端通过调节后的样本图像集对优化后的识别模型进行训练，由此使得在进行非平衡样本图像集的目标识别时，通过向识别模型添加每个调节后的样本图像集的样本数量比例权重，提高少数类别样本图像集的分类准确率，从而使得训练后的识别模型可以进行精确的目标识别。
[0109] 应该理解的是，虽然图1-5流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0110] 在一个实施例中，如图6所示，提供了一种目标识别的训练装置，包括：获取模块602、生成模块604、训练模块606、调节模块608和优化模块610，其中：
[0111] 获取模块602，用于获取视频流数据，视频流数据包括多帧图像。
[0112] 生成模块604，用于读取图像，在图像中检测相应的目标，利用目标生成多个类别的样本图像集。
[0113] 训练模块606，用于利用识别模型对多个类别的样本图像集进行训练，得到与类别对应的识别概率。
[0114] 调节模块608，用于根据识别概率对相应的样本图像集中的样本进行调节处理。
[0115] 优化模块610，用于利用调节后的样本图像集对识别模型进行优化，通过调节后的样本图像集对优化后的识别模型进行训练。
[0116] 在一个实施例中，该装置还包括：选取模块和等分模块。
[0117] 获取模块602还用于获取每个类别的样本图像集对应的样本数量。选取模块用于选取最小的样本数量作为标准单位量。等分模块用于将每个类别的样本图像集的样本数量，按照标准单位量进行等分，得到对应的多个标准单位量样本图像集。训练模块606还用于对每个类别的样本图像集对应的标准单位量样本图像集进行训练。
[0118] 在一个实施例中，该装置还包括：标记模块、匹配模块和裁剪处理模块。
[0119] 获取模块602还用于获取样本图像集对应的样本比例。标记模块用于当样本比例达到第一阈值时，将样本比例对应类别的样本图像集标记为多数类别的样本图像集。获取模块602还用于获取多数类别的样本图像集对应的目标坐标精确度。匹配模块用于将目标坐标精确度与预设目标坐标精确度进行相似度匹配，得到与多数类别对应的识别概率。裁剪处理模块用于当识别概率大于预设识别概率时，对识别概率对应的多数类别的样本图像集进行裁剪处理，直至多数类别的样本图像集对应的样本数量达到数据平衡合理范围。
[0120] 在一个实施例中，该装置还包括：增强处理模块。
[0121] 获取模块602还用于获取样本图像集对应的样本比例。标记模块还用于当样本比例达到第二阈值时，将样本比例对应类别的样本图像集标记为少数类别的样本图像集。获取模块602还用于获取少数类别的样本图像集对应的目标坐标精确度。匹配模块还用于将目标坐标精确度与预设目标坐标精确度进行相似度匹配，得到与少数类别对应的识别概率。增强处理模块用于当识别概率小于预设识别概率时，对识别概率对应的少数类别的样本图像集进行增强处理，直至少数类别的样本图像集对应的样本数量达到数据平衡合理范围。
[0122] 在一个实施例中，该装置还包括：抽取模块和遮挡处理模块。
[0123] 抽取模块用于对少数类别的样本图像集中的样本图像进行随机抽取，得到随机抽取的原样本图像。调节模块608还用于对原样本图像的亮度和对比度进行随机调节，得到新增样本图像。遮挡处理模块用于对原样本图像进行遮挡处理，得到新增样本图像。
[0124] 在一个实施例中，调节模块608还用于通过调节识别模型中的损失函数，向识别模型添加调节后的样本图像集的样本数量比例权重，对识别模型进行优化。
[0125] 关于目标识别的训练装置的具体限定可以参见上文中对于目标识别的训练方法的限定，在此不再赘述。上述目标识别的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0126] 在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标识别的训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0127] 本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0128] 在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述各个方法实施例的步骤。
[0129] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 摄像设备和监视系统 | 2020-05-08 | 341 |
| 一种图像切割和数据增强方法、系统及设备 | 2020-05-11 | 783 |
| 基于全反射的增强投影亮度和对比度的幕布及其制作方法 | 2020-05-08 | 600 |
| 一种内窥镜图像增强方法 | 2020-05-11 | 673 |
| 一种基于Tetrolet变换的近红外与彩色可见光图像融合算法 | 2020-05-11 | 499 |
| 一种农产品质量安全预警系统 | 2020-05-11 | 863 |
| 贴图处理方法及装置、电子设备、存储介质 | 2020-05-08 | 686 |
| 由羧酸化合物合成的光刻胶树脂单体及其合成方法 | 2020-05-08 | 990 |
| 一种基于深度学习的道路病害检测方法 | 2020-05-08 | 564 |
| 一种用于户外LED显示的保护玻璃 | 2020-05-08 | 434 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈