语音辅助的视听协同学习新目标网络模型的构建方法
专利汇可以提供语音辅助的视听协同学习新目标网络模型的构建方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种语音辅助的视听协同学习新目标网络模型的构建方法，包括步骤S1-S11，本发明基于传统的对象识别模型和图像特征匹配技术，通过初始对象识别模型对已知对象进行精确识别，若出现新对象，则通过在线学习模型对新对象进行特征记忆，并实时更新初始对象识别模型，使模型的泛化能 力 更强，更加适用现实场景的应用。，下面是语音辅助的视听协同学习新目标网络模型的构建方法专利的具体信息内容。
1.一种语音辅助的视听协同学习新目标网络模型的构建方法，其特征在于，包括以下步骤：
S1：搭建用于原始对象识别的原始对象分类器M1和用于提取对象的特征向量的对象特征提取模型M2；
S2：创建用于保存新对象的特征向量的对象特征向量库B1和用于保存新对象的图像数据集的新对象图像库B2；
S3：输入新图像picture，加载原始对象分类器M1对新图像picture进行对象识别；
S4：若新图像picture中不存在未识别的对象，则停止操作；若存在未识别的对象(object-1、……、object-m)时，则加载对象特征提取模型M2对未识别的对象(object-
1、……、object-m)进行特征提取，将提取到的特征向量集R中的每一个特征向量分别与特征向量库B1中每一个特征向量进行特征匹配；
S5：若匹配时存在匹配的最高置信度most-value高于置信度基础值base-value的对象，则判定该对象正确识别，反之则判定该对象为新对象object；
S6：通过语音辅助进行人机交互，对新对象object的显性特征进行语音描述，为新对象object打上语音标签，得到新图像image；
S7：对新图像image进行图像增广，得到增广后的图像(image-1、image-2、……、image-n)，并保存到新对象图像库B2中；
S8：加载对象特征提取模型M2，对新图像image中的新对象object进行特征提取，并将得到的特征向量feature保存到特征向量库B1中；
S9：遍历新对象图像库B2，判断是否有新对象的数据集量达到训练要求的数据集量N；
S10：若是，则将该新对象的数据集N与原始对象分类器M1的数据集进行合并，并利用合并的数据集训练新的对象分类器替换原始对象分类器M1，并删除新对象图像库B2中该新对象特征的图像数据集；
S11：否则，则重复步骤S3-S9，直到有新对象的数据集量达到训练要求的数据集量N。
2.根据权利要求1所述的语音辅助的视听协同学习新目标网络模型的构建方法，其特征在于，所述搭建用于原始对象识别的原始对象分类器M1的方法包括：
A11：根据实际应用场景，利用图像数据集生成训练图像集images-input1；
A12：创建残差卷积神经网络ResNet来提取训练图像集images-input1中图像的图像特征feature-maps，残差卷积神经网络ResNet由卷积层conv1、relu1层和池化层pooling1组成；
A13：创建RPN网络生成图像候选区域region-proposals，并输入图像特征feature-maps，通过Softmax判断图像特征feature-maps属于前景还是后景，并对候选区域region-proposal进行修正，生成准确的候选区域proposals1；
A14：利用候选区域proposals1和图像特征feature-maps，生成一个固定大小的特征区域proposal-feature-maps。
A15：将固定大小的特征区域proposal-feature-maps进行全连接，利用Softmax进行对象分类，计算损失Loss，并修正损失Loss，实现原始对象的精确分类。
3.根据权利要求2所述的语音辅助的视听协同学习新目标网络模型的构建方法，其特征在于，搭建用于提取对象的特征向量的对象特征提取模型M2的方法包括：
B11：准备具有若干类型的图像数据Data1作为训练数据集images-input2；
B12：加载训练数据集images-input2，预训练自主RPN网络模型RPN-model，输出对象候选区域proposals2；
B13：预训练特征提取网络模型con-model，加载训练数据集images-input2，特征提取网络模型con-model由卷积层conv2、relu2层、池化层pooling2和全连接层FC组成；
B14：对对象候选区域proposals2进行修正，然后分别输入到特征提取网络模型con-model中进行特征提取，得到每个候选区域的图像特征feature-maps。
4.根据权利要求3所述的语音辅助的视听协同学习新目标网络模型的构建方法，其特征在于，所述特征提取网络模型con-model的卷积层conv2为16层、relu2层为15层、池化层pooling2为5层，所述卷积层conv2使用多通道卷积操作，卷积核大小为3x3，填充大小为1，卷积步数为1，所述池化层pooling2使用滤波器大小为2x2，步长为2，类型为最大池化，所述全连接层FC为三层，且每层加入dropout机制。
5.根据权利要求2所述的语音辅助的视听协同学习新目标网络模型的构建方法，其特征在于，所述残差卷积神经网络ResNet的卷积层conv1为49层、relu1层为49层、池化层pooling1为2层，所述卷积层conv1使用多通道卷积操作，所述卷积层conv1包含有1个7x7的卷积核、32个1x1的卷积核和16个3x3的卷积核，所述池化层pooling1使用一个3x3的最大滤波器和一个2x2的均值滤波器。
6.根据权利要求1所述的语音辅助的视听协同学习新目标网络模型的构建方法，其特征在于，所述特征向量集R通过特征提取网络模型con-model中深层卷积层提取：
第8层卷积层conv3-4后的特征矩阵为
第12层卷积层conv4-4后的特征矩阵为
第16层卷积层conv5-4后的特征矩阵为
其中i＝n/2，j＝m/2，p＝i/2，q＝j/2，
则特征矩阵
函数MatToVec(T)将一个矩阵各行进行拼接，变为一个一维向量，参数T＝(A/B/C)为一个矩阵；函数Pad(n)为补零操作，参数n代表补零的个数；特征向量R1＝MatToVec(S1)，特征向量集R＝(R1,R2,...,Rs)，矩阵A、B中的n、m分别为矩阵A、B的长和宽，p、q分别代表矩阵C的长和宽。
7.根据权利要求1所述的语音辅助的视听协同学习新目标网络模型的构建方法，其特征在于，所述最高置信度most-value为特征向量集R中的任意一个特征向量与特征向量库B1中任意一个特征向量的匹配度：
最高置信度 其中α+β+γ＝1，M属于特征向量库B1特征
向量集Q＝(Q1，Q2…Qt)中的向量，N属于特征向量集R＝(R1，R2…Rs)中的向量，Q和R中所有特征向量的大小为L。
语音辅助的视听协同学习新目标网络模型的构建方法
技术领域
背景技术
发明内容
具体实施方式
2x2的均值滤波器。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 电子元件与电路板的连接方法、电路板组件及电子设备 | 2020-05-08 | 585 |
| 一种降噪耳机的配置方法、装置及降噪耳机 | 2020-05-08 | 572 |
| 一种基于胶囊网络的电力通信网络设备可靠性评估方法 | 2020-05-11 | 917 |
| 一种基于地质信息库的砂体构型CMM神经网络预测方法 | 2020-05-11 | 167 |
| 语音辅助的视听协同学习新目标网络模型的构建方法 | 2020-05-11 | 484 |
| 一种超长距离光纤高精度射频信号传递系统和方法 | 2020-05-08 | 426 |
| 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | 2020-05-11 | 340 |
| 一种图像修复模型的训练方法和计算机设备 | 2020-05-11 | 615 |
| 一种大功率自适应调频双工装置 | 2020-05-08 | 236 |
| 一种用于实现对称传输零点的介质滤波器耦合结构 | 2020-05-08 | 901 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
