专利汇可以提供基于DSP芯片与量化模型的三维物体识别方法专利检索,专利查询,专利分析的服务。并且本 发明 涉及一种基于DSP芯片与量化模型的三维 物体识别 方法。包括三维 数据采集 器、三维数据特征提取器以及特征 解码器 ,三维数据采集器为RGB-D摄像头,拍摄后得到画面中物体的深度信息,最终合成为点 云 数据;将该点云数据输入到三维数据特征提取器中,特征提取器中的量化参数模型存储模 块 用于存量化模型的储参数,利用DSP并行计算 加速 模块加速特性,快速完成 深度神经网络 中卷积、 池化 、残差操作,得到输入数据的特征;特征解码器根据模型训练时对特征加密的方式反向解码,得到需要的特征格式。发明中的特征提取器可以提取三维数据的特征,并且可以通过数据结构优化和 硬件 加速的方法加速特征提取的速度。,下面是基于DSP芯片与量化模型的三维物体识别方法专利的具体信息内容。
1.一种基于DSP芯片与量化模型的三维物体识别方法,其特征在于,包括三维数据采集器、三维数据特征提取器以及特征解码器,所述的三维数据特征提取器包括量化参数模型存储模块和DSP并行计算加速模块;所述的三维数据采集器为RGB-D摄像头,拍摄后得到画面中物体的深度信息,最终合成为点云数据;将该点云数据输入到三维数据特征提取器中,特征提取器中的量化参数模型存储模块用于存量化模型的储参数,利用DSP并行计算加速模块加速特性,快速完成深度神经网络中卷积、池化、残差操作,最后得到输入数据的特征;
特征解码器根据模型训练时对特征加密的方式反向解码,得到需要的特征格式。
2.根据权利要求1所述的基于DSP芯片与量化模型的三维物体识别方法,其特征在于,在使用量化参数模型存储模块存储参数时,需要获取量化模型,量化模型的获取方法包括训练时量化和训练后量化;
当为训练时量化是的步骤包括:首先,在模型训练时调用Tensorflow的
tf.contrib.quantize.create_training_graph接口并实现该接口未支持的在一般操作后加入伪量化节点的功能,之后所有的运算操作后都有一个伪量化节点,伪量化节点储存上一个节点的最大值和最小值,使用这两个值,利用映射公式:Q=R/scale+zero_pt,即可将参数由32位浮点数存储的方式转换成用8位整型数的存储方式,其中R代表32位浮点数,Q代表8位整型数,scale是映射缩放,scale=(Vmax-Vmin)/255,zero_pt是映射零点,zero_pt=-255*Vmin/(Vmax–Vmin)=-Vmin/scale,其中Vmax与Vmin从伪量化节点中获取,255为8位无符号整型数可表示的最大值;
然后,在模型参数固定时,调用tf.contrib.quantize.create_eval_graph接口并实现该接口未支持的在一般操作后加入伪量化节点的功能。随后进行模型参数固定,参数固定后,调用toco convert脚本,结合一般节点与其对应的伪量化节点的信息,得到量化模型;
当为训练后量化时的步骤包括:首先,在模型训练阶段使用一般的训练方法;
然后,在模型参数固定时,在权重、激活、矩阵乘法、加法等节点之后人工地加入伪量化节点,再向模型喂入部分训练数据以获得伪量化节点需要记录的关于上一节点的最大值和最小值;随后进行模型参数固定,参数固定后,调用toco convert脚本,结合一般节点与其对应的伪量化节点的信息,得到量化模型。
3.根据权利要求2所述的基于DSP芯片与量化模型的三维物体识别方法,其特征在于,所述的DSP并行计算加速模块中DSP并行加速的方法包括:使用DSP指令时,使用直接内存访问DMA技术,将需要运算的数据直接放入DSP芯片内存中,运算结束后再次使用DMA将数据从DSP内存提取到设备内存中,其中,使用ARM框架的CPU与DSP芯片同时工作,即在DSP计算时,CPU同时在DMA,提取上一次DSP运算的结果,并准备将下一次DSP需要使用的数据写入DSP内存中,一旦DSP芯片计算完毕,则立刻执行DMA写入。
4.根据权利要求3所述的基于DSP芯片与量化模型的三维物体识别方法,其特征在于,基于DSP芯片与量化模型的三维物体识别方法,具体包括以下步骤:
S1.采集训练数据,采集方法为使用三维数据采集器采集物体的深度信息,去除背景和噪声信息后得到物体的点云数据;
S2.训练模型,使用可以端对端处理点云数据的深度学习网络结构对训练数据进行训练,得到模型;训练数据为步骤S1中采集的数据,网络结构为DGCNN的baseline变体;
S3.量化模型,步骤S2中使用的是伪量化节点,其本质是浮点运算,即非量化模型,在步骤S3中会将伪量化节点的信息合并到上一节点,真正地量化模型,将模型参数的表示方法由32位浮点数变为8位整数,压缩模型大小的同时提高前向传播计算的效率;
S4.建立索引-标签表,步骤S1中采集数据时同时标识该数据的类别,使用一个自然数索引去表示这个标签,得到索引与标签一一对应的表;
S5.物体点云数据采集,与步骤S1基本一致,但没有该数据的类别标签,且是单个数据逐个采集;
S6.基于DSP芯片的量化深度学习模型特征提取,模型已在步骤S3中被量化,使用8位整数来表示权重,在模型前向传播中也是使用8位整数来表示各层特征值,与原来的浮点表示映射关系为R=S*(Q-Z),R代表32位浮点数,Q代表8位整型数,S为映射缩放,Z为映射零点偏移;
在模型前向传播推断的计算中有卷积乘法、矩阵乘法、加法运算,调用DSP指令集中的vsswmac5指令完成并行度为32倍的矩阵乘法;1x1卷积可以直接转换成矩阵乘法运算,因此该指令也被用于实现1x1卷积;其他的卷积运算使用vswmac5指令,有8倍的并行度;残差加法与一般加法使用vadd指令,有32倍并行度;总体上,应用DSP并行计算加速模块,提高模型前向传播的计算并行度;
将步骤S5中所采集的数据输入到三维数据特征提取器中,以8到32倍的并行度前向传播计算得到该数据的特征;
S7.特征解码,将步骤S6中计算得到的特征利用特征解码器按照计算机视觉识别任务的方法进行解码,即获取特征值最大的元素所在的索引;
S8.索引-标签表查询,得到所识别物体的标签,将步骤S7中得到的索引值在步骤S4中建立的索引-标签表中进行查询,得到步骤S5中所采集物体的所属标签。
5.根据权利要求4所述的基于DSP芯片与量化模型的三维物体识别方法,其特征在于,所述的步骤S2中,若使用训练时量化的方法,此时就要调用tf.contrib.quantize.create_training_graph接口,该接口自动地在一些特定的结构后面加入伪量化节点,包括卷积、矩阵相乘、激活和残差加法;对于其他运算,包括一般加法、乘法、不带参数的矩阵乘法,该接口不会在这些操作后加入伪量化节点,因此需要修改该接口的实现,使得该接口可以在所有运算节点后正确地加入伪量化节点;若是使用训练后量化的方法,则使用一般的没有伪量化节点的训练方式。
6.根据权利要求4所述的基于DSP芯片与量化模型的三维物体识别方法,其特征在于,所述的S3步骤中,若使用训练时量化的方法,此时就要调用tf.contrib.quantize.create_eval_graph接口,该接口尚未支持的一般加法、矩阵乘法的量化实现需要自定义修改;随后将权重固定化,再使用toco convert脚本,将模型转换成TFLITE格式,参数类型为QUANTIZED_UINT8,至此得到量化模型;若使用训练后量化的方法,则在权重、激活、残差加、一般加法、矩阵乘法节点之后人工地加入伪量化节点,将若干数据喂入该模型,得到激活、残差加节点的最大值和最小值,并写入对应的伪量化节点,随后将权重固定化,再使用toco convert脚本,将模型转换成TFLITE格式,参数类型为QUANTIZED_UINT8,至此得到量化模型。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
一种基于自动侦测技术的停车数据采集方法 | 2020-05-11 | 32 |
一种服饰管理和搭配系统及方法 | 2020-05-12 | 770 |
一种基于云计算的高速公路智能安防系统 | 2020-05-15 | 912 |
皮肤病的数据融合分级诊疗方法与服务平台 | 2020-05-17 | 88 |
一种基于AR的主设备检修大数据快速建模系统 | 2020-05-08 | 354 |
一种多期多参数脑灌注成像平台 | 2020-05-18 | 921 |
一种电子产品检测回收方法 | 2020-05-08 | 333 |
一种基于USB网卡技术的独立Web服务测试设备 | 2020-05-08 | 38 |
一种酒店智能问答推荐与决策支持分析方法及系统 | 2020-05-15 | 136 |
一种移动应用支撑系统中全景监控系统 | 2020-05-16 | 272 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。