一种基于触觉纹理特征的跨模态物体材质检索方法
专利汇可以提供一种基于触觉纹理特征的跨模态物体材质检索方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于触觉纹理特征的纹理图像跨模态检索方法，属于 机器人 触觉识别技术领域。本发明方法依次包括触觉纹理训练样本材质选取、触觉纹理 训练数据 集和纹理图像训练数据集的建立、触觉 加速 度的特征提取和纹理图像的特征提取、对提取的两种 特征向量 集进行相关性分析后进行相应检索特征的提取、纹理图像检索库的创建以及物体材质检索。本发明利用采集纹理表面的摩擦振动 信号 作为纹理表面的触觉特征从纹理图像检索库中检索出与被检索表面最相似的纹理表面图像，即实现基于触觉特征的跨模态物体材质检索。本发明具有较高的准确率，而且弥补了文字描述材质的单一性。，下面是一种基于触觉纹理特征的跨模态物体材质检索方法专利的具体信息内容。
1.一种基于触觉纹理特征的跨模态物体材质检索方法，其特征在于，包括以下步骤：
1)触觉纹理训练样本材质选取：根据触觉特性将训练样本材质分为A大类；在A大类材质类型中分别选取B种典型材质的纹理表面，共计M＝A×B种材质表面；对每一种材质进行编号，记为该材质的标签LI，1≤LI≤M，1≤I≤M；
2)训练样本数据集的建立，包括触觉纹理训练数据集和纹理图像训练数据集的建立：
2-1)触觉纹理训练数据集的建立：以设定的接触力在由步骤1-1)选取的M种材质表面进行滑动，每种材质进行N次，采集摩擦振动信号，并均以三轴加速度数据形式输出，建立维度为p＝M×N的训练样本三轴加速度数据集 作为触觉纹理训练数据集，其中，第i个训练样本的三轴加速度数据为 分别为第i个训练样本的加速度
传感器在x、y、z轴上采集的数据，为时域数据；
2-2)纹理图像训练数据集的建立：对由步骤1)选取的M种材质表面随机拍摄N张图片，建立维度为p＝M×N的纹理图像训练数据集 同时，对各种材质的图片进行编号作为各图片的标签，该标签与步骤1)中相应材质的标签一一对应；
3)对步骤2)中建立的训练样本数据集预处理后进行特征提取，分为触觉纹理训练数据集和纹理图像训练数据集两部分：3-1)触觉纹理训练数据集，包括以下步骤：
3-1-1)加速度数据预处理：分别对步骤2-1)中采集的各训练样本的三轴加速度数据进行合成，并以此得到所有训练样本的一维加速度时域数据集
为 合成后的加速度数据；
3-1-2)触觉加速度的特征提取得到触觉纹理特征向量集U，具体包括：
3-1-2-1)利用离散小波变换(DWT)依次对步骤3-1-1)得到的一维加速度时域数据集中的 进行β级分解，每级由1个近似系数时域分量和1个细节系数时域分量构成，则每个训练样本共有2β不同尺度和频带的时域分量，分别为近似系数时域分量和细节系数时域分量 其中， 且为整数， 为
的数据长度；
3-1-2-2)将步骤3-1-2-1)得到的近似系数时域分量 和细节系数时域分量利用快速傅里叶变换(FFT)进行频域变换，得到对应的频域分量，分别为近似系数频域分量 和细节系数频域分量
3-1-2-3)对一维加速度时域数据集 分别均提取各训练样本一维加速度时域数据 的时域分量 和 频域分量 和
的平均值μ、标准差σ和能量E，作为相应训练样本的触觉纹理特征
向量 并以此得到所有训练样本的触觉纹理特征向量集，记为 m为提取的各训练样本 的触觉纹理特征向量的维度，m＝2β×5；
3-2)纹理图像训练数据集，包括以下步骤：
3-2-1)纹理图像预处理：采用卷积神经网络进行纹理图像特征提取前，先将步骤2-2)中采集的所有纹理图像的大小统一为所采用卷积神经网络输入图像的大小；
3-2-2)纹理图像的特征提取得到纹理图像特征向量集V：通过迁移学习方法利用卷积神经网络中的网络模型提取t维图像特征，即每张图像由t个数据点来表示，并以此得到p＝M×N张纹理图像训练样本的纹理图像的特征向量集，记为
4)对提取的两种特征向量集进行相关性分析后进行相应检索特征的提取：利用相关分析算法对步骤3-1)得到的触觉纹理特征向量集U和步骤3-2)得到的触觉纹理特征向量集V进行“触觉加速度—纹理图像”样本对的训练，分别通过映射矩阵WU和WV，将触觉纹理特征和纹理图像特征从各自的特征空间映射到一个共同的空间，使映射后的触觉纹理特征向量集U和触觉纹理特征向量集V的相关性最大，分别记U*＝UWU为触觉纹理检索特征向量集、V*＝VWV为触觉纹理检索特征向量集；
5)纹理图像检索库的创建：
5-1)采集物体表面的触觉纹理图像：采集由步骤1)选取的M种材质在正常光照下的纹理表面的正面图片各一张，建立维度p′＝M的纹理图像检索库 该检索库中各图片的标签与步骤1)中相应材质的标签一一对应；
5-2)按照步骤3-2)对纹理图像检索库J中的各个图片进行预处理和纹理图像特征提取，并以此得到纹理图像检索库的纹理图像特征向量集，记为 通过步骤4)求取的映射矩阵WV将纹理图像检索库J的纹理图像特征向量集Q转换为纹理图像检索特征向量集Q*＝QWV，Q*中各纹理图像检索特征向量的标签与步骤1)中相应材质标签一一对应，将Q*及其标签都存储在纹理图像检索库中；
6)物体材质检索，包括以下步骤：
6-1)物体触觉纹理检索特征的提取，具体包括：
6-1-1)按照步骤2-1)，以一定接触力在待检索物体表面进行滑动，采集待检索物体表面的摩擦振动，并均以三轴加速度信号形式输出；
6-1-2)按照步骤3-1)得到待检索物体的m维触觉纹理特征向量，记为T；
6-1-3)根据步骤4)确定的映射矩阵WU将待检索物体的触觉纹理特征向量T转换为触觉纹理检索特征向量T*＝TWU；
6-2)根据触觉纹理特征的相似性进行跨模态物体材质检索，具体包括：
6-2-1)基于触觉纹理特征的相似性计算：运用KNN分类辨识算法，以步骤6-1-3)提取的待检索物体的触觉纹理检索特征向量T*和步骤5-2)提取的纹理图像检索库J中纹理图像检索特征向量集Q*为输入量，计算待检索物体特征向量T*和纹理图像的检索特征向量集Q*中各个检索特征向量之间的相似性，并对该相似性进行升序排列；
6-2-2)基于触觉纹理特征的跨模态物体材质检索：根据步骤6-2-1)确定的相似性排序结果从纹理图像检索库J中检索出与纹理图像检索特征向量相对应的纹理图片标签，输出相应的纹理表面图片，完成跨模态物体材质检索。
2.根据权利要求1所述的跨模态物体材质检索方法，其特征在于，所述3-1-1)具体包括以下步骤：
3-1-1-1)将训练样本三轴加速度数据集 中第i个训练样本的三轴加速度数据进行快速傅立叶变换(FFT)，即从时域数据 变换到频域数据
均为复数，根据该频域数据通过公式(1)计算第i个训练样本一维加
速度频域数据的幅值信息|Ai|：
式(1)中，f表示频率， 分别表示与时域数据 相对应的频
谱数据；
3-1-1-2)将得到的一维加速度频域数据的幅值信息|Ai|通过公式(2)计算得到合成的一维加速度频域数据的相位信息θi(f)：
式中，Im和Re分别表示对复数的虚数部分和实数部分的求取；
3-1-1-3)根据式(1)求得的幅值信息|Ai|和式(2)求得的相位信息θi(f)进行反傅立叶变换，即将第i个训练样本的三轴加速度数据 合成为一维加速度时域数据 并依次得到所有训练样本的一维加速度时域数据集
3.根据权利要求1所述的跨模态物体材质检索方法，其特征在于，所述步骤3-1-2-1)中离散小波变换的分解过程具体包括以下步骤：
a)通过离散小波变换的高通滤波函数g[n]和低通滤波函数h[n]将各样本的一维加速度数据分解到不同频带；其中，将步骤3-1-1)得到的一维加速度时域数据集 中第i个训练样本的一维加速度时域数据 通过高通滤波函数g[n]后再进行下二采样和低通滤波函数h[n]后再进行下二采样进行第一级分解，分别得到第一级细节系数时域分量 和第一级近似系数时域分量 数学公式表示分别如式(3)和(4)所示：
式中， 表示 中的第m个数据，m的取值范围为 且m为整数， 为 的
长度； 分别表示 中的第k数据，k的取值范围均为1≤k≤m/2，且k为整
数；
b)对第一级近似系数时域分量 通过高通滤波函数g[n]后再进行下二采样和低通滤波函数h[n]后再进行下二采样进行第二级分解，分别得到第二级细节系数时域分量 和第二级近似系数时域分量 依次类推，对各层的近似系数时域分量进行分解，一直进行到需要的分解级数β，得到 的2β个时域分量，分别为近似系数时域分量 和细节系数时域分量
一种基于触觉纹理特征的跨模态物体材质检索方法
技术领域
背景技术
发明内容
的加速度传感器在x、y、z轴上采集的数据，为时域数据；
a的数据长度；
近似系数频域分量 和细节系数频域分量
和 的平均值μ、标准差σ和能量E，作为相应训练样本的触觉纹理特
征向量 并以此得到所有训练样本的触觉纹理特征向量集，记为 m为提取的
各训练样本ai的触觉纹理特征向量的维度，m＝2β×5；
具体实施方式
训练样本的加速度传感器在x、y、z轴上采集的数据，为时域数据。本实施例以0～4N的接触力在各材质表面上进行滑动，每种材质进行10次摩擦振动信号的采集，其中每次采集2048个数据点，因此，Si的数据维度为2048×3，记为L(Si)＝2048×3，输出的各样本三轴加速度数据通过python编写的人机交互界面以txt文件的格式进行保存，建立维度为p＝800的训练样本三轴加速度数据集 作为触觉纹理训练数据集。
一一对应。
合成的具体包括以下步骤：
度频域数据的幅值信息|Ai|：
数，其中l(ai)为ai的数据长度)级分解，每级由1个近似系数时域分量和1个细节系数时域分量构成，因此每个训练样本共有2β不同尺度和频带的时域分量，分别为近似系数时域分量和细节系数时域分量 离散小波变换的分解过程具体包括以
下步骤：
(即高频系数)和第一级近似系数时域分量 (即低频系数)，数学公式表示分别如公式(3)和(4)所示：
和 整个分解过程如图1所示，其中fb＝0～π/2，fb＝π/2～π， fb＝0～π/
4，fb＝π/4～π/2，fb＝0～π/8，fb＝π/8～π/4，fb＝0～π/16， fb＝π/16～π/8分别表示ai的时域分量A1、D1、A2、D2、A3、D3、A4、D4对应的频率范围，l(ai)＝2048、l(A1)＝1024、l(D1)＝
1024、l(A2)＝512、l(D2)＝512、l(A3)＝256、 l(D3)＝256、l(A4)＝128、l(D4)＝128分别表示A1、D1、A2、D2、A3、D3、A4、D4的数据长度。
为近似系数频域分量 和细节系数频域分量
本实施例分别为 和
共计8个频域分量。
和 的平均值μ、标准差σ和能量E，作为相应训练样本的触觉纹理特
征向量 并以此得到所有训练样本的触觉纹理特征向量集，记为 m为提取的
各训练样本ai的触觉纹理特征向量的维度，由于时域分量的平均值为0，故m＝2β×5；其中，平均值的数学表达式如公式(6)所示：
800 张纹理图像训练样本的纹理图像的特征向量集
3-2)得到的触觉纹理特征向量集V(本实施例该特征向量集的维度为800×4096)进行“触觉加速度-纹理图像”样本对的训练，U*和V*特征维度的取值范围为[1，40]，利用交叉验证的方法选取U* 和V*相关性最大的映射矩阵Wu和Wv。本实施例通过交叉验证方法确定的U*和V*的特征维度为32，即Wu的维度40×32，Wu的维度为4096×32。
将Q及其标签都存储在纹理图像检索库中，用于后续步骤6-2)。本实施例Q* 中各纹理图像检索特征向量的维度为32，故纹理图像检索特征向量集Q*的维度为80×32，记为
度越大)，并根据相似度大小进行排序。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种对于合成图像的质量评价方法 | 2020-05-08 | 921 |
| 基于深度递归网络下小样本极化合成孔径雷达图像分类方法 | 2020-05-11 | 900 |
| 一种证件的防伪信息的鉴别方法及鉴别系统 | 2020-05-11 | 334 |
| 一种基于三维动态航道的管理监控系统 | 2020-05-08 | 56 |
| 一种用于低压电流互感器外观检测的三维扫描系统 | 2020-05-08 | 63 |
| 体纹理合成方法、装置与设备 | 2020-05-08 | 731 |
| 基于恰可觉察失真模型的非对称感知视频编码系统及方法 | 2020-05-11 | 94 |
| 一种制药车间用中药多重粉碎控制系统及方法 | 2020-05-11 | 340 |
| 一种林火火烧迹地的提取方法及系统 | 2020-05-12 | 972 |
| 基于深度学习的快照光谱深度联合成像方法及系统 | 2020-05-11 | 952 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
