技术领域
[0001] 本
发明属于
虚拟现实与人际交互领域，尤其涉及音频的
触觉反馈装置及方法。
背景技术
[0002] 触觉是人与外界交互的重要
感知通道，触觉能让人感觉到物体表面的硬度、形状、
温度以及粗糙度等多种物理属性，是五种感官中唯一存在双向交互的感官知觉，具有重要的意义，尤其是对视障听障患者而言，触觉是他们认识这个世界的重要途径之一。触觉反馈技术涉及
电子、计算机、通信、
心理学、生理学等多个学科，是当前虚拟现实和
人机交互的热点和前沿，触觉再现能给人带来更加真实的
沉浸感，与传统的视觉和听觉交互相比更加注重交互的自然和谐性，将人机交互的发展推向了新的发展阶段。
[0003] 触觉技术广泛应用于远程操作、医学仿真、艺术设计、娱乐、飞行仿真、虚拟现实等领域。如今，研究人员对将触觉反馈整合到听觉系统中越来越感兴趣。听觉感受的研究和技术仍然主要集中在改善声音本身，虽然似乎是存有潜在的工业影响，但在多媒体环境中，触觉反馈与音频、视频和文本等一种或多种媒体相结合的触觉反馈仍然未得到充分利用。然而，报道多媒体触觉反馈潜
力的文章越来越多。少数研究人员已经表明触觉反馈是用户沉浸感的一个关键因素，因此触觉反馈在音频
信号中的应用是具有广阔前景的。触觉反馈可能为体验音频内容开辟新的途径：用户与音频内容之间的关系不仅限于用户只是倾听的被动环境，而且可以使身体参与更多的沉浸体验。除了与听觉内容平行的物理感觉之外，用户还可以接收到一条互补的信息，或者通过触觉交互来强化一种情感，而不是简单的沉浸。在
现有技术的
基础上，通过增强听觉与触觉联合体验，这一领域具有令人兴奋的研究前景，其社会利益也具有重大意义。
[0004] 目前已有一些应用于游戏场景下的发明装置。
[0005] 2015年中国
专利CN204246822U中公开了一种无线游戏振动背靠,通过无线接收装置接收游戏设备发出的
控制信号,随着游戏的振动信号,通过振动刺激游戏者背部感触,提高游戏的仿真性与代入感,特别是针对格斗类、射击类、飞行类、赛车类游戏,背部振动不但可以保障手部操作的精准性,而且全新的背部振动,让背部感受游戏中的被打击、被碰撞等振动反馈,使游戏者更能身临其境。
[0006] 2015年中国专利CN204428794U提公开的游戏体感背心，提高了游戏的真实感，增强了游戏的娱乐性。2019年CN110215697A中公开了一种游戏振动
手柄。根据所述事件坐标确定目标
马达标识，控制所述目标马达标识对应的马达振动。根据不同的事件坐标确定目标马达标识，不同的目标马达标识对应游戏手柄上不同的马达，实现了根据振动事件的事件坐标控制游戏手柄上不同的马达振动，根据游戏手柄上不同马达的振动情况实现了基于触觉的信息传递，玩家从而根据振感获取游戏场景信息，可快速、准确的作出判断及反应操作。
[0007] 总体来看，现有的音频触觉反馈装置基本分为手持式、可穿戴式和座椅式几种。其中手持式和可穿戴式体积小、便于携带，座椅式接收反馈的面积更大、沉浸感更强。但是如果是用户在普通场景下的电脑游戏过程中使用音频触觉反馈，这三种装置都会或多或少的对用户产生限制。因为在电脑游戏操作过程中，用户的
手腕和小臂部分始终在操作
键盘和
鼠标，始终能
接触到桌面，因此提出了一种可以便捷地平铺于桌面的基于振动触觉的智能游戏桌垫来为用户提供振动触觉反馈，避免了其他装置造成的对身体其他部位的约束性。
发明内容
[0008] 本发明提供一种基于振动触觉的游戏智能桌垫，目的是在电脑游戏过程中通过基于振动触觉的游戏智能桌垫来传递触觉，触觉输出是通过电脑向桌垫传送声音数据来智能触发的，在此过程中，可以增强玩家的游戏体验。
[0009] 本发明采取的技术方案是：包括：
[0010] 第一区域，所述第一区域为处理区域，得到结果后用于驱动第二区域和第三区域；
[0011] 第二区域，所述第二区域为左侧触觉反馈区域；
[0012] 第三区域，所述第三区域为右侧触觉反馈区域。
[0013] 本发明所述第二区域和第三区域，在游戏过程中来针对人手腕或小臂进行触觉反馈，用于增强游戏过程中用户的游戏体验。
[0014] 本发明所述第一区域的处理方法被完整地封装在芯片中并植入桌垫内部，并引出USB
连接线与电脑连接，包括下列步骤：
[0016] (2)预处理；
[0017] (3)数据训练；
[0018] (4)结果识别。
[0019] 本发明所述步骤(1)数据采集包括：采用portaudio音频
接口对对游戏中发出的声音数据进行采集，
采样率为44.1kHz，采集后对数据进行分
帧处理，每帧取1024个数据，采用交叠分段方法取数，使帧与帧之间平滑过渡、保持其连续性。前一帧和后一帧之间的交叠部分为帧移，此处设置帧移为512。
[0020] 本发明所述步骤(2)中的预处理部分，包括下列步骤：
[0021] 1)滤波，对采集到的声音数据进行过滤，使用二阶带通
滤波器，
通带和
阻带分别为60Hz和1000Hz；
[0022] 2)端点检测，从连续的语音流中检测出有效的语音段，它包括两个方面，检测出有效语音的起始点即前端点，检测出有效语音的结束点即后端点；
[0023] 3)特征提取，提取每帧数据中能够表征
音频信号特性的特征参数，要提取的参量为基于经验模态分解(EMD)的
能量比以及梅尔
频率倒谱系数(MFCC)这两种参量的融合特征参量。
[0024] 本发明所述的3)特征提取方法，包括下列步骤：
[0025] (I)采用基于经验模态分解
算法EMD的IMF能量比的特征提取方法：
[0026] 经验模态分解算法是Hilbert-Huang变换HHT的核心算法，验模式分解算法是通过算法过程定义的，而并非由确定的理论公式定义的，所以对其进行准确的理论分析非常困难，我们目前只能借助大量的数字仿真试验不断对其性能进行深入的研究，经验模态分解算法的实质是依不同时间尺度特征将多分量信号分解成一系列单分量信号，即本征模态函数Intrinsic Mode Function，IMF，并提取出该复杂信号的趋势项，从而使得信号的瞬时频率具有物理意义，其分解步骤如下：
[0027] a)将信号x(t)所有局部极大值点和局部极小值点分别用3次样条曲线连起来构成x(t)的上下包络线，两条曲线间包含所有的信号。计算其平均值曲线θ1(t)，进而得：
[0028] h1(t)＝x(t)-θ1(t)
[0029] 将h1(t)作为待处理信号，重复上述求包络均值和差值的计算，筛选k次得到第k个待处理信号h1k(t)；
[0030] h1k(t)＝h1(k-1)(t)-θ1k(t)
[0031] 直到h1k(t)符合IMF分量的特征，从原信号中分解得到了第1个IMF，记为c1(t)；
[0032] c1(t)＝h1k(t)
[0033] b)从原信号中减去c1(t)，得到第1阶剩余信号r1(t):
[0034] r1(t)＝x(t)-c1(t)
[0035] 把r1(t)作为新的信号重复步骤(I)，将第2、第3直到第n-1个IMF分量c2(t)、c3(t)、…cn-1(t)，若第n阶IMF分量cn(t)或其剩余信号rn(t)小于预先设定的值或rn(t)变成1个单调函数时，筛选结束，这样原始音频数据x(t)可表示为有限个IMF和1个剩余信号的和：
[0036]
[0037] IMF反映了原信号中不同的频率成分，且n个IMF的频率从大到小排列，余项变为很低频率的脉动即趋势项，信号经EMD分解后得到有限个IMF分量，每个分量均代表机动目标内某一部件的频率，因此各个分量的频域能量可能存在某种关系，据此提出基于EMD的IMF能量比的特征提取算法，过程如下：
[0038] 对任一信号，定义第i阶IMF的能量为；
[0039]
[0040] 以各个IMF分量的能量(Ei)相对于原信号能量(E)的能量比作为
特征向量，即：
[0041]
[0042] (II)结合传统的MFCC特征提取方法
[0043] MFCC是一种传统且非常重要的特征提取算法，它模拟了人
耳的听觉感知特性来分析音频的
频谱，根据实验结果，人的主观感知频域的划定并不是线性的，而Mel倒谱尺度更符合人耳的听觉特性，Mel频率与实际频率的具体关系可用关系式表示：
[0044]
[0045] 其中：Fmel是以美尔(Mel)为单位的感知频率；f是以Hz为单位的实际频率。
[0046] MFCC特征提取的实质是将时域内的频谱通过非线性的频谱进行转化，通过离散余弦变换得到MFCC倒谱；
[0047] (III)EMD与MFCC的特征融合与
降维[0048] 以往的方法只用一个特征来进行训练识别，得到的结果并不十分理想，所以考虑将两个特征融合得到一个新的特征，将每一帧数据的IMF能量比向量和MFCC倒谱取平均值，即可得到新的融合特征向量，但如果只是简单地将两个特征结合，则会得到一个高维特征，也意味着计算复杂度的增加，所以要在融合特征时对特征进行降维处理，利用主成分分析的最优降维性质，在特征降维的同时，还能保证系统的识别性能；主成分分析(PCA)是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性；
[0049] 设X为p维向量，且X的协方差存在，令λm为X的特征值，这里的代表从大到小的第m个
位置，φm为λm对应的特征向量，X向量的第m个主成分因子则定义成：
[0050] γm＝φmTX
[0051] 这里所有γm构成了特征空间一个
正交基，它们之间不存在冗余。则γm的方差贡献率为：
[0052]
[0053] 根据上式的结果进行大小排序，计算 值，定义其为主成分因子γ1，…，γs，对应累计方差贡献率，根据贡献率的大小即可将融合后的特征降到s维，得到新的低维度的融合特征。
[0054] 本发明所述(3)数据训练包括：预先对采集到的玩家被击中时自身
角色可能会发出的几种叫声，以及玩家承受的伤害达到一定程度系统出现相应的提示音进行采集，将每种声音录制成20秒的wav音频文件，并且在采集过程中，应尽量减少噪声，获得相对纯净的目标
声音信号；下一步，通过针对之前提取到的融合特征参量对每一类声音信号进行训练学习，通过模糊C均值
聚类算法，即每个样本都有其对应的隶属度数组，数组里的每一个元素代表该样本属于某种类别的程度，以此建立每种声音的模型参数参考集。
[0055] 本发明所述(4)结果识别部分采用模式匹配方法：选择的是
隐马尔可夫模型方法HMM，隐马尔可夫模型是一种基于转移概率和输出概率的随机模型最早在CMU和IBM被用于
语音识别，它把语音看成由可观察到的符号序列组成的随机过程，符号序列则是发声系统状态序列的输出，在使用隐马尔可夫模型识别时，为每个说话人建立发声模型，通过训练得到状态转移概率矩阵和符号输出概率矩阵，识别时计算未知语音在状态转移过程中的最大概率，根据最大概率对应的模型进行判决，需要把从待识别声音信号中提取的融合特征参数，与在训练过程中得到的每一个模型相比较，把与它距离最近的那个参考模型所对应的声音类型识别为发出的声音类型，即为最终的识别结果。
[0056] 本发明所述第二区域和第三区域的触觉反馈分别由左右两侧的一组2*2阵列的振动
电机组提供。通过这两组振动电机来向用户传递振动触觉反馈，在采集
训练数据的过程中，为达到一种与声音本身的听觉特性更相似的触觉反馈，选择将
音频流在滤波后直接接入电机的驱动
电路，与电机直接映射后，封装为振动电机的一种振动模式，设游戏中可能出现的声音有ω种，则为这ω种声音相应地匹配ω种不同的振动效果，当第一区域完成对声音的采集和处理等工作后，得到当前声音的识别结果，在电机的振动库中找到与该结果相对应的振动触觉效果，由第一区域向第二区域和第三区域发送驱动信号，来激励第二区域和第三区域的振动触觉反馈。
[0057] 本发明一共分为两个模
块：处理模块和振动触觉模块。
[0058] 处理模块的功能是对游戏中的声音信号进行采集和处理。
[0059] 在游戏过程中，当用户的游戏角色被击中时，游戏中会发出固定的角色的叫声以及系统提示音，需要事先对这些声音进行采集和训练。训练过程涉及到音频信号的特征提取，在这里选择基于EMD的能量比的特征提取，再结合传统的Mel倒谱系数(MFCC)特征提取方法，将两种特征用PCA降维处理，得到融合后的综合特征。针对融合特征进行训练，由此得到了游戏中所有声音的训练集模型。使用音频接口对声音信号进行接收和采集，为后续的处理过程做准备。
[0060] 后续处理过程分为预处理过程和识别过程。预处理过程包括滤波和端点检测，通过滤波来获取相对纯净的声音信号，然后通过端点检测来从连续的语音流中检测出有效的语音段，即寻找有效的语音起始点和语音终结点。针对有效的语音段，并结合融合特征的提取对音频信号进行识别处理。识别部分的算法采用隐马尔可夫模型方法(HMM)来进行模型匹配，需要把从待识别声音信号中提取的融合特征参数，与在训练过程中得到的每一个模型的状态转移概率矩阵和符号输出概率矩阵相比较，把与它距离最近的那个参考模型所对应的声音类型识别为发出的声音类型，即为最终的识别结果。
[0061] 振动触觉模块的功能是为不同的声音匹配振动触觉效果。通过对电脑的声音输出进行识别，并对识别结果进行预设振动。根据声音的强弱，为不同的声音匹配相应强度的振动效果，由桌垫上的左右振动器传递给人体。通过对游戏本身的操作和触觉感知相结合的方式，使用户在游戏中获得更好的游戏体验，使用户能在未注意到危险来临的时候得到提示，增强游戏体验。
[0062] 本发明优点在于：
[0063] (1)装置本身平铺于桌面，针对用户始终在桌面上的手腕和小臂来进行触觉反馈，避免了其他装置造成的对身体其他部位的约束性；
[0064] (2)其内部使用的处理算法流程简单，方便移植到芯片；
[0065] (3)使用基于经验模态分解(EMD)的能量比以及
梅尔频率倒谱系数(MFCC)这两种参量的融合特征参量，与单一特征参量相比，可以提高识别
精度，能更加准确的判断声音类型；
[0066] (4)振动类型的匹配简单方便，并且为每种声音匹配用其时域
波形封装的振动效果，这样的振动反馈
和声音本身更接近使用户更加容易接受；
[0067] (5)在游戏过程中为用户带来振动触觉反馈，为用户规避游戏中遇到的危险，增强游戏体验。
附图说明
[0068] 图1为本发明的结构模块示意图；
[0069] 图2为本发明对声音信号的处理分析过程图；
具体实施方式
[0071] 一种基于振动触觉的游戏智能桌垫，包括：
[0072] 第一区域，所述第一区域为处理区域，得到结果后用于驱动第二区域和第三区域；所处理方法，包括下列步骤：
[0073] (1)数据采集；包括：采用portaudio音频接口对对游戏中发出的声音数据进行采集，采样率为44.1kHz，采集后对数据进行分帧处理，每帧取1024个数据，采用交叠分段方法取数，使帧与帧之间平滑过渡、保持其连续性。前一帧和后一帧之间的交叠部分为帧移，此处设置帧移为512；
[0074] (2)预处理；包括下列步骤：
[0075] 1)滤波，对采集到的声音数据进行过滤，使用二阶
带通滤波器，通带和阻带分别为60Hz和1000Hz；
[0076] 2)端点检测，从连续的语音流中检测出有效的语音段，它包括两个方面，检测出有效语音的起始点即前端点，检测出有效语音的结束点即后端点；
[0077] 3)特征提取，提取每帧数据中能够表征音频信号特性的特征参数，要提取的参量为基于经验模态分解(EMD)的能量比以及梅尔频率倒谱系数(MFCC)这两种参量的融合特征参量；
[0078] 所述的3)特征提取方法，包括下列步骤：
[0079] (I)采用基于经验模态分解算法EMD的IMF能量比的特征提取方法：
[0080] 经验模态分解算法是Hilbert-Huang变换HHT的核心算法，验模式分解算法是通过算法过程定义的，而并非由确定的理论公式定义的，所以对其进行准确的理论分析非常困难，我们目前只能借助大量的数字仿真试验不断对其性能进行深入的研究，经验模态分解算法的实质是依不同时间尺度特征将多分量信号分解成一系列单分量信号，即本征模态函数Intrinsic Mode Function，IMF，并提取出该复杂信号的趋势项，从而使得信号的瞬时频率具有物理意义，其分解步骤如下：
[0081] a)将信号x(t)所有局部极大值点和局部极小值点分别用3次样条曲线连起来构成x(t)的上下包络线，两条曲线间包含所有的信号。计算其平均值曲线θ1(t)，进而得：
[0082] h1(t)＝x(t)-θ1(t)
[0083] 将h1(t)作为待处理信号，重复上述求包络均值和差值的计算，筛选k次得到第k个待处理信号h1k(t)；
[0084] h1k(t)＝h1(k-1)(t)-θ1k(t)
[0085] 直到h1k(t)符合IMF分量的特征，从原信号中分解得到了第1个IMF，记为c1(t)；
[0086] c1(t)＝h1k(t)
[0087] b)从原信号中减去c1(t)，得到第1阶剩余信号r1(t):
[0088] r1(t)＝x(t)-c1(t)
[0089] 把r1(t)作为新的信号重复步骤(I)，将第2、第3直到第n-1个IMF分量c2(t)、c3(t)、…cn-1(t)，若第n阶IMF分量cn(t)或其剩余信号rn(t)小于预先设定的值或rn(t)变成1个单调函数时，筛选结束，这样原始音频数据x(t)可表示为有限个IMF和1个剩余信号的和：
[0090]
[0091] IMF反映了原信号中不同的频率成分，且n个IMF的频率从大到小排列，余项变为很低频率的脉动即趋势项，信号经EMD分解后得到有限个IMF分量，每个分量均代表机动目标内某一部件的频率，因此各个分量的频域能量可能存在某种关系，据此提出基于EMD的IMF能量比的特征提取算法，过程如下：
[0092] 对任一信号，定义第i阶IMF的能量为；
[0093]
[0094] 以各个IMF分量的能量(Ei)相对于原信号能量(E)的能量比作为特征向量，即：
[0095]
[0096] (II)结合传统的MFCC特征提取方法
[0097] MFCC是一种传统且非常重要的特征提取算法，它模拟了人耳的听觉感知特性来分析音频的频谱，根据实验结果，人的主观感知频域的划定并不是线性的，而Mel倒谱尺度更符合人耳的听觉特性，Mel频率与实际频率的具体关系可用关系式表示：
[0098]
[0099] 其中：Fmel是以美尔(Mel)为单位的感知频率；f是以Hz为单位的实际频率。MFCC特征提取的实质是将时域内的频谱通过非线性的频谱进行转化，通过离散余弦变换得到MFCC倒谱；
[0100] (III)EMD与MFCC的特征融合与降维
[0101] 以往的方法只用一个特征来进行训练识别，得到的结果并不十分理想，所以考虑将两个特征融合得到一个新的特征，将每一帧数据的IMF能量比向量和MFCC倒谱取平均值，即可得到新的融合特征向量，但如果只是简单地将两个特征结合，则会得到一个高维特征，也意味着计算复杂度的增加，所以要在融合特征时对特征进行降维处理，利用主成分分析的最优降维性质，在特征降维的同时，还能保证系统的识别性能；主成分分析(PCA)是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性；
[0102] 设X为p维向量，且X的协方差存在，令λm为X的特征值，这里的代表从大到小的第m个位置，φm为λm对应的特征向量，X向量的第m个主成分因子则定义成：
[0103] γm＝φmTX
[0104] 这里所有γm构成了特征空间一个正交基，它们之间不存在冗余。则γm的方差贡献率为：
[0105]
[0106] 根据上式的结果进行大小排序，计算 值，定义其为主成分因子γ1，…，γs，对应累计方差贡献率，根据贡献率的大小即可将融合后的特征降到s维，得到新的低维度的融合特征；
[0107] (3)数据训练包括：
[0108] 预先对采集到的玩家被击中时自身角色可能会发出的几种叫声，以及玩家承受的伤害达到一定程度系统出现相应的提示音进行采集，将每种声音录制成20秒的wav音频文件，并且在采集过程中，应尽量减少噪声，获得相对纯净的目标声音信号；下一步，通过针对之前提取到的融合特征参量对每一类声音信号进行训练学习，通过模糊C均值聚类算法，即每个样本都有其对应的隶属度数组，数组里的每一个元素代表该样本属于某种类别的程度，以此建立每种声音的模型参数参考集；
[0109] (4)结果识别采用模式匹配方法：选择的是隐马尔可夫模型方法HMM，隐马尔可夫模型是一种基于转移概率和输出概率的随机模型最早在CMU和IBM被用于语音识别，它把语音看成由可观察到的符号序列组成的随机过程，符号序列则是发声系统状态序列的输出，在使用隐马尔可夫模型识别时，为每个说话人建立发声模型，通过训练得到状态转移概率矩阵和符号输出概率矩阵，识别时计算未知语音在状态转移过程中的最大概率，根据最大概率对应的模型进行判决，需要把从待识别声音信号中提取的融合特征参数，与在训练过程中得到的每一个模型相比较，把与它距离最近的那个参考模型所对应的声音类型识别为发出的声音类型，即为最终的识别结果；
[0110] 第二区域，所述第二区域为左侧触觉反馈区域；
[0111] 第三区域，所述第三区域为右侧触觉反馈区域；
[0112] 所述第二区域和第三区域的触觉反馈分别由左右两侧的一组2*2阵列的振动电机组提供。通过这两组振动电机来向用户传递振动触觉反馈，在采集训练数据的过程中，为达到一种与声音本身的听觉特性更相似的触觉反馈，选择将音频流在滤波后直接接入电机的驱动电路，与电机直接映射后，封装为振动电机的一种振动模式，设游戏中可能出现的声音有ω种，则为这ω种声音相应地匹配ω种不同的振动效果，当第一区域完成对声音的采集和处理等工作后，得到当前声音的识别结果，在电机的振动库中找到与该结果相对应的振动触觉效果，由第一区域向第二区域和第三区域发送驱动信号，来激励第二区域和第三区域的振动触觉反馈，具体的模块分布示意图如图1所示。
[0113] 所述第二区域和第三区域，在游戏过程中来针对人手腕或小臂进行触觉反馈，用于增强游戏过程中用户的游戏体验。
