一种基于声波的虚拟输入方法 |
|||||||
| 申请号 | CN201710518733.8 | 申请日 | 2017-06-30 | 公开(公告)号 | CN107340864A | 公开(公告)日 | 2017-11-10 |
| 申请人 | 大连理工大学; | 发明人 | 杜猛; 温思歆; 冯林; 秦晓程; 隋国际; 闫柳; | ||||
| 摘要 | 本 发明 公开了一种基于 声波 的虚拟输入方法。该方法预先获取敲击物体表面不同区域产生声波的 频域特征 向量后，构建频域 数据库 ；预先设定敲击节奏， 构建时 域特征数据库；当用户敲击物体表面不同区域时，系统获取敲击声波 信号 并提取频域 特征向量 ，与频域数据库进行匹配来辨别敲击 位置 ；同时当用户以不同节奏敲击物体表面时，系统获取敲击声波信号并通过时域完全匹配来辨别动作节奏；进而将辨别出的位置与节奏相结合向终端输入不同的信息，实现终端的拓展输入；最后终端依照输入信息执行响应事件。本发明所提供的方法，结合时域与频域特征，具备输入信息的多样性，增加终端输入的趣味性，可应用于 增强现实 与 虚拟现实 领域，提升用户体验效果。 | ||||||
| 权利要求 | 1.一种基于声波的虚拟输入方法，其特征在于,包括： |
||||||
| 说明书全文 | 一种基于声波的虚拟输入方法技术领域背景技术[0002] 终端的输入作为人机交互最直接的方式，是人们日常使用中最必不可少的部分，而随着互联网时代的飞速发展，终端的输入方式有了翻天覆地的变化。传统的鼠标、键盘输入虽然是最快捷有效的办公交互方式，但其占用空间大、不便携等缺点使其被很多终端如平板电脑、手机等抛弃。取而代之的是便携且灵敏的触控移动与手写输入，但直接在屏幕上操作易留下污垢、指纹等影响屏幕显示效果，且其在沾水情况下不灵敏甚至失效，给人们带来不好的体验效果。于是乎，语音交互、视觉跟踪识别等不直接接触终端的新技术在最近几年迅速涌现出来，语音交互涉及语音识别与语义交互处理，视觉跟踪识别交互涉及图像处理与图像理解处理，这些功能如果在终端直接处理就会消耗终端大量的运算资源，如果在网络服务器上间接处理则会占用庞大的网络带宽资源，使得这些新技术成为被用户诟病的鸡肋。由此可见，现有技术存在其自身局限性，都还有待改进。 发明内容[0005] 本发明的原理是：利用物体的密度不均匀性与结构不对称特性使得敲击物体表面不同区域发出的声波信号存在一定差异，进而利用单个麦克风传感器获取声波信号，结合信号时域和频域特征来辨别不同信息后输入到终端里触发相应事件。 [0006] 本发明提供了一种基于声波的虚拟输入方法，包括一下步骤： [0008] B、预先设定敲击节奏，构建时域特征数据库。 [0009] C、当用户敲击物体表面不同区域时，系统获取敲击声波信号并提取频域特征向量，与频域数据库进行匹配来辨别敲击位置。 [0010] D、当用户以不同节奏敲击物体表面时，系统获取敲击声波信号并通过时域完全匹配来辨别动作节奏。 [0011] E、将辨别出的位置与节奏相结合向终端输入不同的信息，实现终端的拓展输入。 [0012] F、终端依照输入信息执行响应事件。 [0013] 优选的，所述步骤A进一步包括： [0014] 所述选取物体不同时，需要对该物体进行预处理，提取特征向量构建频域数据库。 [0015] 所述选取物体表面不同区域是利用物体的密度不均匀性与结构不对称特性，使得敲击物体表面不同区域发出的声波信号存在差异。 [0016] 所述获取声波信号是采用单个麦克风传感器，且是贴在物体表面收集物体表面振动声波，可利用电脑、手机等自带麦克风传感器的设备作为输入与终端设备。 [0017] 所述提取声波的频域特征向量方法具体包括对采集到的声波信号进行低通滤波处理以防止频率混叠，通过求信号的方差与选定阈值对比来判断敲击起始端点，再进行降采样来减少数据量，然后做傅里叶变换获取频域数据，接着对频域数据做归一化处理，最后进行阈值滤波得到频域特征向量。 [0018] 所述构建频域数据库的方法，是将敲击同一物体表面不同区域的频域特征向量存储下来组成数据库。 [0020] 优选的，所述步骤B进一步包括：所述时域特征数据库包括单敲、连续敲两次、连续敲三次以及连续慢敲、连续快敲、先慢后快、先快后慢的多种组合。 [0021] 优选的，系统预处理过程与用户敲击过程之间存在切换设置，包含按键、触摸、摇晃中至少一种。 [0022] 所述的基于声波的虚拟输入方法及系统的技术方案中，步骤C进一步包括：所述物体表面不同区域是由步骤A预处理时划分完成的；所述获取声波的频域特征向量与步骤A获取特征向量方法一致；所述匹配算法在本系统中是计算用户敲击的频域特征向量与频域数据库的多组向量之间的皮尔逊相关系数，取相似度函数值最大的向量作为匹配结果，也可包含欧式距离、贝叶斯决策方法、余弦相似度、杰卡德相似性度量等一种或多种的结合。 [0023] 优选的，所述步骤D进一步包括所述时域完全匹配方法是系统获取一段时间内用户敲击物体表面的次数与节奏，与特征匹配数据库进行匹配辨别出敲击节奏。 [0024] 优选的，记录一段时间内用户敲击情况方法，其特征在于，终端需要每次在检测到敲击后800ms内，对麦克风传感器接收到的信号进行阈值端点检测，检测在这800ms内是否发生敲击以及两次敲击间的间隔时间，当在800ms内都检测不到敲击信号时进行匹配辨别出敲击次数与节奏。 [0026] 优选的，所述步骤F进一步包括：所述响应事件是由系统预先设定好的，用来提升用户体验效果。 [0028] 优选的，敲击动体可包含一个或多个、一种或多种物体，如一根或多根手指、仅指骨或指骨与指甲的组合。 [0029] 有益效果：本发明所提供的一种基于声波的虚拟输入方法及系统，通过识别敲击产生的声波信号来分辨出敲击的区域和节奏，以虚拟界面交互的方式作为增强现实与虚拟现实技术的一部分，使得终端具备虚拟输入功能，增加交互趣味性和提升用户体验效果。附图说明 [0031] 图2是本发明较佳实施例的敲击区域选择示意图。 [0032] 图3是本发明较佳实施例的频域特征向量获取流程图。 [0033] 图4是本发明较佳实施例的时域特征向量获取流程图。 [0034] 图5是本发明较佳实施例的总体框图。 具体实施方式[0035] 为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。 [0036] 具体实现中，本发明实施例中所描述的终端，可包括：台式电脑、笔记本电脑、平板电脑、手机、单片机、DSP处理器等，上述终端仅是举例，而非穷举，包含但不限于上述终端。下面将以手机为例，对本发明实施例提供的一种基于声波的虚拟输入方法及系统进行具体描述。 [0037] 参见图1，是本发明的较佳实施例流程图。如图1所示，所述较佳实施例包括以下步骤： [0038] 步骤S101,预先敲击物体表面不同区域。 [0039] 具体实施中，本发明中所描述的被敲击物体可包括桌子、门、地板、窗户、墙壁、音箱、显示屏幕等规则物体，也可包括花瓶、树干等不规则物体，但敲击物体的不同区域发出的声音应有差异。 [0040] 具体实施中，本发明中所描述的敲击动体可包括一个或多个、一种或多种物体，例如用一根或多根手指、仅指骨或指骨与指甲的组合去敲击木质桌面的不同区域。 [0041] 具体实施中，本实施例中采用如图2所描述的方法，用一根手指去敲击木质桌面的不同区域，这些区域因位于麦克风传感器的不同方位和桌面密度的不均匀性，敲击时产生的声音有些许差异。 [0042] 步骤S102,捕获敲击声波信号提取频域特征向量构建频域数据库。 [0043] 具体实施中，需要进行预处理，即预先敲击如图2所示的选择区域，捕获敲击产生的声波信号，提取每个区域的频域特征向量，构建频域数据库并以文本格式保存下来。 [0044] 具体实施中，获取声波信号的方法是采用单个麦克风传感器，贴在物体表面收集表面振动的声波信号。在本实施例中是直接利用手机自带的麦克风传感器作为输入设备，用集成的模数转换器以44.1KHz的采样频率采集声波信号并转为数字信息存储在程序的数组里，以供接下来的信号处理单元使用。 [0045] 具体实施中，提取声波的频域特征向量方法如图3所示，具体包括步骤S301：以44.1KHz采样获取麦克风传感器采样数据；步骤S302：对采集到的声波信号进行以2KHz为截止频率的低通滤波处理，以防止频率混叠；步骤S303：通过求每帧信号的方差与选定阈值进行对比，判断敲击起始端点；步骤S304：再进行降采样至4.41KHz,以减少数据处理量；步骤S305：做1024点的离散傅里叶变换来获取频域数据；步骤S306：对频域数据做归一化处理来增强系统鲁棒性；步骤S307：进行阈值滤波处理得到每个区域的频域特征向量；步骤S308： 存储所有区域的频域特征向量存储下来构建成频域数据库。 [0046] 具体实施中，选定敲击起始端点的阈值的方法是，在系统启动初始化后，在不敲击桌面的前提下，用麦克风传感器采集数据，计算连续十帧无敲击动作时的平稳信号方差之和，选该方差和作为判断起始端点的阈值。 [0047] 步骤S103,预先设定敲击节奏。 [0048] 具体实施中，对每个区域，预先设定的敲击节奏包括单敲、连续敲两次、连续敲三次以及连续慢敲、连续快敲、先慢后快、先快后慢的多种组合。 [0049] 步骤S104,构建时域特征数据库。 [0050] 具体实施中，与图4所示类似，将检测到两次敲击的间隔时间视为敲击的速度，在本实施例中以400ms为阈值，当间隔时间小于400ms视为快敲，大于800ms但小于800ms视为慢敲，当超过800ms还未检测到第二次敲击则视为结束，进行处理后向终端输入相应指令；在本实施例中，将数组第一个元素置1表示检测到首次敲击，将数组第二、三个元素置2表示快敲，将数组第二、三个元素置1表示慢敲，若没有检测到第二次敲击则置数组元素为0；进而将敲击节奏以数值为012的数组以静态存储形式保存下来。 [0051] 步骤S105,用户敲击物体表面。 [0052] 具体实施中，与步骤S101相同，用一根手指去敲击木质桌面如图2所示的不同区域，系统经过分析敲击产生的声波信号后向终端输入相应指令，达到用户敲击桌面触发终端执行响应事件的效果。 [0053] 步骤S106,捕获敲击声波信号提取频域特征向量后与频域数据库进行匹配辨别敲击位置。 [0054] 具体实施中，提取频域特征向量方法与与步骤S101相同。 [0055] 具体实施中，与频域数据库进行匹配的方法是通过计算用户敲击的频域特征向量与频域数据库的多组向量之间的皮尔逊相关系数，取相似度函数值最大的向量作为匹配结果。当然本发明方法中频域特征向量匹配算法包含但不限于上述举例，如还可包含欧式距离、贝叶斯决策方法、余弦相似度、杰卡德相似性度量等一种或多种的组合方法。 [0056] 步骤S107,捕获敲击声波信号提取敲击时隙后进行时域完全匹配辨别动作节奏。 [0057] 具体实施中，如图4所示，提取时域特征向量方法与步骤S104相同。 [0058] 具体实施中，进行时域匹配方法是通过将提取到的时域特征向量在时域特征数据库寻找对应相同值索引下标，即进行数值的完全匹配。 [0059] 步骤S108,位置与节奏结合向终端输入不同指令。 [0060] 具体实施中，由于本实施例的输入设备与终端设备为同一部手机，故只需将这个指令通过一个变量传递下去即可，然后用选择语句来触发响应事件。 [0061] 步骤S109,终端执行响应事件。 [0062] 具体实施中，如图5所示，本实施例选用模拟架子鼓作为终端响应事件。桌面上的七个不同区域代表七个乐器，包含一个脚踏的低音大鼓、一个军鼓、二个嗵嗵鼓、一个吊镲、一个节奏镲和一个带踏板的踩镲。每个区域的敲击次数与敲击速度代表乐器发出的音量高低，敲击次数越多即敲击速度越快，音量越高。 [0063] 综上所述，本发明的基于声波的虚拟输入方法，利用物体的密度不均匀性与结构不对称特性使得敲击物体表面不同区域时发出的声波信号存在一定差异，进而利用单个麦克风传感器获取声波信号，结合信号时域和频域特征来辨别不同信息。具体包含预先获取敲击物体表面不同区域产生声波的频域特征向量后，构建频域数据库；预先设定敲击节奏，构建时域特征数据库；当用户敲击物体表面不同区域时，系统获取敲击声波信号并提取频域特征向量，与频域数据库进行匹配来辨别敲击位置；同时当用户以不同节奏敲击物体表面时，系统获取敲击声波信号并通过时域完全匹配来辨别动作节奏；进而将辨别出的位置与节奏相结合向终端输入不同的信息，实现终端的拓展输入；最后终端依照输入信息执行响应事件。本发明所提供的方法，结合时域与频域特征，具备输入信息的多样性，增加终端输入的趣味性，可应用于增强现实与虚拟现实领域，提升用户体验效果。 [0064] 最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。 |
||||||
