基于开源硬件可交互智能语音家居控制装置及控制方法
专利汇可以提供基于开源硬件可交互智能语音家居控制装置及控制方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种基于开源 硬件 可交互智能语音家居控制装置及控制方法为：所述麦克 风 模组采集环境中的语音输入 信号 ，并通过音频处理模 块 与VAD静音检测模块连接；所述移动终端安装有用于发出语音指令或文本指令的APP，并通过互联网和WiFi模块与VAD静音检测模块连接，互联网与 云 平台进行数据交互；所述空气 质量 模块和温湿度模块分别通过Arduino控 制模 块与VAD静音检测模块连接，所述Arduino 控制模块 通过继电器模块对智能 家用电器 进行控制；所述VAD静音检测模块对语音 输入信号 、语音指令或文本指令进行检测与识别后，反馈至音频输出模块、灯光控制模块或Arduino控制模块进行智能家用电器控制、灯组 色温 亮度 调控、室内温湿度或空气质量查询。，下面是基于开源硬件可交互智能语音家居控制装置及控制方法专利的具体信息内容。
1.基于开源硬件可交互智能语音家居控制装置，其特征在于：其包括开源硬件、麦克风模组、音频处理模块、移动终端、WiFi模块、空气质量模块、温湿度模块、Arduino控制模块、智能家用电器、音频输出模块和灯光控制模块，所述开源硬件内设有VAD静音检测模块；
所述麦克风模组采集环境中的语音输入信号，并通过音频处理模块与VAD静音检测模块连接；
所述移动终端安装有用于发出语音指令或文本指令的APP，并通过互联网和WiFi模块与VAD静音检测模块连接，互联网与云平台进行数据交互；
所述空气质量模块和温湿度模块分别通过Arduino控制模块与VAD静音检测模块连接，所述Arduino控制模块通过继电器模块对智能家用电器进行控制；
所述VAD静音检测模块对语音输入信号、语音指令或文本指令进行检测与识别后，反馈至音频输出模块、灯光控制模块或Arduino控制模块进行智能家用电器控制、灯组色温亮度调控、室内温湿度或空气质量查询。
2.根据权利要求1所述的基于开源硬件可交互智能语音家居控制装置，其特征在于：所述开源硬件为BCM2837开源硬件，音频处理模块为AC108音频处理模块，所述BCM2837开源硬件的GPIO口与AC108音频处理模块连接，BCM2837开源硬件的TX口和RX口分别与Arduino控制模块连接，BCM2837开源硬件的音频输出口与音频输出模块连接；所述音频输出模块为音响设备；所述移动终端为手机端，APP为微信客户端，微信客户端通过微信服务器接入互联网；所述空气质量模块为MQ-135传感器；所述温湿度模块为DHT11传感器；所述灯光控制模块包括12个由APA102驱动芯片控制的灯珠。
3.根据权利要求1所述的基于开源硬件可交互智能语音家居控制装置，其特征在于：所述VAD静音检测模块由语音活动检测模块VAD、嵌入式网关、关键词检测模块KWS、自动语音识别模块ASR、自然语言理解技术模块NLU和语音合成模块TTS组成；所述语音活动检测模块VAD经关键词检测模块KWS与嵌入式网关的输入端连接，所述嵌入式网关分别与自动语音识别模块ASR、自然语言理解技术模块NLU和语音合成模块TTS连接进行技能匹配和处理。
4.一种基于开源硬件可交互智能语音家居控制方法，其特征在于：其包括以下步骤：
1)离线唤醒方案：在开源硬件的VAD静音检测模块内配置唤醒词，并设置每隔0.03秒进行一次语音检测；
2)利用麦克风采集语音输入信号，通过语音活动检测模块VAD对语音输入信号进行检测，当语音能量帧达到预设门限时，进入关键词检测模块KWS进行热词匹配；热词匹配完成后，通过音频输出模块播放预先设定的提示音进行应答，同时按照预先设定的录音时长进行录音并保存录音文件，并通过自动语音识别模块ASR将录音文件的内容转化为文本信息，得到识别文本；
3)对识别文本利用自然语言理解技术模块NLU进行意图理解分析处理，并匹配云平台所预设的应答策略，提取出意图关键词，得到解析文本信息；
4)根据得到的解析文本信息轮流对音频输出模块、灯光控制模块和Arduino控制模块进行策略匹配，若匹配成功，则触发相应模块执行相应技能，若匹配不成功，则执行步骤5)；
5)将解析文本信息传输至聊天机器人系统中生成文本聊天消息，并将文本聊天消息通过嵌入式网关添加到音频输出模块的语音播报队列中进行语音播放；
6)根据得到的解析文本信息，当需要播放语音时，把解析文本信息通过语音合成模块TTS进行语音合成，然后通过音频输出模块进行语音播放，并通过互联网传输到云平台进行存储。
5.根据权利要求4所述的基于开源硬件可交互智能语音家居控制方法，其特征在于：步骤2)中还包括利用移动终端采集语音指令或者文字指令，所述利用移动终端采集语音指令或者文字指令的方法为：通过手机端安装的微信客户端扫描二维码登录到微信网页端，微信客户端通过发送语音指令或者文字指令至微信服务器，由微信服务器通过互联网发送给VAD静音检测模块；若发送的是语音指令，则将语音指令发送至自动语音识别模块ASR进行语音识别，得到识别文本；若发送的是文字指令，则执行步骤3)。
6.根据权利要求5所述的基于开源硬件可交互智能语音家居控制方法，其特征在于：步骤5)中所述聊天机器人系统为集成聊天机器人API，通过智能机器人开放平台获取机器人的返回消息。
7.根据权利要求4所述的基于开源硬件可交互智能语音家居控制方法，其特征在于：步骤2)中利用麦克风采集语音输入的方法为：采用单独的24Mhz的时钟模块来控制麦克风阵列的4个通道收录时间，并经MIC放大器连接到AC108音频处理模块。
8.根据权利要求4所述的基于开源硬件可交互智能语音家居控制方法，其特征在于：所述VAD静音检测模块是在高斯混合模型的基础上对语音和噪声建模，并对每帧信号求其是语音或噪声的概率，噪声和语音模型如下：
其中，xk是选取的特征量，即子带能量；rk是输出直流电压平均值Uz和方差σ的参数集合，Z＝0代表噪声，Z＝1代表语音；
设定VAD检测是在10ms的帧窗口，8k的采样率的基础上进行，则计算子带能量，子带分为80-250Hz、250-500Hz、500-1000Hz、1000-2000Hz、2000-3000Hz和3000-4000Hz六个子带通道，计算每个子带能量的结果存放，分别对应于feature[0]—feature[5]；调用GMM Probability计算概率，通过高斯混合模型分别计算为语音或非语音的概率，使用假设检验的方法确定信号的种类，利用高斯模型计算假设检验中的H0和H1，通过门限值判决，然后更新概率计算所需要的语音均值、噪声均值、语音方差和噪声方差。
9.根据权利要求8所述的基于开源硬件可交互智能语音家居控制方法，其特征在于：高斯概率计算采用的高斯公式如下：
假设两个参数是相互独立的，将这两个高斯参数当作不相关的，进行简化，当这两个高斯分布是不相关的，将乘法近似化简成加法；
(1)高斯改立计算采用的高斯公式： 省去 使得在做似然比
计算的时候， 不产生计算误差；
(2)对每一个子带(特征)，计算二元高斯对数似然比：
其中假设x和y不相关得到联合概率，x，y是输入的两个特征，μxs和μys是对应语音的一个子带的两个均值，同理μxn和μyn是噪音的一个子带内的两个均值；
(3)对数似然比，分为全局和局部，全局是六个子带之加权之和，而局部是指每一个子带则是局部，所以语音判决会先判断子带，子带判断没有时会判断全局，只要有一方过了，就算有语音，公式表达如下：
其中Lt是似然比加权之和，Li是每一次的似然比；
参数更新：噪声均值更新，函数对每个特征，求出100个帧里头的前16个最小值；每个最小值都对应一个age，最大不超过100，超过100则失效，用这个最小值来跟新噪声；
u(n)＝an1un1(n-1)+an2un2(n-1)
模型参数更新：更新噪声均值、语音均值和噪声方差语音方差，体现其自适应性；其中噪声更新只在非语音帧进行更新；
噪声均值更新：
语音模型均值更新：
噪声模型方差更新：
语音模型方差更新：
基于开源硬件可交互智能语音家居控制装置及控制方法
技术领域
背景技术
发明内容
所述移动终端安装有用于发出语音指令或文本指令的APP，并通过互联网和WiFi模块与VAD静音检测模块连接，互联网与云平台进行数据交互；
所述空气质量模块和温湿度模块分别通过Arduino控制模块与VAD静音检测模块连接，所述Arduino控制模块通过继电器模块对智能家用电器进行控制；
所述VAD静音检测模块对语音输入信号、语音指令或文本指令进行检测与识别后，反馈至音频输出模块、灯光控制模块或Arduino控制模块进行智能家用电器控制、灯组色温亮度调控、室内温湿度或空气质量查询。
2)利用麦克风采集语音输入信号，通过语音活动检测模块VAD对语音输入信号进行检测，当语音能量帧达到预设门限时，进入关键词检测模块KWS进行热词匹配；热词匹配完成后，通过音频输出模块播放预先设定的提示音进行应答，同时按照预先设定的录音时长进行录音并保存录音文件，并通过自动语音识别模块ASR将录音文件的内容转化为文本信息，得到识别文本；
3)对识别文本利用自然语言理解技术模块NLU进行意图理解分析处理，并匹配云平台所预设的应答策略，提取出意图关键词，得到解析文本信息；
4)根据得到的解析文本信息轮流对音频输出模块、灯光控制模块和Arduino控制模块进行策略匹配，若匹配成功，则触发相应模块执行相应技能，若匹配不成功，则执行步骤5)；
5)将解析文本信息传输至聊天机器人系统中生成文本聊天消息，并将文本聊天消息通过嵌入式网关添加到音频输出模块的语音播报队列中进行语音播放；
6)根据得到的解析文本信息，当需要播放语音时，把解析文本信息通过语音合成模块TTS进行语音合成，然后通过音频输出模块进行语音播放，并通过互联网传输到云平台进行存储。
设定VAD检测是在10ms的帧窗口，8k的采样率的基础上进行，则计算子带能量，子带分为80-250Hz、250-500Hz、500-1000Hz、1000-2000Hz、2000-3000Hz和3000-4000Hz六个子带通道，计算每个子带能量的结果存放，分别对应于feature[0]—feature[5]；调用GMM Probability计算概率，通过高斯混合模型分别计算为语音或非语音的概率，使用假设检验的方法确定信号的种类，利用高斯模型计算假设检验中的H0和H1，通过门限值判决，然后更新概率计算所需要的语音均值、噪声均值、语音方差和噪声方差。
图2为本发明VAD静音检测模块的结构框图；
图3为本发明嵌入式网关核心控制器的电路图；
图4为本发明基于开源硬件可交互智能语音家居控制方法的流程图；
图5为本发明利用移动终端采集语音指令或者文字指令的流程图；
图6为本发明Arduino控制模块的电路图；
图7为本发明VAD静音检测模块的检测流程；
图8为本发明高斯混合模型的流程图；
图9为本发明VAD静音检测模块静音检测语音能量呼吸灯流程图。
具体实施方式
所述移动终端安装有用于发出语音指令或文本指令的APP，并通过互联网和WiFi模块与VAD静音检测模块连接，互联网与云平台进行数据交互；
所述空气质量模块和温湿度模块分别通过Arduino控制模块与VAD静音检测模块连接，所述Arduino控制模块通过继电器模块对智能家用电器进行控制；
所述VAD静音检测模块对语音输入信号、语音指令或文本指令进行检测与识别后，反馈至音频输出模块、灯光控制模块或Arduino控制模块进行智能家用电器控制、灯组色温亮度调控、室内温湿度或空气质量查询。
(2)检测服务收到创建词表的请求后，会把相应的词存储到数据库中，并返回用户结果(词表id)；
(3)拿到词表id后，调用语音识别sdk并传入词表id及app_key；
(4)服务端收到检测请求时会解析词表id查询数据库，并返回用户检测结果。
(2)按系统词汇量分：小词汇量、中词汇量和大词汇量系统；
(3)按语音的输入方式分：孤立词、连接词、连续语音系统等；
(4)按输入语音的发音方式分：朗读式、口语(自然发音)式；
(5)按输入语音的方言背景情况分：普通话、方言背景普通话、方言语音识别系统；
(6)按输入语音的情感状态分；中性语音、情感语音识别系统。
(2)识别：待识语音经过与训练时相同的分析，得到语音参数。将它与库中的参考模板一一比较，并采用判决的方法找出最接近语音特征的模板，得出识别结果。
(3)失真测度：在进行比较时要有个标准，这就是计量语音特征参数矢量之间的“失真测度”。
(4)主要识别框架：基于模式匹配的动态时间规整法和基于统计模型的隐马尔可夫模型法。
2.知道词的确切含义、形式、词类及构词法；
3.了解词的语义分类、词的多义性、词的歧义性；
4.问题领域的结构知识和实践概念；
5.语言的语气信息和韵律表现；
6.有关语言表达形式的文字知识。
2)利用麦克风采集语音输入信号，通过语音活动检测模块VAD对语音输入信号进行检测，当语音能量帧达到预设门限时，进入关键词检测模块KWS进行热词匹配；热词匹配完成后，通过音频输出模块播放预先设定的提示音进行应答，同时按照预先设定的录音时长进行录音并保存录音文件，并通过自动语音识别模块ASR将录音文件的内容转化为文本信息，得到识别文本；
3)对识别文本利用自然语言理解技术模块NLU进行意图理解分析处理，并匹配云平台所预设的应答策略，提取出意图关键词，得到解析文本信息；
4)根据得到的解析文本信息轮流对音频输出模块、灯光控制模块和Arduino控制模块进行策略匹配，若匹配成功，则触发相应模块执行相应技能，若匹配不成功，则执行步骤5)；
5)将解析文本信息传输至聊天机器人系统中生成文本聊天消息，并将文本聊天消息通过嵌入式网关添加到音频输出模块的语音播报队列中进行语音播放；
6)根据得到的解析文本信息，当需要播放语音时，把解析文本信息通过语音合成模块TTS进行语音合成，然后通过音频输出模块进行语音播放，并通过互联网传输到云平台进行存储。
给APA102驱动芯片设置LED的颜色，然后灯珠一直保持该颜色，直到接收到新的命令或者VCC供电复位。
通过登录微信，使用文件助手直接发送语音指令或者文字指令传输信息。
2、程序灵活可变性强
本发明采用多引擎模块组件，能够在程序模块上改变其中任意一个模块，即，ASR引擎模块可以从百度ASR改变为科大讯飞ASR，同样TTS引擎模块、NLU引擎模块可以任意改变。
3、通过网络传输信息
本发明通过网络进行信息传递，和传统蓝牙及WIFI相比，突破了距离的限制。能够通过ip网络进行远距离传输，连接到多个智能设备节点，实现组网功能。能够与多个服务器端建立连接，进而获取多种功能。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于多轮语音聊天模型构建方法 | 2020-05-26 | 203 |
| 一种基于情绪识别的人机交互方法及系统 | 2020-05-20 | 247 |
| 机器人交互控制方法及装置、存储介质、服务器 | 2020-05-20 | 204 |
| 聊天机器人的语料生成方法及装置、存储介质、服务器 | 2020-05-21 | 877 |
| 聊天机器人的构造、响应方法及装置、存储介质、服务器 | 2020-05-22 | 73 |
| 配置聊天机器人的方法、装置、计算机设备和存储介质 | 2020-05-12 | 867 |
| 基于即时聊天实现员工日常管理的方法和系统 | 2020-05-16 | 470 |
| 数据处理方法和服务器 | 2020-05-19 | 343 |
| 用于智能设备控制的即时通讯平台、智能设备操控系统 | 2020-05-08 | 164 |
| 一种多用式机械人及其充电座 | 2020-05-11 | 699 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
