技术领域
[0001] 本
发明涉及医疗健康领域，尤其涉及一种融合机器学习与物联网技术的盲人智能手杖系统。
背景技术
[0002] 根据调查目前我国盲人数量约有824.8万人，低视
力人群约有6727.4万人，视力残疾人数约7551.2万人，现在我国每年新增盲人人数约45万人，如果依照目前的增长趋势，到2020年我国的盲人总数会增加4倍。
[0003] 目前大部分盲人依然使用的是落后且不具通信功能的盲人手杖，由于盲人的生理限制，时常有盲人摔倒或者迷路走丢的情况发生，一旦发生摔倒之类的安全问题，很容易错过最佳的救助时间，而对盲人造成永久的身体损害。随着科学技术的日益发展，在日常生活中这种手杖显然不能保障盲人的出行安全，并且盲人的监护人更不能实时地知道盲人安全情况和地理
位置情况，因此对于盲人物联网智能手杖的研发以及应用市场的潜力是巨大的，面对如今复杂的路面情况和交通情况，一款能够帮助盲人日常安全出行，并且能够实时监护盲人的身体
姿态信息和
定位功能的盲人智能手杖便会显得有极大的应用价值。因此，本发明提出一种融合机器学习与物联网技术的盲人智能手杖系统，以解决
现有技术中的不足之处。
发明内容
[0004] 针对上述问题，本发明的目的在于提供一种融合机器学习与物联网技术的盲人智能手杖系统，该盲人智能手杖系统通过避障模
块探测盲人外出时的路况信息，能够利用震动
电机和播放语音来提示盲人本人和其他路人，通过将九轴
加速度计
陀螺仪传感器采集的姿态数据采用卡尔曼滤波
算法进行姿态
角度的计算，同时以KNN和DTW算法为
基础对姿态数据进行分类和判断，异常姿态输出报警
信号，从根本上解决盲人出行的安全以及家人对其的监护问题，在盲人出现摔倒或者迷路的情况时可以第一时间进行远程求助，保障了盲人弱势群体日常生活安全。
[0005] 为实现本发明的目的，本发明通过以下技术方案实现：
[0006] 一种融合机器学习与物联网技术的盲人智能手杖系统，包括避障模块、求助模块、远程GPS定位模块、GPRS通信模块、
云端
服务器数据库、核心模块和微信小程序单元，所述避障模块包括红外线避障单元和
超声波测距避障单元，用于对路况障碍物进行检测，并将检测结果实时用语音和震动电机的方式提醒盲人，所述求助模块用于外出时对附近人群进行语音求助以及用于附近无人时进行远程短信求助和通话求助，所述远程GPS定位模块用于将手杖的定位信息和速度信息通过GPRS通信模块发送至云端服务器数据库进行存储，所述核心模块包括九轴加速度计陀螺仪传感器和
温度传感器，所述九轴加速度计陀螺仪传感器为MPU6050九轴加速度计陀螺仪传感器，所述九轴加速度计陀螺仪传感器采用卡尔曼滤波算法对姿态角度信息进行计算,并且通过温度传感器记录实时温度信息，姿态角度与实时温度信息通过GPRS通信模块发送至云端服务器数据库进行存储，所述微信小程序单元为监护人的监护操作终端。
[0007] 进一步改进在于：所述红外线避障单元包括红外线避障传感
探头，所述红外线避障传感探头设置在手杖前端并可以左右摆动，所述红外线避障传感探头用于探测狭窄过道以及台阶，当在较近距离遇到了障碍的时候通过震动电机以及语音的方式提示盲人当前路况并避开障碍物。
[0008] 进一步改进在于：所述
超声波测距避障单元包括超声波测距传感器，所述超声波测距传感器位于红外线避障传感探头上方，所述超声波测距传感器用于探测较远距离处的障碍物，并且显示路障距离情况，当盲人与前方障碍物的距离小于超声波测距传感器的最大感应距离时，便会触发震动电机提醒以及进行语音提示前方障碍物的距离。
[0009] 进一步改进在于：所述求助模块包括语音求助模块单元和远程通信求助单元，所述语音求助模块单元通过播放设定好的求助语音文件向附近人群进行求助，所述远程通信求助单元通过程序模拟发送AT指令给GSM通信模块，再通过手机SIM卡发送短信给
指定号进行远程短信求助和通话求助。
[0010] 进一步改进在于：所述云端服务器数据库内存储的手杖的定位信息和速度信息通过微信小程序单元被查询，且所述云端服务器数据库内存储的手杖的定位信息和速度信息能够通过地图
软件被显示。
[0011] 进一步改进在于：所述云端服务器数据库存储的姿态角度与实时温度信息通过微信小程序单元发送
请求查询信号后被显示在微信小程序单元内。
[0012] 进一步改进在于：所述微信小程序单元为具有家庭成员登录、异地查询天气、地理位置查询、姿态角度查询、异常姿态报警和安全小资讯弹出的微信小程序单元。
[0013] 进一步改进在于：所述核心模块还包括报警单元，所述报警单元采集大量九轴加速度计陀螺仪
传感器数据后利用KNN和DTW算法训练分类器性能，然后设定常态分类，分别为站立、坐、行走、上楼和下楼，再输入实时的九轴加速度计陀螺仪传感器数据进行对比分类，对姿态数据进行判断和分类，若分类不在常态分类之中，则判断为异常姿态则输出报警信号，并将报警信息传输至微信小程序单元进行弹出显示用于提醒监护人。
[0014] 本发明的有益效果为：通过避障模块探测盲人外出时的路况信息，能够利用震动电机和播放语音来提示盲人本人和其他路人，通过求助模块可以利用GSM通信模块发送远程求助短信或者拨打求助电话；且能够通过远程GPS定位模块和GPRS通信模块将盲人手中的手杖进行实时定位，将定位数据发送至云端服务器数据库存储，通过对手杖的定位实现对盲人的定位监护，并且利用微信小程序单元作为监护人的监护操作终端能够有效保证盲人的外出安全，能够及时传递信息；通过将九轴加速度计陀螺仪传感器采集的姿态数据采用卡尔曼滤波算法进行姿态角度的计算，报警单元利用KNN和DTW算法训练分类器性能，然后根据常态分类与实时的九轴加速度计陀螺仪传感器数据进行对比分类，通过对姿态数据进行判断和分类，对异常产生报警信号，并将报警信息传输至微信小程序单元进行弹出显示用于提醒监护人，能够从根本上解决盲人出行的安全以及家人对其的监护问题，在盲人出现摔倒或者迷路的情况时可以第一时间进行远程求助，使盲人能在第一时间得到救助，保障了盲人弱势群体日常生活安全。
附图说明
[0016] 图2为本发明红外线避障单元原理示意图。
[0017] 图3为本发明超声波测距避障单元原理示意图。
[0018] 图4为本发明超声波测距避障单元程序执行
流程图。
[0019] 图5为本发明超声波测距避障单元滤波算法执行流程图。
[0020] 图6为本发明远程GPS定位模块和九轴加速度计陀螺仪传感器的监护通信原理示意图。
[0021] 图7为本发明KNN和DTW算法实现示意图。
[0022] 图8为本发明微信小程序单元工作原理执行流程示意图。
具体实施方式
[0023] 下面将结合本发明
实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0024] 根据图1、2、3、4、5、6、7、8所示，本实施例提出一种融合机器学习与物联网技术的盲人智能手杖系统，包括避障模块、求助模块、远程GPS定位模块、GPRS通信模块、云端服务器数据库、核心模块和微信小程序单元；
[0025] 所述避障模块包括红外线避障单元和超声波测距避障单元，用于对路况障碍物进行检测，并将检测结果实时用语音和震动电机的方式提醒盲人；
[0026] 所述红外线避障单元包括红外线避障传感探头，所述红外线避障传感探头设置在手杖前端并可以左右摆动，所述红外线避障传感探头用于探测狭窄过道以及台阶，当在较近距离遇到了障碍的时候通过震动电机以及语音的方式提示盲人当前路况并避开障碍物，红外线避障传感探头以LM393双
电压比较器集成
电路为核心的红外线避障模块，手杖的前端有两个探头，一个探头用于发射红外线信号，另一个探头用于接收红外线的反射信号，红外线避障传感探头可以实现2cm-30cm的近距离探测障碍物，当前方出现障碍物的时候，在红外线避障传感探头的接收端便会收到一个接收信号，输出端就会输出一个TTL低电平，通过输出这个低电平信号来触发语音提示和震动电机，但是由于震动电机是由高电平触发震动，所以在红外线避障传感探头的输出端连接一个电压的滤波反相电路，通过滤波反相电路实现遇到障碍物输出高电平给震动电机的MOT口和LED口，分别用于驱动震动电机和灯光显示提醒，利用震动提醒盲人台阶和狭窄通道
墙壁障碍物的情况，红外线避障传感探头的输出端直接连接求助模块的语音求助模块单元，语音求助模块单元是通过低电平触发，通过扬声器播放语音求助模块单元SD卡中存储的指定端口MP3语音文件，用于在听觉方面提醒盲人，从震动反馈
和声音两个方面的来提示盲人注意路况，保证盲人的出行安全。
[0027] 所述超声波测距避障单元包括超声波测距传感器，所述超声波测距传感器位于红外线避障传感探头上方，所述超声波测距传感器用于探测较远距离处的障碍物，并且显示路障距离情况，当盲人与前方障碍物的距离小于超声波测距传感器的最大感应距离时，便会触发震动电机提醒以及进行语音提示前方障碍物的距离，超声波测距传感器以STM32F103ZET6作为核心处理器，通过程序算法的设计来控制超声波测距传感器的探测和显示功能，超声波测距传感器采用的是HY-SRF05超声波测距传感器，HY-SRF05超声波测距传感器的工作原理是：IO口TRIG触发测距，给至少10us的
高电平信号，超声波测距传感器自动发送8个40khz的方波，自动检测是否有信号返回，如果接收端有超声波信号返回(即前方有障碍物)，就会通过IO口ECHO输出一个高电平，高电平持续的时间就是超声波反射回来的时间，测试距离的计算公式如公式(1)所示：
[0028]
[0029] 公式(1)中：S是测试的距离，Th是高电平的持续时间，Vv表示的是声速，默认为340M/s；
[0030] ECHO口与震动电机的MOT(驱动)和LED(显示)口连接从而触发震动提示，同时ECHO与反相电路的输入端相连，输出一个低电平信号至语音求助模块单元，从而播放语音求助模块单元存储在SD卡中的MP3文件，然后提醒盲人正前方较远处的障碍；
[0031] 超声波测距传感器的探测距离可以在程序中进行
修改，调节电位器用于调节超声波最大的探测距离，可以根据盲人自己本身的需求来任意调节，并且在超声波测距传感器的
单片机程序中加入一种针对超声波测距的滤波处理算法，以保证手杖在实际的应用中稳定测算，程序算法主要步骤如下：
[0032] 1.采集8个点的距离值；
[0033] 2.对8个点距离值进行小到大排序；
[0034] 3.相邻值两两做差，并作比较；
[0035] 4.记录下两两之差最大值的那对数所在的位置；
[0036] 5.如果该位置位于所有数的前半部分，则取该位置后半部分数；反之，取前半部分数。并作为距离的有效值。
[0037] 6.取有效值的平均值为最后值；
[0038] 7.如果采集点个数不多于2个，算法停止执行，判定距离为无穷远。
[0039] 通过将超声波测距传感器的单片机程序采用该算法执行，保证了超声波测距避障单元在实际应用中的
稳定性。
[0040] 所述求助模块用于外出时对附近人群进行语音求助以及用于附近无人时进行远程短信求助和通话求助，所述求助模块包括语音求助模块单元和远程通信求助单元，所述语音求助模块单元通过按键触发播放设定好的求助语音文件向附近人群进行求助，所述远程通信求助单元通过程序模拟发送AT指令给GSM通信模块，再通过手机SIM卡发送短信给指定号进行远程短信求助和通话求助。
[0041] 所述远程GPS定位模块用于将手杖的定位信息和速度信息通过GPRS通信模块发送至云端服务器数据库进行存储，云端服务器数据库内存储的手杖的定位信息和速度信息通过微信小程序单元被查询，且所述云端服务器数据库内存储的手杖的定位信息和速度信息能够通过地图软件被显示；
[0042] 所述核心模块包括九轴加速度计陀螺仪传感器和温度传感器，所述九轴加速度计陀螺仪传感器为MPU6050九轴加速度计陀螺仪传感器，所述九轴加速度计陀螺仪传感器采用STM32F103ZET6为核心处理器，STM32F103ZET6核心处理器与MPU6050九轴加速度计陀螺仪传感器连接，通过IIC读取MPU6050九轴加速度计陀螺仪传感器的数据，并且结合采用卡尔曼滤波算法分析姿态相关信息，单片机每隔时间t中断一次，连续从MPU6050九轴加速度计陀螺仪传感器中读出的数据输入卡尔曼
滤波器进行运算分析，输出融合加速度计和陀螺仪二者传感数据的姿态角度。所述九轴加速度计陀螺仪传感器采用卡尔曼滤波算法对传感器数据进行处理运算得到姿态角度数据,并且通过温度传感器记录实时温度信息，姿态角度与实时温度信息通过GPRS通信模块发送至云端服务器数据库进行存储，云端服务器数据库存储的姿态角度与实时温度信息通过微信小程序单元发送请求查询信号后被显示在微信小程序单元内，核心模块还包括报警单元，报警单元通过KNN(k近邻算法)和DTW(动态时间规整)算法对大量姿态测试数据集进行训练之后，分类器进行常态分类分出五个类别，分别是站立、坐、行走、下楼和上楼，当重新输入一个人实时的姿态角度数据时，会对其进行姿态定义，当不属于上述五个类别中任何一个姿态时，便会由输出一个高电平报警信号，然后通过GPRS通信模块向指定的云端服务器数据库发送姿态异常的信号数据包；
[0043] 所述核心模块还具有一个HCO5蓝牙模块，用于近距离对九轴加速度计陀螺仪传感器的数据包进行传输，监护人通过在手机蓝牙APP端查看各姿态数据以及温度的监测；
[0044] 所述核心模块的九轴加速度计陀螺仪传感器融合了机器学习KNN(k-近邻)&DTW(动态时间规整)算法，可以为姿态异常自动识别提供可靠的报警功能，通过对九轴加速度计陀螺仪传感器采集的姿态信息数据测试学习从而识别盲人常态情况下的姿态情况，避免误报警的现象，算法识别盲人的姿态数据之后，通过DTW计算两个时间序列之间的距离，并将此距离作为k近邻算法中的距离函数，再通过k近邻算法对其的姿态数据进行分类和判断，若判断为异常姿态，例如摔跤便会输出一个报警信号，实现对盲人安全姿态情况的远程监护的功能。
[0045] 将九轴加速度计陀螺仪传感器数据进行卡尔曼滤波进行姿态解算，得出
精度极高的姿态角度的数据，此数据直接经由GPRS通信模块传输至云端服务器数据库，监护人通过微信小程序单元查询和监护；利用九轴加速度计陀螺仪传感器获取相应位置的
角加速度和加速度，以及地
磁场传感器HMC5883获取的三轴磁力计数据，加速度计和陀螺仪只能提供姿态参考，磁力计采集数据用于提供航向参考，在本实施例中卡尔曼滤波对九轴加速度计陀螺仪传感器和
地磁场传感器的三轴数据进行融合时，以测算
滚转角为例，主要是运用5个方程，具体为两个预测方程和三个更新方程：
[0046] 预测阶段
[0047] 公式(2)是卡尔曼滤波预测阶段的第一条原始公式，作用是先验状态估计值，A,B为系统系数，一般为角度数据和漂移角度数据，多模型系统为矩阵；X(k|k-1)是根据上一状态预测的结果，X(k-1|k-1)实时上一次的最优结果，U(k)为k时刻的状态控制量(若无控制量则取0)。本实施例中U(k)取0，X(k)为陀螺仪测量的
角速度原始数据，本文应用的先验估计陀螺仪公式如式(3)为：
[0048] X(k|k-1)＝AX(k-1|k-1)+BU(k) (2)
[0049] X(k|k-1)＝AX(k-1|k-1),A＝[1,-0.005；0,1] (3)[0050] 公式(4)为卡尔曼滤波预测阶段的第二条原始公式，作用为计算先验误差协方差，P(k|k-1)是X(k|k-1)的协方差，P(k-1|k-1)是X(k-1|k-1)的协方差，Q是系统过程的过程噪声协方差，本实施例测算中Q＝0.001，故卡尔曼滤波计算误差协方差的公式为(5)式：
[0051] P(k|k-1)＝AP(k-1|k-1)AT+Q (4)
[0052] P(k)＝AP(k-1)AT+0.001 (5)
[0053] 校正阶段：
[0054] 公式(6)为校正阶段的第一条公式，作用是计算卡尔曼增益(KalmanGain)简称为Kg，作用是计算修正矩阵，建立一个量测方程，这里测量的值是加速度计算出来的角度值，H为系统系数矩阵，此处取[1,0],R为传感器的噪声均值，此处的R取0.001；
[0055]
[0056] 公式(7)为卡尔曼滤波校正阶段第二条公式，作用是修正估计，更新观测值，Z(K)是加速度计的测量值，X(k)即为陀螺仪测量的角速度值。当Kg＝0时，状态值为估计值；当Kg＝1时，状态值为观测值；
[0057] X(k|k)＝X(k|k-1)+Kg(k)[Z(k)-HX(k|k-1)],H＝[1,0] (7)[0058] 公式(8)为卡尔曼滤波校正阶段的第三条公式，作用是更新误差协方差，I为单位矩阵，对于单模型单测量，I为1；
[0059] P(k|k)＝[I-Kg(k)H]P(k|k-1),H＝[1,0] (8)
[0060] 所述微信小程序单元为监护人的监护操作终端，所述微信小程序单元为具有家庭成员登录、异地查询天气、地理位置查询、姿态角度查询、异常姿态报警和安全小资讯弹出的微信小程序单元；
[0061] 家庭成员登录：通过微信登录进行家庭成员登录安全系统的功能，只有家庭成员可以通过小程序二维码进行登录，保障了盲人的隐私安全；
[0062] 异地查询天气：用于异地监护时查询盲人所在地的天气情况，调用中国天气网天气预报
接口，是微信小程序的上位机的附加功能；
[0063] 地理位置查询：获取手杖传输的地理位置经纬度信息和速度信息，然后手动调取腾讯地图查询盲人具体地理位置并在地图上显示；
[0064] 姿态角度查询：通过调取云端服务器数据库中九轴加速度计陀螺仪传感器的传感数据，进行查询盲人的体态角度特征，微信小程序上显示经过卡尔曼滤波姿态解算后的姿态角度数据，从而监护盲人的安全情况。
[0065] 异常姿态报警：将传感器采集的数据输入分类器模型，当分类输出为异常姿态时就会输出报警信号，微信小程序端拥有异常姿态信号的显示，以及一键远程报警或呼叫救护车求助的功能；
[0066] 手杖融合了
深度学习KNN和DTW分类算法为基础的姿态异常报警功能，经过卡尔曼滤波输出之后的传感器数据输入KNN和DTW算法的分类器之中进行分类判断，分类器中预先已经训练过大量数据集，将五种常态的姿态进行了手动标签，当输入的传感器数据进过算法运算分析之后若不属于任何一类常态，就会输出姿态异常的信号，此时会输出一个报警信号，实现远程姿态安全的监护。
[0067] KNN(k-Nearest Neighbor)算法中k值的选取对分类结果有较大的影响，通过改进距离函数来进行算法的优化，融合了DTW(Dynamic Time Warping)方法的KNN和DTW算法可以很好的解决这个问题，k近邻分类器使用DTW作为时间序列数组之间的距离度量，使用DTW方法计算出时间序列的距离，并将此距离作为k近邻的距离函数。通过在Python中使用动态编程技术实现DTW算法的对于距离矩阵的运算，DTW非常适合对具有不同
频率或异相的序列进行分类，所以DTW来分类一个人是走路，站立还是坐下就非常适合通过测量AB之间的距离来计算每个像元，因此代表两个序列的最佳比对，KNN&DTW算法的实现主要为以下三个步骤：
[0068] (1)计算两个序列之间的动态时间规整距离；
[0069] (2)计算AB之间的距离矩阵；
[0070] (3)使用上述两种方法通过k近邻计算类别标签和数据集的概率。
[0071] 算法的实施过程是通过KNN和DTW算法计算两个时间序列特征点到特征点的相似程度，在盲人手杖系统中则是将传感器
训练数据样本和测试数据样本进行匹配，计算二者之间的DTW全距离矩阵，然后将传感数据进行
可视化显示，利用全局路径窗口(Warping Window)显示全距离矩阵的最佳路径如式(9)：
[0072] DTWAB＝SUM(shortestpathsAB) (9)
[0073] 将测试样本进行手动常态分类，分别为站立、坐、行走、上楼和下楼，计算两个序列之间的DTW距离，也可以计算两个集合的距离，之后进行两个方面的预测：预测的类标签和KNN标签计数概率。
[0074] 安全小资讯弹出：通过连接第三方安全新闻API实现盲人生活安全小资讯的功能，从而向监护人家属普及盲人安全知识。
[0075] 以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和
说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的
权利要求书及其等效物界定。
