专利汇可以提供基于FPGA的自闭症眼动特征采集与分类可穿戴系统专利检索,专利查询,专利分析的服务。并且本 发明 提供了一种基于FPGA的 自闭症 眼动特征采集与分类可穿戴系统,首先给出了该可穿戴系统的结构,包括可拆卸式眼镜 框架 、夹片组、 数据采集 模 块 、数据分类模块、结果显示模块、电源模块以及内部 导线 几个部件,并给出了上述各部件之间的连接关系以及作用,通过使用简单的可穿戴式系统和移动终端快速采集自闭症眼动特征,并由此进行自闭症分类,移动终端中的客户端实时显示分类结果。本发明提供的可穿戴系统可有效降低被测者对传统医学仪器的抵触心理,并且该可穿戴式仪器轻便简洁,通用性强,采用FPGA作为处理平台,使得 数据处理 效果好、工作性能高。,下面是基于FPGA的自闭症眼动特征采集与分类可穿戴系统专利的具体信息内容。
1.一种基于FPGA的自闭症眼动特征采集与分类可穿戴系统,其特征在于,该系统包括:
可拆卸式眼镜框架、夹片组、内部导线、数据采集模块、数据分类模块、结果显示模块以及电源模块(901);
所述可拆卸式眼镜框架,用于安装数据采集模块、数据分类模块、结果显示模块、电源模块以及内部导线,并根据被测者自身佩戴的眼镜大小或头部大小调整可拆卸式眼镜框架的外观,以满足近视眼镜佩戴者或视力正常佩戴者的需求;
所述夹片组配合使用,用于将被测者自身佩戴的眼镜固定连接在所述可拆卸式眼镜框架上;
所述内部导线内置于可拆卸式眼镜框架中,用于连接数据采集模块、数据分类模块、结果显示模块和电源模块;
所述数据采集模块,用于采集被测者前方的外部环境视频流数据和被测者左、右眼转动和凝视视频流数据,并将其通过内部导线传输给数据分类模块;
所述数据分类模块,用于对外部环境视频流数据和左、右眼转动和凝视视频流数据进行特征提取,并将提取的特征代入预先训练好的分类器进行分类后得到自闭症分类结果;
所述结果显示模块,用于通过所述结果显示模块内置的蓝牙芯片将所述自闭症分类结果传送给结果显示模块,并显示在手机界面上;
所述电源模块(901),通过内部导线与数据采集模块、数据分类模块以及结果显示模块相连接,为可穿戴系统的运行提供电能。
2.一种基于FPGA的自闭症眼动特征采集与分类可穿戴系统,其特征在于,该系统包括:
可拆卸式眼镜框架、夹片组、数据采集模块、数据分类模块、结果显示模块、电源模块(901)以及内部导线;
所述可拆卸式眼镜框架包括伸缩装置、鼻托(303)、镜腿(304),
所述伸缩装置包括连接器(201)和眼镜支架(202),所述连接器(201)用于连接左、右镜片夹(301)和(302);所述眼镜支架(202)的长度可调节以适应不同被测者头部大小及自身佩戴习惯;
所述鼻托(303)可折叠,用于根据被测者佩戴眼镜与否调节鼻托的折叠状态;
所述镜腿(304)可拆卸,用于根据被测者佩戴眼镜与否调节镜腿的拆卸状态;
所述夹片组包括镜片夹和镜腿夹,
所述镜片夹包括左镜片夹(301)、右镜片夹(302),用于在被测者佩戴眼镜时分别夹持被测者佩戴的眼镜的左、右镜片;
所述镜腿夹包括左、右两个镜腿夹(602),分别位于所述眼镜支架(202)的左、右两侧,用于在被测者佩戴眼镜时将被测者佩戴的眼镜的镜腿与眼镜支架(202)固定连接;
所述夹片组配合使用,用于将被测者所佩戴的眼镜固定连接在所述可拆卸式眼镜框架上;
所述数据采集模块包括1个前置摄像头和2个内置摄像头,
所述1个前置摄像头用于拍摄被测者前方的外部环境视频流数据;
所述2个内置摄像头包括第一眼球摄像头(401)和第二眼球摄像头(402),分别对应于被测者的左右两眼设置,各自拍摄左眼转动和凝视视频流数据,以及右眼转动和凝视视频流数据;
所述数据分类模块(801)包括FPGA芯片和DSP核,
所述FPGA芯片中内置的预设特征分类算法,用于对被测者的外部环境视频流数据和左、右眼转动和凝视视频流数据进行特征提取以及对提取出的特征首先进行预处理和控制器处理;
所述DSP核然后将进行了预处理和控制器处理的特征进行首次注视前时间、注视时间和首次注视持续时间3类眼部特征提取,并将所述3类眼部特征和由眼动仪中的软件包自动提取的前注视点数目、注视次数这2类眼部特征共同用于进行自闭症分类;
所述结果显示模块包括蓝牙芯片和手机端APP,
所述蓝牙芯片与手机蓝牙相连接,用于将数据分类模块得到的自闭症分类结果传送给结果显示模块;
所述手机端APP用于显示自闭症分类结果;
所述电源模块(901)包括USB接口(902)和电源,
所述USB接口(902)用于连接所述电源模块(901)与外界电源,通过外界电源向所述电源模块(901)进行充电;
所述电源用于为可穿戴系统的运行提供电能以及在外界电源向所述电源模块(901)充电时存储外界电源输送至所述可穿戴系统的电能;
所述内部导线包括电源线和数据线,
所述电源线分别连接到所述2个内置摄像头、1个前置摄像头、数据采集模块、数据分类模块以及结果显示模块,为所述可穿戴系统的运行提供电能;
所述数据线用于将所述可穿戴系统的2个内置摄像头、1个前置摄像头、数据采集模块、数据分类模块以及结果显示模块连接起来,保证所述可穿戴系统正常工作。
3.根据权利要求2所述的可穿戴系统,其特征在于,所述数据采集模块中的1个前置摄像头固定镶嵌在所述可拆卸式眼镜框架的连接器(201)的中间位置,2个内置摄像头分别内置于左、右镜片夹(301)和(302)中;所述数据分类模块和所述电源模块分别位于所述可拆卸式眼镜框架的眼镜支架(202)的两侧,所述眼镜支架(202)带有齿轮滑道(1101),被测者可在眼镜支架(202)上滑动所述数据分类模块或所述电源模块,从而找到佩戴的舒适位置,并保持整个可穿戴系统的平衡。
4.根据权利要求3所述的可穿戴系统,其特征在于,当被测者未佩戴眼镜时,眼镜支架(202)上设有左、右两个平光镜片,分别由左镜片夹(301)和右镜片夹(302)所夹持,两个可折叠的鼻托(303)置于使用者鼻梁上,并且所述可拆卸式眼镜框架中的两个可拆卸的镜腿(304)置于被测者耳朵上,以此佩戴所述可拆卸式眼镜框架。
5.根据权利要求3所述的可穿戴系统,其特征在于,当被测者佩戴眼镜(601)时,将所述可拆卸式眼镜框架中的两个可折叠的鼻托(303)向上折叠,将两个可拆卸的镜腿(304)拆卸不用,左、右镜片夹(301)和(302)用于分别夹持被测者佩戴的眼镜(601)的左、右镜片,左右两个镜腿夹(602)将被测者佩戴的眼镜(601)的镜腿与眼镜支架(202)固定连接,以此将被测者佩戴的眼镜(601)固定连接在所述可拆卸式眼镜框架上并进行佩戴。
6.根据权利要求4或5所述的可穿戴系统,其特征在于,所述数据分类模块(801)进行自闭症分类方法基于深度神经网络,所述深度神经网络包括输入层、特征提取层、特征组合层和全连接层,其中全连接层包括全连接输入层、全连接中间隐含层和全连接输出层;
所述自闭症分类方法具体包括:
首先,所述数据分类模块将所述数据采集模块所采集到的当前外部环境视频流数据和当前左、右眼转动和凝视视频流数据进行分帧处理,每秒15帧图像,得到当前分帧图像,并将所述当前分帧图像输入到所述输入层;
然后,所述特征提取层对从所述输入层输入的所述当前分帧图像处理后,得到当前分帧图像中每帧图像的首次注视前时间、注视时间和首次注视持续时间3类眼部特征;
最后,所述特征组合层将通过所述特征提取层得到的当前分帧图像中每帧图像的3类眼部特征与由眼动仪中的软件包自动提取的对应帧图像的前注视点数目和注视次数这2类眼部特征相组合,得到用于自闭症分类的当前分帧图像中每帧图像的5类眼部特征,并运用三帧差法将当前分帧图像中每帧图像和其前后两帧图像进行比较,将比较结果送给全连接层,完成自闭症分类。
7.根据权利要求6所述的可穿戴系统,其特征在于,运用三帧差法将每帧图像和其前后两帧图像进行比较的具体包括:对所述特征组合层共设置15个锁存单元,分成3个锁存单元组,将当前帧的5类眼部特征和其前后两帧的5类眼部特征、共15个眼部特征分时锁存到对应的锁存单元组中,每次使用3个锁存单元用于锁存当前帧和其前后两帧的同一类眼部特征,然后轮询,将3个锁存单元中同一类眼部特征的对应值进行相或操作,得到1组值,5类眼部特征最终得到5组值,将所述5组值送入全连接层输入层;
将比较结果送给全连接层,完成自闭症分类的具体步骤为:设置全连接输入层1层,共包括5个神经元,分别对应所述5组值,全连接中间隐含层1层,并设置全连接中间隐含层的神经元个数m,全连接输出层1层,共4个神经元,分别对应4类分类结果,健康、轻度自闭症症状、中度自闭症症状和重度自闭症症状,
其中,全连接中间隐含层的神经元个数m的计算公式为 其中n表示全连接输入层的神经元个数,l表示全连接输出层的神经元个数,α为1-10之间的常数;
送入全连接层输入层的所述5组值经过全连接中间隐含层处理后,在全连接输出层输出相应的自闭症分类结果,所述自闭症分类结果为健康、轻度自闭症症状、中度自闭症症状和重度自闭症症状4类分类结果中的一类。
8.根据权利要求7所述的可穿戴系统,其特征在于,所述深度神经网络的具体训练过程为:
S1)初始化深度神经网络:设置所述输入层共512×512个神经元,预输入的分帧图像大小为512×512,深度为3;
所述特征提取层中的卷积核随机初始化为3×3的矩阵,设置所述卷积核移动步长为1,采用ReLu函数作为激励函数;
随机生成所述全连接输入层到所述全连接中间隐含层的权重矩阵为 所述全连接中间隐藏层到所述全连接输出层的权重矩阵为 其中i1表示权重矩阵 的行数,j1表示权重矩阵 的列数,i2表示权重矩阵 的行数,j2表示权重矩阵 的列数,随机给所述深度神经网络分别指定一个非零的权重矩阵 和
S2)将若干预先经过分帧处理的分帧图像作为训练集,用于深度神经网络的学习:输入所述训练集中的一组训练样本到所述输入层,在所述特征提取层得到的3类眼部特征与通过眼动仪自动提取的2类眼部特征在所述特征组合层组合后输入所述全连接输入层,用于深度神经网络的学习,由此计算出所述深度神经网络全连接层中每层神经元的输入和输出值;
S3)判断经过步骤S2)处理的所述深度神经网络的所述全连接输出层的实际输出与该组训练样本的标签值是否一致:若一致则进入步骤S4),若不一致则进入S5);
S4)输入下一组训练样本用于所述深度神经网络的学习,然后进入步骤S6);
S5)设定所述深度神经网络的学习率和整个深度神经网络的迭代次数,并根据计算得到的所述深度神经网络每层的局部梯度值采用梯度下降法修正深度神经网络的权重矩阵和 然后进入步骤S2);
S6)判断是否达到设定的整个深度神经网络的迭代次数:若是则进入步骤S7);若不是则进入步骤S2);
S7)结束训练,得到最终训练完成的所述深度神经网络。
9.根据权利要求7所述的可穿戴系统,其特征在于,α的取值为2,得到的所述全连接中间隐含层的神经元个数m为5。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
养殖巡检系统 | 2020-05-08 | 119 |
基于视频深度学习的车辆识别方法 | 2020-05-11 | 168 |
一种基于深度学习的CT图像中肾脏分割方法 | 2020-05-08 | 247 |
一种室内场景三维重建的RGB-D相机位姿估计方法 | 2020-05-08 | 654 |
一种获取定位信息的方法、装置及介质 | 2020-05-08 | 441 |
基于统计特征视角合成质量预测方法、信息数据处理终端 | 2020-05-08 | 109 |
通用动量方法、基于通用动量方法的目标检测与识别方法 | 2020-05-11 | 289 |
使用深度扩展DirAC技术或其他技术生成经增强的声场描述或经修改的声场描述的概念 | 2020-05-08 | 997 |
基于深度学习的安全帽佩戴识别方法 | 2020-05-08 | 107 |
一种模板匹配网络训练方法、识别方法及装置 | 2020-05-11 | 217 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。