一种基于笔和语音的多通道多任务神经系统疾病辅助诊断
系统
技术领域
背景技术
[0002] 随着环境的变化及人口的老龄化，越来越多的人患有神经系统疾病，极大的影响了用户及其家庭的工作与生活。在临床上，主要由医生综合既往病史、精神状态评估、体格检查等多项指标判定用户是否患有神经系统疾病，但是由于此类疾病发病机制复杂，检查步骤繁琐，因此难以获得有效的诊断方案。神经系统疾病的主要生理特性可反映在用户日常的
人机交互行为中，因此随着人机交互技术的不断发展，以及人类对于生理信息与疾病表征之间关系认知的逐渐深入，通过获取并分析日常交互过程中产生的生理信息，有助于神经系统疾病的辅助诊断与早期预警。与人工诊断相比，通过分析生理信息对神经系统疾病进行
计算机辅助诊断的方法，实现对用户进行简单、快速、非侵入性的病理检查，降低主观因素对判决结果的影响，具有很大的研究价值与发展空间。
[0003] 在日常交流时，人们会同时接受语音、书写、视觉等多个通道的信息，也会同时通过多个通道进行信息的表达反馈，人在进行多通道信息处理时，不同通道的信息会在大脑不同的区域进行交叉处理，具有一定的灵活度，但同时处理多个任务的行为分散了大脑的注意
力，导致信息处理成本与接受成本的增加，产生任务切换耗散(switching costs)与任务混淆耗散(mixing costs)，在一定程度上导致认知能力的降低。患有神经系统疾病的用户通常表现为言语能力下降、
运动障碍以及
认知障碍等多方面问题。利用语音通道、笔通道等单个通道的交互信息进行神经系统疾病诊断的方法不能全面的表现用户当前的生理状态，同时忽略了多通道多个任务同步信息整合、认知负荷对用户的影响。因此如何利用多通道人机交互技术同步获取用户在日常同时处理多个任务的交互过程中不同交互通道中产生的有效信息，根据通道间互补冗余、相互影响的关系分析用户是否患有神经系统疾病，可有效的提高计算机辅助诊断的准确程度。
[0004] 语音通道可反映用户的发音状态，笔通道可反映用户在运动以及认知方面的异常。研究在分别提取笔通道与语音通道的单一通道交互信息的
基础上，通过书写与发音协作的方式执行
指定任务，利用笔通道与语音通道同步执行多任务时手和语言功能的协调能力，对用户进行多通道多任务神经系统疾病辅助诊断，考虑多任务操作对用户交互通道间信息特性的影响，实时的诊断是否患有神经系统疾病，对神经系统疾病的初步检测与
预防，具有重要的意义。
发明内容
[0005] 本发明针对上述问题，提出一种基于笔和语音的多通道多任务神经系统疾病辅助诊断系统。该系统让用户通过笔通道与语音通道协作的方式完成指定任务，使用普通的
触摸屏和麦克
风对用户的笔迹
信号与
声音信号进行同步任务采集，利用大脑神经状态的改变对运动认知、发音、多任务协同处理等方面的影响提取多通道特征，训练决策模型分析判定用户是否患有神经系统疾病。其特点在于，通过笔和语音结合的方式对指定任务进行协同处理，同步采集笔和语音通道的
输入信号，不仅考虑神经系统疾病在笔交互通道、语音交互通道单一通道内的生理表征，同时考虑多任务时笔通道和语音通道协作时不同生理通道表征的相关、互斥等通道间生理特性，得到多通道交互特征构建模型，对用户做出实时、精确、客观的自动诊断。
[0006] 本发明采用的技术方案如下：
[0007] 一种基于笔和语音的多通道多任务神经系统疾病诊断系统，其包括：
[0008]
数据采集单元，负责采集用户信息、既往病史、对用户进行量表评估、对用户进行数字笔交互与发音交互的同步任务测试，并保存用户的笔迹和音频文件；
[0009] 数据预处理单元，负责对所述数据采集单元采集的数据进行预处理，从中提取用户信息、既往病史、量表结果、笔和语音交互数据，分别存放到用户
数据库、医生诊断库、医学
知识库、病例数据库中；
[0010] 多通道交互特征获取单元，负责根据所述病例数据库中的笔和语音交互数据，提取笔和语音通道的交互特征与通道间的多任务协同特征，并对特征进行融合与选择，得到训练病理模型的输入样本；
[0011] 模型构建与反馈单元，负责采用输入的多通道交互特征进行模型训练得到病理模型，然后将所述病理模型与所述用户数据库、所述医生诊断库、所述医学知识库中的相关数据融合训练得到混合决策模型，将所述混合决策模型的最终判别结果反馈给用户。
[0012] 进一步地，所述数据采集单元记录用户的年龄，性别，教育程度等反应其个人特性的信息；记录用户历史检查身体的生理指标以及疾病状态；由于不同量表测试的偏重点不同，在专业医生的引导下完成不同的精神状态量表测试。
[0013] 进一步地，所述数据采集单元在获取笔迹与音频任务时，为让用户呈现自然的状态，在用户进行正式测试前，要求用户在舒适坐姿的情况下进行笔交互操作，在日常的发音状态下(不要刻意提高或是压低声音)进行发音操作，同时保持录音器材与嘴唇之间的距离。录制前，对用户说明利用同步采集笔数据和语音数据评估手和语音功能的协调能力的目的，对指定任务同步执行书写与发音的要求，进行任务示范。这里指定任务为语料库中随机出现的一句简单的文字，例如“吃葡萄不吐葡萄皮，不吃葡萄倒吐葡萄皮”，“书籍是人类思想的宝库”等等。当用户理解任务需求后，进行任务测试，如完成任务过程中出现身体认知负荷过重的情况，则适当休息一段时间再进行任务测试。如果任务测试过程中出现与任务无关的对话，则重新进行任务测试。
[0014] 进一步地，所述数据预处理单元进行预处理时，如用户信息、既往病史、量表结果的信息发生变化则重新保存到相应的数据库内，如无变化则直接跳过此步骤。
[0015] 进一步地，所述数据预处理单元清洗笔和语音交互数据，剔除空的、无效的笔交互数据与音频数据；对录制音频进行端点检测，截取有效的音频；将处理后的有效的笔和语音段作为原始数据存储到病例数据库中。得到有效的数据后，即可进行特征提取，得到能够反应用户神经系统疾病症状的多通道交互特征。
[0016] 进一步地，所述多通道交互特征获取单元获取多通道交互特征，包括：
[0017] (1)特征提取模
块，负责提取笔通道特征，语音通道特征，笔通道与语音通道协同特征；
[0018] (2)特征融合模块与特征选择模块，负责将提取的特征进行融合，并且
降维得到能够全面反映用户病理特征的最优子集。
[0019] 进一步地，所述特征提取模块根据发声障碍和
构音障碍提取语音通道特征。在语音交互通道中，神经系统疾病言语失调主要体现在不能发出正常的声音(发声障碍)和词句读取困难(构音障碍)。发声障碍的影响主要用来衡量人的基本说话能力，就是对声音的控制能力，常表现为声带的调控能力不足、闭合能力不足或震动的不规律等原因引起的
音调异常、响度异常和音质异常。构音障碍的影响主要是衡量人的
发音器官的灵活性和协调运
动能力，表现为是否能够发出有意义的言语声。如果人在连续发音时不能适当的控制发音器官的运动，导致目标
音素的运动范围较小，局限在标准
位置附近，则降低器官的灵活性，引起节奏、韵律等方面的异常，影响语音的清晰度与流利性。
[0020] 进一步地，在笔交互通道中，神经系统疾病患者在运动以及认知功能上的异常主要体现在运笔状态和图形绘制结果，因此所述特征提取模块通常从笔交互任务中提取运笔特征和绘图特征诊断用户是否患有神经系统疾病。运笔特征能够较好的反映用户的运动功能，常表现为手部震颤等问题引起的笔尖位置、压力等运动参数的变化。而绘图特征则与用户的认知功能关系更为密切，常表现为用户认知问题引起的完成时间异常、错误次数增加等方面。
[0021] 进一步地，在笔通道与语音通道进行多任务协同操作中，神经系统疾病患者在记忆、认知、协同性等方面的相关问题在进行多任务切换会产生更多的切换耗散(switching costs)与任务混淆耗散(mixing costs)成本，主要体现在通道间的特征的互补与冗余，因此在笔和语音通道同时执行指定的交互任务时，所述特征提取模块根据提取笔通道与语音通道之间交互信息相关性较强的协同特征来反映神经系统疾病对认知等因素的影响。
[0022] 进一步地，所述特征融合模块是将所述特征提取模块提取的反应不同生理特性的特征进行融合，得到一个能够更加全面反应用户当前状态的特征。为了避免提取特征信息的冗余，所述特征选择模块可通过有监督或无监督的特征选择方法选择具有区分度的重要特征。如提取的特征已足够精简，可省略特征选择的步骤。
[0023] 进一步地，所述模型构建与反馈单元包括：
[0024] (1)模型构建模块，负责利用
机器学习的方法训练得到病理模型与混合决策模型；
[0025] (2)决策反馈模块，负责利用多通道交互信息分流优化的方法将决策结果对用户进行反馈。
[0026] 进一步地，分类器的选择对最终的判定具有较大的影响，某些分类器只对部分特征敏感，因此所述模型构建模块需要选择合适的分类器训练病理模型，得到精确地判决结果同时避免过拟合的情况，达到泛化能力与测试能力的平衡。将用户测试数据输入训练得到的病理模型，得到病理模型诊断结果。所述模型构建模块将病理模型诊断结果与用户数据库，医学知识库，医生诊断库等相关意见结合建立多属性人机交互混合决策模型，得到最终的混合决策结果，同时利用多种评价指标计算模型的
稳定性。
[0027] 进一步地，当用户得到诊断结果后，为了使用户得到更加真实与深刻的体验，所述决策反馈模块通过多通道分流优化的方法，即麦克风与显示屏结合的方法将最终的诊断结果通过笔和语音通道反馈给用户，通过反馈使用户感受到任务的完成情况。
[0028] 与
现有技术相比，本发明具有的优点和积极效果如下：
[0029] 1.本发明给出了一种利用笔和语音的同步多任务处理方式分析用户是否患有神经系统疾病的系统，能够避免单一通道不能全面的反应用户的生理状态，同时利用同步处理多个任务时通道间switching costs与mixing costs对交互状态的影响，协同任务处理对不同通道影响的相关性，增加构建模型诊断的准确性。
[0030] 2.本发明针对笔通道、语音通道、笔通道与语音通道的多任务协同性提取三类病理特征。神经系统疾病对语音的影响主要由两方面组成，发声障碍(dysphonia)和构音障碍(dysarthria)。对笔通道的影响主要由运笔状态(kinematic feature)和图形绘制(figurate feature)的结果两方面组成。语音通道与笔通道多任务协同
感知的影响主要由通道间的相关性、冗余性等计算组成，将三类特征进行融合，可到比较全面反应神经系统疾病的多通道融合特征。
[0031] 3.本发明将混合决策得到的最终的诊断结果进行实时的诊断反馈。利用多种通道与维度信息融合训练得到混合决策模型，综合考虑用户历史与当前等多个维度的生理状态，通过简单的交互，即可得到精确、实时地诊断与反馈。
[0032] 4.本发明只需要普通的麦克风和笔和数位屏作为信息采集工具，不需要任何侵入性
治疗，仅仅需要分析用户当前生理数据即可预测用户的身体状态，实现对神经系统疾病的初步检测，提高了用户的
生活质量。
附图说明
[0033] 图1为的桌面模式操作场景示意图。
[0034] 图2为基于语音与笔的疾病诊断系统的组成
框架图。
[0035] 图3为基于语音与笔的疾病诊断系统的工作
流程图。
[0036] 图4为病理模型与混合决策模型的模型构建示意图。
具体实施方式
[0037] 为了使本技术领域的人员更好的理解本发明，以下结合实例和附图进一步详细描述本发明，但不构成对本发明的限制。
[0038] 本发明可通过如图1，2了解本发明的操作场景和框架，该神经系统疾病辅助诊断系统主要由数据采集单元，数据预处理单元，多通道交互特征获取单元，模型构建与反馈单元四部分组成。实际测试时，用户只需完成相应的笔和语音交互任务，即可通过该神经系统疾病辅助诊断系统通过计算机辅助的方式预测是否患有神经系统疾病。本
实施例是在matlab7.10.0、weka的条件下处理和
训练数据，具体如图3所示，该系统的工作流程如下：
[0039] 1.采集训练数据.这部分的工作是实验的基础，其具体的工具与参数如下：
[0040] (1)用户信息采集、既往病史、量表检查部分，首先填写用户的信息、既往病史。其中量表检查是在专业医生的引导下进行，医生通过用户问题的完成程度给出相应得分，记录用户的得分情况。当患者对题目理解困难或者产生歧义时，医生给出合理的说明与示范。此项检查支持用户在电脑上进行，对电脑设备的要求不高，满足正常的观看、交互即可。
[0041] 其中，用户信息包括性别、年龄、受教育程度等多重信息；既往病史是通过询问用户的遗传病史与历史疾病检测情况，记录多项检测生理指标；用户通过与专业医生或是经过培训的人交流完成不同量表的测试题目，如MMSE，MOCA量表，并根据完成程度对结果进行评分。
[0042] (2)笔和语音采集部分，用平板显示器与数字笔进行笔数据采集，普通麦克风进行语音采集，利用上述设备对指定的测试材料完成规定的书写任务与朗读任务，这里书写与朗读同步进行。采集笔数据时用
液晶数位屏Wacom Cintiq DTK-1300，屏幕
分辨率设置为1920*1080，附带数位笔参数Wacom KP-701E，
采样率为100Hz。采集语音数据时使用了森海塞尔的外置麦克风，用户采集语音时与麦克风距离为10cm左右，具体参数为单声道，采样率为44.1kHz。测试语料库由多个语句组成，实际测试时随机出现一句语料库中的测试语句。
[0043] 2.数据预处理。这部分的工作提取有效的信息，为后续的训练数据做准备。
[0044] (1)提取用户信息、既往病史及量表分值中的主要信息，分别存储到对应的数据库中。
[0045] (2)笔数据与音频
数据处理部分，这部分的工作是去掉坏的，空的等不符合训练条件的笔迹数据与语音数据，对笔通道与语音通道的样本数据进行清洗，去除异常样本，提取能够反应用户特性的有效笔交互数据与语音交互数据，作为原始数据存储到病例数据库中。
[0046] 3.多通道交互特征。如何提取有效的多通道融合数据，对后续的病理模型训练具有重要意义，具体研究如下。
[0047] (1)特征提取。如何提取有效特征表征用户的生理状态对模型的训练具有重要意义。这里主要通过三个方面对特征进行提取，
[0048] 笔交互通道的特征主要表现在运笔特征与绘图特征，运笔特征主要以笔画的采样序列作为基本分析单元，常提取笔迹的位置、压力、
角度等运动参数，以及利用多种分析方法处理相应运动参数得到的特征。图形特征通常是针对特定任务的，一般以整体图形作为分析对象，计算如字母大小、形状、偏离程度等特征。
[0049] 语音通道特征主要表现在发音障碍与构音障碍，其中发音障碍主要体现在音量、嘶哑声、粗糙声、气息声、震颤等。因此可提取常用的特征包含但不限于Jitter、Shimmer、HNR、NHR、RPDE等。构音障碍的主要表现为发音不准、咬字不清、声调节律异常等问题。可计算如发音持续时间、发音的稳定性、语音率、发音率、句子图谱等特征。
[0050] 笔通道和语音通道多任务协同操作对交互的影响可表现在多个方面，因此可从不同的角度提取笔和语音的多种协同特征。包括但不限于在同时处理多个交互任务中，笔通道特征与语音通道特征表意(如每段特征与对应响应结果的Pearson相应系数)的相关性矩阵，表意的同步性描述以及两种行为的互斥性描述等。
[0051] (2)特征融合与选择
[0052] 由于单一通道的交互信息特征很难较为全面的表达用户的个人状态，将步骤(1)提取的笔通道特征、语音通道特征、笔和语音通道多任务协同特征进行融合，得到可全面反应用户当前状态的特征信息。融合的方法有很多，包含但是不限于将多种提取特征首尾相连的传统特征融合方法。多通道融合特征维度极有可能大于训练的样本量，而过高的维度会降低分类器的性能，为了得到能够反映用户病理特征的最优子集，采用但不限于基于相关性的特征选择方法(CFS)，主成分分析方法(PCA)等对语音与笔通道融合的特征进行选择，降低多通道融合特征维数得到多通道交互特征，提高病理模型训练的效率与
精度。
[0053] 4.模型构建与反馈。选择合适的训练方法，为实际的测量准备模型，并给予适当的反馈增加用户的体验。
[0054] 本发明可以使用多种机器学习的方法训练病理模型，以
集成学习的训练方法为例，利用改进预测(stacking)的方法对分类器进行组合，首先用交叉验证的方法将多通道交互特征集合划分为n等份，n-1分作为训练数据，剩余一份数据进行测试数据，选取多种分类器作为“基”分类器，如SVM、
贝叶斯网络等，将“基”分类器得到的预测结果作为输入特征训练第二层的分类模型，如
线性分类器、RF等，得到语音和笔通道融合的集成学习病理模型的诊断结果。当数据量增大时，可以尝试
深度学习的方法，训练得到准确，稳健的病理模型，对是否患有神经系统疾病进行有效分析。
[0055] 考虑病理模型诊断结果，用户数据库中存储的用户个人信息，医学知识库中病情相关的评价参数的规范与标准，以及医生诊断库的专业诊断结果，综合用户历史信息与当前指标，采用但是不限于
决策树、隐
马尔可夫等机器学习方法训练混合决策模型，对用户目前的生理状态得到更加全面的诊断，模型构建流程如图4所示。为确保训练模型的可靠性，需对训练的模型进行评测，为验证结果的有效性，评价指标包含但不限于准确率、查全率、查准率、F值。系统在计算得到最终的评价结果后，凭借多通道交互信息优化管理器对多通道融合人机交互的判别结果通过多通道分流优化的方法分别通过笔通道与语音通道对用户进行实时反馈。
[0056] 以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员在而不脱离本发明的精神和范围时，可以对本发明的技术方案进行
修改或者等同替换，本发明的保护范围应以
权利要求所述为准。
