技术领域
[0001] 本
发明涉及
图像处理技术领域，具体涉及一种基于自注意三维
卷积神经网络的
自闭症谱系障碍(ASD)检测系统及自闭症谱系障碍(ASD)检测装置。
背景技术
[0002] 在传统的自闭症筛查中，往往依赖于专业的从医人员进行诊断和判别，这种方式往往耗时耗
力，加上相关的专业人员数量少，这就给自闭症的早期筛查带来了一定的难度，从而也就容易使得一些自闭症患者不能在早期被筛查出来，尽早地进行干预
治疗。对于自闭症而言，早期的干预治疗，对于后续的恢复或者减轻症状有着至关重要的作用。
[0003] 近年来，随着计算机的计算能力提升以及
人工智能技术的发展，可使用复杂的
深度神经网络模型去解决许多复杂的问题。在
计算机视觉领域，深度卷积神经网络已被用来解决许多具有挑战性的问题，如行人识别，行为识别，步态识别等等。而自闭症患者一个明显的特征就是行为上的异常，因此便可以利用计算机视觉领域相关技术寻找自闭症人群与正常人群之间的行为差异，从而更有效快速的对受试者进行自闭症的筛查。
[0004]
发明人在研发过程中发现，现有的自闭症筛查方式主要依赖专业从医人员，存在耗时耗力，效率低的问题。
发明内容
[0005] 为了克服上述
现有技术的不足，本发明提供了一种基于自注意三维卷积神经网络的自闭症检测系统及自闭症检测装置，无需对受试者进行侵入性的实验，仅需根据其执行某一特定动作的视频便可进行相应的自闭症筛查。
[0006] 本发明一方面提供的一种自闭症检测系统的技术方案是：
[0007] 一种自闭症检测系统，该系统包括：
[0008] 模型训练模
块，用于采集多个受试者的多段训练视频数据，并对其进行预处理，对预处理后的每段视频数据进行一次随机
采样，将采样后的数据输入自注意三维卷积神经网络检测模型中进行多次训练，得到训练好的自注意三维卷积神经网络检测模型；
[0009] 自闭症检测模块，用于采集待检测者的多段待检测视频数据，并对其进行预处理，对预处理后的每段视频数据进行多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征经过多层全连接层后进行分类操作，得到每段视频相应的类别概率；对同一段视频相应的类别概率进行平均操作，得到该段视频的二分类概率，根据概率的大小确定该段视频的待检测者是否患有自闭症。
[0010] 本发明一方面提供的一种自闭症检测装置的技术方案是：
[0011] 一种自闭症检测装置，该装置包括
图像采集装置、处理器和
存储器；
[0012] 所述图像采集装置，用于采集多个自闭症受试者和非自闭症受试者在室内环境下执行某一特定动作的多段视频数据，以及待检测者执行在室内环境下某一特定动作的多段视频数据，并分别上传至处理器；
[0013] 所述处理器，用于利用多段训练视频数据对自注意三维卷积神经网络检测模型进行训练，对多段检测视频数据进行预处理和多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中，得到每段视频相应的类别概率，根据概率的大小确定待检测者是否患有自闭症；
[0014] 所述存储器，用于存储处理器输出的检测结果。
[0015] 通过上述技术方案，本发明的有益效果是：
[0016] (1)本发明通过自注意三维卷积神经网络模型对受试者的视频数据进行处理，得到视频的类别概率，根据概率精确确定该视频中的受试者所属的类别，实现有效快速地对受试者进行自闭症的筛查；
[0017] (2)本发明不需要对受试者有侵入性的实验，在筛查阶段减少了对专业从医人员的依赖，能够很好地提高早期筛查的效率，而且也更加容易实行。
附图说明
[0018] 构成本发明的一部分的
说明书附图用来提供对本发明的进一步理解，本发明的示意性
实施例及其说明用于解释本
申请，并不构成对本发明的不当限定。
[0019] 图1是实施例一自闭症检测系统的结构图；
[0020] 图2是实施例一中自注意三维卷积神经网络检测模型的结构示意图；
[0021] 图3是实施例二自闭症检测装置的结构图。
具体实施方式
[0022] 下面结合附图与实施例对本发明作进一步说明。
[0023] 应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
[0024] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0025] 实施例一
[0026] 本实施例提供了一种基于自注意三维卷积的自闭症检测系统，请参阅附图1，该系统包括：
[0027] 模型训练模块，用于采集多个受试者的多段训练视频数据，并对其进行预处理，对预处理后的每个视频数据进行一次随机采样，将采样后的数据输入自注意三维卷积神经网络检测模型中进行多次训练，得到训练好的自注意三维卷积神经网络检测模型；
[0028] 自闭症检测模块，用于采集待检测者的多段待检测数据，并对其进行预处理，对预处理后的每个视频数据进行多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征输入到多层全连接层中进行分类操作，得到每一个视频相应的类别概率；对同一个视频相应的类别概率进行平均操作，得到该视频最终的二分类概率结果，即自闭症与非自闭症的概率，根据概率的大小确定待检测者是否患有自闭症。
[0029] 具体地，所述模型训练模块包括训练
数据采集模块、
训练数据预处理模块、神经网络模型构建模块和神经网络模型训练模块，其中：
[0030] 所述训练数据采集模块，用于采集多个自闭症受试者和非自闭症受试者在室内环境下执行某一特定动作的多段视频数据，并对所有的视频数据进行标签标注，自闭症受试者的视频数据标注为0，非自闭症受试者的视频数据标注为1。
[0031] 在本实施例中，该某一特定动作可为拿
水杯动作，该特定动作类别可根据模型训练时使用的视频动作而定。
[0032] 所述训练数据预处理模块，用于对视频数据进行拆
帧，并对每一帧视频数据进行高斯模糊降噪处理，再进行降采样处理，然后随机选取一定数量的视频数据，对所选取的每个视频数据进行一次随机采样，构成模型输入数据。
[0033] 在本实施例中，对每一帧视频数据进行高斯模糊降噪处理后，再将每一帧视频数据降采样到112*112大小，然后随机选取一定批次大小的视频，对每个视频随机采样一次，每次采样连续的16帧视频数据。
[0034] 所述神经网络模型构建模块，用于构建自注意三维卷积神经网络检测模型。
[0035] 请参阅附图2，所述自注意三维卷积神经网络检测模型中，三维卷积网络包含8个卷积层，5个
池化层构成，使用的卷积核大小为3*3*3。
[0036] 所述神经网络模型训练模块，用于将每一个视频的一次连续采样数据输入到自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征输入到紧接着的3层全连接层中，对最后一层全连接层输出结果进行分类操作，得到每一个视频相应的类别概率；根据每一个视频相应的类别概率以及该视频相应的标签，使用交叉熵损失函数计算误差；根据得到的误差，利用反向传播
算法对模型中的参数进行更新，重复训练更新，直到误差基本已不再变化，即
波动范围小于设定的
阈值。
[0037] 请参阅附图2，在采用自注意机制对提取到的特征进行重新加权时，需要将特征的维度重新排列成一维的数组，再输入到定义好的自注意机制中，自注意机制计算公式如下：
[0038] SelfAttention(X)＝Softmax(X·XT)·X
[0039] 上式中Softmax表示如下：
[0040]
[0041] 上式中，Xi表示张量X中的一个元素，分母中的n为张量X中的元素总个数。
[0042] 请参阅附图2，其中前两层全连接层的输出通道大小为4096，最后一层输出通道为2。
[0043] 误差的计算公式为：
[0044] Loss＝-[y·log(p)+(1-y)·log(1-p)]
[0045] 上式中，y表示相应的类别标签，本实施例为二分类模型，因此y取值仅为0或1，p为模型预测为正类(1)的概率。
[0046] 具体地，所述自闭症检测模块包括待测数据采集模块、待测数据预处理模块和自闭症预测模块，其中：
[0047] 所述待测数据采集模块，用于采集待检测者执行某一特定动作的多段视频数据；
[0048] 所述待测数据预处理模块，用于对视频数据进行拆帧，并对每一帧视频数据进行高斯模糊降噪处理，再进行降采样处理，然后随机选取一定数量的视频，对所选取的每个视频进行多次随机连续采样，构成模型输入数据。
[0049] 在本实施中，在同一个视频中进行多次采样(不低于10次)，每次采样连续的16帧。
[0050] 所述自闭症预测模块，用于将每一个视频的多次连续采样数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征输入到紧接着的3层全连接层中，对最后一层全连接层输出结果进行分类操作，得到每一个视频相应的类别概率；对同一个视频相应的类别概率进行平均操作，得到该视频最终的二分类概率结果，即自闭症与非自闭症的概率，最终根据概率的大小确定该待检测者是否患有自闭症。
[0051] 在本实施例中，若在同一个视频中采样了10次，则需对这10次的预测结果进行平均作为该视频的分类结果。视频最终的二分类概率结果，即自闭症与非自闭症的概率，若该视频的自闭症概率大，则该待检测者患有自闭症；若该视频的非自闭症概率大，则该待检测者为正常人。
[0052] 本实施例解决了自闭症谱系障碍(ASD)筛查耗时耗力的问题，在筛查阶段减少了对专业从医人员的依赖，能够很好地提高早期筛查的效率，而且也更加容易实行。
[0053] 为了使本领域技术人员更好地了解本申请的技术方案，以某自闭症检测数据集为例说明。
[0054] 该自闭症检测数据集采集了20名自闭症儿童以及20名正常儿童执行同一个动作(拿水杯动作)的视频，每位受试者采集了10-12段视频，均执行同一个动作，共采集了465段视频，其中每段视频仅截取了拿水杯过程的视频段，每段视频长度为几十帧到一百多帧。
[0055] 由于该数据集训练样本不算大，因此为了更好地评估模型效果，训练过程采用了留一验证的方式进行训练，即每次训练时，取39个受试着的动作视频作为训练集，剩下的一个受试者的动作视频作为验证集，并利用这个验证集来评判训练出的模型的好坏，并挑选出在验证集上表现最好的模型作为最终的模型。由于一共有40位受试者，因此训练过程会按上述的训练步骤重复四十次，即每位受试者的动作视频都会作为一次验证集，而其余数据作为训练集来训练模型。根据此种训练方式，根据一种动作的视频数据训练，最终会获得40个
预测模型。
[0056] 表1给出了利用该数据集中的其中一种动作的视频数据进行模型训练的结果，表中的编号代表受试者的编号，其中编号1-20为患ASD的受试者，21-40号为正常受试者，记为TD，每个编号后跟着一个概率值，该概率值表示，利用除该受试者之外的数据训练的模型去预测该受试者，并预测正确的概率。
[0057] 表1利用该数据集中的其中一种动作的视频数据进行模型训练的结果[0058]
[0059]
[0060] 从上述实验结果可以看出，该模型根据视频数据便能较好地区分出自闭症患者与正常受试者，40个模型中，37个模型均在验证集上预测正确。
[0061] 总之，本实施例提出的一种端到端的基于自注意三维卷积神经网络模型的自闭症检测系统，不需要对受试者有侵入性的实验，仅需根据其执行某一特定动作的视频便可进行相应的自闭症筛查，相比于传统自闭症检测方法更加便于实施，同时也能具有比较好的预测效果。
[0062] 实施例二
[0063] 本实施例提供一种自闭症检测装置，请参阅附图3，该装置包括图像采集装置、处理器、存储器和显示装置。
[0064] 所述图像采集装置，用于采集多个自闭症受试者和非自闭症受试者在室内环境下执行某一特定动作的多段训练视频数据，以及待检测者在室内环境下执行某一特定动作的多段检测视频数据，并分别上传至处理器。
[0065] 所述处理器，用于对多段训练视频数据进行预处理，对预处理后的每个视频数据进行一次随机采样，将采样后的数据输入自注意三维卷积神经网络检测模型中进行多次训练，得到训练好的自注意三维卷积神经网络检测模型；对多段待检测数据进行预处理，对预处理后的每个视频数据进行多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征输入到多层全连接层中进行分类操作，得到每一个视频相应的类别概率；对同一个视频相应的类别概率进行平均操作，得到该视频最终的二分类概率结果，即自闭症与非自闭症的概率，根据概率的大小确定待检测者是否患有自闭症。
[0066] 所述存储器，用于存储处理器输出的检测结果。
[0067] 所述显示装置，用于显示处理器输出的检测结果。
[0068] 在本实施例中，所述处理器，包括：
[0069] 模型训练模块，用于采集多段训练视频数据，并对其进行预处理，对预处理后的每个视频数据进行一次随机采样，将采样后的数据输入自注意三维卷积神经网络检测模型中进行多次训练，得到训练好的自注意三维卷积神经网络检测模型；
[0070] 自闭症检测模块，用于采集多段待检测数据，并对其进行预处理，对预处理后的每个视频数据进行多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征输入到多层全连接层中进行分类操作，得到每一个视频相应的类别概率；对同一个视频相应的类别概率进行平均操作，得到该视频最终的二分类概率结果，即自闭症与非自闭症的概率，根据概率的大小确定待检测者是否患有自闭症。
[0071] 其中，本实施例的模型训练模块、自闭症检测模块的具体结构请参阅前面实施例的相关描述，在此不做赘述。
[0072] 上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的
基础上，本领域技术人员不需要付出创造性劳动即可做出的各种
修改或
变形仍在本发明的保护范围以内。
