技术领域
[0001] 本
专利涉及计算机语音
信号处理和分析、语言评估、
模式识别和计算机辅助教育领域，特别是计算机辅助的分布式大规模口语考试自动评分方法和系统领域。
背景技术
[0002] 传统考试可分为两大类，一类是书面考试；一类是口语考试(重点考查学生的口语语言能
力)。随着素质教育理念的不断深入，口语能力越来越被重视，相应地，口语教学和考试也在不断普及，比如，全国性考试和省级考试中都开始测试口语能力。此外各种专业等级考试中，口语能力也成为测试重点，比如普通话
水平测试，大学英语等级考试、雅思、托福等。
[0003] 和书面考试不同，口语考试通常有两种方式：一种是考生和考官进行面对面交流；另一种是录制特定语境中考生的口语语音给考官进行分析。口语考试的评分也有两种方式，一种是考官根据交
流体验现场给出评分；另一种是通过对考生语音进行听测分析来评分。可见，无论哪种方式，口语考试都需要耗费大量的人力和物力，尤其是大规模考试中。另一方面，在大规模考试中，通常要求在有限时间内完成所有评分，需要提高评分效率。另外，口语考试属于主观题，其评分工作量巨大，并且主观性较大，一致性较差。因此，在大规模口语考试中，需要一种既可以提供高度一致性评分又具有高效率低成本的考试系统和方法。
[0004] 计算机技术已被应用于教育考试领域，可以降低考试成本，提高考试效率。比较典型的应用包括：通用的网络化考试管理系统【CN101964152A，CN1801244A，CN1732490B，CN101827124A】，针对口语的网络化考试系统【CN101419795B，英语口语考试系统的设计与实现(中科大硕士论文)】，网上阅卷评分系统【CN1700200A，CN1598845A，CN1987889A】等。然而，这些工作都没有涉及大规模口语考试的组织管理和自动评分问题。
[0005] 针对当前口语考试专家评分的主观性问题，本
发明利用计算机和语音分析技术，对考生语音进行高度一致性的自动评分。针对大规模口语考试评分任务工作量巨大问题，本发明利用
计算机网络和计算
服务器对大规模考生语音进行分布式的并行评分。
发明内容
[0006] 本发明公开一套口语考试的分布式自动评分系统及其评分方法，解决当前口语考试中评分效率低和一致性差的问题，尤其是为大规模口语考试提供一套可靠、高效和低成本的评分解决方案。
[0007] 本发明提供一种口语考试的分布式自动评分系统，包括一台评分管理装置管理若干考试客户端装置，评分管理装置和至少一台评分任务调度装置进行通信，一台评分任务调度装置管理若干评分计算装置，其中用于自动评分的模
块包括：
[0008] 录音模块，用于检测并录制考生语音；
[0009] 语音处理模块，用于对考生
语音信号进行处理，提取声学特征，识别语音对应的文本，得到声学单元的时间边界；
[0010] 发音评估模块，用于根据题目信息和语音处理模块输出的结果，对用户发音的不同方面进行分析和评估；
[0011] 语流特征提取模块，用于提取反映考生口语水平的语流综合特征，包括声学、语法和语义的特征；
[0012] 综合评分模块：利用语流综合特征，对用户语音进行综合评分；其中[0013] 除录音模块外，其他评分模块可根据考试客户端装置和后台的评分计算装置的计算负载以及网络负载来动态调度部署。
[0014] 还提供了一种口语考试的分布式自动评分方法，其中评分的具体步骤包括：
[0015] 步骤1、录音设备检测考生语音并录制；
[0016] 步骤2、提取语音特征，利用
声学模型和语言模型，对语音进行识别，得到对应文本及其
音素单元时间边界和似然度得分；
[0017] 步骤3、利用音素单元时间边界和似然度得分以及题目相关知识，对语音进行分析评估，得到不同语音单元的发音准确性、韵律准确性、发音完整度和发音流利度等；
[0018] 步骤4、综合语音处理结果、评估结果和题目信息，提取反映考生口语水平的声学、语法和语义方面的语流综合特征；
[0019] 步骤5、基于预先训练的模型和设计规则，使用语流综合特征对考生口语水平进行综合评分。
[0020] 进一步提供了一种口语考试的分布式自动评分方法，具体包括如下步骤：
[0021] 步骤1、考生获得考试题目并按要求回答，考试客户端装置录制考生语音，根据题目信息和要求对考生语音进行第一阶段评分计算，依据数据交换标准把考生语音和评分结果发送到评分管理装置；
[0022] 步骤2、评分管理装置接收考试客户端设备发送的考生答案和第一阶段评分结果，解析评分结果，如果评分结果不是最终评分，则依据数据交换标准把考生语音和评分中间结果及题目信息组织成评分任务，加密后发送到评分任务调度装置进行进一步评分；
[0023] 步骤3、评分任务调度装置接收到评分管理装置发送的评分任务，解析评分任务得到评分数据和任务优先级，根据评分模块域的设置选择所需评分模块和
算法，生成评分计算程序，按照任务优先级提交到后台的评分计算装置进行计算；
[0024] 步骤4、评分计算装置接收任务调度装置发送的评分程序，执行第二阶段评分，把最终评分结果发送到评分任务调度装置，然后评分任务调度装置再把评分结果转发到评分管理装置。
附图说明：
[0025] 图1口语考试的分布式自动评分系统的组织结构示意图。
[0026] 图2口语考试的分布式自动评分系统和方法的评分流程示意图。
[0027] 图3口语考试的分布式自动评分系统的工作流程示意图。
[0028] 图4一种典型的口语考试的分布式自动评分模块的部署示意图。
[0029] 图5接入语音
云端设备的口语考试的分布式自动评分系统的组织结构示意图。
[0030] 图6精简的口语考试的分布式自动评分系统环境的结构示意图。
具体实施方式
[0031] 下面结合附图和具体
实施例对本发明做进一步的详细描述：
[0032] 图1，给出了本发明所公开系统的组织结构示意图。一种口语考试的分布式自动评分系统由四大装置组成：考试客户端装置101，评分管理装置102，评分任务调度装置103和评分计算装置104。
[0033] 考试客户端设备101是考生提供考试服务的终端设备，通常为计算机或者嵌入式移动设备等。至少具有如下
硬件配置：音频播放单元，音频录制单元，计算单元，网络通信单元。
[0034] 可选地，支持图形
用户界面和触控操作。
[0035] 其通过图形界面向考生显示考题内容，通过音频播放单元(如：头戴
耳机或扬声器)播放考题音频，通过音频录制单元(如：麦克
风)录制考生语音，通过本地计算单元对答案(即考生语音)进行预处理和一定的评分计算(简称为第一阶段评分)，通过网络或者其他方式发送考生答案和评分结果(通常是中间评分结果)到评分管理装置。并且可以暂存考生语音，进行离线异步传输。
[0036] 还可以在考试客户端设备上配置一个专用考试客户端程序或者一个具有考试
插件的浏览器以完成上述录音和评分工作。
[0037] 评分管理设备102是获取考生答案和第一阶段评分结果、组织并提交评分任务的计算机。
[0038] 其获取来自考试客户端设备的考生答案和第一阶段评分结果，利用该评分结果以及题目信息构造评分任务，发送到评分任务调度装置，并接收来自评分任务调度装置的最终评分结果。
[0039] 具有可靠的
大容量存储设备，一般可配置高数据传输宽带。保存考生答案和最终评分结果，并暂存来至第一阶段评分的中间评分结果。
[0040] 评分任务调度设备103是用于接收评分任务、解析并构造评分计算任务、提交计算任务和管理评分计算装置的计算机。
[0041] 其接收评分管理设备发送的评分任务，解析任务，
抽取评分数据，根据题目信息和评分所需模块等信息自动组织评分计算程序，生成评分计算任务，通过调度算法提交计算任务到评分计算装置，最后从计算设备获取最终评分结果。
[0042] 特别地，所述评分任务调度装置具有可靠的大容量存储设备，且一般可具有高数据传输宽带。
[0043] 特别地，所述评分任务调度装置保留一段内存空间，维护一个优先级排序的计算任务队列。
[0044] 特别地，所述评分任务调度装置的任务调度算法为：若任务队列不满，则把任务根据其优先级插入队列相应
位置；否则如果任务优先级高于队列中的某些任务优先级，则把优先级最低的任务移出到缓存区或者外部
存储器，把该任务插入队列相应位置；否则把该任务存储到缓存区或者外部存储器；定时查询任务队列，若有空间，则把缓存区任务按其优先级加入队列；定时轮询每个评分计算设备，若有CPU空闲，则从任务队列中取任务到该CPU进行运算。
[0045] 评分计算设备104是由若干高性能CPU组成的计算集群，所有CPU都可以并行工作。其执行评分任务调度装置提交的评分计算程序，经过计算得到评分结果并输出给评分任务调度装置。
[0046] 口语考试的分布式自动评分系统其特点在于所述评分任务调度装置可以把多个评分任务组织在一起构成一个可批处理的计算任务，提交给后台的评分计算设备。
[0047] 口语考试的分布式自动评分系统其特点在于所述考试客户端装置可以部署多个评分模块。在保证考试录音过程不受影响的情况下利用本地CPU完成第一阶段的评分工作。所述第一阶段评分工作可与考试同时进行，为避免对考试造成任何影响，也可在考试之外的空闲时间定时运行。
[0048] 口语考试的分布式自动评分系统其特点在于所述评分任务调度装置和评分管理装置可以通过广域网进行连接，也可以通过局域网连接。
[0049] 口语考试的分布式自动评分系统其特点在于所述后台的评分计算装置可以是普通计算机，也可以
高性能计算服务器。这些评分计算装置通过局域网络连接，构成一个计算集群。
[0050] 所述的口语考试的分布式自动评分系统的结构是：一台评分管理装置管理若干考试客户端装置，评分管理装置和至少一台所述评分任务调度装置进行通信，一台评分任务调度装置管理若干后台的评分计算装置。
[0051] 所述的口语考试的分布式自动评分系统的网络结构是：评分管理装置和考试客户端装置之间通过局域网或者专用网络连接；评分任务调度装置和后台的评分计算装置之间通过局域网连接；评分管理装置和评分任务调度装置之间的数据通信既通过任意加密网络也可通过其他保密的数据传输方式进行。
[0052] 特定地，评分管理装置和考试客户端装置之间以及评分管理装置和评分任务调度装置之间也可以通过移动存储设备来进行数据传输。
[0053] 图2给出了口语考试的分布式自动评分系统和方法的评分模块和流程。口语考试的分布式自动评分系统和方法的核心模块包括：录音模块201，语音处理模块202，发音评估模块203，语流特征提取模块204和综合评分模块205。
[0054] 录音模块201：检测并录制考生语音。
[0055] 所述录音模块利用语音端点检测方法来自动检测考生语音，或者通过接收考生手工操作命令来启动录音。
[0056] 语音处理模块202：对考生语音信号进行处理，提取声学特征，识别语音对应的文本，得到声学单元的时间边界。
[0057] 所述语音处理模块其特点在于支持实时在线处理和离线批处理两种方式。所述语音处理模块中的
语音识别过程既可以采用本地服务来完成，也可以通过网络
访问语音云端服务来完成。
[0058] 发音评估模块203：根据题目信息和语音处理模块202输出的结果，对用户发音的不同方面进行分析和评估。
[0059] 所述发音评估模块其特点在于发音评估至少包含四个方面：不同单元的发音准确性、韵律准确性(如重音、声调、语调等)、发音完整度和发音流利度。
[0060] 语流特征提取模块204：提取反映考生口语水平的语流综合特征，包括声学、语法和语义的特征。
[0061] 所述语流特征提取模块其特征在于所提取的特征一部分来自于发音评估模块203，一部分来自题目信息，还有一部分来自语音处理模块202。
[0062] 所述考试题目信息至少包括题目类型、题目要求、题目内容、考察重点以及标准答案文本等。
[0063] 评分子模块205：利用语流综合特征，对用户语音进行综合评分。
[0064] 所述评分子模块其特征在于语流综合特征来自于语流特征提取模块204，综合评分算法是统计和规则相结合的。
[0065] 口语考试的分布式自动评分方法的评分方法包括如下步骤：
[0066] 步骤一，通过录音模块检测考生语音并录制；
[0067] 步骤二，提取语音特征，利用声学模型和语言模型，对语音进行识别，得到对应文本及其声学单元时间边界和似然度得分；
[0068] 步骤三，利用声学单元时间边界和似然度得分以及题目相关知识，对语音进行分析评估，得到不同语音单元的发音准确性、韵律准确性、发音完整度和发音流利度等的评分；
[0069] 步骤四，从语音处理模块和发音评估模块的输出结果以及考试题目信息中提取反映考生口语水平的声学、语法和语义方面的语流综合特征；
[0070] 步骤五，基于预先训练的模型和设计的规则，使用语流综合特征对考生口语水平进行综合评分。
[0071] 所述口语考试的分布式自动评分方法其特征在于各评分模块之间是前后依赖的，每个评分模块的输入信息来自于前一模块的计算输出，其中语音处理模块202的计算复杂性最高。
[0072] 图3给出了口语考试的分布式自动评分系统的工作流程：
[0073] 第一步，考生获得考试题目并按要求回答，考试客户端设备录制考生语音，根据题目信息和要求对考生语音进行第一阶段评分计算，依据数据交换标准把考生语音和评分结果发送到评分管理装置；
[0074] 第二步，评分管理装置接收考试客户端装置发送的考生答案和评分结果，解析评分结果，如果评分结果不是最终评分，则依据数据交换标准把考生语音和评分中间结果组织成评分任务，加密后发送到评分任务调度装置进行进一步评分；
[0075] 第三步，评分任务调度装置接收到评分管理装置发送的评分任务，解析评分任务得到评分数据和任务优先级，根据评分模块域的设置选择所需评分模块和算法，生成评分计算程序，按照任务优先级提交到后台的评分计算装置进行计算；
[0076] 第四步，评分计算装置接收评分任务调度装置发送的评分程序，执行第二阶段评分，把最终评分结果发送到评分任务调度装置，然后评分任务调度装置再把评分结果转发到评分管理装置。
[0077] 所公开的口语考试的分布式自动评分系统其关键特点在于自动评分过程可分为两个阶段：位于考试客户端装置上的第一阶段评分和位于后台的评分计算装置上的第二阶段评分。
[0078] 所公开的口语考试的分布式自动评分系统其关键特征在于所述的自动评分模块可分别归属于第一评分阶段和第二评分阶段。
[0079] 所公开的口语考试的分布式自动评分系统其关键特征在于所述第一阶段评分部署在考试客户端装置上，第二阶段评分部署在评分计算装置上。
[0080] 所公开的口语考试的分布式自动评分系统其关键特征在于部署在评分计算装置上的第二阶段评分支持大规模评分任务的批量计算，多个评分计算任务独立并行执行。
[0081] 所公开的口语考试的分布式自动评分系统其关键特征还在于第二阶段评分计算任务可同时包含多个考生的多道题目的评分。同一评分计算任务中不同考生和考题的相同评分模块可共享相同的评分资源，减少资源重复加载的时间和空间浪费。
[0082] 所公开的口语考试的分布式自动评分系统其特征还在于既支持大规模离线批量评分，也支持小规模在线评分。
[0083] 所述口语考试的分布式自动评分系统其特征还在于支持小规模在线评分，即每次评分任务只处理一个考生的一道考题答案，在考试完成之后直接反馈评分。
[0084] 所公开的口语考试的分布式自动评分系统其关键特征在于除录音模块外地其他评分模块可根据考试客户端装置和后台的评分计算装置的计算负载以及网络负载来动态调度部署。
[0085] 所公开的口语考试的分布式自动评分系统其关键特征在于部署在考试客户端装置上的评分模块中，录音模块具有最高优先级，保证其他模块的执行不会影响录音功能。
[0086] 根据评分模块部署的位置，口语考试的分布式自动评分系统具有如下四种评分模块部署方案：
[0087] 表1口语考试的分布式自动评分系统的四种评分模块部署方案
[0088]
[0089] 特定地，在方案4中，评分任务不再需要送入后台的评分计算装置进行计算。
[0090] 图4给出了方案1的评分模块部署示意图。整个口语考试的分布式自动评分系统可以分为两个大模块：前端模块和后端模块。
[0091] 所述前端模块包括考试客户端装置和评分管理装置。其中考试客户端装置上部署有录音模块和语音处理模块。
[0092] 所述后端模块包括评分任务调度装置和后台的评分计算装置。其中后台的评分计算装置上部署有发音评估模块，语流特征提取模块和综合评分模块。
[0093] 典型地，方案1把录音模块和语音处理模块部署前段模块上，其它模块部署在后端模块上。
[0094] 部署方案1的好处是充分利用考试客户端装置的计算能力来完成语音处理功能，可以减轻后台的评分计算装置的压力，同时又不至于造成考试客户端装置的负载太重而影响录音工作。
[0095] 所述口语考试的分布式自动评分系统其特征还在于考试客户端装置可通过网络和语音云端系统相连接，可充分利用云端计算资源。
[0096] 所述口语考试的分布式自动评分系统的部署方案1其特征还在于，语音处理模块的语音识别计算可以提交到语音云端完成，从而减轻考试客户端的计算负载。
[0097] 图5是接入语音云系统的口语考试的分布式自动评分系统的组织结构示意图。考试客户端装置101通过网络接入语音云端系统105。
[0098] 语音云端系统105上部署有强大的计算资源和精准的语音模型资源。语音处理模块中的语音识别过程是整个评分过程最消耗计算资源的，通过利用语音云端设备的计算能力和模型资源，不仅可减轻考试客户端的计算负载，而且还可得到更准确的识别结果。
[0099] 在评分模块部署方案1的情况下，考试客户端装置101首先录制考生语音；然后进行语音处理，把考生语音或者考生语音的声学特征发送到语音云端系统上进行语音识别，并获得语音识别结果，在完成其它语音处理工作后，把题目信息、考生语音以及语音处理的结果一起发送到评分管理装置102，由评分管理装置102进行后续的评分处理工作。
[0100] 所述口语考试的分布式自动评分系统其特征在于如果后台的评分设备和评分管理装置在同一个局域网中，或者数据传输通过移动存储设备，则所述口语考试的分布式自动评分系统中的评分管理装置和评分任务调度装置可以合并。该系统是一个精简的口语考试的分布式自动评分系统。
[0101] 图6给出了一种精简的口语考试的分布式自动评分系统环境的结构示意图。
[0102] 所述的精简的口语考试的分布式自动评分系统包括考试客户端装置301，任务管理设备302和评分计算装置303。
[0103] 考试客户端装置301和图1中101模块的功能和配置相同。
[0104] 评分计算装置303和图1中104模块的功能和配置相同。
[0105] 任务管理设备302：接收考生答案和评分结果，解析评分结果，利用中间评分数据和题目信息构造评分计算程序，提交评分计算任务，接收最终评分结果。
[0106] 特定地，可以利用移动存储设备把每个考试客户端装置上的考生答案和评分结果移动到评分管理装置。评分管理装置上的评分管理程序解析评分结果，抽取中间评分数据、考生语音和题目信息，和所需评分模块的评分程序进行连接，汇总多个评分任务生成批量评分计算任务，然后提交给后台的评分计算设备进行计算。
[0107] 所述口语考试的分布式自动评分系统其特点还在于具有一套计算容错机制，以保证评分计算的
稳定性。具体措施包括：
[0108] 1)配置备用计算设备：为后台的评分计算设备配置冗余的CPU以应对突发硬件故障。若有评分计算设备出现故障，评分任务调度设备自动启用备用的评分计算设备，并把该计算机上的评分任务重新提交，并发出警报信息。备用的评分计算设备一直处于等待状态，评分任务调度设备可以随时启用该设备。通常设置评分计算设备可用CPU的十分之一作为备用计算设备。
[0109] 2)记录计算流程的日志：为每道题的评分任务都保持一个日志文件，从录音开始一直到获得最后评分，记录每个评分子模块中每个步骤的执行情况，至少包括执行的指令，数据目录，执行时间，执行状态等信息。
[0110] 3)检测录音异常：在考试正式开始之前，录音模块要求考生试录音。通过分析从考生录音设备获取的
音频信号，检测录音设备的异常，比如：没有语音，音量太大或者音量太小等异常情况都要提示考生。
[0111] 4)检测评分计算任务异常：后端模块的评分任务调度装置监控每个评分任务的计算过程，若发现有任务计算失败，如果是计算硬件问题导致的，则启用备用计算资源，并重新提交计算任务；否则记录错误信息，发出警告信息。
[0112] 5)检测数据传输异常：考试客户端装置和评分管理装置监控数据传输过程，若有数据传输失败，间隔若干时间重新传输，并记录错误信息，发出警告信息。
[0113] 6)数据备份：在考试客户端装置上临时保存考生语音和第一阶段评分的结果，直到该数据成功传输。在前端评分管理装置上保存考生语音、评分任务和最终评分结果。在后端的评分任务调度装置上临时保存评分任务和最终评分结果。
[0114] 当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和
变形，但是这些相应的改变和变形都应属于本发明所附的
权利要求的保护范围。
