多年来，由于各种原因，例如教育考试或技能评估，已经对应试者进行 了标准化考试。许多标准化考试需要考试接受者对构答反应(constructed response)问题提供反应。构答反应问题可以是一种不提供反应选择物(类似多 项选择问题)并且需要考试接受者自己生成反应的问题或者用于答复的指示。 例如，高校学生可以接受跳级生(AP)考试，如果成功，则可以允许该学生接 受大学荣誉。作为另一个示例，法律学院毕业生可以进行一次或多次国家律 师业考试，以便在该国家成为许可的律师。AP考试和律师业考试可以包括构 答反应问题，例如问答题(essay question)。构答反应问题也可以要求考试接受 者提供口头反应，例如在口语考试中。
对这些构答反应问题的反应通常由一个或多个人类分级者或评估者来分 级。对构答反应问题的反应进行分级的努力可能很庞大，尤其是当一个问题 由多个评估者来分级。基于计算机的自动得分系统可以提供一种用于对构答 反应问题的反应进行分级的更快速的方法。已经进行了一些尝试来自动化分 级书面材料，例如论文式反应。然而，不是所有的反应是书面的。
因此，不牺牲得分的一致性来进行对构答反应问题的口头反应的分级处 理是有益的。

描述了一种用于口语水平评估的方法和系统。所述方法包括：接收对构 答反应问题的运行时间口头反应；将运行时间口头反应转换为语言学 (linguistic)单位的运行时间序列；将语言学单位的运行时间序列与语言学特征 集进行比较；计算语言学特征集中的至少一个特征在运行时间口头反应中的 概括计数；和基于所述概括计数来计算得分。语音识别系统可被用来接收运 行时间口头反应并且将其转换为语言学单位的运行时间序列。
所述方法还可以包括：生成语言学特征集。生成语言学特征集可以包括： 将培训口头反应与至少一个语言学模板进行比较。至少一个语言学模板可以 从由W1、W2W3、W4W5W6、W7W8W9W10、W11X1W12和W13X2W14X3W15组 成的组中选择，其中对于i≥1，Wi表示任何语言学单位，并且对于i≥1，Xi 表示长度大于或等于0的任何语言学单位序列。在另一个示例中，所述语言 学特征集可以通过下列步骤来生成：接收对构答反应问题的培训口头反应； 将培训口头反应转换为语言学单位的培训序列；将语言学单位的培训序列与 至少一个语言学模板进行比较；和计算与至少一个语言学模板匹配的、培训 口头反应中的至少一个特征的概括计数。
一种用于评估口语水平的系统，包括：处理器；数据存储器；和存储在 数据存储器中可由处理器执行下列步骤的机器语言指令：
接收对构答反应问题的口头反应；将口头反应转换为语言学单位的序列； 将语言学单位的序列与语言学特征集进行比较；计算语言学特征集中的至少 一个特征在口头反应中的概括计数；和基于所述概括计数来计算得分。
通过适当参考附图阅读下列详细描述，这些其他方面和优点对于本领域 的普通技术人员将变得明显。另外，该概括应当被理解为仅仅是示例而不意 欲如权利要求要求地限制本发明的范围。

下面结合附图来描述目前优选的实施例，其中，在各个附图中相同的附 图标记指代相同的元件，其中：
图1是根据示例的用于处理和评估口语反应的系统的方框图；
图2是根据示例的用于在培训时间处理口语反应的系统的方框图；
图3是根据示例的用于在培训时间处理口语反应的方法的流程图；
图4是根据示例的用于在运行时间评估口语反应的系统的方框图；和
图5是根据示例的用于在运行时间评估口语反应的方法的流程图。

图1是用于处理和评估口语反应的系统100的方框图。通常，在培训时 间和运行时间使用系统100，参考图2至图5来更详细地描述培训时间和运 行时间。系统100包括自动得分(scoring)系统104。自动得分系统104可以是 具有硬件、软件和/或固件的任意组合的通用计算机系统。或者，自动得分系 统104可以是为了处理和评估口语反应而定制设计的。
自动得分系统104接收来自用户102的输入。来自用户102的输入可以 是对构答反应问题的口头反应。所述构答反应问题也可以被称作“项目”。该 构答反应问题可通过自动得分系统104提供给用户102。或者，用户102可 以从另一源接收构答反应问题。
用户102可以是向自动得分系统104提供口头反应的任何人。例如，在 培训时间，用户102可以是向自动得分系统104提供培训反应的人。作为另 一个示例，在运行时间，用户102可以是正式教育程序中的学生(孩子或成年 人)、正在进行入学考试或水平考试的某人、或者仅仅对评价他或她的技能感 兴趣的某人。
用户102可以使用陆上线路通讯电缆电话、移动电话、计算机、麦克风、 声音换能器或者任何其他能够发送声音信号的通信设备来访问自动得分系统 104。用户102与自动得分系统104之间的连接取决于所使用的通信设备的类 型。例如，用户102与自动得分系统104之间的连接可以是使用电信网络和/ 或数据信息网络的有线或无线连接。
在运行时间，自动得分系统104可以基于来自用户102的输入提供得分 106。得分106可被提供给用户102或者其他人和/或实体，例如教师或教育 机构。得分106可经由输出设备提供给用户102或其他人/实体。例如，得分 106可以通过互联网呈现在显示器上。作为另一个示例，得分106可以被打 印在与自动得分系统104(有线或无线)连接的打印机上。作为再一个示例，如 果用户102已经使用电话访问了自动得分系统104，则自动得分系统104可 以使用交互式声音反应单元将得分106口头地提供给用户106。
图2是用于在培训时间处理口语反应的系统200的方框图。培训时间被 用于培训自动得分系统104，以便在运行时间评估用户102的口语水平。系 统200包括培训口头反应输入202、自动得分系统104和语言学特征输出210。 自动得分系统104包括语音识别系统204、语言学特征提取器206和一个或 多个语言学模板208。
培训口头反应输入202由至少一个人(这里被称作“培训对象”)在自动 得分系统104的培训时间提供。对于将被用来在运行时间评估口语水平的每 一项，培训对象将至少一个口头反应提供给自动得分系统104。培训对象可 以对一组项目提供口头反应。
优选地，可以使用不止一个培训对象将口头反应提供给项目组。培训对 象可以参考人口统计学、语言学、自然或社会变量的分布来选择，所述变量 可以对自动得分系统104接收到的语音的形式或内容具有显著的影响。这些 人口统计学、语言学、自然或社会变量包括培训对象的年龄、大小、性别、 感官灵敏度、种族、方言、教育、生源地或者当前位置、社会经济低位、职 业、或者专业培训。语音取样也可以根据在培训对象的位置、信号传感器的 类型和条件、和通信信道的类型和操作的日期来选择。
语音识别系统204能够接收用户102的语音并且将该语音转换为语言学 单位的序列。语言学单位的序列是实际上口头的一个或多个字表示的机器可 读表示法。语音识别系统204可以是软件、硬件和/或固件的任意组合。
优选地，语音识别系统204以软件来实现。例如，语音识别系统204可 以是HTK软件产品，该产品由微软公司所有并且可以从哥伦比亚大学工程学 院的网页(http://htk.eng.cam.ac.uk)自由下载而获得。作为另一个示例，语音识 别系统204可以是由Nuance通信公司提供的语音识别系统之一。
语音识别系统204也可以包括例如MXPOST之类的语言学分析软件、或 者用该语言学分析软件来实现，用于考虑依据造句法的分析将字转换为更高 级别的语言学单位。语言学分析软件也可以提供更低级别的语言学单位，例 如音节、词素和因素等。
语言学特征提取器206从语音识别系统204接收语言学单位的序列。语 言学特征提取器206可以是软件、硬件和/或固件的任意组合。优选地，语言 学特征提取器206以软件来实现。
语言学特征提取器206将来自语音识别系统204的语言学单位的序列与 语言学模板208进行比较，以便生成语言学特征。语言学模板208可被存储 在自动得分系统104中的数据库或其他数据结构中。优选地，在培训时间和 识别将要由语言学特征提取器206执行的特征集之前，选择存储在数据库中 的语言学模板208。
下面是模板的示例，其中Wi表示任何语言学单位，Xi表示长度大于或 等于0的任何语言学单位序列，并且i≥1：
·W1           (所有一个字母组合)
·W2W3         (所有两个字母组合)
·W4W5W6       (所有三个字母组合)
·W7W8W9W10    (所有四个字母组合)
·W11X1W12     (所有二次排序字母组合)
·W13X2W14X3W15(所有三次排序字母组合)
单个字母组合(monogram)包括单一语言学单位，两个字母组合(bigram)包括两 个语言学单位的序列，三个字母组合(trigram)包括三个语言学单位的序列，以 及四个字母组合(quadgram)包括四个语言学单位的序列。二次排序字母组合 (bi-ordergram)包括由语言学单位序列隔离的匹配任何事物的两个语言学单 位。因此，上面排序字母组合中的Xi可被认为是“通配符”。类似于二次排 序字母组合，三次排序字母组合(tri-ordergram)是每一个由通配符隔离的三个 语言学单位的序列。
语言学特征提取器206提取并量化语言学特征的出现。所述量化是语言 学特征的概括计数。该概括计数是反应中的特征出现数目的任何函数，例如， 出现的实际数目或者出现的实际数目的数学变换，例如出现数目的对数、倍 数或者递增/递减。作为另一个示例，概括计数可以是反应中的特征的出现比 缺席。所述量化可以是任何种类的语言学单位的概括计数，包括但不限于区 别性特征、段、因素、音节、词素、字、句法短语、句法组成成分、词组、 音位短语、句子、段落和扩展段。
特征是如果其匹配模板的该模板的实例。如果该特征对应于模板的格式， 则特征匹配该模板。例如，“in the”是模板W1W2的实例，其中Wi是字单位， 并且i≥1。
所提取的特征和培训集中每一反应中的每一特征的概括计数被提供作为 语言学特征输出210。语言学特征输出210可以包括项目特定特征集和培训 集中所有反应上的每一特征的概括计数。自动得分系统104在运行时间使用 语言学特征输出210，如参考图4-5所述。
在培训时间，自动得分系统104可以执行附加的操作。例如，语言学特 征提取器206也可以从对所述项目的一组一个或多个期望反应中提取语言学 特征和概括计数，以便丰富培训集。期望反应可以包括一个或多个正确或错 误的答案。
作为另一个示例，自动得分系统104可以将概括计数变换到用于符合下 列特征模板的特征的简化维数(reduced dimensionality)的矢量空间：
·W1
·W2W3
也可以使用其他特征模板。
在培训时间，自动得分系统104可以应用这样的函数，即，其参数已被 估计来将简化的维数矢量空间中的点映射为水平估计。所述参数可以根据培 训数据来估计。培训数据可以由关于一组反应的人类判断以及简化维数矢量 空间中的其相应点组成。
自动得分系统104可以计算在培训时间生成的特征集的子集，所有的其 特征匹配特征模块。自动得分系统104可以检测同时在反应和在子集中发生 的共享特征集。自动得分系统104可以计算共享特征的概括计数之和与特征 模板匹配的反应中的特征的概括计数之和的比率。可以对下列特征模板中的 每一个计算该比率：
·W1
·W2W3
·W4W5W6
·W7W8W9W10
也可以使用其他特征模板。自动得分系统104也可以计算培训口头反应202 的得分106作为上面计算的比率的几何平均值。
图3是用于在培训时间处理口语反应的方法300的流程图。在方框302， 接收口头反应。该口头反应可以是对构答反应问题的反应。在培训时间，用 户102可以优选地提供非手写的口头反应。然而，用户102可以相反地提供 先前已手写的口头反应。
在方框304，口头反应被任何已知或开发的语音识别系统或程序转换为 语言学单位的序列。在方框306，通过识别语言学单位的序列与预先选择的 模板之间的匹配来提取匹配语言学模板的特征。除了提取匹配特征外，执行 所提取的特征的概括计数。在方框308，特征集被提供为输出。特征集包括 所提取的特征和概括计数。
图4是用于在运行时间评估口语反应的系统400的方框图。在运行时间， 自动得分系统104评估人们的口语水平。系统400包括运行时间口头反应输 入402、自动得分系统104和得分输出408。自动得分系统104包括语音识别 系统204、语言学特征检测器404、得分计算406和在培训时间识别的语言学 特征210。
运行时间口头反应输入402由人们(下文中被称作“考试对象”)在运行时 间提供。考试对象可以是任何人。考试对象提供对构答反应问题的口头反应。 考试对象可以从自动得分系统104或其他源接收构答反应问题。
语音识别系统204处理对构答反应问题作出反应的考试对象的语音，并 且将语言学单位的序列提供给语言学特征检测器404。语言学特征检测器404 可以是软件、硬件和/或固件的任意组合。优选地，语言学特征检测器404以 软件来实现。
语言学特征检测器404将来自语音识别系统204的语言学单位的序列与 在培训时间提取的语言学特征210进行比较。作为该比较的结果，语言学特 征检测器204可以获得有关在运行时间口头反应402中有多少特征集210中 每一特征的概括计数。
得分计算406将概括计数转换为得分408。或者，概括计数可被提供为 得分408。得分408可以表示对象的口语水平的评估。得分计算406可以是 软件、硬件和/或固件的任意组合。优选地，得分计算406以软件来实现。
得分计算406可以使用统计学分析计数来分析概括计数。例如，得分计 算406可以将来自语言学特征检测器404的概括计数变换到对于符合下列特 征模板的特征的简化维数的矢量空间：
·W1
·W2W3
也可以使用其他特征模板。
得分计算406可以应用这样的函数，即，其参数在培训时间被评估以便 将简化维数矢量空间中的点映射为水平评估。可以根据培训数据来评估所述 参数。培训数据可以由关于一组反应的人类判断以及简化维数矢量空间中的 其相应点组成。
得分计算406可以计算在培训时间生成的特征集的子集，所有的其特征 匹配特征模块。得分计算406可以检测同时在反应和在子集中出现的共享特 征集。得分计算406可以计算共享特征的概括计数之和与特征模板匹配的反 应中的特征的概括计数之和的比率。可以对下列特征模板中的每一个计算该 比率：
·W1
·W2W3
·W4W5W6
·W7W8W9W10
也可以使用其他特征模板。得分计算406也可以计算运行时间口头反应402 的得分106作为上面计算的比率的几何平均值。
得分计算406也可以计算在运行时间口头反应402中检测到的被反应的 程度标准化的特征的数量。优选地，对于符合特征模板W1X1W2的特征执行 该计算。然而，也可以使用其他模板。
图5是用于在运行时间评估口语反应的方法500的流程图。在方框502， 接收口头反应。该口头反应是对构答反应问题的反应。在方框504，口头反 应被任何已知或开发的语音识别系统或程序转换为语言学单位序列。
在方框506，通过将来自语音识别系统204的语言学单位序列与在培训 时间提取的特征进行比较来检测语言学特征。该比较产生语言学特征的概括 计数。在方框508，使用该概括计数来计算得分408。优选地，可以使用维数 简化和回归计数来计算得分。在方框510，得分被提供给考试对象或者其他 感兴趣方。
可以使用示例来图解说明用于评估口语水平的系统和方法。在该示例中， 考试对象拨动预定的电话号码以便进行口语水平考试。一旦建立了连接，自 动得分系统104经由电话对考试对象提供指示，并且考试对象提供反应。例 如，自动得分系统104可以要求考试对象复述一个故事。
一个示例故事例如：“A boy is going to cross the street when a man sees a car approaching.The man yells‘careful’and grabs the boy by the arm just in time. The boy is so scared that the man crosses the street with the boy and buys him an ice cream cone to calm him down.”如果考试对象重复该故事如：“A boy is going to cross the street and a man speeding in his car yells‘careful’”，则自动得 分系统104识别该考试对象没有完整或准确地重复该故事。另外，自动得分 系统104基于该反应而提供得分408。
表1示出了对于该示例的提取的特征和其相关的概括计数。由自动得分 系统104计算出的得分是2.85，这相当于人类分级得分2.33。如所描述的， 自动得分系统104比人类分级者更有效地对构答反应问题提供口头反应的级 别，而不会牺牲得分的一致性。
  Careufl   .20   the boy   .09   boy   .16   speed   .08   calm   .14   high speed   .05   cross   .13   yells   .04   cross the   .10   man   .03   car   .09   yells careful   .03
表1：特征集和相关的概括计数
应当理解，所图解的实施例只是示例并且不应当被看作限制本发明的范 围。权利要求不应当被阅读为限于所描述的顺序或元素，除非陈述为这样的 效果。因此，所附权利要求及其等效物的范围和精神之内的所有实施例被本 发明请求保护。
相关申请
本专利申请要求在35U.S.C§119(e)下的、于2005年7月20日提交的美 国临时专利申请序列号60/701192的优先权。该美国临时专利申请序列号 60/701192的全部公开在此并入作为参考。