自然语言理解(NLU)系统使计算机能够从人类语音理解和提取信 息。该系统可以辅助的方式与其中需要理解人类语音的各种其他计算机 应用如语音识别系统一起工作。NLU系统可提取包含在文本内的相关 信息，然后将该信息提供给另一个应用程序或系统，以用于诸如预订航 班、查找文档或总结文本的目的。
目前在本技术领域内，NLU系统采用若干不同技术来从文本串提取 信息，其中文本串可以是指一组字符、词或句子。最常用的技术是使用 上下文无关语法来解析文本串的语言学方法，其中上下文无关语法在本 技术领域内通常使用包括终结符和非终结符的巴克斯-诺尔范式(BNF)来 表示。终结符是指不能被进一步分解的词或其他符号，而典型地，非终 结符是指语音部分或短语如动词短语或名词短语。因此，NLU的语法 方法根据BNF语法寻求解析每个文本串而不使用统计处理。
为了构建这样的基于语法的NLU系统，典型地需要语言学家，这 可能为应用开发增加了大量的时间和开支。然而，由于预测每个潜在用 户请求或对提示的响应上的困难，尤其是在有关电话交谈风格的情况 下，NLU应用的质量不能令人满意。显然地，尽管使用语言学家，也 可能发生这样的不满意结果。
NLU系统用来从文本串提取信息的另一种技术是统计方法，其中在 分析文本串中不使用语法。目前，该系统从带注解句子的大语料库中学 习含义。带注解句子汇集成文本语料库，其可称作训练语料库。用来开 发统计NLU系统和对文本进行注解的工具包括了诸如ASCII文件、传 统文本编辑器和键盘宏这样的不同元素。使用这些低效工具，可指定词 关系并可构建统计模型。然而，迄今为止，尚未开发出高效且准确的图 形可视编辑工具。结果，典型地只有受过训练的专家才能进行统计 NLU应用的开发。
使用传统NLU应用开发工具的另一个缺点是团队环境下的开发可 能是困难的。显然地，由于现有工具利用不同组件，这些开发工具不能 跟踪或标志一个团队成员所作的修改以防止另一个团队成员覆写或者重 新注解文本的相同部分。而且，传统开发工具不能识别以相互不一致的 方式注解训练语料库内特定句子的多个实例的情形。

在此公开的本发明涉及一种用于构建自然语言理解(NLU)应用的方 法、系统和可机读存储装置。
根据本发明的开发自然语言理解NLU应用的方法，包括：使用多 遍处理技术从NLU训练文本语料库确定NLU解释信息，其中一遍的输 出可用作随后遍的输入，所述NLU解释信息指定所述NLU训练文本语 料库的一部分解释；在数据库(205)中存储所述NLU解释信息；以及在 图形编辑器(310)中，表现NLU解释信息的所选项目(330)，并且接收对 所述NLU解释信息的用户指定编辑，其中所述表现步骤还包括：作为 包括代表数据项的终结符和非终结符节点的含义树表现所述NLU解释 信息；确定表示所述含义树的一部分是否正确的概率；以及如果所述概 率不超过预定阈值概率，则可视地标识所述含义树的所述部分。
根据本发明的用于根据如任一项前面权利要求所述的方法开发自然 语言理解NLU应用的集成开发工具，所述集成开发工具包括：数据 库，被配置成存储与NLU训练文本语料库相对应的NLU解释信息的各 项目，其中，所述NLU解释信息的所述项目指定所述NLU训练文本语 料库的一部分解释；图形编辑器，具有用于操纵NLU解释信息的所述 项目的多个视图，所述图形编辑器在通信上链接到所述数据库，其中， 所述多个视图中一个包括：NLU解释信息的所选项目，其表现为包括 代表数据项的终结符和非终结符节点的含义树；以及处理器，被配置成 根据多遍系统确定NLU解释信息的所述项目，并且在所述数据库中存 储NLU解释信息的所述项目，其中，一遍的输出可用作随后遍的输 入，其中，所述处理器进一步被配置成确定表示所述含义树的一部分是 否正确的概率，如果所述概率不超过预定阈值概率，则可视地标识所述 含义树的所述部分。
在此公开的本发明可向用户提供在其中构建统计模型的集成开发工 具。不是使用一系列文本文件、文本编辑器和键盘宏来指定表示文本语 料库的解释、含义或结构的解释信息，本发明可利用数据库以及图形编 辑和可听工具的组合来指定解释信息。本发明的数据库功能性，包括本 发明同步和标注用户编辑的能力使本发明特别适用于联网或工作组环 境。结果，本发明可提供增加的功能性。
表现(presenting)步骤最好可包括：作为包括代表数据项的终结符和 非终结符节点的含义树(meaning tree)表现NLU解释信息。根据本发明 的一个实施例，可确定表示含义树的一部分是否正确的概率。如果概率 不超过预定阈值概率，则可以可视地标识含义树的那个部分。可选地， 可确定NLU解释信息内含义树子结构的出现次数。如果出现次数不超 过预定阈值，则可以可视地标识含义树的子结构。
该方法还可包括从NLU解释信息确定含义树的所选节点的相交 (intersection)，将所选节点的相交表现为用于向含义树添加附加节点的 选项，然后将节点添加到含义树的所选节点之上。显然地，可从所表现 的选项中选择所添加的节点。含义树的附加节点可响应用户命令而创 建。附加节点可代表附加数据项。用户还可输入所添加节点的描述，当 输入该描述时可对其进行拼写检查。在选择了含义树的节点的情况下， 响应用户请求，可显示具有用于显示节点和节点参数的一列或多列的词 典视图。显然地，词典视图可包括或集中于具有由含义树的高亮显示节 点代表的数据项的词典区域。
含义树可根据预定注解数据如数据项词典或者指定文本解释的模型 来自动完成。在一个实施例中，可判定数据项词典的单个数据项是否与 NLU训练文本语料库的词相关联。如果是，则可将这个数据项分配给 该词。NLU解释信息的所选项目可采用工具提示的方式来显示，并且 可显示表示所表现的含义树是否是正确解释的概率。该方法还可包括在 NLU解释信息内搜索指定含义树结构。可识别数据项的相交并将其表 现为用于注解NLU训练文本语料库的用户指定词的选择。
最好，本发明可包括在词典视图中表现NLU解释信息。在这种情 况下，NLU解释信息可使用用于显示父亲和孩子数据项及其参数的一 列或多列来表现。词典视图可包括用于表示数据项的孩子的列和表示数 据项的父亲的列。这些数据项可根据包括父亲和孩子列的多列中的任一 列来排序。如果数据项具有超过预定阈值的概率或计数，则可以可视地 区分在词典视图中显示的数据项。在词典视图中显示的具有不超过预定 阈值的概率或计数的数据项可以被隐藏而不可见。响应用户选择具有关 联的特定数据项，则可在NLU解释信息内搜索包括代表该关联的终结 符和非终结符节点的含义树。该方法还可包括根据诸如数据项源、数据 项目标、与数据项相关联的方向、与数据项相关联的注解符、注解状 态、节点计数、数据文件、句子范围和/或使用状态的参数对NLU解释 信息进行过滤。还可显示从NLU解释信息获得的直方图信息。
最好，本发明可包括在句子视图中表现NLU解释信息。可显示与 单独文本短语相关联的NLU解释信息。例如，可以逐句子和/或短语地 显示诸如注解状态、计数、指定使用、收集信息、正确性概率和正确性 等级的信息。
最好，本发明可包括在分裂屏幕视图中作为一个或多个含义树表现 NLU解释信息。分裂屏幕视图可至少包括用于显示第一含义树的第一 窗口和用于显示第二含义树的第二窗口。该方法可包括响应用户请求在 第二窗口内表现不同含义树，同时在第一窗口内显示第一含义树。这些 含义树可以是相同上下文中相同文本短语的不同解释、两个不同上下文 中相同文本短语的不同解释，或者可以是不同遍处理的结果。例如，第 一窗口可表现在第一遍处理之后所确定的含义树，而第二窗口可表现在 随后一遍处理之后所确定的结果含义树。可选地，第一含义树可代表文 本短语的正确解释；而第二含义树可代表根据统计模型的文本短语预测 解释。如果正确解释的得分大于预测解释的得分，则可提供统计模型不 正确的指示。在第一含义树代表第一文本短语的情况下，该方法可包括 在第一窗口中接收对第一含义树的编辑，并且响应用户编辑，搜索与所 编辑的第一含义树相对应的不同文本短语的含义树，并且在第二窗口中 显示不同文本短语的含义树。该方法可包括可视地表示第一含义树与第 二含义树之间的差别，并且使第一含义树遵循第二含义树。
最好，本发明可包括自动导入NLU训练句子并且根据从NLU训练 文本语料库确定的统计可能性自动确定NLU训练句子的解释。可选 地，可自动导入训练句子的NLU解释，并且将其应用于NLU训练文本 语料库。可以响应指定多遍之一的用户输入来显示由多遍中的任一遍产 生的NLU解释信息。该方法还可包括根据文本短语的NLU解释信息的 属性在句子视图中对NLU训练文本语料库的文本短语进行排序，并且 作为含义树顺序显示至少二个文本短语的NLU解释信息。可根据句子 视图中的排序来显示含义树。
该集成开发工具还可包括用于指定对NLU解释信息的数据项中的 所选数据项进行搜索的图形用户接口。该图形用户接口可包括用于指定 搜索的可选终结符和非终结符的至少一个列表。附加区域可包括在该图 形用户接口中以指定所选数据项与其他数据项的关系。
图形编辑器可包括用于以分层树结构表现NLU解释信息项目的树 视图、用于以列格式表现NLU解释信息各个项目的词典视图、用于以 句子形式表现NLU解释信息的一个或多个项目的句子视图、用于同时 表现至少两个含义树的分裂屏幕视图以及用于导入附加NLU训练文本 和关联解释信息的导入视图。还可包括被配置成从NLU训练文本语料 库确定至少一个解释的可编程统计模型。
附图说明
在附图中示出了本发明的优选实施例，然而，应当理解本发明不限 于所示的具体方案和手段。
图1是可使用本发明的示例性计算机系统的示意图。
图2是示出可在其上实现在此公开的本发明的示例性系统架构的示 意图。
图3A是示例性树视图图形用户界面的图。
图3B是用于搜索自然语言理解解释信息的示例性图形用户界面。
图4是用于修改和创建标记(tag)的示例性图形用户界面。
图5是用于定义新标记的示例性图形用户界面。
图6是示出含义树视图的示例性图形用户界面。
图7是示出含义树视图的另一个示例性图形用户界面。
图8是用于在含义树视图中修改文本的示例性图形用户界面。
图9是用于显示训练文本语料库的句子和/或短语的示例性图形用户 界面。
图10是用于在词典风格视图中显示终结符和非终结符数据项的示 例性图形用户界面。
图11是示出在此公开的本发明的构建视图和组件的示例性图形用户 界面。
图12是用于显示多于一个含义树的示例性图形用户界面。
图13是用于导入数据的示例性图形用户界面。
图14是用于识别导入数据内的终结符和非终结符的示例性图形用 户界面。

在此公开的本发明涉及一种用于构建与自然语言理解(NLU)应用一 起使用的统计模型的方法和系统。具体地说，在此公开的本发明可向用 户提供一种用于构建与NLU系统一起使用的统计模型的集成开发工 具。不是混合使用包括一系列文本文件、文本编辑器和键盘宏的各组件 来指定组成文本语料库的句子的含义和结构，本发明提供了一种集成开 发工具(IDT)。该IDT可包括数据库、以及可视(图形)和可听工具的组 合来指定经常作为文本语料库的注解而指定的解释信息。NLU解释信 息指定组成训练文本语料库的句子的解释或含义。本发明的数据库功能 性，包括本发明同步和标注用户编辑的能力使本发明特别适用于联网计 算或工作组环境。
图1示出结合本发明使用的典型计算机系统100。计算机系统100 可包括计算机105，其中计算机105具有中央处理单元110(CPU)、一个 或多个存储器装置115以及关联电路。可包括IDT 210的存储器装置 115可由电子随机存取存储器和大容量数据存储介质组成。该计算机系 统还可包括工作时通过适合接口电路125连接到计算机系统的麦克风 120以及工作时与之连接的可选用户界面显示单元130如视频数据终 端。CPU可包括任何适合微处理器或其他电子处理单元，这对于本领 域的技术人员而言是公知的。可以向该系统提供扬声器135和140以及 接口设备如鼠标145和键盘150，但是它们对于在此所述的本发明的操 作不是必要的。很多可购买到的高速计算机中的任一种一般都可满足在 此所述的计算机系统的各种硬件要求。
图2是示出可在其上实现在此公开的本发明的示例性系统架构的示 意图。如图所示，该系统架构可包括若干计算机系统215、220和225， 其中每一个都可包括在适合操作系统中执行的IDT 210。计算机系统 215-225可通过计算机通信网络200在通信上相互链接，以及在通信上 链接到数据库服务器205。因此，虽然计算机系统215-225中的每一个 均可包括自包含IDT 210，其中该IDT 210具有带注解和不带注解数 据、统计模型和算法的全集，但是根据本发明的一方面，由IDT 210利 用的数据的各部分可存储在数据库服务器205中并且从其进行访问。例 如，工作组的多个用户可能需要访问的各个信息项可存储在数据库服务 器210而非每个单独的计算机系统215-225上。例如，如图2所示，数 据库服务器205可存储带注解文本、不带注解文本、统计模型、算法 等。
IDT 210可包括用于统计处理文本语料库的归类(classing)和解析功 能性。更具体地说，使用IDT 210，可构建至少部分包括归类器和解析 器的统计模型。使用IDT 210，可以对文本语料库进行注解，使得所得 到的带注解文本语料库可被组织成成分句子，其中每个句子均具有从注 解获得的分层树状结构。统计模型可使用带注解文本语料库来构建或训 练。在构建或训练统计模型时，IDT还可测试当前统计模型的准确性。
然而，应当理解，可以遵循多遍文本处理方法，其中可使用多于两 遍。从而，来自每遍的输出可用作下一或随后遍的输入。例如，可使用 各种过滤器和/或词发现(wording spotting)算法，例如，用于标识和注解 无意义词的“空过滤器”或者标识小语义短语如介词短语、名词短语等的 短语遍(phrase pass)。另外，也可使用其他注解技术如源-通道建模 (source-channel modeling)，其中所产生的注解称作对齐而不是树状结 构。
以归类器和解析器为例，句子可被注解成可以是相关文本串的应用 特定群(grouping)的类，例如金融NLU应用中的帐户类型。其他类例如 时间和日期可以是应用无关的。可通过分析文本语料库来从经验上确定 类，使得归类器可识别特定文本串或词属于规定类。应当理解，终结符 和非终结符描述符、包括解析树和类树的含义树、以及从IDT工具获 得的任何其他词频数据或统计数据可统称作注解数据。显然地，包括组 成文本语料库的任何文本的注解数据可被存储在数据库内，而不是被存 储为一个或多个文本文件。
归类器可使用统计处理方法来构造以识别构成预定类之一的接收文 本中的子串。例如，归类器可使用统计处理方法来构造，其中数千句子 可被注解，从而标识句子的组成词或文本串的类。带注解句子可用来训 练归类器识别词或文本串在NLU系统内所属的类。因此，归类器可使 用在本领域内公知的统计处理算法来构造，例如最小化条件熵或最大化 结果模型预测训练数据以识别关键文本串的可能性。例如，NLU系统 可使用能够识别文本串特定类的决策树或最大熵模型。
根据所接收的文本部分，归类器可产生简化结果文本串，其中可采 用规定类注解原始文本串内所识别的类成员，从而有效地将实际文本串 替换为类名。例如，归类器可处理文本串“I want to transfer five hundred dollars from XYZ Fund to ABC Fund”，使得所得到的示例性 输出可以为“I want to transfer AMOUT from FUND to FUND”。显然 地，文本输入的结构被大大简化。具体地说，通过对所接收的文本输入 进行归类，结果输入结构的数目，即可能的语法结构可以大大减少，从 而帮助随后的统计处理。例如，在不对接收文本输入进行归类的情况 下，下面句子可被认为具有不同结构：
●I want to transfer five hundred dollars from XYZ Fund to ABC Fund.
●I want to transfer five thousand dollars from XYZ Fund to ABC Fund.
●I want to transfer one hundred dollars from XYZ Fund to ABC Fund.
●I want to transfer five hundred dollars from ABC Fund to XYZ Fund.
●I want to transfer five hundred dollars from A Fund to B Fund.
●I want to transfer five hundred dollars from C Fund to A Fund.
然而，在对上面文本进行归类之后，其结果表示每个文本输入共用 共同结构即“I want to transfer AMOUT from FUND to FUND”。因此， 接收文本输入内不同类成员的存在不导致文本输入被视作不同的结构。 显然地，可使用可称作类树的分层树结构来描述经过归类的句子。类树 是一种代表对应句子的解释或含义的含义树。分层含义树可包括终结符 和非终结符节点。例如，含义树的叶子可对应于类和处理文本的词。叶 子可扩展到一个或多个非终结符，其中的每一个可对含义树提供进一步 的含义和结构。而且，叶子和非终结符(以及终结符)中的每一个可包括 用户可配置的描述符。每个叶子可直接地或者通过一个或多个非终结符 最终扩展到根节点。
解析器可解释从归类器输出的处理文本作为输入。解析器可处理接 收文本，以将与特性即操作和参数或者其他终结符或非终结符群相对应 的附加非终结符和/或描述符添加到接收文本输入的剩余相关文本串。 例如，解析器可对特定关键词进行编组。在确定这些特性中，解析器可 利用前面在描述归类器中提及的统计处理方法。例如，解析器可处理从 归类器输出的文本以确定文本串的解析树。文本串的解析树可以是包括 接收文本串的类、操作和参数的自然语言文本输入的分层表示，其从一 般向特定流动，向下扩展到终结符或词层。解析树可采用图形形式来描 述，其中用来标识文本串的最高层作为根。更详细的非终结符可位于根 之下，其向下扩展到终结符层，其中每个非终结符和终结符是解析树的 节点。句子的解析树典型地比对应于那个句子的类树更复杂。不过，解 析树和类树都可称作含义树。
IDT 210可包括各种预建统计模型。例如，用于处理广泛使用的短 语如日期、时间、金额或其他短语或表达类的称作置标器或归类器的统 计模型可包括在IDT内。该统计模型可包括归类和解析模型。因此， 对于由IDT 210导入或读取的任何文本语料库，IDT 210可自动分析所 导入的文本语料库，以识别与预建模型相关的指示符。指示符可包括与 诸如日期、时间和其他可容易替换的项目包括客套话(即“thank you”)的 类相对应的终结符。对于与特定预建模型相对应的每个指示符，IDT 210可将那个预建统计模型加入到当前正在构造的统计模型中。例如， IDT 210可执行关键词搜索或者使用前述其他统计处理方法来分析文本 语料库，以确定预建模型与文本语料库是否有任何相关性。IDT210还 可向用户询问是否包括该预建模型或者可选地用户可请求包括该模型。 在任何情况下，该功能性使用户免于重新创建统计模型来处理经常重现 的文本短语。
如上所述，在IDT 210内包括归类器和解析器仅代表在此公开的本 发明的一个实施例。本领域的技术人员应当认识到可以使用任何适当的 统计处理方法和/或模型。例如，其他实施例可以包括词发现算法、最 大熵、规则或启发算法。在任何情况下，在此公开的本发明不限于利用 归类器和解析器的特定实施例。
如上所述，IDT 210可利用诸如关系数据库的数据库、以及图形和 可听工具的组合来帮助用户对文本语料库进行注解和开发与NLU应用 一起使用的统计模型。图3A示出在IDT的示例性图形用户界面 (GUI)300内表现的示例性树编辑器视图310。树编辑器视图提供查看含 义树的直观方式，其中含义树可包括类树和解析树。如图3A所示，采 用树格式显示来自文本语料库的示例性句子。树状句子结构从下向上流 动，其中终结符在本例中为词流动到非终结符，并且非终结符流动到以 “！S！”表示的根节点。显然地，非终结符可流动到其他非终结符以容纳句 子结构的多层。在某些情况下，终结符可直接流动到根节点。在任何情 况下，对应于终结符和非终结符数据项的描述是完全可配置的。具体地 说，NLU系统设计者可以确定适当一组终结符和非终结符数据项(和对 应描述)来指定含义和上下文。可以在IDT内加入这些用户配置的终结 符和非终结符数据项。
例如，图3A示出涉及被定制成结合金融系统工作的NLU系统的一 系列终结符和非终结符数据项。终结符和非终结符数据项以树结构组 织，其中树根位于该结构的顶部。从根节点，父亲节点分支到孩子节 点，其中这些孩子节点作为其他孩子节点的父亲节点。树结构向下继续 直到到达语料库文本的实际词。例如，如图3A所示，以终结符 “null”330注解词“want”320。显然地，“null”终结符可以应用于被标识 为不传达太多有关句子的上下文信息或含义(若有的话)的词。另外，以 终结符“select”350注解词“first”340，其中终结符“select”350流动到其 父亲，在本例中为非终结符“select”360。“SELECT”非终结符360流动 到其父亲节点，该节点是另一个非终结符“FUND-INFO”370。这样，含 义树的“SELECT”非终结符节点360是“FUND-INFO”的孩子而是 “select”的父亲。然后，“FUND-INFO”流动到表示文本句子的根节点和 最高层的“！S！”。终结符和非终结符名称完全是用户可配置的。例如，如 果统计模型被设计成结合旅游预订系统工作，则终结符和非终结符可由 应用开发者或用户配置以代表应用特定词群。在这种情况下，例子可包 括假期类型、出发日期、到达日期、旅行时长等。
对于未带注解的句子，IDT可使用缺省终结符和非终结符注解符完 成解析树或类树。如果缺省非终结符注解符是“null”，则IDT可查询存 储在存储器中的各个词，并且选择另一个适合或可能的非终结符。不 过，IDT可使用特定词的先前指定非终结符注解符而非缺省非终结符。
对于带部分注解的句子，IDT可自动完成该句子的解析树或类树。 在这种情况下，IDT可从存储器搜索具有确定解析树的句子，其中该句 子类似于输入句子或者带部分注解的句子。从而，IDT可根据所存储的 已解析句子，建议输入句子的完全解析树。以这种方式，IDT可使用自 动完成功能来确定文本句子的类树和解析树。可选地，用户可通过插入 终结符和非终结符并且采用适当的分支线连接这些节点来人工构建含义 树。
解释数据可采用多种方式使用树编辑器视图以图形方式编辑。例 如，在树编辑器视图中，可编辑组成文本语料库的词，可编辑终结符和 非终结符，并且可编辑分支。前述编辑中的每一种均可使用传统指针控 制操作如拖放、左击和右击以及双击操作来执行。例如，通过选择树节 点并且将该节点拖放到用户期望的新父亲上，可编辑树节点以指向不同 的父亲。该操作将所选节点与先前父亲断开链接，并且将该节点链接到 新父亲。此外，用户可人工绘制树分支，或者使用IDT内的众多功能 来绘制分支，使得所得到的树形状具有可读结构。IDT可包括防止任何 树分支覆盖另一个树分支或者与之交叉的设置。用户可选择分支角度和 笔直或弯曲分支，使得所得到的树形状具有可读结构。另外，文本、文 本大小、填充颜色和填充图案可以是用户可配置的。应当理解，系统内 的有效树必须包含最终连接到根符号如“！S！”或者表示根节点的某其他符 号的词。从而，IDT可包括禁止将导致无效树结构的特定编辑控制或操 作的安全措施。
图3B是示出根据在此公开的创新性方案的用于实现若干不同查找 功能的示例性GUI 375的示意图。如图所示，可提供GUI 375，其使用 户能够以多种不同方式搜索文本注解和结构。具体地说，用户可在文本 注解内使用区域380搜索特定标记(tag)、使用区域385搜索特定标签 (label)、以及使用区域390搜索特定树结构和/或子结构。例如，用户可 绘制较大树结构的一小段，并且在注解数据内搜索与在区域390中指定 的树结构类似的结构。
树结构本身可用来搜索其他相关或匹配结构。具体地说，IDT允许 用户选择含义树的一部分。一旦被选择，则用户可指令IDT在其他含 义树内搜索匹配所选结构的结构。例如，用户可使用鼠标在具有用户希 望在文本语料库内的其他地方定位的结构的树节点周围画框。落在用户 所画框内的的含义树的项目或节点可被选择。一旦被选择，IDT可使用 数据库功能性来搜索带注解的文本语料库以定位匹配结构。应当理解， 可使用其他树节点选择方法如键盘按键的不同组合。从而，本发明不如 此限于特定的含义树结构选择方法。
示例性GUI 400可被提供以编辑或创建终结符和非终结符。因此， 虽然下面讨论涉及非终结符，但是它适用于终结符和非终结符两者。该 用户界面允许用户描述新的非终结符(在某些情况下也称作标记)。另 外，可编辑现有非终结符的定义。为了调用该功能，用户可选择要为其 创建或编辑非终结符的词，并且发布要编辑或创建非终结符的用户命 令。区域405是“所允许词典列表”，其可采纳一个或多个所选树节点的 所有父亲和孩子节点的相交，并且作为所选词或节点的可能标签选项向 用户表现该相交。另外，在节点的相交内，所允许词典列表可考虑在其 他含义树内组织先前父亲和孩子节点的方式以及与从这些父亲和孩子节 点扩展并且与之连接的分支的方向有关的其他历史信息。在本发明的一 个实施例中，可提供自动模式。在自动模式中，如果所允许词典列表仅 包含一个可能的终结符或非终结符，则IDT可自动地选择该终结符或 非终结符以应用于用户所选词或词组。
区域410是可向用户表现在系统中定义的所有终结符或非终结符的 GUI 400的词典区域。不管用户使用什么列表来选择终结符或非终结 符，描述区域415可向用户提供与所选项目的适当使用有关的信息。描 述区域415可帮助用户学习特定终结符或非终结符的正确和预定使用。 例如，当用户移动鼠标到树编辑器视图中的终结符或非终结符上时，描 述本身可作为工具提示由IDT显示。这可以特别有益于新开发者加入 现有NLU开发团队并且必须培训由该开发团队使用的注解方法的情 况。
如果用户希望输入尚未在IDT中定义的新终结符，则用户可选择 “新标记”图标420。在这种情况下，图5示出响应图标420的激活而可 由IDT显示的示例性GUI 500。图5的示例性GUI 500允许用户在区 域510中输入新终结符或非终结符，并且在区域520中输入附随描述。
图6示出用于表现与图3A的GUI类似的树编辑器视图的另一个示 例性GUI 600。如图所示，示例性GUI 600包含在GUI 600的窗口610 内可访问的示例性弹出式菜单605。显然地，前述功能性的大部分可从 弹出式菜单605直接访问。例如，用户可以添加附加非终结符、选择自 动完成解析树，包括根据在配置文件中指定的统计模型对句子进行归 类，编辑树节点，查找词结构或整个句子结构，以及删除或撤消操作。 另外，如图所示，由于每个词已经采用对应标记被注解，因此“增加标 记”功能性被禁止。显然地，在本发明的此实施例中，与特定终结符或 非终结符相关使用术语标记和标签。例如，标记被分配给词，并且标记 可用来将结构分配给标记群。从而，只有标签可用来完成解析树到根节 点。
图7示出用于表现树编辑器视图的另一个示例性GUI 700。在这种 情况下，用户选择了编辑在树编辑器视图中所示的文本语料库的词。显 然地，用户选择了训练句子的词，并且选择了编辑那个词。输入新词 “descriptions”来替换先前词。这样，用户可从IDT的树编辑器视图中 的任一个编辑实际的文本语料库以及终结符、非终结符和树结构。显然 地，在这种情况下，修改树的词不改变树的形状，而是将旧词替换为新 的用户指定词。此外，IDT还可检查来自存储器的句子是否匹配所编辑 的句子。如果是，则可向用户询问是使用现有树还是以新编辑的树替换 现有树。
图8示出用于表现树编辑器视图的另一个示例性GUI 800，其中用 户调用了修改句子功能。响应该用户请求，IDT可显示示例性GUI 805，其中用户可从树编辑器视图的任一个内编辑整个训练语料库句 子。显然地，当用户编辑句子时，可以在数据库中更新不再对应于所编 辑句子的任何解析树、类树和其他解释信息。IDT可搜索现有句子以确 定是否有另一个句子匹配新编辑的句子。如果是，则匹配句子的类树和 解析树可与新编辑的句子相关联。该功能性还允许用户在使用下面讨论 的若干选项之一读取或处理文本语料库时校正引入到该语料库中的错 误。
图9示出可用来显示组成树基的词的示例性GUI 900。句子可列在 区域925中，其中信息可根据若干不同列区域来组织。具体地说，列标 题905可用来显示文本语料库内各个句子的编号位置。列标题910可被 保留用于显示该完全相同文本出现在文本语料库内的计数或次数。列标 题915可显示居于句子之前的反馈标记以及句子文本。反馈标记可表示 句子所对应的表单(form)名称和空位(slot)名称。反馈标记可列在单独列 中，或者可居于句子文本之前。此外，用户可通过激活将IDT置于对 句子进行归类的模式中的按钮920来切换到另一个视图。如图所示，类 名或标记已被加入到句子内。显然地，可使用相同GUI风格来向用户 表现经过解析或归类的句子。从而，句子的词可根据具体情况被替换为 终结符或非终结符。
所列句子可根据句子编号列、计数列或者文本列以升序或降序的方 式排序。GUI 900还可包括表示包含在每个句子内的词数的列。该信息 允许用户选择较短的句子开始归类或解析。应当理解，可以按升序或降 序对句子进行排序，并且可以根据任一列类型对句子进行搜索或过滤。
包括在GUI 900内的显示列根据由IDE跟踪的任何数据可以是用户 可配置的。例如，可包括指定对应于给定句子的反馈标记、提示、解析 树得分或者应用形式(application form)的附加列。可包括表示由解析器 或归类器确定的句子注解等级的列。例如，等级1可表示模型预测正确 答案的最高可能性。等级越高。模型预测正确答案的可能性就越高。可 包括状态列，其可表示句子是否用于训练或平滑(smoothing)。可包括表 示如何收集句子的信息如在小规模测试期间生成、由用户键入、口述， 在系统测试期间口述，在部署期间口述等的语法。无论如何，前述列表 都不是详尽无遗的。
图10示出可用来表现词典风格词视图的示例性GUI 1000。该视图 可用来显示终结符、非终结符或带注解词的完全列表。该显示可被配置 成无需显示不在特定文本语料库内使用的终结符和非终结符。显然地， 通过激活进一步表示当前视图的可激活按钮1025，用户可在类视图和解 析视图之间来回切换。在本例中，该视图是词典解析器视图。不带注解 的词可以但无需显示在词视图中。如图10所示，窗口1005的词视图可 细分成至少两个标题。这些标题可包括词标题1010和终结符或非终结 符标题1015。在终结符或非终结符标题1015中，带中括号的数字可表 示数据出现在文本语料库中的次数。用户可以激活或禁止计数以及调整 GUI 1000中各项目的颜色和字体。另外，IDT允许用户区分低计数和 高计数项目。例如，IDT可采用一种颜色代表低计数项目，而采用不同 颜色代表高计数项目。此外，如果特定终结符或非终结符的计数低于预 定可编程阈值，则系统可指示需要更多数据来提高终结符或非终结符的 统计准确性。在一个实施例中，可根据开发者认为相关的统计或启发信 息来高亮显示特定信息项。
示例性GUI 1000也可用来显示终结符扩展到非终结符的方式。例 如，终结符可位于列标题1010之下的列中；而非终结符可位于列标题 1015之下的列中。在词典标记视图中，可显示从特定节点扩展到父亲节 点的分支的方向。例如，使用定点设备，如果用户右击特定非终结符， 则IDT可显示从孩子节点扩展到父亲节点的分支的方向。可能的方向 可包括单向(unary)、左、中、右、上或下。
示例性GUI 1000还可用来显示非终结符连接到其他非终结符的方 式。在这种情况下，除了由于标签可连接到其他标签而标签可位于两列 中之外，视图可类似于标记视图。在任何情况下，GUI 1000可以是用 户可配置的。在一方面，列的排序可由用户确定。例如，标记列和附随 数目信息可显示在词列的左边。类似地，词列左边的列可显示词出现在 文本语料库中的总次数。在词列的右边，可显示表示词被标记为特定标 记或根的次数的数目。不管如何，都应当理解，列排序以及包括用于显 示进一步解释信息的附加列是用户可配置的。
词典风格视图的另一个实施例可类似于目录树结构向用户表现解释 信息，特别是终结符和非终结符信息。在这种情况下，标记可采用图形 方式被表现为根，其中标签可采用图形方式被示出为根之下的可折叠子 结构。此外，连接到其他非终端符的非终端符可采用图形方式被示出为 位于其父亲非终端符之下。用户可单击终结符或非终结符以展开和查看 底层结构，或者单击终结符或非终结符以折叠底层结构。在当前构造的 统计模型内使用终结符和非终结符时，目录树视图可向用户提供终结符 和非终结符的总体分层结构的直观图形表示。
查找特性可包括在词典视图中，其中用户可搜索具有特定条目的数 据项。例如，用户可搜索特定标记或标签，以及通过诸如标记或标签出 现在注解数据内的次数的参数来搜索标记或标签。搜索功能也可搜索用 户指定的终结符和非终结符之间的关系。例如，用户可在注解数据内搜 索具有从诸如右、左、上或单向的特定方向由节点扩展或者到达节点的 分支的任何节点，父亲和/或孩子。
过滤特性也可包括在词典视图中。通过GUI 1000，用户可根据诸如 数据项源、数据项目标、与数据项相关联的方向或者与数据项相关联的 注解符的参数过滤显示信息。用户也可根据表示数据是带注解的还是不 带注解的注解状态、表示孩子节点是否具有大于“N”个带注解例子作为 父亲的节点计数、其中仅显示来自特定数据文件的关系的数据文件、用 于显示仅从特定句子获得的关系的句子范围以及用于显示来自训练、平 滑和/或测试数据的关系的使用状态来过滤数据。
图11示出可结合IDT的构建组件使用的示例性GUI 1100。示例性 GUI 1100包括用于指定可被运行以“构建”NLU应用的脚本的若干区 域。区域1105可用来指定特定文件，该文件可指定缺省参数、其他专 用参数、所要执行的脚本以及在执行脚本之后所要显示的信息。该文件 还可指定在回归测试期间所要处理和使用的文本文件。描述区域1110 包含脚本的功能性的描述。参数列表区域1115可显示可用于执行脚本 的参数列表。区域1120可用来传达可相关于脚本的任何附加信息或备 注。显然地，描述区域1110和附加信息区域1120可有用于用户或应用 开发者的团队开发NLU应用的开发环境。
图12示出可结合IDT的回归测试组件使用的示例性GUI 1200。显 然地，GUI 1200可细分成两个部分。区域1205可显示从文本语料库的 用户注解确定的真实含义树。区域1210可显示使用先前在图11的区域 1105中指定的配置文件中所指定的统计模型由IDT生成的含义树。相 应地，在配置文件中可指定多于一个统计模型，从而允许比较每个统计 模型的结果。例如，该GUI可包括第三部分，其中该GUI对于在回归 测试期间使用的每个统计模型具有一个部分并且对于真实含义树具有另 一个部分。两棵树之间的差别可被自动地高亮显示。可更突出强调产生 区别最大的可能性从而导致不正确结果的差别。从而，可向用户提供从 何处开始调试的提示。用户可以可视地注意所示含义树之间的区别。
用户可逐一地浏览(cycle through)结果含义树，在本例中为解析树。 例如，用户可浏览以对应于每个解析树的置信度得分表示的顶头“n”个 选项。应当理解，置信度得分提供由IDT解释的指示，其表示结果解 析树反映底层统计模型而非真实含义树的接近程度。具有高置信度得分 的结果解析树与紧密匹配真实含义树的结果解析树之间可存在对应关 系。显然地，顶头“n”个选项之一可能是匹配真实含义树的统计模型。 不管如何，用户都可浏览可能的解释以查找可以作为以后编辑基点的解 释，特别是在真实含义树不正确的情况下。
图12还示出自动完成得分1215，其向用户通知当前显示给用户的 模型的置信度得分。附加信息如与每个节点相对应的每个节点或文本的 置信度得分可显示在节点内，或者可在指针位于含义树的节点上时作为 工具提示进行显示。在一个实施例中，节点是可扩充的以容纳增加的解 释信息。节点置信度得分可帮助开发者检测错误或者确定特定解析树不 近似或匹配真实解析树的原因。然而，应当理解，IDT是可配置的，使 得众多含义树特征和设置的任一个可作为工具提示来显示或者显示在节 点内。如果正确注解的得分大于从模型获得的最好计分答案，则GUI 1200还可显示消息。在这种情况下，该模型预测正确的答案，并且统计 模型的搜索机制产生问题。这一般通过扩大搜索范围来纠正，并且不需 要任何直接开发者调试。
图12的GUI还可用来显示相同句子的注解数据的不同阶段。具体 地说，由第一遍如解析遍产生的注解数据可显示在一个窗口内，而由第 二遍如归类遍产生的注解数据可显示在另一个窗口内。然而，分裂屏幕 GUI 1200还可显示不同的句子。例如，一个窗口可用来保持句子视 图，而第二窗口可用来搜索具有特定结构的另一个句子。
分裂屏幕GUI 1200还可用来显示不同上下文中相同文本句子的两 个不同注解。例如，短语“what’s available”在答复“how may I help you” 或者“what fund would you like the price of”或者“how much would you like to withdraw”而说出时具有不同的含义。
图13示出可结合IDT的导入组件使用的示例性GUI 1300。导入组 件可使用若干方法中的任一个导入现有文本语料库。例如，文本语料库 可作为句子的不带注解文本文件、或者带注解文本文件被导入。另外， 由于传统NLU系统可存储用户答复，因此可以对NLU系统的日志进行 数据挖掘以获得解析器输出、归类器输出或者语言模型文本。前述数据 类型中的每一种可被导入到IDT中。在另一个实施例中，用户可使用 词典风格视图或树视图逐一地将文本句子直接键入IDT。
另外，另一个实施例可接收表示文本语料库的包含用户口述话语的 数字音频文件。可选地，IDT可通过模数转换器如声卡以数字方式记录 模拟音频源。不管如何，IDT都可包括用于将用户口述话语转换成文本 以获得训练语料库的语音识别系统。在这种情况下，文本语料库的数字 记录可存储在存储器中以作将来使用和分析，以及用于在使用IDT的 期间进行回放。表示训练文本语料库的音频文件可与特定文本短语或句 子相关联，使得用户或开发者可听到训练文本的音频表示以及查看与文 本相关的注解信息。例如，不管文本是带注解的、不带注解的、归类器 输出还是解析器输出，文本部分都可通过指定音频文件位置和文件名而 与音频文件相关联。可选地，可指定音频文件，并且开发者可将关联文 本键入IDT。
GUI 1300可用来调整导入文本语料库时的导入组件设置。区域 1305可用来显示当前导入到IDT中的文件的名称和路径。显然地，文 件可以是带注解的文本语料库、不带注解的文本语料库和/或语音文 件，包括要被处理的语音的数字记录或者从语音识别引擎获得的文本文 件。区域1310可表示要被导入的文件内由IDT识别的句子数。控件 1315、1320、1325和1330确定导入类型，或者哪些句子和对应注解数 据将包括在IDT中构建的当前统计模型内。例如，控件1315的激活导 致IDT添加所有句子。如果句子已经包含在数据库内，则IDT可将在 IDT内定义的树结构用于所导入的句子。控件1320的激活将不导入任 何句子，但是将以对应于导入文件内的重复句子相对应的注解数据覆写 包含在IDT内的注解数据。控件1325的激活在句子已经包含在关系数 据库内的情况下仍然添加所有句子。然而，控件1325的激活将采用与 来自导入文件的重复句子相对应的注解数据覆写IDT中的注解数据。 控件1330将仅添加不包含在关系数据库内的来自导入文件的句子和注 解数据。控件1335的激活导致根据前述导入准则导入指定文件。
图14示出可用来将位于导入文件内的终结符和非终结符添加到当 前统计模型的示例性GUI 1400。例如，在导入带注解的文本文件之 后，IDT可识别不存在于当前统计模型内的带注解导入文本文件内的终 结符和非终结符。因此，可向用户显示GUI 1400，其中可在窗口1405 中向用户显示新终结符和非终结符。显然地，“标记/标签”列1510中的 指示可标识新项目为例如标记或标签(终结符或非终结符)。特定标记或 标签的准确拼写可列在“拼写”列1415中。“描述”列1420可由用户填入 有关标记或标签的适当功能描述或其他相关信息。显然地，用户可直接 输入文本到GUI 1400中以填入描述列而无需额外的GUI。因此，通过 选择对应于期望标记的描述行和列，可以“内联”执行标记或标签描述的 编辑。
在此公开的IDT可由用户配置，以采用包括各种颜色、图案、声音 和符号的众多方式中的任一种描绘解释信息以表示解释信息的不同方 面。类似地，用户可定制在IDT内使用的终结符或非终结符。因此， 虽然前面说明书阐述了本发明的优选实施例，但是应当理解，本发明不 限于在此公开的具体构造。本发明在不脱离其精神或基本属性的情况下 可采用其他特定形式来实施。因此，应当参考所附权利要求而非前面说 明书来表示本发明的范围。
本发明可以采用硬件、软件或者硬件和软件的组合来实现。本发明 可以在一个计算机系统中以集中方式实现或者采用不同单元分散在若干 互连的计算机系统之间的分布方式实现。配置成执行在此所述的方法的 任何类型的计算机系统或者其他设备都是适合的。硬件和软件的典型组 合可以是具有计算机程序的通用计算机系统，其中该计算机程序被装载 和执行时控制计算机系统使得其执行在此所述的方法。
本发明也可嵌入在计算机程序产品中，其中该计算机程序产品包括 使得能够实现在此所述的方法的所有特性，并且当被装载到计算机系统 中时能够执行这些方法。本上下文中的计算机程序是指采用任何语言、 代码或表示法的一组指令的任何表达，其中这组指令旨在使具有信息处 理能力的系统直接地或者在下列操作的任一种或两者之后执行特定功 能：a)转换到另一种语言、代码或表示法；b)以不同素材形式再现。