背景技术
[0001] 计算系统和相关联的网络已经使得人们工作、娱乐和通信的方式发生了变革。几乎我们生活的每一个方面都在某种程度上被计算系统所影响。网络的发展已经允许计算系统共享数据和通信并且因此大幅增加了信息
访问。出于该原因，当前的时代被称之为“
信息时代”。
[0002] 促进对信息的访问的一种关键技术是
数据库。查询是用于从数据库访问信息的格式化
请求。查询经常使用定义的查询语言而针对数据库的一个或多个或者所有表而发出，上述查询语言具有定义的查询语义(经常被称之为结构化查询)。为了允许针对这样的数据库进行更为自然的人类访问，已经开发了用户可以在其中使用更为自然的语言查询(至少与结构化查询相比)的自然语言查询技术。自然语言查询继而服从于自然语言解释模型(其可以包括句法和语义模型之一或二者)以因此针对相对应的结构化查询制定估计。
[0003] 即使对于现代技术而言，人类语言的细微差别也已经使得将自然人类语言转换为计算机解释的形式的问题成为一种难以解决的问题。自然语言解释模型经常提供并非与用户意图完全匹配的结果，这促使查询方对查询进行修改从而反映出更想要的结果。这可能因为自然语言解释模型简单地并未理解自然语言查询所预期的语义和句法。
[0004] 这里所请求保护的主题并不局限于解决任何
缺陷或者仅在诸如以上所描述的那些的环境中进行操作的
实施例。相反，该背景技术仅是被提供以说明这里所描述的一些实施例可以在其中进行实践的一种示例性技术领域。
发明内容
[0005] 这里所描述的至少一些实施例涉及对用于解释自然语言查询的自然语言解释模型进行修改。该系统发现一个或多个查询方对一个或多个自然语言查询的一个或多个原始查询结果作出的用以生成一个或多个经修改的查询结果的一个或多个修改。该系统使用该发现来标识对自然语言解释模型的一个或多个改变，上述改变将产生更准确地反映一个或多个经修改的查询结果的一个或多个查询结果。该系统促使该自然语言解释模型利用所标识的该一个或多个改变中的至少一个改变被修改。因此，该自然语言解释模型可以随着时间而从对其自己性能的观察进行学习。
[0006] 在一些实施例中，对该自然语言解释模型所作出的改变可以按查询方或按查询群组而作出，以由此调整到该查询方或查询群组的习惯和自然语言。用来对该自然语言解释模型作出某些改变的证据
阈值(evidence threshold)可以根据该自然语言解释模型中将被改变的部分中的
置信度而有所不同。
[0007] 该发明内容并非旨在标识出所请求保护主题的关键特征或必要特征，也并非旨在确定所请求保护主题的范围时被用作辅助。
附图说明
[0008] 为了对能够获得以上所述的以及其它的优势和特征的方式进行描述，将通过参考附图而给出各个实施例的更为具体的描述。所要理解的是，这些附图仅描绘了简单的实施例，因此并不被认为是对本发明范围的限制，实施例将通过使用附图而以附加的特性和细节进行描述和解释，其中：
[0009] 图1以抽象方式图示了其中可以采用一些所描述的实施例的计算系统；
[0010] 图2以抽象方式图示了包括查询系统和解释模型修改系统的环境；
[0011] 图3图示了用于修改自然语言解释模型的方法的
流程图；
[0012] 图4图示了可以在用户提交自然语言查询“show San Francisco employees(显示旧金山员工)”的一个示例中初始出现的用户
接口，该用户接口包括结果表；和[0013] 图5图示了如下用户接口，该用户接口可以响应于为了更紧密地匹配用户的意图而作出的对结果表的用户编辑而随后出现，并且自然语言系统可以从该用户接口对其自然语言模型进行修改。
具体实施方式
[0014] 这里所描述的至少一些实施例涉及对用于解释自然语言查询的自然语言解释模型进行修改。该系统发现一个或多个查询方对一个或多个自然语言查询的一个或多个原始查询结果所作出的用以生成一个或多个经修改的查询结果的一个或多个修改。该系统使用该发现来标识对自然语言解释模型的一个或多个改变，上述改变将产生更准确地反映一个或多个经修改的查询结果的一个或多个查询结果。该系统促使该自然语言解释模型利用所标识的一个或多个改变中的至少一个改变被修改。因此，该自然语言解释模型可以随着时间而从对其自己性能的观察进行学习。
[0015] 在一些实施例中，对该自然语言解释模型所作出的改变可以按查询方或按查询群组作出，以由此调整到该查询方或查询群组的习惯和自然语言。用来对该自然语言解释模型作出某些改变的证据阈值可以根据该自然语言解释模型中将被改变的部分中的置信度而有所不同。
[0016] 将相对于图1来描述计算系统的一些介绍性讨论。随后，将相对于后续附图对自然语言解释模型的修改进行描述。
[0017] 计算系统现在越来越多地采用各种各样的形式。例如，计算系统可以是
手持设备、电器、膝上计算机、台式计算机、大型机、分布式计算系统，或者甚至是传统上并不被认为是计算系统的设备。在此
说明书以及
权利要求中，术语“计算系统”被宽泛地定义为包括如下的任意的设备或系统(或者它们的组合)，该设备或系统包括至少一个物理且有形的处理器，以及其上能够具有可以由该处理器所执行的计算机可执行指令的物理且有形的
存储器。该存储器可以采用任意的形式并且可以取决于该计算系统的属性和形式。计算系统可以分布于网络环境之上并且可以包括多个组成的计算系统。
[0018] 如图1中所图示的，以其最为
基础的配置，计算系统100通常包括至少一个
硬件处理单元102和存储器104。存储器104可以是物理系统存储器，后者可以是其可以是易失性的、非易失性的，或者是二者的一些组合形式。术语“存储器”也可以在这里被用来指代非易失性大型存储，诸如物理存储介质。如果该计算系统是分布式的，则处理、存储器和/或存储能
力也可以是分布式的。如这里所使用的，术语“可执行模
块”或“可执行组件”可以是指可以在计算系统上执行的
软件对象、例程或方法。这里所描述的不同组件、模块、引擎和服务可以被实施为在计算系统上执行的对象或处理(例如，作为单独的线程)。
[0019] 在以下描述中，参考由一个或多个计算系统所执行的动作对实施例进行描述。如果这样的动作以软件来实施，则执行该动作的相关联计算系统的一个或多个处理器就响应于已经执行了计算机可执行指令而对该计算系统的操作进行指示。例如，这样的计算机可执行指令可以体现于形成
计算机程序产品的一个或多个计算机可读介质上。这样的操作的示例涉及到数据的操控。计算机可执行指令(和所操控的数据)可以被存储在计算系统100的存储器104中。计算系统100也可以包含允许计算系统100例如通过网络110而与其它消息处理器进行通信的通信信道108。计算系统100还包括可以被用来向用户显示视觉表示的显示器。
[0020] 这里所描述的实施例可以包括或利用包括计算机硬件的专用或通用计算机，作为示例，上述硬件诸如如以下更为详细讨论的一个或多个处理器和系统存储器。这里所描述的实施例还包括用于承载或存储计算机可执行指令和/或数据结构的物理和其它计算机可读介质。这样的计算机可读介质可以是能够由通用或专用
计算机系统所访问的任意可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。承载计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本发明的实施例可以包括至少两种不同类型的计算机可读介质：计算机存储介质和传输介质。
[0021] 计算机存储介质包括RAM、ROM、EEPROM、CD-ROM或者其它光盘存储、磁盘存储或其它
磁性存储设备，或者能够被用来以计算机可执行指令或数据结构的形式存储所期望的程序代码装置并且能够被通用或专用计算机所访问的任意其它物理且有形的存储介质。
[0022] “网络”被定义为支持
电子数据能够在计算机系统和/或模块和/或其它电子设备之间进行传输的一个或多个数据链路。当信息通过网络或另一种通信连接(硬连线的、无线的，或者是硬连线或无线的组合)被传输或提供至计算机时，该计算机将该连接适当地视为传输介质。传输介质可以包括能够被用来以计算机可执行指令或数据结构的形式承载所期望的程序代码装置并且能够被通用或专用计算机所访问的网络和/或数据链路。以上的组合也可以包括在计算机可读介质的范围之内。
[0023] 另外，在到达各种计算机系统组件时，计算机可执行指令或数据结构形式的程序代码装置能够自动从传输介质被传输至计算机存储介质(或者反之亦然)。例如，通过网络或数据链路所接收的计算机可执行指令或数据结构可以被缓冲在网络接口模块(例如，“NIC”)内的RAM中，并且继而最终被传输至计算机系统RAM和/或计算机系统处的较不易失性的计算机存储介质。因此，应当理解的是，计算机存储介质能够被包括在同样(或者甚至主要)利用传输介质的计算机系统组件之中。
[0024] 计算机可执行指令例如包括在处理器处执行时促使通用计算机、专用计算机或专用处理设备执行某种功能或功能群组的指令和数据。计算机可执行指令例如可以是二进制数，或者甚至是在被处理器直接执行之前经历过一些变换(诸如编译)的指令，诸如中间格式指令诸如汇编语言，或者甚至源代码。虽然已经以特定于结构特征和/或方法动作的语言对主题进行了描述，但是所要理解的是，所附权利要求中限定的主题并非必然被局限于以上所描述的特征或动作。相反，所描述的特征和动作是作为实施该权利要求的示例形式而被公开的。
[0025] 本领域技术人员将会意识到的是，本发明可以在具有许多类型的计算机系统配置的网络计算环境中进行实践，包括个人计算机、台式计算机、膝上计算机、消息处理器、手持设备、多处理器系统、基于
微处理器的或可编程消费性电器、网络PC、微型计算机、大型计算机、
移动电话、PDA、寻呼机、路由器、交换机，等等。本发明也可以在分布式系统环境中进行实践，其中通过网络所链接(通过硬连线数据链路、无线数据链路，或者通过硬连线和无线数据链路的组合)的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可以位于本地和远程的存储器存储设备之中。
[0026] 图2以抽象方式图示了包括查询系统210和解释模型修改系统220的环境200。查询系统210包括用户系统211A，用户201A以及潜在的其它用户201B(如椭圆形所表示)可以在那里输入自然语言查询。查询系统210还可以包括其它用户系统211B(如椭圆形所表示)。针对每个其它用户系统211B，一个或多个用户同样可以输入自然语言查询。查询系统210还包括自然语言系统212和数据系统213。
[0027] 随后，无论是存在单个用户201A使用查询系统210还是存在多个用户(在这种情况下，椭圆形201B表示一个或多个其它用户)使用查询系统210，查询系统210的一个或多个用户都将在这里被称之为“(多个)用户201”或“(多个)查询方201”。此外，无论查询系统210中存在单个用户系统211A还是查询系统210中存在多个用户系统(在这种情况下，椭圆形211B表示一个或多个其它用户系统)，查询系统210的一个或多个用户系统也将在这里被称之为“(多个)用户系统211”。(多个)用户系统211中的每一个可以如以上针对计算系统100所描述的那样进行构造，但是还将包括适当的用户接口以允许相应用户制定一个或多个自然语言查询。此外，自然语言系统212、数据系统213以及解释模型修改系统220中的每一个都可以如以上针对图1的计算系统100所描述的那样进行构造。
[0028] 自然语言系统212接收(多个)用户系统211响应于(多个)用户201所进行的输入而生成的自然语言查询。例如，自然语言系统212接收自然语言查询202A以及如椭圆形所表示的潜在的其它自然语言查询202B。无论存在单个自然语言查询被查询系统210处理还是存在多个自然语言查询被查询系统210处理(在这种情况下，椭圆形202B表示一个或多个其它自然语言查询)，查询系统210所处理的一个或多个自然语言查询在这里也将被称之为“(多个)自然语言查询202”。
[0029] 如该说明书和权利要求中所使用的，“自然语言查询”是并不遵循数据系统213所能够直接解释的查询的模式的查询。例如，数据系统213可能是
数据库管理系统，在这种情况下，基础数据存在于数据库中。例如，结构查询语言(SQL)直接遵循数据库管理系统的模式并且因此可以直接被数据库管理系统进行解释。通常，自然语言查询是更紧密地遵循用户日常语言的语义和句法的查询(至少与数据库系统所能够解释的模式相比)。例如，以下SQL查询通常并不会在同事间在工作中以日常语言所讲出：
[0030] “选择AGE(年龄)，SALARY(薪资)
[0031] 从EMPLOYEES(员工)
[0032] 其中401KBalance(401K余额)>10000”
[0033] 此外，用户可能甚至并不知道EMPLOYEE表的存在或名称，并且可能不知道该表中可用列的存在或名称。
[0034] 用户可能另外键入或讲出“Show me the age and salary of all employees with a 401K balance greater than$10,000(向我显示401K余额大于$10,000的所有员工的年龄和薪资)”或者更为一般地“May I have the critical statistics for everyone working for us that has a substantial retirement balance？(能给我具有基本退休金余额的为我们工作的每个人的关键统计吗？)”该自然语言系统将在尝试创建规格化的查询时解析后面自然语言查询。该自然语言系统将遇到术语“critical statistics(关键统计)”并且估计其含义是什么(例如，其表示年龄、性别、薪资、职位还是一些组合？)。该自然语言系统还将尝试确定“everyone working for us(为我们工作的每个人)”的意思是什么。例如，该短语可能被发现与“employee(员工)”同义，而后者是数据库中的一个表的名称。该自然语言系统同样将尝试确定“retirement balance(退休金余额)”的意思是什么，并且可能将其等同于401K余额。该自然语言系统还会尝试确定“substantial(基本)”关于401K余额的意思是什么，并且可能得出$10,000的差额。
[0035] 自然语言系统212使用自然语言解释模型214来解释查询从而将该查询重新制定为能够由数据系统213所解释的规格化查询203A。自然语言解释模型214可以包括语义模型215和句法模型216来进行该操作。自然语言解释模型214可能被统一应用于所有用户。然而，在一些实施例中，自然语言解释模型214可以针对个体查询方而有所不同。例如，一个查询方可能与另一查询方对术语进行区别使用并且意指不同的事物。即使对于同样讲英语的人，术语“acquire(获取)”也可能根据情境而具有不同的含义。例如，当某人说出“show me all products acquired by John(向我显示约翰获取的所有产品)”时，一些人的意思可能是“show me all products purchased by John(向我显示约翰购买的所有产品)”，意思是John(约翰)为该产品付了钱。而其他人的意思则可能是“show me all product groups for which John now has management responsibility over(向我显示约翰有管理责任的所有产品组)”。这取决于特定查询方的自然语言使用，而这是因人而异的，即使对于那些一般被认为说同样的语言并且能够互相理解的人也是如此。
[0036] 在任意其它情况下，数据系统213接收规格化查询204A以及与数据系统213所使用的查询模式相匹配形式的一个或多个潜在的其它规格化查询203B(如椭圆形所表示)。无论存在单个规格化查询203A在查询系统210中被使用还是存在多个规格化查询在查询系统210中被使用(在这种情况下，椭圆形202B表示一个或多个其它规格化查询)，在查询系统
210中所使用的一个或多个规格化查询也将在这里被称之为“(多个)规格化查询203”。(多个)规格化查询203由自然语言系统212从相对应的(多个)自然语言查询202生成。
[0037] 数据系统213响应于(多个)规格化查询203而将查询结果204A以及潜在的一个或多个其它查询结果204B(如椭圆形所表示)返回至(多个)用户系统211。无论存在单个查询响应204A在查询系统210中被使用还是存在多个查询响应在查询系统210中被使用(在这种情况下，椭圆形204B表示一个或多个其它查询响应)，在查询系统210中所使用的一个或多个查询响应也将在这里被称之为“(多个)查询响应204”。
[0038] 解释模型修改系统220以智能方式修改用于解释(多个)自然语言查询202的自然语言解释模型214。图3图示了用于修改自然语言解释模型的方法300的流程图。由于方法300可以由解释模型修改系统220所执行由此对自然语言解释模型214进行修改，所以现在将频繁地参考图2的环境200而对图3的方法300进行描述。
[0039] 该解释模型修改系统发现(动作301)一个或多个查询方对一个或多个自然语言查询的一个或多个原始查询结果所作出的修改以生成一个或多个经修改的查询结果。在图2中，例如，解释模型修改系统220发现(多个)查询方201对(多个)自然语言查询202的(多个)原始查询结果204所作出的修改从而生成一个或多个经修改的查询结果。
[0040] 为了进行该发现，解释模型修改系统220接收(多个)查询结果204以及相对应的一个或多个修改。例如，解释模型修改系统220发现对(多个)原始查询结果204的修改205A，但是还发现对(多个)原始查询结果204的一个或多个附加修改205B(如椭圆形所表示)。无论存在单一的结果修改205A被解释模型修改系统220使用还是存在多种结果修改被解释模型修改系统220使用(在这种情况下，椭圆形205B表示一个或多个其它的结果修改)，解释模型修改系统220所使用的一个或多个结果修改在这里也将被称之为“(多个)修改205”或“(多个)结果修改205”。
[0041] 该解释模型修改系统还标识对自然语言解释模型的一个或多个改变(动作302)，上述改变(在给定相对应的自然语言查询的情况下)将产生与一个或多个原始查询结果相比更为准确地反映一个或多个经修改的查询结果的一个或多个查询结果。例如，在图2中，解释模型修改系统220确定可以对自然语言解释模型214所作出的改变(诸如对语义模型215和/或对句法模型216的改变)，上述改变将会产生更紧密地与如(多个)查询方201所修改的查询结果相匹配的查询结果。为了进行该标识，解释模型修改系统220还接收(多个)自然语言查询202。
[0042] 注意到，提供至解释模型修改系统220的(多个)自然语言查询202并不需要是提交至自然语言系统212的所有(多个)自然语言查询202。例如，解释模型修改系统220可能仅对那些自然语言查询进行
采样。因此，提供至解释模型修改系统220的(多个)查询结果204可能仅是对应于被提供至解释模型修改系统220的(多个)自然语言查询202的那些(多个)自然查询结果。
[0043] 该解释模型修改系统还确定(动作303)要对自然语言解释模型所作出的一个或多个改变中的至少一个改变。该解释模型修改系统随后促使(多种)改变对该自然语言解释模型而被作出(动作304)。例如，在图2中，解释模型修改系统220指示自然语言系统212对自然语言解释模型214作出该改变(如箭头206所表示)。因此，下一次以对该模型的修改有效的程度在类似语义或句法之内作出自然语言查询时，该查询结果将更紧地与如所修改的查询结果相匹配(并且因此有希望与所预期的查询结果相匹配)。
[0044] 关于要作出改变的确定(动作303)而言，解释模型修改系统220在确定是否应当作出改变时可以考虑是否已经超过了证据阈值。该证据阈值可以根据若干因素而有所变化。
[0045] 例如，该证据阈值可能在解释模型在解释模型214中将会有所变化并且对应于该证据阈值的部分中具有高的置信度的情况下趋向于更高。例如，如果该解释模型对于“goods(物品)”与“products(产品)”为同义词具有高的置信度，则用于确定“goods”与“products”并非同义词的证据阈值可能会更高。
[0046] 作为另一个示例，该证据阈值可能根据改变的查询方范围而趋向于更高。例如，如以上所提到的，自然语言解释模型214可能应用对于给定查询方唯一的模型。如果自然语言解释模型214仅是要仅关于单个查询方进行改变，则该证据阈值可能较低。毕竟，个人对于讲出或键入无论什么样的语言以及使用无论什么样他们个人感觉舒适的术语、语义或句法都是自由的。在对自然语言解释模型214的改变被应用于单个查询方的情况下，证据可能仅使用了该单个查询方对查询结果所作出的修改。
[0047] 在另一方面，即使所有查询方都讲同样的语言学语言(例如，英语)，一个或多个查询方的群组也可能趋向于与其它查询方相比使用稍有不同的语义和句法集合。例如，一个术语在特定行业中可能表示一种事物，而在该行业之外则表示完全不同的事物。考虑英语术语“claim”。该术语对于
软件工程师而言与律师完全相比可能具有不同的语义含义。即使在法律领域内，术语“claim”对于
专利律师而言也与诉讼律师相比可能具有不同的语义含义。还考虑英语术语“virtual”。取决于使用该术语的群组，对该术语而言存在多种
指定的语义，并且即使相同群组内的个人也可能在使用该术语时表示稍有不同的事物。不同群组也可能使用不同的句法规则来造句。例如，几乎每个国家中都存在地区性的方言，其中句法规则从一种方言到另一种方言而有所变化。
[0048] 用于进行解释模型修改的证据阈值对于应用于整个查询方群组的解释模型改变而言可能会更高。该证据阈值还可能要求使用对来自整个查询方群组的代表性实例的查询结果的修改来作出这样的改变。该证据阈值还可能在自然语言解释模型要更为广泛地被应用的情况下更高。例如，解释模型214可能能够对来自各种语言(例如，英语、普通话、西班牙语、日语等)的自然语言进行解释。解释模型214将跨多种这样的语言进行改变的情况实际上是罕见的，除非一些单词在全球都趋向于更为频繁且普遍的使用(例如，公司名称)。在一些情况下，自然语言修改系统所作出的修改可能包括对证据阈值本身的修改。
[0049] 在一些实施例中，查询结果可以为表的形式。例如，数据库查询通常以表形式返回。可能触发对自然语言解释模型的修改的对表的改变例如包括以下几种：改变被显示的一行或多行或者一列或多列；对该表一个或多个
过滤器的应用从而形成经修改的表；对该表应用一个或多个约束从而形成经修改的表；改变被应用于表中的单元格中的值的变换；改变单元格中的值；等等。
[0050] 现在将描述具体示例，其中用户201A要求用户系统211A“显示旧金山员工”。该查询随后被分派(如箭头202所表示)至自然语言系统212。自然语言系统212使用其自然语言解释模型214来制定能够由数据系统214直接解释的相对应的结构化查询。例如，假设数据系统214直接对SQL查询格式进行解释。自然语言系统212可能将自然语言查询“显示旧金山员工”转换为以下SQL查询：
[0051] 选择Employees.Name(名字)，Orders(订单).ShipCity
[0052] (运送城市)
[0053] 从Employees
[0054] 加入关于Employees.ID＝Orders.EmployeeID的Orders
[0055] 其中Orders.ShipCity＝‘San Francisco(旧金山)’
[0056] 作为该查询的结果，用户可能被显示以图4的用户接口400。结果表401图示了(对应于员工ID字段的)Name的列以及ShipCity列。由于结果被ShipCity值“San Francisco”所限制，所以结果表中仅有四个名字，全部都对应于ShipCity“San Francisco”。分段402示出了所应用的过滤器，而分段403则示出了针对该初始结构化查询的字段。
[0057] 现在假设用户201A断定这并不是该自然语言查询所想要的答案，并且随后使用用户接口400对结果进行如下编辑：1)从结果表移除Orders.ShipCity列，2)将Territories(地域).TerritoryDescription(地域描述)列添加至结果表，以及3)改变过滤器以将“San Francisco”与TerritoryDescription而不是ShipCity进行比较。被(作为箭头203A的一部分)提交至数据系统213的底层结构化查询(假设SQL是数据系统213的语言)可能呈现如下：
[0058] 选择Employees.Name,Territories.TerritoryDescription
[0059] 从Employees
[0060] 加入关于Employees.TerritoryID＝Territories.ID的Territories[0061] 其中Territories.TerritoryDescription＝‘San Francisco’
[0062] 图5图示了在用户对表进行编辑之后所可能呈现的用户接口500。注意到，结果表501被改变为仅包括对应于具有值“San Francisco”的TerritoryDescription列的一个名字。用户接口500的过滤器分段502和字段分段503与图4的用户接口400的过滤器分段402和字段分段403相比进行了同样的改变。基于原始自然语言查询“show the San Francisco employees”与用户对结果表(并且因此针对结构化查询)的改变，该自然语言系统随后将学习到朝向将与员工相关联的城市名称解释为TerritoryDescriptions而不是ShipCities(运送城市)进行偏移。
[0063] 因此，描述了一种系统，在该系统中自然语言系统在该系统学习新的语义和句法时对自然语言解释模型进行调整以及以其它方式对该模型进行调整。该调整能够全局进行或者被应用于单个查询方或群组。此外，证据阈值(或“相对改变的偏移”)可能根据该模型对于所提出的改变所具有的置信度而有所不同。
[0064] 本发明可以以其它的具体形式体现而并不背离其精神或实质性特征。所描述的实施例在所有方面都要被认为仅是说明性而非限制性的。因此，本发明的范围由所附权利安全而不是之前的描述所限定。落入权利要求等效形式的含义和范围之内的所有改变都要被包含于其范围之内。
