项目加速的自动评估专利检索-计算机系统电脑零配件专利检索查询-专利查询网

项目加速的自动评估

阅读：628发布：2020-05-08

专利汇可以提供项目加速的自动评估专利检索，专利查询，专利分析的服务。并且本公开涉及项目加速的自动评估。提供了用于预测加速对项目成功完成的概率的影响的系统和方法。具体而言，可以训练一个或多个机器学习算法，以根据多个特征来预测项目的成功，所述多个特征包括作为项目的结束日期的函数的至少一个特征。能够从具有不落入期望时间窗内的预期结束日期的项目中选择项目的集合，每个项目在给定当前结束日期的情况下具有第一成功概率。在机器学习平台处为每个项目计算量化项目如果在时间窗内完成将成功的可能性的第二概率。确定每个项目的第一概率与第二概率之间的差，并根据该差选择项目。，下面是项目加速的自动评估专利的具体信息内容。

权利要求

1.一种计算机实现的方法，包括：
存储用于多个项目的第一子集的元数据，所述多个项目的第一子集中的每个项目具有相关联的完成的值和落入时间窗内的预期结束日期；
响应于确定用于完成所述多个项目的第一子集中的每个项目的累积值低于阈值，从表示具有不落入所述时间窗内的相应预期结束日期的项目的所述多个项目的第三子集中选择所述多个项目的第二子集，其中从所述多个项目的第三子集中选择项目的第二子集包括：
指派用于完成所述多个项目的第三子集中的每个项目的值；
从在第一计算机系统上实现的数据库中检索用于所述多个项目的第三子集中的每个项目的参数集，所述参数集中的至少一个参数是时间的函数，并且所述参数集包括第一概率，所述第一概率量化在给定预期结束日期的情况下该项目将被完成的可能性；
在提供对在关于先前项目的集合的信息上进行训练的预测模型的访问的机器学习平台的客户端处，计算所述多个项目的第三子集中的每个项目的第二概率，所述关于先前项目的集合的信息作为结构化数据被存储在机器学习平台基于所述参数集能够访问的储存库中，使得每个项目的第二概率量化在给定所述时间窗内的结束日期的情况下该项目将被完成的可能性；
确定所述多个项目的第三子集中的每个项目的第一概率与第二概率之间的差；以及至少部分地基于概率的所述差，选择所述多个项目的第三子集中的项目作为所述多个项目的第二子集，使得用于完成所述多个项目的第二子集的值与用于完成所述多个项目的第一子集的所述累积值相结合满足所述阈值。
2.如权利要求1所述的方法，还包括：
在具有为用户选择的格式的图形用户界面中向那个用户显示所述多个项目的第二子集；
从用户接收关于所显示的所述多个项目的第二子集的反馈；以及
根据接收到的反馈为用户调整图形用户界面的所选择的格式。
3.如权利要求1所述的方法，其中将每个项目的状态定义为多个阶段之一，每个阶段表示项目朝着完成的进展程度，并且用于每个项目的所述参数集中的一个参数被计算为项目已经经过的阶段数与自从项目开始以来已经经过的天数之比。
4.如权利要求1所述的方法，其中每个项目的状态被定义为多个阶段之一，每个阶段表示项目朝着完成的进展程度，用于每个项目的所述参数集中的一个参数表示项目已经经过的阶段序列。
5.如权利要求1所述的方法，其中每个项目的状态被定义为多个阶段之一，每个阶段表示项目朝着完成的进展程度，用于每个项目的所述参数集中的一个参数是从项目已处于所述多个阶段中的给定一个阶段中的次数导出的。
6.如权利要求1所述的方法，其中用于每个项目的所述参数集中的一个参数是批准该项目的预算的日期与当前日期之间过去的天数。
7.如权利要求1所述的方法，其中所述多个项目被划分到多个实体，并且所述多个项目的第三子集中的每个项目与所述多个实体中的给定实体相关联。
8.如权利要求1所述的方法，其中用于每个项目的所述参数集中的一个参数是与该项目相关联的产品的类别。
9.如权利要求1所述的方法，还包括经由结合自然语言处理的聊天界面向用户提供所述多个项目的第二子集，使得聊天界面能够响应于用户输入的问题而提供所述多个项目的第二子集。
10.如权利要求1所述的方法，其中，一旦项目已经结束，机器学习平台就根据每个项目的第二概率和每个项目的结果来更新储存库。
11.如权利要求1所述的方法，其中在预测模型处基于所述参数集计算所述多个项目的第三子集中的每个项目的第一概率包括：
在随机森林分类器处根据所述参数集生成第一预测；
在提升分类器处根据所述参数集生成第二预测；以及
将第一概率计算为第一度量和第二度量的加权线性组合。
12.一种非瞬态计算机可读介质，其存储机器可读指令，所述机器可读指令由相关联的处理器执行以执行权利要求1所述的方法。
13.一种计算机实现的方法，包括：
存储用于多个项目的第一子集的元数据，每个项目具有相关联的完成的值和落入时间窗内的预期结束日期；
响应于确定所述多个项目的第一子集的累积值低于阈值，从表示具有不落入所述时间窗内的相应预期结束日期的项目的所述多个项目的第三子集中选择所述多个项目的第二子集，其中从所述多个项目的第三子集中选择所述多个项目的第二子集包括：
指派用于完成所述多个项目的第三子集中的每个项目的值；
从在第一计算机系统上实现的数据库中检索用于所述多个项目的第三子集中的每个项目的参数集；
经由提供对在关于先前项目的集合的信息上进行训练的预测模型的访问的机器学习平台的客户端，基于所述参数集计算所述多个项目的第三子集中的每个项目的值的折扣因子，折扣因子表示由于在所述时间窗内的结束日期完成项目而引起的值的损失，所述关于先前项目的集合的信息作为结构化数据被存储在机器学习平台能够访问的储存库中；
为所述多个项目的第三子集中的每个项目提供经调整的值，作为该项目的指派的值和计算出的折扣因子的乘积；以及
选择所述多个项目的第三子集中的项目，使得用于完成所述多个项目的第二子集的经调整的值与用于完成所述多个项目的第一子集的所述累积值相结合满足所述阈值。
14.一种非瞬态计算机可读介质，其存储机器可读指令，所述机器可读指令由相关联的处理器执行以执行如权利要求13所述的方法。
15.一种系统，包括：
第一计算机系统，至少包括第一处理器和存储包括多个项目的数据库的第一非瞬态存储器，给定项目具有参数集和已知结束日期；以及
机器学习平台，在至少包括第二处理器和第二非瞬态存储器的第二计算机系统上实现，该机器学习平台包括：
数据库接口，接收用于所述多个项目中的所选择的项目的参数集和已知结束日期；
特征提取器，从检索出的参数集中生成用于预测模型的至少一个特征，其中所述多个项目中的每个项目的状态被定义为多个阶段之一，并且所述至少一个特征中的一个特征是从该项目已经经过的阶段序列中导出的；以及
预测模型，在关于先前项目的集合并作为结构化数据被存储在机器学习平台能够访问的储存库中的信息上训练，经由提供对预测模型的访问的机器学习平台的客户端根据生成的至少一个特征和所选择的项目的结束日期来计算所选择的项目将成功结束的第一概率，并且根据生成的至少一个特征和所选择的项目的经修改的结束日期在预测模型处计算所选择的项目将成功结束的第二概率，其中经修改的结束日期先于已知结束日期；以及用户界面，在相关联的输出设备处提供第一概率与第二概率之间的差，所述差表示将项目从已知结束日期加速到经修改的结束日期的风险。
16.如权利要求15所述的系统，其中第二计算机系统是云服务平台。
17.如权利要求15所述的系统，其中用于每个项目的所述参数集中的一个参数被计算为项目已经经过的阶段数与自从项目开始以来已经经过的天数之比。
18.如权利要求15所述的系统，用于每个项目的所述参数集中的一个参数表示项目已经经过的阶段序列。
19.如权利要求15所述的系统，用于每个项目的所述参数集中的一个参数是从项目已处于所述多个阶段中的给定一个阶段中的次数导出的。
20.如权利要求15所述的系统，其中用于每个项目的所述参数集中的一个参数是批准该项目的预算的日期与当前日期之间过去的天数。

说明书全文

项目加速的自动评估

技术领域

[0001] 本发明涉及人工智能和机器学习领域，更具体而言，涉及将机器学习应用于确定加速项目对项目将被成功完成的概率的影响。

背景技术

[0002] 项目管理是发起、计划、执行、控制和结束团队的工作以在指定的时间实现具体目的并满足具体成功标准的实践。项目是被设计为具有既定的起点和终点的产生独特产品、服务或结果的临时性努力，其被承担以满足独特目的和目标。项目管理的主要挑战是在约束集合内实现所有项目目的，这些约束一般与项目的既定范围、项目可用的预算以及完成项目可用的时间相关。

[0003] 机器学习是人工智能的领域，它使用统计技术来给予计算机系统从数据中逐步提高关于具体任务的性能的能力，而无需显式编程。机器学习算法通过根据样本输入建立模型来做出数据驱动的预测或决策。机器学习在一系列计算任务中被采用，在这些计算任务中，设计和编程具有良好性能的显式算法是困难或不可行的。机器学习的示例应用包括电子邮件过滤、网络入侵者检测和计算机视觉。

发明内容

[0004] 根据一个示例，提供了一种计算机实现的方法。存储用于多个项目的第一子集的元数据。多个项目的第一子集中的每个项目具有相关联的完成的值和落入时间窗内的预期结束日期。响应于确定用于完成多个项目的第一子集的每个项目的累积值降至低于阈值，从表示具有不落入该时间窗内的相应预期结束日期的项目的多个项目的第三子集中选择多个项目的第二子集。

[0005] 通过指派用于完成多个项目的第三子集中的每个项目的值并从在第一计算机系统上实现的数据库中检索用于多个项目的第三子集中的每个项目的参数集，来从多个项目的第三子集中选择项目的第二子集。该参数集的至少一个参数是时间的函数，并且该参数集包括量化在给定预期结束日期的情况下该项目将被完成的可能性的第一概率。在提供对在关于先前项目的集合的信息上进行训练的预测模型的访问的机器学习平台的客户端处计算多个项目的第三子集中的每个项目的第二概率。关于先前项目的集合的信息作为结构化数据被存储在机器学习平台基于该参数集可访问的储存库中，使得每个项目的第二概率量化在给定时间窗内的结束日期的情况下该项目将被完成的可能性。确定多个项目的第三子集中的每个项目的第一概率与第二概率之间的差。至少部分地基于概率的差，选择多个项目的第三子集中的项目作为多个项目的第二子集，使得用于完成多个项目的第二子集的值与用于完成多个项目的第一子集的累积值相结合满足阈值。

[0006] 根据另一个示例，提供了一种计算机实现的方法。存储用于多个项目的第一子集的元数据。多个项目的第一子集中的每个项目具有相关联的完成的值和落入时间窗内的预期结束日期。响应于确定多个项目的第一子集的累积值低于阈值，从多个项目的第三子集中选择多个项目的第二子集。多个项目的第三子集表示具有不落入该时间窗内的相应预期结束日期的项目。

[0007] 通过指派用于完成多个项目的第三子集中的每个项目的值、从在第一计算机系统上实现的数据库中检索用于多个项目的第三子集中的每个项目的参数集并计算多个项目的第三子集中的每个项目的值的折扣因子，来从多个项目的第三子集中选择多个项目的第二子集。折扣因子表示由于在时间窗内的结束日期完成项目而引起的值的损失，并经由提供对在关于先前项目的集合的信息上进行训练的预测模型的访问的机器学习平台的客户端基于该参数集进行计算，关于先前项目的集合的信息作为结构化数据被存储在机器学习平台可访问的储存库中。为多个项目的第三子集中的每个项目提供经调整的值，作为该项目的指派的值和计算出的折扣因子的乘积。选择多个项目的第三子集中的项目，使得用于完成多个项目的第二子集的经调整的值与用于完成多个项目的第一子集的累积值相结合满足阈值。

[0008] 根据又一个示例，一种系统包括第一计算机系统，该第一计算机系统包括至少第一处理器和存储包括多个项目的数据库的第一非瞬态存储器，给定项目具有参数集和已知结束日期。机器学习平台在包括至少第二处理器和第二非瞬态存储器的第二计算机系统上实现。机器学习平台包括接收用于多个项目中的所选择的项目的参数集和已知结束日期的数据库接口，以及从检索出的参数集中生成用于预测模型的至少一个特征的特征提取器。多个项目中的每个项目的状态被定义为多个阶段之一，并且所述至少一个特征中的一个特征是从该项目已经经过的阶段序列中导出的。在关于先前项目的集合并作为结构化数据被存储在机器学习平台可访问的储存库中的信息上训练预测模型。预测模型经由提供对预测模型的访问的机器学习平台的客户端根据生成的至少一个特征和所选择的项目的结束日期来计算所选择的项目将成功结束的第一概率，并且根据生成的至少一个特征和所选择的项目的经修改的结束日期在预测模型处计算所选择的项目将成功结束的第二概率，其中经修改的结束日期先于已知结束日期。用户界面在相关联的输出设备处提供第一概率与第二概率之间的差，这表示将项目从已知结束日期加速到经修改的结束日期的风险。
附图说明

[0009] 图1图示了用于评估项目加速的系统的框图；

[0010] 图2图示了经过阶段的项目的示例；

[0011] 图3图示了用于评估项目的加速的系统的一个示例；

[0012] 图4图示了用于图3的系统的聊天界面的一个示例；

[0013] 图5是用于评估项目的加速带来的风险的方法；

[0014] 图6图示了用于根据确定的风险来选择用于加速的项目的方法；

[0015] 图7图示了用于根据确定的成本来选择用于加速的项目的方法。

具体实施方式

[0016] 在实践中，项目的约束可以响应于情形的改变而被更改。例如，由于可用资源的短缺或重新分配，项目到期日的改变、项目预算的改变或项目可用人力的损失在许多组织内并不少见。特别是在项目被发起之后，收紧这些约束会对项目成功的可能性产生影响。因而，有必要确定多个项目中的哪个项目将承受资源损失。

[0017] 选择要加速的项目使得将项目的结束日期移到项目的预计结束日期之前可能特别困难。这可以是由于需要提供更多值的结果，无论组织在特定时间范围内利用何种度量以响应关键员工的离职，或者在给定时间后响应可用资源的短缺。例如，在销售组织在给定的财务期间内将无法达到销售收入目标的情况下，可以做出关于哪个未来交易应当尽早成交以填补短缺的决策。可替代地，组织可以尝试将重点转移到具有更高成功概率的一个或多个替代项目，以尝试满足由组织建立的生产率度量。在一些常规的示例中，通过耗时的对项目和所服务的客户的所有详细信息的人工审查来做出这个决策。在其它常规的示例中，仅基于为潜在加速而选择的项目的范围和感知利益来做出决策。这两种常规方法都固有地基于直觉和启发式方法并且仅使用内部因素，这未能考虑到客户的情况。

[0018] 本文公开的系统和方法利用机器学习来预测加速对项目成功完成的概率的影响。具体而言，例如，可以在来自已知其结果的先前项目的数据上训练一个或多个机器学习算法，以根据多个特征来预测项目的成功，所述多个特征包括作为项目的结束日期的函数的至少一个特征。在一个实现中，可以基于项目的原始结束日期向取决于项目结束日期的给定特征集指派值，并且可以将给定特征集提供给机器学习模型以获得表示项目的原始成功可能性的值。然后可以用基于加速的结束日期被重新指派值的取决于项目结束日期的给定特征集的值来重复该处理，并且使用原始可能性与新可能性之间的差来评估加速对项目的影响。可替代地，可以训练机器学习算法，以基于包括表示原始结束日期和加速的结束日期中的每一个的值的另一个特征集来直接确定原始可能性与新可能性之间的差。

[0019] 在另一个实现中，机器学习模型可以寻求量化例如由于加速项目而引起的项目结果的质量或由项目生成的值所招致的损失。在这种情况下，可以用具有已知值的先前示例项目训练机器学习模型。而且，可以经由适当的模型直接预测可归因于加速项目的值的差。可替代地，可以对项目的值进行两次预测，一次是基于原始结束日期用取决于项目结束日期的特征，一次是基于加速的结束日期用取决于项目结束日期的特征。可以根据两个预测值的差来确定可归因于加速项目的预期的值损失。

[0020] 图1图示了用于评估项目加速的系统100的框图。机器学习平台110可以包括一个或多个云服务器并且可以被配置为在数据库接口112处从至少一个相关联的数据库102接收数据。对于项目集合中的每个项目，数据可以包括表示该项目的一个或多个参数，例如，该项目已处于活动状态的天数、该项目的预计结束日期、该项目的各种性能度量以及表示项目的值的参数(例如，货币值或由组织指派的值)。数据库接口112可以被实现为用于向数据库提供查询并响应于查询而接收数据的适当的软件程序。在一个示例中，数据库接口112被实现为应用程序接口(API)，诸如使用表示状态转移(REST)技术实现的API。

[0021] 然后可以将检索出的数据提供给特征提取器114。特征提取器114调节从数据库102接收的数据。例如，特征提取器114可以将提取出的数据格式化为预定形式。而且，特征提取器114可以例如使用集中趋势的测量和从每个参数的历史值确定的离散度的测量中的每个来归一化数据，以确保每个参数的数据在相似的尺度上。特征提取器114可以提供(输出)格式化和/或归一化的提取出的数据中的一些或全部，以供在机器学习平台110上的机器学习模型116可采用的特征集中使用。在一个实现中，从数据库102提取出的参数(数据)可以被组合以形成一个或多个工程特征，其也可以在机器学习模型116处的特征集中使用。
提供给机器学习模型116的特征集将包括取决于项目的预计结束日期的至少一个特征。在实践中，结束日期本身可以直接被用作特征，但是将认识到的是，从结束日期导出的多个参数中的任何参数都可以用于这个目的。

[0022] 可以从机会已经进展通过的阶段的历史中确定一个工程特征集。每个阶段可以表示机会完成的进展程度，诸如达成与项目相关联的一个或多个基准。参考图2，可以更好地认识到这些特征的确定，图2图示了经过六个阶段201-206的项目的示例。在所示的示例中，项目首先在211处从阶段1前进到阶段2，在212处从阶段2前进到阶段3，在213处从阶段3前进到阶段4。将认识到的是，项目也可以从一个阶段退回到另一个阶段，例如，当关于项目的工作需要修订或客户不再对销售机会响应时，并且示例项目在214处从阶段4退回到阶段3。项目的进展也可以是非序列的，因为可以同时满足多个基准，或者可以在实现较早阶段的基准之前实现高级基准，并且项目在215处从阶段3前进到阶段5。该示例以在216处从阶段5退回到阶段4、在217处从阶段4前进到阶段5以及在218处从阶段5前进到阶段6而结束。出于以下示例的目的，将假设阶段之间的每个过渡211-218花费五天且项目已经处于阶段6达五天，但是将认识到的是，在实际的实现中，在阶段之间所花费的时间不一定相同或者甚至不可能相同。

[0023] 可以生成一个特征来表示机会已经经过的阶段的实际顺序(按次序提供)。在这种情况下，特征将是文本串“1-2-3-4-3-5-4-5-6”。当前阶段中的天数特征可以被确定为进入该阶段的日期与当前日期之间的天数差。在本示例中，项目已处于阶段6达五天。可以将阶段的数量特征确定为具有在当前日期之前的进入日期的阶段的数量。在这个实现中，项目已经经过了九个不同的阶段，因此九个阶段将具有早于当前日期的进入日期。可以将阶段中的次数参数确定为具有早于当前日期的进入日期和与当前阶段匹配的标识符的阶段的数量。在这个示例中，阶段3、4和5的次数参数将为2，而阶段1、2和6的次数参数将为一。动量(momentum)特征可以被计算为阶段的数量与项目的年龄之比。将认识到的是，对于新项目，可以对机会的年龄添加小值，以避免被零除。在这种情况下，项目的年龄将是四十五天——八个过渡的四十天加上项目已经处于阶段6的五天。因而，动量将被计算为阶段的数量参数9的值除以项目的年龄45，动量为0.2。

[0024] 特征集被提供给机器学习模型116以根据提取出的特征集来量化加速项目对项目成功的可能性或项目的值的影响。在一个实现中，机器学习模型116可以包括一个或多个模式识别分类器，它们中的每个都利用特征集或特征集的子集来确定适当的类。将认识到的是，利用多个分类器和/或回归模型的输出的集成方法也可以被使用。每个分类器的输出将包括特征集在特定类(例如，表示成功结果的类)内的置信度。

[0025] 每个分类器都在多个训练样本上进行训练，训练样本例如取自具有已知结果的先前项目，表示感兴趣的各个类。给定分类器的训练过程将随分类器的实现而变化，但是训练一般涉及将训练数据从多个训练样本统计聚合到定义分类器模型的一个或多个参数。各种分类算法中的任何算法都可以用于这个目的，包括但不限于决策树学习、关联规则学习、人工神经网络、深度学习、归纳逻辑编程、支持向量机、聚类、贝叶斯网络、强化学习、表示学习、相似性和度量学习、朴素贝叶斯分类、稀疏字典学习、遗传算法、基于规则的机器学习、自组织图、模糊逻辑系统、数据融合过程、集成方法(诸如提升和装袋)以及随机森林分类器。

[0026] 支持向量机(SVM)分类器可以利用称为超平面的多个函数来在概念上划分N维特征空间中的边界，其中N维中的每一维表示特征集的一个相关联特征，并且N为大于或等于二的整数。边界定义与每个类相关联的特征值的范围。因而，可以根据给定输入特征集在特征空间中相对于边界的位置来确定给定输入特征集的输出类别和相关联的置信度值。在一个实现中，可以经由使用线性或非线性内核的内核方法来实现SVM。

[0027] 人工神经网络(ANN)分类器包括具有多个互连的多个节点。来自特征集的值被提供给多个输入节点。每个输入节点各自将这些输入值提供给一个或多个中间节点的层。给定的中间节点从前一层中的一些或全部节点接收输出值。根据分类器训练期间建立的一系列权重对接收到的值进行加权。中间节点根据该节点处的传递函数将其接收到的值翻译成单个输出。例如，中间节点可以对接收到的值求和并使该求和经受二进制阶跃函数(step function)。节点的最后一层为ANN的输出类提供置信度值，每个节点都具有表示分类器的相关联的输出类之一的置信度的相关联的值。

[0028] 基于规则的分类器将逻辑规则集应用于提取出的特征，以选择输出类。一般而言，规则是按次序应用的，每个步骤处的逻辑结果影响后续步骤处的分析。可以从训练数据、根据先前案例的类比推理或现有领域知识中的任何或全部中确定具体规则及其序列。基于规则的分类器的一个示例是决策树算法，其中将特征集中的特征的值与分层树结构中的对应阈值进行比较，以选择特征集的类。随机森林分类器是使用引导聚合或“装袋”方法对决策树算法的修改。在这种方法中，在训练集的随机样本上训练多个决策树，并且返回跨多个决策树的平均值(例如，平均值、中位数或众数)。对于分类任务，来自每个树的结果都是分类的，因此可以使用众数结果(modal outcome)。

[0029] 朴素贝叶斯分类器为多个类中的每个类生成条件概率，该条件概率是：给定表示感兴趣主题的特征集，感兴趣主题属于该类。朴素贝叶斯分类器假设每个特征彼此独立，即，这些特征之间没有任何关联，从而大大简化了条件概率的计算。具体而言，可以通过为特征集中的每个特征确定在给定类的情况下那个特征的值将导致的条件概率来计算感兴趣的主题处于给定类中的条件概率。这可以在训练期间被确定为那个特征值在针对该类的训练示例中的普遍性。跨所有特征的条件概率值的组合乘积提供了那个类的概率。虽然朴素贝叶斯分类器可以与连续数据一起使用(例如，通过将数据划分为直方图区间(bin))，但是它对于分类输入特别有用。

[0030] 作为本文使用的术语，提升分类器是指将多个相对简单的分类器(称为“弱学习者”)应用于特征集的集成方法并且提升分类器的最终结果是来自多个分类器中每个分类器的结果的加权线性组合。加权线性组合的权重可以在分类器的训练期间确定，以最小化与提升分类器相关联的损失函数。具体损失函数随实现而变化，但被选择为单调且可连续微分的。

[0031] 在另一个实现中，机器学习模型116可以包括回归模型，该回归模型被配置为提供计算输出，例如，表示项目将成功完成的概率、项目的值、成功完成项目的概率由于加速项目而将减少的量、或者项目的值由于加速项目而将减少的量。在一个示例中，机器学习模型116可以被利用，以使用回归模型来执行灵敏度分析，使得可以确定一个或多个特征对至少一个参数的影响的量值。

[0032] 在一个实现中，机器学习模型116可以在来自其结果已知的先前项目的数据上被训练，使得机器学习模型的输出表示项目成功或失败的可能性。在这个实现中，每个项目被评估两次。在取决于项目的预计结束日期的任何特征被指派基于项目的原始结束日期的值的情况下执行第一评估，以获得表示项目成功的原始可能性的第一值。在取决于项目的预计结束日期的任何特征被指派基于项目的加速的结束日期的值的情况下执行第二评估，以获得表示加速的项目成功的可能性的第二值。第一值与第二值之间的差可以被用于评估加速项目所招致的风险的增加。

[0033] 在另一个实现中，机器学习模型116可以在来自其最终值已知的先前项目的数据上被训练，使得机器学习模型的输出表示完成之后的项目的值。在这个实现中，每个项目被评估两次。在取决于项目的预计结束日期的任何特征具有被指派的基于项目的原始结束日期的值的情况下执行第一评估，以预测项目的当前值。在取决于项目的预计结束日期的任何特征具有被指派的基于项目的加速的结束日期的值的情况下执行第二评估，以预测加速的项目的值，该值可以被称为加速的值。当前值与加速的值之间的差可以用于评估加速项目所招致的成本。

[0034] 在另外的实现中，机器学习模型116可以在来自包括被加速的项目并且其结果已知的先前项目的数据上被训练，使得机器学习模型的输出表示项目成功或失败的可能性。对于这些项目，多个特征可以包括取决于原始结束日期和加速的结束日期中的每一个的值，或者简单地利用表示原始结束日期与加速的结束日期之间的结束日期的改变的特征。
机器学习模型的输出可以表示项目将成功的可能性的改变可归因于结束日期的加速。

[0035] 在又一个实现中，机器学习模型116可以在来自包括已知其最终值的被加速的项目的先前项目的数据上被训练，使得机器学习模型的输出表示由于加速而引起的项目的值的改变。对于这些项目，多个特征可以包括取决于原始结束日期和加速的结束日期中的每一个的值，或者简单地利用表示原始结束日期与加速的结束日期之间的结束日期的改变的特征。机器学习模型的输出可以表示加速项目所招致的成本。

[0036] 机器学习模型116的输出可以在相关联的输出设备120(例如，显示器)处经由用户界面118提供给用户。可替代地或附加地，机器学习模型116的输出可以存储在数据库102中，以引导与项目相关的未来决策。在一个示例中，可以确定预期在给定的时间窗内结束的可用项目的子集的聚合值不足以满足组织的目标。将认识到的是，如本文所使用的，“子集”表示可用的多个项目中的一个或多个项目的集合并且不旨在包括多个项目的真子集。在这种情况下，可以如上面所讨论的那样评估将在时间窗之外结束的可用项目的子集，并且可以从这些项目中选择要加速到时间窗中的一个或多个项目的集合。

[0037] 图3图示了用于评估项目的加速的系统300的一个示例。例如，当确定多个项目的第一子集(其中每个项目具有用于完成的相关联的值和落入时间窗内的预期结束日期)具有降至低于阈值的累积值时，可以采用所示的系统300。将认识到的是，取决于项目的性质，给定项目的“值”可以包括总量、项的数量、所提出的协议中列出的值或在项目完成时而不是在项目未完成时实现的某些其它可量化的收益。系统300可以用于从表示具有不落入该时间窗内的相应预期结束日期的项目的多个项目的第三子集中选择多个项目的第二子集。具体而言，如由系统300确定的，可以从项目的第三子集中选择具有最低风险或值的最小损失的项目，直到完成项目的第二子集的值与完成项目的第一子集的累积值相结合满足阈值为止。然后可以加速所选择的项目的第二子集。

[0038] 在所示的系统300中，项目是处于协商过程中的开放销售交易，并且当销售组织在给定的财务期间内将无法达到其收入目标时应用该系统，以选择一个或多个开放交易来尝试成交以满足收入目标。因而，在这个示例中，可以将每个项目的值确定为销售的货币值。将认识到的是，可以响应于用户请求或者一经系统300确定预期在给定财务期间内成交的可用销售交易不足以满足那个财务期间的收入目标，就执行项目集合的选择。

[0039] 系统300包括客户关系管理数据库302，该数据库存储与组织的开放和已完成的销售交易有关的数据。这种数据库的一个示例是 Sales Cloud。机器学习平台304包括数据库接口310，该数据库接口310利用来自客户关系管理(CRM)数据库302的数据来评估将开放的销售交易的结束日期修改为早于预计的结束日期的日期的影响。对于客户关系管理数据库302中的销售或销售机会的每个记录，特征提取器320提供表示该销售或机会的多个特征。特征集包括取决于销售的成交日期的至少一个特征。

[0040] 数据库接口310包括摄取组件312，其周期性地检索与开放销售交易有关的数据(在本文中称为“机会”)并将数据存储在与机器学习平台310相关联的数据库314处。在实践中，可以安排从客户关系管理数据库302摄取机会数据，使得从客户关系管理数据库中周期性检索新数据，而无需来自用户的请求或机器学习平台310内的任何触发事件。将认识到的是，所摄取的数据可以包括用于训练机器学习模型330的过期的销售机会(包括成功的销售和未完成的销售两者)以及开放销售，以进行分析。对于这样的机会，摄取组件312可以除了特征数据之外还检索机会的结果。

[0041] 特征提取器320从与机器学习平台310相关联的数据库314检索数据，并调节该数据以供在机器学习模型330中使用。例如，特征提取器320可以将来自数据库314的关系数据解除归一化为平面文件，以供机器学习模型使用。特征提取器320还将数据分离为两个集合，用于训练和更新机器学习模型330的第一数据集合和针对其返回预测的第二数据集合。

[0042] 在一个实现中，从客户关系管理数据库302中提取的特征可以包括交易的货币值、表示与机会相关联的业务线的分类参数、预期成交的机会的有效日期、月份和季度、与客户账户相关联的认证级别、国家和(在相关的情况下)州中的每个、与机会相关联的主要竞争者、以及与机会相关联的销售方法。提取出的数据还可以包括机会的当前销售阶段，其中机会的阶段是表示交易进展的分类变量。例如，第一阶段可以指示仅与客户已经进行了初步接触，而最后阶段可以表示销售即将完成。每个阶段的确切定义将因利用系统300的实现和组织而异。在所示的示例中，每个机会的阶段可以由处理销售的组织中的个人根据组织定义的准则来指派。将认识到的是，通过各个阶段的进展不一定是单向的和顺序的，使得可以在进展中跳过各个阶段，并且销售在成交之前可以处于给定阶段中多次。

[0043] 特征提取器320还可以计算多个工程特征。因而，在摄取组件312处摄取数据期间，可以提取多个值，包括阶段历史。阶段历史可以包括，例如，进入和离开每个阶段的日期、机会的创建日期、预算变得可供客户用来完成销售的日子、与客户联系的标识符、关于机会的最后活动的日期、销售的预计成交日期、多个活动的开始日期、以及销售中的产品单位的数量。

[0044] 从这些值可以计算出一些有用的特征。可以将每单位的平均价格确定为销售总值与产品单位数量之比。类似地，可以根据联系的唯一标识符来确定与机会相关联的与客户的联系的数量。可以将预算已经可用的天数确定为预算变得可用的日期与当前日期之间的天数差。机会的年龄可以被确定为创建日期与当前日期之间的天数差，并且上一次活动的年龄可以被确定为创建日期与上一次活动的开始日期的天数差。项目的预期年龄可以确定为创建日期与预计结束日期之间的天数差，而直到成交前的日期可以被确定为预期年龄与机会年龄之间的天数差。可以将活动的数量确定为其开始日期在当前日期之前的活动的数量。自上一次活动以来的天数可以被确定为机会年龄与上一次活动的年龄之间的天数差。平均活动参数可以被计算为活动的数量与机会的年龄的比率。将认识到的是，可以在机会的年龄上添加小值，以避免对于新机会被零除。另外，恒定因子可以乘以该比率以维持与其它连续特征的一致性。

[0045] 可以从机会已经进展经过的阶段的历史中确定另一个计算出的参数集。每个阶段可以表示机会完成进度的程度，诸如基准。因而，每个阶段可以表示通常与机会的特定进展级别相关联的事件。可以生成一个特征来表示机会已经经过的阶段的实际顺序(按次序提供)。可以将当前阶段中的天数特征确定为进入该阶段的日期与当前日期之间的天数差。可以将阶段的数量特征确定为具有早于当前日期的进入日期的阶段的数量。可以将阶段中的次数参数确定为具有早于当前日期的进入日期和与当前阶段匹配的标识符的阶段的数量。动量特征可以被计算为阶段的数量与机会的年龄之比。将认识到的是，可以对机会的年龄添加小值，以避免对于新机会被零除。

[0046] 扁平的数据作为特征集提供给机器学习模型330。在所示的实现中，机器学习模型330包括随机森林分类器332、提升分类器334、逻辑回归模型336，其中逻辑回归模型336接收随机森林分类器和提升分类器的输出作为自变量。可以基于训练集中项目的已知成功或失败将分类器332和334以及回归模型336作为整体来训练，以提供基于提取出的特征集针对给定的销售机会产生成功的可能性作为输出的模型。将认识到的是，训练数据可以作为结构化数据存储在机器学习平台304上的储存库(未示出)中。一旦已经确定了给定机会的可能性，就可以将该可能性提供给数据库接口310处的推送组件316，该推送组件将该可能性存储在客户关系管理数据库302中。这可以定期执行，使得每个机会基于预计的结束日期具有相关联的成功概率。

[0047] 当期望加速销售时，可以选择具有当前财务期间之外的预计结束日期的销售集合，并将其提供给特征提取器320，其中预计结束日期被修改为落入当前财务期间内。提取特征集，并且可以在机器学习模型330处生成与经修改的结束日期关联的可能性。原始可能性和与经修改的结束日期相关联的可能性中的每一个可以被提供给用户界面350，该用户界面350在相关联的显示器360处向用户提供两个可能性和/或从可能性中导出的值(例如，两个可能性之间的差)。

[0048] 在一个实现中，用户界面350可以包括聊天界面，该聊天界面采用自然语言处理以基于某些查询向用户提供有条件的自动帖子。在所示的实现中，用户可以经由输入设备362指示特征提取器320响应于来自用户的查询来检索在预定窗内成交的销售交易集合的数据，并将其发送到机器学习模型330进行评估，如上所述。图4图示了该聊天界面400的一个示例。在402处，用户询问“哪些交易可以被拉入？”，从而触发用户界面350以请求评估交易集合。一旦返回了来自机器学习模型的值，就在404处发出预定的响应，可以按对销售成交的可能性的改变的次序来对机会进行排名，并在406处可以列出选择的数量的热门交易及其值和可能性的改变。

[0049] 鉴于以上在图1-图4中描述的前述结构和功能特征，参考图5-图7将更好地理解示例方法。虽然为了简化说明的目的，图5-图7的方法被示出并描述为串行执行，但是应当理解和认识到的是，本发明不受所示次序的限制，因为一些动作在其它示例中可以以与本文示出和描述的次序不同的次序和/或并发地发生。

[0050] 图5图示了用于评估来自项目加速的风险的方法500。在502处，从在第一计算机系统上实现的数据库检索表示具有已知结束日期的项目的参数集。在504处，根据检索到的参数集生成用于预测模型的特征集。示例特征可以包括与项目相关联的产品类别、从批准项目预算的日期到当前日期之间过去的天数、以及自关于项目的上一次活动以来的天数。在所示的方法500中，每个项目的状态被定义为多个阶段之一，并且特征集中的特征是从项目已经经过的阶段序列中导出的。例如，特征可以被计算为项目已经经过的阶段数与自从项目开始以来已经经过的天数之比、项目已经经过给定阶段的次数，或直接表示项目已经经过的阶段序列的参数。

[0051] 在506处，根据特征集和项目的结束日期在预测模型处计算项目将成功结束的第一概率。在一个示例中，提供对预测模型的访问的机器学习平台的客户端可以接收至少一个特征和结束日期，并将这个数据提供给预测模型。在关于先前项目的集合的信息上训练预测模型，这些信息作为结构化数据存储在机器学习平台可以访问的储存库中。在一个实现中，通过在随机森林分类器处根据该参数集生成第一预测、在提升分类器处根据该参数集生成第二预测、使用经由逻辑回归模型提供的权重将第一概率计算为第一度量和第二度量的加权线性组合，来计算第一概率。在508处，根据计算出的至少一个特征和项目的经修改的结束日期在预测模型处计算项目将成功结束的第二概率。将认识到的是，在确定加速项目的风险时，经修改的结束日期将先于已知结束日期。在510处，将第一概率与第二概率之间的差(表示将项目从已知结束日期加速到经修改的结束日期的风险)存储在非瞬态计算机可读介质上。

[0052] 图6图示了用于根据项目加速的风险来选择用于加速的项目的方法600。在602处，存储用于多个项目的第一子集的元数据，每个项目具有相关联的完成的值和落入时间窗内的预期结束日期。例如，第一子集可以表示组织在给定的财务期间内成交的销售集合，或者表示预期在年度审查之前要完成的员工团队的项目集合。在604处，响应于确定用于完成多个项目的第一子集的每个项目的累积值低于阈值，表示具有不落入该时间窗内的相应预期结束日期的项目的多个项目的第二子集被选择用于评估加速项目的风险。例如，项目的第二子集可以包括预期在财务期间结束后相对快地成交的销售，或预期在年度审查后不久要完成的项目。在一个实现中，其中将多个项目的责任划分到多个实体，可以过滤所选择的项目，使得多个项目的第二子集中的每个项目与多个实体的相关实体相关联。例如，大型组织的一个部门将不会被提供来自其权限之外的另一个部门的项目以供选择来加速。

[0053] 在606处，对于将被预期的项目的第二子集中的每个项目，计算在将项目的结束日期移入时间窗的情况下成功概率的改变。例如，这可以经由图5的方法来完成。可替代地，可以预先确定现有的成功概率并将其作为项目的参数存储在例如相关联的数据库中。在这个实现中，只需要确定与项目的加速的结束日期相关联的经修整的成功概率，以确定成功概率的改变。在608处，至少部分地根据概率的差异，从多个项目的第二子集中选择项目作为多个项目的第三子集，使得用于完成多个项目的第三子集的值与用于完成多个项目的第一子集的累积值相结合满足阈值。在一个示例中，选择具有最低概率差的项目。在610处，在用户界面处向用户显示多个项目的第三子集。在一个实现中，图形用户界面具有针对那个用户的选择的格式。图形用户界面具有用于接收来自用户的关于所显示项目的反馈的界面，并且可以根据接收到的反馈来调整针对用户的图形用户界面的所选择的格式。在另一个实现中，图形用户界面可以包括结合自然语言处理的聊天界面，使得该聊天界面可以响应于用户输入的问题而提供多个项目的第三子集。

[0054] 图7图示了用于根据项目加速的成本来选择用于加速的项目的方法700。在702处，存储用于多个项目的第一子集的元数据，每个项目具有相关联的完成的值和落入时间窗内的预期结束日期。在704处，响应于确定用于完成多个项目的第一子集中的每个项目的累积值低于阈值，表示具有不落入该时间窗内的相应预期结束日期的项目的多个项目的第二子集被选择用于评估加速项目的成本。在一个实现中，其中将多个项目的责任划分到多个实体，可以过滤所选择的项目，使得多个项目的第二子集中的每个项目与多个实体的相关实体相关联。

[0055] 在706处，指派用于完成多个项目的第二子集中的每个项目的值。这个值可以是货币，例如在成功销售后收到的收入，也可以由组织设置以反映项目对组织的值。在708处，从在第一计算机系统上实现的数据库中检索多个项目的第二子集中的每个项目的参数集。在710处，在来自先前项目的集合的信息上训练的预测模型处，基于该参数集来计算多个项目的第二子集中的每个项目的值的折扣因子，从而表示由于在时间窗内完成该项目而导致的值损失。例如，尝试与客户加速销售可能需要对销售价格有一定程度的折扣。在一个示例中，提供对预测模型的访问的机器学习平台的客户端可以接收至少一个特征和结束日期，并将这个数据提供给预测模型。在关于先前项目的集合的信息上训练预测模型，这些信息作为结构化数据存储在机器学习平台可以访问的储存库中。可以训练预测模型以基于先前项目(包括已经修改预期结束日期的项目)来预测项目的值的折扣程度。

[0056] 在712处，为多个项目的第三子集中的每个项目提供经调整的值，作为该项目的指派的值和计算出的折扣因子的乘积。在714处，从多个项目的第二子集中选择多个项目的第三子集，使得用于完成多个项目的第三子集的经调整的值与用于完成多个项目的第一子集的累积值相结合满足阈值。在716处，在用户界面处向用户显示多个项目的第三子集。在一个实现中，图形用户界面具有针对那个用户的选择的格式。图形用户界面具有用于接收来自用户的关于所显示项目的反馈的界面，并且可以根据接收到的反馈来调整针对用户的图形用户界面的所选择的格式。在另一个实现中，图形用户界面可以包括结合自然语言处理的聊天界面，使得该聊天界面可以响应于用户输入的问题而提供多个项目的第三子集。

[0057] 在以上描述中给出了具体细节以提供对实施例的透彻理解。但是，应理解的是，可以在没有这些具体细节的情况下实践实施例。例如，可以以框图示出物理组件，以便不用不必要的细节模糊实施例。在其它情况下，可以示出众所周知的电路、处理、算法、结构和技术而没有不必要的细节，以避免模糊实施例。

[0058] 可以以各种方式来完成上述技术、方框、步骤和手段的实现。例如，这些技术、方框、步骤和手段可以以硬件、软件或其组合来实现。对于硬件实现，可以在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行上述功能的其它电子单元和/或其组合中实现处理单元。在一个示例中，图3的机器学习平台304可以在一个或多个云服务器上实现，并且可以被配置为从一个或多个客户端系统接收用于分析的特征集。具体而言，机器学习平台304可以在多租户云服务平台系统上实现，使得多个客户端可以登录到中心位置以访问服务器或服务器集合，但是其中对数据(例如数据库314、用于预测模型330的训练数据和用于预测模型330的具体参数)的具体访问取决于哪个客户端已向云存储系统进行认证来控制。例如，每个客户端可能被限制访问其它客户端的数据，并且多租户云服务平台系统可以跟踪每个客户端已使用了多少资源(例如，处理器周期、存储、或使用云托管的软件应用的实例所花费的时间)，并基于资源使用度向客户端计费。

[0059] 而且，应当注意的是，实施例可以被描述为被描绘为流程图、流图、数据流程图、结构图或框图的处理。虽然流程图可以将操作描述为顺序处理，但是许多操作可以并行或并发执行。此外，可以重新安排操作的次序。当处理的操作完成时，该处理将终止，但是可以具有图中未包括的附加步骤。处理可以与方法、函数、过程、子例程、子程序等对应。当处理与函数对应时，其终止与该函数到调用函数或主函数的返回对应。

[0060] 此外，可以通过硬件、软件、脚本语言、固件、中间件、微代码、硬件描述语言和/或其任意组合来实现实施例。当以软件、固件、中间件、脚本语言和/或微代码实现时，可以将执行必要任务的程序代码或代码段存储在诸如存储介质之类的机器可读介质中。代码段或机器可执行指令可以表示过程、函数、子程序、程序、例程、子例程、模块、软件包、脚本、类，或指令、数据结构和/或程序语句的任意组合。可以通过传递和/或接收信息、数据、参量、参数和/或存储器内容来将代码段耦合到另一个代码段或硬件电路。信息、参量、参数、数据等可以经由任何适当的手段(包括存储器共享、消息传递、令牌传递、网络传输等)传递、转发或发送。

[0061] 对于固件和/或软件实现，可以用执行本文描述的功能的模块(例如，过程、函数等)来实现方法。有形地实施指令的任何机器可读介质都可以用于实现本文所述的方法。例如，软件代码可以存储在存储器中。可以在处理器内或处理器外部实现存储器。如本文所使用的，术语“存储器”是指任何类型的长期、短期、易失性、非易失性或其它存储介质，并且不限于任何特定类型的存储器或任何数量的存储器，或其上存储存储器的介质类型。

[0062] 而且，如本文所公开的，术语“存储介质”可以表示用于存储数据的一个或多个存储器，包括只读存储器(ROM)、随机存取存储器(RAM)、磁性RAM、核心存储器、磁盘存储介质、光学存储介质、闪存设备和/或其它用于存储信息的机器可读介质。术语“机器可读介质”包括但不限于便携式或固定存储设备、光学存储设备、无线信道和/或能够存储的包含或携带(一个或多个)指令和/或数据的各种其它存储介质。

[0063] 附录A中提供了有关本文描述的系统和方法的示例实现的附加信息。

[0064] 上面已经描述的是本发明的示例。当然，不可能为了描述本发明而描述组件或方法的每种可能的组合，但是本领域的普通技术人员将认识到的是，本发明的许多进一步的组合和置换是可能的。因而，本发明旨在涵盖落入所附权利要求的范围内的所有这样的改变、修改和变化。

标题	发布/更新时间	阅读量
基于人-车-路耦合振动模型的动力响应预测方法及系统	2020-05-08	1054
一种双目或多目摄像头曝光方法、系统和存储介质	2020-05-08	234
一种应急救援的智能头盔	2020-05-08	596
一种热轧板坯堆放自动控制方法	2020-05-11	374
一种航空公司商业智能信息管理系统	2020-05-08	838
报表自动推荐系统、方法及计算机系统	2020-05-08	325
一种测试方法、装置、系统、计算机可读存储介质	2020-05-08	60
汽车与移动端的界面视频快速播放方法、系统及存储介质	2020-05-08	47
一种深孔直线度测量装置	2020-05-08	676
步兵战车驾驶训练模拟系统	2020-05-08	31

项目加速的自动评估

项目加速的自动评估

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：