技术领域
[0001] 本
发明涉及计算机技术和
数据挖掘技术领域，尤其涉及一种实现智能运算的方法及装置。
背景技术
[0002] 随着计算机技术的发展与普及，人们在日常生活和工作中经常需要使用计算机来进行各种操作，这些操作通常都涉及大量的数据。如何对这些海量用户数据进行处理和分析，以从中获取关于用户习惯、网络业务运行信息等的有价值的数据分析结果，一直是人们进行数据挖掘研究的重点。
[0003] 以网络服务提供商为例，其所提供的服务网络涉及许多
服务器和通信链路，每时每刻都会产生大量的新数据。如果对这些海量的原始数据(例如，日志数据、计费带宽数据、复用率数据、
节点带宽数据、节点
覆盖质量数据等)进行分析，通常会得到关于如何更好地提升服务质量和节省成本等方面的非常有价值的信息。
[0004] 当网络服务商对涉及多个不同平台的原始数据进行挖掘和分析时，目前通常采用以下方法：通过多个平台各自的API
接口对各个平台的原始数据进行采集、聚合、以统一接口向外部提供相关的原始数据；当原始数据量较大或者聚合
算法较复杂时，通常都需要专业开发人员编写脚本获取API数据、编写算法进行处理，开发成本高，维护难度大。
[0005] 为了解决上述问题，需要提出新的技术方案。
发明内容
[0006] 根据本发明的实现智能运算的方法，包括：
[0007] 提供GUI；
[0008] 通过GUI向用户显示可选数据源、可选智能运算操作；
[0009] 通过GUI接收用户输入的、包括
选定数据源、选定智能运算操作、及选定数据源与选定智能运算操作之间的连接关系的计算图；
[0010] 基于计算图从选定数据源获取输入数据，基于输入数据和选定智能运算操作及连接关系进行智能运算，得到各级中间计算结果及最终计算结果；
[0011] 通过GUI向用户显示最终计算结果和/或各级中间计算结果，
[0012] 其中，可选智能运算操作包括：基本数学运算操作、自定义的特定领域计算函数，用户输入包括下列中的至少一种：通过
鼠标点击和拖拽、通过快捷键选择并通过方向键移动及
定位。
[0013] 根据本发明的实现智能运算的方法，其中的基于计算图从选定数据源获取输入数据，基于输入数据和选定智能运算操作及连接关系进行智能运算，得到各级中间计算结果及最终计算结果的步骤，包括：
[0014] 基于计算图生成计算图对应的计算流程树，进行持久化存储，将计算流程树转换为引擎指令；
[0015] 基于引擎指令构造数据引擎树；
[0016] 基于数据引擎树中的数据源节点、中间计算节点的状态信息和各个节点之间的依赖关系，进行调度运算，得到各级中间计算结果及最终计算结果，
[0017] 其中，各级中间计算结果及最终计算结果可以被复用。
[0018] 根据本发明的实现智能运算的方法，其数据引擎树为包括选定智能运算操作所涉及的所有计算节点、运算顺序、运算依赖的计算流程的描述，其数据引擎树通过驱动调度中心在状态池中注册每个计算节点，通过状态池中的计算节点状态信息来管理计算流程，当计算流程中的计算节点的所有
子节点都已经计算完成时，计算流程树获得该计算节点可以开始计算的信息，计算流程树还用于管理无依赖数据之间的并行计算、用于完成数据加工过程的流
水线管理。
[0019] 根据本发明的实现智能运算的方法，其状态池还用于索引管理和数据管理，索引管理用于为计算节点生成节点唯一ID，数据引擎树通过节点唯一ID来管理计算节点。
[0020] 根据本发明的实现智能运算的方法，其中的基于数据引擎树中的数据源节点、中间计算节点的状态信息和各个节点之间的依赖关系，进行调度运算，得到各级中间计算结果及最终计算结果的步骤，包括：
[0021] 驱动调度中心发布调度任务ID，驱动管理模
块基于调度任务ID所对应的选定数据源和选定智能运算操作的唯一ID自动寻找对应的数据和算法进行计算，得到各级中间计算结果及最终计算结果。
[0022] 根据本发明的实现智能运算的装置，包括：
[0023] 前端数据图配置及显示模块，用于提供GUI，用于通过GUI向用户显示可选数据源、可选智能运算操作，用于通过GUI接收用户输入的、包括选定数据源、选定智能运算操作、及选定数据源与选定智能运算操作之间的连接关系的计算图，用于通过GUI向用户显示最终计算结果和/或各级中间计算结果；
[0024] 智能运算模块，用于基于计算图从选定数据源获取输入数据，基于输入数据和选定智能运算操作及连接关系进行智能运算，得到各级中间计算结果及最终计算结果，[0025] 其中，可选智能运算操作包括：基本数学运算操作、自定义的特定领域计算函数，用户输入包括下列中的至少一种：通过鼠标点击和拖拽、通过快捷键选择并通过方向键移动及定位。
[0026] 根据本发明的实现智能运算的装置，其智能运算模块包括：
[0027] 计算流程树生成及转换模块，用于基于计算图生成计算图对应的计算流程树，进行持久化存储，将计算流程树转换为引擎指令；
[0028] 数据引擎树生成模块，用于基于引擎指令构造数据引擎树；
[0029] 调度运算模块，用于基于数据引擎树中的数据源节点、中间计算节点的状态信息和各个节点之间的依赖关系，进行调度运算，得到各级中间计算结果及最终计算结果，[0030] 其中，各级中间计算结果及最终计算结果可以被复用。
[0031] 根据本发明的实现智能运算的装置，其数据引擎树为包括选定智能运算操作所涉及的所有计算节点、运算顺序、运算依赖的计算流程的描述，数据引擎树通过驱动调度中心在状态池中注册每个计算节点，通过状态池中的计算节点状态信息来管理计算流程，当计算流程中的计算节点的所有子节点都已经计算完成时，计算流程树获得该计算节点可以开始计算的信息，计算流程树还用于管理无依赖数据之间的并行计算、用于完成数据加工过程的流水线管理。
[0032] 根据本发明的实现智能运算的装置，其状态池还用于索引管理和数据管理，索引管理用于为计算节点生成节点唯一ID，数据引擎树通过节点唯一ID来管理计算节点。
[0033] 根据本发明的实现智能运算的装置，其调度运算模块还包括：
[0034] 驱动调度中心，用于发布调度任务ID；
[0035] 驱动管理模块，用于基于调度任务ID所对应的选定数据源和选定智能运算操作的唯一ID自动寻找对应的数据和算法进行计算，得到各级中间计算结果及最终计算结果。
[0036] 根据本发明的上述技术方案，使用户能够使用GUI界面来进行
可视化计算图的设计、以及得到期望数据的各种形式的输出。
附图说明
[0037] 并入到
说明书中并且构成说明书的一部分的附图示出了本发明的
实施例，并且与相关的文字描述一起用于解释本发明的原理。在这些附图中，类似的附图标记用于表示类似的要素。下面描述中的附图是本发明的一些实施例，而不是全部实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。
[0038] 图1示例性地示出了根据本发明的实现智能运算的方法的示意
流程图。
[0039] 图2示例性地示出了根据本发明的实现智能运算的装置的示意
框图。
[0040] 图3示例性地示出了根据本发明的前端数据图配置及显示模块所提供的GUI的示意图。
[0041] 图4示例性地示出了根据本发明的实现智能运算的装置的一个实例的示意结构图。
具体实施方式
[0042] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本
申请中的实施例及实施例中的特征可以相互任意组合。
[0043] 图1示例性地示出了根据本发明的实现智能运算的方法的示意流程图。
[0044] 如图1所示，根据本发明的实现智能运算的方法，包括：
[0045] 步骤S102：提供GUI；
[0046] 步骤S104：通过GUI向用户显示可选数据源、可选智能运算操作；
[0047] 步骤S106：通过GUI接收用户输入的、包括选定数据源、选定智能运算操作、及选定数据源与选定智能运算操作之间的连接关系的计算图；
[0048] 步骤S108：基于计算图从选定数据源获取输入数据，基于输入数据和选定智能运算操作及连接关系进行智能运算，得到各级中间计算结果及最终计算结果；
[0049] 步骤S110：通过GUI向用户显示最终计算结果和/或各级中间计算结果，[0050] 其中，可选智能运算操作包括：基本数学运算操作、自定义的特定领域计算函数(例如，与网络带宽管理相关的操作或函数)，用户输入包括下列中的至少一种：通过鼠标点击和拖拽、通过快捷键选择并通过方向键移动及定位。
[0051] 例如，与自定义的特定领域计算函数相关的操作可以是图3中所示的带宽拆分、带宽数据比对计算操作等。
[0052] 可选地，步骤S108可以包括以下步骤：
[0053] 基于计算图生成计算图对应的计算流程树，进行持久化存储，将计算流程树转换为引擎指令；
[0054] 基于引擎指令构造数据引擎树；
[0055] 基于数据引擎树中的数据源节点、中间计算节点的状态信息和各个节点之间的依赖关系，进行调度运算，得到各级中间计算结果及最终计算结果，
[0056] 其中，各级中间计算结果及最终计算结果可以被复用。
[0057] 可选地，数据引擎树为包括选定智能运算操作所涉及的所有计算节点、运算顺序、运算依赖的计算流程的描述，数据引擎树通过驱动调度中心在状态池中注册每个计算节点，通过状态池中的计算节点状态信息来管理计算流程，当计算流程中的计算节点的所有子节点都已经计算完成时，计算流程树获得该计算节点可以开始计算的信息，计算流程树还用于管理无依赖数据之间的并行计算、用于完成数据加工过程的流水线管理。
[0058] 可选地，状态池还用于索引管理和数据管理，索引管理用于为计算节点生成节点唯一ID，数据引擎树通过节点唯一ID来管理计算节点。
[0059] 可选地，基于数据引擎树中的数据源节点、中间计算节点的状态信息和各个节点之间的依赖关系，进行调度运算，得到各级中间计算结果及最终计算结果的步骤，包括：
[0060] 驱动调度中心发布调度任务ID，驱动管理模块基于调度任务ID所对应的选定数据源和选定智能运算操作的唯一ID自动寻找对应的数据和算法进行计算，得到各级中间计算结果及最终计算结果。
[0061] 图2示例性地示出了根据本发明的实现智能运算的装置200的示意框图。
[0062] 如图2所示，根据本发明的实现智能运算的装置200包括：
[0063] 前端数据图配置及显示模块201，用于提供GUI，用于通过GUI向用户显示可选数据源、可选智能运算操作，用于通过GUI接收用户输入的、包括选定数据源、选定智能运算操作、及选定数据源与选定智能运算操作之间的连接关系的计算图，用于通过GUI向用户显示最终计算结果和/或各级中间计算结果；
[0064] 智能运算模块203，用于基于计算图从选定数据源获取输入数据，基于输入数据和选定智能运算操作及连接关系进行智能运算，得到各级中间计算结果及最终计算结果，[0065] 其中，可选智能运算操作包括：基本数学运算操作、自定义的特定领域计算函数，用户输入包括下列中的至少一种：通过鼠标点击和拖拽、通过快捷键选择并通过方向键移动及定位。
[0066] 可选地，智能运算模块203可以包括：
[0067] 计算流程树生成及转换模块，用于基于计算图生成计算图对应的计算流程树，进行持久化存储，将计算流程树转换为引擎指令；
[0068] 数据引擎树生成模块，用于基于引擎指令构造数据引擎树；
[0069] 调度运算模块，用于基于数据引擎树中的数据源节点、中间计算节点的状态信息和各个节点之间的依赖关系，进行调度运算，得到各级中间计算结果及最终计算结果，[0070] 其中，各级中间计算结果及最终计算结果可以被复用。
[0071] 可选地，数据引擎树为包括选定智能运算操作所涉及的所有计算节点、运算顺序、运算依赖的计算流程的描述，数据引擎树通过驱动调度中心在状态池中注册每个计算节点，通过状态池中的计算节点状态信息来管理计算流程，当计算流程中的计算节点的所有子节点都已经计算完成时，计算流程树获得该计算节点可以开始计算的信息，计算流程树还用于管理无依赖数据之间的并行计算、用于完成数据加工过程的流水线管理。
[0072] 可选地，状态池还用于索引管理和数据管理，索引管理用于为计算节点生成节点唯一ID，数据引擎树通过节点唯一ID来管理计算节点。
[0073] 可选地，调度运算模块还包括：
[0074] 驱动调度中心，用于发布调度任务ID；
[0075] 驱动管理模块，用于基于调度任务ID所对应的选定数据源和选定智能运算操作的唯一ID自动寻找对应的数据和算法进行计算，得到各级中间计算结果及最终计算结果。
[0076] 为了使本领域技术人员更清楚地了解根据本发明的上述技术方案所使用的GUI，下面将结合一个具体实例进行说明。
[0077] 图3示例性地示出了根据本发明的前端数据图配置及显示模块201所提供的GUI的示意图。
[0078] 如上文所述，前端数据图配置及显示模块201用于提供GUI，例如，用于提供可视化控件(包括上述可选数据源、可选智能运算操作、连接关系)，辅助用户构建运算图。
[0079] 如图3所示，前端(即，上述GUI)包括元件(区)、计算区和(元件)详情(区)。各个区的功能描述如下：
[0080] 1.元件区提供所有数据源池(包含所有数据源元件，即上述可选数据源)、计算池(包含所有计算元件，即上述可选智能运算操作)、所有展示元件(包含结果数据的所有展示形式，即上述显示工具，当前提供excel表格导出，网页图表展示和API接口导出)、存储元件池(包含所有需要存储的中间数据和结果数据的存储方式，即上述存储工具，包括后端缓存、永久缓存、页面缓存、定时缓存等)。
[0081] 2.元件详情区提供了所有元件的详细配置项(即，上述配置参数)，比如数据源拉取数据时的限制条件(如起始时间、数据的时间粒度、数据的格式等等)，计算元件计算时的常数项配置等等。
[0082] 3.计算区提供整个计算图的可视化展示和编辑能
力，通过拖拽元件到计算区组成计算图，用户可以清晰的了解整个数据的具体运算过程。
[0083] 为了使本领域技术人员更清楚地了解根据本发明的上述实现智能运算的装置200，下面将结合一个具体实例进行说明。
[0084] 图4示例性地示出了根据本发明的实现智能运算的装置200的一个实例的示意结构图。
[0085] 如图4所示，该实例包括
中间层(模块)、运算元(模块)、状态池(模块)和驱动管理(模块)。该实例的各个模块的具体结构和功能描述如下：
[0086] 一、中间层(包含在上述智能运算模块203中)
[0087] 中间层包括算法解析(包含在上述智能运算模块203中，对应于上述数据引擎树生成模块)、流程树管理(包含在上述智能运算模块203中，对应于上述计算流程树生成及转换模块)、权限认证(包含在上述智能运算模块203中)等模块，此三个模块是构造完计算图(即，接收来自图4中的“前端”的输入)之后同时启动的。
[0088] 1.算法解析模块负责将每个元件转化为引擎可识别的指令来构造数据引擎树。
[0089] 2.流程树管理模块负责将配置好的计算流程树进行持久化存储，方便
修改或者作为数据源来构造更复杂的计算流程树。
[0090] 3.权限认证模块负责对数据权限进行校验，遍历每个元件，判断创建计算图的用户账号有无该元件的权限，最终确认用户构造的计算图的期望结果是否可以提供给用户，如不能提供，则通过异步打击(计算任务在权限认证完成之前就已经构建并开始运行，当权限认证模块认定用户无该权限，则结束计算任务，即权限认证与任务计算是异步进行的)来结束正在进行的计算任务，并返回权限认证结果给用户。
[0091] 二、运算元(包含在上述智能运算模块203中)
[0092] 运算元包括引擎转换(包含在上述智能运算模块203中，对应于上述数据引擎树生成模块)、数据引擎树(包含在上述智能运算模块203中，对应于上述数据引擎树生成模块)和驱动调度中心(包含在上述智能运算模块203中，对应于上述调度运算模块)。
[0093] 1.引擎转换负责通过前端传回的构造指令来生成数据引擎树。
[0094] 2.数据引擎树本质为所有计算节点、运算顺序、运算依赖组成的计算流程的描述，例如，数据引擎树可以通过驱动调度中心在状态池中注册每个计算节点，通过状态池中计算节点的状态信息来管理整个计算流程。例如，当一个计算流程图中的计算节点的所有子节点都已经计算完成时，流程树得出该节点可以开始计算。通过流程树管理可以实现所有无依赖数据之间的并行计算，完成数据加工过程的流水线管理。
[0095] 3.驱动调度中心向状态池注册数据引擎树上的所有计算节点，并根据每个节点自身的属性，从数据源池(即，源池)或者算法池中调用对应的驱动来启动计算。
[0096] 三、状态池(包含在上述智能运算模块203中，对应于上述调度运算模块所需要的节点的状态信息和各个节点之间的依赖关系的来源)
[0097] 状态池包括索引管理、状态管理和数据管理。
[0098] 1.索引管理负责对所有的计算节点生成唯一ID，数据引擎树通过唯一ID去管理计算节点。
[0099] 2.状态管理负责维护所有计算节点的当前状态(节点状态包括未开始，激活，成功，失败四种，未开始表明此节点所有的依赖节点还没有计算完成，激活表明此节点已经开始计算，成功表示此节点计算完成，结果已经保存在数据管理中，可供上层节点调用，失败表示此节点计算失败，同时整个数据引擎树置为失败状态，停止所有正在进行的计算)，数据引擎树通过这些状态来调度计算任务。
[0100] 3.数据管理负责维护所有已完成计算节点的结果，相当于流水线中所有中间数据和期望数据的仓库。方便进行计算结果的复用(比如多个
父节点的计算同时依赖于一个子节点进行计算，那这个子节点只需要计算一次就可以，计算完成之后，状态池中将状态置为成功，则所有父节点都可以使用其计算结果。通过唯一编号，甚至可以实现在多路计算任务中的复用，普通的扩展递归中，每个父节中都需要计算一次子节点)，
加速计算过程。
[0101] 四、驱动管理(隐含地包含在上述智能运算模块203中)
[0102] 驱动管理将所有驱动分为两种类型：数据源驱动(对应于上述智能运算模块203“基于计算图从选定数据源获取输入数据”)和算法驱动(对应于上述智能运算模块203“基于输入数据和选定智能运算操作及连接关系进行智能运算”)，数据源驱动存储在数据源池中，算法驱动存储在算法池中，驱动调度中心发布调度任务，驱动管理会根据数据源或者算法的唯一ID(固定值存储于驱动管理中心)自动寻找对应的数据源或者算法应用于计算中去。
[0103] 为了使本领域技术人员更清楚地了解根据本发明的上述实现智能运算的方法的具体操作，下面将结合一个具体实例进行说明。
[0104] 实现智能运算的方法的实施例：
[0105] 假设用户需要获取某个网络服务节点的每日报警次数，获取方式希望有两种，通过API接口获取或者直接通过网页图表查看。
[0106] 1.用户通过网页拖拽需要的数据源元件到计算区。
[0107] 2.用户拖拽需要的算法元件到计算区。
[0108] 3.用户根据计算逻辑链接所有的数据源元件和算法元件，并命名期望结果元件。(步骤1-3对应于上述步骤S102至S110)
[0109] 4.用户拖拽展示元件到计算区，链接期望结果和展示元件。
[0110] 5.用户拖拽存储元件到计算区，链接所有希望存储的数据到存储元件。
[0111] 6.用户对每个元件的详细参数进行配置。
[0112] 7.用户保存计算配置。
[0113] 8.系统对每个计算元进行权限认证，系统生成流程树进行持久化存储(生成流程树描述文件永久存储于后端的数据)，系统将流程树转为引擎指令发给构造引擎。
[0114] 9.构造引擎根据指令递归构造数据引擎树，其中，如果子节点为空则为源，如果父节点为空则为期望数据。
[0115] 10.驱动调度中心将数据引擎树节点发送给状态池。
[0116] 11.状态池计算唯一ID，查询或者初始化状态。
[0117] 12.驱动调度中心根据引擎树的流程描述调度算法和数据源进行运算。
[0118] 13.生成的中间结果存储到状态池的数据管理模块，更改对应节点状态为完成。
[0119] 14.逐层求解每一个计算节点(每个节点及其子节点都可以看作一棵子树，子树之间无共用节点时，则完全无需等待，直接运算到有共用节点的层级)，生成期望结果返回给前端。(步骤9-14对应于上述步骤S108所包含的3个具体步骤)
[0120] 根据本发明的上述技术方案，使用户能够使用GUI界面来进行可视化计算图的设计(即，输入或配置)、以及得到期望数据的各种形式的输出。无需开发人员具有使用脚本语言进行开发的能力，只需开发人员掌握常用数据分析算法、了解可视化计算图的设计(即，输入或配置)方法即可，例如，全程只需要用鼠标拖拽控件就可以完成计算图配置。降低了开发难度，节省了开发成本。
[0121] 根据本发明的上述技术方案，能够快速、高效、低成本地获取多个平台之间的数据，并进行聚合、运算，提升了数据化运营的效率。
[0122] 根据本发明的上述技术方案，能够实现从可视化计算图配置到期望数据的多形式输出的操作，通过数据的自动获取、智能运算，减少了与数据分析相关的开发工作量，具有现有的数据整合方式所不具备的功能(例如，可视化的计算图配置、算法与数据源的联合调度、中间结果的复用等等)。
[0123] 上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。
[0124] 本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为
软件、
固件、
硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字
信号处理器或
微处理器执行的软件，或者被实施为硬件，或者被实施为集成
电路，如
专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他
存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机
访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0125] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例的技术方案的精神和范围。
