技术领域
[0001] 本
发明涉及可扩展编程方法。更具体地，涉及一种数据驱动的用户透明的可扩展编程方法。
背景技术
[0002] 近年来，随着科学技术的飞速发展，计算科学已经成为21世纪最重要的技术领域之一，它对整个社会的进步起着
基础性的作用。其中，
高性能计算机，或称超级计算机，是一套计算性能强大，具有大规模存储空间和完整的
软件系统的计算机，是计算机中功能最强、运算速度最快、存储容量最大的一类计算机，其性能远超普通个人计算机和通用
服务器，具有无与伦比的计算能
力[0003] 高性能计算(High performance computing，缩写HPC)指通常使用很多处理器(作为单个机器的一部分)或者某一集群中组织的几台计算机(作为单个计算资源操作)的计算系统和环境。高性能计算机通过并行计算来实现超高的计算性能，并行计算即将多个处理器通过网络连接，并以一定的方式将其有序地组织起来，同时对多个任务或多条指令、或多个数据项进行处理，以达到快速求解一个计算问题的目的。因此，高性能计算机能够极大地缩短计算时间，如人类基因组计划，同时能够扩大求解规模。
[0004] 高性能计算机多用于国家高科技领域和尖端技术研究，是国家科技发展
水平和综合国力的重要标志。近年来，高性能计算机在科学研究、气象预报、计算模拟、军事研究、CFD/CAE、
生物制药、基因测序、
图像处理等领域有着越来越广泛的应用。而高性能计算机平台的建设对国家保持科学研究领导地位、提高经济竞争力以及维护国土安全、提升国际地位将会发挥越来越重要的作用。
[0005] 目前，在高性能计算平台进行
应用软件开发时，主要存在以下问题：
[0006] 1.Bpipe/sge等计算平台要求用户程序和计算平台之间绑定和兼容，限制了用户应用软件的
执行环境的选择；
[0007] 2.Hadoop/Spark等技术需要用户软件使用专
门的编程
接口进行开发，限制了应用软件本身的开发语言的选择，且不适用于已经开发完成的应用软件。
[0008] 因此，为了满足用户程序与计算平台之间的兼容性，同时降低专门的编程接口对用户软件开发语言的限制，需要提供一种数据驱动的用户透明的可扩展编程方法。
发明内容
[0009] 本发明的目的在于提供一种数据驱动的可扩展编程方法，在不对用户应用软件和执行环境施加任何限制的前提下，提高用户软件的并行处理能力，并且能够使处理规模不受限制的数据，能够基于用户现有的软件，使之具备
大规模并行处理能力，从而不需要用户进行重新开发。
[0010] 为达到上述目的，本发明采用下述技术方案：
[0011] 一种数据驱动的用户透明的可扩展编程方法，该方法包括：
[0012] 构建用户程序，其中构建用户程序包括：构建用户软件单元，构建基本任务项及组合任务，定义命名的输入和输出规则，确定任务执行方式；及
[0013] 执行用户程序，其中执行用户程序包括：基于任务执行方式和数据依赖生成任务的有向执行图，基于有向执行图的拓扑顺序执行有向执行图，命名输入输出的实例化。
[0014] 本发明
实施例中，根据命名输入输出的数据依赖和并行执行模式自动构造任务执行的
有向图，并按照有向图的拓扑顺序执行，解决了数据依赖问题，保证了超大规模并行执行程序的正确性。
[0015] 优选地，用户软件单元可以是用户独立开发或者已经开发完成的应用软件，用户使用任意编程语言编制自己的软件或者程序，处理任意复杂的工作，并使用标准的容器技术进行打包，成为用户软件单元。
[0016] 基本任务项用于描述使用用户软件单元从已有数据生成新数据的方式，其可以是在用户按软件单元可以执行的任何命令。基本任务项接收数据输入并产生数据输出。
[0017] 优选地，定义命名的输入和输出规则包括：
[0018] 为用户程序的任一数据定义一唯一名称；
[0019] 基本任务项用于通过唯一名称引用和
访问已有数据，还用于生成新数据并为新数据命名一唯一名称。
[0020] 数据的存储方式和访问方式不受限制，只需保证数据和用户软件单元兼容即可。
[0021] 优选地，任务执行方式包括：
[0022] 第一执行方式，在第一执行方式中一组基本任务项按照
指定的顺序依次执行，下一任务在上一任务执行完成后开始执行。
[0023] 本发明实施例中，第一执行方式即为串行执行方式，其中，每个任务可以引用前面任务的命名输出，一个串行执行的任务流定义为一个串行执行分支。
[0024] 第二执行方式，在第二执行方式中将指定的一组输入数据按照规则分成若干个分支，并行执行若干个分支，若干个分支中的每个分支采用第一执行方式执行。
[0025] 本发明实施例中，第二执行方式即为拆分数据并行执行方式，将指定的一组输入数据按照规则分为若干个数据组，并行启动若干个串行执行分支，每一个分支串行执行一组基本任务，并处理一个数据组。不同的串行执行分支互不影响，输入输出的名字仅在同一个分支内有效。
[0026] 第三执行方式，在第三执行方式中将指定的一组输入数据复制成为若干个分支，在若干个分支上的每个分支上并行执行互不相同的基本任务，互不相同的基本任务中具有相同的输入数据和参数。
[0027] 本发明实施例中，第三执行方式为克隆并行执行方式，在同样的数据上并行执行一组任务，每一个任务作为一个单独的分支执行。
[0028] 第四执行方式，在第四执行方式中将指定的一组输入数据复制成为若干个分支，在若干个分支上的每个分支上并行执行相同的基本任务，任一基本任务中至少一个参数的取值不同于其他基本任务中参数的取值。
[0029] 本发明实施例中，第四执行方式为分支变量并行执行方式，在同样的输入数据上并行执行一组基本任务，每一个分支对某个或若干个参数的取值不一样，且不同分支之间执行完全独立。
[0030] 优选地，组合任务包括多个按照第一执行方式、第二执行方式、第三执行方式和第四执行方式中的一种或多种进行组合的基本任务项。
[0031] 本发明实施例中，对于组合任务的任务组合方式，可以按照上述四种并行执行方式中的一种或多种进行组合，一系列基本任务项可以组成一个组合任务，组合任务进一步可以组合成为更大的组合任务。这种组合方式在规模上不受限制，可以用来从基本软件单元形成任意复杂的组合任务。
[0032] 优选地，基于任务执行方式和数据依赖生成任务的有向执行图包括：
[0033] 基于并行方式对组合任务构造图，其中，每一个基本任务项对应一个图的
节点，每一个组合任务对应一个图的子图；及
[0034] 在图的节点之间连接图的边，其中，对任意命名的输入和输出，从产生输出的节点连接一条边到使用命名的输入的节点。
[0035] 优选地，基于并行方式对组合任务构造图包括：
[0036] 对于按照第一执行方式进行组合的组合任务，为串行执行的每个基本任务产生一个节点，从上一个节点连接一条边到下一个节点，定义第一个节点为子图的开始节点，最后一个节点为子图的结束节点，并将上一个组合任务的子图的结束节点连接到下一个组合任务的子图开始节点；
[0037] 对于按照第二执行方式、第三执行方式或第四执行方式进行组合的组合任务，对每个分支构造分支子图，组合任务的子图为分支子图的合集，组合任务子图的开始节点为多个分支子图开始节点的合集，组合任务子图的结束节点为多个分支子图结束节点的合集。
[0038] 优选地，基于有向执行图的拓扑顺序执行有向执行图包括：
[0039] 判断开始节点，包括：选择一个节点为第一节点，判断若无其他节点通过边指向第一节点，则第一节点为开始节点，若存在第二节点通过边指向第一节点，则继续判断第二节点是否为开始节点；及
[0040] 从开始节点开始依次执行图的节点。
[0041] 优选地，执行图的节点包括：
[0042] 准备执行环境，使用容器技术为每个节点的应用软件单元实例化一个完全匹配的执行环境；
[0043] 命名输入输出实例化，根据图的边的关系，将所有前驱节点的输出数据通过指定的协议加载到对应节点，并替换执行命令中的输入输出到具体数据路径；
[0044] 启动基本任务项描述的命令执行用户的应用软件的容器；及
[0045] 判断节点是否执行完成，若完成，则通知执行引擎基于图的拓扑顺序执行后续节点。
[0046] 优选地，命名输入输出实例化包括：
[0047] 自动为每个分支维护一个从名字到数据路径的输入输出映射表，其中数据路径对用户透明且由程序执行引擎自动计算和调度；
[0048] 当输出数据到第一名称时，执行引擎更新输入输出映射表并将第一名称指向数据路径；
[0049] 当输入数据引用第二名称时，执行引擎从输入输出映射表中查找第二名称，并获取最新的数据路径；及
[0050] 当输出数据到第三名称时，若输入输出映射表中包括对于第三名称的映射，则更新映射并执行新的数据。
[0051] 本发明的有益效果如下：
[0052] 本发明中，对打包的应用软件容器用四种并行方式组合起来，使得若干个容器通过共享存储交互实现任意复杂的功能，使得应用软件不加
修改具备了大规模并行处理能力；根据命名输入输出的数据依赖和并行执行模式自动构造任务执行的有向图，并按照有向图的拓扑顺序执行，解决数据依赖，保证了超大规模并行执行程序的正确性；在程序执行的过程中，自动维护数据名字到数据路径的映射，为每个任务自动构造输入和输出数据的路径，简化了用户编程。
附图说明
[0053] 下面结合附图对本发明的具体实施方式作进一步详细的说明。
[0054] 图1示出一种数据驱动的用户透明的可扩展编程方法
流程图。
[0055] 图2示出基于JSON格式的并行程序示例。
[0056] 图3示出第一基本单元执行后子分支映射表。
[0057] 图4示出第二基本单元执行后子分支映射表。
[0058] 图5示出第三基本单元执行后主分支映射表。
[0059] 图6示出第三基本单元执行后子分支映射表。
[0060] 图7示出有向执行图结构示意图。
具体实施方式
[0061] 为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
[0062] 本发明的
说明书和
权利要求书及上述附图中的属于“第一”、“第二”等是用于区别不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何
变形，意图在于
覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法或设备固有的气体步骤或单元。
[0063] 一种数据驱动的用户透明的可扩展编程方法，该方法包括构建用户程序和执行用户程序，其中构建用户程序包括构建用户软件单元，构建基本任务项及组合任务，定义命名的输入和输出规则和确定任务执行方式；执行用户程序包括基于任务执行方式和数据依赖生成任务的有向执行图，基于有向执行图的拓扑顺序执行有向执行图和命名输入输出的实例化。
[0064] 具体地，用户软件单元可以是用户独立开发或者已经开发完成的应用软件，用户使用任意编程语言编制自己的软件或者程序，处理任意复杂的工作，并使用标准的容器技术进行打包，成为用户软件单元。基本任务项用于描述使用用户软件单元从已有数据生成新数据的方式，其可以是在用户按软件单元可以执行的任何命令。基本任务项接收数据输入并产生数据输出。
[0065] 定义命名的输入和输出规则包括为用户程序的任一数据定义一唯一名称及基本任务项用于通过唯一名称引用和访问已有数据，还用于生成新数据并为新数据命名一唯一名称。
[0066] 应注意的是，数据的存储方式和访问方式不受限制，只需保证数据和用户软件单元兼容即可。
[0067] 任务执行方式包括第一执行方式，第二执行方式，第三执行方式和第四执行方式，其中：
[0068] 第一执行方式为串行执行方式。在第一执行方式中一组基本任务项按照指定的顺序依次执行，下一任务在上一任务执行完成后开始执行，每个任务可以引用前面任务的命名输出，一个串行执行的任务流定义为一个串行执行分支。
[0069] 第二执行方式为拆分数据并行执行方式。在第二执行方式中将指定的一组输入数据按照规则分成若干个分支，并行执行若干个分支，若干个分支中的每个分支采用第一执行方式执行。将指定的一组输入数据按照规则分为若干个数据组，并行启动若干个串行执行分支，每一个分支串行执行一组基本任务，并处理一个数据组。不同的串行执行分支互不影响，输入输出的名字仅在同一个分支内有效。
[0070] 第三执行方式为克隆并行执行方式。在第三执行方式中将指定的一组输入数据复制成为若干个分支，在若干个分支上的每个分支上并行执行互不相同的基本任务，互不相同的基本任务中具有相同的输入数据和参数。在同样的数据上并行执行一组任务，每一个任务作为一个单独的分支执行。
[0071] 第四执行方式为分支变量并行执行方式。在第四执行方式中将指定的一组输入数据复制成为若干个分支，在若干个分支上的每个分支上并行执行相同的基本任务，任一基本任务中至少一个参数的取值不同于其他基本任务中参数的取值。在同样的输入数据上并行执行一组基本任务，每一个分支对某个或若干个参数的取值不一样，且不同分支之间执行完全独立。
[0072] 组合任务包括多个按照第一执行方式、第二执行方式、第三执行方式和第四执行方式中的一种或多种进行组合的基本任务项。
[0073] 对于组合任务的任务组合方式，可以按照上述四种并行执行方式中的一种或多种进行组合，一系列基本任务项可以组成一个组合任务，组合任务进一步可以组合成为更大的组合任务。这种组合方式在规模上不受限制，可以用来从基本软件单元形成任意复杂的组合任务。
[0074] 基于任务执行方式和数据依赖生成任务的有向执行图包括：基于并行方式对组合任务构造图，其中，每一个基本任务项对应一个图的节点，每一个组合任务对应一个图的子图；及在图的节点之间连接图的边，其中，对任意命名的输入和输出，从产生输出的节点连接一条边到使用命名的输入的节点。
[0075] 基于并行方式对组合任务构造图包括：对于按照第一执行方式进行组合的组合任务，为串行执行的每个基本任务产生一个节点，从上一个节点连接一条边到下一个节点，定义第一个节点为子图的开始节点，最后一个节点为子图的结束节点，并将上一个组合任务的子图的结束节点连接到下一个组合任务的子图开始节点；及对于按照第二执行方式、第三执行方式或第四执行方式进行组合的组合任务，对每个分支构造分支子图，组合任务的子图为分支子图的合集，组合任务子图的开始节点为多个分支子图开始节点的合集，组合任务子图的结束节点为多个分支子图结束节点的合集。
[0076] 基于有向执行图的拓扑顺序执行有向执行图包括：判断开始节点，包括：选择一个节点为第一节点，判断若无其他节点通过边指向第一节点，则第一节点为开始节点，若存在第二节点通过边指向第一节点，则继续判断第二节点是否为开始节点；及从开始节点开始依次执行图的节点。
[0077] 执行图的节点包括：准备执行环境，使用容器技术为每个节点的应用软件单元实例化一个完全匹配的执行环境；命名输入输出实例化，根据图的边的关系，将所有前驱节点的输出数据通过指定的协议加载到对应节点，并替换执行命令中的输入输出到具体数据路径；启动基本任务项描述的命令执行用户的应用软件的容器；及判断节点是否执行完成，若完成，则通知执行引擎基于图的拓扑顺序执行后续节点。
[0078] 命名输入输出实例化包括：自动为每个分支维护一个从名字到数据路径的输入输出映射表，其中数据路径对用户透明且由程序执行引擎自动计算和调度；当输出数据到第一名称时，执行引擎更新输入输出映射表并将第一名称指向数据路径；当输入数据引用第二名称时，执行引擎从输入输出映射表中查找第二名称，并获取最新的数据路径；及当输出数据到第三名称时，若输入输出映射表中包括对于第三名称的映射，则更新映射并执行新的数据。
[0079] 本发明实施例中，根据命名输入输出的数据依赖和并行执行模式自动构造任务执行的有向图，并按照有向图的拓扑顺序执行，解决了数据依赖问题，保证了超大规模并行执行程序的正确性。
[0080] 下面以一个具体并行程序为例进行说明
[0081] 如图2所示，该程序描述的是一个简单的日志处理和报告程序。其中有三个基本单元：
[0082] 1.第一个基本单元(MergeInputLogs)：调用用户写的软件UserMergeProg对一组输入日志文件进行合并，并生成一个合并后的文件。其中程序和合并方法由用户自己用特定语言写成，没有任何限制。生成文件的格式也由用户自己决定。
[0083] 2.第二个基本单元(FillterLogs)：调用用户的软件UserFilterProg处理一个输入文件，过滤掉不需要的内容，生成一个新的文件。过滤方法和文件格式由用户程序自身决定。
[0084] 3.第三个基本单元(MakeReport)：调用用户的软件UserReport接受一个或者多个日志文件，然后生成一个报表文件。
[0085] 整个程序执行的过程为：
[0086] a.第一、二个基本单元组合成一个组合任务，以拆分数据的方式并行执行。其中拆分的方式是从某一个文件目录下读取所有文件，根据MatchPattern选择所有后缀“.log”的文件，根据模式“Test*_”匹配文件名，匹配的内容相同的文件分为一组。每一组文件启动一个并行分支，每个分支依次执行两个基本单元。其中第一个基本单元接受该文件组中的所有文件，产生一个合并后的文件。第二个基本单元输入为第一个基本单元产生的合并文件，生成一个过滤文件。
[0087] b.当前一个步骤中产生的所有分支都执行结束后，则执行第三个基本单元。输入为前面所有分支的产生的过滤文件，输出为一个报表。
[0088] 在上述过程的执行过程中，每个分支维护一个输入/输出映射表。其中“mergelog”，“filterlog”和“report”都是命名的输入/输出。输入输出映射表随着程序执行更新如下。
[0089] 假定文件目录下只有一组文件，因此只会产生一个子分支，整个程序有一个主分支。
[0090] 1)第一个基本单元执行前，表为空。
[0091] 2)第一个基本单元开始执行，创建一个子分支，执行完毕后：
[0092] (1)主分支映射表为空
[0093] (2)子分支映射表如图3所示
[0094] 3)第二个基本单元在子分支中执行，它的输入“$input.mergelog”被解析成了文件“/xx/yy/…/zz/filegroup1.mergelog”。完毕后：
[0095] (1)主分支映射表为空
[0096] (2)子分支映射表如图4所示
[0097] 4)第三个基本单元执行，它的输入“$inputs.filterlog”被解析为前面所有子分支的名字为“filterlog”的输出，此例中是“/xx/yy/…/zz/filegroup1.filterlog”。完毕后：
[0098] (1)主分支映射表如图5所示
[0099] (2)子分支映射表如图6所示
[0100] 进一步地，如图7所示，假设上述例子中的输入目录下有6个文件:Test1_time1.log，Test1_time2.log，Test2_time1.log，Test2_time2.log，Test3_time1.log和Test3_time2.log。
[0101] 程序将文件分成三组，并构造出有向执行图如下：
[0102] 按照拓扑顺序执行上述有向图来执行。
[0103] A.所有没有边指向关系的节点都可以并行执行。因此1，2，3可以并行执行，4，5，6可以并行执行。
[0104] B.所有存在边的节点都必须按照顺序执行。例如4，5，6必须在7之前执行。1必须在4之前执行。
[0105] C.最后7执行的结果就是用户需要的最终结果。其中UserMergeLog，UserFilterLog和MakeReport都可以是任意的用户程序，即用户软件单元，完全由用户自己编写，编译。
[0106] 本发明使得应用软件可以不加修改获得大规模的并行性。避免了应用软件开发人员为了获得并行性和某种编程接口绑定。应用软件开发人员可以自由使用开发工具，不用针对特定的语言再开发，极大的节省了开发成本和投入。
[0107] 本发明提高了应用软件提供商和计算平台的协作效率。使用容器技术使得应用软件开发商自由的以二进制方式发布程序，不需要考虑兼容性问题。同时也保护了应用软件提供商的知识产权，使得协作更简单。
[0108] 本发明可用于从简单串行模
块构造超大规模的计算平台和系统。
[0109] 显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
