技术领域
[0001] 本
发明涉及计算机
软件测试领域，设计了一种为
指定的程序路径自动生成测试数据的新方法。该方法区别于原有方法的特色在于，生成的测试数据能有效暴露被测程序中的缺陷。
背景技术
[0002] 软件测试是保障软件
质量的重要手段，分为静态测试和动态测试，都是为了发现程序代码中可能存在的缺陷，但是前者不执行程序代码，而后者则基于测试数据运行程序代码，测试数据的生成是该类测试的关键。软件自动测试的核心是在短时间内不通过大量的
采样，生成有效的测试数据，以发现软件存在的缺陷，如何自动生成软件的测试数据成为
软件工程界非常重要的研究课题。
[0003] 按照生成测试数据所依据的信息来源，动态测试又分为
黑盒测试、
白盒测试，以及二者融合的测试，其中，黑盒测试面向软件的功能，而白盒测试面向程序的结构。路径覆盖测试属于白盒测试，它要求产生的测试数据尽可能覆盖程序的所有路径。单锦辉等认为，许多软件测试问题都可以归结为路径覆盖测试的数据生成问题，该问题描述为：给定程序的一条目标路径，在程序的输入空间中寻找测试数据，使得以该数据为输入，所经过的路径为目标路径，并在中国
专利说明书CN1402133(2003年3月12日公布)公开的发明专利中给出了一种路径覆盖测试数据的自动生成方法。该方法能保证生成测试数据穿越目标路径，但是并不能保证生成的测试数据发现被测程序中的缺陷。
[0004] 在路径覆盖的软件测试中，一个缺陷(故障)能否被检测出，除了取决于测试数据外，还与该缺陷被检测出的概率大小密切相关。宫
云战等认为对于软件中的所有缺陷而言，通常以缺陷检测的百分比衡量软件测试的效率。容易知道，一般的路径覆盖测试方法难以检测出小概率缺陷，鉴于此，宫云战等提出了面向故障的软件测试方法；研究了
软件缺陷相关问题；给出了内存泄露静态检测模型、JAVA语言中数组越界的故障模型和非法计算故障的通用检测模型，建立了基于软件缺陷模型的测试系统。该方法属于缺陷的静态查找方法，往往会错报或(和)漏报一些缺陷。近年来，关于软件缺陷的研究成果很多，缺陷查找除了静态方法以外，还有动态方法，如王青等研究和讨论了软件缺陷预测技术，对典型的软件缺陷的分布模型给出了案例研究；Arcuri提出将被测程序和单元测试联合进化，达到自动修复程序中的缺陷的目的；Novark等设计了一个能自动高效纠正C和C++中内存错误的系统；刘海等根据软件缺陷管理的一般目标和过程，提出软件缺陷数据定义的准则和缺陷管理工具应具有的特性，并举例说明了缺陷数据定义的方法。总体看来，动态方法虽然能比较准确的检测缺陷，但是，基于程序的实际运行使得该方法的缺陷检测时间变长。
[0005] 软件测试的主要目的是发现被测程序中存在的缺陷。缺陷的表现形式很多，有些缺陷直接导致程序不能正常运行或是可以被编译系统发现，这类缺陷也同样容易被软件开发人员发现从而得到修正，因此投入测试的被测程序中一般不包含这类缺陷；有些缺陷隐含在被测程序中不能被编译系统检测出来，不影响程序的运行，只要测试数据穿越该缺陷所在的路径，就会被引发，从而导致程序运行结果不正确，因而也容易被测试数据发现；还有一类缺陷，不能被编译系统检测出来，而且不是穿越该缺陷所在路径的测试数据都能发现它，需要特殊的测试数据才能将其有效地检测出来，这类缺陷被称为小概率缺陷，因此生成能有效检测小概率缺陷的测试数据将对软件测试工作具有巨大的意义。已有的路径覆盖测试数据生成方法虽然能生成穿越目标路径的测试数据，但是未必能发现被测程序隐含在目标路径中的缺陷，尤其是小概率缺陷。考虑到生成路径覆盖的测试数据需要插装并运行被测程序，本发明在被测程序中也插装关于各类故障的检测函数，那么，生成测试数据覆盖目标路径的同时，也检测该数据能否发现目标路径中的缺陷，在穿越目标路径的数据中选择暴露缺陷个数多、危险程度大的作为最终测试数据，使生成测试数据的质量大大提高。
发明内容
[0006] 本发明提出一种面向缺陷的路径覆盖测试数据进化生成方法。首先，以测试数据执行被测程序过程中发现的缺陷个数最多、缺陷的危险程度最大为目标，以该数据穿越的路径必须是目标路径为约束，建立面向缺陷的路径覆盖测试数据生成问题的数学模型；然后，设计了约束多目标优化方法解决该问题，用遗传
算法进化生成测试数据。
[0007] 本发明所要解决的技术问题：克服现有路径覆盖测试数据生成方法的不足，基于
遗传算法提出一种有效的进化优化方法，使生成的测试数据不仅穿越目标路径，而且能尽可能多地发现目标路径中的缺陷。
[0008] 本发明的技术解决方案：一种基于遗传算法的面向缺陷的路径覆盖测试数据生成方法，其特征在于包含以下步骤：
[0009] 步骤1.数学模型的建立
[0010] 以测试数据为程序输入执行被测程序时发现的缺陷个数最多、缺陷的危险程度最大作为优化目标，以测试数据穿越路径与目标路径的层接近度为1(即为目标路径)作为约束，建立面向缺陷的路径覆盖测试数据生成问题的数学模型如下：
[0011]
[0012]
[0013]
[0014] 其中x为由被测程序的输入构成的决策变量，p(x)为以决策变量x为输入数据运行被测程序时穿越的路径，|p(x)|表示路径p(x)的
节点个数，ri表示运行x时穿越路径的的第i个节点上发现的缺陷个数，f1(x)表示统计以决策变量x为输入执行被测程序时发现的缺陷个数总和；ηij表示在第i各节点的第j个缺陷的危险程度，∨表示取大运算，f2(x)表示统计决策变量x发现被测程序中的缺陷的最大危险程度；α(x)表示x穿越路径与目标路径p0比较从前向后相同节点的个数，约束条件 表示要求决策变量穿越路径就是目标路径。
[0015] 此模型将路径覆盖测试数据生成问题转化为一个多目标约束优化问题。即优化的目的是要在穿越目标路径的情况下选择发现缺陷多的，危险程度大的最优解作为最终的测试数据。
[0016] 可以看出，虽然目前已有的一些路径覆盖测试数据生成方法也将测试数据生成问题建模成(含有约束的)多目标优化问题，但是，它们没有将缺陷，特别是缺陷的个数或(和)缺陷的危险程度作为目标函数，因此，对于“检测缺陷”这一目的来讲，它们的目的性不强。本发明建立的含约束多目标优化问题的数学模型，将缺陷个数、缺陷的危险程度作为目标函数，就是为了生成能检测缺陷的测试数据，因此，本文的数学模型目的性更强，这是本发明与已有研究成果的明显区别。
[0017] 步骤2.优化方法设计
[0018] 本发明采用遗传算法求解上述的约束多目标优化问题。在遗传算法中，为了比较不同进化个体的优劣，需要设计一个能反映个体优劣的适应值函数。一般来讲，进化个体的适应值与要优化的目标函数密切相关，对于上述含有约束的多目标优化问题，本发明采用将约束多目标优化问题转化为约束单目标优化问题。对每一个目标采用Gen等人提出的自适应权重方法先将每个目标进行适当的调整后，仍记调整后的目标函数为f1(x)和f2(x)，再进行加权求和计算得到优化的目标函数。将约束转
化成惩罚项ψ(x)加入到目标函数中。具体表示如下：
[0019] F(x)＝w1f1(x)+w2f2(x)+w3ψ(x)
[0020] 其中w1，w2和w3分别是归一化后的目标函数，ψ(x)是约束转化成的罚函数。
[0021] 步骤3.使用遗传算法进化生成测试数据
[0022] 本发明采用步骤2所述的进化优化方法，借助遗传算法进化生成测试数据，具体步骤如下：首先，在程序的输入空间随机生成一定数量的输入数据，对其分别进行编码成为进化个体作为初始种群，然后循环执行以下操作：将解码后的进化个体作为程序的输入，执行插桩后的被测试程序；如果没达到终止条件则通过适应度函数评价进化个体的优劣，并采用遗传算子生成新的进化种群。如此反复，解码后的最优解就可能是穿越目标路径的测试数据。
[0023] 本发明解决的是面向缺陷的路径覆盖测试数据生成问题，在生成路径覆盖的测试数据的同时，直接查找程序中的缺陷，针对性强。评价数据时一次运行程序代码既确定了该数据穿越的路径，又判断和统计了该数据能发现的缺陷个数和缺陷危险程度，综合考虑两方面因素生成的测试数据效率更高，从根本上解决了原有路径覆盖测试数据生成方法能保证生成穿越目标路径的测试数据，但是较难发现路径中隐藏的缺陷的弱点。可用于白盒测试的测试数据生成中，也可以用于回归测试中生成能证明缺陷是否得到修正的测试数据，能有效提高测试数据的质量，从而提高软件测试的效
力。
附图说明
[0025] 图2是遗传算法流程图。
[0026] 图3是不含缺陷的示例程序。
[0027] 图4是含有缺陷语句的示例程序。
[0028] 图5是插装了缺陷检测语句的示例程序。
具体实施方式
[0029] 下面结合具体附图和实例对本发明的实施方式进行详细说明。
[0030] 步骤1.数学模型的建立
[0031] 1.1决策变量
[0032] 考虑某被测程序，由于不同的输入数据将穿越程序的不同路径，并可能检测该路径上的不同缺陷，因此，在建立面向缺陷的路径覆盖测试数据生成问题的数学模型时，选择被测程序的输入作为决策变量，记为x＝(x1，x2，…，xn)，其中，n为运行被测程序需要输入的数据个数，xi，i＝1，2，…，n为输入数据的分量，可以是实数、整数，甚至是字符等，比如，在5个整数的冒泡排序程序中，n＝5，xi，i＝1，2，…，5为整数。
[0033] 1.2约束函数
[0034] 计算层接近度时路径的表示方法参考了Ahmed等人在2008年《Computers & OperationsResearch》第35期发表的文章“GA-based multiple paths test data generator”中的方法，但根据实际情况对其进行了简化。
[0035] 如图3所示冒泡排序程序，当N＝2时，若测试数据是{5，8}，则穿越路径可以完整表示为：{①T①T①F②T③T④F③F②F}。若测试数据是{8，5}，其穿越的路径可表示成{①T①T①F②T③T④T③F②F}，可见，对于冒泡排序程序，当N固定后，所有的测试数据穿越路径节点顺序相同，且节点①、②、③的执行结果相同，只有节点④是不同的，所以可将路径简化成只包含节点④的判断结果，上述测试数据{5，8}穿越的路径可以简化表示成{F}，而测试数据是{8，5}穿越的路径可以简化表示成{T}。又用“1”表示“T”，用“0”表示“F”，前述两个测试数据穿越的路径可以分别表示为{0}和{1}。
[0036] 再如当N＝3时，节点④被执行2+1＝3次，若个体数据为{8，5，1}，其穿越的路径可以简化表示成{111}，代表3次执行节点④结果都是真。
[0037] 标记目标路径为p0，有|p0|个节点，其中，|·|表示路径所含节点的个数。记决策变量x穿越的路径为p(x)。从p(x)的第一个节点开始，比较p(x)与p0的节点是否相同，并计算相同节点个数，记为α(x)，那么，p(x)与p0的层接近度可以表示为 如上所述，若N＝3时目标路径表示为：{111}，某测试数据穿越路径为：{110}，则节点个数|p0|＝3，两个路径相同节点数α(x)＝2，则层接近度为：
[0038] 由于目的是找到穿越目标路径并能检测到更多缺陷的测试数据，因此，本发明用测试数据穿越路径与目标路径的接近程度，即层接近度为1(即测试数据穿越路径与目标路径完全相同)作为约束，则约束条件为：
[0039]
[0040] 1.3与缺陷相关的目标函数
[0041] 缺陷模式与编程语言相关，不同的编程语言会有完全不同的缺陷模式。宫云战等在2008年出版的《软件测试
教程》中提到了C或C++编程语言的缺陷模式，本发明以其中的5种类型为例：
[0042] 使用未初始化变量缺陷(Uninitialized Variable Fault，UVF)：如果在程序的某一条路径上使用前面没有被赋初值的变量，那么，就存在使用未初始化变量缺陷。
[0043] 数组越界缺陷(Out of Bounds Array Access Fault，OBAF)：假设程序中定义了数组A[m]，如果引用A[i]，且i＜0或者i≥m，那么，就存在数组越界缺陷。
[0044] 空
指针使用缺陷(Null Pointer Dereference Fault，NPDF)：如果引用空指针，或者给空指针赋值，那么，就存在空指针使用缺陷。
[0045] 非法计算缺陷(Illegal Computing Fault，ILCF)：如果程序执行不允许的计算，那么，就存在非法计算缺陷。
[0046] 数据溢出缺陷(Data Overflow Fault，DOF)：如果有可能导致数据溢出的计算，那么，就存在数据溢出缺陷。
[0047] 不同的缺陷对软件的影响程度(危害程度)不同，有的会导致程序运行错误，有的会终止程序运行。鉴于此，将不同缺陷对软件的危害程度分别用“高”、“低”等语言表示，并分别采用0.9、0.5等数值进行量化，不同缺陷的危险程度及其量化值如下表：
[0048]
[0049] 现在考虑被穿越的路径上检测出的缺陷。p(x)包含|p(x)|个节点，如果第i个节点的语句体中检测出γi个缺陷，其危险程度分别为ηi1，ηi2，…， 那么，该节点的语句体中检测出的缺陷的最大危险程度为ηi1∨ηi2∨… 这里，“∨”表示取大运算，这样一来，p(x)上检测出的缺陷个数为：
[0050]
[0051] p(x)上检测出的缺陷的危险程度为：
[0052]
[0053] 由于生成测试数据的目标是查找穿越目标路径同时能检测到较多缺陷的测试数据，一个测试数据检测出的缺陷越多，并且检测出的缺陷的危险程度越高，该测试数据的质量就越高，面向缺陷的路径覆盖测试数据生成问题的数学模型可以表示为：
[0054]
[0055]
[0056]
[0057] 步骤2.优化方法设计
[0058] 2.1将多目标函数加权求和转化成单目标函数
[0059] 考虑到缺陷个数和缺陷的危险程度之间是不矛盾的，因此，采用加权求和将这两个目标函数转化为一个目标函数，从而将约束多目标优化问题转化为约束单目标优化问题。由于不同的目标函数有不同的取值范围，为了在加权单目标函数中均衡不同目标的影响，本发明采用Gen等提出的自适应权重方法，对于每一个目标，基于当前种群的最大值和最小值进行适当的调整，使得调整后的目标函数的取值在[0，1)中。为此，考虑进化过程中的某一代种群，其第i个目标函数的最大值和最小值分别为 和 个体x的第i个目标函数调整前后分别为fi(x)和fi′(x)，则有：
[0060] i＝1，2 (2)
[0061] 式中，ε是一个小的正数，保证式(2)的分母大于零。在不引起混淆的情况下，仍记调整后的第i个目标函数为fi(x)。
[0062] 为了平衡两个目标函数的权重，设定它们的权重系数分别为w1和w2，这样一来，决策变量x的加权单目标函数为：
[0063] f(x)＝w1f1(x)+w2f2(x)
[0064] w1和w2的值可以根据具体被测程序的情况确定。
[0065] 2.2基于罚函数方法的约束函数处理
[0066] 在含有约束的多目标进化优化中，通常采用一定的策略把约束函数表示在目标函数中，其中，最常采用的策略是罚函数，即决策变量对约束的满足程度通过惩罚项体现，本发明即采用该策略，记惩罚项为ψ(x)，其表达式为：
[0067]
[0068] 容易看出，如果被穿越的路径与目标路径相同， 那么ψ(x)＝0，在目标函数中不体现该惩罚项，不惩罚该测试数据；相反，如果被穿越的路径与目标路径不同，则ψ(x)＜0，通过目标函数中的惩罚项惩罚该测试数据，而且测试数据穿越路径与目标路径差别越大，惩罚越严重。
[0069] 本发明采用遗传算法求解式(1)描述的约束多目标优化问题。在遗传算法中，为了比较不同进化个体的优劣，需要设计一个能评价个体好坏的适应值函数。一般来讲，进化个体的适应值与要优化的目标函数密切相关，对于含有约束的优化问题，通常采用一定的方法，将约束包含在目标函数中，标记决策变量x对应的适应值为F(x)，那么，F(x)可表示为：
[0070] F(x)＝w1f1(x)+w2f2(x)+w3ψ(x) (3)
[0071] 其中w3为针对惩罚项的权重，需要根据具体被测程序事先确定。
[0072] 步骤3.使用遗传算法进化生成测试数据
[0073] 如图1所示，在生成测试数据之前需要对被测程序进行检测路径的插装和检测缺陷的插装。检测路径的插装采用常用的插装方法，下面介绍检测几种类型缺陷的插装方法。
[0074] 3.1检测缺陷的插装方法
[0075] (1)使用未初始化变量缺陷(UVF)
[0076] 程序中人为设定一个变量未初始化变量，除了出现在赋值表达式左边的变量，判断其他
位置使用的变量是否与该变量相同，如果相同，则存在变量未初始化缺陷，如果不同则不存在，不同类型的各定义一个。
[0077] 如对程序中的整型变量i和字符型变量c判断是否使用未初始化变量i和c，可在程序中插装如下代码：
[0078] 在定义部分插装int uvfi；char uvfc；
[0079] 在程序中出现i或c的地方分别插装如下语句进行判断：
[0080] if(i＝＝uvfi){存在UVF，进行相应的处理}；
[0081] if(c＝＝uvfc){存在UVF，进行相应的处理}；
[0082] (2)数组越界缺陷(OBAF)
[0083] 首先，在需要判断数组越界的被测程序中，插装一个如下的带参数的宏定义：
[0084] #define OBAF(j，N)(j＞＝0&&j＜N)？j：(c[k]++，(w＝(w＞0.5？w：0.5))，j)
[0085] 其中j为要判断的数组下标，N为数组的上界，(c[k]++，(w＝(w＞0.5？w：0.5))，j)处理有越界的情况，k为分支节点的序号，c[k]标记发现缺陷的个数，w记录发现缺陷的最大危险程度，w＝(w＞0.5？w：0.5)对缺陷的危险程度w进行取大运算，因为越界的危险程度是0.5，如果当前缺陷的危险程度比0.5小，那么w＝0.5；否则，w值不变；
[0086] 然后在使用数组元素的语句处，例如原语句为printf(“％d”，a[i])；语句中有个对含有5个元素的数组a中元素的使用，为了检测该语句在运行中是否存在数组越界缺陷，做如下插装处理，带下划线为插装部分：
[0087] printf(“％d”，a[OBAF(i，5)])；
[0088] (3)空指针使用缺陷(NPDF)
[0089] 通过与空指针常量的比较来判断此类缺陷。例如，假设p是一个指针变量，q是一个同类型的空指针，要检查p是否是一个空指针，可以采用插装如下语句来判断：
[0090] if(p＝q){存在NPDF，进行相应的处理}；
[0091] (4)非法计算缺陷(ILCF)
[0092] 此类故障表现形式较多，如存在除运算或求余运算时除数为0都不能运行，在调试时可以直接发现，不需要我们考虑；但是对于对数自变量为0或负数，以及根号内为负数的故障系统内不报错，能运行，运算结果却为一个无效数字，即“-1.#IND00”，对其进行任何计算都是这个值；可以使用系统函数_isnan来判断，该函数的形式为：int_isnan(double x)；当x是一个无效值时，返回非零值，否则返回0。
[0093] 例如要判断一结果值a是否是无效值，插装
[0094] if(_isnan(a)！＝0){存在ILCF，进行相应的处理}；
[0095] (5)数据溢出缺陷(DOF)
[0096] C或C++语言中，短整型数据的范围是[-32768，32767]，如果某个短整型变量超出这个范围，就会出现溢出现象，这种缺陷虽然程序能够运行，但是，运行结果却是严重错误的。根据溢出的运算具有不可逆的特点，对每个运算的结果进行逆运算，如果逆运算结果正确，说明没有数据溢出发生；否则，说明有数据溢出缺陷。例如，假设a、b、s均为短整型变量，a＝32767，b＝1，赋值语句为s＝a+b。由于a+b超过32767，因此，出现数据溢出现象，系统将溢出结果-1赋给s，此时，s-b不等于a，因此，判断此类缺陷可以通过插装如下语句：
[0097] if(s-b！＝a){存在DOF，进行相应的处理}；
[0098] 以数据溢出缺陷和数组越界缺陷为例，图4显示了含有这两类缺陷的被测程序，图5显示了检测这两类缺陷的插装实例。
[0099] 3.2遗传参数的设置及终止运行条件
[0100] 对于插装后的被测程序选择了目标路径后，本发明使用遗传算法进化生成测试数据。如图2所示，需要先设定遗传参数，以及算法终止运行条件。本发明采用轮盘赌方式选择，单点交叉，单点变异，交叉概率和变异概率分别为0.9和0.3，根据具体被测程序输入数据的类型选择实数编码或是二进制编码。
[0101] 进化过程中如果生成了穿越目标路径的测试数据就结束算法的运行；另外，如果达到事先设定的一定运行代数还没有找到测试数据，则认为该路径可能为不可行路径，也结束算法的运行。
[0102] 3.3遗传算法具体步骤
[0103] 如图2所示，遗传算法的具体步骤描述如下：
[0104] (1)对算法所需的控制参数赋值，编码被测程序的语句，确定目标路径，插装被测程序；
[0105] (2)初始化种群；
[0106] (3)解码进化个体，执行插桩后的被测程序，根据式(3)计算进化个体适应值；
[0107] (4)判断是否满足算法终止条件，若满足，转(6)；
[0108] (5)实施选择、交叉和变异等遗传操作，生成子代种群，转(3)；
[0109] (6)终止算法运行，输出测试数据、穿越的路径以及检测到的缺陷。
[0110] 本发明提出了一种面向缺陷的路径覆盖测试数据进化生成方法，该方法使用遗传算法生成能检测出指定类型缺陷的测试
用例。
