技术领域
[0001] 本
发明涉及软件测试领域，特别是涉及一种软件版本性能评估方法及装置。
背景技术
[0002] 软件性能是软件的一种非功能特性，其表征的是在完成相应功能时展示出来的及时性、可靠性、以及对资源的消耗量等。
[0003] 软件在开发和维护阶段会构建许多版本，各个软件版本的性能测试是软件测试的重要环节。软件版本的性能指标包括很多，例如CPU、Handle Count、Page Faults、Private Bytes、Virtual Bytes以及Working Set等。
[0004] 量化是指综合考虑软件性能的各个指标，通过的具体数字来表示软件版本性能的优劣，让模糊的内容具体化，使得版本间更有可比较性。由于感受软件性能的主体是人，不同的人对于同样的软件能有不同的主观感受，而且不同的人对于软件性能关心的视
角也不同，造成软件性能评估结果差异较大，即软件性能难以量化。
发明内容
[0005] 本发明的目的是提供一种软件版本性能评估方法及装置，以解决现有软件性能难以量化的问题。
[0006] 为解决上述技术问题，本发明提供一种软件版本性能评估方法，该方法包括：
[0007] 获取待评估软件的测试
用例运行期间的各个预设软件性能评估指标的数据；
[0008] 根据所述数据，计算各个所述预设软件性能评估指标的均值；
[0009] 根据所述均值和所述待评估软件的多个历史版本的均值，形成各个所述预设软件性能评估指标的标准正态分布；
[0010] 根据所述均值位于所述标准正态分布的区间，利用预设的区间分值对应关系，计算出各个所述预设软件性能评估指标的分值；
[0011] 根据所述分值以及各个所述预设软件性能评估指标的预设权重，加权平均计算出所述待评估软件的当前版本的性能评估分值。
[0012] 可选地，在所述获取待评估软件的测试用例运行期间的各个预设软件性能评估指标的数据之前还包括：
[0013] 在多个软件领域内的专家对各个所述预设软件性能评估指标打分之后，获取权重分值；
[0014] 根据所述权重分值，计算出各个所述预设软件性能评估指标的所述预设权重。
[0015] 可选地，所述预设软件性能评估指标包括Processor Time、Handle Count、Page Faults、Private Bytes、Virtual Bytes以及Working Set。
[0016] 可选地，在所述获取待评估软件的测试用例运行期间的各个预设软件性能评估指标的数据之后还包括：
[0017] 去除所述数据的噪声。
[0018] 此外，本发明还提供了一种软件版本性能评估装置，该装置包括：
[0019] 数据获取模
块，用于获取待评估软件的测试用例运行期间的各个预设软件性能评估指标的数据；
[0020] 均值计算模块，用于根据所述数据，计算各个所述预设软件性能评估指标的均值；
[0021] 正态分布形成模块，用于根据所述均值和所述待评估软件的多个历史版本的均值，形成各个所述预设软件性能评估指标的标准正态分布；
[0022] 分值计算模块，用于根据所述均值位于所述标准正态分布的区间，利用预设的区间分值对应关系，计算出各个所述预设软件性能评估指标的分值；
[0023] 性能评估分值计算模块，用于根据所述分值以及各个所述预设软件性能评估指标的预设权重，加权平均计算出所述待评估软件的当前版本的性能评估分值。
[0024] 可选地，还包括：
[0025] 权重获取模块，用于在多个软件领域内的专家对各个所述预设软件性能评估指标打分之后，获取权重分值；
[0026] 权重设置模块，用于根据所述权重分值，计算出各个所述预设软件性能评估指标的所述预设权重。
[0027] 可选地，所述预设软件性能评估指标包括Processor Time、Handle Count、Page Faults、Private Bytes、Virtual Bytes以及Working Set。
[0028] 可选地，还包括：
[0029] 去噪模块，用于去除所述数据的噪声。
[0030] 本发明所提供的一种软件版本性能评估方法及装置，通过获取待评估软件的测试用例运行期间的各个预设软件性能评估指标的数据；根据数据，计算各个预设软件性能评估指标的均值；根据均值和待评估软件的多个历史版本的均值，形成各个预设软件性能评估指标的标准正态分布；根据均值位于标准正态分布的区间，利用预设的区间分值对应关系，计算出各个预设软件性能评估指标的分值；根据分值以及各个预设软件性能评估指标的预设权重，加权平均计算出待评估软件的当前版本的性能评估分值。本
申请通过性能评估分值评估当前软件版本，即量化软件版本性能，可以剔除评估过程中的主观性干扰；且通过标准正态分布可以对比不同版本性能上的优劣，
定位导致软件版本性能下降的指标以及显示各个性能指标的好坏。
附图说明
[0031] 为了更清楚的说明本发明
实施例或
现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0032] 图1为本发明实施例所提供的软件版本性能评估方法的一种具体实施方式的流程示意图；
[0033] 图2为本发明实施例所提供的软件版本性能评估装置的结构
框图。
具体实施方式
[0034] 为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0035] 请参见图1，图1为本发明实施例所提供的软件版本性能评估方法的一种具体实施方式的流程示意图，该方法包括以下步骤：
[0036] 步骤101：获取待评估软件的测试用例运行期间的各个预设软件性能评估指标的数据。
[0037] 需要说明的是，上述预设软件性能评估指标可以是指预先从多个评估指标中选取出作为软件版本性能评估的指标。优选地，预设软件性能评估指标可以具体为Processor Time、Handle Count、Page Faults、Private Bytes、Virtual Bytes以及Working Set。
[0038] 其中，Processor Time指的是所有线程使用处理器执行指令所花的时间百分比；Handle Count指的是
进程中打开的句柄总数；Page Faults指的是在进程中执行线程造成的页面错误出现的速度；Private Bytes指的是进程不能与其他处理共享的、已分配的当前字节数；Virtual Bytes指的是进程使用的虚拟地址空间的以字节数显示的当前大小；
Working Set指的是被线程最近触到的那个内存页集。
[0039] 当然，预设软件性能评估指标还可以包括其它性能指标，在此不作限定。
[0040] 在运行待评估软件的当前版本时的自动化测试用例前，需要选取确定作为预设软件性能评估指标的性能指标，确定之后，再为所选取的各个性能指标分配权重。
[0041] 作为一种具体实施方式，在上述获取待评估软件的测试用例运行期间的各个预设软件性能评估指标的数据之前还可以包括：在多个软件领域内的专家对各个所述预设软件性能评估指标打分之后，获取权重分值；根据所述权重分值，计算出各个所述预设软件性能评估指标的所述预设权重。
[0042] 可以理解，上述专家的数量可以根据实际需求确定，且
选定专家之后，向其介绍上述待评估软件背景，并且其各个专家匿名对各个预设软件性能评估指标进行打分，然后将打分汇总结果反馈给各个专家，如此进行多轮重复，最终根据各个专家的打分情况，计算出各个预设软件性能评估指标的预设权重。
[0043] 显然，为各个预设软件性能评估指标分配权重可以是在步骤101之前进行，也可以在步骤101之后进行，即在评估过程中进行指标权重分配。
[0044] 由于待评估软件在某些时刻的指标数据不准确，为了保证后续评估过程的准确性，可以对所获取的数据进行去噪操作。
[0045] 作为一种具体实施方式，在上述获取待评估软件的测试用例运行期间的各个预设软件性能评估指标的数据之后还可以包括：去除所述数据的噪声。
[0046] 上述数据为各个预设软件性能评估指标在自动化测试用例在运行期间的每一时刻的数据。例如，当预设软件性能评估指标为Processor Time、Handle Count、Page Faults、Private Bytes、Virtual Bytes以及Working Set时，获取这6个指标在各个时刻的数据，然后取出各个指标数据的异常数据。
[0047] 可以看出，对数据进行去噪操作，可以提高后续评估的准确性。
[0048] 步骤102：根据所述数据，计算各个所述预设软件性能评估指标的均值。
[0049] 步骤103：根据所述均值和所述待评估软件的多个历史版本的均值，形成各个所述预设软件性能评估指标的标准正态分布。
[0050] 可以理解，每一个性能评估指标的均值在多个历史版本张符合正态分布规律，即当前软件版本和多个历史版本的均值符合正态分布，可以根据每一个指标的历史版本均值计算出其对应的标准正态分布的参数，进而转换成其对应的标准正态分布。
[0051] 步骤104：根据所述均值位于所述标准正态分布的区间，利用预设的区间分值对应关系，计算出各个所述预设软件性能评估指标的分值。
[0052] 需要说明的是，上述区间分值对应关系可以是指预先设定的标准正态分布图中的各个区间对应的分值，例如，可以参见表1，表1为
[0053] 表1
[0054]x 分数
(-∞,-1.65) 0
[-1.65,-1.04) 10
[-1.04,-0.68) 20
[-0.68,-0.39) 30
[-0.39,-0.13) 40
[-0.13,0.13) 50
[0.13,0.39) 60
[0.39,0.68) 70
[0.68,1.04) 80
[1.04,1.65) 90
[1.65,+∞) 100
[0055] 在计算出每一个指标的标准正态分布规律之后，可以查看当前版本的均值落在其对应的标准正态分布图中的哪个区间，将其区间对应的分值作为该指标的分值。例如，当某一个指标的均值落在表1中的区间[0.13，0.39)时，其对应的分值为60。依此类推，计算出各个预设软件性能评估指标的分值。
[0056] 步骤105：根据所述分值以及各个所述预设软件性能评估指标的预设权重，加权平均计算出所述待评估软件的当前版本的性能评估分值。
[0057] 本发明实施例所提供的软件版本性能评估方法，通过获取待评估软件的测试用例运行期间的各个预设软件性能评估指标的数据；根据数据，计算各个预设软件性能评估指标的均值；根据均值和待评估软件的多个历史版本的均值，形成各个预设软件性能评估指标的标准正态分布；根据均值位于标准正态分布的区间，利用预设的区间分值对应关系，计算出各个预设软件性能评估指标的分值；根据分值以及各个预设软件性能评估指标的预设权重，加权平均计算出待评估软件的当前版本的性能评估分值。该方法通过性能评估分值评估当前软件版本，即量化软件版本性能，可以剔除评估过程中的主观性干扰；且通过标准正态分布可以对比不同版本性能上的优劣，在整体版本性能下降的情况下，可以定位导致软件版本性能下降的指标；同时可以显示各个性能指标的好坏。
[0058] 下面对本发明实施例提供的软件版本性能评估装置进行介绍，下文描述的软件版本性能评估装置与上文描述的软件版本性能评估方法可相互对应参照。
[0059] 图2为本发明实施例所提供的软件版本性能评估装置的结构框图，参照图2软件版本性能评估装置可以包括：
[0060] 数据获取模块21，用于获取待评估软件的测试用例运行期间的各个预设软件性能评估指标的数据；
[0061] 均值计算模块22，用于根据所述数据，计算各个所述预设软件性能评估指标的均值；
[0062] 正态分布形成模块23，用于根据所述均值和所述待评估软件的多个历史版本的均值，形成各个所述预设软件性能评估指标的标准正态分布；
[0063] 分值计算模块24，用于根据所述均值位于所述标准正态分布的区间，利用预设的区间分值对应关系，计算出各个所述预设软件性能评估指标的分值；
[0064] 性能评估分值计算模块25，用于根据所述分值以及各个所述预设软件性能评估指标的预设权重，加权平均计算出所述待评估软件的当前版本的性能评估分值。
[0065] 可选地，上述评估装置还可以包括：
[0066] 权重获取模块，用于在多个软件领域内的专家对各个所述预设软件性能评估指标打分之后，获取权重分值；
[0067] 权重设置模块，用于根据所述权重分值，计算出各个所述预设软件性能评估指标的所述预设权重。
[0068] 可选地，上述预设软件性能评估指标包括Processor Time、Handle Count、Page Faults、Private Bytes、Virtual Bytes以及Working Set。
[0069] 可选地，上述评估装置还可以包括：
[0070] 去噪模块，用于去除所述数据的噪声。
[0071] 本发明实施例所提供的软件版本性能评估装置，通过性能评估分值评估当前软件版本，即量化软件版本性能，可以剔除评估过程中的主观性干扰；且通过标准正态分布可以对比不同版本性能上的优劣，定位导致软件版本性能下降的指标以及显示各个性能指标的好坏。
[0072] 本
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0073] 专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及
算法步骤，能够以
电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0074] 结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的
软件模块，或者二者的结合来实施。软件模块可以置于随机
存储器(RAM)、内存、
只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、
硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
[0075] 以上对本发明所提供的软件版本性能评估方法及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明
权利要求的保护范围内。
