一种测试脚本的录制方法及装置专利检索-字符用户界面用户界面接口电脑零配件专利检索查询-专利查询网

一种测试脚本的录制方法及装置

阅读：835发布：2020-05-08

专利汇可以提供一种测试脚本的录制方法及装置专利检索，专利查询，专利分析的服务。并且本说明书公开一种测试脚本的录制方法及装置，该方法包括：针对在用户界面内显示的终端映射界面，确定用户在所述终端映射界面内执行的映射操作，所述映射操作包括映射操作类型和映射操作位置，所述映射操作类型包括对终端的可执行操作；根据所述终端映射界面与终端显示界面之间的比例关系，将所述映射操作位置转换为在所述终端显示界面内的终端操作位置；根据包括显示区域的终端控件集合，确定所述终端操作位置所处的目标控件，所述终端控件集合基于终端显示界面进行获取；根据所述目标控件的显示区域、以及所述比例关系，生成针对所述终端映射界面的操作区域；根据所述映射操作类型、以及所述操作区域，录制测试脚本。，下面是一种测试脚本的录制方法及装置专利的具体信息内容。

权利要求

1.一种测试脚本的录制方法，其特征在于，包括：
针对在用户界面内显示的终端映射界面，确定用户在所述终端映射界面内执行的映射操作，所述映射操作包括映射操作类型和映射操作位置，所述映射操作类型包括对终端的可执行操作；
根据所述终端映射界面与终端显示界面之间的比例关系，将所述映射操作位置转换为在所述终端显示界面内的终端操作位置；
根据包括显示区域的终端控件集合，确定所述终端操作位置所处的目标控件，所述终端控件集合基于终端显示界面进行获取；
根据所述目标控件的显示区域、以及所述比例关系，生成针对所述终端映射界面的操作区域；
根据所述映射操作类型、以及所述操作区域，录制测试脚本。
2.如权利要求1所述的方法，其特征在于，根据包括显示区域的终端控件集合，确定所述终端操作位置所处的目标控件，包括：
根据对终端显示界面进行光学字符识别得到的、包括显示区域的终端控件集合，确定所述终端操作位置所处的目标控件。
3.如权利要求1所述的方法，其特征在于，根据包括显示区域的终端控件集合，确定所述终端操作位置所处的目标控件，包括：
当根据包括显示区域的终端控件集合，确定所述终端操作位置所处在至少两个候选控件时，将显示区域最小的控件作为目标控件。
4.如权利要求1所述的方法，其特征在于，根据包括显示区域的终端控件集合，确定所述终端操作位置所处的目标控件，包括：
当根据包括显示区域的终端控件集合，确定所述终端操作位置所处在至少两个候选控件时，分别确定所述终端操作位置距离每个候选控件中心点的距离；
将所述距离最小的控件，确定为目标控件。
5.如权利要求1所述的方法，其特征在于，根据所述映射操作类型、以及所述操作区域，录制测试脚本之前，所述方法还包括：
对所述映射操作类型进行编辑，生成编辑后的映射操作类型；则
根据所述映射操作类型、以及所述操作区域，录制测试脚本，包括：
根据所述编辑后的映射操作类型、以及所述操作区域，录制测试脚本。
6.一种测试脚本的录制装置，其特征在于，包括：操作确定单元、位置转换单元、控件确定单元、操作生成单元、以及脚本录制单元，其中，
所述操作确定单元，用于针对在用户界面内显示的终端映射界面，确定用户在所述终端映射界面内执行的映射操作，所述映射操作包括映射操作类型和映射操作位置，所述映射操作类型包括对终端的可执行操作；
所述位置转换单元，用于根据所述终端映射界面与终端显示界面之间的比例关系，将所述映射操作位置转换为在所述终端显示界面内的终端操作位置；
所述控件确定单元，用于根据包括显示区域的终端控件集合，确定所述终端操作位置所处的目标控件，所述终端控件集合基于终端显示界面进行获取；
所述操作生成单元，用于根据所述目标控件的显示区域、以及所述比例关系，生成针对所述终端映射界面的操作区域；
所述脚本录制单元，用于根据所述映射操作类型、以及所述操作区域，录制测试脚本。
7.如权利要求6所述的方法，其特征在于，所述控件确定单元，用于：
根据对终端显示界面进行光学字符识别得到的、包括显示区域的终端控件集合，确定所述终端操作位置所处的目标控件。
8.如权利要求6所述的方法，其特征在于，所述操作生成单元，还用于：根据所述操作类型、以及所述操作区域，录制测试脚本之前，
对所述映射操作类型进行编辑，生成编辑后的映射操作类型；则
所述脚本录制单元，用于：
根据所述编辑后的映射操作类型、以及所述操作区域，录制测试脚本。
9.一种电子设备，所述电子设备应用于应用服务端，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
针对在用户界面内显示的终端映射界面，确定用户在所述终端映射界面内执行的映射操作，所述映射操作包括映射操作类型和映射操作位置，所述映射操作类型包括对终端的可执行操作；
根据所述终端映射界面与终端显示界面之间的比例关系，将所述映射操作位置转换为在所述终端显示界面内的终端操作位置；
根据包括显示区域的终端控件集合，确定所述终端操作位置所处的目标控件，所述终端控件集合基于终端显示界面进行获取；
根据所述目标控件的显示区域、以及所述比例关系，生成针对所述终端映射界面的操作区域；
根据所述映射操作类型、以及所述操作区域，录制测试脚本。
10.一种计算机可读存储介质，应用于应用服务端，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
针对在用户界面内显示的终端映射界面，确定用户在所述终端映射界面内执行的映射操作，所述映射操作包括映射操作类型和映射操作位置，所述映射操作类型包括对终端的可执行操作；
根据所述终端映射界面与终端显示界面之间的比例关系，将所述映射操作位置转换为在所述终端显示界面内的终端操作位置；
根据包括显示区域的终端控件集合，确定所述终端操作位置所处的目标控件，所述终端控件集合基于终端显示界面进行获取；
根据所述目标控件的显示区域、以及所述比例关系，生成针对所述终端映射界面的操作区域；
根据所述映射操作类型、以及所述操作区域，录制测试脚本。

说明书全文

一种测试脚本的录制方法及装置

技术领域

[0001] 本文件涉及计算机技术领域，尤其涉及一种测试脚本的录制方法及装置。

背景技术

[0002] 针对移动终端的自动化测试，可以根据不同的测试需求，预先录制测试脚本，以便在回测试放脚本时实现自动化测试。

[0003] 为提高测试效率，较为流行的测试方式为远程测试。即先将远程移动终端的终端显示界面映射到用户界面中，生成终端映射界面。据此，用户可以在用户界面中，通过对终端映射界面内进行操作，而实现脚本的录制。在脚本回放时，通过对终端映射界面内进行模拟操作，而实现对远程移动终端的终端显示界面内的控件进行操作。

[0004] 然而，随着终端显示界面内功能和内容的不断丰富，如何将用户对终端映射界面内的操作，较为准确地对应到对终端显示界面内控件的操作，成为实现自动化测试的基础。所以，需要提供一种方案，可以将用户对终端映射界面内的操作，较为准确地对应到对终端显示界面内控件的操作，从而较为准确地录制测试脚本。
发明内容

[0005] 本说明书实施例提供一种测试脚本的录制方法和装置，用于将用户对终端映射界面内的操作，较为准确地对应到对终端显示界面内控件的操作，从而较为准确地录制测试脚本。

[0006] 为解决上述技术问题，本说明书实施例是这样实现的：

[0007] 本说明书实施例采用下述技术方案：

[0008] 第一方面，提出了一种测试脚本的录制方法，包括：

[0009] 针对在用户界面内显示的终端映射界面，确定用户在所述终端映射界面内执行的映射操作，所述映射操作包括映射操作类型和映射操作位置，所述映射操作类型包括对终端的可执行操作；

[0010] 根据所述终端映射界面与终端显示界面之间的比例关系，将所述映射操作位置转换为在所述终端显示界面内的终端操作位置；

[0011] 根据包括显示区域的终端控件集合，确定所述终端操作位置所处的目标控件，所述终端控件集合基于终端显示界面进行获取；

[0012] 根据所述目标控件的显示区域、以及所述比例关系，生成针对所述终端映射界面的操作区域；

[0013] 根据所述映射操作类型、以及所述操作区域，录制测试脚本。

[0014] 第二方面，提出了一种测试脚本的录制装置，包括：操作确定单元、位置转换单元、控件确定单元、操作生成单元、以及脚本录制单元，其中，

[0015] 所述操作确定单元，用于针对在用户界面内显示的终端映射界面，确定用户在所述终端映射界面内执行的映射操作，所述映射操作包括映射操作类型和映射操作位置，所述映射操作类型包括对终端的可执行操作；

[0016] 所述位置转换单元，用于根据所述终端映射界面与终端显示界面之间的比例关系，将所述映射操作位置转换为在所述终端显示界面内的终端操作位置；

[0017] 所述控件确定单元，用于根据包括显示区域的终端控件集合，确定所述终端操作位置所处的目标控件，所述终端控件集合基于终端显示界面进行获取；

[0018] 所述操作生成单元，用于根据所述目标控件的显示区域、以及所述比例关系，生成针对所述终端映射界面的操作区域；

[0019] 所述脚本录制单元，用于根据所述映射操作类型、以及所述操作区域，录制测试脚本。

[0020] 第三方面，提出了一种电子设备，该电子设备包括：

[0021] 处理器；以及

[0022] 被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

[0023] 针对在用户界面内显示的终端映射界面，确定用户在所述终端映射界面内执行的映射操作，所述映射操作包括映射操作类型和映射操作位置，所述映射操作类型包括对终端的可执行操作；

[0024] 根据所述终端映射界面与终端显示界面之间的比例关系，将所述映射操作位置转换为在所述终端显示界面内的终端操作位置；

[0025] 根据包括显示区域的终端控件集合，确定所述终端操作位置所处的目标控件，所述终端控件集合基于终端显示界面进行获取；

[0026] 根据所述目标控件的显示区域、以及所述比例关系，生成针对所述终端映射界面的操作区域；

[0027] 根据所述映射操作类型、以及所述操作区域，录制测试脚本。

[0028] 第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

[0029] 针对在用户界面内显示的终端映射界面，确定用户在所述终端映射界面内执行的映射操作，所述映射操作包括映射操作类型和映射操作位置，所述映射操作类型包括对终端的可执行操作；

[0030] 根据所述终端映射界面与终端显示界面之间的比例关系，将所述映射操作位置转换为在所述终端显示界面内的终端操作位置；

[0031] 根据包括显示区域的终端控件集合，确定所述终端操作位置所处的目标控件，所述终端控件集合基于终端显示界面进行获取；

[0032] 根据所述目标控件的显示区域、以及所述比例关系，生成针对所述终端映射界面的操作区域；

[0033] 根据所述映射操作类型、以及所述操作区域，录制测试脚本。

[0034] 由以上实施例提供的技术方案可见，针对在用户界面内显示的终端映射界面，可以先确定用户在终端映射界面内执行的包括映射操作类型和映射操作位置的映射操作。此后，可以根据终端映射界面与终端显示界面之间的比例关系，进行位置转换，生成在终端显示界面内的终端操作位置。据此，则可以根据包括显示区域的终端控件集合，确定出终端操作位置所处的目标控件，并根据目标控件的显示区域、以及比例关系，生成针对映射界面的操作区域，从而可以根据映射操作类型、以及操作区域，录制测试脚本。

[0035] 也即，用户在终端映射界面内，执行映射操作时，对映射操作位置进行转换，得到在终端显示界面内的终端操作位置。再确定出终端操作位置对应的目标控件，并基于目标控件的显示区域，生成对终端映射见面的操作区域，从而根据映射操作类型和操作区域，录制测试脚本。

[0036] 由于可以将用户在终端映射界面内的操作转换到终端显示界面内，确定出操作对应的控件，再转换回对终端映射界面的操作区域，从而可以将用户对终端映射界面内的操作，较为准确地对应到对终端显示界面内控件的操作，进而可以较为准确地录制测试脚本。附图说明

[0037] 为了更清楚地说明本说明书实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

[0038] 图1为本说明书实施例提供的测试脚本的录制方法的流程示意图；

[0039] 图2为本说明书实施例提供的用户界面、终端显示界面、以及终端映射界面的示意图；

[0040] 图3为本说明书实施例提供的终端界面的示意图；

[0041] 图4为本说明书实施例提供的终端界面的示意图；

[0042] 图5为本说明书实施例提供的确定目标控件的示意图；

[0043] 图6为本说明书实施例提供的确定目标控件的示意图；

[0044] 图7为本说明书实施例提供的测试脚本的录制装置的结构图；

[0045] 图8本说明书实施例提供的电子设备的结构示意图。

具体实施方式

[0046] 为使本说明书的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本说明书的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

[0047] 以下结合附图，详细说明本说明书中各实施例提供的技术方案。

[0048] 实施例1

[0049] 本说明书实施例提供一种测试脚本的录制方法，可以将用户对终端映射界面内的操作，较为准确地对应到对终端显示界面内控件的操作，从而较为准确地录制测试脚本。该方法的具体流程示意图如图1所示，假设该方法的主体可以是个人电脑，方法可以包括：

[0050] 步骤102：针对在用户界面内显示的终端映射界面，确定用户在终端映射界面内执行的映射操作。

[0051] 用户界面可以是用于实现脚本录制的界面，也即用户可以在用户界面中进行脚本录制。比如可以预先为自动化测试开发一种带有图形用户界面的应用程序，那么该图像用户界面就可以是本步骤中的用户界面；又如可以为自动化测试开发一种网页界面，那么通过该网页界面，则可以实现自动化的脚本录制和回放，那么该网页界面就可以是本步骤中的用户界面。而用户界面可以在本实施例的执行主体中，比如在个人电脑中可以利用浏览器，显示用户界面。

[0052] 移动终端可以有对应的终端显示界面，用于显示各种信息，比如，屏幕在显示信息时就可以是终端显示界面，本实施例中，远程的移动终端可以将终端显示界面映射到用户界面中，从而生成终端映射界面。如图2所示，为用户界面、终端显示界面、以及终端映射界面的示意图。用户界面中可以有终端映射界面以及测试脚本录制功能区，而终端映射界面则就是终端显示界面的映射表示。

[0053] 终端显示界面与终端映射界面之间是相互联通的，具体可以不断地对终端显示界面进行截图，并传输至用户界面，从而由用户界面将截图在终端映射界面中显示，也就可以通过终端映射界面，对终端显示界面进行实时显示。而对用户而言，看到终端映射界面也就相当于看到了终端显示界面。

[0054] 另外，用户可以在终端映射界面内执行特定操作，通过联通关系，也就可以实现在终端显示界面内执行特定操作。比如，可以在个人计算机上显示用户界面，用户可以通过光标在终端映射界面内执行点击操作，从而就可以实现在终端显示界面中，在相对应的位置上执行特定操作，也即可以实现在终端显示界面内执行点击触控操作。通过终端映射界面，用户可以看到远程终端实际的终端显示界面，还可以通过在终端映射界面内执行操作，从而对远程终端的终端显示界面执行操作。

[0055] 用户在录制脚本时，可能在终端映射界面内进行多种操作，比如通过光标进行点击、点击后滑动、双击、长按，等。然而并不是全部操作相对于终端均是可执行的操作，比如针对目前的触控手机，对某些部位进行点击并不是触发任何操作，也即对于终端而言，也并不是全部操作均为可执行的操作，又如对鼠标右键进行单击，在目前的大多数终端中也可能不是可执行操作。

[0056] 所以当用户在终端映射界面内执行操作时，可以判断是否是对终端的可执行操作，当判断为是时，则可以确定用户在终端映射界面内执行的映射操作，这里的映射操作就可以包括映射操作类型和映射操作位置。具体地，映射操作位置就可以是在终端映射界面内执行操作的位置，而映射操作类型则可以包括对终端的可执行操作。比如针对某个图标执行的点击操作，对桌面执行的滑动操作等，均可以是映射操作类型。

[0057] 这里的操作位置可以是相对于终端映射界面而言的，比如可以是在在终端映射界面内的坐标。而在实际应用中，可以通过先获取用户在用户界面中的操作位置，再根据用户界面与终端映射界面之间的位置比例关系，确定出在终端映射界面内的操作位置。

[0058] 比如图2所示，用户界面可以是在个人电脑中，通过浏览器进行显示的，那么当用户在终端映射界面执行操作时，浏览器可以通过预设的控件采集到浏览器内的操作位置坐标，比如横坐标和纵坐标。再根据用户界面与终端映射界面之间的位置比例关系，进行坐标转换，则可以得到相对于终端映射界面的操作坐标。

[0059] 步骤104：根据终端映射界面与终端显示界面之间的比例关系，将该映射操作位置转换为在终端显示界面内的终端操作位置。

[0060] 为了在用户界面内显示终端映射界面，可以预先在用户界面内划定一个区域，通过该区域进行显示。通常情况下，划定区域的高宽比例需要与终端显示界面的高宽比例一致，比如若终端显示界面的高宽比例为16:9，那么在用户界面中划定区域的高宽比例也可以是16:9。如图2所示，终端映射界面的高宽比例，与终端显示界面的高宽比例可以一致。

[0061] 在实际应用中，为了使划定区域的高宽比例与终端显示界面的高宽比例一致，可以在与远程移动终端建立连接后，获取移动终端显示界面的高宽比例，据此则可以在用户界面内划定出一个区域，该区域的高宽比例就可以参照终端显示界面的高宽比例。

[0062] 为了能够较为准确地将用户在终端映射界面内的操作，对应到对终端显示界面内控件的操作，将在终端映射界面内的操作位置，准确转换到终端显示界面内的终端操作位置，是实现的基础。

[0063] 然而在实际应用中，由于个人电脑显示器尺寸不同、或用户习惯不同，用户界面的大小可能会出现多种尺寸，所以便会使得终端映射界面出现或大或小的不同尺寸。这也就会到终端映射界面与终端显示界面之间具有由不同尺寸而确定出的比例关系，比如图2所示，终端映射界面与终端显示界面之间可以具有一定的比例关系，具体比如可以是1:0.9或其他，那么本步骤便可以根据该比例关系，将该映射操作位置转换为在终端显示界面内的终端操作位置。

[0064] 步骤106：根据包括显示区域的终端控件集合，确定该终端操作位置所处的目标控件。

[0065] 终端显示界面内，可以包含多个可执行操作的控件，如图3所示，为终端界面的示意图，图中可以有多个图标、字符、按键等元素，为了实现触控操作，可以在终端显示界面内预设多个控件，不同控件可以对应有不同的尺寸，比如图3中的虚线框，便可以是不同控件分别对应的尺寸，可以在该尺寸内显示不同元素，该元素则可以提示用户哪些位置具有可执行操作，比如一个控件内可以对应一个应用的图标和字符，当用户对虚线框进行点击时，则可以对该图标和字符对应的应用执行开启操作。

[0066] 在前述步骤中，已经将映射操作位置转换为在终端显示界面内的终端操作位置，那么本步骤就可以确定出终端操作位置是对应于哪个控件的，也即根据包括显示区域的终端控件集合，确定该终端操作位置所处的目标控件。

[0067] 具体地，终端显示界面中可以预设有多个控件，每个控件均可以有对应的显示区域，比如图3中虚线框就可以是显示区域，每个虚线框均可以指代一个控件，该显示区域可以通过bounds表示，通常bounds可以由两个坐标，分别为显示区域左上角的位置坐标、以及右下角的位置坐标，从而可以组成一个矩形的显示区域。

[0068] 对于终端显示界面，可以对应有终端控件集合，其中包含了该显示界面内控件的显示区域，则终端操作位置所处的目标控件，便可以是确定终端操作位置落在了哪个控件的显示区域内，从而可以将这个控件确定为目标控件。

[0069] 在实现方式上，可以由执行主体向远程移动终端发送获取控件信息的请求，由移动终端在显示界面发生变化后，采集显示界面内的控件信息，通过socket(套接字)发送至执行主体，从而执行主体可以得到关于终端显示界面内的包括显示区域的控件集合。

[0070] 图3所示的虚线框通常为可执行操作的控件，比如可以执行点击操作、滑动操作等，但在自动化测试中，根据不同的测试需求，也可以包括其他无需可执行操作的测试步骤，比如检测字符、检测颜色等。如图4所示，为另一种终端界面的示意图，为了更加全面的获取到终端显示界面内的控件，可以通过光学字符识别的方式，确定出包含显示区域的终端控件集合。光学字符识别(Optical Character Recognition，OCR)可以是指通过检测暗、亮的模式确定图像中元素的形状，并用字符识别方法识别图像中字符的过程。而光学字符识别可以是对终端显示界面的截图进行的识别。

[0071] 图4中，对于终端显示界面中的各元素，均可以较为准确地识别出来，且不同元素的外接矩形区域均较为紧凑。而与图3不同的时，通过OCR识别的控件集合，以实际显示的元素为依据，识别到控件可能对应可执行操作，也可能对应不可执行的操作，故更加全面。所以在一种实施方式中，为了更加准确地将用户在终端映射界面内的操作，对应到对终端显示界面内控件的操作。根据包括显示区域的终端控件集合，确定该终端操作位置所处的目标控件，可以包括：根据对终端显示界面进行光学字符识别得到的、包括显示区域的终端控件集合，确定终端操作位置所处的目标控件。

[0072] 具体地，便可以在将终端显示界面的截图传输到终端映射界面时，对截图进行光学字符识别，从而得到如图4虚线框所示的、包括显示区域的终端控件集合，并通过socket发送至执行主体，进而可以由执行主体根据终端操作位置落在了哪个控件的显示区域内，将这个控件确定为目标控件。

[0073] 在实际应用中，有可能出现至少两个控件的显示区域出现覆盖的情况，尤其是根据OCR识别得到的控件集合中，可能在图标内部又识别出一个独立的元素，比如数值、文字等，而有时用户则可能出于不同的测试需求，关注图标内的数值、文字等。所以在一种实施方式，为了能够满足不同的测试需求，根据包括显示区域的终端控件集合，确定该终端操作位置所处的目标控件，可以包括：当根据包括显示区域的终端控件集合，确定终端操作位置所处在至少两个候选控件时，将显示区域最小的控件作为目标控件。

[0074] 具体地，如图5所示，为确定目标控件的示意图，图标内可以包括字符，那么在通过OCR识别后，可以得到两个控件，并分别对应两个显示区域(虚线框)，图中的手指可以代表终端操作位置，此时，根据包括显示区域的终端控件集合，可以确定出终端操作位置所处在两个候选控件内，那么据此便可以将显示区域最小的控件，也即数字1对应的控件，作为目标控件。

[0075] 在一种实施方式，也为了能够满足不同的测试需求，根据包括显示区域的终端控件集合，确定该终端操作位置所处的目标控件，还可以包括：当根据包括显示区域的终端控件集合，确定终端操作位置所处在至少两个候选控件时，分别确定终端操作位置距离每个候选控件中心点的距离；将距离最小的控件，确定为目标控件。

[0076] 具体地，如图6所示，为确定目标控件的示意图，图标内可以包括独立的图像元素，所以在通过OCR识别后，可以得到两个控件，并分别对应两个显示区域(虚线框)，图中的手指可以代表终端操作位置，此时，根据包括显示区域的终端控件集合，可以确定出终端操作位置所处在两个候选控件内。据此，便可以分别确定终端操作位置距离每个候选控件中心点的距离，如图6中的浅色粗实线所示，为终端操作位置分别与每个候选控件中心点的距离，这里的中心点也可以称为质心。可见，两个浅色粗实线的长短，便代表了与每个候选控件中心点的距离。此后，可以将距离最小的控件，确定为目标控件。当然在实际应用中，也可以将距离最大的控件，确定为目标控件，等。

[0077] 步骤108：根据确定出的目标控件的显示区域、以及该比例关系，生成针对终端映射界面的操作区域。

[0078] 在确定出终端操作位置所处的目标控件后，则可以将该目标控件对应的显示区域作为测试脚本的操作依据，具体地，当操作类型为点击操作时，在录制脚本时，则可以录制为对目标控件的显示区域内的任一位置执行点击操作。

[0079] 在前文已经介绍，终端显示界面与终端映射界面之间可以有一定的比例关系，那么本步骤便可以结合终端映射界面与终端显示界面之间的比例关系，将目标控件的显示区域转换为针对终端映射界面的操作区域。比如，可以将控件的显示区域，按照前文举例的1:0.9的比例进行转换，得到在终端映射界面内的操作区域。

[0080] 在实际应用中，可以基于Canvas生成针对终端映射界面的操作区域，Canvas是可以使用脚本(通常为JavaScript)在其中绘制图像的HTML元素，Canvas可以作为一个画布、或称作为一个容器。利用Canvas可以绘制出针对终端映射界面的操作区域。

[0081] 在实际应用中，由于脚本回放阶段，用户可能会调整用户界面的大小，从而影响到终端映射界面的大小，进而改变终端映射界面与终端显示界面之间的比例，所以在生成针对终端映射界面的操作区域时，也可以预定一个动态比例，以便适应于终端映射界面与终端显示界面之间的不同比例。

[0082] 步骤110：根据该映射操作类型、以及生成的操作区域，录制测试脚本。

[0083] 在前述步骤中，已经确定出了映射操作类型，以及针对终端映射界面的操作区域，本步骤便可以根据这两者，录制测试脚本。比如当映射操作类型为点击操作时，可以结合通过Canvas绘制出的操作区域，录制测试脚本。

[0084] 在实际应用中，即使用户在终端映射界面内执行某个映射操作，也可能是出于其他的目的，比如，用户在终端映射界面内，点击终端显示界面的某个控件，可能是需要对该控件的字符进行检测等，所以可以提供针对测试脚本的编辑功能，以便用户可以根据不同的测试需求，编辑测试操作。所以，在一种实施方式中，为了满足用户对于测试脚本的编辑需求，在本步骤根据该映射操作类型、以及生成的操作区域，录制测试脚本之前，可以包括：对映射操作类型进行编辑，生成编辑后的映射操作类型，则本步骤根据该映射操作类型、以及生成的操作区域，录制测试脚本，可以包括：根据编辑后的映射操作类型、以及生成的操作区域，录制测试脚本。

[0085] 具体地，如图4所示，通过OCR可以在左上角识别出包含字符的控件，虚线框可以表示该控件的显示区域，用户可以在终端映射界面中点击该控件，并通过在用户界面内为用户提供的编辑菜单，对针对该控件的映射操作类型进行修改，比如可以修改为检测是否出现特定字符等，从而生成编辑后的映射操作类型。此后，便可以根据编辑后的映射操作类型，结合生成的操作区域，录制测试脚本。

[0086] 在脚本回放阶段，可以根据脚本中记载的、针对终端映射界面的操作区域、以及映射操作类型，进行模拟操作。而在实际应用中，也可以结合用户界面与终端映射界面之间的位置比例关系，以及终端映射界面与终端显示界面之间的比例关系，较为准确地确定出需要在终端映射界面内执行模拟操作的位置，从而可以准确地对终端显示界面进行模拟操作。

[0087] 由以上实施例提供的技术方案可见，针对在用户界面内显示的终端映射界面，可以先确定用户在终端映射界面内执行的包括映射操作类型和映射操作位置的映射操作。此后，可以根据终端映射界面与终端显示界面之间的比例关系，进行位置转换，生成在终端显示界面内的终端操作位置。据此，则可以根据包括显示区域的终端控件集合，确定出终端操作位置所处的目标控件，并根据目标控件的显示区域、以及比例关系，生成针对映射界面的操作区域，从而可以根据映射操作类型、以及操作区域，录制测试脚本。

[0088] 由于可以将用户在终端映射界面内的操作转换到终端显示界面内，确定出操作对应的控件，再转换回对终端映射界面的操作区域，从而可以将用户对终端映射界面内的操作，较为准确地对应到对终端显示界面内控件的操作，进而可以较为准确地录制测试脚本。

[0089] 实施例2

[0090] 基于相同的构思，本说明书实施例2提供了一种测试脚本的录制装置，可以将用户对终端映射界面内的操作，较为准确地对应到对终端显示界面内控件的操作，从而较为准确地录制测试脚本。其结构示意图如图7所示，包括：操作确定单元202、位置转换单元204、控件确定单元206、操作生成单元208、以及脚本录制单元210，其中，

[0091] 操作确定单元202，可以用于针对在用户界面内显示的终端映射界面，确定用户在终端映射界面内执行的映射操作，映射操作包括映射操作类型和映射操作位置，映射操作类型包括对终端的可执行操作；

[0092] 位置转换单元204，可以用于根据终端映射界面与终端显示界面之间的比例关系，将映射操作位置转换为在终端显示界面内的终端操作位置；

[0093] 控件确定单元206，可以用于根据包括显示区域的终端控件集合，确定终端操作位置所处的目标控件，终端控件集合基于终端显示界面进行获取；

[0094] 操作生成单元208，可以用于根据目标控件的显示区域、以及比例关系，生成针对终端映射界面的操作区域；

[0095] 脚本录制单元210，可以用于根据映射操作类型、以及操作区域，录制测试脚本。

[0096] 在一种实施方式中，控件确定单元206，可以用于：

[0097] 根据对终端显示界面进行光学字符识别得到的、包括显示区域的终端控件集合，确定终端操作位置所处的目标控件。

[0098] 在一种实施方式中，控件确定单元206，可以用于：

[0099] 当根据包括显示区域的终端控件集合，确定终端操作位置所处在至少两个候选控件时，将显示区域最小的控件作为目标控件。

[0100] 在一种实施方式中，控件确定单元206，可以用于：

[0101] 当根据包括显示区域的终端控件集合，确定终端操作位置所处在至少两个候选控件时，分别确定终端操作位置距离每个候选控件中心点的距离；

[0102] 将距离最小的控件，确定为目标控件。

[0103] 在一种实施方式中，操作生成单元208，还可以用于：根据操作类型、以及操作区域，录制测试脚本之前，

[0104] 对映射操作类型进行编辑，生成编辑后的映射操作类型；则

[0105] 脚本录制单元210，可以用于：

[0106] 根据编辑后的映射操作类型、以及操作区域，录制测试脚本。

[0107] 由以上实施例提供的装置可见，针对在用户界面内显示的终端映射界面，可以先确定用户在终端映射界面内执行的包括映射操作类型和映射操作位置的映射操作。此后，可以根据终端映射界面与终端显示界面之间的比例关系，进行位置转换，生成在终端显示界面内的终端操作位置。据此，则可以根据包括显示区域的终端控件集合，确定出终端操作位置所处的目标控件，并根据目标控件的显示区域、以及比例关系，生成针对映射界面的操作区域，从而可以根据映射操作类型、以及操作区域，录制测试脚本。

[0108] 由于可以将用户在终端映射界面内的操作转换到终端显示界面内，确定出操作对应的控件，再转换回对终端映射界面的操作区域，从而可以将用户对终端映射界面内的操作，较为准确地对应到对终端显示界面内控件的操作，进而可以较为准确地录制测试脚本。

[0109] 图8是本说明书的实施例电子设备的结构示意图。在硬件层面，电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

[0110] 处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(Extended Industry Standard Architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

[0111] 存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

[0112] 处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成测试脚本的录制装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

[0113] 针对在用户界面内显示的终端映射界面，确定用户在所述终端映射界面内执行的映射操作，所述映射操作包括映射操作类型和映射操作位置，所述映射操作类型包括对终端的可执行操作；

[0114] 根据所述终端映射界面与终端显示界面之间的比例关系，将所述映射操作位置转换为在所述终端显示界面内的终端操作位置；

[0115] 根据包括显示区域的终端控件集合，确定所述终端操作位置所处的目标控件，所述终端控件集合基于终端显示界面进行获取；

[0116] 根据所述目标控件的显示区域、以及所述比例关系，生成针对所述终端映射界面的操作区域；

[0117] 根据所述映射操作类型、以及所述操作区域，录制测试脚本。

[0118] 上述如本说明书图7所示实施例提供的测试脚本的录制装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

[0119] 结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

[0120] 该电子设备还可执行图7所示实施例提供的测试脚本的录制装置在图8所示实施例的功能，本说明书实施例在此不再赘述。

[0121] 本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图7所示实施例中测试脚本的录制装置执行的方法，并具体用于执行：

[0122] 针对在用户界面内显示的终端映射界面，确定用户在所述终端映射界面内执行的映射操作，所述映射操作包括映射操作类型和映射操作位置，所述映射操作类型包括对终端的可执行操作；

[0123] 根据所述终端映射界面与终端显示界面之间的比例关系，将所述映射操作位置转换为在所述终端显示界面内的终端操作位置；

[0124] 根据包括显示区域的终端控件集合，确定所述终端操作位置所处的目标控件，所述终端控件集合基于终端显示界面进行获取；

[0125] 根据所述目标控件的显示区域、以及所述比例关系，生成针对所述终端映射界面的操作区域；

[0126] 根据所述映射操作类型、以及所述操作区域，录制测试脚本。

[0127] 上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

[0128] 为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

[0129] 本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

[0130] 本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0131] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0132] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0133] 在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

[0134] 内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

[0135] 计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

[0136] 还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

[0137] 本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

[0138] 本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

[0139] 本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

[0140] 以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

标题	发布/更新时间	阅读量
基于事件的延迟搜索方法和系统	2020-05-08	189
用户输入的数据保护方法及系统	2020-05-11	474
信息处理设备和打印数据生成方法	2020-05-11	610
电子设备的文本输入系统及文本输入方法	2020-05-12	394
一种文本信息的提示方法、装置、电子设备及存储介质	2020-05-11	903
将图像或标签输入到电子设备的系统和方法	2020-05-12	869
一种基于字符重新编码的文字防盗版系统	2020-05-12	989
一种PET-CT系统控制软件自动化测试的辅助方法	2020-05-12	830
使用计数均值草图的差分隐私	2020-05-13	135
使用灵活后处理的应用分析	2020-05-08	863

一种测试脚本的录制方法及装置

一种测试脚本的录制方法及装置

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：