技术领域
[0001] 本
发明属于图像算法测试技术领域，特别涉及一种图像算法仿真自动化测试方法和系统。
背景技术
[0002]
现有技术中，每个算法在进行推广应用前，都需要经过测试的环节，测试算法的性能是否满足要求。对于图像算法的性能测试，大都是人工测试，其过程是，首先需要手动拍摄大量不同
角度、不同倾斜角和不同
亮度的图片样本。然后将所有图片样本输入算法进行测试，记录测试结果，最后汇总测试结果，得出算法的性能。整个过程(无论是前期测试样本的采集，或者是后期对测试结果的分析)需要人工手动参与，不仅费时费
力，而且效率低下，并且人工参与的过程较多的情况下，难免会出现人为性错误，可能造成结果不准确。
发明内容
[0003] 为此，需要提供一种图像算法仿真自动化测试系统，用以解决图像算法性能测试过程中，需要手动控制测试样本处于不同
姿态，去采集不同测试样本并且对测试结果要进行人工统计和分析的问题。
[0004] 为实现上述目的，
发明人提供了一种图像算法仿真自动化测试系统，具体的技术方案如下：
[0005] 一种图像算法仿真自动化测试系统，包括：算法处理设备、摄像头、
机械臂系统和光照系统；所述算法处理设备包括算法仿真系统
软件，所述摄像头和光照系统设置于机械臂系统上方，所述摄像头、光照系统和机械臂系统均通过USB或串口连接所述算法处理设备；所述算法仿真系统
软件包括：算法
插件，所述算法插件用于提供不同算法；所述摄像头用于采集不同测试样本数据；所述机械臂系统用于控制测试样本处于不同姿态；所述光照系统用于给测试样本提供不同亮度灯光；所述算法仿真
系统软件用于控制机械臂系统、光照系统和摄像头自动采集不同测试样本数据，所述算法仿真系统软件还用于对不同算法输入不同测试样本数据，所述算法仿真系统软件还用于获取不同测试样本数据经不同算法处理后的测试结果数据。
[0006] 进一步的，所述算法仿真系统软件还包括：
数据库模
块；所述数据库模块用于将机械臂系统数据、光照系统数据和所述测试结果数据存储入数据库，及用于从数据库中读取所述测试结果数据，生成报表和统计信息。
[0007] 进一步的，所述的一种图像算法仿真自动化测试系统，还包括：托盘；所述光照系统和摄像头设置在托盘倾斜角为零度平面的上方；所述光照系统为亮度可调灯光，所述摄像头为可拆卸摄像头；所述机械臂系统设置在托盘下方，所述机械臂系统用于控制托盘上下、左右、前后移动，及控制托盘以托盘平面垂直方向为轴全方位旋转和上下倾斜。
[0008] 进一步的，所述算法仿真系统软件还包括：文件读写管理模块；所述文件读写管理模块用于将摄像头采集的测试样本数据保存成文件，所述文件的文件名按预设的格式保存有当前机械臂系统状态和光照系统状态，所述文件可重复用于测试；所述文件读写管理模块还用于将保存的文件读入图像算法仿真自动化测试系统，并解析其文件名读取机械臂系统状态信息和光照系统状态信息。
[0009] 进一步的，所述算法仿真系统软件还包括：脚本解析模块、灯光控
制模块、机械臂系统
控制模块、
数据采集模块、插件
接口调用模块和全局管理模块；所述脚本解析模块用于检验测试脚本的语法、解析脚本和执行脚本；所述灯光控制模块用于采集数据时设置灯光的亮度等级和/或灯光的亮度变化规律；所述机械臂系统控制模块用于机械臂系统调零、设置机械臂系统运动规则和控制机械臂系统运动；所述数据采集模块用于设置摄像头工作参数和控制摄像头采集不同测试样本数据；所述插件接口调用模块用于将不同算法需要的不同测试样本数据传入所述算法插件、调用所述算法插件执行算法程序、并获得测试结果数据；所述全局管理模块用于设置软件全局运行参数、统筹调度各个模块、数据管理和保存/恢复当前图像算法仿真自动化测试系统运行状态；所述软件全局运行参数至少包括：保存测试结果数据的数据库表名和样本测试数据保存
位置。
[0010] 为实现上述目的，发明人还提供了一种图像算法仿真自动化测试方法，具体的技术方案如下：
[0011] 通过摄像头自动采集不同测试样本数据，所述摄像头发送所述不同测试样本数据给算法仿真系统软件；所述算法仿真系统软件接收不同测试样本数据，所述算法仿真系统软件包括算法插件；通过传入不同测试样本数据到算法插件，获得不同算法的测试结果数据。
[0012] 进一步的，通过摄像头自动采集不同测试样本数据，还包括步骤：通过光照系统给测试样本提供不同亮度灯光，及通过机械臂系统控制测试样本处于不同姿态，摄像头自动采集不同测试样本数据。
[0013] 进一步的，通过传入不同测试样本数据到算法插件，还包括步骤：算法仿真系统软件自动检验测试脚本的语法、解析脚本和执行脚本。
[0014] 进一步的，获得不同算法的测试结果数据后，还包括步骤：通过算法仿真系统软件把不同的测试结果数据存储入数据库，及从数据库中读取所述测试结果数据，生成报表和统计信息。
[0015] 进一步的，所述算法仿真系统软件接收不同测试样本数据，还包括步骤：通过算法仿真系统软件将不同测试样本数据保存成文件，所述文件的文件名按预设的格式保存，所述文件可重复用于测试。
[0016] 本发明的有益效果是：该系统通过算法仿真系统软件可控制摄像头、机械臂系统和光照系统自动实时获取到不同的测试样本数据，同时算法以插件的形式提供给系统，系统在获取到不同测试样本数据以后，就可以把这些数据自动传入到算法中，获取到经过算法处理后的测试结果数据，通过对测试结果数据的分析，就可以评估出算法性能，整个过程无需人工干预，完全自动化操作测试算法的性能，不仅省时省力，而且极大提高了测试效率，并且自动采集测试样本数据，可控制采集到更多的样本数据，使得测试结果更精准。
附图说明
[0017] 图1为本发明一种图像算法仿真自动化测试系统的系统
框架图；
[0018] 图2为本发明一种图像算法仿真自动化测试系统的侧面安装图；
[0019] 图3为具体实施方式所述的算法仿真系统
软件模块图；
[0020] 图4为本发明一种图像算法仿真自动化测试方法的
流程图1；
[0021] 图5为本发明一种图像算法仿真自动化测试方法的流程图2。
[0022] 附图标记说明：
[0023] 10、算法处理设备，
[0024] 101、算法仿真系统软件，
[0025] 1001、算法插件，
[0026] 11、光照系统，
[0027] 12、机械臂系统，
[0028] 13、摄像头，
[0029] 14、托盘，
[0030] 301、全局管理模块，
[0031] 302、数据采集模块，
[0032] 303、数据库模块，
[0033] 304、文件读写管理模块，
[0034] 305、插件接口调用模块，
[0035] 306、脚本解析模块，
[0036] 307、灯光控制模块，
[0037] 308、机械臂控制模块。
具体实施方式
[0038] 为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体
实施例并配合附图详予说明。
[0039] 首先对名词插件进行解释，插件：即英文的Plug-in，是一种遵循一定规范的应用程序接口编写出来的程序。本发明中的插件是以动态库形式提供。
[0040] 请参阅图1、图2和图3，一种图像算法仿真自动化测试系统包括：算法处理设备10、摄像头13、机械臂系统12和光照系统11。其中算法处理设备10可以是PC、笔记本、
平板电脑、手机及各种可安装算法仿真系统软件101的计算机设备，在本实施例中，算法处理设备10为PC。
[0041] 由图2可知图像算法仿真自动化测试系统还包括：托盘14；所述光照系统11和摄像头13设置在托盘倾斜角为零度平面的上方；所述光照系统11为亮度可调灯光，所述摄像头13为可拆卸摄像头13，因此可更换接口统一的摄像头13，并且摄像头13可以为线性或二维图像
传感器；所述机械臂系统12设置在托盘14下方，可用于控制托盘14上下、左右、前后移动，并且能以托盘14平面垂直方向为轴360度旋转和正负70度上下倾斜。因此将测试样本固定在托盘14上，通过机械臂系统12对托盘14的控制，摄像头13就可以获得任意距离、任意平移、任意旋转角度和倾斜角度的测试样本。其中算法仿真系统软件101安装在PC上，光照系统11、摄像头13和机械臂系统12均通过USB/串口连接PC。
[0042] 由图1可看出，算法仿真系统软件101包含算法插件1001，算法插件1001做为算法仿真系统软件101的一部分被调用，相关人员将不同的算法封装到插件中提供给算法仿真系统软件101调用。而算法仿真系统软件101则做为整个图像算法仿真自动化测试系统的中央控制软件，负责着整个系统的控制和调度，具体如何调度后面会说到。
[0043] 由图3我们可看出，所述图像算法仿真系统软件101还包括：全局管理模块301、数据采集模块302、数据库模块303、文件读写管理模块304、插件接口调用模块305、脚本解析模块306、灯光控制模块307和机械臂控制模块308，下面分别对每一个模块的作用做一说明。
[0044] 数据采集模块302：1、用于设置摄像头13工作参数；2、控制摄像头13采集不同测试样本数据；
[0045] 数据库模块303：1、用于将机械臂系统12数据、光照系统11数据和所述测试结果数据存储入数据库，2、用于从数据库中读取所述测试结果数据，生成报表和统计信息。
[0046] 文件读写管理模块304：1、用于将摄像头13采集的测试样本数据保存成文件，所述文件的文件名按预设的格式保存有当前机械臂系统12状态和光照系统11状态，所述文件可重复用于测试；2、用于将保存的文件读入图像算法仿真自动化测试系统，并解析其文件名读取机械臂系统12状态信息和光照系统11状态信息；3、管理所有文件。
[0047] 插件接口调用模块305：1、用于将不同算法需要的不同测试样本数据传入所述算法插件1001；2、调用所述算法插件1001执行算法程序；3、获得测试结果数据；其中所述算法插件1001与该模块间调用接口统一规定。
[0048] 脚本解析模块306：1、用于检验测试脚本的语法；2、解析脚本；3、执行脚本。
[0049] 灯光控制模块307：1、用于采集数据时设置光照系统11的亮度等级和/或光照系统11的亮度变化规律，以获取不同光照亮度的
采样样本。
[0050] 机械臂系统控制模块308：1、用于对机械臂系统12调零；2、设置机械臂系统运动12规则；3、控制机械臂系统12运动，使摄像头13获取不同姿态的测试样本。
[0051] 全局管理模块301：此模块是算法仿真系统软件101的中心控制部分，1、用于设置软件全局运行参数；2、统筹调度各个模块和数据管理；3、保存/恢复当前图像算法仿真自动化测试系统运行状态；所述软件全局运行参数至少包括：保存测试结果数据的数据库表名和样本测试数据保存位置。在本实施例中，首先通过算法仿真系统软件101设置参数的方式运行，既在算法仿真系统软件101中预先设置好光照系统11和机械臂系统12的变化规律，这样的设置方式，使得整个操作过程非常简单，具体的实现如下：
[0052] 首先相关人员把自己要测试的算法封装成
指定输出格式的插件；封装好后，算法仿真系统软件101会加载该算法插件1001；加载好后，算法仿真系统软件1001的机械臂控制模块308会对机械臂系统12调零，并设置机械臂系统12的变化规则，本实施例中的变化规则为：设置机械臂系统12使得托盘14的移动规律为X坐标(既
水平面坐标)从-100到100，每次步进为1。Y坐标从-100到100，每次步进为2。Z坐标位置不变。托盘14的旋转规律为：从0到360度，每次旋转1度。托盘14不倾斜。
[0053] 设置好机械臂系统12变化规则后，算法仿真系统软件101的灯光控制模块307用于设置光照强度变化规则，本实施例中的光照强度变化规则为每取样10个测试样本数据，光照强度增加1级，初始为0级。将测试样本放在托盘14上，算法仿真系统软件101通过控制光照系统13、机械臂系统12使得托盘14处于各种不同姿态，摄像头13可以获得任意距离、任意平移、任意旋转角度和倾斜角度的测试样本，自动实时获取到各种不同的测试样本数据，过程高效简便，完全无需人工参与。可以在获取一张测试样本数据后，就实时进行算法测试，这样的好处是如果算法存在问题，会尽快被找到，并且没处理一张测试样本，就会返
回执行结果，如果执行成功，会把测试样本保存到预设好的执行成功的文件夹目录下，如果执行失败，会把测试样本保存到预设好的执行失败的文件夹目录下，待算法重新改进后，就可以优先选择用执行失败的文件夹目录下的文件来验证算法的性能改善程度；也可以在获取了所有需要的测试样本数据后，再运行软件进行算法性能测试。
[0054] 机械臂系统12变化规则和光照强度13变化规则设置好后，设置算法仿真系统软件101的其他工作参数，主要有测试样本数据来源(摄像头13或者是文件)，在本实施例中测试样本数据来源于摄像头13。
[0055] 在其他实施例中，比如算法S1在第一次进行性能测试的时候，总共通过摄像头13为其采集了100个相关的测试样本数据，文件读写管理模块304对这些文件进行管理，并且文件名是以预设的格式进行命名，系统通过对文件名进行解析，就可以获取一些信息，比如当前机械臂系统12状态。算法S1第一次测试完后，测试结果显示这100个相关的测试样本数据只成功了50个，得出结论算法S1性能仍需改善。算法S1经过
修改后，仍需要对其进行性能测试，此时只需用首次测试时就采集好的100个相关测试样本数据这些文件就好了，就无需调用摄像头13再次去采集测试样本数据。同样的，如果有些算法对测试样本数据的要求是一样的，那么这些测试样本数据文件就可以重复使用，而无需每次都去调用摄像头13获取测试样本数据。通过这样的方式，不仅使得测试样本数据最大化利用，同样也节省了物力，加快了测试的进度，特别用同样的测试样本数据对改进后的算法进行测试，具有可对比性。
[0056] 除了设置测试样本数据来源，还需要设置测试结果保存数据库的表名、测试样本数据保存位置等。全部设置好后，图像算法仿真自动化测试系统就可以开始测试工作了，待测试结束后，数据库模块303用于将机械臂系统12数据、光照系统11数据和所述测试结果数据存储入数据库，及用于从数据库中读取所述测试结果数据，生成报表和统计信息。通过算法仿真系统软件101自动对所述测试结果数据进行处理生成报表和统计信息，用户根据最后的报表和统计信息，就可以看到该算法的处理正确率，快速对算法的性能做出评估，省时省力。在本实施例中，还可以通过把要设置的光照系统11变化规则和机械臂系统12的变化规则写入脚本中，图像算法仿真自动化测试系统通过(解析和执行)脚本，就可以实现光照系统11和机械臂系统12的控制，通过写脚本可以根据不同的条件运行不同的脚本程序段，这种方式操作灵活，无需人工去设置图像算法仿真自动化测试系统的参数。具体实施如下：
[0057] 首先相关人员把自己要测试的算法封装成指定输出格式的插件；封装好后，算法仿真系统软件101会加载该算法插件1001；加载好后，算法仿真系统软件101的机械臂控制模块308会对机械臂系统12调零。
[0058] 相关人员把对机械臂系统12的变化规则和光照系统11的变化规则预先写成脚本保存在图像算法仿真自动化测试系统中，在机械臂系统12调零以后，图像算法仿真自动化测试系统就加载脚本文件。加载好后，开始测试，解析脚本，根据脚本的描述方式测试算法性能。
[0059] 请参阅图4，在本实施例中，一种图像算法仿真自动化测试方法的实现如下，首先本实施例中，使用摄像头或扫描枪去获取测试样本数据，如果测试样本是一维码、二维码，则使用扫码枪，如果是其他测试样本，则使用摄像头，具体步骤如下：
[0060] 步骤S401：读取样本源标志，所述样本源标志是用来：系统运行前预先设置当前测试的样本的来源是摄像头采集的还是从文件读取的。
[0061] 进入步骤S402：从摄像头或扫码枪获取测试样本数据，在此步骤中，相关人员会事先通过算法仿真系统软件设置好机械臂系统和光照系统的变化规则，或者是把相关变化规则写成一个脚本，然后去运行这个脚本，无论是哪一个，都可以确保了机械臂系统和光照系统按着预先设置好的变化规则进行运行，相关人员只要把测试样本放在托盘上，算法仿真系统软件通过控制光照系统、机械臂系统使得托盘处于各种不同姿态，摄像头可以获得任意距离、任意平移、任意旋转角度和倾斜角度的测试样本，自动实时获取到各种不同的测试样本数据，过程高效简便，完全无需人工参与，并且摄像头属于可拆卸，可随时更换接口统一的摄像头。
[0062] 采集好测试样本数据后，进入步骤S403：获取当前机械臂系统和光照系统状态信息，待获取完成后，步骤S404：将测试样本数据和状态信息传入算法插件测试，在本步骤中，相关人员在之前就会把待测试的算法封装成指定格式的插件，其中每个算法对测试样本的要求不同，因此每个算法的测试样本可能是不同的，也可能是一样。
[0063] 待测试完后，步骤S405：保存当前测试样本数据到指定文件夹，具体如下：算法仿真系统软件会把测试样本数据保存到指定的文件夹中，其中测试样本数据的文件名还会按预设的格式来命名，文件名中保存有机械臂系统状态信息和光照系统状态信息，后期系统就可以通过对文件名进行解析，获取到机械臂系统状态和光照系统状态信息。
[0064] 同时步骤S406：保存测试结果数据到数据库中，算法仿真系统软件把相关测试结果数据保存到数据库中，保存好后，步骤S407：是否达到测试结束条件，测试结束的条件可以是采集样本的个数达到预设的量或者根据设置的采样规则样本的各种状态都有采集到。如果样本来源是文件，则结束条件就是所有的文件都有遍历一遍。
[0065] 如果还没达到测试结束条件，则进入步骤S408：机械臂系统或光照系统改变状态，摄像头继续获取到不同的测试样本数据，然后回到步骤S401重复操作，直到达到测试结束条件，步骤S409：输出测试报表，测试正式结束。获取到经过算法处理后的测试结果数据，算法仿真系统软件会自动对所述测试结果数据进行处理生成报表和统计信息，用户根据最后的报表和统计信息，就可以看到该算法的处理正确率，快速对算法的性能做出评估，省时省力。
[0066] 请参阅图5，上述有提到测试样本数据会以文件的形式保存起来，那么在有些实施例中，特别是对同一算法进行改进后，会希望用与之前一样的测试样本数据进行测试获得具有可对比性的性能测试结果。此时具体步骤如下：
[0067] 步骤S501同步骤S401：读取样本源标志，读取后；进入步骤S502：从文件名获取机械臂系统和光照系统的状态信息，文件名是按预设格式保存的，存储有机械臂系统和光照系统的状态信息，因此系统通过解析文件名，就可以获得对应信息。获得对应信息后，后续的步骤S503到步骤S506与步骤S404到步骤S407一样，若步骤S506达到了测试结束的条件，则步骤S507读取下一个文件，步骤S508同步骤S409。
[0068] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。
[0069] 本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或
计算机程序产品。这些实施例可采用完全
硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、
服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动
硬盘、存储卡、记忆棒、网络服务器存储、网络
云存储等。
[0070] 上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方
框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0071] 这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读
存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0072] 这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0073] 尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的
专利保护范围，凡是利用本发明
说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。
