技术领域
[0001] 本
发明一般涉及信息处理，并且特别涉及用于图像分类任务的数据增强。
背景技术
[0002] 相关技术的描述
[0003] 数据增强是在某些应用中使用的技术。通常，数据增强涉及将小突变应用于训练图像用于通过避免过度拟合而获得更好的泛化性能。
[0004] 然而，数据增强的使用并非没有
缺陷。例如，传统的数据增强技术对于图像分类任务而言缺乏高准确度并且过度延长训练时间。因此，需要一种用于图像分类任务的改进的数据增强技术。
发明内容
[0005] 根据本发明的一方面，提供了一种用于针对图像分类任务执行
机器学习的计算机实现的方法。该方法包括：由可操作地耦合到一个或多个
数据库的处理器从一个或多个数据库中的一个或多个训练集选择第一图像和第二图像。该方法还包括：由处理器通过对第一图像和第二图像中的多个协同
定位的
像素对中的每个像素对的强度求平均，将第二图像重叠在第一图像上以形成混合图像。该方法还包括：由处理器使用混合图像来训练被配置用于图像分类任务的机器学习过程，以增强由用于图像分类任务的机器学习过程使用的数据。
[0006] 根据本发明的另一方面，提供了一种用于针对图像分类任务执行机器学习的
计算机程序产品。该计算机程序产品包括非暂态计算机可读存储介质，非暂态计算机可读存储介质具有以其体现的程序指令。程序指令由计算机可执行以使得计算机执行方法。该方法包括：由可操作地耦合到一个或多个数据库的处理器从一个或多个数据库中的一个或多个训练集选择第一图像和第二图像。该方法还包括：由处理器通过对第一图像和第二图像中的多个协同定位的像素对中的每个像素对的强度求平均，将第二图像重叠在第一图像上以形成混合图像该方法还包括：由处理器使用混合图像来训练被配置用于图像分类任务的机器学习过程，以增强由用于图像分类任务的机器学习过程使用的数据。
[0007] 根据本发明的又一方面，提供了一种用于针对图像分类任务执行机器学习的计算机处理系统。该计算机处理系统包括：可操作地耦合到一个或多个数据库的处理器。该处理器被配置为：从一个或多个数据库中的一个或多个训练集选择第一图像和第二图像。该处理器还被配置为：通过对第一图像和第二图像中的多个协同定位的像素对中的每个像素对的强度求平均，将第二图像重叠在第一图像上以形成混合图像。该处理器还被配置为：使用混合图像来训练用于图像分类任务的机器学习过程，以增强由用于图像分类任务的机器学习过程使用的数据。
[0008] 根据本发明的又一方面，提供了一种用于
机动车辆的高级驾驶员辅助系统。该高级驾驶员辅助系统包括：像机，被配置为捕获与来自机动车辆的外部
视野相关的实际图像。该高级驾驶员辅助系统还包括：可操作地耦合到一个或多个数据库的处理器。该处理器被配置为从一个或多个数据库中的一个或多个训练集选择第一图像和第二图像。该处理器还被配置为通过对第一图像和第二图像中的多个协同定位的像素对中的每个像素对的强度求平均，将第二图像重叠在第一图像上以形成混合图像。该处理器还被配置为通过使用混合图像训练配置用于图像分类任务的机器学习过程，以增强由用于图像分类任务的机器学习过程使用的数据。图像分类任务涉及驾驶员辅助功能。该处理器还被配置为将训练的机器学习过程应用于测试图像以获得针对测试图像的分类。该处理器还被配置为响应于针对测试图像的分类，控制机动车辆的一个或多个
硬件设备的功能。
[0009] 通过以下结合
附图阅读的对本发明的说明性
实施例的详细描述中，这些和其他特征和优点将变得显而易见。
附图说明
[0010] 以下
说明书将参考以下附图提供优选实施例的细节，其中：
[0011] 图1示出了根据本发明的实施例的可以应用本发明的示例性处理系统；
[0012] 图2示出了根据本发明的实施例的可以应用本发明的示例性系统；
[0013] 图3-4示出了根据本发明的实施例的用于图像分类任务的数据增强的示例性方法；
[0014] 图5-6示出了根据本发明的实施例的用于图像分类任务的数据增强的另一示例性方法；
[0015] 图7示出了根据本发明的实施例的可以应用本发明的总体神经网络训练方案；
[0016] 图8是示出根据本发明的实施例的具有一个或多个
云计算
节点的说明性云计算环境的
框图，其中由云消费者使用的本地计算设备与云计算节点通信；以及
[0017] 图9是示出根据本发明的实施例的由云计算环境提供的一组功能抽象层的框图。
具体实施方式
[0018] 本发明涉及用于图像分类任务的数据增强。
[0019] 在一个实施例中，本发明可以通过引入新的数据增强技术，利用神经网络(NN)实现图像分类任务中的更高的准确性。应当理解，在本文所提供的本发明给出教导的情况下，本领域普通技术人员容易理解的是，本发明不限于神经网络，并且可以与任何学习机制/技术一起使用。本发明不限于任何特定类型的神经网络，并且因此可以与诸如
卷积神经网络、
递归神经网络(RNN)等的神经网络一起使用。此外，本发明还可应用于非基于NN的学习机制/技术，包括但不限于归纳逻辑编程(ILP)、
决策树等。在保持本发明的精神的同时，本领域的普通技术人员易于确定可以应用本发明的这些和其他学习机制/技术。
[0020] 根据本发明的优选实施例的数据增强可以涉及被应用于训练图像的任何突变。例如，根据本发明的优选实施例的数据增强可以涉及但不限于针对每个输入图像进行噪声重叠、失真、提取、旋转、平移、重新缩放、剪切、拉伸和翻转。
[0021] 图1示出了根据本发明的实施例的可以应用本发明原理的示例性处理系统100。处理系统100包括至少一个处理器(CPU)104，其经由
系统总线102可操作地耦合到其他组件。高速缓存106、只读
存储器(ROM)108、
随机存取存储器(RAM)110、输入/输出(I/O)适配器
120、声音适配器130、
网络适配器140、用户
接口适配器150和显示适配器160可操作地耦合到系统总线102。至少一个
图形处理单元(GPU)194可操作地耦合到系统总线102。
[0022] 第一存储设备122和第二存储设备124通过I/O适配器120操作地耦合到系统总线102。存储设备122和124可以是盘存储设备(例如，磁盘或光盘存储设备)、固态磁设备等中的任何一种。存储设备122和124可以是相同类型的存储设备或不同类型的存储设备。
[0023] 扬声器132通过声音适配器130可操作地耦合到系统总线102。收发器142通过网络适配器140可操作地耦合到系统总线102。显示设备162通过显示适配器160可操作地耦合到系统总线102。
[0024] 第一用户输入设备152、第二用户输入设备154和第三用户输入设备156通过用户接口适配器150可操作地耦合到系统总线102。用户输入设备152、154和156可以是
键盘、
鼠标、小键盘、图像捕获设备、运动感测设备、麦克
风、结合有前述设备中的至少两个的功能的设备等中的任何一个。当然，在保持本发明的精神的同时也可以使用其他类型的输入设备。用户输入设备152、154和156可以是相同类型的用户输入设备或不同类型的用户输入设备。
用户输入设备152、154和156用于向系统100输入信息和从系统100输出信息。
[0025] 当然，如本领域技术人员容易想到的，处理系统100还可以包括其他元件(未示出)以及省略某些元件。例如，如本领域普通技术人员容易理解的，取决于各种其他输入设备和/或输出设备的特定实现，它们可以被包括在处理系统100中。例如，可以使用各种类型的无线和/或有线输入和/或输出设备。此外，如本领域普通技术人员容易理解的是，还可以利用各种配置中的附加处理器、
控制器、存储器等。在本文所提供的本发明给出教导的情况下，本领域的普通技术人员容易想到处理系统100的这些和其他变型。
[0026] 此外应当理解，下面参考图2描述的系统200是用于实现本发明的各个实施例的系统。处理系统100的部分或全部可以在系统200的一个或多个元件中实现。
[0027] 此外应当理解，处理系统100可以执行本文的方法的至少一部分，包括例如图3-4的方法300的至少一部分和/或图5-6的方法500的至少一部分和/或图7的方法700的至少一部分。类似地，系统200的部分或全部可以用于执行图3-4的方法300的至少一部分和/或图5-6的方法500的至少一部分和/或图7的方法700的至少一部分。
[0028] 图2示出了根据本发明的实施例的可以应用本发明的示例性系统200。系统200包括计算机处理系统210(例如，计算机处理系统100)和一组其他计算机处理系统220。在一个实施例中，计算机处理系统210和220中的一个或多个可以被配置为
服务器。
[0029] 计算机处理系统210可以被配置成从任何其他计算机处理系统220接收图像。根据本发明的优选实施例，计算机处理系统210可以使得所接收的图像经历用于图像分类任务的数据增强技术。然后，数据增强技术的结果可以从计算机处理系统210被提供给一个或多个其他计算机处理系统220。以此方式，根据本发明的优选实施例的教导，可以实现与
现有技术相比更准确的图像分类。
[0030] 计算机处理系统210和其他计算机处理系统220中的每个至少包括处理器291、存储器292和收发器293。此外，至少一个计算机处理系统如210可以包括用于捕获实际图像的相机299，可以对捕获的实际图像应用训练的神经网络。此外，至少其他计算机处理系统220还包括用于存储一个或多个训练(图像)集的全部或一部分的数据库294。其他计算机处理系统220的收发器293将图像发送到计算机处理系统210的收发器293。计算机处理系统210的处理器291和存储器292然后处理图像，以经由收发机293向一个或多个其他计算机处理系统220提供图像分类结果。
[0031] 在一个实施例中，计算机处理系统210可以是另一系统271的一部分。这样的其他系统可以是例如但不限于，监视系统、
计算机视觉系统、动作识别系统、高级驾驶员辅助系统等。应当理解，前述类型的系统仅仅是说明性的，并且本发明可以应用于可以受益于图像分类的不计其数的不同类型的系统。为了简洁和清楚起见，未在图2中示出，但是本领域的普通技术人员仍然容易知道和理解这些系统中的其他元件。
[0032] 在图2所示的实施例中，其元件通过网络201互连。然而，在其他实施例中，也可以使用其他类型的连接。此外，在实施例中，系统200的元件中的至少一个元件是基于处理器的(在所示的示例中，全部都是基于处理器的)。此外，虽然一个或多个元件可以被示出为单独的元件，但是在其他实施例中这些元件可以被组合为一个元件。相反的情况也是适用的，其中虽然一个或多个元件可以是另一元件的一部分，但是在其他实施例中一个或多个元件可以被实现为独立元件。此外，图2的一个或多个元件可以在云配置中实现，包括例如在分布式配置中实现。另外，图2中的一个或多个元件可以由各种设备来实现，这些设备包括但不限于数字
信号处理(DSP)
电路、可编程处理器、
专用集成电路(ASIC)、现场可编程
门阵列(FPGA)、复杂
可编程逻辑器件(CPLD)，等等。在保持本发明的精神的同时，在本文所提供的本发明给出教导的情况下，本领域的普通技术人员容易确定系统200的元件的这些和其他变化。
[0033] 现在将参照图3-4和5-6描述两个示例性方法300和500。特别地，出于简单和说明目的，图3-4的方法300对应于仅使用形成单个图像对的两个输入图像来描述的数据增强技术。相反，图5-6的方法500对应于图3的数据增强技术，其被应用于包括多于一对输入图像的一组输入图像对。在保持本发明的精神的同时，在本文所提供的本发明给出教导的情况下，本领域的普通技术人员可以容易地想到方法300和500的这些和其他变化和扩展。如上，系统100和系统200中的任何一个都可以用于执行方法300和/或方法500(和/或方法700)。为此应当理解，本文描述的方法步骤可以由例如中央处理单元(CPU)(例如，图1的CPU 104)和/或图形处理单元(GPU)(图1的GPU194)来执行。还应当理解，尽管方法300、500和700中的一个或多个涉及神经网络的使用，但是如本领域普通技术人员容易理解的，可以使用任何类型的机器学习过程来代替神经网络。例如，本发明可以与机器学习过程一起使用，包括但不限于决策树学习、关联规则学习、
深度学习、归纳编程逻辑、
支持向量机、聚类、
贝叶斯网络、
强化学习、表示学习、相似性和度量学习、稀疏字典学习、基于规则的机器学习和学习分类。本发明可以被应用到的前述机器学习过程仅仅是说明性的，并且因此在保持本发明的精神的同时，本发明还可以被应用到其他机器学习过程。
[0034] 图3-4示出了根据本发明的实施例的用于图像分类任务的数据增强的示例性方法300。
[0035] 在步骤305，从训练集选择第一输入图像(以下称为“第一图像”)和第二输入图像(以下称为“第二图像”)。
[0036] 在步骤310，通过对第一图像和第二图像中的多个协同定位的像素对中的每个像素对的强度求平均，将第二图像重叠在第一图像上，以形成混合图像。
[0037] 在步骤315，使用混合图像来训练被实现为神经网络的图像分类器。
[0038] 在一个实施例中，步骤315可以包括步骤315A-C中的一个或多个。
[0039] 在步骤315A，通过使用第一图像的标签作为混合图像的标签，来训练图像分类器。
[0040] 在步骤315B，通过使用第二图像的标签作为混合图像的标签，来训练图像分类器。
[0041] 在步骤315C，通过将第一图像的标签与第二图像的标签混合以形成混合图像的标签，来训练图像分类器。
[0042] 在步骤320，使用混合图像继续训练，例如，直到已经满足预定标准。预定标准可以包括但不限于例如
训练数据或验证数据的准确性或训练损失的改善。因此，例如当通过执行进一步训练而没有进一步提高分类准确度时，可以停止训练。
[0043] 在步骤325，执行图像分类器的微调而不混合第二图像。即，使用未混合的图像(即第一图像和第二图像)执行微调。
[0044] 在步骤330，接收待分类的图像。
[0045] 在步骤335，将训练的神经网络应用于待分类的图像。
[0046] 在步骤340，输出待分类图像的分类。
[0047] 在步骤345，响应于对图像的分类而执行动作(在下文中可互换地称为“响应动作”)。响应动作可以与本发明可以应用的任何数量的应用相关，包括但不限于监视、动作识别、高级驾驶员辅助系统、计算机视觉等。因此，动作例如可以是生成分类的可听再现(例如，在计算机视觉的情况下)、生成用户可
感知的警报、
锁门以保持对象(例如，人或其他有生命的对象和/或无生命的对象)被包含、解锁门以释放包含的对象、向用户建议正确的动作(例如，响应于指示用户正在执行不正确的动作的分类，例如，在文档化的过程和/或其他过程中)、对一个或多个车辆功能(例如，
刹车、
加速、转向)采取控制等。分类可以对应于禁止的和/或危险的物品等。应当理解，前述响应动作仅仅是说明性的，因此在保持本发明的精神的同时，也可以响应于本发明所进行的分类来执行任何其他响应动作。
[0048] 图5-6示出了根据本发明的实施例的用于图像分类任务的数据增强的另一示例性方法500。
[0049] 在步骤505，从图像的训练集选择一个或多个不同输入图像对的集合。该集合中的每个图像对包括从该集合选择的第一相应输入图像(以下称为“第一图像”)和第二相应输入图像(以下称为“第二图像”)。
[0050] 在步骤510，对于每个图像对，通过对第一图像和第二图像中的多个协同定位的像素对中的每个像素对的强度求平均，来将第二图像重叠在第一图像上，以从每个图像对形成混合图像。
[0051] 在步骤515，使用从每个图像对形成的混合图像来训练被实现为神经网络的图像分类器。
[0052] 在一个实施例中，步骤515可以包括步骤515A-C中的一个或多个。
[0053] 在步骤515A，通过使用第一图像的标签作为混合图像的标签，来训练图像分类器。
[0054] 在步骤515B，通过使用第二图像的标签作为混合图像的标签，来训练图像分类器。
[0055] 在步骤515C，通过将第一图像的标签与第二图像的标签混合以形成混合图像的标签，来训练图像分类器。
[0056] 在步骤520，使用混合图像继续训练，例如，直到满足预定标准。预定标准可以包括但不限于例如训练数据或验证数据的准确性或训练损失的改善。因此，例如当通过执行进一步训练而没有进一步提高分类准确度时，可以停止训练。
[0057] 在步骤525，执行图像分类器的微调而不混合第二图像。即，使用未混合的图像(图像对的第一图像和第二图像)执行微调。
[0058] 在步骤530，接收待分类的图像。
[0059] 在步骤535，将训练的神经网络应用于待分类的图像。
[0060] 在步骤540，输出待分类图像的分类。
[0061] 在步骤545，响应于对图像的分类而执行动作。在上文中关于方法300的步骤345进一步描述了可能的示例性动作。
[0062] 图7示出了根据本发明的实施例的可以应用本发明的总体神经网络训练方案。
[0063] 在步骤705，在训练阶段训练神经网络。
[0064] 在一个实施例中，步骤705可以包括步骤705A-C中的一个或多个。
[0065] 在步骤705A，
访问数据增强技术以使得该数据增强技术可用于按需或根据要求使用。数据增强技术可以是图3-5的方法300和图5-6的方法500中的任何一种。
[0066] 在步骤705B，在训练阶段的开始处，例如在多个时期禁用数据增强技术。这样提高了总体神经网络训练速度，并且可以获得更好的最终准确度(如通过大量实验所证明的)。
[0067] 在步骤705C，在训练阶段的一个或多个中间时间段禁用数据增强技术。例如，数据增强技术可以在多个时期被禁用。在此，类似于步骤710B，提高了总体神经网络训练速度，并且可以获得更好的最终准确度。
[0068] 应当理解，尽管本公开包括关于云计算的详细描述，但是本文所陈述的教导的实现不限于云计算环境。而是，本发明的实施例能够结合现在已知或以后开发的任何其他类型的计算环境来实现。
[0069] 云计算是一种服务交付模式，用于对共享的可配置计算资源池进行方便、按需的网络访问。可配置计算资源是能够以最小的管理成本或与服务提供者进行最少的交互就能快速部署和释放的资源，例如可以是网络、网络带宽、服务器、处理、内存、存储、应用、
虚拟机和服务。这种云模式可以包括至少五个特征、至少三个服务模型和至少四个部署模型。
[0070] 特征包括
[0071] 按需自助式服务：云的消费者在无需与服务提供者进行人为交互的情况下能够单方面自动地按需部署诸如服务器时间和网络存储等的计算能
力。
[0072] 广泛的网络接入：计算能力可以通过标准机制在网络上获取，这种标准机制促进了通过不同种类的瘦客户机平台或厚客户机平台(例如
移动电话、膝上型电脑、
个人数字助理PDA)对云的使用。
[0073] 资源池：提供者的计算资源被归入资源池并通过多租户(multi-tenant)模式服务于多重消费者，其中按需将不同的实体资源和虚拟资源动态地分配和再分配。一般情况下，消费者不能控制或甚至并不知晓所提供的资源的确切
位置，但可以在较高抽象程度上
指定位置(例如国家、州或
数据中心)，因此具有位置无关性。
[0074] 迅速弹性：能够迅速、有弹性地(有时是自动地)部署计算能力，以实现快速扩展，并且能迅速释放来快速缩小。在消费者看来，用于部署的可用计算能力往往显得是无限的，并能在任意时候都能获取任意数量的计算能力。
[0075] 可测量的服务：云系统通过利用适于服务类型(例如存储、处理、带宽和活跃用户账号)的某种抽象程度的计量能力，自动地控制和优化资源效用。可以监测、控制和报告资源使用情况，为服务提供者和消费者双方提供透明度。
[0076] 服务模型如下：
[0077]
软件即服务(SaaS)：向消费者提供的能力是使用提供者在云
基础架构上运行的应用。可以通过诸如网络浏览器的瘦客户机接口(例如基于网络的
电子邮件)从各种客户机设备访问应用。除了有限的特定于用户的应用配置设置外，消费者既不管理也不控制包括网络、服务器、
操作系统、存储、乃至单个应用能力等的底层云基础架构。
[0078] 平台即服务(PaaS)：向消费者提供的能力是在云基础架构上部署消费者创建或获得的应用，这些应用利用提供者支持的程序设计语言和工具创建。消费者既不管理也不控制包括网络、服务器、操作系统或存储的底层云基础架构，但对其部署的应用具有控制权，对应用托管环境配置可能也具有控制权。
[0079] 基础架构即服务(IaaS)：向消费者提供的能力是消费者能够在其中部署并运行包括操作系统和应用的任意软件的处理、存储、网络和其他基础计算资源。消费者既不管理也不控制底层的云基础架构，但是对操作系统、存储和其部署的应用具有控制权，对选择的网络组件(例如主机
防火墙)可能具有有限的控制权。
[0080] 部署模型如下：
[0081] 私有云：云基础架构单独为某个组织运行。云基础架构可以由该组织或第三方管理并且可以存在于该组织内部或外部。共同体云：云基础架构被若干组织共享并支持有共同利害关系(例如任务使命、安全要求、政策和合规考虑)的特定共同体。共同体云可以由共同体内的多个组织或第三方管理并且可以存在于该共同体内部或外部。
[0082] 公共云：云基础架构向公众或大型产业群提供并由出售云服务的组织拥有。
[0083] 混合云：云基础架构由两个或更多部署模型的云(私有云、共同体云或公共云)组成，这些云依然是独特的实体，但是通过使数据和应用能够移植的标准化技术或私有技术(例如用于云之间的负载平衡的云突发流量分担技术)绑定在一起。
[0084] 云计算环境是面向服务的，特点集中在无状态性、低耦合性、模
块性和语意的
互操作性。云计算的核心是包含互连节点网络的基础架构。
[0085] 现在参考图8，描绘了说明性云计算环境850。如图所示，云计算环境850包括由云消费者使用的本地计算设备可以与其通信的一个或多个云计算节点810，该本地计算设备例如是个人数字助理(PDA)或蜂窝电话854A、台式计算机854B、膝上型计算机854C和/或
汽车计算机系统854N。节点810可以彼此通信。它们可以被物理地或虚拟地分组(未示出)在一个或多个网络中，诸如上文描述的私有云、社区云、公共云或混合云或其组合。这允许云计算环境850提供基础设施、平台和/或软件作为服务，云消费者不需要为其维护本地计算设备上的资源。应当理解，图8中所示的计算设备854A-N的类型仅旨在说明目的，并且计算节点810和云计算环境850可以通过任何类型的网络和/或网络可寻址连接(例如，使用web浏览器)与任何类型的计算设备通信。
[0086] 现在参考图9，示出了由云计算环境850(图8)提供的一组功能抽象层。应当预先理解，图9中所示的组件、层和功能仅旨在说明，并且本发明的实施例不限于此。如所描绘的，提供了以下层和相应的功能：
[0087] 硬件和软件层960包括硬件和
软件组件。硬件组件的示例包括：主机961；基于RISC(精简指令集计算机)架构的服务器962；服务器963；刀片服务器964；存储设备965；以及网络和联网组件966。在一些实施例中，软件组件包括网络
应用服务器软件967和数据库软件968。
[0088] 虚拟化层970提供抽象层，从该抽象层可以提供虚拟实体的以下示例：虚拟服务器971；虚拟存储972；虚拟网络973，包括虚拟专用网络；虚拟应用和操作系统974；以及虚拟客户机975。
[0089] 在一个示例中，管理层980可以提供下面描述的功能。资源供应981提供计算资源和被利用来在云计算环境内执行任务的其他资源的动态采购。计量和定价982提供在云计算环境内利用资源时的成本
跟踪，以及针对这些资源的消耗的计费或开取收据。在一个示例中，这些资源可以包括
应用软件许可证。安全性为云消费者和任务提供身份验证并且为数据和其他资源提供保护。用户门户983为消费者和系统管理员提供对云计算环境的访问。服务级别管理984提供云计算资源分配和管理，使得满足所需的服务级别。
服务水平协议(SLA)规划和履行985提供对云计算资源的预先安排和采购，其中未来需求根据SLA来预期。
[0090] 工作负载层990提供了可以利用云计算环境的功能的示例。从该层可以提供的工作负载和功能的示例包括：映射和导航991；软件开发和生命周期管理992；虚拟教室教育传送993；数据分析处理994；交易处理995；以及用于图像分类任务的数据增强996。
[0091] 本发明可以是在任何可能的技术细节集成水平的系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质(或多个介质)，该计算机可读程序指令用于使处理器执行本发明的各方面。
[0092] 计算机可读存储介质可以是能够保留和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、
半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、
硬盘、随机存取存储器(RAM)、
只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、
软盘、诸如上面记录有指令的打孔卡或凹槽中的凸起结构的机械编码装置，以及上述的任何适当组合。如本文所使用的计算机可读存储介质不应被解释为暂态信号本身，诸如
无线电波或其他自由传播的
电磁波、通过
波导或其他传输介质传播的电磁波(例如，通过光纤线缆的光脉冲)、或通过有线传输的
电信号。
[0093] 本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络，例如因特网、局域网、广域网和/或无线网络，下载到外部计算机或外部存储设备。网络可以包括
铜传输
电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令，并且转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
[0094] 用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器相关指令、微代码、
固件指令、状态设置数据，或者以一种或多种编程语言的任意组合编写的源代码或目标代码，该编程语言包括面向对象的编程语言，例如SMALLTALK、C++等，以及常规的过程编程语言，例如“C”编程语言或类似的编程语言。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的
软件包执行，部分在用户的计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以(例如，使用因特网服务提供商通过因特网)连接到外部计算机。在一些实施例中，为了执行本发明的各方面，包括例如可编程
逻辑电路、
现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的
电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令，以使得电子电路个性化。
[0095] 在此参考根据本发明实施例的方法、装置(系统)和计算机程序产品的
流程图和/或框图描述本发明的各方面。将理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。
[0096] 这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程
数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以被存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置和/或其他设备以特定方式工作，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。
[0097] 计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
[0098] 附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方案中，框中所提及的功能可不按图中所提及的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的专用的基于硬件的系统来实现。
[0099] 说明书中对本发明的“一个实施例”或“实施例”以及其他变型的引用表示结合该实施例描述的特定特征、结构、特性等被包括在本发明的至少一个实施例中。因此，在整个说明书中的各个地方出现的短语“在一个实施例中”或“在实施例中”以及任何其他变型的出现不一定都指代相同的实施例。
[0100] 应当理解，例如在“A/B”、“A和/或B”以及“A和B中的至少一个”的情况下，使用以下“/”、“和/或”以及“中的至少一个”中的任何一个旨在涵盖仅对第一个列出的选项(A)的选择、或仅对第二个列出的选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的例子，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这样的措词旨在包括仅选择第一个列出的选项(A)，或者仅选择第二个列出的选项(B)，或者仅选择第三个列出的选项(C)，或者仅选择第一个和第二个列出的选项(A和B)，或者仅选择第一个和第三个列出的选项(A和C)，或者仅选择第二个和第三个列出的选项(B和C)，或者选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员来说所易见，这可以扩展到所列的许多项目。
[0101] 已经描述了系统和方法的优选实施例(其旨在说明而非限制目的)，将会理解，本领域技术人员根据上述教导可以进行
修改和改变。因此应当理解，可以在所公开的特定实施例中进行改变，这些改变涵盖在由所附
权利要求概括的本发明的范围内。
