对图像中的对象节点的识别方法、装置、终端及可读介质
阅读：1058发布：2020-07-09
专利汇可以提供对图像中的对象节点的识别方法、装置、终端及可读介质专利检索，专利查询，专利分析的服务。并且本 发明 实施例 公开了一种对图像中的对象 节点 的识别方法、装置、终端及可读介质，其中方法包括：获取待识别的原始图像，所述原始图像包含目标图像对象；对所述原始图像进行图像检测，在所述原始图像中确定目标图像区域，所述目标图像区域包括了所述目标图像对象；根据所述目标图像区域对所述原始图像进行图像裁剪，得到包含所述目标图像对象的子图像；调用预置的节点识别模型对所述子图像进行节点识别，得到所述目标图像对象的节点识别信息，可更好地进行图像对象的节点识别。，下面是对图像中的对象节点的识别方法、装置、终端及可读介质专利的具体信息内容。
1.一种对图像中的对象节点的识别方法，其特征在于，包括：
获取待识别的原始图像，所述原始图像包含目标图像对象；
对所述原始图像进行图像检测，在所述原始图像中确定目标图像区域，所述目标图像区域包括了所述目标图像对象；
根据所述目标图像区域对所述原始图像进行图像裁剪，得到包含所述目标图像对象的子图像；
调用预置的节点识别模型对所述子图像进行节点识别，得到所述目标图像对象的节点识别信息；其中所述目标图像对象为手掌，所述目标图像对象的节点为手掌的关节点，所述节点识别信息为关节点的位置和方向；
所述调用预置的节点识别模型对所述子图像进行节点识别，得到所述目标图像对象的节点识别信息，包括：
对所述子图像进行节点识别，得到P个通道的节点概率矩阵，每个通道的节点概率矩阵表示对应节点在所述原始图像中的位置概率分布状态，P的取值等于所述目标图像对象中的节点数量；
根据所述P个通道的节点概率矩阵得到所述目标图像对象的节点识别信息，所述节点识别信息包括所述目标图像对象上各个节点在所述原始图像上的图像位置信息。
2.如权利要求1所述的方法，其特征在于，所述对所述原始图像进行图像检测，在所述原始图像中确定目标图像区域，包括：
调用预置的第一区域检测模型对所述原始图像进行图像特征识别，得到区域概率矩阵，所述区域概率矩阵中的元素值Auv表示所述原始图像中对应的像素点Ouv属于目标图像区域的概率，u表示行数，v表示列数；
采用预设阈值对所述区域概率矩阵进行二值化处理，得到特征元素值区域；
根据所述特征元素值区域在所述区域概率矩阵中的位置确定目标图像区域。
3.如权利要求2所述的方法，其特征在于，预置的第一区域检测模型对所述原始图像进行图像特征识别，得到区域概率矩阵，包括：
对所述原始图像进行卷积计算，得到第一图像特征；
根据所述第一图像特征进行基于下采样处理策略的第一处理，得到第二图像特征，其中，进行第一处理后得到的第二图像特征的分辨率低于所述第一图像特征的分辨率；
根据所述第二图像特征进行基于上采样和融合处理策略的第二处理，得到目标图像特征，其中，进行第二处理后得到的目标图像特征的分辨率与所述原始图像的分辨率相同；对所述目标图像特征进行反卷积计算，得到区域概率矩阵。
4.如权利要求3所述的方法，其特征在于，
所述基于下采样处理策略的第一处理包括N次下采样处理和M组卷积计算处理，下采样处理包括对所述第一图像特征进行下采样和对每一组卷积计算处理后得到的下采样图像特征进行下采样的处理；其中，N和M均为正整数；
所述基于上采样和融合处理策略的第二处理包括N次上采样处理、N次特征融合处理以及M组反卷积计算处理，上采样处理包括对所述第二图像特征进行上采样和对每一组反卷积计算处理后得到的图像特征进行上采样的处理，特征融合处理包括将每次上采样处理后得到的图像特征与对应的分辨率相同的下采样图像特征进行特征融合的处理。
5.如权利要求1所述的方法，其特征在于，所述对所述原始图像进行图像检测，在所述原始图像中确定目标图像区域，包括：
调用预置的第二区域检测模型对所述原始图像进行处理，得到四元组数据，其中，所述第二区域检测模型对所述原始图像进行图像特征提取处理，根据提取的图像特征得到四元组数据；
根据所述四元组数据确定目标图像区域。
6.如权利要求5所述的方法，其特征在于，预置的第二区域检测模型对所述原始图像进行处理，得到四元组数据，包括：
对所述原始图像进行卷积计算，得到第三图像特征；
根据所述第三图像特征进行第三处理，得到第四图像特征，所述第三处理包括R次下采样处理和S组卷积计算处理，下采样处理包括对所述第三图像特征进行下采样和对每一组卷积计算处理后得到的图像特征进行下采样的处理；其中，R和S均为正整数；
根据所述第四图像特征进行第四处理，得到中间图像特征，所述第四处理包括卷积计算处理；
根据所述第四图像特征进行维度转换，得到第一特征向量，根据所述中间图像特征进行维度转换，得到第二特征向量；
根据所述第一特征向量和所述第二特征向量进行特征融合得到四元组数据。
7.如权利要求6所述的方法，其特征在于，所述第四处理还包括：对所述第四图像特征进行下采样的处理，并对下采样处理后得到的图像特征进行卷积计算的处理，所述根据所述第四图像特征进行维度转换，得到第一特征向量，包括：
对所述第四图像特征进行缩放处理，得到缩放后的第四图像特征，所述缩放后的第四图像特征的分辨率与所述中间图像特征的分辨率相同；
对所述缩放后的第四图像特征进行维度转换，得到第一特征向量。
8.如权利要求1所述的方法，其特征在于，对所述子图像进行节点识别，得到P个通道的节点概率矩阵，包括：
对所述子图像进行卷积计算，得到卷积图像特征；
对所述卷积图像特征进行节点识别处理，得到第一节点识别特征，所述节点识别处理包括K次下采样处理和J组卷积计算处理，下采样处理包括对所述卷积图像特征进行下采样和对每一组卷积计算处理后得到的下采样节点识别特征进行下采样的处理；其中，K和J均为正整数；
根据所述第一节点识别特征得到P个通道的节点概率矩阵。
9.如权利要求8所述的方法，其特征在于，所述根据所述第一节点识别特征得到P个通道的节点概率矩阵，包括：
根据所述第一节点识别特征得到第二节点识别特征；
根据所述第一节点识别特征与所述第二节点识别特征进行节点信息调整处理，得到P个通道的节点概率矩阵；
所述节点信息调整处理包括X组卷积计算、Y次上采样处理和特征融合处理，上采样处理包括对所述第二节点识别特征进行上采样和/或对每一组卷积计算处理后得到的节点识别特征进行上采样的处理，特征融合处理包括将每次上采样处理后得到的节点识别特征与对应的分辨率相同的下采样节点识别特征进行特征融合的处理；其中，X和Y均为正整数。
10.如权利要求1所述的方法，其特征在于，所述根据所述目标图像区域对所述原始图像进行图像裁剪，得到包含所述目标图像对象的子图像，包括：
根据所述目标图像区域对所述原始图像进行图像裁剪，得到裁剪图像，所述裁剪图像包含所述目标图像对象，所述裁剪图像的尺寸不大于所述目标图像区域的尺寸；
对所述裁剪图像进行分辨率的调整，得到子图像，所述子图像的分辨率为目标分辨率。
11.如权利要求1所述的方法，其特征在于，所述节点识别信息包括所述目标图像对象上各个节点在所述原始图像上的图像位置信息，所述方法还包括：
根据所述目标图像对象的节点识别信息，得到所述目标图像对象的节点连接图像；
将所述节点连接图像叠加到所述原始图像中，得到并显示叠加图像。
12.一种对图像中的对象节点的识别装置，其特征在于，包括：
获取单元，用于获取待识别的原始图像，所述原始图像包含目标图像对象；
检测单元，用于对所述原始图像进行图像检测，在所述原始图像中确定目标图像区域，所述目标图像区域包括了所述目标图像对象；
裁剪单元，用于根据所述目标图像区域对所述原始图像进行图像裁剪，得到包含所述目标图像对象的子图像；
识别单元，用于调用预置的节点识别模型对所述子图像进行节点识别，得到所述目标图像对象的节点识别信息；其中所述目标图像对象为手掌，所述目标图像对象的节点为手掌的关节点，所述节点识别信息为关节点的位置和方向；
所述对所述子图像进行节点识别，包括：
对所述子图像进行节点识别，得到P个通道的节点概率矩阵，每个通道的节点概率矩阵表示对应节点在所述原始图像中的位置概率分布状态，P的取值等于所述目标图像对象中的节点数量；
根据所述P个通道的节点概率矩阵得到所述目标图像对象的节点识别信息，所述节点识别信息包括所述目标图像对象上各个节点在所述原始图像上的图像位置信息。
13.一种智能终端，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-11任一项所述的对图像中的对象节点的识别方法。
14.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序指令，所述计算机程序指令适于由处理器加载并执行如权利要求1-11任一项所述的对图像中的对象节点的识别方法。
对图像中的对象节点的识别方法、装置、终端及可读介质
技术领域
背景技术
[0002] 随着人工智能(Artificial Intelligence，AI)概念的普及，图像识别成为了一个热门的研究课题。所谓的图像识别是人工智能的一个重要领域，是一种利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。该图像中的对象可以是指文字、物体以及手势等等。如何更好地对图像对象进行识别成为研究的热点。
发明内容
[0003] 本发明实施例提供了一种对图像中的对象节点的识别方法、装置、终端及可读介质，可更好地进行图像对象的节点识别。
[0004] 一方面，本发明实施例提供了一种对图像中的对象节点的识别方法，包括：
[0005] 获取待识别的原始图像，所述原始图像包含目标图像对象；
[0006] 对所述原始图像进行图像检测，在所述原始图像中确定目标图像区域，所述目标图像区域包括了所述目标图像对象；
[0007] 根据所述目标图像区域对所述原始图像进行图像裁剪，得到包含所述目标图像对象的子图像；
[0008] 调用预置的节点识别模型对所述子图像进行节点识别，得到所述目标图像对象的节点识别信息。
[0009] 另一方面，本发明实施例提供了一种对图像中的对象节点的识别装置，包括：
[0010] 获取单元，用于获取待识别的原始图像，所述原始图像包含目标图像对象；
[0011] 检测单元，用于对所述原始图像进行图像检测，在所述原始图像中确定目标图像区域，所述目标对象区域包括了所述目标图像对象；
[0012] 裁剪单元，用于根据所述目标图像区域对所述原始图像进行图像裁剪，得到包含所述目标图像对象的子图像；
[0013] 识别单元，用于调用预置的节点识别模型对所述子图像进行节点识别，得到所述目标图像对象的节点识别信息。
[0014] 再一方面，本发明实施例提供一种智能终端，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如下步骤：
[0015] 获取待识别的原始图像，所述原始图像包含目标图像对象；
[0016] 对所述原始图像进行图像检测，在所述原始图像中确定目标图像区域，所述目标图像区域包括了所述目标图像对象；
[0017] 根据所述目标图像区域对所述原始图像进行图像裁剪，得到包含所述目标图像对象的子图像；
[0018] 调用预置的节点识别模型对所述子图像进行节点识别，得到所述目标图像对象的节点识别信息。
[0019] 再一方面，本发明实施例提供一种计算机存储介质，该计算机存储介质存储有计算机程序指令，该计算机程序指令被执行时用于实现上述的对图像中的对象节点的识别方法。
[0020] 本发明实施例在获取到待识别的原始图像后，通过图像检测和裁剪，将包含目标图像对象的子图像输入至预置的节点识别网络中进行节点识别，可以避免目标图像区域占整个原始图像比例较小时，节点识别不准确的问题，从而可以提高识别的精确度，满足精细化手势识别的需求。附图说明
[0021] 为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022] 图1是本发明实施例提供的一种手势图像的示意图；
[0023] 图2是本发明实施例提供的一种手势骨架图像的示意图；
[0024] 图3a是本发明实施例提供的一种手势图像的示意图；
[0025] 图3b是本发明实施例提供的一种手势骨架图像的示意图；
[0026] 图4是本发明提供的一种对图像中的对象节点的识别方法的示意流程图；
[0027] 图5是本发明实施例提供的一种预置的第一区域检测模型确定目标图像区域的过程示意图；
[0028] 图6是本发明实施例提供的一种语义分割网络的结构示意图；
[0029] 图7是本发明实施例提供的一种预置的第二区域检测模型确定目标图像区域的过程示意图；
[0030] 图8是本发明实施例提供的一种目标检测网络的结构示意图；
[0031] 图9是本发明实施例提供的一种节点识别网络的结构示意图；
[0032] 图10是本发明实施例提供的一种对图像中的对象节点进行识别的识别模型的结构示意图；
[0033] 图11是本发明实施例提供的一种识别模型的应用场景图；
[0034] 图12是本发明实施例提供的一种对图像中的对象节点的识别装置的结构示意图；
[0035] 图13是本发明实施例提供的一种智能终端的结构示意图。
具体实施方式
[0036] 在本发明实施例中，提供了一种对图像中的对象节点的识别方法，该识别方法可以通过对原始图像进行检测和裁剪得到包含目标图像对象的子图像，然后调用预置的节点识别模型对所述子图像进行节点识别，从而得到原始图像包含的目标图像对象的节点识别信息。本发明实施例在进行节点识别的过程中，可以不用对整幅原始图像进行节点识别，可以只对子图像进行节点识别，从而可以避免对原始图像中与目标图像对象相近的其它图像对象进行识别，进而可以提高图像识别的精确度。
[0037] 在一个实施例中，该对图像中的对象节点的识别方法可以应用在手势骨架识别上，所谓的手势骨架识别是指识别出图像中的手的主要关节点，然后将识别出的关节点以预设方式连接起来以形成手的骨架图像。以手掌的22个节点为例，如图1-图2所示。图1中展示的是一个手掌展开的手势，手势骨架识别可以识别出图1中的手势所对应的手势骨架图像，所述手势骨架图像可以如图2所示。运用本发明实施例的识别方法，还可以对图3a中的手势进行识别，本发明实施例不仅可以识别出图3a中的手势为比V的手势，还可以识别出无名指的弯曲节点1、小拇指的弯曲节点2、大拇指与无名指的交汇处3以及其他的隐藏节点，从而得到如图3b所示的手势骨架图像。由此可见，本发明实施例提出的对图像中的对象节点的识别方法可以识别出整个手掌的关键节点(包括隐藏节点)，基于识别出来的关键节点可以识别出手掌的每个手指的关节位置以及方向，得到手势骨架图像。本发明可以基于智能终端等设备的摄像头产生的图像来预测手势骨架的2D坐标，可以识别手的任意关节点的位置和方向。
[0038] 在一个实施例中，本发明实施例在图4中提出了一种对图像中的对象节点的识别方法的示意流程图。本发明实施例的所述方法可以由一个智能终端来实现，例如智能手机、平板电脑等移动智能终端，还可以由一些基于手势识别进行人机交互的智能终端实现，例如带摄像头的体感游戏设备、体感控制设备等。
[0039] 这些智能终端在开机工作过程中，可以启动摄像头来采集数据，在S101中可以基于摄像头获取待识别的原始图像，所述原始图像包含目标图像对象，该目标图像对象主要包括用户的手掌，用户应当将手掌至于摄像头的摄像范围内，以便于能够拍摄到手掌进行手势骨架识别。对于摄像头拍摄得到的图像中，可以进行初始手势识别估计，如果识别出不包括手掌，则继续执行本步骤。
[0040] 终端可以根据用户输入的处理指令来获取待识别的原始图像，例如，用户想要知道原始图像中的目标图像对象的节点信息时，可以向终端输入一个处理指令，以指示终端来获取待识别的原始图像，并对所述原始图像进行节点识别处理。所述处理指令可以是对终端的按压指令或点击指令，也可以是向终端发送的语音指令等等，本发明实施例对此不作限定。在一个实施例中，终端还可以根据业务需求来主动获取待识别的原始图像，并对所述原始图像进行节点识别处理。例如，所述业务需求可以是手势拍照，用户使用手势拍照时，终端需要检测到用户的指定手势后，才会进行图像拍摄。因此，终端在检测到用户打开终端的摄像功能以后，就会主动获取摄像组件所拍摄的待识别的原始图像，并对所述原始图像进行节点识别处理。
[0041] 在得到了包括目标图像对象的原始图像后，在S102中可以对所述原始图像进行图像检测，在所述原始图像中确定目标图像区域，确定目标图像区域并不是任意确定一个图像区域，而是需要确定包括了所述目标图像对象的图像区域作为目标图像区域。终端可以采用图像对象检测方法来对原始图像进行图像检测，在所述原始图像中确定目标图像区域。所述图像对象检测方法是利用图像处理与模式识别等领域的理论和方法，从图像中定位感兴趣的目标，在准确地判断每个目标的具体类别后，给出每个目标的边界框的方法。
[0042] 在一个实施例中，对所述原始图像进行图像检测，在所述原始图像中确定目标图像区域的具体实施方式可以是：调用预置的第一区域检测模型对所述原始图像进行图像特征识别，得到区域概率矩阵，所述区域概率矩阵中的元素值Auv表示所述原始图像中对应的像素点Ouv属于目标图像区域的概率，u表示行数，v表示列数；采用预设阈值对所述区域概率矩阵进行二值化处理，得到特征元素值区域；根据所述特征元素值区域在所述区域概率矩阵中的位置确定目标图像区域，其具体过程可以参见图5所示。可以先对输入的原始图像10进行数据特征的提取，确定包含目标图像对象的初始图像区域。然后针对原始图像10进行像素级别的识别，所谓的像素级别的识别是指识别图像中的每个像素属于哪类目标对象，依次判断原始图像10中的每个像素是否是初始图像区域的像素。在一个实施例中，由于原始图像10在计算机内可以存储为数组，数组中的每个像素(元素)的值即是图像点的亮度(灰度)。因此可以在原始图像10上定义一个直角坐标系，即像素平面坐标系u-v。其中，每一个像素的坐标(u，v)分别代表该像素在数组中的行数和列数。因此，可以根据每个像素的像素坐标来判断原始图像10中的每个像素是否是初始图像区域的像素。
[0043] 在识别完所有像素以后，可以得到一个与原始图像10同分辨率的区域概率矩阵。然后所述预置的第一区域检测模型可以采用预设的阈值对所述区域概率矩阵进行二值化处理，得到二值图像即特征元素值区域22，具体的，首先依次判断区域概率矩阵的概率值是否大于预设的阈值。概率值小于阈值的位置在二值图像上用黑色表示；概率值大于或等于阈值的位置在二值图像上用白色表示，从而得到图5中的特征元素值区域22。然后根据所述特征元素值区域22确定出目标图像区域。
[0044] 在得到特征元素值区域22的过程中，由于计算误差等因素，可能导致得到的特征元素值区域22中包括多个白色区域，例如图5中的零散区域222和零散区域223。因此，在一个实施例中，根据特征元素值区域22确定目标图像区域的具体实施方式可以是：可以根据特征元素值区域22中的每个元素值的像素坐标，确定出最大连续区域221；根据最大连续区域221中的每个元素值的像素坐标，确定出目标图像区域。具体的，在特征元素值区域22横向u轴上分别确定最大u值和最小u值，在特征元素值区域22纵向v轴上分别确定最大v值和最小v值，然后根据确定的最大u值、最小u值、最大v值和最小v值确定目标图像区域，所述目标图像区域的形状可以是矩形框。
[0045] 其中，所述最大u值可以表示最大连续区域中的最右边的像素点的横坐标，也可以表示在最大连续区域中的最右边的像素点的基础上，往右扩展Z个像素点以后的横坐标。所述最小u值可以表示最大连续区域中的最左边的像素点的横坐标，也可以表示在最大连续区域中的最左边的像素点的基础上，往左扩展Z个像素点以后的横坐标。所述最大v值可以表示最大连续区域中的最下边的像素点的纵坐标，也可以表示在最大连续区域中的最下边的像素点的基础上，往下扩展Z个像素点以后的纵坐标。所述最小v值可以表示最大连续区域中的最上边的像素点的纵坐标，也可以表示在最大连续区域中的最上边的像素点的基础上，往上扩展Z个像素点以后的纵坐标。其中，Z为正整数，例如Z＝1到5之间任意一个正整数。
[0046] 在一个实施例中，所述第一区域检测模型可以是基于卷积神经网络的检测模型，可以根据多个样本图像和样本图像对应的标注图像对所述第一区域检测模型进行优化，得到所述预置的第一区域检测模型。其中，所述标注图像是指在对应的样本图像的基础上，标注了目标图像区域的图像。在对所述第一区域检测模型进行优化的过程中，可以先将样本图像输入至所述第一区域检测模型中，所述第一区域检测模型可以对所述样本图像进行图像检测，得到检测图像。然后可以将检测图像和对应的标注图像进行比对，根据比对结果来优化所述第一区域检测模型中的各个参数，如卷积神经网络中的卷积参数。采用多个样本图像和对应的标注图像对所述第一区域检测模型进行多次优化，直到所述第一区域检测模型对每个样本图像进行图像检测后所得到的检测图像与对应的标注图像的比对结果均满足预设条件，结束对所述第一区域检测模型的优化操作，得到预置的第一区域检测模型。
[0047] 当目标图像对象占原始图像的比例比较小时，采用上述的预置的第一区域检测模型(即基于卷积神经网络的检测模型)来对所述原始图像进行图像检测，可能会存在识别误差。因此，除了上述的基于卷积神经网络的检测模型，本发明实施例还提出了一种预置的第一区域检测模型，所述预置的第一区域检测模型可以是基于优化后的语义分割网络的模型。所述语义分割网络不仅可以对原始图像进行卷积计算以提取原始图像中的图像特征，还可以对提取到的图像特征进行下采样处理和上采样处理。所述下采样处理可以降低图像特征的分辨率，减少原始图像中非目标图像对象的数据点，以提高识别的精确度。所述上采样处理可以增大图像特征的分辨率，使得最后得到的区域概率矩阵的分辨率与原始图像的分辨率相同，从而使预置的第一区域检测模型可以根据该区域概率矩阵来准确地确定出目标图像区域。
[0048] 由于所述语义分割网络可以对原始图像进行图像检测、像素识别，从而得到区域概率矩阵，因此可以采用多个样本图像和对应的样本概率矩阵对所述语义分割网络进行优化。在优化过程中，可以先将样本图像输入至语义分割网络中进行图像检测等一系列操作，以得到检测概率矩阵。然后将检测概率矩阵与对应的样本概率矩阵进行比对，根据比对结果来优化所述语义分割网络中的各个参数，如卷积参数、下采样参数、上采样参数以及融合参数，等等。
[0049] 在一个实施例中，所述语义分割网络的结构示意图可以参见图6。对应的，调用预置的第一区域检测模型对所述原始图像进行图像特征识别，得到区域概率矩阵的具体实施方式可以是：对所述原始图像进行卷积计算，得到第一图像特征；根据所述第一图像特征进行基于下采样处理策略的第一处理，得到第二图像特征，其中，进行第一处理后得到的第二图像特征的分辨率低于所述第一图像特征的分辨率；第一图像特征是对原始图像进行卷积计算得到的，通过对第一图像特征进行基于下采样处理策略的第一处理，可以降低图像特征的分辨率，减少原始图像中非目标图像对象的数据点，从而更加准确地识别出目标图像对象，可提高识别的精确度。
[0050] 在一个实施例中，所述基于下采样处理策略的第一处理包括N次下采样处理和M组卷积计算处理，下采样处理包括对所述第一图像特征进行下采样和对每一组卷积计算处理后得到的下采样图像特征进行下采样的处理；其中，N和M均为正整数。在一个实施例中，可以一次下采样与一组卷积计算处理交叉进行，所述第二图像特征为第M组卷积计算后得到的图像特征。
[0051] 在得到第二图像特征以后，可以根据所述第二图像特征进行基于上采样和融合处理策略的第二处理，得到目标图像特征，其中，进行第二处理后得到的目标图像特征的分辨率与所述原始图像的分辨率相同。由于区域概率矩阵是根据目标图像特征得到的，因此对第二图像特征进行基于上采样和融合处理策略的第二处理，可以通过上采样增大图像特征的分辨率，并通过融合不同特征维度的特征信息，使得第二处理后得到的目标图像特征的分辨率与原始图像的分辨率相同且目标图像特征更具鲁棒性，从而使得最后得到的区域概率矩阵的分辨率与原始图像的分辨率相同，进而使预置的第一区域检测模型可以根据该区域概率矩阵来准确地确定出目标图像区域。
[0052] 在一个实施例中，所述基于上采样和融合处理策略的第二处理包括N次上采样、N次特征融合处理以及M组反卷积计算处理，上采样处理包括对所述第二图像特征进行上采样和对每一组反卷积计算处理后得到的图像特征进行上采样的处理，特征融合处理为将每次上采样处理后得到的图像特征与对应的分辨率相同的下采样图像特征或者所述第一图像特征进行特征融合的处理。
[0053] 在一个实施例中，可以一次上采样与一组反卷积计算处理交叉进行，且每次上采样完成后，将所述每次上采样处理后所得到的图像特征和对应的分辨率相同的下采样图像特征进行特征融合处理，得到特征融合处理后的图像特征，然后对特征融合处理后的图像特征进行反卷积计算处理；第N次特征融合是将第N次上采样所得到的图像特征与所述第一图像特征进行融合处理，所述目标图像特征为第M组反卷积计算后得到的图像特征；对所述目标图像特征进行反卷积计算，得到区域概率矩阵。通过交叉使用下采样处理和卷积计算处理对图像特征进行处理，可以实现对原始图像从视觉特征(如形状、纹理、颜色等)到语义特征的提取。N和M的取值可以根据实际的业务需求来确定，实验表明，N的取值越大，其得到的概率矩阵越准确。
[0054] 再一个实施例中，对所述原始图像进行图像检测，在所述原始图像中确定目标图像区域的具体实施方式还可以是：调用预置的第二区域检测模型对所述原始图像进行处理，得到四元组数据，其中，所述第二区域检测模型对所述原始图像进行图像特征提取处理，根据提取的图像特征得到四元组数据；根据所述四元组数据确定目标图像区域，所述四元组数据包括了相对于目标图像区域的中心点而得到的u方向的偏移量、v方向的偏移量以及目标图像区域的宽和高。基于u、v以及宽和高，可以得到一个目标图像区域。
[0055] 调用预置的第二区域检测模型确定目标图像区域的具体过程可以参见图7所示。可以先对原始图像10进行图像特征的提取，然后根据提取到的图像特征得到四元组数据，最后可以根据所述四元组数据确定目标图像区域。
[0056] 在一个实施例中，所述预置的第二区域检测模型根据所述四元组数据确定目标图像区域的具体实施方式可以是：以用矩形框来表示目标图像区域为例，由于四元组数据包括了相对于目标图像区域的中心点而得到的u方向的偏移量、v方向的偏移量以及目标图像区域的宽和高，如图7中的25所示。u方向的偏移量是指矩形框的左上角顶点相对于中心点在u方向的偏移量，v方向的偏移量是指据矩形框的左上角顶点相对于中心点在v方向的偏移量。因此可以识别出中心点的坐标，然后可以根据中心点的坐标与u方向的偏移量以及v方向的偏移量确定出矩形框的左上角顶点坐标，根据所述左上角顶点坐标与四元组数据中的宽和高的值来确定矩形框的大小，如图7中的30所示。在其他实施例中，u方向的偏移量和v方向的偏移量可以是指矩形框的其他顶点(如右上角顶点坐标)相对于中心点在u方向的偏移量和v方向的偏移量。
[0057] 在一个实施例中，所述第二区域检测模型也可以是基于卷积神经网络的检测模型，可以根据多个样本图像和对应的标注图像对所述第二区域检测模型进行优化，得到所述预置的第二区域检测模型。对第二区域检测模型的优化过程与上述对第一区域检测模型的优化过程类似。在一个实施例中，样本图像以及样本图像中包括目标图像对象的目标图像区域的四元组数据为已知。在输入各样本图像到构建的卷积神经网络的检测模型后，如果最后输出的四元组数据与已知的该样本图像的四元组数据相同或满足预设误差，则认为该构建的卷积神经网络的检测模型能够很好地进行预测，否则，则需要对该构建的卷积神经网络的检测模型中的相关参数进行调整。针对大量的包括各种手势的图像作为样本图像进行识别后，可以最终得到能够对包括手势的原始图像进行目标图像对象识别的第二区域检测模型。
[0058] 在另一个实施例中，除了上述的基于卷积神经网络的检测模型，本发明实施例还提出了一种预置的第二区域检测模型，所述预置的第二区域检测模型可以是基于优化后的目标检测网络的模型。所述目标检测网络不仅可以对原始图像进行卷积计算以提取原始图像中的图像特征，还可以对提取到的图像特征进行下采样处理、特征融合处理以及维度转换等等，从而得到四元组数据。所述下采样处理可以降低图像特征的分辨率，减少原始图像中非目标图像对象的数据点，以提高识别的精确度。所述特征融合处理可以利用不同特征维度的信息学习到更鲁棒的图像特征，所述维度转换可以将图像特征转换成特征向量，以便于进行特征融合处理，得到四元组数据，可以提高处理效率。
[0059] 可以采用多个样本图像和对应的样本四元组数据对初始构建的目标检测网络进行优化，最终得到所述预置的第二区域检测模型。在优化过程中，可以先将样本图像输入至目标检测网络中进行图像特征提取等一系列操作，以得到检测四元组数据。将所述检测四元组数据与对应的样本四元组数据进行比对，根据比对结果来优化所述目标检测网络中的各个参数，如下采样参数、卷积计算参数、特征融合处理参数等等。
[0060] 在一个实施例中，所述目标检测网络的结构示意图可以参见图8。对应的，预置的第二区域检测模型对所述原始图像进行处理，得到四元组数据的具体实施方式可以是：对所述原始图像进行卷积计算，得到第三图像特征；根据所述第三图像特征进行第三处理，得到第四图像特征，所述第三处理包括R次下采样处理和S组卷积计算处理，下采样处理包括对所述第三图像特征进行下采样和对每一组卷积计算处理后得到的图像特征进行下采样的处理；其中，R和S均为正整数。在一个实施例中，可以一次下采样与一组卷积计算处理交叉进行。通过交叉使用下采样处理和卷积计算处理对图像特征进行处理，可以实现对原始图像从视觉特征(如形状、纹理、颜色等)到语义特征的提取。R和S的取值可以根据实际的业务需求来确定，实验表明，R的取值越大，最后得到的四元组数据越准确。
[0061] 根据所述第四图像特征进行第四处理，得到中间图像特征，所述第四处理包括卷积计算处理；根据所述第四图像特征进行维度转换，得到第一特征向量，根据所述中间图像特征进行维度转换，得到第二特征向量；根据所述第一特征向量和所述第二特征向量进行特征融合得到四元组数据。
[0062] 在一个实施例中，所述第四处理还可以包括：对所述第四图像特征进行下采样的处理，并对下采样处理后得到的中间图像特征进行卷积计算的处理。对应的，所述根据所述第四图像特征进行维度转换，得到第一特征向量的具体实施方式是：对所述第四图像特征进行缩放处理，得到缩放后的第四图像特征，所述缩放后的第四图像特征的分辨率与所述中间图像特征的分辨率相同；对所述缩放后的第四图像特征进行维度转换，得到第一特征向量。
[0063] 需要说明的是，所述中间图像特征的数量可以不止一个。例如，如图8所示，以选取第四图像特征101，中间图像特征102和103为例，由于101的分辨率高于102和103的分辨率，因此对101进行缩放处理，得到缩放后的第四图像特征104。然后对104进行维度转换，得到第一特征向量105，分别对102和103进行维度转换，得到第二特征向量106和107，将105、106和107进行特征融合处理，得到四元组数据108。
[0064] 在通过上述方式确定出目标图像区域之后，可以在S103中根据所述目标图像区域对所述原始图像进行图像裁剪，得到包含所述目标图像对象的子图像。可以先根据所述目标图像区域对所述原始图像进行图像裁剪，得到裁剪图像，所述裁剪图像包含所述目标图像对象，所述裁剪图像的尺寸不大于所述目标图像区域的尺寸；然后对所述裁剪图像进行分辨率的调整，得到子图像，所述子图像的分辨率为目标分辨率。完成图像裁剪得到子图像后，可以使后续的节点识别模型能够更加快捷准确地完成节点位置的识别确认。
[0065] 在得到了目标分辨率的子图像后，在S104中调用预置节点识别模型对所述子图像进行节点识别，得到所述目标图像对象的节点识别信息。在一个实施例中，所述节点识别模型可以是基于卷积神经网络的识别模型，可以根据多个样本图像和对应的样本节点识别信息对所述节点识别模型进行优化，得到所述预置的节点识别模型。在优化过程中，可以将样本图像输入至节点识别模型进行节点识别，以得到检测节点识别信息，将所述检测节点识别信息与对应的样本节点识别信息进行比对，根据比对结果来优化所述节点识别模型的各个参数。采用多个样本图像和对应的样本节点识别信息对所述节点识别模型进行多次优化，直到所述节点识别模型对每个样本图像进行节点识别后所得到的检测节点识别信息与对应的样本节点识别信息的比对结果均满足预设条件，结束对所述节点识别模型的优化操作，得到预置的节点识别模型。
[0066] 在一个实施例中，除了上述的基于卷积神经网络的识别模型，本发明实施例还提出了一种预置的节点识别模型，所述预置的节点识别模型可以是基于优化后的节点识别网络的模型。所述节点识别网络不仅可以对子图像进行卷积计算处理以提取子图像中的图像特征，还可以对提取到的图像特征进行至少两次节点信息的学习。在学习过程中，可以对提取到的图像特征进行下采样处理、上采样处理以及特征融合处理。所述下采样处理可以降低图像特征的分辨率，增大卷积核的感受野，提高识别的精确度。所述上采样处理可以增大图像特征的分辨率，上采样处理后得到的图像特征的分辨率越大，其节点的位置就越精确。所述特征融合处理可以将识别出来的中间节点识别信息与高分辨率的图像特征进行特征融合学习，实现对节点位置和结构的纠错和微调，提高节点识别信息的精准度。
[0067] 对于节点识别模型，可以采用多个样本图像和样本图像对应的已知节点概率矩阵对所述节点识别网络中的各个参数，如卷积处理参数、下采样处理参数、特征融合处理参数以及上采样处理参数等参数进行优化，从初始构建的节点识别网络中训练优化得到所述预置的节点识别模型。在一个实施例中，在输入各样本图像到初始构建的节点识别网络后，初始构建的节点识别网络可以对样本图像进行卷积计算、节点识别处理、节点信息预测处理以及节点信息调整处理等一系列操作。
[0068] 初始构建的节点识别网络在接收到样本图像后，可以对样本图像进行卷积计算得到卷积图像特征。在节点识别处理过程中，节点识别网络可以对卷积图像特征进行下采样处理和卷积计算处理，得到第一节点识别特征。并对所述第一节点识别特征进行下采样和卷积计算，得到中间节点识别特征。节点识别网络可以根据中间节点识别特征进行节点信息预测处理，得到至少一组初始节点概率矩阵。每组初始节点概率矩阵包括P个通道的节点概率矩阵，每个通道的节点概率矩阵表示对应节点在样本图像中的位置概率分布状态，P的值取决于样本图像中的节点数量。节点识别网络可以调用损失函数对初始节点概率矩阵和样本图像对应的已知节点概率矩阵进行损失值计算，根据计算结果来对节点识别网络中的各个参数进行优化。需要说明的是，上述所涉及的节点识别特征是指目标图像对象中的节点对应的图像特征。
[0069] 在节点信息预测处理完成后，可以得到第二节点识别特征。节点识别网络可以根据第二节点识别特征进行节点信息调整处理，得到样本图像的最终的节点概率矩阵。针对大量的已知节点概率矩阵的图像作为样本图像进行识别后，可以最终得到能够对包括目标图像对象的子图像进行节点识别的预置的节点识别模型。
[0070] 在一个实施例中，所述节点识别网络的结构示意图可以参见图9。对应的，预置的节点识别网络对子图像进行将节点识别，得到所述目标图像对象的节点识别信息的具体实施方式可以是：对所述子图像进行节点识别，得到P个通道的节点概率矩阵，每个通道的节点概率矩阵表示对应节点在所述原始图像中的位置概率分布状态，P的取值等于所述目标图像对象中的节点数量；根据所述P个通道的节点概率矩阵得到所述目标图像对象的节点识别信息，所述节点识别信息包括所述目标图像对象上各个节点在所述原始图像上的图像位置信息。在一个实施例中，可以先根据所述P个通道的节点概率矩阵得到所述目标图像对象的各个节点在所述原始图像中的位置概率分布状态；根据所述目标图像对象的各个节点在所述原始图像中的位置概率分布状态得到所述目标图像对象的节点识别信息。
[0071] 在一个实施例中，对所述子图像进行节点识别，得到P个通道的节点概率矩阵的具体实施方式可以是：对所述子图像进行卷积计算，得到卷积图像特征；对所述卷积图像特征进行节点识别处理，得到第一节点识别特征，所述节点识别处理包括K次下采样处理和J组卷积计算处理，下采样处理包括对所述卷积图像特征进行下采样和对每一组卷积计算处理后得到的下采样节点识别特征进行下采样的处理；其中，K和J均为正整数；根据所述第一节点识别特征得到P个通道的节点概率矩阵。
[0072] 在一个实施例中，根据所述第一节点识别特征得到P个通道的节点概率矩阵的具体实施方式可以是：对所述第一节点识别特征进行至少一次卷积计算，得到P个通道的节点概率矩阵。再一个实施例中，可以先对所述第一节点识别特征进行下采样处理，然后对下采样处理后的第一节点识别特征进行至少一次卷积计算，得到P个通道的节点概率矩阵。
[0073] 再一个实施例中，根据所述第一节点识别特征得到P个通道的节点概率矩阵的具体实施方式还可以是：根据所述第一节点识别特征得到第二节点识别特征；根据所述第一节点识别特征与所述第二节点识别特征进行节点信息调整处理，得到P个通道的节点概率矩阵；所述节点信息调整处理包括X组卷积计算、Y次上采样处理和特征融合处理，上采样处理包括对所述第二节点识别特征进行上采样和/或对每一组卷积计算处理后得到的节点识别特征进行上采样的处理，特征融合处理包括将每次上采样处理后得到的节点识别特征与对应的分辨率相同的下采样节点识别特征进行特征融合的处理，卷积计算处理包括对特征融合处理后得到的融合后的节点识别特征进行卷积计算的处理；其中，X和Y均为正整数。所述第一节点识别特征也可称为下采样节点识别特征。需要说明的是，若第一节点识别特征与所述第二节点识别特征的分辨率相同，则可以不需要对所述第二节点识别特征进行上采样处理，可以直接将所述第二节点识别特征与所述第一节点识别特征进行特征融合。
[0074] 在一个实施例中，根据所述第一节点识别特征得到第二节点识别特征的过程中，可以对所述第一节点识别特征进行下采样处理和/或卷积计算处理，得到中间节点识别特征。对所述中间节点识别特征进行节点信息预测处理，得到第二节点识别特征。在一个实施例中，可以对中间节点识别特征进行一组卷积计算处理，得到概率矩阵，所述概率矩阵可用于在节点识别模型优化的过程中，结合损失函数对所述节点识别模型进行参数优化。对中间节点识别特征进行一组卷积计算处理的过程中，可以得到中间节点识别特征，选取至少两个中间节点识别特征进行特征融合，得到第二节点识别特征。
[0075] 再一个实施例中，所述节点信息预测处理的过程可以参见图9的节点信息预测处理部分。所述节点信息预测处理包括A组卷积计算处理和B次特征融合处理，特征融合处理是根据每组卷积计算处理输入的中间节点识别特征与卷积计算处理后得到的概率矩阵进行特征融合的处理，且将每次特征融合处理后所得到的中间节点识别特征作为下一组卷积计算处理所需输入的节点识别特征，第B次特征融合是根据第A组卷积计算处理中的至少两个中间节点识别特征进行特征融合的处理；其中，A和B均为正整数。以A、B取值均为2为例，即以两组卷积计算处理和两次特征融合处理为例。如图9所示，选取中间节点识别特征201作为第一组卷积计算处理所需输入的节点识别特征。可以先对201进行一组卷积计算处理，得到概率矩阵202，然后根据201和202进行第一次特征融合，得到中间节点识别特征203。将203作为第二组卷积计算处理所需输入的节点识别特征，对203进行第二组卷积计算处理，得到中间节点特征204以及概率矩阵205。然后根据203和204进行第二次特征融合，得到第二节点识别特征。概率矩阵202和205均可用于在节点识别模型优化的过程中，结合损失函数对所述节点识别模型进行参数优化。
[0076] 在一个实施例中，所述节点识别信息包括所述目标图像对象上各个节点在所述原始图像上的图像位置信息。在得到了所述目标图像对象的节点识别信息以后，还可以根据所述目标图像对象的节点识别信息，得到所述目标图像对象的节点连接图像。以目标图像对象为手为例，所述目标图像对象的节点识别信息可以包括手掌的关键节点的位置信息和方向信息，可以根据这些关键节点的位置信息和方向信息，将各个节点按照预设的连接顺序连接起来，从而得到手势骨架图像。例如，可以预先对如图1所示的手掌的各个节点编号，预设的连接顺序可以为：1-2-3-4-21-22、5-6-7-8-21-22、9-10-11-12-21-22、13-14-15-16-21-22、17-18-19-20-21-22。在获取了各个节点的位置信息和方向信息以后，按着所述的预设的连接顺序，即可得到如图2所示的手势骨架图像。
[0077] 在一个实施例中，在得到所述目标图像对象的节点连接图像之后，可以在坐标系中输出所述节点连接图像。在另一个实施例中，也可以将所述节点连接图像叠加到所述原始图像中，得到并显示所述叠加图像。
[0078] 本发明实施例在获取到待识别的原始图像后，通过图像检测和裁剪，将包含目标图像对象的子图像输入至节点识别网络中进行节点识别，可以避免目标图像区域占整个原始图像比例较小时，节点识别不准确的问题，从而可以提高识别的精确度，满足精细化手势识别的需求。
[0079] 基于上述方法实施例的描述，本发明实施例还提出了一种对图像中的对象节点的识别模型的结构示意图，如图10所示。所述结构示意图可以由区域检测模型20、中间的衔接模块40以及节点识别模型60组成。所述区域检测模型20用于对待识别的原始图像进行图像检测，在所述原始图像中确定目标图像区域，所述衔接模块40用于根据所述目标图像区域对所述原始图像进行图像剪裁，得到包含目标图像对象的子图像，所述节点识别模型60用于对所述子图像进行节点识别，得到所述目标图像对象的节点识别信息。在一个实施例中，所述目标图像对象可以是手。
[0080] 下面以骨架手势识别为例，对本发明实施例进行详细说明。如图11所示，可以先获取到待处理的原始图像10，所述原始图像中包含了手势(即目标图像对象)。可以将所述原始图像10输入至区域检测模型20中，所述区域检测模型20可以对原始图像10进行图像检测，得到检测图像，所述检测图像为在原始图像中确定了目标图像区域的图像。区域检测模型20在进行图像检测后，所得到的检测图像可以如图11中的30所示，30中的矩形框可以表示目标图像区域。然后将检测图像30送入衔接模块40中，所述衔接模块40在接收到30之后，可以根据目标图像区域(如矩形框)对原始图像10进行裁剪，得到包含手势的子图像50，然后将所述子图像50输入至节点识别模型60中。节点识别模型60可以对该子图像50进行节点识别，得到手势(即目标图像对象)的节点识别信息。根据所述节点识别信息可以得到并显示70所示的节点连接图像或者80所述的节点连接图像。在一个实施例中，所述节点识别信息可以包括手掌的主要关键节点的位置信息和方向信息。在得到节点识别信息以后，可以根据节点识别信息得到手势骨架图像(即目标图像对象的节点连接图像)。
[0081] 在一个实施例中，所述区域检测模型20可以是上述方法实施例中所描述的预置的第一区域检测模型，也可以是上述方法实施例中所描述的预置的第二区域检测模型。所述节点识别模型60可以是上述方法实施例中所描述的预置的节点识别模型。本发明实施例在设计节点识别网络模型60的时候，还考虑了终端设备(如手机)的性能特点，有针对性地进行了设计和优化。
[0082] 由上述可知，本发明实施例提供的对图像中的对象节点进行识别的识别模型是由区域检测模型20和节点识别模型60通过衔接模块40串联起来所构成的，具有如下优点。
[0083] 灵活、扩展性强以及复用性高的优点。将区域检测模型20和节点识别模型60通过衔接模块40区分开，可以单独对每一个模型进行针对性的设计与优化。比如节点识别模型对于目标图像区域的识别准确度要求可以不用特别高，因此，本发明可以牺牲一定的目标图像区域检测的准确度来提升网络的执行性能，这样可以使得整个网络可以在终端设备上更流程地运行。
[0084] 各个模型中的网络可以灵活拆解和组装。比如区域检测模型20中的网络可以采用如图6所示的语义分割网络，也可以采用如图8所示的目标检测网络，节点识别模型60可以采用如图9所示的节点识别网络。采用这种级联结构，可以使得在区域检测模型20中的网络进行更改时，不用修改如图9所示的节点识别网络。
[0085] 具有准确率高，性能优的优点。区域检测模型20可以先把目标图像区域找出，由衔接模块40将目标图像区域裁剪出来后，再送给节点识别模型60。这样节点识别模型60可以专心学习节点的特征和节点之间的结构，而不用关心大量的非目标图像对象的冗余信息，大大提升识别的准确率，同时也可以降低模型的复杂度，提升模型的性能。
[0086] 基于上述方法实施例的描述，本发明实施例还提供了一种对图像中的对象节点的识别装置的结构示意图，请参见图12。如图12所示，本发明实施例中的识别装置可包括：
[0087] 获取单元301，用于获取待识别的原始图像，所述原始图像包含目标图像对象；
[0088] 检测单元302，用于对所述原始图像进行图像检测，在所述原始图像中确定目标图像区域，所述目标对象区域包括了所述目标图像对象；
[0089] 裁剪单元303，用于根据所述目标图像区域对所述原始图像进行图像裁剪，得到包含所述目标图像对象的子图像；
[0090] 识别单元304，用于调用预置的节点识别模型对所述子图像进行节点识别，得到所述目标图像对象的节点识别信息。
[0091] 在一个实施例中，所述检测单元302可具体用于：调用预置的第一区域检测模型对所述原始图像进行图像特征识别，得到区域概率矩阵，所述区域概率矩阵中的元素值Auv表示所述原始图像中对应的像素点Ouv属于目标图像区域的概率，u表示行数，v表示列数；采用预设阈值对所述区域概率矩阵进行二值化处理，得到特征元素值区域；根据所述特征元素值区域在所述区域概率矩阵中的位置确定目标图像区域。
[0092] 在一个实施例中，预置的第一区域检测模型对所述原始图像进行图像特征识别，得到区域概率矩阵的具体实施方式可以是：对所述原始图像进行卷积计算，得到第一图像特征；根据所述第一图像特征进行基于下采样处理策略的第一处理，得到第二图像特征，其中，进行第一处理后得到的第二图像特征的分辨率低于所述第一图像特征的分辨率；根据所述第二图像特征进行基于上采样和融合处理策略的第二处理，得到目标图像特征，其中，进行第二处理后得到的目标图像特征的分辨率与所述原始图像的分辨率相同；对所述目标图像特征进行反卷积计算，得到区域概率矩阵。
[0093] 在一个实施例中，所述基于下采样处理策略的第一处理包括N次下采样处理和M组卷积计算处理，下采样处理包括对所述第一图像特征进行下采样和对每一组卷积计算处理后得到的下采样图像特征进行下采样的处理；其中，N和M均为正整数。
[0094] 所述基于上采样和融合处理策略的第二处理包括N次上采样处理、N次特征融合处理以及M组反卷积计算处理，上采样处理包括对所述第二图像特征进行上采样和对每一组反卷积计算处理后得到的图像特征进行上采样的处理，特征融合处理包括将每次上采样处理后得到的图像特征与对应的分辨率相同的下采样图像特征进行特征融合的处理。
[0095] 在一个实施例中，所述检测单元302可具体用于：调用预置的第二区域检测模型对所述原始图像进行处理，得到四元组数据，其中，所述第二区域检测模型对所述原始图像进行图像特征提取处理，根据提取的图像特征得到四元组数据；根据所述四元组数据确定目标图像区域。
[0096] 在一个实施例中，预置的第二区域检测模型对所述原始图像进行处理，得到四元组数据的具体实施方式可以是：对所述原始图像进行卷积计算，得到第三图像特征；根据所述第三图像特征进行第三处理，得到第四图像特征，所述第三处理包括R次下采样处理和S组卷积计算处理，下采样处理包括对所述第三图像特征进行下采样和对每一组卷积计算处理后得到的图像特征进行下采样的处理；其中，R和S均为正整数；根据所述第四图像特征进行第四处理，得到中间图像特征，所述第四处理包括卷积计算处理；根据所述第四图像特征进行维度转换，得到第一特征向量，根据所述中间图像特征进行维度转换，得到第二特征向量；根据所述第一特征向量和所述第二特征向量进行特征融合得到四元组数据。
[0097] 在一个实施例中，第四处理还包括：对所述第四图像特征进行下采样的处理，并对下采样处理后得到的图像特征进行卷积计算的处理。对应的，所述根据所述第四图像特征进行维度转换，得到第一特征向量的具体实施方式可以是：对所述第四图像特征进行缩放处理，得到缩放后的第四图像特征，所述缩放后的第四图像特征的分辨率与所述中间图像特征的分辨率相同；对所述缩放后的第四图像特征进行维度转换，得到第一特征向量。
[0098] 在一个实施例中，预置的节点识别模型对所述子图像进行节点识别，得到所述目标图像对象的节点识别信息的具体实施方式可以是：对所述子图像进行节点识别，得到P个通道的节点概率矩阵，每个通道的节点概率矩阵表示对应节点在所述原始图像中的位置概率分布状态，P的取值等于所述目标图像对象中的节点数量；根据所述P个通道的节点概率矩阵得到所述目标图像对象的节点识别信息，所述节点识别信息包括所述目标图像对象上各个节点在所述原始图像上的图像位置信息。
[0099] 在一个实施例中，对所述子图像进行节点识别，得到P个通道的节点概率矩阵的具体实施方式可以是：对所述子图像进行卷积计算，得到卷积图像特征；对所述卷积图像特征进行节点识别处理，得到第一节点识别特征，所述节点识别处理包括K次下采样处理和J组卷积计算处理，下采样处理包括对所述卷积图像特征进行下采样和对每一组卷积计算处理后得到的下采样节点识别特征进行下采样的处理；其中，K和J均为正整数；根据所述第一节点识别特征得到P个通道的节点概率矩阵。
[0100] 在一个实施例中，根据所述第一节点识别特征得到P个通道的节点概率矩阵的具体实施方式可以是：根据所述第一节点识别特征得到第二节点识别特征；根据所述第一节点识别特征与所述第二节点识别特征进行节点信息调整处理，得到P个通道的节点概率矩阵；所述节点信息调整处理包括X组卷积计算、Y次上采样处理和特征融合处理，上采样处理包括对所述第二节点识别特征进行上采样和/或对每一组卷积计算处理后得到的节点识别特征进行上采样的处理，特征融合处理包括将每次上采样处理后得到的节点识别特征与对应的分辨率相同的下采样节点识别特征进行特征融合的处理；其中，X和Y均为正整数。
[0101] 在一个实施例中，裁剪单元303可具体用于：根据所述目标图像区域对所述原始图像进行图像裁剪，得到裁剪图像，所述裁剪图像包含所述目标图像对象，所述裁剪图像的尺寸不大于所述目标图像区域的尺寸；对所述裁剪图像进行分辨率的调整，得到子图像，所述子图像的分辨率为目标分辨率。
[0102] 在一个实施例中，所述节点识别信息包括所述目标图像对象上各个节点在所述原始图像上的图像位置信息，所述识别装置还包括：
[0103] 连接单元305，用于根据所述目标图像对象的节点识别信息，得到所述目标图像对象的节点连接图像；
[0104] 显示单元306，用于将所述节点连接图像叠加到所述原始图像中，得到并显示叠加图像。
[0105] 在本发明实施例中，本发明实施例在通过获取单元301获取到待识别的原始图像后，可以分别通过检测单元302和裁剪单元303进行图像检测和裁剪，通过识别单元304将包含目标图像对象的子图像输入至预置的节点识别网络中进行节点识别，可以避免目标图像区域占整个原始图像比例较小时，节点识别不准确的问题，从而可以提高识别的精确度，满足精细化手势识别的需求。
[0106] 请参见图13，是本发明另一实施例提供的一种智能终端的结构示意图。如图13所示的本实施例中的智能终端可以包括：一个或多个处理器401；一个或多个输入设备402，一个或多个输出设备403和存储器404。上述处理器401、输入设备402、输出设备403和存储器404通过总线405连接。存储器404用于存储计算机程序，所述计算机程序包括程序指令，处理器401用于执行所述存储器404存储的程序指令。
[0107] 在本发明实施例中，由处理器401加载并执行计算机存储介质中存放的一条或一条以上指令，以实现上述相应实施例中的方法的相应步骤；具体实现中，计算机存储介质中的至少一条指令由处理器401加载并执行如下步骤：
[0108] 获取待识别的原始图像，所述原始图像包含目标图像对象；对所述原始图像进行图像检测，在所述原始图像中确定目标图像区域，所述目标图像区域包括了所述目标图像对象；根据所述目标图像区域对所述原始图像进行图像裁剪，得到包含所述目标图像对象的子图像；调用预置的节点识别模型对所述子图像进行节点识别，得到所述目标图像对象的节点识别信息。
[0109] 在一个实施例中，在对所述原始图像进行图像检测，在所述原始图像中确定目标图像区域时，该至少一条程序指令由该处理器401加载，还用于执行：调用预置的第一区域检测模型对所述原始图像进行图像特征识别，得到区域概率矩阵，所述区域概率矩阵中的元素值Auv表示所述原始图像中对应的像素点Ouv属于目标图像区域的概率，u表示行数，v表示列数；采用预设阈值对所述区域概率矩阵进行二值化处理，得到特征元素值区域；根据所述特征元素值区域在所述区域概率矩阵中的位置确定目标图像区域。
[0110] 在一个实施例中，在预置的第一区域检测模型对所述原始图像进行图像特征识别，得到区域概率矩阵时，该至少一条程序指令由该处理器401加载，还用于执行：对所述原始图像进行卷积计算，得到第一图像特征；根据所述第一图像特征进行基于下采样处理策略的第一处理，得到第二图像特征，其中，进行第一处理后得到的第二图像特征的分辨率低于所述第一图像特征的分辨率；根据所述第二图像特征进行基于上采样和融合处理策略的第二处理，得到目标图像特征，其中，进行第二处理后得到的目标图像特征的分辨率与所述原始图像的分辨率相同；对所述目标图像特征进行反卷积计算，得到区域概率矩阵。
[0111] 在一个实施例中，所述基于下采样处理策略的第一处理包括N次下采样处理和M组卷积计算处理，下采样处理包括对所述第一图像特征进行下采样和对每一组卷积计算处理后得到的下采样图像特征进行下采样的处理；其中，N和M均为正整数。
[0112] 所述基于上采样和融合处理策略的第二处理包括N次上采样处理、N次特征融合处理以及M组反卷积计算处理，上采样处理包括对所述第二图像特征进行上采样和对每一组反卷积计算处理后得到的图像特征进行上采样的处理，特征融合处理包括将每次上采样处理后得到的图像特征与对应的分辨率相同的下采样图像特征进行特征融合的处理。
[0113] 在一个实施例中，在对所述原始图像进行图像检测，在所述原始图像中确定目标图像区域时，该至少一条程序指令由该处理器401加载，还用于执行：调用预置的第二区域检测模型对所述原始图像进行处理，得到四元组数据，其中，所述第二区域检测模型对所述原始图像进行图像特征提取处理，根据提取的图像特征得到四元组数据；根据所述四元组数据确定目标图像区域。
[0114] 在一个实施例中，在预置的第二区域检测模型对所述原始图像进行处理，得到四元组数据时，该至少一条程序指令由该处理器401加载，还用于执行：对所述原始图像进行卷积计算，得到第三图像特征；根据所述第三图像特征进行第三处理，得到第四图像特征，所述第三处理包括R次下采样处理和S组卷积计算处理，下采样处理包括对所述第三图像特征进行下采样和对每一组卷积计算处理后得到的图像特征进行下采样的处理；其中，R和S均为正整数；根据所述第四图像特征进行第四处理，得到中间图像特征，所述第四处理包括卷积计算处理；根据所述第四图像特征进行维度转换，得到第一特征向量，根据所述中间图像特征进行维度转换，得到第二特征向量；根据所述第一特征向量和所述第二特征向量进行特征融合得到四元组数据。
[0115] 在一个实施例中，所述第四处理还包括：对所述第四图像特征进行下采样的处理，并对下采样处理后得到的图像特征进行卷积计算的处理。对应的，在所述根据所述第四图像特征进行维度转换，得到第一特征向量时，该至少一条程序指令由该处理器401加载，还用于执行：对所述第四图像特征进行缩放处理，得到缩放后的第四图像特征，所述缩放后的第四图像特征的分辨率与所述中间图像特征的分辨率相同；对所述缩放后的第四图像特征进行维度转换，得到第一特征向量。
[0116] 在一个实施例中，在预置的节点识别模型对所述子图像进行节点识别，得到所述目标图像对象的节点识别信息时，该至少一条程序指令由该处理器401加载，还用于执行：对所述子图像进行节点识别，得到P个通道的节点概率矩阵，每个通道的节点概率矩阵表示对应节点在所述原始图像中的位置概率分布状态，P的取值等于所述目标图像对象中的节点数量；根据所述P个通道的节点概率矩阵得到所述目标图像对象的节点识别信息，所述节点识别信息包括所述目标图像对象上各个节点在所述原始图像上的图像位置信息。
[0117] 在一个实施例中，在对所述子图像进行节点识别，得到P个通道的节点概率矩阵时，该至少一条程序指令由该处理器401加载，还用于执行：对所述子图像进行卷积计算，得到卷积图像特征；对所述卷积图像特征进行节点识别处理，得到第一节点识别特征，所述节点识别处理包括K次下采样处理和J组卷积计算处理，下采样处理包括对所述卷积图像特征进行下采样和对每一组卷积计算处理后得到的下采样节点识别特征进行下采样的处理；其中，K和J均为正整数；根据所述第一节点识别特征得到P个通道的节点概率矩阵。
[0118] 在一个实施例中，在根据所述第一节点识别特征得到P个通道的节点概率矩阵时，该至少一条程序指令由该处理器401加载，还用于执行：根据所述第一节点识别特征得到第二节点识别特征；根据所述第一节点识别特征与所述第二节点识别特征进行节点信息调整处理，得到P个通道的节点概率矩阵；所述节点信息调整处理包括X组卷积计算、Y次上采样处理和特征融合处理，上采样处理包括对所述第二节点识别特征进行上采样和/或对每一组卷积计算处理后得到的节点识别特征进行上采样的处理，特征融合处理包括将每次上采样处理后得到的节点识别特征与对应的分辨率相同的下采样节点识别特征进行特征融合的处理；其中，X和Y均为正整数。
[0119] 在一个实施例中，在根据所述目标图像区域对所述原始图像进行图像裁剪，得到包含所述目标图像对象的子图像时，该至少一条程序指令由该处理器401加载，还用于执行：根据所述目标图像区域对所述原始图像进行图像裁剪，得到裁剪图像，所述裁剪图像包含所述目标图像对象，所述裁剪图像的尺寸不大于所述目标图像区域的尺寸；对所述裁剪图像进行分辨率的调整，得到子图像，所述子图像的分辨率为目标分辨率。
[0120] 在一个实施例中，节点识别信息包括所述目标图像对象上各个节点在所述原始图像上的图像位置信息，该至少一条程序指令由该处理器401加载，还用于执行：根据所述目标图像对象的节点识别信息，得到所述目标图像对象的节点连接图像；将所述节点连接图像叠加到所述原始图像中，得到并显示叠加图像。
[0121] 该处理器401可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器，即微处理器或者任何常规的处理器。该存储器404可以包括只读存储器和随机存取存储器，并向处理器401提供指令和数据。因此，在此对于处理器401和存储器404不作限定。
[0122] 需要说明的是，上述描述的终端和单元的具体工作过程，可以参考前述各个实施例中的相关描述，在此不再赘述。
[0123] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
[0124] 以上所揭露的仅为本发明的部分实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 用于确定电池的操作模式的系统和方法 | 2020-05-08 | 789 |
| 图像处理装置以及非暂时性计算机可读记录介质 | 2020-05-08 | 326 |
| 基于存储空间互换的改进的防重放设备 | 2020-05-08 | 748 |
| 制造垂直存储器装置的方法 | 2020-05-11 | 243 |
| 使用横向推进和垂直移动控制飞行器的系统和方法 | 2020-05-08 | 801 |
| 处理用户话语的电子装置及其控制方法 | 2020-05-08 | 586 |
| 电容器、包含电容器的集成组合件和形成集成组合件的方法 | 2020-05-08 | 672 |
| 对报文进行处理方法及装置 | 2020-05-08 | 512 |
| 嵌套管理程序存储器虚拟化 | 2020-05-08 | 818 |
| 用于运行机器人控制系统的方法、设备和计算机程序 | 2020-05-08 | 101 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈