技术领域
[0001] 本
发明涉及图像处理技术领域，尤其涉及一种基于高速图像处理的特征方法及识别系统。
背景技术
[0002]
手势识别是
人机交互、行为识别等诸多领域的一项
基础技术，各式人机交互、行为识别系统广泛应用于家庭、工厂、国防、
生物信息探索等领域。
[0003] 随着人机交互、行为识别应用领域的拓展，手势识别逐渐融入人类生产、生活，与人类关系日益密切，在快速图像处理、人机交互和行为识别等领域，对手势识别技术的应用研究不断提出更高的需求，迫切需要高速实时的人机交互系统帮助人与
机器人能够更好地共同协作完成任务。例如可应用于通过手势控制家电的
物联网家居生活、手语解读、作战指挥传达的手势命令、动物行为
信号研究、仿生机器人等诸多实际场景。具有良好的实时性及准确性的图像处理识别
算法是手势识别的重要基础。
[0004] 由于传统手势动作具有快速性、随机性、多样性的特点，手势识别算法的设计需要考虑多方面的因素制约及技术要求，而传统人机交互与行为识别存在
图像采集帧率较低、不能进行快速识别和反应等问题，难以适配手势快速识别的需求。
发明内容
[0005] 基于背景技术存在的技术问题，本发明提出了一种基于高速图像处理的特征识别方法及系统。
[0006] 本发明提出的一种基于高速图像处理的特征识别方法，包括：
[0007] S1、获取手部轮廓和掌心点；
[0008] S2、获取手部轮廓上各转折点到掌心点的距离作为掌心距；
[0009] S3、建立平面坐标，平面坐标以转折点为横坐标，掌心距为纵坐标；并在平面坐标中根据各转折点与掌心距的对应关系生成坐标点；
[0010] S4、获取沿着横坐标方向依次连接各坐标点的折线；
[0011] S5、获取多条平行于横坐标的
阈值线，根据折线与各阈值线的相交点数量进行手势识别。
[0012] 优选的，步骤S1具体为：对手势进行
动作捕捉，将获取的视频影像进行帧图像提取并缩放到预设尺寸；获取缩放后的帧图像中的前景与背景的灰度区分阈值，根据灰度区分阈值从缩放后的帧图像中提取多个备选区域轮廓，并从备选区域轮廓中筛选最大连通域作为手部轮廓。
[0013] 优选的，步骤S5中获取预设的多条平行于横坐标的阈值线的具体方式为：预先设置多个阈值占比，阈值占比为大于0并小于1的数值；根据各阈值占比计算对应的阈值线，阈值线计算公式为：
[0014] Thresholdi＝WIDTH×ai×b；
[0015] 其中，Thresholdi为第i条阈值线对应的纵坐标值，WIDTH为缩放后的帧图像的
水平
像素或者垂直像素；ai为第i个阈值占比，b＝手部展开尺寸/背景区域尺寸。
[0016] 优选的，预先设置三个阈值占比，步骤S5中根据三个阈值占比对应设置三条阈值线，三个阈值占比分别为：
[0017] a1＝30.8％，a2＝51.4％，a3＝57.1％。
[0018] 优选的，步骤S5中设有三条平行于横坐标的阈值线，各阈值线对应的纵坐标值Threshold1、Threshold2、Threshold3分别为：
[0019]
[0020] 其中，D0min为本帧图像中手部轮廓的最小掌心距，最小掌心距为手部轮廓上各点与掌心点的最小距离；γ1、γ2、γ3均为比例因子，且γ1＝1，γ2＝2.38，γ3＝2.14。
[0021] 优选的，还包括步骤S0：设置手势分类，每一个手势分类均关联有根据折线与各阈值线的交点数量识别手势的约束模型；步骤S5中，用于将折线与各阈值线的交点数量代入约束模型进行手势识别；
[0023] 约束模型为：
[0024] 当Q2∈[0,1]，则识别手部轮廓为石头；
[0025] 当Q2∈[2,5]或者{Q2＝1且Q3≥2}，则识别手部轮廓为剪刀；
[0026] 当Q1≠3且Q2∈[6,10]，则识别手部轮廓为布；
[0027] 约束模型中，Q1为折线与阈值线Threshold1的交点数量，Q2为折线与阈值线Threshold2的交点数量，Q3为折线与阈值线Threshold3的交点数量。
[0028] 优选的，步骤S1中，获取手部轮廓后，通过强
腐蚀截去
手指区域，再通过计算矩及中心点的方式对手部轮廓的掌心点进行
定位。
[0029] 优选的，通过强腐蚀截去手指区域时，腐蚀核计算公式为：
[0030] CORE＝max{1,Dmin/2}；
[0031] 其中，Dmin为上一帧图像中手部轮廓的最小掌心距，最小掌心距为手部轮廓上各点与掌心点的最小距离。
[0032] 一种基于高速图像处理的特征识别系统，包括：
[0033] 相机，用于对手势区域进行动作捕捉，获取视频影像；
[0034]
图像序列特征提取模
块，用于将所述视频影像拆解为帧图像后缩放到预设尺寸；
[0035] 手部轮廓检测与掌心识别模块，用于获取图像序列特征提取模块输出的帧图像，并从帧图像中获取手部轮廓，并获取手部轮廓的中心点作为掌心点；
[0036] 掌心距交点建模模块，用于建立平面坐标，平面坐标以手部轮廓上各转折点为横坐标，掌心距为纵坐标，掌心距为手部轮廓上各转折点到掌心点的距离；掌心距交点建模模块中生成有对应各转折点的坐标点，并生成沿着横坐标方向依次连接各坐标点的折线；掌心距交点建模模块还用于在平面坐标中设置多条平行于横坐标的阈值线，并获取折线与各阈值线的交点数量；
[0037] 手势识别模块，其内部设有多个手势分类，每一个手势分类均关联有根据折线与各阈值线的交点数量识别手势的约束模型；手势识别模块用于将所述折线与各阈值线的交点数量代入约束模型，以获取对应的手势分类并输出。
[0038] 优选的，手部轮廓检测与掌心识别模块，用于通过轮廓检测算法从帧图像中提取提取备选目标区域，并通过计算最大连通域，确定手部轮廓；手部轮廓检测与掌心识别模块还用于，在获取手部轮廓后，通过强腐蚀截去手指区域，再通过计算矩及中心点的方式对手部轮廓的掌心点进行定位。
[0039] 优选的，相机采用100fps的相机；图像序列特征提取模块用于将帧图像缩放到100×100像素。
[0040] 优选的，手势分类包括：剪刀、石头和布；
[0041] 约束模型为：
[0042] 当Q2∈[0,1]，则识别手部轮廓为石头；
[0043] 当Q2∈[2,5]或者{Q2＝1且Q3≥2}，则识别手部轮廓为剪刀；
[0044] 当Q1≠3且Q2∈[6,10]，则识别手部轮廓为布；
[0045] 约束模型中，Q1为折线与阈值线Threshold1的交点数量，Q2为折线与阈值线Threshold2的交点数量，Q3为折线与阈值线Threshold3的交点数量。
[0046] 本发明提出的一种基于高速图像处理的特征识别方法，结合现有的成熟的图像处理技术进行手部识别，以获取手部轮廓和掌心点，然后以手部轮廓上的转折点为计算对象，根据帧图像上的像素点
位置关系，将各转折点通过掌心距的引入转换为平面坐标关系，获取沿着横坐标方向依次连接各坐标点的折线，然后引入阈值线，通过折线与阈值线的交点进行手势识别。
[0047] 如此，本发明中，通过掌心距和平面坐标，将图像处理转换为坐标点的计算，有利于降低运算难度，并提高手势识别的运算效率和精确率。
附图说明
[0048] 图1为本发明提出的一种基于高速图像处理的特征识别方法
流程图；
[0049] 图2为本发明
实施例提出的一种基于高速图像处理的特征识别方法流程图[0050] 图3为本发明具体实施方式中提供的计算最大连通域算法流程图；
[0051] 图4(a)为本发明一个实施例中手部轮廓结构图；
[0052] 图4(b)为图4(a)中手部轮廓对应的平面坐标折线图；
[0053] 图5(a)为本发明另一个实施例中手部轮廓结构图；
[0054] 图5(b)为图5(a)中手部轮廓对应的平面坐标折线图；
[0055] 图6(a)为本发明又一个实施例中手部轮廓结构图；
[0056] 图6(b)为图6(a)中手部轮廓对应的平面坐标折线图；
[0057] 图7为本发明具体实施方式中提供的掌心距阈值截取算法流程图；
[0058] 图8为本发明具体实施方式中提供的掌心点位置识别算法流程图。
具体实施方式
[0059] 参照图1，本发明提出的一种基于高速图像处理的特征识别方法，包括：
[0060] S1、获取手部轮廓和掌心点。具体的，本步骤中，根据捕捉到的手部动作进行图片处理，以获取手部轮廓和掌心点。
[0061] 具体的，本步骤S1具体为：对手势进行动作捕捉，将获取的视频影像进行帧图像提取并缩放到预设尺寸；获取缩放后的帧图像中的前景与背景的灰度区分阈值，根据灰度区分阈值从缩放后的帧图像中提取多个备选区域轮廓，并从备选区域轮廓中筛选最大连通域作为手部轮廓。
[0062] 具体实施时，可采用100fps的高速相机对出拳手势区域进行快速动作捕捉。具体的，采用明亮的纯色环境作为出拳手势区域的背景，使得背景与手部
颜色易于区分，更加有利于手部轮廓的提取。
[0063] 本实施方式中，对帧图像进行缩放，有利于避免图像的大小对算法处理效率造成影响。本实施方式中，对手势识别的准确性与识别效率综合考虑进行多组实验分析得到设置图像缩放大小为100×100(像素)时可在相对较低耗时的情况下使识别准确性达到较好效果。
[0064] 具体的，本实施方式中，获取帧图像后，首先运用OTSU最大类间方差法求得前景与背景的最佳区分阈值；然后通过轮廓检测算法从缩放后的帧图像中提取多个备选区域轮廓，使用Freeman链码保存初始点以及各个轮廓像素点的方向值，从而获得包括手部轮廓在内的若干备选区域轮廓数据，并对各个连通域进行面积大小排序，筛选出最大连通域为手部轮廓。
[0065] 具体的，本实施方式中，在对原始的帧图像进行缩放后，还对缩放后的帧图像进行图像预处理，预处理后，再通过轮廓检测算法从帧图像中提取多个备选区域轮廓。本实施方式中，对帧图像进行图像预处理的具体方式为：将图像进行中值滤波处理，滤波所选取的核为3×3的矩形区域，为图像滤去少量噪声。
[0066] 具体的，本实施方式中，获取最大连通域的方式如图3所示。
[0067] S2、获取手部轮廓上各转折点到掌心点的距离作为掌心距。
[0068] S3、建立平面坐标，平面坐标以转折点为横坐标，掌心距为纵坐标；并在平面坐标中根据各转折点与掌心距的对应关系生成坐标点。
[0069] 具体的，本实施方式中，设掌心点在帧图像中的像素坐标为(x0,y0)，第i 个转折点在帧图像中的像素坐标为(xi,yi)，则在平面坐标中第i个转折点对应的坐标点为(i,Di)，[0070] S4、获取沿着横坐标方向依次连接各坐标点的折线。
[0071] S5、获取预设的多条平行于横坐标的阈值线，根据折线与各阈值线的相交点数量进行手势识别。
[0072] 具体的，不同手势时，步骤S4获取的折线不同，通过设置阈值线可通过交点对折线的走向进行机器评估，从而进行手势识别。
[0073] 如图4(b)、图5(b)、图6(b)分别为图4(a)、图5(a)、图6(a)所示手部轮廓对应的折线。可见，不同手势对应的折线的走线趋势差别很大，从而具有与各阈值线不同数量的交点。图4(a)、图5(a)、图6(a)所示手部轮廓分别为石头、剪刀、布
[0074] 具体的，本实施方式中，还包括步骤S0：设置手势分类，每一个手势分类均关联有根据折线与各阈值线的交点数量识别手势的约束模型。步骤S5中，用于将折线与各阈值线的交点数量代入约束模型进行手势识别。
[0075] 本实施方式中，步骤S5中获取预设的多条平行于横坐标的阈值线的具体方式为：预先设置多个阈值占比，阈值占比为大于0并小于1的数值。根据各阈值占比计算对应的阈值线，阈值线计算公式为：
[0076] Thresholdi＝WIDTH×ai×b。
[0077] 其中，Thresholdi为第i条阈值线对应的纵坐标值，WIDTH为缩放后的帧图像的水平像素或者垂直像素；
[0078] ai为第i个阈值占比，b＝手部展开尺寸/背景区域尺寸。
[0079] 如此，可实现根据帧图像尺寸设置不同的阈值线，从而保证阈值线随着帧图像动态变化，以保证阈值线根据校准环境进行调整，以适应不同标度比例下的环境。
[0080] 具体的，本实施方式中，预先设置三个阈值占比，步骤S5中根据三个阈值占比对应设置三条阈值线，三个阈值占比分别为：
[0081] a1＝30.8％，a2＝51.4％，a3＝57.1％。
[0082] 具体实施时，也可设置三条阈值线分别为：
[0083]
[0084] 其中，D0min为本帧图像中手部轮廓的最小掌心距，最小掌心距为手部轮廓上各点与掌心点的最小距离；γ1、γ2、γ3均为比例因子，且γ1＝1，γ2＝2.38，γ3＝2.14。
[0085] 图4(b)、图5(b)、图6(b)所示实施例中，手势分类包括：石头、剪刀、布。且步骤S4中获取的折线与阈值线Threshold1的交点数量记为Q1，折线与阈值线 Threshold2的交点数量记为Q2，折线与阈值线Threshold3的交点数量记为Q3。
[0086] 如此，本实施例中，约束模型设置为：
[0087] 当Q2∈[0,1]，则识别手部轮廓为石头；
[0088] 当Q2∈[2,5]或者{Q2＝1且Q3≥2}，则识别手部轮廓为剪刀；
[0089] 当Q1≠3且Q2∈[6,10]，则识别手部轮廓为布；
[0090] 如果根据折线判断手部轮廓既不是石头，也不是剪刀，又不是布，则判断手部轮廓为未知手势。
[0091] 具体的，本实施例中手势识别的具体步骤如图7所示。
[0092] 本实施方式中，步骤S1中，获取手部轮廓后，通过强腐蚀截去手指区域，再通过计算矩及中心点的方式对手部轮廓的掌心点进行定位。
[0093] 具体的，参照图8，本实施方式中，通过几何方法，对所得手部轮廓进行矩及中心点的计算，而从利用矩中心点对掌心位置点进行标定。
[0094] 本实施方式中，对于一幅M×N的数字图像，其p+q阶几何矩mpq为：
[0095]
[0096] 式中：f(i,j)为图像在坐标点(i,j)处的灰度值；
[0097] 掌心点坐标位置为图像的质心坐标(x0,y0)，有：
[0098] x0＝m10/m00 (2)
[0099] y0＝m01/m00 (3)
[0101] 由于手指全部或者部分伸展的状态下，手掌
重心会向手指偏移，本实施方式中，在计算矩之前对手部区域进行强腐蚀，有利于改善手掌重心的偏移情况，获得坐标更接近于实际掌心位置的掌心点，更有利于提高后期对手势识别中掌心距求解的准确性。尤其是针对“剪刀”、“布”的情况下所出现的手指部分进行剔除，进而所得区域更接近于手掌区域，大大提高了掌心位置的拟合准确性。
[0102] 具体的，本实施方式中，通过强腐蚀截去手指区域时，根据上一帧图像图像中手部轮廓的最小掌心距Dmin动态设置腐蚀核大小，最小掌心距Dmin为手部轮廓上各点与掌心点的最小距离。对于第一帧图像，则采用初始化的最小掌心距 Dmin设置腐蚀核。
[0103] 腐蚀核计算公式为：
[0104] CORE＝max{1,Dmin/2}。
[0105] 本发明还提出一种采用以上方法的基于高速图像处理的特征识别系统，包括：相机、图像序列特征提取模块、手部轮廓检测与掌心识别模块、掌心距交点建模模块和手势识别模块。
[0106] 相机用于对手势区域进行动作捕捉，获取视频影像。相机具体可采用使用 100fps的高速相机。
[0107] 图像序列特征提取模块，用于将所述视频影像拆解为帧图像后缩放到预设尺寸。本实施方式中，对帧图像进行缩放，有利于避免图像的大小对算法处理效率造成影响。本实施方式中，对手势识别的准确性与识别效率综合考虑进行多组实验分析得到设置图像缩放大小为100×100(像素)时可在相对较低耗时的情况下使识别准确性达到较好效果。
[0108] 手部轮廓检测与掌心识别模块，用于获取图像序列特征提取模块输出的帧图像，并从帧图像中获取手部轮廓，并获取手部轮廓的中心点作为掌心点。手部轮廓检测与掌心识别模块的具体工作方式可参考方法中的步骤S1，获取帧图像后，首先运用OTSU最大类间方差法求得前景与背景的最佳区分阈值；然后通过轮廓检测算法从缩放后的帧图像中提取多个备选区域轮廓，使用Freeman链码保存初始点以及各个轮廓像素点的方向值，从而获得包括手部轮廓在内的若干备选区域轮廓数据，并对各个连通域进行面积大小排序，筛选出最大连通域为手部轮廓。再通过几何方法，对所得手部轮廓进行矩及中心点的计算，而从利用矩中心点对掌心点进行标定。
[0109] 具体的，本实施方式中，手部轮廓检测与掌心识别模块还用于，在获取手部轮廓后，通过强腐蚀截去手指区域，再通过计算矩及中心点的方式对手部轮廓的掌心点进行定位。
[0110] 掌心距交点建模模块，用于建立平面坐标，平面坐标以手部轮廓上各转折点为横坐标，掌心距为纵坐标，掌心距为手部轮廓上各转折点到掌心点的距离。掌心距交点建模模块中生成有对应各转折点的坐标点，生成沿着横坐标方向依次连接各坐标点的折线。设掌心点在帧图像中的像素坐标为(x0,y0)，第i个转折点在帧图像中的像素坐标为(xi,yi)，则在平面坐标中第i个转折点对应的坐标点为(i,Di)，
[0111] 掌心距交点建模模块还用于在平面坐标中设置多条平行于横坐标的阈值线，并获取折线与各阈值线的交点数量。具体的，图4(b)中，折线与Threshold1的交点数量为2，与Threshold2和Threshold3的交点数量均为0；图5(b)中，折线与Threshold1的交点数量为2，与Threshold2和Threshold3的交点数量均为4；图6(b)中，折线与Threshold1的交点数量为2，与Threshold2和Threshold3的交点数量均为8。
[0112] 手势识别模块，其内部设有多个手势分类，具体的，手势分类可包括石头、剪刀和布，每一个手势分类均关联有根据折线与各阈值线的交点数量识别手势的约束模型。具体的，约束模型为：
[0113] 当Q2∈[0,1]，则识别手部轮廓为石头；
[0114] 当Q2∈[2,5]或者{Q2＝1且Q3≥2}，则识别手部轮廓为剪刀；
[0115] 当Q1≠3且Q2∈[6,10]，则识别手部轮廓为布；
[0116] 约束模型中，Q1为折线与阈值线Threshold1的交点数量，Q2为折线与阈值线Threshold2的交点数量，Q3为折线与阈值线Threshold3的交点数量。
[0117] 手势识别模块用于将所述折线与各阈值线的交点数量代入约束模型，以获取对应的手势分类并输出。如此，将交点Q1＝2、Q2＝Q3＝0代入约束模型，可知图4(b)中折线对应的手势为石头；将Q1＝2、Q2＝Q3＝4代入约束模型，可知图5(b) 中折线对应的手势为剪刀；将Q1＝2、Q2＝Q3＝8代入约束模型，可知图6(b)中折线对应的手势为布。具体的，如果折线与各阈值线的交点数量不满足约束模型中的所有手势，则手势识别模块将手部轮廓判断为未知手势。
[0118] 以上所述，仅为本发明涉及的较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉
本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
