技术领域
[0001] 本
发明属于计算机领域，具体涉及方法、装置及计算机可读存储介质。
背景技术
[0002] 随着
人工智能技术的发展和普及，手势
姿态的建模与识别被越来越多的应用在了人类
情感识别和智能交通控制之中。想要得到较好的理解和识别结果就必须要建立一种高效的手势模型，其中尤其是以手势的状态跟踪在手势理解和识别中应用的最为广泛，但是目前使用的手势建模方法在后期具体识别中还是遵循着梯度下降的原则，因此避免不了陷入到局部极小的尴尬，识别效果不佳。
[0003] 手势建模在人工智能的情感识别和
计算机视觉手势跟踪是最为
基础的步骤，但是领域经典三维手势建模方法在一定程度上填补了基于手部动作和手势的快速生成双手交互模型的不足，但是却在面对三维
立体视觉跟踪中显示出直线
饱和度过高的不足，尤其是对于三维场景深度信息无法做出准确的提取。
发明内容
[0004] 针对于上述
现有技术的不足，本发明的目的之一解决了现有手势建模方法在面对三维立体视觉跟踪中无法准确地提取深度信息的问题。
[0005] 本发明
实施例公开了一种三维跟踪的手势观测似然建模方法和装置，所述方法包括：获取手势图像并对所述手势图像进行预处理；根据预处理后的手势图像进行基于图像边缘特征的手势观测似然度量和基于手势前景特征的手势观测似然度量；结合所述基于图像边缘特征的手势观测似然度量和基于手势前景特征的手势观测似然度量构建手势观测似然模型。该方法能够在三维立体视觉跟踪中准确地提取深度信息，能够得到更好的手势理解和识别效果。
[0006] 在一个可能的实施例中，所述手势观测似然模型如下：
[0007]其中，xi表示第i个粒子，wedge(Z|xi)为基于图像边缘特征的手势观测似然度量
采样后第i个粒子的权重；wforeground(Z|xi)为基于手势前景特征的手势观测似然度量的第i个粒子的权重，dedge和dforeground分别表示根据wedge(Z|xi)和wforeground(Z|xi)得到的粒子权值之间的方差。
[0008] 在一个可能的实施例中，所述预处理包括：对所述手势图像进行序列化处理。
[0009] 在一个可能的实施例中，所述进行基于图像边缘特征的手势观测似然度量和基于手势前景特征的手势观测似然度量包括：利用
边缘检测获取手势
帧图像的边缘特征，同时根据模型各个关
节点的在二维图像面的投影坐标获取手模型的二维手势轮廓，根据边缘和手势轮廓计算模型状态和观测值的相似性；根据手势前景和模型在二维平面内投影之间的重合程度比较模型状态和当前观测值的相似性。
[0010] 在一个可能的实施例中，基于图像边缘特征的手势观测似然度量表示为：pedge＝exp(-dchamfef(edge,counter)),
[0011] 基于手势前景特征的手势观测似然度量表示为：
[0012] Pforeground＝exp{-[Sforeground∪Sprojection]-[Sforeground∩Sprojection]},[0013] 其中，Chamfer表示图像边缘和手势模型轮廓的Chamfer距离，Sforeground表示手势前景区域，Sprojection表示三维手势模型投影。
[0014] 在一个可能的实施例中，还包括：调整权重wedge(Z|xi)和wforeground(Z|xi)以获得符合预设
精度的建模结果。
[0015] 本发明实施例还公开了一种三维跟踪的手势观测似然建模装置，包括：预处理模
块，用于获取手势图像并对所述手势图像进行预处理；观测似然度量模块，用于根据预处理后的手势图像进行基于图像边缘特征的手势观测似然度量和基于手势前景特征的手势观测似然度量；构建模块，用于结合所述基于图像边缘特征的手势观测似然度量和基于手势前景特征的手势观测似然度量构建手势观测似然模型。
[0016] 在一个可能的实施例中，所述手势观测似然模型如下：
[0017]其中，xi表示第i个粒子，wedge(Z|xi)为基于图像边缘特征的手势观测似然度量采样后第i个粒子的权重；wforeground(Z|xi)为基于手势前景特征的手势观测似然度量的第i个粒子的权重，dedge和dforeground分别表示根据wedge(Z|xi)和wforeground(Z|xi)得到的粒子权值之间的方差。
[0018] 在一个可能的实施例中，所述预处理模块还用于：对所述手势图像进行序列化处理。
[0019] 在一个可能的实施例中，所述观测似然度量模块还用于，利用边缘检测获取手势帧图像的边缘特征，同时根据模型各个关节点的在二维图像面的投影坐标获取手模型的二维手势轮廓，根据边缘和手势轮廓计算模型状态和观测值的相似性；根据手势前景和模型在二维平面内投影之间的重合程度比较模型状态和当前观测值的相似性。
[0020] 在一个可能的实施例中，还包括：调整模块用于调整权重wedge(Z|xi)和wforeground(Z|xi)以获得符合预设精度的建模结果。
[0021] 本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有
计算机程序，所述计算机程序被处理器执行时实现前述任意一项三维跟踪的手势观测似然建模方法。
[0022] 本发明的有益效果：上述方法通过手势图像信息的预处理、图像信息手势相似性度量和基于前景手势特征的相似性度量提出了基于粒子滤波的三维跟踪的手势观测似然建模方法。该方法使得粒子滤波
算法精度提高，能够得到更好的手势理解和识别效果。并且，通过三维跟踪的手势观测似然模型验证得出观察得到两者融合新的三维跟踪的手势观测似然模型结果能够很好的匹配三维跟踪的手势观测似然模型基础平台原有手势信息的结论，因此取得了较好的建模效果。
附图说明
[0023] 图1为本发明实施例的一种方法
流程图；
[0024] 图2为本发明实施例的一种图像预处理方法流程示意图；
[0025] 图3为本发明实施例的一种手势图像边缘检测结果示意图；
[0026] 图4为本发明实施例的一种模型验证效果示意图；
[0027] 图5为本发明实施例的装置结构示意图。
具体实施方式
[0028] 为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
[0029] 本发明实施例中公开了一种三维跟踪的手势观测似然建模方法，如图1，所述方法包括：
[0030] S101,获取手势图像并对所述手势图像进行预处理。
[0031] 在一个实施例中，可以通过摄像机获取手势图像。
[0032] 在一个实施例中，所述预处理包括：对所述手势图像进行序列化处理。
[0033] 具体地，首先要按照图的表述进行基础的预处理，手势原始
信号取自于标定摄像机，但是由于摄像机在采集图像过程中会出现过度曝光、非高斯环境介入等干扰事件，这就使得采集到的手势数字图像出现较为严重的畸变，这种畸变会在很大程度上影响后期手势姿态的识别，所以必须预先对
干扰信号做出预处理操作，以满足高
质量数字
图像处理的需要。
[0034] 图2示出了预处理的流程。预处理过程的第一步是手势图像获取。本方案可以建立在C++集成开发环境的OpenCV库函数之下，依次调用CreatCaputureWindow()方法建立数据源的捕捉窗口、调用CraetWebDriver()方法构建手势摄像机与VS之间的连接、调用DlgCammorSource()方法完成对于摄像机捕捉手势图像相关参数的设定，最后使用CameraCallbackImg()方法的回调
指针指向捕捉窗口完成数字图像的传递，每一次传递之后VS都会自动判断一下捕获的对象是否满足最小帧
频率规则，满足的话继续捕捉
数字信号、否则要对图像重新进行采样提取。
[0035] 手势
图像序列化是在三维RGB数字图像信号中添加第四时间维度。一般采用SetTimeCaputure()方法予以设定，当图像有了关于时间的第四维度之后就可以采用分割和增强等各类数字图像处理方法进行相应的处理了。数字图像处理是建立在灰度图像的基础上的，这里可以采用如式子(3-1)所示的拉普拉斯灰度级变换对彩色手势图像进行灰度化处理：
[0036] Gray(x,y)＝0.286*R(x,y)+0.584*G(x,y)+0.128*B(x,y) (3-1)
[0037] 随后进行Canny边缘检测，要用高斯
滤波器平滑图像、用一阶偏导的有限差分来计算梯度的幅值和方向，然后对
角点进行提取深度信息，对联合的canny检测图像进行非极大值抑制，最后用双
阈值算法检测和连接边缘，并进行滞后阈值处理，就可以得到边缘检测的高维度井深信息。尽管边缘检测可以最大程度上提取出背景的深度信息，但是依然会由于角点提取的不充分而造成边缘不连续问题，可以采用一种根据手型拓扑学信息形成的Chamfer距离变换，利用拓扑的互补作用可以将缺失的轮廓进行补全。边缘检测结果如图3所示。
[0038] S102,根据预处理后的手势图像进行基于图像边缘特征的手势观测似然度量和基于手势前景特征的手势观测似然度量。
[0039] 具体地，可以利用边缘检测获取手势帧图像的边缘特征，同时根据模型各个关节点的在二维图像面的投影坐标获取手模型的二维手势轮廓，根据边缘和手势轮廓计算模型状态和观测值的相似性；再者，可以根据手势前景和模型在二维平面内投影之间的重合程度比较模型状态和当前观测值的相似性。
[0040] 在一个实施例中，进行基于图像边缘特征的手势相似性度量包括：
[0041] 首先定义两个数据点 和 下面就可以对于二值化的不连续边缘进行Chamfer距离变换，定义Chamfer距离变换如式子(3-2)所示：
[0042]
[0043] 然后构造各个数字图元的扫描和遍历过程：定义P和 分别代表二值图中的高维景深
像素集和三维手势建模像素集，采用如式子(3-3)所示的二值图元法进行一次遍历，即当下一
边缘图像的点坐标元素不再属于边缘时一次扫描的结果记为0，当下一边缘图像的点坐标元素属于边缘时一次扫描的结果在上一状态上+1，并最终采用最小化处理，这是为了保证Chamfer距离具有一定的数字帧梯度。
[0044] f1(p)＝min{f1(q)+1:q∈B(p)}fp∈
(3-3)
[0045]
[0046] 然后定义p的坐标为(x,y)，在该点处的四邻域分别存在(x+1,y),(x-1,y),(x,y+1)和(x,y-1)四个元素点，对于经过第一次扫描的边缘点要进行如式子(3-4)所示的第二次扫描，这样的处理可以保证二阶梯度的井深可以匹配经典三维手势建模得到的模型。为了保证两次扫描的精度可以相互
叠加所以采取与第一次扫描相反的方向进行二次扫描。
[0047] f2(p)＝min{f1(p),f2(q)+1:q∈A(p)} (3-4)
[0048] 在将边缘引入Chamfer距离变换之后就可以定义边缘与手势轮廓的手势相似性度量，如式子(3-5)所示，这样就可以得到三维跟踪的手势观测似然信息：
[0049] pedge＝exp(-dchamfef(edge,counter)) (3-5)
[0050] 在一个实施例中，进行基于手势前景特征的相似性度量包括：可以通过高斯混合模型或者背景差分结合贝叶斯方法获得手势前景图。在已知摄像机参数和模型状态参数的情况下可以获得手势状态的图像平面内的模型投影。
[0051] 根据手势前景图和模型投影信息定义相似性似然函数，如式子(3-6)所示，其中的并集表示经典三维手势模型前景信息像素点与高阶投影手势信息像素点的最大合并像素区域、其中的交集表示经典三维手势模型前景信息像素点与高阶投影手势信息像素点共同的区域，这样形成的相似性度量记作Pforeground，由表达式可以看出后者的相似性度量在经典模型的基础上增添了高阶投影手势信息。
[0052] Pforeground＝exp{-[Sforeground∪Sprojection]-[Sforeground∩Sprojection]} (3-6)[0053] S103,结合所述基于图像边缘特征的手势观测似然度量和基于手势前景特征的手势观测似然度量构建手势观测似然模型。
[0054] 在得到了基于图像边缘特征的手势观测似然度量和基于手势前景特征的手势观测似然度量之后就可以建立三维跟踪的手势观测似然模型，其主要是对基于图像边缘特征的手势观测似然度量采样后权重和基于手势前景特征的手势观测似然度量的权重进行重新分配以得到更为理想的模型效果。
[0055] 所述手势观测似然模型如下：
[0056]
[0057] 其中，xi表示第i个粒子，wedge(Z|xi)为基于图像边缘特征的手势观测似然度量采样后第i个粒子的权重；wforeground(Z|xi)为基于手势前景特征的手势观测似然度量的第i个粒子的权重，dedge和dforeground分别表示根据wedge(Z|xi)和wforeground(Z|xi)得到的粒子权值之间的方差。
[0058] 上述方法还包括：调整权重wedge(Z|xi)和wforeground(Z|xi)以获得符合预设精度的建模结果。
[0059] 权重的调整如式子(3-8)和式子(3-9)所示，
[0060]
[0061]
[0062] 上述方法通过手势图像信息的预处理、图像信息手势相似性度量和基于前景手势特征的相似性度量提出了基于粒子滤波的三维跟踪的手势观测似然建模方法。该方法使得粒子滤波算法精度提高，能够在三维立体视觉跟踪中准确地提取深度信息，能够得到更好的手势理解和识别效果。并且，通过三维跟踪的手势观测似然模型验证得出观察得到两者融合新的三维跟踪的手势观测似然模型结果能够很好的匹配三维跟踪的手势观测似然模型基础平台原有手势信息的结论，因此取得了较好的建模效果。
[0063] 在验证阶段，摄像机获取手势，保持手掌姿态不变、而食指的姿态产生按照x坐标轴的平移运动、按照Y坐标轴的慢速旋转运动和沿着z坐标轴进行的慢速旋转运动组成的，然后根据实验的特征选取了三组有代表性的手型运动分别表示手掌的平动和
手指绕两个轴的转动。如图4所示，每幅图的左侧表示经典三维跟踪的手势与具有高阶投影手势信息，从图中可以观察的到两者融合新的三维跟踪的手势观测似然模型结果能够很好的匹配三维跟踪的手势观测似然模型基础平台原有的手势信息，取得了较好的建模效果。
[0064] 本发明实施例还公开了一种三维跟踪的手势观测似然建模装置10，包括：预处理模块101，用于获取手势图像并对所述手势图像进行预处理；观测似然度量模块102，用于根据预处理后的手势图像进行基于图像边缘特征的手势观测似然度量和基于手势前景特征的手势观测似然度量；构建模块103，用于结合所述基于图像边缘特征的手势观测似然度量和基于手势前景特征的手势观测似然度量构建手势观测似然模型。
[0065] 在一个实施例中所述手势观测似然模型如下：
[0066]
[0067] 其中，xi表示第i个粒子，wedge(Z|xi)为基于图像边缘特征的手势观测似然度量采样后第i个粒子的权重；wforeground(Z|xi)为基于手势前景特征的手势观测似然度量的第i个粒子的权重，dedge和dforeground分别表示根据wedge(Z|xi)和wforeground(Z|xi)得到的粒子权值之间的方差。
[0068] 在一个实施例中所述预处理模块还用于：对所述手势图像进行序列化处理。
[0069] 在一个实施例中所述观测似然度量模块还用于，利用边缘检测获取手势帧图像的边缘特征，同时根据模型各个关节点的在二维图像面的投影坐标获取手模型的二维手势轮廓，根据边缘和手势轮廓计算模型状态和观测值的相似性；根据手势前景和模型在二维平面内投影之间的重合程度比较模型状态和当前观测值的相似性。
[0070] 在一个实施例中所述装置10还包括：调整模块104用于调整权重wedge(Z|xi)和wforeground(Z|xi)以获得符合预设精度的建模结果。
[0071] 装置10具体的实施方式可以参考方法实施例，不再赘述。
[0072] 在本
申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0073] 作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
[0074] 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用
硬件的形式实现，也可以采用
软件功能单元的形式实现。
[0075] 本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。
