本发明涉及人体姿态估计技术，特别涉及一种二维人体姿态估计方法、 以及一种二维人体姿态估计装置。

二维人体姿态估计（Human Pose Estimation )的主要目的是估算二维图 像中人体的各个部位的位置，确定头部、四肢的姿态，是计算机视觉中的一 个重要研究领域，可应用于视频监控、人机交互、虚拟现实等各种应用场景。
其中，二维人体姿态利用二维图像中包围各人体部位的矩形来表示各个
人体部位，如图l所示。每个矩形用一个五维向量来表示^(;c,;;,vv,/^)， x和 y表示矩形中心的二维坐标、W和A分别为矩形的宽度和高度、^为矩形相对
于水平或垂直方向的角度。本文中将表示上述矩形的该五维向量称之为位置。
然而，现有技术进行二维人体姿态估计时，需要在搜索时需要利用预先 训练得到的大量参数、且对于每一人体部位的位置均需要在整幅二维图像中 进行搜索，因而使得处理效率较低。

有鉴于此，本发明提供了一种二维人体姿态估计方法、以及一种二维人 体姿态估计装置，能够提高二维人体姿态估计的效率。
本发明提供的一种二维人体姿态估计方法，预先设置各人体部位的模
板、以及相邻人体部位之间的约束关系，该方法包括： 检测二维图像中的人体区域； 确定人体区域中各人体部位的搜索范围；
确定各人体部位的搜索范围内各位置与该人体部位模板的相似程度； 根据各人体部位的搜索范围内各位置与该人体部位模板的相似程度、以
及预设相邻人体部位之间的约束关系，分别在各人体部位的搜索范围内搜索
各人体部位的最优位置，得到二维人体的姿态。
所述各人体部位包括：躯干、头部、臂部、手部、腿部、脚部；
所述分别确定人体区域中对应各人体部位的搜索范围包括：
搜索得到人体区域中面积最大的矩形，在预设的旋转角度范围内将该矩
形进行扰动，得到躯干的搜索范围；
在人体区域中进行人脸检测，将检测得到的人脸所在位置作为头部的搜
索范围；
利用检测得到的人脸的肤色确定手部的搜索范围，并将人体区域中位于 躯干搜索范围与手部搜索范围之间的部分，确定为臂部的搜索范围； 将人体区域中的剩余部分确定为腿部和脚部的搜索范围。 所述确定各人体部位的搜索范围内各位置与该人体部位模板的相似程 度包括：
对检测出人体区域的二维图像进行距离变换，得到该二维图像的距离
图；
分别在距离图中各人体部位的搜索范围内，利用该人体部位模板计算该 人体部位出现在各位置的图像似然，作为各人体部位的搜索范围内各位置与 该人体部位4莫板的相似程度。
所述各人体部位的最优位置满足如下公式的极值：
10
10
或Z尸formula see original document page 7
其中，/,表示确定为第/个人体部位的位置，/,表示确定为第J'个人体部 位的位置，P(/, I /y )表示/,和~之间的二维坐标距离和相对角度与预设第/个人
体部位和第y'个人体部位之间约束关系的相似程度，£表示相邻人体部位的 集合，（/,力^£表示只有当第/个人体部位和第y个人体部位为相邻人体部位 时才计算尸(/,l/,); P(/,，/)表示第,'个人体部位出现在位置/,的图像似然，/为二 维图像。
该方法进一步按照各人体部位之间的关系建立树结构； 所述分别在各人体部位的搜索范围内搜索各人体部位的最优位置包括：
从所述树结构根节点所表示的人体部位的搜索范围开始并按照所述树结构 的遍历顺序，依次在各人体部位的搜索范围内搜索各人体部位的最优位置。
本发明提供的一种二维人体姿态估计装置，包括：
模型存储模块，用于存储预先设置的各人体部位的模板、以及相邻人体
部位之间的约束关系；
背景差分模块，用于检测二维图像中的人体区域；
范围划分模块，确定人体区域中各人体部位的搜索范围；
相似判断模块，用于确定各人体部位的搜索范围内各位置与该人体部位
模板的相似程度；
位置搜索模块，用于根据各人体部位的搜索范围内各位置与该人体部位 才莫板的相似程度、以及相邻人体部位之间的约束关系，分别在各人体部位的 搜索范围内搜索各人体部位的最优位置，得到二维人体的姿态。
所述各人体部位包括：躯干、头部、臂部、手部、腿部、脚部；
所述区域确定模块包括：
躯干范围子模块，用于搜索得到人体区域中面积最大的矩形，在预设的 旋转角度范围内将该矩形进行扰动，得到躯干的搜索范围；
头部范围子模块，用于在人体区域中进行人脸检测，将检测得到的人脸 所在位置作为头部的搜索范围；
手臂范围子模块，用于利用检测得到的人脸的肤色确定手部的搜索范 围，并将人体区域中位于躯干搜索范围与手部搜索范围之间的部分，确定为
臂部的搜索范围；
腿脚范围子模块，用于将人体区域中的剩余部分确定为腿部和脚部的搜 索范围。
所述相似判断模块包括：
距离变换子模块，用于对检测出人体区域的二维图像进行距离变换，得 到该二维图像的距离图；
图像似然子模块，用于分别在距离图中各人体部位的搜索范围内，利用 该人体部位模板计算该人体部位出现在各位置的图像似然，作为各人体部位 的搜索范围内各位置与该人体部位模板的相似程度。
所述各人体部位的最优位置满足如下公式的极值：
10
n尸(/,i〔)n尸(")；
】0
或Z P(/,l。） + Z尸(/,，/);
,'=1
其中，/,表示确定为第/个人体部位的位置，/,表示确定为第乂个人体部 位的位置，P(/, I /;)表示/,和之间的二维坐标距离和相对角度与预设第/个人 体部位和第y个人体部位之间约束关系的相似程度，£表示相邻人体部位的
集合，（/J)eE表示只有当第/个人体部位和第/个人体部位为相邻人体部位
时才计算尸(/,l/,);尸(/,,/)表示第,'个人体部位出现在位置/,的图像似然，/为二
维图像。
所述模型存储模块中进一步存储按照各人体部位之间的关系所建立的
树结构；
所述位置搜索模块进一步从所述树结构根节点所表示的人体部位的搜 索范围开始并按照所述树结构的遍历顺序，依次在各人体部位的搜索范围内 搜索各人体部位的最优位置。
由上述技术方案可见，本发明首先检测出二维图像中的人体区域并确定 出各人体部位在二维图像中的搜索范围，然后根据各人体部位的搜索范围内
各位置与该人体部位的相似程度、以及预设相邻人体部位之间的约束关系， 分别在各人体部位的搜索范围内搜索各人体部位的最优位置。相比于现有技 术，本发明无需利用预先训练得到的大量参数、且无需在整幅二维图像中搜 索每一人体部位的位置，因而提高了二维人体姿态估计的效率。
附图说明
图1为现有二维人体姿态的各人体部位示意图。
图2a为本发明实施例中各人体部位模板示意图。
图2b为本发明实施例中相邻人体部位之间的约束关系示意图。
图3为本发明实施例中二维人体姿态估计方法的流程示意图。
图4为本发明实施例中各人体部位的树结构示意图。
图5为本发明实施例中二维人体姿态估计装置的结构示意图。

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举 实施例，对本发明进一步详细说明。
在本实施例中，将人体划分为躯干、头部、左臂、左手、右臂、右手、 左腿、左脚、右腿、右脚共IO个人体部位。这样，预先设置具有固定形状 和大小的上述各人体部位的模板，构成如图2a所示的人体模型。在图2a中， 各人体部位的模板形状均为矩形、其大小则为该人体部位的宽度和高度。
且本实施例还需要建立相邻人体部位之间的约束关系，如图2b所示， 这里所述的约束关系是指：相邻人体部位邻边之间的二维坐标距离Ax和Ay 、 以及相对角度^所允许的范围。
下面，首先对本实施例中的二维人体姿态估计方法进行说明。
如图3所示，对于连续多幅二维图像中的每一幅，本实施例中的二维人 体姿态估计方法包括如下步骤：
步骤301，利用现有的流光法、帧间差分法、背景相减法等已有方法，
检测二维图像中的人体区域。
经本步骤之后，二维图像变为二值化图像，其中，运动的人体区域通常 表示为白色像素点，而背景区域则表示为黑色像素点。
在本步骤之后，还可以利用膨胀运算、腐蚀运算、开运算、关运算等数 学形态学方法，对检测出人体区域的二维图像进行滤波，以填充人体区域中 的空洞、并去除人体区域中面积较小的孤立区域、非连通区域，只保留面积 大于预设连通面积阈值的连通区域，以提高图像质量。
步骤302,确定人体区域中各人体部位的搜索范围。
在本实施例中，本步骤中的具体处理过程可以包括：
al、搜索得到人体区域中面积最大的矩形，在预设的旋转角度范围内将 该矩形进行扰动，得到躯干的搜索范围；
a2、在人体区域中进行人脸检测，将检测得到的人脸所在位置作为头部 的搜索范围；
a3、利用检测得到的人脸的肤色检测并确定右手和左手的搜索范围，并 将人体区域中位于躯干搜索范围与右手、左手搜索范围之间的部分，分别确
定为右臂和左臂的搜索范围；
a4、将人体区域中的剩余部分确定为右腿、右脚、左腿、左脚的搜索范围。
步骤303,确定各人体部位的搜索范围内各位置与该人体部位模板的相 似程度。
本步骤的具体处理过程可以包括：
bl、采用现有的距离变换方法，对检测出人体区域的二维图像进行距离 变换，得到该二维图像的距离图，距离图中各像素点的值为该像素点在二维 图像中二位坐标值"，力的距离变换函数值D""，力；其中，现有技术中的距 离变换是指：在由黑白像素点构成的二值化图像中，为每一像素找到距离其 最近的黑色像素点，并计算该像素点与距离其最近的黑色像素点之间的距
离，得到该像素点的距离变换函数值^"，力；
b2、按照现有方式，分别在距离图中各人体部位的搜索范围内，利用该 人体部位模板计算该人体部位出现在各位置的图像似然，作为各人体部位的
搜索范围内各位置与该人体部位模板的相似程度，即利用与第z个人体部位 模板形状和大小相同的矩形搜索框/,在距离图中的第f个人体部位的搜索范 围内进行搜索，并在搜索过程中计算矩形搜索框/所在位置l的所有边缘像
素点、即位置/,.„在二维图像中所体现的矩形的所有边缘像素点(;c一,尺J的距 离变换函数值"r(;c一,x一）的平均值，该平均值即为第^个人体部位出现在位 置/,„,的图像似然尸(/,„，/)，可表示为如下公式：
M/,m (乂,,一,少,.^)"卵""
其中，位置l为第''个人体部位的搜索范围内的第w个位置，
， x,，和i为位置"在二维图像中所体现的矩形的中
心二维坐标、M^和/^以及《，分别为该矩形的宽度和高度以及角度；/表示 二维图像；M, 为位置/, ,„在二维图像中所体现的矩形的周长。
上述处理过程得到的图像似然尸(/,„，/)即表示第f个人体部位的搜索范围
内的第w个位置与第''个人体部位的相似程度。
步骤304,根据各人体部位的搜索范围内各位置与该人体部位模板的相 似程度、以及预设相邻人体部位之间的约束关系，分别在各人体部位的搜索 范围内搜索各人体部位的最优位置，得到二维人体的姿态。
也就是说，本步骤中在保证相邻人体部位的搜索范围内搜索到的位置与 相邻人体部位之间约束条件尽可能匹配的前提下，在各人体部位的搜索范围 内分别搜索与该人体部位模板具有尽可能高的相似程度的位置，从而得到各 人体部位的搜索范围内表示该人体部位的位置，进而得到二维人体的姿态。
本步骤中所述的各人体部位的最优位置满足如下公式的极值：formula see original document page 13其中，（表示确定为第!'个人体部位的位置，（="，少,，,,、《），x,和y,表
示位置/,的中心二维坐标、W,.和/7,表示位置/,.的宽度和高度、《表示位置/,相
对于水平或垂直方向的角度；（表示确定为第7个人体部位的位置， /,=(〜,y,,,,、 A)，、和力表示位置/;在二维图像中所体现的矩形的中心二维 坐标、,和、以及《分别表示该矩形的宽度和高度以及角度；P(/,l。表示/,和 /,之间的二维坐标距离和相对角度与预设第,'个人体部位和第/个人体部位 之间约束关系的相似程度，E表示相邻人体部位的集合，（/,力££表示只有当 第/个人体部位和第y'个人体部位为相邻人体部位时才计算尸(/,l/》；尸"力表
示第!'个人体部位出现在位置Z'的图像似然，/为二维图像。 需要说明的是，对于一种情况：
P(( 1 ()可以定义为（和6之间的二维坐标距离和相对角度与预设第''个人 体部位和第J'个人体部位之间约束关系的差值，该差值越小表示相似程度越 高，本领域技术人员可利用任意方法实现该定义方式；相应地，图像似然 尸(/,，,/)也定义为取值越小表示相似程度越高，本领域技术人员可利用任意一
种现有距离变换方法实现该定义方式。这样，如上所述的极值就是表示上述 两个相似程度同时递增方向上的极小值。 对于另一种情况：
尸(/'1。可以定义为（和/;之间的二维坐标距离和相对角度与预设第''个人
体部位和第J'个人体部位之间约束关系的匹配度，该匹配越大表示相似程度 越高，本领域技术人员可利用任意方法实现该定义方式；相应地，图像似然
尸((，"也定义为取值越大表示相似程度越高，本领域技术人员也可利用任意一种现有距离变换方法实现该定义方式。这样，如上所述的极值就是表示上 述两个相似程度同时递增方向上的极大值。
对于上述两种情况，实际应用中可任意设定。
此外，本实施例中还可以按照如图2a所示的各人体部位的关系，以躯 干为根节点、以头部、臂部、手部、腿部、脚部为叶子节点建立如图4所示 的树结构。这种情况下，本步骤可以利用维特比（Viterbi)等各种现有计算 方法从树结构根节点所表示的人体部位的搜索范围开始、并按照树结构的遍 历顺序，依次在各人体部位的搜索范围内搜索各人体部位的最优位置。
至此，本流程结束。
由上述流程可见，本实施例中的二维人体姿态估计方法首先检测出二维 图像中的人体区域并确定出各人体部位在二维图像中的搜索范围，然后根据 各人体部位的搜索范围内各位置与该人体部位的相似程度、以及预设相邻人
体部位之间的约束关系，分别在各人体部位的搜索范围内搜索各人体部位的 最优位置。相比于现有技术，该方法无需利用预先训练得到的大量参数、且 无需在整幅二维图像中搜索每一人体部位的位置，因而提高了二维人体姿态 估计的效率，并降低了 二维人体姿态估计的实现难度。
以上是对本实施例中二维人体姿态估计方法的详细说明，下面，再对本 实施例中的二维人体姿态估计装置进行说明。
如图5所示，本实施例中的二维人体姿态估计装置包括：模型存储模块、 背景差分模块、范围划分模块、相似判断模块、位置搜索模块。
模型存储模块，用于存储预先设置的各人体部位的模板、以及相邻人体 部位之间的约束关系。
背景差分模块，用于利用现有的流光法、帧间差分法、背景相减法等已 有方法，检测二维图像中的人体区域。其中，经背景差分模块处理之后，二 维图像变为二值化图像，其中，运动的人体区域通常表示为白色像素点，而 背景区域则表示为黑色像素点。
范围划分模块，确定人体区域中各人体部位的搜索范围。具体来说，范
围划分模块可以包括：躯干范围子模块，用于搜索得到人体区域中面积最大 的矩形，在预设的旋转角度范围内将该矩形进行扰动，得到躯干的搜索范围； 头部范围子模块，用于在人体区域中进行人脸检测，将检测得到的人脸所在 位置作为头部的搜索范围；手臂范围子模块，用于利用检测得到的人脸的肤 色检测并确定手部的搜索范围，并将人体区域中位于躯干搜索范围与手部搜 索范围之间的部分，确定为臂部的搜索范围；腿脚范围子模块，用于将人体 区域中的剩余部分确定为腿部和脚部的搜索范围。
相似判断模块，用于确定各人体部位的搜索范围内各位置与该人体部位 模板的相似程度。具体来说，相似判断模块包括：距离变换子模块，用于釆 用现有的距离变换方法，对检测出人体区域的二维图像进行距离变换，得到 该二维图像的距离图；图像似然子模块，用于按照现有方式分别在距离图中 各人体部位的搜索范围内，利用该人体部位模板计算该人体部位出现在各位 置的图像似然，作为各人体部位的搜索范围内各位置与该人体部位模板的相 似程度。
其中，第个人体部位出现在该人体区域搜索范围内的位置/,„的图像似 然„, /)可表示为如下公式：
其中，位置/,,„为第z个人体部位的搜索范围内的第w个位置，
L = (\m,少,）,w,， Am ， i) ， x,,m和x „,为位置/,,„在二维图像中所体现的矩形的中 心二维坐标、M^和/7,，以及^分别为该矩形的宽度和高度以及角度；/表示 二维图像；M,，为位置/,，在二维图像中所体现的矩形的周长；0c,-,少,一）为位 置在二维图像中所体现的矩形的所有边缘像素点的二维坐标值。
位置搜索模块，用于根据各人体部位的搜索范围内各位置与该人体部位 模板的相似程度、以及相邻人体部位之间的约束关系，分别在各人体部位的 搜索范围内搜索各人体部位的最优位置，得到二维人体的姿态。
也就是说，位置搜索模块在保证相邻人体部位的搜索范围内搜索到的位 置与相邻人体部位之间约束条件尽可能匹配的前提下，在各人体部位的搜索 范围内分别搜索与该人体部位模版具有尽可能高的相似程度的位置，从而得 到各人体部位的搜索范围内表示该人体部位的位置，进而得到二维人体的姿
态。位置搜索模块搜索得到的各人体部位的最优位置满足如下公式的极值：
formula see original document page 16
或formula see original document page 16
其中，（表示确定为第!'个人体部位的位置formula see original document page 16x,和x表 示位置/,的中心二维坐标、w和A,表示位置/,的宽度和高度、《表示位置/,相
对于水平或垂直方向的角度；^表示确定为第7个人体部位的位置，formula see original document page 16 ；c,和力表示位置^在二维图像中所体现的矩形的中心二维
坐标、w,和、以及A分别表示该矩形的宽度和高度以及角度；尸(/,|。表示/,和
/,之间的二维坐标距离和相对角度与预设第/个人体部位和第J'个人体部位
之间约束关系的相似程度，£表示相邻人体部位的集合，（/，力££表示只有当
第/个人体部位和第y个人体部位为相邻人体部位时才计算p(/,i/》；P(m表
示第f个人体部位出现在位置（的图像似然，/为二维图像。
实际应用中，如上所述的极值就是表示上述两个相似程度同时递增方向
上的极大值或极小值。
此外，模型存储模块中可以进一步存储按照各人体部位之间的关系所建
立的树结构。这种情况下，位置搜索模块进一步从所述树结构根节点所表示
的人体部位的搜索范围开始并按照所述树结构的遍历顺序，依次在各人体部
位的搜索范围内搜索各人体部位的最优位置。
需要说明的是，对于连续多幅二维图像中的每一幅，本实施例中的二维
人体姿态估计装置均按照上述原理进行处理。
可见，本实施例中的二维人体姿态估计装置首先检测出二维图像中的人 体区域并确定出各人体部位在二维图像中的搜索范围，然后根据各人体部位 的搜索范围内各位置与该人体部位的相似程度、以及预设相邻人体部位之间 的约束关系，分别在各人体部位的搜索范围内搜索各人体部位的最优位置。 相比于现有技术，该装置无需利用预先训练得到的大量参数、且无需在整幅 二维图像中搜索每一人体部位的位置，因而提高了二维人体姿态估计的效 率，并降低了二维人体姿态估计的实现难度。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范 围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等， 均应包含在本发明的保护范围之内。