关于本发明的特定部分姿势推测装置具备:
匹配图像生成部,以基于规定座标范围内的图像值的设定
阈值来 二值化抽取了特定部分的输入图像的各像素,进而
指定大小在设定范 围内的单元而得到二值图像;和
图案匹配部,对照上述指定得到的二值图像和规定的模板以检测 姿势。
另外,其特征在于:匹配图像生成部将输入的图像变换成灰度图 像,以目标像素为座标中心,以规定范围内的像素的
亮度平均值或中 央值为阈值,对该灰度图像的亮度进行二值化。
另外,其特征在于:图案匹配部利用多个特定输入图像预先生成 匹配图像,以该生成的二值图像作为模板的要素。
另外,其特征在于:图案匹配部通过进行像素的逻辑与而得到与 模板的各要素的对照。
另外,其特征在于:图案匹配部根据由匹配图像生成部得到的二 值图像而求出具有特定值的像素,并根据这些像素在图像中的分布状 态来推测作为检测对象的特定部分的倾斜。
关于本发明的特定部分姿势推测方法其特征在于,具备:
以基于规定座标范围内的图像值的设定阈值来二值化抽取了特 定部分的输入图像的各像素;
从通过上述二值化而得到的二值图像中删除设定范围外的部分 后,并作为设定范围内的图像单元赋予标注;和
对照由在上述删除之后赋予了标注的单元组构成的二值图像和 规定模板中的图像的亮度。
另外,其特征在于:二值化是先将输入图像变换成灰度图像,以 目标像素为座标中心,选择规定范围内的像素的亮度平均值和图像中 央值中的一个值作为二值化阈值,对该变换后的灰度图像的亮度进行 二值化的操作。
另外,其特征在于:对照是通过对二值图像和模板图像的、与座 标值相对应的各像素的亮度进行逻辑与而得到对照值的操作。
本发明的特定部分姿势推测程序可由计算机读取后执行,其特征 在于,该程序执行以下功能:
以基于规定座标范围内的图像值的设定阈值来二值化抽取了特 定部分的输入图像的各像素;
从通过上述二值化而得到的二值图像中删除设定范围以外的部 分后,作为设定范围内的图像单元而赋予标注;
对照由在上述删除之后赋予了标注的单元组构成的二值图像和 规定模板中的图像的亮度。
附图说明
图1是表示本发明实施方式1中特定部分姿势推测装置的结构 图。
图2是表示实施方式1中特定部分姿势推测装置的动作的流程 图。
图3是表示实施方式1中匹配图像生成部执行的二值化动作的流 程图。
图4是表示实施方式1中二值图像生成部的硬件内部结构图。
图5是说明实施方式1中得到设定阈值的范围的图。
图6是说明实施方式1中设定阈值的得到方法的图。
图7是说明实施方式1中匹配图像生成部执行的二值化动作的 图。
图8是实施方式1中匹配部执行的匹配动作的
流程图。
图9是说明实施方式1中图案匹配部执行的匹配动作的图。
图10是表示实施方式1中另一特定部分姿势推测装置的结构图。
图11是说明实施方式1中另一图案匹配部执行的模板形成动作 的图。
图12是表示实施方式2中特定部分姿势推测装置的结构图。
图13是说明实施方式2中基于图案匹配部执行的像素分布的姿 势抽取图。
图14是表示用于现有图像处理装置执行的姿势抽取的结构图。
(实施方式1)
图1是表示本发明的本实施方式中的特定部分姿势推测装置的结 构图。在图中,特定部分姿势推测装置1包括:视频捕获部2,用于 捕获由摄像机等拍摄的视频
信号;匹配图像生成部3,对捕获的视频 实施滤波处理,生成用于与后述的姿势图案进行对照的图像;图案匹 配部4,对照由匹配图像生成部3生成的图像、和预先存储的姿势图 案,求出头部等的部分姿势。另外,内部包括:
色度空间变换部5, 用于将由视频捕获部2捕获的彩色图像变换成灰度图像;二值图像生 成部6,用于将变换后的灰度图像变换成二值图像;单元候选抽取部7, 通过从由二值图像生成部6进行二值化所得到的图像开始综合相邻像 素来求出区域,仅抽取可成为眼睛或嘴的候选区域;匹配部8,用于 对照由匹配图像生成部3生成的匹配图像和预先存储的姿势图案图 像;和匹配图案DB9,用于存储匹配部8使用的图案。
下面,用图2-图9说明本发明的特定部分姿势推测装置的动作。
图2是用于说明该动作的流程图。另外,图3是用于说明二值图 像生成部6的动作的流程图。另外,图4中虽然其他要素都相同,但 是是表示二值图像生成部6的硬件内部结构的图。并且,图5和图6 是用于说明由匹配图像生成部3执行的处理的流程图。图7是用于说 明由图案匹配部4执行的对照处理的图。图8是表示由图案匹配部4 执行的对照处理的动作的流程图。图9是用于说明图案匹配部4的动 作的图。
如图4所示,二值图像生成部6由处理器61、
存储器62、输入 输出
接口64、和执行图3所示动作的二值化程序63构成。处理器61 首先将对经由输入输出接口64得到的捕获图像进行灰度化后得到的 灰度图像读入存储器62中。然后,对读入的灰度图像,根据二值化程 序63中所写的步骤,如后说明的那样,在图2的S1~3中,对应亮度 进行二值化处理。
首先,由视频捕获部2捕获
视频信号(步骤S1-1),利用色度空间 变换部5将捕获的彩色图像变换成灰度图像(步骤S1-2)。
使
用例如下面的(式1)来执行从彩色图像向灰度图像的变换。
G(x,y)=0.123*R(x,y)+0.7151*G(x,y)+0.0721*B(x,y)
(式1)
这里,G(x,y)是座标值(x,y)的亮度值,R、G、B(x,y)是座标 值(x,y)下彩色图像的像素值。从彩色图像变换成灰度图像时的系数 值也可用除上述之外的值。
另外,对色度空间变换部5中的彩色/灰度变换,也可在使用下 面的(式2)标准化RGB值以后,再使用上述的(式1)来进行变换。
r(x,y)=R(x,y)/(R(x,y)+G(x,y)+B(x,y))
g(x,y)=G(x,y)/(R(x,y)+G(x,y)+B(x,y)) (式2)
b(x,y)=B(x,y)/(R(x,y)+G(x,y)+B(x,y))
接着,在二值图像生成部6中针对亮度对灰度图像进行二值化(步 骤S1-3)。这时,通过执行图3所示的处理,适应于输入的图像地生成 二值图像。成为此时的二值化标准的阈值是设定图5所示的规定范围 的窗口座标31,针对该座标范围内的全部像素、图5情况下为25个 像素求出的亮度平均值或中央值。执行图6所示的处理,并且将成为 目标的像素32的亮度与阈值进行比较。
这样,通过扫描输入图像,对全部像素重复执行从步骤S2-1至 步骤S2-8的处理来进行图像的二值化处理。
即,将由此进行判定的像素的像素亮度等级值比预先设定的阈值 低的像素的像素值,设定为1(步骤S2-2、步骤S2-7)。如果目标像素 的像素亮度等级值比阈值大时,设定以关注像素为中心的、大小为 K×K(如上述图5的情况设K=5)的
块(步骤S2-3)。接着,求出设定的 块内的亮度平均值(步骤S2-4)。然后,判定关注像素的像素值是否满 足下面(式3)的条件(步骤S2-5)。
像素的亮度等级>平均值-C (式3)
这里,C是预先设定的规定值。
如果满足(式3)的条件,则设定像素值为0(步骤S2-6)。否则,将 像素值设定为1(步骤S2-7)。
如上所述,由于对应于周围像素的状态来执行二值化处理,所以 即便对于例如因摄像机的画质恶化而造成
对比度低的像素而言,也挤 进了规定座标范围,从而可适当地根据该范围内的例如平均值来执行 二值化处理。
在步骤S2-4中求出了平均值,但也可用下面(式4)的条件求出例 如块内的重新排列像素值时的中央值。
像素值>中央值-C (式4)
另外,也可以在实施直方图平均化法等对比度强调处理之后,利 用固定阈值来执行二值化。
若通过以上的处理,将视频捕获部2捕获的彩色图像变换成灰度 图像,则变成图7中10那样,若二值化该图像,则变成图7的11那 样。
接着,在单元候选抽取部7中,观察二值图像11是否上下左右 倾斜地连接有4个或连接有8个相同二值图像,综合关连且有意义的 相邻像素来求出区域,并将其作为各个区域,如图7的11-a、11-b等 那样进行标注(S1-4)。并且,在各个区域(11-a等)中仅抽取区域的 外切矩形大小在预先设定的范围内的区域(步骤S1-5)。即对于图7的 区域11-a而言,是除去推测目标以外的大小的区域。
这里,在考虑利用便携电话或电子记事薄中的TV电话功能的情 况下,由于用户将自己的脸放在画面视
角中且放大拍摄,所以可预先 预测眼睛的大小或嘴的大小为何种程度。因此,上述的阈值处理是有 效的。
这样一来,在步骤S1-5中抽取的结果变成图7的12那样。
使用上述求出的匹配图像13,由图案匹配部4推测头部姿势(步 骤S1-6)。
按照图8中的、图案匹配部4执行的流程图来说明动作。该图案 匹配部4的硬件结构也与图4的结构相同,但具有替代二值化程序63 来执行图8的动作的匹配程序。
这里,在匹配图案DB9中存储有图9中14所示的模板。如前所 述,在便携电话或电子记事薄中利用TV电话功能等时拍摄人物的脸 的情况中,由于可预先假定画面视角,所以可预先预测对应脸朝向的 眼睛及嘴区域的状态。在匹配图案DB9中,存储有假定的头部姿势中 眼睛及嘴区域的二值脸型(mask)图像。
在S3-1中,经由输入输出接口将二值化后的图9的匹配图像13 的P读入到存储器中。另外,在S3-2中,从匹配图案DB9的模板14 中读入作为标准的第1个脸型图像T1。而且,在S3-3中,在所读入 的捕获图像P和脸型图像T1的、y=0~B、x=0~A的区域中,按各座 标值(x,y)对P(x,y)的二值化值和T1(x,y)的二值化值进行逻辑运算。 然后,从座标(0,0)至(A,B)使其逻辑与相加。在S-4中,重复步骤 S3-2、S3-3直到在模板14中没有尚未试验的脸型图像为止。在S3-4 中,若完成全部脸型图像的逻辑与相加,则在S3-5中,选择在步骤 S3-4中表示最大相加值的脸型图像,在本例中选择图像15。
即,通过计算匹配图像13和模板的各脸型图像的逻辑与,然后 将作为该结果而得到的图像的像素1(匹配的图像)的数量计算相加,选 择数量最多的图像,可得到对照结果15。这样,通过进行二值化处理, 图案匹配的检测即便不是模拟比较也可以非常简单地执行。
如上所述,虽然只推测存储于匹配图案DB中的图案的数量的姿 势信息,但由于处理非常简单,即便在计算能力低的硬件中也可充分 实时处理。
在图1的结构中,在匹配图案DB中存储的是规定的图案,但也 可使用最先从摄像机取得的图像,生成用户个人的模板图像。
图10是根据视频捕获部2的输出生成匹配图案时的特定部分姿 势抽取结构图。在图中,设置用于根据拍摄的图像生成姿势图案的模 板图像的匹配图案生成部16。
下面,用图11说明动作。图11是表示对由视频捕获部2以通常 姿势拍摄的图像进行二值化之后,以该图像为基准,生成模板图像的 结果图。
这里,把视频捕获部2最先捕获的图像视为通常的姿势(
正面朝 向
照相机的姿势),或者,委托用户以通常的姿势拍摄,取得通常姿势 的图像。
对由匹配图像生成部3将如上述那样取得之图像进行二值化所得 的图像17,在匹配模板生成部16中使用仿射变换,生成例如左右歪 头的图像、左右摇头的图像、上下点头的图像。
仿射变换可用下式中示出的矩阵来表现。
(式5)
通过对应于各种姿势准备(式5)中示出的仿射变换矩阵,以下面 的(式6)来变换二值图像17的像素值为1的座标,并使变换后的座标 中除像素值1之外的都设为像素值0,可生成对应图11的18中示出 的各姿势的图像。
(式6)
另外,在(式6)中,设原来的座标为X,Y,变换后的座标为x, y。另外,设二值图像17为平面。
如上所述,在生成匹配图案18之后,可在执行与图1的结构相 同的处理后推测出姿势。
另外,虽然费事,但也可请用户采取例如图11的18中示出的各 种姿势,并二值化该姿势。若这样,则可不用仿射变换而生成模板。
如上所述,通过构成短时间或实时头部姿势推测装置,而生成适 合用户脸的特征的模板,所以具有可提高匹配
精度的效果。
另外,即使在后面的实施方式中,也只是对将头部或脸的作为特 定部分来推测姿势进行了说明,但作为特定部分不限于此,也可是手、 腕、足或上半身等其他部分。
实施方式2
在上述的实施方式1中,通过对照匹配图案和匹配图像来推测头 部姿势,这里说明变更匹配单元以根据匹配图像中像素值为1的像素 的分布来推测头部姿势时的情况。
图12是表示本实施方式中的特定部分姿势推测装置的结构图。 在图中,设置像素分布测量部19,该像素分布测量部求出匹配图像的 像素分布,根据其分布的状态来推测头部姿势。
下面用图13来说明动作。图13表示依据像素分布来推测头部姿 势用的示意图。
匹配图像中像素值为1的像素多分布于示意图20的某个区域, 计数进入各区域的像素数,将与该计数数值大的区域相对应的头部姿 势当作推测结果。
这样,如果使用像素分布,则可更简化处理,因此,即便利用计 算能力低的硬件,也具有可进一步缩短处理的效果。
在上述实施方式中,说明特定部分姿势推测装置由硬件构成,但 如图4所示,在实际中可构成为准备程序、由处理器执行该程序的结 构。另外,也可构成为由表示图2、图3、图8的流程的步骤构成的方 法。
产业上的可利用性
如上所述,根据本发明,由于具备:基于规定范围内的平均图像, 二值化输入图像后特定单元的匹配图像生成部;和对照该得到的二值 图像和规定的模板来检测姿势的图案匹配部,所以具有可抑制规模、 容易地推测部分姿势的效果。