首页 / 专利库 / 制造过程 / 原型 / 数字图像采集装置中的实时人脸追踪

数字图像采集装置中的实时人脸追踪

阅读:980发布:2022-09-19

专利汇可以提供数字图像采集装置中的实时人脸追踪专利检索,专利查询,专利分析的服务。并且一种追踪图像流中人脸的 图像处理 设备,它从该图像流中反复接收新采集图像,该图像可能包括一个或者多个人脸图区。以 指定 的 分辨率 对该采集图像二次抽样(112),以提供二次抽样图像。然后,至少对一部分二次抽样采集图像计算相应积分图像。至少对一部分积分图像应用固定尺寸 人脸检测 (120),以提供一组候选人脸图区。根据产生的该组候选人脸图区以及先前检测到的任意候选人脸图区,调整二次抽样下一幅采集图像的分辨率。,下面是数字图像采集装置中的实时人脸追踪专利的具体信息内容。

1.一种利用数字图像采集装置追踪图像流中的人脸的方法,包括:
a.从所述图像流接收采集图像,所述图像流包括一个或者多个人脸图区;
b.以指定分辨率二次抽样所述采集图像,以提供二次抽样图像;
c.为所述二次抽样图像的至少一部分计算相应的积分图像;
d.对所述积分图像的至少一部分应用固定尺寸人脸检测,以提供一个或者多个候选人脸图区的一组候选人脸图区,每个候选人脸图区具有固定尺寸和相应位置,所述固定尺寸与指定的分辨率相关;
e.响应所述候选人脸图区和任意的先前确认的人脸图区的尺寸和相应位置,调整对下一幅采集图像进行二次抽样的分辨率;以及
f.以调整的分辨率重复步骤a至e,
其中所述步骤e包括:
将所述一组候选人脸图区与任意的先前确认的人脸图区合并,以提供合并的一组尺寸可以不同的候选人脸图区,
针对与所述合并的一组候选人脸图区的每个图区对应的所述采集图像的每个图区:
计算每个图区的积分图像;
针对所述每个图区的积分图像应用可变尺寸人脸检测,以提供一组确认人脸图区和一组拒绝人脸图区;以及
基于所述一组确认人脸图区的尺寸及其尺寸随时间变化来确定用于对下一幅采集图像进行二次抽样的分辨率。
2.根据权利要求1所述的方法,进一步包括:
在计算所述采集图像的每个图区的积分图像前,从所述采集图像中选择与所述合并的一组候选人脸图区的每个图区对应的每个图区。
3.根据权利要求1所述的方法,其中所述步骤e进一步包括:
应用皮肤原型对经可变尺寸人脸检测后所提供的所述拒绝人脸图区进行校验;以及响应于指示所述拒绝人脸图区为人脸图区的校验结果,将该指示为人脸图区的拒绝人脸图区附加到所述一组确认人脸图区。
4.根据权利要求1所述的方法,其中所述合并包括使采集图像的一组候选人脸图区与先前采集图像的所述一组确认人脸图区合并。
5.根据权利要求1所述的方法,其中所述采集图像上与一组合并候选人脸图区中一个图区的对应的图区包括在采集图像上包围所述一组合并候选人脸图区中一个图区的图区。
6.根据权利要求1所述的方法,其中应用可变尺寸人脸检测包括对所述每个图区的积分图像应用多个级联的可变尺寸Haar分类器。
7.根据权利要求6所述的方法,包括应用12个Haar分类器。
8.根据权利要求6所述的方法,包括应用3或4个Haar分类器。
9.根据权利要求6所述的方法,其中每个级联包括32个分类器。
10.根据权利要求1所述的方法,其中响应所述图像流中图像与图像之间内容的变化,执行所述重复步骤a至e。
11.根据权利要求1所述的方法,其中所述应用固定尺寸人脸检测包括对所述积分图像应用级联的固定尺寸Haar分类器。
12.根据权利要求1所述的方法,进一步包括以下步骤:
显示采集图像;以及
将确认的候选人脸图区叠加到所述显示的采集图像。
13.一种利用数字图像采集装置追踪图像流中的人脸的方法,包括:
a.从所述图像流接收采集图像,所述图像流包括一个或者多个人脸图区;
b.以指定的分辨率二次抽样所述采集图像,以提供二次抽样图像;
c.为所述二次抽样图像的至少一部分计算相应的积分图像;
d.对所述积分图像的至少一部分应用固定尺寸人脸检测,以提供一个或者多个候选人脸图区的一组候选人脸图区,每个候选人脸图区具有固定尺寸和相应位置,所述固定尺寸与指定的分辨率相关;
e.响应所述候选人脸图区和任意的先前确认的人脸图区的尺寸和相应位置,调整对下一幅采集图像进行二次抽样的分辨率;以及
f.以调整的分辨率重复步骤a至e,
其中所述步骤e包括:
将所述一组候选人脸图区与任意的先前确认的人脸图区合并,以提供合并的一组尺寸可以不同的候选人脸图区,
针对与所述合并的一组候选人脸图区的每个图区对应的所述采集图像的每个图区:
计算每个图区的积分图像;
针对所述每个图区的积分图像应用可变尺寸人脸检测,以提供一组确认人脸图区和一组拒绝人脸图区;以及
基于所述一组确认人脸图区的尺寸及其尺寸随时间变化来确定用于对下一幅采集图像进行二次抽样的分辨率;
其中所述调整包括一组至少四个二次抽样分辨率的循环。
14.根据权利要求13所述的方法,进一步包括在步骤d后,与采集图像相关,存储至少一些所述一组候选人脸图区的尺寸和位置中的至少一个。
15.根据权利要求14所述的方法,进一步包括以下步骤:
根据所述采集图像中存储的候选人脸图区的尺寸或者位置,对所述采集图像执行空间选择性后处理。
16.根据权利要求15所述的方法,其中空间选择性后处理包括彩色校正、锐化、使模糊、饱和、二次抽样、压缩或者它们的组合。
17.一种利用数字图像采集装置追踪图像流中的人脸的方法,包括:
a.从所述图像流接收采集图像,所述图像流包括一个或者多个人脸图区;
b.以指定的分辨率二次抽样所述采集图像,以提供二次抽样图像;
c.为所述二次抽样图像的至少一部分计算相应的积分图像;
d.对所述积分图像的至少一部分应用固定尺寸人脸检测,以提供一个或者多个候选人脸图区的一组候选人脸图区,每个候选人脸图区具有固定尺寸和相应位置,所述固定尺寸与指定的分辨率相关;
e.响应所述候选人脸图区和任意的先前确认的人脸图区的尺寸和相应位置,调整对下一幅采集图像进行二次抽样的分辨率;以及
f.以调整的分辨率重复步骤a至e,
其中步骤e包括:
将所述一组候选人脸图区与任意的先前确认的人脸图区合并,以提供合并的一组尺寸可以不同的候选人脸图区,
针对与所述合并的一组候选人脸图区的每个图区对应的所述采集图像的每个图区:
计算每个图区的积分图像;
针对所述每个图区的积分图像应用可变尺寸人脸检测,以提供一组确认人脸图区和一组拒绝人脸图区;以及
基于所述一组确认人脸图区的尺寸及其尺寸随时间变化来确定用于对下一幅采集图像进行二次抽样的分辨率;
其中当所述采集图像在无穷远聚焦采集时,将所述二次抽样分辨率调整到最大分辨率。
18.一种利用数字图像采集装置追踪图像流中的人脸的方法,包括:
a.从所述图像流接收采集图像,所述图像流包括一个或者多个人脸图区;
b.以指定的分辨率二次抽样所述采集图像,以提供二次抽样图像;
c.为所述二次抽样图像的至少一部分计算相应的积分图像;
d.对所述积分图像的至少一部分应用固定尺寸人脸检测,以提供一个或者多个候选人脸图区的一组候选人脸图区,每个候选人脸图区具有固定尺寸和相应位置,所述固定尺寸与指定的分辨率相关;
e.响应所述候选人脸图区和任意的先前确认的人脸图区的尺寸和相应位置,调整对下一幅采集图像进行二次抽样的分辨率;以及
f.以调整的分辨率重复步骤a至e,
其中所述步骤e包括:
将所述一组候选人脸图区与任意的先前确认的人脸图区合并,以提供合并的一组尺寸可以不同的候选人脸图区,
针对与所述合并的一组候选人脸图区的每个图区对应的所述采集图像的每个图区:
计算每个图区的积分图像;
针对所述每个图区的积分图像应用可变尺寸人脸检测,以提供一组确认人脸图区和一组拒绝人脸图区;以及
基于所述一组确认人脸图区的尺寸及其尺寸随时间变化来确定用于对下一幅采集图像进行二次抽样的分辨率;
其中对图像流中选择的多幅图像周期性地执行所述步骤a至e,所述选择的多幅图像包括按时间顺序位于所述选择的多幅图像中的的采集图像。
19.根据权利要求18所述的方法,其中选择的图像之间的时间间隔是固定的。
20.根据权利要求18所述的方法,其中选择的图像之间的时间间隔是可变的,并且在执行期间,确定该时间间隔。
21.根据权利要求20所述的方法,其中所述时间间隔是处理一个或者多个先前采集图像所花费时间的函数。
22.根据权利要求21所述的方法,其中所述时间间隔是取决于一个或多个所述选择的多幅图像的图像内容的变化。
23.根据权利要求21所述的方法,其中应用可变尺寸人脸检测包括应用至少32个分类器的级联。
24.一种利用数字图像采集装置追踪图像流中的人脸的方法,包括:
a.从所述图像流接收采集图像,所述图像流包括一个或者多个人脸图区;
b.以指定的分辨率二次抽样所述采集图像,以提供二次抽样图像;
c.为所述二次抽样图像的至少一部分计算相应的积分图像;
d.对所述积分图像的至少一部分应用固定尺寸人脸检测,以提供一个或者多个候选人脸图区的一组候选人脸图区,每个候选人脸图区具有固定尺寸和相应位置,所述固定尺寸与指定的分辨率相关;
e.响应所述候选人脸图区和任意的先前确认的人脸图区的尺寸和相应位置,调整对下一幅采集图像进行二次抽样的分辨率;以及
f.以调整的分辨率重复步骤a至e,以及
其中所述步骤e包括:
将所述一组候选人脸图区与任意的先前确认的人脸图区合并,以提供合并的一组尺寸可以不同的候选人脸图区,
针对与所述合并的一组候选人脸图区的每个图区对应的所述采集图像的每个图区:
计算每个图区的积分图像;
针对所述每个图区的积分图像应用可变尺寸人脸检测,以提供一组确认人脸图区和一组拒绝人脸图区;以及
基于所述一组确认人脸图区的尺寸及其尺寸随时间变化来确定用于对下一幅采集图像进行二次抽样的分辨率;
所述方法进一步包括响应利用闪光灯捕获的所述采集图像,就红眼缺陷,分析对应于步骤e中经可变尺寸人脸检测后所提供的一组确认人脸图区的所述采集图像的图区。
25.根据权利要求24所述的方法,进一步包括在分析所述采集图像的图区之后,校正所述采集图像中的红眼缺陷。
26.根据权利要求24所述的方法,进一步包括在分析所述采集图像的图区之后,与所述采集图像一起存储红眼缺陷的标识。
27.一种利用数字图像采集装置在图像流中追踪人脸的图像处理设备,该图像处理设备包括:
a.用于从所述图像流接收采集图像的装置,所述图像流包括一个或者多个人脸图区;
b.用于以指定分辨率二次抽样所述采集图像,以提供二次抽样图像的装置;
c.用于为所述二次抽样图像的至少一部分计算相应积分图像的装置;
d.用于对所述积分图像的至少一部分应用固定尺寸人脸检测,以提供一个或者多个候选人脸图区的一组候选人脸图区的装置,每个候选人脸图区具有固定尺寸和相应位置,所述固定尺寸与指定的分辨率相关;以及
e.用于响应所述一组候选人脸图区和任意的先前确认的人脸图区的尺寸和相应位置,调整对下一幅采集图像进行二次抽样的分辨率的装置,以及
f.用于指示上述装置a-e以调整的分辨率重复各自的操作的装置,
其中所述装置e包括:
用于将所述一组候选人脸图区与任意的先前确认的人脸图区合并,以提供合并的一组尺寸可以不同的候选人脸图区的装置;
针对与所述合并的一组候选人脸图区的每个图区对应的所述采集图像的每个图区:
用于计算每个图区的积分图像的装置;
用于针对所述每个图区的积分图像应用可变尺寸人脸检测,以提供一组确认人脸图区和一组拒绝人脸图区的装置;以及
用于基于所述一组确认人脸图区的尺寸及其尺寸随时间变化来确定用于对下一幅采集图像进行二次抽样的分辨率的装置。
28.根据权利要求27所述的设备,其中所述设备是数码照相机、摄像机、装备了捕像机构的蜂窝电话或者装备了内部或者外部照相机的手持式计算机,或者其组合。
29.一种利用数字图像采集装置识别图像流中的人脸的方法,包括:
a.提供数据库,该数据库包括对应多个要识别的人脸的每个人脸的识别符和相关参数;
b.从所述图像流接收采集图像,所述图像流包括一个或者多个人脸图区;
c.以指定的分辨率二次抽样所述采集图像,以提供二次抽样图像;
d.为所述二次抽样图像的至少一部分计算相应积分图像;
e.对所述积分图像的至少一部分应用固定尺寸人脸检测,以提供一个或者多个候选人脸图区的一组候选人脸图区,每个候选人脸图区具有固定尺寸和相应位置,所述固定尺寸与指定的分辨率相关;
f.利用所述数据库,对至少一个所述候选人脸图区应用人脸识别
g.为至少一个候选人脸图区内识别的每个人脸提供识别符;以及
h.与所述图像流中的至少一个采集图像相关,为每个识别的人脸存储识别符;以及其中步骤f包括基于所述人脸检测对每个候选人脸图区提供置信级,并且对具有置信级高于预定阈值的候选人脸图区应用人脸识别。
30.根据权利要求29所述的方法,进一步包括重复步骤b至h。
31.一种用于识别图像流中的人脸的图像处理设备,所述设备包括数据库,该数据库包括对应要识别的多个人脸的每个人脸的识别符和相关参数,该图像处理设备包括:
a.用于从所述图像流接收采集图像的装置,所述图像流包括一个或者多个人脸图区;
b.用于以指定的分辨率二次抽样所述采集图像,以提供第一二次抽样图像的装置;
c.用于为所述二次抽样图像的至少一部分计算相应积分图像的装置;
d.用于对所述积分图像的至少一部分应用固定人脸检测,以提供一个或多个候选人脸图区的一组候选人脸图区的装置,每个候选人脸图区具有固定尺寸和相应位置,所述固定尺寸与指定的分辨率相关;
e.用于利用所述数据库,对至少一个所述候选人脸图区应用人脸识别的装置;
g.用于为候选人脸图区内识别的人脸提供识别符的装置;以及
f.用于与所述图像流中的至少一个采集图像相关,为识别的人脸存储识别符的装置,以及
其中所述装置e包括用于基于所述人脸检测对每个候选人脸图区提供置信级,并且对具有置信级高于预定阈值的候选人脸图区应用人脸识别的装置。
32.一种利用数字图像采集装置检测图像流中人脸的方法,包括:
a.从所述图像流接收采集图像,所述图像流包括一个或者多个人脸图区;
b.以指定的分辨率二次抽样所述采集图像,以提供二次抽样图像;
c.鉴别所述采集图像包括皮肤色调的一个或者多个图区;
d.为所述二次抽样图像的至少一个皮肤色调图区计算相应积分图像;
e.对所述积分图像的至少一部分应用固定尺寸人脸检测,以提供一个或多个候选人脸图区的一组候选人脸图区,每个候选人脸图区具有固定尺寸和相应位置,所述固定尺寸与指定的分辨率相关;以及
其中在所述数字图像采集装置的人脸检测模式中,步骤a-e随着利用逐步升高的曝光参数采集的每个新采集图像而重复,直到检测到至少一个候选人脸图区。
33.根据权利要求32所述的方法,其中利用宽松的人脸检测参数,执行所述人脸检测。
34.根据权利要求32所述的方法,进一步包括:
对于与先前采集图像相关的候选人脸图区,增强新采集图像的相应图区的亮度特性的对比度
35.根据权利要求34所述的方法,其中在计算所述积分图像期间,执行所述增强。
36.根据权利要求34所述的方法,其中对所述二次抽样图像执行所述增强。
37.一种用于在图像流中检测人脸的图像处理设备,所述设备包括:
a.用于从所述图像流接收采集图像的装置,所述图像流包括一个或者多个人脸图区;
b.用于以指定分辨率二次抽样所述采集图像,以提供二次抽样图像的装置;
c.用于鉴别所述采集图像包括皮肤色调的一个或者多个图区的装置;
d.用于为所述二次抽样图像的皮肤色调图区的至少一个计算相应积分图像的装置;
以及
e.用于对所述积分图像的至少一部分应用固定尺寸人脸检测,以提供一组候选人脸图区的装置,每个候选人脸图区具有固定尺寸和相应位置,所述固定尺寸与指定的分辨率相关,以及
其中在所述图像处理设备的人脸检测模式中,利用逐步升高的曝光参数,采集将在装置a中使用的每个新采集图像,直到检测到至少一个候选人脸图区。

说明书全文

数字图像采集装置中的实时人脸追踪

[0001] 优先权
[0002] 本专利申请要求2006年8月11日提交的第11/464,083号美国专利申请的优先权,在此引用该专利申请供参考。

技术领域

[0003] 本发明提供了一种用于在采集装置中进行图像处理的改进型方法和设备。特别是,本发明提供了数字图像采集装置中的改进型实时人脸追踪。

背景技术

[0004] 数字图像采集装置中的人脸追踪描述了在一系列诸如视频流或者照相机预览的图像中标记人脸的方法。利用人脸追踪,可以对摄影者指出人脸在图像中的位置,改进采集参数,或者允许根据所知道的人脸位置,对该图像进行后处理。
[0005] 通常,人脸追踪系统采用两个基本模:(i)新候选人脸图区(candidate face region)在采集图像或者序列图像中的位置的检测模块;以及(ii)对于确认的人脸图区的追踪模块。
[0006] 授予violla-Jones的US 2002/0102024披露了众所周知的快速人脸检测算法。简言之,Violla-Jones首先由采集图像,通常是视频流中的图像,得到积分图像(integral image)。该图像中某点上方及其左侧的所有点的光强之和作为该积分图像的每个像元。然后,图像中任意子窗口的总光强,可以通过将该子窗口右下点的积分图像值减去该子窗口左上点的积分图像值求得。此外,利用子窗口各点的积分图像值的特定组合,可以有效比较相邻子窗口的光强。
[0007] 在Violla-Jones中,通过对该积分图像中的子窗口应用分类器,可以与积分图像一起使用基于矩形(并且逐渐精细的)Haar特征的一组(级联的)32个分类器。为了全面分析采集图像,在该积分图像上,增量位移该子窗口,直到整个图像被覆盖
[0008] 除了在整个积分图像上移动该子窗口外,还必须放大/缩小该子窗口,以覆盖人脸尺寸的可能范围。在Violla-Jones中,采用1.25的缩放比例系数,并且为了覆盖XVGA尺寸的图像中的可能人脸尺寸,通常要求大约10-12个不同比例的范围。
[0009] 因此,看得出,利用最小尺寸分类器子窗口,即,待检测的最小尺寸人脸,可以确定该积分图像的分辨率,因为较大尺寸的子窗口可以利用该积分图像内的中间点进行其计算。
[0010] 关于原始Violla-Jones算法的许多变型请查阅该文献。这些变型通常采用矩形Haar特征分类器并且采用Violla-Jones积分图像技术。
[0011] 即使Violla-Jones比其他人脸检测器快得多,但是它仍需要大量计算,并且在奔腾级计算机上,差不多可以实现实时性能。在诸如手持式图像采集装置(例子包括数字照相机、手持式计算机或者装备了照相机的蜂窝电话)的资源有限的嵌入式系统中,对视频以实时帧频运行这种人脸检测器是不现实的。根据在典型数字照相机中所作的测试,只能实现利用3-4个分类器级联完全达到所有10-12个子窗口比例。这样可以实现某种级别的初级人脸检测,但是其误检率高得不可接受。
[0012] 授予Rui等人的US 2005/0147278描述了一种利用多种线索自动检测和追踪多个人的系统。Rui披露了将violla-Jones用作快速人脸检测器。然而,Rui为了避免Violla-Jones的处理开销而披露了使用自动初始化模块,它利用动作、声音和快速人脸检测来检测视频序列帧中的新人脸。该系统的其余部分采用众所周知的人脸追踪方法逐帧追踪现有的或者新发现的候选人脸图区。还请注意,Rui要求顺序丢下某些视频帧(video frame),以运行完整的人脸检测。

发明内容

[0013] 根据本发明的第一方面,提供了一种根据权利要求1所述的方法。
[0014] 本发明的第一方面避免对图像流中的每个采集图像计算全最高分辨率积分图像的需要,因此,可以将人脸追踪系统所需的积分图像计算降低到最小。这将人脸检测和追踪的处理开销降低到最小,或者允许在逐帧处理间隔中使用更长的分类器链,从而实现较高质量结果。这可以显著提高实时人脸检测和追踪的性能和/或者准确性。
[0015] 在该优选实施例中,当在人脸检测期间在图像采集装置中实施本发明时,从照相机硬件图像采集子系统提取采集图像的二次抽样拷贝,然后,对该二次抽样图像计算积分图像。在人脸追踪期间,仅对包围每个候选图区的像斑,分别计算积分图像。
[0016] 在这种实施中,人脸检测处理扩展到多个帧。该方法有利于有效实施。在一个例子中,数字图像采集硬件仅用于对单个尺寸进行二次抽样。本发明利用了,在创作图片时人脸通常出现在视频序列的多个帧中的事实。本发明在显著提高效率的同时,减少了计算而不显著影响人脸的初始检测。
[0017] 在该优选实施例中,循环利用3至4个最小尺寸(最低分辨率)的二次抽样图像。在某些情况下,诸如当照相机的焦距设置到无穷远时,可以将较大图像的二次抽样包括在该循环中,因为在(各)采集图像中可能存在较小(远方)人脸。在又一个实施例中,可以根据基于到被摄体的估计距离估计的可能人脸尺寸,改变二次抽样图像的数量。可以根据焦距和聚焦距离估计该距离,可以从成像电器固件内的其它子系统获得这些采集参数。
[0018] 通过改变还要用于产生积分图像的二次抽样图像的分辨率和比例,可以对不同尺寸的积分图像应用单个固定尺寸的分类器。这种方法特别适合硬件实施例,其中可以由固定尺寸的直接存储器存取(DMA)窗口扫描二次抽样图像存储空间,并且将可以实现Haar特征分类器链的数字逻辑应用于该DMA窗日。然而,可以看出,也可以采用几种尺寸的分类器(在软件实施例中)或者多个固定尺寸的分类器(在硬件实施例中)。
[0019] 本发明该方面的关键优点是,在帧与帧之间,只需计算最低分辨率的积分图像。
[0020] 优选地,在采集下一幅图像帧之前,采集包围每个候选人脸图区的高分辨率像斑。然后,对每个这种像斑,计算积分图像,并且对每个这种像斑应用多种比例人脸检测器(multi-Scaled face detector)。由多种比例人脸检测器发现为人脸图区的图区被称为确认人脸图区。
[0021] 本发明的第一方面不需要Rui中描述的运动和声频队列,并且在数字照相机中显明可以实现更鲁棒的人脸检测和追踪。
[0022] 在本发明的第二方面,提供了一种权利要求31所述的方法。
[0023] 根据该方面,当人脸追踪从图像流中检测到人脸图区时,采集装置固件利用优选存储在采集装置上、包括个人识别符及其相关人脸参数的数据库,对人脸的该位置,运行人脸识别算法。
[0024] 本发明的该方面缓解了,采用单个图像进行人脸检测和识别的算法正确执行概率较低的问题。
[0025] 在本发明的第三方面,提供了一种根据权利要求36所述的方法。
[0026] 根据该方面,该采集装置包括用于指出采集图像中的人脸的可能取向的取向传感器。将确定的照相机取向馈送到人脸检测处理,然后,人脸检测处理仅需要对可能的人脸取向应用人脸检测。这提高了处理要求和/或者人脸检测精确性。
[0027] 在本发明的第四方面,提供了一种根据权利要求41所述的方法。
[0028] 本发明的该方面,通过使用运动传感器子系统对人脸追踪模块指出在人脸追踪序列中采集装置的大运动,提高了人脸追踪模块的性能。
[0029] 在没有这种传感器的情况下,如果用户突然移动采集装置,而非对着景物缓慢移动采集装置,则视频序列下一帧中的候选人脸图区会位移到超过先前视频帧上紧邻的相应候选图区,并且该人脸追踪模块不能追踪要求再检测该候选图区的人脸。
[0030] 在本发明的第五方面,提供了一种根据权利要求50所述的方法。
[0031] 通过仅对主要包括皮肤色调的图区运行人脸检测器,可以采用更宽松的人脸检测,因为这些皮肤色调图区事实上的确含有人脸的概率较高。因此,与要求主动检测人脸的较严格人脸检测相比,对于对整个图像执行人脸检测,采用较快人脸检测可以更有效地提供相同质量的结果。附图说明
[0032] 现在,作为例子,将参考附图描述本发明实施例,附图中:
[0033] 图1是示出根据本发明优选实施例的图像处理设备的主要部件的方框图
[0034] 图2是示出图1所示图像处理设备的操作的流程图;以及
[0035] 图3(a)至(d)示出由该优选实施例设备处理的图像的例子。

具体实施方式

[0036] 图1示出根据本发明优选实施例的人脸追踪系统的初级子系统。实线表示图像数据流,虚线表示控制输入或者来自模块的信息输出(例如,被检测人脸的(多个)位置)。在该例中,图像处理设备可以是数码照相机(digital still camera)(DSC)、摄像机、装备了捕像机构的蜂窝电话或者装备了内部或者外部照相机的手持式计算机。
[0037] 以原始格式从图像传感器(CCD或者CMOS)[105]采集数字图像,然后,图像二次抽样器(image subsampler)[112]产生主图像的较小拷贝。为了对图像进行二次抽样(subsampling),大多数数字照相机已经含有专用硬件子系统,例如,对照相机显示器提供预览图像。通常,以位映像格式(RGB或者YCC)提供二次抽样图像。同时,标准图像采集链对通常具有某个亮度或者色平衡的原始图像[110]进行后处理。在特定数字成像系统中,可以在这种后处理之后,也可以在应用了特定后处理滤波器之后,但在整个后处理滤波器链结束之前,进行该二次抽样。
[0038] 接着,该二次抽样图像被送到积分图像发生器(integral image generator)[115],该积分图像发生器由该二次抽样图像产生积分图像(integral image)。接着,该积分图像被送到固定尺寸人脸检测器[120]。对整个积分图像应用人脸检测器,但是因为这是主图像的二次抽样拷贝的积分图像,所以由该人脸检测器要求的处理要按比例减少。如果该二次抽样是主图像的1/4,则这意味着,要求的处理时间仅是对全幅图像进行处理所需时间的25%。
[0039] 在二次抽样图像存储空间可以由固定尺寸DMA窗口进行扫描以及实现Haar特征分类器链的数字逻辑可以应用于该DMA窗口的硬件实施例中,这种方法尤其适合。然而,我们不排除使用几种尺寸的分类器(在软件实施例中),也不排除使用多个固定尺寸的分类器(在硬件实施例中)。关键优点是,计算较小的积分图像。
[0040] 应用了快速人脸检测器[280]后,可以将新检测到的任意候选人脸图区[141]送到人脸追踪模块[111],在该人脸追踪模块,将根据先前分析[145]确认的任意人脸图区与新候选人脸图区合并,然后,将其送到[142]候选图区跟踪器[290]。
[0041] 候选图区跟踪器[290]将一组确认的候选图区[143]送回追踪模块[111],后面将解释候选图区跟踪器[290]。由追踪模块[111],附加图像处理滤波器被应用于或者确认这些确认的图区[143]是人脸图区,或者如果它们未被候选图区跟踪器[290]如此确认,则保持图区作为候选图区。该模块[111]可以输出最终一组人脸图区[145],以便既可以用于人脸追踪的下一次迭代,又可以供照相机内的其他位置使用,或者为了之后在照相机内进行处理或者脱机进行处理而存储在其内或者与采集图像相关进行存储。
[0042] 该主图像采集链结束后,该主图像的原尺寸拷贝[130]通常常驻在图像采集系统的系统内存[140]中。候选图区跟踪器[290]的候选图区提取器[125]部件可以访问该系统内存,它根据从人脸追踪模块[111]获得的候选人脸图区数据[142]选择像斑。每个候选图区的这些像斑均被送到积分图像发生器[115],积分图像发生器[115]将获得的积分图像送到可变尺寸检测器[121],VJ检测器作为可变尺寸检测器[121]的一个可能的例子,然后,它对不同比例范围内的每个候选图区的积分图像应用分类器链,优选至少32个分类器链。
[0043] 人脸检测器[121]所采用的比例范围[144],由人脸追踪模块[111]确定并提供,而且部分地基于涉及当前候选人脸图区[142]历史的统计信息,并且部分地基于由图像采集系统内的其它子系统确定的外部元数据。
[0044] 作为前者的例子,如果候选人脸图区对于某个数量的采集图像帧,一致地保持在特定尺寸上,则人脸检测器[121]仅需要应用在此特定比例,并且或许应用在一个较大比例(即,大1.25倍)和一个较小比例(即,小1.25倍)上。
[0045] 作为后者的例子,如果图像采集系统的焦点已经移动到无穷远,则需要在人脸检测器[121]中应用最小缩放比例。通常,不会采用这样的缩放比例,因为要完全覆盖候选人脸图区,就必须更多次数地对候选人脸图区应用这样的缩放比例。值得注意的是,候选人脸图区具有不会再减小的最小尺寸-这是为了考虑到用户在两帧间使照相机发生局部运动。在某些包括运动传感器的图像采集系统中,可以追踪这种局部运动,并且可以利用该信息进一步改善比例选择和候选图区的尺寸。
[0046] 候选图区跟踪器[290]将基于像斑的原可变尺寸人脸检测的一组确认的人脸图区[143]送到人脸追踪模块[111]。显然,某些候选图区将被确认,而其它候选图区将被拒绝,并且这些候选图区可以由候选图区跟踪器[290]明确地返回,或者通过分析确认图区[143]与候选图区[142]之间的差别,可以由追踪模块[111]计算这些候选图区。然后,在这两种情况下,人脸追踪模块[111]可以对被候选图区跟踪器[290]拒绝的候选图区(下面作说明)进行交替测试,以确定这些候选图区在下一个追踪周期是否仍保留为候选图区[142],或者确定是否确实应该排除追踪这些候选图区。
[0047] 一旦由人脸追踪模块[111]确定了一组确认候选图区[145],该模块[111]就可以与二次抽样器[112]通信,以确定何时对下一幅采集图像进行二次抽样并将它送到检测器[280],并且还提供以其二次抽样下一幅采集图像的分辨率[146]。
[0048] 可以看出,如果当采集下一幅图像时检测器[280]不工作,则送到提取器[125]的下一幅采集图像的候选图区[142],就是由追踪模块[111]从最后一幅采集图像中确认的图区[145]。另一方面,当人脸检测器[280]将一组新候选图区[141]送到人脸追踪模块[111]时,这些候选图区与先前一组确认图区[145]合并,以对于下一幅采集图像,将这组候选图区[142]送到提取器[125]。
[0049] 图2更详细地示出主流程图。该过程被划分为(i)检测/初始化阶段,利用对全幅图像的二次抽样图工作的快速人脸检测器[280],发现新候选人脸图区[141];(ii)二次人脸检测过程[290],它对提取的该候选图区[142]的像斑工作,根据人脸在先前采集的一幅或者多幅图像帧中的位置,确定该二次人脸检测过程;以及(iii)主追踪过程,计算并存储确认人脸图区[143]的统计史。尽管我们示出了在应用候选图区跟踪器[290]之前应用快速人脸检测器[280],但是该顺序并不是严格的,并且不需要对每帧执行快速检测,或者在特定环境下,可以对多帧进行快速检测。
[0050] 因此,如结合图1所作的描述,在步骤205,采集主图像,而在步骤210,对该主图像进行初级图像处理。由二次抽样器[112]产生二次抽样图像,然后,由发生器[115]从其产生积分图像,步骤211如前所述。在步骤220,该积分图像被送到固定尺寸人脸检测器[120],然后,固定尺寸窗口将该积分图像中的一组候选人脸图区[141]送到人脸追踪模块。利用人脸追踪模块对二次抽样器指定的二次抽样比例[146],确定这些图区的尺寸,并且该二次抽样比例既基于诸如照相机聚焦和运动的其它输入,又基于检测器[280]对先前二次抽样图像/积分图像所作的分析以及候选图区跟踪器[290]追踪得到的先前采集图像上的区斑。
[0051] 在步骤242,这组候选图区[141]与这组现有确认图区[145]合并,从而产生提供确认的一组合并候选图区[142]。
[0052] 在步骤225,对于人脸追踪模块111指定的候选图区[142],候选图区提取器[125]从采集图像中提取相应高分辨率区斑。在步骤230,对于提取的每个区斑,产生积分图像,然后,人脸检测器121对每个这种积分图像应用可变尺寸人脸检测,例如,全Violla-Jones分析。接着,在步骤240,将这些结果[143]反馈到人脸追踪模块[111]。
[0053] 追踪模块[111]进一步处理这些图区[143],然后,输出一组确认图区[145]。在这方面,在步骤245,模块111或者对候选图区跟踪器[290]确认的图区[143],或者对可能未被候选图区跟踪器[290]确认的或未被检测器[280]采集到的残留候选图区,应用附加滤波。
[0054] 例如,如果通过一系列采集图像对人脸图区进行追踪,然后丢失了,则该模块[111]可以对该图区应用皮肤原型(skin prototype),以检查面向照相机的被摄体是否刚好背转过去。如果是这样,则可以保持该候选图区,用以检查下一幅采集图像,从而检验该被摄体是否转回面向照相机。
[0055] 在步骤250,根据在任意给定时间保持的确认图区的尺寸及其尺寸随时间变化,例如,它们是变大了还是变小了,模块111确定用于二次抽样下一幅将由检测器[280]分析的采集图像的比例,并且,将该比例送到二次抽样器[112]。
[0056] 可以看出,快速人脸检测器[280]通常不需要对每个采集图像进行工作。因此,例如,如果仅一个二次抽样图像资源可用,则如果照相机每秒采集60帧,可以要求将每秒15至25幅二次抽样帧(fps)送到照相机显示器,供用户预览。显然,需要以相同的比例和可以显示的足够高分辨率,对这些图像进行几次抽样。某些或者全部剩余的34-45fps可以以追踪模块[111]要求的比例进行抽样,以进行人脸检测和追踪。
[0057] 对依据从流中选择图像的周期所作的判定,可以基于固定数量,或者作为选择,也可以是运行时间可变的。在这种情况下,根据对先前图像花费的处理时间,可以确定对下一幅抽样图像所作的判定,以使捕获的实时流和人脸追踪处理保持同步。由此,在复杂图像环境下,可以降低抽样率。
[0058] 作为一种选择,也可以根据对选择图像内容所作的处理,对下一个抽样进行判定。如果该图像流没有显著变化,则不需要执行全人脸追踪处理。在这种情况下,尽管该抽样率可以是常数,该图像仍需进行简单图像比较,并且仅当判定存在合理差别时,才开始执行人脸追踪算法。
[0059] 还需注意,人脸检测器[280]不需要以固定间隔运行。因此,例如,如果照相机聚焦发生显著变化,则人脸检测器可能需要更频繁并且尤其需要以二次抽样图像的不同比例运行,以尝试检测会有尺寸变化的人脸。作为一种选择,如果聚焦迅速发生变化,则对于中间帧,可以跳过检测器[280],直到聚焦稳定下来。然而,仅当聚焦到无穷远时,才必须由发生器[115]产生最高分辨率的积分图像。
[0060] 在此后者情况下,检测器也许不能覆盖单帧上的二次抽样采集图像。因此,可以仅对第一帧上的部分二次抽样采集图像以及在后续采集图像帧上该图像的(各)剩余部分应用该检测器。在优选实施例中,可以在第一采集图像帧上对该采集图像的外部图区应用该检测器,以捕获从其外围进入该图像以及在后续帧进入该图像的更中心图区的小人脸。
[0061] 限制对其应用人脸检测器120的图像区域的替代方式包括,识别包括皮肤色调的图像区域。US6,661,907披露这样一种技术,用于检测皮肤色调,随后,仅在具有支配皮肤颜色的图区内应用人脸检测。
[0062] 在本发明的一个实施例中,优选对二次抽样的该采集图像应用皮肤分割(skin segment)190。如果二次抽样采集图像的分辨率不够高,则只要存储在图像存储器150内的先前图像或者下一幅二次抽样图像的内容与当前采集图像不太不同,就可以使用这两幅图像。作为一种选择,可以对原尺寸视频图像130应用皮肤分割190。
[0063] 总之,利用定界矩形,识别含有皮肤色调的图区,并且将这些定界矩形送到积分图像发生器115,该积分图像发生器115以与追踪器积分图像发生器115类似的方式产生对应于该矩形的积分像斑。
[0064] 该方法不仅降低与产生积分图像和执行人脸检测相关的处理开销,而且在本实施例中,当这些皮肤色调图区事实上的确包含人脸的可能性较高时,它还允许人脸检测器120对定界矩形应用更宽松的人脸检测。因此,对于VJ检测器120,可以采用较短的分类器链,从而与主动检测人脸所需的较长VJ分类器相比,对于整个图像进行人脸检测,可以更有效地提供相同质量的结果。
[0065] 还可以对人脸检测做进一步改进。例如,已经发现,人脸检测非常依赖于照明条件,并且,非常小的亮度变化可能导致人脸检测失败,导致检测状态有些不稳定。
[0066] 在本实施例中,利用确认的人脸图区145识别后续采集的二次抽样图像的图区,应该对该图像进行亮度校正,以使要分析的图像的感兴趣图区具有要求的参数。这种校正的一个例子是,改善由确认的人脸图区145限定的二次抽样图像的图区内的亮度对比度
[0067] 对比度增强是众所周知的,并且通常被用于提高图像的局部对比度,当由近似对比度值表示该图像的可用数据时,尤其如此。通过这样调整,图区各像素的光强,当以直方图表示时,可以更好分布,否则,它们是紧密分布的。这允许较低局部对比度的区域,不影响整体对比度,就可获得较高对比度。通过有效分散最频繁出现的光强值,直方图均衡可以实现这种情况。
[0068] 在其背景和前景都亮或者都暗的图像中,这种方法是有用的。特别是,在过曝光或者欠曝光的照片上,这种方法可以产生较好的细节。
[0069] 作为一种选择,在发生器115中对“调整”的积分图像的计算中可以包括该亮度校正。
[0070] 在另一种改进中,当采用人脸检测时,设置照相机应用程序,将曝光从计算的默认值动态修改为较高值(逐帧进行,使景物稍许过曝光),直到人脸检测定人脸。
[0071] 在个别实施例中,仅对图像之间实质上不同的图区应用人脸检测器120。请注意,在为了改变内容而对两个抽样图像进行比较之前,需要执行图像配准过程,以去除诸如变焦、摇动以及俯仰的照相机运动导致的照相机内转变的可变性。
[0072] 可以看出,可以从照相机固件获得变焦信息,并且也可以利用用于分析照相机内存140或者图像存储器150中的图像的软件技术,确定照相机从一幅图像到另一幅图像的摇动或者俯仰的程度。
[0073] 然而,在本发明的一个实施例中,如图1所示,采集装置设置了运动传感器180,以确定从一幅图像到另一幅图像的摇动程度和摇动方向,从而避免以软件确定照相机运动所需的处理。
[0074] 许多数字照相机已经开始插入这种运动传感器,主要目的是为了对主图像捕获期间手的震动进行报警或者补偿,这种运动传感器通常基于加速度表,但是也可以选择基于回转原理。授予Murakoshi的US 4,448,510披露了这样一种用于传统照相机的系统,而授予Molgaard的US 6,747,690披露了应用于现代数字照相机内的加速度表传感器。
[0075] 如果运动传感器插入照相机内,对于围绕光轴的微小运动,它通常会被优化。典型的加速度表插入了根据检测到的加速度产生信号的感测模块和用于确定可以有效测量的加速度范围的放大器模块。现代加速度表允许软件控制放大器级,这样可以调节灵敏度。
[0076] 利用将插入下一代消费类照相机或者照相手机(camera-phone)内的这种MEMS传感器,同样可以实现运动传感器180。
[0077] 总之,当照相机可以在人脸追踪模式下工作时,即,与采集主图像不同的恒定视频采集,因为图像质量较低,通常不采用震动补偿。通过将运动传感器放大器模块设置为低增益,这样为配置运动传感器180,从而感测较大运动提供了机会。将传感器180检测到的运动距离和方向送到人脸追踪器111。已知被追踪人脸的大致尺寸,并且这样可以估计每张人脸与照相机的距离。因此,即使它们离开照相机的距离不同,由传感器180得知大运动的大致距离仍可以确定每个候选人脸的大致位移。
[0078] 因此,当检测到大运动时,人脸追踪器111使作为运动方向和距离的函数的候选图区的位置移位。作为一种选择,还可以作为运动方向和距离的函数,放大对其应用了追踪算法的图区的尺寸(并且,如果需要,可以降低追踪器的复杂性,从而对扫描较大图像区域进行补偿)。
[0079] 当为了捕获主图像而开启照相机时,或者当它因为任意其它原因而处于人脸追踪模式时,运动传感器180的放大器增益返回标准增益,这样允许原尺寸图像的主图像采集链105,110采用基于来自运动传感器180的信息的标准震动补偿算法。
[0080] 在变换实施例中,通过独立线路(separate pipe)可以馈送照相机显示器的二次抽样预览图像,而不将该图像馈送到图像二次抽样器[112]以及不由该图像二次抽样器[112]提供该图像,因此,不仅对于照相机显示器,而且对于检测器[280],每幅采集图像及其二次抽样拷贝均是可用的。
[0081] 除了周期性地从视频流采集抽样,还可以对数字照相机采集的单幅静止图像执行该处理。在这种情况下,人脸追踪流包括预览图像流,并且该系列中的最终图像是高清晰度采集图像。在这种情况下,可以以与图2中描述的方式相同的方式,对该最终图像验证人脸追踪信息。此外,可以与该最终图像一起存储诸如人脸的坐标或者面型(mask)的信息。例如,这种数据可以适合作为所保存的图像标题的入口,供将来无论在采集装置中还是在后面阶段由外部装置做后处理。
[0082] 现在回到图3,图3通过工作例子示出优选实施例的操作。图3:(a)示出对视频帧执行的检测与追踪周期结束时的结果;示出了两个不同比例的确认人脸图区[301,302]。在本实施例中,由于现实原因,每个人脸图区都具有矩形定界框,因为对矩形图区进行计算更容易。由图1所示的追踪模块[111],记录该信息并如[145]输出该信息。
[0083] 根据人脸图区[301,302]的历史,该追踪模块[111]利用具有提供的积分图像以及相应分析的人脸图区[301]尺寸的分类器窗口,判定执行快速人脸追踪。
[0084] 图3(b)示出视频序列中下一帧被捕获并对该新图像应用了快速人脸检测器后的情况。两幅人脸都发生移动[311,312],并且均相对于先前人脸图区[301,302]被示出。出现第三幅人脸图区[303],并且快速人脸检测器[303]己经检测到它。此外,该快速人脸检测器还发现两个先前确认人脸[304]中较小的一个,因为对于该快速人脸检测器,它处于正确比例。将图区[303]和[304]作为候选图区[141]送到追踪模块[111]。该追踪模块将该新候选图区信息[141]与包括图区[301]、[302]的先前确认图区信息[145]合并,以将一组包括图区[303]、[304]和[302]的候选图区送到候选图区跟踪器[290]。该追踪模块[111]知道检测器[280]没有检测到图区[302]。这可能是因为,人脸不是消失、就是保持检测器[280]不能检测到的尺寸,要不就是其尺寸变化为检测器[280]明不能检测到的尺寸。因此,对于该图区,模块[111]将指定图3(c)中包围图区[302]的大区斑(large patch)[305]由候选图区跟踪器[290]进行校验。只是用于界定新检测到的人脸候选对象的图区[303]需要由候选图区跟踪器[290]进行校验,然而,由于人脸[301]在移动,因此对候选图区跟踪器[290]指定包围该图区的较大区斑[306]。
[0085] 图3(c)示出候选图区提取器对该图像操作后的情况;从高清晰度图像[130]中,不仅提取新图区[303],而且提取包围先前视频帧中的确认人脸图区[301,302]的候选图区[306,305];由人脸追踪模式[111]计算的这些候选图区的尺寸,部分地基于与当前人脸候选对象的历史相关的统计信息,并且部分地基于图像采集系统内的其它子系统确定的外部元数据。现在,将这些提取的候选图区送到在某个比例范围对候选图区应用VJ人脸检测器的可变尺寸人脸检测器[121]中;然后,将任意确认人脸图区的位置送回人脸追踪模式[111]。
[0086] 图3(d)示出在人脸追踪模块[111]将来自快速人脸检测器[280]和候选图区跟踪器[290]的结果合并、并且对确认人脸图区应用各种确认滤波器后的状况。在区斑[305,306,303]内检测到3个确认人脸图区[307,305,309]。最大图区[307]是已知的,但已经从先前视频帧中移动,并且对该人脸图区的历史附加相应数据;快速人脸检测器还检测到已经移动的其它先前已知图区[308],这用作双确认,并且将这些数据附加到其历史中。最后,检测并确认新人脸图区[303],并且对于该新检测到的人脸,必须初始化新人脸图区历史。利用这三个人脸图区,为下一个周期提供一组确认人脸图区[145]。
[0087] 可以看出,可以对人脸追踪模块提供的图区145进行许多处理。例如,每个图区[145]的定界框可以被叠放在照相机显示上,以指示照相机自动追踪在景物中检测到的(各)人脸。这可以用于改善各种预捕像参数。一个例子是确保人脸曝光良好的曝光。另一个例子是自动聚焦,通过确保将聚焦设置在检测到的人脸上,或者,实际调节其它捕像设置,在图像中最佳表现人脸。
[0088] 校正可以作为预处理调节的一部分执行。人脸追踪位置也可以用于后处理,并且尤其可以用于可以增强具有人脸的图区的选择性后处理。这样的例子包括:锐化、增强、饱和、增亮或者提高局部对比度。也可以对没有人脸的图区应用使用人脸位置的预处理,例如,通过有选择地模糊、去饱和或者使变暗,降低其视觉重要性。
[0089] 如果要追踪几个人脸图区,则利用存在时间最长的人脸或者最大的人脸进行聚焦,并且可以使它原样增亮。此外,图区[145]可以用于限制例如在需要时对其执行红眼处理的区域。
[0090] 可以结合上面描述的简易人脸检测使用的其它后处理是人脸识别。特别是,当与在同一个装置上或者与在具有足够资源运行更大资源消耗算法的脱机装置上运行的较鲁棒人脸检测和人脸识别组合时,这种方法是有用的。
[0091] 在这种情况下,人脸追踪模块[111]优选与置信系数一起向照相机内的固件报告任意确认人脸图区[145]的位置。
[0092] 当某个图区的置信系数足够高,表示图像帧中实际上至少存在一个人脸时,照相机固件对该人脸位置运行简易人脸识别算法[160],例如,基于DCT的算法。人脸识别算法[160]采用优选存储在照相机上、包括个人识别符(personal identifier)及其相关人脸参数的数据库[161]。
[0093] 在运行过程中,模块[160]对一系列帧采集识别符。当大量预览帧上检测到的被追踪人脸的识别符明显是一个特定人时,该识别模块就认为该人出现在该图像中。将该人的识别符以及最后得知的该人脸的位置存储在该图像中(标题中),或者存储在被存储在照相机存储器[150]内的单独文件中。即使当识别模块[160]不能用于紧接在前的帧数,而模块[111]仍可以检测并追踪它们的人脸图区时,仍可以这样存储该人的识别符。
[0094] 当将图像从照相机存储器复制到显示器或者诸如PC(未示出)的永久存储器件时,该人的识别符与该图像一起被复制。这种装置通常更有能运行更鲁棒的人脸检测和识别算法,然后,将该结果与来自照相机的识别结果组合,对由鲁棒人脸识别得到的识别结果(如果存在)赋予更高权重。对用户显示该组合鉴别结果,或者如果不能鉴别,则要求用户键入所发现的该人的名称。当用户拒绝该鉴别,或者键入了新名称时,PC再训练其面纹(face print)数据库,并将适当的变更下载到捕像装置,存储在简便数据库[161]中。
[0095] 可以看出,当检测到多个确认人脸图区[145]时,该识别模块[160]可以检测和识别该图像中的多个人。
[0096] 可以在照相机中引入一种模式,即,照相机在人们被识别之前或者在清楚人们不存在于面纹数据库(face print database)内之前不拍照,或者作为一种选择,当人们被识别时显示适当指示符。这样可以可靠鉴别图像中的人。
[0097] 本系统的该方面解决了,采用单个图像进行人脸检测和识别的算法可能具有较低正确执行概率的问题。在一个例子中,为了识别,如果未在某个严格限度内对准该人脸,则不能精确地识别该人。为此目的,该方法使用一系列预览帧,因为可以预期,当可以利用稍许不同抽样的更多变化时,可以实现可靠人脸识别。
[0098] 进一步提高上面所描述系统的效率是可能的。例如,传统的人脸检测算法通常采用方法或者使用分类器,在图片中检测具有不同取向:0度、90度、180度和270度的人脸。
[0099] 根据本发明的又一个方面,照相机装备了取向传感器170,如图1所示。它可以包括硬件传感器,用于确定照相机是直立的、倒置的还是顺时针或者逆时针俯仰的。作为一种选择,该取向传感器可以包括图像分析模块,它或者连接到图像采集硬件105,110,或者连接到照相机内存140或者图像存储器150,用于快速确定图像是以肖像模式采集的还是以景画模式采集的,以及照相机是顺时针还是逆时针俯仰的。
[0100] 一旦做了该决定,就可以将照相机取向馈送到人脸检测器120、121之一或者它们二者。然后,检测器仅需要根据由已确定的照相机取向采集的图像中的人脸的可能取向,应用人脸检测。本发明的该方面,例如,要么通过避免采用不可能检测人脸的分类器,显著降低人脸检测处理开销,要么通过运行更可能检测比较经常处于给定取向的人脸的分类器,提高其准确性。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈