眼镜检测系统及方法
阅读：464发布：2020-05-13
专利汇可以提供眼镜检测系统及方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种眼镜检测系统及方法，用于检测用户是否配戴眼镜，其中眼镜检测方法包括以下步骤：a. 图像采集 模 块 采集用户的人脸图像；b.半脸图像提取模块对输入该半脸图像提取模块的人脸图像进行处理，得到半脸图像，并将半脸图像分别存储到无眼镜半脸原始 数据库 和戴眼镜半脸原始数据库；c.半脸重建模块基于所述无眼镜半脸原始数据库进行主成分分析，得到半脸重建模型，并通过该半脸重建模型对半脸图像进行重建，将重建后的半脸图像分别存储到无眼镜半脸重建数据库和戴眼镜半脸重建数据库；d.眼镜判别模块基于对抗分类网络对数据库进行网络训练，得到眼镜判别模型；并通过该眼镜判别模型对输入的半脸图像是否戴眼镜的进行判别。，下面是眼镜检测系统及方法专利的具体信息内容。
1.一种眼镜检测系统，用于检测用户是否配戴眼镜，其特征在于包括：
图像采集模块，用于采集人脸图像；
半脸图像提取模块，对输入该半脸图像提取模块的人脸图像进行处理，得到半脸图像，其中，不戴眼镜的半脸图像存储到无眼镜半脸原始数据库，戴眼镜的半脸图像存储到戴眼镜半脸原始数据库；
半脸重建模块，基于所述无眼镜半脸原始数据库中的不戴眼镜的半脸图像进行主成分分析（PCA），得到半脸重建模型，并通过半脸重建模型对半脸图像进行重建，其中，不戴眼镜的半脸图像重建后存储到无眼镜半脸重建数据库，戴眼镜的半脸图像重建后存储到戴眼镜半脸重建数据库；
眼镜判别模块，基于对抗分类网络对所述无眼镜半脸原始数据库、戴眼镜半脸原始数据库、无眼镜半脸重建数据库、戴眼镜半脸重建数据库的半脸图像进行网络训练，得到眼镜判别模型；并通过眼镜判别模型对半脸图像进行是否戴眼镜的判别。
2.根据权利要求1所述的一种眼镜检测系统，其特征在于：还包括一数据更新模块，所述数据更新模块根据眼镜判别模块的判别结果对无眼镜半脸原始数据库、戴眼镜半脸原始数据库进行更新。
3.一种眼镜检测方法，用于检测用户是否配戴眼镜，其特征在于包括以下步骤：
a. 图像采集模块采集用户的人脸图像；
b. 半脸图像提取模块对输入该半脸图像提取模块的人脸图像进行处理，得到半脸图像，并将不戴眼镜的半脸图像存储到无眼镜半脸原始数据库，将戴眼镜的半脸图像存储到戴眼镜半脸原始数据库；
c. 半脸重建模块基于所述无眼镜半脸原始数据库中的不戴眼镜的半脸图像进行主成分分析（PCA），得到半脸重建模型，并通过该半脸重建模型对半脸图像进行重建，将不戴眼镜的半脸图像重建后存储到无眼镜半脸重建数据库，戴眼镜的半脸图像重建后存储到戴眼镜半脸重建数据库；
d. 眼镜判别模块基于对抗分类网络对所述无眼镜半脸原始数据库、戴眼镜半脸原始数据库、无眼镜半脸重建数据库、戴眼镜半脸重建数据库的半脸图像进行网络训练，得到眼镜判别模型；并通过该眼镜判别模型对输入的半脸图像是否戴眼镜的进行判别。
4.根据权利要求3所述的眼镜检测方法，其特征在于，所述半脸重建模块包括第一学习模块和重建模块，步骤c进一步包括：
第一学习模块基于所述无眼镜半脸原始数据库中的不戴眼镜的半脸图像进行主成分分析（PCA），得到半脸重建模型，并将该半脸重建模型发布到重建模块中；
重建模块通过所述半脸重建模型对半脸图像进行重建，并将不戴眼镜的半脸图像重建后存储到无眼镜半脸重建数据库，戴眼镜的半脸图像重建后存储到戴眼镜半脸重建数据库。
5.根据权利要求3所述的眼镜检测方法，其特征在于，所述眼镜判别模块包括第二学习模块和判别模块，步骤d进一步包括：
第二学习模块基于对抗分类网络对所述无眼镜半脸原始数据库、戴眼镜半脸原始数据库、无眼镜半脸重建数据库、戴眼镜半脸重建数据库的半脸图像进行网络训练，得到眼镜判别模型，并将该眼镜判别模型发布到判别模块中；
判别模块通过所述眼镜判别模型对输入的半脸图像是否戴眼镜进行判别。
6.根据权利要求3所述的眼镜检测方法，其特征在于，还包括步骤e：
数据更新模块根据眼镜判别模块的判别结果对无眼镜半脸原始数据库、戴眼镜半脸原始数据库进行更新。
7.根据权利要求3所述的眼镜检测方法，其特征在于，所述半脸图像提取模块包括检测模块、矫正模块以及归一化模块，步骤b进一步包括：
检测模块在输入的人脸图像中检测人脸，并检测人脸关键点所在的位置；
矫正模块将检测模块检测到的人脸关键点与归一化的标准人脸模型进行对比，基于对比信息利用透视变换对人脸图像中的人脸进行矫正，形成标准人脸图像，并将检测模块检测到的人脸关键点映射到矫正好的标准人脸图像上；
归一化模块根据映射到矫正好的标准人脸图像上的人脸关键点的位置坐标将半脸部位的图像剪切出来并归一化到固定尺寸，形成半脸图像，其中，不戴眼镜的半脸图像存储到无眼镜半脸原始数据库，戴眼镜的半脸图像存储到戴眼镜半脸原始数据库。
8.根据权利要求3所述的眼镜检测方法，其特征在于：半脸图像是人脸图像中上至眉峰，下至鼻横隔下缘，左至左眉尾，右至右眉尾的区域。
9.根据权利要求5所述的眼镜检测方法，其特征在于：第二学习模块用于训练一个对抗分类网络完成对样本的分类，对抗分类网络基于半脸图像与该半脸图像经过半脸重建模型形成的重建图像的差异特征完成对无眼镜半脸原始数据库、戴眼镜半脸原始数据库、无眼镜半脸重建数据库、戴眼镜半脸重建数据库中半脸图像的分类。
眼镜检测系统及方法
技术领域
背景技术
[0002] 由于近视人群数量庞大，且大多数都佩戴眼镜，在人脸识别时，眼镜的遮挡会影响人脸识别的精度；而在虹膜识别时，其影响更甚，因此目前健全的人脸识别技术和虹膜识别技术通常都要涉及到眼镜检测技术。虹膜识别设备多使用红外打光照亮虹膜区域，然后通过采集从虹膜反射回来的红外光成像。如果用户配带眼镜，镜片会对红外光产生强反射，那么捕捉到的虹膜图像将会严重的受到光斑干扰，表现为虹膜纹理冲淡或不可见。另外虹膜识别设备均采用高清红外探头，能清楚的捕捉到眼镜上的污迹，污迹会叠加在虹膜纹理上对虹膜图像形成污染。一旦被污染的虹膜图像被添加到注册列表，会出现两种风险：风险一，该注册用户在下一次识别时因不能与其注册虹膜模板匹配而被拒绝；风险二，由于注册虹膜模板中叠加了光斑和污迹，很有可能被其他相同条件下的虹膜攻击解锁，表现为注册用户A以另一位注册用户B的身份登录或非注册用户以注册用户身份登录。以上的风险是生物识别技术中严格要求规避的。规避以上风险的办法是通过眼镜检测技术，通知用户配合摘掉眼镜完成注册并且不允许戴眼镜的用户头像或虹膜图像混入用户注册数据库。在人脸或虹膜识别的过程中，很多开发者为了配合用户的体验度，允许用户戴眼镜识别，但是仍有被拒识的可能，此时通过眼镜检测技术提醒用户摘掉眼镜，对用户来说体验度会更好。
[0003] 目前眼镜检测技术主要是通过主成分分析的方法重建人脸图像，再获取原图像与重建图像的差值图像，并通过二值化差值图像的方法获得镜框。该方法的困难在于首先待检测的人脸图像有戴眼镜和不戴眼镜的差异，无论是否戴眼镜，其人脸图像与其重建图像间一定存在差异，而这种差异是源于眼镜还是人脸的差异性亦或是图像重建的误差很难确定，因而通过差值图像判断是否戴眼镜的干扰因素很多；其次眼镜有颜色差异（图像上表现为灰度的差异），黑框眼镜，白框眼镜与透明眼镜在图像上表现的灰度值分布有极大的差异，进而必将导致其差值图像极大的差异，那么稳定的二值化差值图像的阈值会非常难以确定，如果二值化的阈值过高很可能分割不出眼镜框而导致眼镜检测失败，如果二值化的阈值过低很可能分割出人脸上的其他纹理而误识为眼镜；因而不精确的阈值必将直接影响到眼镜检测的精度。从而该方法很难获得健壮的阈值来二值化眼镜框，判断眼镜框的存在。
发明内容
[0004] 本发明所要解决的技术问题是提供一种快速、有效的眼镜检测系统及方法，可以准确检测用户是否佩戴眼镜，提高人脸识别和虹膜识别的注册和识别效率。考虑到很多虹膜识别系统在应用中可能不能捕捉到完整的人脸图像，为了扩大眼镜检测系统的应用范围，本发明使用人脸半脸图像，即人脸中上至眉峰，下至鼻横隔下缘，左至左眉尾，右至右眉尾的区域。
[0005] 为实现上述技术效果，本发明公开了一种眼镜检测系统，用于检测用户是否配戴眼镜，其包括：图像采集模块，用于采集人脸图像；
半脸图像提取模块，对输入该半脸图像提取模块的人脸图像进行处理，得到半脸图像，其中，不戴眼镜的半脸图像存储到无眼镜半脸原始数据库，戴眼镜的半脸图像存储到戴眼镜半脸原始数据库；
半脸重建模块，基于所述无眼镜半脸原始数据库中的不戴眼镜的半脸图像进行主成分分析（PCA），得到半脸重建模型，并通过半脸重建模型对半脸图像进行重建，其中，不戴眼镜的半脸图像重建后存储到无眼镜半脸重建数据库，戴眼镜的半脸图像重建后存储到戴眼镜半脸重建数据库；
眼镜判别模块，基于对抗分类网络对所述无眼镜半脸原始数据库、戴眼镜半脸原始数据库、无眼镜半脸重建数据库、戴眼镜半脸重建数据库的半脸图像进行网络训练，得到眼镜判别模型；并通过眼镜判别模型对半脸图像进行是否戴眼镜的判别。
半脸图像提取模块，对输入该半脸图像提取模块的人脸图像进行处理，得到半脸图像，其中，不戴眼镜的半脸图像存储到无眼镜半脸原始数据库，戴眼镜的半脸图像存储到戴眼镜半脸原始数据库；
半脸重建模块，基于所述无眼镜半脸原始数据库中的不戴眼镜的半脸图像进行主成分分析（PCA），得到半脸重建模型，并通过半脸重建模型对半脸图像进行重建，其中，不戴眼镜的半脸图像重建后存储到无眼镜半脸重建数据库，戴眼镜的半脸图像重建后存储到戴眼镜半脸重建数据库；
眼镜判别模块，基于对抗分类网络对所述无眼镜半脸原始数据库、戴眼镜半脸原始数据库、无眼镜半脸重建数据库、戴眼镜半脸重建数据库的半脸图像进行网络训练，得到眼镜判别模型；并通过眼镜判别模型对半脸图像进行是否戴眼镜的判别。
[0006] 本发明眼镜检测系统的改进在于，还包括一数据更新模块，所述数据更新模块根据眼镜判别模块的判别结果对无眼镜半脸原始数据库、戴眼镜半脸原始数据库进行更新。
[0007] 本发明还公开有一种眼镜检测方法，用于检测用户是否配戴眼镜，其包括以下步骤：a. 图像采集模块采集用户的人脸图像；
b. 半脸图像提取模块对输入该半脸图像提取模块的人脸图像进行处理，得到半脸图像，并将不戴眼镜的半脸图像存储到无眼镜半脸原始数据库，将戴眼镜的半脸图像存储到戴眼镜半脸原始数据库；
c. 半脸重建模块基于所述无眼镜半脸原始数据库中的不戴眼镜的半脸图像进行主成分分析（PCA），得到半脸重建模型，并通过该半脸重建模型对半脸图像进行重建，将不戴眼镜的半脸图像重建后存储到无眼镜半脸重建数据库，戴眼镜的半脸图像重建后存储到戴眼镜半脸重建数据库；
d. 眼镜判别模块基于对抗分类网络对所述无眼镜半脸原始数据库、戴眼镜半脸原始数据库、无眼镜半脸重建数据库、戴眼镜半脸重建数据库的半脸图像进行网络训练，得到眼镜判别模型；并通过该眼镜判别模型对输入的半脸图像是否戴眼镜进行判别。
b. 半脸图像提取模块对输入该半脸图像提取模块的人脸图像进行处理，得到半脸图像，并将不戴眼镜的半脸图像存储到无眼镜半脸原始数据库，将戴眼镜的半脸图像存储到戴眼镜半脸原始数据库；
c. 半脸重建模块基于所述无眼镜半脸原始数据库中的不戴眼镜的半脸图像进行主成分分析（PCA），得到半脸重建模型，并通过该半脸重建模型对半脸图像进行重建，将不戴眼镜的半脸图像重建后存储到无眼镜半脸重建数据库，戴眼镜的半脸图像重建后存储到戴眼镜半脸重建数据库；
d. 眼镜判别模块基于对抗分类网络对所述无眼镜半脸原始数据库、戴眼镜半脸原始数据库、无眼镜半脸重建数据库、戴眼镜半脸重建数据库的半脸图像进行网络训练，得到眼镜判别模型；并通过该眼镜判别模型对输入的半脸图像是否戴眼镜进行判别。
[0008] 本发明眼镜检测方法的改进在于，所述半脸重建模块包括第一学习模块和重建模块，步骤c进一步包括：第一学习模块基于所述无眼镜半脸原始数据库中的不戴眼镜的半脸图像进行主成分分析（PCA），得到半脸重建模型，并将该半脸重建模型发布到重建模块中；
重建模块通过所述半脸重建模型对半脸图像进行重建，并将不戴眼镜的半脸图像重建后存储到无眼镜半脸重建数据库，戴眼镜的半脸图像重建后存储到戴眼镜半脸重建数据库。
重建模块通过所述半脸重建模型对半脸图像进行重建，并将不戴眼镜的半脸图像重建后存储到无眼镜半脸重建数据库，戴眼镜的半脸图像重建后存储到戴眼镜半脸重建数据库。
[0009] 本发明眼镜检测方法的进一步改进在于，所述眼镜判别模块包括第二学习模块和判别模块，步骤d进一步包括：第二学习模块基于对抗分类网络对所述无眼镜半脸原始数据库、戴眼镜半脸原始数据库、无眼镜半脸重建数据库、戴眼镜半脸重建数据库的半脸图像进行网络训练，得到眼镜判别模型，并将该眼镜判别模型发布到判别模块中；
判别模块通过所述眼镜判别模型对输入的半脸图像是否戴眼镜进行判别。
判别模块通过所述眼镜判别模型对输入的半脸图像是否戴眼镜进行判别。
[0010] 本发明眼镜检测方法的进一步改进在于，还包括步骤e：数据更新模块根据眼镜判别模块的判别结果对无眼镜半脸原始数据库、戴眼镜半脸原始数据库进行更新。
[0011] 本发明眼镜检测方法的进一步改进在于，所述半脸图像提取模块包括检测模块、矫正模块以及归一化模块，步骤b进一步包括：检测模块在输入的人脸图像中检测人脸，并检测人脸关键点所在的位置；
矫正模块将检测模块检测到的人脸关键点与归一化的标准人脸模型进行对比，基于对比信息利用透视变换对人脸图像中的人脸进行矫正，形成标准人脸图像，并将检测模块检测到的人脸关键点映射到矫正好的标准人脸图像上；
归一化模块根据映射到矫正好的标准人脸图像上的人脸关键点的位置坐标将半脸部位的图像剪切出来并归一化到固定尺寸，形成半脸图像，其中，不戴眼镜的半脸图像存储到无眼镜半脸原始数据库，戴眼镜的半脸图像存储到戴眼镜半脸原始数据库。
矫正模块将检测模块检测到的人脸关键点与归一化的标准人脸模型进行对比，基于对比信息利用透视变换对人脸图像中的人脸进行矫正，形成标准人脸图像，并将检测模块检测到的人脸关键点映射到矫正好的标准人脸图像上；
归一化模块根据映射到矫正好的标准人脸图像上的人脸关键点的位置坐标将半脸部位的图像剪切出来并归一化到固定尺寸，形成半脸图像，其中，不戴眼镜的半脸图像存储到无眼镜半脸原始数据库，戴眼镜的半脸图像存储到戴眼镜半脸原始数据库。
[0012] 本发明眼镜检测方法的进一步改进在于，半脸图像是人脸图像中上至眉峰，下至鼻横隔下缘，左至左眉尾，右至右眉尾的区域。
[0013] 本发明眼镜检测方法的进一步改进在于，第二学习模块用于训练一个对抗分类网络完成对样本的分类，对抗分类网络基于半脸图像与该半脸图像经过半脸重建模型形成的重建半脸图像的差异特征完成对无眼镜半脸原始数据库、戴眼镜半脸原始数据库、无眼镜半脸重建数据库、戴眼镜半脸重建数据库中半脸图像的分类。
[0014] 本发明眼镜检测系统及方法，通过主成分分析（PCA）得到半脸重建模型，再基于原始半脸图像与该原始半脸图像经过半脸重建模型重建得到的重建半脸图像的差异，结合深度学习的方法来判断用户是否配戴眼镜。本发明眼镜检测系统及方法预测精确度更高，且动态数据更新模块能够动态更新数据库，从而眼镜判别模型不断更新，泛化能力更强。附图说明
[0015] 图1为本发明眼镜检测系统的示意图；图2为本发明眼镜检测系统中数据库模块的示意图；
图3为本发明半脸图像提取模块提取半脸图像的流程示意图；
图4为本发明中归一化的标准人脸模型的示意图；
图5-7为本发明一较佳实施例半脸图像提取模块提取过程中人脸图像的示意图；
图8为本发明半脸重建模块中第一学习模块的示意图；
图9为本发明半脸图像重建的流程示意图；
图10为本发明一较佳实施例戴眼镜半脸图像经半脸重建模型重建的示意图；
图11为本发明一较佳实施例无眼镜半脸图像经半脸重建模型重建的示意图；
图12为本发明眼镜判别模块中第二学习模块的示意图；
图13为本发明眼镜判别模块中眼镜判别的流程示意图；
图14为本发明眼镜判别模块中对抗分类网络的分类类别；
图15为本发明眼镜判别模块中对抗分类网络结构示意图；
图16为本发明数据更新模块的示意图。
图3为本发明半脸图像提取模块提取半脸图像的流程示意图；
图4为本发明中归一化的标准人脸模型的示意图；
图5-7为本发明一较佳实施例半脸图像提取模块提取过程中人脸图像的示意图；
图8为本发明半脸重建模块中第一学习模块的示意图；
图9为本发明半脸图像重建的流程示意图；
图10为本发明一较佳实施例戴眼镜半脸图像经半脸重建模型重建的示意图；
图11为本发明一较佳实施例无眼镜半脸图像经半脸重建模型重建的示意图；
图12为本发明眼镜判别模块中第二学习模块的示意图；
图13为本发明眼镜判别模块中眼镜判别的流程示意图；
图14为本发明眼镜判别模块中对抗分类网络的分类类别；
图15为本发明眼镜判别模块中对抗分类网络结构示意图；
图16为本发明数据更新模块的示意图。
具体实施方式
[0016] 下面结合附图及具体实施方式对本发明作进一步详细的说明。
[0017] 如图1所示，本发明一种眼镜检测系统，用于检测用户是否配戴眼镜，其包括：图像采集模块，该图像采集模块用于采集人脸图像，该采集到的人脸图像可直接传入半脸图像提取模块，也可根据实际情况先存入人脸图像数据库，待之后再由半脸图像提取模块对该人脸图像数据库中的人脸图像进行处理。较佳地，在本实施例中，所述图像采集模块包括虹膜摄像头和红外灯。
[0018] 结合图2至图7，半脸图像提取模块，对输入该半脸图像提取模块的人脸图像进行处理，即半脸图像提取模块对输入的人脸图像进行校正，然后提取并归一化得到半脸图像，其中，不戴眼镜的半脸图像存储到无眼镜半脸原始数据库，戴眼镜的半脸图像存储到戴眼镜半脸原始数据库。在本实施例中，输入半脸图像提取模块的人脸图像可以是图像采集模块直接传入的人脸图像，也可以是人脸图像数据库中的人脸图像，此可根据实际情况自行选择，即在本发明中，输入半脸图像提取模块的只要是一张人脸图像即可，既可以是图像采集模块实时采集到的，也可以是从数据库中提取的。
[0019] 在本实施例中，半脸指的是人脸中，上至眉峰，下至鼻横隔下缘，左至左眉尾，右至右眉尾的区域。首先，该部分区域在不同的人群中各器官分布的比例相对稳定，并且不会因为表情的变化而产生很大的变性，因而该区域更有利于图像归一化；其次，使用该部分区域能同时满足人脸检测和虹膜检测的需求。一般情况下，为拍清虹膜纹理，虹膜采集系统的视野范围较小，可能不能获取完整人脸图像，使用半脸图像能更好的兼容虹膜采集系统，即基于半脸图像的眼镜检测系统既可用于人脸识别系统又可用于虹膜识别。
[0020] 进一步地，半脸图像提取模块包括检测模块、矫正模块和归一化模块。其中，检测模块用于在输入的人脸图像中检测人脸，并检测出人脸关键点所在的位置，如图5所示。矫正模块通过比对检测模块检测到的人脸关键点和归一化的标准人脸模型推算出该人脸图像采集时，用户人脸相对于图像采集设备的位置坐标以及用户头部在三维空间的转角，基于以上信息并利用透视变换把该人脸图像中旋转的人脸矫正成标准人脸，同时把检测模块检测到的人脸关键点映射到矫正好的标准人脸图像上，如图6所示。归一化模块根据映射到矫正好的人脸图像上的人脸关键点的位置坐标将半脸部位的图像剪切出来并归一化到固定尺寸，形成半脸图像，如图7所示，其中，不戴眼镜的半脸图像存储到无眼镜半脸原始数据库，戴眼镜的半脸图像存储到戴眼镜半脸原始数据库。
[0021] 如图4所示，在本实施例中，人脸关键点是指人脸图像中基于人脸五官提取的关键点信息，而标准人脸模型则是头部无旋转角度时提取人脸关键点，并经归一化形成的图像。
[0022] 如图8至图11所示，半脸重建模块，基于所述无眼镜半脸原始数据库中的不戴眼镜的半脸图像进行主成分分析（PCA），得到半脸重建模型，并通过半脸重建模型对半脸图像进行重建，其中，不戴眼镜的半脸图像重建后存储到无眼镜半脸重建数据库，戴眼镜的半脸图像重建后存储到戴眼镜半脸重建数据库。在本实施例中，无眼镜半脸原始数据库和戴眼镜半脸原始数据库的半脸图像为真实人脸图像，无眼镜半脸重建数据库和戴眼镜半脸重建数据库的半脸图像为重建人脸图像。所述无眼镜半脸原始数据库、戴眼镜半脸原始数据库、无眼镜半脸重建数据库以及戴眼镜半脸重建数据库构成数据库模块。
[0023] 进一步地，半脸重建模块包括第一学习模块和重建模块，在本实施例中，所述第一学习模块利用主成分分析（PCA）的方法对无眼镜半脸原始数据库中半脸图像的人脸特征降维，提取不同人脸的主要的共性特征，并生成特征人脸，这些特征人脸即半脸重建模型，该学习完成的半脸重建模型发布到重建模块中。所述半脸重建模型不包含眼镜的任何信息。
[0024] 所述重建模块通过所述半脸重建模型对半脸图像进行重建，其中，输入重建模块的半脸图像可以是通过图像采集模块和半脸图像提取模块采集提取的半脸图像，也可以是直接读取无眼镜半脸原始数据库和戴眼镜半脸原始数据库中的半脸图像。不戴眼镜的半脸图像经半脸重建模型重建后存储到无眼镜半脸重建数据库，戴眼镜的半脸图像经半脸重建模型重建后存储到戴眼镜半脸重建数据库。
[0025] 如图12至图15所示，眼镜判别模块，基于对抗分类网络对所述无眼镜半脸原始数据库、戴眼镜半脸原始数据库、无眼镜半脸重建数据库、戴眼镜半脸重建数据库的半脸图像进行网络训练，得到眼镜判别模型；并通过眼镜判别模型对半脸图像进行是否戴眼镜的判别。
[0026] 进一步地，眼镜判别模块包括第二学习模块和判别模块，其中，第二学习模块用于训练一个对抗分类网络完成对样本的分类。在本实施例中，对抗网络是指该网络能够对抗PCA半脸重建算法区分出重建的半脸图像和真实的半脸图像，即区分出重建半脸图像和原始半脸图像；对抗分类网络是指该网络能够在区分重建半脸图像和原始半脸图像的同时对原始半脸图像是否戴眼镜完成分类。采用对抗网络的目的是通过对抗训练生产一个强大的分类器能够最大程度的区分重建半脸图像和原始半脸图像。重建半脸图像和原始半脸图像主要存在以下两个差异：（1）重建的半脸图像都不带眼镜；（2）使用PCA方法重建的半脸图像缺少真实人脸的高阶信息。因此在对抗网络中重建的半脸图像具有参考作用，用于提取半脸图像中真实人脸与重建人脸的差异特征，即对抗网络基于数据库中的半脸图像提取同一用户原始半脸图像和重建半脸图像的差异特征。对抗分类网络基于以上的差异特征完成对半脸图像的分类，分类的类别包括戴眼镜，无眼镜以及是重建人脸。对抗训练所用的数据库为数据库模块中所有的半脸图像，即无眼镜半脸原始数据库、戴眼镜半脸原始数据库、无眼镜半脸重建数据库以及戴眼镜半脸重建数据库。无眼镜半脸原始数据库中半脸图像对应的标签为2，期望为[0,1,0];戴眼镜半脸原始数据库中半脸图像对应的标签为1，期望为[1,0,0];无眼镜半脸重建数据库和戴眼镜半脸重建数据库中半脸图像对应的标签为3，期望为[0,0,1]。损失函数如下：
其中 为眼镜判别网络的损失函数，y表示类别，y=1表示戴眼镜的原始半脸图像，y=2表示不戴眼镜的原始半脸图像，y=3表示重建半脸图像。公式中第一项 表示输入图像x满足真实图像即原始半脸图像的分布并且属于y类别的期望，
表示输入图像被预测为y类别的概率，其中的y = 1或2为戴眼镜的原始半脸图像或不戴眼镜的原始半脸图像中的任意一个类别,第一项整体表示要让判别模型对真实样本所属类别的概率输出最大化，即最大化输入一张某一类别的真实图像并被网络准确预测为该类别的可能性。公式中第二项 表示输入图像x满足真实图像即原始半脸图像分布的期望， 表示输入图像经过网络预测属于重建半脸图像类别的概率，
表示输入图像经过网络预测属于非重建半脸图像类别的概率，第二项
整体表示让判别模型最大化真实图像被预测为真实图像的可能性；公式中第三项 表示输入图像x为重建半脸图像的期望， 表示输入图像经过网络预测属于
重建半脸图像类别的概率，第三项整体表示让判别模型最大化重建图像被预测为重建图像的可能性。该损失函数设计目的是最大化真实图像即原始半脸图像与其重建半脸图像的差异并同时对戴眼镜半脸图像和不戴眼镜半脸图像进行分类。学习得到的眼镜判别模型发布到判别模块中。
其中 为眼镜判别网络的损失函数，y表示类别，y=1表示戴眼镜的原始半脸图像，y=2表示不戴眼镜的原始半脸图像，y=3表示重建半脸图像。公式中第一项 表示输入图像x满足真实图像即原始半脸图像的分布并且属于y类别的期望，
表示输入图像被预测为y类别的概率，其中的y = 1或2为戴眼镜的原始半脸图像或不戴眼镜的原始半脸图像中的任意一个类别,第一项整体表示要让判别模型对真实样本所属类别的概率输出最大化，即最大化输入一张某一类别的真实图像并被网络准确预测为该类别的可能性。公式中第二项 表示输入图像x满足真实图像即原始半脸图像分布的期望， 表示输入图像经过网络预测属于重建半脸图像类别的概率，
表示输入图像经过网络预测属于非重建半脸图像类别的概率，第二项
整体表示让判别模型最大化真实图像被预测为真实图像的可能性；公式中第三项 表示输入图像x为重建半脸图像的期望， 表示输入图像经过网络预测属于
重建半脸图像类别的概率，第三项整体表示让判别模型最大化重建图像被预测为重建图像的可能性。该损失函数设计目的是最大化真实图像即原始半脸图像与其重建半脸图像的差异并同时对戴眼镜半脸图像和不戴眼镜半脸图像进行分类。学习得到的眼镜判别模型发布到判别模块中。
[0028] 第一层，卷积层第一层的输入为原始图像，图像大小为64*128。第一层卷积层滤波器尺寸为3*3，深度为64，使用全0填充，步长为1。这一层是输出为64*128*64。
[0030] 第三层，卷积层本层的输入为第二层的输出，为32*64*64的矩阵。本层滤波器尺寸为3*3，深度为128，使用全0填充，步长为1。这一层是输出为32*64*128。
[0031] 第四层，池化层本层的输入为第三层的输出，为32*64*128的矩阵。本层滤波器的大小为2*2，步长为2。
本层是输出为16*32*128。
本层是输出为16*32*128。
[0032] 第五层，卷积层本层的输入为第四层的输出，为16*32*128的矩阵。本层滤波器尺寸为3*3，深度为256，使用全0填充，步长为1。这一层是输出为16*32*256。
[0033] 第六层，池化层本层的输入为第五层的输出，为16*32*256的矩阵。本层滤波器的大小为2*2，步长为2。
本层是输出为8*16*256。
本层是输出为8*16*256。
[0034] 第七层，卷积层本层的输入为第六七层的输出，为8*16*256的矩阵。本层滤波器尺寸为3*3，深度为
512，使用全0填充，步长为1。这一层是输出为8*16*512。
512，使用全0填充，步长为1。这一层是输出为8*16*512。
[0035] 第八层，池化层本层的输入为第七层的输出，为8*16*512的矩阵。本层滤波器的大小为2*2，步长为2。
本层是输出为4*8*256。
本层是输出为4*8*256。
[0036] 第九层，全连接层本层的输入为4*8*256的矩阵，输出节点数为128。
[0037] 第十层，全连接层本层的输入节点数为128，输出节点数为64。
[0038] 第十一层，全连接层本层的输入节点数为64，输出节点数为3。
[0039] 判别模块通过所述眼镜判别模型对输入的半脸图像是否戴眼镜进行判别。其中，所述输入的半脸图像是通过图像采集模块和半脸图像提取模块采集提取的半脸图像。在本实施例中，所述判别模块的输出结果是输入的半脸图像戴眼镜、不戴眼镜、是否为重建半脸的置信度，即输入的半脸图像戴眼镜的置信度、不戴眼镜的置信度、是重建半脸的置信度。较佳地，置信度是0到1之间的数值，数值越大置信度越高。
[0040] 由于初始数据库的数据量有限，为了更多的收集数据使整个眼镜检测系统泛化能力更强，结合图16，本发明引入了数据库更新模块。数据库更新模块根据眼镜判别模块的判别结果更新数据库，当输出结果为不带眼镜的置信度很高（大于一个较大的阈值）并且是重建图像的置信度很低时（小于一个较小的阈值），该半脸图像会被添加到无眼镜半脸原始数据库；当输出结果为带眼镜的置信度很高（大于一个较大的阈值）并且是重建图像的置信度很低时（小于一个较小的阈值），该半脸图像会被添加到戴眼镜半脸原始数据库。基于前述数据库的更新，半脸重建模型更新，无眼镜半脸原始数据库扩大会使半脸重建模型越来越准确。戴眼镜半脸原始数据库扩大会增加眼镜检测的多样性。较佳地，数据库更新模块中还可以包括人工干预模块，可以人工添加和剔除样本维护数据库。
[0041] 如图1所示，本发明提出一种眼镜检测方法，用于检测用户是否配戴眼镜，其包括以下步骤：a. 图像采集模块采集用户的人脸图像，并将该采集到的人脸图像直接传入半脸图像提取模块，或者根据实际情况将该采集到的人脸图像先存入人脸图像数据库，待之后再由半脸图像提取模块对该人脸图像数据库中的人脸图像进行处理。较佳地，在本实施例中，所述图像采集模块包括虹膜摄像头和红外灯。
[0042] b. 半脸图像提取模块对输入该半脸图像提取模块的人脸图像进行处理，得到半脸图像，即半脸图像提取模块对输入的人脸图像进行校正，然后提取并归一化得到半脸图像，之后，将不戴眼镜的半脸图像存储到无眼镜半脸原始数据库，将戴眼镜的半脸图像存储到戴眼镜半脸原始数据库。在本实施例中，输入半脸图像提取模块的人脸图像可以是图像采集模块直接传入的人脸图像，也可以是人脸图像数据库中的人脸图像，此可根据实际情况自行选择，即在本发明中，输入半脸图像提取模块的只要是一张人脸图像即可，既可以是图像采集模块实时采集到的，也可以是从数据库中提取的。
[0043] 在本实施例中，半脸指的是人脸中上至眉峰，下至鼻横隔下缘，左至左眉尾，右至右眉尾的区域。首先，该部分区域在不同的人群中各器官分布的比例相对稳定，并且不会因为表情的变化而产生很大的变性，因而该区域更有利于图像归一化；其次，使用该部分区域能同时满足人脸检测和虹膜检测的需求。一般情况下，为拍清虹膜纹理，虹膜采集系统的视野范围较小，可能不能获取完整人脸图像，使用半脸图像能更好的兼容虹膜采集系统，即基于半脸图像的眼镜检测系统既可用于人脸识别系统又可用于虹膜识别系统。
[0044] 结合图2至图7，半脸图像提取模块包括检测模块、矫正模块以及归一化模块，步骤b进一步包括：检测模块在输入的人脸图像中检测人脸，并检测人脸关键点所在的位置。
[0045] 矫正模块将检测模块检测到的人脸关键点与归一化的标准人脸模型进行对比，推算出该人脸图像在采集时，用户人脸相对于图像采集设备的位置坐标以及用户头部在三维空间的转角，基于此信息利用透视变换把该人脸图像中旋转的人脸矫正成标准人脸，同时将检测模块检测到的人脸关键点映射到矫正好的标准人脸图像上。
[0046] 归一化模块根据映射到矫正好的人脸图像上的关键点的位置坐标将半脸部位的图像剪切出来并归一化到固定尺寸，形成半脸图像，其中，不戴眼镜的半脸图像存储到无眼镜半脸原始数据库，戴眼镜的半脸图像存储到戴眼镜半脸原始数据库。
[0047] 如图4所示，在本实施例中，人脸关键点是指人脸图像中基于人脸五官提取的关键点信息，而标准人脸模型则是头部无旋转角度时提取人脸关键点，并经归一化形成的图像。
[0048] c. 半脸重建模块基于所述无眼镜半脸原始数据库中的不戴眼镜的半脸图像进行主成分分析（PCA），得到半脸重建模型，并通过该半脸重建模型对半脸图像进行重建，将不戴眼镜的半脸图像重建后存储到无眼镜半脸重建数据库，戴眼镜的半脸图像重建后存储到戴眼镜半脸重建数据库。在本实施例中，无眼镜半脸原始数据库和戴眼镜半脸原始数据库的半脸图像为真实人脸图像，无眼镜半脸重建数据库和戴眼镜半脸重建数据库的半脸图像为重建人脸图像。所述无眼镜半脸原始数据库、戴眼镜半脸原始数据库、无眼镜半脸重建数据库以及戴眼镜半脸重建数据库构成数据库模块。
[0049] 如图8至图11所示，半脸重建模块包括第一学习模块和重建模块，步骤c进一步包括：第一学习模块基于所述无眼镜半脸原始数据库中的不戴眼镜的半脸图像进行主成分分析（PCA），得到半脸重建模型，并将该半脸重建模型发布到重建模块中。在本实施例中，所述第一学习模块利用主成分分析（PCA）的方法对无眼镜半脸原始数据库中半脸图像的人脸特征降维，提取不同人脸的主要的共性特征，并生成特征人脸，这些特征人脸即半脸重建模型，之后将该学习完成的半脸重建模型发布到重建模块中。由于是基于不戴眼镜的半脸图像进行的主成分分析，故本发明中的半脸重建模型不包含眼镜的任何信息。
[0050] 重建模块通过所述半脸重建模型对半脸图像进行重建，并将不戴眼镜的半脸图像经半脸重建模型重建后存储到无眼镜半脸重建数据库，戴眼镜的半脸图像经半脸重建模型重建后存储到戴眼镜半脸重建数据库。在本实施例中，输入重建模块的半脸图像可以是通过图像采集模块和半脸图像提取模块采集提取的半脸图像，也可以是直接读取无眼镜半脸原始数据库和戴眼镜半脸原始数据库中的半脸图像。
[0051] d. 眼镜判别模块基于对抗分类网络对所述无眼镜半脸原始数据库、戴眼镜半脸原始数据库、无眼镜半脸重建数据库、戴眼镜半脸重建数据库的半脸图像进行对抗训练，得到眼镜判别模型；并通过该眼镜判别模型对输入的半脸图像是否戴眼镜进行判别。
[0052] 如图12至图15所示，所述眼镜判别模块包括第二学习模块和判别模块，步骤d进一步包括：第二学习模块用于训练一个对抗分类网络完成对样本的分类。在本实施例中，对抗网络是指该网络能够对抗PCA半脸重建算法区分出重建的半脸图像和真实的半脸图像，即区分出重建半脸图像和原始半脸图像；对抗分类网络是指该网络能够在区分重建半脸图像和原始半脸图像的同时对原始半脸图像是否戴眼镜完成分类。采用对抗网络的目的是通过对抗训练生产一个强大的分类器能够最大程度的区分重建半脸图像和原始半脸图像。重建半脸图像和原始半脸图像主要存在以下两个差异：（1）重建的半脸图像都不带眼镜；（2）使用PCA方法重建的半脸图像缺少真实人脸的高阶信息。因此在对抗网络中重建的半脸图像具有参考作用，用于提取半脸图像中真实人脸与重建人脸的差异特征，即对抗网络基于数据库中的半脸图像提取同一用户原始半脸图像和重建半脸图像的差异特征。对抗分类网络基于以上的差异特征完成对半脸图像的分类，分类的类别包括戴眼镜，无眼镜以及是重建人脸。对抗训练所用的数据库为数据库模块中所有的半脸图像，即无眼镜半脸原始数据库、戴眼镜半脸原始数据库、无眼镜半脸重建数据库以及戴眼镜半脸重建数据库。无眼镜半脸原始数据库中半脸图像对应的标签为2，期望为[0,1,0];戴眼镜半脸原始数据库中半脸图像对应的标签为1，期望为[1,0,0];无眼镜半脸重建数据库和戴眼镜半脸重建数据库中半脸图像对应的标签为3，期望为[0,0,1]。损失函数如下：
其中 为眼镜判别网络的损失函数，y表示类别，y=1表示戴眼镜的原始半脸图像，y=2表示不戴眼镜的原始半脸图像，y=3表示重建半脸图像。公式中第一项 表示输入图像x满足真实图像即原始半脸图像的分布并且属于y类别的期望， 表示输入图像被预测为y类别的概率，其中的y = 1或2为戴眼镜的原始半脸图像或不戴眼镜的原始半脸图像中的任意一个类别,第一项整体表示要让判别模型对真实样本所属类别的概率输出最大化，即最大化输入一张某一类别的真实图像并被网络准确预测为该类别的可能性。公式中第二项 表示输入图像x满足真实图像即原始半脸图像分布的期望，表示输入图像经过网络预测属于重建半脸图像类别的概率，
表示输入图像经过网络预测属于非重建半脸图像类别的概率，第二项
整体表示让判别模型最大化真实图像被预测为真实图像的可能性；公式中第三项 表示输入图像x为重建半脸图像的期望， 表示输入图像经过网络预测属于重
建半脸图像类别的概率，第三项整体表示让判别模型最大化重建图像被预测为重建图像的可能性。该损失函数设计目的是最大化真实图像即原始半脸图像与其重建半脸图像的差异并同时对戴眼镜半脸图像和不戴眼镜半脸图像进行分类。学习得到的眼镜判别模型发布到判别模块中。
其中 为眼镜判别网络的损失函数，y表示类别，y=1表示戴眼镜的原始半脸图像，y=2表示不戴眼镜的原始半脸图像，y=3表示重建半脸图像。公式中第一项 表示输入图像x满足真实图像即原始半脸图像的分布并且属于y类别的期望， 表示输入图像被预测为y类别的概率，其中的y = 1或2为戴眼镜的原始半脸图像或不戴眼镜的原始半脸图像中的任意一个类别,第一项整体表示要让判别模型对真实样本所属类别的概率输出最大化，即最大化输入一张某一类别的真实图像并被网络准确预测为该类别的可能性。公式中第二项 表示输入图像x满足真实图像即原始半脸图像分布的期望，表示输入图像经过网络预测属于重建半脸图像类别的概率，
表示输入图像经过网络预测属于非重建半脸图像类别的概率，第二项
整体表示让判别模型最大化真实图像被预测为真实图像的可能性；公式中第三项 表示输入图像x为重建半脸图像的期望， 表示输入图像经过网络预测属于重
建半脸图像类别的概率，第三项整体表示让判别模型最大化重建图像被预测为重建图像的可能性。该损失函数设计目的是最大化真实图像即原始半脸图像与其重建半脸图像的差异并同时对戴眼镜半脸图像和不戴眼镜半脸图像进行分类。学习得到的眼镜判别模型发布到判别模块中。
[0053] 如图15，在本实施例中，对抗分类网络结构包括：输入为一张高度为64像素宽度为128个像素的归一化人脸图像。
[0054] 第一层，卷积层第一层的输入为原始图像，图像大小为64*128。第一层卷积层滤波器尺寸为3*3，深度为64，使用全0填充，步长为1。这一层是输出为64*128*64。
[0055] 第二层，池化层第二层的输入为第一层的输出，为64*128*64的矩阵。本层滤波器的大小为2*2，步长为
2。本层是输出为32*64*64。
2。本层是输出为32*64*64。
[0056] 第三层，卷积层本层的输入为第二层的输出，为32*64*64的矩阵。本层滤波器尺寸为3*3，深度为128，使用全0填充，步长为1。这一层是输出为32*64*128。
[0057] 第四层，池化层本层的输入为第三层的输出，为32*64*128的矩阵。本层滤波器的大小为2*2，步长为2。
本层是输出为16*32*128。
本层是输出为16*32*128。
[0058] 第五层，卷积层本层的输入为第四层的输出，为16*32*128的矩阵。本层滤波器尺寸为3*3，深度为256，使用全0填充，步长为1。这一层是输出为16*32*256。
[0059] 第六层，池化层本层的输入为第五层的输出，为16*32*256的矩阵。本层滤波器的大小为2*2，步长为2。
本层是输出为8*16*256。
本层是输出为8*16*256。
[0060] 第七层，卷积层本层的输入为第六七层的输出，为8*16*256的矩阵。本层滤波器尺寸为3*3，深度为
512，使用全0填充，步长为1。这一层是输出为8*16*512。
512，使用全0填充，步长为1。这一层是输出为8*16*512。
[0061] 第八层，池化层本层的输入为第七层的输出，为8*16*512的矩阵。本层滤波器的大小为2*2，步长为2。
本层是输出为4*8*256。
本层是输出为4*8*256。
[0062] 第九层，全连接层本层的输入为4*8*256的矩阵，输出节点数为128。
[0063] 第十层，全连接层本层的输入节点数为128，输出节点数为64。
[0064] 第十一层，全连接层本层的输入节点数为64，输出节点数为3。
[0065] 判别模块通过所述眼镜判别模型对输入的半脸图像是否戴眼镜进行判别。其中，所述输入的半脸图像是通过图像采集模块和半脸图像提取模块采集提取的半脸图像。在本实施例中，所述判别模块的输出结果是输入的半脸图像戴眼镜、不戴眼镜、是否为重建半脸的置信度，即输入的半脸图像戴眼镜的置信度、不戴眼镜的置信度、是重建半脸的置信度。较佳地，置信度是0到1之间的数值，数值越大置信度越高。
[0066] 较佳地，由于初始数据库的数据量有限，为了更多的收集数据使整个眼镜检测系统泛化能力更强，结合图16，本发明引入了数据库更新模块。数据库更新模块根据眼镜判别模块的判别结果更新数据库，当输出结果为不带眼镜的置信度很高（大于一个较大的阈值）并且是重建图像的置信度很低时（小于一个较小的阈值），该半脸图像会被添加到无眼镜半脸原始数据库；当输出结果为带眼镜的置信度很高（大于一个较大的阈值）并且是重建图像的置信度很低时（小于一个较小的阈值），该半脸图像会被添加到戴眼镜半脸原始数据库。基于前述数据库的更新，半脸重建模型更新，无眼镜半脸原始数据库扩大会使半脸重建模型越来越准确。戴眼镜半脸原始数据库扩大会增加眼镜检测的多样性。较佳地，数据库更新模块中还可以包括人工干预模块，可以人工添加和剔除样本维护数据库。
[0067] 本发明眼镜检测系统及方法，采用主成分分析和深度学习结合的方式检测用户是否佩戴眼镜，更加可靠稳定；即本发明引入深度学习去学习戴眼镜半脸图像与其经重建形成的不戴眼镜半脸图像的差异来对用户是否佩戴眼镜给出判断，避免现有阈值分割眼镜时阈值不能准确设定造成判断误差。本发明的数据库更新模块可以自动更新数据库，确保样本的多样性，并提高半脸重建模型和眼镜判别模型的精度。
[0068] 以上结合附图及实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 眼镜检测系统及方法 | 2020-05-13 | 464 |
| 基于变电巡检AR眼镜的眼镜架 | 2020-05-12 | 316 |
| 智能眼疾检测眼镜 | 2020-05-13 | 628 |
| LED照明双目间接检眼镜 | 2020-05-13 | 938 |
| 无透镜检眼镜 | 2020-05-12 | 121 |
| 眼镜检测方法及装置 | 2020-05-12 | 968 |
| 检测视力用遮挡眼镜 | 2020-05-12 | 52 |
| 一种智能巡检眼镜 | 2020-05-14 | 890 |
| 智能眼疾检测眼镜 | 2020-05-14 | 236 |
| 眼镜片的双重检验 | 2020-05-14 | 644 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
检眼镜热门专利
QQ群二维码
意见反馈
意见反馈