技术领域
[0001] 本
发明属于
图像识别技术领域，涉及一种基于
人脸检测的方法，特别涉及一种基于面部表情判断用户兴趣度的方法及系统。
背景技术
[0002] 目前，互联网已经非常发达，很多公司通过
大数据分析用户的需求，然后再做到内容的精准推送或者分发。通常的内容推荐分发都是根据用户的浏览、阅读以及搜索，这种情况必须达到量级以及不断训练才能达到推荐分发给用户的内容是用户真正想看的，但是要结合用户当时的心情等多种因素这种方式还是不能保证用户真正想浏览这些内容，所以必须增加判断推荐下发内容准确度。
[0003] 目前关于人脸检测的技术已经比较成熟，大多数仅适用于安全等领域，但是在用户面部表情分析方面还没有用在比较实用的领域。基于人脸检测技术，本发明将其与信息推送等实用领域相结合，判断用户对于相关内容的兴趣度，为精准的内容推荐分发提供条件。
发明内容
[0004] 本发明所要解决的问题在于克服传统大数据分析推荐分发下用户感兴趣内容的分析
精度不足，提供一种基于面部表情判断用户兴趣度的方法，该方法在人脸检测的
基础上进行改进，直接判断出用户对当前内容的兴趣程度，从而提高数据推荐分发的准确度。
[0005] 本发明的目的是通过以下技术方案来实现的：
[0006] 一种基于面部表情判断用户兴趣度的方法，
[0007] 初始化步骤：打开应用程序，应用程序初始化；
[0008] 获取图像步骤：通过摄像头采集数据，获取到人脸图像；
[0009] 图像预处理步骤：获取图像的积分图，通过积分图计算图像中的特征区域，检测眼睛和嘴巴的
位置；
[0010] 表情识别分类步骤：获取到图像数据中眼睛和嘴巴的位置后，创建要素图，之后通过表情模型分析图像数据中表情，并对表情进行分类；
[0011] 判断步骤：通过用户的表情打分值判断用户对浏览内容
块的兴趣度，表情打分值依赖于表情分类，根据不同的分类表情赋予分值，分值为正值或者负值，分值的绝对值越大代表用户对当前浏览内容块越感兴趣。
[0012] 作为优选方式，在获取图像步骤中，先获取上层设备的摄像头权限，开启摄像头设备并获取场景内容，通过native方法逐
帧传递到C++底层处理。
[0013] 作为优选方式，把C++中对每一帧ARGB图像数据利用加权平均法灰度化和单通道处理。
[0014] 作为优选方式，在图像预处理步骤中，检测眼睛和嘴巴的位置前需要找到脸部区域。
[0015] 作为优选方式，获取图像的积分图，具体为：通过HAAR
算法计算脸部特征，然后利用积分公式获得积分图，积分图中每一点(x，y)都是在这个点对应左上
角区域所有值的和，并且只需要遍历一遍图像就可以得到积分图；
[0016] 积分公式如下：
[0017]
[0018] 其中ii(x,y)表示积分图，i(x,y)表示原始图像。
[0019] 作为优选方式，(x，y)积分图可以这样计算ii(x,y)＝ii(x,y)+i(x,y)+ii(x,y-1)-ii(x-1,y-1)，利用积分图高效的计算图像中的特征区域。
[0020] 作为优选方式，结合AdaBoost算法训练级联分类器对积分图中的每一块进行分类，若某一矩形区域通过了级联分类器就被判别为人脸图像，然后把人脸这一块标记出来去检测眼睛和嘴巴的坐标位置角度大小数据。
[0021] 作为优选方式，对表情进行分类后形成图像表情库，图像表情库中分为愤怒，厌恶，恐惧，快乐，悲伤，惊讶和中立。
[0022] 一种基于面部表情判断用户兴趣度的系统，包括初始化模块、摄像头模块、图像预处理模块、表情识别分类模块以及判断模块；
[0023] 初始化模块：在打开应用程序后，对系统进行初始化；
[0024] 摄像头模块：初始化系统程序后，开启摄像头，通过摄像头获取镜头前的图像；
[0025] 图像预处理模块：获取图像的积分图，通过积分图计算图像中的特征区域，检测眼睛和嘴巴的位置；
[0026] 表情识别分类模块：根据图像中脸部的分类信息进行打分，分值的绝对值越大代表用户对当前浏览内容块越感兴趣。
[0027] 本发明的有益效果是：
[0028] 本发明结合了图像检测以及表情识别，用于分析用户对浏览内容的兴趣度，利用用户浏览内容真实的表情反应用户真实的兴趣度，更准确的提高了推荐分发数据时内容的准确率，完善了大数据分析
机器学习成本高，精度不够的问题，同时增强用户体验。
[0029] 本发明提高了用户内容推荐的准确率，极大提高了内容推荐和用户喜好标签精度，从而可以根据用户兴趣度更加准确的了解用户真正想浏览的内容。
附图说明
[0030] 图1为本发明的流程示意图；
[0031] 图2为
实施例中Haar-like特征在图中的位置示意图。
具体实施方式
[0032] 下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
[0033] 实施例一
[0034] 如图1所示，一种基于面部表情判断用户兴趣度的方法，
[0035] 初始化步骤：打开应用程序，应用程序初始化；
[0036] 获取图像步骤：通过摄像头采集数据，获取到人脸图像；
[0037] 图像预处理步骤：获取图像的积分图，通过积分图计算图像中的特征区域，检测眼睛和嘴巴的位置；
[0038] 表情识别分类步骤：获取到图像数据中眼睛和嘴巴的位置后，创建要素图，之后通过表情模型分析图像数据中表情，并对表情进行分类；
[0039] 判断步骤：通过用户的表情打分值判断用户对浏览内容块的兴趣度，表情打分值依赖于表情分类，根据不同的分类表情赋予分值，分值为正值或者负值，分值的绝对值越大代表用户对当前浏览内容块越感兴趣。
[0040] 本发明通过积分图、要素图等
图像处理方式以及表情模型分析表情，最后通过打分的形式对图像中的人脸表情进行打分，通过打分值来判断用户对于浏览内容的兴趣度。本发明创新性地引入了人脸检测内容，将其与浏览内容进行结合，判断出用户对浏览内容的兴趣度，提到了用户对于浏览内容感兴趣度的准确性。由于该方法不同于传统的大数据统计方法，因此，在判断准确性和判断效率方面都得到了极大的提高。
[0041] 实施例二
[0042] 对于获取图像步骤，本发明先获取上层设备的摄像头权限，开启摄像头设备并获取场景内容，通过native方法逐帧传递到C++底层处理。因为上层设备一般为30帧每秒，在传输过程中需要使用消息队列。native方法主要用于加载文件和动态链接库，将浏览信息传递到
操作系统底层，之后再通过C++在操作系统的底层进行
数据处理。
[0043] 由于后续处理必须需要对图片进行对应处理，在计算机中灰度色彩空间在人脸检测中特别有效，所以需要把C++中对每一帧ARGB图像数据利用加权平均法灰度化和单通道处理，降低了数据处理量，且能够提高数据处理效率。
[0044] 实施例三
[0045] 在图像预处理步骤中，检测眼睛和嘴巴的位置前需要找到脸部区域。获取图像的积分图，具体为：通过HAAR算法计算脸部特征，然后利用积分公式获得积分图，积分图中每一点(x，y)都是在这个点对应左上角区域所有值的和，并且只需要遍历一遍图像就可以得到积分图；
[0046] 积分公式如下：
[0047]
[0048] 其中ii(x,y)表示积分图，i(x,y)表示原始图像。
[0049] 本发明在已有的图像识别基础上增加了面部表情分析的算法，用来针对用户对内容的兴趣程度以便对内容打分。(x，y)积分图可以这样计算ii(x,y)＝ii(x,y)+i(x,y)+ii(x,y-1)-ii(x-1,y-1)，利用积分图高效的计算图像中的特征区域。
[0050] 以一种HAAR-like边缘特征为例：
[0051] 假设需要计算的这种Haar-like特征在图中的位置如图2所示：
[0052] 那么，A，B区域所构成的HAAR-like边缘特征是：
[0053] HarrA-B＝Sum(A)-Sum(B)＝[SAT4+SAT1-SAT2-SAT3]-[SAT6+SAT3-SAT4-SAT5](4)(4)HarrA-B＝Sum(A)-Sum(B)＝[SAT4+SAT1-SAT2-SAT3]-[SAT6+SAT3-SAT4-SAT5][0054] 对一个灰度图而言，事先将其积分图构建好，当需要计算灰度图某个区域内所有
像素点的像素值之和的时候，利用积分图，通过查表运算，可以迅速得到结果[0055] 结合AdaBoost算法训练级联分类器对积分图中的每一块进行分类，若某一矩形区域通过了级联分类器就被判别为人脸图像，然后把人脸这一块标记出来去检测眼睛和嘴巴的坐标位置角度大小数据。
[0056] 实施例四
[0057] 对表情进行分类后形成图像表情库，图像表情库中分为愤怒，厌恶，恐惧，快乐，悲伤，惊讶和中立，但是在实际测试中厌恶和愤怒存在
不平衡，因此厌恶和愤怒划分到一类。根据这七中表情制定对应评分规则，分值越高证明用户对当前内容越感兴趣，反之亦然。
[0058] 根据具体业务场景对表情库进行划分打分规则，用户在一定时间内表情变化对浏览内容块则进行权重打分并求和，根据表情的定义可以给正的权重或者负的权重，甚至权重可以很大。考虑到某一种表情出现过高的
频率，需要引入时间衰退机制，本发明采用指数衰减来实现，越远的行为衰减的越快，即对原始的分乘上一个指数系数y＝exp(-α*time)其中α是冷却因子，越大y的值变化就越明显；time则是想要衰减的时间。根据以上权重打分机制，可以得出用户对当前内容块的兴趣度。
[0059] 实施例五
[0060] 与实施例一到实施例四相对应的，本发明提供了一种基于面部表情判断用户兴趣度的系统，包括初始化模块、摄像头模块、图像预处理模块、表情识别分类模块以及判断模块；
[0061] 初始化模块：在打开应用程序后，对系统进行初始化；
[0062] 摄像头模块：初始化系统程序后，开启摄像头，通过摄像头获取镜头前的图像；
[0063] 图像预处理模块：获取图像的积分图，通过积分图计算图像中的特征区域，检测眼睛和嘴巴的位置；
[0064] 表情识别分类模块：根据图像中脸部的分类信息进行打分，分值的绝对值越大代表用户对当前浏览内容块越感兴趣。
[0065] 本实施例提供了一种计算机可读存储介质，其上存储有
计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0066] 初始化步骤：打开应用程序，应用程序初始化；
[0067] 获取图像步骤：通过摄像头采集数据，获取到人脸图像；
[0068] 图像预处理步骤：获取图像的积分图，通过积分图计算图像中的特征区域，检测眼睛和嘴巴的位置；
[0069] 表情识别分类步骤：获取到图像数据中眼睛和嘴巴的位置后，创建要素图，之后通过表情模型分析图像数据中表情，并对表情进行分类；
[0070] 判断步骤：通过用户的表情打分值判断用户对浏览内容块的兴趣度，表情打分值依赖于表情分类，根据不同的分类表情赋予分值，分值为正值或者负值，分值的绝对值越大代表用户对当前浏览内容块越感兴趣。
[0071] 上述系统内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
[0072] 本领域所属技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的
硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
[0073] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，应当指出的是，凡在本发明的精神和原则之内所作的任何
修改、等同替换和改进等，均应包含在本发明的保护范围之内。
[0074] 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附
权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。因此，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，应当指出的是，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
