具有美肤美妆指导功能的智能镜系统及方法专利检索-传感器变压器和转换设备专利检索查询-专利查询网

具有美肤美妆指导功能的智能镜系统及方法

阅读：716发布：2023-11-30

专利汇可以提供具有美肤美妆指导功能的智能镜系统及方法专利检索，专利查询，专利分析的服务。并且一种具有美肤美妆指导功能的智能镜系统及方法，该系统包括附有镜膜的曲面或平面的屏幕、三维人脸信息采集装置、存储器与处理单元，存储器中预存有至少妆容规则库，三维人脸信息采集装置、存储器均与处理单元相连，三维人脸信息采集装置用于采集用户的真实三维人脸信息，处理单元经配置对三维人脸信息进行处理，将三维人脸信息与基于妆容大数据采集经过机器学习得出的三维人脸模型进行对比，根据对比的差异，在三维人脸模型的基础上结合妆容规则库进行美妆推荐与美妆指导，将推荐的妆容样图呈现在屏幕上，且用户能够通过镜膜查看自己的面部。本系统和方法可指导化妆者完成个性化和接近专业化的化妆，具有易操作、定制化，个性化的优点。，下面是具有美肤美妆指导功能的智能镜系统及方法专利的具体信息内容。

权利要求

1.一种具有美肤美妆指导功能的智能镜系统，其特征在于,包括附有镜膜的曲面或平面的屏幕、三维人脸信息采集装置、存储器与处理单元，所述存储器中预存有妆容规则库，优选还存有用户肤色肤质状况数据库、化妆品信息数据库，所述三维人脸信息采集装置、所述存储器均与所述处理单元相连，所述三维人脸信息采集装置用于采集用户的真实三维人脸信息，所述处理单元经配置对所述三维人脸信息进行处理，将所述三维人脸信息与基于妆容大数据采集经过机器学习得出的三维人脸模型进行对比，根据所述对比的差异，在所述三维人脸模型的基础上结合妆容规则库、优选以及用户肤色肤质状况数据库、化妆品信息数据库，进行美妆推荐与美妆指导，并将推荐的妆容样图呈现在所述屏幕上，且用户能够通过所述镜膜查看自己的面部；
优选地，所述美妆指导包括对根据用户选择反馈生成对应妆容的化妆过程指引，如每一步所使用的化妆工具、工具用法、配套粉、液及色彩；
优选地，经过机器学习得到人脸模型，是通过对人脸妆容的大数据采集，基于卷积网络CRN模型得出归一优化的人脸三维模型。
优选地，所述三维人脸信息采集装置包括光栅发射装置和光栅图案采集装置，所述光栅发射装置和所光栅图案采集装置与所述处理单元相连，所述光栅发射装置用于发射栅状探测光线，以在用户的脸上形成结构光图案，所述采集装置用于采集所述结构光图案以获得所述三维人脸信息；更优选地，所述采集装置为CCD。
2.一种具有美肤美妆指导功能的智能镜系统，其特征在于,包括附有镜膜的曲面或平面的屏幕、环境光模拟装置与处理单元，所述环境光模拟装置包括环境光感应装置和发光装置，所述环境光感应装置和所述发光装置均与所述处理单元相连，所述环境光感应装置用于对包括自然光在内的环境光进行感应，所述处理单元根据所述环境光感应装置获得的感应信息，控制所述发光装置进行发光，基于环境光信息、用户妆容目标场景与个人偏好设置对环境光进行模拟校正调节，以适应用户在不同环境下个性化的化妆需求，和/或模拟出用户需要的各种情境的光照环境，和/或在环境光照不充足的情况下补光；
优选地，所述发光装置包括分别设置在屏幕上部和下部的两条LED光带。
3.一种具有美肤美妆指导功能的智能镜系统，其特征在于,包括附有镜膜的曲面或平面的屏幕、屏幕显示与图像参数校正装置、与处理单元，所述屏幕显示与图像参数校正装置包括环境光感应装置，所述环境光感应装置与所述处理单元相连，所述环境光感应装置用于对包括自然光在内的环境光进行感应，所述处理单元根据所述环境光感应装置获得的感应信息控制所述屏幕，基于环境光信息、用户妆容目标场景与个人偏好设置对屏幕显示与图像参数如屏幕亮度、色彩、色温、色调进行校正调节，以适应用户在不同环境下个性化的化妆需求。
4.一种具有美肤美妆指导功能的智能镜系统，其特征在于,包括附有镜膜的曲面或平面的屏幕、摄像头、化妆笔、存储器与处理单元，所述存储器中预存有笔数据库和妆容规则库，所述摄像头、所述存储器均与所述处理单元相连，所述摄像头用于捕捉所述化妆笔在化妆过程中的动作信息以及用户人脸上产生的妆容变化，所述处理单元经配置实时识别所述化妆笔的动作位置、方向及化妆轨迹，并结合人脸的妆容变化，与所述笔数据库的预置笔信息和所述妆容规则库中的预置妆容规则信息进行对比，根据对比结果对用户的化妆动作方法进行提示和指导，所述进行提示和指导包括以所述屏幕上的扬声器发音和/或及基于所述屏幕的增强现实显示的方式来向用户指引化妆动作方法，和/或提示用户是否达到相应步骤的预定效果。
5.如权利要求4所述的智能镜系统，其特征在于,所述化妆笔上具有可识别标记，所述处理单元利用所述摄像头捕捉的图像中的所述可识别标记的信息，来识别所述化妆笔的动作位置、方向及化妆轨迹；或者，初始化阶段先对所述化妆笔的形状及色彩特征的记录，所述处理单元利用所述摄像头捕捉的图像中的化妆笔形状及色彩特征的信息，来识别所述化妆笔的动作位置、方向及化妆轨迹。
6.如权利要求4所述的智能镜系统，其特征在于,所述化妆笔包括笔本体以及设置在笔本体上的压感单元和方向传感器，所述压感单元安装在笔头，用于检测所述化妆笔在化妆过程中的压感信息，所述方向传感器用于检测所述化妆笔在化妆过程中的运行方向信息，所述压感单元和所述方向传感器以无线或有线方式连接所述处理单元，所述处理单元还获取所述压感信息和所述运行方向信息，并根据所述压感信息和所述运行方向信息分析得到所述化妆笔的动作方式和化妆轨迹。
7.一种具有模拟美肤美妆练习功能的智能镜系统，其特征在于,包括附有镜膜的曲面或平面的屏幕、存储器、化妆笔与处理单元，所述存储器中预存有笔数据库和妆容规则库，所述化妆笔包括笔本体以及设置在笔本体上的压感单元和方向传感器，所述压感单元安装在笔头，用于检测所述化妆笔在模拟化妆过程中对物体的压感信息，所述方向传感器用于检测所述化妆笔在模拟化妆过程中的运行方向信息，所述压感单元和所述方向传感器以无线或有线方式连接所述处理单元，所述处理单元根据所述压感信息和所述运行方向信息分析得到所述化妆笔的动作方式和化妆轨迹，结合笔数据库和妆容规则库，生成人脸三维坐标系下的虚拟化妆图像，并通过所述屏幕进行显示，以完成化妆模拟练习过程。
8.一种美肤美妆指导方法，其特征在于,采用如权利要求1至7任一项所述的智能镜系统，在用户化妆或模拟化妆的过程中给予用户美肤美妆指导。
9.一种美妆辅助方法，其特征在于，使用如权利要求1至7任一项所述的智能镜系统，所述方法包含以下步骤：
步骤1：初始化智能镜系统的光源设置，根据环境信息、妆容目标场景与个人偏好设置和调整光照；
步骤2：初始化妆容偏好，场景选择，设定个人偏好选择，系统据此筛选可选妆容类别；
步骤3：获取用户的面部三维结构信息与色彩信息，并构建用户人脸三维模型；
步骤4：通过机器学习的方式获得与该用户人脸三维模型对应的完美脸部模型，对比得出差异；
步骤5：根据步骤4得出的差异与预制的妆容规则库，生成推荐妆容与化妆步骤；
步骤6：引导用户完成每一化妆步骤，优选地，在用户化妆时，识别用户使用的化妆笔动作位置及方向，在皮肤上产生的颜色变化，实时与预置数值进行比较，并以声音及增强现实显示方式提示用户化妆动作方法及是否达到每一步骤的预定效果。
10.一种长期美肤辅助方法，其特征在于，包含以下基本步骤：
步骤1：在用户使用智能镜系统时，智能镜系统采集用户未化妆前的面部轮廓及肤色，并基于图像特征提取的方法检测肌肤的肤质、肤色、平滑度等状况；
步骤2：将检测结果与之前的记录进行比较，以及与预定的完美模型进行比较，对比得出差异后给用户以提示；
步骤3：将用户皮肤差异与预制护肤规则库进行比对，生成推荐护肤保养方案，包括护肤用品及使用步骤等的建议。

说明书全文

具有美肤美妆指导功能的智能镜系统及方法

技术领域

[0001] 本发明涉及一种具有美肤美妆指导功能的智能镜系统及方法。

背景技术

[0002] 随着社会物质生活水平的提高,人们尤其是女性越来越重视美妆尤其是面部美妆的运用，而美妆的具体实现则离不开镜子。现有的智能镜产品主要提供的功能为人机交互，
显示消息、图片、视频等。但已有的智能镜在用户体验上仍有待提高，尤其是，对用户在美肤美妆过程中的实时指导作用不大，并不能很好地适应用户的当前自身肌肤状况和环境状
况，难以满足用户在实时场景下的美妆需求。用户对与自身肌肤状况与面部特征的了解不
深入，系统也没有适于不同用户的定制化、个性化的化妆方法可学。

[0003] 以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日
已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

[0004] 本发明的主要目的在于克服现有技术的上述缺陷，提供一种具有美肤美妆指导功能的智能镜系统及方法。

[0005] 为实现上述目的，本发明采用以下技术方案：

[0006] 在一些实施例中，一种具有美肤美妆指导功能的智能镜系统，包括附有镜膜的曲面或平面的屏幕、三维人脸信息采集装置、存储器与处理单元，所述存储器中预存有妆容规
则库，优选还存有用户肤色肤质状况数据库、化妆品信息数据库，所述三维人脸信息采集装
置、所述存储器均与所述处理单元相连，所述三维人脸信息采集装置用于采集用户的真实
三维人脸信息，所述处理单元经配置对所述三维人脸信息进行处理，将所述三维人脸信息
与基于妆容大数据采集经过机器学习得出的三维人脸模型进行对比，根据所述对比的差
异，在所述三维人脸模型的基础上结合妆容规则库、优选以及用户肤色肤质状况数据库、化
妆品信息数据库，进行美妆推荐与美妆指导，并将推荐的妆容样图呈现在所述屏幕上，且用
户能够通过所述镜膜查看自己的面部。

[0007] 优选地，所述美妆指导包括对根据用户选择反馈生成对应妆容的化妆过程指引，如每一步所使用的化妆工具、工具用法、配套粉、液及色彩；

[0008] 优选地，经过机器学习得到人脸模型，是通过对人脸妆容的大数据采集，基于卷积网络CRN模型得出归一优化的人脸三维模型。

[0009] 优选地，所述三维人脸信息采集装置包括光栅发射装置和光栅图案采集装置，所述光栅发射装置和所述光栅图案采集装置与所述处理单元相连，所述光栅发射装置用于发
射栅状探测光线，以在用户的脸上形成结构光图案，所述采集装置用于采集所述结构光图
案以获得所述三维人脸信息；更优选地，所述采集装置为CCD。

[0010] 在一些实施例中，一种具有美肤美妆指导功能的智能镜系统，包括附有镜膜的曲面或平面的屏幕、环境光模拟装置与处理单元，所述环境光模拟装置包括环境光感应装置
和发光装置，所述环境光感应装置和所述发光装置均与所述处理单元相连，所述环境光感
应装置用于对包括自然光在内的环境光进行感应，所述处理单元根据所述环境光感应装置
获得的感应信息，控制所述发光装置进行发光，基于环境光信息、用户妆容目标场景与个人
偏好设置对环境光进行模拟校正调节，以适应用户在不同环境下个性化的化妆需求，和/或
模拟出用户需要的各种情境的光照环境，和/或在环境光照不充足的情况下补光；

[0011] 优选地，所述发光装置包括分别设置在屏幕上部和下部的两条LED光带。

[0012] 在一些实施例中，一种具有美肤美妆指导功能的智能镜系统，包括附有镜膜的曲面或平面的屏幕、屏幕显示与图像参数校正装置、与处理单元，所述屏幕显示与图像参数校
正装置包括环境光感应装置，所述环境光感应装置与所述处理单元相连，所述环境光感应
装置用于对包括自然光在内的环境光进行感应，所述处理单元根据所述环境光感应装置获
得的感应信息控制所述屏幕，基于环境光信息、用户妆容目标场景与个人偏好设置对屏幕
显示与图像参数如屏幕亮度、色彩、色温、色调进行校正调节，以适应用户在不同环境下个
性化的化妆需求。

[0013] 在一些实施例中，一种具有美肤美妆指导功能的智能镜系统，包括附有镜膜的曲面或平面的屏幕、摄像头、化妆笔、存储器与处理单元，所述存储器中预存有笔数据库和妆
容规则库，所述摄像头、所述存储器均与所述处理单元相连，所述摄像头用于捕捉所述化妆
笔在化妆过程中的动作信息以及用户人脸上产生的妆容变化，所述处理单元经配置实时识
别所述化妆笔的动作位置、方向及化妆轨迹，并结合人脸的妆容变化，与所述笔数据库的预
置笔信息和所述妆容规则库中的预置妆容规则信息进行对比，根据对比结果对用户的化妆
动作方法进行提示和指导，所述进行提示和指导包括以所述屏幕上的扬声器发音和/或及
基于所述屏幕的增强现实显示的方式来向用户指引化妆动作方法，和/或提示用户是否达
到相应步骤的预定效果。

[0014] 优选地，所述化妆笔上具有可识别标记，所述处理单元利用所述摄像头捕捉的图像中的所述可识别标记的信息，来识别所述化妆笔的动作位置、方向及化妆轨迹；或者，初
始化阶段先对所述化妆笔的形状及色彩特征的记录，所述处理单元利用所述摄像头捕捉的
图像中的化妆笔形状及色彩特征的信息，来识别所述化妆笔的动作位置、方向及化妆轨迹。

[0015] 优选地，所述化妆笔包括笔本体以及设置在笔本体上的压感单元和方向传感器，所述压感单元安装在笔头，用于检测所述化妆笔在化妆过程中的压感信息，所述方向传感
器用于检测所述化妆笔在化妆过程中的运行方向信息，所述压感单元和所述方向传感器以
无线或有线方式连接所述处理单元，所述处理单元还获取所述压感信息和所述运行方向信
息，并根据所述压感信息和所述运行方向信息分析得到所述化妆笔的动作方式和化妆轨
迹。

[0016] 在一些实施例中，一种具有模拟美肤美妆练习功能的智能镜系统，包括附有镜膜的曲面或平面的屏幕、存储器、化妆笔与处理单元，所述存储器中预存有笔数据库和妆容规
则库，所述化妆笔包括笔本体以及设置在笔本体上的压感单元和方向传感器，所述压感单
元安装在笔头，用于检测所述化妆笔在模拟化妆过程中对物体的压感信息，所述方向传感
器用于检测所述化妆笔在模拟化妆过程中的运行方向信息，所述压感单元和所述方向传感
器以无线或有线方式连接所述处理单元，所述处理单元根据所述压感信息和所述运行方向
信息分析得到所述化妆笔的动作方式和化妆轨迹，结合笔数据库和妆容规则库，生成人脸
三维坐标系下的虚拟化妆图像，并通过所述屏幕进行显示，以完成化妆模拟练习过程。

[0017] 在一些实施例中，一种美肤美妆指导方法，采用所述的智能镜系统，在用户化妆或模拟化妆的过程中给予用户美肤美妆指导。

[0018] 在一些实施例中，一种美妆辅助方法，使用所述的智能镜系统，所述方法包含以下步骤：

[0019] 步骤1：初始化智能镜系统的光源设置，根据环境信息、妆容目标场景与个人偏好设置和调整光照；

[0020] 步骤2：初始化妆容偏好，场景选择，设定个人偏好选择，系统据此筛选可选妆容类别；

[0021] 步骤3：获取用户的面部三维结构信息与色彩信息，并构建用户人脸三维模型；

[0022] 步骤4：通过机器学习的方式获得与该用户人脸三维模型对应的完美脸部模型，对比得出差异；

[0023] 步骤5：根据步骤4得出的差异与预制的妆容规则库，生成推荐妆容与化妆步骤；

[0024] 步骤6：引导用户完成每一化妆步骤，优选地，在用户化妆时，识别用户使用的化妆笔动作位置及方向，在皮肤上产生的颜色变化，实时与预置数值进行比较，并以声音及增强
现实显示方式提示用户化妆动作方法及是否达到每一步骤的预定效果。

[0025] 在一些实施例中，一种长期美肤辅助方法，使用所述的智能镜系统，包含以下基本步骤：

[0026] 步骤1：在用户使用智能镜系统时，智能镜系统采集用户未化妆前的面部轮廓及肤色，并基于图像特征提取的方法检测肌肤的肤质、肤色、平滑度等状况；

[0027] 步骤2：将检测结果与之前的记录进行比较，以及与预定的完美模型进行比较，对比得出差异后给用户以提示；

[0028] 步骤3：将用户皮肤差异与预制护肤规则库进行比对，生成推荐护肤保养方案，包括护肤用品及使用步骤等的建议。

[0029] 需要说明的是，以上的各个实施例的方案与技术特征也可以进行相互结合和组合。

[0030] 本发明具有如下有益效果：

[0031] 通过上述技术方案，可实现对用户从护肤到美妆的整体流程进行由宏观到分布的指导，展现美肤美妆方案，指导化妆者完成个性化和接近专业化的化妆，解决了用户在学习
不同妆容过程中缺乏指导、对自身肌肤状况认识不足、化妆护肤方法缺少具有针对性实用
建议的问题，具有易操作、定制化，个性化的优点。

[0032] 通过上述技术方案，环境光模拟装置可以模拟出各种环境光以供用户选择，尤其是可以模拟出用户需要的环境，满足了用户在不同环境下的化妆需求。

[0033] 由于妆容成像显示与化妆步骤模拟均对显示装置的颜色等参数有极高的要求，通过上述技术方案，根据环境光等信息，可精确的动态调整显示屏的亮度、对比度、色调等参
数，还可解决屏幕色彩、色温偏差问题。

[0034] 在装置使用过程中，不仅方便用户查看自己的面部，还可将根据用户情况优选测算的模拟妆容呈现在屏幕中，增强用户体验。获取化妆对象的妆前面部图像，并通过所述面
部识别电路处理识别后，可以推荐相匹配的妆容供用户参考，不仅能够提升用户体验，而且
提高了化妆效率，减小化妆品的浪费，绿色环保，操作方便。

[0035] 系统的使用方法符合用户化妆心理，系统生成的美妆推荐和美妆指导能很好地使用户掌握各种环境下的化妆技巧。

[0036] 使用用增强现实功能的智能笔模拟化妆过程，节省了用户的成本，通过虚拟化妆的练习就能掌握化妆方法。

[0037] 美肤美妆推荐系统提取的脸部三维结构信息与色彩信息，可在合理时间内，完成美肤美妆推荐系统的计算工作；可对美肤美妆推荐系统的结果进行推荐。

[0038] 设备操作方法简易，用户能够在良好的体验下学习到符合自身外貌特征及肌肤状况的美肤美妆方法。

[0039] 另外，用户可获得针对性较强的个人肌肤护理建议，并获得相对专业的护肤品购买指导。
附图说明

[0040] 图1为本发明一种实施例智能镜系统的结构示意图；

[0041] 图2为本发明一种实施例智能镜系统的侧面示意图；

[0042] 图3为本发明一种实施例智能镜系统的背面示意图；

[0043] 图4为本发明一种实施例中的智能笔结构示意图；

[0044] 图5为本发明一种实施例的系统结构框图。

具体实施方式

[0045] 以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

[0046] 需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定
作用也可以是用于电路或信号连通作用。

[0047] 需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

[0048] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

[0049] 参阅图1至图3和图5，根据第一方面的实施例的具有美肤美妆指导功能的智能镜系统，包括附有镜膜的曲面或平面的屏幕1、三维人脸信息采集装置2、存储器与处理单元5，所述存储器中预存有妆容规则库、用户肤色肤质状况数据库、化妆品信息数据库，所述三维
人脸信息采集装置2、所述存储器均与所述处理单元5相连，所述三维人脸信息采集装置2用
于采集用户的真实三维人脸信息，所述处理单元5经配置对所述三维人脸信息进行处理，将
所述三维人脸信息与基于妆容大数据采集经过机器学习得出的三维人脸模型进行对比，根
据所述对比的差异，在所述三维人脸模型的基础上结合妆容规则库、用户肤色肤质状况数
据库、化妆品信息数据库进行美妆推荐与美妆指导，将推荐的妆容样图呈现在所述屏幕1
上，且用户能够通过所述镜膜查看自己的面部。

[0050] 经过机器学习得到人脸模型可以是通过对人脸妆容的大数据采集，基于卷积网络CRN模型得出归一优化的人脸三维模型。

[0051] 优选的实施例中，所述三维人脸信息采集装置2包括光栅发射装置和采集装置，所述光栅发射装置和所采集装置与所述处理单元5相连，所述光栅发射装置用于发射栅状探
测光线，以在用户的脸上形成结构光图案，所述采集装置用于采集所述结构光图案以获得
所述三维人脸信息；更优选地，所述采集装置为CCD。

[0052] 参阅图1至图3和图5，根据第二方面的实施例的具有美肤美妆指导功能的智能镜系统，包括附有镜膜的曲面或平面的屏幕1、环境光模拟装置与处理单元5，所述环境光模拟
装置包括环境光感应装置4和发光装置3，所述环境光感应装置4和所述发光装置3均与所述
处理单元5相连，所述环境光感应装置4用于对包括自然光在内的环境光进行感应，所述处
理单元5根据所述环境光感应装置4获得的感应信息，控制所述发光装置3进行发光，基于环
境光信息、用户妆容目标场景与个人偏好设置对环境光进行模拟校正调节，以适应用户在
不同环境下个性化的化妆需求，和/或模拟出用户需要的各种情境的光照环境，和/或在环
境光照不充足的情况下补光。

[0053] 优选的实施例中，所述发光装置3包括分别设置在屏幕1上部和下部的两条LED光带。

[0054] 参阅图1至图3和图5，根据第三方面的实施例的具有美肤美妆指导功能的智能镜系统，包括附有镜膜的曲面或平面的屏幕1、屏幕显示与图像参数校正装置、与处理单元5，
所述屏幕显示与图像参数校正装置包括环境光感应装置4，所述环境光感应装置4与所述处
理单元5相连，所述环境光感应装置4用于对包括自然光在内的环境光进行感应，所述处理
单元5根据所述环境光感应装置4获得的感应信息控制所述屏幕1，基于环境光信息、用户妆
容目标场景与个人偏好设置对屏幕显示与图像参数如屏幕1亮度、色彩、色温、色调进行校
正调节，以适应用户在不同环境下个性化的化妆需求。

[0055] 参阅图1至图3和图5，根据第四方面的实施例的具有美肤美妆指导功能的智能镜系统，包括附有镜膜的曲面或平面的屏幕1、摄像头、化妆笔、存储器与处理单元5，所述存储器中预存有笔数据库和妆容规则库，所述摄像头、所述存储器均与所述处理单元5相连，所
述摄像头用于捕捉所述化妆笔在化妆过程中的动作信息以及用户人脸上产生的妆容变化，
所述处理单元5经配置实时识别所述化妆笔的动作位置、方向及化妆轨迹，并结合人脸的妆
容变化，与所述笔数据库的预置笔信息和所述妆容规则库中的预置妆容规则信息进行对
比，根据对比结果对用户的化妆动作方法进行提示和指导，所述进行提示和指导包括以所
述屏幕1上的扬声器发音和/或及基于所述屏幕1的增强现实显示的方式来向用户指引化妆
动作方法，和/或提示用户是否达到相应步骤的预定效果。

[0056] 优选的实施例中，所述化妆笔上具有可识别标记，所述处理单元5利用所述摄像头捕捉的图像中的所述可识别标记的信息，来识别所述化妆笔的动作位置、方向及化妆轨迹；
或者，初始化阶段先对所述化妆笔的形状及色彩特征的记录，所述处理单元5利用所述摄像
头捕捉的图像中的化妆笔形状及色彩特征的信息，来识别所述化妆笔的动作位置、方向及
化妆轨迹。

[0057] 优选的实施例中，所述化妆笔包括笔本体、设置在笔本体上的压感单元和方向传感器6、以及信号传输模块7，所述压感单元安装在笔头，用于检测所述化妆笔在化妆过程中
的压感信息，所述方向传感器6用于检测所述化妆笔在化妆过程中的运行方向信息，所述压
感单元和所述方向传感器以无线或有线方式连接所述处理单元5，所述处理单元5还获取所
述压感信息和所述运行方向信息，并根据所述压感信息和所述运行方向信息分析得到所述
化妆笔的动作方式和化妆轨迹。化妆笔可通过信号传输模块7与处理单元通信连接。化妆笔
可通过电池8来供电。

[0058] 参阅图1至图5，根据第五方面的实施例的具有模拟美肤美妆练习功能的智能镜系统，包括附有镜膜的曲面或平面的屏幕1、存储器、化妆笔与处理单元5，所述存储器中预存
有笔数据库和妆容规则库，所述化妆笔包括笔本体、设置在笔本体上的压感单元和方向传
感器6、以及信号传输模块7，所述压感单元安装在笔头，用于检测所述化妆笔在模拟化妆过
程中对物体的压感信息，所述方向传感器6用于检测所述化妆笔在模拟化妆过程中的运行
方向信息，通过信号传输模块7，所述压感单元和所述方向传感器以无线或有线方式连接所
述处理单元5，所述处理单元5根据所述压感信息和所述运行方向信息分析得到所述化妆笔
的动作方式和化妆轨迹，结合笔数据库和妆容规则库，生成人脸三维坐标系下的虚拟化妆
图像，并通过所述屏幕1进行显示，以完成化妆模拟练习过程。

[0059] 参阅图1至图5，在一些实施例中，一种具有美肤美妆指导功能的智能镜系统，智能镜系统包括附有镜膜的平面或曲面触摸屏，屏幕1左右两侧集成2个或多个摄像头，屏幕1上
下装有LED光带；曲面触摸屏可用于实时显示三维人脸信息。屏幕1后端为中央处理模块，包
含存储器与信息处理单元5，存储器中预制有妆容规则库、人脸肤质状况的数据库、化妆品
与护肤品信息数据库等，处理单元5可进行人脸三维信息处理，通过真实三维数据与机器学
习模型得出的三维模型对比，结合妆容规则等数据库进行美妆推荐与美妆指导；屏幕1下端
连接底座，底座上方连接有自然光感应装置进行环境光色彩校正，与LED光带控制装置连
接。彩妆化妆笔的相关数据与化妆结果轨迹分析系统及笔数据库进行交互，配套的彩妆笔
数据库由智能镜中的化妆品信息数据库进行更新。通过上述智能镜系统，可实现对用户从
护肤到美妆的整体流程进行由宏观到分布的指导，展现美肤美妆方案，指导化妆者完成个
性化和接近专业化的化妆，解决了用户在学习不同妆容过程中缺乏指导、对自身肌肤状况
认识不足、化妆护肤缺少具有针对性的实用建议的问题。

[0060] 智能镜以附有镜膜的曲面触摸屏为主体，与底座通过转动副链接，其高度可调。主体部分上方与下方均有模拟自然光LED发光光带。所述平面或曲面触摸屏幕1两侧集成至少
两个摄像头。摄像头装置、LED发光光带、触摸屏等均与装置中安排的中央信息处理单元5相
连接。

[0061] 智能镜系统包含存储器与信息处理单元5，存储器中预制有妆容规则库、人脸肤质状况的数据库、化妆品护肤品信息数据库等，信息处理单元5通过真实三维数据与机器学习
模型得出的三维模型对比，结合妆容规则等数据库进行美妆推荐与美妆指导。

[0062] 一些实施例的智能镜的屏幕1上有屏幕显示与图像参数校正装置，主要包括光线传感器，对环境光进行感测，处理单元5根据感测结果进行屏幕显示与图像参数校正，适应
于环境，解决屏幕色彩、色温偏差问题。

[0063] 一些实施例的智能镜的屏幕1上有环境光模拟装置，主要包括光线传感器和系统光发射器，如LED光带，可通过感测真实环境光并调整光发射器模拟产生各种环境光以供用
户选择。

[0064] 智能镜的底座内集成了电源模块，所有的用电装置都与电源直接或间接相连，电源为其供电。

[0065] 在一些实施例中，系统还具有可配套使用，检测化妆动作来生成指导的化妆笔，其中一种是可选的具有特殊标记，例如反光条码或二维码标签的化妆笔，摄像头可捕捉化妆
过程中的动作信息。也可以使用无配合标签的普通化妆笔，则需要有初始化阶段的笔类别
和形状特征的可在工厂完成或由用户完成的初始化录入过程以便智能处理单元5进行识
别。

[0066] 一种基于智能镜系统的美肤美妆推荐系统，可提取脸部三维结构信息与色彩信息，具备足够的计算能力，具备显示功能。美肤美妆推荐系统的输入信息为智能镜系统提取
的脸部三维结构信息与色彩信息；该系统可在合理时间内，完成美肤美妆推荐系统的计算
工作并与用户交互；该系统可对根据用户选择反馈生成对应妆容的化妆过程，例如每一步
所使用的工具、工具用法、配套粉、液及色彩。系统可内置基于三维人脸模型的多场景妆容
数据库，妆容数据包括最后的效果模型及可根据条件进行调整计算的化妆步骤数据。系统
可存储有用户过往肤质肤色信息，可计算统计肤质肤色历史变化状况。

[0067] 一种美妆辅助方法，使用智能镜系统，方法包含以下基本步骤：

[0068] 步骤1：初始化光源设置，根据环境信息、妆容目标场景与个人偏好设置和调整；

[0069] 步骤2：初始化妆容偏好，场景选择，设定个人偏好选择，据此筛选可选妆容类别；

[0070] 步骤3：获取用户面部三维结构信息与色彩信息，并构建用户人脸三维模型矩阵；

[0071] 步骤4：比对用户人脸模型以及第二步得到的可选妆容类别进行比对挑选，对比得出差异，去掉不可行妆容后输出用户化妆后形象供用户挑选；

[0072] 步骤5：根据步骤4得出的差异、用户选择妆容后与预制妆容步骤进行计算，生成每一步化妆指南以及每一步后的立体的效果示意；

[0073] 步骤6：用户确认选择后，引导用户完成每一化妆步骤，在用户化妆时，识别用户使用的化妆笔动作位置及方向，以及在皮肤上的颜色变化并实时与预置数值进行比较，并以
声音及增强现实显示方式提示用户化妆动作方法及是否达到每一步骤的预定效果。

[0074] 一种长期美肤辅助方法，使用智能镜系统，方法包含以下基本步骤：

[0075] 步骤1：在每一次用户使用时，记录用户未化妆前的面部轮廓及肤色分布，并基于图像特征提取的方法检测肌肤的肤质、肤色、平滑度等状况；

[0076] 步骤2：每一次用户使用时，与之前记录进行比较，以及与预定的完美模型进行比较，对比得出差异后给用户以提示；

[0077] 步骤3：将用户皮肤差异与预制护肤规则库进行比对，生成推荐护肤保养方案，包括护肤用品及使用步骤等的建议。

[0078] 由此，本发明实施例的具有美肤美妆指导功能的智能镜及相应系统、方法能够克服消费者对与自身肌肤状况与面部特征的了解不系统、不深入，没有较为权威且定制化的
课程可供学习的问题，且具有易操作、可定制化、个性化的特质与优点。

[0079] 在另一些具体实施例中，智能镜还包括屏幕左右两侧集成光栅发射装置，还配有CCD接收装置，光栅发射装置产生的图像信息由CCD接收装置接收并传输到中央处理模块。
集成的光栅发射装置和CCD接收装置用于发射和接收栅状探测光线，采集三维人脸信息。中
央信息处理单元与光栅发射和接收装置相连，是中央处理器包含存储器与信息处理单元，
用于处理三维人脸模型并生成美妆护肤推荐与美妆护肤指导。

[0080] 在另一些实施例中，还提供一种智能化妆笔。智能笔系统包含智能笔本体与信息处理模块，智能笔集成笔头部分的压感单元、中部的方向传感器及尾部的信息传输及电源
模块。智能笔的信息处理模块还可具备智能笔轨迹分析系统与笔数据库，智能笔获取的相
关数据与智能笔轨迹分析系统及笔数据库进行交互，笔数据库由智能镜中的化妆品信息数
据库进行更新。通过具有增强现实功能的智能笔，可捕捉化妆过程中的运行及压感信息，在
人脸三维坐标系下，可以指导实际化妆或完成化妆模拟过程。

[0081] 处理单元根据所述压感信息和所述运行方向信息分析得到所述化妆笔的动作方式和化妆轨迹,既可辅助或代替对化妆笔的前述影像识别方式，来生成指导实际化妆过程
的指引和推荐，也可以结合笔数据库和妆容规则库，生成人脸三维坐标系下的虚拟化妆图
像，并通过所述屏幕进行显示，以供用户完成化妆模拟练习过程。

[0082] 在一些实施例中，所述智能镜所搭载的美肤规则系统方案为，将监测区域分为T区、脸颊、眼部，唇部及颈部五个部分。针对每个用户，在妆前人脸扫描阶段对相应皮肤区域的相关参数进行记录，包括但不仅限于：皱纹、肤色、油水平衡程度、毛孔情况、细纹、色斑，痘印等，使得每位智能镜用户拥有一个周期性更新的定制化的个人肌肤状况数据库。

[0083] 通过提供定制化肌肤状况数据库，用户可随时读取在一段时间内自身肌肤状况的图像化报告，对自身的肌肤状况、自身肌肤状况与个人习惯及周围环境的关联有直观的了
解。

[0084] 系统可以无线网络形式定期更新相关护理皮肤的建议，包括但不仅限于作息、饮食、运动等方面，另维护一个护肤产品数据库，针对用户的肌肤状况，对护肤品的购买进行
建议，并对护肤品使用步骤、手法等细节提供互动教程。用户可获得针对性较强的个人肌肤
护理建议，并获得相对专业的护肤品购买指导。

[0085] 用户个人肌肤状况数据库可在用户授权的前提下上传至云端，可在其他智能终端上对相关参数进行读取。用户还可向开发者开放数据库权限，方便开发人员对相关方案及
 算法进行优化。用户可随时随地方便地读取自身肌肤状况报告，开发者可研究开放的数据
库，对相应的参数及算法进行调整优化。

[0086] 在一些实施例中，所述智能镜所搭载的美妆规则系统方案为，基于机器学习3D模型基础上的结构画法，妆容的表现方面，主要是用阴影色和亮色的搭配，定义和增强面部特
征。在需要凹陷的部位涂上阴影色，需要凸现的部位涂上明亮色。用色搭配，可以用同种色，可用相近色，也可以用对比色。要会调整五官的形状和比例，还要能灵活利用化妆工具、手
法与技巧。通过色彩的明暗原理表现面部的凹凸层次：并能通过不同程度的刻画，适合皮
肤、脸形、五官的刻画，表现不同的妆型表现。

[0087] 检测的识别对象可分为脸型轮廓、左右眉毛轮廓、左右眼睛轮廓，鼻型轮廓以及唇部轮廓五个部分。

[0088] 通过使用这种系统，美妆后让用户面部更加立体，以达到美化用户面部的目的。在用户额头、下巴、脸颊左右端，与屏幕中的标识，进行面部定位操作，进而便于后期上妆的精准度，确保最终良好妆容效果的呈现。

[0089] 用户可以根据自己的实际情况在妆容数据库里对妆容策略进行选择。智能镜记录用户对某一妆容的使用频率并给予标记。通过“三庭五眼”“黄金分割比”“模糊数学”得来的妆容模拟系统，对识别的人脸特征区域进行上装操作，

[0090] 利用化妆模拟系统以及化妆策略的选择，以及对识别与提取用户面部三维结构与色彩信息的特征数据，调整局部妆容三维结构参数(如面部局部特征的颜色、浓度、范围、形状等)满足用户需求。

[0091] 使用上述系统，通过进行人机交互，可以达到提升面部特征以及实现多种妆容的最终效果。

[0092] 操作完成后，用户在曲面触摸显示屏中，可预览上妆后的整体妆容效果，通过机器学习的方式获得用户面部模型对应的完美面部模型，得出差异，为用户提供妆容教学说明，
生成推荐妆容与化妆步骤，以及针对面部特征较强的个例，提供通过妆容来弥补缺陷的建
议及措施，可用户模拟化妆过程中进行实时指导。用户如不满，可对不妥的妆容细节可进行
局部调整；调整后，并保存当前用户个性化定制的妆容效果及妆容策略。

[0093] 系统内还可包含局部妆容设计模块。在这一模块中，可对不同场景(如日常妆，晚宴妆，办公妆等)进行定义。

[0094] 妆容设计模块可分为面部妆容设计模块、眼部妆容设计模块、鼻形妆容设计模块、唇部妆容设计模块。面部妆容设计模块，可提供粉底不同肤色，腮红不同颜色与不同浓度的
选择。眼部妆容设计模块，可包含五个妆容设计子模块，依次是眉毛、眼影、眼线、睫毛、美瞳。可根据用户选择不同场景相对应的妆容进行匹配，并对用户进行妆容教学。鼻形妆容设
计模块，可根据三维结构面部的特征数据，推算出用户鼻梁的高低不同，并通过测算，对相
对低鼻梁的用户，对鼻形进行立体化处理。唇部妆容设计模块，可根据不同场景的选择，对
唇部现实画法进行匹配，通过对色彩信息的改变，制作出不同妆容风格的唇部效果。

[0095] 该系统还承载来对现实化妆品的使用教程信息，化妆品的颜色信息，以及化妆品的适用范围等。

[0096] 以下描述几种典型的具体实施例。

[0097] 实施例一

[0098] 本实施例提供一种便携式智能化妆镜，如图1所示，主要包括附有镜膜的曲面触摸显示屏与底座通过转动副连接，其高度可调。采用触摸屏，可视化操作，非常便捷，用户体验好。在实际制造过程中，装置进行边框密封设置，防止化妆时有化妆液体的溅入，影响装置
的正常工作。其中，曲面触摸屏内嵌于装置中，由于表面附有镜膜，在关闭状态下可充当化
妆镜使用。在装置使用过程中，可将用户优选测算的模拟妆容呈现在屏幕中，并且方便用户
查看自己的面部，增强用户体验。在本实例中，上方与下方均有自然光模拟光带。所述补光
灯通过感应开关与电源电路相连接。通过光带，可在光照不充足的情况下方便用户美肤美
妆。为了满足多种情境下的需要，所选光带为可变色(暖光、冷光)LED光带。本实例中，中央处理模块包含有存储器与信息处理单元，相互之间通过集成电路相连接。存储器中预制有
妆容规则库、人脸肤质状况的数据库、化妆品与护肤品信息数据库。信息单元负责运算工
作，通过真实三维数据与机器学习模型得出的三维模型对比，结合妆容规则等数据库进行
美妆推荐与美妆指导。本实例中，机器学习模型的获取，优选的通过对美丽妆容的人脸的大
数据采集，基于卷积网络CRN模型得出归一优化的人脸三维模型。在调参完成后预制于中央
处理模块中，在推荐系统中进行调用。本实例中，具有光栅发射装置与高清CCD接收装置，采用结构光三维模型构建原理，光栅发射装置发射光线投影于人脸，CCD装置接收反射光线信
息，通过如上所述的信息处理单元得出人脸的三维模型。作为后续美肤美妆推荐功能的基
础。

[0099] 本实例还包含基础的电源模块与图像校准装置等的基本功能支撑所必须的部分。所有装置与电源直接或间接相连，电源为其进行供电。图像校准装置主要为曲面触摸显示
屏服务，由于妆容成像显示与化妆步骤模拟均对显示装置的颜色有极高的要求。图像校准
装置将根据环境光等信息，精确的动态调整显示屏的亮度、对比度、色调等参数。

[0100] 实施例二

[0101] 本实施例提供一种具有增强现实功能的智能笔。智能笔可通过压感单元与方向传感器捕捉化妆过程中的运行及压感信息，可在人脸三维坐标系下，完成化妆模拟过程。其具
有信息传输模块，与附属处理装置相连接。并内含有可充电电源模块，保证智能笔的正常运
行。其中，附属处理装置可为可插拔移动设备。可通过标准接口与智能镜相连接。其内含分
析单元与信息传输模块。信息传输模块也可包含有无线通信电路，用于与所述智能笔的数
据信息实时同步传输。信号传输稳定，更新即时，确保数据信息不会丢失。分析单元可用于
处理智能笔的运动、压感等信息，处理后的信息再送至处理单元。通过信息处理，可以推荐
相匹配的妆容供用户参考，提高了化妆效率，减小化妆品的浪费，绿色环保，操作方便。

[0102] 实施例三

[0103] 本实施例提供一种美肤美妆推荐系统及其方法，基于前述任一智能镜系统，内置基于三维人脸模型的多情形妆容数据库，存储用户过往肤质肤色信息，可计算统计肤质肤
色历史变化状况。优选的，基于上述智能镜可提取脸部三维结构信息与色彩信息，具备足够
的计算能力，具备显示功能。

[0104] 该方法包括：

[0105] a)美肤美妆推荐系统的流入信息为装置提取的脸部三维结构信息与色彩信息；

[0106] b)该装置可在合理时间内，完成美肤美妆推荐系统的计算工作；

[0107] c)该装置可对美肤美妆推荐系统的结果进行推荐。

[0108] 实施例四

[0109] 本实施例提供一种美妆辅助方法，基于前述任一智能镜系统，其基本步骤如下：

[0110] 步骤1：初始化光源设置，根据环境信息与个人偏好设置光照；

[0111] 步骤2：初始化妆容偏好，基于个人偏好选择妆容风格；

[0112] 步骤3：获取用户面部三维结构信息与色彩信息，并构建人脸三维模型矩阵；

[0113] 步骤4：通过机器学习的方式获得此模型对应的完美脸部模型，对比得出差异；

[0114] 步骤5：步骤4得出的差异与预制妆容规则库进行对比，生成推荐妆容与化妆步骤；

[0115] 步骤6：在化妆模拟教学过程中可对化妆过程进行实时指导。

[0116] 实施例五

[0117] 本实例中还包含一种美肤辅助方法，基于前述任一智能镜系统，其基本步骤如下：

[0118] 步骤1：基于特征提取的方法检测肌肤的肤质、肤色、平滑度等状况；

[0119] 步骤2：与长期追踪的皮肤信息进行对比得出差异；

[0120] 步骤3：将差异与预制护肤规则库进行比对，生成宏观的护肤方案；

[0121] 步骤4：向用户推荐护肤方案。

[0122] 以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，
在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，
而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术
语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一
个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施
例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例
中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中
描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

标题	发布/更新时间	阅读量
一种柔性卫星通信设备	2020-06-22	0
容积式智能水表基表	2020-12-03	2
一种保持机组正压的压力控制装置、方法及空调设备	2020-05-18	0
一种智能水肥一体化浇灌系统	2021-01-19	2
一种基于深度神经网络的意念控制系统	2021-02-01	2
一种基于低折射率的探针型近红外石墨烯PCF传感器	2020-07-03	0
贮脂周转箱	2020-09-29	1
一种用于活塞杆与活塞的铆压设备	2020-10-10	2
无菌发酵罐体机械密封碎屑循环冲洗降温装置	2023-01-20	1
滚筒杀青机变频调速及感应加热控制系统	2020-10-21	2

具有美肤美妆指导功能的智能镜系统及方法

具有美肤美妆指导功能的智能镜系统及方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：