技术领域
[0001] 本
发明涉及皮肤检测技术领域，尤其涉及一种指
定位置皮肤皱纹评估方法及系统。
背景技术
[0002] 随着人们生活品质的提升，越来越多的人特别是女性开始关注自身的皮肤状况，随之兴起的是随处可见的美容机构，以及市场上各式各样的针对皮肤状况的保养产品。
[0003] 人们为了及时的了解的皮肤
健康状态，通常是选择去美容机构获得美容服务，由美容机构中的美容师对使用者的皮肤状态作出评估，而美容师在作出评估时通常是基于个人的主观经验，每个人评估出的结果都可能存在差异，因而不能使用户准确的了解自己脸部皮肤的健康状态，例如眼
角是否有皱纹、面部是否有法令纹等。
[0004] 目前的市场上，虽然存在一些皮肤检测设备，例如皮肤检测仪等，但是这些皮肤检测设备的价格比较昂贵，并且操作非常复杂，不适合用户在家中使用。同时这些皮肤检测设备的检测原理通常只是通过一些
传感器采集到的传感数据进行平面的
数据处理，不会涉及到三维面部重建的问题，因此对于油性皮肤、皮肤缺
水等皮肤状况会有较好的检测效果，而对于脸部皮肤皱纹的皮肤状况的检测效果不佳，无法满足用户的需求。
发明内容
[0005] 根据
现有技术保护中存在的上述问题，现提供一种指定位置皮肤皱纹评估方法及系统的技术方案，旨在结合皮肤检测与化妆镜的功能，提供皮肤皱纹
三维重建和三维评估的能
力，使得用户能够精确掌握自身的皮肤皱纹情况，提升用户体验。
[0006] 上述技术方案具体包括：
[0007] 一种指定位置皮肤皱纹评估方法，其中，采用一皮肤检测镜对人脸的皮肤进行皱纹评估，所述皮肤检测镜中包括一
图像采集装置，一以及与所述图像采集装置连接的位置检测装置；一界面操作装置，所述皮肤检测镜远程连接一
云服务器，还包括：
[0008] 步骤S1，所述位置检测装置用以检测人脸是否出现在所述图像采集装置的拍摄区域；
[0009] 若是，执行步骤S2；
[0010] 若否，形成一提示信息，使使用者调整人脸的摆放位置，返回步骤S1；
[0011] 步骤S2、在不同的
光源照射下，采用所述图像采集装置分别拍摄关联于同一张人脸的指定脸部位置的不同的人脸图像；
[0012] 所述界面操作装置提供预设的多个关于脸部位置的位置标识，根据拍摄的脸部位置，使用者于所述操作界面中选择与所述脸部位置对应的位置标识；
[0013] 步骤S3、所述皮肤检测镜将所述人脸图像以及所述人脸图像的位置标识一同发送至所述云服务器中；
[0014] 步骤S4，所述云服务器通过光度立体法处理得到所述人脸图像中各个
像素点的单位法向量；
[0015] 步骤S5，所述云服务器根据所述单位法
向量处理得到各个像素点的表面深度信息；
[0016] 步骤S6，所述云服务器依据各个像素点的所述表面深度信息以及各个像素点位于所述人脸图像上的位置信息形成人脸的脸部立体图像；
[0017] 步骤S7，所述云服务器预先按照不同的脸部位置训练形成对应的皮肤皱纹评估模型，所述云服务器根据所述位置标识采用与所述位置标识对应的所述皮肤皱纹评估模型对所述脸部立体图像进行判断，以得到所述指定脸部位置的对应的皮肤皱纹评估结果并输出至远程连接所述云服务器的用户终端，以供用户查看。
[0018] 指定位置皮肤皱纹评估方法优选的，该指定位置皮肤皱纹评估方法，其中，所述步骤S1中，至少在3个不同的光源照射下拍摄得到所述人脸图像，所有所述光源不处于同一条直线上。
[0019] 优选的，该指定位置皮肤皱纹评估方法，其中，所述光源为12个。
[0020] 优选的，该指定位置皮肤皱纹评估方法，其中，所述步骤S2具体包括：
[0021] 步骤S41，将一个所述像素点作为待处理像素点；
[0022] 步骤S42，判断所述待处理像素点是否为高光的像素点：
[0023] 若是，则转向步骤S43；
[0024] 若否，则转向步骤S44；
[0025] 步骤S43，采用不同的所述人脸图像中相同位置的非高光的像素点进行替换，随后转向步骤S44；
[0026] 步骤S44，处理得到所述待处理像素点的表面法向量；
[0027] 步骤S45，根据所述像素点的表面法向量处理得到所述像素点的单位法向量。
[0028] 优选的，该指定位置皮肤皱纹评估方法，其中，所述步骤S3具体包括：
[0029] 针对每个所述像素点，依据所述单位法向量建立预设的约束公式，并依照所述约束公式处理得到所述像素点的所述表面深度信息。
[0030] 优选的，该指定位置皮肤皱纹评估方法，其中，所述约束公式具体为：
[0031]
[0032]
[0033] 其中，
[0034] V1和V2均为人脸的脸部表面的切向向量；
[0035] n用于表示所述像素点的所述单位向量；
[0036] x和y用于表示所述像素点在人脸图像上的平面的位置信息；
[0037] z用于表示所述表面深度信息。
[0038] 优选的，该指定位置皮肤皱纹评估方法，其中，所述步骤S7中，所述脸部位置对应的所述皮肤皱纹评估模型包括：用于评估人脸的眼角皱纹的第一评估模型；
[0039] 所述第一评估模型根据预先准备的第一训练集合，采用
深度神经网络学习形成；
[0040] 所述第一训练集合中包括多个第一
训练数据对，每个所述第一训练数据对中包括具有不同形状的眼角皱纹的人脸的立体图像数据以及对应所述立体图像数据的评估分数。
[0041] 优选的，该指定位置皮肤皱纹评估方法，其中，所述步骤S7中，所述脸部位置对应的所述皮肤皱纹评估模型包括：用于评估人脸的法令纹的第二评估模型；
[0042] 所述第二评估模型根据预先准备的第二训练集合，采用深度神经网络学习形成；
[0043] 所述第二训练集合中包括多个第二训练数据对，每个所述第二训练数据对中包括具有不同形状的法令纹的人脸的立体图像数据以及对应所述立体图像数据的评估分数。
[0044] 一种皮肤皱纹评估系统，其中，包括：
[0045] 皮肤检测镜，所述皮肤检测镜中设置一图像采集装置，一位置检测装置；
[0046] 所述位置检测装置与所述图像采集装置连接，用以检测使用者的人脸是否出现在所述图像采集装置的拍摄区域中，当出现在所述图像采集装置的拍摄区域中时所述图像采集装置在不同的光源照射下，采用所述图像采集装置分别拍摄关联于同一张人脸指定脸部位置的不同的人脸图像；，并生成所述指定脸部位置的位置标识；
[0047] 云服务器，远程连接所述皮肤检测镜，所述皮肤检测镜用于将所述人脸图像以及所述位置标识一同发送至所述云服务器，所述云服务器采用上述的皮肤皱纹的评估方法，根据所述人脸图像对人脸的皮肤皱纹进行评估，并将评估结果输出至与所述云服务器远程连接的用户终端，以供用户查看。
[0048] 上述技术方案的有益效果是：结合皮肤检测与化妆镜的功能，准确的采集到使用者的指定脸部位置图像后，提供皮肤皱纹三维重建和三维评估的能力，使得用户能够精确掌握自身的皮肤皱纹情况，以及针对性的获得指定脸部位置的皮肤皱纹情况，提升用户体验。
附图说明
[0049] 图1是本发明的较佳的
实施例中，一种指定位置皮肤皱纹评估方法的总体流程示意图；
[0050] 图2是本发明的较佳的实施例中，于图1的
基础上，步骤S4的具体流程示意图；
[0051] 图3是本发明的较佳的实施例中，皮肤皱纹评估系统的具体结构示意图；
[0052] 图4是本发明的较佳的实施例中，皮肤检测镜的示意图。
具体实施方式
[0053] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0054] 需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0055] 下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
[0056] 根据现有技术中存在的上述问题，本发明的技术方案中提供一种指定位置皮肤皱纹评估方法，其中，采用一皮肤检测镜对人脸的皮肤进行皱纹评估，皮肤检测镜中包括一图像采集装置，一以及与图像采集装置连接的位置检测装置；一界面操作装置，皮肤检测镜远程连接一云服务器，还包括：
[0057] 步骤S1，位置检测装置用以检测人脸是否出现在图像采集装置的拍摄区域；
[0058] 若是，执行步骤S2；
[0059] 若否，形成一提示信息，使使用者调整人脸的摆放位置，返回步骤S1；
[0060] 步骤S2、在不同的光源照射下，采用图像采集装置分别拍摄关联于同一张人脸的指定脸部位置的不同的人脸图像；
[0061] 界面操作装置提供预设的多个关于脸部位置的位置标识，根据拍摄的脸部位置，使用者于操作界面中选择与脸部位置对应的位置标识；
[0062] 步骤S3、皮肤检测镜将人脸图像以及人脸图像的位置标识一同发送至云服务器中；
[0063] 步骤S4，云服务器通过光度立体法处理得到人脸图像中各个像素点的单位法向量；
[0064] 步骤S5，云服务器根据单位法向量处理得到各个像素点的表面深度信息；
[0065] 步骤S6，云服务器依据各个像素点的表面深度信息以及各个像素点位于人脸图像上的位置信息形成人脸的脸部立体图像；
[0066] 步骤S7，云服务器预先按照不同的脸部位置训练形成对应的皮肤皱纹评估模型，云服务器根据位置标识采用与位置标识对应的皮肤皱纹评估模型对脸部立体图像进行判断，以得到指定脸部位置的对应的皮肤皱纹评估结果并输出至远程连接云服务器的用户终端，以供用户查看。
[0067] 指定位置皮肤皱纹评估方法具体地，本实施例中，上述皮肤检测镜可以以普通的化妆镜作为镜面的本体进行改造，即将上述皮肤检测镜做成一个可以给人们正常使用的化妆镜，这样在提供人们日常使用的同时可以在化妆镜中整合入皮肤皱纹检测和评估的功能。
[0068] 本实施例中，在上述皮肤检测镜上设置一图像采集装置，该图像采集装置可以为设置在皮肤检测镜上的摄像头，具体地可以设置在皮肤检测镜的正上方，方便拍摄用户人脸的整体图像。
[0069] 当使用者需要对自己脸部的指定位置检测皮肤皱纹进行测试时，为了保证图像采集装置准确的采集到使用者指定脸部位置的脸部图像，可通过位置检测装置实时检测使用者的脸部位置是否出现在图像采集装置的拍摄区域，当脸部位置出现在拍摄区域时则通过图像采集装置采集获得使用者的脸部图像；
[0070] 其中指定脸部位置的位置标识可通过图像采集装置中提供的
图像识别模
块进行识别获得，如是眼角位置，当图像识别模块识别出拍摄的是眼角图像时形成一位置标识即眼角标识。
[0071] 本实施例中，皮肤检测镜上的图像采集装置在不同的光源下分别拍摄同一个人脸的人脸图像，上述不同的光源为不同方向的点光源，其被放置在皮肤检测镜周围的不同位置，从而形成不同点光源照射下的同一张人脸的不同人脸图像。在这些人脸图像中，同一个像素点相对于人脸图像的位置是相同的，区别仅在于像素点的
亮度，其在下文中会详述。
[0072] 本实施例中，皮肤检测镜远程连接一个云服务器，并将上述拍摄的关联于同一张人脸的不同的人脸图像以及位置标识上传至云服务器中。
[0073] 具体地，皮肤检测镜中可以设置一个无线通讯模块例如WiFi模块，通过室内的路由远程连接至云服务器。
[0074] 本实施例中，云服务器接收到皮肤检测镜上传的人脸图像后，将不同点光源下拍摄的不同的人脸图像进行综合处理。具体地，在云服务器中是根据人脸图像上的各个像素点进行处理的，而同一个像素点在不同的人脸图像中的区别仅在于点光源的光源方向不同以及由此造成的像素点的亮度不同，因此可以将不同的人脸图像的属性整合至同一个像素点中，例如一个像素点的属性中包括其在不同的人脸图像中的光源方向以及亮度值等信息。
[0075] 本实施例中，云服务器通过光度立体法，对每个像素点进行处理，以得到不同像素点的单位法向量，随后根据单位法向量处理得到每个像素点的表面深度信息。有了表面深度信息后，云服务器就可以依据像素点建立人脸的脸部立体图像，即对人脸进行三维图像重建。
[0076] 本实施例中，在获取人脸的脸部立体图像后，根据位置标识，如上述位置标识为眼角标识时，采用预先训练形成的皮肤皱纹评估模型对脸部立体图像进行评估，并输出关于人脸图像中眼角位置的皮肤皱纹评估结果。云服务器将评估结果远程下发至对应的用户终端，以供用户查看。具体地，上述皮肤皱纹评估模型中，输入数据为脸部的立体图像，输出数据为该立体图像中相应皮肤皱纹区域的评估结果。更进一步地，该评估结果可以为评估分数。上述皮肤皱纹评估模型的具体工作原理在下文中会详述。
[0077] 综上，本发明技术方案中，采用皮肤检测镜上的图像采集装置，在不同的光源下针对同一张人脸分别拍摄不同的人脸图像，云服务器根据这些人脸图像，采用光度立体法进行处理，最终形成脸部的立体图像，并且将立体图像送入图像识别和皱纹评估的评估模型中，最终输出相应的评估结果。与现有技术相比，本发明技术方案中，采用光度立体法以及求解表面深度信息等方式建立脸部的三维立体图像，并且对该图像进行皱纹评估，能够真实地反应用户脸上皮肤皱纹的状况。并且将皮肤检测的功能整合到化妆镜中，方便用户日常使用。
[0078] 应当注意的是，基于人脸图像拍摄完整性的考虑，本发明中的皮肤检测镜应当为具有一定镜面面积的化妆镜，例如摆放在化妆桌上的化妆镜，或者是直接安装在卧室墙面上的化妆镜等，避免采用市面上比较小巧的可以拿在手中使用的化妆镜实现本发明的技术方案。
[0079] 本发明的较佳的实施例中，步骤S1中，至少在3个不同的光源照射下拍摄得到人脸图像，所有光源不处于同一条直线上。
[0080] 进一步地，本发明的较佳的实施例中，上述光源具体为12个，即在皮肤检测镜周围设置12个光源，这些光源的光源方向各不相同，且所有光源均不处于同一条直线上。
[0081] 本发明的较佳的实施例中，如图2中所示，上述步骤S4具体包括：
[0082] 步骤S41，将一个像素点作为待处理像素点；
[0083] 步骤S42，判断待处理像素点是否为高光的像素点：
[0084] 若是，则转向步骤S43；
[0085] 若否，则转向步骤S44；
[0086] 步骤S43，采用不同的人脸图像中相同位置的非高光的像素点进行替换，随后转向步骤S44；
[0087] 步骤S44，处理得到待处理像素点的表面法向量；
[0088] 步骤S45，根据像素点的表面法向量处理得到像素点的单位法向量。
[0089] 具体地，本实施例中，由于高光的像素点无法准确判断其皮肤皱纹图像，因此在进行脸部图像重建时需要首先剔除高光的像素点。剔除的方式为：首先通过
阈值法判断像素点是否为高光的像素点(其亮度值高于预设的阈值即为高光像素点)。随后，对于被判断为高光的像素点，采用其他人脸图像中相同位置的非高光的像素点来替代，具体地，如上文中，不同的人脸图像的属性已经被作为各个像素点的属性参与计算，例如一个像素点的属性值中包括了该像素点在不同的人脸图像中的亮度值，则对于一个像素点而言，剔除高光像素点的原理就是将一个像素点中高于预设阈值的亮度值剔除，只留下非高光的亮度值。
[0090] 本实施例中，在剔除高光像素点之后，对所有的非高光的像素点依次进行处理，以得到每个像素点的表面法向量，并进而得到每个像素点的单位法向量。
[0091] 求解表面法向量的过程具体包括：
[0092] 对于彩色图像而言，每个像素点的亮度均由R、G、B三个
颜色通道的值来表示。本实施例中以R值为例对表面法向量的处理过程进行阐述。
[0093] 假设本发明中的人脸表面符合理想的Lambertian散射模型，则像素点的亮度方程应当为：
[0094] IR＝ρRL·nR； (1)
[0095] 其中，I用于表示像素点的亮度，L用于表示光源的方向向量，ρ用于表示像素点对应的表面区域的纹理反射率，n用于表示像素点对应的表面区域的单位法向量。
[0096] 上述各个光源的方向向量是预先获知的，可以采用在不同光源方向下拍摄一组高光黑球图像来实现，通过查找每一个高光黑球图像中高光点的位置就可以获取光照的方向，从而作为点光源的光源方向。
[0097] 上述步骤中，非高光的像素点在不同光源照射下的亮度可以被表示为：
[0098] IR＝(I1R,I2R,...,IqR)T； (2)
[0099] 其中，q用于表示光源的数量，其中去除了高光像素点所对应的光源，T为矩阵的转置计算。
[0100] 相应地，每个像素点的单位法向量可以被表示为：
[0101] nR＝(n1R,n2R,...,nqR)T； (3)
[0102] 经过计算，q个光源的方向向量应当为：
[0103]
[0104] 在上述公式(1)的两端同时乘以L-1可以得到：
[0105] L-1IR＝ρR·nR； (5)
[0106] 则上述公式(5)的等式左边向量的模即为纹理反射率的值，左边向量的方向即为表面法向量的方向。
[0107] 得到像素点的R通道的表面法向量后，计算R通道的单位法向量，即：
[0108] nR＝(nRa,nRb,nRc)T； (6)
[0109] 其中，(a,b,c)为像素点在法向量空间中的向量方向坐标。
[0110] 比照上述公式(1)-(6)可以分别得到该像素点B通道和G通道的单位法向量：
[0111] nB＝(nBa,nBb,nBc)T； (7)
[0112] nG＝(nGa,nGb,nGc)T； (8)
[0113] 最终一个像素点的单位法向量可以取上述RGB通道的单位法向量的平均值，并表示为：
[0114] n＝(na,nb,nc)T； (9)
[0115] 根据上述公式(9)还可以计算得到每个像素点的梯度(-na/nc,-nb/nc)，并且可以建立脸部皮肤皱纹的法向量图。
[0116] 本发明的较佳的实施例中，上述步骤S5具体包括：
[0117] 针对每个像素点，依据单位法向量建立预设的约束公式，并依照约束公式处理得到像素点的表面深度信息。
[0118] 进一步地，基于切平面原理，物体表面每一点的法向应当和切向垂直，则可以建立以下约束公式：
[0119]
[0120]
[0121] 其中，V1和V2均为人脸表面的切向向量，(x,y,z)为像素点在人脸表面的立体坐标，其中(x,y)为像素点的平面坐标，即该像素点在人脸图像上的平面的位置信息(步骤S4中的位置信息)，z用于表示像素点在人脸图像上的深度值。
[0122] 对于一幅有m个像素的人脸图像，就可以得到2m个约束方程，每个像素点的单位法向量n是已知的，每个像素点的平面的位置信息x和y也是已知的，而深度值z为一个标量，因此可以将所有像素点的约束方程组成一个方程矩阵，通过求解方程矩阵就可以获得每个像素点的表面深度信息。
[0123] 得到每个像素点的表面深度信息后，就有了立体坐标(x,y,z)，这样就可以构建人脸的脸部立体图像并且进行3D显示。
[0124] 本发明的一个较佳的实施例中，上述步骤S7中，脸部位置对应的皮肤皱纹评估模型包括：用于评估人脸的眼角皱纹的第一评估模型；
[0125] 第一评估模型根据预先准备的第一训练集合，采用深度神经网络学习形成；
[0126] 第一训练集合中包括多个第一训练数据对，每个第一训练数据对中包括具有不同形状的眼角皱纹的人脸的立体图像数据以及对应立体图像数据的评估分数。
[0127] 具体地，本实施例中，预先准备多个第一训练数据对，每个第一训练数据对中包括一幅眼角皱纹的立体图像，以及对该立体图像进行人工评价后得到的评估分数。第一训练数据对的数量越多，训练形成的第一评估模型的评估结果就越精确。
[0128] 本实施例中，上述第一评估模型专
门用于评估人脸的眼角皱纹。在实际应用的过程中，上述第一评估模型首先从整体的脸部立体图像中找出眼角皱纹的立体图像，随后对眼角皱纹的立体图像进行评估，最终输出一个评估结果，该评估结果可以采用评估分数的方式给出。
[0129] 本发明的另一个较佳的实施例中，上述步骤S7中，脸部位置对应的皮肤皱纹评估模型包括：用于评估人脸的法令纹的第二评估模型；
[0130] 第二评估模型根据预先准备的第二训练集合，采用深度神经网络学习形成；
[0131] 第二训练集合中包括多个第二训练数据对，每个第二训练数据对中包括具有不同形状的法令纹的人脸的立体图像数据以及对应立体图像数据的评估分数。
[0132] 具体地，本实施例中，预先准备多个第二训练数据对，每个第二训练数据对中包括一幅法令纹的立体图像，以及对该立体图像进行人工评价后得到的评估分数。第二训练数据对的数量越多，训练形成的第二评估模型的评估结果就越精确。
[0133] 本实施例中，上述第二评估模型专门用于评估人脸的法令纹。在实际应用的过程中，上述第二评估模型首先从整体的脸部立体图像中找出法令纹的立体图像，随后对法令纹的立体图像进行评估，最终输出一个评估结果，该评估结果同样可以采用评估分数的方式给出。
[0134] 本发明的另一个较佳的实施例中，可以在皮肤皱纹评估模型中同时采用上述第一评估模型和第二评估模型，从而能够全面地评估用户的眼角皱纹和法令纹的状况。
[0135] 本发明的较佳的实施例中，基于上文中的指定位置皮肤皱纹评估方法，现提供一种皮肤皱纹评估系统A，该系统具体如图3中所示，包括：
[0136] 皮肤检测镜A1，皮肤检测镜A1中设置一图像采集装置A11，一位置检测装置A12；
[0137] 位置检测装置A12与图像采集装置A11连接，用以检测使用者的人脸是否出现在图像采集装置的拍摄区域中，当出现在图像采集装置A11的拍摄区域中时图像采集装置在不同的光源照射下，采用图像采集装置A11分别拍摄关联于同一张人脸指定脸部位置的不同的人脸图像，并生成指定脸部位置的位置标识；
[0138] 云服务器A2，远程连接皮肤检测镜A1，皮肤检测镜A1用于将人脸图像以及位置标识一同发送至云服务器A2，云服务器A2采用上文中的皮肤皱纹的评估方法，根据人脸图像对人脸的皮肤皱纹进行评估，并将评估结果输出至与云服务器A2远程连接的用户终端B，以供用户查看。
[0139] 进一步地，上述皮肤检测镜A1的镜面外观示意图如图4中所示，在皮肤检测镜A1的镜面本体A12的周围还可以设置多颗
LED灯珠A13作为不同方向的点光源，来辅助图像采集装置A11对人脸进行拍摄。
[0140] 以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明
说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
