技术领域
[0001] 本
发明涉及广告领域，具体涉及一种商品展示方法及系统。
背景技术
[0002] 当前
电子商务平台(Web或App)之上的商品广告大部分是聘请模特拍摄 照片，然后将广告照片在平台之上进行展示。这种广告照片虽然能做到美轮美 奂，但其实对用户产生的代入感有限，直观感也不够，不能最大限度的刺激用 户对商品做出交易行为。
[0003] 因此，如何增强消费者代入感以提高商品成交率成为亟待解决的问题。
发明内容
[0004] 本发明要解决的技术问题在于如何增强消费者代入感以提高商品成交率。
[0005] 为此，根据第一方面，本发明
实施例公开了一种商品展示方法，包括：
[0006] 将待建模照片生成人脸模型，将所述人脸模型与用户账号建立关联并标识 存储；
[0007] 计算授权的商品图片和/或视频中的面部参数，并将所述面部参数与商品链 接关联并标识存储；
[0008] 响应于搜索
请求，根据当前商品链接对应的商品图片和/或视频中的面部参 数对当前用户账号对应的人脸模型进行合成
渲染生成二维图像，并将所述二维 图像对商品图片和/或视频进行人脸替换并显示。
[0009] 进一步地，所述获取待建模的照片生成人脸模型，具体包括：获取待建模 照片，利用预先训练的
卷积神经网络将所述待建模照片生成人脸模型。
[0010] 进一步地，所述卷积神经网络的训练包括：
[0011] 采集若干对样本照片和样本人脸模型；
[0012] 对所述样本人脸模型通过
降维处理以获得降维人脸模型，生成若干对训练 样本；
[0013] 将所述训练样本输入到卷积神经网络进行训练，通过
迭代损失函数，当损 失小于设定
阈值或者迭代次数大于设定阈值，则获得经过训练的卷积神经网络。
[0014] 进一步地，所述面部参数为面部特征的全部或分组合。
[0015] 进一步地，所述面部特征包括面部
位置、面部
姿态、面部表情、尺寸、光 照、肤色、发型、皱纹、酒窝、痣。
[0016] 进一步地，所述根据当前商品链接对应的商品图片和/或视频中的面部参数 对当前用户账号对应的人脸模型进行合成渲染生成二维图像，具体包括：
[0017] 将所述人脸模型进行旋转、表情驱动、
纹理合成、光照渲染，获得与所述 面部参数适配的第一人脸模型；然后将所述第一人脸模型渲染成二维图像。
[0018] 进一步地，还包括：将所述二维图像通过生成式对抗网络进行细节渲染和 违和感判别。
[0019] 根据第二方面，本发明实施例提供了一种商品展示系统，包括：
[0020] 人脸模型模
块：用于将待建模照片生成人脸模型，将所述人脸模型与用户 账号建立关联并标识存储；
[0021] 面部参数计算模块：用于计算授权的商品图片和/或视频中的面部参数，并 将所述面部参数与商品链接关联并标识存储；
[0022] 人脸替换模块：用于响应于搜索请求，根据当前商品链接对应的商品图片 和/或视频中的面部参数对当前用户账号对应的人脸模型进行合成渲染生成二 维图像，并将所述二维图像对商品图片和/或视频进行人脸替换并显示。
[0023] 进一步地，所述人脸模型模块包括：建模单元，用于获取待建模照片，利 用预先训练的卷积神经网络将所述待建模照片生成人脸模型。
[0024] 进一步地，所述建模单元包括：
[0025] 采集子单元，用于采集若干对样本照片和样本人脸模型；
[0026] 训练样本生成子单元，用于对所述样本人脸模型通过降维处理以获得降维 人脸模型，生成若干对训练样本；
[0027] 神经网络训练子单元，用于将所述训练样本逐对输入到卷积神经网络进行 训练，通过迭代损失函数，当损失小于设定阈值或者迭代次数大于设定阈值， 停止训练进行下一对样本的训练，当所有样本训练完成，则获得经过训练的卷 积神经网络。
[0028] 本发明的有益效果在于：
[0029] 本发明实施例公开的一种商品展示方法及系统，能将消费者面部形象自动 地替换商品展示图片、视频或广告图片、视频中模特或虚拟形象的面部，并在 消费者在
电子商务平台搜索、浏览商品或在广告平台观看商品广告时即时展示 给消费者，以此来增强消费者代入感以提高商品成交率。
附图说明
[0030] 为了更清楚地说明本发明具体实施方式或
现有技术中的技术方案，下面将 对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见 地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲， 在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031] 图1为本发明实施例一种商品展示方法的
流程图；
[0032] 图2为本发明实施例一种商品展示方法的神经卷积网络训练流程图；
[0033] 图3为本发明实施例一种商品展示系统结构示意图；
[0034] 图4为本发明实施例一种商品展示系统的建模单元结构示意图。
具体实施方式
[0035] 下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描 述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实 施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实 施例，都属于本发明保护的范围。
[0036] 请参考图1，为本实施例公开的一种商品展示方法的流程图，包括步骤：
[0037] 步骤S10，将待建模照片生成人脸模型，将所述人脸模型与用户账号建立 关联并标识存储。
[0038] 在本实施例中，通过用户在账户中上传待建模照片，待建模照片中的人物 包括用户本人或其爱人、父母、孩子、朋友等所有用户准备购买商品的目标使 用人；获取待建模照片后，利用预先训练的卷积神经网络将所述待建模照片生 成人脸模型。其中人脸模型为三维人脸模型，有几何形状模型S和纹理模型T组 成，当三维人脸模型标记为M，则可以用表示为M＝(S，T)，其中S为N个三 维点，即S＝{p1,p2,L,pN}，pn＝(xn,yn,zn)；T为S中每个三维点对应的
颜色值的集 合，即T＝{c1,c2,L,cN}，cn＝(rn,gn,bn)。
[0039] 具体的，卷积神经网络的训练步骤包括：
[0040] 步骤S101，采集若干对样本照片和样本人脸模型，假设采集的样本对数为 k对，并将照片定义为I，则k对样本可以记为{(Ii,Mi),i＝1,2,L K}，其中Ii,Mi分别 为第i个用户对应的二维头部人脸照片和通过
三维扫描仪扫描后建立的三维人 脸模型。在本实施例中，收集了500000对训练样本，可以理解的是，样本数量 越大，训练出来的卷积神经网络将照片转换成的三维人脸模型违和感就越弱， 也更便于增强用户的代入感。
[0041] 步骤S102，对所述样本人脸模型通过降维处理以获得降维人脸模型，生成 若干对训练样本；在上述内容中有提到，人脸模型是通过大量的三维点组成的。 在本实施例中，三维人脸模型由14596个三维点组成，即N＝14596，那么卷积 神经网络在每对训练样本进行模拟时，需要输出14596*3*2个三维点，大量的 三维点模拟输出并不利于卷积神经网络的训练，显然是耗费时间且比较困难的。
[0042] 因此，将扫描得到的三维人脸模型进行降维处理，在本实施例中，采用主成分分析
算法 进行降维。降维后， 其中 分别为从训练样本计算得到的几何 形状模型和纹理模型的均值，和 分别为从训练样本计算得到几何形状模型和纹理模型的
特征向量矩阵，αi，βi分别为第i个用户三维人脸模型几何形状模型和纹理模型的特征系统。 通过αi，βi即可重建Si和Ti，即上述卷积神经网络输出(αi，βi)即等价于输出三维模型 M＝(S，T)。保存降维后获得的三维人脸模型，已形成k对训练样本。进一步地，将 M＝(S，T)通过PCA降维为198维，即αi和βi的维数均为99维。不难想象，将卷积神经 网络14596*3*2个输出降低为198个输出，使得三维人脸模型的重建具备可行性。
[0043] 当然，在三维人脸模型的重建过程中，需要在利用主成分分析算法对卷积 神经网络模拟出的198维的三维人脸模型还原成14596*3*2维。
[0044] 步骤S103，将所述训练样本输入到卷积神经网络进行训练，通过迭代损失 函数，当损失小于设定阈值或者迭代次数大于设定阈值，则获得经过训练的卷 积神经网络。
[0045] 在本实施例中，完成所有训练后，损失函数为 其 中分别为当前网络输出的三维模型参数，a和b为比例系数，其中a、b 取值范围均在0～1，且a+b＝1；优选地，a＝0.9，b＝0.1或者a＝0.5，b＝0.5。当损 失小于1000或者迭代次数大于1000万时，停止训练，即可获得训练后的卷积 神经网络。为了让训练的
进程尽量快一些，在训练的时候采取了梯度下降的基 础上，处理完整个训练集之前，先让
梯度下降法处理一部分数据，那么算法就 会相对快一些。这里采取的方式是把整个大的训练集划分为若干个小的训练集， 称为mini-batch，mini-batch的取值范围为1～64；优选的，mini-batch设置为32。
[0046] 最后会将对应带建模照片生成的人脸模型，与上传照片的用户账号建立联 系并进行标识清楚使用者的身份，以此建立联系以便于后续的使用。
[0047] 步骤S20，计算授权的商品图片和/或视频中的面部参数，并将所述面部参 数与商品链接关联并标识存储。
[0048] 在本实施例中，所述面部参数为面部特征的全部或分组合，其中面部特征 包括面部位置、面部姿态、面部表情、尺寸、光照、肤色、发型、皱纹、酒窝、 痣。在这个过程中，待替换的商品图片和/或视频需要是被授权的。
[0049] 步骤S30，响应于搜索请求，根据当前商品链接对应的商品图片和/或视频 中的面部参数对当前用户账号对应的人脸模型进行合成渲染生成二维图像，并 将所述二维图像对商品图片和/或视频进行人脸替换并显示，由此可以将使用者 正在浏览的商品图片和/或视频中的人脸替换成自己的，以增强使用者的代入 感。其中可以通过电子商务
网站、电子商务APP或微信小程序等进行显示。
[0050] 进一步地，合成渲染生成二维图像，具体包括：将所述人脸模型进行旋转、 表情驱动、纹理合成、光照渲染，获得与所述面部参数适配的第一人脸模型； 然后将所述第一人脸模型渲染成二维图像。在本实施例中，采用论文 《Reconstruction of Personalized 3D Face Rigs from Monocular Video》中所述的 方法来完成人脸模型的表情驱动、纹理合成和光照渲染操作。
[0051] 进一步地，还包括将所述二维图像通过生成式对抗网络进行细节渲染和违 和感判别。在本实施例中，所述细节渲染包括肤色、发型、皱纹、酒窝、痣等 面部特征的全部或者部分组合。同时为了保证细节渲染后图像没有违和感，使 得用户无法区分渲染出的二维图像是计算机生成的还是真实拍摄的，利用生成 对式抗网络进行违和感的判别，从下面三个方面进行判别：
[0052] 1、生成的二维图像是否为可以混淆真实拍摄图像与生成图像；在本实施例 中，利用一个预训练的ResNet-20来判别生成的二维图像是否为可以混淆 真实拍摄图像与生成图像。
[0053] 2、生成的图像是否为使用者本人；在本实施例中，利用一个采用
人脸识别 数据集预训练的ResNet-50来判别生成的图像是否为使用者本人。
[0054] 3、使用者的肤色、发型、皱纹、酒窝、痣等特征细节是否在生成的图像中 予以了保持。在本实施例中，训练了一个基于ResNet-50的可以识别人脸细粒 度特征的卷积神经网络来判别肤色、发型、皱纹、酒窝、痣等特征是否予以了 保持。
[0055] 若违和感判别未通过，会通知生成对抗网络重新生成。通过细节渲染和违 和感的判别，可以提升替换后的人脸在商品图片和/或视频中的融合度，进一步 便于使用者对商品的正确选择，提高代入感的同时，能够提升购买率。
[0056] 本实施例相对于现有技术中使用者浏览商品图片和/或视频代入感有限，不 能最大限度的刺激用户对商品做出交易行为的问题，本发明实施例公开的方案 通过将待建模照片生成人脸模型，并计算计算授权的商品图片和/或视频中的面 部参数，响应于搜索请求，根据当前商品链接对应的商品图片和/或视频中的面 部参数对当前用户账号对应的人脸模型进行合成渲染生成二维图像，并将所述 二维图像对商品图片和/或视频进行人脸替换并显示。本方案能将使用者的面部 形象自动地替换商品展示图片、视频或广告图片、视频中模特或虚拟形象的面 部，并在消费者在电子商务平台搜索、浏览商品或在广告平台观看商品广告时 即时展示给消费者，以此来增强消费者代入感以提高商品成交率。
[0057] 经过对5000余名电子商务平台用户进行问卷调查和试验得出如下结果：当 采用
人工智能技术将商品展示图片、视频或广告图片、视频中模特或虚拟形象 的面部替换为用户自己的面部后，即使图片中模特的身材与自己不一致，93.7％ 用户亦能产生非常强烈的代入感；与原始商品展示图像或视频相比，替换用户 自身人脸后，用户购买该商品的可能性提升29.8％，用户在电子商务平台上选 购商品的时间缩短36.4％，用户对购买的商品的满意度提升22.1％。
[0058] 本实施例还公开了一种商品展示系统，请参考图3，一种商品展示系统结 构示意图，该商品展示系统包括：
[0059] 人脸模型模块100：用于将待建模照片生成人脸模型，将所述人脸模型与 用户账号建立关联并标识存储；
[0060] 面部参数计算模块200：用于计算授权的商品图片和/或视频中的面部参数， 并将所述面部参数与商品链接关联并标识存储；
[0061] 人脸替换模块300：用于响应于搜索请求，根据当前商品链接对应的商品 图片和/或视频中的面部参数对当前用户账号对应的人脸模型进行合成渲染生 成二维图像，并将所述二维图像对商品图片和/或视频进行人脸替换并显示。
[0062] 作为可选地实施例，所述人脸模型模块包括：
[0063] 建模单元110，用于获取待建模照片，利用预先训练的卷积神经网络将所 述待建模照片生成人脸模型。
[0064] 作为可选地实施例，参考图4，一种商品展示系统的建模单元结构示意图， 所述建模单元包括：
[0065] 采集子单元111，用于采集若干对样本照片和样本人脸模型；
[0066] 训练样本生成子单元112，用于对所述样本人脸模型通过降维处理以获得 降维人脸模型，生成若干对训练样本；
[0067] 神经网络训练子单元113，用于将所述训练样本逐对输入到卷积神经网络 进行训练，通过迭代损失函数，当损失小于设定阈值或者迭代次数大于设定阈 值，停止训练进行下一对样本的训练，当所有样本训练完成，则获得经过训练 的卷积神经网络。
[0068] 本实例可在包括但不限于智能手机、
平板电脑、智能电视、计算机等
硬件 上实施。本实施例中所包含的单元或模块可以部署在同一硬件上，也可以部署 在多个硬件上并通过网络通信组成一个完整的系统。
[0069] 以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在 此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结 构的前提下，还可以作出若干
变形和改进。这些也应该视为本发明的保护范围， 这些都不会影响本发明实施的效果和
专利的实用性。本
申请要求的保护范围应 当以其
权利要求的内容为准，
说明书中的具体实施方式等记载可以用于解释权 利要求的内容。
