技术领域
[0001] 本
发明属于数据检索领域，尤其涉及一种基于深度学习注意力机制的个性化商品检索方法及装置。
背景技术
[0002] 随着互联网的盛行，
电子商务也变得越来越受大众欢迎。当
电子商务网站(如天猫)中的用户想要购买一件商品时，通常需要以检索的方式从数以百万计的商品中找到他们心仪的那一个。对于这种在线商品检索来说，一个比较常见的情况是用户首先提交查询，然后
搜索引擎返回与当前查询相关的排序好的商品列表。然而，用户提交的查询一般来说仅由几个关键词组成(例如，男士长袖上衣)，这也就导致了其无法准确传达用户的需求，从而造成了用户对搜索结果的不满。
[0003] 此外，用户的购物偏好可以是非常宽泛的(由于不同的背景，比如年龄，性别，收入)，或者受到当前的环境影响(比如季节，
定位)。因此，对来自不同用户的同一个查询来说，返回相同的检索结果会对电子商务网站造成不同程度的经济损失。有鉴于此，考虑用户在不同情境下的购物意图来对用户提交的查询返回相关的商品，即个性化的商品检索，对满足用户当前的购物需求就显得尤为重要。
[0004] 传统的商品检索方法仅局限于查询和商品之间的简单匹配而没有将用户的自身属性考虑其中。这些方法由于忽视了众多用户个人需求的异质性，所以经常会导致搜索引擎检索性能受限，无法为用户提供满意的检索结果。
[0005] Ai等人最近提出了一种个性化的商品检索方法，他们通过一个可以共同学习用户、商品和查询表示的隐空间来对用户的长期购物偏好进行建模。但是这种方法也有两种
缺陷：(1)假设用户的长期购物偏好是稳定的，而实际上是会随时间而缓慢改变的；(2)没有将用户的短期购物偏好考虑在内，而用户的短期购买行为很可能会反映用户最近一段时间的购买习惯。
[0006] 其中，长期指的是用户内在且相对稳定的购物偏好，比如喜欢的
颜色，适合的尺寸和消费能力等。同时会受到用户各自的背景影响，如年龄，婚姻，教育，收入等。与之相对，短期的购物偏好反映了用户在一个相对较短时期内的购物意图，且会受到突发事件的影响，如新产品上市，季节改变和特殊的个人节日(如生日)等。这些可以从用户最近所购买的商品属性中推断出来，与长期购物偏好相比，短期购物偏好更新地更加频繁与难以预测。
[0007] 目前，在个性化商品检索方法中存在以下问题：
[0008] 一是准确地为用户的长期和短期购物偏好建模是极其复杂的。用户的长期购物偏好包含多个方面，例如消费能力或者喜爱的颜色和品牌，并且会随用户的背景(如收入)改变而变化。与之相对应，用户的短期购物偏好通常也是动态改变的，并且极易受到突发事件的影响；
[0009] 二是用户通过一个仅由几个关键词组成的文本查询来描述自己的购物需求，这会导致准确定位到用户长期购物偏好中与当前查询相关的方面是不简单的。比如，一件短袖上衣的设计，而不是价格，会对有经济能力的用户影响更多。对于用户的短期偏好来说，最近购买的多个商品也会对用户的下次购买行为产生不同的影响；
[0010] 三是将用户的长期、短期购物偏好与当前的查询相结合也是困难的。
发明内容
[0011] 为了解决
现有技术的不足，本发明的第一目的是提供一种基于深度学习注意力机制的个性化商品检索方法，其提高了检索的准确度，从而提升了用户的检索体验。
[0012] 本发明的一种基于深度学习注意力机制的个性化商品检索方法，包括：
[0013] 步骤1：构建基于注意力机制的短期偏好模型；所述步骤1具体包括：
[0014] 给定当前的查询，采用神经网络来估计前m个查询与当前查询之间的相关程度，并采用不同的注意力权重来表示；其中，m为正整数；
[0015] 将获得的注意力权重乘以对应的商品表示，输入至RNN模型中，输出表示基于注意力机制的短期偏好的m个向量；
[0016] 步骤2：构建基于注意力机制的长期偏好模型；所述步骤2具体包括：
[0017] 采用最初购买的m个商品表示来初始化其长期偏好，并利用与构建基于注意力机制的短期偏好模型的相同原理，得到基于注意力机制的长期偏好模型；
[0018] 之后每经过m个商品，就更新一次当前用户的长期偏好，获得更新后的基于注意力机制的长期偏好模型；
[0019] 步骤3：查询再表示；其过程为：融合基于注意力机制的短期偏好模型、基于注意力机制的长期偏好模型以及当前查询，通过多层全连接网络来学习三者之间的交互关系，得到重组的查询表示，并采用一个距离函数来界定所有商品与当前查询的相关程度；
[0020] 步骤4：训练所述多层全连接网络结束后，对每个用户提交的新查询，得到所有商品与当前查询的距离值，再将所有距离值从高到低进行排序，并将前n个距离值对应的商品返回给用户，其中，n为正整数。
[0021] 进一步的，该方法还包括：
[0022] 采用“基于成对”的学习方法来训练所述多层全连接网络。
[0023] 进一步的，在所述步骤1中，采用一个两层的神经网络来估计前m个查询与当前查询之间的相关程度。
[0024] 进一步的，在所述步骤3中，所述距离函数为余弦距离，或点积，或欧式距离，或曼哈顿距离。
[0025] 本发明的第二目的是提供一种基于深度学习注意力机制的个性化商品检索装置。
[0026] 本发明的一种基于深度学习注意力机制的个性化商品检索装置，包括个性化商品检索处理器，所述个性化商品检索处理器包括：
[0027] 短期偏好模型构建模
块，其被配置为：构建基于注意力机制的短期偏好模型；所述短期偏好模型构建模块具体包括：
[0028] 注意力权重获取子模块，其被配置为：给定当前的查询，采用神经网络来估计前m个查询与当前查询之间的相关程度，并采用不同的注意力权重来表示；其中，m为正整数；及[0029] 短期偏好表示子模块，其被配置为：将获得的注意力权重乘以对应的商品表示，输入至RNN模型中，输出表示基于注意力机制的短期偏好的m个向量；
[0030] 长期偏好模型构建模块，其被配置为：构建基于注意力机制的长期偏好模型；所述长期偏好模型构建模块具体包括：
[0031] 长期偏好初始化及构建子模块，其被配置为：采用最初购买的m个商品表示来初始化其长期偏好，并利用与构建基于注意力机制的短期偏好模型的相同原理，得到基于注意力机制的长期偏好模型；
[0032] 长期偏好更新子模块，其被配置为：之后每经过m个商品，就更新一次当前用户的长期偏好，获得更新后的基于注意力机制的长期偏好模型；
[0033] 查询再表示模块，其配置为：融合基于注意力机制的短期偏好模型、基于注意力机制的长期偏好模型以及当前查询，通过多层全连接网络来学习三者之间的交互关系，得到重组的查询表示，并采用一个距离函数来界定所有商品与当前查询的相关程度；
[0034] 商品返回模块，其配置为：训练所述多层全连接网络结束后，对每个用户提交的新查询，得到所有商品与当前查询的距离值，再将所有距离值从高到低进行排序，并将前n个距离值对应的商品返回给用户，其中，n为正整数。
[0035] 进一步的，所述个性化商品检索处理器还包括：
[0036] 模型训练模块，其被配置为：采用“基于成对”的学习方法来训练所述多层全连接网络。
[0037] 进一步的，在所述注意力权重获取子模块中，采用一个两层的神经网络来估计前m个查询与当前查询之间的相关程度。
[0038] 进一步的，在所述查询再表示模块中，所述距离函数为余弦距离，或点积，或欧式距离，或曼哈顿距离。
[0039] 与现有技术相比，本发明的有益效果是：
[0040] (1)为了缓解现有方法中所面临的诸多问题，本发明能够结合用户的相对稳定的长期购物偏好和对时间敏感的短期购物偏好对商品进行个性化检索，最终提高了检索的准确度，从而提升了用户的检索体验。
[0041] (2)本发明能够有效地将用户的长期和短期购物偏好以及当前用户所提交的查询结合，并重新表示用户的购物需求。
[0042] (3)本发明通过用户的长期和短期购物偏好建模中的两个各自的注意力机制，能够突出两个偏好中的与当前查询相关的因素。
[0043] (4)本发明提高了个性化商品检索的准确度，从而在一定程度上为电子商务网站保留更多的用户和提高收入。
附图说明
[0044] 构成本
申请的一部分的
说明书附图用来提供对本申请的进一步理解，本申请的示意性
实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
[0045] 图1是本发明的一种基于深度学习注意力机制的个性化商品检索方法
流程图。
[0046] 图2是本发明的个性化商品检索处理器结构示意图。
具体实施方式
[0047] 应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
[0048] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0049] 下面结合实施例子与附图对本发明的一种基于深度学习注意力机制的个性化商品检索方法做出详细说明。
[0050] 如图1所示，本发明的一种基于深度学习注意力机制的个性化商品检索方法，包括如下步骤：
[0051] 步骤1：构建基于注意力机制的短期偏好模型。
[0052] 具体地，构建基于注意力机制的短期偏好模型的过程包括：
[0053] 步骤1.1：给定当前的查询，采用神经网络来估计前m个查询与当前查询之间的相关程度，并采用不同的注意力权重来表示；其中，m为正整数；
[0054] 由于之前的查询(或购买的商品)并不全是与当前查询(或者目标商品)密切相关，例如，与之前提交的查询“手机”相对比，“
鼠标”与“
键盘”显然与当前的查询“显示屏”更加接近。由于这种之前查询与当前查询相关程度的差异原因，本发明采用了一个两层的神经网络来估计它们之间的相关程度，在这里用不同的注意力权重表示。
[0055] 步骤1.2：将获得的注意力权重乘以对应的商品表示，输入至RNN模型中，输出表示基于注意力机制的短期偏好的m个向量。
[0056] 与查询相对应，之前的这些查询所对应的购买商品也跟用户当前的购买商品意图产生不同的影响。所以，用之前查询与当前查询的相关程度来决定之前对应查询所购买商品与当前购买意图的相关性，具体的表示是将之前获得的注意力权重乘以对应的商品表示来得到基于注意力机制的短期偏好。
[0057] 在构建基于注意力机制的短期偏好模型之前，还包括：
[0058] 当前商品的所有的评论信息和一个文本的查询都通过一个统一的PV-DM模型来学得商品和查询的表示，再将此表示投影到同一个子空间中。
[0059] 步骤2：构建基于注意力机制的长期偏好模型。
[0060] 用户的长期购物偏好相对于短期来说更为稳定，但也会缓慢变化。用当前用户所有的购买商品来表示长期偏好，并且对其缓慢更新。
[0061] 具体地，构建基于注意力机制的长期偏好模型的过程包括：
[0062] 步骤2.1：采用最初购买的m个商品表示来初始化其长期偏好，并利用与构建基于注意力机制的短期偏好模型的相同原理，得到基于注意力机制的长期偏好模型；
[0063] 步骤2.1：之后每经过m个商品，就更新一次当前用户的长期偏好，获得更新后的基于注意力机制的长期偏好模型。
[0064] 步骤3：查询再表示。
[0065] 具体地，查询再表示的过程为：
[0066] 融合基于注意力机制的短期偏好模型、基于注意力机制的长期偏好模型以及当前查询，通过多层全连接网络来学习三者之间的交互关系，得到重组的查询表示，并采用一个距离函数来界定所有商品与当前查询的相关程度。
[0067] 其中，所述距离函数为余弦距离，或点积，或欧式距离，或曼哈顿距离。
[0068] 步骤4：训练所述多层全连接网络结束后，对每个用户提交的新查询，得到所有商品与当前查询的距离值，再将所有距离值从高到低进行排序，并将前n个距离值对应的商品返回给用户，其中，n为正整数。
[0069] 例如：n为10或者20。
[0070] 在另一实施例中，该方法还包括：
[0071] 采用“基于成对”的学习方法来训练所述多层全连接网络。
[0072] 这样能够提高学得的多层全连接网络的鲁棒性，其中，BPR(贝叶斯个性化排序)损失函数被用于得到最后的损失，带有动量的SGD(随机梯度下降)是所采用的优化方法。
[0073] 为了缓解现有方法中所面临的诸多问题，本发明能够结合用户的相对稳定的长期购物偏好和对时间敏感的短期购物偏好对商品进行个性化检索，最终提高了检索的准确度，从而提升了用户的检索体验。
[0074] 本发明能够有效地将用户的长期和短期购物偏好以及当前用户所提交的查询结合，并重新表示用户的购物需求。
[0075] 本发明通过用户的长期和短期购物偏好建模中的两个各自的注意力机制，能够突出两个偏好中的与当前查询相关的因素。
[0076] 本发明提高了个性化商品检索的准确度，从而在一定程度上为电子商务网站保留更多的用户和提高收入。
[0077] 本发明还提供了一种基于深度学习注意力机制的个性化商品检索装置。
[0078] 本发明的一种基于深度学习注意力机制的个性化商品检索装置，包括个性化商品检索处理器，如图2所示，所述个性化商品检索处理器包括：
[0079] (1)短期偏好模型构建模块，其被配置为：构建基于注意力机制的短期偏好模型。
[0080] 所述短期偏好模型构建模块具体包括：
[0081] (1.1)注意力权重获取子模块，其被配置为：给定当前的查询，采用神经网络来估计前m个查询与当前查询之间的相关程度，并采用不同的注意力权重来表示；其中，m为正整数。
[0082] 由于之前的查询(或购买的商品)并不全是与当前查询(或者目标商品)密切相关，例如，与之前提交的查询“手机”相对比，“鼠标”与“键盘”显然与当前的查询“显示屏”更加接近。由于这种之前查询与当前查询相关程度的差异原因，本发明采用了一个两层的神经网络来估计它们之间的相关程度，在这里用不同的注意力权重表示。
[0083] (1.2)短期偏好表示子模块，其被配置为：将获得的注意力权重乘以对应的商品表示，输入至RNN模型中，输出表示基于注意力机制的短期偏好的m个向量。
[0084] 与查询相对应，之前的这些查询所对应的购买商品也跟用户当前的购买商品意图产生不同的影响。所以，用之前查询与当前查询的相关程度来决定之前对应查询所购买商品与当前购买意图的相关性，具体的表示是将之前获得的注意力权重乘以对应的商品表示来得到基于注意力机制的短期偏好。
[0085] 在构建基于注意力机制的短期偏好模型之前，当前商品的所有的评论信息和一个文本的查询都通过一个统一的PV-DM模型来学得商品和查询的表示，再将此表示投影到同一个子空间中。
[0086] (2)长期偏好模型构建模块，其被配置为：构建基于注意力机制的长期偏好模型。
[0087] 用户的长期购物偏好相对于短期来说更为稳定，但也会缓慢变化。用当前用户所有的购买商品来表示长期偏好，并且对其缓慢更新。
[0088] 所述长期偏好模型构建模块具体包括：
[0089] (2.1)长期偏好初始化及构建子模块，其被配置为：采用最初购买的m个商品表示来初始化其长期偏好，并利用与构建基于注意力机制的短期偏好模型的相同原理，得到基于注意力机制的长期偏好模型；
[0090] (2.2)长期偏好更新子模块，其被配置为：之后每经过m个商品，就更新一次当前用户的长期偏好，获得更新后的基于注意力机制的长期偏好模型；
[0091] (3)查询再表示模块，其配置为：融合基于注意力机制的短期偏好模型、基于注意力机制的长期偏好模型以及当前查询，通过多层全连接网络来学习三者之间的交互关系，得到重组的查询表示，并采用一个距离函数来界定所有商品与当前查询的相关程度；
[0092] 在所述查询再表示模块中，所述距离函数为余弦距离，或点积，或欧式距离，或曼哈顿距离。
[0093] (4)商品返回模块，其配置为：训练所述多层全连接网络结束后，对每个用户提交的新查询，得到所有商品与当前查询的距离值，再将所有距离值从高到低进行排序，并将前n个距离值对应的商品返回给用户，其中，n为正整数。
[0094] 例如：n为10或者20。
[0095] 在另一实施例中，所述个性化商品检索处理器还包括：
[0096] 模型训练模块，其被配置为：采用“基于成对”的学习方法来训练所述多层全连接网络。
[0097] 这样能够提高学得的多层全连接网络的鲁棒性，其中，BPR(贝叶斯个性化排序)损失函数被用于得到最后的损失，带有动量的SGD(随机梯度下降)是所采用的优化方法。
[0098] 为了缓解现有方法中所面临的诸多问题，本发明能够结合用户的相对稳定的长期购物偏好和对时间敏感的短期购物偏好对商品进行个性化检索，最终提高了检索的准确度，从而提升了用户的检索体验。
[0099] 本发明能够有效地将用户的长期和短期购物偏好以及当前用户所提交的查询结合，并重新表示用户的购物需求。
[0100] 本发明通过用户的长期和短期购物偏好建模中的两个各自的注意力机制，能够突出两个偏好中的与当前查询相关的因素。
[0101] 本发明提高了个性化商品检索的准确度，从而在一定程度上为电子商务网站保留更多的用户和提高收入。
[0102] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或
计算机程序产品。因此，本发明可采用
硬件实施例、
软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘
存储器和光学存储器等)上实施的计算机程序产品的形式。
[0103] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方
框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程
数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中
指定的功能的装置。
[0104] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0105] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0106] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
[0107] 上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的
基础上，本领域技术人员不需要付出创造性劳动即可做出的各种
修改或
变形仍在本发明的保护范围以内。
