基于改进型循环神经网络单元的推荐系统
专利汇可以提供基于改进型循环神经网络单元的推荐系统专利检索，专利查询，专利分析的服务。并且一种基于改进型循环神经网络单元的推荐系统，包括：多用户行为数据 编码器 和多任务 解码器 ，编码器基于用户的交互序列数据 抽取 用户的购物意图信息，并用隐藏状态 序列表 示，三个解码器分别对应不同的任务，根据挖掘到的用户购物意图分别完成预测下一个交互的物品和类别、判断两个序列是否属于同一个用户、推荐用户新的物品等三种任务。本 发明 通过两种循环神经网络来建模用户多种不同的行为数据；同时考虑到交互行为的复杂性，本发明利用多个循环神经网络，分别建模交互行为数据中不同商品类别层面的信息；此外，本发明通过多任务学习，给用户和物品学习具有商品类别等语义信息的向量表达，基于多种用户行为数据，缓解数据稀疏性问题，挖掘交互序列中包含的多种商品类别层面的信息，提升推荐效果。，下面是基于改进型循环神经网络单元的推荐系统专利的具体信息内容。
1.一种基于改进型循环神经网络单元的推荐系统，其特征在于，包括：多用户行为数据编码器和多任务解码器，其中：编码器基于用户的交互序列数据抽取用户的购物意图信息，并用隐藏状态序列表示，三个解码器分别对应不同的任务，根据挖掘到的用户购物意图分别完成预测下一个交互的物品和类别、判断两个序列是否属于同一个用户、推荐用户新的物品等三种任务；
所述的编码器采用多用户行为门循环单元包括：Hard-MGRU循环神经网络和Soft-MGRU循环神经网络，其中：Hard-MGRU循环神经网络针对不同的用户行为，使用不同的模型参数，相邻的用户行为之间使用循环神经网络的隐藏状态ht传递信息；Soft-MGRU循环神经网络利用GRU中的门结构来建模用户的不同行为并转换成低维的向量表达。
2.根据权利要求1所述的推荐系统，其特征是，所述的Hard-MGRU循环神经网络包括：六个矩阵乘法单元 三个点积乘法单元⊙、两个Sigmoid函数单元σ、双曲正切单元tanh、加法单元 和归一化单元Norm，其中：位于最下层的三个矩阵乘法单元分别接收当前的交互行为类型，从Wr、Wz、Wh中获得循环神经网络单元的参数矩阵，分别用于后续的更新门、重置门、隐藏状态的计算；中间两个乘法单元接收物品信息(pt,qt)，并分别输出至两个Sigmoid函数单元，分别计算重置门rt和更新门zt；前一个时刻的隐藏状态ht-1、当前的交互物品信息pt和物品类别信息qt输入到中间部分的第三个矩阵乘法单元，然后输出至双曲正切单元，计算当前的隐藏状态 然后前一个时刻的隐藏状态ht-1和以及当前的隐藏状态 分别与1-zt和zt输入到两个点积乘法单元，再输出至加法单元，计算得到 再 经过归一化单元，输出最终的隐藏状态ht；
所述的Hard-MGRU循环神经网络中的重置门和更新门具体为：rt＝σ(Wr[pt,qt]+br)；zt＝σ(Wz[pt,qt]+bz)；候选隐藏状态 当前的隐藏状态
归一化的隐藏状况 其中：σ(·)和tanh(·)分别是
sigmoid函数和双曲正切函数， 表示 的向量长度，W和b分别是单元中的权值矩阵和偏置。
3.根据权利要求1所述的推荐系统，其特征是，所述的SoftMGRU循环神经网络包括：三个矩阵乘法单元 三个点积乘法单元(⊙)、两个Sigmoid函数单元(σ)、双曲正切单元(tanh)、加法单元 和归一化单元(Norm)，其中：第一和第二矩阵乘法单元接收物品信息和当前行为类别信息(pt,qt,at)，并分别输出至两个Sigmoid函数单元，分别计算重置门rt和更新门zt；前一个时刻的隐藏状态ht-1、当前的交互物品信息pt和物品类别信息qt输入到第三个矩阵乘法单元，然后输出至双曲正切单元，计算当前的隐藏状态 然后前一个时刻的隐藏状态ht-1和以及当前的隐藏状态 分别与1-zt和zt输入到两个点积乘法单元，再输出至加法单元，计算得到 再 经过归一化单元，输出最终的隐藏状态ht；
所述的SoftMGRU循环神经网络利用GRU中的门结构来建模用户的不同行为，所有的用户行为类型共享，具体为：将用户行为进行低维向量表达at＝EBbt；然后依次计算重置门和更新门以及当前的隐藏状态：rt＝σ(Wr[pt,qt,at]+br)；zt＝σ(Wz[pt,qt,at]+bz)；
其中：重置门rt和更新门zt不
仅依赖于当前的物品编号和物品类别，还依赖于当前的用户行为；通过循环神经网络，每个循环神经网络以得到一个隐藏状态序列
4.一种基于上述任一权利要求所述系统的推荐方法，其特征在于，包括如下步骤：
步骤一，基于用户与物品交互记录，构建交互序列，每条记录包括物品的编号、物品的类别和交互行为类型；
步骤二，构建多个多行为循环神经网络，用于建模交互序列，生成隐藏状态序列，各个循环神经网络的隐藏状态序列包含了在不同商品类别层面的信息；
步骤三，基于隐藏状态序列构建预测下一个交互物品、判断两个序列是否属于同一个用户以及推荐用户新的物品三个任务；
步骤四，使用步骤二得到的交互序列训练所述多行为循环神经网络；
步骤五，根据每个用户的历史交互序列以及候选推荐物品，使用训练后的多行为循环神经网络获得用户对各个物品的偏好得分，将偏好得分最高的物品作为该用户的推荐结果。
5.根据权利要求4所述的方法，其特征是，所述的步骤一具体是指：将用户与物品的交互记录数据，处理成后续模型所需要的格式；用户与物品的交互记录可以表示为(xt,ct,bt)，其中：xt是物品的编号，ct是该物品的类别，bt是交互行为的类型；本实施例令B＝{b1,b2,…,bR}为所有交互行为的类别集合，包括用户点击、加入购物车、购买等；针对一个用户u，将他的交互记录根据时间进行排序以构成多交互行为的序列，也就是Su＝{(x1,c1,b1),(x2,c2,b2),…,(xT,cT,bT)}；所有用户的交互序列的集合，就构成了模型的训练数据，即H＝{S1,S2,…,Su,…,Sn}，其中：n表示用户的数量；基于用户的行为数据，推荐结果表示为：给定一个用户的历史交互序列Su＝{(x1,c1,b1),(x2,c2,b2),…,(xT,cT,bT)}，预测用户下一个要购买的物品。
6.根据权利要求4所述的方法，其特征是，所述的步骤二具体是指：针对输入序列Su＝{(x1,c1,b1),(x2,c2,b2),…,(xT,cT,bT)}，循环神经网络j输出对应的隐藏状态序列其中：上标j为对应循环神经网络处理的结果。
7.根据权利要求4所述的方法，其特征是，所述的步骤三具体是指：针对每个循环神经网络j，编码器模块均生成一个隐藏状态序列 然后多任务解码器完成相关任
务，即预测下一个交互物品任务、判断两个序列是否属于同一个用户以及推荐用户新的物品任务、给用户推荐新的物品任务。
8.根据权利要求7所述的方法，其特征是，所述的预测下一个交互物品任务，即预测的目标包括物品的编号和物品类别，具体为：根据从编码器中获取当前时刻的隐藏状态，因为本实施例使用多个循环神经网络来挖掘多种用户购物意图，所以对t时刻，具有多个隐藏状态，即 其中：m表示循环神经网络的个数；然后计算隐藏状态均值并聚合成向量 其中：ht表示聚合后的向量；根据聚合后的向量，预测用户下一
个要交互的物品编号和物品类别； 其中： 和
分别表示用户下一个交互的物品是某个物品编号和类别的概率，WI和WC是相应的参数；
所述的判断两个序列是否属于同一个用户任务，即用户的交互序列数据表征用户的偏好情况，不同的用户对物品的偏好有很大差别，根据用户交互序列学到的隐藏向量，表征用户的购物意图，因此给定两个交互序列，判断其是否属于同一个用户，具体为：取出编码器的最后一个隐藏状态向量作为交互序列的表征，即hT和h′T分别表示两个交互序列的表征；
然后拼接该两个向量后输入多层全连接神经网络中，得到该两个序列属于同一个用户的概率 其中：f(·)表示全连接神经网络；
所述的推荐用户新的物品任务，即依据序列数据的最后一个隐藏状态，用于计算用户对于所有物品的偏好值，具体为：将多个循环神经网络的最后一个隐藏状态，使用注意力机制进行聚合 其中： 为编码器的最后一个
隐藏状态，m为循环神经网络个数；ei为待估计偏好值的物品i的编号的低维向量表达，g(·)表示全连接神经网络，用于计算目标物品和各个隐藏状态的相似性，h表示聚合之后的向量；然后使用内积来计算用户对该物品的偏好值，即 当该用户在未来购买了该物品，则 否则
9.根据权利要求4所述的方法，其特征是，所述的步骤四中，对应多任务解码器完成三个任务的损失函数分别为：
+ -
其中：Y＝Y ∪Y ，分别是正样本和负样本
集合，本实施例中针对每个正样本采样得到若干用户未购买的物品作为负样本；则全局损失函数L＝λ1L1+λ2L2+λ3L3，其中：λi为第i个任务的权重；再使用梯度下降法以学习获得最终的模型。
基于改进型循环神经网络单元的推荐系统
技术领域
背景技术
发明内容
具体实施方式
其中： 和 分别表示用户下一个交互的物品
是某个物品编号和类别的概率，WI和WC是相应的参数。
本采样得到若干用户未购买的物品作为负样本；则全局损失函数L＝λ1L1+λ2L2+λ3L3，其中：
λi为第i个任务的权重；再使用梯度下降法以学习获得最终的模型。
sigmoid函数和双曲正切函数， 表示 的向量长度，W和b分别是单元中的权值矩阵和偏置。
仅依赖于当前的物品编号和物品类别，还依赖于当前的用户行为。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种垃圾分类回收站系统 | 2020-05-11 | 922 |
| 可与相同的车堆叠的购物车 | 2020-05-08 | 536 |
| 一种购物车生产使用的把手打磨装置 | 2020-05-11 | 429 |
| 一种智能购物车车锁结构及购物车 | 2020-05-12 | 817 |
| 展示方法及装置、服务器、电子设备 | 2020-05-08 | 157 |
| 用于管控餐饮下单的方法及装置 | 2020-05-08 | 184 |
| 一种自动扫描式图像识别的自动售货装置及方法 | 2020-05-08 | 600 |
| 电子智能锁 | 2020-05-08 | 249 |
| 一种后方自动出货售卖柜 | 2020-05-11 | 494 |
| 悬挂装置和购物车 | 2020-05-08 | 948 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
