技术领域
[0001] 本
发明涉及计算机技术领域，尤其涉及一种预测用户行为发生概率的方法、装置、
电子设备和计算机可读介质。
背景技术
[0002] 目前很多购物平台，需要预测用户的行为。例如，购物平台会随机发放一些优惠券让用户领取，比如京东的京豆。目前预测用户未来领取购物券情况的方法，基本都是采用一些需要手工挑选特征的
机器学习方法，比如
随机森林法。
[0003] 在实现本发明过程中，
发明人发现
现有技术中至少存在如下问题：
[0004] 现有的预测用户未来领取购物券情况的方法，都需要手工挑选一些特征，比如过去7天领取购物券的天数，再根据这些特征进行预测。手工挑选特征的问题在于，很难挑选出能够有效预测的特征。从而，现有的技术效果都不太理想。
发明内容
[0005] 有鉴于此，本发明
实施例提供一种预测用户行为发生概率的方法和装置，能够从源数据中自动提取有效的特征，避免手工提取特征存在的问题，同时，通过选择轻量级网络，使得网络的计算量较小，提高预测的速度。
[0006] 为实现上述目的，根据本发明实施例的一个方面，提供了一种预测用户行为发生概率的方法。包括：提取用户行为的历史数据，所述历史数据由多天的用户行为数据组成；基于对所述用户未来行为的分类的数量来配置
修改的SqueezeNet
卷积神经网络；利用
训练数据训练所述修改的SqueezeNet卷积神经网络；以及将所述历史数据输入到经训练的所述修改的SqueezeNet卷积神经网络中，生成对应于所述用户未来行为的分类中的每一个的发生概率，其中，所述修改的SqueezeNet卷积神经网络包括按顺序级联的卷积层以及全连接层。
[0007] 可选地，所述用户行为数据反映所述用户是否领取了购物券，并且包括以下5个数据中的一个或多个：第一数据包括当天所述用户是否签到的信息，第二数据包括当天所述用户通过签到领取的购物券的价值；第三数据包括当天所述用户是否领到购物券的信息，第四数据包括当天所述用户领取购物券的次数，第五数据包括当天所述用户所领取到的购物券的价值总和。
[0008] 可选地，所述历史数据是二维矩阵，所述二维矩阵的行数是基于所述历史数据的天数，所述二维矩阵的列数是基于所述用户行为数据的数目。
[0009] 可选地，所述全连接层的
节点数等于所述用户未来行为的分类的数量。
[0010] 可选地，所述全连接层的激活函数是softmax。
[0011] 为实现上述目的，根据本发明实施例的另一个方面，提供了一种预测用户行为发生概率的装置，包括：数据提取单元，所述数据提取模
块用于提取用户行为的历史数据，所述历史数据由多天的用户行为数据组成；修改的SqueezeNet卷积神经网络，其中基于对所述用户未来行为的分类的数量来配置修改的SqueezeNet卷积神经网络；训练单元，所述训练单元利用训练数据训练所述修改的SqueezeNet卷积神经网络；以及预测单元，所述预测单元将所述历史数据输入到经训练的所述修改的SqueezeNet卷积神经网络中，生成对应于所述用户未来行为的分类中的每一个发生的概率，其中，所述修改的SqueezeNet卷积神经网络包括按顺序级联的卷积层以及全连接层。
[0012] 可选地，所述用户行为数据反映所述用户是否领取了购物券，并且包括以下5个数据中的一个或多个：第一数据包括当天所述用户是否签到的信息，第二数据包括当天所述用户通过签到领取的购物券的价值；第三数据包括当天所述用户是否领到购物券的信息，第四数据包括当天所述用户领取购物券的次数，第五数据包括当天所述用户所领取到的购物券的价值总和。
[0013] 可选地，所述历史数据是二维矩阵，所述二维矩阵的行数是基于所述历史数据的天数，所述二维矩阵的行数是基于所述用户行为数据的数目。
[0014] 可选地，所述全连接层的节点数等于所述用户未来行为的分类的数量。
[0015] 可选地，所述全连接层的激活函数是softmax。
[0016] 为实现上述目的，根据本发明实施例的再一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现预测用户行为发生概率的方法。
[0017] 为实现上述目的，根据本发明实施例的再一个方面，提供了一种计算机可读介质，其上存储有
计算机程序，所述程序被一个或多个处理器执行时实现预测用户行为发生概率的方法。
[0018] 利用上述发明中的一个实施例，可以预测用户未来行为的情况，例如对于预测将来领取购物券概率很小的客户，进行追踪，调查原因，解决问题，使
访问量、流量增加，因此具有很好的实用价值。
[0019] 上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
[0020] 附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
[0021] 图1是常规SqueezeNet卷积神经网络的示意图；
[0022] 图2是根据本发明实施例的修改的SqueezeNet卷积神经网络的示意图；
[0023] 图3是根据本发明实施例的一种预测用户行为发生概率的方法的主要步骤的示意图；
[0024] 图4是本发明实施例可以应用于其中的示例性系统架构图；
[0025] 图5是适于用来实现本发明实施例的终端设备或
服务器的
计算机系统的结构示意图。
具体实施方式
[0026] 以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0027] 图1是常规SqueezeNet卷积神经网络的示意图。
[0028] SqueezeNet是一种轻量且高效的CNN(卷积神经网络)模型。SqueezeNet的设计理念可以总结为以下三点：
[0029] (1)大量使用1x1卷积核替换3x3卷积核；
[0030] (2)减少3x3卷积核的输入通道数；
[0031] (3)延迟下
采样(downsample)，前面的层可以有更大的特征图，有利于提升模型准确度。
[0032] SqueezeNet网络基本单元是采用了模块化的卷积，其称为Fire模块。Fire模块主要包含两层卷积操作：一是采用1x1卷积核的squeeze(
挤压)层；二是混合使用1x1和3x3卷积核的expand(扩展)层。
[0033] 整个SqueezeNet就是使用Fire基本模块顺序级联而成的，如图1所示，其开始于一个卷积层，后面是Fire模块的顺序级联，值得注意的是其中穿插着maxpool层，其主要作用是
下采样，并且采用延迟的策略，尽量使前
面层拥有较大的特征图。
[0034] SqueezeNet的一些具体的实现细节：
[0035] (1)在Fire模块中，expand层采用了混合卷积核1x1和3x3，其stride均为1，对于1x1卷积核，其输出特征图与原始一样大小；
[0036] (2)Fire模块中所有卷积层的激活函数采用ReLU，Relu是一种激活单元，经过该操作，大于0的值等于原值，小于0的值变成0；
[0037] (3)Fire9层后采用了dropout(退出)层；
[0038] (4)SqueezeNet没有全连接层，而是采用了全局的avgpool层；
[0039] (5)训练采用线性递减的学习速率。
[0040] 相比传统的压缩方法，SqueezeNet能在保证
精度不损(甚至略有提升)的情况下，达到最大的压缩率，将原始AlexNet从240MB压缩至4.8MB，而结合深度压缩后更能达到0.47MB，完全满足了移动端的部署和低带宽网络的传输。
[0041] 图2是根据本发明实施例的修改的SqueezeNet卷积神经网络的示意图。
[0042] 根据本发明的实施例，利用神经网络预测用户行为，例如领取购物券。首先选择神经网络，而不是其他方法，其原因在于神经网络可以自动的从源数据中提取有效的特征。其次，选择卷积神经网络，而不是其他类型的网络，是因为输入数据中存在局部相关性，对输入数据用卷积神经网络提取局部的特征，有助于提升预测的效果。卷积神经网络的特点就是提取局部有效的特征。
[0043] 进一步地，之所以选择SqueezeNet卷积神经网络，是因为该网络是一种轻量级网络，网络计算非常的快，也就是，模型预测非常快，时间非常短，而且，该网络经过精心的设计，提取特征的能
力较强。
[0044] 但是SqueezeNet最初被用于
图像处理中，图像是固定的RGB三通道，而购物券预测任务输入的数据是一个通道，其
分辨率是非常小的，因此，需要对SqueezeNet网络进行修改。
[0045] 具体地，SqueezeNet由一系列的卷积层、降采样层、拼接层等组成。根据本发明的实施例，由于输入数据的尺寸较小，本发明把所有的降采样层去掉，保留卷积层、拼接层等其他的层。同时去掉最后一个卷积层及其之后的层，因为这几个层是针对图像分类任务使用的特定用途的层。之后，在SqueezeNet网络剩余的这些层的后面接一个全连接层。全连接层的激活函数选择softmax。在此，softmax是一种激活单元，对每个激活单元的输出做一个指数操作，即ex，然后对所有激活单元的该值求和，之后每个激活单元的该值除以这个和，就是该激活单元的softmax输出。
[0046] 网络优化的目标，也就是损失函数，选择的是网络的输出与真值的共轭梯度。
[0047] 图3是根据本发明实施例的一种预测用户行为发生概率的方法的主要步骤的示意图。
[0048] 在步骤S301中，进行数据准备。提取用户行为的历史数据，即提取用户过去很多天的数据，每天的数据包括多个维度的数据。用户行为可以是领取购物券。每天的数据例如以下五个数据：第一数据是当天在购物平台上是否签到，签到用1表示，没签到用0表示；第二数据是当天通过签到领了多少价值的购物券，是一个大于等于0的整数；第三数据是当天在购物平台上是否有领到购物券，没有领取用0表示，领取了用1表示，领到购物券除了可以通过签到，还有别的方式，只要领导了购物券，该数据就填充1；第四数据是当天在购物平台上有多少次领取了购物券，除了签到别的方式也都计算在内，是一个大于等于0的整数；第五数据是所有领取到的购物券的价值的总和，是一个大于等于的整数。每天的数据至少包括上述五个维度。签到的同时会发放购物券，因此它作为了特征之一。领了多少的购物券，0代表没领，而大于0代表领了，所以也能反映是否领取了购物券。是否领到购物券，也能反映是否领取了购物券；多少次领取购物券，0表示没领，而大于0代表领了，所以能反映是否领取了购物券；领取到购物券价值的总和，也能体现是否领取了购物券，所以这5个数据均能反映用户是否领取了购物券，因此首选这5个特征。
[0049] 举例说明，我们提取了40天的历史数据，共200个值。我们注意到，每天的5个数据是相互关联的，前后多天的数据也是相互关联的。因此，可以把40天的5维的数据组合成一个40行5列的二维矩阵，对二维矩阵分类学习较好的方法，就是采用卷积神经网络对二维数据进行学习。
[0050] 在步骤S302中，配置修改的SqueezeNet卷积神经网络。在此，构建如参考图2所述的修改的SqueezeNet卷积神经网络。在这个修改的SqueezeNet网络的最后面是一个全连接层。全连接层的节点数由任务所关心的问题决定。假如商家关心的是未来7天里用户通过签到平台领购物券的情况，即7天里0到2天通过签到平台领取了购物券，以及7天里3到7天通过签到平台领取了购物券，这两类情况。前一类代表不常通过签到领购物券，而后一类代表经常通过签到领购物券。那么在这种情况下全连接层有两个节点，分别代表属于这两种情况的概率。全连接层的所有节点和上一层Fire模块9的所有节点都有权重参数连接。权重参数一开始是随机确定，之后网络学习，把参数更新到合理的值。假如商家关心的是未来7天里每一天(第0天-第7天)用户通过签到平台领购物券的8种情况，那么全连接层就有8个节点，分别代表属于这8类的概率。
[0051] 在步骤S303中，训练修改的SqueezeNet网络。首先，对于修改的SqueezeNet网络保留的层的参数，使用该网络在ImageNet图像分类数据集上训练好的模型参数进行初始化，然后网络的训练采用反向传播
算法，参数的更新采用随机梯度下降方法。
[0052] 在步骤S304中，使用经训练的修改的SqueezeNet网络，利用在步骤S301中准备的数据进行预测。
[0053] 作为示例，通过1000多万个样本的训练集对修改的SqueezeNet网络进行训练。利用400万个样本的测试机进行测试，在如步骤S303中描述的分两类的情况下，准确率可达98％。
[0054] 通过图3所述的步骤，能够利用修改的SqueezeNet卷积神经网络对诸如领购物券的用户行为的历史数据进行处理，以便预测未来领购物券的情况。
[0055] 图4示出了可以应用本发明实施例的分布式定时
开关控制方法的示例性系统架构400。
[0056] 如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤
电缆等等。
[0057] 用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、
即时通信工具、邮箱客户端、社交平台
软件等。
[0058] 终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、
平板电脑、膝上型便携计算机和台式计算机等等。
[0059] 服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所浏览的购物类
网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询
请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息)反馈给终端设备。
[0060] 需要说明的是，本发明实施例所提供的分布式
定时开关控制方法方法一般由服务器405执行，相应地，分布式定时开关控制方法装置一般设置于服务器405中。
[0061] 应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0062] 图5所示为适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5所示的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0063] 如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读
存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)
接口505也连接至总线504。
[0064] 以下部件连接至I/O接口505：包括
键盘、
鼠标等的输入部分506；包括诸如
阴极射线管(CRT)、
液晶显示器(LCD)等以及扬声器等的输出部分507；包括
硬盘等的存储部分508；以及包括诸如LAN卡、
调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。
驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、
半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
[0065] 特别地，根据本发明公开的实施例，上文步骤图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行步骤图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本发明的系统中限定的上述功能。
[0066] 需要说明的是，本发明所示的计算机可读介质包括计算机可读
信号介质或计算机可读存储介质，或者是上述两者的任意组合。计算机可读存储介质包括但不限于电、磁、光、电磁、红外线、半导体的系统、装置或器件，或者上述内容的任意组合。计算机可读存储介质具体包括但不限于：具有一个或多个
导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、
只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述内容的任意组合。在本发明中，计算机可读存储介质包括任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用；计算机可读的信号介质包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码，这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、
光信号或上述信号的任意组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF(射频)等，或者上述介质的任意组合。
[0067] 附图中的步骤图或
框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作，步骤图或框图中的每个方框可以代表一个单元、程序段、或代码的一部分，上述单元、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以并行地执行，有时也可以按相反的顺序执行，其执行顺序依所涉及的功能而定。也要注意的是，框图或步骤图中的每个方框以及其组合，可以用执行规定的功能或操作的专用的基于
硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0068] 描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
[0069] 另一方面，本发明实施例还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：提取用户行为的历史数据，所述历史数据由多天的用户行为数据组成；基于对所述用户未来行为的分类的数量来配置修改的SqueezeNet卷积神经网络；利用训练数据训练所述修改的SqueezeNet卷积神经网络；以及将所述历史数据输入到经训练的所述修改的SqueezeNet卷积神经网络中，生成对应于所述分类中的每一个的概率，其中，所述修改的SqueezeNet卷积神经网络包括按顺序级联的卷积层、8个Fire模块，以及全连接层。
[0070] 根据本发明实施例的技术方案，提供一种预测用户行为发生概率的方法和装置，能够从源数据中自动提取有效的特征，避免手工提取特征存在的问题，同时，通过选择轻量级网络，使得网络的计算量较小，提高预测的速度。
[0071] 上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
