专利类型 | 发明公开 | 法律事件 | 公开; 实质审查; |
专利有效性 | 实质审查 | 当前状态 | 实质审查 |
申请号 | CN202410333755.7 | 申请日 | 2024-03-22 |
公开(公告)号 | CN118075570A | 公开(公告)日 | 2024-05-24 |
申请人 | 清华大学; | 申请人类型 | 学校 |
发明人 | 刘烨斌; 邵睿智; | 第一发明人 | 刘烨斌 |
权利人 | 清华大学 | 权利人类型 | 学校 |
当前权利人 | 清华大学 | 当前权利人类型 | 学校 |
省份 | 当前专利权人所在省份:北京市 | 城市 | 当前专利权人所在城市:北京市海淀区 |
具体地址 | 当前专利权人所在详细地址:北京市海淀区清华园 | 邮编 | 当前专利权人邮编:100084 |
主IPC国际分类 | H04N21/81 | 所有IPC国际分类 | H04N21/81 ; G06N3/0455 ; G06N3/08 ; H04N21/466 ; H04N21/44 ; G06N3/045 ; G06N3/042 ; G06N3/0464 |
专利引用数量 | 0 | 专利被引用数量 | 0 |
专利权利要求数量 | 10 | 专利文献类型 | A |
专利代理机构 | 北京清亦华知识产权代理事务所 | 专利代理人 | 韩海花; |
摘要 | 本 发明 提出一种基于扩散模型的细粒度可控人体视频生成方法和系统,其中,方法包括获取一定数量的人体运动视频,基于人体运动视频获得样本视频;基于样本视频获得人体骨架序列和区域特征;构建视频生成模型,视频生成模型包括扩散模型主干和条件嵌入模 块 ;将作为结构引导的人体骨架序列和作为外观引导的区域特征通过条件嵌入模块注入扩散模型主干,利用 叠加 了预设噪声的样本视频对视频生成模型进行训练;获取给定人体图像和给定人体骨架序列,基于给定人体图像获得目标区域特征;将预设噪声、给定人体骨架序列、目标区域特征输入训练好的视频生成模型得到细粒度可控的对应人体的目标运动视频。 | ||
权利要求 | 1.一种基于扩散模型的细粒度可控人体视频生成方法,其特征在于,包括: |
||
说明书全文 | 基于扩散模型的细粒度可控人体视频生成方法和系统技术领域背景技术[0002] 随着计算机视觉领域中的人体动作捕捉和生成等相关人体视频技术的不断发展,利用附加条件控制人体视频生成的相关技术也不断产生。人体视频生成技术可为现代社会中的新闻播报、娱乐直播、远程通讯等提供更为新颖的表现方式。以娱乐直播为例,人体视频生成结合其他相关技术可以在给定单张用户照片的情况下,生成任意风格的跳舞视频,在降低人力成本的同时也会为人们的精神领域提供极大的支撑。 [0003] 在算法方面,人体视频生成可大概分为基于GAN(Generative Adversarial Networks,生成对抗网络)和基于diffusion(扩散)的方法。GAN往往在one‑shot(一次性)驱动上的泛化性较差,而且由于现实生活中人体运动视频存在较多复杂快速的动作,GAN难以在大量数据上优化好外观和动作的对应关系。此外,目前有一些基于diffusion的人体视频生成方法,但是大多利用了图像模型从而导致时序性较差,而且大多数方法仅限于用控制信号控制人体动作,无法同时做到细粒度控制,如生成指定的背景和衣服等。此外,大多数已有方法只采用少量现成数据集,如背景纯白或只有半身。这类数据无法提供较大的多样性,因此在遇见复杂背景或复杂全身动作时效果较差。 发明内容[0004] 本发明旨在至少在一定程度上解决相关技术中的技术问题之一。 [0005] 为此,本发明的第一个目的在于提出一种基于扩散模型的细粒度可控人体视频生成方法,以通过给定单张人体图像和给定人体骨架序列生成相应的人体运动视频、以及实现对该体运动视频不同区域的细粒度控制。 [0006] 本发明的第二个目的在于提出一种基于扩散模型的细粒度可控人体视频生成系统。 [0007] 本发明的第三个目的在于提出一种电子设备。 [0008] 本发明的第四个目的在于提出一种计算机可读存储介质。 [0009] 为达上述目的,本发明第一方面实施例提出了一种基于扩散模型的细粒度可控人体视频生成方法,包括: [0010] 获取一定数量的人体运动视频,基于所述人体运动视频获得样本视频; [0011] 基于所述样本视频获得人体骨架序列和区域特征; [0012] 构建视频生成模型,所述视频生成模型包括扩散模型主干和条件嵌入模块; [0013] 将作为结构引导的人体骨架序列和作为外观引导的区域特征通过所述条件嵌入模块注入扩散模型主干,利用叠加了预设噪声的样本视频对所述视频生成模型进行训练; [0014] 获取给定人体图像和给定人体骨架序列,基于所述给定人体图像获得目标区域特征; [0015] 将所述预设噪声、所述给定人体骨架序列、所述目标区域特征输入训练好的视频生成模型得到细粒度可控的对应人体的目标运动视频。 [0016] 在本发明的第一方面的方法中,所述基于所述人体运动视频获得样本视频,包括:利用姿态估计模型对所有人体运动视频进行处理以得到样本视频。 [0017] 在本发明的第一方面的方法中,所述基于所述样本视频获得人体骨架序列和区域特征,包括:利用dwpose提取所述样本视频中的骨架特征,以得到人体骨架序列;利用SAM提取所述样本视频中的多个不同区域,然后利用预训练的编码器对各个不同区域进行编码,从而得到区域特征。 [0018] 在本发明的第一方面的方法中,预训练的编码器采用预训练好的VAE模型。 [0019] 在本发明的第一方面的方法中,所述条件嵌入模块包括骨架嵌入单元和区域嵌入单元,所述骨架嵌入单元包括多层卷积层和一个自注意力机制层,所述自注意力机制层与所述扩散模型主干的输入层连接;所述区域嵌入单元包括特征自适应模块,所述特征自适应模块与所述扩散模型主干的交叉注意力层连接。 [0020] 在本发明的第一方面的方法中,在所述视频生成模型的训练过程中,损失函数基于预设噪声和该视频生成模型预测得到的噪声确定。 [0021] 为达上述目的,本发明第二方面实施例提出了一种基于扩散模型的细粒度可控人体视频生成系统,包括: [0022] 采集模块,用于获取一定数量的人体运动视频,基于所述人体运动视频获得样本视频; [0023] 提取模块,用于基于所述样本视频获得人体骨架序列和区域特征; [0024] 建模模块,用于构建视频生成模型,所述视频生成模型包括扩散模型主干和条件嵌入模块; [0025] 训练模块,用于将作为结构引导的人体骨架序列和作为外观引导的区域特征通过所述条件嵌入模块注入扩散模型主干,利用叠加了预设噪声的样本视频对所述视频生成模型进行训练; [0026] 获取模块,用于获取给定人体图像和给定人体骨架序列,基于所述给定人体图像获得目标区域特征; [0027] 生成模块,用于将所述预设噪声、所述给定人体骨架序列、所述目标区域特征输入训练好的视频生成模型得到细粒度可控的对应人体的目标运动视频。 [0028] 在本发明的第二方面的系统中,在所述建模模块中,所述条件嵌入模块包括骨架嵌入单元和区域嵌入单元,所述骨架嵌入单元包括多层卷积层和一个自注意力机制层,所述自注意力机制层与所述扩散模型主干的输入层连接;所述区域嵌入单元包括特征自适应模块,所述特征自适应模块与所述扩散模型主干的交叉注意力层连接。 [0029] 为达上述目的,本发明第三方面实施例提出了一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;所述存储器存储计算机执行指令;所述处理器执行所述存储器存储的计算机执行指令,以实现本发明第一方面提出的方法。 [0030] 为达上述目的,本发明第四方面实施例提出了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现本发明第一方面提出的方法。 [0031] 本发明提供的基于扩散模型的细粒度可控人体视频生成方法、系统、电子设备及存储介质,通过获取一定数量的人体运动视频,基于人体运动视频获得样本视频;基于样本视频获得人体骨架序列和区域特征;构建视频生成模型,视频生成模型包括扩散模型主干和条件嵌入模块;将作为结构引导的人体骨架序列和作为外观引导的区域特征通过条件嵌入模块注入扩散模型主干,利用叠加了预设噪声的样本视频对视频生成模型进行训练;获取给定人体图像和给定人体骨架序列,基于给定人体图像获得目标区域特征;将预设噪声、给定人体骨架序列、目标区域特征输入训练好的视频生成模型得到细粒度可控的对应人体的目标运动视频。在这种情况下,将作为结构引导的人体骨架序列和作为外观引导的区域特征通过条件嵌入模块注入扩散模型主干,利用叠加了预设噪声的样本视频对视频生成模型进行训练,以得到训练好的视频生成模型,训练好的视频生成模型学习了人体运动视频相关的先验信息,然后利用给定人体骨架序列和目标区域特征实现对给定人体图像的驱动和细粒度控制,以得到对应人体的运动视频。由此,实现了通过给定单张人体图像和给定人体骨架序列生成相应的人体运动视频、以及实现了对该体运动视频不同区域的细粒度控制。 [0033] 本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中: [0034] 图1为本发明实施例所提供的一种基于扩散模型的细粒度可控人体视频生成方法的流程示意图; [0035] 图2为本发明实施例所提供的数据的采集和处理过程示意图; [0036] 图3为本发明实施例所提供的训练流程图; [0037] 图4为本发明实施例所提供的生成结果示例图; [0038] 图5为本发明实施例所提供的一种基于扩散模型的细粒度可控人体视频生成系统的框图。 具体实施方式[0039] 下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。 [0040] 下面参考附图描述本发明实施例的基于扩散模型的细粒度可控人体视频生成方法和系统。 [0041] 本发明实施例提供了基于扩散模型的细粒度可控人体视频生成方法,以通过给定单张人体图像和给定人体骨架序列生成相应的人体运动视频、以及实现对该体运动视频不同区域的细粒度控制。 [0042] 图1为本发明实施例所提供的一种基于扩散模型的细粒度可控人体视频生成方法的流程示意图。 [0043] 如图1所示,该基于扩散模型的细粒度可控人体视频生成方法包括以下步骤: [0044] 步骤S101,获取一定数量的人体运动视频,基于人体运动视频获得样本视频。 [0045] 在步骤S101中,可以从互联网收集或手机拍摄的一定数量例如约5k个人体运动视频,该人体运动视频是以人为中心的运动视频,要求单人出镜无遮挡,镜头静止且背景固定,每段视频采集时长例如约5~20秒。 [0046] 在步骤S101中,基于人体运动视频获得样本视频,包括:利用姿态估计模型(mmpose)对所有人体运动视频进行处理以得到样本视频。具体地,利用mmpose对所有人体运动视频进行处理,提取以人为中心的区域。以单个人体运动视频为例,检测每一帧的人体框为左上角坐标(Xi,Yi),高Hi宽Wi,最终通过取该单个人体运动视频中所有帧的并集得到最终人体框B,并且根据最终人体框B对该单个人体运动视频进行裁剪,从而得到对应的以人为中心的样本视频V。 [0047] 步骤S102,基于样本视频获得人体骨架序列和区域特征。 [0048] 在步骤S102中,基于样本视频获得人体骨架序列和区域特征,包括:利用dwpose(动作捕捉方法)提取样本视频中的骨架特征,以得到人体骨架序列;利用SAM(图像分割法)提取样本视频中的多个不同区域,然后利用预训练的编码器对各个不同区域进行编码,从而得到区域特征。 [0049] 在步骤S102中,人体骨架序列P的分辨率与样本视频V相同。 [0050] 在步骤S102中,多个不同区域可以是6个不同区域,例如为头发、脸、上衣、裤子、鞋和背景六个区域。利用预训练的编码器E对提取的6个不同的区域进行编码,每个区域可以得到维度为(C*H*W)的特征层Q(即区域特征)。 [0051] 在步骤S102中,预训练的编码器E采用预训练好的VAE(Variational Autoencoder,变分自编码器)模型。 [0052] 图2为本发明实施例所提供的数据的采集和处理过程示意图。在一些实施例中,如图2所示,步骤S101至步骤S102的数据的采集和处理过程,具体包括: [0053] 1)从互联网收集/手机拍摄大量视频(即人体运动视频),将该视频作为后续训练数据,由此能够使得训练数据更加接近于日常生活的环境,可以帮助模型更好地学习真实世界中的数据分布,为后续生成真实和自然的结果奠定基础; [0054] 2)在1)的基础上使用mmpose来剪切人体框,可以将视频集中于人的部分,避免无关背景的负面影响。具体地,利用mmpose检测每一帧,假设第i帧人体框为左上角坐标(Xi,Yi),高Hi宽Wi,取视频左上角为坐标原点,向右为X正方向,向下为Y正方向,则取最终的人体框左上角坐标为X=MIN(Xi),Y=MIN(Yi),右下角坐标为X=MAX(Xi+Wi),Y=MAX(Yi+Hi),通过剪切,可以得到以人为中心的样本视频V; [0055] 3)针对2)中的样本视频V,利用dwpose提取骨架特征以得到人体骨架序列P,目的为将复杂的RGB视频转为抽象的控制信号,同时可以避免受到背景,外观等针对特定视频的属性的影响; [0056] 4)利用SAM得到脸、裤子、鞋等多个局部区域(简称为多个区域),将各局部区域分别提取出来,利用编码器E(例如扩散模型预训练好的VAE模型)提取各局部区域的特征,由于扩散模型在大量的公开数据集上训练,因此可以很好地处理各类概念并且提取特征; [0057] 5)提取的每个局部区域的特征层Q维度为(C*H*W),H为高,W为宽,C为通道维数,可以通过在第一维通道上级联来构造一个完整的特征集合,该特征集合包含了视频中多个区域的信息,并且是独立解耦的表征,有利于后续的控制。 [0058] 步骤S103,构建视频生成模型,视频生成模型包括扩散模型主干和条件嵌入模块。 [0059] 在步骤S103中,条件嵌入模块包括骨架嵌入单元和区域嵌入单元,骨架嵌入单元包括多层卷积层和一个自注意力机制层,自注意力机制层与扩散模型主干的输入层连接;区域嵌入单元包括特征自适应模块,特征自适应模块与扩散模型主干的交叉注意力层连接。 [0060] 在步骤S103中,基于扩散模型设计条件嵌入模块,从而将人体骨架序列P和特征层Q更好地嵌入扩散模型主干中。 [0061] 基于扩散模型设计特征嵌入模块,具体包括: [0062] 该条件嵌入模块可以处理两种类型的条件嵌入,即人体骨架序列P和特征层Q; [0063] 对于人体骨架序列P,由于其在空间布局上与最终生成结果一致,因此将其经过3层卷积,后接一个self‑attention(自注意力机制层)来使其分辨率变为与扩散模型主干输入一致。接着将self‑attention与扩散模型主干的输入级联到一起,提供空间语义信息; [0064] 对于特征层Q,设计了特征自适应模块(feature adapter)来进行嵌入,该自适应模块以残差的方式和扩散模型主干中的cross‑attention(交叉注意力层)的结果相加。具体地,为了提供局部外观对应的位置信息,将特征层Q与扩散模型主干做cross‑attention;以实现特征层Q与扩散模型主干的特征相加。 [0065] 步骤S104,将作为结构引导的人体骨架序列和作为外观引导的区域特征通过条件嵌入模块注入扩散模型主干,利用叠加了预设噪声的样本视频对视频生成模型进行训练。 [0066] 在步骤S104中,在视频生成模型的训练过程中,损失函数基于预设噪声和该视频生成模型预测得到的噪声确定。 [0067] 图3为本发明实施例所提供的训练流程图。在步骤S104中,如图3所示,将人体骨架序列P作为结构引导,局部区域的特征层Q作为外观引导,将样本视频V作为基础输入施加随机时间步的高斯噪声Igt,最后将人体骨架序列P和特征层Q通过条件嵌入模块注入扩散模型主干网络中进行训练,训练过程中建立优化目标,通过人体骨架序列P和特征层Q的引导来预测施加在样本视频V上的高斯噪声Igt,以得到预测噪声Ipr,利用梯度回传对模型参数进行更新迭代,收敛后即可得到以人体骨架序列P和特征层Q为条件的人体运动视频。 [0068] 其中,建立优化目标,包括:利用经典扩散模型来学习数据分布,在训练过程中,对输入的视频片段施加时间步为T的高斯噪声Igt,其中时间步T为0至1000范围内的随机整数。再将加噪后的特征作为输入,网络通过预测所加的噪声输出(即预测噪声)为Ipr,损失函数为MSE loss,损失函数MSE loss的值L满足:L=||Igt‑Ipr||2。 [0069] 步骤S105,获取给定人体图像和给定人体骨架序列,基于给定人体图像获得目标区域特征。 [0070] 在步骤S105中,给定人体图像可以是通过手机等便携设备拍摄任意一人的全身正面照片S。该全身正面照片S以人为中心。 [0071] 在步骤S105中,目标区域特征可以由给定人体图像中的头发、上衣或背景等局部区域得到。基于给定人体图像获得目标区域特征的过程可以参照上述得到特征层Q的过程。 [0072] 步骤S106,将预设噪声、给定人体骨架序列、目标区域特征输入训练好的视频生成模型得到细粒度可控的对应人体的目标运动视频。 [0073] 在步骤S106中,将预设噪声作为训练好的视频生成模型中扩散模型主干的输入,给定人体骨架序列作为骨架嵌入单元的输入,目标区域特征作为区域嵌入单元的输入,利用训练好的视频生成模型得到与给定人体图像中人体一致的目标运动视频。其中,给定人体骨架序列可以实现引导给定人体图像中人体进行相应的运动,目标区域特征可以实现对给定人体图像中人体的细粒度控制,从而实现基于扩散模型的细粒度可控人体视频生成。 [0074] 图4为本发明实施例所提供的生成结果示例图。其中图4左侧为输入的给定人体图像,中间为给定人体骨架序列,右侧为训练好的视频生成模型输出结果,在输出的图像中,人体的细粒度与输入一致,同时人体的动作与给定人体骨架序列一致。 [0075] 在一些实施例中,本发明的基于扩散模型的细粒度可控人体视频生成方法包括: [0076] 步骤S201,在YouTube中搜索”human dancing video”,然后从中挑选单人并且背景固定的视频进行下载; [0077] 步骤S202,将上述视频数据利用如图2所示的处理流程,得到人体骨架序列P和特征层Q; [0078] 步骤S203,利用图3所示的流程进行训练,通过大数据学习人体运动视频相关的先验信息; [0079] 步骤S204,通过手机等便携设备拍摄任意一人的全身正面照片S; [0080] 步骤S205,利用任意骨架序列对全身正面照片S进行驱动,生成相应的人体运行视频。 [0081] 为了实现上述实施例,本发明还提出一种基于扩散模型的细粒度可控人体视频生成系统。 [0082] 图5为本发明实施例所提供的一种基于扩散模型的细粒度可控人体视频生成系统的框图。 [0083] 如图5所示,该基于扩散模型的细粒度可控人体视频生成系统包括采集模块11、提取模块12、建模模块13、训练模块14、获取模块15和生成模块16,其中: [0084] 采集模块11,用于获取一定数量的人体运动视频,基于人体运动视频获得样本视频; [0085] 提取模块12,用于基于样本视频获得人体骨架序列和区域特征; [0086] 建模模块13,用于构建视频生成模型,视频生成模型包括扩散模型主干和条件嵌入模块; [0087] 训练模块14,用于将作为结构引导的人体骨架序列和作为外观引导的区域特征通过条件嵌入模块注入扩散模型主干,利用叠加了预设噪声的样本视频对视频生成模型进行训练; [0088] 获取模块15,用于获取给定人体图像和给定人体骨架序列,基于给定人体图像获得目标区域特征; [0089] 生成模块16,用于将预设噪声、给定人体骨架序列、目标区域特征输入训练好的视频生成模型得到细粒度可控的对应人体的目标运动视频。 [0090] 进一步地,在本发明实施例的一种可能的实现方式中,在采集模块11中,基于人体运动视频获得样本视频,包括:利用姿态估计模型对所有人体运动视频进行处理以得到样本视频。 [0091] 进一步地,在本发明实施例的一种可能的实现方式中,提取模块12,具体用于:利用dwpose提取样本视频中的骨架特征,以得到人体骨架序列;利用SAM提取样本视频中的多个不同区域,然后利用预训练的编码器对各个不同区域进行编码,从而得到区域特征。 [0092] 进一步地,在本发明实施例的一种可能的实现方式中,预训练的编码器采用预训练好的VAE模型。 [0093] 进一步地,在本发明实施例的一种可能的实现方式中,在建模模块13中,条件嵌入模块包括骨架嵌入单元和区域嵌入单元,骨架嵌入单元包括多层卷积层和一个自注意力机制层,自注意力机制层与扩散模型主干的输入层连接;区域嵌入单元包括特征自适应模块,特征自适应模块与扩散模型主干的交叉注意力层连接。 [0094] 进一步地,在本发明实施例的一种可能的实现方式中,在训练模块14中,在视频生成模型的训练过程中,损失函数基于预设噪声和该视频生成模型预测得到的噪声确定。 [0095] 需要说明的是,前述对基于扩散模型的细粒度可控人体视频生成方法实施例的解释说明也适用于该实施例的基于扩散模型的细粒度可控人体视频生成系统,此处不再赘述。 [0096] 本发明实施例中,通过获取一定数量的人体运动视频,基于人体运动视频获得样本视频;基于样本视频获得人体骨架序列和区域特征;构建视频生成模型,视频生成模型包括扩散模型主干和条件嵌入模块;将作为结构引导的人体骨架序列和作为外观引导的区域特征通过条件嵌入模块注入扩散模型主干,利用叠加了预设噪声的样本视频对视频生成模型进行训练;获取给定人体图像和给定人体骨架序列,基于给定人体图像获得目标区域特征;将预设噪声、给定人体骨架序列、目标区域特征输入训练好的视频生成模型得到细粒度可控的对应人体的目标运动视频。在这种情况下,将作为结构引导的人体骨架序列和作为外观引导的区域特征通过条件嵌入模块注入扩散模型主干,利用叠加了预设噪声的样本视频对视频生成模型进行训练,以得到训练好的视频生成模型,训练好的视频生成模型学习了人体运动视频相关的先验信息,然后利用给定人体骨架序列和目标区域特征实现对给定人体图像的驱动和细粒度控制,以得到对应人体的运动视频。由此,实现了通过给定单张人体图像和给定人体骨架序列生成相应的人体运动视频、以及实现了对该体运动视频不同区域的细粒度控制。 [0097] 本发明的核心是利用大模型的良好先验来实现对人体视频的细粒度控制,并生成在自然场景下连贯、一致和真实的人体运动视频。为了实现这一目标,本发明的方法构造了大量数据集来学习人体外观以及运动先验,并且提出了结构和外观引导的条件嵌入网络模块。在数据集构造阶段,本方法从网上收集大量以人为中心的运动视频,并且利用动作捕捉方法dwpose提取视频中人体的骨骼信息,同时利用SAM来提取视频中的多个局部区域,包括头发、脸、上衣、裤子、鞋、和背景6大区域。因此,给定一个以人为中心的运动视频,通过上述步骤可以构造大量的全局‑局部成对数据。在网络结构部分,本方法基于扩散模型提出了外观和结构引导的条件嵌入模块。首先,本方法利用提取的人体骨骼信息作为结构引导,从而实现人体姿态的控制。此外,本方法利用提取的局部区域来进行外观引导。通过将不同区域编码为不同的属性层,可以实现对于视频区域的解耦。进而通过替换某一属性层,可以实现相应区域的细粒度控制。根据本发明,给定单张人体图像和一段骨架序列,可以利用针对局部区域的附加条件,如一张上衣的图,生成相应的人体运动视频。通过对不同属性层的编辑,可以实现对视频不同区域的细粒度控制。本发明的有益效果是:通过常见的单摄像头采集设备,如手机、单反相机等,采集单张人体照片后,通过本算法处理即可实现高真实感、高可控性、自然、以及时序一致的二维人体运动视频效果。 [0098] 为了实现上述实施例,本发明还提出一种电子设备,包括:处理器,以及与处理器通信连接的存储器;存储器存储计算机执行指令;处理器执行存储器存储的计算机执行指令,以实现执行前述实施例所提供的方法。 [0099] 为了实现上述实施例,本发明还提出一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现前述实施例所提供的方法。 [0100] 为了实现上述实施例,本发明还提出一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现前述实施例所提供的方法。 [0101] 本发明中所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。 [0102] 需要说明的是,来自用户的个人信息应当被收集用于合法且合理的用途,并且不在这些合法使用之外共享或出售。此外,应在收到用户知情同意后进行此类采集/共享,包括但不限于在用户使用该功能前,通知用户阅读用户协议/用户通知,并签署包括授权相关用户信息的协议/授权。此外,还需采取任何必要步骤,保卫和保障对此类个人信息数据的访问,并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。 [0103] 本发明预期可提供用户选择性阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件和/或软件,以防止或阻止对此类个人信息数据的访问。一旦不再需要个人信息数据,通过限制数据收集和删除数据可最小化风险。此外,在适用时,对此类个人信息去除个人标识,以保护用户的隐私。 [0104] 在前述各实施例描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。 [0105] 此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。 [0106] 流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。 [0107] 在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。 [0108] 应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。 [0109] 本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。 [0110] 此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。 [0111] 上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。 |