首页 / 专利库 / 软件 / 虚拟产品体验 / 一种实时交互智能数字虚拟人物表情驱动方法及系统

一种实时交互智能数字虚拟人物表情驱动方法及系统

阅读:15发布:2020-05-20

专利汇可以提供一种实时交互智能数字虚拟人物表情驱动方法及系统专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种实时交互智能数字虚拟人物表情驱动方法,虚拟人物的表情获取技术领域,其包括以下步骤:S1,对用户的语音信息进行采集,并将得到的语音信息进行输出;S2,将获得的语音信息进行解析,获得与该语音信息相对的文字信息,并对文字信息进行语义计算同时获得应答;S3,将获得的应答转化为语音,并将该语音转化为表情动画数据,用于驱动虚拟人物作出对应的表情,本发明的有益效果是:大大简化了表情动画的生成,可以广泛应用于智能音箱、智能 机器人 、 聊天 机器人等场景,使这类产品拟人化,具备了情感交互体验,用户可以跟一个虚拟人物面对面交互。,下面是一种实时交互智能数字虚拟人物表情驱动方法及系统专利的具体信息内容。

1.一种实时交互智能数字虚拟人物表情驱动方法,其特征在于,包括以下步骤:
S1,对用户的语音信息进行采集,并将得到的语音信息进行输出;
S2,将获得的语音信息进行解析,获得与该语音信息相对的文字信息,并对文字信息进行语义计算同时获得应答;
S3,将获得的应答转化为语音,并将该语音转化为表情动画数据,用于驱动虚拟人物作出对应的表情。
2.根据权利要求1所述的一种实时交互智能数字虚拟人物表情驱动方法,其特征在于,步骤S1中,采集到的语音信息以无线或有线的方式进行输出。
3.根据权利要求1所述的一种实时交互智能数字虚拟人物表情驱动方法,其特征在于,步骤S2中,语音信息经ASR模解析为文字信息,该文字信息经NLP模块进行语义计算以获得应答。
4.根据权利要求3所述的一种实时交互智能数字虚拟人物表情驱动方法,其特征在于,步骤S2中,应答的结果以字符串的形式输出。
5.根据权利要求1所述的一种实时交互智能数字虚拟人物表情驱动方法,其特征在于,步骤S3中,应答的结果经TTS模块转化为语音。
6.根据权利要求1所述的一种实时交互智能数字虚拟人物表情驱动方法,其特征在于,语音信息的解析、语义计算、应答、应答结果的转化以及表情动画数据的获得在端中进行。
7.根据权利要求1所述的一种实时交互智能数字虚拟人物表情驱动方法,其特征在于,获得的表情动画数据以无线或有线进行回传。
8.一种实时交互智能数字虚拟人物表情驱动系统,其特征在于,包括:
语音采集端(100),与云端(200)通讯,用于采集用户的语音信息;
云端(200)包括:
ASR模块(201),用于对获得的语音信息进行解析,以获得与用户语音信息相对的文字信息;
NLP模块(202),与ASR模块(201)通讯,用于对文字信息进行语义计算,并获得应答;
TTS模块(203),与NLP模块(202)通讯,用于将应答的结果转化为语音,该语音转化为表情动画数据。

说明书全文

一种实时交互智能数字虚拟人物表情驱动方法及系统

技术领域

[0001] 本发明涉及虚拟人物的表情获取技术领域,具体是一种实时交互智能数字虚拟人物表情驱动方法及系统。

背景技术

[0002] 在影视、服务或游戏等行业,对设计虚拟人物时,需要采集演员的表情,以此作为生成虚拟人物表情的依据。
[0003] 传统的表情捕捉系统需要演员穿戴专用的硬件设备,硬件通过传感器捕捉演员的表情,通过算法将表情数字化,最终将表情参数传导致虚拟色,驱动虚拟角色的表情,生成表情动画。这个过程非常复杂,该技术难以应用于更多泛化场景,尤其是在当今智能音箱、智能机器人聊天机器人等快速发展下,传统的表情捕捉方式难以应用。
[0004] 基于此,本申请提出了一种实时交互智能数字虚拟人物表情驱动方法及系统。

发明内容

[0005] 本发明的目的在于提供一种实时交互智能数字虚拟人物表情驱动方法,以解决上述背景技术中提出的问题。
[0006] 为实现上述目的,本发明提供如下技术方案:一种实时交互智能数字虚拟人物表情驱动方法,包括以下步骤:
S1,对用户的语音信息进行采集,并将得到的语音信息进行输出;
S2,将获得的语音信息进行解析,获得与该语音信息相对的文字信息,并对文字信息进行语义计算同时获得应答;
S3,将获得的应答转化为语音,并将该语音转化为表情动画数据,用于驱动虚拟人物作出对应的表情。
[0007] 作为本发明进一步的方案:步骤S1中,采集到的语音信息以无线或有线的方式进行输出。
[0008] 作为本发明再进一步的方案:步骤S2中,语音信息经ASR模解析为文字信息,该文字信息经NLP模块进行语义计算以获得应答。
[0009] 作为本发明再进一步的方案:步骤S2中,应答的结果以字符串的形式输出。
[0010] 作为本发明再进一步的方案:步骤S3中,应答的结果经TTS模块转化为语音。
[0011] 作为本发明再进一步的方案:语音信息的解析、语义计算、应答、应答结果的转化以及表情动画数据的获得在端中进行。
[0012] 作为本发明再进一步的方案:获得的表情动画数据以无线或有线进行回传。
[0013] 一种实时交互智能数字虚拟人物表情驱动系统,包括语音采集端、云端、ASR模块、NLP模块和TTS模块,所述语音采集端与云端通讯,用于采集用户的语音信息;ASR模块、NLP模块和TTS模块均设置在云端中,其中:所述ASR模块用于对获得的语音信息进行解析,以获得与用户语音信息相对的文字信息;NLP模块,与ASR模块通讯,用于对文字信息进行语义计算,并获得应答;TTS模块,与NLP模块通讯,用于将应答的结果转化为语音,该语音转化为表情动画数据。
[0014] 与现有技术相比,本发明的有益效果是:基于ASR模块实现用户语音到文字的转换,经过NLP模块进行语义的计算和理解后,将其转化为语音,再经过预先训练好的卷积神经网络模型中,直接获得表情动画数据,大大简化了表情动画的生成,可以广泛应用于智能音箱、智能机器人、聊天机器人等场景,使这类产品拟人化,具备了情感交互体验,用户可以跟一个虚拟人物面对面交互。附图说明
[0015] 图1为一种实时交互智能数字虚拟人物表情驱动系统的结构示意图。
[0016] 图中:100-语音采集端、200-云端、201-ASR模块、202-NLP模块、203-TTS模块。

具体实施方式

[0017] 这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本实施例公开的一些方面相一致的装置和方法的例子。
[0018] 实施例1请参阅图1,本发明实施例中,一种实时交互智能数字虚拟人物表情驱动方法,包括以下步骤:
S1,对用户的语音信息进行采集,并将得到的语音信息以无线或有线的方式进行输出,此处,语音信息的采集可以通过智能音箱、智能机器人、聊天机器人、麦克等设备进行采集;
S2,将获得的语音信息进行解析,优选的,语音信息经过ASR模块解析,获得与该语音信息相对的文字信息,并对文字信息进行语义计算同时获得应答,此处,语义计算由NLP模块进行,NLP模块进行语义计算完成后,可知用户的语义信息,而现有的语音交互设备均具有自动应答功能,因此,根据该语义信息可以获的与该语义信息相对的应答,此处,为了便于后续的处理,应答以字符串的形式输出;
S3,将获得的应答转化为语音,优选的,该应答的结果经TTS模块转化为语音,此语音相当于是对用户的应答语音, 应答语音可以转化为表情动画数据,用来驱动虚拟人物作出对应的表情,即用户发出语音后,虚拟人物可以做出对应的表情来应答用户。
[0019] 具体的来说,应答语音转化为表情动画数据可以通过卷积神经网络的方式来实现,将应答语音导入至预先训练好的卷积神经网络内,考虑到表情动画的权重,可以直接获得表情动画数据。
[0020] 作为优选的,在实际应用时,对用户的语音信息进行采集很容易实现,但是后期对语音信息进行处理以获得对应的表情动画数据需要大量的计算,因此,本实施例将语音信息的解析、语义计算、应答、应答结果的转化以及表情动画数据的获得在云端中进行,得到的语音信息以无线或有线的方式进行输出至云端,在云端内完成计算等处理后,将获得的表情动画数据再通过无线或有线的方式传回。
[0021] 实施例2请参阅图1,本发明实施例中,一种实时交互智能数字虚拟人物表情驱动系统,包括语音采集端100、云端200、ASR模块201、NLP模块202和TTS模块203,在本实施例中,所述语音采集端100与云端200通讯,用于采集用户的语音信息;
ASR模块201、NLP模块202和TTS模块203均设置在云端200中,其中:
所述ASR模块201用于对获得的语音信息进行解析,以获得与用户语音信息相对的文字信息;
NLP模块202,与ASR模块201通讯,用于对文字信息进行语义计算,并获得应答;
TTS模块203,与NLP模块202通讯,用于将应答的结果转化为语音,该语音转化为表情动画数据。
[0022] 需要特别说明的是,本技术方案中,基于ASR模块201实现用户语音到文字的转换,经过NLP模块202进行语义的计算和理解后,将其转化为语音,再经过预先训练好的卷积神经网络模型中,直接获得表情动画数据,大大简化了表情动画的生成,可以广泛应用于智能音箱、智能机器人、聊天机器人等场景,使这类产品拟人化,具备了情感交互体验,用户可以跟一个虚拟人物面对面交互。
[0023] 本领域技术人员在考虑说明书及实施例处的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
[0024] 应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈