一种使用语音触发虚拟人物表情及口型动画的语音系统
专利汇可以提供一种使用语音触发虚拟人物表情及口型动画的语音系统专利检索，专利查询，专利分析的服务。并且本 发明 涉及互联网技术领域，尤其为一种使用语音触发虚拟人物表情及口型动画的语音系统，包括语音输入模 块 、语义识别模块、回应语音模块、表情反应标识模块、口型标识模块、播放语音模块、播放对应口型动画模块以及播放表情动画模块。本发明通过对输入或者应答语音的分析，生成相应的表情和口型对应的标识，通过匹配标识，播放对应标识的表情动画和口型动画，产生对语音输入者的回应表现，通过这种方式，可以让虚拟人物对输入者的语音输入产生不同的情感表现，可以让虚拟人物对输入者的语音输入产生回应式的对话表现，让虚拟人物形象更趋于真实，方便虚拟人物和真实人类产生人机对话时获得真实的脸部动画表现。，下面是一种使用语音触发虚拟人物表情及口型动画的语音系统专利的具体信息内容。
1.一种使用语音触发虚拟人物表情及口型动画的语音系统，其特征在于：包括语音输入模块、语义识别模块、回应语音模块、表情反应标识模块、口型标识模块、播放语音模块、播放对应口型动画模块以及播放表情动画模块。
2.根据权利要求1所述的使用语音触发虚拟人物表情及口型动画的语音系统，其特征在于：所述语音输入模块用于接收语音，所述语义识别模块用于对输入的语音进行分析，生成相应的表情和口型对应的标识，所述回应语音模块用于生成输出的语音，所述表情反应标识模块用于与表情数据库中表情进行匹配，所述口型标识模块用于与口型数据库中的口型进行匹配，所述播放语音模块用于播放语音，所述播放对应口型动画模块用于播放匹配后的口型动画，所述播放表情动画模块用于播放匹配后的表情动画。
3.根据权利要求1所述的使用语音触发虚拟人物表情及口型动画的语音系统，其特征在于：各模块件之间的工作流程包括如下步骤：
S1：通过语音输入模块输入语音；
S2：通过语义识别模块对汉语语音进行分析，生成相应的表情和口型；
S3：通过回应语音模块生成输出的语音，通过表情反应标识模块将生成的表情与表情数据库中的表情进行匹配，通过口型标识模块将生成的口型与口型数据库中的口型进行匹配；
S4：将录制的语音、表情动画以及口型变化使用虚拟人物形象进行播放，通过播放语音模块播放录制的语音，通过播放对应口型动画模块播放口型动画，通过播放表情动画模块播放表情动画；
S5：将语音、口型动画和表情动画进行同步播放处理。
4.根据权利要求3所述的使用语音触发虚拟人物表情及口型动画的语音系统，其特征在于：所述表情数据库通过MPEG-4人脸动画标准进行人脸动画标准建模，所述表情数据库的建模步骤如下所示：
S1提取脸部特征点：在人脸上指定多个特征点，并定义出面部动画参数的参考点；
S2脸部动画参数：将人脸多个特征点分为10组定义脸部的不同部分，包括头部运动、舌、眼和嘴部控制；
S3表情参数定义：定义6个基本表情高兴、吃惊、悲伤、愤怒、厌恶和恐惧时人脸上特征点的位置，记录生成每个表情时每个特征点的轨迹，并记录生成表情数据库。
5.根据权利要求4所述的使用语音触发虚拟人物表情及口型动画的语音系统，其特征在于：所述特征点集中于脸颊、眼睛和口部。
6.根据权利要求3所述的使用语音触发虚拟人物表情及口型动画的语音系统，其特征在于：所述口型数据库的建模根据声母和韵母的组合进行构建，具体操作流程如下：
S1：将普通话中的汉字分成声部和韵部，分别用字母s和y表示 ，与汉语拼音中的声母和韵母相同；
S2：将标准汉语拼音中的声母根据口型进行声部定义，将标准汉语中韵母根据口型进行韵部定义；
S3：将汉字的标准拼音转换成由声部与韵部符号组成的口型拼音，并记录生成口型数据库。
7.根据权利要求1所述的使用语音触发虚拟人物表情及口型动画的语音系统，其特征在于：所述播放语音模块、播放对应口型动画模块以及播放表情动画模块保持同步进行。
一种使用语音触发虚拟人物表情及口型动画的语音系统
技术领域
背景技术
发明内容
S2：通过语义识别模块对汉语语音进行分析，生成相应的表情和口型；
S3：通过回应语音模块生成输出的语音，通过表情反应标识模块将生成的表情与表情数据库中的表情进行匹配，通过口型标识模块将生成的口型与口型数据库中的口型进行匹配；
S4：将录制的语音、表情动画以及口型变化使用虚拟人物形象进行播放，通过播放语音模块播放录制的语音，通过播放对应口型动画模块播放口型动画，通过播放表情动画模块播放表情动画；
S5：将语音、口型动画和表情动画进行同步播放处理。
S2脸部动画参数：将人脸多个特征点分为10组定义脸部的不同部分，包括头部运动、舌、眼和嘴部控制；
S3表情参数定义：定义6个基本表情高兴、吃惊、悲伤、愤怒、厌恶和恐惧时人脸上特征点的位置，记录生成每个表情时每个特征点的轨迹，并记录生成表情数据库。
S2：将标准汉语拼音中的声母根据口型进行声部定义，将标准汉语中韵母根据口型进行韵部定义；
S3：将汉字的标准拼音转换成由声部与韵部符号组成的口型拼音，并记录生成口型数据库。
为了满足对口型动画合成自然度的要求，本项目将按照MPEG-4定义的人脸特征点参数，选取或定义唇区特征点，追踪特征点的状态数据并进行综合分析，规范唇区状态数据进行三维口型建模
2、本使用语音触发虚拟人物表情及口型动画的语音系统通过设置的表情数据库中定义一系列的虚拟人物表情动画和通过设置的口型数据库中定义一系列的人物口型动画，在语音输入时，通过对输入或者应答语音的分析，生成相应的表情和口型对应的标识，通过匹配标识，播放对应标识的表情动画和口型动画，产生对语音输入者的回应表现，通过这种方式，可以让虚拟人物对输入者的语音输入产生不同的情感表现，可以让虚拟人物对输入者的语音输入产生回应式的对话表现，让虚拟人物形象更趋于真实，方便虚拟人物和真实人类产生人机对话时获得真实的脸部动画表现。
图3为本发明正脸特征点的位置标记图；
图4为本发明侧脸特征点的位置标记图；
图5为本发明双眼特征点的位置标记图；
图6为本发明牙齿特征点的位置标记图；
图7为本发明鼻子特征点的位置标记图；
图8为本发明舌头特征点的位置标记图；
图9为本发明嘴唇特征点的位置标记图。
具体实施方式
一种使用语音触发虚拟人物表情及口型动画的语音系统，包括语音输入模块、语义识别模块、回应语音模块、表情反应标识模块、口型标识模块、播放语音模块、播放对应口型动画模块以及播放表情动画模块。
S2：通过语义识别模块对汉语语音进行分析，生成相应的表情和口型；
S3：通过回应语音模块生成输出的语音，通过表情反应标识模块将生成的表情与表情数据库中的表情进行匹配，通过口型标识模块将生成的口型与口型数据库中的口型进行匹配；
S4：将录制的语音、表情动画以及口型变化使用虚拟人物形象进行播放，通过播放语音模块播放录制的语音，通过播放对应口型动画模块播放口型动画，通过播放表情动画模块播放表情动画；
S5：将语音、口型动画和表情动画进行同步播放处理。
S1提取脸部特征点：在人脸上指定多个特征点，并定义出面部动画参数的参考点；
S2脸部动画参数：将人脸多个特征点分为10组定义脸部的不同部分，包括头部运动、舌、眼和嘴部控制；
S3表情参数定义：定义6个基本表情高兴、吃惊、悲伤、愤怒、厌恶和恐惧时人脸上特征点的位置，记录生成每个表情时每个特征点的轨迹，并记录生成表情数据库。
S2：将标准汉语拼音中的声母根据口型进行声部定义，将标准汉语中韵母根据口型进行韵部定义，如下表所示：
标准汉语拼音声母 口型声部定义
b p m s-b
f,w s-f
d t n l s-d
zh ch sh r s-r
y j q x z c s s-y
g k h s-g
标准汉语拼音韵母 口型声部定义
a、 ia 、 ai、 ao、 an 、 ua、 iao、 ian、 uai、 uan、 van、ang 、 iang、 uang y-ao 、 u 、 ü 、 üe 、 ou 、 uo 、 ui、 un、 iu、 iou、 ong、 iong、w y-oe 、 er 、 ei 、 en、 uei 、 uen 、 ueng、 eng y-e
i 、 ie 、 in、 ing y-i
S3：将汉字的标准拼音转换成由声部与韵部符号组成的口型拼音，并记录生成口型数据库。
a ＆→y-a ei ＆→y-e
o ＆→y-o ao ＆→y-a
e ＆→y-e en ＆→y-e
ai ＆→y-a er ＆→y-e
完成口型拼音声部与韵部定义后接下来就是转换工作，就是将汉字的标准拼音转换成由声部与韵部符号组成的口型拼音。为了程序实现方便，本研究中把声部与韵部的口型记号简化，去掉前面的“s-”和“y-”只写成一个字母简化后符号字母共有10个：a、o、e、i、b、d、f、r、y、g。下表给出了一些汉字拼音转换的例子：
标准拼音 声部→韵部口型定义 简化后口型拼音
dong s-d→y-o do
ren s-r→y-e re
a ＆→y-a &a
实施例3
作为本发明的第三种实施例，也可以将英语中的元音和辅音音素根据口型定型定音，并将标准英语中的元音音素归类于口型韵部定义，如下表所示：
标准汉语拼音韵母 口型韵部定义
/ɑ:/，/eɪ/，/aɪ/，/eə/， y-a
/ɒ/，/ɔ:/， [u] ，[u:]，/ə ʊ/，/aʊ/，/ɔɪ/，/ʊ ə/ y-o
/ɜ:/，/ə/，/ʌ/， y-e
/i:/，/i/，/e/，/æ/，/ɪ ə/， y-i
将标准英语中的辅音音素归类于口型声部定义，如下表所示：
标准汉语拼音声母 口型声部定义
/p/，/b/，/m/ s-b
/f/,/v/,/w/ s-f
/d/，/t/，/l/,/n/,/ŋ/ s-d
/θ/,/ð/,/s/,/z/,/ʃ/，/ʒ/,/r/ s-r
/j/,/tʃ/,/dʒ/,/ts/,/dz/, / tr /, / dr / s-y
/h/,/k/,/g/ s-g
同理，声口型部的定义主要是将发音口型特点相同或者类似的声母归类：s-b双唇紧闭，阻塞气流；s-f上齿触下唇形成窄逢；s-d嘴型微开，嘴唇放松，嘴型变化细微；s-g嘴型为下巴张开到最大角度的四分之一，嘴唇放松；s-r嘴唇前伸，绷紧；s-y嘴唇向两侧拉伸。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 使用头戴式显示器内的面部传感器的面部和眼睛跟踪以及面部动画 | 2020-05-08 | 700 |
| 机器人的自定义 | 2020-05-14 | 545 |
| 实时面部动画的在线建模 | 2020-05-11 | 227 |
| 一种亲子活动制作DIY动画的方法 | 2020-05-13 | 28 |
| FACIAL GESTURE DRIVEN ANIMATION OF NON-FACIAL FEATURES | 2020-05-21 | 962 |
| Method for real-time face animation based on single video camera | 2020-05-24 | 611 |
| AUGMENTED FACIAL ANIMATION | 2020-05-22 | 771 |
| SCORING DEVICE AND SCORING METHOD | 2020-05-25 | 844 |
| FACIAL GESTURE DRIVEN ANIMATION OF NON-FACIAL FEATURES | 2020-05-23 | 955 |
| FACE AND EYE TRACKING AND FACIAL ANIMATION USING FACIAL SENSORS WITHIN A HEAD-MOUNTED DISPLAY | 2020-05-18 | 707 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
