汉语与外语自动实时语音翻译并标注字幕的音像录播设备
专利汇可以提供汉语与外语自动实时语音翻译并标注字幕的音像录播设备专利检索，专利查询，专利分析的服务。并且本技术方案是一种汉语与外语自动实时语音翻译并标注字幕的音像录播设备，属于语音和图像 数据处理 设备技术领域。本技术方案的设备包括话筒和摄像机模 块 1、音视频同步 信号 标记模块2、有声语言 音频信号 提取模块3、汉语 语音识别 模块4、汉语翻译成外语的 机器翻译 模块5、视频画面或影像画面字幕 叠加 机模块6、外语语音合成模块7、音 视频编码 压缩模块8、网络传输模块9、带音视频解码解压缩 软件 服务器 模块10、网络传输模块11、带音视频音像播放软件的客户端模块12、外语语音识别模块13、外语翻译成汉语的机器翻译模块14、汉语语音合成模块15。本技术方案的音像录播设备可以方便中外信息实时交流。，下面是汉语与外语自动实时语音翻译并标注字幕的音像录播设备专利的具体信息内容。
1.一种汉语与外语自动实时语音翻译并标注字幕的音像录播设备, 其特征是：包括话筒和摄像机模块（１）、音视频同步信号标记模块（２）、有声语言音频信号提取模块（3）、汉语语音识别模块（4）、汉语翻译成外语的机器翻译模块（5）、视频画面或影像画面字幕叠加机模块（6）、外语语音合成模块（7）、音视频编码压缩模块（8）、网络传输模块（9）、带音视频解码解压缩软件服务器模块（10）、网络传输模块（11）、带音视频音像播放软件的客户端模块（12）、外语语音识别模块（13）、外语翻译成汉语的机器翻译模块（14）、汉语语音合成模块（15）。
2.如权利要求1所述的汉语与外语自动实时语音翻译并标注字幕的音像录播设备,其特征是该设备工作时按以下步骤进行:
在现场实时汉语语音音像录播时，所述录播设备通过话筒和摄像机模块（１），将汉语语音及现场场景录入并储存到所述的录音录像设备的系统中，系统中的计算机首先通过音视频同步信号标记模块（２）做好通过上述摄像机模块（１）摄制的影像资料中视频画面或影像画面与上述话筒录制的对应的汉语有声语言的音频信号同步信号标记并储存在音像录播设备的储存系统中, 然后将带同步信号标记的有声语言的音频信号通过有声语言音频信号提取模块(3)提取出来，带同步信号标记的汉语有声语言的音频信号提取出来后再传给计算机中的汉语语音识别模块（4），汉语语音识别模块（4）将汉语语音识别成带与所识别的汉语语音相同同步信号标记的用26个拉丁字母表示的汉语语音码,再通过汉语翻译成外语的机器翻译模块（5）将上述汉语语音码翻译成用26个拉丁字母表示的与对应汉语语音码句子具有相同同步信号标记的指定的外文句子, 再将上述带同步信号标记的汉语语音码字幕或外文字幕或它们对照文本字幕传输给现有的视频画面或影像画面字幕叠加机模块（6），根据汉语语音码字幕或外文字幕或它们对照文本字幕与视频画面或影像画面同步信号标记的对应关系将字幕信息叠加在视频画面或影像画面上,同时将上述翻译成带同步信号标记的指定的外文句子,通过外语语音合成模块（7）合成成相应的带同步信号标记的外语语音，然后与具有相同同步信号标记的带中外文字幕的视频画面或影像画面合成在一起并通过上述音视频编码压缩模块（8）进行编码和压缩，经上述编码和压缩后再传输给网络传输模块（9），再由网络传输模块（9）将编码和压缩后的上述具有相同同步信号标记的带中外文字幕和外语语音的视频画面或影像画面传输到宽带网络，宽带网络将其传输到指定的带音视频解码解压缩软件服务器模块（10）上进行储存，带音视频音像播放软件的客户端模块（12）通过网络传输模块（11）登陆到上述带音视频解码解压缩软件服务器模块（10）就可以实时观看上述现场实时带中外文字幕和外语语音的视频影像资料画面；
在现场实时外语语音音像录播时，所述录播设备通过话筒和摄像机模块（１），将外语语音及现场场景录入并储存到所述的录音录像设备的系统中，系统中的计算机首先通过音视频同步信号标记模块（２）做好通过上述摄像机模块（１）摄制的影像资料中视频画面或影像画面与上述话筒录制的对应的外语有声语言的音频信号同步信号标记并储存在音像录播设备的储存系统中, 然后将带同步信号标记的有声语言的音频信号通过有声语言音频信号提取模块(3)提取出来，带同步信号标记的外语有声语言的音频信号提取出来后再传给计算机中的外语语音识别模块（13），外语语音识别模块（13）将外语语音识别成带与所识别的外语语音相同同步信号标记的用26个拉丁字母表示的外文,再通过外语翻译成汉语的机器翻译模块（14）将上述外文翻译成用26个拉丁字母表示的与对应外文句子具有相同同步信号标记的汉语语音码句子, 再将上述带同步信号标记的汉语语音码字幕或外文字幕或它们对照文本字幕传输给现有的视频画面或影像画面字幕叠加机模块（6），根据汉语语音码字幕或外文字幕或它们对照文本字幕与视频画面或影像画面同步信号标记的对应关系将字幕信息叠加在视频画面或影像画面上,同时将上述翻译成带同步信号标记的汉语句子,通过汉语语音合成模块（15）合成成相应的带同步信号标记的汉语语音，然后与具有相同同步信号标记的带中外文字幕的视频画面或影像画面合成在一起并通过上述音视频编码压缩模块（8）进行编码和压缩，经上述编码和压缩后再传输给网络传输模块（9），再由网络传输模块（9）将编码和压缩后的上述具有相同同步信号标记的带中外文字幕和汉语语音的视频画面或影像画面传输到宽带网络，宽带网络将其传输到指定的带音视频解码解压缩软件服务器模块（10）上进行储存，带音视频音像播放软件的客户端模块（12）通过网络传输模块（11）登陆到上述带音视频解码解压缩软件服务器模块（10）就可以实时观看上述现场实时带中外文字幕和汉语语音的视频影像资料画面。
3.如权利要求1所述的汉语与外语自动实时语音翻译并标注字幕的音像录播设备,其特征是：所述的汉语翻译成外语的机器翻译模块（5）和外语翻译成汉语的机器翻译模块（14）可以合并采用一种使用汉语语音码的汉语与外语双向可逆机器翻译模块。
4.如权利要求1所述的汉语与外语自动实时语音翻译并标注字幕的音像录播设备, 其特征是:上述网络传输模块（9）或网络传输模块（11），可以是有线网络传输模块也可以是3G、4G、wifi、wimax、蓝牙无线网络传输模块，在采用有线网络传输模块时，上述宽带网络是有线宽带网络，在采用无线网络传输模块时，上述宽带网络是无线宽带网络。
5.如权利要求2或3所述的汉语与外语自动实时语音翻译并标注字幕的音像录播设备,其特征是:所述的汉语语音码是以单词为单位，这里将单个汉字看作单音节词，根据组成该单词的每个音节的《汉语拼音方案》中的拼音，用且仅用26个拉丁字母对汉语拼音的声母、介母、韵母、声调采取先编码再依次按“声码+介码+韵码+调码兼隔音节符号”的顺序编码拼写，并通过得到的语音码的编码直接表达汉语信息，当直接用语音码编码来表示汉语信息时，其标点符号的用法同英文的标点符号的用法相同，编码时同一个单词的多个音节不用空格连续编码，单词与单词之间要有空格隔开。
6.如权利要求5所述的汉语与外语自动实时语音翻译并标注字幕的音像录播设备,其特征是:所述的汉语语音码是声母全部用辅音拉丁字母表示，用于表示汉语信息的语音码的声母除了《汉语拼音方案》中的声母zh、ch、sh分别用j、q、x三个辅音拉丁字母表示外，其余的声母用与《汉语拼音方案》中的相同符号的辅音拉丁字母表示，《汉语拼音方案》中的zhi、chi、shi分别用语音码的jr、qr、xr表示，《汉语拼音方案》中的er用语音码的er来表示，jr或qr或xr及er键盘输入时分别按J和R或Q和R或X和R及E和R两个键位
输入。
7.如权利要求5所述的汉语与外语自动实时语音翻译并标注字幕的音像录播设备,其特征是: 所述的汉语语音码用26个字母中的一个字母y表示原来《汉语拼音方案》中的单韵母和介母中的ü，其余单韵母和介母的编码采用与《汉语拼音方案》中的单韵母和介母相同的符号。
8.如权利要求5所述的汉语与外语自动实时语音翻译并标注字幕的音像录播设备,其特征是:所述的汉语语音码复合韵母除了用与《汉语拼音方案》中的相同的符号表示外，用一个辅音字母表示。
9.如权利要求5所述的汉语与外语自动实时语音翻译并标注字幕的音像录播设备,其特征是: 所述的汉语语音码其调码用四个元音字母和一个汉语不用的字母v表示，用拉丁字母a、e、v、u、o分别表示《汉语拼音方案》中的阴平－、阳平e：/、上声v：∨、去声u：\、轻声o不标。
10.如权利要求1或2或3所述的汉语与外语自动实时语音翻译并标注字幕的音像录播设备,其特征是:所述的汉语翻译成外语的机器翻译模块（5）、外语翻译成汉语的机器翻译模块（14）、使用汉语语音码的汉语与外语双向可逆机器翻译模块能够内嵌汉字和汉语拼音与汉语语音码双向转换模块，所述的汉语语音码，在汉字系统的计算机中可以通过上述汉字和汉语拼音与汉语语音码双向转换模块转换成汉字,汉语语音码或汉字能够单独或者汉语语音码与汉字、汉语拼音，意义一致的外文对照显示、储存、输出。
汉语与外语自动实时语音翻译并标注字幕的音像录播设备
技术领域
背景技术
14、汉语语音合成模块15。
具体实施方式
注：破折号“—”后的符号均为汉语拼音符号，破折号“—”前的字母为所采用的汉语每一音节声、韵、调的编码,以下均同，以下将下列对照表简称为码表。
n—n ; l—l ; g—g ; k—k ; h—h ;
j—zh， j ; q—ch，q ; x—sh，x ;r—r ;
z—z ; c—c ; s—s ; y—y ; w—w 。
k—ao ; c— ai ; s—an ; x—ou ; w—ei ; n—en ;
z—ua ; l—uo ; b—ang ; d—ong ; p—eng ；
q—ing ; g—ng ; er—er ;
r—i ; “i只与汉语拼音声母zh、ch、sh相拼时，汉语拼音的i用语音码的编码r代表”。即：汉语拼音的zhi、chi、shi分别用语音码的jr、qr、xr代表。jr或qr或xr及er键盘输入时分别按J和R或Q和R或X和R及E和R两个键位输入。
这里由于将独立运用的汉字看作单音节词，因此，本发明所采用的汉字编码的方法和汉语单词音节编码的方法相同，在本发明中采用单词音节编码按词连写后得到单词编码，我们将由若干个单词组成的一组词称为词组，本发明所采用词组的编码同汉语句子的编码相同，由于单词可以表示词组和汉语句子，因此在本发明中所采用的词组的编码和汉语句子的编码都可以通过单词的编码实现，而不需要对词组和汉语句子另外制定一套专门的编码，一般在整句整篇以词为单位表示汉语信息时，在理解时一般不需要进行同音字词的选择，原则上听起来不会产生歧义的句子，用编码表达时也不会产生歧义。
比如：我们提取影像资料中的下列汉语句子的汉语语音：
“我们每天使用拉丁文 。”
（1）通过查找预先储存在计算机系统中的汉语音节语音模板和汉语语音音节码对照表，匹配后识别出相应的汉语音节语音码串：
Wov mno mwv tisa xrv ydu laa dqa wnv .（音节与音节之间有空格）
或wovmnomwvtisaxrvydulaadqawnv. （音节与音节之间无空格）
(熟练后mno中的轻音符o在不引起混音时可以省略,以上以下均同。)
为了让大家看清楚这里将表示声调的字母加了下划线，语音码中的声调字母同时具隔音节作用，实际语音码中声调无下划线，熟练汉语语音码后声调兼隔音节符能够方便区分出来。
再通过汉语翻译成外语的机器翻译模块5将上述汉语语音码翻译成用26个拉丁字母表示的与对应汉语语音码句子具有相同同步信号标记的指定的外文句子：
调用汉语翻译成外语的机器翻译模块5，再将得到的汉语语音码表示的汉语信息转换成外文，这里以英文为例，对其它外文也一样，这里就不一一举例。
wovmno mwvtisa xrvydu laadqawnv .
调用汉语翻译成外语的机器翻译模块(5)得到以下翻译转换步骤,最终得到上述对应汉语语音码的英文句子:
1．wovmno mwvtisa xrvydu laadqawnv .（汉语语音码表示的汉语信息）
我们 每天 使用 拉丁文 。 （用汉字表示的汉语信息）
a)查预先储存在计算机系统中的标注单词词性的汉语词典建立单词词性串：（句中括号内的部分是词性，以下均同）
wovmno（人称代词1）+ mwvtisa（时间名词1）+ xrvydu（动词1）+ laadqawnv（名词
2）.
我们（人称代词1） + 每天（时间名词1） +使用（动词1） + 拉丁文（名词2）。
wovmno（人称代词1作主语）+ mwvtisa （时间名词1作时间状语）+ xrvydu（动词1作谓语）+ laadqawnv （名词2作宾语）
我们（人称代词1作主语） + 每天（时间名词1作时间状语） + 使用（动词1作谓语）+ 拉丁文（名词2作宾语）
c)根据上面得到的汉语句型查表得到预先储存在表中的对应的英语句型：
wovmno（人称代词1作主语）+ xrvydu （动词1作谓语）+ laadqawnv（名词2作宾语）+ mwvtisa（时间名词1作时间状语）
我们（人称代词1作主语） +使用（动词1作谓语） + 拉丁文（名词2作宾语）+ 每天（时间名词1作时间状语）
此时查预先储存在计算机系统中的汉英词库进行单词或词组意思的转换，并按此句型顺序输出便完成汉语翻译成英语的转换，为了表明此机器翻译过程的可双向性，我们再作下面进一步的变换：
d)根据上面得到英语句型查表得到预先储存在表中的与对应的英语单词或词组词性相一致的词性串：（该词性串也可从得到的目标语言句型中提取得到，以下均同）wovmno（人称代词1）+ xrvydu（动词1）+ laadqawnv（名词2）+ mwvtisa（时间名词
1）.
我们（人称代词1） + 使用（动词1） + 拉丁文（名词2） + 每天（时间名词1）。
这样便完成了汉语翻译成英语的转换。
通过外语语音合成模块7合成成相应的带同步信号标记的外语语音并与具有相同同步信号标记的上述带字幕的视频画面或影像画面合成在一起储存或同步输出，这样我们采用上述方法实现了将汉语语音实时影像资料转变成英语语音并加注中外文字幕的实时影像资料，同理对其它外语也可以采用相同的方法实现以上的过程和结果，这里就不再一一累述。
We use latin every day.
首先调用英语语音识别模块(13)，我们得到上述英文句子：
We use latin every day.
同理，更进一步采用以下的方法，我们可以完成从英语语音到汉语语音和汉语语音码的字幕转换:
通过外语翻译成汉语的机器翻译模块(14)将上述外文翻译成用26个拉丁字母表示的与该对应外文句子具有相同同步信号标记的汉语语音码句子:
调用外语翻译成汉语的机器翻译模块(14)我们得到以下翻译步骤和结果：
1．“we use latin every day.” （这是通过英语语音识别得到的英语句子）c)查预先储存在计算机系统中的标注单词或词组词性的英语词典建立单词或词组的词性串：
we（人称代词1）+ use（动词1） + latin（名词1） + every day（时间名词2）.d)根据上面得到的句子词性串查表得到预先储存在表中的英语句型：
we （人称代词1作主语）+ use（动词1作谓语）+ latin（名词1作宾语）+ every day（时间名词2作时间状语）
e)根据上面得到英语句型查表得到预先储存在表中的对应的汉语句型：
we （人称代词1作主语）+ every day（时间名词2作时间状语）+ use（动词1作谓语）+ latin（名词1作宾语）
此时查预先储存在计算机系统中的汉英—英汉双向词库进行单词或词组意思的转换，并按此句型顺序输出便完成英语翻译成汉语的转换，为了表明此机器翻译过程的可双向性，我们再作下面进一步的变换：
f)根据上面得到汉语句型查表得到预先储存在表中的与对应的汉语单词或词组词性相一致的词性串：
we （人称代词1）+ every day（时间名词2）+ use（动词1）+ latin（名词1） g)查预先储存在计算机系统中的汉英—英汉双向词典进行单词或词组意思的转换并按上面所得到的汉语句型的顺序输出：
wovmno（人称代词1）+ mwvtisa（时间名词2）+ xrvydu（动词1）+ laadqawnv（名词
1）.
最后我们得到：
wovmno mwvtisa xrvydu laadqawnv .（汉语语音码表示的汉语信息）
这样我们重复汉语译英语的过程就又得到了我们刚才交给系统翻译成英语的汉语句子，说明了该机器翻译方法具有双向可逆性。同理，也可以用上面的方法对复句进行双向翻译,这里就不再累述。
wovmno mwvtisa xrvydu laadqawnv .
其意义用汉字表达为：
“我们每天使用拉丁文。”
在对汉语语音码表达的汉语信息进行汉语语音合成时，一般根据需要可以采用以下三种方法之一：
1．通过查汉语语音码与音节汉语语音合成文件对照表进行语音合成的方法：
查预先储存在计算机系统中的汉语语音码与音节汉语语音合成文件对照表后得到
与语音码对应的汉语语音的声音文件（为表述方便该声音文件用“相对应的音节汉语拼音.wav”表示，实际情况中是没有汉语拼音符号的，它只是预先储存在计算机系统中，可以通过一定的声音播放软件播放的表示相应音节汉语语音的声音文件。
wovmno(wǒmen.wav) mwvtisa (měitiān.wav) xrvydu(shǐyòng.wav)
laadqawnv(lādīngwěn.wav).
对查找到的以单词为单位代表该汉语语音的相应的声音文件用声音播放软件依次顺序播出,词与词之间采用比同一单词音节之间更长的时间间隔来依次连续播出,这样会听起来更接近按词朗读的效果,更符合人们听语音的习惯。
Wovmno mwvtisa xrvydu（wǒmen měitiān shǐyòng.wav) hsuyyv laadqawnv (hànyǔ lādīngwěn.wav).
（为表述方便上述该以语段为单位的汉语声音文件用“相对应的以该语段为单位的汉语拼音.wav”表示，实际情况是没有汉语拼音符号的，它只是预先储存在计算机系统中，可以通过一定的声音播放软件播放的表示相应以该语段为单位的汉语语音的声音文件）在上述三种语音合成方法中第一种方法所需要的计算机系统语音文件储存空间最小，第三种所需要的计算机系统语音文件储存空间最大。
通过分别查找汉语语音码与以词为单位的汉字和汉语拼音对照表可以方便地将汉语语音码转换成汉字和汉语拼音，比如：
wovmno 通过查声码、介码、韵码、调码和汉语拼音对照表或根据该对照表生成的汉语语音码音节或单词和拼音音节或单词对照表得到wǒmen，再通过wǒmen查找到以词为单位的汉字，当以单词为单位的语音码通过以单词为单位的汉语拼音与以单词为单位的汉字建立对应关系后，一旦需要以单词为单位的语音码可以不再需要通过以单词为单位的汉语拼音，直接与以单词为单位的汉字建立对应关系并实行相应的转换。比如： wovmno 可以转换为wǒmen，再通过wǒmen可以转换成 “我们”，这样wovmno和“我们”便直接建立了对应关系，需要时可以不通过汉语拼音wǒmen进行转换，而直接在wovmno和“我们”之间实现双向可逆转换。
1.“Wǒmen měitiān shǐyòng lādīngwěn。”
2.“wovmno mwvtisa xrvydu laadqawnv.”
3.“Wǒmen měitiān shǐyòng lādīngwěn。”
我们 每天 使用 拉丁文。
我们 每天 使用 拉丁文。
“wovmno mwvtisa xrvydu laadqawnv.”
为了让外国人或中国少数民族更方面地了解汉语的含义和学习汉语，也可以在每个对照的单词中插入相应的外语单词或少数民族文字，比如在下面的单词中加入相应的英语单词作中文意思的注解：
“wovmno Wǒmen mwvtisa měitiān xrvydu shǐyòng laadqawnv lādīngwěn 。”我们 We 每天every day 使用 use 拉丁文Latine。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 韵律结构分析装置与语音合成的装置及方法 | 2020-05-18 | 566 |
| 一种跨语言情感语音合成方法及系统 | 2020-05-19 | 38 |
| POI相对位置信息语音播报方法 | 2020-05-24 | 279 |
| 汉语外语有声影像资料双向可逆语音转换并加注字幕方法 | 2020-05-26 | 382 |
| 投影仪设备的视频检索方法、装置、设备及存储介质 | 2020-05-12 | 581 |
| System for tuning synthesized speech | 2020-05-24 | 342 |
| 発音学習コンテンツ提供装置、システム、プログラム及び方法 | 2020-05-21 | 261 |
| 음성인식을 위한 언어모델 생성 장치 및 방법 | 2020-05-22 | 131 |
| 语音播报方法及装置 | 2020-05-16 | 1010 |
| 編碼串流產生裝置、韻律訊息編碼裝置、韻律結構分析裝置與語音合成之裝置及方法 | 2020-05-25 | 604 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
