相应地，需要一种简单的方法，用于以允许对输出语音的韵律进 行控制的方式向语音合成器传递所希望的韵律。
为实现此目的或其他目的，本发明提供了一种在声学上对文本进 行编码，以便用于从文本合成语音的方法，该方法包括以一个或更多 个图形符号标记要说出的文本，以向说话者指出要赋予说出的文本的 所希望的韵律。本发明还提供了用于语音合成的方法和系统，该语音 合成包括韵律代码，或记号，对于用可表达的含义来标记文本，以规 定适当的韵律。标记可以包括字形-音素对，其每一对都包括指出可与 书面文本一起使用的字形的可见的韵律，和在数字域中起作用的对应 的数字音素。
所要赋予的韵律可以包括从包括速度、语调模式、节奏、音感、 振幅、重音和气息音的停顿、以及单词和短语短语的正式和非正式的 发音的组中选择的一个或更多个韵律元素。
该方法可以包括以图形韵律符号来标记可见的文本或用图形符 号的电子形式来以电子方式标记电子文本，以电子方式标记的文本可 以作为人类可读的用图形方式标记的文本来显示或打印。
在另一个方面，本发明提供了通过输入到语音合成器的声音编码 变量来控制的语音合成器，声音编码变量对应于被用于生成具有所希 望的韵律发音的记录的人类语音的韵律规范，以提供实现了所希望的 韵律发音的合成的语音输出。
根据本发明的一个实施例，下文描述了用于语音学、结构的新颖 的记号系统以及可播放的和非可播放的辅音的指定，以及所谓的四个 “Lessac”中性字母，它们的使用产生要合成的新颖的用图形方式标记 的文本。
此外，本发明提供了新颖的过程和系统，用于文本到语音转换(在 此有时称为“TTS”)或声音识别应用中，该过程包括下列步骤中一个 或多个或其所有：
生成韵律语音规则和它们在语音合成中的应用；
韵律语音规则的声音演示；
韵律语音元素的声音数据库；
TTS的示范性软件；以及
TTS收听者测试。
附图说明
下面将通过示例，参考附图详细描述本发明的某些实施例、实施 和使用本发明的实施例、以及实施本发明的最佳方式，在附图中，类 似的附图标记在几个视图中表示类似的部件，其中：
图1是用结构性NRG元音的Lessac发音记号标记的许多 单词和短语的视图；
图2显示了根据本发明一个实施例的用于指出文本中的音高变 化的韵律图形符号的示例，例如，与文本相关的韵律语调模式内的连 续的音调音高变化模式；
图3显示了根据本发明一个实施例的用于指出辅音混合中的辅 音的所希望发音的韵律图形符号的示例；
图4显示了根据本发明一个实施例的用于指出包括跟随着“敲 击”辅音混合的“双簧管声”的辅音的所希望发音的韵律图形符号的示 例；
图5显示了用于指出包括“铙钹声”的敲击辅音组合的所希望发 音的韵律图形符号的示例；
图6显示了用于指出包括“木制管乐器敲击声”的辅音组合的所 希望发音的韵律图形符号的示例；
图7显示了用于指出在辅音之间包括中性元音的辅音组合的所 希望发音的韵律图形符号的示例；
图8显示了用于指出包括Y和W连接词的辅音组合的所希 望发音的韵律图形符号的示例；
图9显示了用于基于按顺序链接单词(在此情况下为短语)的 发音考虑而指出所希望发音的韵律图形符号的示例；
图10说明了根据本发明的具有用于规定的韵律(在此情况下为 “报告”韵律)的单词重读和语调模式的韵律图形表示法的两个示例的 使用；
图11以报告样式说明了使用图2-10所说明的Lessac发音 记号和韵律图形记号两者的标记的一个示例；以及
图12说明了使用图2-10所说明的Lessac发音记号和韵律 图形记号两者的标记的另一个示例，此示例是人类感兴趣的样式。

在本发明之前，没有用于规定声音的已知的合成器“代码”，也没 有代码应该创建的声音记号的任何测量的集合。相应地，本发明使得 熟练的语音实践者好比是“合成器”，并使其读出用韵律方式标记的 文本的样本，以便获得所希望发音的声音值。根据本发明，这些声 音值用于准备新颖的韵律声音数据库，该数据库可被用于语音合成。 将这里所描述的新颖的图形标记符号与这里所描述的受控制的数据 库记录方法、有用的韵律元素(如语调模式；节奏；重音和气息音的 停顿、以及单词和短语的正式和非正式的发音)一起使用，优选情况 下，这可以集成到合成或人工语音中。
为改进许多已知的合成语音输出的典型的乏味的机械式的质量， 本发明提供了这样的系统、方法和新颖的文本编码技术，它们提供了 受控的或标准化的人类语音输入，这些语音输入用于生成声音元素的 数据库，这些声音元素可以使用适用于应用适当的声学元素的规则 集、通过机器结合到语音中，以提供人性化的语音输出。
理想情况下，人类语音输入和规则集体现了一个或更多个专业语 音实践者的教导。在本发明的一个实施例中，使用了语音训练教练的 识别的教导。
作为示例，这里将引用Arthur Lessae的关于戏剧艺术和演说 的原理，应理解，也可以使用其他语音培训教练的教导或其他语音培 训的体系，具体来说，英语之外的其他语言在很多情况下使用相当不 同的语音训练教导。理想情况下，这样的其他语音训练技术可以具有 规则集，该规则集以有吸引力韵律字符(例如音乐字符)提供了一致 的、可轻松地理解的语音输出，如将从这里的教导可以显而易见地看 出的那样。语音实践者可以被理解为是在相关的语音培训或训练学科 方面经过很好的训练的个人，他们通常在说话能力方面专业地使用他 们的语音技巧和知识，例如，作为语音教师、公共讲演者或演员。
以Lessac方法训练过的语音实践者认为语音为像管弦乐般的 声音，即，语音是音乐。文本标识了语音的语音参数作为三个元素的 相互作用，如Arthur的名为“The Use And Training Of The Human Voice”，Mayfield Publishing Company，3rd ed.(1997)的书(第二部 分，第61页开始)所描述的(下文简称为“Arthur Lessac的书”)。 由Lessac标识的三个语音参数是辅音、音调和结构性能量。辅音可 以比作“orchestra”，音调比作声音的音乐本身，而结构性能量比作结 构性元素对辅音和元音的相互作用。Arthur Lessac将三个语音的语 音参数称为元音eNeRGy。Lessac指出，它们都是从要读出的文本 派生而来的，这意味着，文本要传递诸如被视为整体的文本的内容、 单词的含义和声音、它们的语法上的关系、所使用的语法和消息这些 要素。
尽管人类语音是模拟式的声音，说话者可以“作为连续的乐器来 播放声音”，有用的是，在连续体中取几个离散点，以讲述无穷可变 的可表达的语音的概念，关于这一点，在Arthur Lessac的书的149， 以及170到173页进行了具体的描述，该文说明了连续结构性的和 音调范围中的“点”值。
Lessac系统提供或多或少的字母数字记号以进行编码，用以达 到所希望的发音，以使得单个语音元素，特别是音素、双音素和所谓 的“M-ary音素”是可理解的。这些语音元素主要是单个元音和辅 音、双元音和辅音混合。
现在请参看图1，被标记的文本包括被标记用于根据Lessac记 号进行发音的单词的文本行10，字母数字符号的记号行12位于文本 行10的正上方。熟悉如Arthur Lessac的书中所描述的Lessac系 统的个人将能够理解行12中的记号所表示的发音指令，并将能够应 用它们，以便能够以一致的方式逐一读出行10。下面的表A-E显示 了在实施本发明时可以使用的这样的记号的样本。如果文本被很好地 标记并且说话者正确地实现标记指令，则结果能产生清楚而可理解的 语音。然而，尽管清楚而可理解，根据说话者或语音源的不同，语音 可能有点单调或像机器读的。
                                           表A：结构性NRG元音 记号  字母  例子 #1  oo，ou，oe  pool，soup，shoe y1  u，ue，eu，ew，leu  Tuesday，neutral，lieu，assume，stupid，  duty consume，costume，duel，nude，allude，enthuslasm #21  rote，doe，road，romantic #3  aw，au，all，or，our alk  law，caught，call，caller，born，walker，balk #3y  oy，oi  oy，enjoy，coin，moisture R Derivallve  er，lr，ur，yr，& wor  fem，dirt，bum，myrtle，work #4  o，&[a]when preceded by[w]-  hot，offer，foreign，borrow，collar  wash，want，wander，watch，warp #5  [ar]and(ar+a consonant)  except words spelled with  {alm}  far，farm，large，darling，embark  calm，balmy，psalm，palm，qualm， #51  ow，ou  down，ounce，mouse，crown，allow，renown #6  a  add，ask，canned，demand，ransack #6y  i，ai，ei，ie，y  high，aisle，tled，sky
                                   表B：音调NRG元音 记号 字母 例子 Ybuzz ee，ea，ei，ie{i}(before an oboe)，and{y}when final mele，succeed，lead，receive，vary，varies，think，sing，distinct +Ybuzz {a，ay，ey，ei，ai}，&{e}(before an Oboe) late，say，obey，weigh，maid，strength，length，
                         表C：中性元音 记号  字母  例子 N1  u，o，oo，ou  fuli，wolves，good，could，coupon N2  l，ui，y  pin，infinite；build，guilt；myth，sympathy， N3  e，ea，a  pen，cemetery；deef，measure；any，many，secretary N4  u，o，ou；some oe，oo  much，uncle，succumb；once，done，above；rough，  country，enough；does，blood
                          表D：中性二合元音 记号 字母 例子 N1n oor，our，ure，ur boor，poor，mooring；dour，tour，your，sure，pure，mural yN1n ure cure，during，endure，furious，lure.，inure，.liqueur， N2n eer，ear，ier，ere beer，deer，peer，dear，eerie，fear，here，mere；pier， lier N3n air，are，ear，ere fair，hairy，lair，palr；dare，pare，barely；pear，wearing， where，tear #3n ore，our，oor，oar bore，chore，before；four，pouring；boar，roar，soaring
             表E：辅音组 弦乐器 N 小提琴 M 中提琴 V 大提琴 Z 低音电吉它 木管乐器 L  萨克斯管 NG 双簧管 TH 单簧管 W  长笛 ZH 巴颂管 铜管乐器 R 长号 Y 法国号 声响效果(无声) F，S，th，SH 鼓声 B，D，G 定音鼓 P 低音鼓 T 响弦鼓 K 手鼓 铙钹 DS(DZ)：DG(DZH) TS      CH(TSH) 木制管乐器敲击声 DL，TL
在2002年12月31日申请的标题为“TEXT TO SPEECH” 的Addison等人的美国专利申请No.10/334,658中描述了用于表示 可理解的发音的Lessac图形记号的有用性，但没有给出示例，并且 没有描述如图1所示的标记的特定实施例。
现在请参看图2，根据本发明，所显示的图形符号用于指出读出 字母、双元音、音节或其他语音元素时所要求的音高控制，以获取所 说出的段落的希望韵律。
本发明中使用的韵律代码是发音代码，它们涉及文本的序列、一 个单词内的字母的序列；一个句子内的单词的序列；一个句子的固有 序列；一个段落中的句子的连续的位置；以及作为段落的序列的一部 分的段落的位置。这些考虑中的任何一个或更多个可以确定什么是、 或什么不是适当的韵律，或者重读、音高或时间中的什么韵律元素适 合于是应用于文本。有时，适当的韵律是不明显的，直到某一个序列 完成之前。本发明在考虑到这些因素的情况下能使适当的韵律应用于 文本。本发明中使用的代码由发音发声原理和上下文确定，在该上下 文中，通过规定适当的韵律，对代码进行修改以用于可表达的含义。
显示了上滑符号(upglide)20、下滑符号(downglide)22、两个抑 扬符号24A和24B以及水平维持26。每一个图形记号20-26都包 括左侧点，如点28，其指出开始音高，以及尾巴，如延伸到点28的 右边的向上的尾巴30。
尾巴30的轮廓指出音高如何随着发出语音元素而变化。上滑符 号20的向上的尾巴30表示上升的音高。下滑符号22具有下转的 尾巴32，以表示下降的音高，水平维持26保持某一个水平，以表 示持续的不变的音高。抑扬符号24A表示上升到峰值然后下降的音 高，而抑扬符号24B表示相反的情况。韵律图形符号20-26可以放 置在要说出的文本附近的任何方便的位置，例如在文本正上方的行中 被协调，或有选择地被放置于文本下面。尽管可以用文本或连字号作 为这里所描述的图形发音符号的附件把文本断开，但是，优选情况下， 应保持文本的正常打字的、键入的或书写的外观。
在下文将描述的随后的图形(图5往前)中，使用了贯穿字母 的正斜杠(forward slash)36来表示字母只部分地发声，“准备”， 因为下面的辅音具有紧密相关或相同的声音。此外，具有挂在这里被 链接的字母和参考40下面和之间的吊床的形状的浅的U形链接符 号，被用来表示通过其他字母彼此分离的并且通常位于相邻的单词中 的字母，应该以连接的发音的连续的方式读出。下面将结合图9比 较详细地描述对直接链接进行标记的链接符号40的用法。
一般而言，根据本发明的一个实施例，当对辅音进行标记时，元 音之前的辅音被说出但不是“可播放的”，因为它们只在语音直接流进 元音时短暂地形成。在此上下文中，“可播放的”是指，说话者在读可 播放的辅音时可以创建所希望的韵律效果，在读可播放的辅音时使用 拖长发音、停顿或音高变化。
在此实施例中，没有用图形方式标记不发音的辅音，而是留给计 算机软件。在用于喘息或解释的停顿之前的最后的辅音被标记为“可 播放的”。R长号不是可播放的，其在任何其他辅音之前或当其在最 后的时候则在用于喘息或解释的停顿之前，没有被标记。也可以对计 算机进行编程，使其理解此特征。
现在请参看图3，韵律图形符号的所显示的实施例包括辅音的下 列标记：
单下划线：用以分别标记为可播放的敲击声，例如，定音鼓鼓声 D、B和G以及响弦鼓，低音鼓和手鼓鼓声T、P和K；
双下划线：用以标记为可播放的弦乐器声N、M、V和Z；木 管乐器声L、NG、TH和ZH；和(无声)声响效果F、S、SH和 th。
未标记的辅音不可播放，也就是说，它们不是在读出它们时利用 拖长发音、停顿或音高变化来创建具有所希望的韵律韵律效果的注意 焦点。
可以用于辅音混合的根据本发明的韵律图形记号的附加规则包 括，不标记以单词开始的辅音混合的第一个字母。几个单词内的辅音 混合可以被标记为如下：
bl，br：        no bly，pro bably；a brasion，up brai d；/
cl，cr，chr：   u nclea n，i nclu de；i ncrea se；u nchri stia n；
dr：            sundry，hundred
fl，fr，phr：   i nfla me，i nfra ctio n，re phrase
gl，gr：        degla ze，E ngli sh；degra de，aggressi ve；
pl，pr：        a pply，re pla ce；co mpri se，sur pi se；
qu：            i nque st，u nquie t，se que l；
tr：            re stroom，di stre ss，e ntra nce；
thr：           ba throo m，e nthra ll；
在图2-10中所显示的在实施本发明的过程有用的图形记号的 示范性实施例中，上文被描述为弦乐器声(N、M、V和Z)、木管 乐器声(L、NG、TH和ZH)和(无声的)声响效果(F、S、th和 ZH)的字母或字母组合以及双元音，当它们在所有其他辅音之前出 现时通过双下划线被标记为“可播放的”，除非后面的辅音是相同的辅 音或同词源。当相同的辅音或同词源跟在后面时，第一个辅音用贯穿 辅音的正斜杠标记为“准备”。
理想情况下，当G不代表跟随着鼓声的双簧管声时，则字母 NG可以加两道下划线。当以字母NG结尾的单词的一部分与整个 单词具有共同的含义时，认为在双簧管声字母之后没有鼓声，如下面 的示例所示：
lo ng，si ngso ng，lo ngha nd
图3显示了在各种单词中出现的辅音的s-混合中的哪些辅音 是可播放的，也就是说，可以被给予扩展的或强调的发音，或音乐声， 以增强韵律。例如，在“whiskey”和“husky”中，S将被播放，而K不 被播放。K不是不发音的：它只是很快地发音，而不在其上停顿或拖 长其发音。在“ensnare”中，第一个N和S被播放，而第二个N和 R不播放。distinct的N下面的双下划线并带有“尾巴”34，接下来 是C和T的单下划线，表示可播放的N可以作为双簧管声播放， 但接下来是必须播放的鼓声辅音，在此情况下为双鼓声辅音对。 “dismantle”的贯穿T标记的、上端带有“球”38的正斜杠36表示 TL不能作为木制管乐器“木制管乐器敲击声”播放，而作为辅音T， 接下来是可播放的辅音L，如用于L的双下划线所指出的。
如图4所示，当NG代表双簧管声加鼓声或其他敲击声时，N 下面带有双下划线，具有尾巴42，表示N是可作为双簧管声播放的， 但G只有单下划线，显示需要作为G定音鼓鼓声敲击声播放，以便 保证正确地读出单词。也是在图4中，用双下划线标记单词 longevity，N有尾巴，接下来是没有下划线的G，表示N可作为双 簧管声播放，但G必须作为“其他敲击”铙钹声DG发音，以便单词 正确地读出。
在与鼓声不相关的辅音之前，可以用单下划线将鼓声标记为是可 播放的，从口腔解剖学的方面来看，鼓声是在舌头的不同接触位置产 生并感觉到的辅音。在相同的、同词源的或半相关的辅音之前，作为 像是在几乎相同的位置产生的辅音，用贯穿辅音的正斜杠将鼓声有用 地标记为“准备”。
现在请参看图5，在所有其他辅音之前，在铙钹声的每一个字母 下面，用单下划线将铙钹声标记为“可播放的”，除了相同的和同源的 以外。如此，例如，在“heads back”而不是在“heads south”中的“heads” 中的DS是可播放的。在图5中，如上文所描述的，直接链接用链 接符号40进行标记。如此，“heads back”中的DS显示为由链接符 号40链接到B，“beats fast”中的TS显示为由链接符号40链接 到F。
现在请参看图6，在所有其他辅音之前，木制管乐器敲击声DL 和TL用双下划线被标记为“可播放的”，跟随的初始L是例外，因 为木制管乐器敲击声中的L。如此，例如在“middle school”而不是在 “middle life”中，“middle”中的DL是可播放的。如上文所描述的， 标记了吊床形符号40，以表示直接链接。在正斜杠36的顶部标记 的“o”表示“准备”标记的特别版本，只用于木制管乐器敲击声，表示 辅音将被准备并被链接到L。在跟随的L的情况下，L直接链接到 跟随的L，因此，木制管乐器敲击声的末尾不得作为持续的辅音L来 播放。
请参看图7，请注意，理想情况下，辅音组合GL、KL、BL和 PL不被当做代表木制管乐器敲击声来对待，因为在它们之间说出中 性的(非书写的)元音。如此，如图所示，L是可播放的，但前面的 辅音是不可播放的。
理想情况下，当W、H和Y出现在对于其他辅音乐器是可播放 的位置时，W、H和Y不被标记为是可播放的，因为它们是元音或 双元音的一部分，如下面的示例所显示的：
new，newly，bow；bowline；cow，cowli ck.
W和H一起在共同的组合WH中的有用的记号，根据本发 明，是在WH上方标记字母“hw”，以表示H应该首先发声，接下 来是W，并且两者都不应该被播放。
请参看图8，当在单词的内部和单词之间[Y]或[W]在另一 个元音之前出现时，创建Y和W连接词50和52，以表示应该从 一个单词到下一个单词或从一个音节到下一个音节保持语音连续性。 在本发明的此实施例中，用于Y和W连接词50和52的示范性 符号各自都包括分别从Y或W下面到跟随的元音的像吊床的浅的 U形，连同分别标记在U的中间、靠近U或贯穿U的小的Y或W 字母。U表示要保持连续性，字母Y或W表示要使用的声音，不 管字母是否存在于书写的文本输入中。例如，在“create”的E和A 之间发Y的声音，在“cruel”的U和E之间发W的声音。
现在请参看图9，如Addison等人的共同待审专利申请No. 10/334,658描述的和在Arthur Lessac的书中更详细地描述的， Lessac系统标识了一个单词或短语中的辅音和一个或更多个附加的 字母或音素在它们被说出时被链接起来的多种方式。图9显示了根 据本发明的如何用图形方式表示这样的被链接的单词的所希望发音 的某些示例。
图9中显示了在Lessac语音系统中所使用的说出的单词链接 的三个示例，即，所谓的“直接链接”、“播放-和-链接”和“准备-和-链 接”。
在直接链接中，一个单词的最后一个辅音被直接链接到下一个单 词的开始处的元音，例如，“far above”被读作一个单词“farabove”。
在“播放-和-链接”中，在口中的不同位置有两个相邻的辅音的情 况下，如“k”，接下来是“t”，在移到第二个辅音(在此情况下，“t”) 之前，第一个辅音(在此情况下，“k”)被完全(意指是完成的)播 放(读出或发出声)。
当在口中同一个位置有两个相邻的辅音或两个辅音彼此接近时， 如在“grab boxes”或“keep back”的情况下，“b”后面是另一个“b”或 “p”，使用“准备-和-链接”。在此情况下，在移到第二个鼓声之前，准 备第一个辅音或“鼓声”，意指是未完成的，这通过轻微的暂停来执行。
用于表示直接链接的示范性韵律图形记号，如图9的上一行所 示，包括挂在被链接的字母下面和之间的链接符号40，通常将一个 单词的末尾处或末尾附近的一个字母或多个字母与下一个单词的开 始处或开始附近的字母链接，如从所显示的示例中可以清楚地看到 的。直接链接表示说出的动量(momentum)应该从一个链接的字母传 到下一个字母，单词之间没有中断、停顿或暂停。
在图9的中间行中所显示的“播放-和-链接”示例中，播放第一 个辅音，第二个辅音不播放。如此，链接符号40与第一个辅音的单 或双下划线结合。
图9的最底部的行中所显示的“准备-和-链接”示例使用了贯穿 将要准备的第一个辅音的正斜杠，与到第二个辅音的链接符号40相 结合，以显示链接。此外，如上文所描述的，可播放的辅音用下划线 表示。
现在请参看图10，在所显示的两个韵律图形符号中，示例1是 实现起来相对来说比较简单和经济的，而示例2则比较复杂，用于 促进产生高质量合成语音输出，这种高质量合成语音输出适用于(但 不仅限于)诸如会说话的书和杂志、戏剧及其他娱乐之类的应用中。 此外，示例2的比较详细的记号减少了说话者之间的甚至在经过训 练的说话者的情况下也可能发生的变化，从而有助于输出的一致性。
示例1的记号可以(但不仅限于)适用于工业应用中，如与设 备、车辆、生产机器、低端游戏和娱乐设备等等进行的发声通信。当 然，如果需要的话，任何一个记号都可以用于其他用途。
在图10中，示例1和2应用于相同的文本，在交替的行上， 进行并排的比较。如通过相互比较图10的头两行可看到的，在 “heads”与另一个链接单词的几个组合中，被贯穿DS组合的D的 正斜杠36标记的附加的准备提供了更细微、更有吸引力的声音。在 每一种情况下，保持了从“heads”到下面一个单词的连续性，但在示 例2中，由于被准备了，根据附加的标记，D听起来更清楚。在遵 循示例1的发音中，D可能会丢失。
现在请参看图11和12，可以理解，本发明提供并使用了图示 符号集，该图示符号集可以被用于指出或提供吸引人的、韵律语音输 出的模板，其具有一个或另一种相当不同的风格。图11显示了以被 称为“报告”的“韵律”风格呈现Gettysburg Address的一部分的标记， 而如图12所示的风格是更富有情绪的人类兴趣风格。
Address的文本在诸如文本行10之类的文本行中呈现，用 Lessac结构性的和音调能量元音发音记号以及用辅音能量发音记号 在文本行10上方进行标记，包括在诸如记号行12之类的记号行中 的敲击和持续的音调辅音的标记、木制管乐器敲击声的标记，以及链 接符号的标记，如上文所描述的。在该文本之下文本也被用诸如上文 所描述的韵律图形符号记号，以便不与发音表示法发生干扰，包括单 个字母下划线、上滑符号、下滑符号、吊床形符号等等。此外，所谓 的“Y蜂音行(Y-buzz)”60被添加到记号行12的上方，在Y蜂 音行60的上方，标记了进一步的韵律符号。如Arthur Lessac的书 所描述的，例如，在第122页，Y蜂音是讲演者的或歌手的语音中 的骨头-传导音调的振动基础。
在Y蜂音行60上方，使用处于Y蜂音行60上方的某一水 平的小点62和大点64，在可被称为“韵律音高图表”中标记出所 希望的语调模式，该语调模式表示相对于讲演者的Y蜂音行音高的 所希望音高。点的大小可以用于表示所希望的重读，或指定的相对音 高的相对振幅，小点62表示没有特别的重读，大点64表示希望有 增加的重读。可选地，点大小还可以以成比例的方式表示重读的所希 望程度。尽管可以以低于Y蜂音行60的频率发声，但是，声音的 音调和发音控制可能变得不足以使声音作为可控制的乐器来执行。
在图11和12中以圆圈标记出了字母B，指出了当读出根据 标记的文本时由语音实践者所犯的错误。错误是由听发音的录音并记 下发音偏离了应该遵循的标记的地方的其他语音实践者确定的。例 如，在图12中，实践者B作出了不同于标记中所要求的两个发音。 第一个是没有读出单词“engaged”(文本行4，单词4)的末尾处的 鼓声辅音。第二个是未能执行单词“dedicated”(文本行5，单词5) 末尾处的E的上滑以及辅音D的鼓声。
通过仔细地将韵律音高图表标记与图11的报告标记进行比较， 由如图12所示的人类兴趣标记传达的添加的情感和能量将变得显 而易见。例如，图12中的许多重读点是较大的点64，要求更强的 重读或重音。此外，行1中的“ago”上方的上滑符号20被提高到Y 蜂音行60的上方，以指出所希望的较高的音高。在最下面的行中， “conceived”的V被赋予了特别的重读点64，并且没有使用抑扬符 号24B。通过查看图形，可以看出其他差异。
从图2-10，特别是从图11和12可以看出，本发明提供了综 合的文本标记系统，该系统可以利用普通文本体现复杂的发音和韵律 符号，作为不分散或中断普通文本的覆盖，以产生新颖的指令或控制 文档，作为人声音或机器发出的语音，提供了文本的准确的、能理解 的、有吸引力的甚至有旋律的呈现的蓝图。根据这里的公开，用于实 现本发明的目的的语音的、用来标记文本的其他适当的图形符号对于 那些精通本技术的人员来说是显而易见的，并预期可以适用于实施本 发明。例如，可以使用各种几何符号或几何符号或动画字形的方案。 然而，可以相信，诸如这里所描述的简单符号将被直观地理解，易于 在对脚本或其他文本进行标记时应用，重要的是，在经过训练的说话 者阅读被标记的文本时可以被他们轻松地理解。
如图2-4及其他图形所示的以及这里所描述的韵律图形符号可 以以各种方式使用，以便在合成的语音输出中，特别是在共振峰语音 输出中产生人性化的声音。例如，这些可以被一个或多个，优选情况 下是多个经过训练的人使用，以根据这里所阐述的标记语音代码，准 确地读出文本，以产生读出的语音的数据库。所述数据库将包含读出 的语音，这种语音被证明准确地遵循了用这里所产生的语音代码而标 记出的文本。或者，或此外，本发明的韵律图形符号可以以数字方式 呈现，并且在合成器软件中使用，以便对将要由机器阅读的文本进行 电子标记，以促进或引导将韵律元素的数字域引入到输出语音中。对 应于字母、单词、短语、句子、段落和较长的文本的图形记号的记录 的语音的数据库，可以被数字化和分析，以到达算法及其他韵律学， 用于规定对应于特定文本的特定语音数据与其相关的图形记号的唯 一关系。然后，此数据库可以用于向合成器提供输入参数，以重新创 建针对要合成的特定文本模拟人类语音的声音，作为具有指定的韵律 的语音。
为简单起见，每一个文本单元以及其关联的语音代码图形表示法 都可以视为“字形”。类似地，对应于“字形”的每一个声学单位都被 标识为“音素”。几百或几千个(其中，“几”表示“至少两个”)或更多 的本发明的音高、振幅和韵律图形记号的发音关联的字形-音素对的扩 展集合，可以以数字方式呈现并且在合成器软件中使用，以便对将要 由机器阅读的文本进行电子标记，以便促进或引导将韵律元素的数字 域引入到输出语音中。
那些精通本技术的人将理解，如图2-4所示的特定韵律图形符 号仅仅是示范性的，根据这里的教导，在实施本发明的过程中有用的 韵律图形符号可以具有许多其他形式。此外，所显示的符号的特定示 例也适用于Lessac语音系统。如果需要，根据本发明，可以使用其 他韵律图形符号来实现其他语音训练或培训方法，或用于实现Lessac 系统，以促进机器语音的人性化，正如那些精通本技术的人根据这里 的教导所理解的那样。
根据本发明的一个实施例，在准备诸如图11和12中所显示的 那些韵律标记时，可以遵循如下面的段落中所描述的原则。
准备被标记的脚本。根据本发明，在准备要说出的被标记的脚本 时，如图11-12中所显示的那些，良好的页面布局对于说话者是有帮 助的，有助于他们不仅理解文本，而且还有助于他们同时理解添加的 符号以便引导说话者产生一致的吸引人的语音输出，该语音输出可以 在创建数据库时有用，另外还在计算机化语音合成中有用。
理想情况下，文本应该在每一行的上方有充足的间隔，例如3厘 米或更多，以容纳将要添加的发音记号和韵律图形符号。相对来说比 较大的字体对于以有助于准确地阅读和解释标记，同时大声地朗读的 方式来容纳各种记号和符号是有用的。诸如14磅Lucida Bright Semi粗体之类的字体是合适的字体的示例。
在本发明的一个实施例中，在标记脚本时，每一行脚本，包括页 面上的最后一行，以垂直标记结束，以表示抑扬顿挫或气息音。数字 被写出。如果首字母缩写词将被作为单词而不是作为字母说出，则首 字母缩写词被全部写出。有用地，指定用于保证一致发音的参考词典， 例如，Merriam Webster′s Collegiate Dictionary，Tenth Edition。
在参考词典提供了发音的选择的情况下，使用给出的第一个发 音，除非录音是正式的或“严肃的”语音，在这种情况下，如果列出了 “约定的”发音，则使用该“约定的”发音。
语调模式是在连续的语音中的分步骤的从音高到音高的一般移 动。音调变化是元音或辅音上的滑动的音高变化，要么叫做上滑、水 平维持、下滑，或者叫做抑扬滑动。
有用地，在进行脚本准备的实施例中，说话者大声地探索脚本， 以体验传达每一个句子的含义的语调和音调变化。
在脚本上标记出了双垂直线，以指出气息音停顿，标记出单垂直 线，以指出没有停顿的并且将影响这些部分的最后的辅音的抑扬顿 挫。
在本发明的一个有用实施例中，在这些准备之后，首先标记辅音， 然后标记元音，以便实现上文所描述的发音和韵律。
下一个步骤是在元音的紧靠上方(但不遮蔽)绘制Y蜂音音高 线60，以提供音高标记的参考。被标志的音高范围将是从低Y蜂音 范围(低于Y蜂音行60)到中间呼叫(mid-call)范围，其中，非 变形元音可以在中间呼叫中发声，例如，#3，R，以及+Y，以及任 选的#4和N。
如果需要，可以在Y蜂音行60上方绘制附加的音高线(未显 示)，例如，中-低寄存器行(mid-low register line)和中-中(mid-mid) 寄存器行。可以在音高线上和它们之间放置语调点62、64或其他适 当的标记。如果需要，可以使用其他方法来提供音高范围，例如，如 Daniel Jones的书Outline of English Phonetics所描述的，其中，使 用了三线谱来定义音高范围。
于是，语音系统实践者(为了实践这里所描述的实施例，应该是 Lessac实践者)，根据相应的语音系统和所希望的韵律来记录他们感 觉到是所希望的语调和音调变化，其中使用Y蜂音行60作为他们 自己的音高范围的参考。如上面所引用的，对于每一音节，可以标记 出点，对于无重读的音节，使用小的不同的点，如62，对于重读的 音节，用引人注目的较大的点64。
对于“人类兴趣”录音，例如，如图12所显示的，可以使用较大 的点(它们周围用圆圈围住)或其他适当的图形指示，标记出语音特 点的比较丰富的用途，如所谓的“结构性的NRG”和Lessac系统中 的“浓缩音调”，以指出对包含Lessac基本呼叫(basic call)单词的单 词所希望的呼叫焦点(call focus)，没有元音的失真。此段落中所使 用的术语涉及Lessac语音或话音系统，可以通过阅读Arthur Lessac的书来进行理解。
例如，如该书所描述的，结构性的NRG是动觉元音能量(根 据Lessac的“NRG”)状态，该状态与面部姿势相关，是指元音声音 箱子的模子、形状和大小。结构性的NRG被视为与元音音调的颜色、 体温和美学相关。
在主要的重读音节之前可以用双重音符号(例如，“)标记出有 效的单词，而次要的重读音节可以带单重音符号(例如，‘)。
在此上下文中，有效的单词是每一个连续的短语中的单词，或文 本的其他意义组部分，其引入了随着句子的进行携带变元转发 (argument forward)的新的思想。
理想情况下，根据本发明的此方面，可以进行小心的和一致的声 音记录，以便用于文本到语音转换合成数据库，文本的短语和气息音 停顿部分内的单词的每一“意义组”具有识别的有效的单词。不经常 地，可能有两个具有可比较的重要性的有效的单词。
使用Lessac训练的元音动态，可以以各种方式识别有效的单 词，例如，通过将它标记出来以较高的音高说出，或通过大大地延长 其元音和辅音，或通过添加浓缩音调，呼叫共振，或通过这些动态的 组合。
在本发明的一个示范性实施例中，变元的引入以说明性的句子开 始，其中，标记出或不标记出所有的单词，连接单词除外，以便大约 具有相同的重读或重音量。第一个重读的单词可以在音高方面提高， 其他的可以逐步下降到Y蜂音范围，最后一个重读音节上有下滑符 号。
作为示例，在根据本发明的语音的被标记的脚本中，可以在标点 符号中使用各种音调变化，如现在将描述的那样。句号和分号在最后 一个重读的单词中呈现下滑符号22。逗号和冒号可以呈现上滑符号 20或水平维持26。以疑问词(例如，谁、什么、在哪里、何时、如 何或为什么)开始的问题在最后一个重读的单词上呈现下滑符号22， 其他问题，通常是预期以“是”或“否”回答的那些问题，在最后一个重 读的单词上呈现上滑符号。
其他语音培训系统。如那些精通本技术的人员所理解的，所声 明的发明可以在使用了Lessac方法之外的规则或语音训练原理或实 践的实施例中实现。一个这样的示例是哥伦比亚大学戏剧分校的 Kristin Linklater的方法。有关Kristin Linklater的技术的信息以及 其规则可以在实施本发明中使用的其他语音实践者的信息，如果需 要，可以在 www.columbia.edu/cu/news/media/00/kLinklater/和在 www.kristinlinklater.com中找到。
韵律语音规则和它们的应用。可在本发明中使用的韵律语音规则 旨在负责语言以及其各个方言的发音和共同发音。这里将引用的示 范性程序语言是美国英语，“普通教育”方言。可以理解，可以使用其 他语言。韵律语音规则(其中至少有某些可以从Lessac文本中推导 出或知道)，应用于要使用这里所描述的新颖的声音代码读出或合成 的文本，使得熟悉Lessac系统的说话者可以适当的、Lessac确定的、 受控的发音方式大声地阅读文本。
规则的示例包括：如在一个或多个共同拥有的应用中所描述的， 使用随机停顿，以及通过气息音停顿修改；包括节奏、语调模式、单 词重吨、单词选择、以及辅音“混合”的韵律的定义；所有直接从要读 出的文本中导出的规则。这些韵律语音规则可以用于其他方言和语 言。
在本发明中使用的声音标记代码可以指出如何产生特定语音声 音，以及可以使用什么语音变量来产生那些声音。要读出的文本，以 及每一个代码的变量的可选的规定的值，可以充当已经经过训练以在 读出文本时遵循代码的人类说话者的韵律指令。根据本发明，相同的 或类似的这样的代码变量，或它们的机器等同物，可以用来指示计算 机化合成器根据韵律指令读出文本。代码控制声音的产生，变量指出 与所希望的声音特征有关的可以计量的身份。
可以根据本发明的方法进行编码的语音变量的示例包括：将要合 成以表达特定音素或其他语音元素的声音元素的声频、振幅、音高和 持续时间。可以量化到期望值的特定变量的某些示例有：基本声频； 可控制的音高范围的上下值；表达为每时间单位的频率变化的音高变 化；每时间单位的振幅变化；以及每时间单位的组合的振幅和音高变 化。
现在将描述语音规则、声音标记代码和一个或多个变量值之间的 一个有用关系的示例。其他可能性对于那些精通本技术的人是显而易 见的。单词之间的中断和句子中出现逗号都代表在创建语音声音时的 停顿。尽管如此，每一种停顿都具有不同的字符，根据本发明的一个 实施例，该字符可以由不同的声音代码来表示。停顿对于听者是有帮 助的，促进了单个单词的识别，并提供了帮助识别短语的间隔。类似 地，尽管每一个停顿都涉及时间作为变量，但是，通常构成了停顿的 声音之间的以毫秒为单位的相对无声的时间值或持续时间在不同的 上下文中可能是不同的。在其中书写的文本没有逗号的单词之间，停 顿是说话的速度的一部分，并可以由总体速度和语音的节律变化来确 定，如包围每一个停顿的清晰发音的单词的有节奏的声音要求的，并 包含在完整的短语内。
如此，停顿可以在上下文中由语音的韵律确定，例如，激励、严 重、报告、诗歌、劝说或其他韵律，其中，对应的文本中的逗号表示 短语的间隔，没有发声的对应的停顿持续时间，当读出文本时，可以 随着韵律及其他因素不同以及随着说话者不同而不同。在天然的人类 语音中，此停顿不是单一值，而具有稍大一些或稍小的时间长度的变 化，有时吸一口气，有时更加强调一些，或充当包含句子以及其短语 的总体段落的节奏的点/对点。如果在该段落的机器产生的语音中，人 类说话者的不同的停顿持续时间被呈现为恒定的毫秒值，则所产生的 语音很可能给人的感觉是机械式的，而不是人类的，因为人类倾向于 在短语之间产生不同的停顿长度。
示范性脚本标记过程。
为创建图形符号集，并提供遵循了规则的准确的发音的声音数 据，以准备示范性韵律声音库，由四名经过认证的Lessac实践者组 成的团队来处理在美国英语中最常使用的1,000个单词和500个短 语和句子。
实践者检查并细化所使用的韵律语音规则。理想情况下，他们可 以为每一个规则开发标记指令和记号。他们还可以开发韵律的记号。 然后，将规则应用于单词和句子样本。
在根据本发明的脚本标记过程的一个示范性实施例中，每一个语 音实践者都在脚本中以这里所描述的格式标记单词和句子，以便根据 韵律语音规则发音。有用地，脚本可以包括至少大约1,000个单词 和500短语，广泛地代表要转换为语音的文本的语言。如果需要， 脚本中的单词和短语可以限于语言的专业子集，例如，医学、科学或 区域性方言专业子集。然后，由另一组成员检查每一个实践者的标记， 以识别应用韵律语音规则时出现的错误。准备没有错误的1,000个单 词和500个短语和句子的调和的最终标记。
理想情况下，使用调和的最终标记，每一个实践者都从被标记的 脚本中朗诵单词和句子的采样。一个或多个其他实践者倾听发音，并 记下在遵循被标记了韵律的文本中的错误。在记录过程或其他演示之 前，可以使用此技术来对一个或多个说话者进行排练。
要准备对于准备用于根据本发明的语音合成的声音数据库的有 用的录音，用基线报告韵律标记出要在录音室录制过程中读出的单词 和句子的脚本，例如如图11所示。每一个实践者都接收报告脚本的 最后的调和标记的副本，以及具有第二种韵律的标记的相同的句子的 子集的标记。
为了进行录音，实践者使用具有“干燥空间”录音环境的录音室， 理想情况下，是精确地满足模拟-数字采样率和音质的制定标准的录音 室。在录音过程中，准备了每一个实践者的发音的声音CD或其他 模拟式录音，以及作为WAV或其他数据文件而捕获了录制的发音 的数据CD或DVD。
为确保数据的质量，可以将每一个实践者的声音CD提供给另 一个实践者，该另一个实践者倾听发音，并在完整的正确的标记的副 本上记下未能遵循标记的任何发音错误。理想情况下，当发现错误时， 发音应该从WAV数据库中排除，以便只有正确的发音、语调和韵 律元素保留在数据库中。
通过遵循这样的标记、说出和记录过程，可以提供相对来说无差 错的数字化的语音元素的数据库，该数据库包括符合输入发音和韵律 规则的语言或语言子集的音素、单词、短语和句子。可以发现某些一 致性，由此，一组实践者准备的语音元素库与另一组受过类似的训练 的实践者准备的类似的库是可相比的。
韵律声音库。为使韵律语音规则有效地应用于计算机化语音，本 发明提供了一个图形符号集，它唯一地将每一个韵律语音规则连接到 要读出的特定文本以及当正确地读出时的对应的语音数据。为每一种 语言和最广泛使用的方言准备了特定的韵律声音库。每一个特定韵律 声音库都包含：综合词典；韵律语音规则；代表规则的图形标记符号； 正确地遵循了规则的那些发音的示范性语音数据，以及那些示范性发 音的文本。特定语言和方言的综合的韵律声音库是推导、因此也是规 定唯一地与应用的韵律语音规则关联的发音的共振峰参数值的基础。
根据本发明的一个实施例的示范性韵律声音库数据库包括：
a)代表要合成为语音的文本的文本单词和句子选项。
b)为实现可理解的发音而对文本进行计算机化标记的一套规 则。这些规则可以包括辅音、元音、共同发音，以及停顿规则。
c)如这里所描述的两个韵律-“报告”和“人类兴趣”的韵律规 则。这些韵律被标记并被读出，并被包括进来。这些规则规定了随着 时间而变化的值，如音高、音量、节奏、说话速度、以及单词重读的 变化。
d)应用于文本的韵律语音规则的调和人工标记的副本。
e)被标记的文本的发音。代表以“报告”韵律读出的所有单词和 句子的四个实践者的WAV数据文件，加上“人类兴趣”韵律读出的 某些句子的示例。
理想情况下，示范性韵律声音库数据库结构包括WAV数据、 文本、图形，以及数值数据。还可以添加示范性软件语句、源代码修 改，以及合成器规范值。一个示范性韵律声音库数据库可以包含大约 8到12GB数据。市场上销售的现成的关系数据库目前不允许 WAV数据与文本、图形、音频CD，以及数值数据组合在一起。相 应地，本发明可以使用临时数据库结构来验证产品设计，以将WAV 数据与文本、图形，以及数值数据组合在一起。还可以添加示范性软 件语句、源代码修改，以及合成器规范值。一个示范性LAL数据库 可以包含大约8到12GB数据。如果需要，可以根据使用临时性结 构的结果，细化用于结合、存储和处理数据库组件的体系结构；该体 系结构对于结合包含文本、图形、声音和数值数据的综合数据库很有 用。
示范性软件。已知的语音合成器或合成器引擎可以包括：
文本输入装置，例如，一个或多个数据文件，扫描仪以及使文本 数据以适当的形式对系统是可用的关联的软件和硬件；
数据处理单元，以及关联的数据存储器，用于实现软件并执行语 音合成操作；
可由数据处理单元实现的语音合成软件，该软件也可以被描述为 软件引擎，用于将文本数据转换为语音数据，以及音频输出装置，例 如，能够向扬声器或耳机提供音频信号的音频端口，以及最终以音频 形式输出从语音合成软件接收到的语音数据的关联的硬件和软件。
可以理解，语音可以作为语音文件(例如，.wav文件)来存储、 传递或分发，如果需要，用于在合成之后的某个时间播放。
常规地，已经开发出了这样的已知的语音合成器来实现特定的、 有限的语言和合成规则集，当从诸如音素、单词或短语之类的小的语 音组件结合时，它们的输出过分像机器读的，没有人性化。本发明提 供了新颖的语音合成器和语音合成软件，使用源代码实现附加的和/ 或可替换的语言规则来实现这里的教导，使用本发明的新颖的文本- 标记符号和韵律标记来提供有吸引力的人性化的语音输出。根据本发 明，语音合成软件可以指定适当的语音合成器的声音输出值，该语音 合成器产生对应于如图所示通过发音表示法和图形符号应用于文本 的发音规则的声音，利用发音表示法和图形符号标记文本，以确定输 出语音的发音和韵律。
示范性软件。可以由一个或多个精通本技术的人员，例如，熟悉 共振峰文本到语音转换(“TTS”)引擎软件的工程师和/或计算机语言 学家，提供适合这里所描述的本发明的用途的实现本发明的适当的软 件。可以向已知语音软件引擎中添加适当的附加的语言规则和合成器 信号规范，以构建和测试体现了或用于实施本发明的软件。例如，可 以对这里所描述的样本韵律声音库数据库进行分析，以隔离本发明的 发音标记符号和已知的共振峰TTS合成器中目前没有规定的共同 发音的对应的WAV数据，并可以向已知合成器中添加必需的元素。
除了用于从文本通过机器生成有吸引力的甚至优雅的语音之外， 所产生的语音合成软件程序还可以帮助教育软件工程师或其他人在 实践中理解在软件中实现的Lessac或其他语音训练系统，并理解所 使用的新颖的韵律语音规则。它还可以识别要编程的项目以适应这里 所描述的所需要的附加的语言学、语音学，以及韵律规则和新颖的声 频信号参数。
示范性软件可以手工编写，将标记编程到文本中，并为合成器的 发声指定关联的语音值。一旦这样的样本完成，可以自动地使用计算 机化系统对较大的词典进行编程，该计算机化系统直接使用要合成的 文本作为输入，并在特定单词、句子和短语的上下文中应用该特定文 本所需的规则，以指定混合型共振峰和级联的参数以及值。共振峰参 数值是那些产生在文本标记中规定的发音和韵律所需的值，根据特定 发音和/或标记的韵律规则操作，并根据将要输出的语音身份特征、基 波频率、谐波等等进行操作。
收听者测试。本发明预期使用根据本发明的合成的语音输出的收 听者测试来提供用于改进产品的反馈。可以查询听众有关对清晰度改 善的感觉以及消息理解以及有关样本发声是否好于常规的比较产品 (例如，Sensimetrics的HLSYN(商标)或SENSYN(商标)共振 峰合成器)的判断。理想情况下，对感觉、理解和偏爱的测量，使用 了验证过的试验设计和数据采集技术，如相应的技术中已知的那样。
从前面的描述中可以看出，要读出的文本可以用从包括下列各项 的组中选择的一个、一个以上或所有韵律图形符号来标记出，该组包 括：根据所希望的韵律，指出发出字母、双元音、音节或其他语音元 素所需的音高控制的图形符号；指出上升的音高的上滑符号；指出下 降的音高的下滑符号；指出上升然后下降的音高或下降然后上升的 音高的抑扬符号；指出不变的音高的水平维持；贯穿后面跟随紧密相 关的或相同的发音的辅音的第一个字母的正斜杠，以指出准备了第一 个字母；浅的U形的连音吊床形符号，以指出通过其他字母彼此分 离的字母以连续的方式读出，它们之间没有停顿；单下划线，以分别 标记为可播放的敲击声，包括定音鼓鼓声D、B和G和响弦，低音 和手鼓鼓声T、P和K，未标记的辅音不可播放；双下划线，以标记 为可播放的弦乐器声N、M、V和Z，木管乐器声L、NG、TH和ZH， 以及(无声)音响效果F、S、SH和th，未标记的辅音不可播放； 要读出的文本中的字母组合WH上方或附近标记出的字母组合 “hw”，以指出H应该首先发音，接下来是W，两者都不应该播放； Y和W连接词，以指出当[Y]或[W]在另一个元音之前出现时， 应该从一个单词到下一个单词或从一个音节到下一个音节保持语音 连续性，Y和W连接词各自都包括分别从Y或W下面环行到跟 随的元音的像吊床的浅的U形，连同分别标记在U之中、靠近U 或贯穿U的小的Y或W字母；其中，元音之前的辅音被规定为说 出但不标记为可播放。
作为可替换方案或除此以外，要说出的文本可用从包括下列各项 的组中选择的一个、一个以上或所有韵律图形符号来标记出，该组包 括：直接链接，包括挂在被链接的字母下面和之间的连音吊床形符号， 以指出说出的动量应该从一个链接的字母传到下一个字母，单词之间 没有中断或停顿或暂停；播放-和-链接，包括与第一辅音的单或双下 划线相结合的连音吊床形符号，以指出播放第一辅音，不播放第二辅 音；准备-和-链接，包括贯穿作为要准备的辅音的第一辅音的正斜杠， 与到第二辅音的连音吊床形符号相结合，以显示第一和第二辅音之间 的链接，可播放的辅音用下划线表示。
这里描述了可以在本发明中使用的标记指令的多个可能的实施 例，如果需要，可以包括在韵律声音库数据库中，如在这里所描述的。 根据本发明，可以理解，这里所描述的新颖的声音值代码，或图示符 号集和表示法仅是可从这里的说明中看出的、可以用于本发明的用途 的代码的说明性的例子
此外，尽管是在英语的上下文中描述示范性声音值代码的，可以 理解，本发明也包括为其他语言的特定需要而发明的其他编码系统， 它们体现了这里的有关发音标记的一般原理，以便与根据另一个语言 的需要而制定的，适当地修改的语音规则一致。如此，本发明的方法 可以以从下面的组中选择的语言实现，该组包括：英语；美国英语； 法语；西班牙语；德语；日语；俄语；中文；阿拉伯语；印地语；具 有图形符号集和基于规则的语法的书面语言和口语；前述的语言或其 他语言中的任何一种语言的方言和专业子集，根据在此的教导，子集 或方言对于那些精通本技术的人员是显而易见的。
可以理解，Lessac或其他语音训练规则对于相对来说较小语音 元素(包括单个字母和两个或三个字母的组合)的可理解性的发音特 别有效，而这里所描述的韵律规则对于将播放、停顿、重读及其他韵 律技术应用到通常在较大的语音元素(包括整个单词、短语、句子或 段落)的上下文中的这种字母或字母组合很有用。
概括地说，本发明提供了用图形方式代表的全局规则集，包括对 于可理解性的发音规则以及对于节奏和旋律的韵律规则，当由熟练的 语音实践者应用到要说出的文本时，无论是通过人类还是由机器，都 可以为清晰的、有吸引力甚至旋律美妙的语音输出提供明确的模板。
引用的公开。在此说明书中或在此专利申请中的别处引用的每个 美国专利和专利申请，每一个外国和国际专利出版物，每一个其他出 版物和每一个未出版的专利申请的全部的内容，都通过对其相应的特 定引用而被全文引入在此。
尽管上文描述了本发明的说明性实施例，当然，应该理解，各种 修改对于本领域技术人员是显然的，或随着技术的发展是显然的。这 样的修改预期在本发明或在此说明书中公开的发明的精神和范围之 内。
对相关申请的交叉引用
本申请要求2004年3月5日申请的Marple等人共同拥有 的美国临时专利申请No.60/550,921，这里引用了该申请作为参考。
权利要求(按照条约第19条的修改)   
1.一种对文本进行标记以便用于从文本合成语音的方法，该方法 包括以一个或更多个图形符号标记要说出的文本，以向说话者指出在 说出文本时要使用的所希望的语音特征，其特征在于，使用表示要赋 予由说话者说出的文本的所希望的韵律的声音代码作为图形符号。
2.根据权利要求1所述的方法，其特征在于，所赋予的韵律包 括从包括速度、语调模式、节奏、音感、振幅、重音和气息音的停顿、 以及单词和短语的正式和非正式的发音的组中选择的一个或更多个 韵律元素。
3.根据权利要求2所述的方法，其特征在于，包括用图形韵律 符号来标记可见的文本或用图形符号的电子形式来以电子方式标记 电子文本，以电子方式标记的文本可作为人类可读的用图形方式标记 的文本来显示或打印，并可用于以允许对输出语音的韵律进行控制的 方式向语音合成器传递所希望的韵律。
4.根据权利要求1、2或3所述的方法，其特征在于，要说出 的文本用从包括下列各项的组中选择的一个、一个以上或所有韵律图 形符号来标记出，该组包括：根据所希望的韵律，指出发出字母、双 元音、音节或其他语音元素所需的音高控制的图形符号；指出上升的 音高的上滑符号；指出下降的音高的下滑符号；指出上升然后下降的 音高或下降然后上升的音高的抑扬符号；指出不变的音高的水平维 持；贯穿后面跟随紧密相关的或相同的发音的辅音的第一个字母的正 斜杠，以指出准备了第一个字母；浅的U形的连音吊床形符号，以 指出被其他字母彼此分离的字母要以连续的方式读出，它们之间没有 停顿；单下划线，以分别标记为可播放的敲击声，包括定音鼓鼓声D、 B和G以及响弦鼓，低音附和手鼓鼓声T、P和K，未标记的辅音 不可播放；双下划线，以标记为可播放的弦乐器声N、M、V和Z木 管乐器声、L、NG、TH和ZH和(无声)音响效果F、S、SH和 th，未标记的辅音不可播放；要读出的文本中的字母组合WH上方或 附近标记出的字母组合“hw”，以指出H应该首先声音，接下来是W， 两者都不应该被播放；Y和W连接词，以指出当[Y]或[W]在另 一个元音之前出现时，应该从一个单词到下一个单词或从一个音节到 下一个音节保持语音连续性，Y和W连接词各自都包括分别从Y 或W下面环行到随后元音的像吊床的浅的U形，连同小的Y或 W字母分别标记在U之中、靠近U或贯穿U；其中，元音之前的辅 音被规定为读出但不标记为是可播放的。
5.根据权利要求1、2、3或4所述的方法，其特征在于，要说 出的文本用从包括下列各项的组中选择的一个、一个以上或所有韵律 图形符号来标记出：直接链接，包括挂在被链接的字母下面和之间的 连音吊床形符号，以指出说出的动量应该从一个链接的字母传到下一 个字母，单词之间没有中断或停顿或暂停；播放-和-链接，包括与第 一辅音的单或双下划线相结合的连音吊床形符号，以指出播放第一辅 音，不播放第二辅音；包括贯穿作为要准备的辅音的第一辅音的正斜 杠的准备-和-链接，其与到第二辅音的连音吊床形符号相结合，以显 示第一和第二辅音之间的链接，可播放的辅音用下划线表示。
6.根据权利要求1、2、3、4、或5所述的方法，其特征在于， 将韵律图形符号放置于要说出的文本附近，在文本紧上方的行中协调 韵律图形符号，或有选择地将韵律图形符号放置于文本下面或将韵律 图形符号放置于文本上面和文本下面。
7.根据权利要求1、2、3、4或5所述的方法，其特征在于， 通过在行中呈现文本来标记要说出的文本，在文本上方标记出可理解 性发音记号，在文本之下标记出韵律图形符号，在可理解性发音记号 行上方标记出音高基准线，并在音高基准线上方标记出其他韵律符 号，以指出所希望的音高变化和重音。
8.根据权利要求7所述的方法，其特征在于，音高基准线包括 Y蜂音音高线，使用较小的点在Y蜂音音高线的上方标记出所希望 的语调模式，以指出较轻的重读，用较大的点指出较强的重读，点位 于Y蜂音音高线的上方的水平，表示相对于说话者的Y蜂音音高 线的所希望的音高。
9.根据权利要求1、2、3、4或5所述的将韵律标记自动应用 于文本的方法，其特征在于，包括至少使用一种计算语言学算法来标 识和标记要读出的文本，以指出所希望的韵律发音。
10.根据权利要求9所述的方法，其特征在于，包括使用对应于 所希望的发音声音的代码变量，生成可用来指定至语音合成器的输入 的声音变量的值，以便作为合成的语音输出被标记的文本。
11.根据权利要求1、2、3、4或5所述的方法，其特征在于， 包括使用包括以数字方式记录的语音元素的声音库，语音元素是以由 图形符号标记指出的韵律说出的。
12.根据权利要求11所述的方法，其特征在于，其是以从下面 的组中选择的语言实现，该组包括：英语；美国英语；法语；西班牙 语；德语；日语；俄语；中文；阿拉伯语；印地语；具有图形符号集 和基于规则的语法的书面语言和口语；前述的语言中的任何一种语言 的方言和专业子集。
13.根据权利要求1、2、3、4或5所述的方法，其特征在于， 包括由一个或多个经过训练的人利用韵律图形符号来促进合成的语 音输出中的人性化的声音，该合成的语音输出可选地是共振峰语音输 出，该经过训练的人根据具有韵律图形符号的文本的标记，准确地读 出文本，以产生读出的语音的数据库，其中包含了准确地遵循语音- 代码-标记的文本的读出的语音。
14.根据权利要求13所述的方法，其特征在于，以数字方式呈 现韵律图形符号和在合成器软件中使用图形符号，以便对要由机器说 出的文本进行电子标记，从而促进或引导将韵律元素的数字域引入到 输出语音中。
15.根据权利要求14所述的方法，其特征在于，对应于文本的 图形记号的记录的语音包括一个或多个字母、单词、短语、句子、段 落和比较长的文本，它们被数字化到数据库中，并被分析，以提供算 法或韵律学，以规定对应于特定文本的特定语音数据和与文本相关的 图形记号的关系。
16.根据权利要求15所述的方法，其特征在于，利用一个或多 个所提供的算法或韵律学来向语音合成器提供输入参数，以对于要合 成的特定文本重新创建模拟人类语音的声音，作为具有规定的韵律的 语音。
17.一种由输入到语音合成器的声音编码变量控制的语音合成 器，其特征在于，声音编码变量对应于被用于生成具有所希望的韵律 发音的记录的人类语音的韵律规范，以及其特征在于，所述记录的人 类语音被用于提供实现所希望的韵律发音的合成的语音输出。