全自主式读谱及演奏音乐的机器人及方法专利检索-音乐符号工艺品专利检索查询-专利查询网

全自主式读谱及演奏音乐的 机器人及方法

阅读：495发布：2020-05-18

专利汇可以提供全自主式读谱及演奏音乐的机器人及方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种全自主式读谱及演奏音乐的机器人及方法，所述音乐机器人主要包含一影像撷取装置、一解读装置、一合成装置及一音效输出装置。本发明于使用时，利用影像撷取装置取得至少一内含有音乐信息的影像页面，而由解读装置辨识及解读出影像中的音乐信息。经解读后，合成装置依照所解读的音乐信息以合成的方式模仿一乐器或一演唱者的音效，此音效则由音效输出装置转换成人类所能收听的乐音。含有音乐信息的影像页面是事先以视觉可辨认的形式准备，影像页面可以包含特殊符号以对本发明的全自主式机器人下达像是指定模仿的乐器的指令。本发明结合光学辨识和声音合成技术，能够展现高弹性及动态的音乐演奏。，下面是全自主式读谱及演奏音乐的机器人及方法专利的具体信息内容。

权利要求

1.一种全自主式读谱及演奏音乐的机器人，其特征在于，包含：
一影像撷取装置，该影像撷取装置撷取一视觉触发的一影像页面，该影像页面包含至少一符号串；
一解读装置，该解读装置辨识所述影像页面的符号串，并由该符号串中取出与时间有关的一音乐信息，该音乐信息包含至少一序列的音调、以及每一音调的延续时间；
一合成装置，该合成装置模仿一音源以产生一输出讯号以表达该音乐信息；以及一音效输出装置，该音效输出装置至少包含一扬声器以将该输出讯号转换为人类能收听的声音。
2.如权利要求1所述的全自主式读谱及演奏音乐的机器人，其特征在于，所述符号串至少包含多个音符。
3.如权利要求1所述的全自主式读谱及演奏音乐的机器人，其特征在于，所述符号串至少包含一特殊符号，该特殊符号指定一特定乐器，以作为所述音源。
4.如权利要求1所述的全自主式读谱及演奏音乐的机器人，其特征在于，所述影像页面进一步包含一与该符号串对齐的一文字或音标串。
5.如权利要求4所述的全自主式读谱及演奏音乐的机器人，其特征在于，所述文字或音标串至少包含一特殊符号，该特殊符号是指定一特定人声，以作为所述音源。
6.一种全自主式读谱及演奏音乐的方法，其特征在于，包含以下步骤：
取得一影像页面，该影像页面至少包含有一符号串；
辨识该符号串，并由该符号串中取出与时间相关的一音乐信息，该音乐信息包含至少一序列的音调、以及每一音调的延续时间；
模仿一音源以产生一输出讯号以表达该音乐信息；以及
转换该输出讯号成为人类能收听的声音。
7.如权利要求6所述的全自主式读谱及演奏音乐的方法，其特征在于，所述符号串至少包含多个音符。
8.如权利要求6所述的全自主式读谱及演奏音乐的方法，其特征在于，所述符号串至少包含一特殊符号，该特殊符号指定一特定乐器，以作为所述音源。
9.如权利要求6所述的全自主式读谱及演奏音乐的方法，其特征在于，所述影像页面进一步包含一与该符号串对齐的一文字或音标串。
10.如权利要求9所述的全自主式读谱及演奏音乐的方法，其特征在于，所述文字或音标串至少包含一特殊符号，该特殊符号指定一特定人声，以作为所述音源。

说明书全文

全自主式读谱及演奏音乐的机器人及方法

技术领域

[0001] 本发明是关于一种全自主式读谱及演奏音乐的机器人及方法，尤其是关于一种能辨识内含音乐信息的影像，并将该音乐信息转换成音乐声效播出的全自主式读谱及演奏音乐机器人和其方法。

背景技术

[0002] 现今科技已可以制造出对外界视觉及/或听觉刺激可独立反应的机器构造。此机器构造可独立运作，无需由人为操作。如今学术上及市场上的机器构造有许多已具有此等技术，例如：Sony(索尼)公司所推出的AIBO人造机器犬，此人造机器犬装设有一摄影镜头以接收图卡上的影像，该图卡上有编码的指令以触发人造机器犬变更其设定状态，或者命令人造机器犬执行特定动作(例如：跳舞及唱歌等)。

[0003] 另外，Toyota(丰田)公司所推出的DJ机器人及音乐播放机器人，其中，DJ机器人为具有滑轮的全自主式机器人，其可与人类互动及模仿指挥乐团的表演；而具有滑轮或脚部的音乐播放机器人则可以实际弹奏小号、大号、长号、及鼓等乐器；所述的音乐播放机器人并非一完全全自主式机器人，而是由程序设计来展现其灵敏的手臂、手掌及手指。

[0004] 又，美国乔治亚理工学院(Georgia Institute of Technology)所推出的机器人Haile是一机械鼓手，能聆听现场演奏、实时分析现场演奏音乐、然后利用分析结果以即兴打鼓方式反应给外界。此机器人具有一即兴演奏的算法，使该机器人可与任意现场演奏者进行配合。该机器人可以直接模仿现场演奏者的演奏，或以伴奏的方式呈现等；而使用者亦可于此机器人中植入一标准MIDI档来使机器人依此MIDI档案来演奏。

[0005] 虽然前述的各种机器人还相当粗糙，但仍具有一定的教育及娱乐的功效。然而，该些机器人皆仅限于弹奏单一种类的乐器，而通常乐器又必须订制成符合机器人弹奏的形式。另外，各机器人所能表达的旋律多是事先在机器里人制订好程序，或是像Haile机器人一样，是事先向现场演奏者学习来的。换言之，这些机器人无法随时变更它们的演奏，而且变更前都需相当的准备工作。这些都限制了演奏音乐机器人的应用。

发明内容

[0006] 有鉴于上述现有技术机器人的问题，本发明的目的是提供一种崭新的全自主式读谱及演奏音乐的机器人及方法，结合光学辨识和声音合成技术，以展现高弹性及动态的音乐演奏。

[0007] 本发明提供了一种的全自主式读谱及演奏音乐的机器人，包含：

[0008] 一影像撷取装置，该影像撷取装置撷取一视觉触发的一影像页面，该影像页面包含至少一符号串；

[0009] 一解读装置，该解读装置辨识所述影像页面的符号串，并由该符号串中取出与时间有关的一音乐信息，该音乐信息包含至少一序列的音调、以及每一音调的延续时间；

[0010] 一合成装置，该合成装置模仿一音源以产生一输出讯号以表达该音乐信息；以及[0011] 一音效输出装置，该音效输出装置至少包含一扬声器以将该输出讯号转换为人类能收听的声音。

[0012] 本发明还提供了一种全自主式读谱及演奏音乐的方法，主要包含以下步骤：

[0013] 取得一影像页面，该影像页面至少包含有一符号串；

[0014] 辨识该符号串，并由该符号串中取出与时间相关的一音乐信息，该音乐信息包含至少一序列的音调、以及每一音调的延续时间；

[0015] 模仿一音源以产生一输出讯号以表达该音乐信息；以及

[0016] 转换该输出讯号成为人类能收听的声音。

[0017] 本发明所提供的全自主式读谱及演奏音乐机器人的各装置可装设于一人形或其它适当的壳体中。所述的影像撷取装置，例如CCD摄影镜头，撷取内含音乐信息的影像页面，而通过解读装置可辨识及解读所撷取的影像中的音乐信息，再由合成装置依据辨识出的音乐信息，利用合成技术模仿至少一种乐器或演唱者的音效，音效输出装置(例如扬声器)再将合成装置的输出转换成人类能收听的乐音。所述的音效输出装置通常是全自主式机器人一体的一部份，或者其可与全自主式机器人其它装置分离适当距离，其间则以适当的讯号缆线连结。

[0018] 本发明全自主式读谱及演奏音乐机器人以一种触发-响应模式运作。该内含音乐信息的影像是以视觉可辨认的形式(例如五线谱上的音符、或是简谱等)事先准备好的(例如印刷或书写在白板、或是纸张上)。影像里也可以包含特殊的符号以向全自主式机器人下达命令(例如指定特定的乐器)。这些影像然后呈现给全自主式机器人的影像撷取装置，以触发其依照影像内含的音乐信息进行演奏。一系列的影像可以由使用者依序呈现给全自主式机器人，或者全自主式机器人可以包含一种“翻阅”的机制自动检视这一系列影像，全自主式机器人因此可以进行连续的音乐演奏。

[0019] 本发明的有益效果在于，多个全自主式读谱及演奏音乐机器人可集合成一个乐队、一合唱团、一唱诗班、或者甚至是一管弦乐团等，通过分别给予这些全自主式机器人不同的序列的影像，这些机器人可以各自扮演一特定的角色，例如这些机器人可分别扮演男高音、女高音、男中音等，或者某些机器人可以演奏小提琴、钢琴，而其它一些机器人则演奏喇叭及打鼓等，因此表演形式丰富多样，达到极致娱乐效果，从而可以改善现有技术的机器人仅能弹奏单一种类的乐器，且无法随时变更演奏，变更前必须做大量的准备工作的缺点。附图说明

[0020] 图1a所示为依据本发明的一实施例所述的全自主式读谱及演奏音乐机器人的内部功能原理框图；

[0021] 图1b所示为本发明所述的全自主式读谱及演奏音乐机器人与一呈现影像的显示装置的关系示意图；

[0022] 图1c所示为依据本发明另一实施例所述的全自主式读谱及演奏音乐机器人的内部功能原理框图；

[0023] 图2a所示为一页影像的范例之一，该影像所包含的和时间相关的音乐信息是以简谱表示的著名美国童谣”row，row，row your boat”中的一段；

[0024] 图2b所示为图2a页面的音符串的示意图；

[0025] 图2c所示为音符串跨越多页面的示意图；

[0026] 图2d所示为具有特殊符号的多串音符跨越多页面的示意图；

[0027] 图2e所示为具有特殊符号的多串音符表现于同一页面的示意图；

[0028] 图2f所示为具有歌词的多串音符表现于同一页面的示意图；

[0029] 图2g所示为具有两种特殊符号以指示衔接与乐器的多串音符表现于同一页面的示意图。

[0030] 其中，附图标记说明如下：

[0031] 10屏幕

[0032] 20壳体

[0033] 22影像撷取装置

[0034] 24解读装置

[0035] 23翻页装置

[0036] 26合成装置

[0037] 28音效输出装置

具体实施方式

[0038] 本发明的全自主式读谱及演奏音乐机器人基本上为一运算装置。该运算装置可以以一系列内含音乐信息的影像的形式，接受视觉触发，并依据该音乐信息传送出人类可听到的回应。本发明的全自主式读谱及演奏音乐机器人不限定一定要具有特定形状或身体部位，全自主式机器人是否具有人形、是否具有手臂及脚部、或者是否可以移动对本发明而言是不重要的。

[0039] 请注意到，虽然有些基于先前技术的机器人同样可以演奏乐器(例如机器人Haile)、或是表现出触发-响应的行为(例如人工机器犬AIBO)，本发明和这些机器人主要的差别在于，除了使用合成技术以制作出各种乐器的乐音及演唱者的歌声之外，本发明的全自主式机器人并不是事先依据某种智能型算法制订程序、或是事先在机器人内安装音乐信息以演奏一种特定的乐器。此外，呈现给机器人的触发(例如影像)，并不是一次性的命令，而是包含和时间有关的信息。然而，以上指出本发明与先前技术的差异，并非排除本发明不能与现有技术整合于单一全自主式读谱及演奏音乐机器人中。

[0040] 图1a所示为依据本发明的全自主式机器人的内部功能方块图。如图所示，本发明包括有至少一个以上的影像撷取装置22，此影像撷取装置22组设于全自主式机器人的一壳体20上。该影像撷取装置22可为一CCD摄影镜头或一CMOS摄影镜头，又类似传真机的逐页自动扫描装置、或是可以手动扫瞄一段影像的手持扫瞄装置也可作为影像撷取装置22。

[0041] 无论影像撷取装置22采用何种技术运作，其基本特征是可由外界视觉触发取得二维的平面影像。以类似传真机的扫描装置为例，该视觉触发为送入该扫描装置的一页纸张，而以手持扫描装置为例，该视觉触发可以是所扫描书本中的一页，又以摄影镜头为例，该视觉触发可为一显示装置(例如液晶显示器的面板或是个人数字助理的屏幕的画面、一纸张、书中的一页、白板上的文字图案、或是一图卡。对影像撷取装置而言，这些视觉触发皆为平面影像，而且是以分别独立的“页”为单位呈现。这里所谓的“页”是一种抽象的表达，其代表的是显示装置的画面、一纸张、一书页、或一图卡等等。

[0042] 每一页影像包含和时间有关系的音乐信息，该音乐信息是由一串(也就是一线性序列)的“音符”所表示。所谓“音符”可为一般五线谱、简谱的音符、或任何至少指出音调高低、以及音调延续时间长短的符号。而这些音符共同定义出一段旋律或节奏。图2a所示为一页影像的范例的一，该影像所包含的和时间相关的音乐信息是以简谱表示的著名美国童谣“row，row，row your boat”中的一段。如图所示，该影像可包含其它符号以更精确的定义旋律，例如底线(“_”)及连字号(“-”)分别代表用数字表示的音调的不同延续时间长度，而于数字后方的附点则代表音调降八度。请注意到，图2a所示的简谱仅为范例，其它各种可能的、以及更复杂的表示和时间有关的音乐信息的方法，无论是肉眼可读或仅限机器辨识，均可用于本发明。

[0043] 如图1a所示，图中影像撷取装置22所撷取的平面影像传输至一解读装置24以供辨识。此解读装置24为本发明的全自主式机器人的“大脑‘。该解读装置24通常是以一运算装置实施，而以适当的输入/输出界面与其它装置(例如影像撷取装置22)联接。例如，该解读装置24具有一般的计算机架构，包含有中央处理单元、内存、总线等，而影像撷取装置22(例如CCD摄影镜头)连接于插设在解读装置24的一扩充槽的影像撷取卡。所述解读装置24最显著的特征是其具有辨识影像撷取装置22所撷取的影像、从中取出和时间有关的音乐信息的能力。影像辨识是属现有的技术，并有许多相关技术的公开。本发明的特征并不在于所采用的影像辨识技术，本发明可以采用任何适当的影像辨识技术。

[0044] 请注意到，“音符“是以事先决定好的顺序，例如图2b至2g中的虚线箭头所示，从影像撷取装置22的观点是由左而右、由上而下，安排在影像页面上。解读装置24的一个重要工作就在解译“音符”的这个事先决定的顺序，以重建影像所表达的旋律。当多个影像页面依照一定顺序逐页呈现给本发明的全自主式机器人时，每个页面的旋律可以被解读装置24连接起来构成一更长的连续旋律，如图2c所示。

[0045] 多页的影像可以各种方式呈现给本发明的全自主式机器人。在一实施例中，每页影像是一张图卡，使用者是在影像撷取装置22前方，手动的将图卡一张张呈现给影像撷取装置22。在另一实施例中，多页的影像是预先储存在一计算机或PDA中，然后这些影像页面是利用设立在影像撷取装置22前的计算机或PDA的屏幕10(如图1b所示)，由计算机或PDA一页页自动播出。而页面在屏幕10的播放速度可以是预先设定好的，或者在另一实施例中，计算机或PDA与解读装置24之间具有适当的讯号连结。页面的切换因此可由解读装置24通过该讯号连结下达适当的命令给计算机或PDA来控制。这可以视为是“翻阅”多个影像页面的机制。在又一实施例里，如图1c所示，一实体的翻页装置23可以是本发明的全自主式机器人的一部份。影像页面是表现在纸张上，而这些纸张放置于该翻页装置23上，而由解读装置24控制翻页装置23实际的一页页的翻动。这种自动的翻页装置在特别设计用来自动产生大量书籍的数字影像的先进扫描装置已经是相当常见的。

[0046] 请再参阅图1a，在影像撷取装置22撷取影像时，解读装置24已经解读出来的音乐信息同时传至合成装置26产生合成音效，而合成的音效则再传输至音效输出装置28(例如扬声器)。在一实施例中，所述的合成装置26可同时模仿多种乐器。如果合成装置26仅接收到一串音乐信息，则合成装置26会模仿一预设的乐器来播出该串音乐信息。如果影像页面包含多串音乐信息，合成装置26可以对每串音乐信息模仿一种不同的乐器。如图2d所示，每一页面包含3串音乐信息(如虚线箭头所示)，合成装置26可以同时模仿3种乐器来同时播出这3串音乐信息。为了达到这个功能，用以指定乐器的特殊符号必需被安排在各串音乐信息的特定位置上。如图2d所示，页面的每列音符前的字母V、P及D分别指定了该列音符所表达的音乐信息是以模仿小提琴(V)、钢琴(P)及鼓(D)的乐音播出。请搭配参阅图2e，所述的特殊符号也有助于解读装置24辨识出属于同一串的音乐信息，无论该串音乐信息是表现同一页面的不同列(如图2e所示)或是不同页面的同一列(如图2d所示)，解读装置24均可将具有相同特殊符号的音符串首尾连接起来。请注意到，本发明的另一实施例可具有多个合成装置26，而每一合成装置26负责模仿一种乐器。

[0047] 如前所述，单一个本发明的全自主式读谱及演奏音乐机器人，由于可同时辨识及播放数种乐器的音乐，因此可独立模仿一个乐队或交响团的表演。或者，也可以集合多个本发明的全自主式读谱及演奏音乐机器人，并预先设定各全自主式读谱及演奏音乐机器人模仿出特定的乐器，即可进行如同一个乐队或交响乐团的表演。各全自主式读谱及演奏音乐机器人可有各自的序列影像页面，或者各机器人可同时读取同一序列像画页面。后者可通过将影像页面投射至一定点以供各全自主式读谱及演奏音乐机器人经由影像撷取装置22对准该定点来读取。

[0048] 在本发明的又一实施例中，合成装置26可以使用合成方式或是预先录制好的字母来发出人声语音，本发明的全自主式读谱及演奏音乐机器人因此也能依据音乐信息演唱歌曲。请参阅图2f，此图为图2e的延伸图。如图所示，影像页面中包含一串歌词，该串歌词具有特殊符号H以指示解读装置24模仿人声演唱该串歌词。请注意到，歌词必须适当地和音符对齐，如此方能使播放出来的歌声与音乐相和谐。另外也请注意到，一串歌词一定对应于一串音符，然而一串音符可对应于一串以上的歌词，而各串歌词前可设置特殊符号，以指示解读装置24模仿例如男中音、男高音等人声。换言之，指示模仿特定人声的方式，就和指示模仿特定乐器的方式一样。

[0049] 另外一种令本发明的全自主式机器人演唱的比较简单的方式是，不以文字表达歌词，而是以音标符号来拼出歌词。除此以外，本实施例和前述用文字表达歌词的实施例是一样的。例如音标符号也必须与音符适当地对齐，如此方能使播放出来的歌声与音乐相和谐。综上所述，单一个本发明的全自主式读谱及演奏音乐机器人可以单独演唱歌曲、演奏乐器、或者同时演场歌曲与演奏乐器。此外单一或一组本发明的全自主式机器人可以模仿一个合唱团或是唱诗班的演出。

[0050] 在图2d～2f中，特殊符号设置于各列音符或歌词前，以供解读装置24辨识，然而，此并非唯一的运作模式。所述的特殊符号于另一实施例为可由两种符号代替：衔接符号及乐器符号。衔接符号通常设置于各列音符或歌词前，以供解读装置24于辨识时，可将同一乐器或同一歌词的各串衔接起来，而乐器符号则可设置于各列音符或歌词中间，即非仅限于各列之前。请参阅图2g，如图所示，衔接符号是以 Δ、Ω、§等符号表示，而乐器符号则以V、P、D、H等符号表示。此实施例的优点在于本发明的全自主式读谱及演奏音乐机器人可于播放同一串音符时，动态的由一种乐器转换成另一种乐器的播放模式，例如图2g下半前端有符号D的音符串中夹有符号T，本发明的全自主式机器人因此会先模仿打鼓来播放该串音符，直到碰到符号T时，则改为模仿喇叭。

[0051] 如图1a所示，由合成装置26传输至音效输出装置28的音效，由音效输出装置28转换成人类可收听的模拟讯号播放至外界。所述的音效输出装置28可为单一或一个以上的扬声器所组成，其中通过一适当的放大电路所驱动。音效输出装置28可以完全组设于全自主式读谱及演奏音乐机器人的壳体20中，或者放置在与壳体20一段距离之处，并通过有线或无线的传输方式与壳体20内的放大电路连结。

[0052] 以上所述的本发明仅为最佳实施例，即所叙述的较佳实施例以及任何本发明所主张的能轻易完成的技术，皆应涵盖于本发明的保护范围之内。

标题	发布/更新时间	阅读量
基于手势操作进行音量调节的方法及系统	2020-05-17	366
电子五线谱版	2020-05-13	388
Morpheus(梦神)音乐符号系统	2020-05-11	174
使用变化的颜色及其色调表示音乐曲目的方法	2020-05-14	22
音乐码－曲谱输入法	2020-05-20	237
中国典型听觉文化符号特征选择方法	2020-05-14	814
电子音乐教具	2020-05-13	516
全自主式读谱及演奏音乐的机器人及方法	2020-05-18	495
在音乐符号和学习乐器中提供指导的交互式游戏	2020-05-12	355
用于制作更和谐音乐伴奏以及用于将效果链应用于乐曲的系统和方法	2020-05-16	379

全自主式读谱及演奏音乐的机器人及方法

全自主式读谱及演奏音乐的机器人及方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：