技术领域
[0001] 本
发明是有关于一种识别乐谱内容的方法，且具体来说，是有关于一种可以即时识别各种乐谱的方法及系统。
背景技术
[0002] 随着信息科技的蓬勃发展，计算机技术也逐渐被使用在各种不同的领域当中，因而使得信息技术产业所涉及的范畴变得更加广泛；其中，乐谱识别便是将
图像处理技术结合音乐领域而发展出的一项技术。
[0003] 在目前的光学乐谱辨识(Optical Music Recognition；OMR)技术中，多半是通过扫描器将整张乐谱扫描为一个图档，再辨识整份乐谱上的
音乐符号信息，并且在完成整份乐谱的辨识动作后，将信息转换为机器可读取的格式，进而控制计算机
钢琴或其他
电子乐器进行演奏。然而，这样的方式必须在完整辨识整份乐谱的内容后，才会输出辨识结果。换言之，使用者往往必须介入操作扫描器并且花费较长的时间等待辨识处理完成，接着才有机会听到音乐的演奏。除此之外，基于扫描器作业环境的特性，这种方式仅能针对平坦且没有扭曲、皱折，或翻转
角度的乐谱来进行辨识。通过扫描乐谱来进行辨识所能辨识的对象有限，且通常必须花费较多的等待时间。
[0004] 另一种与乐谱辨识相关的技术则是直接将预设乐谱的音乐信息记录在光碟片等存储媒体之中，计算机钢琴或其他电子乐器在读取光碟片时，便可直接把光碟片所记录的内容转换为
硬件信号以控制按键来演奏。然而不难想见，这样的方式仅能弹奏预设的乐谱，不仅相当缺乏弹性，同时也无法达到让使用者随意选择乐谱并即时进行辨识的效果。
发明内容
[0005] 有鉴于此，本发明提供一种即时辨识乐谱的方法，可以对任意的乐谱进行即时辨识，以模仿人类阅读乐谱的习惯。
[0006] 本发明提供一种即时辨识乐谱的系统，以小节为单位辨识乐谱并即时输出辨识结果，以提升辨识乐谱的效率。
[0007] 本发明提出一种即时辨识乐谱的方法，用于包括图像撷取装置的
计算机系统。此方法首先检测乐谱，并搜寻小节线以取得乐谱上的至少一个小节，再根据各小节在乐谱中的排列
位置规划辨识顺序。接下来，控制图像撷取装置依照辨识顺序撷取其中一个小节、辨识所撷取的小节中的至少一个音乐信息，以及输出上述音乐信息。此方法将依照辨识顺序对其他小节进行上述撷取、辨识及输出的步骤，直到各小节均处理完毕为止。
[0008] 在本发明的一
实施例中，其中检测乐谱的步骤包括利用图像撷取装置撷取包括文件的图像。接着判断文件是否符合乐谱架构，以及在文件符合乐谱架构时，判定文件为乐谱。
[0009] 在本发明的一实施例中，其中在利用图像撷取装置撷取图像的步骤之前，还包括将图像撷取装置的镜头的角度调整至初始位置。
[0010] 在本发明的一实施例中，其中判断文件是否符合乐谱架构的步骤，包括对图像进行
边缘检测以取得数个候选单元。接着，根据乐谱架构及各候选单元的几何信息来判断各候选单元是否为乐谱单元。若存在一个或一个以上的乐谱单元，则判定文件符合乐谱架构。
[0011] 在本发明的一实施例中，其中各候选单元的几何信息包括四个
顶点位置、单元面积、单元高度以及单元宽度。而根据乐谱架构及几何信息判断候选单元是否为乐谱单元的步骤至少包括下列其中之一：在候选单元的单元面积小于第一预设值时，判定候选单元不为乐谱单元；在候选单元的单元高度大于第二预设值时，判定候选单元不为乐谱单元；在候选单元的其中一个顶点位置位于图像的特定区域时，判定候选单元不为乐谱单元；在候选单元的单元高度与单元宽度的比例不符合第三预设值时，判定候选单元不为乐谱单元。其中，第一预设值与图像的大小成比例，而第二预设值与图像的高度成比例。
[0012] 在本发明的一实施例中，其中在判断各候选单元是否为乐谱单元的步骤之后，还包括在相邻两个乐谱单元之间的距离不符合第四预设值时，判定文件不符合乐谱架构。
[0013] 在本发明的一实施例中，其中小节线为贯穿乐谱单元的垂直线。
[0014] 在本发明的一实施例中，其中在搜寻小节线以取得数个小节的步骤之后，还包括计算小节的总数以及取得各小节的中心位置。
[0015] 在本发明的一实施例中，其中根据各小节在乐谱中的排列位置规划辨识顺序的步骤，还包括计算图像撷取装置的镜头由初始位置转动至各小节的中心位置的转动角度，以及记录各小节与对应的转动角度的对应关系；其中，转动角度包括
水平角度以及垂直角度。
[0016] 在本发明的一实施例中，其中控制图像撷取装置依照辨识顺序撷取其中一个小节并辨识所撷取的小节中的音乐信息的步骤，包括依照辨识顺序选择其中一个小节。接着取得被选择的小节所对应的转动角度，并控制图像撷取装置的镜头转动上述转动角度以瞄准被选择的小节的中心位置，再推进镜头以撷取被选择的小节的放大画面。最后，辨识放大画面中的音乐信息。
[0017] 在本发明的一实施例中，其中音乐信息包括音符、谱号、休止符、变音记号、拍号以及附点等等。
[0018] 在本发明的一实施例中，其中输出音乐信息的步骤包括将所撷取的小节中的音乐信息转换为音讯文件格式，并播放转换为音讯文件格式的音乐信息；其中，音讯文件格式包括乐器数字
接口(Musical Instrument DigitalInterface；MIDI)格式。
[0019] 在本发明的一实施例中，其中输出音乐信息的步骤包括将所撷取的小节中的音乐信息转换为数个硬件信号，以及利用硬件信号来控制电子乐器演奏音乐信息。
[0020] 在本发明的一实施例中，其中输出音乐信息的步骤包括将音乐信息存储为对应所撷取的小节的暂存档。而在各小节均处理完毕之后，本方法还包括整合所存储的所有暂存档，以作为完整对应乐谱的一个信息档。
[0021] 在本发明的一实施例中，其中图像撷取装置包括PTZ(Pan-Tilt-Zoom)摄影机，而乐谱包括钢琴乐谱、
弦乐器乐谱、
管乐器乐谱以及总谱。
[0022] 从另一观点来看，本发明提出一种即时辨识乐谱的系统，此系统包括相互连接的图像撷取装置及处理单元；其中，处理单元在检测到乐谱时搜寻小节线以取得乐谱上的至少一个小节，并根据各小节在乐谱中的排列位置规划辨识顺序。处理单元控制图像撷取装置依照辨识顺序撷取其中之一小节、辨识所撷取的小节中的至少一个音乐信息，以及输出上述音乐信息。处理单元将依照辨识顺序重复地对其他小节进行上述撷取、辨识及输出的动作，直到各小节均处理完毕为止。
[0023] 在本发明的一实施例中，其中处理单元在图像撷取装置撷取包括文件的图像后，判断文件是否符合乐谱架构，以及在文件符合乐谱架构时判定文件为乐谱；其中，处理单元在图像撷取装置撷取图像之前，将图像撷取装置的镜头的角度调整至初始位置。
[0024] 在本发明的一实施例中，其中处理单元对图像进行边缘检测以取得数个候选单元，再根据乐谱架构及各候选单元的几何信息判断各候选单元是否为乐谱单元，以及在存在一个或一个以上的乐谱单元时判定文件符合乐谱架构。
[0025] 在本发明的一实施例中，其中各候选单元的几何信息包括四个顶点位置、单元面积、单元高度以及单元宽度。处理单元在候选单元的单元面积小于第一预设值时，判定候选单元不为乐谱单元；在候选单元的单元高度大于第二预设值时，判定候选单元不为乐谱单元；在候选单元的任一顶点位置位于图像的特定区域时，判定候选单元不为乐谱单元；以及在候选单元的单元高度与单元宽度的比例不符合第三预设值时，判定候选单元不为乐谱单元。其中，第一预设值与图像的大小成比例，而第二预设值与图像的高度成比例。
[0026] 在本发明的一实施例中，其中处理单元在相邻两个乐谱单元之间的距离不符合第四预设值时，判定文件不符合乐谱架构。
[0027] 在本发明的一实施例中，其中小节线为贯穿一乐谱单元的垂直线。
[0028] 在本发明的一实施例中，其中处理单元计算小节的总数以及取得各小节的中心位置。处理单元将计算图像撷取装置的镜头由初始位置转动至各小节的中心位置的转动角度，并记录各小节与对应的转动角度的对应关系；其中，转动角度包括水平角度以及垂直角度。
[0029] 在本发明的一实施例中，其中处理单元依照辨识顺序选择其中一个小节，取得被选择的小节所对应的转动角度，控制图像撷取装置的镜头转动上述转动角度以瞄准被选择的小节的中心位置。图像撷取装置推进镜头以撷取被选择的小节的放大画面，再由处理单元辨识放大画面中的音乐信息。
[0030] 在本发明的一实施例中，其中音乐信息包括音符、谱号、休止符、变音记号、拍号以及附点等等。
[0031] 在本发明的一实施例中，其中处理单元将所撷取的小节中的音乐信息转换为音讯文件格式，以及播放转换为音讯文件格式的音乐信息；其中，音讯文件格式包括乐器数字接口格式。
[0032] 在本发明的一实施例中，其中处理单元将所撷取的小节中的音乐信息转换为数个硬件信号，并利用硬件信号控制电子乐器演奏音乐信息。
[0033] 在本发明的一实施例中，其中处理单元将音乐信息存储为对应所撷取的小节的暂存档。而处理单元整合所存储的所有暂存档以作为完整对应乐谱的信息档。
[0034] 在本发明的一实施例中，图像撷取装置包括PTZ摄影机，而乐谱包括钢琴乐谱、弦乐器乐谱、管乐器乐谱以及总谱。
[0035] 基于上述，本发明是以小节为单位来对乐谱上的音乐信息进行辨识，并随即输出辨识结果。如此一来，不但可以增加辨识乐谱的效率，同时也可以呈现有如真人在阅读乐谱时的效果。
[0036] 为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所
附图式作详细说明如下。
附图说明
[0037] 图1是依照本发明的一实施例所绘示的即时辨识乐谱的系统的
框图。
[0038] 图2是依照本发明的一实施例所绘示的即时辨识乐谱的方法的
流程图。
[0039] 主要元件符号说明：
[0040] 100：即时辨识乐谱的系统
[0041] 110：图像撷取装置
[0042] 120：处理单元
[0043] 210～260：本发明的一实施例所述即时辨识乐谱的方法的各步骤具体实施方式
[0044] 图1是依照本发明的一实施例所绘示的即时辨识乐谱的系统的框图，请参阅图1，即时辨识乐谱的系统100包括图像撷取装置110以及处理单元120；其中，图像撷取装置110例如是具备大角度转动或倾斜镜头、自动对焦以及高倍率放大等功能的PTZ(Pan-Tilt-Zoom)摄影机。连接至图像撷取装置110的处理单元120例如是具备运算及处理能
力的硬件(例如
芯片组)、
软件元件，或硬件及软件元件的组合，在此并不限制其范围。
[0045] 处理单元120可随时检测及判断摆放在图像撷取装置110前的文件是否为一乐谱，并分析乐谱的结构以规划出一个以小节(measure)为单位的辨识顺序。接着，处理单元120控制图像撷取装置110根据辨识顺序移动其镜头位置来撷取其中一个小节，处理单元
120将针对所撷取的小节进行音乐信息的辨识，以及在辨识后输出辨识结果。在完成一个小节的辨识与输出动作后，处理单元120接着控制图像撷取装置110依据辨识顺序来撷取另一个小节，并重复上述动作反复地以小节为单位进行辨识与输出，直到乐谱中的所有小节均处理完毕为止。
[0046] 在一实施例中，即时辨识乐谱的系统100可配置在计算机系统。在另一实施例中，即时辨识乐谱的系统100可实施为一娱乐型
机器人。通过即时辨识乐谱的系统100的运作不但能对任意乐谱进行辨识，同时也可以即时呈现辨识结果进而提升辨识乐谱的效率。在将即时辨识乐谱的系统100实施为娱乐型机器人时，由于即时辨识乐谱的系统100是在辨识每个小节的音乐信息后便随即将其输出，因而使得娱乐型机器人可以模仿真人在阅读乐谱时依序边看边分析局部内容的习性。
[0047] 为了更进一步地说明即时辨识乐谱的系统100的运作方式，以下特举另一实施例来做更详细的说明。图2是依照本发明的一实施例所绘示的即时辨识乐谱的方法流程图，请同时参阅图1与图2。首先如步骤210所示，处理单元120判断目前是否检测到一乐谱；亦即，判断摆放在图像撷取装置110前的文件是否为乐谱。
[0048] 为了让图像撷取装置110能顺利撷取前方图像以利后续判断，处理单元120将先对图像撷取装置110的镜头进行调整，使镜头的角度转动至初始位置。接着，当图像撷取装置110撷取包括文件的图像时，处理单元120便会判断文件是否符合乐谱架构，以及在文件符合于乐谱架构时判定文件属于乐谱。
[0049] 以下将对判断文件是否符合乐谱架构的方式来进行说明。在本实施例中所指的乐谱包括钢琴乐谱、弦乐器乐谱、管乐器乐谱以及总谱等等，在此并不限制乐谱的种类。由于无论乐谱是对应于哪种乐器，都应符合五线谱及音符应有的架构，因此在判断是否检测到乐谱时，处理单元120首先对图像撷取装置110所撷取到的图像进行一边缘检测，从而取得数个边缘点。接着，再利用数理形态学上的扩张方法以及标记相连元件的演
算法来将边缘点聚集为数个候选单元。如此一来，处理单元120便可根据乐谱架构及各候选单元的几何信息来判断各个候选单元是否为乐谱单元。倘若存在一个或一个以上的乐谱单元，处理单元120便判定图像中的文件符合乐谱架构。
[0050] 详细地说，每个候选单元的几何信息包括四个顶点位置、单元面积、单元高度以及单元宽度。而处理单元120在候选单元的单元面积小于第一预设值时，判定候选单元不为乐谱单元；其中，第一预设值与图像的大小成比例。换言之，面积太小的候选单元应当不是构成乐谱的单元，因此处理单元120将其删除。此外，处理单元120在候选单元的单元高度大于第二预设值(与图像的高度成比例)时，判定此候选单元不为乐谱单元。也就是说，由于高度过高的候选单元不会是组成乐谱的元素，因此也将被删除。在另一实施例中，为了删除图像中的背景以及被图像边缘切割而导致形状不完整的部份，处理单元120在候选单元的任一顶点位置位于图像的特定区域(例如边缘区域)时，判定候选单元不为乐谱单元。除此之外，由于乐谱中的每行五线谱应具有特定的长宽比例，因此处理单元120在候选单元的单元高度与单元宽度的比例不符合第三预设值时，判定候选单元不为乐谱单元。
[0051] 倘若摆放在图像撷取装置110前的文件为乐谱，那么在经过上述筛选动作后，乐谱中的每行五线谱将被判定为一个乐谱单元。在一实施例中，倘若相邻两个乐谱单元(即相邻两行五线谱)之间的距离不符合第四预设值，处理单元120便会判定文件不符合乐谱架构。
[0052] 唯有在处理单元120判断文件符合于乐谱架构时，才判定所检测到的文件属于乐谱。倘若无法检测到乐谱，则重复执行步骤210；若已检测到乐谱，接着如步骤220所示，处理单元120取得乐谱上的各个小节，并根据各小节在乐谱中的排列位置规划一个以小节为单位的辨识顺序。由于小节线为贯穿乐谱单元的垂直线，因此处理单元120将在每个乐谱单元中搜寻小节线以取得各小节的位置。如此一来，处理单元120便可取得乐谱中小节的总数以及各小节的中心位置。在本实施例中，处理单元120另外将计算图像撷取装置110的镜头，由初始位置转动至各小节的中心位置的转动角度(包括水平角度及垂直角度)，并记录各小节与对应的转动角度的对应关系。
[0053] 接下来，如步骤230所示，处理单元120控制图像撷取装置110依照辨识顺序撷取其中一个小节。在本实施例中，处理单元120在按照辨识顺序选择目前应作处理的一个小节后，便会取得被选择的小节所对应的转动角度，同时控制图像撷取装置110将镜头转动上述转动角度以瞄准被选择的小节的中心位置。接着，图像撷取装置110在聚焦功能允许的范围内推进镜头，以撷取被选择的小节的放大画面。如此一来，图像撷取装置110便可取得该小节的清晰局部放大画面。
[0054] 在步骤240中，处理单元120对图像撷取装置110在步骤230所撷取到的放大画面进行辨识，以取得小节中的至少一个音乐信息；其中，音乐信息包括音符、谱号、休止符、变音记号、拍号以及附点等等。而在本实施例中，由于处理单元120针对扭曲线条也有判断处理方式，因而可以辨识出正确的音乐信息。
[0055] 在辨识一小节中的音乐信息后，接着如步骤250所示，处理单元120随即将音乐信息输出。在一实施例中，处理单元120将所撷取的小节中的音乐信息转换为音讯文件格式，并且播放转换为音讯文件格式的音乐信息以供使用者聆听；其中，音讯文件格式包括乐器数字接口(Musical Instrument DigitalInterface；MIDI)格式。在另一实施例中，处理单元120将所撷取的小节中的音乐信息转换为数个硬件信号，并利用上述硬件信号来控制电子乐器(例如电子钢琴)演奏音乐信息，或利用硬件信号控制机械手臂进行弹奏。换言之，处理单元120在辨识一个小节的音乐信息后，便可即时呈现该小节中的音乐信息内容。
[0056] 又在另一实施例中，处理单元120会将每个小节的音乐信息存储为对应的暂存档。待整份乐谱(即所有小节)均辨识完毕后，处理单元120将各小节所对应的暂存档整合起来，以作为完整对应乐谱的信息档。
[0057] 最后如步骤260所示，判断是否还有其他小节尚未处理。若是，则回到步骤230再次依照辨识顺序取得其他小节，并重复执行步骤240至步骤260以对小节进行辨识，直到乐谱中的所有小节均处理完毕为止。通过图2所示的各步骤，图像撷取装置110将依照辨识顺序撷取乐谱中各小节的放大画面，据以让处理单元120辨识其中的音乐信息并进行输出。每完成一个小节的辨识处理后，图像撷取装置110将移动到下一个小节并反复执行辨识与输出动作，如此一来，便可呈现即时阅读乐谱的效果。
[0058] 本发明另提供一种
计算机程序产品，其系用以执行上述即时辨识乐谱的方法。此计算机程序产品基本上是由数个程序指令所组成(例如设定程序指令、部署程序指令等等)，再将这些程序指令载入包括图像撷取装置的计算机系统之后，即可实现上述即时辨识乐谱的方法的各步骤，并使得计算机系统具备以小节为单位即时辨识乐谱并输出音乐信息的功能。
[0059] 综合以上所述，本发明所提的即时辨识乐谱的方法与系统可以对任意的乐谱进行辨识。以小节作为辨识单位不但可以产生较佳的辨识效果，同时也可以在辨识后即时输出小节中的音乐信息。据此大幅提升辨识乐谱的效率，而边辨识乐谱边演奏的方式也更贴近人类阅读乐谱的动作。
[0060] 虽然本发明已以实施例揭露如上，然而其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视后附的
权利要求所界定者为准。
