当前，移动终端提供除了通信服务功能以外的各种补充服务功能。尤其，
即使用户没有携带单独的MP3播放器，移动终端的MP3播放功能也能够使用户欣赏通过移动终端再现的MP3音频。
如杲移动终端在再现MP3音频数据的同时可以显示对应于该MP3音频数据的乐语，那么该移动终端将会为其用户提供在视觉上显示音乐的有趣的服务。
同时，所述移动终端具有输出由用户作曲的音频勒:据的作曲功能。
然而，传统的作曲功能包括需要用户执行麻烦的操作的问题，并且移动终端消耗大量电能。根据执行传统的作曲功能的过程，移动终端的用户必须手动输入乐谦纸上的所有音符。在这种情况下，基于音"Do"通过使用上下按钮来设置每个音的音高。因此，当用户期望输入与基本音"Do"有较大不同的音时，用户必须几次按下上或下按钮以输入一个音，这给用户带来相当多的不^更，而且需要大量时间。
此外，当用户设置音的时值时，由于用户必须激活弹出窗口并从该弹出窗口选择期望的音的时值，所以需要大量操作。
由于这些原因，通过使用实际的移动终端来作曲需要大量时间，并且需要用户频繁地操作按钮，这给用户带来不便。此外，较大的工作量施加于移动终端本身，从而快速消耗掉移动终端的电能。
因此，需要一种通过在移动终端中输出音频数据和乐谦图像来作曲的改进的方法和设备。发明内容
本发明示例性实施例的 一 方面在于提出至少以上问题和/或缺点，并提供至少下述优点。因此，本发明示例性实施例的一方面在于提供一种输出音频数据和乐谱图像的方法和设备，该方法和设备可以显示对应于再现的音频数据的乐谱图像，输出对应于乐谱图像的音频数据，并且允许编辑所显示的乐语。
为了实现以上目的，根据本发明示例性实施例的一方面，提供了一种输出对应于音频数据的乐语的方法和设备，在该方法和设备中，在再现音频数
据的同时，通过从音频数据中去除歌词来提取音；将音转换成频率；通过分
析所述频率将所述频率转换成音信息数据，并存^fi者所述音信息数据；和显示
对应于所述音信息数据的乐谱。当在显示乐谱的同时选择编辑时，将模式切
换为乐谱编辑模式；在乐语编辑模式下调整乐谱内相应音符的音高；在乐谱
编辑模式下改变乐错内相应音符的音的时值；在乐i普编辑模式下将乐语内相
应的音符改变为选择的音符；在乐谱编辑模式下执行用于乐谱编辑的补充功沐
根据本发明示例性实施例的另 一方面，提供了 一种输出对应于音频数据的乐谱的方法和设备，在该方法和设备中，在再现音频数据的同时，通过从
音频数据中去除歌词来提取音；将音转换成频率；在预定时间段过去之后，通过分析在所述预定时间段期间所提取的频率来识别单调或复调；将对应于单调或复调的频率转换成音信息数据，并存储所述音信息数据；通过提取对应于所述音信息数据的音乐符号来显示乐谱。当在显示乐谱的同时选择编辑时，将模式切换为乐谱编辑模式；在乐谱编辑模式下调整乐谱内相应音符的音高；在乐谱编辑模式下改变乐谱内相应音符的音的时值；在乐镨编辑模式
下将乐谱内相应的音符改变为选择的音符；在乐谱编辑模式下执行用于乐谱编辑的补充功能。
根据本发明示例性实施例的另 一方面，提供了 一种输出对应于乐谱的音频数据的方法和设备，在该方法和设备中，拍摄乐谱；从拍摄的乐语提取音乐符号；从所述音乐符号的音符信息和乐谱纸提取音高；从所述音乐符号的音符信息提取音的时值；和通过使用提取的音高和音的时值来输出音频数据。
根据本发明示例性实施例的另一方面，提供了一种存储有用于执行输出对应于音频数据的乐语的方法的计算机程序代码的计算机可读记录介质，在所述方法中，在再现音频数据的同时，通过从音频数据中去除歌词来提取音； 将音转换成频率；通过分析所述频率将所述频率转换成音信息数据，并存储 所述音信息数据；和显示对应于所述音信息数据的乐语。
从下面结合附图公开了本发明示例性实施例的详细描述中，本发明的其 它目的、优点和显著特点将对本领域技术人员变得清楚。

通过下面结合附图所进行的详细描述，本发明的特定示例性实施例的以 上和其它目的、特点和优点将会变得更加清楚，其中：
图1是示出才艮据本发明示例性实施例的移动终端的结构的方框图；
图2是示出4艮据本发明示例性实施例的在移动终端中从音频数据中提取 乐谱图像的方法的流程图；和
图3是示出根据本发明示例性实施例的在移动终端中从乐谱图像中提取 音频数据并输出所提取的音频数据的过程的流程图。
贯穿附图，相同的附图标号将被理解为表示相同的部件、特征和结构。

提供定义在描述中的诸如详细的结构和部件的内容以帮助全面理解本发 明的示例性实施例。因此，本领域的普通技术人员应该理解，在不脱离本发 明的范围和精神的情况下，可以对这里描述的实施例进行各种改变和修改。 此外，为了清楚和简明，略去了对公知的功能和结构的描述。
的方框图。
射频（RF)单元123执行移动终端的无线通信功能。RF单元123包括 RF发送器和RF接收器，其中，RF发送器上转换将被发送的信号的频率并放 大该信号，RF接收器低噪声放大接收的信号并下转换该信号的频率。调制解 调器120包括：发送器，用于对将被发送的信号进行编码和调制；和接收器， 用于对接收的信号进行解调和解码。音频处理单元125可包括编解码器，该 编解码器包含用于处理分组数据等的数据编解码器和用于处理诸如语音的音 频信号的音频编解码器。音频处理单元125通过使用音频编解码器将从调制 解调器120接收的数字音频信号转换成模拟信号，从而再现转换的模拟信号。此外，音频处理单元125通过使用音频编解码器将/人麦克风产生的用于传输的模拟音频信号转换成数字音频信号，并将转换的数字音频信号发送给调制解调器120。所述编解码器可以单独构造，或者可以包括在控制器110中。
存储器130可包括程序存储器和数据存储器。程序存储器可存储用于控制移动终端的 一般^^喿作的程序。
此外，根据本发明的示例性实施例，存储器130可存储用于将音频数据转换成频率的控制程序、用于分析所述频率并从所述频率中提取音信息数据的控制程序和用于提取对应于所迷音信息数据的音乐符号并显示乐谱图像的控制程序。此外，存储器130存储音乐符号图像数据库，从而可以提取对应于音信息数据的音乐符号。
此外，根据本发明的示例性实施例，存储器130可存储用于识别所拍摄的乐谱中的音乐符号图像并输出对应于所述音乐符号图像的音频数据的控制程序。此外，存储器130存储音频数据数据库，该数据库具有对应于音乐符号图像的音频数据值。
数据存储器临时存储执行程序时所产生的数据。
控制器110控制移动终端的全部操作。控制器IIO可包括调制解调器120和所述编解码器。
根据本发明的示例性实施例，控制器110还控制显示对应于再现的音频数据的乐i普图像。此外，控制器110提供所显示的乐i普图像的编辑功能。此外，控制器IIO控制输出对应于所拍摄的乐语图像的音频数据。
根据本发明的示例性实施例，多媒体单元170可在控制器110的控制下执行显示对应于音频数据的乐谱图像以及输出对应于乐i普图像的音频数据的操作。然而，将假设控制器IIO控制并执行显示对应于音频数据的乐谱图像以及输出对应于乐谱图像的音频数据的操作，来给出本发明下面的示例性实施例。
多i某体单元170在控制器110的控制下执行移动终端所提供的补充服务功能，诸如相机拍摄、MP3数据输出等。此外，根据本发明的示例性实施例，多媒体单元no在控制器110的控制下显示对应于音频数据的乐谱图像以及
输出对应于乐诿图像的音频数据。根据本发明示例性实施例的多媒体单元170的功能可由控制器IIO控制和执行。
相机模块140拍摄图像，其包括相机传感器和信号处理部分。相机传感器将通过拍^^获得的光信号转换成电信号，信号处理部分将通过相机传感器 的拍摄获得的模拟图像信号转换成数字数据。在示例性的实现中，假设所述
相机传感器是电荷耦合器件（CCD)传感器，所述信号处理部分可包括数字 信号处理器（DSP)。此外，相机传感器和信号处理部分可以被集成或者被单 独构造。根据本发明的示例性实施例，相机模块140还在乐谱识别模式下拍 摄乐谱。
图像处理单元150执行产生图像数据的功能以显示从相机模块140输出 的图像信号。图像处理单元150以帧为单位处理从相才/^莫块140输出的图像 信号，并输出适合显示单元160的屏幕大小和特性的帧图像数据。此外，图 像处理单元150包括视频编解码器，该视频编解码器通过使用预定的方案来 压缩显示在显示单元160上的帧图像数据，以及从压缩的帧图像数据恢复原 始帧图像数据。在示例性的实现中，所述视频编解码器可包括联合图像专家 组（JPEG)编解石马器、运动图4象专家组4 (MPEG4)编解码器、小波编解码 器等。假设图像处理单元150具有同屏显示（OSD)功能，并且可在控制器 IIO的控制下根据显示屏幕的大小输出OSD数据。根据本发明的示例性实施 例，图像处理单元150还对在乐谱识别模式下由相机模块140拍摄之后被存 储的乐谱图像解码，并将解码的乐谱图像转换成黑白图像。
显示单元160将从图像处理单元150输出的图像信号和从控制器110输 出的用户教:据显示在屏幕上。在示例性的实现中，显示单元160可采用液晶 显示器（LCD)。当采用LCD时，显示单元160可包括LCD控制器、用于存 储图像数据的存储器、LCD显示部件等。在示例性的实现中，当以触摸屏方 案实现LCD时，显示单元160可用作输入部分。此外，显示单元160可显示 对应于正被再现的音频数据的乐谱图像。
键输入单元127包括用于输入数字和字符信息的#:以及用于设置各种功 能的功能键。在示例性的实现中，键输入单元127可包括用于显示对应于正 被再现的音频数据的乐语图像的特定功能键。此外，键输入单元127可包括 用于输出对应于乐镨图像的音频数据的特定功能键。
以下将参照图2和图3来描述在移动终端中显示对应于音频数据的乐谱 图像以及输出对应于乐谱图像的音频数据的搡作。
图2是示出才艮据本发明示例性实施例的在移动终端中从音频数据提取乐 谱图像的方法的流程图。说明书第6/10页
以下，将参照图1来详细描述如图2所示的本发明的特定示例性实施例。
当在正输出MP3音频数据的步骤201选择乐谱呈现时，移动终端中的控 制器110在步骤202 4全测该选择，并进行到步骤203。
在步骤203，控制器110通过对正被再现的MP3音频数据进行滤波来从 该MP3音频数据去除歌词，从而仅提取MP3音频数据的音。然后，控制器 110通过量化和^^冲编码调制（PCM)将在步骤203提取的音从模拟信号转 换成数字信号，并通过快速傅立叶变换（FFT)将数字化的音转换成频率（步 骤204 )。
在重复执行步骤203和204的过程中，当过去预定时间段时，控制器110 在步骤205检测所述预定时间段的过去，并进行到步骤206。在步骤206，控 制器110计算在所述预定时间段期间所提取的频率值的平均值，并将该平均 值设置为阈值。在示例性的实现中，所述预定时间段可具有根据秒确定的长 度。
然后，控制器110将在所述预定时间段期间所提取的每个频率值与在步 骤206设置的所述阈值进行比较。当在所述预定时间段期间所提取的频率值 小于所述阈值时，控制器110在步骤207检测该值，并确定小于所述阈值的 频率值为单调（步骤208)。在步骤209,控制器110通过从在步骤208确定 为单调的频率值中去除等于或大于阈值的频率值来去除噪声。
在步骤209之后，控制器110进行到步骤211，在步骤211，控制器IIO 分析已在步骤209从其去除噪声的频率，将该频率转换成其相应的音信息数 据。也就是说，在步骤211,控制器IIO分析被确定为单调的频率，并将该频 率转换成包括音乐符号信息的音信息数据，所述音乐符号信息包含基于音高 和音的时值的音符信息和除了音符信息以外的配乐符号信息。
在步骤212，控制器110将在步骤211获得的音信息数据存储在存储器 130中。在步骤213，控制器IIO从存储在存储器130中的音乐符号图像数据 库中提取对应于所述音信息数据的音乐符号，并通过显示单元160显示所提 取的音乐符号。
控制器110在步骤207 一佥测该值，并确定等于或大于所述阈值的频率值为复 调（步骤210)。
在步骤210之后，控制器110进行到步骤211,在步骤211，控制器IIO 10分析在步骤210被确定为复调的频率，将该频率转换成其相应的音信息数据。 也就是说，在步骤2H,控制器IIO分析被确定为复调的频率，并将该频率转 换成包括音乐符号信息的音信息数据，所述音乐符号信息包含基于音高和音 的时值的音符信息和除了音符信息以外的配乐符号信息。
在步骤212,控制器110将在步骤211获得的音信息数据存储在存储器 130中。在步骤213，控制器IIO从存储在存储器130中的音乐符号图像数据 库中提取对应于所述音信息数据的音乐符号，并将提取的音乐符号显示在显 示单元160上。
在重复步骤203至213的同时，控制器110控制与正在步骤201被再现 的MP3音频数据对应的乐谱图像被显示在显示单元160上。
此外，可通过乐谱编辑处理来编辑通过步骤203至213显示的乐谱图像。
根据乐谱编辑处理，在乐谱图像显示在显示单元160上的状态下，当选 择乐镨编辑菜单时，控制器110在步骤214检测该选择，并在步骤215将移 动终端切换到乐语编辑模式。
在乐镨编辑模式下，控制器IIO显示用于乐谱编辑的音符选择方形光标， 从而所述方形光标选择并指示乐谱图像中相应的音符，例如，第一显示的音 符。音符选择方形光标在根据左方向键和方向键的输入移动的同时，可以选 择并指示相应的音符。此外，在乐谱纸上以预定间隔为单位移动的同时，音 符选择方形光标可以被定位，以指示音符、除音符以外的配乐符号或者空白 的地方。
当在乐谱编辑模式下输入上方向键信号时，控制器110检测该输入，并 根据上方向键的输入升高乐谱纸上通过音符选择方形光标选择的音符。当在 乐谱编辑模式下输入下方向键信号时，控制器110检测该输入，并根据下方 向键的输入降低乐i普纸上通过音符选择方形光标选择的音符。
此外，当在乐语编辑模式下选择音高菜单时，控制器HO检测该选择， 并显示包括有关音高的符号的音高的类型。当从有关音高的符号中选择降半 音符号"b"时，控制器110检测该选择，并将通过音符选择方形光标选择的
音符的音高降低半个音级。类似地，当从有关音高的符号中选择升半音符号
"#"时，控制器110检测该选择，并将通过音符选择方形光标选择的音符的
音高升高半个音级。
此外，当在乐谱编辑模式下选择音符菜单时，控制器110检测该选择，并显示各种音符。当从所显示的音符中选择音符时，控制器110检测该选择， 并且控制器110或者将音符选4奪方形光标所指示的音符改变成选择的音符， 或者将选择的音符插入到音符选择方形光标所指示的空白的地方。
此外，当在乐谱编辑模式下选择配乐符号菜单时，控制器110检测该选
择，并显示各种配乐符号。当从所显示的配乐符号中选择配乐符号时，控制
器IIO检测该选择，并且控制器IIO或者将音符选择方形光标所指示的配乐 符号改变成选择的配乐符号，或者将选择的配乐符号插入到音符选择方形光 标所指示的空白的地方。
此外，当在乐谱编辑模式下选择补充功能时，控制器110检测该选择，
并显示用于乐谱编辑的补充功能项。所述用于乐傳编辑的补充功能项包括块 建立、复制、剪切、粘贴、删除和再现项。
块建立功能用于选择在所显示的乐i普图像内的预定区域中显示的音符和 配乐符号。复制功能用于复制通过块建立功能或音符选择方形光标选择的单 个或多个音符和/或配乐符号。剪切功能用于剪切通过块建立功能或音符选择 方形光标选^r的单个或多个音符和/或配乐符号。粘贴功能用于将通过复制或
剪切功能选择的音符和/或配乐符号粘贴在乐谱纸中通过块建立功能或音符 选^^方形光标选择的预定位置。删除功能用于删除通过块建立功能或音符选 择方形光标选择的单个或多个音符和/或配乐符号，再现功能用于再现在乐谱 编辑才莫式下所显示的乐谱。
图3是示出根据本发明示例性实施例的在移动终端中从乐谱图像提取音 频数据并输出所提取的音频数据的过程的流程图。
以下，将参照图1来详细描述如图3所示的本发明的特定示例性实施例。 当在移动终端的乐谱识別模式下通过相机模块140拍摄乐谱图像时，控 制器110在步骤301检测拍摄的乐谱图像，并将拍摄的乐谱图像存储在存储 器130中。在步骤302,控制器110控制图像处理单元150,从而图像处理单 元150对存储在存储器130中的乐谱图像解码，并将解码的乐谱图像转换成 黑白图像。
在步骤303,控制器110从转换成黑白图像的乐谦图像提取音乐符号。 然后，控制器110首先提取乐谱纸的五条线，并为乐语纸的五条线及每个线 之间的间分配数字（步骤304 )。
也就是说，在步骤304,控制器110从乐谦纸最下面的线开始顺序将数字l、 3、 5、 7和9分配给乐谦纸的五条线。此外，控制器110将数字0分配 给线1以下的间，将数字2分配给线1和线3之间的间，将数字4分配给线 3和线5之间的间，将数字6分配给线5和线7之间的间，将数字8分配给 线7和线9之间的间，将数字10分配给线9以上的间。
在步骤304为乐谱纸的五条线以及线之间的间分配数字之后，控制器110 从在步骤303提取的音乐符号中提取音符信息，并通过将音符信息中符头的 位置与分配给乐谱纸的数字进行匹配来获得对应于音高的数值（步骤305 )。
详细地讲，在步骤305，控制器110确定符头的位置是否在间0或间10 中。当符头的位置不在间O或间IO中时，控制器110检测该位置，并提取与 符头的位置对应的乐谱纸上的数字，从而获得对应于音高的数值。例如，当 符头位于间2中时，控制器110可提取音"Fa"。
相反，当符头的位置在间O或间10中时，控制器110检测该位置，并通 过考虑位于符头和线1或线9之间的符头的数量而获得对应于音高的数值。
在步骤305纟是取音高值之后，控制器IIO提取音的时值。为了获得音的 时值，控制器110从音符信息中提取符头颜色、符尾的数量和音符附点的数 量。
在步骤306，为了获得符头颜色值，控制器IIO确定符头颜色。在步骤 307,当符头充满黑色时，控制器IIO为符头颜色指定"0",当符头没有充满 黑色时，控制器IIO为符头颜色指定"1",从而获得对应于符头颜色的数值。
在步骤308,为了获得符尾的数量值，控制器IIO提取符尾的数量。在 步骤309，当音符没有符尾时，控制器110为符尾的数量指定"0",当音符 有一个或多个符尾时，控制器IIO指定相应的数，从而获得对应于符尾的数 量的数值。
在步骤310,为了获得音符附点的数量值，控制器IIO提取音符附点的 数量。在步骤311,当音符没有附点时，控制器IIO为音符附点的数量指定"O"， 当音符有一个或多个附点时，控制器no为音符附点的数量指定相应的数， 从而获得对应于音符附点的数量的数值。
在步骤307、 309和311之后，控制器110在步骤312提取音的时值。 在步骤305和312提取音高和音的时值之后，控制器110从音乐符号信 息中提取除了乐镨纸和音符信息以外的配乐符号，并通过相应的数据库提取 对应于配乐符号的数值（步骤313)。在步骤314,控制器IIO从存储在存储器130中的音频数据数据库中提 取音频数据值，并输出该音频数据值，所述音频数据值与在步骤305和312 提取的音高和音的时值的数值以及在步骤313提取的配乐符号的数值对应。
还可以将本发明实施为计算机可读记录介质上的计算机可读代码。计算 机可读记录介质是可存储其后能由计算机系统读取的数据的任何数据存储装 置。所述计算机可读记录介质的示例包括只读存储器（ROM)、随机存取存 储器（RAM)、 CD-ROM、磁带、软盘、光学数据存储装置和载波（诸如通 过互联网进行数据传输）。所述计算机可读记录介质还可以分布在联网的计算 机系统上，从而计算机可读代码以分布式方式被存储和被执行。此外，本发 明所属领域的程序员可以容易地构建用于实现本发明的功能程序、代码和代 码段。
如上所述，本发明的示例性实施例提供了一种显示对应于音频数据的乐 谦图像以及输出对应于乐镨图像的音频数据的方法。因此，本发明的示例性 实施例可向用户提供这样一种娱乐：用户可在听了 一段音乐或乐器声之后画 出相应的乐谱，识别乐语并输出对应于该乐谱的音频数据。
尽管已参考本发明的特定示例性实施例显示和描述了本发明，但是本领 域的技术人员应该理解，在不脱离由权利要求及其等同物所限定的本发明的 精神和范围的情况下，可以对其进行形式和细节的各种改变。