首页 / 专利库 / 视听技术与设备 / 光学乐谱识别 / 一种基于低秩结构的五线谱谱线检测和删除方法

一种基于低秩结构的五线谱谱线检测和删除方法

阅读:803发布:2020-05-12

专利汇可以提供一种基于低秩结构的五线谱谱线检测和删除方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于低秩结构的谱线检测和删除方法,首先,将输入的乐谱图像进行二值化等预处理操作,得到乐谱图像,接着对乐谱图像进行低秩图像恢复和差分图像获得操作,由这两个图像矩阵进行“或”运算,得到谱线图像,最后谱线图像与乐谱图像进行“异或”运算,得到结果符号图像。与 现有技术 相比,本发明实现了将音符从谱线中分离出来,最有效的克服了现有大多数 光学乐谱识别 系统中对于中音符分离存在的技术障碍。,下面是一种基于低秩结构的五线谱谱线检测和删除方法专利的具体信息内容。

1.一种基于低秩结构的五线谱谱线检测和删除方法,其特征在于,该方法包括以下步骤:
将输入的乐谱图像转换成乐谱图像矩阵D,将矩阵D分解为低秩矩阵A和稀疏矩阵E两个矩阵之和,即D=A+E,求解优化问题的目标函数:
subject to rank(A)≤r,D=A+E,
该式表示:在约束条件为A的秩小于r且D=A+E时,使得E的F-范数最小;
对此优化问题的目标函数进行松弛到如下凸优化问题:
subject to D=A+E
该式含义为在约束条件为D=A+E,使得A的核范数最小,E的1范数为惩罚项,其中,核范m×n m×n m×n mxn
数是矩阵奇异值的和,1范数是绝对值之和,D∈R ,A∈R ,E∈R ,R 表示m行n列的实数矩阵,λ表示拉格朗日乘子向量,||·||F表示F-范数,||·||*表示核范数,||·||1表示1-范数,||·||2表示2-范数,||·||∞表示无穷范数;
使用增广拉格朗日乘子法求解上述优化问题,构造增广拉格朗日函数:

迭代公式为:


A表示低秩矩阵,E表示稀疏矩阵,Y表示拉格朗日乘子初始值为Y0=D/max(||Y||2,λ-1||Y||∞),μ表示罚因子初始值为 k表示迭代次数初始值为0;
得到输入矩阵D的低秩矩阵A,即得到谱线信息;
求解谱线所在行与其上或下一行存在差异的差分图像矩阵C:
C=H.*D
其中,C∈Rm×n,H∈Rn×n为

C表示差分图像矩阵属于m行n列的实数矩阵,H表示高通滤波矩阵属于n行n列的实数矩阵,
得到的差分图像矩阵,再通过和低秩图像矩阵进行“与”运算之后,得到的图像矩阵再与原图像矩阵进行“异或”运算,得到结果,公式如下:
S=C||A
B=S xor D
B即为所求符号矩阵。

说明书全文

一种基于低秩结构的五线谱谱线检测和删除方法

技术领域

[0001] 本发明涉及计算机与多媒体信号处理技术领域,尤其是在数字音乐图书馆等乐谱数字化应用开发领域。

背景技术

[0002] 在数字化的今天,将纸质乐谱保存为计算机能“读懂”的二进制数据是发展趋势。而面对数量庞大的乐谱,仅仅通过人工读谱实现数字化,是一件费时费的工作,为了实现纸质乐谱数字化,光学乐谱识别(Optical Music Recognition,简称OMR)技术应运而生。
[0003] OMR是将纸质乐谱扫描输入计算机后,对乐谱图像加以处理、识别、分析,最终获得乐谱的计算机数字表达的过程。
[0004] 乐谱中最主要的特征是一组平行的平线,即五线谱。它们对于音乐家来说是必要的,用以确定音高和规范音符等图形符号的书写区域和尺寸,谱线还有一个显著特点是绝大多数乐谱图形和符号与之都有交叉或重叠。而在音符识别时,需要将音符从谱线中分离出来,对于大多数光学乐谱识别系统中音符分离是一个障碍,但分离最有效的方法是删除谱线。因此,谱线的检测与删除是乐谱识别的基础且重要步骤。

发明内容

[0005] 基于现有技术,本发明提出了一种基于低秩结构的五线谱谱线检测和删除方法,对乐谱图像实现了谱线删除,达到谱线与音符有效分离,从而实现五线谱谱线检测的技术 问题。
[0006] 本发明提出了一种基于低秩结构的五线谱谱线检测和删除方法,将输入的乐谱图像转换成乐谱图像矩阵D,将矩阵D分解为低秩矩阵A和稀疏矩阵E两个矩阵之和,即D=A+E,求解优化问题的目标函数:
[0007]
[0008] 该式表示:在约束条件为A的秩小于r且D=A+E时,使得E的F-范数最小;
[0009] 对此优化问题的目标函数进行松弛到如下凸优化问题:
[0010]
[0011] 该式含义为在约束条件为D=A+E,使得A的核范数最小,E的1范数为惩罚项,其中,核范数是矩阵奇异值的和,1范数是绝对值之和,D∈Rm×n,A∈Rm×n,E∈Rm×n,Rmxn表示m行n列的实数矩阵,λ表示拉格朗日乘子向量,||·||F表示F-范数,||·||*表示核范数,||·||1表示1-范数,||·||2表示2-范数,||·||∞表示无穷范数;
[0012] 使用增广拉格朗日乘子法求解上述优化问题,构造增广拉格朗日函数:
[0013]
[0014] 迭代公式为:
[0015]
[0016]
[0017] A表示低秩矩阵,E表示稀疏矩阵,Y表示拉格朗日乘子初始值为Y0=D/max(||Y||2,λ-1||Y||∞),μ表示罚因子初始值为 k表示迭代次数初始值为0;
[0018] 得到输入矩阵D的低秩矩阵A,即得到谱线信息;
[0019] 求解谱线所在行与其上或下一行存在差异的差分图像矩阵C:
[0020] C=H.*D
[0021] 其中,C∈Rm×n,H∈Rn×n为
[0022]
[0023] C表示差分图像矩阵属于m行n列的实数矩阵,H表示高通滤波矩阵属于n行n列的实数矩阵,
[0024] 得到的差分图像矩阵,再通过和低秩图像矩阵进行“与”运算之后,得到的图像矩阵再与原图像矩阵进行“异或”运算,得到结果,公式如下:
[0025] S=C||A
[0026] B=S xor D
[0027] B即为所求符号矩阵。
[0028] 与现有技术相比,本发明的一种基于低秩结构的五线谱谱线检测和删除方法,克服了现有技术中音符分离的技术难点和障碍,实现了有效的乐谱识别。附图说明
[0029] 图1是本发明的基于低秩结构的谱线检测与删除方法的流程图
[0030] 图2是本发明的基于低秩结构的谱线检测与删除方法的一个实施例示意图:(a)输入的原始乐谱图像,(b)、低秩图像,(c)、差分图像,(d)、经过处理得到的符号图像;
[0031] 图3是不同方法的比较:(a)、carter方法,(b)、Linetracking Secondchord方法,(c)、Roach&Tatem方法,(d)、本发明的方法。

具体实施方式

[0032] 下面结合附图对本发明作进一步详细描述:
[0033] 首先,将输入的乐谱图像进行二值化等预处理操作,得到乐谱图像,接着对乐谱图像进行低秩图像恢复和差分图像获得操作,由这两个图像矩阵进行“或”运算,得到谱线图像,最后谱线图像与乐谱图像进行“异或”运算,得到结果符号图像。上述步骤流程图如图1所示,具体技术步骤如下:
[0034] 观察乐谱图像整个图,发现谱线所存在的行与列具有高度的重复性,谱线在乐谱图像中表现为水平方向平行,垂直方向等距等特点,并且具有较高的重复性,在谱线图像矩阵中,这些重复的地方则具有较高的相关性,既具有低秩特征,利用这一特征来检测谱线位置信息。而在数据矩阵中,出现重复性高的地方的数据具有线性相关性的特点,对于整个矩阵而言,既具有低秩或近似低秩特性,但存在稀疏的符号破坏了原有的低秩特性,所以根据乐谱图像数据矩阵本身的低秩特性,将数据矩阵分解为低秩矩阵和稀疏矩阵之和,即求解下列问题:
[0035]
[0036] 该式含义为:在约束条件为A的秩小于r且D=A+E时,使得E的F-范数最小;||·||F表示F-范数,||·||*表示核范数,||·||1表示1-范数,||·||2表示2-范数。
[0037] 对此优化问题的目标函数进行松弛。由于矩阵的核范数是矩阵秩的包络,矩阵的(1,1)范数是0范数的凸包,故将问题式(1)松驰到如下凸优化问题:
[0038]
[0039] 该式含义为:在约束条件为D=A+E,使得A的核范数最小,E的1范数为惩罚项,其中,核范数是矩阵奇异值的和,1范数是绝对值之和,λ表示拉格朗日乘子向量;D∈Rm×n,A∈Rm×n,E∈Rm×n;
[0040] 使用增广拉格朗日乘子法求解上述优化问题,构造增广拉格朗日函数:
[0041]
[0042] 迭代公式为:
[0043]
[0044]
[0045] 得到输入矩阵D的低秩矩阵A,即得到谱线信息。
[0046] 通过上述的处理,得到了乐谱图像的谱线信息,在删除谱线的时候,保留相交位置像素,这样谱线去除了,符号也较完整的保留下来。
[0047] 对谱线与符号相交的位置所在行,与这一行的上(或下)一行之间的像素相减,得到的差值存在不同数值,而这个不同数值的位置正好是在相交的位置,即求解谱线所在行与其上或下一行存在差异的差分图像矩阵C,具体为:上面求得谱线信息,只要知道符号位置信息就可以得到非符号的谱线像素,符号与谱线交叉或相切时,谱线所在行与其上或下一行存在差异,通过计算差异,就可以得到符号位置信息:
[0048] C=H.*D
[0049] 其中,C∈Rm×n,H∈Rn×n为
[0050]
[0051] 得到的差分图像,再通过和低秩图像矩阵进行“与”之后,得到的图像矩阵再与原图进行“异或”,得到结果,公式如下:
[0052] S=C||A
[0053] B=S xor D
[0054] B即为所求符号矩阵。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈