[0002] 本申请是标题为“用物理物体运行
计算机程序的系统及方法”、提交于2014年6月13日的国际
专利申请PCT/CN2014/079891的部分继续申请；国际专利申请PCT/CN2014/
079891是标题为“识别物体身份和相对于互动表面的
位置的系统及方法”、提交于2014年3月6日的国际专利申请PCT/CN2014/072961的部分继续申请；国际专利申请PCT/CN2014/
072961是标题为“识别物体身份和相对于互动表面的位置的系统及方法”、提交于2014年1月30日的国际专利申请PCT/CN2014/071850的部分继续申请；国际专利申请PCT/CN2014/
071850是标题为“互动板的系统及方法”、提交于2013年3月12日的国际专利申请PCT/CN2013/072481的部分继续申请。上述每件申请的全部公开内容以引用方式纳入。
技术领域
[0003] 本
发明及其
实施例涉及
电子设备上的音乐应用领域，更具体地，一个使用卡片创作和演奏音乐的交互面。
背景技术
[0004] 音乐是人类最杰出的创造之一。音乐用根源于人体
生物学和优雅数学的复杂形式、句法、色彩和断连记号来表达。
[0005] 学习、创作、存取和演奏音乐是最基本的人类活动之一。除了作为艺术形式被专业音乐家演奏和被世界上几乎每个人所喜爱，很多研究表明音乐对于儿童的认知发展非常有益。
[0006] 由于上世纪技术的进步，存取和欣赏音乐鲜有障碍。音乐在音乐厅和录音棚中被演奏；通过多种格式和渠道，演奏被记录、存储和传播。因此，在任何时间任何地点对于任何人，使用合理通路，几乎任何音乐是可用的。
[0007] 但是，尽管经过上世纪的技术进步，对于专业人员和初学者，对于老年人和年轻人，包括2到3岁的已经发展了对音乐的兴趣的儿童，帮助学习和创作音乐仍然有很大改进空间。
[0008] 学习和创作音乐有三个主要障碍。
[0009] 1.技能要求。学习音乐最普通的练习形式是学习一种特定的
乐器。例如，父母经常雇佣
钢琴教师来教他们的孩子学习钢琴，而音乐家通过演奏钢琴来作曲。不用说，在业余级别上熟练弹奏钢琴也需要很多年的严格练习。这个过程经常由父母强加给孩子，花费了时间、金钱，甚至可能还有孩子对音乐的兴趣。成为钢琴家需要惊人的练习和牺牲。
[0010] 2.可得的工具。擅长某一种乐器并不会使人轻易拥有用全面的曲调和节奏创作乐曲的能
力。例如，擅长钢琴并不轻易使人能够用鼓，喇叭和小提琴来创作音乐。苹果公司的流行
软件程序
车库乐队允许用户用打击乐器、
管乐器和
弦乐器元素来创作音乐；然而，车库乐队的与创建原始音乐相关的功能还有许多不足之处。
[0011] 3.音乐句法。音乐的句法是非常复杂的。术语，例如和弦，双和弦，临时变音记号，大调和小调以及他们的类型，变奏，等效和转位，已经超出了大多数儿童和非专业音乐人并且没有学习过复杂的音乐理论的大部分人的掌握。通过对着麦克
风唱歌或者敲击电子钢琴上的按键，任何人都能创建音乐，但没有音乐句法的精确语言，这种录音不能被精确描述、分开、分析或改进。
[0012] 我们因此看到创建这样一个系统的需求，该系统大大降低学习和创作音乐时的技能需求，使乐器可以更全面地被利用，而且对精细结构和复杂句法的创建更多地基于一个人对音乐的鉴赏力和想象力以及较少基于其对音乐句法的掌握。
发明内容
[0013] 本发明披露了一种学习、创作、存取和演奏音乐的系统和方法。所述系统包括：多个物体，彼此相邻或彼此堆叠从而形成功能图案，每个所述物体包含一个标识，并被分配一个音乐相关指示符；一个交互面，识别放置在所述交互面上的所述物体的所述标识和位置信息；一个有效连接到所述交互面的处理器；以及一个有效连接到所述处理器的
存储器，存储标识与音乐相关指示符的对应关系的
数据库；可以为用户提供实时反馈的音频或者显示装置。
[0014] 根据本发明的一个实施例，一旦两个或多个物体被放置在所述交互面上，它们形成功能图案，所述处理器根据所述功能图案提取一首音乐
片段。
[0015] 根据本发明的一个实施例，音乐相关指示符从
音乐符号，阿拉伯数字，
颜色，图标，图形，雕像等中得到，所有这些来源都可以被理解为音乐句法的符号。音乐符号可以是以下中的一个：具有音高和音长的音符，根源于音符的单和弦，休止符和休止符的持续时间；改变音符音高的变音记号；改变音符音长的附点和延音线；大调和弦，小调和弦，三和弦，或七和弦；定义音乐片段是大调音阶或小调音阶的调号；在相同音级中升高或降低音符的音高；定义所述音乐片段的织体，音色，力度和运音法的符号，包括那些通常使用的和那些为特殊听众，情绪和目的而定制设计的。
[0016] 音乐相关指示符也可以是从多个编程功能中选择的符号，包括：开始，结束，重复，条件和跳跃，这些符号组织指示符来形成功能图案以被所述处理器转
化成一首音乐片段；切换，当和音乐符号一起使用时，允许所述符号的每个变奏被呈现或选择；等于和
指定，使一个物体能被指定代表第一功能图案，其结果物体可以被纳入第二功能图案；录音，取回，保存，取消，删除，群组，解组，连接，断开，结合和分离，这些符号将一首音乐片段当作电子文件来处理，将多个音乐片段合成一个大的音乐片段。
[0017] 音乐相关指示符也可以是代表乐器的符号，包括打击乐器、管乐器和弦乐器，以及代表人类声音和自然声音的符号。
[0018] 根据本发明的一个实施例，物体的标识由所述物体的唯一光学图案限定。
[0019] 唯一光学图案，可以是音乐符号的标记，语言学或者数学符号的标记，图标或图像的标记，2D或3D形状的唯一图案，对于人类可见或者不可见的色彩和织体。所述标识预先制造在所述物体上，或由用户标记在所述物体上，这种标记是永久的或者可消除的。
[0020] 根据本发明的一个实施例，一个附着于处理器或者有效连接到处理器的摄像机，能识别所述唯一光学图案，并将该信息传送给所述处理器。所述处理器进一步
访问存储在存储器中的标识与音乐相关指示符的对应关系的数据库，将音乐相关指示符与所述处理器识别的每个标识相匹配。所述处理器基于与所述标识相关联的音乐相关指示符以及功能图案中每个所述物体的所述位置，进一步从多个物体形成的功能图案提取所述音乐片段。
[0021] 根据本发明的一个实施例，物体的标识也可以由嵌入所述物体的唯一识别码（UID）界定。
[0022] 所述UID可以是
射频识别标签，电容标签图案或
磁性标签图案编码。
[0023] 本实施例中，所述交互面通过射频天线、电容
传感器转换阵列或磁性传感器转换阵列，识别所述物体的所述UID，并将信息传送给所述处理器。所述处理器进一步访问存储在存储器中的标识与音乐相关指示符的对应关系的数据库，将音乐相关指示符与所述处理器识别的每个标识相匹配。所述处理器基于跟所述标识相关联的音乐相关指示符以及功能图案中每个所述物体的所述位置，进一步从多个物体形成的功能图案提取所述音乐片段。
[0024] 每个物体的标识也可以是分配给所述物体的音乐相关指示符。
[0025] 根据本发明的一个实施例，物体是按钮，卡片，码
块，雕像或其他可以被彼此相邻或彼此堆叠从而形成对于人眼和交互面的传感器和天线清晰可识别的2D或3D功能图案的2D或3D块结构。
[0026] 根据本发明的一个实施例，物体可以是在所述交互面之上或者接近所述交互面放置的物理薄片，音乐相关指示符印制在所述物理薄片上，音乐相关指示符纳入所述功能图案，所述处理器将所述功能图案转化为音乐片段。
[0027] 根据本发明的一个实施例，电子显示屏被有效连接到所述交互面，音乐相关指示符在电子显示屏上显示并纳入所述功能图案，所述处理器将所述功能图案转化为音乐片段。
[0028] 根据本发明的一个实施例，感官配件有效连接到所述处理器，为用户提供交互反馈。
[0029] 在一些实施例中，感官配件是音频装置，能播放所述处理器产生的所述音乐片段的声音。
[0030] 在一些实施例中，感官配件是显示装置，能够显示所述处理器产生的所述音乐片段的乐谱，乐谱用标准的西方音乐符号书写，例如，ABCDEFG，五线谱，谱号，音符，和弦，休止符，间歇记号，临时变音记号，拍子记号，或者用标准的唱名法音乐符号书写，如Do，Re，Mi，Fa，Sol，La，Ti（或Si），或用简单的数字音乐符号书写，例如1，2，3，4，5，6，7。
附图说明
[0031] 为了更好地说明本发明实施例的目的、原理、概念和优势，特别是本发明实施例如何提供新奇的、有价值的用户体验，各种实施例将会结合附图进一步描述。附图是本发明的示例性实例，并不限制本发明的范围。
[0032] 图1是根据本发明的一个实施例说明系统流程的示意图。
[0033] 图2是根据本发明的一个实施例的系统的示意图。
[0034] 图3是根据本发明的一个实施例的系统的示意图。
[0035] 图4是根据本发明的一个实施例说明交互面的特写示意图，音乐薄片置于交互面上，印有不同音乐相关指示符的一组卡片整齐地放在音乐薄片上。
[0036] 图5是根据本发明的一个实施例说明在半音音阶中七个音符的两组设计的示意图。
[0037] 图6是根据本发明的一个实施例说明在半音音阶中将音符音高改变半音的两张卡片的设计的示意图。
[0038] 图7是根据本发明的一个实施例说明在半音音阶中将音符音高改变八度的两张卡片的设计的示意图。
[0039] 图8是根据本发明的一个实施例说明卡片上印制的指示音符的节奏和音长的符号的设计的示意图。
[0040] 图9是根据本发明的一个实施例说明乐器卡片设计的示意图。
[0041] 图10是根据本发明的一个实施例说明在半音音阶中基于根音符的和弦卡片设计的示意图。
[0042] 图11是根据本发明的一个实施例说明交互面的特写示意图，音乐薄片置于交互面上，印有不同音乐相关指示符的一组卡片整齐地放在音乐薄片上，使用和弦卡片。
[0043] 图12是根据本发明的一个实施例说明基于共同根音符的和弦变化卡片设计的示意图。
具体实施方式
[0044] 下文中多个发明实例将进行详细说明。尽管被讨论的具体实施例，但应该理解为，这只是出于说明目的。相关领域技术人员可以认识到，其他组成和结构可以被使用，而不脱离本发明的精神和范畴，。
[0045] 图1是根据本发明的一个实施例说明系统流程的示意图。
[0046] 图1说明本发明的核心系统和方法。系统包括有效连接到
计算机系统102的交互面101，计算机系统102包括处理器103和存储器104。交互面101进一步包括传感器或探测装置
105，有效连接到交互面101的计算机系统102。传感器或探测装置105被配置为探测放置在交互面101上或者附近的物体106的位置和唯一ID。图1所描述的系统进一步包括有效连接到计算机系统102的用户反馈装置107，例如音频扬声器和/或照明装置。
[0047] 图2是根据本发明的一个实施例的系统的示意图，说明使用图1所述描述的系统设计来创作一首音乐片段的过程。在图2所描述的实施例中，可以注意到，创作的音乐片段是著名的
雪绒花旋律的前八节，来自1959年罗杰斯和哈默斯坦音乐剧“音乐之声”的流行曲调。
[0048] 为了创建这首音乐片段，印有音乐相关指示符的卡片202放置在交互面201上。这些卡片202中的一些是音符卡片203，其用简单数值来代表七个音符。其他卡片204印有音乐旋律相关指示符（这个例子中‘-’代表一个
节拍的指示符），其他一些卡片205是音高变化卡片，其用于改变音符卡片203的音高。
[0049] 图2中交互面201的底部有功能按钮，用于与用户进行互动，包括播放按钮206，重播按钮207，和暂停按钮208。
[0050] 为了用图2中描述的实例创建一首音乐片段，用户在交互面201上沿着音乐进行线209放置音符、旋律和音高改变卡片202（除了音高改变卡片205放在音符卡片203上面）。当卡片202被适当地放置在交互面201的上面，传感器或探测装置识别卡片202的UID，以及它相对于交互面201的表面的相对位置，将这个信息传送给计算机系统。然后该信息被存储在计算机系统的存储器中。随着用户在交互面201上沿着音乐进行线209放置越来越多的卡片
202，计算机系统在它的存储器中存储伴随的音符串，旋律和音高改变卡片202，并实时演绎出用户创建的音乐旋律。
[0051] 最后，一旦用户对他/她创建的音乐卡片202的功能图案满意，用户可以按播放键206，从而使计算机系统通过反馈装置为用户回放所述音乐片段，反馈装置通常包括音频扬声器。
[0052] 尽管图2所描述的实施例是创作音乐的好的描述，本发明实施例也可以包括多个附加组件来形成一个更完整和包容的音乐创建装置。
[0053] 图3 是根据本发明的一个实施例的系统的示意图，说明一个比图2更复杂的系统实施例。交互面301有效连接到包括处理器306和存储器307的计算机系统308。摄像机304（有效连接到计算机系统308）被安装在支柱303上，支柱303固定在交互面301的一边，使摄像机304可以看到交互面301整个区域的概况。物体，例如卡片305，放在交互面的顶部，立即被摄像机304探测到，印在这些卡片305上的指示符被计算机系统308通过摄像机304识别。这样，物体相对于交互面301的位置和朝向以及标识的类型（例如，指示符）被计算机系统
308识别。计算机系统308还有效连接到扬声系统309，以便为用户提供音频反馈。
[0054] 在图3所述描述的实施例中，标识同时也是音乐相关指示符，然而这与系统使用嵌入卡片中的RFID芯片与交互面的计算机系统进行卡片UID的无线通讯的实施例中的情况不同。这个例子中，卡片的位置和朝向将由一组嵌入交互面的表面的传感器来决定。
[0055] 另一个系统实施例有一个具有传感器阵列的交互面，设计成能够精确探测放置在交互面上的物体的UID、位置和朝向信息。
[0056] 另一个系统实施例有一个电子显示屏作为交互面。从成本和给用户传递信息的简便的
角度而言，这个实施例有很多好处。
[0057] 对于交互面，有不同的技术和设计，简单起见，本发明将使用图3中说明的系统设计进行描述（例如，使用摄像机探测卡片的标识/指示符，位置和朝向信息）。
[0058] 图4是根据本发明的又一实施例说明交互面的特写示意图，音乐薄片置于交互面上，印有不同音乐相关指示符的一组卡片整齐地放在音乐薄片上。
[0059] 使用图3所描述的系统，图4进一步描述了交互面401的特写，音乐薄片402放置在交互面401上，印有不同音乐相关指示符的一组卡片403整齐地放在音乐薄片402上。在这个特定实施例中，音乐片段通过使用7个音符（即，印有字母C，D，E，F，G，A或B的卡片）和其他音乐相关卡片来创作。
[0060] 图4描述的实施例说明用户如何放置一组卡片403在音乐创作区域415来创作一首简单的音乐片段。一旦用户在音乐薄片402上放置卡片，他们可以播放他们的音乐片段（通过按下播放按钮404），重播他们的音乐片段（通过按下重播按钮405）或暂停他们的音乐片段（通过按下暂停按钮406）。
[0061] 本发明的卡片403，每个表面有印有不同的音乐相关指示符。这些指示符可以采取不同的形式和图案，起不同的作用。这些卡片可被描述为属于以下种类：音符；音高改变；节奏；旋律；乐器；和和弦。
[0062] 1、音符卡片这些卡片403是任何音乐片段的核心元素。如图4所描述，它们在音乐薄片402上沿着虚线407放置。
[0063] 图5是根据本发明的一个实施例说明在半音音阶中七个音符的两组设计的示意图。
[0064] 本发明包括音符卡片两种不同的设计：五线谱和字母乐谱。这两种设计如图5所示，在半音音阶中每组卡片代表相同的七个音符。
[0065] 参照图5，左手侧上部和下部两张卡片501和502，使用两种表述描述了相同的音符，中央C。上部左手卡片501使用带有音高位置的五线谱描述中央C音符，底部左手卡片502使用音高名字C描述相同的中央C音符。可以注意到，两种设计都是可接受的，图3中描述的摄像机304和计算机系统308被定制为识别这些指示符作为这些卡片的标识。
[0066] 有趣的是，如果用户在音乐薄片402上（它本身放置在交互面401上面）为音乐卡片设计的虚线407内，如图5所描述的相同的顺序放置7张卡片（使用任何一种设计），然后按下播放按钮404，那么计算机系统将成功连续播放唱名为Do Re Mi Fa Sol La Si的旋律。
[0067] 2、音高改变卡片 这些卡片408，409用于改变单独的音符卡片403的音高。本发明的这个实施例，设计这些特定卡片408，409在独立的音符卡片403上面或
叠加放置。这个动作将被摄像机304和计算机系统308立即识别，音乐片段的音高也将相应改变。
[0068] 图6是根据本发明的一个实施例说明在半音音阶中将音符音高改变半音的两张卡片的设计的示意图。
[0069] 本实施例包括两种不同的音高改变卡片：在半音音阶中由改变音符半音音高的卡片，以及改变音符八度音高的卡片。
[0070] 图6中第一张卡片601的符号是说明用来提高音符半音音高的升号设计的示意图。图6中第二张卡片602的符号是用来降低音符半音音高的降号的设计。
[0071] 图7是根据本发明的一个实施例说明在半音音阶中将音符音高改变八度的两张卡片的设计的示意图。
[0072] 参照图7，第一张卡片701上的符号是用来将音符音高提升八度的设计的示意图，第二张卡片702上的符号是用来将音符音高降低八度的设计。
[0073] 回到图4，可以看到，本实施例如何使用图6和图7所描述的音高改变卡片来改变音符卡片403的音高。三张卡片408，其指示符在图6中指明为降号，被放置在三张音符卡片403之上。一张卡片409，其指示符在图7中指明为将音符音高提高八度，被放置在另一张音符卡片403的上面。
[0074] 实际上，叠加这些音高改变卡片408，409在卡片403上，会导致音符根据计算机系统308通过摄像头304读取的音高改变卡片的指示符来改变其音高。下次当用户按下播放404或者重播405按钮时，计算机系统308会指示扬声器309播放
修改后的音乐片段。
[0075] 3、节奏卡片参照图4，这些卡片410用于音符403的节奏和音长的指示符。本发明的这个实施例设计这些特定卡片410直接放置在单独音符卡片403的上面，在空线411指明的空间里。需要指出，不像音符卡片403不需要填满虚线407的每个框，节拍卡片410需要填满位于音符卡片的虚线407上方的空线411的每个框。此外，空线411的框代表节奏，必须反映虚线407中的音符上的框。因此，如图4所描述，为了创作音乐片段的节拍，节拍卡片排列在空线411上。
[0076] 正如音符卡片403和音高改变卡片408，在节拍卡片410被放置在节拍空线411的瞬间，计算机系统308，通过摄像机304识别印在节拍卡片410上面的符号，并处理此信息。
[0077] 本实施例，节拍卡片包括多个不同的指示符，每个有不同的功能。
[0078] 图8是根据本发明的一个实施例说明卡片上印制的指示音符的节奏和音长的符号的设计的示意图。本领域技术人员将认识到，图8说明的指示符是指明音符的节奏和音长的国际标准（在亚洲国家广泛使用）。因此，作者将不进一步解释这些不同符号在音乐片段中的效果。
[0079] 4、旋律卡片4.1. 分配一个旋律给一张旋律卡片
一旦用户放置音符403，音高修改408和节奏卡片410在音乐薄片402（它本身放置在交互面401上）上，并且对他/她创作的旋律片段满意，他们可以选择通过使用旋律卡片412保存这个片段。
[0080] 参照图4，这些旋律卡片412放置在音乐薄片402的底行。假定用户想保存图4描述的例子中他们创作的旋律片段，只需要用户在音乐薄片402右下方的方形区域413放置旋律卡片412。邻近这个方形区域413的是一个带有符号“>”的按钮414，用户将在交互面上创作的旋律（通过使用音符、音高修改和节奏卡片）分配给放置在方形区域413的旋律卡片412。因此，如图4所示，不同音乐指示符卡片排列在“旋律创作区域”415（粗线方形内的区域），用户继续分配这个旋律给编号为6的旋律卡片412。
[0081] 4.2．分配多个旋律给一张旋律卡片用与以上描述相同的方法，一旦多个旋律被分配给多个旋律卡片412，这些多个旋律然后能被分配给一张旋律卡片。
[0082] 为了这样做，用户所要做的是将多张旋律卡片412（每个有一个已经分配给它的旋律）循序放置于音乐薄片402的最低虚线描述的“音乐创作区域”416。再一次，用户继续在虚线416右侧的方形区域413上放置一张新的旋律卡片412，然后按下它邻近的“=”按钮417。这将引起放置在虚线416上的旋律卡片序列被分配给一张新的旋律卡片，一首完整音乐片段的主旋律被创作。
[0083] 5、乐器卡片这些卡片418被用于指示计算机系统308哪种乐器应该被用于演奏在旋律生成区域415生成的旋律。参照图4，可以看到，三张乐器卡片418被放置在音乐薄片402左下方的指定乐器分配区域419。对于本发明的这个实施例，仅四张乐器卡片418能被同时用于演奏一首特定旋律，而在图4所描述的例子中，钢琴、小号和
吉他的乐器卡片418被选择。这意味着，如果用户按下播放404或者重播405按钮，旋律创作区域415创作的旋律将被同时使用钢琴、小号和吉他的声音播放。
[0084] 图9是根据本发明的一个实施例说明乐器卡片设计的示意图。
[0085] 6、速度按钮为了使用户能修改旋律创作区域生成的旋律的速度（也就是，每分钟节拍数），用户简单按下位于音乐薄片402右下方的速度向上420或速度向下423按钮。与这些按钮交互，将增加或放慢旋律创作区域415生成的旋律的速度。
[0086] 7、调按钮为了使用户能修改旋律创作区域生成的旋律的
音调，用户只需简单按下位于音乐薄片
402的右下方的调向上421或调向下422按钮。与这些按钮交互，将升高或降低旋律创作区域
415生成的旋律的整个半音音阶的中心位置。
[0087] 8、和弦卡片 本发明的这个实施例，通过使用和弦卡片，也允许与音乐薄片402一起使用和弦。
[0088] 图10是根据本发明的一个实施例说明在半音音阶中基于根音符的和弦卡片设计的示意图。
[0089] 参照图10，可以看到，和弦卡片的设计基于半音音阶中的根音符。这些卡片与图4中使用的音符卡片以同样方式使用。
[0090] 图11是根据本发明的一个实施例说明交互面的特写示意图，音乐薄片置于交互面上，印有不同音乐相关指示符的一组卡片整齐地放在音乐薄片上，使用和弦卡片。
[0091] 参照图11，可以看到，为了创作更复杂的旋律结构，基于半音音阶中的根音符的和弦卡片1101放置在和弦创作区域中。
[0092] 图12是根据本发明的一个实施例说明基于共同根音符的和弦变化卡片设计的示意图。
[0093] 参照图12，可以注意到，这些和弦变化卡片上使用的符号是国际标准（例如，m-小三和弦；aug-增三和弦；dim-减三和弦…等等），本文档范围内将不进一步解释。
[0094] 重新参照图11，变化和弦卡片1102与图4使用的音高修改卡片408以同样的方式使用。也就是说，为了形成特定的三和弦，用户叠加它们在和弦卡片1101的上面。例如，和弦卡片C 1103是G大调的大三和弦，可以注意到，用户叠加和弦变化卡片m6 1104在这个和弦卡片1103上。结果是，G大调的大三和弦被转换成G小六和弦。
[0095] 9、织体修改最后，通过放置乐器卡片1105在指定区域1106内，然后选择位于旋律创作区域左侧的6个乐器风格选择按钮1107中的一个，旋律的织体能被改变。例如，重新参照图11，钢琴乐器卡片1105被放置在指定区域。这样，通过按下任何一个选择按钮1107，用户可以继续选择一种不同的钢琴风格。例如，标记1的选择按钮1107将播放大钢琴，标记2的选择按钮1107将播放电子钢琴，选择按钮1107将播放风琴。
[0096] 此外，在没有乐器卡片1105被放置在指定区域1106的情况下；通过按下任何一个选择按钮1107，用户可以选择任何6和弦风格（例如，琶音，滚动的八度，等等）。
