首页 / 专利库 / 人工智能 / 自动音乐标记 / 视觉、听觉、嗅觉的相互转化系统与音乐可视化应用

视觉、听觉、嗅觉的相互转化系统与音乐可视化应用

阅读:569发布:2020-05-20

专利汇可以提供视觉、听觉、嗅觉的相互转化系统与音乐可视化应用专利检索,专利查询,专利分析的服务。并且本 发明 提供一种视觉、听觉、嗅觉的相互转化系统,(1)识别音乐作品中的主旋律 片段 ,并进行标记,生成音乐作品的独有图像,为视觉元素;(2)将独有图像转换成音频,获取 整理 图像中“核心概念音频段落”,为听觉元素;(3)根据图像的主要色彩结构成分,降次列举,并匹配可联想的 味道 ,将独有图像转换成气味,为嗅觉元素;(4)根据参照物在三维空间内的 位置 变化调整听觉、视觉以及嗅觉元素,同时控制播放的音乐片段作与升降单元上下运动相适应的变化,形成3D模型。基于视觉、听觉、嗅觉的相互转化系统的音乐 可视化 应用可以便于企业或平台对音乐作品的识别、管理、推广;便于个人对自有音乐作品的留存、推广、识别、验证。,下面是视觉、听觉、嗅觉的相互转化系统与音乐可视化应用专利的具体信息内容。

1.一种视觉、听觉、嗅觉的相互转化系统,其特征在于:包括以下步骤:
(1)识别音乐作品中的主旋律片段,并进行标记,生成音乐作品的独有图像,为视觉元素;
(2) 将独有图像转换成音频,获取整理图像中“核心概念音频段落”,为听觉元素;
(3) 根据图像的主要色彩结构成分,降次列举,并匹配可联想的味道,将独有图像转换成气味,为嗅觉元素;
(4) 根据参照物在三维空间内的位置变化调整听觉、视觉以及嗅觉元素,同时控制播放的音乐片段作与升降单元上下运动相适应的变化,形成3D模型;
(5) 用3D模型中的色彩、厚度、叠加,体现音乐中的音高、音量、整体听感;通过模型中的固定位置的光源色、来体现音乐的大小调性;音乐的不同乐器的音色均有高中低频,以上中下的位置分别体现在3D模型的所属分层图像中;反向 也成立,从图片中提取色,获取基本色彩对应的音高(音符),从图片整体色彩基调提取音乐的大小调性,通过色彩比例和色彩叠加的分层分析,进行音乐主歌副歌音符与音量的配比,从而获得音乐旋律。
2.如权利要求1所述的视觉、听觉、嗅觉的相互转化系统,其特征在于:所述步骤(2)中的具体过程:
a)将图像进行像素赛克)处理,确认“基本色块结构”;
b)将原图明度高位置,与“基本色块”进行标记;
c)根据色块出现几率,由高至低,进行排列,并匹配音符;
d)获取“核心概念乐段”,可多种音频排列方式,由计算机进行若干条较优选择,也可人工操作。
3.如权利要求1所述的视觉、听觉、嗅觉的相互转化系统,其特征在于:所述步骤(3)中所述可联想的味道提取于相同色彩的自然或非自然的物品,这样可以实现3种感观的相对统一。
4.一种基于视觉、听觉、嗅觉的相互转化系统的音乐可视化应用,其特征在于:可建立音乐作品的2D图案(二维码)数据库,用于预先保存多首具有识别码的音乐;每首音乐是预先由对应的识别码与原始音乐合成而得到;音乐识别模块,用于对音乐片段进行识别以得到独有图像,并产生所述独有图像的验证请求;音乐管理服务器,用于接收所述音乐识别装置产生的验证请求,解析所述验证请求携带的独有图像,获取所述独有图像对应的数据信息,并将所述独有图像对应的数据信息发送至所述音乐识别装置;音乐验证模块,连接于数据库,查询数据库,将携带独有图像的音乐片段与数据库的具有识别码的音乐一一比对,限定12小节旋律一致视为侵权;个人数据库生成模块,将未被限定为侵权的、携带独有图像的音乐片段建立个人数据库;将音乐片段根据音乐人需求直接单曲或批量导入音乐作品,并需备注词曲编录唱等相关信息,即可自动生成该作品的非验证版二维码。
5.如权利要求4所述的基于视觉、听觉、嗅觉的相互转化系统的音乐可视化应用,其特征在于:所述独有图像可采用二维码或图片。
6.如权利要求4所述的基于视觉、听觉、嗅觉的相互转化系统的音乐可视化应用,其特征在于:所述数据库为版权机构或音乐播放运营商的音乐库,提供匹配验证数据来源,每首音乐作品带有验证版二维码;企业或平台内签约音乐著作人的新作品可通过导入,识别音乐作品是否构成曲库中侵权行为,进而修订或直接生成新音乐作品的验证版二维码。
7.如权利要求4所述的基于视觉、听觉、嗅觉的相互转化系统的音乐可视化应用,其特征在于:所述个人数据库生成模块可以通过扫描非验证版二维码进入音乐人的后台进行付费或免费听歌或下载。
8.如权利要求4所述的基于视觉、听觉、嗅觉的相互转化系统的音乐可视化应用,其特征在于:音乐人将上述非验证版二维码的音乐作品导入的版权机构或者音乐平台,获取验证版二维码,均作为可辨别的素材,用于后续注册者音乐作品的辨识,以防被侵权。
9.如权利要求4所述的基于视觉、听觉、嗅觉的相互转化系统的音乐可视化应用,其特征在于:音乐作品可以mp3或wav等格式呈现。

说明书全文

视觉、听觉、嗅觉的相互转化系统与音乐可视化应用

技术领域

[0001] 本发明涉及到艺术作品交互技术领域。涉及一种基于人类联觉现象,发明了视觉、听觉、嗅觉的相互转化系统,进而可将音乐作品进行可视、可嗅、可触多维度描述,并在音乐作品可视化方面发明了交互应用。具体一种视觉、听觉、嗅觉的相互转化系统与音乐可视化应用。

背景技术

[0002] 鉴于现有的音乐作品,可记录、可描述的方式单一,仅能通过记谱的方式,进行音乐版权(音乐内容)的注册和留存,和通过音乐版权运营商或个人,进行实体唱片播放、电子版音频播放器的方式被描述(被听取)。
[0003] 目前已知的音乐作品和图像交互形式,基本是以显示器的随机图像变化来进行非对应的模拟视觉效果,例如windows media player中的播放器屏幕中的自动图形屏保,仅对于音乐的某些局部特征(如音量、速度)进行图像模拟,并未对于音乐作品进行相对完整的转化与表达,且交互方式单一,无法满足人们越来越高的欣赏需求。
[0004] 联觉现象,在心理学上,是人类各种感觉(视觉、听觉、嗅觉、味觉、触觉)之间产生相互作用的心理现象,即对一种感官的刺激作用触发另一种感觉的现象。
[0005] 现有技术中,根据人类可听范围内的音域,进行音乐作品中人声或主旋律部分(即《音乐作品著作权》被保护的部分)的音符排列关系识别,生成该音乐作品独有的2D图像(二维码)或3D模型,并通过2D图像(二维码)读取,从而了解音乐作品以及相关联的必要信息,如:作品名称、相关创作者的信息,并在版权允许范畴内进行音乐作品直接试听、付费、下载,或进行跳转平台试听、付费、下载。但存在转化系统普及期间的阶段性客观缺点,需要根据应用客户(企业或个人)的基数大小,来实现不同阶段的功能,如自动识别音乐作品是否侵权,以及自动跳转播放平台等。
[0006] 现有技术的理论,基于色彩与声音的物理概念的对应性与精神学科领域的“联觉”现象,获得相对客观的数据对应以及相互转化方法:1)以人类听可识别的琴88个频率区间,按照1个八度12个音做等距处理,以每一个音符的音高作为一个单位标记;
2)以人类视觉可见光的光谱波长的频率区间,进行色相分区,以每一个色相的RGB值作为一个单位标记;
3)以人类嗅觉中普遍的联觉现象气味为一个单位标记;
4)三者匹配后,获得可以相互转化描述的对应表达办法:
钢琴小字一组音符:C、#C、D、bE、E、F、#F、G、bA、A、bB、B
分别对应的色相:红、红橙、橙、橙黄、黄、黄绿、绿、蓝绿、蓝、靛蓝、靛紫、紫分别对应的气味:玫瑰、芒果、橙、向日葵、香蕉、杏、草、芦荟、兰花、鸢尾花、薰衣草、紫罗兰。

发明内容

[0007] 本发明提供了一个相互转化系统,以人类的可辨别色相(RGB值)、可辨别声音频率(乐音)、可联觉的普遍嗅觉(果、花卉),为恒定数据,对图像(视觉)、音乐(听觉)、味道(嗅觉),进行相互转化,可多维度的对音乐作品进行识别与描述,获取2D、3D、4D的可视乃至可嗅、可触的音乐描述方法,还可以借此对音乐作品进行更多维度的二度欣赏与创作,让音乐作品具有相对统一的,富含艺术张力的空间展现和沉浸式“联觉”感受。
[0008] 为了达到上述目的,本发明技术方案如下:一种视觉、听觉、嗅觉的相互转化系统,包括以下步骤:
(1)识别音乐作品中的主旋律片段,并进行标记,生成音乐作品的独有图像,为视觉元素;
(2)将独有图像转换成音频,获取整理图像中“核心概念音频段落”,为听觉元素;
(3)根据图像的主要色彩结构成分,降次列举,并匹配可联想的味道,将独有图像转换成气味,为嗅觉元素;
(4)根据参照物在三维空间内的位置变化调整听觉、视觉以及嗅觉元素,同时控制播放的音乐片段作与升降单元上下运动相适应的变化,形成3D模型;
(5)用3D模型中的色彩、厚度、叠加,体现音乐中的音高、音量、整体听感;通过模型中的固定位置的光源色、来体现音乐的大小调性;音乐的不同乐器的音色均有高中低频,以上中下的位置分别体现在3D模型的所属分层图像中;反向 也成立,从图片中提取色,获取基本色彩对应的音高(音符),从图片整体色彩基调提取音乐的大小调性,通过色彩比例和色彩叠加的分层分析,进行音乐主歌副歌音符与音量的配比,从而获得音乐旋律。
[0009] 进一步地,步骤(2)中的具体过程:a)将图像进行像素赛克)处理,确认“基本色块结构”;
b)将原图明度高位置,与“基本色块”进行标记;
c)根据色块出现几率,由高至低,进行排列,并匹配音符;
d)获取“核心概念乐段”,可多种音频排列方式,由计算机进行若干条较优选择,也可人工操作。
[0010] 进一步地,步骤(3)中所述可联想的味道提取于相同色彩的自然或非自然的物品,这样可以实现3种感观的相对统一。
[0011] 本发明另一目的在于一种基于视觉、听觉、嗅觉的相互转化系统的音乐可视化应用,可建立音乐作品的2D图案(二维码)数据库,用于预先保存多首具有识别码的音乐;每首音乐是预先由对应的识别码与原始音乐合成而得到;音乐识别模块,用于对音乐片段进行识别以得到独有图像,并产生所述独有图像的验证请求
音乐管理服务器,用于接收所述音乐识别装置产生的验证请求,解析所述验证请求携带的独有图像,获取所述独有图像对应的数据信息,并将所述独有图像对应的数据信息发送至所述音乐识别装置;
音乐验证模块,连接于数据库,查询数据库,将携带独有图像的音乐片段与数据库的具有识别码的音乐一一比对,限定12小节旋律一致视为侵权;
个人数据库生成模块,将未被限定为侵权的、携带独有图像的音乐片段建立个人数据库;将音乐片段根据音乐人需求直接单曲或批量导入音乐作品,并需备注词曲编录唱等相关信息,即可自动生成该作品的非验证版二维码。
[0012] 进一步地,所述独有图像可采用二维码或图片。
[0013] 进一步地,所述数据库为版权机构或音乐播放运营商的音乐库,提供匹配验证数据来源,每首音乐作品带有验证版二维码;企业或平台内签约音乐著作人的新作品可通过导入,识别音乐作品是否构成曲库中侵权行为,进而修订或直接生成新音乐作品的验证版二维码。
[0014] 进一步地,所述个人数据库生成模块可以通过扫描非验证版二维码进入音乐人的后台进行付费或免费听歌或下载。
[0015] 进一步地,音乐人将上述非验证版二维码的音乐作品导入的版权机构或者音乐平台,获取验证版二维码,均作为可辨别的素材,用于后续注册者音乐作品的辨识,以防被侵权。
[0016] 进一步地,音乐作品可以mp3或wav等格式呈现。
[0017] 有益效果:1、本发明中提供的音乐作品可视化方法,便于企业或平台对音乐作品的识别、管理、推广;便于个人对自有音乐作品的留存、推广、识别、验证;
2、本发明中的视觉、听觉、嗅觉相互转化系统,有利于人类对主观艺术作品的相对客观的对比分析与探索,同时,可通过线下展览的方式,让原本单一维度的艺术作品获得更多维度、更加完整的艺术沉浸式体验。
附图说明
[0018] 图1为本发明的简化版2D图案(二维码应用)。
[0019] 图2为本发明的简化版3D模型主视图。
[0020] 图3为本发明的完整版3D模型主视图。
[0021] 图4为本发明的完整版3D模型的侧45度视图。
[0022] 图5为本发明的色彩与声音的物理关系示意图。
[0023] 图6为本发明的2D图像转化为音频示意图。

具体实施方式

[0024] 以下参照具体的实施例来说明本发明。本领域技术人员能够理解,这些实施例仅用于说明本发明,其不以任何方式限制本发明的范围。
[0025] 本专利申请中的特别解释:1.包含但不限于等同于案例转化办法的任何一种色彩标准(本实施例数据以PARTONE国际色彩系统的R\G\B值为标准)、音频标准、嗅觉源标准,例如:
A、黑白色图像,可根据明度制定标准。
[0026] B、RAP音乐类型或人声朗诵音频不可识别音符部分,可根据人声音值进行转化处理
[0027] C、自然音中,超出人识别部分,频率的由高至低,进行色彩由明至暗的依次匹配。
[0028] D、自然气味、人工气味。
[0029] 如图5所示,以PARTONE国际色彩系统的R\G\B值为标准举例;以中央C小字一组为中心,以音符的高低&色彩明暗“正比”匹配;根据R\G\B\值与音符的匹配计算,实现图像-音频,音频-图像 的双向转换。
[0030] 2. 通过专利中的转化系统,由人工作业进行的图像、音频、气味(香薰)的创作,同样受到专利保护。
[0031] 3. 以专利中的转化系统为基准,所进行的计算机学习的加强或者迭代,同样受保护。
[0032] 实施例1音乐作品的2D图案转化方案,分为转化为简化版2D图案和转化为完整版2D图案:
1)转化为简化版2D图案方案,如图1所示,该方案主要应用于音乐作品版权方向的二维图案转化与识别:
(a)识别音乐作品中人声或主旋律部分(topline);
(b)以一个正方形为“外边框”(正方形边长可根据需求进行更改);
(c)对音乐作品的总小节数进行统计,在“外边框”内进行合理的矩阵排列(以8小节的倍数为一行进行排列),每小节内每一拍(音值)为一个“单位矩形”(3/4拍每小节3个矩形,
4/4 拍每小节4个矩形,6/8拍每小节6个矩形);
(d)以每个音符的音值长短,决定该音符在“单位矩形”中所占的比例(每个音符所对应的矩形长度相等,仅对宽度进行比例计算),获取“音符矩形”;
(f)根据转化系统数据,每一个“音符矩形”填充对应色相;
(g)生成该音乐作品的主旋律(版权保护部分)2D图案。
[0033] 2)转化为完整版2D图案方案,该方案主要应用于音乐作品的艺术分析、创作、欣赏:(a)识别音乐作品中所有配器的声音(人声topline、鼓drum、贝斯bass、吉他guitar、弦乐string、钢琴piano……);
(b)对每一种配器进行方案1)的操作流程;
(c)获取每一种配器的图案,并根据音量的比例,进行对应的透明度处理(音量与透明度成正比),透明度总和为100%;
(d)进行图片叠加处理,除人声topline在最表层(最上层)之外,其他配器以频率由高至低的顺序,由表层(最上层)至下层放置;
(f)生成该音乐作品的完整2D图案。
[0034] 实施例2音乐作品的3D模型转化方案,分为转化为简化版3D图案和转化为完整版3D图案:
1)转化为简化版3D模型方案,如图2所示,该方案主要应用于音乐作品版权方向的配套周边产品(含模型触觉);
(a)根据简化版2D方案流程,获取简化版2D图案;
(b)识别音乐作品中人声或主旋律部分(topline)的音量比例关系;
(c)以音量比例关系,将每个“音符矩形”拉伸为“音符立方形”,“音符立方形”的最大高度(最大音量)小于等于1/3“外边框”的边长(具体高度可根据应用需求进行调整);
(d)生成该音乐作品的主旋律(版权保护部分)3D模型。
[0035] 2)转化为完整版3D模型方案,如图3和图4所示,该方案主要应用于音乐作品的艺术分析、创作、展览(含模型触觉)、收藏:(a)根据完整版2D方案流程,获取音乐作品中全部声音的2D图案图层,顺序一致;
(b)根据简化版3D模型方案流程,获取每个2D图层的3D模型,各分层的最大高度的总和不超过“外边框”边长(高度总和,可根据需求进行调整),且各层3D模型之间没有交集关系;
(c)除人声或主旋律(topline)之外,其他的配器(音色)层的每列“音符立方体”,均根据该配器(音色)的高、中、低频属性,对应前视图中“音符立方体”的上、中、下区域适应缩短长度;
(d)生成该音乐作品的完整3D模型。
[0036] 实施例3音乐作品的4D体验模型转化方案,该方案主要应用于音乐作品的实体周边产品或音乐作品展览(含模型触觉):
(1)基于2D图案或3D模型中的色彩比例,进行系统中12种嗅觉源(萃取液)的相应比例;
(2)根据比例,进行嗅觉源(萃取液)的混合;
(3)获取该音乐作品的嗅觉源(液体、固体香氛)。
[0037] 实施例42D图像的可听转化方案,如图6所示,该方案主要应用于美术作品多维分析,或音乐创作(在不同环境中,可通过提取照片,进行该环境中可能产生的音乐创作素材):
(1)获取2D图像(包含2D图案,或任何形式的模型或场景通过平面拍摄所产生的2D图案);
(2)将2D图像进行像素化(马赛克)处理,根据操作者的精细程度需求及转化需求(3/4拍,4/4拍,6/8拍等),进行图案边框内每行的马赛克色块数量安排(例如:3/4拍,每行的色块数量为3的倍数;4/4拍,每行的色块数量为4的倍数;6/8拍,每行的色块数量为6的倍数等);
(3)获取“音符矩形”;
(4)通过系统数据对应,获取2D图像的音符;
(5)通过对音符出现频率多少与相互关系的分析,进行音乐作品定key(音高)、定调性(大小调)、以及多种音符排列方式的调整(二度创作);
(6)获取音乐作品。
[0038] 实施例5嗅觉的可视可听转化方案:
(1)获取一种混合香氛;
(2)根据香氛的成分的实体颜色与比例,进行色相与面积的获取;
(3)通过系统数据对比,获取对应的音符,与音符的音值;
(4)进行对已知的音符与音值,进行合理排列(二度创作),获取音乐作品;
(5)根据音乐作品,生成2D图案或3D模型。
[0039] 实施例6一种基于视觉、听觉、嗅觉相互转化的音乐可视转化器,包括:数据库,用于预先保存多首具有识别码的音乐;每首音乐是预先由对应的识别码与原始音乐合成而得到;音乐识别模块,用于对音乐片段进行识别以得到独有图像,并产生所述独有图像的验证请求;音乐管理服务器,用于接收所述音乐识别装置产生的验证请求,解析所述验证请求携带的独有图像,获取所述独有图像对应的数据信息,并将所述独有图像对应的数据信息发送至所述音乐识别装置;音乐验证模块,连接于数据库,查询数据库,将携带独有图像的音乐片段与数据库的具有识别码的音乐一一比对,限定12小节旋律一致视为侵权;个人数据库生成模块,将未被限定为侵权的、携带独有图像的音乐片段建立个人数据库;将音乐片段根据音乐人需求直接单曲或批量导入音乐作品,并需备注词曲编录唱等相关信息,即可自动生成该作品的非验证版二维码。
[0040] 在一个实施例中,独有图像可采用二维码或图片;数据库为版权机构或音乐播放运营商的音乐库,提供匹配验证数据来源,每首音乐作品带有验证版二维码;企业或平台内签约音乐著作人的新作品可通过导入,识别音乐作品是否构成曲库中侵权行为,进而修订或直接生成新音乐作品的验证版二维码。
[0041] 在一个实施例中,个人数据库生成模块可以通过扫描非验证版二维码进入音乐人的后台进行付费或免费听歌或下载;音乐人将上述非验证版二维码的音乐作品导入的版权机构或者音乐平台,获取验证版二维码,均作为可辨别的素材,用于后续注册者音乐作品的辨识,以防被侵权;音乐作品可以mp3或wav等格式呈现。
[0042] 尽管已经示出和描述了本发明的技术方案,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈