把感官数据转换成触觉效果的系统及方法
阅读：253发布：2020-06-18
专利汇可以提供把感官数据转换成触觉效果的系统及方法专利检索，专利查询，专利分析的服务。并且本 申请 涉及把感官数据转换成触觉效果的系统及方法。一种系统，包括： 传感器 ；配置为接收由传感器输出的 信号 ，确定传感器的 位置 和描述符，确定视频的场景选择以及基于 选定 场景、传感器输出的信号以及传感器的位置和描述符创建触觉信号的处理器；以及配置为接收触觉信号并基于所述触觉信号生成触觉效果的触觉输出设备。一种系统，包括：传感器；配置为从传感器接收信号、确定与传感器关联的事件类型和行为并且基于来自传感器的信号以及与传感器关联的事件类型和行为生成触觉信号的处理器；以及配置为基于触觉信号生成触觉效果的触觉输出设备。，下面是把感官数据转换成触觉效果的系统及方法专利的具体信息内容。
1.一种系统，包括：
传感器；
处理器，配置为
接收由传感器输出的信号，
确定传感器的位置和描述符，
确定视频的场景选择，以及
基于选定场景、传感器输出的信号以及传感器的位置和描述符创建触觉信号；以及触觉输出设备，配置为接收触觉信号并基于所述触觉信号生成触觉效果。
2.如权利要求1所述的系统，其中所述处理器还配置为确定期望的触觉效果并且基于选定场景、传感器输出的信号、传感器的位置和描述符以及期望的触觉效果创建触觉信号。
3.如权利要求1所述的系统，其中所述传感器选自包括加速计、陀螺仪、惯性测量单元和接触传感器的组。
4.如权利要求1所述的系统，还包括配置为允许系统的用户指示传感器的位置和/或描述符的用户输入设备。
5.如权利要求1所述的系统，还包括配置为允许系统的用户选择场景的用户输入设备。
6.如权利要求1所述的系统，还包括配置为允许系统的用户选择期望的触觉效果的用户输入设备。
7.如权利要求1所述的系统，其中所述处理器还配置为同步选定场景的视频与触觉信号。
8.如权利要求7所述的系统，还包括配置为显示与由触觉输出设备生成的触觉效果同步的选定场景的视频的显示器。
9.如权利要求1所述的系统，还包括多个传感器，其中所述处理器配置为：
接收由所述多个传感器输出的信号，
确定所述多个传感器的位置和描述符，以及
基于选定场景、所述多个传感器输出的信号以及所述多个传感器的位置和描述符创建触觉信号。
10.一种方法，包括：
从传感器接收传感器数据；
确定传感器的位置和描述符；
确定视频的场景选择；以及
基于选定场景、传感器数据以及传感器的位置和描述符创建触觉信号。
11.如权利要求10所述的方法，还包括同步视频的选定场景与触觉信号。
12.如权利要求10所述的方法，还包括：
从多个传感器接收传感器数据；
确定所述多个传感器的位置和描述符；以及
基于选定场景、传感器数据以及所述多个传感器的位置和描述符创建触觉信号。
13.一种系统，包括：
传感器；
处理器，配置为从传感器接收信号、确定与所述传感器关联的事件类型和行为、并且基于来自传感器的信号以及与所述传感器关联的事件类型和行为生成触觉信号；以及触觉输出设备，配置为基于触觉信号生成触觉效果。
14.如权利要求13所述的系统，其中所述传感器选自包括加速计、陀螺仪、惯性测量单元和接触传感器的组。
15.如权利要求13所述的系统，其中所述事件类型选自包括碰撞事件、摆动事件、加速度事件、旋转事件、着陆事件和纹理接触事件的组。
16.如权利要求13所述的系统，其中所述行为选自包括自行车运动、摩托车越野赛、滑雪板运动和滑雪的组。
17.如权利要求13所述的系统，其中所述处理器还配置为同步事件的视频与触觉信号。
18.如权利要求17所述的系统，还包括配置为显示与由触觉输出设备生成的触觉效果同步的事件的视频的显示器。
19.如权利要求13所述的系统，还包括配置为向所述处理器提供输入的用户输入设备，以便选择要由触觉输出设备输出的触觉效果，其中所述触觉效果选自包括碰撞效果、摆动效果、纹理效果、空中时间效果、加速度包络和旋转包络的组。
20.一种方法，包括：
接收由传感器输出的传感器数据；
选择与传感器数据关联的事件类型和行为；以及
基于所述传感器数据、事件类型和行为生成触觉信号。
21.如权利要求20所述的方法，其中接收由传感器输出的传感器数据包括接收由多个传感器输出的传感器数据。
22.如权利要求20所述的方法，还包括同步事件的视频与触觉信号。
把感官数据转换成触觉效果的系统及方法
[0001] 对相关申请的交叉引用
技术领域
[0003] 本发明涉及把感官数据转换成触觉效果的系统及方法，诸如在运动媒体和用户生成的内容媒体中。
背景技术
[0004] 在视频剪辑中适当的时间添加引人注目的触觉效果可以改善用户的观看体验并且使体验更身临其境。这可以通过手动创作触觉效果并且在时间线中添加该触觉效果来实现。但是，手动创作触觉效果对于没经验的用户来说是耗时的，并且即使用户愿意花足够多的时间创建相关的效果，他们也有可能不具有有经验的触觉效果作者所具有的艺术感，这会导致毁坏体验的不良效果。
发明内容
[0006] 根据本发明的一方面，提供了一种系统，包括：传感器；配置为接收由传感器输出的信号，确定传感器的位置和描述符，确定视频的场景选择，并且基于选定场景、传感器输出的信号以及传感器的位置和描述符创建触觉信号的处理器；以及配置为接收触觉信号并基于触觉信号生成触觉效果的触觉输出设备。
[0007] 在实施例中，所述处理器还配置为确定期望的触觉效果并且基于选定场景、传感器输出的信号、传感器的位置和描述符以及期望的触觉效果创建触觉信号。
[0009] 在实施例中，所述系统包括配置为允许系统的用户指示传感器的位置和/或描述符的用户输入设备。
[0010] 在实施例中，所述系统包括配置为允许系统的用户选择场景的用户输入设备。
[0011] 在实施例中，所述系统包括配置为允许系统的用户选择期望的触觉效果的用户输入设备。
[0012] 在实施例中，所述处理器配置为同步选定场景的视频与触觉信号。
[0013] 在实施例中，所述系统包括配置为显示与由触觉输出设备生成的触觉效果同步的选定场景的视频的显示器。
[0014] 在实施例中，所述系统包括多个传感器，以及所述处理器配置为接收由所述多个传感器输出的信号、确定所述多个传感器的位置和描述符，并且基于选定场景、所述多个传感器输出的信号以及所述多个传感器的位置和描述符创建触觉信号。
[0015] 根据本发明的一方面，提供了一种方法，包括：从传感器接收传感器数据；确定传感器的位置和描述符；确定视频的场景选择；以及基于选定场景、传感器数据以及传感器的位置和描述符创建触觉信号。
[0016] 在实施例中，所述方法包括同步视频的选定场景与触觉信号。
[0017] 在实施例中，所述方法包括从多个传感器接收传感器数据；确定所述多个传感器的位置和描述符；以及基于选定场景、传感器数据以及所述多个传感器的位置和描述符创建触觉信号。
[0018] 根据本发明的一方面，提供了一种系统，所述系统包括：传感器；配置为从传感器接收信号、确定与所述传感器关联的事件类型和行为、并且基于来自传感器的信号以及与所述传感器关联的事件类型和行为生成触觉信号的处理器；以及配置为基于触觉信号生成触觉效果的触觉输出设备。
[0019] 在实施例中，所述传感器选自包括加速计、陀螺仪、惯性测量单元和接触传感器的组。
[0020] 在实施例中，所述事件类型选自包括碰撞事件、摆动事件、加速度事件、旋转事件、着陆事件和纹理接触事件的组。
[0022] 在实施例中，所述处理器还配置为同步事件的视频与触觉信号。
[0023] 在实施例中，所述系统包括配置为显示与由触觉输出设备生成的触觉效果同步的事件的视频的显示器。
[0024] 在实施例中，所述系统包括配置为向处理器提供输入的用户输入设备，以便选择要由触觉输出设备输出的触觉效果，并且所述触觉效果选自包括碰撞效果、摆动效果、纹理效果、空中时间效果、加速度包络和旋转包络的组。
[0025] 根据本发明的一方面，提供了一种方法，包括：接收由传感器输出的传感器数据；选择与传感器数据关联的事件类型和行为；以及基于所述传感器数据、事件类型和行为生成触觉信号。
[0026] 在实施例中，接收由传感器输出的传感器数据包括接收由多个传感器输出的传感器数据。
[0027] 在实施例中，所述方法包括同步事件的视频与触觉信号。
[0028] 当参考附图考虑以下描述和所附权利要求时，本发明的这些与其它目标、特征和特性，以及操作方法和相关结构元件的功能及部件的组合和制造的经济性，都将变得更加显然，其中附图、以下描述和权利要求都构成本说明书的一部分。但是，应当明确地理解，附图仅仅是为了说明和描述的目的而不是要作为本发明限制的定义。如在说明书和权利要求中所使用的，除非上下文清楚地另外指出，否则单数形式“一”、“一个”和“这个”也包括复数的所指对象。
附图说明
[0029] 说明以下附图的部件是为了强调本公开内容的一般原理而不一定是按比例绘制的。为了一致性和清晰，指示对应部件的标号贯穿所有附图在必要的时候重复。
[0030] 图1是根据本发明实施例的系统的示意性说明；
[0031] 图2是根据本发明实施例的图1系统一部分的示意性说明；以及
[0032] 图3是根据本发明实施例的图1系统一部分的示意性说明。
具体实施方式
[0033] 图1说明了根据本发明实施例的系统100。如所说明的，系统100包括一个或多个传感器102、配置为捕捉和记录图像的视频记录器104以及配置为捕捉和记录声音的音频记录器106，其中传感器102配置为感测对象的运动并且把感测到的运动转换成传感器数据。在实施例中，传感器102、视频记录器104和音频记录器106可以是相同电子设备的部分。在实施例中，视频记录器104和音频记录器106可以是相同电子设备的部分，并且传感器102可以与包括视频记录器104和音频记录器106的电子设备分开。在实施例中，传感器102、视频记录器104和音频记录器106可以是分开的独立设备或者是分开的独立设备的部分。
[0034] 处理器110配置为处理由传感器102、视频记录器104和音频记录器106输出的信号和数据，如以下进一步详细讨论的。系统100还包括输入变换器112、可以是处理器110的部分的输出变换器114，以及也可以是处理器110的部分的解码器116。输入变换器112、输出变换器114和解码器116的各方面在以下更详细地讨论。
[0035] 如图1中所说明的，系统100还包括配置为向系统的用户输出触觉效果的触觉输出设备118、配置为显示诸如由视频记录器104捕捉的图像之类的图像的显示器120、以及配置为输出可以是由音频记录器106捕捉的声音之类的声音的扬声器122。触觉输出设备118、显示器120和扬声器122可以是电子重放设备130的部分，如以下更详细讨论的。在实施例中，例如，触觉输出设备118、显示器120和扬声器122可以是配置为彼此通过无线连接通信的独立设备。在实施例中，触觉输出设备118可以是可佩带设备的部分，显示器120可以是电视的部分，并且扬声器122可以是与显示器120分离的无线扬声器。
[0036] 触觉输出设备118可以包括致动器，例如，诸如其中偏心质块被电动机移动的偏心旋转质块(“ERM”)的电磁致动器，其中附连到弹簧的质块被前后驱动的线性共振致动器(“LRA”)，或者诸如压电材料、电活性聚合物或形状记忆合金的“智能材料”、宏观复合纤维致动器、静电致动器、电触感致动器，和/或提供诸如触觉(例如，振动触感)反馈的物理反馈的其它类型致动器。触觉输出设备118可以包括非机械或者非振动设备，诸如使用静电摩擦(ESF)、超声表面摩擦(USF)的设备，或者利用超声触觉换能器感应出声辐射压力的设备，或者使用触觉衬底和弹性或可变形表面的设备，或者提供突出的触觉输出的设备，诸如利用空气喷嘴的一股空气，等等。
[0037] 电子存储器124可以用来存储由传感器102感测的数据，电子存储器126可以用来存储由视频记录器104记录的数据，而电子存储器128可以用来存储由音频记录器106记录的数据。存储器124、126和128可以包括一个或多个内部固定存储单元、可拆卸存储单元、和/或可远程访问的存储单元。各种存储单元可以包括易失性存储器和非易失性存储器的任意组合。存储单元可以配置为存储信息、数据、指令、软件代码等的任意组合。在其中传感器102、视频记录器104和音频记录器106是相同电子设备的部分的实施例中，存储器124、126、128可以共同定位。在其中视频记录器104和音频记录器106是相同电子设备的部分的实施例中，存储器126、128可以共同定位。
[0038] 在实施例中，用户可以利用视频记录器104和/或音频记录器106记录场景或事件的视频和/或音频。在实施例中，视频记录器104和音频记录器106可以是相同记录设备的部分，诸如视频摄像机、智能电话等等。所记录的视频和音频可以存储在电子存储器126中，如以上所讨论的。在实施例中，传感器102可以放在感兴趣的对象上，诸如视频中所记录的对象。
[0039] 如以上所讨论的，由传感器102生成的数据可以存储在电子存储器124中。此外，由传感器102生成的数据可以在存储在电子存储器124中之前被输入变换器112变换，如图1中所说明的。传感器数据的变换被认为是可选步骤并且是否需要变换可以依赖于所使用的传感器的特性。传感器102的实施例的细节在以下更详细地讨论。
[0040] 可以是配置为重放视频(即，媒体文件)的媒体播放器的部分的解码器116配置为从电子存储器124读取由传感器102生成的数据，并且把该数据暂时与记录并存储在电子存储器126中的音频数据和视频数据关联。在媒体重放期间，解码器116可以把传感器数据传递通过配置为把传感器数据变换为触觉输出信号或触觉感官命令的输出变换器114，其中触觉感官命令包括但不限于振动、表面摩擦调制、皮肤捏合、皮肤挤压等等。解码器116可以配置为同步从传感器数据变换的触觉输出信号与视频数据和音频数据，使得触觉效果在重放期间与视频和音频同步。在实施例中，同步可以通过在重放期间确保时间在视频数据、音频数据和触觉效果中相同来完成。
[0041] 系统100还可以包括与处理器110信号通信并且配置为允许用户把数据输入系统的用户输入设备140。例如，用户可以通过选择与传感器102相关的参数以及触觉效果来输入数据，如以下更详细描述的。用户输入设备140可以包括配置为以菜单或其它类型的列表格式显示参数的显示器。在实施例中，用户输入设备140可以是重放设备130的部分。在实施例中，用户输入设备140可以是视频记录器104的部分。所说明的实施例不是要以任何方式进行限制。
[0042] 处理器110可以是用于管理或控制系统100的操作和功能的通用或专用处理器或微控制器。例如，处理器110可以被具体地设计为专用集成电路(“ASIC”)，以控制到触觉输出设备118的输出信号，来提供触觉效果。处理器110可以配置为基于预定义的因素确定要生成什么触觉效果，生成触觉效果的次序，以及触觉效果的量值、频率、持续时间和/或其它参数。处理器110还可以配置为提供可被用来驱动触觉输出设备118提供特定触觉效果的流化命令。在一些实施例中，处理器110实际上可以包括多个处理器，每个处理器配置为执行系统100中的某些功能。处理器110还可以包括存储器，其中存储器包括可以包括触觉效果简档、如何驱动触觉输出设备118的指令和/或用于生成触觉效果的其它信息的一个或多个存储设备。在其中图1所说明的整个系统100是单个电子设备的部分的实施例中，存储器124、126可以是处理器110的部分。
[0043] 然后，触觉输出信号可以从处理器110，例如，从处理器110的解码器116，发送到触觉输出设备118，使得通过包括触觉输出设备118的电子重放设备130体验媒体的人可以更完全地体验所重放的事件。电子重放设备130可以是任何设备，诸如电子手持式设备，诸如移动电话、游戏设备、个人数字助理(“PDA”)、便携式电子邮件设备、便携式互联网接入设备、计算器、平板电脑等等。电子重放设备130可以包括但不限于，具有显示媒体的显示器120的手持式设备，其中显示器120可以是高清晰显示器，能够产生触觉感觉或效果的手持式对象，或者附连到用户身体、靠在用户身上或者以别的方式能够向用户发送触觉(tactile sensations)和触觉效果的对象。
[0044] 在实施例中，处理器110和触觉输出设备118可以是电子手持式设备的部分，其中电子手持式设备可以是电话或平板电脑，并且电子手持式设备可以配置为向独立的显示器120输出视频数据，其中显示器120可以是电视机。
[0045] 在实施例中，系统100可以包括具有用作传感器102的陀螺仪、指南针和三轴加速计传感器以及用作视频记录器104的内置相机的移动电话。在这种情况下，图1中所说明的所有部件，包括数据记录传感器102、视频记录器104、音频记录器106、包括解码器116和输出变换器114的处理器110、触觉输出设备118、显示器120、扬声器122、输入变换器112和电子存储器124、126、128可以是自包含的，并且整个系统100可以固定到人或者执行感兴趣的行为的装备。
[0046] 在实施例中，第一人称角度的视频照相机可以安装到头盔或者执行感兴趣的行为的装备上，并且视频照相机可以结合多个数据传感器102，诸如加速计、全球定位系统(“GPS”)和陀螺仪，如果需要的话还有输入变换器112，电子存储器124，视频记录器104，音频记录器106、以及电子存储器126。系统100的剩余部分，诸如包括解码器116和输出变换器114的处理器110、触觉输出设备118、显示器120和扬声器122，可以位于单独的重放设备中，诸如以上讨论的电子重放设备130。
[0047] 在实施例中，可以包括一个或多个数据传感器，诸如加速计、GPS等的传感器102可以或者附连到人或者附连到执行感兴趣的行为的装备上。传感器102可以包含在传感器盒子中，或者配置为保护传感器102的某个其它容器中。传感器盒子可以具有内置的数据记录装置，诸如输入变换器112和电子存储器124，或者可以依赖于到辅助设备(诸如移动设备)的数据连接在所述行为期间记录数据。
[0048] 在实施例中，传感器102可以安装在是视频主体的人身上，并且视频记录器104以及可选地音频记录器106可以由另一个人操作。例如，是视频主体的人可以是骑自行车的人，滑雪板的人或滑雪的人，并且至少一个传感器102可以附连到人的衣服或装备上，诸如滑雪板的人的靴子、头盔或滑雪板上。传感器102可以包括配置为提供由滑雪板体验的重力加速度的加速计、配置为提供滑雪板的朝向的陀螺仪传感器、以及配置为提供由滑雪板的人的靴子施加到滑雪板的负荷的接触压力传感器。在实施例中，音频记录器106可以附连到衣服或装备上，诸如滑雪板的人的头盔上，使得可以捕捉滑雪板经过雪的声音。
[0049] 在实施例中，记录会话可以被启动，其中加速度数据、陀螺仪数据和接触压力数据的流连同视频和音频数据一起被记录。例如，视频记录器104和/或音频记录器106可以安装到滑雪板的人的头盔。在实施例中，视频记录器104和/或音频记录器106可以是安装在要执行滑雪板运动行为的滑雪场半管状雪道中各个位置的视频相机阵列。在实施例中，视频记录器104可以是位于滑雪场半管状雪道中各个位置的视频相机阵列并且音频记录器106可以安装到滑雪板的人的衣服或装备的物品上，如上所述。可以使用传感器102、视频记录器104和音频记录器106的位置的其它组合并且可以依赖于所记录的行为，使得最优的触觉/音频/视觉体验可以由电子重放设备130的用户在重放期间实现。所有这些数据流的同步可以由记录软件管理，该记录软件可以驻留在图1中所说明的系统100的处理器110中。
[0050] 在实施例中，可以使用允许在单个文件容器中除视频和音频之外存储其它数据的灵活容器格式，诸如MPEG-4。在这种实施例中，可以需要特定的编码器集合在记录期间把传感器数据放到MPEG-4文件中。在实施例中，可以写特殊的软件，以便在单独的文件中存储非音频和视频(A/V)的传感器数据，但是在传感器数据中具有特殊的标记，以允许在重放时正确同步。在这种实施例中，除整形传感器数据以遵守所设计的记录格式的限制之外，可以需要应用非常少的输入变换。确切的格式可以由实现者确定。一旦滑雪板的人已经完成他或她的行为，记录就可以停止。MPEG-4文件可以被关闭，并且所有传感器数据可以驻留在MPEG-4文件中。
[0051] 在实施例中，重放设备可以是图1的电子重放设备130，并且可以是具有显示器120、扬声器122和作为触觉输出设备118的振动设备以便提供触觉效果的移动电话或平板电脑的形式。在实施例中，重放设备可以是连接到具有显示器120和扬声器122的电视并且还连接到包括触觉输出设备118以便提供触觉效果的游戏外围设备(诸如游戏手柄)的游戏控制台。
[0052] 或者在以后的时间，或者与行为被执行同时，一个或多个观看者会对体验该行为感兴趣。为了重放该行为，观看者可以在他们的重放设备上启动适当的重放软件，其目的是从表演者的视角体验表演者的行为。在实施例中，重放软件可以包括结合由解码器116执行的传感器解码方案的播放器软件应用，以及可以由输出变换器114运行的输出变换软件，以便把传感器数据变换成适于重放设备中的触觉输出设备118的触觉输出信号。在实施例中，播放器软件应用可以结合传感器解码方案。播放器软件可以依赖于驻留在或者以别的方式预先安装在重放设备上的输出变换软件，并且这种输出变换软件可以把传感器数据变换成适于重放设备中的触觉输出设备118的触觉输出信号。换句话说，输出变换器114和/或解码器116可以位于重放设备上。
[0053] 在实施例中，播放器软件应用可以依赖于重放设备的操作系统软件来执行媒体重放，该操作系统软件结合传感器解码方案。操作系统软件可以依赖于驻留在或者以别的方式预先安装在重放设备上的输出变换软件，这种输出变换软件把传感器数据变换成适于重放设备中的触觉输出设备118的触觉输出信号。于是，观看者可以体验与表演观看关联的触觉感觉，这种触觉感觉由输出变换软件产生。
[0054] 在实施例中，输出变换软件可以包括一些传感器数据，而其它传感器数据被忽略。例如，可以包括陀螺仪数据，而接触压力传感器数据可以被忽略。加速度数据的量值可以通过计算X-Y-Z加速度分量的向量量值来计算。然后，这种加速度量值信号可以被带通滤波，使得只有在20-200Hz范围内的加速度量值信号被输出，而其它频率成分被滤掉。然后，过滤后的加速度信号可以经过软拐点压缩算法，以逐步夹住(clip)在+6和-6gees之间的输出量值，然后所有负信号都可以归零/忽略，并且结果产生的压缩的单侧输出信号可以被用来在0-100％振动之间控制由触觉输出设备提供的振动的量值。以这种方式，观看者可以感觉到由表演者的滑雪板感觉到的加速度变化的表示。
[0055] 在实施例中，加速度数据、陀螺仪数据和接触压力传感器数据可以按以下方式组合到触觉输出信号中。在接触压力低的任何时候，可以假设滑雪板的人跳起并且因此所有触觉输出都归零。当接触压力显著时，接触压力可以乘以加速度量值。然后，这个输出可以乘以朝向信号的变化(从陀螺仪信号得出的方位(orientation heading)的第一时间导数)，以获得“行为强度”信号。然后，该信号以这样一种方式被过滤和压缩，以便获得在滑雪板运动行为期间由表演者所体验到的感觉范围的合理表示，并且该信号可以应用到重放设备的触觉输出设备118。
[0056] 在实施例中，在接触压力低的任何时候，可以假设滑雪板的人跳起并且因此所有触觉输出都归零。当接触压力显著时，加速度量值可以在100-200Hz的范围内被带通滤波，并且其输出范围可以利用硬拐点压缩器高度压缩。这个信号可以应用到重放设备的触觉输出设备118。于是，持有或者以别的方式与触觉输出设备118接触的观看者可以感觉到由输出变换器114产生以及由触觉输出设备118输出的感觉。
[0057] 根据本发明的实施例，多个传感器102可以用作上述系统100的部分。传感器102可以是可附连到所记录的事件的主体的独立传感器，诸如加速计、陀螺仪、惯性测量单元(“IMU”)、接触传感器等等。例如，传感器102可以附连到主体运动员或用户的身体或衣着上，诸如头盔、带子、鞋子、靴子等等，或者附连到他/她的运动装备上，诸如自行车、滑雪板、滑雪橇等等。传感器102可以嵌入在他/她的车程或运动中由用户携带的其它可佩带装备中，诸如智能电话、运动相机、智能手表等等。
[0058] 图2是本发明实现的示意性说明。第一传感器210可以附连到例如骑自行车的人的头盔上，第二传感器220可以附连到例如支撑自行车前轮的前叉上，第三传感器230可以附连到例如自行车的主框架上，而第四传感器240可以附连到例如支撑自行车后轮的后叉上。由传感器210、220、230、240捕捉的数据可以存储或记录在设备或传感器上，或者实时地流化(例如无线地)到远程数据库250，其中数据库250可以是上述处理器110的部分。从固定在环境中的不同音频记录器106捕捉的音轨也可以被认为是可以用来创建触觉的感官数据。所生成的触觉轨迹260可以嵌入到视频中或者存储在要在视频重放时被流化的远程服务器上。由触觉输出设备118生成的触觉效果也可以利用流化的数据以实时的方式创建。
[0059] 在实施例中，用户可以按将捕捉最相关数据的方式把不同的传感器102固定到他/她的衣着和装备上。传感器的位置配置可以遵循根据本发明实施例的指南，或者在另一实施例中，可以适合用户的偏好(对于更有经验的用户)。指南是基于哪个传感器最适合哪种情况。例如，如果滑雪板的人希望捕捉雪的纹理并且把雪的纹理作为效果添加到她/她的电影，则指南将告诉滑雪板的人把加速计固定到他/她的滑雪板。
[0060] 为了同步所有数据通道与包括音轨和视频轨迹的媒体轨迹，以在所有传感器及视频和音频记录器的读数中都识别签名运动的方式，用户可能必需执行特定的签名运动，诸如三次连续跳跃。对于具有内部时钟的传感器，通过把传感器的所有内部时钟都同步到相同的定时，数据同步也是可能的。在获取传感器数据与媒体内容之后，触觉轨迹创建过程可以根据以下所述本发明的实施例开始。
[0061] 在实施例中，用户可以经用户输入设备140指定行为的类型，诸如骑自行车、摩托车越野赛、滑雪板运动、滑雪等等，然后识别所使用的每个传感器位置，诸如脚踝、自行车叉等等，每个传感器类型，诸如IMU、加速计、音频等等，以及采样速率，诸如200Hz。在实施例中，传感器的位置和类型也可以由用户从菜单或预设值列表选择，其中菜单或预设值列表是利用系统的传感器配置一般指南建立并经用户输入设备140呈现给用户的。在实施例中，当传感器连接到系统100时，传感器的类型和采样速率也可以由系统100自动识别，这可以通过读取嵌在传感器(即，“智能传感器”)上的包含所有重要描述符的特定首部来进行。然后，系统100可以通过数字给每个传感器加标签并且自动地给它获取的数据加标签。系统100还可以经用户输入设备140显示装备或衣着的可视原型，连同传感器定位的覆盖图以及传感器的不同轴通道的说明。
[0062] 对于可以由用户经用户输入设备140选择的特定场景，用户可以经用户输入设备140选择触觉效果的特定类型。为此，用户可以指定他/她认为将传达与场景最相关数据的传感器位置，并且还指定场景开始和结束的定时。通过具有选定的传感器描述符(类型和位置)，系统100可以建议可以从数据自动生成的不同的可能触觉效果(例如，纹理、碰撞、信号包络等等)。系统100还可以在给定预设模式时建议一种特定效果。对于一些特定效果，用户可能需要从传感器选择特定的数据通道(例如，在三维加速计的情况下，特定轴上的加速度)，如以下更详细描述的。
[0063] 例如，在“骑自行车”行为中，如果用户选择在传感器表中被描述为加速计的传感器“叉子”，则系统可以经用户输入设备140建议“碰撞效果”、“包络效果”和“纹理效果”。如果用户挑选“碰撞效果”，则系统100将询问用户在得出触觉轨迹260时要使用哪个轴加速度数据(例如，X轴)。如果期望“纹理效果”，则系统100将使用可用的三个加速度通道，而不询问用户附加的输入。行为、传感器的位置和类型以及可能效果之间的关联可以在系统100的处理器110中利用专家知识预先编程。在实施例中，在场景中要使用的传感器的选择可以通过分析与场景相关的所有数据并选择给出最大行为/熵的通道来自动进行。
[0064] 给定用于场景的选定效果的类型，系统100可能需要使用比来自单个传感器的更多的信息，以便创建更引人注目的触觉效果。例如，当处理陀螺仪数据以创建旋转效果时，系统100还可以使用从与陀螺仪相同位置捕捉的加速度数据，如果这种数据可用的话。然后，所创建的效果将反映对象或运动员的旋转是否在空中完成，这将具有不太强的效果。
[0065] 在建立要利用期望的传感器信息触觉化的所有场景的列表之后，系统100可以从数据库250检索相关的感官数据并且对每种类型的效果应用以下更详细描述的特定算法，这将导致每种场景的触觉效果信号。在为不同场景创建触觉效果之后，系统100在一条轨迹上串联相似类型的效果，然后通过把它划分到其最大值来对其归一化。
[0066] 然后，不同的效果轨迹可以相加，以构成最终的触觉轨迹260。每条效果轨迹也可以带给定权重(例如，0至1)地相加，以反映由用户给予每种效果类型的重要性。例如，如果用户想提升碰撞效果并且使纹理效果更微妙，则用户可以给予与碰撞效果关联的第一轨迹0.8的权重并且给予与纹理效果关联的第二轨迹0.5的权重。
[0067] 在实施例中，系统100可以基于传感器的类型和位置为每个传感器创建所有可能的触觉轨迹并且为整个剪辑持续时间创建轨迹。例如，对于加速计，系统可以为“纹理效果”创建轨迹，为“包络效果”创建另一条轨迹，并且为“碰撞效果”按每个轴创建一条轨迹。
[0068] 在实施例中，可以在视频编辑软件框架(诸如ProTools)中向用户呈现不同创建的触觉轨迹，并且可以具有编辑和剪切每条轨迹以便为剪辑创建最终触觉轨迹的选择。用户还可以在混合之前调整和微调不同的轨迹，就像在音频编辑中所进行的。在实施例中，系统100可以分析所创建的触觉轨迹并且在给定某个时间每条轨迹中信息/熵的数量时把每条轨迹指定给视频的一部分。
[0069] 为了为特定的行为，诸如骑自行车、摩托车越野赛、滑雪板运动和滑雪等等，创建相关的触觉效果，期望为每种类型的传感器并为每种类型的期望触觉效果开发不同的算法，这些将给予用户为每个场景/剪辑选择他/她发现更引人注目的触觉效果类型的更大灵活性。效果可以与场景/剪辑中的特定事件(击中、翻转等等)关联。给定行为的类型，传感器信号中事件的识别可以不同。例如，自行车击中地面在三维加速度信号中创建与由滑雪板击中雪所创建的签名事件不同的签名事件。
[0070] 图3说明了由本发明实施例提供的用来适应不同情形的多个算法，如下所述。算法可以在处理器(诸如上述系统100的处理器110)中的一个或多个模块中编程。通过使用上述方法，本文所述的算法还可以在其中多于一个传感器被使用的情形中使用。提供以下实施例作为用于不同使用情况的不同算法的例子，而不应当认为是以任何方式进行限制。
[0071] 对于可以被位于感兴趣的对象(诸如自行车)上的加速计(或多个加速计)310感测的三维加速度，不同类型事件和效果可以被区分和触觉化。例如，由感兴趣的对象体验的碰撞事件、加速度包络、摆动事件和/或纹理效果可以在由加速计310输出的数据信号中被识别，并且对应的算法可以应用到数据信号，以生成输出到触觉输出设备118的对应于所述事件的触觉信号，如下所述。
[0072] 例如，当自行车在被操纵之后以大力量接触地面或者滑雪板在跳跃之后以大力量接触雪时，“碰撞”事件发生。在自行车(或摩托车越野赛)情况下，这种事件的特征在于由附连到自行车的加速计感测的垂直加速度信号中的强峰值(尖峰)。碰撞还可以来自两个其它轴当中任何一个的突然加速度变化。在滑雪板(或滑雪)的情况下，碰撞事件可以通过垂直和中部侧向(Medio-Lateral，ML)加速度信号二者当中的尖峰以及前后(Anterior-Posterior，AP)轴上的低加速度信号来识别。两个碰撞效果算法312可以被用来考虑这种情况。
[0073] 第一种算法，或者所谓的“简单碰撞”算法，适用于自行车行为、摩托车越野赛行为或者其中碰撞可以从单个轴的加速度识别的任何行为，即，当信号的绝对值大于预设的阈值例如5g时。第一种算法只使用一个轴的加速度信号并且用户指定在触觉化当中他/她感兴趣的轴。预设的值适于行为的类型并且适于感兴趣的对象的衣着/装备上加速计的位置，以便结合可能的信号衰减。
[0074] 第二种算法，或者所谓的“三轴碰撞”算法，为了识别碰撞而使用三个轴的加速度信号。第二种算法通过估计两个轴的结果加速度值开始。在这种估计的结果加速度值高于预设阈值并且第三个轴加速度低于其自己的预设阈值的任何时候，碰撞被定位(spotted)，其中阈值是依赖于行为的。第二种算法更适于诸如滑雪或滑雪板运动的行为。
[0075] 一旦检测到碰撞事件，第一和第二碰撞效果算法312就在触觉轨迹360中与事件相同的定时放置短(例如，60ms)但完全量值的效果。
[0076] 加速度包络算法314可以被用来触觉化不同类型的事件，诸如引擎噪声、由自行车体验的小碰撞，等等。加速度包络算法314使用来自传感器310的单个轴的加速度信号或者三个轴的信号的任意组合，并且通过利用均方根(rms)、中间值或最大值为相继的窗口计算加速度包络而从信号得出触觉效果。对于这种算法，用户可以经上述用户输入设备140指定他/她想考虑三个轴当中哪个轴。包络将只在信号大于预设阈值(每种行为的噪声阈值)并且小于上述“碰撞”阈值的时候计算。
[0077] 当滑雪的人或者滑雪板的人在中部侧向轴上快速漂移时，摆动事件在例如滑雪和滑雪板运动行为中发生。当中部侧向轴上的加速度高于特定的阈值时，摆动事件可以被识别。摆动效果算法316检测从传感器310输出的信号中的事件并且计算在该事件周围(例如，1s)的加速度包络，如上所述，然后使用该包络生成对应的触觉效果。
[0078] 沿着尽可能接近表面目标捕捉的三个轴，纹理效果算法318可以被用来利用加速度渲染纹理效果。例如，对于雪的纹理触觉效果利用滑雪板或滑雪橇本身的加速度更好地得出。对于自行车，利用来自自行车的叉子的加速度(未衰减的加速度信号)得出地面纹理通常更好。三个加速度信号可以利用快速傅立叶变换(“FFT”)从时间域变换到频率域并且在那个域中作为向量相加以形成单个信号。然后，结果信号可以传送回时间域，如本领域中已知的。因此，变换的细节在本文中不提供。纹理效果是通过计算结果信号的包络生成的，如以上关于加速度包络所描述的。
[0079] 对于形式为三维陀螺仪320的传感器，旋转包络算法322可以被用来触觉化不同类型的事件，诸如自行车的把手旋转、滑雪板的360°空翻、滑雪板的突然转弯/停止等。旋转包络算法322使用单个轴的旋转速度信号并且通过为相继窗口利用均方根(rms)、中间值或最大值计算信号包络从这单个轴的旋转速度信号得出触觉效果。对于这种算法，用户可以指定他/她想考虑三个轴当中哪个轴。包络将只在信号大于预设阈值(每种行为的噪声阈值)的时候计算。在转向轮或把手旋转情况下，较低的阈值将允许消除较慢的非事件旋转，而较高的阈值暗示只触觉化可以与“感兴趣事件”关联的突发快速运动。
[0080] 通过在运动员的鞋子下面或其中、在滑雪板的下面或者在自行车座位上嵌入接触传感器，可以检测诸如当运动员在空中跳跃和当运动员再次着陆时的事件(例如，对于跑酷、滑雪板运动、摩托车越野赛等等)。然后，特征在于接触传感器输出信号中的尖峰的着陆事件可以通过添加短的强效果，诸如大约50ms，来触觉化。检测运动员的空中时间会影响微调从其它传感器得出的其它效果的强度。例如，当运动员在空中时，旋转包络将不太强烈。
[0081] 上述本发明的实施例提供了帮助用户为他/她捕捉到的媒体片段自动得出触觉效果的方法。虽然上述例子一般而言集中在其中一个或多个传感器捕捉与媒体片段中动作相关的数据的运动媒体，但是本发明的实施例没有这样的限制。上述系统允许在没有来自用户的干预或者很少干预的情况下处理所有传感器数据，并且交付增强媒体内容并因此增强观看体验的相关触觉轨迹。
[0082] 上述本发明的实施例还提供了关于如何以最优方式使用不同传感器以及如何在某个时间从不同传感器的组合创建触觉效果的解决办法。虽然不同传感器的使用提供了创建引人注目的触觉的更好机会，但是用户可以感觉到被可用数据的数量淹没并且可能会关于如何同时使用这些数据感到困惑，例如，在得出触觉时，在什么时候使用什么传感器和应用什么算法。当运动员或装备配备不同的传感器并且在所捕捉的数据和触觉转换算法之间提供链接时，本发明的实施例提供了传感器到触觉的工作流，并且因此优化了从多个传感器数据为用户生成的内容创建触觉的过程。通过在必要的时候使用指南和建议并且还常常融合来自不同传感器的信息以便优化触觉效果创建，本发明的实施例指导用户通过这个过程。
[0083] 本发明的实施例提供了用于以容易的方式利用传感器数据创建不同触觉效果的修改算法，这使得用户的任务更容易。为了推断触觉效果，本发明的实施例允许用户使用描述动作的数据，这允许用户确信所创建的触觉轨迹与实际的动作相关。上述不同算法允许用户容易地创建不同类型的效果，然后挑选他/她更喜欢的效果。
[0084] 本文所述的实施例代表多种可能的实现和例子并且不一定把本公开内容限制到任何特定的实施例。相反，如本领域普通技术人员将理解的，可以对这些实施例进行各种修改。任何这些修改都要包括在本公开内容的精神和范围内并且受以下权利要求的保护。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 越野滑雪或旋转滑雪的滑雪板固定器 | 2020-06-09 | 264 |
| 滑雪板缚靴器 | 2020-05-17 | 716 |
| 用于将足穿鞋固定到一运动装备件上的改进装置 | 2020-06-08 | 387 |
| 滑雪板缚靴器 | 2020-05-16 | 729 |
| 查那 | 2020-05-18 | 871 |
| 把感官数据转换成触觉效果的系统及方法 | 2020-06-20 | 337 |
| 新型杂化材料和相关的方法和设备 | 2020-06-21 | 306 |
| 用于滑雪板固定器的移动机构 | 2020-06-12 | 667 |
| 一种用于滑雪板的防滑装置 | 2020-06-11 | 472 |
| 雪地与公路两用越野自行车 | 2020-06-16 | 78 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
越野用滑雪板热门专利
QQ群二维码
意见反馈
意见反馈