直观触觉设计
阅读：748发布：2020-05-13
专利汇可以提供直观触觉设计专利检索，专利查询，专利分析的服务。并且本公开涉及直观触觉设计。从视频设计触觉包括在视频回放期间实时 跟踪 音频/视觉(A/V)元素，以及基于对A/V元素的跟踪将A/V元素的触觉效果实时分配给 时间线 上A/V元素的不同 位置 ，以生成分配的触觉效果位置。基于时间线上A/V元素的分配的触觉效果位置来生成触觉回放轨道。，下面是直观触觉设计专利的具体信息内容。
1.一种设计触觉的方法，包括：
在视频回放期间实时跟踪音频/视觉A/V元素；
基于对A/V元素的跟踪将A/V元素的触觉效果实时分配给时间线上A/V元素的不同位置，以生成分配的触觉效果位置；以及
基于时间线上A/V元素的分配的触觉效果位置来生成触觉回放轨道。
2.根据权利要求1所述的方法，其中
跟踪A/V元素包括：
创建触觉发射器并将所述触觉发射器放置到视频的空间环境中，
在视频回放期间，在所述空间环境中与A/V元素一起实时移动所述触觉发射器，以及在移动所述触觉发射器期间获得所述触觉发射器的空间数据，并且
分配A/V元素的触觉效果包括实时地将所述触觉发射器的空间数据与时间线上A/V元素的不同位置相关联。
3.根据权利要求2所述的方法，还包括：
生成包括所述空间数据的元数据文件。
4.根据权利要求2所述的方法，其中，分配A/V元素的触觉效果还包括实时设置触觉效果的衰减范围。
5.根据权利要求2所述的方法，其中，创建和放置所述触觉发射器包括在空间环境中以
2D或3D绘制波形或形状。
6.根据权利要求1所述的方法，其中
跟踪A/V元素包括：
将粒子效果放置到视频的空间环境中，
通过在视频回放期间在空间环境中实时移动所述粒子效果，创建路径以便A/V元素遵循，以及
在移动所述粒子效果期间获得A/V元素的空间数据，并且
分配A/V元素的触觉效果包括实时地将A/V元素的所述空间数据与时间线上A/V元素的不同位置相关联。
7.根据权利要求6所述的方法，其中，生成所述触觉回放轨道包括调整所述粒子效果的参数。
8.根据权利要求1所述的方法，其中
跟踪A/V元素包括在视频回放期间通过实时视觉地跟踪A/V元素来获得A/V元素的空间数据，以及
分配A/V元素的触觉效果包括实时地将A/V元素的所述空间数据与时间线上A/V元素的不同位置相关联。
9.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质上存储有指令，所述指令当由处理器执行时使所述处理器执行包括以下的操作：
在视频回放期间实时跟踪音频/视觉A/V元素；
基于对A/V元素的跟踪将A/V元素的触觉效果实时分配给时间线上A/V元素的不同位置，以生成分配的触觉效果位置；以及
基于时间线上A/V元素的分配的触觉效果位置来生成触觉回放轨道。
10.根据权利要求9所述的非暂时性计算机可读介质，其中
跟踪A/V元素包括：
创建触觉发射器并将所述触觉发射器放置到视频的空间环境中，
在视频回放期间，在空间环境中与A/V元素一起实时移动所述触觉发射器，以及在移动所述触觉发射器期间获得所述触觉发射器的空间数据，并且
分配A/V元素的触觉效果包括实时地将所述触觉发射器的空间数据与时间线上A/V元素的不同位置相关联。
11.根据权利要求10所述的非暂时性计算机可读介质，还包括:
生成包括所述空间数据的元数据文件。
12.根据权利要求10所述的非暂时性计算机可读介质，其中，分配A/V元素的触觉效果还包括实时设置触觉效果的衰减范围。
13.根据权利要求10所述的非暂时性计算机可读介质，其中，创建和放置所述触觉发射器包括在空间环境中以2D或3D绘制波形或形状。
14.根据权利要求9所述的非暂时性计算机可读介质，其中
跟踪A/V元素包括：
将粒子效果放置到视频的空间环境中，
在视频回放期间通过在空间环境中实时移动所述粒子效果，创建路径以便A/V元素遵循，以及
在移动所述粒子效果期间获得A/V元素的空间数据，并且
分配A/V元素的触觉效果包括实时地将A/V元素的空间数据与时间线上A/V元素的不同位置相关联。
15.根据权利要求14所述的非暂时性计算机可读介质，其中，生成所述触觉回放轨道包括调整所述粒子效果的参数。
16.根据权利要求9所述的非暂时性计算机可读介质，其中
跟踪A/V元素包括在视频回放期间通过实时视觉地跟踪A/V元素来获得A/V元素的空间数据，以及
分配A/V元素的触觉效果包括实时地将A/V元素的空间数据与时间线上A/V元素的不同位置相关联。
17.一种触觉设计系统，包括：
跟踪系统，所述跟踪系统被配置为在视频回放期间实时跟踪音频/视觉A/V元素，其中所述跟踪系统被配置为基于对A/V元素的跟踪允许将A/V元素的触觉效果实时分配给时间线上A/V元素的不同位置，以生成分配的触觉效果位置；以及
触觉回放轨道生成器，所述触觉回放轨道生成器基于时间线上A/V元素的分配的触觉效果位置来生成触觉回放轨道。
18.根据权利要求17所述的触觉设计系统，其中，所述跟踪系统包括：
触觉发射器放置系统，所述触觉发射器放置系统被配置为将触觉发射器放置到视频的空间环境中，所述触觉发射器在视频回放期间可与A/V元素一起在空间环境中实时移动，以及
触觉轨道编辑器，所述触觉轨道编辑器被配置为在触觉发射器的移动期间获得所述触觉发射器的空间数据，并实时地将所述触觉发射器的空间数据与时间线上A/V元素的不同位置关联。
19.根据权利要求17所述的触觉设计系统，其中，所述跟踪系统包括：
触觉发射器放置系统，所述触觉发射器放置系统被配置为将粒子效果放置到视频的空间环境中，其中在视频回放期间通过在空间环境中实时移动所述粒子效果来创建路径以便A/V元素遵循，以及
触觉轨道编辑器，所述触觉轨道编辑器被配置为在所述粒子效果的移动期间获得A/V元素的空间数据，并实时地将A/V元素的空间数据与时间线上A/V元素的不同位置关联。
20.根据权利要求17所述的触觉设计系统，其中，所述跟踪系统包括：
触觉跟踪编辑器，所述触觉跟踪编辑器被配置为在视频回放期间通过实时视觉地跟踪A/V元素来获得A/V元素的空间数据，并实时地将A/V元素的空间数据与时间线上A/V元素的不同位置关联。
直观触觉设计
技术领域
背景技术
[0003] 示例实施例提供了通过以下来设计触觉：在视频回放期间实时跟踪音频/视觉(A/V)元素；基于对A/V元素的跟踪将A/V元素的触觉效果实时分配给时间线上A/V元素的不同位置，以生成分配的触觉效果位置；以及基于时间线上A/V元素的指定触觉效果位置来生成触觉回放轨道。
[0004] 通过使用虚拟现实(“VR”)/增强现实(“AR”)系统或实时编辑系统，第一实施例包括通过创建触觉发射器并将其放置到视频的空间环境中来跟踪A/V元素，在视频回放期间在空间环境中与A/V元素一起实时移动触觉发射器，以及在移动触觉发射器期间获得触觉发射器的空间数据。通过实时地将触觉发射器的空间数据与时间线上A/V元素的不同位置相关联，为A/V元素分配触觉效果。
[0005] 通过使用VR/AR系统或实时编辑系统，第二实施例包括通过将粒子效果放置到视频的空间环境中来跟踪A/V元素，通过在视频回放期间在空间环境中实时移动粒子效果来创建A/V元素的路径，以及在粒子效果移动期间获得A/V元素的空间数据。通过实时地将A/V元素的空间数据与时间线上A/V元素的不同位置相关联，为A/V元素分配触觉效果。
[0006] 通过使用编辑系统，第三实施例包括通过在视频回放期间实时可视地跟踪A/V元素来获得A/V元素的空间数据，从而跟踪A/V元素。通过实时地将A/V元素的空间数据与时间线上A/V元素的不同位置相关联，为A/V元素分配触觉效果。
[0008] 从下面结合附图的详细描述中将更清楚地理解示例性实施例。图1至图16表示如本文所述的非限制性示例性实施例。
[0009] 图1是根据示例性实施例的设计触觉的流程图。
[0010] 图2是根据示例性实施例的利用编辑系统来设计触觉的流程图。
[0011] 图3、图4以及图6至图9是根据示例性实施例的触觉效果的图。
[0012] 图5是根据示例性实施例的空间化触觉的图。
[0013] 图10是根据示例性实施例的利用VR/AR系统或实时编辑系统来设计触觉的流程图。
[0014] 图11是根据示例性实施例的触觉设计系统的框图。
[0015] 图12是根据示例性实施例的实时主机系统的框图。
[0016] 图13是根据示例性实施例的电子设备中的触觉设计系统的框图。
[0017] 图14至图16是根据示例性实施例的触觉编辑窗口的图像。
具体实施方式
[0018] 示例性实施例针对基于通过与音频/视频元素的多个位置交叉参考而空间化的触觉来设计触觉反馈，从而产生更沉浸的体验。
[0019] 触觉是一种触觉和/或动觉反馈技术，为使用个人触觉的个人产生触觉反馈效果(也称为“触觉反馈”或“触觉效果”)，例如力、振动和运动。支持触觉的设备可以包括被配置为应用触觉效果的嵌入式硬件(例如，致动器或其他输出机构)。嵌入式硬件通常被编程为应用(或回放)一组特定的触觉效果。当指定播放哪个(哪些)触觉效果的信号被支持触觉的设备接收时，支持触觉的设备呈现指定的触觉效果。例如，当个人想要体验触觉事件时，支持触觉的设备的嵌入式硬件通过控制电路来接收播放命令。嵌入式硬件接着应用适当的触觉效果。
[0020] 指定要播放哪个(哪些)触觉效果的信号在此被称为触觉回放轨道。根据示例性实施例的触觉回放轨道可以使用DAW(用于记录、编辑和产生音频文件(例如NLE)的电子设备或应用软件)、VR/AR系统和/或粒子(particle)效果库来设计或生成。
[0022] NLE的一种类型是Adobe Systems公司的“Adobe After Effects”应用软件，该软件用于将视频更改为在时间线上组织的层系统，以从视频文件(如静止图像和/或运动镜头)创建合成物。
[0023] 根据示例性实施例，可以通过创建触觉模式(tactile haptic pattern)来呈现触觉以用于VR/AR系统中的虚拟鼓的敲击。触觉模式可以通过在视频回放期间观察虚拟鼓的位置(或撞击虚拟鼓的虚拟对象的位置)，并将触觉分配给视频时间线上虚拟鼓的观察位置来设计或生成。或者，触觉模式可以通过将触觉发射器放置在虚拟鼓上，并在回放期间观察触觉发射器的移动来设计。触觉模式是通过将触觉发射器的运动与视频时间线上虚拟鼓的图像交叉参考来设计的。触觉模式接着在VR/AR系统上呈现给用户。
[0024] 图1是根据示例性实施例的设计触觉的流程图。
[0025] 参考图1，触觉100的设计包括在120，在视频回放期间实时跟踪音频/视觉(“A/V”)元素。A/V元素可以是例如视频中的对象、化身或现象。根据示例性实施例，实时意味着基本上没有延迟或以可以忽略的延迟来执行任务，并且在用户看来几乎是即时执行的。
[0026] 一旦A/V元素的合成物被组织在时间线中，在150，基于对A/V元素的跟踪，A/V元素的触觉效果被分配给时间线中A/V元素的不同位置，以生成分配的触觉效果位置。
[0027] 接着，在190，基于时间线中A/V元素的分配的触觉效果位置，生成触觉回放轨道，以及可选地元数据文件。元数据文件可以包括空间数据和触觉回放轨道。
[0028] 触觉回放轨道以及可选地元数据文件可以被输出到支持触觉的设备。
[0029] 下面提供根据示例性实施例的使用编辑系统、VR/AR系统、实时编辑系统和粒子效果库设计触觉反馈的详细说明。图2是根据示例性实施例的利用编辑系统来设计触觉反馈的流程图。
[0030] 参考图2，在210，可以将视频导入编辑系统的编辑环境中。视频可以是360度的视频。360度视频是一种视频记录，其中使用全向摄像机或摄像机集合同时记录各个方向的视图。在220，使用跟踪系统，选择要与触觉相关联或与触觉一起呈现的视频中的A/V元素(例如，鼓被敲击、蜜蜂嗡嗡叫等)，并对其进行实时跟踪以在A/V元素上固定点。A/V元素可以是任何对象或事件，例如枪击、爆炸、发动机、电力、天气、自然灾害、跑步、坠落等。A/V元素可以有引人注意的声音或运动。
[0031] 在230，如果使用音频通道/轨道(例如，在NLE中)经由音频-触觉驱动器将触觉路由到致动器，则选择或创建用于A/V元素的一个或多个音频通道。音频触觉驱动器的使用可能需要区分用于音频的音频通道和用于触觉的音频通道。
[0032] 然后回放视频。可以通过计算机、移动设备或头戴式显示器(“HMD”)上的编辑环境来观看回放。在回放360度视频期间，观看者可以像全景一样控制观看方向。因此，观看者可以扫视视频，从不同的角度或视角在视觉上跟随A/V元素。
[0033] 在视频回放期间，在240，A/V元素的固定位置/坐标被可视地示出以获得空间数据。可以设置A/V元素的触觉效果的衰减(falloff)范围。因此，对A/V元素的跟踪包括在视频回放期间通过视觉跟踪A/V元素的固定点/坐标和/或衰减范围来获得A/V元素的空间数据。
[0034] 接着，A/V元素的合成物被组织在所期望的时间线中。在250，通过将A/V元素的空间数据(或者固定点/坐标和/或衰减范围)与时间线上A/V元素的不同位置相关联，将触觉效果分配给时间线上A/V元素的不同位置。
[0035] 触觉效果可以基于编辑者和/或观看者/用户偏好或期望如何呈现触觉来实时分配，触觉呈现方式例如全氛围、视点(“POV”)、角色选择、角色注视、触摸、强调的三维(“3D”)对象和/或致动器选择。观看者的偏好可以通过维护所有数据并使用元数据(与观看者的偏好交叉参考)以确定要播放的触觉轨道来实现。触觉轨道可以提前或实时生成。
[0036] 图3、图4以及图6至图9是根据示例性实施例的触觉效果的图。
[0037] 触觉效果可以基于POV来分配。一种类型的POV是全氛围，在全氛围中，触觉效果可以分配给所有动作，但强度不同。重点可以放在特定的POV上，如图3所示。参考图3，在(a)中，重点放在中心视图中的视觉动作上。在(b)中，重点放在外围视图和/或POV之外的非视觉动作上。在(c)中，重点放在360度视图中的所有动作上。
[0038] 全氛围驱动的触觉效果可以使用单个触觉轨道来实现，并且可以在任何支持触觉的设备(例如移动设备、HMD、计算机等)上呈现。全氛围驱动的触觉效果对于360度动作摄像机是理想的，其中A/V元素通过普通对象(例如，喷气式飞机内部或自行车)接触地面。
[0039] 在POV驱动的触觉效果中，通过识别几个关键角度作为参考点，并且如同触觉效果是单独视频一样地应用触觉效果，360度视频的所有可能角度都可以被视为传统内容。参考图4，可以为POV中的动作呈现触觉，如(a)所示。或者，对于环境感知，触觉可以反转以为POV之外的动作呈现触觉效果，如图4的(b)所示。视觉元素的POV驱动的触觉效果可能需要知道被观看的方向(例如在头部跟踪(head tracking)中)。
[0040] 为了将POV驱动的触觉效果分配给视频中的音频元素，优选双耳(binaural)音频。双耳音频是使用两个麦克风产生的音频，以产生三维立体声感觉。为了在HMD上呈现POV驱动的触觉效果，HMD可能需要触觉外设。
[0041] POV驱动的触觉效果对于任何一般的内容用例是理想的。
[0042] 图5是根据示例性实施例的空间化触觉的图。
[0043] 参考图5，因为触觉效果可以被空间化，或者被分配给例如全氛围POV驱动的触觉效果中的所有动作，所以触觉混合器可以用于混合触觉效果，以产生从一个触觉效果到另一个触觉效果的平滑过渡。在没有混合器的情况下，当例如摇摄时，从一个触觉效果到另一个触觉效果的过渡可能显得突然。
[0044] 在角色驱动的触觉效果中，触觉是基于单个角色的动作来分配的，如图6所示。角色驱动的触觉效果可以使用单个触觉轨道来实现，但是更优选使用空间化的触觉来实现。空间化允许用户跟踪角色的位置。为了跟踪角色的动作，可以使用“热或冷”的空间化风格。
“热或冷”空间化风格指的是调节(modulate)与角色相关联的触觉轨道或效果。例如，当在视野(“FOV”)之外的角色接近FOV时，可以柔和地呈现与角色相关联的触觉效果。当角色进入FOV时，触觉效果的强度会达到峰值。作为另一示例，可以使用“热或冷”的空间化风格，使得用户感觉到他们FOV之外的东西，以鼓励他/她找到触觉效果的来源。角色驱动的触觉效果可能需要知道被观看的方向(例如在头部跟踪中)。
“热或冷”空间化风格指的是调节(modulate)与角色相关联的触觉轨道或效果。例如，当在视野(“FOV”)之外的角色接近FOV时，可以柔和地呈现与角色相关联的触觉效果。当角色进入FOV时，触觉效果的强度会达到峰值。作为另一示例，可以使用“热或冷”的空间化风格，使得用户感觉到他们FOV之外的东西，以鼓励他/她找到触觉效果的来源。角色驱动的触觉效果可能需要知道被观看的方向(例如在头部跟踪中)。
[0045] 例如，参考图16，该图是根据示例性实施例的触觉编辑窗口的图像，从鸟瞰图中示出了“归属”方向和方位。
[0046] 由于跟踪角色位置和运动的复杂性(特别是在360度视频中)，通常需要先进的设计工具来产生角色驱动的触觉效果。例如，算法选项可以包括仅播放可见、播放全部、播放全部焦点可见、播放全部焦点隐藏、仅播放隐藏等。
[0047] 为了将角色驱动的触觉效果分配给视频中的音频元素，优选双耳音频。为了在HMD上呈现角色驱动的触觉效果，HMD可能需要触觉外设。
[0048] 角色驱动的触觉效果对于关注对象或角色的广告、具有有限角色数、预示角色触觉的视频短片是理想的。
[0049] 在注视驱动的触觉效果中，触觉是基于用户视觉聚焦或观看的一般区域来分配的，如图7所示。可以在移动设备或HMD上进行的眼睛跟踪对于注视驱动的触觉效果是最佳的。注视驱动的触觉效果可以与注视点渲染(foveated rendering)一起使用，后者是一种图形呈现技术，其使用VR头盔进行眼睛跟踪以通过降低周边视觉(眼睛视网膜中央凹注视的区域之外)中的图像质量来减少渲染工作量。
[0050] 注视驱动的触觉效果对于实时触觉事件和创作具有额外的复杂性。为了将注视驱动的触觉效果分配给视频中的音频元素，优选双耳音频。
[0051] 注视驱动的触觉效果对于现场实况活动(如体育比赛、戏剧表演等)以及专注于产品的广告是理想的。
[0052] 在触摸驱动的触觉效果中，基于用户的触摸点来分配触觉，如图8所示。触摸驱动的触觉效果可以通过跟踪用户触摸的位置来实现，这可以在具有电容屏幕的移动设备或任何基于手的外设上完成。或者，当在HMD内观看时，可以使用空手跟踪来跟踪观看者的手。
[0053] 当用户在例如不使用HMD的情况下观看360度视频时，通常会使用触摸驱动的触觉效果。当使用HMD时，使用保持手接触的基于手的外设或分离控制器。为了将触摸驱动的触觉效果分配给视频中的音频元素，优选双耳音频。
[0054] 触摸驱动的触觉效果对于环境探索和视频游戏是理想的。
[0055] 在3D聚焦触觉效果中，触觉被分配给在虚拟空间中观看的3D对象，如图9所示。3D对象可能看起来像是从虚拟环境中“弹出”出来的，这是预期的设计美学。3D聚焦触觉效果可用于进一步强调3D对象的外观，这些3D对象例如可能已经被创建者选择来应用3D效果。当传统2D内容通过3D序列被增强时(例如，当观看者戴上3D眼镜来观看效果时)，可以使用
3D聚焦触觉效果。
3D聚焦触觉效果。
[0056] 3D聚焦触觉效果适用于虚拟或模拟的影院环境。3D聚焦触觉效果可以被创作成立体视频。在呈现3D聚焦触觉效果时在HMD中观看(可能使用外设)是优选的，以实现期望的效果。3D聚焦触觉效果与HMD触摸驱动触觉效果很好地配合工作。
[0057] 3D聚焦触觉效果对于具有立体3D效果的非360-视频内容是理想的。
[0058] 返回参考图2，在260，基于时间线上的触觉效果或者通过将时间线上的触觉效果插入到期望的触觉轨道中，创建触觉轨道。
[0059] 在270处，确定是否存在将具有触觉的未被跟踪的A/V元素。如果存在将具有触觉的未被跟踪的A/V元素，则将相应的触觉效果插入到触觉轨道中。
[0060] 在280处，确定是否存在将被跟踪的附加A/V元素。如果存在将被跟踪的附加A/V元素，则在220开始重复该过程。
[0061] 在290，生成触觉回放轨道，并且可选地生成元数据文件。触觉回放轨道可以由单个混合触觉轨道或几个触觉轨道组成。例如，单个混合触觉轨道可以由一个或多个被跟踪的A/V元素和/或一个或多个未被跟踪的A/V元素组成。元数据文件可以包括空间数据和触觉回放轨道。
[0062] 触觉回放轨道以及可选地元数据文件可以被输出到支持触觉的设备。
[0063] 图10是根据示例性实施例的利用VR/AR系统或实时编辑系统来设计触觉的流程图。
[0064] 参考图10，在1000，利用VR/AR系统或实时编辑系统来设计触觉包括导入或生成空间内容的触觉轨道。
[0065] 在1010，触觉发射器被放置在3D空间环境中，诸如在游戏引擎(像例如“Unity 3D”或“虚幻引擎”)、编辑器工具的实时编辑环境或VR/AR环境内。在1020，创建触觉发射器并将其放置到相应的环境中。触觉发射器可以通过在空间环境中以2D或3D绘制波形或形状来创建并放置到相应的环境中。例如，在以3D绘图时，Y轴可以控制强度，X轴可以控制时间，Z轴可以控制频率。或者，可以使用除强度、时间和频率之外的参数。
[0066] 在1050，触觉发射器可以可选地被分配给视频中的A/V元素。可以为触觉效果设置衰减范围。例如，如果蜜蜂在化身的头部嗡嗡作响，则可以在蜜蜂身上放置触觉发射器。或者，通过放置在3D环境中，创建者可以容易地看到触觉发射器相对于A/V元素的位置，将触觉发射器放置在A/V元素附近而不直接将触觉发射器分配给A/V元素，并且将触觉发射器与A/V元素一起移动。
[0067] 在示例性实施例中，在1050，可以将粒子效果分配给视频中的A/V元素。粒子效果是一种游戏或计算机图形技术，其使用大量非常小的精灵、3D模型或其他图形对象(这里称为“粒子”)来模拟某些动态事件或现象(例如，高度混乱系统、自然现象、由化学反应引起的能量或过程，诸如火、爆炸、烟、激光束、流动的水、雪、岩石坠落、星星等)，这是用传统渲染技术难以再现的。
[0068] 在1055，确定视频中期望的时间线的位置。
[0069] 接着，在1060，确定触觉发射器是否应该以当前时间码开始回放。如果确定触觉发射器/粒子效果不应该以当前时间码开始回放，则在1065处，视频被清理(scrub)到触觉效果/粒子效果应该开始回放的时间码。如果触觉发射器/粒子效果应该以当前时间码开始回放，则视频的回放开始，并且在1070，编辑者(即人)应该实时移动和定位触觉发射器/粒子效果以对应于A/V元素的位置。
[0070] 当在视频回放期间移动和定位触觉发射器/粒子效果时，获得触觉发射器/粒子效果的空间数据。接着，将触觉发射器/粒子效果的空间数据与时间线中的A/V元素的不同位置相关联。例如，在蜜蜂示例中，当蜜蜂可见时，将触觉效果插入时间线中。当蜜蜂不可见时，触觉效果不会插入到时间线中。
[0071] 在1075，确定是否需要额外的触觉轨道。如果需要额外的触觉轨道，则在1000开始重复该过程。
[0072] 如果不需要额外的触觉轨道，则在1080确定触觉发射器/粒子效果是否需要微调。如果触觉发射器/粒子效果需要微调，则在1085，视频被清理和调整。
[0073] 对粒子效果的微调可以包括调整粒子效果的参数。粒子效果参数可以包括例如产卵速率(每单位时间产生多少粒子)、粒子的初始速度矢量(它们在产生时的发射方向)、粒子寿命(每个单独粒子消失前存在的时间长度)和粒子颜色。编辑者可以通过指定中心值和中心值两侧允许的随机性程度(即，平均粒子寿命可能是50帧±20％)来使参数“模糊”(与精确的数值相反)。
[0074] 如果对触觉发射器/粒子效果的微调不是必需的，则在1090生成触觉回放轨道。在1090，还可以生成包括空间数据的元数据文件。
[0075] 触觉回放轨道和元数据文件可以被输出到支持触觉的设备(例如移动设备、控制台、计算机等)、手持游戏控制器、VR/AR控制器或另一外围设备(例如，游戏垫、计算机鼠标、轨迹球、键盘、平板电脑、麦克风和耳机，或者可穿戴设备)。
[0076] 图11是根据示例性实施例的编辑系统的框图。
[0077] 参考图11，根据示例性实施例的编辑系统1105通过视频输入1110接收视频。编辑系统1105可以是NLE。视频可以是360度的视频。
[0078] 编辑系统1105包括跟踪系统1115，其跟踪视频中被选择与触觉相关联或与触觉一起呈现的A/V元素。在回放期间，跟踪系统1115在A/V元素上固定点。
[0079] 可以通过连接到编辑系统1105的视觉显示器1120上的窗口观看回放。视觉显示器1120可以是计算机屏幕、移动设备屏幕或头戴式显示器(“HMD”)。在回放视频期间，编辑者可以像全景一样控制观看方向。因此，编辑者可以扫视视频，从不同的角度或视角在视觉上跟随A/V元素。
[0080] 例如，参考图14，该图是根据示例性实施例的触觉编辑窗口的图像，预览窗口1410可以显示视频。在视频回放期间，A/V元素的固定位置/坐标可以在图11所示的视觉显示器1120上的跟踪窗口1420中可视地显示，以获得空间数据。或者，触觉轨道可以被固定到视频中的A/V元素，并且可以跟踪A/V元素的坐标。
[0081] 如图11所示，编辑系统1105包括触觉轨道生成器1125，该触觉轨道生成器1125基于由编辑者使用从视频输入1110接收到的视频在期望时间线中组织的A/V元素与由编辑者分配给时间线上A/V元素的不同位置的触觉效果的合成物来生成触觉轨道，其中通过将从跟踪系统1115接收到的A/V元素的空间数据(或者固定点/坐标和/或衰减范围)与时间线上A/V元素的不同位置相关联，触觉效果被分配给上述不同位置。
[0082] 可以从编辑系统1105中的触觉效果数据库1127获得触觉效果。或者，可以从外部来源获得触觉效果。
[0083] 如上所述，触觉效果可以基于编辑者期望如何呈现触觉来分配，触觉呈现方式例如全氛围、视点(“POV”)、角色选择、角色注视、触摸、强调的三维(“3D”)对象和/或致动器选择。
[0084] 如果存在将具有触觉的未被跟踪的A/V元素，则触觉轨道生成器1125将相应的触觉效果插入到触觉轨道中。
[0085] 如果有将被跟踪的额外的A/V元素，则视频将被再次回放，并且跟踪系统1115在回放期间固定A/V元素的点。或者，跟踪系统1115可以被配置为在视频回放期间跟踪多于一个的A/V元素。
[0086] 触觉回放轨道生成器1130生成触觉回放轨道，并且可选地生成元数据文件。触觉回放轨道可以由单个混合触觉轨道或几个触觉轨道组成。单个混合触觉轨道例如可以由一个或多个被跟踪的A/V元素和/或一个或多个未被跟踪的A/V元素组成。元数据文件可以包括空间数据和触觉回放轨道。
[0087] 触觉回放轨道生成器1130将一个或多个触觉回放轨道或包含多个触觉回放轨道的触觉文件，以及可选地元数据文件输出到支持触觉的设备1135。
[0088] 编辑系统1105可以电气和无线地连接到支持触觉的设备1135。支持触觉的设备1135可以是移动设备、控制台、计算机、手持游戏控制器、VR/AR控制器或另一外围设备(例如游戏垫、计算机鼠标、轨迹球、键盘、平板电脑、麦克风和耳机，或者可穿戴设备)。
[0089] 触觉效果由支持触觉的设备1135施加。触觉效果可以作为振动触觉效果、变形触觉效果、超声波触觉效果和/或静电摩擦触觉效果来施加。触觉效果的施加可以包括使用触觉、变形、超声波和/或静电源来施加振动。
[0090] 根据示例性实施例的支持触觉的设备1135还可以包括触觉输出设备1145。触觉输出设备1145是包括被配置为响应于触觉驱动信号而输出任何形式的触觉效果(例如振动触觉效果、静电摩擦触觉效果、变形触觉效果、超声波触觉效果等)的机构的设备。
[0091] 触觉输出设备1145可以是机电致动器，例如压电致动器或电活性聚合物(“EAP”)致动器，以施加触觉效果。在示例性实施例中，压电致动器可以是陶瓷致动器或宏纤维复合材料(“MFC”)致动器。然而，示例性实施例不限于此。例如，作为触觉输出设备1145的附加，还可以使用电动机、电磁致动器、音圈、形状记忆合金、螺线管、偏心旋转质量马达(“ERM”)、线性谐振致动器(“LRA”)或高带宽致动器。
[0092] 在另选的示例性实施例中，可使用直流(“DC”)电机作为触觉输出设备1145的替代或附加，来施加振动。
[0093] 在其他示例性实施例中，支持触觉的设备1135可以包括非机械设备以施加触觉效果。非机械设备可以包括植入用户肌梭附近从而使用以与产生真实(或自然)运动的感觉刺激相同的速率发射的电流来激励肌梭的电极，使用静电摩擦(“ESF”)或超声波表面摩擦(“USF”)的设备、使用超声波触觉换能器来感应声辐射压力的设备、使用触觉基底和柔性或可变形表面或形状改变设备并且可以附着到个人身体的设备、提供投射触觉输出(诸如强制空气(例如使用空气喷射的一股空气)、基于激光的抛射物、基于声音的抛射物等)的设备。
[0094] 根据一个示例性实施例，基于激光的抛射物使用激光能量来电离空气中高浓度区域中的空气分子，从而提供等离子体(正粒子和负粒子的高浓度混合物)。激光器可以是飞秒激光器，其以非常快和非常强的速度发射脉冲。激光越快，人类接触越安全。基于激光的抛射物可以表现为触觉和交互的全息图。当等离子体接触到个人的皮肤时，个人可以感觉到高浓度区域中被激发的空气分子的振动。个人皮肤上的感觉是由在个人与空气中的等离子体相互作用时产生的波引起的。因此，可以通过使个人暴露于等离子体浓度高的区域来向个人提供触觉效果。替代地或附加地，触觉效果可以通过使个人暴露于由定向声能产生的振动而提供给个人。
[0095] 图12是根据示例实施例的实时主机系统的框图。
[0096] 参考图12，根据示例性实施例的实时主机系统1200可以是虚拟现实/增强现实系统或任何实时编辑系统。主机系统1200包括实时触觉设计系统1205，其通过触觉轨道输入1210接收触觉轨道。实时触觉设计系统1205可以是NLE。视频可以是360度的视频。
[0097] 触觉轨道的空间内容由提取器1215提取到3D空间环境、VR/AR环境或实时编辑环境中，并呈现在显示器1220上。
[0098] 触觉发射器放置系统1217创建触觉发射器，并将触觉发射器放置在显示器1220上显示的环境中。可以通过在空间环境中绘制波形或形状来创建触觉发射器并将其放置到相应的环境中。
[0099] 触觉发射器被分配给相应视频中的A/V元素。可以为触觉效果设置衰减范围。
[0100] 例如，参考图15，该图是根据示例性实施例的触觉编辑窗口的图像，次级窗口1510表示触觉发射器的变化区域/减退。羽化边缘1520表示触觉发射器的衰减。
[0101] 在示例性实施例中，来自粒子效果库1230的粒子效果可以被分配给视频中的A/V元素。
[0102] 确定视频中期望的时间线的位置。
[0103] 当在视频回放期间移动和定位触觉发射器/粒子效果时，触觉轨道编辑器1225通过获得触觉发射器/粒子效果的空间数据，并将触觉发射器/粒子效果的空间数据与时间线中A/V元素的不同位置相关联，来调节或编辑触觉轨道。对触觉轨道的调节可以实时完成。
[0104] 如果触觉发射器/粒子效果需要微调，则通过微调器1227对视频进行清理和调整。
[0105] 对触觉发射器的微调可导致触觉效果的至少一个参数(例如位置、幅度(或强度)、频率、持续时间等)的改变。
[0106] 根据示例性实施例，定义特定触觉效果的高级参数包括位置、幅度、频率和持续时间。诸如流式电机命令之类的低级参数也可以用于呈现触觉效果。这些参数的一些变化可以改变对触觉效果的感觉，和/或可以进一步使触觉效果被认为是“动态的”。
[0107] 对粒子效果的微调可以包括调整粒子效果的参数。粒子效果参数可以包括例如产卵速率(每单位时间产生多少粒子)、粒子的初始速度矢量(它们在创建时的发射方向)、粒子寿命(每个单个粒子消失前存在的时间长度)和粒子颜色。编辑者可以通过指定中心值和中心值任一侧允许的随机性程度(即平均粒子寿命可能是50帧±20％)来使参数“模糊”(与精确的数值相反)。
[0108] 在对触觉发射器/粒子效果进行微调之后，由触觉回放轨道生成器1230生成触觉回放轨道。还可以生成包括空间数据的元数据文件。
[0109] 触觉回放轨道生成器1230输出触觉回放轨道和元数据文件到支持触觉的设备1235。
[0110] 根据示例性实施例的支持触觉的设备1235还可以包括触觉输出设备1245。触觉输出设备1245是包括被配置为输出任何形式的触觉效果的机构的设备。
[0111] 图13是根据示例性实施例的电子设备中的触觉设计系统的框图。
[0112] 参考图13，根据示例性实施例的电子设备中的系统1300为设备提供触觉编辑功能。
[0113] 尽管示出为单个系统，但是系统1300的功能可以实现为分布式系统。系统1300包括总线1304或用于传递信息的其他通信机制，以及耦合到总线1304用于处理信息的处理器1314。处理器1314可以是任何类型的通用或专用处理器。系统1300还包括存储器1302，用于存储将由处理器1314执行的信息和指令。存储器1302可以由随机存取存储器(“RAM”)、只读存储器(“ROM”)、诸如磁盘或光盘之类的静态存储器或任何其他类型的非暂时性计算机可读介质的任意组合组成。
[0114] 非暂时性计算机可读介质可以是处理器1314可访问的任何可用介质，并且可以包括易失性和非易失性介质、可移动和不可移动介质、通信介质和存储介质。通信介质可以包括计算机可读指令、数据结构、程序模块或者诸如载波的调制数据信号或其他传输机制中的其他数据，并且可以包括本领域已知的任何其他形式的信息传递介质。存储介质可以包括RAM、闪存、ROM、可擦除可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器(“EEPROM”)、寄存器、硬盘、可移动盘、光盘只读存储器(“CD-ROM”)或本领域已知的任何其他形式的存储介质。
[0115] 根据示例性实施例，存储器1302存储在由处理器1314执行时提供功能的软件模块。软件模块包括为系统1300以及电子设备的其余部分提供操作系统功能的操作系统1306。软件模块还可以包括触觉设计系统1305，其提供触觉混合和调节功能(如上所述)。然而，示例性实施例不限于此。例如，触觉设计系统1305可以在电子设备外部，例如在与电子设备通信的中央游戏控制台中。软件模块还包括其他应用1308，例如视频-触觉转换算法。
[0116] 系统1300还可以包括通信设备1312(例如，网络接口卡)，其为红外、无线电、Wi-Fi或蜂窝网络通信提供无线网络通信。或者，通信设备1312可以提供有线网络连接(例如，电缆/以太网/光纤连接，或调制解调器)。
[0117] 处理器1314还经由总线1304耦合到视觉显示器1320，用于向最终用户显示图形表示或用户界面。视觉显示器1320可以是被配置为发送和接收来往处理器1314的信号的触敏输入设备(即触摸屏)，并且可以是多点触摸屏。
[0118] 系统1300还包括支持触觉的设备1335。处理器1314可以将与触觉效果相关联的触觉信号发送到支持触觉的设备1335，支持触觉的设备1335又输出触觉效果(例如，振动触觉效果或变形触觉效果)。
[0119] 虽然使用虚拟现实(“VR”)/增强现实(“AR”)系统或实时编辑系统描述了一些示例性实施例，使用编辑系统描述了其他示例性实施例，但是这些实施例可以在同一工作流中一起使用。
[0120] 根据示例性实施例，基于用户输入/输出的位置、设计的触觉轨道、偏好和硬件，实时混合和调节触觉数据。一段动态的360度内容，期望实时混合和调节，因为例如无法预测用户的FOV。
[0121] 根据示例性实施例，触觉反馈是根据触觉设计的，所述触觉通过用触觉发射器交叉参考A/V元素的多个位置或将触觉分配给A/V元素的固定位置而空间化的。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种教学用全景视频制作装置 | 2020-05-12 | 71 |
| 基于区块链的文件处理方法及装置 | 2020-05-17 | 162 |
| 一种游戏角色中文语音自动识别方法 | 2020-05-19 | 998 |
| 用于从混合音频记录选择性去除音频内容的系统和方法 | 2020-05-11 | 64 |
| 一种跨平台多元集成开发系统 | 2020-05-19 | 433 |
| 一种实物化编程装置及其实现方法 | 2020-05-14 | 56 |
| 用于记录、编辑和再现计算机会话的方法 | 2020-05-18 | 231 |
| 一种基于流式制作的外呼流程制作方法及工具 | 2020-05-13 | 383 |
| 重复场景图像分组平台 | 2020-05-17 | 42 |
| 重复场景图像分组方法 | 2020-05-16 | 807 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
音频编辑器热门专利
-
1 输入法编辑器
QQ群二维码
意见反馈
意见反馈