用于与可穿戴电子设备交互的方法和系统 |
|||||||
| 申请号 | CN201780016390.3 | 申请日 | 2017-06-23 | 公开(公告)号 | CN108780354A | 公开(公告)日 | 2018-11-09 |
| 申请人 | 卡内基·梅隆大学; | 发明人 | 克里斯托弗·哈里森; 罗伯特·肖; 吉拉德·拉普特; | ||||
| 摘要 | 本文公开的是一种与可穿戴 电子 设备交互的方法。包括有振动 传感器 的所述可穿戴电子设备获取通过穿戴有所述电子设备的身体部位传输的振动。所述振动可以源自与用户的身体 接触 的对象或者身体自身的动作。一旦所述可穿戴电子设备接收到所述振动，便对所述振动进行分析并且将所述振动识别为特定对象、数据消息或者移动。 | ||||||
| 权利要求 | 1.一种与可穿戴电子设备交互的方法，所述方法包括： |
||||||
| 说明书全文 | 用于与可穿戴电子设备交互的方法和系统[0001] 对相关申请的交叉引用 [0002] 根据35U.S.C.§119，本申请要求2016年6月23日提交的临时申请序列号为62/493,163的临时申请权益，所述临时申请以引用的方式并入本文。 [0003] 关于联邦赞助的研究的申明 [0004] 不适用。 背景技术[0005] 本发明涉及与可穿戴电子设备交互的方法。可穿戴电子设备在计算设备中是独一无二的，它们可以穿戴，从而提供将手臂、手和其它身体部位变换为表达性输入和感测平台的巨大潜力。举例来说，对于智能手表而言，在人们使用他们的手时，极小的微振动通过手臂进行传播，携带有关于与他们进行交互的对象以及他们在全天执行的活动的信息。智能手表和其它可穿戴设备被理想地定位为捕获这些振动。 [0006] 虽然大多数现代可穿戴电子设备含有加速度计和能够捕获振动的其它传感器，但它们一般受限于以100Hz左右的取样速率感测粗糙的动作。这对于它们用于检测设备方向(例如，在抬起时自动地激活屏幕)的主要用途是足够的，但其一般不具备足够的抗变换性以允许用户通过手的手势进行交互或者进行对象检测。除了加速度计之外，大多数设备包含麦克风，所述麦克风提供更高的取样速率(通常为44.1kHz)。然而，麦克风被特定地设计为捕获空气振动而不是接触振动，这意味着必须从背景环境噪声剥离出有意义的信号。 [0007] 先前已经进行过感测手的手势的尝试。举例来说，手的手势辨识的普遍方法利用了例如相机和IR传感器的光学传感器。其还有可能通过接近皮肤轮廓和变形来感测手的手势。例如，装备有IR传感器或者压力传感器的臂带可以在执行特定手势后测量皮肤接触变化。尽管是低成本的，但这些方法高度依赖接触条件，所述接触条件本身对周期性的移除臂环敏感，并且同样易受无意的手臂移动影响。 [0008] 同样地，可以通过检查用户手臂的内部解剖学构造来对手的手势进行建模。方法可以是被动的，例如肌电图，其中通过测量由肌肉活动引起的电信号来对手势进行分类，或者方法也可以是主动的，具体地，将信号注入到身体内来检测手的手势。 [0009] 最后，粗糙和精细的手的手势间接地诱发手臂运动，所述手臂运动可以由例如加速度计和陀螺仪的惯性传感器捕获。先前的工作引入了配备有加速度计的手套来对精细的手的手势进行建模。同样地，若干技术利用了存在于现代智能手表中的惯性传感器。然而，所述方法利用可穿戴式加速度计来辨识大幅度的动作或者整个手的动作。在替代性的方法中，使用智能手表上的商用加速度计来实现手指姿势的辨识，但此方法利用了低频率振动，并且所述技术对手臂定向高度敏感，并且从未部署在实时环境中。 [0010] 生物声学已经在许多领域中进行了研究，包含人机交互(HCI)领域。例如，在一种方法中，接触麦克风被放置于用户的手腕上以捕获大幅度的手指动作。在另一种方法中，用户的肢体装备有压电传感器以检测手势(例如，手指轻弹、左脚旋转)。另一种方法利用类似的技术，其使用捆绑到用户手臂上(在肘部上方和下方)的压电传感器阵列。这些生物声学感测方法严重依赖于专用传感器，从而增加了它们的侵入性并且最终限制了它们的实用性。 [0011] 对象辨识提供了与用户的即时背景和环境更紧密匹配的相关信息。然而，大多数方法依赖于标记或者专用标签。其提供具有抗变换性的辨识，但最终需要植入每个对象。此外，这些方法估算对象是否在附近，而当对象被实际抓握或者操纵时无法估算。先前的工作还已经充分利用声学来辨识对象。举例来说，在一种方法中，配备有加速度计和麦克风的佩戴型项链用于将车间工具进行分类，尽管所述方法易受背景噪声影响。 [0012] 可穿戴设备还被越来越多地用于对象感测和辨识。一种技术利用磁传感器和手戴式线圈进行基于磁场变化的对象的识别。另一种技术提供类似的方法，其使用三个磁感应传感器在常规操作期间识别对象。磁感应严重依赖于传感器与对象之间的接近接触，所述接近接触受到姿势、手的方向或者甚至于存在于人体内的固有磁噪声影响。其还有可能仅基于无意发射的电磁(EM)噪声来典型地识别对象。 [0013] 通过身体进行的数据传输已由射频(RF)波成功地进行了演示，以“个人区域网”的形式。此类网络可以在身体附近的特别配制的设备之间成功地以极高速传输数据。其它系统使用振动声学来传输数据。举例来说，一种系统使用安装到悬臂式金属臂(用于放大振动)的加速度计和振动电机，以约200位/秒的速度传输数据。举另一实例，AT&T实验室公开演示了使用压电蜂鸣器传输生物声学数据的系统，但尚未公开技术细节。这些系统并未完全达到不显眼的可穿戴电子器件的水平。 [0014] 如所论述，已经开发了许多方法和系统以允许与可穿戴设备进行交互或者允许用户与他们的环境进行交互。然而，先前的方法需要专用的设备或者仅提供有限的交互性。因此，开发一种克服现有技术的缺陷的与可穿戴电子设备进行交互的方法将是有利的。 发明内容[0015] 根据本发明的实施例，本发明为用于与可穿戴电子设备进行交互的方法和系统。可穿戴电子设备(例如，智能手表)的独特之处在于它们驻留在身体上，从而呈现出总是可用的输入和交互的巨大潜力。举例来说，智能手表由于其在手腕上的位置可理想地用于捕获生物声学信号。在本发明的一个实施例中，将智能手表的现有的加速度计的取样速率设定为4kHz，从而捕获关于手和手腕活动的高保真数据。所述高取样速率不仅允许可穿戴设备捕获粗糙运动(coarse motion)，也可捕获丰富的生物声学信号。通过此生物声学数据，可穿戴电子设备可以用于对例如轻弹、拍手、划擦和轻拍的手的手势进行分类，所述手的手势与设备上的运动跟踪进行组合以产生广泛的表达性输入方式。生物声学感测还可以检测被抓握的机械或由电机驱动的对象的振动，从而实现被动式对象辨识，这可以扩增具有情境感知功能的日常体验。在替代性实施例中，可以将来自传感器(transducer)的结构化振动通过身体传输到可穿戴设备，从而增加交互可能性。 [0016] 如将论述，本发明的方法可以应用于各种使用领域。首先，可以使用生物声学数据对手的手势进行分类，其与设备上的运动跟踪进行组合以实现广泛的表达性输入方式。其次，被抓握的机械或者由电机驱动的对象的振动经过检测和分类，从而实现不使用仪器装备的对象辨识。最后，使用结构化的振动被用于经由人体的可靠的数据传输。本发明所述的方法和系统准确、对噪声具有抗变换性、在用户间保持相对一致并且独立于位置或者环境。附图说明 [0017] 图1为示出了根据一个实施例的系统的框图。 [0018] 图2为示出了根据可替代性＝的实施例的系统的框图。 [0019] 图3A至图3D示出了在不同的取样速率下捕获的加速度计信号。 [0020] 图4A至图4B示出了与手表的交互和描绘共振曲线的图表。 [0021] 图5为示出了各种手的手势和与之伴随的振动曲线的图表。 [0022] 图6为描绘了根据一个实施例的本发明的方法的流程图。 [0023] 图7为示出了各种手势和交互方式的示意图。 [0024] 图8描绘了各种对象和它们对应的生物声学信号。 [0025] 图9A至图9B示出了根据本发明的一个实施例的方法的由可穿戴电子设备所接收到的数据传输。 [0026] 图10为不同的调制方案的图表。 [0027] 图11A至图11H描绘了与可穿戴设备的各种交互。 具体实施方式[0028] 本发明所述的实施例为用于与可穿戴电子设备101交互的方法和系统。如图1中所示，可穿戴设备101包括：惯性测量单元(IMU)或者振动传感器102(例如，加速度计或者陀螺仪)以及软件(例如，内核/操作系统103、分类器104、应用105和数据解码器106)。还可以存在有额外的传感器。在如图1-2所示出的实施例中，可穿戴设备的组成部分(除了振动传感器102之外)可以包括软件、固件、专用电路或者硬件与软件的任何组合。 [0029] 应用105包括可以在手势或对象被辨识后启动的用户界面。举例来说，如果用户抓握电子牙刷，那么可穿戴设备101将启动定时器以确保用户刷适当长的时间。图2示出可穿戴电子设备101的可替换的实施例，在该实施例中不存在数据解码器106。当用户不期望使用数据传输时，可以使用此实施例。 [0030] 虽然大多数可穿戴电子设备101(包括智能手表、活动跟踪器，以及其它被设计成可穿戴在身体上的设备)含有能胜任的IMU 102，但这些设备101中现存的软件通常会将加速度计数据访问限制在约100Hz。此速率足以用于检测粗糙的动作(例如，屏幕方向的变化)或者显而易见的交互(例如，步行、坐着或者站立)。然而，这些IMU 102常常支持高达数千赫兹的明显更高的取样速率。在这些更快的取样速度下，可穿戴设备101可以捕获由人类用户发起或者经历的细微移动和细粒度移动(nuanced and fine-grained movement)。与水一样，人体是不可压缩的介质，从而使得人体成为卓越的振动载体。举例来说，当在4000Hz下取样时，振荡达2000Hz的振动(例如，手势、被抓握的对象)可以被感测并被识别(根据奈奎斯特定理)。此优良的灵敏度将可穿戴设备101变换为能够检测经由人体传播的微小的压缩波的生物声学传感器。 [0031] 举例来说，图3A-3D示出了100Hz加速度计信号与4000Hz加速度计信号之间的比较。如图3A中所示，在稳态下，两种信号看似相同。然而，100Hz加速度计错过了通过手臂传播的高频率微振动(图3B)，而在4000Hz的取样速率下，牙刷电机的正弦振荡清晰可见。特有的振动可来自振荡的对象、手的手势(图3C)以及机械对象的操作(图3D)。100Hz信号捕获粗略的脉冲，但得不到有用的频谱信息。每个活动和对象产生特有的振动声学明显特征，并且更关键地，其仅在与用户的手或者其它身体部位相接触时才会被捕获。这些高保真信号类似于那些由麦克风捕获的信号，但没有任何听得见的外部噪声。 [0032] 与任何介质一样，人类手臂典型地放大或衰减处于不同频率的振动。因此，特定频率更容易通过人体传输。图4A描绘用户的实例，该用户手腕上佩戴有手表101，图4B示出此类型配置(经过校准的，手表+手臂)的共振曲线。从20Hz到1kHz之间的振动频率通过手臂传输得特别好，其中凸峰在约170Hz和约750Hz。鉴于此知识，可以调谐可穿戴设备101以获得最佳性能。 [0033] 在一个示例性实施例中，可穿戴电子设备101包括LG G W100智能手表。在此实例中，所述智能手表包括能够在每秒4000个样本的速度下测量加速度的InvenSense MPU6515IMU 102。此类型的IMU 102可在许多流行的智能手表和活动跟踪器中找到。尽管具有较高的取样速率能力，但通过Android Wear API获得的最大速率是100Hz。因此，为了检测用户动作，必须修改设备上的Linux内核103，从而使用定制驱动程序来取代现存的加速度计驱动程序。 [0034] 在使用智能手表的实例中，内核驱动程序经由内部集成电路(inter-integrated 2 circuit，I C)与IMU 102连接，从而配置IMU 102寄存器以实现其记录在案的高速操作。值得注意的是，这需要系统使用搭载了4096字节的FIFO(先入先出队列)的IMU102以避免过度唤醒系统CPU。然而，此FIFO仅存储160ms的数据(每个数据样本由针对于三轴中的每一者的 16位样本组成)。因此，驱动程序被配置成在专用的内核线程中轮询加速度计，所述专用的内核线程每50ms将加速度计FIFO读取到更大的缓冲器中。总的来说，所述线程使用可穿戴设备101的四个CPU内核中的一者的约9％。 [0035] 为了提高具有非温度稳定的内部时钟的系统的准确度，校正得以进行。对于未校正的时钟，当CPU温度升高时，会经历更高的取样速率。举例来说，取样速率可在3990Hz(手表休眠、离开手腕)与4080Hz(在手臂上、高CPU活动)之间变化。为了校正此误差，在一个实施例中，内核驱动程序被优化以计算速率，该速率为使用纳秒级精度的内核时间戳将样本写入到MPU的FIFO缓冲器中的速率。对于需要精确的取样速率的应用，例如共振性能分析和数据传输的应用，使用能够支持连续可变的输入样本速率的基于正弦的插值器，将输入数据归一化为4000Hz。 [0036] 在与可穿戴电子设备101交互的一个示例性方法中，由可穿戴设备101检测和归类由用户执行的独特的手的手势，例如轻弹、拍手、打响指、划擦和轻拍。随后，通过辨识由动作产生并通过手臂传播的具有区别性的微振动来对每个手势进行分类。依据手势的位置和类型，产生不同频率的振动。随后，各种频率在传播期间发生衰减(例如，解剖学特征可以充当无源振动声学滤波器)。所得的频率曲线使得许多手势可以被唯一地识别。许多类型的手势可以被辨识，例如单手手势、双手手势以及作用在身体上的触摸输入(参见图5)。 [0037] 图6示出了根据一个实施例的方法的流程图。在步骤601中，提供能够在约4000Hz的速率下获取数据的可穿戴电子设备101。在步骤602处，将可穿戴设备101置于第一身体部位上。接下来，在步骤603期间，由振动传感器102获取数据。所述数据涉及和与可穿戴设备101相接触的身体部位相距一定距离的身体部位的运动。对于使用智能手表的实例，手腕将是第一身体部位，而手或者手指将是运动的身体部位。在步骤604中，数据被加以分析。此步骤可以简单地确定数据是否为结构化的振动数据或者手的动作。最后，在步骤605中，通过可穿戴设备101向用户提供反馈。所述反馈可以包括以下动作：启动应用、提供可听提示或者简单地在屏幕上显示消息。 [0038] 一旦在可穿戴设备101上接收到生物声学信号，便可以实时地完成若干信号处理操作以检测和分类手的手势。对于每一个传入的信号帧t，对来自每条加速度计轴的数据计算快速傅里叶变换(FFT)的功率谱，从而产生三个功率谱Xt、Yt、Zt。可选地，使用FFT上的汉明窗来使频谱波段最小化。为了使得在手的定向上的感测具有抗变换性，移除直流分量并且通过取三轴中的最大值(Ft,i＝max(Xt,i,Yt,i,Zt,i))将三个FFT组合为一个。 [0039] 接下来，计算过去的20个FFT频谱的平均值(Si＝μ(Ft,i,Ft-1,i,…,Ft-w+1,i)，w＝20)，并且从平均的信号中提取统计学特征：平均数、总和、最小值、最大值、一阶导数、中值、标准偏差、范围、频谱波段比率(spectral band ratios)以及n个最高峰值(n＝5)。这些特征形-12成基于SMO的支持向量机(SVM)(多内核(poly kernel)，ε＝10 ，经归一化)的输入以用于实时分类。在此示例性实施例中，所述波段比率、峰值、平均数和标准偏差能够提供生物声学信号的辨别力的90％。表1描述了这些特征和使用它们背后的动机。 [0040] [0041] 表1 [0042] 当将手的手势与相关的运动跟踪(例如，来自于IMU 102的原生数据)组合时，示例性实施例揭示了一系列的交互方式(参见图7)。这些包含：按钮、滑块、径向旋钮、计数器、分层导航以及位置跟踪。 [0043] 在另一示例性实施例中，本发明所述的方法可用来识别被抓握的对象301。对于识别了的对象，可穿戴电子设备101可以自动地启动情境相关联的功能或者应用。举例来说，当用户操作机械或者电机驱动的设备时，对象301产生特有的振动，该特有的振动传递到操作者身上。可穿戴电子设备101能够获取这些信号，所述信号可以经过分类，从而允许交互性应用更好地理解它们的用户所处的情境并且进一步扩增广泛的日常活动。 [0044] 使用用于手势的相同的信号处理管道来进行对象检测，但参数有微调(w＝15,n＝15)。另外，数据分析步骤包括用于稳定辨识的简单的投票机制(大小＝10)。所述方法辨识广泛的对象301(参见图8)，从而扩展丰富的、具有情境敏感性的应用的能力。 [0045] 在另一可替代的实施例中，可以使用本发明所述的方法来扩增具有结构化的振动的环境和对象。举例来说，在一个实施例中，“振动标签”201包括由标准音频放大器驱动的3 小型(2.4cm)SparkFun COM-10917骨传导传感器，使用所述“振动标签”201来扩增用户环境。当用户触摸标签201时，已调制的振动以生物声学的方式传输到可穿戴电子设备101，所述可穿戴电子设备解码声学包并且提取数据有效负载(参见图9A、图9B)。该标签201使用起来很像RFID或者二维码，采用完全正交的信号方式(振动-声学)。此方法的独特益处是，仅在物理触碰(即，不仅仅是接近)之后触发，并且不受诸如照明条件的变化的影响。 [0046] 在一个实施例中，振动-标签201对于用户而言是听不到的，但其仍然能够高速地传输数据。因为IMU 102可以感测达2KHz的频率，所以无法使用超声波频率(例如，16kHz以上的频率)。此外，高于300Hz的频率也不能使用，因为所述频率会向用户显现为能听到的“嗡嗡”声。因此，在一个实施例中，将200Hz用作用于数据传输的合适的载波频率。然而，本领域技术人员应该了解，可以使用其它频率，尤其在可以听到的声音是在可容忍的情况下。 [0047] 在一个示例性实施例中，数据传输系统是完整的堆栈信号管道，其由数据分包层(data packetization)、错误检测层、错误校正层和调制层组成。将输入数据流分割为单独传输的数据包。在一个实例中，格式包括与数据有效负载组合的8位序列号。包的大小受错误检测和错误校正层约束；在此实施例中，包的长度大小可以多达147位。为了检测传输错误并确保不会意外地接受不良数据，可选地，将8位循环冗余校验(CRC)附加在消息上。在此实例中，通过截断消息的Adler-32CRC来计算CRC。 [0048] 接下来，错误校正被应用。虽然此阶段也检测错误(如同CRC)，但其主要目的是减轻较小的传输问题的影响。在示例性实施例中，使用RS编码(Reed-Solomon code)，其中每个符号有5位，允许系统每个消息具有31个符号(总共155位)。选择这些参数以允许使用共同的调制参数在约一秒内传输单个消息。ECC符号的数目可以经过调整以补偿噪声更多的传输方案。 [0049] 此时，整个消息+CRC+ECC得以传输，总共155位，作为已调制的振动。可以使用四种不同的调制方案，使用二进制格雷编码将位串编码为符号： [0050] 幅移键控(ASK)：数据通过改变载波信号的振幅来进行编码； [0051] 频移键控(FSK)：数据通过传输载波信号的频率倍数来进行编码； [0053] 正交振幅调制(QAM)：当相位和振幅变化时进行数据编码，其中根据将相位和振幅的组合映射到位序列的星座图来编码符号。 [0054] 在可替换的实施例中，所述方法产生具有由处于100Hz、300Hz和200Hz的三个20ms线性调频信号组成的短报头序列的消息。此序列容易辨识并且相当不可能意外出现。此外，在报头中存在300Hz线性调频信号防止了在传输中间的偶然检测。最后，200Hz线性调频信号为ASK、PSK和QAM传输方案提供相位和振幅参考，从而不需要标签201与可穿戴设备101之间的时钟同步。 [0055] 在穿戴电子设备101自身上执行解码。解码器106从加速度计或者IMU 102连续不断地读取样本，将所述样本转换为6400Hz(以简化FFT计算)，并且持续地搜寻报头序列。当找到时，解码器106解调信号(使用200Hz报头线性调频信号的振幅和相位)、执行解码、验证CRC，并且向应用报告作为结果的消息(如果解码成功)。 [0056] 在本发明所述方法的示例性演示中，招募了18位参与者(10位女性，平均年龄25.3，17位惯用右手)进行现场用户研究。参与者被要求在佩戴可穿戴电子设备101的同时执行一连串任务。由于用户解剖学的变化可能会影响生物声学信号的传播，所以记录了用户的体重指数(BMI，平均值＝22.3)以便进一步地探索感测技术的准确度。为了验证在不同设备101中所述方法的抗变化性，所述研究使用了相同模型的两个不同设备101(手表A和手表B)，每个用户是随机的。所有的机器学习模型在手表A上进行了训练，但被部署在两个手表101上并且进行测试。 [0057] 为了测试手势辨识的准确度，针对每个手势集合，不同的机器学习模型进行了训练(图5)。针对每个参与者校准了每个模型，即，针对每个用户训练了模型。在所有17位用户和17个手势中(在所有三个手势集合中)，所述方法实现了94.3％的平均准确度(SD＝4.1％)。在用户与他们的BMI之间不存在统计学上的显著差异。 [0058] 对于对象检测，使用单个可穿戴电子设备101从同一位用户处收集了关于29个对象的数据。所收集的数据随后用于训练机器学习模型。图8中示出了示例性对象集合和它们的生物声学明显特征。 [0059] 在从单个用户收集到数据之后，为使用相同的29个对象301的所有17位参与者进行实时对象分类。对象散布在六个位置以改变环境条件。这些位置包含：个人办公桌区域、共享的木工工厂、办公室、厨房和浴室、公共公用区域以及停车空间。此外，所有对象301是在不同于对其进行训练地的其它位置进行测试。单个试验涉及与29个对象301中的一者交互的用户。简单地向参与者展示如何操作对象301(出于安全性)，但允许其随他们的意愿自由抓握对象。对象301在每个位置是随机的(而不是在全局随机)。 [0060] 在29个对象301、17位用户中，并且在使用四周前由单个人员训练的数据的情况下，获得了91.5％的整体对象检测准确度(SD＝4.3％)。同时，发现两个异常对象301，其比平均值低3.5个标准偏差。当去除这两个异常对象301时，所述方法回到94.0％的整体准确度(27个对象)，其中，多个对象301达到100％的准确度。另外，在用户的体重指数或对象301位置之间未发现统计学上的差异。总的来说，这些结果表明，跨用户和跨环境的对象检测实际上是准确且具有抗变换性的，并且对象生物声学明显特征随着时间的变迁始终是一致的。 [0061] 在另一示例性实施例中，所述方法可辨识出结构化的振动，所述结构化的振动与ASK、PSK、FSK和QAM调制方案的若干变化形式一同使用。另外，可以使用多种符号速率和多种每符号位数(bits-per-symbol)配置。举例来说，配置可以包含：4-FSK(每符号2位、50Hz、100Hz、150Hz和200Hz的传输频率)，4-PSK(每符号2位)、8-PSK(每符号3位)、8-QAM(每符号3位，非矩形星座)、16-QAM(每符号4位，非矩形星座)。 [0062] 使用上述各种方案，1700次试验与位错误率结果一起被收集，其是将接收到的经解调的消息与原始传输的消息进行比较。(参见图10)。原始位传输速率表明调制方法的数据传输速度，而误码率(BER)则表明所接收的消息中的不正确的位的百分比。在所有条件下，位错误分布具有显著的长尾：大多数消息被正确地接收，但少量消息被接收时有许多错误。 [0063] 与波纹(Ripple)对等的第80百分位的BER(BER80)用于取得更好的分布的感觉。此测量对错误校正参数的选择具有实际的影响：如果选择可以校正达BER80的错误的错误校正方案，则可以预期能够成功地解码80％的传输包。 [0064] 结果显示4-PSK在所有条件下在BER方面提供最佳的性能(在考虑到原始位速率时)。在0.6％的BER80(0.93个消息位)的情况下，仅需要将2个RS ECC(Reed-Solomon ECC)符号添加到我们的消息以便校正80％的消息，从而为有效负载留下137位。通过手指、手和手腕传输，此有效负载花费0.83秒进行传输(在每秒200位速度下的155位，加上报头开销)，总的传输速率为每秒165位(具有20％的包丢失率)。 [0065] 在利用加速度计和IMU 102的系统中，至关重要的是要减少对错误肯定(即，无意触发的动作)的检测。为了验证所述方法对错误肯定的抵抗性，使用大量的背景数据(即，否定的训练实例)来训练分类器。在此实例中，要求17位参与者在不同的位置执行若干普通且在物理上缜密的活动。这些活动包含：步行两分钟；原地慢跑30秒；执行开合跳30秒；阅读杂志或书1分钟；以及洗手30秒。这五个活动随机散置于整个对象检测研究中(即，当用户在六个建筑物位置中的每一者之间转移时)。 [0066] 在参与者执行这些活动时，记录由系统触发的“错误检测”(非“空”或者“无对象”的任何预测被视为错误肯定)的数目。在17位用户、六个随机位置以及五个活动中统共持续77分钟的试验，所述方法触发总共六个错误肯定分类。对于17位参与者中的12位，所述系统未触发错误肯定。这些结果表明，通过将机器学习模型暴露于大量的否定实例中，错误肯定可以极大程度地减少。 [0067] 本文描述的方法打开了增强与可穿戴电子设备101的交互的可能性。可以使用手的手势占用手表周围的区域以进行输入和感测。举例来说，在智能手表启动器中，可以将导航控制置于皮肤上(例如，左、右、选择)，并且使得用户能够使用轻弹手势经由分层结构进行回溯(图11A)。 [0068] 交互的其它实例可以包括以下内容。手势可以用来控制远程设备。举例来说，用户可以拍手来开启最近的电器，例如TV；可以挥手导航以及可以打响指提供输入确认。可以使用轻弹手势导航层叠式菜单(图11B)。 [0070] 由于本发明的方法还可以用于识别对象301，所以应用提供了更好地理解情境并且扩增日常活动的能力。举例来说，可以通过在准备餐食的过程中使用的感测设备来提升厨房体验，并且例如提供用于使用打蛋器混合配料的进度指示标识(图11D)。应注意，一旦辨识出对象，反馈被提供在与可穿戴设备101分开的设备上。 [0071] 所述方法还可以感测无动力的对象301，例如原声吉他。举例来说，所述方法可以在每当抓握吉他时检测最近的音符，并且提供可视化的反馈以精确地调准乐器(图11E)。检测发生在触摸时，这使得其对环境中的外部噪声具有抗变换性。 [0072] 通过对象感测，所述方法还可以扩增具有数字交互性的模拟体验。举例来说，对于NEF枪(Nerf gun)来说，所述方法可以检测到新的弹药夹的装载，并且随后保持对剩余镖数进行计数(图11F)。 [0073] 许多类别的对象301不发出特有的振动。然而，通过振动-标签201，对象可以发出含有数据的听不见的结构化振动。举例来说，喷胶枪(电动的而非机械的)可以装备有振动-标签201。标签201广播对象ID，这使得可穿戴设备101能够知晓握持有何种对象301。其还传输元数据，例如，其当前温度和理想操作范围(图11G)。 [0074] 结构化振动对于扩增具有动态数据或者交互性的固定基础设施也是有价值的。举例来说，在办公室环境中，用户可以通过触摸加设有振动-标签201的房间名牌来获取有关于使用者的更多信息，例如，所述振动-标签201向可穿戴设备101传输人员的联系细节(图11H)。 [0075] 虽然已经详细地并且参考上述公开的特定实施例描述了本公开，但对于本领域技术人员而言在不脱离实施例的精神和范围的情况下所作出的各种改变和修改是显而易见的。因此，假使本公开的修改和变化落入所附权利要求书和所附权利要求书的等效替换的范围内，应该认为本公开涵盖所述修改和变化。 |
||||||
QQ群二维码
意见反馈
意见反馈