首页 / 专利库 / 生物工程 / 脑机接口 / 用于处理神经信号的系统和方法

用于处理神经信号的系统和方法

阅读:244发布:2020-12-01

专利汇可以提供用于处理神经信号的系统和方法专利检索,专利查询,专利分析的服务。并且提供了用于处理神经 信号 的系统和方法。一种神经数据分析系统可以包括特征提取模 块 ,该特征提取模块被配置用于(1)从具有多个通道或 电极 的植入神经 接口 探针获取的神经信号 波形 提取多个特征,其中从所述神经信号波形提取所述多个特征而不需要所述神经信号波形的先前数字化,以及(2)传输提取的特征作为多个离散输出。神经数据分析系统还可以包括特征-事件合并模块,该特征-事件合并模块被配置用于:(1)接收来自特征提取模块的多个离散输出,以及(2)基于特征-事件统计、 生物 电信号 的先验知识和/或所述特征提取模块的行为模型来构建生物电活动的基于模型的推断。神经数据分析系统还可以包括逼近器模块,该逼近器模块被配置用于(1)接收来自特征-事件合并模块的多个合并事件,以及(2)对所述合并事件数据应用一系列变换以生成更高熵神经编码,其中所述神经编码包括由所述系统记录的多个神经元的总体活动的表示。,下面是用于处理神经信号的系统和方法专利的具体信息内容。

1.一种神经数据分析系统,包括:
特征提取模,其被配置用于(1)从具有多个通道或电极的植入神经接口探针所获取的神经信号波形提取多个特征,其中从所述神经信号波形中提取所述多个特征而不需要所述神经信号波形的先前数字化,以及(2)将所提取的特征作为多个离散输出进行传输;
特征-事件合并模块,其被配置用于(1)接收来自所述特征提取模块的所述多个离散输出,以及(2)基于特征-事件统计、生物电信号的先验知识和/或所述特征提取模块的行为模型,构建生物电活动的基于模型的推断;以及
逼近器模块,其被配置用于(1)接收来自所述特征-事件合并模块的多个合并事件,以及(2)对所述合并事件数据应用一系列变换以生成更高熵神经编码,其中所述神经编码包括由所述系统记录的多个神经元的总体活动的表示。
2.如权利要求1所述的神经数据分析系统,其中所述特征-事件合并模块被配置用于执行(2)的步骤,而不基于一动作电位信息无法归因于来源神经元而丢弃该动作电位信息。
3.如权利要求1所述的神经数据分析系统,其中所述特征-事件合并模块被配置用于执行(2)的步骤,而不需要将每个事件归类为与特定神经元相关,但不丢弃原本会使得这样的归类成为可能的特征。
4.如权利要求1所述的神经数据分析系统,其中所述神经接口探针包括大规模并行电极阵列。
5.如权利要求4所述的神经数据分析系统,其中所述大规模并行电极阵列包括结合到读出集成电路(ROIC)的多个微导线,并且其中所述ROIC包括多个CMOS像素传感器
6.如权利要求5所述的神经数据分析系统,其中所述多个微导线的远端是柔性的,并且当所述神经接口探针被植入到大脑中时与神经物质相接触
7.如权利要求1所述的神经数据分析系统,其中所述神经信号波形是由所述植入神经接口探针获取的细胞外动作电位波形或细胞内动作电位波形。
8.如权利要求1所述的神经数据分析系统,其中所述特征提取模块是CMOS传感器阵列,并且所述特征提取模块包括一个或多个低功率、混合信号集成电路。
9.如权利要求8所述的神经数据分析系统,其中所述CMOS阵列的一个或多个像素结合到所述神经接口探针的一个或多个通道或电极。
10.如权利要求8所述的神经数据分析系统,其中所述一个或多个检测电路包括一个或多个模拟电路和低分辨率(<10位)模数转换器。
11.如权利要求8所述的神经数据分析系统,其中所述一个或多个检测电路包括对所述神经信号的一个或多个模拟变换操作。
12.如权利要求11所述的神经数据分析系统,其中所述一个或多个模拟变换操作使用多个传递函数对所述神经信号进行变换,所述多个传递函数构成用于谱分解的基集。
13.如权利要求12所述的神经数据分析系统,其中所述基集包括多个特征向量(例如,主成分分析、最少判别分析)或小波基集。
14.如权利要求9所述的神经数据分析系统,其中所述一个或多个检测电路被配置用于通过以下各项来传输所述多个特征:
(a)基于一组预定触发条件对所述神经信号波形或这些神经波形的变换进行采样,以及传输一个或多个模拟值或数字值,或者
(b)传输使得所述触发条件存在的一个或多个二元脉冲。
15.如权利要求14所述的神经数据分析系统,其中所述一组触发条件包括以下各项中的至少一个:(1)神经信号波形的电压幅度达到、超过或降至低于第一阈值;(2)所述神经信号波形的导数达到、超过或降至低于第二阈值;(3)所述神经信号波形的积分达到、超过或降至低于第三阈值;(4)一比率准则;(5)所述神经信号达到局部最大值或局部最小值,或者(6)所述信号的经变换版本达到任何相同的前述条件。
16.如权利要求15所述的神经数据分析系统,其中所述神经信号波形的积分器是漏积分器。
17.如权利要求15所述的神经数据分析系统,其中所述比率准则包括所述神经信号波形内的两个或更多个频带之间的相对功率的比较。
18.如权利要求14所述的神经数据分析系统,其中所述特征提取电路产生所述神经信号波形的若干个并行变换。
19.如权利要求18所述的神经数据分析系统,其中一个或多个采样电路被配置用于:通过基于在另一波形上检测到的触发条件对所述神经信号波形或其变换中之一进行采样,来传输多个特征。
20.如权利要求18所述的神经数据分析系统,其中触发事件的检测与特征的传输之间的时间具有0毫秒至10毫秒之间的固定延迟。
21.如权利要求1所述的神经数据分析系统,其中编码方案对具有毫秒时间精度的合并事件的相对时序敏感,并且编码方案包含该相对时序。
22.如权利要求1所述的神经数据分析系统,其中所述特征提取模块位于人体内,而所述特征-事件合并模块位于人体外,并且其中所述特征提取模块还被配置用于以阈值电压和功率或者更低的电压和功率将包含所述多个特征的数据从所述人体传出并传输到所述特征-事件合并模块,从而降低在所述人体内耗散的功率总量。
23.如权利要求22所述的神经数据分析系统,其中所述特征提取模块被配置用于:使用能够穿过约1mm至4mm人体组织进行传输的低能波长电磁辐射来将包含所述多个特征的所述数据从所述人体传出。
24.如权利要求23所述的神经数据分析系统,其中使用60GHz微波收发器、基于VCSEL的红外收发器或超宽带(UWB)收发器来提供所述低能波长电磁辐射
25.如权利要求1所述的神经数据分析系统,其中所述特征-事件合并模块被配置用于基于不同的特征子集来重建不同的合并事件。
26.如权利要求1所述的神经数据分析系统,其中所述特征-事件合并模块被配置用于标识多个特征并将其汇合成单个合并事件。
27.如权利要求26所述的神经数据分析系统,其中所述多个特征是基于当信号波形的电压平、电压水平的时间导数或电压水平的时间积分相对于一个或多个预定参考电压上升或下降时满足一个或多个阈值条件。
28.如权利要求26所述的神经数据分析系统,其中所述单个合并事件对应于一个或多个完整动作电位波形。
29.如权利要求26所述的神经数据分析系统,其中所述特征-事件合并模块被配置成将时间动态纳入考虑,该时间动态区分来自不同来源的动作电位,从而通过标识关于这些动态的信息而将所述特征汇合成所述单个合并事件。
30.如权利要求27所述的神经数据分析系统,其中使用以下各项中的一个或多个先验知识从而使动作电位动态的部分重建成为可能:(1)在所述特征提取模块中所使用的电子电路的一个或多个特性;(2)所植入的所述神经接口探针的类型、结构和/或制造工艺;(3)所述神经信号波形跨所述探针的多个通道和所述特征提取模块的传输;(4)所述探针的相邻电极相对于一个或多个神经元的位置;或者(5)神经生物物理学。
31.如权利要求1所述的神经数据分析系统,其中所述一个或多个神经活动的表示包括以下特性中的一个或多个:(1)低维度;(2)稀疏编码;以及(3)对噪声或信号变换的不变性。
32.如权利要求31所述的神经数据分析系统,其中所述噪声或信号变换在所述神经接口探针相对于大脑内的神经组织移动时发生。
33.如权利要求31所述的神经数据分析系统,其中所述噪声或信号变换在所述神经接口探针随时间推移在大脑内经受电化学劣化时发生。
34.如权利要求31所述的神经数据分析系统,其中所述噪声或信号变换在包括瘢痕组织形成和神经胶质增生的生物结构改变所述神经接口探针的电记录性质时发生。
35.如权利要求1所述的神经数据分析系统,其中所述逼近器模块被配置用于使用以下各项中的一个或多个来生成所述神经编码:概率图模型、包括用于查找稀疏解的L1/L2正则化的矩阵方法,或者用以查找低秩矩阵近似的基于特征向量的方法。
36.如权利要求1所述的神经数据分析系统,其中所述逼近器模块被配置用于执行一个或多个机器学习方法,所述一个或多个机器学习方法根据自我学习或无监督的一组基础来对所述多个合并事件进行分解,同时在分解步骤期间并入一个或多个约束或先验。
37.如权利要求1所述的神经数据分析系统,其中所述逼近器模块被配置用于执行一个或多个机器学习方法,所述一个或多个机器学习方法根据监督式训练方案来对所述多个合并事件进行分解,同时在分解步骤期间并入一个或多个约束或先验。
38.如权利要求36或37所述的神经数据分析系统,其中所述一个或多个约束或先验包括关于底层神经动态的信息。
39.如权利要求1所述的神经数据分析系统,其中使用神经网络来实现所述逼近器模块,所述神经网络包括自动编码器、堆叠自动编码器、消噪自动编码器、长短期记忆网络和/或深度信念网络
40.如权利要求1所述的神经数据分析系统,其中所述逼近器模块包括编码器和解码器,其中所述编码器还包括多个编码层,其中每个编码层包括具有第一多个数值权重的第一多个节点,并且其中所述解码器还包括多个解码层,其中每个解码层包括具有第二多个数值权重的第二多个节点。
41.如权利要求40所述的神经数据分析系统,其中所述逼近器模块的所述神经编码源自自动编码器的隐层,并且其中所述神经编码包括具有第三多个数值权重的第三多个节点,并且这些中间层充当所述逼近器在正常发挥功能期间的输出,而所述解码器的输出用于错误检查、训练和诊断目的。
42.如权利要求41所述的神经数据分析系统,其中所述编码器被配置用于从所述特征-事件合并模块接收作为向量的所述合并事件,并且其中每个连续的编码层被配置用于对所述向量应用矩阵变换,并且其中通过限制所述网络的一个或多个中间层的大小来实现维度降低。
43.如权利要求42所述的神经数据分析系统,其中所述解码器被配置用于撤消所述维度降低以便计算在所述编码器的每个层处应用的权重矩阵的准确度。
44.如权利要求43所述的神经数据分析系统,其中每个连续的解码层被配置用于对所述神经编码施加矩阵变换,直至来自所述解码层的输出再现向所述编码层的输入。
45.如权利要求44所述的神经数据分析系统,其中所述逼近器模块被配置用于应用优化算法以更新所述编码器、解码器和神经编码的每个层中的每个节点处的权重,以及迭代地应用所述优化算法直至在所述解码器的输出处评价的目标函数达到预定最小值。
46.如权利要求45所述的神经数据分析系统,其中以迭代的方式将所述解码器的输出提供为向所述编码器的输入。
47.如权利要求46所述的神经数据分析系统,其中通过所述解码器的最终层的节点的权重来限定输出。
48.如权利要求47所述的神经数据分析系统,其中所述目标函数是L1误差,该L1误差由所述输出与向所述编码器的所述输入之间的绝对差值之和给出。
49.如权利要求48所述的神经数据分析系统,其中所述目标函数是L2误差,该L2误差由所述输出与向所述编码器的所述输入之间的平方差之和给出。
50.如权利要求47所述的神经数据分析系统,其中所述目标函数是LN误差,或者任意维度N的广义p范数误差。
51.如权利要求47所述的神经数据分析系统,其中所述目标函数对于每次迭代保持不变。
52.如权利要求47所述的神经数据分析系统,其中所述目标函数在连续的迭代之间改变。
53.如权利要求47所述的神经数据分析系统,其中将通过所述目标函数计算得出的误差与基于预定阈值的条件进行比较,并且
(1)当所述误差满足所述条件时:接受针对迭代的神经编码,并且从所述逼近器模块输出所述神经编码的值;以及
(2)当所述误差不满足所述条件时:迭代地更新所述编码器、神经编码和解码器的每个层中的每个节点的权重,直至满足所述条件。
54.如权利要求53所述的神经数据分析系统,其中所述条件对于每次迭代保持不变。
55.如权利要求53所述的神经数据分析系统,其中所述条件在连续的迭代之间改变。
56.如权利要求40所述的神经数据分析系统,其中对所述编码层或所述解码层中的一个或多个应用稀疏性限制。
57.如权利要求1所述的神经数据分析系统,其中所述神经编码用于控制一个或多个脑机接口设备,并且其中所述设备包括语音合成器或假肢。
58.一种用于分析神经信号的方法,包括:
借助于特征提取模块:(1)从具有多个通道或电极的植入神经接口探针所获取的神经信号波形中提取多个特征,其中从所述神经信号波形提取所述多个特征而不需要所述神经信号波形的先前数字化,以及(2)将提取的特征作为多个离散输出进行传输;
借助于特征-事件合并模块:(1)接收来自所述特征提取模块的所述多个离散输出,以及(2)基于特征-事件统计、生物电信号的先验知识和/或所述特征提取模块的行为模型,构建生物电活动的基于模型的推断;以及
借助于逼近器模块:(1)接收来自所述特征-事件合并模块的多个合并事件,以及(2)对所述合并事件数据应用一系列变换以生成更高熵神经编码,其中所述神经编码包括由所述系统记录的多个神经元的总体活动的表示。
59.如权利要求58所述的方法,其中生成所述多个合并事件,而不基于一动作电位信息无法归因于来源神经元而丢弃该动作电位信息。
60.如权利要求59所述的方法,其中生成所述多个合并事件,而不需要将每个事件归类为与特定神经元相关,但不丢弃原本会使得这样的归类成为可能的特征。
61.如权利要求58所述的方法,其中所述神经接口探针包括大规模并行电极阵列。
62.如权利要求61所述的方法,其中所述大规模并行电极阵列包括结合到读出集成电路(ROIC)的多个微导线,并且其中所述ROIC包括多个像素传感器。
63.如权利要求62所述的方法,其中所述多个微导线的远端是柔性的,并且当所述神经接口探针被植入到大脑中时与神经物质相接触。
64.如权利要求58所述的方法,其中所述特征提取模块包括一个或多个检测电路,所述一个或多个检测电路连接到所述神经接口探针的一个或多个像素传感器。
65.如权利要求64所述的方法,其中所述一个或多个检测电路被配置用于通过基于一组预定条件对所述神经信号波形进行采样来提取所述多个特征。
66.如权利要求65所述的方法,其中所述一个或多个检测电路被配置用于通过以比用于完整重现所述神经信号波形的奈奎斯特采样率显著更低的降低的采样率对所述神经信号波形进行采样来提取所述多个特征。
67.如权利要求58所述的方法,其中所述特征提取模块位于人体内而所述特征-事件合并模块位于所述人体外,并且其中所述特征提取模块还被配置用于以阈值电压和功率或者更低的电压和功率将包含所述多个特征的数据从所述人体传出并传输到所述特征-事件合并模块,从而降低在人体内耗散的功率总量。
68.如权利要求67所述的方法,其中所述特征提取模块被配置用于使用能够穿过约1mm至4mm人体组织进行传输的低能波长电磁辐射来将包含所述多个特征的所述数据从所述人体传出。
69.如权利要求68所述的方法,其中所述特征-事件合并模块被配置用于基于不同的特征子集来重建不同的合并事件。
70.如权利要求69所述的方法,其中使用神经网络来实现所述逼近器模块,所述神经网络包括自动编码器、堆叠自动编码器、消噪自动编码器、深度信念网络、递归神经网络和/或长短期记忆网络。
71.如权利要求70所述的方法,其中将所述神经编码提供为所述逼近器模块的最狭缩层,并且其中所述神经编码包括来自具有多个数值权重的多个节点的输出。
72.如权利要求71所述的方法,其中所述神经编码用于控制一个或多个脑机接口设备,并且其中所述设备包括语音合成器或假肢。
73.一种有形计算机可读介质,其储存指令,所述指令在由一个或多个处理器执行时导致所述一个或多个处理器执行用于分析神经信号的方法,所述方法包括:
(1)从具有多个通道或电极的植入神经接口探针获取的神经信号波形中提取多个特征,其中从所述神经信号波形提取所述多个特征而不需要所述神经信号波形的先前数字化,以及(2)将提取的特征作为多个离散输出进行传输;
(1)接收来自所述特征提取模块的所述多个离散输出,以及(2)基于特征-事件统计、生物电信号的先验知识和/或所述特征提取模块的行为模型,构建生物电活动的基于模型的推断;以及
(1)接收来自所述特征-事件合并模块的多个合并事件,以及(2)对所述合并事件数据应用一系列变换以生成更高熵神经编码,其中所述神经编码包括由所述系统记录的多个神经元的总体活动的表示。
74.一种用于分析神经信号的系统,包括:
一个或多个处理器,其被配置用于执行一组软件指令以执行如权利要求58所述的方法;以及
一个或多个存储器单元,其用于储存所述一组软件指令,所述神经信号波形、所述多个提取的特征、所述多个合并事件以及所述神经编码。
75.如权利要求37所述的神经数据分析系统,其中所述监督式训练方案包括外部变量,并且其中所述逼近器模块具有使用所述神经编码来预测所述外部变量的能
76.一种神经数据分析方法,包括:
接收植入神经接口探针获取的神经信号;以及
从所述神经信号提取多个特征,而不需要所述神经信号的先前数字化。
77.如权利要求76所述的方法,其中所述神经信号包括模拟波形数据。
78.如权利要求76所述的方法,其中使用特征提取模块从所述神经信号提取所述多个特征,所述特征提取模块包含至少一个模拟电路。
79.如权利要求78所述的方法,其中在所述神经接口探针的芯片上提供所述特征提取模块。
80.如权利要求79所述的方法,其中从所述神经信号提取所述多个特征,而不像需要对所述神经信号的持续或实时高数据速率模数转换。
81.如权利要求76所述的方法,其中所述神经信号的非数字化允许将所述芯片的功耗和/或散热降低到低于一个或多个预定阈值。
82.如权利要求76所述的方法,其中所述神经接口探针的一个或多个通道被配置用于在事件驱动配置下选择性地传输所述神经信号。
83.如权利要求82所述的方法,其中所述一个或多个通道包括(1)在瞬时点活动的一个或多个通道,以及/或者(2)在先前预定的时间段期间活动的一个或多个通道。
84.如权利要求82所述的方法,其中在事件驱动配置下对所述神经信号的选择性传输有助于降低要跨所述通道传输的所述神经信号的速率和量。
85.如权利要求82所述的方法,其中选择性地传输所述神经信号的所述一个或多个通道构成所述神经接口探针的多个通道的子集。
86.如权利要求85所述的方法,其中所述多个通道包括一个或多个电容器,所述一个或多个电容器充当用于储存与所述神经信号相关联的值并且允许对与所述神经信号相关联的过去的值的事件驱动读出的模拟存储器。
87.如权利要求76所述的方法,还包括:
在保留神经波形信息的同时基于提取的特征构建合并事件的概率模型,而不对所述神经信号中的尖峰执行尖峰分类或二元归类。
88.如权利要求87所述的方法,还包括:
预处理提取的特征以便重装配包括合并事件的所述概率模型的尖峰编码,其中所述尖峰编码能够用于生成神经编码,该神经编码包括与所述合并事件相关联的一个或多个神经活动的简洁表示。
89.如权利要求88所述的方法,其中提取的特征的预处理将以下各项纳入考虑:(1)关于细胞外动作电位波形的先验信息和/或(2)关于所述神经接口探针的固有性质的信息,其中所述固有性质包括所述神经接口探针中的一个或多个电路元件的非线性行为特性。
90.如权利要求88所述的方法,还包括:
将跨所述神经接口探针的两个或更多个通道检测到的两个或更多个离散事件组合成单个合并事件,其中所述两个或更多个离散事件具有接近于一致的相关性。
91.如权利要求88所述的方法,还包括:
通过使用一个或多个机器学习技术确定尖峰时序中的模式和神经元放电速率中的相关性来生成所述神经编码。
92.如权利要求91所述的方法,其中在以下情况下使用所述一个或多个机器学习技术来生成所述神经编码:(1)不需要关于所述神经元放电速率的先验信息,以及(2)不需要用以关联正在进行的神经活动的外部变量。
93.一种特征提取模块,其被配置用于执行如权利要求76以及权利要求77至86中的一项或多项所述方法。
94.一种特征-事件合并模块,其被配置用于执行如权利要求87以及权利要求88至90中的一项或多项所述的方法。
95.一种逼近器模块,其被配置用于执行如权利要求91和92所述的方法。
96.一种神经数据分析系统,其包括如权利要求93所述的特征提取模块、如权利要求94所述的特征-事件合并模块和/或如权利要求95所述的逼近器模块。
97.如权利要求14所述的神经数据分析系统,其中所述特征提取模块被配置用于传输检测到的事件的时间戳连同检测到的事件的值。
98.如权利要求1所述的神经数据分析系统,其中所述特征提取模块被配置用于对提取的特征进行数字化并继而将其传输作为所述多个离散输出。
99.一种神经数据分析系统,包括:
特征提取模块,其被配置用于(1)从具有多个通道或电极的植入神经接口探针获取的神经信号波形提取多个特征,其中从所述神经信号波形提取所述多个特征而不需要所述神经信号波形的先前数字化,以及(2)传输提取的特征作为多个离散输出;以及逼近器模块,其被配置用于(1)接收来自所述特征提取模块的所述多个离散输出,(2)从所述多个离散输出生成多个合并事件,以及(3)对所述合并事件数据应用一系列变换以生成更高熵神经编码,其中所述神经编码包括由所述系统记录的多个神经元的总体活动的表示。
100.如权利要求99所述的神经数据分析系统,其中所述逼近器模块被配置用于执行如任一前述权利要求所述的特征-事件合并模块的一个或多个功能。
101.一种用于分析神经信号的方法,包括:
借助于特征提取模块:(1)从具有多个通道或电极的植入神经接口探针获取的神经信号波形提取多个特征,其中从所述神经信号波形提取所述多个特征而不需要所述神经信号波形的先前数字化,以及(2)传输提取的特征作为多个离散输出;以及
借助于逼近器模块:(1)接收来自所述特征提取模块的所述多个离散输出,(2)从所述多个离散输出生成多个合并事件,以及(3)对所述合并事件数据应用一系列变换以生成更高熵神经编码,其中所述神经编码包括由所述系统记录的多个神经元的总体活动的表示。
102.如权利要求101所述的方法,其中所述逼近器模块被配置用于执行如任一前述权利要求所述的特征-事件合并模块的一个或多个功能。

说明书全文

用于处理神经信号的系统和方法

交叉引用

[0001] 本申请与出于所有目的而全文并入于此的、2016年8月25日提交的名称为“System and Methods for Processing Neural Signals”的美国临时专利申请号62/379,680有关。发明领域
[0002] 本发明涉及使用多模系统来检测数千个、数万个、数十万个或数百万个神经元的生物电活动,以及实时对关联于该活动的数据流进行高效编码。其利用大规模并行电子
检测器阵列来记录神经活动的重要特征。其还基于神经信号源和特征提取电路两者的先验
模型将所检测到的这些特征合并(coalesce)成离散生物电事件或元(epoch)。最后,其发现该神经活动数据实现压缩和/或降维的替代表示(或编码)。这些操作全都是以减少带宽和
能量需求、促进技术小型化和避免神经组织的危险加热的方式实现的。

背景技术

[0003] 人脑包含近1000亿个神经元。每个神经元生成以跨其细胞膜的时变电化学电位(动作电位,action potential)的形式的信号。由于其电化学性质,单个神经事件发生的时间尺度比计算机中实现的电子相互作用慢多个数量级。然而,人脑可以利用许多神经元的
相互作用来执行高度并行的计算。这些复杂信号级联负责所有的大脑信息处理能
[0004] 虽然神经回路需要数千个、数万个、数十万个或数百万个单个神经元的并行动作,但是目前已知的研究此类回路的方法通常只能够每次测量来自有限数目的细胞的单个神经信号。这限制了对众多神经元的网络如何产生大脑执行的范围广泛的任务的理解。因此,需要能够检测和处理来自非常大量的单个神经元的神经事件的系统和方法。神经处理的结
果可以提供对大脑如何发挥功能的更深入理解。这样的理解可以允许处理神经系统疾病
诸如失明、麻痹和神经退行性疾病。此外,增大人造电子设备与人脑之间相互作用的规模可以产生新一代的高数据速率脑机接口(brain-machine interface,BMI),该脑机接口能够
控制复杂的假肢或者传达从诸如数码相机或麦克之类的设备向大脑的感觉输入。
[0005] 处理来自大量单个神经元的信息由于所生成的大量信息而在技术上是一种挑战。每个神经动作电位(neural action potential)的连续的模数转换(ADC)通常需要具有高
位深度和采样率的ADC。为了处理来自数千个、数万个、数十万个或数百万个神经元的信息,可能需要庞大的电子设备和线缆,这可能会限制身体移动。在其他情况下,尝试使用目前的无线技术从植入的神经探针无线传输完全采样的信号可能造成神经探针中的电子电路
不期望的加热,并且有可能导致神经组织受损。
[0006] 因此,需要能够以使得从植入的神经探针传输的信息量和发出的热量最小化,同时保留足够的信息以生成关于由数千个、数万个、数十万个或数百万个神经元所生成的信
号的有用数据的方式,对来自非常大量的神经元的神经事件进行检测和处理的系统和方
法。

发明内容

[0007] 本文所述的系统和方法至少可以解决上述需求。所述系统可被配置用于接收来自神经组织的多个电信号。所述电信号可以是从数千个、数万个、数十万个或数百万个单个神经元接收到的。系统可以大幅降低对于处理神经信号的带宽要求。系统能够以避免损失与
已知尖峰分类(spike sorting)技术相关联的重要信息的方式实现上述目标。系统的实施
方式可以特别好地适用于大脑研究应用,以及临床应用,例如开发用于处理神经系统疾病
的方法。
[0008] 因此,本发明的一个目的是公开一种神经记录和编码系统,该系统包括特征提取模块和特征-事件合并模块。来自特征提取模块的输出形成向特征-事件合并模块的输入。
特征提取模块可以检测来自数千个、数万个、数十万个或数百万个神经元的神经动作电位
事件。在一些实施方式中,所述事件源自细胞外测量;在其他实施方式中,它们源自细胞内测量。事件可以源自数千个、数万个、数十万个或数百万个电极。在一些实施方式中,特征提取模块嵌入在神经组织中,而特征-事件合并模块位于体外。在这样的情况下,来自特征提取模块的信息无线传输到特征-事件合并模块。或者,特征提取模块和特征-事件合并模块
两者全都嵌入在神经组织中。在这样的情况下,来自特征-事件合并模块的信息传出体外。
在一些实施方式中,传输是经由能够穿透数毫米或数厘米生物组织的电磁手段。在一些实
施方式中,传输是经由毫米波长传输;在其他实施方式中,传输是经由红外(IR)光学手段,诸如垂直腔面发射激光器(vertical cavity surface-emitting laser,VCSEL)阵列。简单的事件检测模块能够以互补金属化物半导体(complementary metal oxide 
semiconductor,CMOS)技术实现。在一些实施方式中,使用专用集成电路(application-
specific integrated circuit,ASIC)或现场可编程阵列(field-programmable gate 
array,FPGA)来实现特征-事件合并模块;在其他实施方式中,使用中央处理单元(CPU)或通用图形处理单元(general purpose graphics processing unit,GPGPU)来实现特征-事件
合并模块。
[0009] 本发明的另一目的是公开一种神经记录系统,该系统包括特征-事件合并模块和逼近器模块。所述逼近器模块还可以称为逼近器或逼近模块。来自特征-事件合并模块的输出形成向逼近器模块的输入。在一些实施方式中,特征-事件合并模块植入在神经组织中,而逼近器模块位于体外。在这样的情况下,来自特征-事件合并模块的信息无线传输到逼近器模块。在其他实施方式中,特征-事件合并模块和逼近器模块两者全都位于体外。传输可以经由毫米波长传输;或者,传输可以经由IR光学手段诸如VCSEL阵列;再或者,传输可以经由超宽带(ultra-wideband,UWB)传输。传输可以是有线传输,例如通过经皮引线。经皮引线可以将神经信号从电极输送到身体之外的位置,例如受试者的胸部。在一些实施方式中,特征-事件合并模块以ASIC或FPGA实现;在其他实施方式中,特征-事件合并模块以CPU或
GPGPU实现。逼近器模块可以使用机器学习技术来执行。在一些实施方式中,机器学习技术是无监督机器学习技术。在一些实施方式中,机器学习技术是半监督机器学习技术。在一些实施方式中,机器学习技术是监督式机器学习技术。在一些实施方式中,无监督机器学习技术是自动编码器技术。在一些实施方式中,自动编码器技术是多层自动编码器技术。在一些实施方式中,逼近器模块以ASIC或FPGA实现;在其他实施方式中,逼近器模块以CPU或GPGPU实现。
[0010] 本发明的又一目的是公开一种神经记录系统,该系统包括特征提取模块、特征-事件合并模块和逼近器模块,其中来自特征提取模块的输出形成向特征-事件合并模块的输
入,并且来自特征-事件合并模块的输出形成向逼近器模块的输入。
[0011] 在一些实施方式中,特征提取模块检测来自数千个、数万个、数十万个或数百万个神经元的神经动作电位事件。在一些实施方式中,所述事件源自细胞外测量;在其他实施方式中,它们源自细胞内测量。在一些实施方式中,事件源自数千个、数万个、数十万个或数百万个电极。在一些实施方式中,特征提取模块嵌入在神经组织中,而特征-事件合并模块位于体外,并且来自特征提取模块的信息无线传输到特征-事件合并模块。在其他实施方式中,特征提取模块和特征-事件合并模块两者全都嵌入在神经组织中,并且来自特征-事件
合并模块的信息传出体外。传输可以经由能够穿透数毫米或数厘米生物组织的电磁手段。
传输可以经由毫米波长传输;或者,传输可以经由IR光学手段,诸如VCSEL阵列。在一些实施方式中,简单的事件检测模块以CMOS技术实现。在一些实施方式中,特征-事件合并模块以ASIC或FPGA实现;在其他实施方式中,特征-事件合并模块以CPU或GPGPU实现。
[0012] 在一些实施方式中,特征-事件合并模块植入在神经组织中,而逼近器模块位于体外,并且来自特征-事件合并模块的信息无线传输到逼近器模块。在其他实施方式中,特征-事件合并模块和逼近器模块两者全都位于体外。在一些实施方式中,传输是经由能够穿透
数毫米或数厘米生物组织的电磁手段。在一些实施方式中,传输是经由毫米波长传输;在其他实施方式中,传输是经由VCSEL阵列;再或者,传输可以经由超宽带(UWB)传输。传输可以是有线传输,例如通过经皮引线。经皮引线可以将神经信号从电极输送到身体之外的位置,例如受试者的胸部。在一些实施方式中,特征-事件合并模块以ASIC或FPGA实现;在其他实施方式中,特征-事件合并模块以CPU或GPGPU实现。在一些实施方式中,使用机器学习技术来执行逼近器模块。在一些实施方式中,机器学习技术是无监督机器学习技术。在一些实施方式中,机器学习技术是半监督机器学习技术。在一些实施方式中,机器学习技术是监督式机器学习技术。在一些实施方式中,无监督机器学习技术是自动编码器技术。在一些实施方式中,自动编码器技术是多层自动编码器技术。在一些实施方式中,逼近器模块以ASIC或
FPGA实现;在其他实施方式中,逼近器模块以CPU或GPGPU实现。
附图说明
[0013] 现将参考附图来描述本发明,其中:
[0014] 图1图示了根据一些实施方式的神经数据分析系统的示意性框图,该神经数据分析系统包括特征提取模块、特征-事件合并模块和逼近器模块。
[0015] 图2图示了根据一些实施方式的理想化神经信号波形,该波形示出了要从单个神经元放电提取的特征。
[0016] 图3图示了根据一些实施方式的其他可能的神经信号波形的示例,该波形示出了要从其他神经元放电提取的特征。
[0017] 图4图示了根据一些实施方式、来自离散事件检测器阵列的示例性输出。
[0018] 图5图示了根据一些实施方式的离散事件检测器,其包括电子检测级联,用于检测与单个神经元放电相关联的一个或多个离散事件。
[0019] 图6图示了根据一些实施方式的离散事件检测器并行阵列的示意图,该离散事件检测器并行阵列被配置用于检测来自多个神经元放电的多个离散事件。
[0020] 图7图示了根据一些实施方式、由处于神经组织内的两个不同位置的两个不同检测器获取的神经信号波形。
[0021] 图8图示了根据一些实施方式的、图1的神经数据分析系统的流程和信息处理。
[0022] 图9图示了根据一些实施方式的示例性多层自动编码器,其被配置用于将来自特征-事件合并模块的一组合并事件转换成神经编码。
[0023] 图10图示了根据一些实施方式的流程图,该流程图代表可以借以从送往自动编码器的输入提取神经编码的过程。
[0024] 图11图示了根据一些实施方式的、植入于人脑的不同区域中的神经接口探针的示例。
[0025] 图12图示了根据一些实施方式的、从植入神经接口探针到位于人体之外的示例性神经数据分析系统的一个或多个组件的信息流。

具体实施方式

[0026] 在以下描述中,将会对本发明各个方面进行描述。为了解释,阐述了具体细节以便提供对本发明的透彻理解。对于本领域技术人员容易理解的是,存在本发明在细节上不同但并不影响其主要性质的其他实施方式。因此,本发明并不限于附图中的图示和说明书
的描述,而是仅如随附权利要求书中所指明,其适当范围仅由所述权利要求书的最宽泛解
释所确定。
[0027] 本文所述的神经数据分析系统可以充当神经表示与数字表示之间的桥梁。由于神经表示是通过细胞外电记录间接观察的,因此系统可被配置用于执行以下各项:(1)从原始电压波形提取特征,所述特征标识出该波形与神经活动有关的显著特征;(2)基于选定的先验,将这些特征组合成离散事件,其中事件表明生物电活动的离散图案;以及(3)使用机器学习方法来学习离散事件中所包含的潜在信息的高效解码。
[0028] 在操作(1)中,可从E个电极记录神经活动,以生成E个记录信号;E可以是正整数并且可以具有大于1000、大于10000、大于100000或大于1000000的值。E可以具有由前述任何两个值限定的范围内的值。在操作(2)中,可以基于所述E个信号生成针对N个推定的神经元的尖峰记录。N可以是正整数并且一般可以具有等于或小于E的值。在操作(3)中,机器学习方法可以确定尖峰记录的复杂性显著降低的表示。机器学习方法可以是任何机器学习方法,包括但不限于一个或多个自动编码器、群体向量解码器、贝叶斯解码器、动态系统模型或者神经网络(诸如前馈神经网络递归神经网络或者长/短期记忆网络)。
[0029] 在优选实施方式中,特征提取的输出可以是以事件触发方式采样的主成分(principal component,PC)得分。触发PC得分采样的事件可以是第一PC得分的阈交
(threshold crossing)。在这样的情况下,特征-事件合并可对应于根据PC得分来计算给定的神经元已经放电的后验概率。
[0030] 神经数据分析系统和方法的一个目标在于,以信息丰富、消噪的形式,并且以低数据速率表示来自大脑的数据。本发明可以通过借助为消噪和减少(或压缩)数据而定制的神经数据处理管道使原位散热最小化和使对于将信号从受试者大脑传出的带宽需求最小化,
来提高植入式脑机接口的可行性。
[0031] 图1图示了根据一些实施方式的神经数据分析系统的示意性框图,该神经数据分析系统包括特征提取模块、特征-事件合并模块和逼近器模块。神经数据分析系统100可以
包括特征提取模块110、特征-事件合并模块120和逼近器模块(亦称为逼近器或逼近模块)
130。神经数据分析系统内的组件可以经由网络或者允许从一个组件到另一组件的数据传
输的任何类型通信链路操作地彼此连接。神经数据分析系统可以使用系统内的上述一个或
多个组件中的软件硬件或者软件和硬件的组合来实现。
[0032] 可以使用植入到大脑中的神经接口探针(未示出)来收集神经信息102。在一些实施方式中,神经接口探针可以包括多个导线,如本文其他各处所述。在一些实施方式中,所述多个导线可以包括被配置用于与神经物质相接的柔性远端部分。
[0033] 神经信息可以包括测得的波形,诸如细胞外神经元记录和/或细胞内神经元记录。在一些实施方式中,神经接口探针中的电极阵列可以包括结合到读出集成电路(readout 
integrated circuit,ROIC)的多个微导线。在其他实施方式中,电极可以是图案化探针或脑皮层电图(electrocorticography,ECoG)网。在一些情况下,ROIC和电极可由同一硅衬底制成。
[0034] 特征提取模块被配置用于接收和处理神经信息,以及提取/输出与神经信息相关联的一组离散输出104。在此过程中,特征提取模块可以将来自神经信息的输入高带宽信号分解成随时间推移的特征(或离散事件)组。例如,特征提取模块可以仅在检测到推定的动
作电位时传输数据,而不是传输通过电极测得的原始电压信号。特征提取模块仅传输与推
定动作电位相关联的几个描述性的信息位,而不是传输完整推定动作电位波形。在一个简
单实施方式中,特征提取模块可以传输指示出在何时检测到推定动作电位的一位。特征提
取模块可以传输附加数据。例如,特征提取模块可以传输对推定动作电位的不同特征加以
编码的若干位。在一些实施方式中,特征提取模块传输对推定动作电位波形与一组基本功
能的相关性加以编码的若干位。在优选实施方式中,特征提取模块可以执行谱分析,例如主成分分析(PCA),从而允许每一生物事件(例如推定动作电位波形)仅传送若干位信息。
[0035] 特征提取可以使用模拟硬件,例如多个模拟滤波器来进行。模拟硬件的使用可不同于包含尖峰神经元数据的实时数字处理的其他神经数据管道系统。这些系统可能采用先
数字化继而处理范式(digitize-then-process paradigm),该范式可能无法扩展到处理从
大量电极接收的信息。这样的系统可能不适合于此类应用,原因在于数据速率需求过高以
至于无法在合理的功率预算内实现原始数据的本地数字化。
[0036] 特征提取模块可以对模拟波形进行采样。特征提取模块可以是事件驱动的。虽然特征提取模块可以从大量电极通道接收数据,但在任何给定时间点只有当前活动或最近活
动的通道才可以传输数据。因此,当事件稀疏时,正如动作电位的通常情况那样,数据速率可以得到显著降低。每个通道可以包含一个或多个采样和保持电容器,所述采样和保持电
容器可以给予模拟存储器并且允许对通道的先前值的事件驱动读出。模拟值可以带有时间
戳并且保持在存储器缓冲区中。
[0037] 可以将特征提取模块输出的特征事件组合起来以构建神经事件的记录。对这些特征事件加以组合的规则被编码于特征-事件合并模块120中,并且包含关于生物电信号的物
理起源的先验信息/模型以及特征提取模块及其输入-输出特性的显式模型。特征-事件合
并模块120被配置用于接收和处理来自特征提取模块的离散输出,以便生成一组合并事件
106。
[0038] 特征-事件合并模块可以保留波形信息,原因在于其向逼近器模块提供附加信息(例如通过允许信号源分离)。然而,特征-事件合并模块可能不会强加尖峰的二元归类或进行所谓的“尖峰分类(spike sorting)”。特征-事件合并模块可以负责(account for)一个或多个已知的先验,该一个或多个已知的先验与细胞外动作电位波形有关或者与特征提取
模块的组件有关。特征-事件合并模块可以充当特征提取模块的输出的硬编码预处理器,并且可以重装配尖峰编码。特征-事件合并模块可以将跨通道出现的具有高相关性的事件类
型组合起来。例如,如果将神经元同时记录到两个通道上,或者如果第一神经元的放电始终(概率~1)以限定的时延触发第二神经元的放电,则可由特征-事件合并模块向逼近器模块
传输仅一个事件。特征-事件合并模块可以撤消由特征提取模块获取的不期望的效应。例
如,特征-事件合并模块可以撤消诸如放大器等电路元件中的非线性、由于使用CMOS技术产生的缺陷、记录缺陷或者其他不期望的效应。可以通过利用对于不期望的效应的先验知识,例如电路元件的已知行为来移除该效应。
[0039] 逼近器模块130被配置用于接收和处理合并事件以生成神经状态的高效编码(神经编码)108。继而可以将神经编码传输到传统解码器,该传统解码器将神经编码映射到外
部变量上。下游解码器的最简单形式可能是向外部变量的线性回归,例如假肢控制器的关
度。这样的解码器的输出继而用于对外部设备(未示出)进行操作。外部设备可以包括
诸如语音合成器或假肢等设备。因此,使用系统100对神经信息的实时分析可以用于控制这些设备,诸如语音合成器或假肢。
[0040] 逼近器模块可以查找由特征-事件合并模块输出的神经编码的简洁描述。逼近器可以查找尖峰定时中的模式,并且可以试图基于神经元放电率高度相关(并且因此来自尖
峰神经元群体的数据是低熵(low entropy))而对数据进行压缩。逼近器模块可以用来从尖
峰记录推断图形网络拓扑。逼近器模块可以对图形网络执行无损压缩有损压缩。压缩可
以丢弃冗余的高度相关尖峰源的部分。不同于传统解码器,逼近器模块可无需关于神经放
电的先验知识和借以关联神经活动的外部变量。
[0041] 虽然上文描述为包括特征提取模块、特征-事件合并模块和逼近器模块,但神经数据分析系统100在一些情况下可缺少特征-事件合并模块。在一些情况下,可以将来自特征
提取模块的输出直接传递给逼近器模块。在一些情况下,特征-事件合并模块的元件可以并入到逼近器模块中。
[0042] 特征提取模块中的离散事件提取可以发挥作用从而以较低维度的形式对神经信息进行编码。细胞外电压记录产生稀疏的信号。检测到的细胞外动作电位波形发源于具有
仅几ms的持续时间并且以大约5Hz的平均速率发生的神经元动作电位事件。此外,动作电位包含高频信息(>10kHz),但这些高频信息在时间动态上非常刻板。动作电位的稀疏性及其
刻板行为两者可使得神经信号非常可压缩。特征提取模块可被视为实施对神经信息进行某
种压缩感测,从每个动作电位提取定时和一小组特征,从而减少描述神经信号所需的数字
信息量。在一些实施方式中,特征提取模块可以执行约10倍至约1000倍的压缩。特征提取模块可以执行两个前述值所限定的范围内的倍数的压缩。
[0043] 特征-事件合并模块还被配置用于减少表示神经活动的重要特征所需的数据的总量,以及根据关于神经信号的强先验来组织数据。其通过将离散事件合并(分组)成具有每
一事件更多信息的较小数目的合并事件来发挥作用。此外,其应用检测电路的先验知识来
移除伪迹和冗余事件。具体而言,这意味着检测哪些事件是真实动作电位电压波形的一部
分,哪些事件是同一动作电位波形对的一部分,以及什么是每个波形的重要特征(例如,上升时间、动作电位半宽)。特征-事件合并还可以推断哪些动作电位波形发源于同一神经元,或者具有高度相关放电速率的两个或更多个神经元。特征-事件合并可以将类成员关系的
后验概率归因于每个检测到的事件。特征-事件合并可以基于贝叶斯方法(Bayesian 
method)、高斯混合模型(Gaussian mixture model)、模糊k均值(fuzzy k-means)、逻辑回归或者任何其他统计推断方法,将后验概率归因于每个检测到的事件。后验概率可以经受
阈值化,使得推定动作电位事件在后验概率满足或超过阈值的情况下被明确分配到特定神
经元。在一些情况下,这样的离散化可能是不期望的,并且后验概率自身可能是通过特征-事件合并而输出的。
[0044] 特征-事件合并可在两个关键方面不同于“尖峰分类”。首先,特征-事件合并模块可被配置用于在无需将每个事件归类成涉及特定神经元但却不丢弃原本使这样的归类成为可能的特征的方式生成合并事件。丢弃无法被归类为涉及特定神经元的所记录的动作电
位是尖峰分类方法的特性。其次,特征-事件合并步骤被优化用以保留群体活动中所包含的信息,而不是针对推断参与大脑计算的神经元的身份/位置而优化的。事实上,相比于不对源位置做任何努力的方法,尖峰分类往往产生相等或较差的解码性能,原因在于其在分析
中明确地丢掉数据。相比之下,本方法试图使用所收集的所有推定动作电位数据。在一些实施方式中,特征-事件合并模块可以执行高达10倍的进一步压缩。
[0045] 最后,特征-事件合并能够从中降低带宽的另一方式在于,其可以包括时间下采样。虽然可能以高时间精度(例如,10-20kHz)检测简单事件以便对动作电位波形的高频成
分特征进行编码,但是一旦合并,事件本身就只需要大约1ms的定时。
[0046] 因此,特征提取模块和特征-事件合并模块可以共同地压缩要由逼近器模块处理的信息量。在一些实施方式中,特征提取模块和特征-事件合并模块可以共同地对要由逼近器模块处理的信息进行100至10000倍的压缩。如此高程度的压缩能够显著减少逼近器模块
上的计算负荷。
[0047] 逼近器模块130被配置用于处理合并事件106以提取神经信息的有意义的表示。例如,逼近器模块可以从合并事件生成一组神经编码108。神经编码可以对应于神经信息流的高度压缩的有意义表示。在一些实施方式中,该神经编码可被进一步发送到解码器或其他
外部设备,以及/或者由这些设备用于控制人类受试者的一个或多个活动。神经编码可以指示设备执行一个或多个物理或非物理活动,诸如响应于检测到受试者移动其手臂的意图而
移动机械臂、浏览因特网、打电话、打开灯或其他因特网连接的设备,或者执行任何其他物理或非物理活动。
[0048] 在一些实施方式中,图1的系统可表示为神经数据处理管道的三个级:(1)特征提取;(2)特征-事件合并;以及(3)逼近器。
[0049] 在第一级,可以通过多个条件电路来分析来自神经接口探针的电压随时间变化信号。条件电路可以包括无源或有源滤波器电路,该无源或有源滤波器电路将信号的一些方
面归集成一个或几个数字位或者几个数字值(诸如8位或更大的数字),并且被描述为离散
事件si,其中i为整数。
[0050] 第二级可以对离散事件进行合并,受本文其他各处所述条件限制。
[0051] 第三级,逼近器,执行用于根据一组偏倚和先验来对神经事件数据进行消噪和减少的方法,其中一些偏倚和先验可由该方法本身规定,还有一些偏倚和先验可附加于该方
法而规定(调整)。
[0052] 以下附图和描述详细描述了神经数据分析系统的各个组件如何发挥作用以处理神经信息。
[0053] 图2图示了根据一些实施方式的理想化神经信号波形,该波形示出了要从单个神经元放电提取的特征。图2的A部分图示了来自神经元放电的电信号E1。该电信号是由于当
离子被转运进出细胞时在神经元细胞膜两侧积累的不平衡电荷所产生的。这导致时变膜电
位,并且充当神经元的计算手段。在单个神经元放电的过程中,一般可以定义五个基本阶
段。最初,神经元处于静息状态,其中该神经元相对于细胞外溶液为负。随着时间的推移,膜电位升高并且神经元变得相对于细胞外溶液带正电。当膜电位达到临界饱和值(例如,大约
80mV)时,膜电位被快速驱动为负,进入反转状态(超极化)。神经元继而进入恢复状态(不应期)直到该神经元返回到其静息状态。这描述了细胞内动作电位的基本概况,该细胞内动作电位可以传播穿过神经元的树状形态。这样的电化学电位波沿着神经膜的传播产生了神经
元周围复杂的离子电流流动,而这导致神经元周围区域中的时变电位。这是细胞外动作电
位波形,其根据神经元几何结构和类型可以是非均匀的,但振幅通常相对于细胞内电位小
一个数量级。在优选实施方式中,这是被记录的信号。
[0054] 动作电位波形含有高频(>10kHz)功率,并且这样的高频成分可以提供用于解码的有用信息,从而允许解码器区分同一电极上记录的两个波形。为了满足奈奎斯特采样准则
(Nyquist sampling criterion),波形可以是以例如20kHz或更高频率采样的。此外,膜电位中的宽动态范围可能要求使用具有高位深度的模数转换器(ADC)。例如,通常使用12位或
16位ADC来准确记录神经信号以供研究目的。20kHz的采样率连同16位的位深度对应于针对
单个神经元高达320kb/s的数据速率。每次对数千个、数万个、数十万个或数百万个神经元进行采样需要传输和处理大量数据(例如,每秒数千兆位的数据)。这样的高数据速率通常
需要使用高带宽传输线缆,而这会限制人类受试者的移动能力。另外,高数据速率可导致植入神经接口探针中的电子电路的不期望的加热,而这可能对神经组织造成损害。
[0055] 本文公开的神经数据分析系统可以避免上述与高带宽传输和神经组织潜在过热相关的缺点。不同于常规奈奎斯特采样方法,示例性神经数据分析系统可以用于大幅压缩
描述神经过程所需的信息。在一些实施方式中,特征提取模块可被配置成只有在确定神经
信息满足一个或多个条件时才输出数据(离散事件)。
[0056] 图2的B部分图示了根据一些实施方式的、可从单个神经元放电提取的特征。特征提取能够以数目减少的位来进行,并且无需以奈奎斯特速率对神经信号波形进行采样。在
一些实施方式中,电信号E1可由一组离散事件{s1,s2,s3,s4,s5,s6,s7}来表示。可以定义
和/或设想任何数目的离散事件。举例而言并且不限于此,这样的离散事件可以包括将神经信号的一个方面(例如膜电位)与先前定义的条件或属性进行比较,并且标记神经信号落入
对于先前定义的条件或属性的预定阈值的时间点。其他离散事件可以包括对变换的神经信
号的各方面进行比较。
[0057] 所述一组离散事件可由记录的并且与不同神经信号相关联的不同时间信号表示。例如,在一些实施方式中,s1可对应于其中神经信号超过正阈值v1的时间段。s2可对应于其中神经信号降至低于负阈值的时间段。s3可对应于其中神经信号的一阶时间导数(first 
time derivative)超过正一阶时间导数(positive first time derivative)阈值d1的时
间段。s4可对应于其中神经信号的一阶时间导数降至低于负一阶时间导数阈值d2的时间
段。在一些情况下,在离散事件的提取中可以使用二阶或更高阶时间导数。类似地,在离散事件的提取中可以使用时间积分。s5可对应于其中神经信号的时间积分超过正时间导数阈
值i1的时间段。s6可对应于其中神经信号的时间积分降至低于负时间积分阈值i2的时间
段。在一些情况下,时间积分可以是漏积分,这可以减少对与神经波形基线中的噪声相关联的假离散事件的记录。
[0058] 在一些情况下,在不同离散事件的记录时间之间的比较可以自身构成离散事件。例如,s7可对应于神经信号上升到高于正阈值v1和下降到低于负阈值v2之间的时间段。本
文所述的离散事件可以包括要从神经信号波形提取的任何信息,并且其可以帮助下游的进
一步处理。
[0059] 图3图示了根据一些实施方式的其他神经信号波形的示例,该波形示出了要从其他神经元放电提取的特征。具体地,图3的A部分、B部分和C部分相应地图示了不同的电信号E2、电信号E3和电信号E4的波形。电信号E2与电信号E1的不同之处可在于更长或更短的休
眠、极化、反转或恢复状态。电信号E2与电信号E1的不同之处还可在于正和负饱和神经信号的不同值。在一些实施方式中,电信号E2可由不同的一组离散值{s1’,s2’,s3’,s4’,s5’,s6’,s7’}表示。s1’可以表示其中神经信号具有的值超过正阈值v1’的时间段。s2’可以表示其中神经信号具有的值降至低于负阈值v2’的时间段。s3’可以表示其中神经信号具有的一阶时间导数超过正一阶时间导数阈值d1’的时间段。s4’可以表示其中神经信号具有的一阶时间段数降至低于负一阶时间导数阈值d2’的时间段。s5’可以表示其中神经信号具有的时间积分超过正时间积分阈值i1’的时间段。s6’可以表示其中神经信号具有的时间积分降至低于负时间积分阈值i2’的时间段。二阶或更高阶时间导数对于记录离散事件也可能是感
兴趣的。例如,s7’可以表示神经信号上升到高于正阈值v1’和下降到低于负阈值v2’之间的时间段。额外的事件可以表示神经信号具有峰值最大值或谷值最小值的一个或多个时间。
[0060] 图3的B部分和C部分图示了关联于其他可能的神经元放电的其他信号波形E3和E4。电信号E3可关联于离散事件s1”、s2”、s3”、s4”、s5”、s6”和s7”等的任意组合,离散事件s1”、s2”、s3”、s4”、s5”、s6”和s7”等关联于神经信号值、一阶时间导数、时间积分和事件之间的时序,以及与二阶或更高阶时间导数相关联的额外事件和/或其他离散事件。同样地,电信号E4也可关联于离散事件s1”’、s2”’、s3”’、s4”’、s5”’、s6”’和s7”’等的任意组合,离散事件s1”’、s2”’、s3”’、s4”’、s5”’、s6”’和s7”’等关联于神经信号值、一阶时间导数、时间积分和事件之间的时序,以及与二阶或更高阶时间导数相关联的额外事件和/或其他离散
事件。
[0061] 在一些实施方式中,条件电路可以经受变换以将神经信号变换成一个或多个经变换连续输出信号。继而可以替代于或附加于神经信号本身,从这些经变换的输出信号提取
离散事件。变换可以包括对信号的一个或多个模拟或数字变换。变换可以是线性或非线性
变换。变换可以是神经信号与一个或多个滤波器的相关或卷积,所述一个或多个滤波器可
以构成变换基集。这样的基集可以包括将神经信号变换成一个或多个经变换的输出。变换
操作可以由从神经信号库获得的先验知识组成。例如,变换操作可以执行对信号的谱分解,其中变换操作的传递函数可具有脉冲响应,该脉冲响应类似于从对历史神经信号的一些部
分或整体的谱分析中得出的特征向量(eigenvector)。这样的谱分解方法可以包括主成分
分析(principal component analysis,PCA)、因子分析、线性判别分析(linear 
discriminant analysis,LDA)、独立成分分析(independent component analysis,ICA)、核PCA(kernel,kPCA)、优化的核熵成分(optimized kernel entropy component),或者任何其他统计推断方法。在优选实施方式中,在具有前3个主成分(PC)的相关操作中对神经信号进行变换,以产生对应于连续时变PC得分的3个经变换输出。
[0062] 在一些实施方式中,可以在没有信号的先验知识的情况下使用基集。例如,基集可以包括小波基集,或者任意有限脉冲响应(finite impulse response,FIR)滤波器。FIR滤波器可以包括积分操作和微分操作。
[0063] 图4图示了根据一些实施方式、来自离散事件检测器阵列的示例性输出。该输出可关联于单个神经元放电。离散事件检测器阵列可以实现在特征提取模块中,或者作为其一
部分。
[0064] 在一些实施方式中,离散事件检测器阵列可以包括正阈值通道162、负阈值通道164、正一阶时间导数阈值通道166、负一阶时间导数阈值通道168、正时间积分阈值通道170和负时间积分阈值通道172。上述通道可以用于检测图2B中所示的各个离散事件。例如,正阈值通道162可以用于检测离散事件s1,该离散事件s1对应于其中神经信号超过正阈值v1
的时间段。负阈值通道164可以用于检测离散事件s2,该离散事件s2对应于其中神经信号降至低于负阈值的时间段。正一阶时间导数阈值通道166可以用于检测离散事件s3,该离散事件s3对应于其中神经信号的一阶时间导数超过正一阶时间导数阈值d1的时间段。负一阶时
间导数阈值通道166可以用于检测离散事件s4,该离散事件s4对应于其中神经信号的一阶
时间导数降至低于负一阶时间导数阈值d2的时间段。可以使用一个或多个额外的通道来获
取关于二阶或更高阶时间导数的信息。例如,正积分阈值通道168可以用于检测离散事件
s5,该离散事件s5对应于其中神经信号的时间积分超过正时间积分阈值i1的时间段。负积
分阈值通道170可以用于检测离散事件s6,该离散事件s6对应于其中神经信号的时间积分
降至低于负时间积分阈值i2的时间段。
[0065] 可以使用一个或多个额外的通道来获取不同离散事件的记录时间之间的比较的编码表示。例如,离散事件s7可对应于神经信号上升到高于正阈值v1和下降到低于负阈值
v2之间的时间段。如前文所述,离散事件可以包括可有助于下游进一步处理的,从神经信号提取的任何信息。
[0066] 在一些实施方式中,可以将一个或多个电极检测到的一个或多个事件的逻辑组合用作对于在一个或多个其他电极上采样事件或值的触发器。从触发器采样的值可以不需要
定义特征来将其归类成事件本身。例如,从触发器采样的值可以是电极在某一时间的模拟
值。例如,可以使用第一电极上的阈交来立即采样第二电极和第三电极上的值。在本例中以及在优选实施方式中,第一电极值可对应于第一PC(PC1)得分,而第二电极值和第三电极值可分别对应于第二PC(PC2)得分和第三PC(PC3)得分。在一些实施方式中,由一个通道记录
的事件可以禁用一个或多个其他通道上的事件采集。
[0067] 经由通道的编码表示的示例描述如下。每个通道可以仅在其中预定条件成立的时候输出位状态1。相应地,每个通道可以仅在预定条件得到满足的时间期间产生对神经波形E1的特征进行编码的信息。例如,正阈值通道162可以仅针对其中神经信号超过正阈值v1的时间段s1生成一系列取值为1的位。负阈值通道164可以仅针对其中神经信号降至低于负阈
值的时间段s2生成一系列取值为1的位。正一阶时间导数阈值通道166可以仅针对其中神经
信号的一阶时间导数超过正一阶时间导数阈值d1的时间段s3生成一系列取值为1的位。负
一阶时间导数阈值通道166可以仅针对其中神经信号的一阶时间导数降至低于负一阶时间
导数阈值d2的时间段s4生成一系列取值为1的位。一个或多个额外的通道可以编码关于二
阶或更高阶时间导数的信息。例如,正积分阈值通道168可以仅针对其中神经信号的时间积分超过正时间积分阈值i1的时间段s5生成一系列取值为1的位。负积分阈值通道170可以仅
针对其中神经信号的时间积分降至低于负时间积分阈值i2的时间段s6生成一系列取值为1
的位。
[0068] 由于离散事件与波形E1的整个持续时间相比可能是在时间上稀疏发生的,因此使用离散事件检测器阵列可以显著降低所需的数据采样率,与先前所述的波形完全重建的奈
奎斯特条件采样率形成对比。特征提取模块的各个通道可以仅在某些预定条件或准则得到
满足的时间期间生成数据(例如,参见图2的B部分和图4),而不是以均匀速率采集神经波形的样本。这种稀疏但相关的采样方法可以显著降低所需的平均采样率。另外,离散事件的一些实施方式的相对二元的性质只需要使用几个位来记录每个离散事件。当与用于波形完全
重建的12-16位深度的多个样本相比时,本文公开的示例性编码方法可以提供对用于监视
来自单个神经元的信号的数据传输速率的进一步降低。根据硬件中的确切实施方式,较低
的平均采样率和减少的位深度可以共同将所需的数据传输速率降低10-1000倍。
[0069] 图5图示了根据一些实施方式的离散事件检测器,其包括电子检测级联,用于检测与单个神经元放电相关联的一个或多个离散事件。可以使用植入于神经组织中的电极182
来获取神经信号。该电极可以是神经接口探针的一部分。由电极检测到的神经信号可以指
示出细胞外膜电位和细胞内膜电位。可以通过一个或多个电子放大器或前置放大器(未示
出)来放大神经信号。可以将经放大的神经信号并行地路由到一个或多个变换运算器。所述运算器可以执行相关运算,以便例如基于通过来自神经尖峰波形的遍历(或者除此之外足
够有代表性的)库的PCA分析生成的PC数据而输出神经信号的PC1、PC2和PC3得分。检测器继而可以检查PC1输出以寻找幅度阈交事件(s1)以及局部最大值或最小值事件(s2),以便产
生AND逻辑组合事件s3。s3事件继而可以触发对PC1、PC2和PC3的稀疏值采样,以便给出3个事件样本(其中每一个的长度可以是8位或更长)。运算器可以执行相关运算以输出任何数
目的PC得分。
[0070] 经放大的信号可被传递到图5的电路。图5的电路可以并联布线以实现正检测器排184和负检测器排186。在正排中可以并联提供多个比较元件。正阈值比较器188可以将神经信号与参考电压进行比较,并且仅在时间s1期间(在此期间神经信号超过正阈值v1)产生信
号。正排还可以包括微分元件192,该微分元件192被配置用于对神经信号执行一阶时间导
数。正一阶时间导数阈值比较器194可以将正一阶时间导数与参考电压进行比较,并且仅在时间s3期间(在此期间正一阶时间导数超过正一阶时间导数阈值d1)产生信号。正排还可以
包括积分元件196,该积分元件196被配置用于对神经信号进行时间积分。正时间积分阈值
比较器198可以将正一阶时间导数与参考电压进行比较,并且仅在时间s5期间(在此期间正
一阶时间导数超过正一阶时间导数阈值i1)产生信号。
[0071] 可以使用单位增益反相放大器190来反转负侧186的电信号。在负排中可以并联提供多个比较元件。负阈值比较器200可以将神经信号与参考电压进行比较,并且仅在时间s2期间(在此期间神经信号降至低于负阈值v2)产生信号。负排还可以包括微分元件202,该微分元件202被配置用于对神经信号执行一阶时间导数。负一阶时间导数阈值比较器204可以
将负一阶时间导数与参考电压进行比较,并且仅在时间s5期间(在此期间负一阶时间导数
降至低于负一阶时间导数阈值d2)产生信号。负排还可以具有积分元件206,该积分元件206被配置用于对神经信号执行时间积分。负时间积分阈值比较器208可以将负一阶时间导数
与参考电压进行比较,并且仅在时间s6期间(在此期间正一阶时间导数降至低于负一阶时
间导数阈值i2)产生信号。
[0072] 可以实现一个或多个额外的电路元件,以在不同离散事件的记录时间之间进行比较。例如,可以利用合适的电路元件来检测神经信号上升到高于正阈值v1与下降到低于负
阈值v2之间的时间s7。
[0073] 在一些实施方式中,图5的电路(或离散事件检测器)可以实现于神经接口探针的ROIC中的有源像素传感器的CMOS电子电路中。离散事件检测器可被配置用于执行特征提取
(或压缩感测)。每个有源像素可以包括一个或多个条件电路,所述条件电路包括模拟电路
以及一个或多个低分辨率模数转换器。这些条件电路被设计用于检测电压信号中的特定时
间特征(“条件”或事件)。这些条件/事件例如可以包括:(1)信号达到一定值(第一阈值),(2)信号的导数达到一定值(第二阈值),或(3)漏积分器达到一定值(第三阈值)。条件还可
以包括比率准则,诸如对两个频带内的相对功率进行比较或者某种其他归一化测量。条件
能够以远低于完整捕获输入信号所需的奈奎斯特采样率的采样率(例如,1kHz)得到评价。
[0074] 有源像素传感器可由宽度乘以高度个像素所限定,其中每个像素包含一排本发明中的条件电路。条件电路的示例为阈值滤波器。
[0075] 像素内检测电路可以将测得的模拟电压随时间变化信号转换成一系列数字事件(离散事件),其中每个数字事件包含归集信号的显著方面的一个或多个位。电路可被设计
用于检测动作电位波形的特征,使得事件记录捕获到关于神经活动的所有信息。
[0076] 一系列离散事件可以使用相对较低的电压和功率(与模拟相比)来传输,从而降低植入物中耗散的功率总量,并且减小对植入神经接口探针的接受者的健康风险。
[0077] 通过使用本文所述的系统,可以将动作电位分辨到1ms内的定时分辨率。由于每个电极可以测量来自多个不同神经元(例如8个不同神经元)的神经信号,因此每秒4位*1000
个样本的最小采样率=4kb/s可以区分不同的神经元来源。允许一定的缓冲(例如,高达4个附加位),这可以转化成对于1百万个电极为4-8Gb/s,而这是商用无线技术诸如60GHz收发
器技术所支持的数据速率。在数据传输要求的另一示例性计算中,可以在对来自变换输入
信号的事件值进行采样时报告每尖峰的一个或多个得分值(例如2-3个得分值)。对于5Hz的
平均放电率,每电极平均8个神经元,以及10位的位深度,8*10位*5个样本每秒=0.4kb/s可以分辨神经元来源。这可以转化成对于1百万个电极为0.4Gb/s,而这再次是商用无线技术
诸如60GHz收发器技术所支持的数据速率。
[0078] 图6图示了根据一些实施方式的离散事件检测器的高度并行的阵列的示意图,其被配置用于检测来自多个神经元放电的多个离散事件。参考图6,可以使用植入于神经组织中的多个电极182来检测多个神经信号。该多个电极可以是神经接口探针的一部分。神经信号可以指示出细胞外膜电位或细胞内膜电位。多个电极可以电连接到多个离散事件检测器
180。该多个离散事件检测器可被包含为特征提取模块的一部分。多个离散事件检测器可以是相同的。在一些备选实施方式中,所述离散事件检测器中的两个或更多个可以是不同的。
由多个离散事件检测器记录的离散事件可经由多个信号线222传输。离散事件可以经由所
述多个信号线传输到特征-事件合并模块。多个离散事件检测器可以使用CMOS技术,或者任何其他电子电路拓扑或半导体制造技术并联实现。
[0079] 如前文所述,特征提取模块可被配置用于通过仅传输与从电极接收的神经信号的特征相对应的信号来执行信号压缩过程的第一步骤。相应地,与奈奎斯特准则所规定数据
速率/数据大小相比,可以将形成给定神经波形的表示所需的信息量减少10-1000倍。来自
特征提取模块的输出继而输入到特征-事件合并模块。
[0080] 图7图示了根据一些实施方式,由处于神经组织内的两个不同位置的两个不同离散事件检测器获取的神经信号波形。两个或更多个不同的离散事件检测器可由于检测器与
神经元的物理接近,而对单个神经元放电敏感。在一些情况下,两个或更多个不同的离散事件检测器可以生成对某个时间点的单个神经放电的响应。每个离散事件检测器可以检测关
联于神经信号的一组离散事件。例如,第一检测器182可以检测一组事件{s1,s2,s3,s4,s5,s6,s7},如先前在图2的B部分中所讨论。这组事件{s1,s2,s3,s4,s5,s6,s7}可以表示第一
检测器182检测到的神经元放电。
[0081] 类似地,第二检测器184可以检测一组事件{s8,s9,s10,s11,s12,s13,s14},该组事件关于第二检测器测得的神经信号值、一阶时间导数、时间积分和事件之间的时序,以及与二阶或更高阶时间导数和其他离散事件相关联的额外事件。两组事件{s1,s2,s3,s4,s5,
s6,s7}和{s8,s9,s10,s11,s12,s13,s14}以及对应更高阶时间导数的任何额外离散事件和
任何其他感兴趣的性质继而可以从第一检测器和第二检测器传输到特征-事件合并模块。
[0082] 图8图示了根据一些实施方式的,图1的神经数据分析系统中的流程和信息处理。如图1中所讨论,由特征提取模块110对神经信息102进行处理以提取一组离散事件104。该
组离散事件可以包括{s1,s2,s3,s4,s5,s6,s7}、{s8,s9,s10,s11,s12,s13,s14}、{s1’,
s2’,s3’,s4’,s5’,s6’,s7’}、{s1”,s2”,s3”,s4”,s5”,s6”,s7”}、{s1”’,s2”’,s3”’,s4”’,s5”’,s6”’,s7”’}等。或者,该组离散事件可包括可能在神经信息分析中有用的任何其他事件。
[0083] 参考图8,一组离散事件104可以传输到特征-事件合并模块120,其在此处得到进一步处理以生成一组合并事件106。特征-事件合并模块可被配置用于将离散事件合并成一
个或多个合并事件。例如,特征-事件合并模块可以将一组离散事件{s1,s2,s3,s4,s5,s6,
s7}合并成代表第一神经元放电的单个合并事件S1。在一些情况下,如前文所述,第一神经元的放电可由提取一组事件{s8,s9,s10,s11,s12,s13,s14}的另一离散事件检测器所检
测。返回参考图7,一组离散事件{s1,s2,s3,s4,s5,s6,s7}可由第一检测器提取并且关联于波形E1,并且一组离散事件{s8,s9,s10,s11,s12,s13,s14}可由第二检测器提取并且关联
于波形E1’。然而,这两组离散事件{s1,s2,s3,s4,s5,s6,s7}和{s8,s9,s10,s11,s12,s13,s14}关联于同一神经元的放电,区别在于它们是使用位于距该神经元不同接近度的检测器
检测到的。因此,单个合并事件S1可由任一组离散事件或者由全部两组离散事件表示。在一些实施方式中,可以由使用位于距同一神经元不同接近度的不同检测器检测到的多组离散
事件来表示单个合并事件。
[0084] 如图8中所示,特征-事件合并模块还可以将一组离散事件{s1’,s2’,s3’,s4’,s5’,s6’,s7’}合并成代表第二神经元放电的单个合并事件S2。该组离散事件{s1’,s2’,s3’,s4’,s5’,s6’,s7’}可关联于图3中所示的波形E2。类似地,特征-事件合并模块还可以将一组离散事件{s1”,s2”,s3”,s4”,s5”,s6”,s7”}合并成代表第三神经元放电的单个合并事件S3。该组离散事件{s1”,s2”,s3”,s4”,s5”,s6”,s7”}可关联于图3中所示的波形E3。同样地,特征-事件合并模块可以将一组离散事件{s1”’,s2”’,s3”’,s4’,s5”’,s6”’,s7”’}合并成代表第四神经元放电的单个合并事件S4。该组离散事件{s1”’,s2”’,s3”’,s4’,s5”’,s6”’,s7”’}可关联于图3中所示的波形E4。通过使用上述方法,可以大大压缩从特征提取模块输出的信息。
[0085] 如前文所述,特征-事件合并模块可被配置用于合并来自单个事件离散检测器的多组离散事件,或者合并来自检测器的单个通道内的离散事件子组。类似地,特征-事件合并模块可被配置用于合并来自多个事件离散检测器的多组离散事件,或者来自多个检测器
的多个通道中的离散事件子组。特征-事件合并模块可被配置用于基于先验已知的信息来
合并离散事件。例如,特征-事件合并模块可以基于神经元的特性的先验知识来合并离散事件。特征-事件合并模块还可以基于检测器或接线内的电子检测电路的固有响应特性的先
验知识来合并离散事件。一组合并事件106进一步传输到逼近器模块130,在此处合并事件
得到进一步处理以生成神经编码108。
[0086] 如前文所述,特征-事件合并模块可以通过将离散事件组合成合并事件来执行信号压缩的第二步骤,以便进一步减少描述神经信号的显著特征所需的信息量。在该第二步
骤期间,可以将神经信号进一步压缩10至100倍。
[0087] 特征-事件合并模块被配置用于基于关于内建到像素电路中的条件和关于所要记录的信号种类(“组合逻辑”)的先验知识来将离散事件组合成“合并事件”。例如,对于检测电压上升和下降越过某一预定参考电压的阈值条件,所产生的上升和下降事件将会被合并
成单个上升和下降事件,其中上升和下降事件之间的时间将会成为该事件的特征。
[0088] 将离散事件拟合到先验的合并逻辑可以展现出数据减少特性(其中以更少的符号表示相同信息)和消噪特性。离散事件检测器可响应于输入信号中的一个真实上升或下降
事件而产生若干个上升或下降事件。这例如可能是由于条件电路的现实世界设计,该设计
可能在对于较低功耗和/或电路尺寸的目标完全正确方面作出折中。在上述示例中,针对所得离散事件的组合逻辑可以基于设计者具有的对于条件电路的先验知识,将短时间间隔内
的很多个上升或下降事件当作一个上升或下降事件。多个经消噪的上升和下降事件最终将
会汇合成一个上升和下降事件。
[0089] 组合逻辑可以包含基于检测器电路的知识、关于神经动作电位波形的事实、接口中所使用的特定神经探针的结构和/或制造(例如,图案化硅探针或微丝束)的先验,原因在于一个或多个上述特性可影响信号如何向通道中或跨通道转导。
[0090] 由关于所使用的神经探针的知识提供信息的组合逻辑的示例如下文所述。在图案化硅探针或微丝束探针中,相邻电极通常会记录同一生物电事件(例如,来自单个神经元的动作电位),但该事件将会在每个电极/通道上产生不同的签名电压波形。在这样的情况下,组合逻辑可以选择将跨若干个通道检测到的简单事件合并成一个事件,从而反映出这样的
特性。
[0091] 组合特征提取模块和特征-事件合并模块的一个重要设计准则在于,针对所得的基于事件的数据的聚类分析(诸如k均值聚类、高斯混合建模、支持向量机自组织映射、谱聚类、线性判别分析、逻辑回归,或者任何其他聚类分析)应当产生与对原始输入数据在该原始数据经受经由计算机模拟的标准特征提取(例如,小波变换、主成分分析)之后进行聚
类分析的相似的聚类。上述比较支持如下结论:组合特征提取模块和特征-事件合并模块保留神经活动解码任务所需的信息。
[0092] 在一些实施方式中,使用与穿过数毫米或数厘米(例如,1-4mm)生物组织相配的低能波长电磁辐射,将来自ROIC或特征提取模块的其他实例化的数字信号传出身体。示例可
以包括60GHz收发器或者基于VCSEL的红外收发器。这可以使体内的计算最小化,原因在于
特征-事件合并模块和逼近器模块位于体外。相应地,可以减少体内由计算导致的散热。在上述示例中,特征-事件合并模块可以通过GPGPU或CPU处理来实现。
[0093] 在一些备选实施方式中——其中传输带宽有限并且/或者数据速率比散热更重要,特征提取模块和特征-事件合并模块两者可以安设在体内。在上述示例中,特征-事件合并模块可以在ASIC或FPGA中实现。
[0094] 在逼近器模块中,查找神经事件数据的新表示,其中该新表示具有诸如低维度、稀疏编码和/或针对某些噪声或信号变换的不变性等特性。例如,逼近器可以查找对于当神经接口探针相对于信号源移动(其发生原因通常是因为心脏或呼吸耦合运动、损伤相关组织肿(肿胀),或者任何其他轻微机械干扰源)时发生的信号变换不敏感(或较不敏感)的表
示。对于除了感测之外提供脑刺激的神经探针,探针的暴露的金属经受随时间推移的电化
学劣化。该效应可由逼近器模块纳入考虑。可由逼近器模块纳入考虑的另一效应是探针结
垢,其中诸如瘢痕组织形成和神经胶质增生等生物结构改变了探针的电记录性质。关键在
于,上述每一情况下,对传入的神经数据进行确定性的变换,并且根据逼近器所选择的表示方案,这些变换在神经数据管道的输出中可能产生或者可能不产生变化。通过对逼近器进
行训练以使其在面对其输入的可预测和确定性的扰动时不变地响应,可以使这些低级变换
对于管道的高级输出不可见。
[0095] 逼近器模块被配置用于:1)进一步降低信号的总带宽,以达到减少对于将神经事件数据映射到功能变量的下游解码器的计算负荷;2)使用回归方法或神经网络,查找大脑
的各个区域的神经活动中所编码的知觉或运动的表示或潜变量系统;以及3)在此过程中,
学习可能提高下游解码器性能的特征。
[0096] 上述目标可以通过一个或多个机器学习方法来实现,所述机器学习方法根据自我学习(无监督)的一组基础来对其输入进行分解,同时在所述分解中并入某些约束或先验。
所使用的一些约束可以包括这样的约束:其知晓关于底层一般神经状态空间的事实,例如
神经状态不应当在亚微秒尺度上明显变化,以及关于特定神经状态空间的事实可能与解码
应用相关,例如初级运动皮质可编码其中平稳施加力并且不导致生涩动作的运动。
[0097] 还可以通过使用概率图模型、贝叶斯解码、动态系统、群体向量分析或者分箱放电速率特征分解对数据流进行显式建模来实现逼近器模块。可以使用诸如L1/L2正则化(用于查找稀疏解)等矩阵法或者基于特征向量的方法以查找矩阵的低秩近似来实现比较器模
块。正则化可适用于所有基于回归或目标函数的框架。还可以使用神经网络,诸如自动编码器、堆叠自动编码器、消噪自动编码器、深度信念网络、长短期记忆网络或者任何其他神经网络或机器学习方法来实现逼近器模块。
[0098] 在优选实施方式中,将逼近级实现为多层神经网络。这将会包括所谓的“深度信念网络”、“堆叠自动编码器”、递归神经网络,以及长短期记忆网络。内层可以通过限制其权重可取何值,或者通过限制其权重能够多快地或多紧密地作为一种正则化策略形式趋于最佳等而得到约束。多个内层导致抽象程度和对信号的小扰动的不变性增加。输入层能够以有
利于不变表示或消噪的方式被毁坏或变换。层可以单独更新,从而允许通过在下游层的输
出保持不变的同时对上游层进行再训练来学习尖峰波形随时间推移的变化。
[0099] 用以确定在该级实现的算法的参数的训练阶段将会离线发生,但逼近器的使用将会是实时的。继而可以定期地并且在使用逼近器时发生权重/系数的更新。
[0100] 图9图示了根据一些实施方式的示例性多层自动编码器,其被配置用于将来自特征-事件合并模块的一组合并事件转换成神经编码。参考图9,逼近器模块130可以包括编码器140和解码器160。逼近器模块可被配置用于输出神经编码150。
[0101] 在一些实施方式中,编码器还可以包括多个编码层。每个编码层可以包括具有多个数值权重的多个节点。类似地,解码器还可以包括多个解码层。每个解码层可以包括具有多个数值权重的多个节点。逼近器模块的最狭缩层可以表示神经编码的压缩表示。神经编
码可以包括具有数值权重的多个节点。神经编码可以指定所示机器学习架构内的合并事件
的抽象而有意义的表示。在一些实施方式中,逼近器模块可以包括自动编码器,使得解码器的输出被训练成与向编码器的输入基本相同并被提供为向编码器的输入。在训练之后,可
以移除自动编码器的解码器区段。最狭缩层的输出可以是神经编码的压缩表示。或者,可以保留自动编码器的解码器区段,例如用于训练和诊断目的。中间层可以用于生成逼近器的
输出。在一些实施方式中,自动编码器可以是多层自动编码器。
[0102] 编码器可被配置用于接收包含来自特征-事件合并模块的一组合并事件106的输入。该组合并事件可以包括如本文其他各处所述的事件S1、S2、S3和S4。所述一组合并事件可以布置成向量S。编码器的第一层可被配置用于通过对向量S施加变换来降低所述一组合
并事件的维度。在一些实施方式中,所述变换可以是线性变换。变换可以基于函数σ、层中的每个节点处的权重矩阵W以及另一向量b,产生具有相对于向量S降低的维度的输出向量T:
T=σ(WS+b)  (公式1)
继而将向量T输入到第二层。每个连续的编码层可以施加与公式(1)相同形式的矩阵变
换,伴有每个层处的依次维度降低,直至达到最内层(神经编码)。
[0103] 解码器可被配置用于撤消前述降维,以便计算在编码器的每个层施加的权重矩阵的准确度。神经编码可被输入到解码器的第一层,该第一层可施加线性变换以增加维度。每个连续的解码层可以施加进一步的矩阵变换,直至达到来自维度与原始输入集合S相同的
编码层的输出S’。
[0104] 编码器、解码器和神经编码的每个层中的每个节点的初始权重可基于任何预定程序来选择。可以施加该一系列矩阵变换来将第一编码层处的输入S映射到最终解码层处的
输出S’。可以从S和S’计算目标函数,诸如L1误差或L2误差。继而可以应用诸如反向传播等算法来更新编码器、解码器和神经编码的每个层中的每个节点的权重。可以迭代地应用该
算法,直至在解码器的输出处评价的目标函数达到最小值。
[0105] 在一些实施方式中,可以对逼近器模块中的一些或所有层施加稀疏性约束。在逼近器模块中还可以实现其他机器学习技术,包括各种监督式机器学习技术、各种半监督机
器学习技术和/或各种无监督机器学习技术。
[0106] 逼近器模块可被配置用于将具有高维度的数据集提炼成在无冗余的情况下仍然保持该数据集的重要特征的最小一组数值。该组数值继而形成与给定一组合并事件相对应
的神经编码。神经编码可以用于控制脑机接口设备——这些设备可能需要低复杂度和带宽
的指令信号。
[0107] 常规编码模型基于10-20ms的时间窗口内动作电位(事件)的数目,即,所谓的“放电速率模型(firing rate model)”。相比之下,本文所述的系统可以提供精确(1ms)事件时间(或时间段)作为向自动编码器的输入。因此,本文所述的系统对已知在许多感觉系统中
编码信息的动作电位的精确相对时序敏感。
[0108] 在一些实施方式中,自动编码器可被设计为多个层,以便提高其针对电极和电极定位的变化的稳健性。这还允许隔离地再训练特定的层,以便减少使系统适配于变化的记
录条件(例如,电极的物理变化或其中的变动)的计算开销。
[0109] 相应地,本文所述的神经数据分析系统可以充当用于处理包含通过大规模并行电极阵列测量的来自数千个、数万个、数十万个或数百万个细胞的电压波形的神经数据的管
道。系统可以将电压/时间数据变换成更高级符号流,该更高级符号流充当向不同类型神经解码器的输入。系统与神经工程硬件的最新进展保持匹配——此类硬件通常展现出现有神
经解码器往往无法处理的大量信息通道。
[0110] 图10图示了根据一些实施方式的流程图,该流程图代表可以借以从送往自动编码器的输入提取神经编码的过程。编码器140(图9)可以接受来自特征-事件合并模块130(参
见图1)的一组向量化的合并事件106作为输入。可以根据任何优选程序来选择编码器140、
神经编码150和解码器160的每个层中的每个节点的初始权重302。编码器可以应用一组线
性变换304——每个编码层处一个线性变换,以便计算一遍通过(first-pass)神经编码
150。编码器的每个层处的每个线性变换可以发挥作用以降低传递到编码器的下一层的信
息的维度。
[0111] 解码器可以发挥作用以应用另外一组线性变换306——每个解码层处一个线性变换。解码器的每个层处的每个线性变换可以发挥作用以增加传递到解码器的下一层的信息
的维度。解码器的最终层可以产生由解码器的最终层的节点的权重给出的输出。该输出可
以具有与向解码器的输入106相同的维度。虽然关于图3被描述为线性的,但一个或多个变
换可以是非线性变换。
[0112] 可以通过目标函数对输出的值和向编码器的输入106的值进行比较,以便计算误差。目标函数可以是L1误差,由输出与向编码器的输入106之间的绝对差值之和给出。对于监督式训练,误差可以是对于相应输入的输出层与目标数据(诸如标记数据)之间的误差。
目标函数可以是L2误差或欧氏误差(Euclidean error),由输出与向编码器的输入106之间
的平方差之和给出。目标函数可以是LN误差,或者任意维度N的广义p范数误差。目标函数可以是任何其他目标函数。目标函数例如可以包括Kullback-Leibler散度项、交叉熵项、逻辑损失项、铰链损失项,或者任何其他成本或损失函数项。目标函数对于每次迭代可以是相同的。目标函数可以在连续迭代之间改变。目标函数可以包含正则化项,诸如L1正则化或L2正则化。目标函数可以是这些示例目标函数或其他表达式的任何组合。目标函数可以包含超
参数,以便动态地控制目标函数中误差与正则化的比例。可以通过贝叶斯正则化或任何其
他程序来控制超参数。
[0113] 从输出和向编码器的输入106计算得出的误差可与条件进行比较。该条件可以基于预定阈值。如果误差满足所述条件,则可以接受314神经编码,并且神经编码的值可以作为输出108。如果误差未能满足条件,则可以根据任何优选程序来更新314编码器140、神经编码150和解码器160的每个层中的每个节点的权重。此时,所述程序可以迭代进行直至满
足条件。条件可被定义成使得误差小于预定阈值。条件还可被定义成使得误差小于任何先
前计算的误差。在一些实施方式中,条件对于每次迭代可以保持不变。在其他实施方式中,条件可以在连续迭代之间改变。所述程序和迭代可被配置成在满足条件时结束。在一些实
施方式中,当满足条件时,来自当前迭代的神经编码将会输出到外部设备。如前文所述,外部设备可以包括诸如语音合成器或假肢等设备。
[0114] 图11图示了根据一些实施方式的、植入于大脑的不同区域中的神经接口探针的示例。图11的A部分描绘了根据一些实施方式、植入大脑深处的神经接口探针800的示意图。探针800可以插入到受试对象的大脑的深部组织区域中。在探针的插入期间,导线的自由端在脑组织内铺展开,使得电极以三维布置部署在深脑目标区810之上。图11的B部分描绘了根
据一些实施方式、植入于大脑上的浅表目标上的神经接口探针802的示意图。该探针可以插入到受试对象的大脑的浅表组织区域812上。该组织区域例如可以是大脑的皮质区。当探针
802植入在组织区域812上时,导线的自由端铺展开,使得电极以三维布置部署在组织区域
812之上。系统还可被配置用于植入在诸如脊髓等周围神经系统区域中。
[0115] 比较图11的A部分和B部分可以观察到,神经接口探针800由于其被用于深脑区域中而具有高长径比,而神经接口探针802由于其被用于浅层或浅表脑区中而具有低长径比。
在一些实施方式中,神经接口探针的长度范围可以是从约1cm到约8cm。相应地,根据本发明各个实施方式,不同长度和其他维度(宽度等)的神经接口探针可以用于不同的脑区域。探
针可以用于实现用于监视和/或刺激神经活动的方法。在一些实施方式中,所述方法可以包括将探针插入到大脑中,使得导线的柔性远端与神经物质的区域相接并与之接触。所述方
法还可以包括经由在芯片与神经物质之间传输的多个电信号来监视和/或刺激所述区域中
的神经活动。所述多个电信号可以通过多个导线传输。在一些实施方式中,所述方法还可以包括经由一个或多个无线或有线通信信道,将电信号从探针传输到本文所述的神经数据分
析系统。
[0116] 在一些实施方式中,植入神经接口探针可以经由经皮导线连接到外部世界。该经皮导线可以通过患者的头皮插入。在其他实施方式中,植入神经接口探针可以经由无线遥
测单元连接到外部世界。
[0117] 图12图示了根据一些实施方式的、从植入神经接口探针到位于人体之外的示例性神经数据分析系统的一个或多个组件的信息流。在图12中,可以包括特征提取模块110作为图11中所示神经接口探针的一部分。
[0118] 特征提取模块可以从已经植入到深层神经物质或浅表神经物质中的多个导线或微电极接收神经信号。因此,特征提取模块自身可以注入到神经物质中。特征提取模块可被配置用于将多组离散事件传输到特征-事件合并模块120。特征-事件合并模块可以位于人
体之外。在一些实施方式中,特征提取模块可以将所述多组离散事件无线传输到特征-事件合并模块。数据传输可以经由微波传输,经由IR光学手段诸如VCSEL阵列,或者经由其他无线技术。传输可以经由超宽带(ultra-wideband,UWB)传输。传输可以是有线传输,例如通过经皮引线。经皮引线可以将神经信号从电极输送到身体之外的位置,例如受试者的胸部。特征-事件合并模块和逼近器模块可以使用CPU或GPGPU上的一个或多个处理器来实现。
[0119] 在一些实施方式中,使用与穿过1-4mm组织相配的低能波长电磁辐射,将来自特征提取模块的数字信号传出身体。这样的收发器的示例可以包括60GHz收发器或者基于VCSEL
的红外收发器。收发器可以是超宽带(UWB)收发器。或者,可以通过有线传输,例如通过经皮引线来传输信号。经皮引线可以将神经信号从电极输送到身体之外的位置,例如受试者的
胸部。这使得要在体内执行的计算量最小化。因此,可以减少体内来自所述一个或多个处理器的散热。在这些实施方式中,特征-事件合并模块可以在GPGPU或CPU中实现。
[0120] 在一些备选实施方式中——其中传输带宽有限并且/或者数据速率比散热更重要,特征提取模块和特征-事件合并模块两者可以植入在体内。在这些实施方式中,特征-事件合并模块可以在ASIC或FPGA中实现。
[0121] 虽然本文已经示出和描述了本发明的优选实施方式,但对于本领域技术人员容易理解的是,这样的实施方式只是以示例方式提供的。本领域技术人员现将想到许多变体、改变和替换,而不偏离本发明。应当理解,在实践本发明的过程中可以采用对本文所述的本发明实施方式的各种替代方案。以下权利要求书旨在限定本发明的范围,并且从而涵盖这些
权利要求范围内的方法和结构及其等同项。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈