首页 / 专利库 / 视听技术与设备 / 眼球追踪摄像头 / 一种头戴式眼动追踪装置

一种头戴式眼动追踪装置

阅读:908发布:2020-05-17

专利汇可以提供一种头戴式眼动追踪装置专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种头戴式眼动追踪装置。本发明穿戴于使用者的头部,包含头部穿戴件、内置于头部穿戴件的微型红外摄像头模 块 、眼部视频 图像处理 模块、无线数据传输模块和电源模块;将本发明穿戴于头部,调整穿戴件上的红外摄像头托架对准眼部,可呈现出清晰的眼部图像;可记录眼球运动轨迹,为精神 疾病 诊断提供参考;可追踪人眼视线信息、检测眨眼动作并转换成 鼠标 信号 控制使用电脑、手机等数字终端。本发明可为医生对患者眼部的病理检查、精神疾病诊断提供辅助,还能实现通过眼动信息控制 光标 粗略的代替鼠标,为不方便用手使用鼠标的人士带来便利,且设备成本低、穿戴便捷。,下面是一种头戴式眼动追踪装置专利的具体信息内容。

1.一种头戴式眼动追踪装置,其特征在于:包含头部穿戴件(1)、内置于头部穿戴件的微型红外摄像头模(2)、眼部视频图像处理模块(3)、无线数据传输模块(4)和电源模块(5);具有眼部成像、眼球轨迹追踪、人眼视线追踪三种工作模式;
头部穿戴件(1)具有USB Type-C输入插口(1-1)、后固定卡带(1-2)、前固定卡带(1-3)、LED指示灯(1-4)、多功能轻触按键(1-5)、左摄像头托架(1-6)、右摄像头托架(1-7)、卡带松紧调节左旋钮(1-8)、左摄像头托架旋转调节旋钮(1-9)、卡带松紧调节右旋钮(1-10)、右摄像头托架旋转调节旋钮(1-11);其中多功能轻触按键(1-5)位于前固定卡带(1-3)前侧中间位置;LED指示灯(1-4)位于多功能轻触按键(1-5)两侧;左摄像头托架(1-6)连接在前固定卡带(1-3)左侧末端;右摄像头托架(1-7)连接在前固定卡带(1-3)右侧末端;USB Type-C输入插口(1-1)位于后固定卡带(1-2)腔体外侧中间位置;卡带松紧调节左旋钮(1-8)位于后固定卡带(1-2)与前固定卡带(1-3)左连接处;卡带松紧调节右旋钮(1-10)位于后固定卡带(1-2)与前固定卡带(1-3)右连接处;左摄像头托架旋转调节旋钮(1-9)位于左摄像头托架(1-6)与前固定卡带(1-3)连接处,右摄像头托架旋转调节旋钮(1-11)位于右摄像头托架(1-7)与前固定卡带(1-3)右连接处;
所述的USB Type-C输入插口(1-1)用来作为充电输入、有线数据传输插口;所述的多功能轻触按键(1-5)用来打开或关闭头戴式眼动追踪装置、指示开关状态、切换工作模式;所述的LED指示灯(1-4)用来指示不同的工作模式、充电状态、剩余电量;所述的后固定卡带(1-2)与前固定卡带(1-3)用来把该装置穿戴于头部;所述的卡带松紧调节左旋钮(1-8)与卡带松紧调节右旋钮(1-10)用来调节穿戴的松紧度以适用不同的穿戴个体;所述的左摄像头托架(1-6)、右摄像头托架(1-7)分别用来固定微型红外摄像头并分别能以左摄像头托架旋转调节旋钮(1-9)、右摄像头托架旋转调节旋钮(1-11)为中心上下旋转;所述的左摄像头托架旋转调节旋钮(1-9)、右摄像头托架旋转调节旋钮(1-11)分别用来调整左摄像头托架(1-6)、右摄像头托架(1-7)的旋转位置使微型红外摄像头能对准眼部;
内置于穿戴件(1)的眼部视频图像处理模块(3)分别连接微型红外摄像头模块(2)、无线数据传输模块(4)、电源模块(5);其中眼部视频图像处理模块(3)包括眼部视频图像数据缓存电路单元(3-1)、FPGA图像处理与控制电路单元(3-2)、LED指示灯驱动电路单元(3-3)和按键电路单元(3-4);
所述的微型红外摄像头模块(2)用来采集用户眼部图像;所述的眼部视频图像处理模块(3)用来处理微型红外摄像头模块(2)输出的视频图像信号完成瞳孔中心定位、眼部动作识别;所述的无线数据传输模块(4)用来把眼部视频图像处理模块(3)得到的处理结果以无线的形式发送给手机或电脑或其他数字终端;所述的电源模块(5)包括充电电路单元(5-
1)、3.7V聚合物电池(5-2),用来为系统供电。
2.根据权利要求1所述的一种头戴式眼动追踪装置,其特征在于:所述的微型红外摄像头模块(2)的摄像头数量为2个,分别内置于头部穿戴件(1)中的左摄像头托架(1-6)、右摄像头托架(1-7),均集成微型红外发光二极管;所述的后固定卡带(1-2)后侧中间位置具有一个较大的腔体用来固定和保护眼部视频图像处理模块(3)、无线数据传输模块(4)和电源模块(5);所述的眼部视频图像处理模块(3)中的FPGA图像处理与控制电路单元(3-2)、分别连接眼部视频图像数据缓存电路单元(3-1)、LED指示灯电路单元(3-3)和按键电路单元(3-
4);所述的眼部视频图像数据缓存电路单元(3-1)用来实现把微型红外摄像头模块(2)输出的视频图像数据以为单位缓存起来;所述的FPGA图像处理与控制电路单元(3-2)用来从眼部视频图像数据缓存电路单元(3-1)以帧为单位读取眼部视频图像数据并处理实现瞳孔中心定位、眼部动作识别,并把得到的处理结果传给无线数据传输模块(4),同时根据按键电路单元(3-4)的输出结果判断多功能按键(1-5)的状态实现工作模式的切换并控制LED指示灯电路单元(3-3)的显示;所述的电源模块(5)中的充电电路(5-1)用来实现通过USB Type-C输入插口(1-1)为3.7V聚合物锂电池(5-2)充电;所述的3.7V聚合物锂电池(5-2)为各模块提供工作电压

说明书全文

一种头戴式眼动追踪装置

技术领域

[0001] 本发明涉及眼动追踪装置领域,尤其涉及一种头戴式眼动追踪装置。

背景技术

[0002] 眼睛是人类从周围世界中获取信息的重要器官,通过准确测量一个人的注视点,可以作为研究人类心理活动并提取心理意识提供重要依据,可以用注视点代替鼠标或者触摸操作,实现利用注视点进行人机交互;眼动追踪装置作为一种视线落点测量装置,在各行各业都有广阔的应用前景,包括康复医疗,广告设计,游戏设计和人机接口设计等诸多领域。眼动追踪装置虽然拥有广阔的应用前景,但目前国内现有的眼动追踪装置大部分为头部受限式,被测量者需将头部固定在一个平面上且在测量时头部不能移动,非常不灵活。而且摄像头距离人眼距离较远,人眼像素在摄像头获取的每图像中占比较小,无法避免复杂背景图像带来的干扰,导致在非穿戴式设备上追踪算法复杂度高,计算量大,对硬件运算速度要求高,十分占用被控设备的硬件资源,实时性不好,用户使用体验差。
[0003] 若能提出一种可穿戴于头部的眼动追踪装置,穿戴松紧、摄像头度可调,能够适用不同的使用个体且穿戴舒适,自带计算核心不,大量占用被控设备硬件资源从而降低对被控设备的硬件性能要求,可大大改善眼动追踪技术的使用体验,市场前景广阔。因此提出了本发明。

发明内容

[0004] 本发明的目的是为了解决现有的眼动追踪装置存在的一些缺陷,而公开了一种成本低廉的可穿戴式的眼动追踪装置。
[0005] 一种头戴式眼动追踪装置,包含头部穿戴件(1)、内置于头部穿戴件的微型红外摄像头模(2)、眼部视频图像处理模块(3)、无线数据传输模块(4)和电源模块(5);具有眼部成像、眼球轨迹追踪、人眼视线追踪三种工作模式;
[0006] 头部穿戴件(1)具有USB Type-C输入插口(1-1)、后固定卡带(1-2)、前固定卡带(1-3)、LED指示灯(1-4)、多功能轻触按键(1-5)、左摄像头托架(1-6)、右摄像头托架(1-7)、卡带松紧调节左旋钮(1-8)、左摄像头托架旋转调节旋钮(1-9)、卡带松紧调节右旋钮(1-10)、右摄像头托架旋转调节旋钮(1-11);
[0007] 其中多功能轻触按键(1-5)位于前固定卡带(1-3)前侧中间位置;LED指示灯(1-4)位于多功能轻触按键(1-5)两侧;左摄像头托架(1-6)连接在前固定卡带(1-3)左侧末端;右摄像头托架(1-7)连接在前固定卡带(1-3)右侧末端;USB Type-C输入插口(1-1)位于后固定卡带(1-2)腔体外侧中间位置;卡带松紧调节左旋钮(1-8)位于后固定卡带(1-2)与前固定卡带(1-3)左连接处;卡带松紧调节右旋钮(1-10)位于后固定卡带(1-2)与前固定卡带(1-3)右连接处;左摄像头托架旋转调节旋钮(1-9)位于左摄像头托架(1-6)与前固定卡带(1-3)连接处,右摄像头托架旋转调节旋钮(1-11)位于右摄像头托架(1-7)与前固定卡带(1-3)右连接处;所述的USB Type-C输入插口(1-1)用来作为充电输入、有限数据传输插口;所述的多功能轻触按键(1-5)用来打开或关闭头戴式眼动追踪装置、指示开关状态、切换工作模式;所述的LED指示灯(1-4)用来指示不同的工作模式、充电状态、剩余电量;所述的后固定卡带(1-2)、前固定卡带(1-3)用来把该装置穿戴于头部;所述的卡带松紧调节左旋钮(1-8)与卡带松紧调节右旋钮(1-10)用来调节该装置穿戴的松紧度以适用不同的使用个体;所述的左摄像头托架(1-6)、右摄像头托架(1-7)分别用来固定微型红外摄像头并分别能以左摄像头托架旋转调节旋钮(1-9)、右摄像头托架旋转调节旋钮(1-11)为中心上下旋转;所述的左摄像头托架旋转调节旋钮(1-9)、右摄像头托架旋转调节旋钮(1-11)分别用来调整左摄像头托架(1-6)、右摄像头托架(1-7)的旋转位置使微型红外摄像头对准眼部;
[0008] 内置于头部穿戴件(1)的眼部视频图像处理模块(3)分别连接微型红外摄像头模块(2)、无线数据传输模块(4)、电源模块(5);
[0009] 其中眼部视频图像处理模块(3)包括眼部视频图像数据缓存电路单元(3-1)、FPGA图像处理与控制电路单元(3-2)、LED指示灯驱动电路单元(3-3)和按键电路单元(3-4);所述的微型红外摄像头模块(2)用来采集用户眼部图像;所述的眼部视频图像处理模块(3)用来处理微型红外摄像头模块(2)输出的视频图像信号完成瞳孔中心定位、眼部动作识别;所述的无线数据传输模块(4)用来把眼部视频图像处理模块(3)得到的处理结果以无线的形式发送给手机或电脑或其他数字终端;所述的电源模块(5)包括充电电路单元(5-1)、3.7V聚合物电池(5-2),用来为系统供电。
[0010] 所述的微型红外摄像头模块(2)的摄像头数量为2个,分别内置于穿戴件(1)中的左摄像头托架(1-6)、右摄像头托架(1-7),均集成红外发光二极管;所述的后固定卡带(1-2)后侧中间位置具有一个较大的腔体用来固定和保护眼部视频图像处理模块(3)、无线数据传输模块(4)和电源模块(5);所述的眼部视频图像处理模块(3)中的FPGA图像处理与控制电路单元(3-2)、分别连接眼部视频图像数据缓存电路单元(3-1)、LED指示灯驱动电路单元(3-3)和按键电路单元(3-4);所述的眼部视频图像数据缓存电路单元(3-1)用来实现把微型红外摄像头模块(2)输出的视频图像数据以帧为单位缓存起来;所述的FPGA图像处理与控制电路单元(3-2)用来从眼部视频图像数据缓存电路单元(3-1)以帧为单位读取眼部视频图像数据并处理实现瞳孔中心定位、眼部动作识别,并把得到的处理结果传给无线数据传输模块(4),同时根据按键电路单元(3-4)的输出结果判断多功能按键(1-5)的状态实现工作模式的切换并控制LED指示灯电路单元(3-3)的显示;所述的电源模块(5)中的充电电路(5-1)用来实现通过USB Type-C输入插口(1-1)为3.7V聚合物锂电池(5-2)充电;所述的3.7V聚合物锂电池(5-2)为各模块提供工作电压
[0011] 本发明的有益效果为:
[0012] 本发明提出的一种头戴式眼动追踪装置,摄像头取景角度可调、穿戴松紧可调,可适用于不同的穿戴个体且穿戴舒适,只需将其戴在头上,调整摄像头托架使摄像头处于能拍到清晰的眼部图像且不遮挡人眼视线的位置,能够实现追踪人眼注视点,追踪眼球运动轨迹,和呈现出清晰的人眼图像的效果;可利用无线数据传输和电脑、手机等数字终端相关联;在电脑端或者手机端安装上相应的驱动软件,当处于人眼视线追踪工作模式时,能够实现利用人眼注视点代替鼠标或触摸操作来使用电脑或者手机;当处于眼球轨迹追踪或者眼部成像模式时,可在电脑或者手机端呈现出清晰的眼部实时图像。可为医生对患者眼部的病理检查、精神疾病诊断提供辅助,还能实现通过眼动信息控制光标粗略的代替鼠标,为不方便用手使用鼠标的人士带来便利。以自带的嵌入式硬件为计算核心进行数字图像处理,对被控设备的硬件资源占用率低,对被控设备的硬件性能要求更低、使用限制更少,且设备成本低、穿戴便捷。附图说明
[0013] 图1为本发明涉及的一种头戴式眼动追踪装置头部穿戴件左视图;
[0014] 图2为本发明涉及的一种头戴式眼动追踪装置头部穿戴件右视图;
[0015] 图3为本发明涉及的一种头戴式眼动追踪装置头部穿戴件后视图;
[0016] 图4为本发明涉及的一种头戴式眼动追踪装置系统模块组成框图

具体实施方式

[0017] 在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与系统及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。
[0018] 在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本发明,在附图中仅仅示出了与根据本发明的方案密切相关的模块和/或电路,而省略了与本发明关系不大的其他细节。
[0019] 具体实施方式一:
[0020] 本实施方式的头戴式眼动追踪装置,结合图1、图2、图3所示,一种头戴式眼动追踪装置包括:
[0021] 头部穿戴件1,用来把该装置穿戴于不同个体的头部以及固定和保护该装置所需的电子元件;穿戴件1具有USB Type-C输入插口1-1、后固定卡带1-2、前固定卡带1-3、LED指示灯1-4、多功能轻触按键1-5、左摄像头托架1-6、右摄像头托架1-7、卡带松紧调节左旋钮1-8、左摄像头托架旋转调节旋钮1-9、卡带松紧调节右旋钮1-10、右摄像头托架旋转调节旋钮1-11;
[0022] 其中多功能轻触按键1-5位于前固定卡带1-3前侧中间位置,用来打开或关闭眼动追中装置、指示开关状态、切换工作模式;轻按一下多功能按键1-5,多功能按键1-5发红光,眼动追踪装置打开并默认处在眼部成像工作模式,可根据成像效果调整左右摄像头托架,使得摄像头处于能拍到清晰的眼部图像且不遮挡人眼视线的位置;再快速轻按两下多功能按键1-5,其所发红光闪烁一下后切换到眼球运动轨迹追踪模式;再快速轻按两下多功能按键1-5,其所发红光闪烁一下后切换到人眼视线追踪模式;再轻按两下多功能按键1-5,其所发红光闪烁一下后切换回默认的眼部成像模式;长按多功能按键1-5,功能按键1-5红光熄灭,眼动追踪装置关闭;
[0023] LED指示灯1-4位于多功能轻触按键1-5两侧;当眼动追踪装置处在不同的工作状态时,多功能按键1-5左侧的LED指示灯呈现出不同的颜色从而指示不同的工作状态;多功能按键1-5右侧的LED指示灯用来指示不同的电量等级,当剩余电量为100%—70%时,其发绿光;当剩余电量在69%—40%时,其发黄光;当电量在39%—10%,其发红光;当电量低于10%时,其闪烁发红光;当装置充电时,其闪烁发绿光,当电量充满时为绿光常量;
[0024] 左摄像头托架1-6连接在前固定卡带1-3左侧末端;可以用来固定和调节微型红外摄像头模块;右摄像头托架1-7连接在前固定卡带1-3右侧末端,用来固定和调节微型红外摄像头模块;
[0025] USB Type-C输入插口1-1位于后固定卡带1-2腔体外侧中间位置;用来实现装置的充电和有线数据传输;
[0026] 卡带松紧调节左旋钮1-8位于后固定卡带1-2与前固定卡带1-3左连接处;卡带松紧调节右旋钮1-10位于后固定卡带1-2与前固定卡带1-3右连接处;通过旋转左旋钮1-8和右旋钮1-10可实现调节后固定卡带1-2与前固定卡带1-3所组成的圆的直径大小,从而使不同头部直径的个体都能把该装置牢固的穿戴于头部;
[0027] 左摄像头托架旋转调节旋钮1-9位于左摄像头托架1-6与前固定卡带1-3连接处,右摄像头托架旋转调节旋钮1-11位于右摄像头托架1-7与前固定卡带1-3右连接处,分别用来调整左摄像头托架1-6、右摄像头托架1-7的旋转位置使微型红外摄像头对准眼部;
[0028] 具体实施方式二:与具体实施方式一不同的是,本实施方式的头戴式眼动追踪装置,结合图1、图4所示,包括:
[0029] 内置于头部穿戴件1的微型红外摄像头模块2、眼部视频图像处理模块3、无线数据传输模块4和电源模块5;眼部视频图像处理模块3分别连接微型红外摄像头模块2、无线数据传输模块4、电源模块5;其中微型红外摄像头模块摄像头为2个,集成微型红外发光二极管,负责人眼视频图像数据的采集;眼部视频图像处理模块3负责整个眼动追踪装置算法的处理,无线数据传输模块4用来把眼部视频图像处理模块3对眼部视频图像数据处理后得到的结果以无线的形式传输给关联的电脑或者手机等数字设备,电源模块5用来为系统供电和充电;
[0030] 具体实施方式三:与具体实施方式二不同的是,本实施方式的头戴式眼动追踪装置结合图4所示:
[0031] 眼部视频图像处理模块(3)包括眼部视频图像数据缓存电路单元3-1、FPGA图像处理与控制电路单元3-2、LED指示灯驱动电路单元3-3和按键电路单元3-4;眼部视频图像处理模块3中的FPGA图像处理与控制电路单元3-2、分别连接眼部视频图像数据缓存电路单元3-1、LED指示灯驱动电路单元3-3和按键电路单元3-4;眼部视频图像数据缓存电路单元3-1用来实现把微型红外摄像头模块2输出的视频图像数据以帧为单位缓存起来;FPGA图像处理与控制电路单元3-2用来从眼部视频图像数据缓存电路单元3-1以帧为单位读取眼部视频图像数据并处理实现瞳孔中心定位、眼部动作识别,并把得到的处理结果传给无线数据传输模块4,同时根据按键电路单元3-4的输出结果判断多功能按键1-5的状态实现工作模式的切换并控制LED指示灯驱动电路单元3-3的显示;
[0032] 电源模块5包括充电电路单元5-1、3.7V聚合物锂电池5-2;其中充电电路(5-1)用来实现通过USB Type-C输入插口1-1为3.7V聚合物锂电池5-2充电。
[0033] 具体实施方式四:与具体实施方式三不同的是,本实施方式的头戴式眼动追踪装置眼动追踪的算法具体步骤如下:
[0034] 步骤一、亮暗瞳图像采集
[0035] 微型红外摄像头模块2集成的微型红外发光二极管以一定频率闪烁,眼部视频图像处理模块3中的FPGA图像处理与控制电路单元3-2控制微型红外摄像头模块2输出图像的帧率和微型红外发光二极管的闪烁频率,使两者频率相同,实现获取的眼部图像为连续2帧图像中有且仅有一帧图像为有微型红外二极管补光的图像,使得连续两帧包含人眼瞳孔的图像分别为亮瞳和暗瞳交替的图像,并将两帧图像缓存在眼部视频图像数据缓存电路单元3-1中。
[0036] 步骤二、瞳孔中心坐标提取:
[0037] 利用步骤一得到亮暗瞳图像,FPGA图像处理与控制电路单元3-2从眼部视频图像数据缓存电路单元3-1中读取连续的两帧图像,用当前帧图像中的像素与后一帧图像对应的像素根据公式(1-1)进行差分运算;其中T1为设定的阈值,(xi)表示连续两帧图像中的当前帧第xi个像素的值,B(xi)表示连续两帧图像中的后一帧像素的值;满足公式(1-1)的像素判定为眼部图像中瞳孔图像像素,否则认定为非瞳孔图像像素;同时将瞳孔图像像素置为1,非瞳孔图像像素置为0,形成二值图像,从而获得只含有瞳孔的二值图像,分别计算瞳孔图像像素的最小外接圆,取其圆心作为瞳孔中心坐标;
[0038] F(xi)-B(xi)>T1   (1-1)
[0039] 步骤三、鼠标时序模拟:
[0040] 无线数据传输模块4把得到的瞳孔中心坐标数据编码成鼠标的信号数据格式,并模拟鼠标设备的信号时序,把数据发送出去,使得相关联的电脑或手机等可以将该眼动追踪装置当作是鼠标设备,利用通过中心坐标的移动来控制鼠标光标的移动,只要支持鼠标控制的设备均可使用该眼动追踪装置控制;
[0041] 尽管根据上述实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈