技术领域
[0001] 本
发明涉及一种适用于重度瘫痪病人的娱乐交互方法，属于
图像处理技术领域。
背景技术
[0002] 瘫痪人群在我国普遍存在，其中的重度瘫痪病人四肢无法移动，存在语言障碍，但是大脑意志清醒。造成瘫痪的原因有很多，例如脑卒中后遗症、小儿脑性瘫痪、交通事故等。
[0003] 在瘫痪人群中，脑卒中造成的瘫痪占据很高的比例。脑卒中是由于脑部血管突然破裂或因血管阻塞导致血液不能流入大脑而引起脑组织损伤的一种
疾病，包括缺血性和出血性两种情况。脑卒中也是当今世界严重危害人类健康和生命安全的难治性疾病，具有发病率高、致残率高和死亡率高的特点。在2008年，世界死亡人数为5700万，其中慢性病死亡人数占总死亡人数的63％，在我国，慢性病占总死亡人数的85％，心血管、癌症等是慢性病死亡的主要原因。随着医学科学的发展、
重症监护技术和综合抢救技术的提高，脑卒中病人死亡率显著下降，但致残率反呈增加趋势。病人的心理健康对
治疗非常的有帮助，我们更应该促进患者的身体健康。
[0004] 头部
姿态估计的研究成果很多。有人提出了一种适用于光照变化条件下的头部姿态估计，该方法利用有向梯度直方图和主成分分析提取特征，接着利用SVM进行分类。有人提取脸部图像的sift特征，然后对两幅图像进行sift特征匹配，从而进行头部姿态估计。有人首先构建出姿态相似空间，利用姿态之间的相似性，对头部姿态进行估计。以上方法都是针对头部
水平方向上姿态的估计。除此之外，对于头部姿态估计的研究还用到了
随机森林、度量学习、流行学习、
深度学习等。
[0005] 对于眨眼的识别，国内外的研究人员也进行了一些研究。有人利用红外敏感的摄像机获得司机脸部图像，然后利用卡尔曼滤波
跟踪眼睛，进而计算出司机持续眨眼的时间，进而判断出患者是否疲劳，但是此种方法对成像设备有着一定的要求。有人首先训练出睁眼和闭眼的模板，然后和当前眼睛区域进行相关性分析来判断是睁眼还是闭眼的状态。除此之外眨眼识别还应用在了残疾人士的
人机交互方面。
[0006] 重度瘫痪病人具有四肢无法移动，存在语言障碍，大脑意志清醒的特点，所以病人除了基本的生理需求以外，还需要获得精神方面的慰藉。重度瘫痪病人在一天中有着大量的空闲时间，而且病人的情绪通常情况下是不稳定，通常需要专
门的医护人员进行护理。如果病人自己可以选择自己想观看的娱乐消遣节目，这不仅是一种对病人的精神慰藉，而且可以节省大量的人
力、物力，进而为社会创造一定的价值。
发明内容
[0007] 针对上述不足，本发明提供了一种适用于重度瘫痪病人的娱乐交互方法，其能够通过病人头部姿态、眨眼和张闭嘴动作来完成娱乐交互过程。
[0008] 本发明解决其技术问题采取的技术方案是：一种适用于重度瘫痪病人的娱乐交互方法，其特征是，它通过病人的头部姿态、眨眼和张闭嘴动作控制
光标的移动和
鼠标的左右键操作，进而完成娱乐交互过程。
[0009] 进一步地，所述的娱乐交互方法包括以下步骤：
[0010] 步骤1，获取重度瘫痪病人的头部图像，将头部图像切割出病人的脸部区域图像；
[0011] 步骤2，计算病人脸部区域图像的中心
位置，利用中心位置的偏移方向控制光标的移动；
[0012] 步骤3，将病人脸部区域图像切割出病人的眼睛和嘴巴区域，并根据眼睛和嘴部区域的
图像识别病人的眨眼和张闭嘴动作；
[0013] 步骤4，根据病人的上下左右摇头及其组合控制光标的移动，根据病人张闭嘴两次完成鼠标右键的单击，根据病人眨眼两次完成鼠标左键的单击，从而控制光标和鼠标的操作来完成娱乐交互方式。
[0014] 进一步地，所述步骤1的具体步骤如下：
[0015] 步骤11：安装摄像头，并调整摄像头的
角度，使摄像头对准病人的头部，进而获得病人的头部图像；
[0016] 步骤12：将病人的头部图像采用SeetaFace
算法或OpenCV中的Adaboost算法切割出病人脸部区域的图像。
[0017] 进一步地，所述步骤2的具体步骤如下：
[0018] 步骤21：根据脸部区域图像的高和宽计算病人脸部区域图像的中心位置，所述人脸区域图像的中心位置为脸部区域图像高和宽的中点；
[0019] 步骤22：在病人的头部图像中标记出m1,m2,m3和m4四个区域，根据头部姿态获得中心位置的偏移方向；
[0020] 步骤23：根据脸部图像中心位置的偏移方向控制光标八个方向的移动，所述光标在当前显示器上的位置通过函数GetCursorPos()获得，并通过如下公式计算出光标新的位置：
[0021] x1＝x+k(m1+m3)
[0022] y1＝y+k(m2+m4)
[0023] 其中x和y为光标在当前显示器上的坐标，x1和y1为计算得到的光标在显示器上的新位置，k为光标移动的幅度。
[0024] 进一步地，所述步骤3的具体步骤如下：
[0025] 步骤31：根据切割出来的脸部区域图像利用SeetaFace算法计算出眼睛的两个中心点和嘴角的两个关键点，根据中心点、关键点和人脸区域图像的大小自定义出眼睛和嘴巴区域图像的大小；
[0026] 步骤32：眨眼
阈值训练，从病人的
图像序列中选出30幅睁眼图像和30幅闭眼图像，将眼睛区域的图像转化为灰度图，并根据如下公式计算出眼睛灰度图像的方差：
[0027]
[0028] 其中，M×N为图像的大小，A(x,y)为图像中的
像素值，μ1为人眼图像的均值，σ为计算得到的方差；
[0029] 步骤33：计算30幅睁眼图像方差的均值μ11和30幅闭眼图像方差的均值μ12，进而计算出眨眼图像的阈值T1＝(μ11+μ12)/2；
[0030] 步骤34：眨眼测试，计算病人眼睛区域图像的方差，大于阈值T1则认为是睁眼，否则认为是闭眼；
[0031] 步骤35：张闭嘴阈值训练，从病人的图像序列中选出30幅闭嘴图像和30幅张嘴图像，将嘴部区域的图像转化为灰度图，并根据如下公式计算出嘴部灰度图像的均值；
[0032]
[0033] μ2为计算得到的嘴部图像均值；
[0034] 步骤36：计算30幅闭嘴图像的均值μ21和30幅张嘴图像的均值μ22，进而计算出张闭嘴图像的阈值T2＝(μ21+μ22)/2；
[0035] 步骤37：张闭嘴测试，计算病人嘴部区域图像的均值，大于阈值T2则认为是闭嘴，否则认为是张嘴。
[0036] 进一步地，所述步骤4的具体步骤如下：
[0037] 步骤41：当病人想观看娱乐节目时，病人通过保持张嘴动作3秒触发开机键完成系统的启动；
[0038] 步骤42：系统启动以后，病人通过上下左右摇头及其组合控制光标的移动，并将光标移动到娱乐节目程序；
[0039] 步骤43：接着病人张闭嘴两次进行鼠标右键的单击，打开娱乐程序的控制菜单，张嘴动作持续时间为1秒后闭嘴为张闭嘴一次；通过眨眼两次，打开娱乐程序，闭眼持续时间1秒后睁眼为眨眼一次；
[0040] 步骤44：当病人不想观看娱乐节目时，病人通过再次保持张嘴动嘴3秒触发关机键完成系统的关闭。
[0041] 本发明的有益效果是：
[0042] 充分考虑到了重度瘫痪病人四肢无法移动，存在语言障碍，但是大脑意志清醒的特点，本发明通过头部姿态、眨眼、张闭嘴动作控制光标的移动和鼠标的左右键，进而完成娱乐交互过程。当病人想要观看娱乐节目时，首先通过保持张嘴动作3秒完成系统的启动；系统启动后，进而可以通过上下左右摇头及其组合控制光标的移动，并将光标移动到娱乐节目程序；接着通过张闭嘴两次完成鼠标右键的单击，打开娱乐程序的控制菜单，张嘴动作持续时间为1秒，然后闭嘴为张闭嘴一次；通过眨眼两次，打开娱乐程序，闭眼持续时间1秒，然后睁眼为眨眼一次；最后通过保持张嘴动作3秒完成系统的关闭。
[0043] 本发明首先通过摄像头获取病人头部的图像，接着在头部图像中切割出脸部区域图像，计算出脸部区域的中心位置，根据中心位置的偏移方向控制光标的移动；对于鼠标左右键的控制，首先在人脸区域图像中切割出眼睛和嘴部区域的图像，进而识别出眨眼和张闭嘴动作，并通过张嘴两次完成鼠标右键的单击，眨眼两次完成鼠标左键的单击，从而控制光标和鼠标的操作完成了娱乐交互方式，并且满足娱乐交互实时性的要求。
附图说明
[0045] 图2(a)和图2(b)为重度瘫痪病人装置示意图，图2(a)为装置
正面示意图，图2(b)为使病人起卧时装置示意图；
[0046] 图3(a)至图3(c)为
人脸检测及头部姿态示意图，图3(a)为获得的头部图像，图3(b)为m1，m2，m3，m4标记示意图，图3(c)为m1计算示意图；
[0047] 图4(a)至图4(h)为人脸区域中心位置移动示意图；
[0048] 图5为头部姿态控制光标移动流程图；
[0049] 图6为眨眼阈值训练过程中的部分睁眼闭眼示意图；
[0050] 图7为张闭嘴测试过程中的部分张嘴闭嘴示意图。
具体实施方式
[0051] 为能清楚说明本方案的技术特点，下面通过具体实施方式并结合其附图对本发明进行详细阐述。下文的公开提供了许多不同的
实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
[0052] 本发明充分考虑了重度瘫痪病人的特点，并以此为根据，设计出整个装置，它通过病人的头部姿态、眨眼和张闭嘴动作控制光标的移动和鼠标的左右键操作，进而完成娱乐交互过程。
[0053] 本发明采用的SeetaFace
人脸识别引擎是中科院计算机所研究员山世光老师带领的人脸识别研究组研发，代码基于C++实现，不依赖于第三方库，SeetaFace的开源为人脸检测、人脸对齐、人脸识别及其相关领域的研究做出了巨大的贡献。Adaboost算法是OpenCV中自带的一种人脸识别算法，此算法为人脸识别及其相关领域的研究提供了很大的方便。
[0054] 本发明的一种适用于重度瘫痪病人的娱乐交互方法，它通过病人的头部姿态、眨眼和张闭嘴动作控制光标的移动和鼠标的左右键操作，进而完成娱乐交互过程。如图1所示，所述的娱乐交互方法包括以下步骤：
[0055] 步骤1，获取重度瘫痪病人的头部图像，将头部图像切割出病人的脸部区域图像；
[0056] 步骤2，计算病人脸部区域图像的中心位置，利用中心位置的偏移方向控制光标的移动；
[0057] 步骤3，将病人脸部区域图像切割出病人的眼睛和嘴巴区域，并根据眼睛和嘴部区域的图像识别病人的眨眼和张闭嘴动作；
[0058] 步骤4，根据病人的上下左右摇头及其组合控制光标的移动，根据病人张闭嘴两次完成鼠标右键的单击，根据病人眨眼两次完成鼠标左键的单击，从而控制光标和鼠标的操作来完成娱乐交互方式。
[0059] 进一步地，所述步骤1的具体步骤如下：
[0060] 步骤11：安装摄像头，并调整摄像头的角度，使摄像头对准病人的头部，进而获得病人的头部图像；如图2所示，图2(a)和图2(b)中的B
云台摄像头可以获取病人的头部图像，显示器C为病人娱乐交互界面。
[0061] 步骤12：将病人的头部图像采用SeetaFace算法或OpenCV中的Adaboost算法切割出病人脸部区域的图像。
[0062] 进一步地，所述步骤2的具体步骤如下：
[0063] 步骤21：根据脸部区域图像的高和宽计算病人脸部区域图像的中心位置，所述人脸区域图像的中心位置为脸部区域图像高和宽的中点。根据得到的脸部区域图像，如图3(a)所示，其中R1矩形框为人脸区域，根据脸部区域图像的高和宽，取高和宽的中点，即为人脸区域图像的中心位置，中心位置在头部图像中的投影如图3(a)中的R2位置。
[0064] 步骤22：在病人的头部图像中标记出m1,m2,m3和m4四个区域，根据头部姿态获得中心位置的偏移方向。图3(b)为图3(a)的简化示意图，图3(b)中的中心圆点为脸部区域的中心位置，内部矩形框为图3(a)中R1矩形框，在病人的头部图像中标记出四个区域，即m1,m2,m3,m4，如图3(b)所示，四个区域的标记是显示窗口的中心位置，由于瘫痪病人的四肢无法移动，所有在具体实施过程中，摄像头需要对准瘫痪病人的头部。图3(c)为图3(b)的p1位置，在图3(c)中，当m1位于位置2时，m1＝0；当m1位于位置1时，m1＝-1；当m1位于位置3时，m1＝1。
[0065] 步骤23：根据脸部图像中心位置的偏移方向控制光标八个方向的移动，所述光标在当前显示器上的位置通过函数GetCursorPos()获得，并通过如下公式计算出光标新的位置：
[0066] x1＝x+k(m1+m3)
[0067] y1＝y+k(m2+m4)
[0068] 其中x和y为光标在当前显示器上的坐标，x1和y1为计算得到的光标在显示器上的新位置，k为光标移动的幅度，即速度。图4为人脸区域中心位置移动示意图，其与光标的对应关系见表1：
[0069] 表1：鼠标移动表
[0070]
[0071] 步骤2的具体实施过程如图5所示，首先获得病人脸部区域的图像，接着计算出图像的中心位置，然后根据头部姿态获得中心位置的偏移方向，最后根据光标在当前显示器上的位置，位置是通过函数GetCursorPos()获得，通过公式计算出光标新的位置，并移动光标。
[0072] 进一步地，所述步骤3的具体步骤如下：
[0073] 步骤31：根据切割出来的脸部区域图像利用SeetaFace算法计算出眼睛的两个中心点和嘴角的两个关键点，根据中心点、关键点和人脸区域图像的大小自定义出眼睛和嘴巴区域图像的大小；本
申请定义出眼睛区域图像的大小为45×25，嘴部区域图像的大小为125×50。
[0074] 步骤32：眨眼阈值训练，从病人的图像序列中选出30幅睁眼图像和30幅闭眼图像，如图6所示，将眼睛区域的图像转化为灰度图，并根据如下公式计算出眼睛灰度图像的方差：
[0075]
[0076] 其中，M×N为图像的大小，A(x,y)为图像中的像素值，μ1为人眼图像的均值，σ为计算得到的方差，方差反映的是数据的离散程度。
[0077] 步骤33：计算30幅睁眼图像方差的均值μ11和30幅闭眼图像方差的均值μ12，进而计算出眨眼图像的阈值T1＝(μ11+μ12)/2；
[0078] 步骤34：眨眼测试，计算病人眼睛区域图像的方差，大于阈值T1则认为是睁眼，否则认为是闭眼；
[0079] 步骤35：张闭嘴阈值训练，从病人的图像序列中选出30幅闭嘴图像和30幅张嘴图像，如图7所示，将嘴部区域的图像转化为灰度图，并根据如下公式计算出嘴部灰度图像的均值；
[0080]
[0081] μ2为计算得到的嘴部图像均值；
[0082] 步骤36：计算30幅闭嘴图像的均值μ21和30幅张嘴图像的均值μ22，进而计算出张闭嘴图像的阈值T2＝(μ21+μ22)/2；
[0083] 步骤37：张闭嘴测试，计算病人嘴部区域图像的均值，大于阈值T2则认为是闭嘴，否则认为是张嘴。
[0084] 进一步地，所述步骤4的具体步骤如下：
[0085] 步骤41：当病人想观看娱乐节目时，病人通过保持张嘴动作3秒触发开机键完成系统的启动；
[0086] 步骤42：系统启动以后，病人通过上下左右摇头及其组合控制光标的移动，并将光标移动到娱乐节目程序；
[0087] 步骤43：接着病人张闭嘴两次进行鼠标右键的单击，打开娱乐程序的控制菜单，张嘴动作持续时间为1秒后闭嘴为张闭嘴一次；通过眨眼两次，打开娱乐程序，闭眼持续时间1秒后睁眼为眨眼一次；
[0088] 步骤44：当病人不想观看娱乐节目时，病人通过再次保持张嘴动嘴3秒触发关机键完成系统的关闭。
[0089] 此外，本发明的应用范围不局限于
说明书中描述的特定实施例的工艺、机构、制造、物质组成、手段、方法及步骤。从本发明的公开内容，作为本领域的普通技术人员将容易地理解，对于目前已存在或者以后即将开发出的工艺、机构、制造、物质组成、手段、方法或步骤，其中它们执行与本发明描述的对应实施例大体相同的功能或者获得大体相同的结果，依照本发明可以对它们进行应用。因此，本发明所附
权利要求旨在将这些工艺、机构、制造、物质组成、手段、方法或步骤包含在其保护范围内。
