首页 / 技术领域 / 动作捕捉 / 基于眼面动作捕捉技术的帕金森病早期诊断方法

基于眼面动作捕捉技术的帕金森病早期诊断方法

热词 金森 帕金森 面部 口角 患者 人脸 幅度 诊断 帕金森病 收缩
专利类型 发明公开 法律事件 公开; 实质审查;
专利有效性 实质审查 当前状态 实质审查
申请号 CN202210698669.7 申请日 2022-06-20
公开(公告)号 CN115251901A 公开(公告)日 2022-11-01
申请人 襄阳市第一人民医院(襄阳市肿瘤医院); 湖北文理学院; 申请人类型 企业
发明人 王普清; 王峰; 李先红; 刘广腾; 宋金辉; 程虹; 赵强; 黄金洲; 唐洁; 第一发明人 王普清
权利人 襄阳市第一人民医院(襄阳市肿瘤医院),湖北文理学院 权利人类型 企业
当前权利人 襄阳市第一人民医院(襄阳市肿瘤医院),湖北文理学院 当前权利人类型 企业
省份 当前专利权人所在省份:湖北省 城市 当前专利权人所在城市:湖北省襄阳市
具体地址 当前专利权人所在详细地址:湖北省襄阳市樊城区解放路15号 邮编 当前专利权人邮编:441000
主IPC国际分类 A61B5/11 所有IPC国际分类 A61B5/11G06V40/16G06V40/70G16H50/20
专利引用数量 0 专利被引用数量 0
专利权利要求数量 8 专利文献类型 A
专利代理机构 天津市鼎拓知识产权代理有限公司 专利代理人 杨向南;
摘要 本 发明 公开了基于眼面 动作捕捉 技术的 帕金森病 早期诊断方法,包括,一、采集测试者的眼面部运动参数,包括以下参数,(1)眼球 水 平扫视、垂直扫视及眨眼的 频率 、速度、幅度;(2)额肌及面颊部肌肉收缩幅度、速度和频率;(3)口 角 和唇部收缩的频率、速度和幅度;(4)头部的运动幅度和频率;(5)面部肌肉从静态‑动态‑恢复到静态时的时长。本发明可用于:一、协助领域专家高效实现帕金森综合症患者的确诊工作;二、帮助帕金森综合症领域初入行医生更快、更好的成为一名领域专家;三、为领域专家针对帕金森综合症患者进行复查和指标确认提供参考性依据。
权利要求

1.基于眼面动作捕捉技术的帕金森病早期诊断方法,其特征是,包括,一、采集测试者的眼面部运动参数,包括以下参数,
(1)眼球平扫视、垂直扫视及眨眼的频率、速度、幅度;
(2)额肌及面颊部肌肉收缩幅度、速度和频率;
(3)口和唇部收缩的频率、速度和幅度;
(4)头部的运动幅度和频率;
(5)面部肌肉从静态‑动态‑恢复到静态时的时长;
二、将步骤一中的眼面部运动参数进行标定及位置向量化,从而构建出面部形状模型及纹理模型,
三、对步骤二中的纹理模型进行组合并进行加权运算,自动搜索、跟踪定位患者的特征点。
2.根据权利要求1所述的基于眼面动作捕捉技术的帕金森病早期诊断方法,其特征是,所述步骤三中的特征点定位方法如下:
1)、利用算法读取预判视频中面部各特征关键点之间的距离;
2)、将相邻间,各特征关键点间的距离做差值计算,并统计差值变化量;
3)、分别统计预先标记不同阶段帕金森患者在差值变化量上的差异性,通过计算差值变化量众数划定判定阈值区间;
4)、利用新的帕金森患者样本微调阈值区间,使其判定准确性稳步优化提升;
5)、当帕金森综合症辅助诊断标准达到一定准确率后,正式确立判定指标为帕金森综合症判定的显著性指标,并基于这些显著性指标形成患者判定标准。
3.根据权利要求1所述的基于眼面动作捕捉技术的帕金森病早期诊断方法,其特征是,所述眼球运动频率、运动速度和运动幅度的计算公式分别如下:
统计某时间段眼球运动的次数:
计算某时间段眼球运动的速度:
取某时间段眼球运动幅度的最大值:
其中,EB表示眼球,Fr表示视频帧,i和j分别表示两个不同的关键特征点;t和t’分别表示视频中的不同两帧的时间点。
4.根据权利要求1所述的基于眼面动作捕捉技术的帕金森病早期诊断方法,其特征是,所述眨眼的频率、速度、幅度的计算公式分别如下:
统计某时间段眨眼的次数:
计算某时间段眨眼速度:
取某时间段眨眼幅度的最大值:
其中,B表示眨眼。
5.根据权利要求1所述的基于眼面动作捕捉技术的帕金森病早期诊断方法,其特征是,所述额肌额肌频率、幅度和速度的计算公式如下,
统计某时间段额肌收缩的次数:
计算某时间段额肌收缩速度:
取某时间段额肌肉收缩幅度的最大值:
其中,MF表示额肌。
6.根据权利要求1所述的基于眼面动作捕捉技术的帕金森病早期诊断方法,其特征是,所述面颊部肌肉收缩幅度、速度和频率的计算公式如下,
计算某时间段额肌收缩速度:
取某时间段额肌肉收缩幅度的最大值:
统计某时间段面颊肌收缩的次数:
计算某时间段面颊肌收缩速度:
取某时间段面颊肌收缩幅度的最大值:
其中,FA表示面颊肌。
7.根据权利要求1所述的基于眼面动作捕捉技术的帕金森病早期诊断方法,其特征是,口角的频率、速度和幅度的计算公式如下,
统计某时间段口角收缩的次数:
计算某时间段口角收缩速度:
取某时间段口角收缩幅度的最大值:
其中,Q表示口角。
8.根据权利要求1所述的基于眼面动作捕捉技术的帕金森病早期诊断方法,其特征是,唇部的频率、速度和幅度的计算公式如下:
统计某时间段唇部收缩的次数:
计算某时间段唇部收缩速度:
取某时间段唇部收缩幅度的最大值:
其中,L表示唇部。

说明书全文

基于眼面动作捕捉技术的帕金森病早期诊断方法

技术领域

[0001] 本发明涉及帕金森病诊断领域,具体涉及基于眼面动作捕捉技术的 帕金森病早期诊断方法。

背景技术

[0002] 随着人工智能技术的不断发展,很多先进的算法和技术与临床医学领 域相结合都得到了较好的应用和落地转化。本发明所公开的研究内容“基 于眼面动作捕捉技术的帕金森病早期诊断和量化评估系统”,就是人工智 能、模式识别等相关技术与临床医学领域中辅助诊断和量化评估早期帕 金森患者的场景相结合的成功应用之一。
[0003] 帕金森病患者均有面部表情呆板,临床上常称为“面具脸”。多在患 者表现出震颤和动作笨拙之前就已出现,而不易被早期注意和识别。同 时临床上对患者面部表情的判断均为主观感觉,缺乏一个定量指标来对 其进行描述,不利于该病的早期诊断和治疗效果的评估。虽然目前世面 上已出现使用穿戴设备对受试者进行运动功能检测,但这些检测设备和 方法存在以下缺陷:一是检测设备本身结构复杂、操作耗时且成本高昂, 极大地阻碍了它们的广泛应用,尤其是在发展中国家。二是这些检测方 法大多是对全身进行检测,对仪器设备要求较高,同时,全身观测点太 多,易产生偏差。如果能找到一个对观测PD症状体征有代表性的局部区 域,并对其进行检测,则使检测变得更简单易行,同时也降低了因干扰 因素过多而产生的数据偏差。因此,建立一套无标记点面部表情捕捉系 统,由硬件摄像系统和表情捕捉软件构成完成的面部表情捕捉解决方案, 拥有准确的表情捕捉算法、直观的使用流程。通过对患者面具脸的识别 和定量测算,为帕金森病早期诊断和治疗效果定量化评估提供依据。
[0004] 而在专利(ZL 201610266562.X)提出了一种帕金森病早期诊断方法, 包括:
[0005] 采集测试者的生理数据,并依据采集的所述生理数据获取表征帕金 森病特征样本点及正常人特征样本点,所述生理数据表示为时间序列信 息;基于挖掘的演化模糊规则构建演化模糊分类器,并依据获取的所述 表征帕金森病特征样本点和正常人特征样本点训练所述演化模糊分类 器,并确定所述演化模糊分类器的分类阈值;采集新测试者的生理数据, 依据已构建的演化模糊分类器获取所述新测试者的生理数据中属于帕金 森病特征样本点的数目;若所述属于帕金森病样本点的数目占所述新测 试者的生理数据中样本点总数的比例大于已确定的分类阈值,则将所述 新测试者诊断为帕金森病患者。
[0006] 其主要是通过采集患者声音进行判断患者的患病情况。
[0007] 而帕金森病患者均有面部表情呆板,临床上常称为“面具脸”。多在 患者表现出震颤和动作笨拙之前就已出现,而不易被早期注意和识别。 同时临床上对患者面部表情的判断均为主观感觉,缺乏一个定量指标来 对其进行描述,不利于该病的早期诊断和治疗效果的评估。因此,在此 本方案提出一种有区别于专利(ZL 201610266562.X)的诊断方法且其是 基于患者眼面动作上的诊断方法。

发明内容

[0008] 鉴于现有技术中的上述缺陷或不足,期望提供基于眼面动作捕捉技 术的帕金森病早期诊断方法。
[0009] 根据本申请实施例提供的技术方案,基于眼面动作捕捉技术的帕金 森病早期诊断方法,包括,
[0010] 一、采集测试者的眼面部运动参数,包括以下参数,
[0011] (1)眼球平扫视、垂直扫视及眨眼的频率、速度、幅度;
[0012] (2)额肌及面颊部肌肉收缩幅度、速度和频率;
[0013] (3)口和唇部收缩的频率、速度和幅度;
[0014] (4)头部的运动幅度和频率;
[0015] (5)面部肌肉从静态‑动态‑恢复到静态时的时长;
[0016] 二、将步骤一中的眼面部运动参数进行标定及位置向量化,从而构 建出面部形状模型及纹理模型,
[0017] 三、对步骤二中的纹理模型进行组合并进行加权运算,自动搜索、 跟踪定位患者的特征点。
[0018] 本方案中,进一步的,所述步骤三中的特征点定位方法如下:
[0019] 1)、利用算法读取预判视频中面部各特征关键点之间的距离;
[0020] 2)、将相邻间,各特征关键点间的距离做差值计算,并统计差值变化 量;
[0021] 3)、分别统计预先标记不同阶段帕金森患者在差值变化量上的差异性, 通过计算差值变化量众数划定判定阈值区间;
[0022] 4)、利用新的帕金森患者样本微调阈值区间,使其判定准确性稳步优化 提升;
[0023] 5)、当帕金森综合症辅助诊断标准达到一定准确率后,正式确立判定指 标为帕金森综合症判定的显著性指标,并基于这些显著性指标形成患者 判定标准。
[0024] 本方案中,进一步的,所述眼球运动频率、运动速度和运动幅度的计算 公式分别如下:
[0025] 统计某时间段眼球运动的次数:
[0026] 计算某时间段眼球运动的速度:
[0027] 取某时间段眼球运动幅度的最大值:
[0028] 其中,EB表示眼球,Fr表示视频帧,i和j分别表示两个不同的关键特 征点;t和t’分别表示视频中的不同两帧的时间点。
[0029] 本方案中,进一步的,所述眨眼的频率、速度、幅度的计算公式分别如 下:
[0030] 统计某时间段眨眼的次数:
[0031] 计算某时间段眨眼速度:
[0032] 取某时间段眨眼幅度的最大值:
[0033] 其中,B表示眨眼。
[0034] 本方案中,进一步的,所述额肌额肌频率、幅度和速度的计算公式如下,[0035] 统计某时间段额肌收缩的次数:
[0036] 计算某时间段额肌收缩速度:
[0037] 取某时间段额肌肉收缩幅度的最大值:
[0038]
[0039] 其中,MF表示额肌。
[0040] 本方案中,进一步的,所述面颊部肌肉收缩幅度、速度和频率的计算公 式如下,[0041] 计算某时间段额肌收缩速度:
[0042] 取某时间段额肌肉收缩幅度的最大值:
[0043]
[0044] 统计某时间段面颊肌收缩的次数:
[0045] 计算某时间段面颊肌收缩速度:
[0046] 取某时间段面颊肌收缩幅度的最大值:
[0047]
[0048] 其中,FA表示面颊肌。
[0049] 本方案中,进一步的,口角的频率、速度和幅度的计算公式如下,[0050] 统计某时间段口角收缩的次数:
[0051] 计算某时间段口角收缩速度:
[0052] 取某时间段口角收缩幅度的最大值: 其中,Q表示口角。
[0053] 本方案中,进一步的,唇部的频率、速度和幅度的计算公式如下:
[0054] 统计某时间段唇部收缩的次数:
[0055] 计算某时间段唇部收缩速度:
[0056] 取某时间段唇部收缩幅度的最大值:
[0057] 其中,L表示唇部。
[0058] 本方案的原理是如下:
[0059] 根据《新版世界运动障碍学会帕金森病综合评量表(MDS‑UPDRS) 工作手册》中第三部分:运动功能检查中关于面部表情诊断帕金森综 合症患者的概述可知,通过观察患者在静坐休息10秒时,不说话及 讲话时的表情变化,观察患者的眨眼频率、有无面具脸或是面无表情, 有无自发性的笑容及嘴唇微张等多项指标和因素,可实现对帕金森病 的诊断。其中,通过观察患者面部表情的变化又可将病人患帕金森综 合症的程度分为正常、轻微、轻度、中度和重度五个等级。该手册作 为世界运动障碍学会关于帕金森病综合评量和诊断的权威文献,可为 本发明采用计算机视觉机器学习和人工智能等计算机专业技术手段 辅助诊断帕金森综合症患者的实际应用提供良好的理论支撑
[0060] 2.面部识别与标记
[0061] 识别人脸首先要确认采集的视频中是否存在人脸,然后再确定人脸的位 置和尺寸,之后再把确定人眼作为人脸识别全过程的第一步。在(M.Akhil jabbar,B.L Deekshatulua,Priti Chandra,“Classification of Heart Disease Using K‑Nearest Neighbor and Genetic Algorithm”Procedia Technology 10(2013):85‑94.)中描述到通用的人脸识别方法可分为基 于知识、基于特征的、模板匹配和基于外貌特征的方法。其中,[0062] 1.基于知识的方法认为,一张人脸由两只眼、一个鼻子和嘴巴组成,每 一种脸部元素具有某种距离和位置,这是一种通过考虑多个元素之间关 系来识别人脸的方法;
[0063] 2.而在(Mohammed Hazim Alkawaz,Dzulkifli Mohamad,Ahmad Hoirul Basori,Tanzila Saba,"Blend Shape Interpolation and FACS for Realistic Avatar"Springer 3D Res(2015)6:6. )和(Henry A.Rowley,Shumeet Baluja,Takeo Kanade,“Neural Network Based Face Detection”Computer Vision and Pattern Recognition,1996,Carnegie Mellon University.)中介绍到,基于特征的方法利用 特定人脸的特征,如面部特征、肤色、形状和尺寸来推断脸部的位置和 尺寸;
[0064] 3.基于模板匹配的方法,为了识别人脸,它通过构造一种基础的模板, 然后通过分析输入的人脸图像来购进一种人脸的标准模板。之后,再将 标准模板和输入人脸进行比较,从而实现人脸识别,这些原理在(Yoon K Y,Park K C,Oh D K,et al.Analogical Face Generation based on Feature Points[J].Journal of Multimedia Information System,2019, 6(1):15‑22)中有所描述;
[0065] 4.基于外貌的方法,通过一组学习图像利用模型学习来识别人脸。该方 法在复杂图像中利用统计数值识别人脸部分[4]。
[0066] 在(Zhang X,Zhang W.Face detection and feature points location and tracking in video sequence[C]//Fifth International Conference on Digital Image Processing(ICDIP 2013). International Society for Optics and Photonics,2013.)中介绍到, 人脸探测和定位是一项相对独立的研究,且这类研究的方法和研究工具 亦日趋相对成熟。基于视频流的脸部分析技术已成为业界热的虚拟化 探测和模式识别技术,其目的旨在自动化探测、定位和跟踪视频中的人 脸,且这些技术在不同领域皆有广泛的应用,如(Yu Yangxin,Yan Yunyang,Algorithm Study of Face Detection and Location in Video Sequence.Computer Technology and Development[J],2009,2: 
8109‑111.)所述。基于简单且快速的原则,在(M Nilsson,M Dahl,I Claesson,The successive mean quantization transform,in IEEE International Conference in Acoustics,Speech,and Signal Processing(ICASSP),2005.4:429‑432.)中M Nilsson等人在视频帧上 利用局部逐次均值量化变换的思路,提出了一种快速面部探测方法用于 确定初始化的近似脸部区域,然后通过改进ASM(Active Shape Models) 的方法确定脸部特征点的位置。而连续均值量化变换可被看作是一种在 结果和计算负荷中可量化等级的可调节权重。该方法可将图像划分为指 定尺寸的多个,一旦定义了局部区域,将构造一系列像素点值。而ASM 是一种基于模型特征匹配的方法,它不仅能改变模型灵活的形状以适应 目标形状的不确定性,且能在模型允许范围内控制形状的改变,从而当 形状发生改变时以确保模型不受各种表象不合理形状的影响,该原理在 (Zhu Jie,Tang Zhengmin,ASM and Color Gabor Features for FacialFeature Extraction.Computer Science[J],
2010.4:265‑268) 中有所记载。
[0067] 3.面部特征点追踪
[0068] 在计算机视觉的研究中,面部特征点追踪是一种基础且具有挑战性的研 究主题,如(Sun Yangfeng,Fan Xia,Yin Baocai.Facial feature tracking and exaggerated facial animation system.Journal of beijing university of technology[J],2008,878‑883.)中所述。 它在人机交互、面部识别和面部动画制作等领域中均有重要应用。由于 眼部周围有丰富的纹理和局部的边缘信息,因此通常选用二进制的方法 用于眼部的周边图像,如(SongG ang,Ai Haizhou,Xu Guangyou.Texture constrained facial feature points tracking.Journal of Software [J],2004,1607‑1625)中所述。
[0069] 综上所述,本申请的有益效果:
[0070] 多年临床诊断经验的领域专家的诊断依据通过临床医学、人工智能和 模式识别等交叉领域的理论知识、和技术相结合,转化成一套针对帕金 森患者辅助诊断的专家系统。该系统可用于:
[0071] 一、协助领域专家高效实现帕金森综合症患者的确诊工作;
[0072] 二、帮助帕金森综合症领域初入行医生更快、更好的成为一名领域专 家;
[0073] 三、为领域专家针对帕金森综合症患者进行复查和指标确认提供参考 性依据。附图说明
[0074] 通过阅读参照以下附图所作的对非限制性实施例所作的详细描述, 本申请的其它特征、目的和优点将会变得更明显:
[0075] 图1为实施例中左口角收缩频率结果图;
[0076] 图2为实施例中左口角收缩幅度结果图;
[0077] 图3为实施例中左口角收缩速度结果图;
[0078] 图4左为实施例中眼球水平运动频率结果图;
[0079] 图5为实施例中左眼球水平运动幅度结果图;
[0080] 图6为实施例中左眼球水平运动速度结果图;
[0081] 图7为基于眼面动作捕捉技术的帕金森病早期诊断和量化评估系统;
[0082] 图8人脸识别及面部特征点自动标注原理图。

具体实施方式

[0083] 下面结合附图和实施例对本申请作进一步的详细说明。可以理解的 是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的 限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相 关的部分。
[0084] 需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中 的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0085] 一种基于眼面动作捕捉技术的帕金森病早期诊断方法及系统,如图 7所示,本方法及系统内容主要涵盖以下步骤:
[0086] ①人脸采集与识别模块:该模块主要用于采集受试者(即,拟判别的帕 金森患者)的人脸数据,然后从预先采集的病患高清视频中精准识 别出人脸的位置,并定需要标记眼面特征点的区域,为步骤②的 工作做准备;
[0087] ②眼面特征点自动标记模块:该模块用于在①中采集的患者视频中自动 标记人脸眼面特征点。自动且精确的标记特征点的位置,旨在为步 骤④中的特征指标计算做准备工作;
[0088] ③人脸自动识别与跟踪模块:当人脸位置在采集患者视频中发生偏移和 动态变化时,该模块可用于重新识别、跟踪并精确定位患者的面部 特征点位置,从而避免出现诊断误差;
[0089] ④特征指标计算模块:该模块是整个系统的核心模块,是领域专家确诊 帕金森患者诊断经验的重要体现。该模块主要集成了一套基于面部 捕捉系统的捕捉点定位系统测距算法。该算法的核心思想概述如下:
[0090] 首先,算法调用人脸识别模块,用于识别视频中是否存在人脸 和确定人脸在视频中的精确位置;其次,调用面部特征点标注模块, (注:面部特征点标注一般采用68个或128个特征点实现),对面 部实现自动标注功能;再次,通过视频中时间帧的持续变化,捕获 并计算每一帧图像中关键特征点的变化,以及这些关键特征点之间 存在的距离差异性;然后,通过多次计算和统计距离的差异性,结 合前期对帕金森综合症患者的标注结论,得出帕金森综合症患者在 特征点距离差异性上的诊断测距阈值标准。最后,利用这些确立的 阈值标准与帕金森综合症患者的测距数据计算结果进行比对,通过 计算结果所处的阈值标准区间,从而实现对帕金森综合症患者所处 患者阶段的辅助诊断。
[0091] ⑤帕金森患者判别模块:基于步骤④的特征指标计算结果与该模块设定 的判定标准做比较,该模块可将拟判定的采集视频判别为四类,即 正常人、早期帕金森患者、中期帕金森患者和晚期帕金森患者;
[0092] ⑥诊断结论输出打印模块:该模块用于输出步骤⑤中的判别结果,并打 印诊断结论和诊断受试患者视频的参考依据,这些依据包括受试患 者所处的患病阶段和判定参考值。
[0093] 本系统实现基于眼面动作捕捉技术的帕金森病早期诊断和量化 评估的详细全过程概述如下:
[0094] 1、受试者视频采集阶段。该阶段视频的采集方法和步骤详述如 下:
[0095] 患者取坐位,面向摄像头,确保整个头部均在摄像镜头窗内,调 整镜头焦距,确保受试者面部视频图像清晰,嘱受试者尽量不要摆 动头部。眼面部运动参数采集包括四个阶段的动作捕捉过程:
[0096] 第1步:静止自然状态时的表情捕捉:受试者面向摄像头(平视 前方),保持平静自然放松;视频时长>10秒。
[0097] 第2步:回答医生提问:多大年龄、哪年出生、这次主要是因为 哪些不舒服症状来住院或就诊;视频时长>10秒。
[0098] 第3步:让患者在保持头位不动的情况下,跟随医生指令分别进 行向上、下、左、右扫视的动作;重复三遍。
[0099] 第4步:让患者按照标准表情模版分别做出①笑的动作(大笑)、 ②示齿(最快最大幅度)③抬眉(最快最大幅度)、④皱眉(最快最大幅 度)⑤闭眼(最快最大幅度)⑥鼓腮(最快最大幅度)⑦撅嘴(最快最 大幅度)。每个动作重复三遍(每个动作中间需要明显停顿)。每个动作 重复三遍。
[0100] 拟观测的指标主要包括:①眼球运动(垂直和水平扫视)的频率、 速度和幅度;②眨眼的频率、速度、幅度;③额肌收缩的幅度、速 度和频率;④面颊部肌肉收缩幅度、速度和频率;⑤口角和唇部收 缩的频率、速度和幅度;⑥头部的运动幅度和频率;⑦联带动作(更 具体一点,哪个动作和另外一个动作有联带关系)。⑧面部肌肉从 静态‑动态‑恢复到静态时的时长,要保证拍摄的时长足够。
[0101] 2、视频图像的处理、分析与判定阶段。该阶段分为三个子阶段,即 人脸识别与面部特征点自动标记阶段、特征点定位测距与判定指标计算 阶段和受试视频判定与结论输出阶段。
[0102] 上述三个子阶段实现的详细过程概述如下:如图8所示,
[0103] 1、人脸识别与面部特征点自动标记阶段:
[0104] 1)实现人脸识别与面部特征点自动标记的原理,从图2中可以看出, 采集并构建人脸目标样本库:由于面部受脸型和轮廓的差异性影响, 不同的面部轮廓会导致面部关键点的自动标注工作存在差异性,因此 首先需要实现对人脸轮廓及面部目标的识别与样本库的构建,以期囊 括各种面部自动标注可能碰到的情形,为后期面部识别和特征点标注 工作打下良好的数据基础;
[0105] 2)面部特征提取及人脸轮廓标定:基于1)的数据和样本库基础, 对不同的人脸轮廓上所要识别的面部目标(眼、鼻子、嘴巴等)进行 特征提取和大小、形状等标定工作,为后续工作打基础;
[0106] 3)面部特征点标定及位置向量化:面部特征点自动标注的核心是要 确立各项面部目标特征点在整个图像坐标系中的坐标位置,只有确立 了目标特征点的确切位置并将坐标位置进行特征向量化表示,才能在 后期的自动标注工作中更精确的标定面部识别目标;
[0107] 4)构建面部形状模型和纹理模型:人的面部除了受外部轮廓的影响 外,面部上的识别目标在形状、大小和图像纹理及粗糙度方面存在较 大的差异性。因此,通过对不同人脸上的识别目标进行单独提取构建 识别目标的样本库,再通过训练样本库中的面部识别目标构建面部形 状模型,结合训练图像中识别目标的纹理训练所构建的纹理模型,最 终可实现对面部识别目标的精确识别和定位;
[0108] 5)多模型组合与加权运算:由于视频的曝光度、清晰度和色差等因 素的影响,需要对上述多个模型进行组合,并通过权重设置和调参的 方式进行加权运算,最终得到一个更理想的训练组合模型;
[0109] 6)面部搜索与跟踪:该步骤用于识别图像中是否存在人脸。由于图 像中的人脸可能随着时间帧的推移存在位置上的变化,因此当人脸位 置发生变化时,可实现对人脸位置的跟踪和重定位;
[0110] 7)面部目标搜索与定位:该步骤基于前述步骤的实现基础,用于实 现面部识别目标的搜索和定位。该步骤的精确搜索和定位可为面部特 征点的自动且精确的标注奠定良好的技术基础;
[0111] 8)面部特征点自动标注:该步骤是整个过程的最终环节,只要前述 步骤的实现过程及效果得以保证,面部特征点的自动标注工作的效果 就能明确实现。
[0112] ①特征点定位测距与判定指标计算阶段:
[0113] 特征点的定位已在上文中阐述,本阶段主要是对特征关键点实现测 距、判定指标的确立与计算,以及对判定标准的确立。具体实现过程详 述如下:
[0114] 1)利用算法读取预判视频中面部各特征关键点之间的距离;
[0115] 2)将相邻帧间,各特征关键点间的距离做差值计算,并统计差值变 化量;
[0116] 3)分别统计预先标记不同阶段帕金森患者在差值变化量上的差异 性,通过计算差值变化量众数划定判定阈值区间;
[0117] 4)利用新的帕金森患者样本微调阈值区间,使其判定准确性稳步优 化提升;
[0118] 当帕金森综合症辅助诊断标准达到一定准确率后,正式确立判定指 标为帕金森综合症判定的显著性指标,并基于这些显著性指标形成患者 判定标准。
[0119] 需要计算特征关键点的指标名称,参数,测距公式和描述,如表1 所示,[0120] 表1关键特征点及指标判定方法
[0121]
[0122]
[0123]
[0124]
[0125] ①受试视频判定与结论输出阶段:
[0126] 基于第②阶段的实现结果,就能实现对受试视频的精确判断和结论 输出。其中,受试视频的判定标准和结论输出可描述为,如下表2所示。
[0127] 表2帕金森患者判定标准与结论输出
[0128]
[0129]
[0130]
[0131]
[0132]
[0133] 实施例1:
[0134] 图1、图2和图3分别表示左口角收缩频率、幅度、速度随时间变化; 左上角为图例,红色实线代表早期帕金森患者,绿色实线代表正常人。
[0135] 在图1(频率‑时间图)中,横坐标表示时间(T),单位为秒(s),纵坐 标表示频率(f),单位为次每秒(次/s),整幅图表示左口角收缩频率随 时间的变化。绿色线为判别线,数值为13.5。
[0136] 在图2(幅度‑时间图)中,横坐标表示时间(T),单位为秒(s),纵坐 标表示幅度(S),单位为像素(pix),整幅图表示左口角收缩幅度随时 间的变化。绿色线为判别线,数值为85。
[0137] 在图3(速度‑时间图)中,横坐标表示时间(T),单位为秒(s),纵坐 标表示速度(V),单位为像素每秒(pix/s),整幅图表示左口角收缩速 度随时间的变化。绿色线为判别线,数值为18。
[0138] 从图1、图2和图3中可以得到结论1:
[0139] 正常人和患者之间在频率、速度、幅度这三个指标中正常人的分布较为 集中,帕金森患者则相反,研究结果需要进一步去验证。另外从结果图 中可以看出:图1频率指标中,正常人频率变化的范围比患者频率变化 的范围小一点,图2幅度指标中,正常人的幅度要比大部分患者高,图 3速度指标中,正常人的速度分布相对于帕金森患者来说分布集中。
[0140] 在图1中,若检测者的左口角收缩频率大部分大于判别线,即左口角收 缩频率普遍大于13.5,则认为该检测者为早期患者的可能性较大,反之, 若检测者的左口角收缩频率大部分小于判别线,即左口角收缩频率几乎 全部小于13.5,则认为该检测者为的正常人可能性较大。
[0141] 在图2中,若检测者的左口角收缩幅度大部分大于判别线,即左口角收 缩幅度普遍大于85,则认为该检测者为早期患者的可能性较大,反之, 若检测者的左口角收缩幅度大部分小于判别线,即左口角收缩幅度几乎 全部小于85,则认为该检测者为正常人的可能性较大。
[0142] 在图3中,若检测者的左口角收缩速度大部分大于判别线,即左口角收 缩速度普遍大于18,则认为该检测者为早期患者的可能性较大,反之, 若检测者的左口角收缩速度大部分小于判别线,即左口角收缩速度几乎 全部小于18,则认为该检测者为正常人的可能性较大。
[0143] 这三个指标现象中,频率和速度符合临床现象,研究较为成功,结论并 不一定正确,还需大量数据去验证结论的正确性。
[0144] 实施例2,图4、图5和图6分别为左眼球水平频率、幅度、速度结果图, 这三张图中的横纵坐标、图标及图的含义均与图1、图2和图3相同。从这三 幅图中得到的结论可作为结论1的佐证,用于辅助诊断早期PD患者与正常人 间的区别。
[0145] 同理,其他的检测方式也类似。
[0146] 以上描述仅为本申请的较佳实施例以及对所运用技术原理等方案的 说明。同时,本申请中所涉及的发明范围,并不限于上述技术特征的特 定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下, 由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例 如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进 行互相替换而形成的技术方案。
QQ群二维码
意见反馈