基于视觉反馈的面部功能训练方法、设备及存储介质
阅读：509发布：2020-05-13
专利汇可以提供基于视觉反馈的面部功能训练方法、设备及存储介质专利检索，专利查询，专利分析的服务。并且本 申请 涉及康复训练领域，引导用户进行面部功能训练，为用户提供较佳的 视觉反馈 。具体公开了基于视觉反馈的面部功能训练方法、设备及存储介质，方法包括：获取用户的脸部图像，脸部图像包括由脸部中间线分开的健侧区域和患侧区域；提取健侧区域的第一脸部图像，提取患侧区域的第二脸部图像；根据脸部中间线将第一脸部图像翻转处理为第三脸部图像；根据第二脸部图像的形状对第三脸部图像进行 变形 处理，以使变形处理后的第三脸部图像与第二脸部图像的形状大致相同；将脸部图像中的第二脸部图像替换为变形处理后的第三脸部图像，并将替换后的脸部图像将融合处理为融合图像，显示融合图像以对用户进行视觉反馈。，下面是基于视觉反馈的面部功能训练方法、设备及存储介质专利的具体信息内容。
1.一种基于视觉反馈的面部功能训练方法，其特征在于，包括：
获取用户的脸部图像，所述脸部图像包括由脸部中间线分开的健侧区域和患侧区域；
提取所述健侧区域的第一脸部图像，提取所述患侧区域的第二脸部图像；
根据所述脸部中间线对所述第一脸部图像进行翻转处理，得到第三脸部图像；
根据所述第二脸部图像的形状对所述第三脸部图像进行变形处理，以使变形处理后的第三脸部图像与所述第二脸部图像的形状大致相同；
将所述脸部图像中的第二脸部图像替换为变形处理后的第三脸部图像，并将替换后的脸部图像融合处理为融合图像，显示所述融合图像以对所述用户进行视觉反馈。
2.如权利要求1所述的基于视觉反馈的面部功能训练方法，其特征在于，还包括：
输出用于提示用户面部放松、鼓腮、抬眉、示齿微笑、吐词动作的放松引导信息、鼓腮引导信息、抬眉引导信息、微笑引导信息、吐词引导信息；所述放松引导信息、鼓腮引导信息、抬眉引导信息、微笑引导信息、吐词引导信息为视频、图片、文字和/或声音格式的动作引导信息。
3.如权利要求1所述的基于视觉反馈的面部功能训练方法，其特征在于，所述获取用户的脸部图像，包括：
基于摄像头实时捕捉视频流，从所述视频流中获取图像帧；
对所述图像帧进行脸部检测得到脸部区域以及所述脸部区域中的左脸区域和右脸区域，计算所述脸部区域的亮度数据；
根据所述脸部区域的亮度数据对所述图像帧进行调整，得到用户的脸部图像。
4.如权利要求3所述的基于视觉反馈的面部功能训练方法，其特征在于，所述对所述图像帧进行调整，得到用户的脸部图像，包括：
确定所述图像帧的头部偏转值和头部旋转角度；
根据所述偏转值和头部旋转角度对所述图像帧进行调整，以得到用户的正面的脸部图像。
5.如权利要求1-4中任一项所述的基于视觉反馈的面部功能训练方法，其特征在于，所述根据所述第二脸部图像的形状对所述第三脸部图像进行变形处理，包括：
确定所述第三脸部图像的人脸关键点和所述第二脸部图像的人脸关键点；
根据所述第三脸部图像的人脸关键点将所述第三脸部图像划分为多个健侧三角形区域，根据所述第二脸部图像的人脸关键点将所述第二脸部图像划分为多个患侧三角形区域，所述多个健侧三角形区域和所述多个患侧三角形区域一一对应；
根据各所述患侧三角形区域的顶点相对位置，对各所述患侧三角形对应的健侧三角形区域进行变形，以使各所述健侧三角形区域的顶点相对位置与各所述患侧三角形区域的顶点相对位置一致。
6.如权利要求4所述的基于视觉反馈的面部功能训练方法，其特征在于，所述显示所述融合图像以对所述用户进行视觉反馈之前，包括：
根据所述图像帧的头部偏转值和头部旋转角度，对所述融合图像复原所述头部偏转值和头部旋转角度，以使所述融合图像中的用户与所述图像帧中的用户具有相同的姿态。
7.如权利要求1-4中任一项所述的基于视觉反馈的面部功能训练方法，其特征在于，所述提取所述健侧区域的第一脸部图像，提取所述患侧区域的第二脸部图像，包括：
从所述健侧区域提取健侧感兴趣区域，确定所述健侧感兴趣区域的健侧脸部掩膜，得到所述健侧脸部掩膜内的第一脸部图像，从所述患侧区域提取患侧感兴趣区域，确定所述患侧感兴趣区域的患侧脸部掩膜，得到所述患侧脸部掩膜内的第二脸部图像；
所述将所述脸部图像中的第二脸部图像替换为变形处理后的第三脸部图像，包括：
保留所述患侧感兴趣区域中除去所述患侧脸部掩膜的背景部分，将所述第三脸部图像覆盖所述患侧脸部掩膜。
8.如权利要求1-4中任一项所述的基于视觉反馈的面部功能训练方法，其特征在于，所述将替换后的脸部图像融合处理为融合图像之后，包括：
返回所述获取用户的脸部图像的步骤继续执行。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1-
8中任一项所述的基于视觉反馈的面部功能训练方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：若所述计算机程序被处理器执行，实现如权利要求1-8中任一项所述的基于视觉反馈的面部功能训练方法。
基于视觉反馈的面部功能训练方法、设备及存储介质
技术领域
背景技术
[0002] 目前对于面瘫用户除药物治疗外，常用的治疗包括物理因子治疗，例如红外线、激光、微波，针灸还有面部的拔罐、推拿等。针对面部功能进行训练的项目主要有被动的面部放松、推拿、电刺激等，以及主动的面部体操。
[0003] 尚没有基于视觉反馈技术对面瘫用户面部功能进行训练的仪器或设备，缺乏视觉信息反馈以及面部功能感知训练；用户无法通过视觉反馈获知自己行动产生的结果，也无法知道自己的身体状态以及活动能力，用户在训练过程中的心理压力较大，训练效果不够好。发明内容
[0004] 本申请实施例提供一种基于视觉反馈的面部功能训练方法、设备及存储介质，能够实现引导用户进行面部功能训练，同时为用户提供较佳的视觉反馈。
[0005] 第一方面，本申请提供了一种基于视觉反馈的面部功能训练方法，所述方法包括：
[0006] 获取用户的脸部图像，所述脸部图像包括由脸部中间线分开的健侧区域和患侧区域；
[0007] 提取所述健侧区域的第一脸部图像，提取所述患侧区域的第二脸部图像；
[0008] 根据所述脸部中间线对所述第一脸部图像进行翻转处理，得到第三脸部图像；
[0009] 根据所述第二脸部图像的形状对所述第三脸部图像进行变形处理，以使变形处理后的第三脸部图像与所述第二脸部图像的形状大致相同；
[0010] 将所述脸部图像中的第二脸部图像替换为变形处理后的第三脸部图像，并将替换后的脸部图像将融合处理为融合图像，显示所述融合图像以对所述用户进行视觉反馈。
[0011] 第二方面，本申请提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现上述的基于视觉反馈的面部功能训练方法。
[0012] 第三方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，若所述计算机程序被处理器执行，实现上述的基于视觉反馈的面部功能训练方法。
[0013] 本申请公开了一种基于视觉反馈的面部功能训练方法、装置、设备及存储介质，通过获取用户的脸部图像，脸部图像包括由脸部中间线分开的健侧区域和患侧区域；提取健侧区域的第一脸部图像，提取患侧区域的第二脸部图像；根据脸部中间线将第一脸部图像翻转处理为第三脸部图像；根据第二脸部图像的形状对第三脸部图像进行变形处理，以使变形处理后的第三脸部图像与第二脸部图像的形状大致相同；将脸部图像中的第二脸部图像替换为变形处理后的第三脸部图像，并将替换后的脸部图像将融合处理为融合图像，显示融合图像以对用户进行视觉反馈；用户可根据面部视觉反馈而自主进行训练，且在康复训练过程中可以实时得到正常的脸部画面的视觉反馈，从而掌握自己脸部的运动情况；是一种积极的正向反馈信息，有利于提高用户康复训练的信心及积极性，缓解康复过程中的心理压力。附图说明
[0014] 为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0015] 图1为本申请一实施例的基于视觉反馈的面部功能训练方法的流程示意图；
[0016] 图2为获取的用户的脸部图像的示意图；
[0017] 图3为图1中获取用户的脸部图像的子流程示意图；
[0019] 图5为图像帧中各人脸关键点的示意图；
[0020] 图6为提取第一脸部图像、第二脸部图像的示意图；
[0021] 图7为图1中对第三脸部图像进行变形处理一实施方式的子流程示意图；
[0022] 图8为划分健侧三角形区域的示意图；
[0023] 图9为将脸部图像中的第二脸部图像替换为变形处理后的第三脸部图像的示意图；
[0024] 图10为替换处理后得到的图像的示意图；
[0025] 图11为本申请一实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0026] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0027] 附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，虽然在装置示意图中进行了功能模块的划分，但是在某些情况下，可以以不同于装置示意图中的模块划分。
[0028] 本申请的实施例提供了一种基于视觉反馈的面部功能训练方法、装置、设备及存储介质。其中，该基于视觉反馈的面部功能训练方法可以应用于终端或服务器中，以实现引导用户进行面部功能训练，同时为用户提供较佳的视觉反馈。
[0029] 例如，基于视觉反馈的面部功能训练方法用于服务器，当然可以用于终端。其中，终端可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和专用的面部功能训练装置等电子设备；服务器可以为独立的服务器，也可以为服务器集群。但为了便于理解，以下实施例将以应用于终端的基于视觉反馈的面部功能训练方法进行详细介绍。
[0030] 具体的，用于实现面部功能训练方法的终端包括摄像头、处理器和显示器，摄像头用于拍摄用户的脸部图像，处理器用于根据面部功能训练方法对拍摄的脸部图像进行处理，显示器用于处理后的脸部图像；因此用户可以在显示器中通过视觉反馈获知自己行动产生的结果。
[0031] 下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
[0032] 请参阅图1，图1是本申请的实施例提供的一种基于视觉反馈的面部功能训练方法的流程示意图。
[0033] 如图1所示，基于视觉反馈的面部功能训练方法包括以下步骤S110至步骤S150。
[0034] 步骤S110、获取用户的脸部图像，所述脸部图像包括由脸部中间线分开的健侧区域和患侧区域。
[0035] 终端的摄像头用于拍摄用户的脸部图像，如图2所示为某一时刻，如静态训练过程中获取的用户的脸部图像。示例性的，脸部中间线将脸部图像分为左侧的患侧区域和右侧的患侧区域。
[0037] 示例性的，脸部中间线不限于为直线，也可以为曲线、折线等。例如，对于三维的脸部图像，脸部中间线也以为带有弧度的曲线。
[0038] 在一些实施方式中，基于视觉反馈的面部功能训练方法还包括：输出用于提示用户作出训练动作的动作引导信息。
[0039] 示例性的，输出用于提示用户作出训练动作的动作引导信息之后，获取用户的脸部图像。
[0040] 具体的，用户坐在用于实现面部功能训练方法的终端的摄像头前方，然后开始面部功能训练过程。
[0041] 终端可以输出一些预设的动作引导信息，以提示户作出相应的训练动作。
[0042] 示例性的，所述输出用于提示用户作出训练动作的动作引导信息，包括：输出用于提示用户面部放松、鼓腮、抬眉、示齿微笑、吐词动作的放松引导信息、鼓腮引导信息、抬眉引导信息、微笑引导信息、吐词引导信息；所述放松引导信息、鼓腮引导信息、抬眉引导信息、微笑引导信息、吐词引导信息为视频、图片、文字和/或声音格式的动作引导信息。
[0043] 在一些实施方式中，终端根据预设的康复训练步骤输出各步骤对应的动作引导信息。
[0044] 示例性的，康复训练步骤包括：静态训练、动作训练和吐词训练。各种训练的顺序可以固定或者根据用户的需求设置，各种训练也可以重复或者循环；例如终端依次根据静态训练、动作训练和吐词训练输出各中训练对应的动作引导信息，然后执行下一轮依次根据静态训练、动作训练和吐词训练输出各中训练对应的动作引导信息。
[0045] 具体的，静态训练时，输出提示用户面部放松的放松引导信息；用户在终端前保持面部放松状态，可以熟悉终端显示器显示的经过处理后的面部图像，做好训练准备。
[0046] 具体的，动作训练时，输出用于提示鼓腮、抬眉、示齿微笑等的鼓腮引导信息、抬眉引导信息、微笑引导信息等；用户根据鼓腮引导信息、抬眉引导信息、微笑引导信息等进行动作训练，作出鼓腮、抬眉、示齿微笑等面部表情动作，同时根据终端显示器显示的面部图像得到动作反馈。
[0047] 具体的，吐词训练时，输出用于提示用吐词动作的吐词引导信息，如以视频、文字、声音等形式输出吐词引导信息；用户根据吐词引导信息进行吐词训练，同时根据终端显示器显示的面部图像得到动作反馈。
[0048] 在一些实施方式中，如图3所示，步骤S110获取用户的脸部图像，包括步骤S111至步骤S113。
[0049] 步骤S111、基于摄像头实时捕捉视频流，从所述视频流中获取图像帧。
[0050] 具体的，终端的摄像头实时捕捉包含用户脸部的视频流，实时从视频流中获取当前的图像帧。终端还可以通过语音及画面提示，提醒用户将脸部位置调整到合适位置，以便用户脸部位于各图像帧的中间位置。
[0051] 步骤S112、对所述图像帧进行脸部检测得到脸部区域以及所述脸部区域中的左脸区域和右脸区域，计算所述脸部区域的亮度数据。
[0053] 示例性的，亮度数据包括脸部区域的亮度和/或所述左脸区域与右脸区域之间的亮度差。
[0054] 步骤S113、根据所述脸部区域的亮度数据对所述图像帧进行调整，得到用户的脸部图像。
[0055] 示例性的，若所述脸部区域的亮度大于第一亮度阈值且所述亮度差小于第二亮度阈值，对所述图像帧进行调整，得到用户的脸部图像。
[0056] 示例性的，如果脸部区域的亮度大于65，且左脸区域和右脸区域之间的亮度差小于45，则可以认为用户大致在摄像头的正前方，因此判定该图像帧符合调整条件，可以通过进行调整使得用户的脸部大致位于图像帧的中间位置，从而可以使关键点检测更精确。
[0057] 具体的，若所述亮度差大于第二亮度阈值，则终端通过语音及画面提示，提醒用户将脸部位置调整到合适位置，例如提示用户将脸部尽量位于图像帧的中间位置。
[0058] 根据亮度差判断当前图像帧是否满足调整条件，可以及时发现脸部区域偏转较大或者位置偏移较大的图像帧，及时提醒用户将脸部位置调整到合适位置。便于后续根据满足调整条件的当前图像帧获得更精确的人脸关键点。
[0059] 示例性的，如图4所示，步骤S113中对所述图像帧进行调整，得到用户的脸部图像，包括步骤S1131至步骤S1132。
[0060] 步骤S1131、确定所述图像帧的头部偏转值和头部旋转角度。
[0061] 具体的，对符合调整条件的图像帧进行关键点检测，例如对图像帧中检测到的脸部用机器学习方法进行关键特征点检测。例如得到如图5所示的图像帧中各人脸关键点的位置。
[0062] 示例性的，终端的处理器根据人脸关键点的位置计算头部偏转值distance和头部旋转角度angle1。
[0063] 示例性的，头部偏转值distance用于衡量头部以人体上下方向为旋转轴向左或向右偏转的角度的大小。
[0064] 示例性的，头部旋转角度angle1用于衡量头部以人体前后方向为旋转轴向左或向右歪头的角度的大小。
[0065] 步骤S1132、根据所述头部偏转值和头部旋转角度对所述图像帧进行调整，以得到用户的正面的脸部图像。
[0066] 示例性的，若所述头部偏转值小于偏转阈值且所述头部旋转角度小于角度阈值，则根据所述偏转值和头部旋转角度对所述图像帧进行调整，以得到用户的正面的脸部图像。
[0067] 示例性的，若所述头部偏转值小于7且所述头部旋转角度小于5时进一步判定该图像帧符合调整条件，可以通过进行调整使得用户的脸部大致位于图像帧的中间位置；具体的，可以根据头部偏转值和/或头部旋转角度对图像帧进行视角变换，使得用户的脸部区域大致位于图像帧整体中间位置。
[0068] 示例性的，若所述头部偏转值大于偏转阈值或者所述头部旋转角度大于角度阈值，则终端通过语音及画面提示，提醒用户将脸部位置调整到合适位置，以便用户脸部位于图像帧的中间位置。
[0069] 根据头部偏转值和头部旋转角度判断当前图像帧是否满足调整条件，可以更精确的发现脸部区域偏转较大或者位置偏移较大的图像帧，准确的提醒用户将脸部位置调整到合适位置，例如提示用户将脸部尽量位于图像帧的中间位置。
[0070] 步骤S120、提取所述健侧区域的第一脸部图像，提取所述患侧区域的第二脸部图像。
[0071] 示例性的，从用户的正面的脸部图像中提取所述健侧区域的第一脸部图像，提取所述患侧区域的第二脸部图像。
[0072] 在一些实施方式中，参照图6，步骤S120提取所述健侧区域的第一脸部图像，提取所述患侧区域的第二脸部图像，包括：从所述健侧区域提取矩形的健侧感兴趣(region of interest，ROI)区域，确定所述健侧感兴趣区域的健侧脸部掩膜(mask)，得到所述健侧脸部掩膜内的第一脸部图像；从所述患侧区域提取矩形的患侧感兴趣区域，确定所述患侧感兴趣区域的患侧脸部掩膜，得到所述患侧脸部掩膜内的第二脸部图像。
[0073] 在一些实施方式中，还可以先根据患侧感兴趣区域的面积对健侧感兴趣区域进行变形，以使得患侧感兴趣区域和健侧感兴趣区域的大小相等，然后再去确定所述健侧感兴趣区域的健侧脸部掩膜(mask)，得到所述健侧脸部掩膜内的第一脸部图像，以及确定所述患侧感兴趣区域的患侧脸部掩膜，得到所述患侧脸部掩膜内的第二脸部图像。
[0074] 步骤S130、根据所述脸部中间线对所述第一脸部图像进行翻转处理，得到第三脸部图像。
[0075] 具体的，复制一个第一脸部图像，然后将复制的第一脸部图像根据脸部中间线翻转，得到与原来的第一脸部图像对称的第三脸部图像，第三脸部图像也是健康的脸部。
[0076] 第三脸部图像与第二脸部图像同属左侧的脸部或者同属右侧的脸部。
[0077] 具体的，根据脸部中间线，即翻转轴对所述第一脸部图像进行翻转处理，得到第三脸部图像。
[0078] 示例性的，根据鼻子、嘴部中间、眉心及人中关键点确定翻转轴在图像帧横向上的位置，根据图像帧的纵轴方向确定翻转轴的方向。示例性的，将鼻子、嘴部中间、眉心及人中关键点在图像帧x轴上的位置的平均值作为翻转轴在图像帧横向上的位置。
[0079] 步骤S140、根据所述第二脸部图像的形状对所述第三脸部图像进行变形处理，以使变形处理后的第三脸部图像与所述第二脸部图像的形状大致相同。
[0080] 具体的，变形处理后的第三脸部图像与所述第二脸部图像的形状大致相同，包括：变形处理后的第三脸部图像与所述第二脸部图像的形状完全相同，或者变形处理后的第三脸部图像与所述第二脸部图像的形状虽然不完全相同，但是变形处理后的第三脸部图像与所述第二脸部图像的形状的交叠率大于预设的阈值，如大于0.90。
[0081] 通过对第一脸部图像镜像得到的第三脸部图像进行变形处理，可以使变形处理后的第三脸部图像与所述第二脸部图像的形状大致相同。从而得到可以填充替代患侧区域的脸部图像的健康的第三脸部图像。
[0082] 在一些实施方式中，如图7所示，步骤S140根据所述第二脸部图像的形状对所述第三脸部图像进行变形处理，包括步骤S141至步骤S143。
[0083] 步骤S141、确定所述第三脸部图像的人脸关键点和所述第二脸部图像的人脸关键点。
[0084] 示例性的，可以根据步骤S1131确定的人脸关键点，进一步确定第三脸部图像的人脸关键点和所述第二脸部图像的人脸关键点；或者在得到第二脸部图像和第三脸部图像之后进一步检测第二脸部图像的人脸关键点和所述第三脸部图像的人脸关键点。
[0085] 步骤S142、根据所述第三脸部图像的人脸关键点将所述第三脸部图像划分为多个健侧三角形区域，根据所述第二脸部图像的人脸关键点将所述第二脸部图像划分为多个患侧三角形区域，所述多个健侧三角形区域和所述多个患侧三角形区域一一对应。
[0086] 示例性的，如图8所示为将第三脸部图像划分为多个健侧三角形区域的示意图。同样的操作可以将患侧区域的第二脸部图像划分为多个患侧三角形区域；示例性的，利用脸部图像的人脸关键点，通过将其中三个人脸关键点连成三角形的方式，将脸部图像进行三角剖分，分割成多个三角形，且左右脸的三角形个数一致且一一对应，即第三脸部图像的多个健侧三角形区域和第二脸部图像的多个患侧三角形区域一一对应。
[0087] 步骤S143、根据各所述患侧三角形区域的顶点相对位置，对各所述患侧三角形对应的健侧三角形区域进行变形，以使各所述健侧三角形区域的顶点相对位置与各所述患侧三角形区域的顶点相对位置一致。
[0088] 具体的，对于一一对应的健侧三角形区域和患侧三角形区域，利用仿射变换来将源三角形内的所有像素点变形到目标三角形中，在本说明书中，源三角形为拉伸变换之前的健侧三角形区域，目标三角形为拉伸变换之后得到的健侧三角形区域，且目标三角形的形状、大小与目标患侧三角形的形状、大小相同；目标患侧三角形为与作为源三角形的健侧三角形对应的患侧三角形区域。
[0089] 当所有的三角形对都变形完后，三角拉伸过程即完成；可以根据第二脸部图像的形状对第三脸部图像进行变形处理，使得变形处理后的第三脸部图像与第二脸部图像的形状相同。从而得到可以填充替代患侧区域的脸部图像的健康的第三脸部图像。
[0090] 步骤S150、将所述脸部图像中的第二脸部图像替换为变形处理后的第三脸部图像，并将替换后的脸部图像融合处理为融合图像，显示所述融合图像以对所述用户进行视觉反馈。
[0091] 在本说明书中，通过将健侧区域的脸部图像变形处理后填充替代患侧区域的脸部图像，实现向用户反馈正常脸部的图像。
[0092] 在一些实施方式中，如图9所示，步骤S150将所述脸部图像中的第二脸部图像替换为变形处理后的第三脸部图像，包括：保留所述患侧感兴趣区域中除去所述患侧脸部掩膜的背景部分，将所述第三脸部图像覆盖所述患侧脸部掩膜；如图10所示为将所述脸部图像中的第二脸部图像替换为变形处理后的第三脸部图像得到的图像的示意图。
[0093] 具体的，使用泊松融合方法将替换后的脸部图像进行融合处理。
[0094] 具体的，对第一脸部图像和替换的第三脸部图像的连接处，以及替换的第三脸部图像和所述患侧区域的背景部分的边缘部分做融合处理。
[0095] 示例性的，对第一脸部图像和替换的第三脸部图像的连接处，以及替换的第三脸部图像和所述患侧区域的背景部分的边缘部分做模糊融合处理，调整边缘融合位置颜色及亮度；之后还可以对得到的图像细节，如额纹，发际线等进行调整，得到融合后的图像。
[0096] 示例性的，将替换后的脸部图像融合处理为融合图像之后，包括：返回所述获取用户的脸部图像的步骤继续执行。
[0097] 具体的，在将替换后的脸部图像融合处理为融合图像之后，可以通过终端的显示器实时显示该融合图像，以对用户进行视觉反馈；同时还可以获取视频流中新的图像帧进行图像提取、翻转处理、变形处理、融合处理、校正处理等，以生成新的图像帧对应的融合图像并实时反馈给用户。从而用户可以在静态训练、动作训练和吐词训练时获取动态的视觉反馈；用户可以根据显示器显示的融合图像及专业引导提示进行面部功能康复训练。
[0098] 在一些实施方式中，步骤S142根据所述第三脸部图像的人脸关键点将所述第三脸部图像划分为多个健侧三角形区域，根据所述第二脸部图像的人脸关键点将所述第二脸部图像划分为多个患侧三角形区域之前，包括根据所述摆正角度对所述脸部图像进行旋转，以使所述最小外接矩形的两条边与所述纵轴平行。
[0099] 示例性的，步骤S150中显示所述融合图像以对所述用户进行视觉反馈之前，包括：根据所述图像帧的头部偏转值和头部旋转角度，对所述融合图像复原所述头部偏转值和头部旋转角度，以使所述融合图像中的用户与所述图像帧中的用户具有相同的姿态。
[0100] 示例性的，根据所述图像帧的头部偏转值和头部旋转角度，对所述融合图像进行反向旋转，以复原所述头部偏转值和头部旋转角度。
[0101] 具体的，将替换后的脸部图像融合处理为融合图像后，根据步骤S1131计算的头部偏转值和头部旋转角度对所述融合图像进行反向旋转，以复原所述头部偏转值和头部旋转角度。然后将反向旋转后的融合图像进行显示；从而可以跟踪用户较小角度的偏转动作，使得视觉反馈更自然，更真实。
[0102] 可以理解的，所述反向旋转时步骤S1132中对所述图像帧进行调整的逆过程，以使融合图像中的头部偏转值/头部旋转角度与原来的图像帧的头部偏转值/头部旋转角度大致相等。
[0103] 在一些实施方式中，提取的健侧区域的第一脸部图像和患侧区域的第二脸部图像为二维平面上的图像，翻转处理和变形处理为二维平面上的处理。在另一些实施方式中，提取的健侧区域的第一脸部图像和患侧区域的第二脸部图像为三维立体的图像，翻转处理和变形处理为三维空间上的处理。
[0104] 本申请上述实施例提供的基于视觉反馈的面部功能训练方法，通过获取用户的脸部图像，脸部图像包括由脸部中间线分开的健侧区域和患侧区域；提取健侧区域的第一脸部图像，提取患侧区域的第二脸部图像；根据脸部中间线将第一脸部图像翻转处理为第三脸部图像；根据第二脸部图像的形状对第三脸部图像进行变形处理，以使变形处理后的第三脸部图像与第二脸部图像的形状大致相同；将脸部图像中的第二脸部图像替换为变形处理后的第三脸部图像，并将替换后的脸部图像将融合处理为融合图像，显示融合图像以对用户进行视觉反馈；用户可根据面部视觉反馈而自主进行训练，且在康复训练过程中可以实时得到正常的脸部画面的视觉反馈，从而掌握自己脸部的运动情况；是一种积极的正向反馈信息，有利于提高用户康复训练的信心及积极性，缓解康复过程中的心理压力。
[0105] 本面部功能训练方法在康复训练过程中无需康复训练师介入，用户可随时在家中等熟悉的环境中进行康复训练，将康复训练融入日常生活；为非接触式面部动作训练方案，无风险和副作用；而且用户可以按照设定的训练流程进行的规范化康复训练，如静态训练、动作训练和吐词训练等。
[0106] 本申请的方法、装置可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
[0107] 示例性的，上述的方法、装置可以实现为一种计算机程序的形式，该计算机程序可以在如图11所示的计算机设备上运行。
[0108] 请参阅图11，图11是本申请实施例提供的一种计算机设备的结构示意图。该计算机设备可以是服务器或终端。
[0111] 处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
[0112] 内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种基于视觉反馈的面部功能训练方法。
[0113] 该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，该计算机设备的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0114] 具体的，该计算机设备可以外接摄像头、音响设备、显示器等，或者计算机设备包括连接于处理器的摄像头、音响设备、显示器等。摄像头用于拍摄用户的脸部图像，音响设备用于输出声音格式的动作引导信息，显示器用于显示所述融合图像以对所述用户进行视觉反馈，还可以输出视频、图片和/或文字格式的动作引导信息。
[0115] 应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0116] 通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法，如：
[0117] 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项基于视觉反馈的面部功能训练方法。
[0118] 其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
[0119] 以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 改进的超声检查 | 2020-05-12 | 321 |
| 一种健侧患侧协同的主动下肢训练系统及其操作方法 | 2020-05-11 | 346 |
| 基于视觉反馈的面部功能训练方法、设备及存储介质 | 2020-05-13 | 509 |
| 用于测量皮肤特性和增强剃刮体验的设备和方法 | 2020-05-14 | 967 |
| 基于镜像神经元和脑机接口的混合式主动康复方法、装置 | 2020-05-08 | 752 |
| 用来应用闭合切口的负压伤口治疗的方法和器件 | 2020-05-12 | 418 |
| 自动化穿鞋带系统 | 2020-05-08 | 429 |
| 基于电磁力反馈和增强现实的机器人遥操作系统和方法 | 2020-05-13 | 345 |
| 一种基于视本体反馈的步态训练设备 | 2020-05-14 | 595 |
| 一种新型血管介入手术机器人导管导丝协同操作实现装置 | 2020-05-14 | 351 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
视觉反馈热门专利
QQ群二维码
意见反馈
意见反馈