健康监测的预警方法及系统
阅读：357发布：2020-05-08
专利汇可以提供健康监测的预警方法及系统专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种健康监测的预警方法及系统，所述方法包括：飞行时间TOF相机采集场景的第一三维点 云 数据发送给 服务器 ；服务器对第一三维点云数据进行 人脸检测 生成第二三维点云数据；当人脸为 正面 时，提取第二三维点云数据的K个特征点生成第三点云数据，第三点云数据计算K个特征点之间的三维欧式距离组成表情 特征向量 ，判断第一人脸表情，如果为 疼痛 则将疼痛标记值设为1，当人脸为侧面时，根据第二三维点云数据提取人脸面部的放射状曲线，从放射状曲线上 抽取 特征点，将特征点的深度值组成表情特征向量，判断第二人脸表情，如果为疼痛则将疼痛标记值设为1，将第一时间段内疼痛标记值相加，当相加结果大于第一 阈值 时，则向终端发送报警信息。，下面是健康监测的预警方法及系统专利的具体信息内容。
1.一种健康监测的预警方法，其特征在于，所述方法包括：
飞行时间TOF相机采集场景的第一三维点云数据发送给服务器；
所述服务器对所述第一三维点云数据进行人脸检测生成第二三维点云数据；
所述服务器根据所述第二三维点云数据判断所述人脸视角；
当所述人脸视角为正面时，所述服务器提取所述第二三维点云数据的K个特征点生成第三点云数据，根据所述第三点云数据计算所述K个特征点之间的三维欧式距离组成Q维表情特征向量，根据所述Q维表情特征向量判断第一人脸表情，如果所述第一人脸表情为疼痛则将疼痛标记值设为1，否则设为0；
当所述人脸视角为侧面时，所述服务器根据所述第二三维点云数据提取M条人脸面部的放射状曲线，从每条放射状曲线上抽取N个特征点，将M×N个所述特征点的深度值组成M×N维表情特征向量，根据所述M×N维表情特征向量判断第二人脸表情，如果所述第二人脸表情为疼痛则将疼痛标记值设为1，否则设为0；
所述服务器将第一时间段内所述疼痛标记值相加，当相加结果大于第一阈值时，则所述服务器向终端发送报警信息。
2.根据权利要求1所述的健康监测的预警方法，其特征在于，所述所述服务器对所述第一三维点云数据进行人脸检测生成第二三维点云数据具体为：
所述服务器对所述第一三维点云数据依次进行去燥、前景分割、人体边缘轮廓提取和脸部识别生成第二三维点云数据。
3.根据权利要求1所述的健康监测的预警方法，其特征在于，所述所述服务器根据所述第二三维点云数据判断所述人脸视角具体为：
所述服务器从所述第二三维点云数据中提取出鼻尖三维点云数据，计算所述鼻尖三维点云数据在二维投影平面X轴方向与人脸左侧边缘点距离L1和与人脸右侧边缘点的距离L2，当L1和L2中的最小值与最大值的比F大于第二阈值时，判定所述人脸视角为正面，否则为侧面。
4.根据权利要求1所述的健康监测的预警方法，其特征在于，所述方法还包括：
当F大于第二阈值时，所述服务器预设置目标人脸在不同F值情况下疼痛表情时的Q维标准特征向量，其中所述疼痛表情按不同程度分为不多于5个级别；
当F小于等于第二阈值时，所述服务器预设置目标人脸在不同F值情况下疼痛表情时的M×N维标准特征向量，其中所述疼痛表情按不同程度分为不多于5个级别。
5.根据权利要求4所述的健康监测的预警方法，其特征在于，所述根据所述Q维表情特征向量判断第一人脸表情具体为：
所述服务器计算处于相同F值的疼痛情况下所述Q维标准特征向量与所述Q维维表情特征向量的第一相似度，如果所述第一相似度大于第三阈值，则判断为疼痛。
6.根据权利要求4所述的健康监测的预警方法，其特征在于，所述根据所述M×N维表情特征向量判断第二人脸表情具体为：
所述服务器分别计算处于相同F值的疼痛情况下所述标准特征向量与所述M×N维表情特征向量的第二相似度，如果所述相似度大于第三阈值，则判断为疼痛。
7.根据权利要求4所述的健康监测的预警方法，其特征在于，所述k个特征点具体为：
鼻翼端点、嘴角、上下嘴唇中点，眉毛端点、上下眼皮中点总共14个特征点。
8.根据权利要求7所述的健康监测的预警方法，其特征在于，所述K个特征点之间的三维欧式距离具体为：
左眉毛两端的距离，右眉毛两端的距离，上下嘴唇中点间的距离，左右内眉端之间的距离，左眉内端点到左鼻翼端点的距离，右眉内端点到右鼻翼端点的距离，左眼上下眼皮中点间的距离，右眼上下眼皮中点间的距离，左右嘴角间的距离，两鼻翼之间的距离。
9.一种健康监测的预警系统，其特征在于，其特征在于，所述系统包括如权利要求1-7任一项所述的飞行时间TOF相机、服务器和终端。
健康监测的预警方法及系统
技术领域
背景技术
[0003] 对于独居或者缺乏看护的老人来说，早期及时发现疾病并进行预警具有重要的意义，目前环境辅助生活的应用主要是对突发事件的监测，是一种事后监测，康复训练的监测等，通常情况下，疾病发生之前都会有一些症状被忽视，比如熟睡时伴随有疼痛表情，或者清醒状态时发生持续的疼痛表情后发生疾病，现有的检测方案里有采用摔倒检测的，或者佩戴传感器方式，摔倒检测的判断条件复杂，鲁棒性能不好，系统计算量大，当患者趴在桌上晕倒或睡觉昏厥等情况无法做出判断，而佩戴传感器方式则非常不方便，并且传感器方式一般用于康复训练中。
发明内容
[0004] 本发明的目的是针对现有技术的缺陷，提供一种健康监测的预警方法及系统，通过使用飞行时间(Time Of Flight，TOF)相机采集场景的三维点云数据，对采集后的数据进行数据处理后根据人脸特征值距离的比对实现健康监测的智能预警。
[0005] 为实现上述目的，在一方面，本发明提供了一种健康监测的预警方法，包括：
[0006] 飞行时间TOF相机采集场景的第一三维点云数据发送给服务器；
[0007] 所述服务器对所述第一三维点云数据进行人脸检测生成第二三维点云数据；
[0008] 所述服务器根据所述第二三维点云数据判断所述人脸视角；
[0009] 当所述人脸视角为正面时，所述服务器提取所述第二三维点云数据的K个特征点生成第三点云数据，根据所述第三点云数据计算所述K个特征点之间的三维欧式距离组成Q维表情特征向量，根据所述Q维表情特征向量判断第一人脸表情，如果所述第一人脸表情为疼痛则将疼痛标记值设为1，否则设为0；
[0010] 当所述人脸视角为侧面时，所述服务器根据所述第二三维点云数据提取M条人脸面部的放射状曲线，从每条放射状曲线上抽取N个特征点，将M×N个所述特征点的深度值组成M×N维表情特征向量，根据所述M×N维表情特征向量判断第二人脸表情，如果所述第二人脸表情为疼痛则将疼痛标记值设为1，否则设为0；
[0011] 所述服务器将第一时间段内所述疼痛标记值相加，当相加结果大于第一阈值时，则所述服务器向终端发送报警信息。
[0012] 进一步的，所述所述服务器对所述第一三维点云数据进行人脸检测生成第二三维点云数据具体为：
[0013] 所述服务器对所述第一三维点云数据依次进行去燥、前景分割、人体边缘轮廓提取和脸部识别生成第二三维点云数据。
[0014] 进一步的，所述所述服务器根据所述第二三维点云数据判断所述人脸视角具体为：
[0015] 所述服务器从所述第二三维点云数据中提取出鼻尖三维点云数据，计算所述鼻尖三维点云数据在二维投影平面X轴方向与人脸左侧边缘点距离L1和与人脸右侧边缘点的距离L2，当L1和L2中的最小值与最大值的比F大于第二阈值时，判定所述人脸视角为正面，否则为侧面。
[0016] 进一步的，所述方法还包括：
[0017] 当F大于第二阈值时，所述服务器预设置目标人脸在不同F值情况下疼痛表情时的Q维标准特征向量，其中所述疼痛表情按不同程度分为不多于5个级别；
[0018] 当F小于等于第二阈值时，所述服务器预设置目标人脸在不同F值情况下疼痛表情时的M×N维标准特征向量，其中所述疼痛表情按不同程度分为不多于5个级别。
[0019] 进一步的，所述根据所述Q维表情特征向量判断第一人脸表情具体为：
[0020] 所述服务器计算处于相同F值的疼痛情况下所述Q维标准特征向量与所述Q维维表情特征向量的第一相似度，如果所述第一相似度大于第三阈值，则判断为疼痛。
[0021] 进一步的，所述服务器分别计算处于相同F值的疼痛情况下所述标准特征向量与所述M×N维表情特征向量的第二相似度，如果所述相似度大于第三阈值，则判断为疼痛。
[0022] 进一步的，所述k个特征点具体为：
[0023] 鼻翼端点、嘴角、上下嘴唇中点，眉毛端点、上下眼皮中点总共14个特征点。
[0024] 进一步的，所述K个特征点之间的三维欧式距离具体为：
[0025] 左眉毛两端的距离，右眉毛两端的距离，上下嘴唇中点间的距离，左右内眉端之间的距离，左眉内端点到左鼻翼端点的距离，右眉内端点到右鼻翼端点的距离，左眼上下眼皮中点间的距离，右眼上下眼皮中点间的距离，左右嘴角间的距离，两鼻翼之间的距离。
[0027] 本发明实施例提供的一种环境辅助生活的智能监控方法及系统，通过使用TOF相机采集场景的三维点云数据，对采集后的数据进行数据处理后根据人脸特征值距离的比对实现了健康监测的智能预警。TOF相机在采集过程中所获得的点云数据不受照明条件、物体外表特征，前景伪装、阴影和遮挡的影响。本发明的健康监测的预警系统可以用于需要监护的老年人家中、患有疾病无人24小时监护的患者家中或者对无法用语言表达疼痛的病人进行疼痛评估的医疗机构。附图说明
[0028] 图1为本发明实施例提供的健康监测的预警方法流程图；
[0029] 图2为本发明实施例提供的健康监测的预警系统的架构示意图。
具体实施方式
[0030] 下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为便于描述，附图中仅示出了与有关发明相关的部分。
[0031] 需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0032] 为了更好的理解本发明实施例的健康监测的预警方法，下面首先介绍用以实现上述方法的监控监测的预警系统。图2为本发明实施例提供的健康监测的预警系统的架构示意图，如图所示，包括：TOF相机1，服务器2和终端3。
[0033] 由于TOF相机视场角范围大，同时不受安装位置的限制，在客厅等活动范围大的区域可以相对设置两台TOF相机1，卧室、厨房、浴室和书房等相对狭小的空间可以在与正脸出现概率高的方向对设一台TOF相机1。因为TOF相机1不受环境光线的影响，安装不需要考虑外部光源的问题，只需要考虑用最小的视场角实现对监控对象的全方位监控。
[0034] 在一个优选的方案中，当需要对书房中的人脸进行监测时，将ToF相机1安装在看书时眼睛平视方向的墙壁顶端，假设人体平均高度为h米，房间长度为L米,房间高度为H米，则TOF相机的视场角为 因此根据上述需满足的最小视场角公式选购合适TOF相机就能完全满足监控需求。对于针对居家个人用户的监控系统，人体的平均高度h的值可以直接取定制用户的身高值进行ToF相机1最小视场角的计算。
[0035] 服务器2与ToF相机1通过无线或有线的方式进行连接。由于监控系统主要应用在居家环境中，服务器2在满足高速处理数据的同时对硬件的体积和便携提出了要求，在一种优选的方案中，服务器2为一台紧凑的小型化嵌入式计算机。操作系统选用Linux，由于Linux为完全开源，所以可定制性强，并且系统安全性高。
[0036] 终端3与服务器2通过有线或无线进行连接，终端3为手机或者其它智能设备，可用于接收服务器2发送的预警信息。
[0037] 本发明实施例提供一种健康监测的预警方法，应用在上述健康监测的预警系统中，对人类的疾病突发前的健康进行预警监测。其方法流程图如图1所示，包括以下步骤：
[0038] 步骤S110，飞行时间TOF相机采集场景的第一三维点云数据发送给服务器。
[0039] 具体的，在TOF相机采集场景的第一三维点云数据之前，当采集现场出现长时间没人的情况，即TOF相机采集到的每一帧第一三维点云数据没有变化时，当持续无变化时间超过服务器预设关机时间值，TOF相机进入待机状态，当再一次有人进入到监控区域时，服务器发送第一三维点云数据采集指令，当同一个服务器下同时连接有多个TOF相机时，同时给多个TOF相机发送第一三维点云数据采集指令。
[0041] 当TOF相机接收到第一三维点云数据采集指令后，TOF相机开始采集场景的第一三维点云数据，其中采集的一帧第一三维点云数据包含了相机视角范围内场景的所有的前景和背景的三维点云信息，TOF相机的采集频率由服务器进行预设处理，为了节省内存和减小计算量，可跟据人类的移动速度来预设采集频率，优选的，TOF相机采集频率预设为5帧/秒。
[0042] 其中，本发明实施例中采用的TOF相机通过内置激光发射模块发射光信号，并通过内置的互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)感光元件获取目标场景的深度信息和强度信息，从而完成对目标场景的三维重建。由于TOF相机是通过CMOS像素阵列和主动调制光源技术来获取三维场景的距离景深图，而不需要通过单点逐点的方式，因此成像速率可高达上百帧/秒，同时TOF相机的结构紧凑，能实现较低的能耗。
[0043] 由于TOF相机的数据采集原理是根据相机内置的光源发生器发射的光照射到检测物后反射回来产生的相位差来计算光波所走过的距离，因此TOF相机数据的采集并不受外界光源的影响，即使是在外界完全没有光源的情况下也不受影响。因此，本发明实施例提供的方法也适用于照明状态不理想或者完全没有光源的情况。
[0044] 步骤S120，所述服务器对所述第一三维点云数据进行人脸检测生成第二三维点云数据。
[0045] 具体的，所述服务器对所述第一三维点云数据依次进行去燥、前景分割、人体边缘轮廓提取和脸部识别生成第二三维点云数据
[0046] 服务器对第一三维点云数据进行去燥、前景分割和人体边缘轮廓提取的处理步骤如下：
[0047] 服务器将第一三维点云数据中的深度数据提取出来，生成第一点云深度数据并建立和所在三维点云数据之间的映射关系，使每个深度数据都能根据映射关系找到所属的第一三维点云数据。
[0048] 服务器将第一点云深度数据生成二维点云矩阵。由于TOF相机获取的第一三维点云数据是以阵列的形式存储在TOF传感器中，而TOF传感器像素阵列即为传感器的分辨率，因此将第一点云深度数据生成的二维点云矩阵的列数和行数与TOF传感器的分辨率设计成一致，在一个具体的例子中，当TOF相机中传感器的分辨率为32×48时，即TOF相机传感器的水平像素的个数为32，垂直像素的个数为48，则二维点云矩阵的行数取48，列数取32。优选的，保持二维点云矩阵内的元素位置排布与TOF相机传感器阵列存储位置一致，使得二维点云矩阵中各个相邻的元素在实际场景中也是相邻的。
[0049] 提取所述二维点云矩阵的所有3×3子矩阵。二维点云矩阵中所能提取的不重复最多的3×3子矩阵的个数P为所述二维点云矩阵的第一行、最后一行、第一列和最后一列所包围的内部元素的个数。在一个具体的例子中，当二维点云矩阵为32×48时，一共有1536个元素，去掉矩阵第一行、最后一行、第一列和最后一列的156个元素，即P为1380，因此能提取出1380个3×3子矩阵，当P取最大值时，能够最大限度保证每个点的去燥判断。
[0050] 建立所述3×3子矩阵的中心元素在所述二维点云矩阵中的位置索引。标记每个所述3×3子矩阵的中心元素在所述二维点云矩阵中的行标和列标，根据所述行标和列标匹配到所述二维点云矩阵中对应的深度数据。因为是对3×3子矩阵中心元素进行去燥判断，所以只需要对中心元素的位置进行标记，从而大幅度降低了系统的计算量。
[0051] 将3×3子矩阵内的中心元素分别与其它元素差的绝对值相加的第一结果与第四阈值进行比较：
[0052] 如果所述第一结果小于所述第四阈值，则保留所述中心元素在所述二维点云矩阵中的位置所对应的元素；
[0053] 如果所述第一结果不小于所述第四阈值，则提取所述3×3子矩阵的2×2子矩阵；
[0054] 比较每个所述2×2子矩阵中的元素与所述中心元素差的绝对值大小，提取出第一最小值与第五阈值进行比较；
[0055] 如果所述第一最小值不小于第五阈值，则判定所述中心元素为噪点，根据所述位置索引找到所述噪点在所述二维点云矩阵中的位置，并舍弃所述噪点对应的元素；
[0056] 如果所述第一最小值小于第五阈值，则保留所述中心元素在所述二维点云矩阵中的位置所对应的元素；
[0057] 第四阈值和第五阈值的大小设置可以根据标准被测场景多次选择不同阀值的方式找到合适的值，优选的，第五阈值不大于第四阈值的一半。在一个具体的实施例中，当二维点云矩阵为240×320时，优选的，第四阈值取0.2。当第一结果不小于第四阈值时，提取出3×3子矩阵的2×2子矩阵做了噪点的二次判断，可以有效降低噪点的误删除率。
[0058] 将所述第一结果小于所述第四阈值，所述第一最小值小于第五阈值时所述二维点云矩阵中保留下来的元素对应的第一点云深度数据生成第三三维点云数据。
[0059] 服务器计算出第三三维点云数据的法向量，对于前景和背景混杂在一起的三维点云数据具有不同的法向量特征，将具有相同发行量特征的背景去除掉，前景保留，生成第四三维点云数据。
[0060] 服务器对第四三维点云数据进行人体轮廓的边缘提取生成第五三维点云数据。在一个优选的实施例中，服务器采用贝叶斯分割方法在第四三维点云数据中提取出人体目标。
[0062] 步骤S130，所述服务器根据所述第二三维点云数据判断所述人脸视角。
[0063] 具体的，所述服务器从所述第二三维点云数据中提取出鼻尖三维点云数据，人脸在不同视角时，在投影平面中，鼻尖到人脸两侧边缘距离不同，当为正视情况时，两边距离相等，当往左侧脸时，鼻尖到右脸边缘的距离L2大于鼻尖到左脸边缘的距离L1，当往右侧脸时，鼻尖到左脸边缘的距离L1大于鼻尖到右脸边缘的距离L2。无论是往左侧脸或者右侧脸，侧脸的幅度越大，L1和L2的差值越大。服务器计算所述鼻尖三维点云数据在二维投影平面X轴方向与人脸左侧边缘点的距离L1和与人脸右侧边缘点的距离L2，当L1和L2中的最小值与最大值的比F大于第二阈值时，判定所述人脸视角为正面，否则为侧面，其中F值的范围为大于0小于等于1。在本发明实施例中，将人脸视角分为了两种情况，正面和测量，通过第二阀值进行界定，第二阀值的取值区间为(0,1],一种优选的方案中，第二阀值定为0.5。如果第二阈值取值太小，采用特征值距离进行表情判断精度不高，如果第二阈值取值太大，则采用放射状曲线距离变化判断人脸表情精度不高。
[0064] 步骤S140，当所述人脸视角为正面时，所述服务器提取所述第二三维点云数据的K个特征点生成第三点云数据，根据所述第三点云数据计算所述K个特征点之间的三维欧式距离组成Q维表情特征向量，根据所述Q维表情特征向量判断第一人脸表情，如果所述第一人脸表情为疼痛则标记值设为1，否则标记值设为0；
[0065] 具体的，由于人在疼痛的时候，重点会牵扯到脸部四组核心部位的运动，分别是：皱眉，提高脸颊、眼睑收缩，皱鼻提上唇，闭目。因此优选上述部位的特征点作为痛苦表情的判断，由于系统只需要关注患者的痛表情，脸部特征点的选取只需要考虑痛苦肌群对应的特征点，在一种优选的方案中，选取鼻翼2个端点、左右2个嘴角、上下嘴唇2个中点，眉毛4个端点、两只眼睛的上下眼皮4个中点总共14个特征点作为特征点。
[0066] 当人体目标脸部发生疼痛或者痛苦的表情时，根据上述四组核心部位的运动，优选一组三维欧式距离分别为：左眉毛两端的距离，右眉毛两端的距离，上下嘴唇中点间的距离，左右内眉端之间的距离，左眉内端点到左鼻翼端点的距离，右眉内端点到右鼻翼端点的距离，左眼上下眼皮中点间的距离，右眼上下眼皮中点间的距离，左右嘴角间的距离，两鼻翼之间的距离。其中，三维欧式距离为三维空间中两点之间的直线距离。
[0067] 服务器根据每一帧采集的第一三维点云数据进行处理后得到的上述多个三维欧式距离进行疼痛判断。
[0068] 用三维欧式距离进行疼痛判断时，在一个优选的实施例中，服务器预先在静态环境中对目标人脸进行疼痛表情三维欧式距离向量的设置作为疼痛表情的Q维标准特征向量。服务器将疼痛表情的Q维标准特征向量按疼痛程度分不多于5个级别，优选的分5个级别，每个级别按照不同的视角角度预设99个疼痛表情的Q维标准特征向量，因为人脸左右转动，一个F值对应两个Q维疼痛表情特征向量，当第二阈值取0.5时，从F＝1开始记录第一组Q维标准特征向量，每组按疼痛级别记录5个Q维标准特征向量，当向右转，F＝1-0.5/50时，开始记录第二组Q维标准特征向量，F＝1-0.5×2/50时，记录第三组Q维标准向量，依次类推，当F＝1-0.5×49/50＝0.5时，记录第50组Q维标准特征向量，人脸回到F＝1的位置，开始向左转，向左转的记录方式与向右转的方式完全相同，将记录49组Q维标准特征向量，因此服务器在第二阈值取0.5时，预先存储的Q维标准特征向量为5×99＝495个标准特征向量。
[0069] 当进行人脸健康监测获取了Q维表情特征向量时，将Q维表情特征向量逐一与服务器预设的相同F值下分别向左右侧脸的两组Q维标准特征向量进行比对生成第一相似度，优选的利用余弦相似度公式计算两个向量的第一相似度，余弦相似度公式如下：
[0070]
[0071] 其中，θ为两个对比向量的夹角，A·B为两个对比向量的内积，‖A‖‖B‖为两个对比向量长度的乘积。
[0072] cos(θ)的取值范围为[-1,1],当θ角度越小cos(θ)越接近1时说明两向量越相似。
[0073] 当Q维表情特征向量与服务器预设的相同F值下的标准向量逐一计算比对时，只要出现cos(θ)大于第三阈值时，就判断为疼痛，不再继续比对，同时根据相似的标准向量的疼痛级别确定表情特征向量的疼痛级别。优选的cos(θ)为0.87，也就是θ值小于30度。由于标准向量是将F区间值均分成50等份，因此当Q维表情特征向量的F值与Q维标准向量的F值无法精确对准时，采用就近原则找到最接近的F值下的Q维标准特征向量进行比对。当服务器判断一帧Q维表情特征向量为疼痛时，则将疼痛标记值设为1，否则设为0。
[0074] 上述有选择的选取对疼痛贡献大的特征点减小了系统的计算量，通过与预设的疼痛表情向量进行比对，避免了利用中性表情为标准对疼痛表情的判断需要进行大量的运算和利用分类器判断各类表情从而产生很多冗余信息的情况。
[0075] 步骤S150，当所述人脸视角为侧面时，所述服务器根据所述第二三维点云数据提取M条人脸面部的放射状曲线，从每条放射状曲线上抽取N个特征点，将M×N个所述特征点的深度值组成M×N维表情特征向量，根据所述M×N维表情特征向量判断第二人脸表情，如果所述第二人脸表情为疼痛则标记值设为1，否则标记值设为0；
[0076] 当人脸左右转动到比较大的角度时，采用步骤S140的疼痛判断方法的正确率会显著降低，因为当人脸转动的角度比较大时，脸部的疼痛肌肉特征点的提取比较难实现，因此当F值小于等于第二阀值时采用提取面部放射状曲线上的特征向量进行疼痛判断。
[0077] 具体的，服务器提取以第二三维点云数据中鼻尖数据作为起点，第二三维点云数据的边缘为终点的放射状曲线，通过鼻尖点做M个垂直于二维投影平面的平面，取这些平面与第二三维点云数据表面相交的曲线为人脸面部的放射状曲线。其中二维投影平面为与三维点云数据深度坐标方向垂直的平面。M值的选取根据人脸的不同部位对表情的贡献度不同来选取，在发生疼痛表情时，眼睛、嘴巴和眉毛对表情的贡献度最大，因此在这三个部位选取较小角度的射线，在一个具体的实施例中，选取M值为89，即选取了89条以鼻尖为起点的89条放射状曲线，每条曲线抽取N＝50个点作为特征点，并提取这50个特征点的深度坐标值，因此共获得89×50＝4450个特征点，将4450个特征点组成4450维度的表情特征向量。
[0078] 服务器根据每一帧采集的第一三维点云数据进行处理后得到的上述M×N维表情特征向量进行疼痛判断。
[0079] 在用放射状曲线提取的特征向量进行疼痛判断时，在一个优选的实施例中，服务器预先将静态环境中对目标人脸疼痛表情的放射中曲线特征值作为疼痛表情的M×N维标准特征向量。服务器将疼痛表情的M×N维标准特征向量按疼痛程度分不多于5个级别，优选的分5个级别，每个级别按照不同的视角角度预设100个疼痛表情的M×N维标准特征向量，因为人脸左右转动，一个F值对应两个M×N维疼痛表情特征向量，当第二阈值取0.5是，从F＝0.5时开始记录第一组M×N维疼痛表情特征向量，每组按疼痛级别记录5个M×N维标准特征向量，当向右转，F＝0.5-0.5/50时，开始记录第二组M×N维
[0080] 标准特征向量，F＝0.5-0.5×2/50时，记录第三组M×N维标准特征向量，依次类推，当F＝0.5-0.5×49/50时，记录第50个M×N维标准特征向量，人脸回正，继续往左转，转到F＝0.5，开始记录M×N维标准特征向量，向左转的记录方式与右转的完全相同，因此服务器在第二阈值取0.5时，预先储存的M×N维标准特征向量为5×100＝500个标准特征向量。
[0081] 当进行人脸健康监测获取了M×N维表情特征向量时，将M×N维表情特征向量逐一与服务器预设的相同F下分别向左右侧脸的两组M×N维标准特征向量进行比对生成第二相似度，优选的利用余弦相似度公式计算两个向量的第二相似度，第二相似度的计算方法与步骤S140计算第一相似度的方法相同，疼痛的判别方法也相同，在此不再赘述。当服务器判断一帧M×N维疼痛表情特征向量为疼痛时，则将疼痛标记值设为1，否则设为0。
[0082] 步骤S160，所述服务器将第一时间段内所述疼痛标记值相加，当相加结果大于第一阈值时，则所述服务器向终端发送报警信息。
[0083] 具体的，按采集的时间顺序在预设的时间段内对正脸和侧脸情况的所有疼痛标记值进行相加，相加结果表示在这段预设时间内发生疼痛的帧数，当相加的结果大于第一阈值时，表示真实的疼痛事件发生，所述服务器向终端发送健康预警信息提示。
[0084] 为了减小疼痛识别的误判率，通过疼痛持续的时间对一些疼痛误判的情况进行删除，在一个具体的实施例中，设置第一时间段为10秒，当TOF相机1秒采集5帧数据时，10秒就有50帧数据，当疼痛表情占的帧数大于60％时，即疼痛标记值大于30时，即判断为疼痛事件。
[0085] 当只需要进行疼痛级别的判定时，不需要对疼痛进行疼痛标记设定，在进行疼痛表情向量比对，当判定为疼痛时，直接向终端输出比对相对应的疼痛级别。
[0086] 以上为本发明实施例提供的健康监测的预警方法完全实现的过程。
[0087] 本发明实施例提供的健康监测的预警方法及系统，利用TOF相机采集监控场景的三维点云数据，对三维点云数据进行去燥、边缘提取及人脸定位提取后，通过三维欧式距离组成的向量和放射状曲线特征组成的向量相结合判断疼痛表情，有效的提高了识别的准确率。在采集三维点云数据时，采用的TOF相机，由于TOF相机是一种主动视觉设备，数据采集过程中不受环境照明的影响，即使是外界环境完全无关的情况下也不影响数据采集，当老年人晚上睡觉全黑的情况下健康监测预警系统可以完全不受影响的工作。
[0088] 专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。
专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0089] 结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
[0090] 以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于目标检测的人脸篡改鉴定方法、模型及其鉴定方法 | 2020-05-08 | 1011 |
| 一种基于分贝检测的机器人唤醒的方法 | 2020-05-08 | 698 |
| 一种大屏幕及其智能拍照方法 | 2020-05-08 | 0 |
| 一种智慧城市综合数据看板平台 | 2020-05-08 | 479 |
| 一种人脸识别方法及装置 | 2020-05-08 | 437 |
| 基于图像的人脸畸变校正方法、装置及电子设备 | 2020-05-08 | 537 |
| 一种基于多种数据类型融合的三维人脸识别方法 | 2020-05-11 | 676 |
| 图像的审核方法、装置和服务器 | 2020-05-11 | 908 |
| 一种智能门禁电路结构 | 2020-05-08 | 812 |
| 一种社区公厕的识别警示装置 | 2020-05-08 | 418 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈