基于毫米波的睡眠动作捕捉方法、装置、设备及存储介质
| 热词 | 动作 睡眠 图像 监控 集合 微小 识别 毫米波 毫米 序列 | ||
| 专利类型 | 发明公开 | 法律事件 | 公开; 实质审查; 授权; |
| 专利有效性 | 有效专利 | 当前状态 | 授权 |
| 申请号 | CN202310570275.8 | 申请日 | 2023-05-19 |
| 公开(公告)号 | CN116311539A | 公开(公告)日 | 2023-06-23 |
| 申请人 | 亿慧云智能科技(深圳)股份有限公司; | 申请人类型 | 企业 |
| 发明人 | 谢俊; | 第一发明人 | 谢俊 |
| 权利人 | 亿慧云智能科技(深圳)股份有限公司 | 权利人类型 | 企业 |
| 当前权利人 | 亿慧云智能科技(深圳)股份有限公司 | 当前权利人类型 | 企业 |
| 省份 | 当前专利权人所在省份：广东省 | 城市 | 当前专利权人所在城市：广东省深圳市 |
| 具体地址 | 当前专利权人所在详细地址：广东省深圳市南山区粤海街道高新区社区科技南路18号深圳湾科技生态园12栋B1座2410-2412 | 邮编 | 当前专利权人邮编：518000 |
| 主IPC国际分类 | G06V40/20 | 所有IPC国际分类 | G06V40/20 ; G06V20/52 ; G06V10/26 ; G06V10/62 ; G06V10/762 ; G06V10/764 ; G06V10/77 ; G06V10/82 |
| 专利引用数量 | 21 | 专利被引用数量 | 3 |
| 专利权利要求数量 | 10 | 专利文献类型 | A |
| 专利代理机构 | 深圳市沈合专利代理事务所 | 专利代理人 | 钱丽华; |
| 摘要 | 本 发明 涉及智能监控技术，揭露了一种基于毫米波的睡眠 动作捕捉 方法、装置、设备及存储介质。所述方法包括：对毫米波雷达拍摄的监控区域的实时监控图像进行监控；当监控区域存在物体变动时，截取实时监控图像中的动作 图像序列 ；利用预训练的睡眠动作监控模型对所述动作图像序列进行动作识别，得到动作识别结果，并根据所述动作识别结果，对所述动作图像序列中的图像特征序列进行基于独立性的分类操作，得到动作独立特征集合；对动作独立特征集合进行识别，得到动时微小动作集合；当监控区域中没有存在物体变动时，利用短时傅里叶变换 算法 识别所述实时监控图像中的静时微小动作集合。本发明可以提高对微小动作捕捉的准确性，提高睡眠监测 质量 。 | ||
| 权利要求 | 1.一种基于毫米波的睡眠动作捕捉方法，其特征在于，所述方法包括： |
||
| 说明书全文 | 基于毫米波的睡眠动作捕捉方法、装置、设备及存储介质技术领域[0001] 本发明涉及智能监控技术领域，尤其涉及一种基于毫米波的睡眠动作捕捉方法、装置、设备及计算机可读存储介质。 背景技术[0002] 随着健康监测技术的发展，出现了越来越多的健康监测产品，例如睡眠监测、运动监测、养老监控等智慧监测产品。 [0003] 毫米级微波雷达兼具了微波雷达与光电雷达的优点，因此如今的智慧监测产品很多都通过毫米级微波雷达进行动作捕捉，例如有些智慧监测产品可以识别人体在运动时动作是否达到标准，但在睡眠监测过程中，人体动作幅度较为轻微，在出现肌肉抽搐、眼动、憋气等微小动作时，容易出现灵敏度不足的情况，造成睡眠监测结果不准确。 发明内容[0004] 本发明提供一种基于毫米波的睡眠动作捕捉方法、装置、设备及存储介质，其主要目的在于提高对微小动作捕捉的准确性，提高睡眠监测质量。 [0005] 为实现上述目的，本发明提供的一种基于毫米波的睡眠动作捕捉方法，包括：获取毫米波雷达拍摄的监控区域的实时监控图像，并根据预设的变化幅度阈值，判断所述监控区域中是否存在物体变动； 当所述监控区域中存在物体变动时，从所述实时监控图像中截取得到动作图像序列； 利用预训练的睡眠动作监控模型对所述动作图像序列进行动作识别，得到动作识别结果，并根据所述动作识别结果，对所述动作图像序列中的图像特征序列进行基于独立性的分类操作，得到动作独立特征集合； 对所述动作独立特征集合进行自适应权重增加，并对权重增加结果进行动作识别操作，得到动时微小动作集合； 当所述监控区域中没有存在物体变动时，将所述实时监控图像进行信号转换，得到频域信号，并利用短时傅里叶变换算法，对所述频域信号进行基于信号相位信息的动作监测，得到静时微小动作集合； 根据所述实时监控图像的时间顺序，将所述静时微小动作集合、所述动作识别结果及所述动时微小动作集合进行记录，得到睡眠动作监测结果。 [0006] 可选的，所述利用预训练的睡眠动作监控模型对所述动作图像序列进行动作识别之前，所述方法还包括：对预构建的毫米波睡眠图像进行图像特征提取识别，得到图像变动特征集合，并对所述图像变动特征集合进行动作识别，得到动作类别； 根据预设的权重阈值，及所述图像变动特征集合中各个图像变动特征在得到所述动作类别时的权重，对所述图像变动特征集合进行分类，得到微小特征集合，并对所述微小特征集合进行微小动作识别，得到微小动作类别； 利用所述毫米波睡眠图像、动作类别及微小动作类别构建键值对，得到训练样本； 利用预构建的睡眠动作监控模型对所述训练样本进行正向网络预测，得到动作预测结果及微小动作预测结果； 利用交叉熵损失算法，计算所述训练样本的动作类别与所述动作预测结果之间的辅助损失，及计算所述训练样本的微小动作类别与所述微小动作预测结果之间的输出损失； 根据梯度下降方法、所述辅助损失及所述输出损失，对所述睡眠动作监控模型进行网络参数逆向更新，得到训练完成的睡眠动作监控模型。 [0007] 可选的，所述根据所述动作识别结果，对所述动作图像序列中的图像特征序列进行基于独立性的分类操作，得到动作独立特征集合，包括：获取输出所述动作识别结果时，所述动作图像序列中各个图像特征的权重，并获取权重大于预设的第一阈值的图像特征，得到动作关联特征集合； 根据注意力权重配置规则，计算所述动作关联特征集合中各个动作关联特征对于所述动作识别结果的注意力权重，并提取注意力权重大于预设的第二阈值的动作关联特征，得到动作关键特征集合； 删除所述动作图像序列中的各个图像特征中关于所述动作关键特征集合的图像特征，得到动作独立特征集合。 [0008] 可选的，所述根据预设的变化幅度阈值，判断所述监控区域中是否存在物体变动，包括：对所述实时监控图像进行色域切割操作，得到各个灰度块，并对各个灰度块进行聚类操作，计算聚类后的各个灰度块的面积大小及中心点； 计算预设时间段的多张实时监控图像中各个所述灰度块的面积大小的相对变化，得到第一变化值； 根据预设坐标系，计算所述预设时间段内的多张实时监控图像中各个灰度块的中心点的相对位移大小，得到第二变化值； 根据预设的权重配置系数，对所述第一变化值及所述第二变化值进行加权求和，得到综合变化值，并根据所述综合变化值是否大于预设的变化幅度阈值，判断所述监控区域的中是否存在物体变动。 [0009] 可选的，所述利用预训练的睡眠动作监控模型对所述动作图像序列进行动作识别，得到动作识别结果，包括：对所述动作图像序列进行卷积操作，得到卷积矩阵集合； 对所述卷积矩阵进行平均池化操作，得到池化矩阵集合； 对所述池化矩阵集合中的各个池化矩阵进行扁平化操作，得到各个特征序列； 将各个特征序列进行拼接，并对拼接结果进行全连接分类操作，得到动作识别结果。 [0010] 可选的，所述睡眠动作监控模型包括特征提取网络、动作识别网络、独立性特征分类网络。 [0011] 可选的，所述得到睡眠动作监测结果之后，所述方法还包括：将所述睡眠动作监测结果存储至预构建的数据汇总数据库中，并利用预构建的睡眠质量评估模型对所述数据汇总数据库进行特征提取，得到睡眠特征序列； 对所述睡眠特征序列进行睡眠质量评估，得到睡眠评估结果。 [0012] 为了解决上述问题，本发明还提供一种基于毫米波的睡眠动作捕捉装置，所述装置包括：场景分类模块，用于获取毫米波雷达拍摄的监控区域的实时监控图像，并根据预设的变化幅度阈值，判断所述监控区域中是否存在物体变动； 动时动作识别模块，用于当所述监控区域中存在物体变动时，从所述实时监控图像中截取得到动作图像序列，及利用预训练的睡眠动作监控模型对所述动作图像序列进行动作识别，得到动作识别结果，并根据所述动作识别结果，对所述动作图像序列中的图像特征序列进行基于独立性的分类操作，得到动作独立特征集合，及对所述动作独立特征集合进行自适应权重增加，并对权重增加结果进行动作识别操作，得到动时微小动作集合； 静时动作识别模块，用于当所述监控区域中没有存在物体变动时，将所述实时监控图像进行信号转换，得到频域信号，并利用短时傅里叶变换算法，对所述频域信号进行基于信号相位信息的动作监测，得到静时微小动作集合； 动作记录模块，用于根据所述实时监控图像的时间顺序，将所述静时微小动作集合、所述动作识别结果及所述动时微小动作集合进行记录，得到睡眠动作监测结果。 [0013] 为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：至少一个处理器；以及， 与所述至少一个处理器通信连接的存储器；其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的基于毫米波的睡眠动作捕捉方法。 [0014] 为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的基于毫米波的睡眠动作捕捉方法。 [0015] 本发明实施例在监控区域未存在物体变动时，先通过将实施监控图像进行信号转换的方式，进行微小动作识别，得到静时微小动作集合；然后在监控区域存在物体变动时，一方面先通过动作识别对动作图像序列进行大动作的识别，然而从动作图像序列的图像特征序列中提取出与所述动作识别结果相互独立的特征，得到动作独立特征集合；进而对所述动作独立特征集合，识别出发生大动作时的微小动作，得到动时微小动作集合；最终得到准确的、完整的睡眠动作监测结果。因此，本发明实施例提供的一种基于毫米波的睡眠动作捕捉方法、装置、设备及存储介质，能够在于提高对微小动作捕捉的准确性，提高睡眠监测质量。附图说明 [0016] 图1为本发明一实施例提供的基于毫米波的睡眠动作捕捉方法的流程示意图；图2为本发明一实施例提供的基于毫米波的睡眠动作捕捉方法中一个步骤的详细流程示意图； 图3为本发明一实施例提供的基于毫米波的睡眠动作捕捉方法中一个步骤的详细流程示意图； 图4为本发明一实施例提供的基于毫米波的睡眠动作捕捉方法中一个步骤的详细流程示意图； 图5为本发明一实施例提供的基于毫米波的睡眠动作捕捉装置的功能模块图； 图6为本发明一实施例提供的实现所述基于毫米波的睡眠动作捕捉方法的电子设备的结构示意图。 [0017] 本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。 具体实施方式[0018] 应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。 [0019] 本申请实施例提供一种基于毫米波的睡眠动作捕捉方法。本申请实施例中，所述基于毫米波的睡眠动作捕捉方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于毫米波的睡眠动作捕捉方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。 [0020] 参照图1所示，为本发明一实施例提供的基于毫米波的睡眠动作捕捉方法的流程示意图。在本实施例中，所述基于毫米波的睡眠动作捕捉方法包括：S1、获取毫米波雷达拍摄的监控区域的实时监控图像。 [0021] 本发明实施例中，所述毫米波雷达拍摄的实时监控图像为灰度图像，所述实时监控图像中的图像亮度代表被扫描对象的反射率或散射强度。 [0022] S2、根据预设的变化幅度阈值，判断所述监控区域中是否存在物体变动。 [0023] 详细的，参考图2所示，本发明实施例中，所述根据预设的变化幅度阈值，判断所述监控区域中是否存在物体变动，包括：S21、对所述实时监控图像进行色域切割操作，得到各个灰度块，并对各个灰度块进行聚类操作，计算聚类后的各个灰度块的面积大小及中心点； S22、计算预设时间段的多张实时监控图像中各个所述灰度块的面积大小的相对变化，得到第一变化值； S23、根据预设坐标系，计算所述预设时间段内的多张实时监控图像中各个灰度块的中心点的相对位移大小，得到第二变化值； S24、根据预设的权重配置系数，对所述第一变化值及所述第二变化值进行加权求和，得到综合变化值，并根据所述综合变化值是否大于预设的变化幅度阈值，判断所述监控区域的中是否存在物体变动。 [0024] 其中，所述色域切割方法是根据图像中不同部分的灰度值不同进行分割的方法。本发明实施例通过识别各个灰度块的面积大小与聚类中心点进行变化把控，所述中心点用于判断起伏，面积大小可以判断目标对象是否改变姿态。本发明实施例根据模拟实验获取符合家庭睡眠监控场景的权重配置系数及变化幅度阈值进行判断所述监控区域中是否存在物体变动的动作。 [0025] 当所述实时监控图像中存在物体变动时，S3、从所述实时监控图像中截取得到动作图像序列。 [0026] S4、利用预训练的睡眠动作监控模型对所述动作图像序列进行动作识别，得到动作识别结果，并根据所述动作识别结果，对所述动作图像序列中的图像特征序列进行基于独立性的分类操作，得到动作独立特征集合。 [0027] 本发明实施例中，所述睡眠动作监控模型包括特征提取网络、动作识别网络、独立性特征分类网络。其中，所述特征提取网络用于识别实时监控图像中的图像信息，所述动作识别网络能够识别正常人体动作与微小动作，所述独立性特征分类网络用于对与较大动作不相干的特征进行提取并适应性增加其权重。 [0028] 应当知道，在具有较大幅度动作发生时，较小的睡眠动作容易被干扰，例如人物翻身时，对于呼吸、眼动等特征的识别造成巨大干扰，因此需要优先识别较大的动作，得到动作识别结果，然后对动作不直接关联的图像特征进行重新识别。此外，由于人体动作具有协调性，因此动作识别过程中，被学习的特征中也可能有大部分是协同动作，例如转身动作时，身体组织的变动可以作为对应的直接特征，而呼吸加重、肌肉收缩等可能为涉及特征，而血压升高、眼动等特征直接就可能为无关特征。 [0029] 详细的，本发明实施例中，所述利用预训练的睡眠动作监控模型对所述动作图像序列进行动作识别，得到动作识别结果，包括：对所述动作图像序列进行卷积操作，得到卷积矩阵集合；对所述卷积矩阵进行平均池化操作，得到池化矩阵集合；对所述池化矩阵集合中的各个池化矩阵进行扁平化操作，得到各个特征序列；将各个特征序列进行拼接，并对拼接结果进行全连接分类操作，得到动作识别结果。 [0030] 本发明实施例利用所述睡眠动作监控模型中的特征提取网络，对所述动作图像序列进行卷积、池化、扁平化操作，进行特征提取，再通过动作识别网络进行全连接操作，得到动作识别结果。其中，卷积用于对所述动作图像序列中的特征进行提取，而池化及扁平化是用于对提取到的特征进行降维操作，能够在不影响特征量的情况下减小计算难度，全连接操作是指对各个特征进行随机组合并进行分类识别的操作。 [0031] 进一步的，参考图3所示，本发明实施例中，所述根据所述动作识别结果，对所述动作图像序列中的图像特征序列进行基于独立性的分类操作，得到动作独立特征集合，包括：S41、获取输出所述动作识别结果时，所述动作图像序列中各个图像特征的权重，并获取权重大于预设的第一阈值的图像特征，得到动作关联特征集合； S42、根据注意力权重配置规则，计算所述动作关联特征集合中各个动作关联特征对于所述动作识别结果的注意力权重，并提取注意力权重大于预设的第二阈值的动作关联特征，得到动作关键特征集合； S43、删除所述动作图像序列中的各个图像特征中关于所述动作关键特征集合的图像特征，得到动作独立特征集合。 [0032] 本发明实施例中通过查询所述动作识别网络，得到输出所述动作识别结果时各个图像特征的权重，再通过比较预设的第一阈值，例如0.3，得到动作关联特征集合。但由于所述动作关联特征集合中还具有较多的连带动作，因此需要将动作关联特征集合中的连带动作与关键动作进行分开。 [0033] 本发明实施例中，通过点积的注意力权重配置机制，识别各个动作关联特征与所述动作识别结果之间的注意力权重，将注意力权重大于预设的第二阈值，例如0.4的动作关联特征定义为动作关键特征，得到动作关键特征集合。 [0034] 本发明实施例通过删除所述动作图像序列中的各个图像特征中关于所述动作关键特征集合的图像特征，得到动作独立特征集合，而所述动作独立特征集合中就包含了被大动作干扰了的全部微小动作的特征。 [0035] 进一步的，参考图4所示，本发明实施例中，所述利用预训练的睡眠动作监控模型对所述动作图像序列进行动作识别之前，所述方法还包括：S401、对预构建的毫米波睡眠图像进行图像特征提取识别，得到图像变动特征集合，并对所述图像变动特征集合进行动作识别，得到动作类别； S402、根据预设的权重阈值，及所述图像变动特征集合中各个图像变动特征在得到所述动作类别时的权重，对所述图像变动特征集合进行分类，得到微小特征集合，并对所述微小特征集合进行微小动作识别，得到微小动作类别； S403、利用所述毫米波睡眠图像、动作类别及微小动作类别构建键值对，得到训练样本； S404、利用预构建的睡眠动作监控模型对所述训练样本进行正向网络预测，得到动作预测结果及微小动作预测结果； S405、利用交叉熵损失算法，计算所述训练样本的动作类别与所述动作预测结果之间的辅助损失，及计算所述训练样本的微小动作类别与所述微小动作预测结果之间的输出损失； S406、根据梯度下降方法、所述辅助损失及所述输出损失，对所述睡眠动作监控模型进行网络参数逆向更新，得到训练完成的睡眠动作监控模型。 [0036] 本发明实施例可以通过专门识别常规动作的模型或算法进行动作识别，得到动作类型，然后通过增加权重的方式，对微小特征集合进行权重增加，并利用专门识别微小动作的模型或算法，进行微小动作识别，得到微小动作类别，然后通过动作类别及微小动作类别，构建所述毫米波睡眠图像的训练样本然后参与训练过程。 [0037] 其中，本发明实施例通过辅助损失（auxiliary loss）方法，将所述睡眠动作监控模型的动作识别网络中的第一次输出设置为辅助任务，将所述动作识别网络的第二次输出作为输出结果，即将常规动作的识别结果作为中间环节，独立的计算损失，将微小动作识别的损失作为模型损失。因此所述动作识别网络的常规动作识别过程只在计算机训练过程中进行，不在训练进度展示过程中出现，训练进度展示中只显示所述动作识别网络的第二次输出的输出结果。其中，本发明实施例在训练过程中增加的辅助loss可以加快收敛速度，提升模型训练效率、增强监督，增强梯度的反向传播，使所述睡眠动作监控模型能够更高效地进行两种动作的机器学习。 [0038] 其中，本发明训练过程中采用了交叉熵损失算法及梯度下降方法。所述交叉熵损失算法用于监测所述训练样本的动作类别与所述动作预测结果的误差以及所述训练样本的微小动作类别与所述微小动作预测结果之间的误差，梯度下降方法是指计算函数最小值的方法，用于通过损失值对模型网络参数进行更新。 [0039] S5、对所述动作独立特征集合进行自适应权重增加，并对权重增加结果进行动作识别操作，得到动时微小动作集合。 [0040] 本发明实施例中，所述动作识别网络既可以识别常规动作又可以识别微小动作，因此需要将所述动作独立特征集合的权重与常规动作对应的图像特征相对应。本发明实施例通过预设的接口埋点自动记录权重量级，保证动作独立特征集合的权重，进而准确识别出动时微小动作集合。 [0041] 当所述监控区域中没有存在物体变动时，S6、将所述实时监控图像进行信号转换，得到频域信号，并利用短时傅里叶变换算法，对所述频域信号进行基于信号相位信息的动作监测，得到静时微小动作集合；本发明实施例根据符合睡眠监测场景的预处理配置系数，对所述实时监控图像进行降噪、滤波及增强操作，提高所述实时监控图像的图像质量，然后根据预处理配置系数中的采样率对所述实时监控图像进行采样，得到样本点序列集合，然后通过离散傅里叶变化，将所述实时监控图像转变为频域信号。然后本发明实施例通过短时傅里叶变化，将信号分解为窄带的频率分量集合，进而利用各个频率分量的相位信息来监测人体的微小动作，得到静时微小动作集合。其中，所述预处理配置系数包含符合场景的采样率、采样深度等，避免对实时监控图像造成影响。 [0042] S7、根据所述实时监控图像的时间顺序，将所述静时微小动作集合、所述动作识别结果及所述动时微小动作集合进行记录，得到睡眠动作监测结果。 [0043] 本发明实施例将所述静时微小动作集合、所述动作识别结果及所述动时微小动作集合进行记录，可以在即使是发生大动作时，也不影响微小动作的识别，最终得到准确的、完整的睡眠动作监测结果。 [0044] 此外，本发明另一实施例中，所述得到睡眠动作监测结果之后，所述方法还包括：将所述睡眠动作监测结果存储至预构建的数据汇总数据库中，并利用预构建的睡眠质量评估模型对所述数据汇总数据库进行特征提取，得到睡眠特征序列； 对所述睡眠特征序列进行睡眠质量评估，得到睡眠评估结果。 [0045] 本发明实施例中，所述数据汇总数据库可以通过多个数据接口，将所述睡眠动作监控模型以外的设备或模型，如健康监测手表、红外温度监测仪等获取到的数据进行整合，得到全方面的监控数据，进而再通过预构建的睡眠质量评估模型进行整体数据分析，得到准确的睡眠评估结果。 [0046] 本发明实施例在监控区域未存在物体变动时，先通过将实施监控图像进行信号转换的方式，进行微小动作识别，得到静时微小动作集合；然后在监控区域存在物体变动时，一方面先通过动作识别对动作图像序列进行大动作的识别，然而从动作图像序列的图像特征序列中提取出与所述动作识别结果相互独立的特征，得到动作独立特征集合；进而对所述动作独立特征集合，识别出发生大动作时的微小动作，得到动时微小动作集合；最终得到准确的、完整的睡眠动作监测结果。因此，本发明实施例提供的一种基于毫米波的睡眠动作捕捉方法，能够在于提高对微小动作捕捉的准确性，提高睡眠监测质量。 [0047] 如图5所示，是本发明一实施例提供的基于毫米波的睡眠动作捕捉装置的功能模块图。 [0048] 本发明所述基于毫米波的睡眠动作捕捉装置100可以安装于电子设备中。根据实现的功能，所述基于毫米波的睡眠动作捕捉装置100可以包括场景分类模块101、动时动作识别模块102、静时动作识别模块103及动作记录模块104。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。 [0049] 在本实施例中，关于各模块/单元的功能如下：所述场景分类模块101，用于获取毫米波雷达拍摄的监控区域的实时监控图像，并根据预设的变化幅度阈值，判断所述监控区域中是否存在物体变动； 所述动时动作识别模块102，用于当所述监控区域中存在物体变动时，从所述实时监控图像中截取得到动作图像序列，及利用预训练的睡眠动作监控模型对所述动作图像序列进行动作识别，得到动作识别结果，并根据所述动作识别结果，对所述动作图像序列中的图像特征序列进行基于独立性的分类操作，得到动作独立特征集合，及对所述动作独立特征集合进行自适应权重增加，并对权重增加结果进行动作识别操作，得到动时微小动作集合； 所述静时动作识别模块103，用于当所述监控区域中没有存在物体变动时，将所述实时监控图像进行信号转换，得到频域信号，并利用短时傅里叶变换算法，对所述频域信号进行基于信号相位信息的动作监测，得到静时微小动作集合； 所述动作记录模块104，用于根据所述实时监控图像的时间顺序，将所述静时微小动作集合、所述动作识别结果及所述动时微小动作集合进行记录，得到睡眠动作监测结果。 [0050] 详细地，本申请实施例中所述基于毫米波的睡眠动作捕捉装置100中所述的各模块在使用时采用与上述图1至图4中所述的基于毫米波的睡眠动作捕捉方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。 [0051] 如图6所示，是本发明一实施例提供的实现基于毫米波的睡眠动作捕捉方法的电子设备1的结构示意图。 [0052] 所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如基于毫米波的睡眠动作捕捉程序。 [0053] 其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing Unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备1的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（例如执行基于毫米波的睡眠动作捕捉程序等），以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。 [0054] 所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（Secure Digital，SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如基于毫米波的睡眠动作捕捉程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。 [0055] 所述通信总线12可以是外设部件互连标准（Peripheral Component Interconnect，简称PCI）总线或扩展工业标准结构（Extended Industry Standard Architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。 [0056] 所述通信接口13用于上述电子设备1与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口（如WI‑FI接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light‑Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。 [0057] 图6仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图6示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。 [0058] 例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi‑Fi模块等，在此不再赘述。 [0060] 所述电子设备1中的所述存储器11存储的基于毫米波的睡眠动作捕捉程序是多个指令的组合，在所述处理器10中运行时，可以实现：获取毫米波雷达拍摄的监控区域的实时监控图像，并根据预设的变化幅度阈值，判断所述监控区域中是否存在物体变动； 当所述监控区域中存在物体变动时，从所述实时监控图像中截取得到动作图像序列； 利用预训练的睡眠动作监控模型对所述动作图像序列进行动作识别，得到动作识别结果，并根据所述动作识别结果，对所述动作图像序列中的图像特征序列进行基于独立性的分类操作，得到动作独立特征集合； 对所述动作独立特征集合进行自适应权重增加，并对权重增加结果进行动作识别操作，得到动时微小动作集合； 当所述监控区域中没有存在物体变动时，将所述实时监控图像进行信号转换，得到频域信号，并利用短时傅里叶变换算法，对所述频域信号进行基于信号相位信息的动作监测，得到静时微小动作集合； 根据所述实时监控图像的时间顺序，将所述静时微小动作集合、所述动作识别结果及所述动时微小动作集合进行记录，得到睡眠动作监测结果。 [0061] 具体地，所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。 [0062] 进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read‑Only Memory）。 [0063] 本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：获取毫米波雷达拍摄的监控区域的实时监控图像，并根据预设的变化幅度阈值，判断所述监控区域中是否存在物体变动； 当所述监控区域中存在物体变动时，从所述实时监控图像中截取得到动作图像序列； 利用预训练的睡眠动作监控模型对所述动作图像序列进行动作识别，得到动作识别结果，并根据所述动作识别结果，对所述动作图像序列中的图像特征序列进行基于独立性的分类操作，得到动作独立特征集合； 对所述动作独立特征集合进行自适应权重增加，并对权重增加结果进行动作识别操作，得到动时微小动作集合； 当所述监控区域中没有存在物体变动时，将所述实时监控图像进行信号转换，得到频域信号，并利用短时傅里叶变换算法，对所述频域信号进行基于信号相位信息的动作监测，得到静时微小动作集合； 根据所述实时监控图像的时间顺序，将所述静时微小动作集合、所述动作识别结果及所述动时微小动作集合进行记录，得到睡眠动作监测结果。 [0064] 在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。 [0065] 所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。 [0066] 另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。 [0067] 对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。 [0068] 因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。 [0069] 本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。 [0070] 本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。 [0071] 此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。 [0072] 最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。 |
||
QQ群二维码
意见反馈
意见反馈