一种用于经颅磁刺激诊疗的摄像系统
阅读：7发布：2020-05-18
专利汇可以提供一种用于经颅磁刺激诊疗的摄像系统专利检索，专利查询，专利分析的服务。并且本 发明 公开一种用于 经颅磁刺激 诊疗的摄像系统，包括用于头部建模的第一拍摄子系统、用于诊疗的第二拍摄子系统和智能终端，所述第一拍摄子系统包括3D 扫描仪 和 定位 帽，所述第二拍摄子系统包括3D摄像头、躺式床和头枕；所述第一拍摄子系统将拍摄到的头部数据发送至智能终端进行头部建模，得到具有已标识面部特征点的3D头模；所述第二拍摄子系统将实时拍摄到的人脸数据发送至智能终端进行 人脸检测 ，所述智能终端将检测出的人脸图像与所述3D头模进行匹配，得到用于经颅磁刺激诊疗的磁刺激点定位信息。本发明通过摄像头快速、精确的获取患者的头部 姿态 ，并根据头部姿态调 整治 疗磁刺激点，提高TMS 治疗 中的磁刺激点定位及重复定位的准确性。，下面是一种用于经颅磁刺激诊疗的摄像系统专利的具体信息内容。
1.一种用于经颅磁刺激诊疗的摄像系统，其特征在于，包括用于头部建模的第一拍摄子系统、用于诊疗的第二拍摄子系统和智能终端，所述第一拍摄子系统包括3D扫描仪和定位帽，所述第二拍摄子系统包括3D摄像头、躺式床和头枕；所述第一拍摄子系统将拍摄到的头部数据发送至智能终端进行头部建模，得到具有已标识面部特征点的3D头模；所述第二拍摄子系统将实时拍摄到的人脸数据发送至智能终端进行人脸检测，所述智能终端将检测出的人脸图像与所述3D头模进行匹配，得到用于经颅磁刺激诊疗的磁刺激点定位信息。
2.根据权利要求1所述的一种用于经颅磁刺激诊疗的摄像系统，其特征在于，所述3D扫描仪包括一个3D摄像头和一个旋转支架，所述3D摄像头安装在旋转支架上，所述旋转支架由电机驱动旋转，所述电机与智能终端电连接；采集患者头部的3D图像数据时，通过智能终端控制电机驱动旋转支架匀速转动，从而使3D摄像头匀速绕患者头部做圆周运动，从各个方向采集患者头部的3D图像数据。
3.根据权利要求1所述的一种用于经颅磁刺激诊疗的摄像系统，其特征在于，所述3D扫描仪包括若干个3D摄像头和一个固定支架，所述若干个3D摄像头均安装在固定支架上；采集患者头部的3D图像数据时，通过智能终端控制所述若干个3D摄像头同时从不同方向采集患者头部的3D图像数据。
4.根据权利要求2或3中任一项所述的一种用于经颅磁刺激诊疗的摄像系统，其特征在于，所述3D摄像头拍摄到的图像数据包括彩色图像、深度图像和3D点云图像。
5.根据权利要求1所述的一种用于经颅磁刺激诊疗的摄像系统，其特征在于，所述定位帽为弹性材质做成的白色头罩，用于遮住患者头发；所述定位帽上设有若干Mark点，便于3D摄像头采集图像数据。
6.一种基于摄像头的经颅磁刺激诊疗建模系统，采用权利要求1中所述的摄像系统，其特征在于，所述建模系统的建模方法包括以下步骤：
S1，启动所述智能终端，通过所述3D扫描仪从各个方向采集佩戴有定位帽的患者头部的3D图像数据，并将采集到的3D图像数据发送给所述智能终端；
S2，通过所述智能终端将3D扫描仪从各个方向采集到的3D图像数据进行整合，得到患者头部完整的3D点云图像，再通过抽样、平滑、平面拟合处理后得到患者头部完整的3D头模数据；
S3，利用所述3D头模数据，结合MNI脑空间坐标，将MNI空间的颅骨3D数据映射到患者的
3D头模数据上，得到患者的3D头模，然后在患者的3D头模上建立磁刺激点模型。
7.一种基于摄像头的经颅磁刺激诊疗检测系统，采用权利要求1中所述的摄像系统，其特征在于，所述检测系统的检测方法包括以下步骤：
S1，通过调节所述躺式床的前后位置，使载有患者的躺式床到达治疗位置；
S2，治疗开始前，采用所述3D摄像头拍摄患者头部的图像数据，采用所述智能终端进行头部建模，建立患者头部的3D头模；
S3，治疗开始，采用所述3D摄像头拍摄患者的实时面部图像，采用所述智能终端进行位姿匹配，将所述实时面部图像与已建立的3D头模进行位置匹配，进一步包括：在所述3D头模中标出用于匹配的面部特征点；通过所述3D摄像头自动识别出患者的实时面部图像的面部特征点；通过特征点匹配进行仿射变换得到转换矩阵，计算出患者的实时面部图像与已建立的3D头模的转换关系；计算所述3D头模在空间中的位置；计算所述3D头模上的磁刺激点在空间中的位置坐标。
8.一种基于摄像头的经颅磁刺激诊疗导航系统，采用权利要求1中所述的摄像系统，其特征在于，还包括机械手和TMS线圈，所述机械手、TMS线圈分别与智能终端电连接，所述导航系统的导航方法包括以下步骤：
S1，通过调节所述躺式床的前后位置，使载有患者的躺式床到达治疗位置；
S2，采用所述3D摄像头和智能终端对患者头部进行建模；
S3，通过所述3D摄像头和智能终端将患者的头模的位置与患者头部的实际位置进行匹配，确定患者头模上待磁刺激磁刺激点的空间位置；
S4，通过所述智能终端对机械手、TMS线圈和3D摄像头进行建模；
S5，将步骤S4中建好的设备模型与步骤S2中建好的患者头模放在同一个空间坐标系中；再通过所述智能终端计算出TMS线圈模型到达头模上待磁刺激磁刺激点的最佳路径，所述智能终端再根据该最佳路径对机械手的移动进行自动导航，最终将所述TMS线圈移动至患者头部待磁刺激磁刺激点进行治疗。
9.根据权利要求7所述的一种基于摄像头的经颅磁刺激诊疗检测系统，其特征在于，所述检测方法还包括：在对患者头部进行磁刺激治疗的过程中，所述智能终端还通过3D摄像头对患者头部进行跟随定位；在治疗过程中会记录每次定位完成时患者头部磁刺激点的位置信息，若下一时刻由于患者头部运动造成当前时刻与上一时刻的磁刺激点位置距离超过
5mm，则启动跟随定位；若不超过5mm，则不启动跟随定位。
10.根据权利要求8所述的一种基于摄像头的经颅磁刺激诊疗导航系统，其特征在于，所述导航方法还包括跟随定位步骤，所述跟随定位步骤包括：通过所述智能终端对患者头部模型的空间位姿进行调整，使患者头部模型的空间位姿与患者头部当前的实际空间位姿进行匹配，然后在头部模型上重新定位最新的磁刺激点，最后重新规划机械手的移动路径，将TMS线圈移动到最新的磁刺激点进行治疗。
一种用于经颅磁刺激诊疗的摄像系统
技术领域
[0001] 本发明涉及医疗设备技术领域，具体涉及一种用于经颅磁刺激诊疗的摄像系统。
背景技术
[0002] 据中国疾病预防控制中心精神卫生中心统计，目前我国精神疾病患者总数已超过1亿，但公众对精神疾病的知晓率不足5成，就诊率更低。目前这些精神病人得到及时救治的约20％，有80％的精神病人得不到及时救治，甚至得不到最基本的救治，症精神疾病患者人数更是高达1600万人。根据IMS health的最新统计数据，全球精神疾病用药已经超过360亿美元，占药品销售总额的5％。不过，就国内而言，目前的精神疾病用药市场规模仍相对较小，大约占医院销售总额的1.5％左右。我国精神病专科医院已经超过600家，但与日益增长的精神病发病率相比，在数量和质量上与精神病患者需求之间还存在较大差距，仍有为数众多的精神病患者不能得到专业、系统、有效的治疗。
[0003] 经颅磁刺激(Transcranial Magnetic Stimulation，TMS)，是一种通过脉冲磁场在局部大脑皮层中产生电流以暂时激活或抑制该皮层的技术。在癫痫病、神经心理科、康复科、儿科等领域经颅磁刺激技术都得到了广泛的使用。现阶段在进行经颅磁治疗时需要医护人员将治疗设备对准患者头部的待治疗区域，由于患者长期保持同一姿势造成的不适会让患者改变头部姿势，医护人员需要时刻关注治疗仪和患者头部是否对齐，该方法成本高、耗时长、误差大，因此医护人员急需一种速度快、精度高的人头姿态跟踪系统，该系统能够将患者的头部姿态真实的反馈给机械控制设备。
[0004] 传统的TMS治疗方式通常包括以下步骤：操作者在患者头部找到治疗磁刺激点区域(凭经验定位)；将TMS线圈置于该区域上，保证线圈中心正对磁刺激点，线圈平面与头皮相切；使用机械装置将TMS线圈夹持固定；启动TMS，开始治疗。由于TMS治疗通常需要长时间，按疗程治疗，纯粹靠经验和记忆的方式来定位的磁刺激点无法保证每次治疗的精准性。患者每次治疗的磁刺激点位置都不一样是普遍情况，并且由于磁场的衰落特性以及有效磁刺激点区域较小的原因，如果不能保证治疗的磁刺激点精准性，TMS治疗的疗效就会大打折扣。因而找到一种方法来保证磁刺激点的精准是很有必要的。
[0005] TMS精准重复定位的问题在世界范围内有一些研究，但是目前其他方法大多是基于导光球的红外定位法。该方法每次定位时都必须给患者和TMS线圈佩戴专用导光球，根据导光球在红外拍摄装置中的相对位置来进行定位。因为每次佩戴的位置都不固定，所以还需要额外使用一种专用的定位笔通过复杂的定位来确定导光球和人头的相对位置，因此操作起来颇为不便，且效率低下，目前使用基于导光球的红外定位法中，用于佩戴和定位导光球的时间大约为30分钟/人，由于一次TMS治疗也仅需10-20分钟，因此目前的这种定位方法不适用于TMS的高效重复定位。
[0006] 较精确的定位方法可采用经颅磁刺激导航系统，目前有两种，一种是机器视觉定位导航系统，如中国专利“经颅磁刺激导航系统及经颅磁刺激线圈定位方法”201210281507.X，201210281472.X；另一种是光学定位导航系统，如中国专利“一种导航经颅磁刺激治疗系统”201010235826.8，“一种用于重复经颅磁刺激光学定位导航系统的校准装置和方法”201010235828.7。机器视觉定位导航系统需要定位帽，定位帽的厚度增加了线圈与大脑皮层的距离，增加了刺激强度，造成能量的浪费，特别是在需要经颅磁刺激和脑电记录同时进行时，同时佩戴定位帽和脑电电极帽会增加更多的线圈与大脑皮层距离。在光学定位导航系统中，由于物体对光的阻碍作用，对光学传感器和光源的位置提出了很高的要求，也在一定程度上限制了光学定位系统的使用。
[0007] 近年来，将相机与深度传感器结合起来在三维场景重建、室内定位和移动机械手等领域都有重要的应用，RGBD相机就是其中一款能够同时获取图像信息和距离信息的相机。因此，本发明结合RGBD相机能够同时获取图像信息和距离信息的优势，在经颅磁刺激诊疗的TMS线圈定位中，使用RGBD相机进行患者位姿拍摄，然后通过对拍摄图像的处理来定位治疗磁刺激点，在无需佩戴导光球定位的情况下保证每次治疗时磁刺激点定位的精准。
发明内容
[0008] 本发明的目的是针对现有技术存在的问题，提供一种用于经颅磁刺激诊疗的摄像系统，在TMS诊疗过程中，快速、精确的获取患者的头部姿态，并根据头部姿态调整治疗磁刺激点，提高TMS治疗中的磁刺激点定位及重复定位的准确性。
[0009] 为实现上述目的，本发明采用的技术方案是：
[0010] 一种用于经颅磁刺激诊疗的摄像系统，包括用于头部建模的第一拍摄子系统、用于诊疗的第二拍摄子系统和智能终端，所述第一拍摄子系统包括3D扫描仪和定位帽，所述第二拍摄子系统包括3D摄像头、躺式床和头枕；所述第一拍摄子系统将拍摄到的头部数据发送至智能终端进行头部建模，得到具有已标识面部特征点的3D头模；所述第二拍摄子系统将实时拍摄到的人脸数据发送至智能终端进行人脸检测，所述智能终端将检测出的人脸图像与所述3D头模进行匹配，得到用于经颅磁刺激诊疗的磁刺激点定位信息。
[0011] 优选地，所述3D扫描仪包括一个3D摄像头和一个旋转支架，所述3D摄像头安装在旋转支架上，所述旋转支架由电机驱动旋转，所述电机与智能终端电连接；采集患者头部的3D图像数据时，通过智能终端控制电机驱动旋转支架匀速转动，从而使3D摄像头匀速绕患者头部做圆周运动，从各个方向采集患者头部的3D图像数据。
[0012] 优选地，所述3D扫描仪包括若干个3D摄像头和一个固定支架，所述若干个3D摄像头均安装在固定支架上；采集患者头部的3D图像数据时，通过智能终端控制所述若干个3D摄像头同时从不同方向采集患者头部的3D图像数据。
[0014] 优选地，所述定位帽为弹性材质做成的白色头罩，用于遮住患者头发；所述定位帽上设有若干Mark点，便于3D摄像头采集图像数据。
[0015] 一种基于摄像头的经颅磁刺激诊疗建模系统，采用所述的摄像系统，所述建模系统的建模方法包括以下步骤：
[0016] S1，启动所述智能终端，通过所述3D扫描仪从各个方向采集佩戴有定位帽的患者头部的3D图像数据，并将采集到的3D图像数据发送给所述智能终端；
[0017] S2，通过所述智能终端将3D扫描仪从各个方向采集到的3D图像数据进行整合，得到患者头部完整的3D点云图像，再通过抽样、平滑、平面拟合处理后得到患者头部完整的3D头模数据；
[0018] S3，利用所述3D头模数据，结合MNI脑空间坐标，将MNI空间的颅骨3D数据映射到患者的3D头模数据上，得到患者的3D头模，然后在患者的3D头模上建立磁刺激点模型。
[0019] 进一步地，步骤S2中，对所述从各个方向采集到的3D图像数据进行整合的方法为：通过识别各个方向采集到的图像中的特征点计算出各个图像之间的匹配关系，再通过3D点云的ICP算法得到各个方向采集到的点云图像之间的空间位置关系，最后根据所述匹配关系和空间位置关系将所有的点云图像数据进行旋转和平移操作，得到患者头部完整的3D点云图像。
[0020] 一种基于摄像头的经颅磁刺激诊疗检测系统，采用所述的摄像系统，所述检测系统的检测方法包括以下步骤：
[0021] S1，通过调节所述躺式床的前后位置，使载有患者的躺式床到达治疗位置；
[0022] S2，治疗开始前，采用所述3D摄像头拍摄患者头部的图像数据，采用所述智能终端进行头部建模，建立患者头部的3D头模；
[0023] S3，治疗开始，采用所述3D摄像头拍摄患者的实时面部图像，采用所述智能终端进行位姿匹配，将所述实时面部图像与已建立的3D头模进行位置匹配，进一步包括：在所述3D头模中标出用于匹配的面部特征点；通过所述3D摄像头自动识别出患者的实时面部图像的面部特征点；通过特征点匹配进行仿射变换得到转换矩阵，计算出患者的实时面部图像与已建立的3D头模的转换关系；计算所述3D头模在空间中的位置；计算所述3D头模上的磁刺激点在空间中的位置坐标。
[0024] 一种基于摄像头的经颅磁刺激诊疗导航系统，采用所述的摄像系统，还包括机械手和TMS线圈，所述机械手、TMS线圈分别与智能终端电连接，所述导航系统的导航方法包括以下步骤：
[0025] S1，通过调节所述躺式床的前后位置，使载有患者的躺式床到达治疗位置；
[0026] S2，采用所述3D摄像头和智能终端对患者头部进行建模；
[0027] S3，通过所述3D摄像头和智能终端将患者的头模的位置与患者头部的实际位置进行匹配，确定患者头模上待磁刺激磁刺激点的空间位置；
[0028] S4，通过所述智能终端对机械手、TMS线圈和3D摄像头进行建模；
[0029] S5，将步骤S4中建好的设备模型与步骤S2中建好的患者头模放在同一个空间坐标系中；再通过所述智能终端计算出TMS线圈模型到达头模上待磁刺激磁刺激点的最佳路径，所述智能终端再根据该最佳路径对机械手的移动进行自动导航，最终将所述TMS线圈移动至患者头部待磁刺激磁刺激点进行治疗。
[0030] 进一步地，步骤S3中，将患者的头模的位置与患者头部的实际位置进行匹配的方法包括以下步骤：
[0031] S31，在患者头模上标出用于配准的面部特征点；
[0032] S32，通过3D摄像头识别出患者面部的特征点；
[0033] S33，将步骤S31中标出的面部特征点与步骤S32中识别出的面部特征点进行匹配计算，得到患者头部与患者头模的旋转、平移关系；
[0034] S34，根据所述旋转、平移关系对患者头模进行旋转、平移操作，使患者头模的位置与患者头部的实际位置匹配上。
[0035] 进一步地，步骤S4中，对所述机械手、TMS线圈和3D摄像头建模后，需要将机械手模型、TMS线圈模型、3D摄像头模型的空间位置分别与机械手、TMS线圈、3D摄像头的实际空间位置进行匹配；具体匹配方法为：
[0036] S41,在机械手模型上标出用于配准的特征点；
[0037] S42，通过3D摄像头识别出机械手处于初始位置时的特征点；
[0038] S43，将步骤S41中标出的特征点与步骤S42中识别出的特征点进行匹配计算，得到机械手模型与机械手的旋转、平移关系；
[0039] S44，根据机械手处于初始位置时所述3D摄像头、TMS线圈与机械手的相对位置是固定的原理，得到3D摄像头模型、TMS线圈模型分别与3D摄像头、TMS线圈的旋转、平移关系；
[0040] S45，根据步骤S43和步骤S44中的旋转、平移关系，对所述机械手模型、TMS线圈模型、3D摄像头模型进行旋转、平移操作，使所述机械手模型、TMS线圈模型、3D摄像头模型的空间位置分别与机械手、TMS线圈、3D摄像头的实际空间位置匹配上。
[0041] 优选地，所述检测方法还包括：在对患者头部进行磁刺激治疗的过程中，所述智能终端还通过3D摄像头对患者头部进行跟随定位；在治疗过程中会记录每次定位完成时患者头部磁刺激点的位置信息，若下一时刻由于患者头部运动造成当前时刻与上一时刻的磁刺激点位置距离超过5mm，则启动跟随定位；若不超过5mm，则不启动跟随定位。
[0042] 优选地，所述导航方法还包括跟随定位步骤，所述跟随定位步骤包括：通过所述智能终端对患者头部模型的空间位姿进行调整，使患者头部模型的空间位姿与患者头部当前的实际空间位姿进行匹配，然后在头部模型上重新定位最新的磁刺激点，最后重新规划机械手的移动路径，将TMS线圈移动到最新的磁刺激点进行治疗。
[0043] 与现有技术相比，本发明的有益效果是：1)本发明通过摄像头拍摄患者头部的视频图像数据，对患者的头部进行建模，并根据建模数据以及实时拍摄的人脸视频图像对患者的人脸姿态进行检测，得到患者的人脸姿态数据，然后根据人脸姿态数据进行机械手导航，定位TMS治疗磁刺激点，该方式的定位精度高、实时性好，解决了现有TMS诊疗中的精确定位及重复定位的问题；2)本发明采用摄像头直接获取人脸图像，进行3D建模，并结合人脸检测识别算法估计准确的人脸位姿，位姿定位准确，实时性强，不需要在患者头部佩戴任何辅助工具；3)本发明利用机械手进行TMS线圈导航定位，定位迅速，重复精度高。附图说明
[0044] 图1为根据本发明一实施方式的摄像系统的示意图；
[0045] 图2为根据本发明一实施方式的第一拍摄子系统的示意图；
[0046] 图3为根据本发明另一实施方式的第一拍摄子系统的示意图；
[0047] 图4为根据本发明另一实施方式的第一拍摄子系统中摄像头的分布示意图；
[0048] 图5为根据本发明又一实施方式的建模系统的流程示意图；
[0049] 图6为根据本发明又一实施方式的检测系统的结构示意图；
[0050] 图7为根据本发明又一实施方式的检测系统的流程示意图；
[0051] 图8为根据本发明又一实施方式的导航系统的流程示意图。
[0052] 图中：1、躺式床；2、头枕；3、3D摄像头；4、机械手；5、TMS线圈；6、旋转支架；7、电机；8、3D扫描仪；9、智能终端；10、座椅；11、摄像头安装位；12、固定支架。
具体实施方式
[0053] 下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。
[0054] 本发明中，术语“安装、”“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0055] 作为本发明的一实施方式，提供一种用于经颅磁刺激诊疗的摄像系统，如图1所示，包括用于头部建模的第一拍摄子系统、用于诊疗的第二拍摄子系统和智能终端，所述第一拍摄子系统包括3D扫描仪和定位帽，所述第二拍摄子系统包括3D摄像头、躺式床和头枕；所述第一拍摄子系统将拍摄到的头部数据发送至智能终端进行头部建模，得到具有已标识面部特征点的3D头模；所述第二拍摄子系统将实时拍摄到的人脸数据发送至智能终端进行人脸检测，所述智能终端将检测出的人脸图像与所述3D头模进行匹配，得到用于经颅磁刺激诊疗的磁刺激点定位信息。
[0056] 如图2所示，本实施中，所述3D扫描仪包括一个3D摄像头和一个旋转支架，所述3D摄像头安装在旋转支架上，所述旋转支架由电机驱动旋转，所述电机与智能终端电连接；采集患者头部的3D图像数据时，通过智能终端控制电机驱动旋转支架匀速转动，从而使3D摄像头匀速绕患者头部做圆周运动，从各个方向采集患者头部的3D图像数据。采集的3D图像数据发送至智能终端，由所述智能终端进行头部建模，得到患者头部的3D模型。
[0057] 所述第二拍摄子系统中的3D摄像头设置在患者面部上方且能够将其面部完全纳入拍摄范围的位置，用于在进行TMS诊疗过程中，实时拍摄患者的人脸面部数据，并将拍摄到的人脸面部数据发送至智能终端，由所述智能终端进行人脸检测，并根据人脸检测结果进行机械手导航，控制TMS线圈移动至治疗磁刺激点。
[0058] 具体地，所述3D摄像头拍摄到的图像数据包括彩色图像、深度图像和3D点云图像。
[0059] 具体地，所述定位帽为弹性材质做成的白色头罩，用于遮住患者头发；因为3D扫描仪无法扫描黑色无热量的头发，故需要通过所述白色头罩遮住毛发，露出患者五官及额头，并对特征点(眉心、鼻尖等)做标记；该定位帽具有弹性，适用人群广，佩戴方便；所述定位帽上设有若干Mark点，便于3D摄像头采集图像数据。
[0060] 作为本发明的另一实施方式，如图3、图4所示，所述第一拍摄子系统中的3D扫描仪包括3个3D摄像头和一个固定支架。
[0061] 具体地，所述固定支架上设有3个摄像头安装位，相邻两个摄像头安装位之间的夹角均为120度，所述3个3D摄像头分别安装在所述3个摄像头安装位上；
[0062] 采集患者头部的3D图像数据时，通过智能终端控制所述3个3D摄像头同时从三个方向采集患者头部的3D图像数据。
[0063] 本实施中，通过3个3D摄像头同时采集患者头部的3D图像数据，并将采集到的数据发送至智能终端进行头部建模，实时性较好。
[0064] 作为本发明的又一实施方式，提供一种基于摄像头的经颅磁刺激诊疗头模建模系统，包括3D扫描仪、定位帽、座椅和智能终端，所述3D扫描仪和智能终端电连接；所述智能终端可以为计算机。
[0065] 如图5所示，所述头模建模系统的建模方法包括以下步骤：
[0066] S1，患者坐在所述座椅上并佩戴好所述定位帽，启动所述智能终端，通过所述3D扫描仪从各个方向采集患者头部的3D图像数据，并将采集到的3D图像数据发送给所述智能终端；
[0067] S2，通过所述智能终端将3D扫描仪从各个方向采集到的3D图像数据进行整合，得到患者头部完整的3D点云图像，再通过抽样、平滑、平面拟合处理后得到患者头部完整的3D头模数据；
[0068] S3，利用所述3D头模数据，结合医学常用的MNI脑空间坐标，将MNI空间的颅骨3D数据映射到患者的3D头模数据上，得到患者的3D头模，然后在患者的3D头模上建立磁刺激点模型。
[0069] 具体地，步骤S1中，所述定位帽为弹性材质做成的白色头罩，用于遮住患者头发；因为3D扫描仪无法扫描黑色无热量的头发，故需要通过所述白色头罩遮住毛发，露出患者五官及额头，并对特征点(眉心、鼻尖等)做标记；该定位帽具有弹性，适用人群广，佩戴方便；所述定位帽上设有若干Mark点，便于3D摄像头采集图像数据。
[0070] 具体地，步骤S2中，对所述从各个方向采集到的3D图像数据进行整合的方法为：通过识别各个方向采集到的图像中的特征点计算出各个图像之间的匹配关系，再通过3D点云的ICP算法得到各个方向采集到的点云图像之间的空间位置关系，最后根据所述匹配关系和空间位置关系将所有的点云图像数据进行旋转和平移操作，得到患者头部完整的3D点云图像。
[0071] 进一步地，对头部进行建模需要通过3D摄像头采集患者头部的3D扫描数据，3D摄像头每拍照一次会产生彩色图、深度图和3D点云图，这3幅图是同时产生的，所以各个图像上的点有固定的对应关系，这个对应关系是已知的，是通过摄像头的标定得到的；3D扫描就是围绕患者头部拍摄一系列的图像，然后将这些图像拼接成一个完整的图像，而图像拼接要找到两幅图像中相同的部分并进行匹配；在3D摄像头中头发无法得到3D点云，而在医学治疗头模需要颅骨的3D数据(不要头发)，故在头模扫描时患者需要戴上特定的定位帽，为了使匹配更准确，帽子上一般会设一些mark点；3D扫描最终需要对3D点云进行拼接，拼接时需要每一幅图像点云之间的旋转平移关系，点云的拼接主要依靠ICP算法，ICP算法有时会失败，故需要先做粗匹配。
[0072] 进一步地，点云的拼接步骤如下：
[0073] S21，先在彩色图中通过OpenCV中cv::FeatureDetector和cv::DescriptorExtractor计算“关键点”，并对这些关键点周围的像素计算其“描述子”，再通过cv::DMatch对上述的描述子进行匹配，然后调用OpenCV里的SolvePnPRansac函数求解PnP得到两幅图像的位移和旋转的信息；
[0074] S22，使用上面计算得到的位移和旋转的信息作为ICP算法的初始粗匹配的结果对两幅点云数据进行计算得到更加精准的位移和旋转数据；
[0075] S23，使用上述位移和旋转数据得到位移和旋转矩阵，并对上一幅点云图中的点全部进行旋转和平移，将计算的到的新点云添加到当前点云图中，得到一个更大的点云，完成两幅点云的整合；
[0076] S24，重复步骤S21至S23，将所有点云图整合成一个更大的点云图，再对此点云图进行滤波平滑处理，抽样减少点的数量，拟合得到3D曲面数据；即得到患者头部完整的3D数据。
[0077] 具体地，步骤S3中，所述映射方法为，通过选取患者头部NZ、CZ、AL、AR四点与颅骨模型上这四个点进行比对，得到颅骨模型转换矩阵，再将MNI空间中的点乘以该转换矩阵得到患者头模坐标点；其中，NZ表示鼻根，AL表示左耳，AR表示右耳，CZ表示鼻根与枕骨隆突的连线相交于左耳与右耳连线的交点。
[0078] 作为本发明的又一实施方式，提供一种基于摄像头的经颅磁刺激诊疗检测系统。如图6所示，包括躺式床、头枕2、3D摄像头、机械手、TMS线圈和智能终端；所述3D摄像头、机械手、TMS线圈分别与智能终端连接；所述智能终端可选择计算机、笔记本、平板电脑等。
[0079] 所述躺式床为卧式平移平台，可以前后移动，用于调整患者头部与摄像头的相对位置。
[0080] 所述头枕2主要起到托架作用，支撑位点为头骨，还包括颈部，起到的作用是限制病人的移动，且不会造成病人的不适，并且不能阻碍头部的磁刺激。
[0081] 所述3D摄像头用于获取患者的头部姿态数据及实时的面部姿态数据，在进行治疗前，采用3D摄像头获取患者的头部姿态数据，结合智能终端进行头部3D建模；在开始治疗后，采用3D摄像头获取患者的实时面部数据，结合智能终端对实时面部数据进行处理，将已建模的3D头模与实时面部图像进行匹配。
[0082] 所述3D摄像头还用于获取机械手和TMS线圈的的空间位姿，从而利用机械手进行导航，将TMS线圈夹持到磁刺激点位置。
[0083] 所述机械手还用于夹持TMS线圈对患者头部刺激磁刺激点进行磁刺激治疗。
[0084] 如图7所示，所述检测系统的检测方法包括以下步骤：
[0085] S1，患者平躺在所述躺式床上，调节所述躺式床的前后位置，使所述躺式床到达治疗位置；
[0086] S2，治疗开始前，采用所述3D摄像头拍摄患者头部的图像数据，采用所述智能终端进行建模，建立患者头部的3D头模；
[0087] S3，治疗开始，采用所述3D摄像头拍摄患者的实时面部图像，采用所述智能终端进行位姿匹配，将所述实时面部图像与已建立的3D头模进行位置匹配，进一步包括：在所述3D头模中标出用于匹配的面部特征点，该面部特征点是在建模过程中由摄像头自动识别的；通过所述3D摄像头自动识别出患者的实时面部图像的面部特征点；通过特征点匹配进行仿射变换得到转换矩阵，计算出患者的实时面部图像与已建立的3D头模的转换关系；计算所述3D头模在摄像头坐标系下的位置；计算所述3D头模上的磁刺激点在空间中的位置坐标。
[0088] 具体地，S2中，对患者头部进行建模包括以下步骤：
[0089] S21，通过所述3D摄像头从各个方向采集患者头部的3D图像数据，并将采集到的3D图像数据发送给所述智能终端；
[0090] S22，所述智能终端将所述3D图像数据进行整合，得到患者头部完整的3D点云图像，再通过抽样、平滑、平面拟合处理后得到患者头部完整的3D头模数据；
[0091] 对所述3D图像数据进行整合的方法为：通过识别各个方向采集到的图像中的特征点计算出各个图像之间的匹配关系，再通过3D点云的ICP算法得到各个方向采集到的点云图像之间的空间位置关系，最后根据所述匹配关系和空间位置关系将所有的点云图像数据进行旋转和平移操作，得到患者头部完整的3D点云图像；
[0092] S23，利用所述3D头模数据，结合MNI脑空间坐标，将MNI空间的颅骨3D数据映射到患者的3D头模数据上，得到患者的3D头模，然后在患者的3D头模上建立磁刺激点模型。
[0093] 具体地，步骤S3中，3D摄像头实时拍摄的3D图像只有患者的面部信息，没有头部信息，所以要将S2中建好的头模与实时拍摄的面部数据进行位置的配准，由于ICP算法计算量较大，无法满足实时检测的要求，位置配准方法是先在头模中标出用于配准的面部特征点(眼角、鼻尖等)，再在实时图像中自动识别出面部特征点，通过特征点匹配计算出实时画面与头模的转换关系，并计算出头模在空间的位置，再计算出头模上的磁刺激点在空间中的位置坐标。
[0094] 所述转换关系包括患者的实时面部图像与所述3D头模在摄像头坐标系下的旋转、平移关系，根据所述旋转、平移关系对所述3D头模进行旋转、平移操作，将所述3D头模匹配到患者的实时面部图像上。
[0095] 作为本发明的又一实施方式，提供一种基于摄像头的经颅磁刺激诊疗导航系统。包括躺式床、头枕2、3D摄像头、机械手、TMS线圈和智能终端；所述3D摄像头、机械手、TMS线圈分别与智能终端电连接；所述智能终端可以为计算机；
[0096] 所述躺式床为卧式平移平台，可以前后移动，用于调整患者头部与摄像头的相对位置；
[0097] 所述头枕2主要起到托架作用，支撑位点为头骨，还包括颈部，起到的作用是限制病人的移动，且不会造成病人的不适，并且不能阻碍头背部的磁刺激；
[0098] 所述3D摄像头用于获取患者头部和机械手的空间位姿，从而对机械手进行导航；
[0099] 所述机械手用于夹持TMS线圈对患者头部刺激磁刺激点进行磁刺激治疗；
[0100] 如图8所示，所述导航系统的导航方法包括以下步骤：
[0101] S1，患者平躺在所述躺式床上，开启所述智能终端，通过智能终端调节所述躺式床的前后位置，使所述躺式床到达治疗位置；
[0102] S2，采用所述3D摄像头和智能终端对患者头部进行建模；
[0103] S3，通过所述3D摄像头和智能终端将患者的头模的位置与患者头部的实际位置进行匹配，确定患者头模上待磁刺激磁刺激点的空间位置；
[0104] S4，通过所述智能终端对机械手、TMS线圈和3D摄像头进行建模；
[0105] S5，将步骤S4中建好的设备模型与步骤S2中建好的患者头模放在同一个空间坐标系中；再通过所述智能终端计算出TMS线圈模型到达头模上待磁刺激磁刺激点的最佳路径(移动距离最短，且移动过程中不会与其它设备发送碰撞)，所述智能终端再根据该最佳路径对机械手的移动进行自动导航，最终将所述TMS线圈移动至患者头部待磁刺激磁刺激点进行治疗。
[0106] 具体地，步骤S2中，对患者头部进行建模包括以下步骤：
[0107] S21，通过所述3D摄像头从各个方向采集患者头部的3D图像数据，并将采集到的3D图像数据发送给所述智能终端；
[0108] S22，通过所述智能终端将所述3D图像数据进行整合，得到患者头部完整的3D点云图像，再通过抽样、平滑、平面拟合处理后得到患者头部完整的3D头模数据；
[0109] 对所述3D图像数据进行整合的方法为：通过识别各个方向采集到的图像中的特征点计算出各个图像之间的匹配关系，再通过3D点云的ICP算法得到各个方向采集到的点云图像之间的空间位置关系，最后根据所述匹配关系和空间位置关系将所有的点云图像数据进行旋转和平移操作，得到患者头部完整的3D点云图像；
[0110] S23，利用所述3D头模数据，结合MNI脑空间坐标，将MNI空间的颅骨3D数据映射到患者的3D头模数据上，得到患者的3D头模，然后在患者的3D头模上建立磁刺激点模型。
[0111] 具体地，步骤S3中，3D摄像头实时拍摄的3D图像只有患者的面部信息，没有头部信息，所以要将S2中建好的头模与实时拍摄的面部数据进行位置的配准，由于ICP算法计算量较大，无法满足实时检测的要求，位置配准方法是先在头模中标出用于配准的面部特征点(眉心、耳垂、眼角、鼻尖、嘴角和下巴)，再在实时图像中自动识别出面部特征点，通过特征点匹配计算出实时画面与头模的转换关系，并计算出头模在空间的位置，再计算出头模上的磁刺激点在空间中的位置坐标；具体步骤如下：
[0112] S31，在患者头模上标出用于配准的面部特征点；
[0113] S32，通过3D摄像头识别出患者面部的特征点；
[0114] S33，将步骤S31中标出的面部特征点与步骤S32中识别出的面部特征点进行匹配计算，得到患者头部与患者头模的旋转、平移关系；
[0115] S34，根据所述旋转、平移关系对患者头模进行旋转、平移操作，使患者头模的位置与患者头部的实际位置匹配上。
[0116] 具体地，步骤S4中，对所述机械手、TMS线圈和3D摄像头建模可采用SolidWorks软件进行建模，建模完成后需要将机械手模型、TMS线圈模型、3D摄像头模型的空间位置分别与机械手、TMS线圈、3D摄像头的实际空间位置进行匹配；具体匹配方法为：
[0117] S41,在机械手模型上标出用于配准的特征点；
[0118] S42，通过3D摄像头识别出机械手处于初始位置时的特征点；
[0119] S43，将步骤S41中标出的特征点与步骤S42中识别出的特征点进行匹配计算，得到机械手模型与机械手的旋转、平移关系；
[0120] S44，根据机械手处于初始位置时所述3D摄像头、TMS线圈与机械手的相对位置是固定的原理，得到3D摄像头模型、TMS线圈模型分别与3D摄像头、TMS线圈的旋转、平移关系；
[0121] S45，根据步骤S43和步骤S44中的旋转、平移关系，对所述机械手模型、TMS线圈模型、3D摄像头模型进行旋转、平移操作，使所述机械手模型、TMS线圈模型、3D摄像头模型的空间位置分别与机械手、TMS线圈、3D摄像头的实际空间位置匹配上。
[0122] 具体地，步骤S5中，一般机械手的移动路径规划算法比较复杂，由于本实施例中的模型、障碍和路径都是已知的，故采用手动规划路径的方法，在距离头模较远(大于30mm)的位置使用直线路径，在头模附近(小于/等于30mm)使用圆弧路径，使TMS线圈围绕头部运动到下一个磁刺激磁刺激点；由于头模的3D数据是已知的，故可将头模数据放大从而留出运行的安全距离，计算出头模上两点的最短弧线路径。
[0123] 本发明通过自动对机械手的移动进行导航，避免了人为因素对治疗效果造成的影响，同时提升了患者的体验感。
[0124] 作为本发明的又一实施方式，本发明还具有跟随定位功能。在对机械手进行导航的过程中，或者在进行人脸检测的过程中，即使患者头部姿态发生变化，也能通过3D摄像头对患者头部的姿态进行实时跟随定位，保证治疗的精准性，提高治疗效果和患者的体验感。
[0125] 具体地，在对患者头部进行磁刺激治疗的过程中，所述智能终端还通过3D摄像头对患者头部进行跟随定位；在治疗过程中会记录每次定位完成时患者头部的位置信息，若下一时刻由于患者头部运动造成当前时刻与上一时刻的磁刺激点位置距离超过5mm，则启动跟随定位；若不超过5mm，则不启动跟随定位；若患者头部转动次数较多，则暂停3D摄像头和机械手的跟随，并同时暂停TMS线圈的磁刺激；若患者不在3D摄像头的可调整范围内或离开，则停止机械手和线圈的磁刺激动作。
[0126] 进一步地，所述跟随定位的步骤为：通过所述智能终端对患者头部模型的空间位姿进行调整，使患者头部模型的空间位姿与患者头部当前的实际空间位姿进行匹配，然后在头部模型上重新定位最新的磁刺激位点，最后重新规划机械手的移动路径，将TMS线圈移动到最新的磁刺激位点进行治疗。
[0127] 本发明通过摄像头拍摄患者头部的视频图像数据，对患者的头部进行建模，并根据建模数据以及拍摄的人脸视频图像对患者的人脸姿态进行检测估计，得到患者的人脸姿态数据，然后根据人脸姿态数据进行机械手导航，调整TMS治疗磁刺激点，在无需佩戴导光球定位的情况下保证每次治疗时磁刺激点定位的精准，解决了TMS定位及重复定位的问题。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种经颅磁刺激治疗设备 | 2020-05-19 | 584 |
| 经颅磁刺激线圈的半导体冷却装置 | 2020-05-20 | 306 |
| 多个刺激线圈的经颅磁场刺激器 | 2020-05-16 | 613 |
| 一种经颅磁刺激头盔 | 2020-05-12 | 21 |
| 防磁干扰的经颅磁刺激仪 | 2020-05-18 | 873 |
| 经颅磁刺激装置用线圈装置 | 2020-05-22 | 907 |
| 一种经颅磁刺激的系统 | 2020-05-13 | 369 |
| 重复经颅磁刺激装置 | 2020-05-13 | 926 |
| 经颅磁刺激导航系统及经颅磁刺激线圈定位方法 | 2020-05-17 | 10 |
| 一种导航经颅磁刺激治疗系统 | 2020-05-20 | 1014 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
经颅磁刺激热门专利
QQ群二维码
意见反馈
意见反馈