一种用于经颅磁刺激诊疗的人头姿态跟踪系统
阅读：1033发布：2020-07-19
专利汇可以提供一种用于经颅磁刺激诊疗的人头姿态跟踪系统专利检索，专利查询，专利分析的服务。并且本 发明 公开一种用于 经颅磁刺激 诊疗的人头 姿态 跟踪 系统，包括拍摄装置、智能终端及由所述智能终端执行的程序模 块 的 计算机程序 ，所述拍摄装置包括双目相机及将所述双目相机固定在能将人头完全纳入拍摄范围内的固定装置；所述智能终端由所述计算机程序的程序模块来驱动执行；所述计算机程序的程序模块包括：相机标定模块；立体匹配模块； 人脸检测 模块； 位姿 估计模块。本发明基于 机器视觉 技术，结合相机和计算机完成人头姿态的测量及跟踪。，下面是一种用于经颅磁刺激诊疗的人头姿态跟踪系统专利的具体信息内容。
1.一种用于经颅磁刺激诊疗的人头姿态跟踪系统，其特征在于，包括拍摄装置、智能终端及由所述智能终端执行的程序模块的计算机程序，所述拍摄装置包括双目相机及将所述双目相机固定在能将人头完全纳入拍摄范围内的固定装置；所述智能终端由所述计算机程序的程序模块来驱动执行；所述计算机程序的程序模块包括：对双目相机进行标定，以获取各相机内外参数以及相机之间关系参数的相机标定模块；依据双目相机对同一场景从不同角度获取的两幅图像，利用立体匹配算法计算得到两幅图像对应像点间的视差图的立体匹配模块；用于剔除输入图像中的非面部区域的人脸检测模块；通过视差图与相机内外参数还原人脸面部在双目相机坐标系下三维空间坐标，并利用迭代最近点算法计算得到人头姿态的位姿估计模块。
2.根据权利要求1所述的一种用于经颅磁刺激诊疗的人头姿态跟踪系统，其特征在于，所述相机标定模块包括用于以下操作的子模块：
建立基准坐标系，基于所述基准坐标系建立双目视觉系统中相机与目标之间的相对位姿；
建立成像模型，使场景中的目标与相机获得图像具有线性联系；
建立双目视觉测量模型；
计算得到双目相机的内参以及双目相机的旋转矩阵和平移矢量；
采用Bouguet算法进行双目视觉的立体校正。
3.根据权利要求1所述的一种用于经颅磁刺激诊疗的人头姿态跟踪系统，其特征在于，所述立体匹配模块采用基于极线距离变换的跨尺度代价聚合立体匹配算法得到视差图。
4.根据权利要求3所述的一种用于经颅磁刺激诊疗的人头姿态跟踪系统，其特征在于，所述立体匹配模块包括用于以下操作的子模块:
进行匹配代价计算；
在固定搜索窗口不变的情况下，对不同尺度下的图像进行极线距离变换；
利用跨尺度代价聚合算法计算出融合后的视差图。
5.根据权利要求1所述的一种用于经颅磁刺激诊疗的人头姿态跟踪系统，其特征在于，所述人脸检测模块采用改进的AdaBoost算法进行人脸检测。
6.根据权利要求5所述的一种用于经颅磁刺激诊疗的人头姿态跟踪系统，其特征在于，所述人脸检测模块包括用于以下操作的子模块：
加载已有的训练样本，该样本由含人脸的正样本与不含人脸的负样本组成，正样本采用涵盖不同光照及姿态的人脸图像，而负样本则采用其他类别各式各样的图像；
对正负样本图像中不同位置不同尺度的Haar-like特征进行计算，形成每个特征的弱分类器；
采用基于AdaBoost的迭代算法筛选出最优的弱分类器来构建一个强分类器；
采用大小不同的搜索窗遍历整幅待检图像从而搜寻图像中可能存在的人脸，若找到人脸，则用矩形框对人脸进行标识并提取出来。
7.根据权利要求1所述的一种用于经颅磁刺激诊疗的人头姿态跟踪系统，其特征在于，所述位姿估计模块包括用于以下操作的子模块：
利用ASM特征点检测算法得到人脸面部的特征点；
根据双目相机内外参数将所述特征点映射为三维稀疏点云；
通过奇异值分解初值估计得到所述特征点的位姿关系，将所述位姿关系作为初值估计；
利用基于极线距离变换的跨尺度代价聚合得到人脸稠密视差图，通过双目相机内外参数计算出稠密人脸点云；
将初始姿态下的人脸点云作为模板点云，使用带初值估计的迭代最近点算法将模板点云匹配到目标点云上，得到精确的位姿估计结果。
一种用于经颅磁刺激诊疗的人头姿态跟踪系统
技术领域
背景技术
[0002] 从80年代末至今，计算机视觉在不断增加的实际应用需求推动下早已成为计算机行业中一个极其重要的研究领域，同时实际应用和理论研究的互相推动使该领域在各行各业中的应用也取得了巨大的进步。双目立体视觉是计算机视觉领域里被广泛研究和应用的一个重要分支，该系统是对类视觉系统原理的模拟，它主要采用双相机对同一场景从不同的角度获取两幅数字图像，然后利用立体匹配算法求出两幅图像对应像点间的视差，结合视差图像与相机标定所得参数求出场景内被测物体各点的三维坐标，进而重建出场景的三维结构信息并获得相应点的深度值，此深度值即为相机和被测物体之间的实际距离。
[0003] 头部姿态参数测量是人机交互的一个重要部分，在计算机视觉、人脸识别和驾驶员疲劳检测等领域有很高的应用价值。目前人体头部姿态参数获得方法有基于传器感和基于图像两种。基于传感器的方法是在头部附着传感器直接输出对应的姿态数据，但由于附着传感器会给患者行动带来不变以及传感器自身价格高、经济实用性差等原因，使得这种方法只适合于高精度的测量，不适合于广泛应用；基于图像的方法则是利用计算机对获取的图像进行处理来得到姿态参数，这种方法对设备性能要求较低，只需要配备相机和计算机就可完成测量，是目前较为实用的测量方法。如公开号CN103558910B的中国专利“一种自动跟踪头部姿态的智能显示器系统”、公开号CN104106262B的中国专利“使用深度相机的头部姿态跟踪”等。
[0004] 经过国内外科研人员的多年精心研究，现在已经出现了多种基于机器视觉的头部姿态信息测量方法，即，结合相机和计算机完成头部姿态测量的方法。根据不同的分类标准，我们可以将基于机器视觉的头部姿态信息测量技术进行分类。目前较为常见的方法包括了基于统计学习的方法以及基于注册跟踪的方法。前者假设在人体头部姿态与人脸部图像的某些特征之间存在着特定的对应关系，只是这种对应关系不能够使用传统的数学方法来精确描述。使用基于统计学习的方法需要采集大量的位于不同姿态的人脸部图像来进行学习，进而建立人体头部姿态与人脸部图像特征的对应关系。MIT的D.J.Beymer提出了基于模板匹配的人体头部姿态识别算法。使用该算法时，便需要提取多幅位于不同姿态的人体头部图像作为样本。但在具体运行时，仅需输入一幅人体头部图像，便可以进行头部姿态的分析和判断，采用基于模板匹配的方法计算出输入图像中的头部姿态信息。通常情况下，该方法在实现时需要数量巨大的训练样本。如果样本数量有限，则还需要使用插值操作来计算人体头部姿态信息。这样将不仅会导致巨大的计算量，而且计算结果的准确性还无法得到保障。
[0005] 根据在头部姿态信息测量过程中采用的相机数量，还可以将基于视觉的头部姿态信息测量技术分为：基于立体视觉的方法和基于单目视觉的方法。R.G.Yang等人提出了一种鲁棒性较好的基于模型的立体视觉头部姿态跟踪方法。该方法可以在普通电脑上实时运行，它使用了个性化的三维头部模型，加上立体图像对的极线约束，极大地提高了头部跟踪的鲁棒性。该方法可以跟踪刚体头部的六自由度运动，可以应用于人机交互领域以及视频会议中的视线修正等领域。K.Terada提出了一种基于立体摄像的人体头部跟踪系统，对从立体相机采集到的序列深度图像使用了粒子滤波算法。使用深度图像的优点是对背景杂波和光照变化不敏感。基于单目视觉的头部姿态信息测量方法，多采用常见的几何结构，如平面、圆柱或椭球等模型来近似模拟人体头部。针对每种几何结构的独特特点，可以建立其与人体头部图像之间的对应关系，然后通过几何推导的方法便可以计算人体头部的多种空间姿态信息参数。Q.Ji提出了一种用来估计和跟踪人脸三维姿态的方法，该方法假设三维人脸近似成椭圆并且椭圆纵横比已知。在此方法中，两个眼睛的瞳孔被用来约束脸部椭圆。但是对于存在噪声的图像，角度估计的误差会比较大。S.Birchfield提出了一种跟踪人头部的算法，人头部在成像平面上的投影被建模为一个二维椭圆。头部的位置通过彩色直方图或图像梯度获得。这种方法的优势在于处理速度快，可以实现实时性。然而光照的变化和肤色的不同会导致跟踪的失败。这种方法的另一个缺点是不能够提供头部的姿态。R.Wooju等人提出了一种快速三维头部跟踪方法，使用了三维圆柱头部模型，可以工作在如快速姿态的变化等的各种复杂状态下。此方法还可以识别头部的姿势，如点头、摇头、眨眼等。但是由于圆柱仅是大概近似于头部几何，所以这个方法在旋转估计时精度不高。而且在人体头部距离相机比较远的时候，无法区分小的旋转运动和平移运动。曹万鹏研究了基于立体视觉的三维运动测量，提出了一种基于离散特征标记杆的立体视觉三维刚体运动及自旋转中心测量方法，解决了基于立体视觉的三维刚体运动目标建模与运动参数计算，运动序列图像中特征目标边缘检测与提取，立体序列图像间对应特征匹配以及圆形特征目标圆心提取等关键问题。北京大学梁国远提出一种在只用一部相机的情况下计算头部姿态参数的方法，这是一种基于模型的方法，它的核心思想是利用三维扫描仪来建立三维头部模型，利用这个三维模型完成对单目图像序列的头部姿态参数测量。对于连续的两帧图像利用仿射变换来计算前一帧图像的姿态参数，将其作为基准姿态，对后一帧图像利用生成的模型信息附加一定的约束条件来获取当前的姿态参数，这种方法可以较好的完成头部姿态参数测量，但是由于其算法复杂及对设备的要求较高，不适用于实际测量。清华大学刘坤等人提出一种基于图像的方法，它利用图像的梯度直方图和主成分分析来得到姿态特征，对图像的特征进行分类处理，利用SVM分类方法对获取的图像进行识别，近似的得到头部姿态参数。这种方法对光照变化具有很好的鲁棒性，但是得到的姿态参数误差较大。中国科学院马丙鹏等人提出了一种利用图像表观特征的方法来获取头部姿态参数，使用一维Gabor滤波器进行特征提取，对提取到的特征进行分析判别来获取姿态参数，这种方法运算速度较快，但是当姿态变化较大时就不能很好的进行姿态估计。
[0006] 经颅磁刺激(Transcranial Magnetic Stimulation,TMS)作用原理是通过时变磁场诱发出感应电场，具体实现体现为一个快速电流脉冲通过刺激线圈，产生强大瞬间磁场，该磁场穿过颅骨，引起临近神经组织产生继发电流，使局部神经元发生去极化，从而产生生理效应。其产生的生物学效应可以持续到刺激停止后的一段时间，且具有无创、无痛苦的特点。它是一种利用时变磁场产生感应电流，影响大脑皮层神经元动作电位、血流量、新陈代谢的生物刺激技术，目前已应用于精神分裂症的临床治疗。现阶段在进行经颅磁治疗时需要医护人员将线圈设备固定在患者头部的待治疗区域。为了获得更好的疗效，治疗期间患者应当保持头部姿态不变。但由于患者长期保持同一姿势造成的颈肩不适易使患者改变头部姿势，医护人员需要时刻关注治疗仪和患者头部是否对齐。该方法成本高、耗时长、误差大，因此医护人员需要一种速度快、精度高的人体头部姿态跟踪系统，该系统能够真实的反馈人体头部姿态变化。
发明内容
[0007] 本发明的目的是针对现有技术存在的问题，提供一种用于经颅磁刺激诊疗的人头姿态跟踪系统，基于机器视觉技术，结合相机和计算机完成人头姿态的测量及跟踪。
[0008] 为实现上述目的，本发明采用的技术方案是：
[0009] 一种用于经颅磁刺激诊疗的人头姿态跟踪系统，包括拍摄装置、智能终端及由所述智能终端执行的程序模块的计算机程序，所述拍摄装置包括双目相机及将所述双目相机固定在能将人头完全纳入拍摄范围内的固定装置；所述智能终端由所述计算机程序的程序模块来驱动执行；所述计算机程序的程序模块包括：对双目相机进行标定，以获取各相机内外参数以及相机之间关系参数的相机标定模块；依据双目相机对同一场景从不同角度获取的两幅图像，利用立体匹配算法计算得到两幅图像对应像点间的视差图的立体匹配模块；用于剔除输入图像中的非面部区域的人脸检测模块；通过视差图与相机内外参数还原人脸面部在双目相机坐标系下三维空间坐标，并利用迭代最近点算法计算得到人头姿态的位姿估计模块。
[0010] 本发明的系统对双目相机进行标定和校正，通过双目相机采集模板姿态的图像，通过ASM特征点检测得到特征点像素在左右视图上的视差，计算得到特征点的三维信息以及模板姿态相对于相机坐标系的位姿关系；并通过改进迭代最近点算法计算模板姿态与目标姿态的位姿关系，在得到模板姿态与目标姿态的位姿初值估计后，利用人脸检测与立体匹配得到的人脸视差图计算出视差图相应的点云，利用改进的迭代最近点算法计算模板姿态下的点云与目标姿态下的点云之间的位姿关系，将模板点云匹配到目标点云上，得到精确的位姿估计结果。本发明的系统利用双目相机获取人头姿态图像，利用计算机对人头姿态图像进行处理，得到精确的人头姿态，并将得到的人头姿态实时反馈给经颅磁刺激诊疗中的机械控制设备，控制治疗线圈保持在患者头部的待治疗区域，提高经颅磁刺激诊疗中治疗靶点的定位准确性。
[0011] 优选地，所述相机标定模块包括用于以下操作的子模块：
[0012] 建立基准坐标系，基于所述基准坐标系建立双目视觉系统中相机与目标之间的相对位姿；
[0013] 建立成像模型，使场景中的目标与相机获得图像具有线性联系；
[0014] 建立双目视觉测量模型；
[0015] 计算得到双目相机的内参以及双目相机的旋转矩阵和平移矢量；
[0016] 采用Bouguet算法进行双目视觉的立体校正。
[0017] 具体地，所述相机标定模块的工作原理具体包括：
[0018] 采用世界坐标(OwXwYwZw)为本系统的基准坐标系，可以通过世界坐标系进行坐标运算从而达到与其他坐标系相互转换的目的。在进行目标标定之前，使用该世界坐标系建立双目视觉系统中相机与目标之间的相对位姿。双目视觉系统进行位姿解算时，首先将目标在坐标中的位置进行坐标换算，得到真实的物理位置，建立实际位置单位(如mm)的物理坐标系(O1xy)。(u,v)为某一点像素坐标系(Opupvp)上的坐标位置，相机物理坐标系(Oixiyi)，则坐标系之间的转换关系可用式(1)表示
[0019]
[0020] 采用透视投影模型作为相机成像模型。等效平面与成像平面关于原点对称，针孔平面则是代表实际中镜头光心所在平面。O点为相机的光心，镜头的焦距为F。实际中由于误差的影响，X和Y轴方向上的焦距不同，可分别表示成Fx和Fy。空间中点P(X,Y,Z)及其对应投影点p(x,y)。该模型通过简单的三角形相似关系建立空间点P到成像点p的关系。
[0021] 在实际应用中，考虑相机的制造，安装等过程中的各种影响因素，构建实际的双目视觉测量模型。左相机坐标系O-XYZ，并假定其与世界坐标系完全重合。左相机物理坐标系为Oil-xilyil。相机有效焦距为Fl。右相机坐标是Ocr-XcrYcrZcr。物理坐标系为Oir-xiryir。相机有效焦距为Fr。
[0022] 依据现有的双目视觉测量模型，可得到下列相机内参矩阵M：
[0023]
[0024] 空间一点P在像素坐标系下的坐标约束关系：
[0025] qrT(Mr-1)TEMl-1ql＝0 (3)
[0026] F＝(Mr-1)TEMl-1被称作为系统的基础矩阵。基础矩阵F其中融合系统中所有的参数，包括相机内参和描述两相机空间关系的R和T，并且将像素坐标联系起来。
[0027] 标定确定立体图像对之间的几何结构参数(R,T)，采用Bouguet.算法进行立体校正。将两相机进行旋转，此时R阵被拆分为rr和rl。经过旋转，成像平面虽共面但还不是行对准的。在实现行对准时，需要求出图像极点变换到无穷远的旋转矩阵Rrect。Rrect可以用式(20)来描述
[0028]
[0029] 其中，e1是位移矢量t的单位矢量，e2与e1和主光线正交，e3＝e2×e1，如下式子所示[0030]
[0031] Rrect将图像绕主点旋转，使得极线平行，并且使极点位于无穷远处。此时，双目系统中的相机可以实现行对准，对准方式如下式所示：
[0032] Rl＝Rrectrl,Rr＝Rrectrr (6)
[0033] 能够实现图像行对准的投影矩阵为
[0034]
[0035] 式中，Mre_r，Mre_l是校正后内参数矩阵，Pre_l，Pre_r为校正后重投影矩阵， 则为校正后内参数矩阵与投影矩阵：
[0036]
[0037] 把空间任意点转换到相机像素坐标系下：
[0038]
[0039] 由上式可计算出相机像素坐标
[0040]
[0041] 优选地，所述立体匹配模块采用基于极线距离变换的跨尺度代价聚合立体匹配算法得到视差图。使用本发明方法能够在人脸区域获得更好的视差图。
[0042] 优选地，所述立体匹配模块包括用于以下操作的子模块:
[0043] 进行匹配代价计算；
[0044] 利用跨尺度代价聚合算法计算出融合后的视差图。
[0045] 具体地，将多尺度思想和极线距离变换结合的方法核心思想是在固定搜索窗口σSw不变的情况下，对不同尺度下的图像进行极线距离变换，对于小尺度高分辨率图像，高纹理区域更丰富，初始σSw取值适当小时，可以在高纹理区域保留极线距离变换对图像“软分割”的特性。对于大尺度低分辨率图像已经丢失了高频分量，高纹理区域的信息较少，同时搜索窗口σSw相对大尺度图像来说也比较大，满足对低纹理区域要有足够大的搜索窗口要求。最后通过跨尺度代价聚合算法计算出它们融合后的视差图。
[0046] 优选地，所述人脸检测模块采用改进的AdaBoost算法进行人脸检测。
[0047] 具体地，所述AdaBoost算法首先采用Haar-like特征来表征人脸，借助积分图来加快Haar-like特征求值的过程；然后采用AdaBoost筛选出最好的人脸矩形特征，该特征被称为弱分类器；最后串联这些分类器，构成强分类器，实现检测人脸的目的。同时，该方法对光照的变化不容易敏感，因此满足本发明的系统对人脸检测的要求。
[0048] 优选地，所述人脸检测模块包括用于以下操作的子模块：
[0049] 加载已有的训练样本，该样本由含人脸的正样本与不含人脸的负样本组成，正样本采用涵盖不同光照及姿态的人脸图像，而负样本则采用其他类别各式各样的图像；
[0050] 对正负样本图像中不同位置不同尺度的Haar-like特征进行计算，形成每个特征的弱分类器；
[0051] 采用基于AdaBoost的迭代算法筛选出最优的弱分类器来构建一个强分类器；
[0052] 采用大小不同的搜索窗遍历整幅待检图像从而搜寻图像中可能存在的人脸，若找到人脸，则用矩形框对人脸进行标识并提取出来。
[0053] 优选地，所述位姿估计模块包括用于以下操作的子模块：
[0054] 利用ASM特征点检测算法得到人脸面部的特征点；
[0055] 根据双目相机内外参数将所述特征点映射为三维稀疏点云；
[0056] 通过奇异值分解初值估计得到所述特征点的位姿关系，将所述位姿关系作为初值估计；
[0057] 利用基于极线距离变换的跨尺度代价聚合得到人脸稠密视差图，通过双目相机内外参数计算出稠密人脸点云；
[0058] 将初始姿态下的人脸点云作为模板点云，使用带初值估计的迭代最近点算法将模板点云匹配到目标点云上，得到精确的位姿估计结果。
[0059] 与现有技术相比，本发明的有益效果是：1)本发明利用双目相机获取人头姿态图像，利用计算机对人头姿态图像进行处理，得到精确的人头姿态，并将得到的人头姿态实时反馈给经颅磁刺激诊疗中的机械控制设备，控制治疗线圈保持在患者头部的待治疗区域，提高经颅磁刺激诊疗中治疗靶点的定位准确性；2)本发明采用基于极线距离变换的跨尺度代价聚合立体匹配算法进行代价卷融合，获取模板姿态图像与目标姿态图像之间的视差图，该算法在人脸低纹理区域能实现正确匹配，获得更好的视差图；3)本发明利用AdaBoost算法进行人脸区域检测，剔除人脸面部区域外的图像，降低立体匹配的运算量并减少人头姿态估计中的干扰；4)本发明针对传统ICP算法的初值估计会陷入局部最小值以及运算量大的问题，提出了利用ASM算法估计初值并用权重法剔除距离最远点减小运算量的方法，提高了传统ICP算法的稳定性。附图说明
[0060] 图1为立体匹配算法的流程图；
[0061] 图2为本发明算法的结果示意图；
[0062] 图3为本发明算法在大片低纹理区域的效果示意图；
[0063] 图4为本发明算法的人脸区域匹配结果示意图；
[0064] 图5为本发明算法与Yang算法的对比示意图；
[0065] 图6为人脸分类器训练流程示意图；
[0066] 图7为部分实验人脸图；
[0067] 图8为本发明人头姿态估计的算法流程图；
[0068] 图9为模板姿态脚点检测示意图；
[0069] 图10为迭代最近点的初值估计示意图；
[0070] 图11为改进ICP算法中将模板贴合到目标点云的示意图。
具体实施方式
[0071] 下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。
[0072] 一种用于经颅磁刺激诊疗的人头姿态跟踪系统，包括拍摄装置、智能终端及由所述智能终端执行的程序模块的计算机程序，所述拍摄装置包括双目相机及将所述双目相机固定在能将人头完全纳入拍摄范围内的固定装置；所述智能终端由所述计算机程序的程序模块来驱动执行；所述计算机程序的程序模块包括：对双目相机进行标定，以获取各相机内外参数以及相机之间关系参数的相机标定模块；依据双目相机对同一场景从不同角度获取的两幅图像，利用立体匹配算法计算得到两幅图像对应像点间的视差图的立体匹配模块；用于剔除输入图像中的非面部区域的人脸检测模块；通过视差图与相机内外参数还原人脸面部在双目相机坐标系下三维空间坐标，并利用迭代最近点算法计算得到人头姿态的位姿估计模块。
[0073] 作为一种实施方式，所述相机标定模块包括用于以下操作的子模块：建立基准坐标系，基于所述基准坐标系建立双目视觉系统中相机与目标之间的相对位姿；建立成像模型，使场景中的目标与相机获得图像具有线性联系；建立双目视觉测量模型；计算得到双目相机的内参以及双目相机的旋转矩阵和平移矢量；采用Bouguet算法进行双目视觉的立体校正。这里的双目相机由两个同款摄像头组成，相机硬件参数如表1所示：
[0074] 表1相机硬件参数表
[0075]
[0076] 利用左右相机各自拍摄不同角度的目标图像，可以分别得到左右相机参数，求得本系统中左相机内参数为：
[0077]
[0078] 其径向畸变系数为：
[0079] [kL1,kL2,kL3]＝[0.227,-1.607,3.534] (2)
[0080] 右相机内参数为：
[0081]
[0082] 其径向畸变系数为：
[0083] [kR1,kR2,kR3]＝[0.161,-0.373,-1.488] (4)
[0084] 右相机坐标系旋转至左相机坐标系的旋转矩阵：
[0085]
[0086] 右相机坐标系平移至左相机坐标系的平移向量：
[0087] 双目相机的基本矩阵为：
[0088]
[0089] 双目相机的本质矩阵为：
[0090]
[0091] 其中两个相机的标定重投影误差如表2所示：
[0092] 表2双目相机标定的重投影误差
[0093]
[0094] 作为一种实施方式，所述立体匹配模块的工作原理是，在图像高斯金字塔的加速匹配基础上，通过不同尺度具有不同图像频率这一特点将多尺度的代价卷融合，采用基于极线距离变换的跨尺度代价聚合立体匹配算法实现不同视图的立体匹配，获取视图差，解S+1决了视差质量与运算速度之间的矛盾。将 设为固定值T，则有 其中w ＝
wS/η，η为采样尺度，本文η取值为2，σ0取值为0.1，则：
wS/η，η为采样尺度，本文η取值为2，σ0取值为0.1，则：
[0095]
[0096] 基于极线距离变换的跨尺度代价聚合将匹配基元灰度值变为F(OL)，并对代价聚合后得到的代价卷做多尺度融合运算。其算法流程图如图1所示。
[0097] 如图2所示，根据算法流程图匹配出的视差图效果与普通块匹配算法效果比较可以看出，本文算法在低纹理区域都能正确匹配，而普通区域算法(Fix Window)在低纹理区域表现不尽人意。
[0098] 在大片的低纹理区域中，普通区域匹配算法与本文算法比较如图3所示，可见本文算法效果优于普通区域匹配算法。
[0099] 如图4，根据已有的人脸图片进行立体匹配，本文算法在相机低分辨率且在人脸低纹理区域相较于其他算法匹配效果更好。
[0100] 通过普通网络相机组成的双目系统采集图像数据，图像校正后使用Yang的跨尺度代价聚合与本文算法比较，可见Yang的方法在低分辨率的人脸区域已经出现误匹配，这在后续的深度映射中会映射出错误的点云数据，从而给姿态估计带来不小的麻烦，而本文算法可以在人脸区域匹配出连续的视差，效果如图5所示。
[0101] 作为一种实施方式，所述人脸检测模块首先采用Haar-like特征来表征人脸，借助积分图来加快Haar-like特征求值的过程。然后采用AdaBoost筛选出最好的人脸矩形特征。该特征被称为弱分类器，最后串联这些分类器，构成强分类器，实现检测人脸的目的。人脸分类器训练流程图如图6所示。
[0102] 具体为：
[0103] (1)训练样本的收集
[0104] 因为AdaBoost检测多姿态人脸图像依赖于训练样本中是否包含多种姿态人脸的正样本，所以样本选取是否合理直接影响分类器的性能。训练样本分为人脸的正样本和非人脸的负样本，选取样本图像应尽可能丰富多样，正样本需包含不同环境下和不同状态的人脸，例如不同光照的环境.变化的表情和有无佩戴饰物等。
[0105] (2)人脸分类器的训练
[0106] 训练流程如图7所示。按照以下流程完成AdaBoost训练即可获得能够检测多姿态人脸的分类器，然后将生成的级联分类器进行多姿态人脸检测。
[0107] 当利用积分图方法获得特征值的结果后，随即通过训练获得弱分类器，再通过投票加权的形式构造强分类器。假设输入的m个训练样本为(x1,y1)，(x2,y2)，…，(xm,ym)，其中yi∈{0,1},i＝1,2,...,m。当yi＝0时，表示为负样本；当yi＝1时，表示为正样本，其实现过程描述如下：
[0109]
[0110] 其次将全部样本经过T轮训练，t＝1,2,...,T(T即表示弱分类器数目)：
[0111] (1)归一化：
[0112]
[0113] (2)训练弱分类器hj(x)，如：
[0114]
[0115] 式中，pj表示不等号方向的偏置，其值取1或-1，θj表示阈值。为正样本赋值为1，为负样本赋值为0；
[0116] (3)加入强分类器之中。如：
[0117]
[0118] (4).再依据最小的加权检测错误率将所有样本的权重进行微调，如：
[0119]
[0120] 式中， et为分类结果，若为0则表示准确分类。
[0121] 最后在T次训练之后，最终获得由T个弱分类器构建而成的强分类器，如：
[0122]
[0123] 式中， ht(x)表示弱分类器。当 则h(x)＝1，于是标记x为正样本。本实施方式的强分类器由T个εt弱分类器构成，并通过级联的形式进行叠加，从而准确快速地检测人脸。
[0124] 本实施方式使用卡耐基梅隆大学的CMU PIE人脸库进行实验，分别验证在强光、弱光、姿态偏转环境下分别使用AdaBoost算法(a)与改进后的AdaBoost算法(b)的人脸识别率，部分实验人脸图如图7所示，实验结果如表3所示。
[0125] 表3不同光照条件下实验结果
[0126]
[0127] 由表3可知，改进后的AdaBoost算法在强光照环境、弱光环境和姿态偏转情况下识别率分别为97％、94％、92％，都高于原Adaboost算法。改进后的算法平均识别率为94.33％，实验结果表明，改进后的Adaboost算法，具有较高的识别率，同时具有实时性。
[0128] 作为一种实施方式，对于人头姿态估计，本发明针对传统ICP算法的初值估计会陷入局部最小值以及运算量大的问题，提出了利用ASM算法估计初值并用权重法剔除距离最远点减小运算量的方法，提高了传统ICP算法的稳定性。
[0129] 实施例
[0130] 本实施例中所有算法的实验环境：系统型号为Windows7 64位，内存为8GB，处理器为Inter Core i3双核2.30GHz，实验平台为Visual Studio 2012。本实施例利用USB摄像头组成双目相机捕捉图像。其算法流程图如图8所示：
[0131] 首先进行双目相机标定与校正。
[0132] 在完成双目相机标定与校正后，首先采集模板姿态的图像，模板姿态应该尽量将面部正对相机镜头，通过ASM特征点检测得到特征点像素在左右视图上的视差，模板姿态下的特征点结果如图9所示。
[0133] 计算得到特征点的三维信息以及模板姿态相对于相机坐标系的位姿关系，得到的初值数据如表4所示，其中，欧拉角(Yaw,Pitch,Roll)：
[0134] 表4模板姿态矫正数据
[0135]
[0136] 计算出相机坐标系和模板姿态关系后，通过改进迭代最近点方法计算模板姿态与目标姿态的位姿关系。首先需要通过人脸模板特征点与目标特征点进行位姿初值估计，图10为三组模板姿态与目标姿态的特征点检测结果以及视差图。其中，图(a)为主要相对于相机坐标系Z轴旋转的姿态，图(b)与图(c)为相对于相机坐标系X，Y，Z轴旋转的姿态。
[0137] 通过ASM特征点检测与双目视觉测量模型中的坐标关系，可以得到模板姿态与目标姿态三维人脸特征点的点对，通过初值估计可以计算得到各组点对的旋转与平移估计值，表5表示了上图三组姿态的初值估计数据：
[0138] 表5各个姿态下相应的初值估计
[0139]
[0140] 在得到模板姿态与目标姿态的姿态初值估计后，将人脸检测与立体匹配得到的人脸视差图通过式双目视觉测量模型中空间任一点的主相机坐标系下坐标与双目相机像素坐标的关系，计算出视差图相应的点云，利用改进的迭代最近点算法计算模板姿态下的点云与目标姿态下的点云之间的位姿关系。
[0141] 图11描述了分别利用传统迭代最近点算法与改进迭代最近点算法去估计模板姿态与目标姿态之间的位姿关系。其中，(a)为模板点云，(b)～(d)为模板点云配准到目标点云效果。(b)～(d)中图像分别为目标姿态点云、传统迭代最近点算法结果与目标姿态配准结果、改进迭代最近点算法结果与目标姿态配准结果。
[0142] 可以看到传统迭代最近点算法在配准结果并不能将模板姿态点云很好的与目标姿态点云配准在一起，通过观察发现在目标姿态为(b)的主要围绕Z轴旋转的姿态情况下，传统算法与改进算法效果差别不明显，但在(c)与(d)的稍复杂的情况下，传统算法明显将模板姿态点云配准超出了目标姿态点云范围，而改进迭代最近点算法明显减少了点云间配准的错误。表6为通过改进ICP计算得到的姿态估计数据。
[0143] 表6改进迭代最近点算法结果
[0144]
[0145] 本发明首先进行双目相机标定与校正，然后在校正后的双目图像上使用人脸检测算法得到人脸区域。再通过ASM特征点检测算法得到人脸上的关键点，根据双目相机内外参数可以将这组特征点映射为三维稀疏点云，再通过奇异值分解初值估计可以得到这组特征点的位姿关系，使用这组位姿关系作为初值估计。并且利用基于极线距离变换的跨尺度代价聚合得到人脸稠密视差图，通过双目相机内外参数计算出稠密人脸点云。将初始姿态下的人脸点云作为模板点云，使用带初值估计的迭代最近点算法将模板点云匹配到目标点云上，从而得到精确的位姿估计结果。双目相机实时拍摄人头姿态图像，并对拍摄的姿态图像进行立体匹配、人脸检测和位姿估计的处理，获取实时的人头姿态，实现人头姿态的跟踪。得到的位姿估计结果实时反馈给经颅磁刺激诊疗的机械控制设备，机械控制设备进行实时调整，将TMS线圈保持待待治疗的有效区域内，提高TMS治疗中靶点定位的准确性。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于说话人扩充的语音识别模型训练方法及系统 | 2020-05-08 | 261 |
| 面向大尺度遥感图像的微小目标快速检测方法 | 2020-05-08 | 672 |
| 基于迭代挖掘物体共同特征的弱监督图像语义分割方法 | 2020-05-11 | 105 |
| 一种信号分类的方法和设备 | 2020-05-12 | 515 |
| 图像分类方法及系统 | 2020-05-13 | 725 |
| 一种基于气象模式识别的风电功率预测误差建模方法 | 2020-05-13 | 922 |
| 网络入侵检测方法和装置 | 2020-05-11 | 924 |
| 一种基于互相关特征的乳腺超声图像多元分类系统及方法 | 2020-05-13 | 23 |
| 一种铁精粉分割方法及分割装置 | 2020-05-12 | 521 |
| 一种基于图像序列的模型形变人脸三维重建方案 | 2020-05-11 | 896 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈