技术领域
[0001] 本
发明涉及3D扫描技术领域和
图像处理领域，具体涉及一种3D测量人类表型的数据库系统。
背景技术
[0002] 人类表型组是
生物体从胚胎发育到出生、生长、衰老及死亡过程中，形态特征、功能、行为以及生物学分子组成的所有生物学性状的集合，是基因与环境以及二者互相作用产生的所有生物性状。2008年在德国柏林的夏洛特(Charité)医学院启动人类表型本体(human phenotype ontology,HPO)，致
力于提供一个辅助人类表型组(phenome)的大规模计算分析的概念和语义工具。“人类表型组计划”被视为继“人类基因组计划”后又一战略制高点，将为生物医学研究提供新的突破口和新的范式，全面解读人类生命密码所需的关键信息，引领精准医疗和大健康产业蓬勃发展。可见，人类表型组已经越来越被国际医学界所重视。
[0003] 人体表型的测量需要医疗人员专业的测量技术，找到需要被测量的特征点，并正确使用测量工具。然而，对于人体表型的测量结果还是因人而异，存在误差。而且，目前中国缺乏一个能够针对国人的测量表型数据库系统，这使得中国人的人类表型组医学研究之路，或临床遗传学的进一步开展，存在重重阻碍。因此，急需提供一种3D测量人类表型的数据库系统，以便于精确专业标准化地测量人体表型，并建立数据库；并利于所建立的数据库对高危人士进行分析并发出相应预警，这对于专业遗传医师严重缺乏的中国无疑是一种福音，对人类遗传学的研究也是一种推动。
发明内容
[0004] 针对
现有技术的不足，本发明提出一种3D测量人类表型的数据库系统，能够精确专业标准化地测量人体表型，并建立数据库，并对被测试者进行分析，给出对应分诊的建议方案。
[0005] 本发明的技术方案是这样实现的：一种3D测量人类表型的数据库系统，包括[0006]
数据采集模
块，用于多
角度瞬间采集被测试者人体头部的RGBD图像数据；其中，所述RGBD图像数据包括
颜色信息和(x,y,z)坐标信息；
[0007] 模型复原模块，用于拼接多角度的RGBD图像数据，并重建具有颜色及深度的人体头部立
体模型；
[0008] 特征识别模块，用于识别人体头部立体模型上的特征标志点，所述特征标志点所述特征识别模块中，所述特征标志点包括与下颌线、右眼眉、左眼眉、鼻子、右眼、左眼、嘴外轮廓和嘴内轮廓相关的特征标志点；
[0009] 表型计算模块，用于根据特征标志点及表型数据的定义，计算人体表型系数；所述人体表型包括头围、颅面表型、眼睛表型、
耳朵表型、鼻子表型、嘴部表型和颈部表型中的一种或多种；
[0010] 数据库建立模块，用于将各被测试者的人体表型系数存入相应个人档案中，建立国人数据库，并计算数据库的基本统计量；
[0011] 入库分析模块，将被测试者的人体表型系数与国人数据库对比，计算出被测试者在国人总体数据排序中的比例
位置；
[0012] 分诊建议模块，根据入库分析模块所对比筛选出的异常值，推荐对应分诊的建议方案。
[0013] 优选的，所述数据采集模块包括至少3个可用于无
闪光灯瞬间拍摄的深度摄像头设备，所述深度摄像头环绕在被试者人体头部四周，以完整采集头部的RGBD图像数据。
[0014] 优选的，所述数据采集模块包括5个深度摄像头设备，其中被试者的左侧、右侧及后侧各一个深度摄像头设备；另外两个深度摄像头设备则位于被试者前方的两侧，用于拍摄被测试者的左脸及右脸。
[0015] 优选的，所述模型复原模块包括相机标定单元、点
云预处理单元、点云匹配单元、稠密点云的网格化单元以及曲面平滑处理单元，其中
[0016] 相机标定单元，用于确定各深度摄像头设备的内部参数，并根据所述内部参数确定各个深度摄像头之间的外部参数；所述内部参数包括焦距、
光心位置和畸变系数，所述外部参数包括旋转矩阵以及平移矩阵；
[0017] 点云预处理单元，用于通过中值滤波、形态学滤波、自适应均值滤波、自适应中值滤波对点云空间上进行平滑处理，同时在时序上，对某一
帧前后多帧之间的点云位置求取平均值，作为该帧的点云位置进行平滑；
[0018] 点云匹配单元，用于首先通过各个深度摄像头之间的外部参数对点云进行初步匹配，然后再通过
迭代最近点
算法对平滑处理过后的各个摄像头点云进行精确匹配，得到拼接后的三维点云；
[0019] 稠密点云的网格化单元，用于通过投影映射法将拼接后的三维点云投影到二维平面上，并对投影后的二维点进行三角剖分，然后将二维剖分关系传递给三维点云的三角剖分，基于点云三角网格重建人体头部3D模型的曲面；
[0020] 曲面平滑处理单元，用于对重建好的3D模型表面进行平滑处理。
[0021] 优选的，所述点云匹配单元包括对应点搜索子单元、变换求解子单元和拼接子单元，其中
[0022] 对应点搜索子单元，用于将任意两个相邻深度摄像头设备所采集的关于被测量者人体头部不同角度的点云数据分别标记点云P＝{p1,p2,...pn}和Q＝{q1,q2,...qn}；然后通过对应点进行搜索，计算筛选和调整点云P、Q储存的顺序，对于点云P中的一点pi，在Q中寻找距离距离最近的一点qi，使得P和Q中的点一一对应，即∨pi-qi∨＝min，其中i＝1,2,...,n；
[0023] 变换求解子单元，用于根据对应点，通过目标函数确定变换关系(R,t)，其中目标函数为
[0024]
[0025] 拼接子单元，用于在确定变换关系(R,t)后，根据公式RP+t＝P′，可得到点云P经过变换后在点云Q
坐标系下的点云P’，点云Q和点云P’结合起来就是拼接的点云；最后根据各深度摄像头设备所采集到的图像进行拼接的点云完成拼接。
[0026] 优选的，所述特征识别模块中，与下颌线相关的特征标志点有16个，与右眼眉、左眉眼相关的特征标志点各有5个，与鼻子相关的特征标志点有9个，与右眼、左眼相关的特征标志点各有6个，与嘴外轮廓相关的特征标志点有13个，与嘴内轮廓相关的特征标志点有7个。
[0027] 优选的，所述人体表型系数包括头围系数、颅面表型系数、眼睛表型系数、耳朵表型系数、鼻子表型系数、嘴部表型系数和颈部表型系数中的一种或多种，其中[0028] 头围系数包括头围长度；
[0029] 颅面表型系数包括头长、头宽、颅指数、上面高、中面高、下面高、面高、面宽、面指数中的一种或多种；
[0030] 眼睛表型系数包括内睑间距、外睑间距、瞳距、睑裂长度、睑裂角、眼球凸出、
角膜直径中的一种或多种；
[0031] 耳朵表型系数包括耳长、耳宽、耳角度、耳位置、耳角中的一种或多种；
[0032] 鼻子表型系数包括鼻高和鼻宽；
[0033] 嘴部表型系数嘴宽和人中；
[0034] 颈部表型系数包括颈围。
[0035] 优选的，所述数据库建立模块，用于将各被测试者的人体表型系数存入相应个人档案中，建立数据库，并根据数据库计算出同一年龄段每种表型的均值、标准差、方差、Z评分统计量、百分位数统计量。
[0036] 优选的，所述数据库建立模块，还用于构建出不同性别年齡组的表型指标的百分位数及百分位数曲线图、不同性别年齡组的表型指标的Z评分、及Z评分曲线图。
[0037] 与现有技术相比，本发明具有以下优点：本发明通过多角度采集被测试者人体头部的RGBD图像数据，并进行拼接重建人体头部立体模型，再根据人体头部模型确定与下颌线、右眼眉、左眼眉、鼻子、右眼、左眼、嘴外轮廓和嘴内轮廓相关的特征标志点；然后根据这些特征标志点确定人体表型系数，将采集到的这些数据存入数据库中建立数据库；当需要分析被测试者的异常情况时，将被测试者的人体表型系数与人体表型系数与国人数据库对比，根据对比结果判断被试者的相应人体表型系数是否正常，并给出相应分诊的建议方案。
[0038] 本发明中数据采集模块包括360度环绕在被测量者人体头部周围的多个深度摄像头设备，能够360度全角度扫描对象的头部，保证环绕整个头部的数据被完整真实采集；并且深度摄像头设备采用的是无闪光无刺激的瞬时扫描方式，对被扫描对象更为友好，且配合度要求较低；
[0039] 本发明中表型计算模块能够计算并提供被扫描对象任意表面两特征标志点的直线距离和曲面距离，更有利于医学分析；自动提供重要医学特征的相关数据，避免了人为选择特征点和计算的不准确，有利与医学及其他行业工作的研究；
[0040] 本发明能够针对中国人的身体数据特征建立数据库，提出符合年龄的国人数据比较参考；
[0041] 本发明能够规范化、便捷化医学表型的精确测量，建立数据库，并进行数据库比对分析，客观化检测出非正常表型，方便医疗分诊。
附图说明
[0042] 为了更清楚地说明本发明
实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0043] 图1为本发明实施方式中对被测量者进行测量时的示意图；
[0044] 图2为本发明3D测量人类表型的数据库系统一实施方式的结构
框图；
[0045] 图3为本发明实施方式中进行人脸特征标志点的标志示意图。
具体实施方式
[0046] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0047] 图1为本发明实施方式中被测试者在进行测量时的
硬件设备图，其中被测试者位于中心，而多个深度摄像头设备分布于被测试者四周，并且多个深度摄像头设备可以采用无闪光无刺激的瞬时扫描方式采集被测试者的RGBD图像数据。其中，深度摄像头设备的方向正对被测试者。下面结合图1对发明进行具体说明。
[0048] 如图2所示，本发明实施方式公开了一种3D测量人类表型的数据库系统，包括[0049] 数据采集模块，用于多角度瞬间采集被测试者人体头部的RGBD图像数据；其中，所述RGBD图像数据包括颜色信息和(x,y,z)坐标信息；
[0050] 模型复原模块，用于拼接多角度的RGBD图像数据，并重建具有颜色及深度的人体头部立体模型；
[0051] 特征识别模块，用于识别人体头部立体模型上的特征标志点，所述特征标志点所述特征识别模块中，所述特征标志点包括与下颌线、右眼眉、左眼眉、鼻子、右眼、左眼、嘴外轮廓和嘴内轮廓相关的特征标志点；
[0052] 表型计算模块，用于根据特征标志点及表型数据的定义，计算人体表型系数；所述人体表型包括头围、颅面表型、眼睛表型、耳朵表型、鼻子表型、嘴部表型和颈部表型中的一种或多种；
[0053] 数据库建立模块，用于将各被测试者的人体表型系数存入相应个人档案中，建立国人数据库，并计算数据库的基本统计量；
[0054] 入库分析模块，将被测试者的人体表型系数与国人数据库对比，计算出被测试者在国人总体数据排序中的比例位置；
[0055] 分诊建议模块，根据入库分析模块所对比筛选出的异常值，推荐对应分诊的建议方案。
[0056] 其中，进一步的，数据采集模块包括至少3个可用于无闪光灯瞬间拍摄的深度摄像头设备，所述深度摄像头环绕在被试者人体头部四周，以完整采集头部的RGBD图像数据。
[0057] 再进一步的，如图1所示，数据采集模块包括5个深度摄像头设备，其中被试者的左侧、右侧及后侧各一个深度摄像头设备；另外两个深度摄像头设备则位于被试者前方的两侧，用于拍摄被测试者的左脸及右脸。
[0058] 具体的，如图1所示，被测试者左侧、右侧及后侧的深度摄像头设备与被测试者之间的距离相同，并且正对被测试者；而用于拍摄被测试者的左脸及右脸的深度摄像头设备，则位于由左侧、右侧及后侧的深度摄像头设备所形成的正方形的对角线处；以便于模型复原模块所重建的人体头部立体模型更接近被测试者的头部，从而利于人体表型系数的准确确定。
[0059] 进一步的，所述模型复原模块包括相机标定单元、点云预处理单元、点云匹配单元、稠密点云的网格化单元以及曲面平滑处理单元，其中
[0060] 相机标定单元，用于确定各深度摄像头设备的内部参数，并根据所述内部参数确定各个深度摄像头之间的外部参数；所述内部参数包括焦距、光心位置和畸变系数，所述外部参数包括旋转矩阵以及平移矩阵；
[0061] 点云预处理单元，用于通过中值滤波、形态学滤波、自适应均值滤波、自适应中值滤波对点云空间上进行平滑处理，同时在时序上，对某一帧前后多帧之间的点云位置求取平均值，作为该帧的点云位置进行平滑；
[0062] 点云匹配单元，用于首先通过各个深度摄像头之间的外部参数对点云进行初步匹配，然后再通过
迭代最近点算法对平滑处理过后的各个摄像头点云进行精确匹配，得到拼接后的三维点云；
[0063] 稠密点云的网格化单元，用于通过投影映射法将拼接后的三维点云投影到二维平面上，并对投影后的二维点进行三角剖分，然后将二维剖分关系传递给三维点云的三角剖分，基于点云三角网格重建人体头部3D模型的曲面；
[0064] 曲面平滑处理单元，用于对重建好的3D模型表面进行平滑处理，以去除模型表面的噪声。如可采用拉普拉斯平滑处理方法进行平滑处理。
[0065] 其中，相机标定单元，可通过Tsai标定方法，利用透视变换原理线性求解出相机的焦距、光心位置等内部参数，接着以相机的焦距、光心位置等内部参数作为非线性
优化算法的初始值，只考虑相机的径向畸变，通过优化算法求解其余参数如畸变系数等，从而相对于线性标定方法提高了标定的
精度。标定完各个摄像头的内部参数后，使用PNP(Perspective-n-Point)算法以及棋盘标定法对各个摄像头之间的外部参数，例如旋转矩阵以及平移矩阵进行初步标定。
[0066] 具体的，所述点云匹配单元包括对应点搜索子单元、变换求解子单元和拼接子单元，其中
[0067] 对应点搜索子单元，用于将任意两个相邻深度摄像头设备所采集的关于被测量者人体头部不同角度的点云数据分别标记点云P＝{p1,p2,...pn}和Q＝{q1,q2,...qn}；然后通过对应点进行搜索，计算筛选和调整点云P、Q储存的顺序，对于点云P中的一点pi，在Q中寻找距离距离最近的一点qi，使得P和Q中的点一一对应，即∨pi-qi∨＝min，其中i＝1,2,...,n；
[0068] 变换求解子单元，用于根据对应点，通过目标函数确定变换关系(R,t)，其中目标函数为
[0069]
[0070] 拼接子单元，用于在确定变换关系(R,t)后，根据公式RP+t＝P′，可得到点云P经过变换后在点云Q坐标系下的点云P’，点云Q和点云P’结合起来就是拼接的点云；最后根据各深度摄像头设备所采集到的图像进行拼接的点云完成拼接。
[0071] 其中，对应搜索单元中，首先将其中两个相邻的深度摄像头设备所采集的RGBD图像数据分别标记成点云P＝{p1,p2,...pn}和Q＝{q1,q2,...qn}，然后计算筛选和调整点云储存的顺序，对P中一点pi，在Q中寻找距离pi距离最近的一点qi，使得P和Q中的点一一对应，即[0072] ∨pi-qi∨＝min，其中i＝1,2,...,n；
[0073] 然后，通过变换求解单元进行变换关系的求解。其中，变换关系(R,t)由旋转R和平移t两部分组成，根据目标函数
[0074]
[0075] 通过SVD奇异值分解法或非线性优化等方法对目标函数进行求解，可求解出R和t。然后将旋转矩阵R乘以点云P再加上平移矩阵，便可以得到其在在点云Q坐标系下的点云P’，表达式为RP+t＝P′，其中点云Q和点云P’结合起来就是拼接的点云。根据拼接后的点云完成RDGB图像数据的拼接。
[0076] 进一步的，特征识别模块中，与下颌线相关的特征标志点有16个，与右眼眉、左眉眼相关的特征标志点各有5个，与鼻子相关的特征标志点有9个，与右眼、左眼相关的特征标志点各有6个，与嘴外轮廓相关的特征标志点有13个，与嘴内轮廓相关的特征标志点有7个。
[0077] 具体的，特征识别模块，是通过3D landmark方法进行识别特征标志点，如图3所示，0-16是下颌线，17-21是右眼眉，22-26是左眼眉，27-35是鼻子，36-41是右眼，42-47是左眼，48-60是嘴外轮廓，61-67是嘴内轮廓。
[0078] 进一步的，表型计算模块中，人体表型系数的计算不限于头围(Head Circumference,OFC)、颅面(Craniofacies)、眼睛(Eyes)、耳朵(Ears)、鼻子(Nose)、嘴(Mouth)、颈部(Neck)的相关特征数据以及这些数据相应关系。具体的，人体表型系数包括头围系数、颅面表型系数、眼睛表型系数、耳朵表型系数、鼻子表型系数、嘴部表型系数和颈部表型系数中的一种或多种，其中
[0079] 头围系数包括头围长度，即头部最大周长；其中，头围位置由眉弓中点和枕骨结节确认，具体的，根据眉弓中点和枕骨结节确定头围所在平面，并在头围所在平面截取头部模型，确定横截面的周长为头围长度；
[0080] 颅面表型系数包括头长(Head Length)、头宽(Head Width)、颅指数(Cephalic Index)、上面高(Skull Height,Forehead Height)、中面高(Upper Facial Height,Nasal Height)、下面高(Lower Facial Height)、面高(Facial Height)、面宽(Bizygomatic Distance,Facial Width)、面指数(Facial Index)等；
[0081] 眼睛表型系数包括内睑间距(Inner Canthal Distance)、外睑间距(Outer Canthal Distance)、瞳距(Interpupillary Distance)、睑裂长度(Palpebral Fissure Length)、睑裂角(Obliquity of the Palpebral Fissue)、眼球凸出(Orbital Protrusion)、角膜直径(Corneal Dimensions:Transverse Diameter)等；
[0082] 耳朵表型系数包括耳长(Ear Length)、耳宽(Ear Width)、耳角度(Ear Protrusion)、耳位置(Ear Position)、耳角(Ear Angulation)等；
[0083] 鼻子表型系数包括鼻高(Nasal Height)、鼻宽(Nasal width)等；
[0084] 嘴部表型系数包括嘴宽(Intercommissural Distance)、人中(Length of the Philtrum)等；
[0085] 颈部表型系数包括颈围(Neck Circumference)等。
[0086] 以上仅为所常用的人体表型系数，但本发明的人体表型参数并不限于此。
[0087] 本发明实施方式中，以人中表型的长度计算为例：如图3，在检测到人脸的特征标志点后，根据人中表型定义选取特征标志点33和特征标志点51，并计算这两点之间的距离，即可确定人中表型的长度。
[0088] 进一步的，数据库建立模块，用于将各被测试者的人体表型系数存入相应个人档案中，建立数据库，并根据数据库计算出同一年龄段每种表型的均值(mean)、标准差(SD)、方差、Z评分(z-scores)统计量(-3SD,-2SD,-1SD,Mean1SD,2SD,3SD)、百分位数统计量(1％,2％,5％,15％,25％,50％,75％,85％,95％,97％,99％)。
[0089] 其中，数据库建立模块，还用于构建出不同性别年齡组的表型指标的百分位数及百分位数曲线图、不同性别年齡组的表型指标的Z评分、及Z评分曲线图。
[0090] 可见Z评分可进行不同质人群间比较，用偏离该年龄组标准差的程度来反应头围长度情况。其中，所使用公式为
[0091]
[0092] 其中X为测得的头围长度，为该年龄段头围平均值，SD为该年龄段头围的标准差。Z评分可为正值，也可为负值。
[0093] 百分位数表示测得的表型在该年龄段人群中所占的百分比。
[0094] 入库分析模块，用于将计算出的表型数据与国人数据库对比，计算出在国人总体数据排序中的比例位置。
[0095] 本发明实施方式中，根据被检测人在数据库中Z评分(z-scores)，百分位数(percentiles)。与数据库标准对比，判断是否为非正常的表型。具体地，当Z评分显示在总体的95％，则为正常范围；反之，标记为不正常。当百分位数显示在总体的94％，则为正常范围；反之，标记为不正常。
[0096] 而分诊建议模块，则根据与国人表型数据库的对比筛选出的异常值，推荐对应分诊的建议方案。具体的，分诊建议模块可为被测试者提供一份检测报告，该报告中，包含被测试者的全部表型数据，表型在国人数据库中所占的比例，以及每一个表型对应的国人正常比例参考范围。
[0097] 下面以一具体实验例进行具体说明：
[0098] 实验例：
[0099] 被测试者一个8个月的女性婴儿
[0100] 第一步：女婴站在相机组采集装置中的制
定位置，面朝规定相机，进行瞬间无闪光无刺激数据采集。
[0101] 第二步：系统经过测量数据计算，快速得到女婴的各项表型数据，并快速检测和分析对比，筛查出非正常表型。其中，头围值和眼距偏离了正常值，系统发出高位预警，在检测报告中显示。
[0102] 第三步，根据此检测报告，儿童保健医师建议家长转诊至遗传专科。
[0103] 可见，根据本发明数据库系统，可对被测试者的人体表型系数进行测量，并且与数据库中人体表型数据进行对比，根据Z评分确定被测试者是否存在异常，并给出相应报告，同时给出分诊建议的方案。
[0104] 综上所述，本发明通过多角度采集被测试者人体头部的RGBD图像数据，并进行拼接重建人体头部立体模型，再根据人体头部模型确定与下颌线、右眼眉、左眼眉、鼻子、右眼、左眼、嘴外轮廓和嘴内轮廓相关的特征标志点；然后根据这些特征标志点确定人体表型系数，将采集到的这些数据存入数据库中建立数据库；当需要分析被测试者的异常情况时，将被测试者的人体表型系数与人体表型系数与国人数据库对比，根据对比结果判断被试者的相应人体表型系数是否正常，并给出相应分诊的建议方案。
[0105] 本发明中数据采集模块包括360度环绕在被测量者人体头部周围的多个深度摄像头设备，能够360度全角度扫描对象的头部，保证环绕整个头部的数据被完整真实采集；并且深度摄像头设备采用的是无闪光无刺激的瞬时扫描方式，对被扫描对象更为友好，且配合度要求较低；
[0106] 本发明中表型计算模块能够计算并提供被扫描对象任意表面两特征标志点的直线距离和曲面距离，更有利于医学分析；自动提供重要医学特征的相关数据，避免了人为选择特征点和计算的不准确，有利与医学及其他行业工作的研究；
[0107] 本发明能够针对中国人的身体数据特征建立数据库，提出符合年龄的国人数据比较参考；
[0108] 本发明能够规范化、便捷化医学表型的精确测量，建立数据库，并进行数据库比对分析，客观化检测出非正常表型，方便医疗分诊。
[0109] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何
修改、等同替换、改进等，均应包含在本发明的保护范围之内。
