一种复杂场景多模态生物特征图像获取方法及其装置专利检索-主动系统外科手术机器人医疗设备专利检索查询-专利查询网

一种复杂场景多模态生物特征图像获取方法及其装置

阅读：215发布：2023-02-27

专利汇可以提供一种复杂场景多模态生物特征图像获取方法及其装置专利检索，专利查询，专利分析的服务。并且本发明公开了一种复杂场景多模态生物特征图像获取装置，包括：主动多元成像单元，逻辑控制平台、并行数据计算平台，其中，逻辑控制平台，与主动多元成像单元相连接，并行数据计算平台与逻辑控制平台相连接，并行数据计算平台具体包括多元传感数据处理系统、生物特征场景感知与建模系统、多模态生物特征主动感知系统和高级成像算法处理系统。此外，本发明还公开了一种复杂场景多模态生物特征图像获取方法。本发明公开的一种复杂场景多模态生物特征图像获取方法及其装置，其可以对现实复杂场景条件下多个用户的生物特征进行多模态识别，满足复杂成像场景中多用户的身份识别需求，实现对大范围内的虹膜、人脸、步态多模态生物特征进行有效获取。，下面是一种复杂场景多模态生物特征图像获取方法及其装置专利的具体信息内容。

权利要求

1.一种复杂场景多模态生物特征图像获取方法，其特征在于，包括步骤：
第一步：向用户需要拍摄的预设拍摄场景提供多光谱的补偿照明；
第二步：采集所述预设拍摄场景的多元图像，其中，所述预设拍摄场景的多元图像包括多个用户的虹膜和人脸图像、场景高分辨率图像、场景高动态图像、多个用户的红外图像以及多个用户的深度图像；
第三步：对所述预设拍摄场景的多元图像进行预设数据处理操作，获得初始化的多元图像数据；
第四步：根据所述初始化的多元图像数据，对所述预设拍摄场景进行感知建模，获得所述预设拍摄场景对应的真实结构场景模型，以及检测获得所述预设拍摄场景中的预设生物特征信息；
第五步：判断所述预设拍摄场景的真实结构场景模型具有的建模信息是否符合预设建模信息条件，以及所述预设拍摄场景中的预设生物特征信息是否符合预设生物特征条件，当所述预设拍摄场景的真实结构场景模型具有的建模信息符合预设建模信息条件，同时所述预设拍摄场景中的预设生物特征信息符合预设生物特征条件时，根据所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息，执行预设成像处理操作，获得最终的多模态生物特征图像并进行显示。
2.如权利要求1所述的方法，其特征在于，在所述第一步中，通过由多个多光谱光源组成的多光谱光源模块向所述预设拍摄场景提供多光谱的补偿照明。
3.如权利要求1所述的方法，其特征在于，在所述第二步中，通过由多个光场成像传感器组成光场成像模块来采集所述预设拍摄场景中多个用户的虹膜和人脸图像；
通过由多个面阵图像传感器组成的高分辨率成像模块采集所述预设拍摄场景的场景高分辨率；；
通过由多个高动态图像传感器组成的高动态成像模块采集所述预设拍摄场景的场景高动态图像；
通过由多个红外图像传感器组成的红外成像模块采集所述预设拍摄场景中多个用户的红外图像；
通过由多个深度摄像机组成的深度成像模块采集所述预设拍摄场景中多个用户的深度图像。
4.如权利要求1所述的方法，其特征在于，所述深度摄像机为飞行时间法TOF摄像机。
5.一种复杂场景多模态生物特征图像获取装置，其特征在于，包括：
主动多元成像单元，用于向用户需要拍摄的预设拍摄场景提供多光谱的补偿照明，以及采集所述预设拍摄场景的多元图像，其中，所述预设拍摄场景的多元图像包括多个用户的虹膜和人脸图像、场景高分辨率、场景高动态图像、多个用户的红外图像以及多个用户的深度图像，然后将所述多元图像发送给逻辑控制平台；
逻辑控制平台，与主动多元成像单元相连接，用于根据用户输入的图像获取开始或者停止指令，对应控制主动多元成像单元的启动或者停止运行，并且在接收到主动多元成像单元发来的所述预设拍摄场景的多元图像后，实时转发给并行数据计算平台，以及判断所述预设拍摄场景的真实结构场景模型具有的建模信息是否符合预设建模信息条件，以及所述预设拍摄场景中的预设生物特征信息是否符合预设生物特征条件，当所述预设拍摄场景的真实结构场景模型具有的建模信息符合预设建模信息条件且所述预设拍摄场景中的预设生物特征信息符合预设生物特征条件时，发送所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息给并行数据计算平台中的高级成像算法处理系统；
并行数据计算平台，具体包括多元传感数据处理系统、生物特征场景感知与建模系统、多模态生物特征主动感知系统和高级成像算法处理系统；其中：
多元传感数据处理系统，与逻辑控制平台相连接，用于对所述预设拍摄场景的多元图像进行预设数据处理操作，获得初始化的多元图像数据；
生物特征场景感知与建模系统，分别与多元传感数据处理系统和逻辑控制平台相连接，用于根据所述初始化的多元图像数据，对所述预设拍摄场景进行感知建模，获得所述预设拍摄场景对应的真实结构场景模型，并发送给逻辑控制平台；
多模态生物特征主动感知系统，分别与多元传感数据处理系统和逻辑控制平台相连接，用于检测获得所述预设拍摄场景中的预设生物特征信息，并发送给逻辑控制平台；
高级成像算法处理系统，与逻辑控制平台相连接，用于根据所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息，执行预设成像处理操作，获得最终的多模态生物特征图像并进行显示。
6.如权利要求5所述的装置，其特征在于，所述主动多元成像单元包括多光谱光源模块、光场成像模块、高分辨率成像模块、高动态成像模块、红外成像模块以及深度成像模块；
所述多光谱光源模块、光场成像模块、高分辨率成像模块、高动态成像模块、红外成像模块以及深度成像模块分别与所述逻辑控制平台相连接。
7.如权利要求5所述的装置，其特征在于，包括装置外壳(300)，所述装置外壳的正面中心位置设置有主成像镜头(303)；
所述主成像镜头(303)的左侧设置有红外成像镜头(304)，所述主成像镜头(303)的右侧设置有深度成像镜头(305)；
所述装置外壳的正面四周分别均匀分布有四个光场成像镜头组(306)；
所述光场成像镜头组(306)、红外成像镜头(304)和深度成像镜头(305)的周围分别有多个多光谱光源(302)。
8.如权利要求5所述的装置，其特征在于，所述逻辑控制平台包括现场可编程门阵列FPGA和单片机ARM逻辑控制芯片，其中：
现场可编程门阵列FPGA用于根据用户输入的图像获取开始或者停止指令，对主动多元成像单元中的多光谱光源模块、光场成像模块、高分辨率成像模块、高动态成像模块、红外成像模块以及深度成像模块进行驱动控制，实现对应控制主动多元成像单元的启动或者停止运行及控制参数调节，以及数据的传输缓存；单片机ARM逻辑控制芯片用于负责逻辑控制平台与并行数据计算平台之间的数据调度配合。

说明书全文

一种复杂场景多模态生物特征图像获取方法及其装置

技术领域

[0001] 本发明涉及光学、计算机视觉和模式识别等技术领域，特别是涉及一种复杂场景多模态生物特征图像获取方法及其装置。

背景技术

[0002] 目前，随着人类科学技术的不断发展，生物特征识别技术得到了广泛的应用。生物特征识别是指计算机通过获取和分析人体的生理和行为特征，实现自动身份鉴别的科学和技术。常见的生物特征模态包括指纹、虹膜、人脸、掌纹、手形、静脉、笔迹、步态、语音等。人体多种模态的生物特征信息主要分布于面部(人脸、虹膜)和手部(指纹、掌纹、手形、静脉)。相比手部生物特征，人体面部的人脸和虹膜特征具有表观可现、信息丰富、采集非接触的独特优势，在中远距离身份识别和智能视频监控应用场景具有不可替代的重要作用，因而得到了国际学术界、产业界乃至政府部门的高度关注。此外，步态生物特征具有远距离可感知、信息独特、易于秘密捕获、非侵犯性高、难于隐藏和伪装等优点，也逐渐受到一些研究机构的重视。

[0003] 生物识别学科和技术领域经过多年的发展，在严格受控的条件下基本上可以正确识别高度配合的用户，但是，在数字化生物特征信息获取过程中，如果受到内在用户的生理变化(如眨眼、斜视、姿态、表情、运动等)和外界环境(即所在场景)变化(如光照、遮挡、距离等)的影响，生物识别的性能将急剧下降，无法满足复杂场景环境下对用户的身份识别的需求，因此严重制约了生物识别的学科进步、技术推广和产业发展。

[0004] 当前，虹膜和人脸识别技术得到了快速发展，相比于虹膜和人脸成像，步态生物特征更易于远距离感知，一般使用市场上现成的摄像头即可进行数据采集。由于步态生物特征受成像装置视角的影响很大，如何布局多摄像机进行多视角采集，将直接影响步态识别的精度。

[0005] 此外，多模态生物特征识别在适用人群范围、识别精度和安全防伪等方面比单模态的生物识别技术具有独特优势，因此多模态生物识别装置的研究也是最近几年的发展热点。

[0006] 但是，现有的多模态生物特征获取设备主要面向受控环境，对成像目标的范围和姿态以及成像场景环境条件都具有较为严格的限制，同时，现有的多模态生物特征成像设备一次只能获取一个人的信息，无法同时采集多个目标的多模态生物特征，无法满足复杂成像场景中用户的身份识别需求。目前，高质量、多模态生物特征数据的便捷高效获取已经成为生物识别学科和技术应用从受控条件到复杂现实环境拓展和跨越的重大瓶颈，严重影响生物特征识别的精确性、鲁棒性、实时性甚至安全性。

[0007] 因此，目前迫切需要开发出一种技术，其可以对现实复杂场景条件(如室外大范围且背景复杂、环境光照变化、目标人群多且存在运动、姿态变化及相互遮挡等情况)下多个用户的生物特征进行多模态识别，满足复杂成像场景中多用户的身份识别需求，实现对大范围内的虹膜、人脸、步态多模态生物特征进行有效获取。

发明内容

[0008] 有鉴于此，本发明的目的是提供一种复杂场景多模态生物特征图像获取方法及其装置，其可以对现实复杂场景条件(如室外大范围且背景复杂、环境光照变化、目标人群多且存在运动、姿态变化及相互遮挡等情况)下多个用户的生物特征进行多模态识别，满足复杂成像场景中多用户的身份识别需求，实现对大范围内的虹膜、人脸、步态多模态生物特征进行有效获取，进一步提高识别的准确性，实现远距离、高分辨、高速的多模态生物特征识别，有利于提高用户的产品使用感受，具有重大的生产实践意义。

[0009] 为此，本发明提供了一种复杂场景多模态生物特征图像获取方法，包括步骤：

[0010] 第一步：向用户需要拍摄的预设拍摄场景提供多光谱的补偿照明；

[0011] 第二步：采集所述预设拍摄场景的多元图像，其中，所述预设拍摄场景的多元图像包括多个用户的虹膜和人脸图像、场景高分辨率图像、场景高动态图像、多个用户的红外图像以及多个用户的深度图像；第三步：对所述预设拍摄场景的多元图像进行预设数据处理操作，获得初始化的多元图像数据；

[0012] 第四步：根据所述初始化的多元图像数据，对所述预设拍摄场景进行感知建模，获得所述预设拍摄场景对应的真实结构场景模型，以及检测获得所述预设拍摄场景中的预设生物特征信息；

[0013] 第五步：判断所述预设拍摄场景的真实结构场景模型具有的建模信息是否符合预设建模信息条件，以及所述预设拍摄场景中的预设生物特征信息是否符合预设生物特征条件，当所述预设拍摄场景的真实结构场景模型具有的建模信息符合预设建模信息条件，同时所述预设拍摄场景中的预设生物特征信息符合预设生物特征条件时，根据所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息，执行预设成像处理操作，获得最终的多模态生物特征图像并进行显示。

[0014] 其中，在所述第一步中，通过由多个多光谱光源组成的多光谱光源模块向所述预设拍摄场景提供多光谱的补偿照明。

[0015] 其中，在所述第二步中，通过由多个光场成像传感器组成光场成像模块来采集所述预设拍摄场景中多个用户的虹膜和人脸图像；

[0016] 通过由多个面阵图像传感器组成的高分辨率成像模块采集所述预设拍摄场景的高分辨率图像；；

[0017] 通过由多个高动态图像传感器组成的高动态成像模块采集所述预设拍摄场景的场景高动态图像；

[0018] 通过由多个红外图像传感器组成的红外成像模块采集所述预设拍摄场景中多个用户的红外图像；

[0019] 通过由多个深度摄像机组成的深度成像模块采集所述预设拍摄场景中多个用户的深度图像。

[0020] 其中，所述深度摄像机为飞行时间法TOF摄像机。

[0021] 此外，本发明还提供了一种复杂场景多模态生物特征图像获取装置，包括：

[0022] 主动多元成像单元，用于向用户需要拍摄的预设拍摄场景提供多光谱的补偿照明，以及采集所述预设拍摄场景的多元图像，其中，所述预设拍摄场景的多元图像包括多个用户的虹膜和人脸图像、场景高分辨率图像、场景高动态图像、多个用户的红外图像以及多个用户的深度图像，然后将所述多元图像发送给逻辑控制平台；

[0023] 逻辑控制平台，与主动多元成像单元相连接，用于根据用户输入的图像获取开始或者停止指令，对应控制主动多元成像单元的启动或者停止运行，并且在接收到主动多元成像单元发来的所述预设拍摄场景的多元图像后，实时转发给并行数据计算平台，以及判断所述预设拍摄场景的真实结构场景模型具有的建模信息是否符合预设建模信息条件，以及所述预设拍摄场景中的预设生物特征信息是否符合预设生物特征条件，当所述预设拍摄场景的真实结构场景模型具有的建模信息符合预设建模信息条件且所述预设拍摄场景中的预设生物特征信息符合预设生物特征条件时，发送所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息给并行数据计算平台中的高级成像算法处理系统；

[0024] 并行数据计算平台，具体包括多元传感数据处理系统、生物特征场景感知与建模系统、多模态生物特征主动感知系统和高级成像算法处理系统；其中：

[0025] 多元传感数据处理系统，与逻辑控制平台相连接，用于对所述预设拍摄场景的多元图像进行预设数据处理操作，获得初始化的多元图像数据；

[0026] 生物特征场景感知与建模系统，分别与多元传感数据处理系统和逻辑控制平台相连接，用于根据所述初始化的多元图像数据，对所述预设拍摄场景进行感知建模，获得所述预设拍摄场景对应的真实结构场景模型，并发送给逻辑控制平台；

[0027] 多模态生物特征主动感知系统，分别与多元传感数据处理系统和逻辑控制平台相连接，用于检测获得所述预设拍摄场景中的预设生物特征信息，并发送给逻辑控制平台；

[0028] 高级成像算法处理系统，与逻辑控制平台相连接，用于根据所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息，执行预设成像处理操作，获得最终的多模态生物特征图像并进行显示。

[0029] 其中，所述主动多元成像单元包括多光谱光源模块、光场成像模块、高分辨率成像模块、高动态成像模块、红外成像模块以及深度成像模块；

[0030] 所述多光谱光源模块、光场成像模块、高分辨率成像模块、高动态成像模块、红外成像模块以及深度成像模块分别与所述逻辑控制平台相连接。

[0031] 其中，包括装置外壳，所述装置外壳的正面中心位置设置有主成像镜头；

[0032] 所述主成像镜头的左侧设置有红外成像镜头，所述主成像镜头的右侧设置有深度成像镜头；

[0033] 所述装置外壳的正面四周分别均匀分布有四个光场成像镜头组；

[0034] 所述光场成像镜头组、红外成像镜头和深度成像镜头的周围分别有多个多光谱光源。

[0035] 其中，所述逻辑控制平台包括现场可编程门阵列FPGA和单片机ARM逻辑控制芯片，其中：

[0036] 现场可编程门阵列FPGA用于根据用户输入的图像获取开始或者停止指令，对主动多元成像单元中的多光谱光源模块、光场成像模块、高分辨率成像模块、高动态成像模块、红外成像模块以及深度成像模块进行驱动控制，实现对应控制主动多元成像单元的启动或者停止运行及控制参数调节，以及数据的传输缓存；单片机ARM逻辑控制芯片用于负责逻辑控制平台与并行数据计算平台之间的数据调度配合。

[0037] 由以上本发明提供的技术方案可见，与现有技术相比较，本发明提供了一种复杂场景多模态生物特征图像获取方法及其装置，其可以对现实复杂场景条件(如室外大范围且背景复杂、环境光照变化、目标人群多且存在运动、姿态变化及相互遮挡等情况)下多个用户的生物特征进行多模态识别，满足复杂成像场景中多用户的身份识别需求，实现对大范围内的虹膜、人脸、步态多模态生物特征进行有效获取，进一步提高识别的准确性，实现远距离、高分辨、高速的多模态生物特征识别，有利于提高用户的产品使用感受，具有重大的生产实践意义。附图说明

[0038] 图1为本发明提供的一种复杂场景多模态生物特征图像获取方法的流程图；

[0039] 图2为本发明提供的一种复杂场景多模态生物特征图像获取装置的结构示意图；

[0040] 图3为本发明提供的一种复杂场景多模态生物特征图像获取装置的结构分布前视示意图；

[0041] 图4为本发明提供的一种复杂场景多模态生物特征图像获取装置的光路结构示意图；

[0042] 图5为本发明提供的一种复杂场景多模态生物特征图像获取装置的应用场景示意图。

具体实施方式

[0043] 为了使本技术领域的人员更好地理解本发明方案，下面结合附图和实施方式对本发明作进一步的详细说明。

[0044] 图1为本发明提供的一种复杂场景多模态生物特征图像获取方法的流程图；

[0045] 参见图1，本发明提供的一种复杂场景多模态生物特征图像获取方法，包括以下步骤：

[0046] 步骤S101：向用户需要拍摄的预设拍摄场景提供多光谱的补偿照明；

[0047] 在本发明中，在步骤S101中，用户需要拍摄的预设拍摄场景根据用户的需要预设进行设置，可以是用户选择的任意一种场景，例如大厅门口场景。

[0048] 在本发明中，在步骤S101中，具体实现上，可以通过由多个多光谱光源组成的多光谱光源模块向预设拍摄场景提供多光谱的补偿照明，目的在于满足全天候场景的高质量成像需求。

[0049] 步骤S102：采集所述预设拍摄场景的多元图像，其中，所述预设拍摄场景的多元图像包括多个用户的虹膜和人脸图像、场景高分辨率图像、场景高动态图像、多个用户的红外图像以及多个用户的深度图像(即获得用户的深度信息，如三维特征信息)；

[0050] 在本发明中，在步骤S102中，具体实现上，可以通过由多个光场成像传感器组成光场成像模块来采集所述预设拍摄场景中多个用户的虹膜和人脸图像；

[0051] 在步骤S102中，具体实现上，可以通过由多个面阵图像传感器组成的高分辨率成像模块采集所述预设拍摄场景的场景高分辨率图像；

[0052] 在本发明中，需要说明的是，具体实现上，所述场景高分辨率图像具体具有的分辨率大小可以根据用户的需要对高分辨率成像模块进行设置后采集获得，例如为可以1280*800 像素，当然还可以是其他用户设置的较高分辨率的图像。

[0053] 在步骤S102中，具体实现上，可以通过由多个高动态图像传感器组成的高动态成像模块采集所述预设拍摄场景的场景高动态图像；

[0054] 在本发明中，需要说明的是，具体实现上，所述场景高动态图像具体具有的分辨率大小可以根据用户的需要对高动态成像模块进行设置后采集获得，例如为可以1280*720像素的动态图像，当然还可以是其他用户设置的较高分辨率的动态图像。

[0055] 在步骤S102中，具体实现上，可以通过由多个红外图像传感器组成的红外成像模块采集所述预设拍摄场景中多个用户的红外图像；

[0056] 在步骤S102中，具体实现上，可以通过由多个深度摄像机组成的深度成像模块采集所述预设拍摄场景中多个用户的深度图像，所述深度摄像机优选为选用TOF(飞行时间法)摄像机。

[0057] 步骤S103：对所述预设拍摄场景的多元图像进行预设数据处理操作，获得初始化的多元图像数据；

[0058] 在步骤S103中，所述对多元图像进行的预设数据处理操作包括：对多元图像进行数据预处理、编码和融合，其中，预处理包括图像去躁、归一化、光场图像的标定及去渐晕等；编码是利用压缩感知理论对多元图像进行数据编码，减少多图像的数据冗余性，提高系统性能；融合是将各成像模块处获得多元的图像进行优势互补，融合出具有多重特性的图像。对于本发明，去除图像的冗余信息，图像的质量更高并且有利于进一步的处理分析。

[0059] 步骤S104：根据所述初始化的多元图像数据，对所述预设拍摄场景进行感知建模，获得所述预设拍摄场景对应的真实结构场景模型，以及检测获得所述预设拍摄场景中的预设生物特征信息(例如虹膜特征、人脸特征和步态特征信息)；

[0060] 对于本发明，需要说明的是，多元图像数据用于对全时段、光照变化明显条件下的复杂场景进行感知，反演出涵盖时间、光照的真实结构场景模型，利用深度数据进行背景建模，利用形状和纹理进行完成场景三维建模，以降低复杂场景下光照、天气等可变因素对生物特征成像的不利影响。

[0061] 对于本发明，需要说明的是，多元图像数据用于检测场景中的预设生物特征信息，具体实现上，是利用多模态生物特征主动感知系统中的目标定位单元、感兴趣区域特征检测提取单元、多模态生物特征融合单元和多模态生物特征质量评价单元，通过多模态生物特征检测、特征提取、融合和质量评价技术，获得多目标人脸、虹膜和步态生物特征信息。

[0062] 步骤S105：判断所述预设拍摄场景的真实结构场景模型具有的建模信息是否符合预设建模信息条件，以及所述预设拍摄场景中的预设生物特征信息是否符合预设生物特征条件，当所述预设拍摄场景的真实结构场景模型具有的建模信息符合预设建模信息条件，同时所述预设拍摄场景中的预设生物特征信息符合预设生物特征条件时，根据所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息，执行预设成像处理操作，获得最终的多模态生物特征图像并进行显示；

[0063] 否则，即如果所述预设拍摄场景的真实结构场景模型具有的建模信息不符合预设建模信息条件以及所述预设拍摄场景中的预设生物特征信息不符合预设生物特征条件，则根据真实结构场景模型具有的建模信息以及预设生物特征信息，调整向预设拍摄场景提供的多光谱补偿照明的参数以及采集所述预设拍摄场景多元图像的成像参数，然后返回执行步骤S101，直到所述预设拍摄场景的真实结构场景模型具有的建模信息符合预设建模信息条件以及所述预设拍摄场景中的预设生物特征信息符合预设生物特征条件为止。

[0064] 在本发明中，所述真实结构场景模型具有的建模信息包括场景的光照情况、天气情况、场景范围、场景中的形状和纹理信息；

[0065] 对于本发明，预设建模信息条件主要是指场景的属性，比如判断拍摄场景的光照情况、天气情况、场景范围、场景中的形状和纹理信息等。在本发明中，所述预设生物特征包括人脸、虹膜、步态等，预设生物特征条件主要包括人脸、虹膜、步态的图像质量要求，比如图像的分辨率、亮度、清晰度等。

[0066] 在本发明中，将场景建模信息和多模态生物特征主动感知信息传输至并行数据计算平台中的高级成像算法处理系统，再利用深度层析式算法、去遮挡算法、三维成像算法，完成图像的后续处理；

[0067] 对于本发明，最终获得的多模态生物特征图像包括：多目标无遮挡的虹膜2D图像、人脸和步态近距离时的2D/3D图像以及远距离时的2D图像。(可以参考应用场景图5的说明)[0068] 对于本发明，其可以根据场景建模中的光照、天气、场景范围等属性和多模态生物特征图像质量信息，来调整多光谱光源模块的照明参数、以及各成像模块(光场成像模块、高分辨率成像模块、高动态成像模块、红外成像模块以及深度成像模块)的成像参数(分辨率、光圈、焦距、景深、增益系数等)。

[0069] 需要说明的是，对于本发明，所述预设成像处理操作可以通过深度层析式算法、去遮挡算法、三维成像算法进行。其中，采用光场成像中的数字重对焦技术，利用一次曝光获取的光场信息，通过调整重对焦参数，对场景目标在深度方向上实现不同对焦面的多目标层析式成像。利用合成孔径成像技术，对被遮挡目标进行还原成像。利用深度信息重建目标高精度的三维形状。基于三维形状，利用全局光照模型，分析目标表面局部变化特征，应用如阴影恢复形状算法等恢复局部光照模型，再结合场景图像的表面纹理信息，最终实现多目标的三维成像。

[0070] 因此，基于以上的技术方案可知，本发明提供的一种复杂场景多模态生物特征图像获取方法，其可以对现实复杂场景条件(如室外大范围且背景复杂、环境光照变化、目标人群多且存在运动、姿态变化及相互遮挡等情况)下多个用户的生物特征进行多模态识别，满足复杂成像场景中多用户的身份识别需求，实现对大范围内的虹膜、人脸、步态多模态生物特征进行有效获取，进一步提高识别的准确性，实现远距离、高分辨、高速的多模态生物特征识别，有利于提高用户的产品使用感受，具有重大的生产实践意义。

[0071] 参见图2，具体实现上，为了运行上述本发明提供的一种复杂场景多模态生物特征图像获取方法，本发明还提供了一种复杂场景多模态生物特征图像获取装置，该装置包括：

[0072] 主动多元成像单元201，用于向用户需要拍摄的预设拍摄场景提供多光谱的补偿照明，以及采集所述预设拍摄场景的多元图像，其中，所述预设拍摄场景的多元图像包括多个用户的虹膜和人脸图像、场景高分辨率图像、场景高动态图像、多个用户的红外图像以及多个用户的深度图像(即获得用户的深度信息，如三维特征信息)，然后将所述多元图像发送给逻辑控制平台202；

[0073] 逻辑控制平台202，与主动多元成像单元201相连接，用于根据用户输入的图像获取开始或者停止指令，对应控制主动多元成像单元的启动或者停止运行，并且在接收到主动多元成像单元201发来的所述预设拍摄场景的多元图像后，实时转发给并行数据计算平台203，以及判断所述预设拍摄场景的真实结构场景模型具有的建模信息是否符合预设建模信息条件，以及所述预设拍摄场景中的预设生物特征信息是否符合预设生物特征条件，当所述预设拍摄场景的真实结构场景模型具有的建模信息符合预设建模信息条件且所述预设拍摄场景中的预设生物特征信息符合预设生物特征条件时，发送所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息给并行数据计算平台中的高级成像算法处理系统；

[0074] 需要说明的是，对于逻辑控制平台202，如果经过判断，所述预设拍摄场景的真实结构场景模型具有的建模信息不符合预设建模信息条件以及所述预设拍摄场景中的预设生物特征信息不符合预设生物特征条件，则根据真实结构场景模型具有的建模信息以及预设生物特征信息，调整向预设拍摄场景提供的多光谱补偿照明的参数以及采集所述预设拍摄场景多元图像的成像参数，调整向预设拍摄场景提供的多光谱补偿照明的参数以及采集所述预设拍摄场景多元图像的成像参数，然后返回运行主动多元成像单元201，直到所述预设拍摄场景的真实结构场景模型具有的建模信息符合预设建模信息条件以及所述预设拍摄场景中的预设生物特征信息符合预设生物特征条件为止；

[0075] 并行数据计算平台203，具体包括多元传感数据处理系统、生物特征场景感知与建模系统、多模态生物特征主动感知系统和高级成像算法处理系统；其中：

[0076] 多元传感数据处理系统2031，与逻辑控制平台相连接，用于对所述预设拍摄场景的多元图像进行预设数据处理操作，获得初始化的多元图像数据；

[0077] 生物特征场景感知与建模系统2032，分别与多元传感数据处理系统和逻辑控制平台相连接，用于根据所述初始化的多元图像数据，对所述预设拍摄场景进行感知建模，获得所述预设拍摄场景对应的真实结构场景模型，并发送给逻辑控制平台；

[0078] 多模态生物特征主动感知系统2033，分别与多元传感数据处理系统和逻辑控制平台相连接，用于检测获得所述预设拍摄场景中的预设生物特征信息，并发送给逻辑控制平台；

[0079] 高级成像算法处理系统2034，与逻辑控制平台202相连接，用于根据所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息，执行预设成像处理操作，获得最终的多模态生物特征图像并进行显示(可以通过计算机等数据终端平台显示)。

[0080] 对于本发明，需要说明的是，通过生物特征场景感知与建模系统和多模态生物特征主动感知系统对真实物理场景进行感知建模、对生物特征信息进行检测，为主动多元成像单元提供反馈校正激励，以实现系统整体的反馈闭环鲁棒控制。

[0081] 在本发明中，需要说明的是，用户需要拍摄的预设拍摄场景根据用户的需要预设进行设置，可以是用户选择的任意一种场景，例如大厅门口场景。

[0082] 在本发明中，可以通过由多个多光谱光源组成的多光谱光源模块向预设拍摄场景提供多光谱的补偿照明。

[0083] 在本发明中，具体实现上，所述主动多元成像单元201包括以下模块：

[0084] 多光谱光源模块2011，包括多个多光谱光源，与逻辑控制平台202相连接，用于向用户需要拍摄的预设拍摄场景提供多光谱的补偿照明；目的在于满足全天候场景的高质量成像需求；

[0085] 光场成像模块2012，包括多个光场成像传感器，与逻辑控制平台202相连接，用于采集所述预设拍摄场景中多个用户的虹膜和人脸图像；

[0086] 高分辨率成像模块2013，包括多个面阵图像传感器，与逻辑控制平台202相连接，用于采集所述预设拍摄场景的场景高分辨率图像，因此可以实现所述预设拍摄场景的大视场的高分辨率成像；

[0087] 高动态成像模块2014，包括多个高动态图像传感器，与逻辑控制平台202相连接，用于采集所述预设拍摄场景的场景高动态图像；

[0088] 具体实现上，所述高动态成像模块2014可以利用两个具有不同曝光系数的高动态图像传感器来获取所述预设拍摄场景的大视场的高动态图像。

[0089] 红外成像模块2015，包括多个红外图像传感器，与逻辑控制平台202相连接，用于采集所述预设拍摄场景中多个用户的红外图像；该红外成像模块2015可以方便地将所述预设拍摄场景中的背景与人以及人与人之间的图像进行分割；

[0090] 深度成像模块2016，包括多个深度摄像机，与逻辑控制平台202相连接，用于采集所述预设拍摄场景中多个用户的深度图像，因此，所述深度成像模块2016可以通过对所述预设拍摄场景中的目标(人等)在深度方向上进行成像，获取场景深度信息，便于对所述预设拍摄场景中的目标(人等)进行感知以及建立场景的三维信息。

[0091] 在本发明中，具体实现上，所述深度摄像机优选为选用TOF(飞行时间法)摄像机。

[0092] 在本发明中，具体实现上，所述光场成像模块2012具体采用微透镜阵列光场成像方式，利用集成电路封装技术来采集高角度和高空间分辨率的多个用户的虹膜和人脸图像。

[0093] 具体实现上，所述光场成像模块2012可以由光场成像子镜头组、高反射镜镜组、半反半透镜、视场拼接镜头组(包括第一视场拼接镜头和第二视场拼接镜头)和高分辨率光场传感器(第一高分辨光场传感器和第二高分辨光场传感器)组构成，其中，光场成像子镜头采用望远结构设计，接受场景的多个视角入射光束；高反射镜镜用于将场景的多个视角反射光线进行偏移；半反半透镜将入射光束分成透射光束和反射光束，透射光束经第一视场拼接镜头入射到第一高分辨光场传感器，由第一高分辨光场传感器用于近红外虹膜成像，反射光入射到经第二视场拼接镜头入射到第二高分辨光场传感器，由第二高分辨光场传感器用于可见光人脸成像。

[0094] 在本发明中，具体实现上，所述逻辑控制平台202可以包括FPGA(现场可编程门阵列)和ARM(单片机)逻辑控制芯片，其中，FPGA用于根据用户输入的图像获取开始或者停止指令，对主动多元成像单元201中的多光谱光源模块2011、光场成像模块2012、高分辨率成像模块2013、高动态成像模块2014、红外成像模块2015以及深度成像模块2016进行驱动控制，实现对应控制主动多元成像单元的启动或者停止运行及控制参数调节，以及数据的传输缓存；ARM用于负责逻辑控制平台与并行数据计算平台之间的数据调度配合。

[0095] 所述并行数据计算平台包括由FPGA、DSP和GPU联合构成的高性能计算处理系统，根据功能实现进一步分为多元传感数据处理系统、生物特征场景感知与建模系统、多模态生物特征主动感知系统和高级成像算法处理系统。

[0096] 所述多元传感数据处理系统，与逻辑控制平台相连接，用于对所述预设拍摄场景的多元图像进行预设数据处理操作，获得初始化的多元图像数据；具体实现上，所述多元传感数据处理系统用于对主动多元成像系统获取的数据进行处理加工，包括数据预处理单元、编码单元和融合单元。

[0097] 所述生物特征场景感知与建模系统，分别与多元传感数据处理系统和逻辑控制平台相连接，用于根据所述初始化的多元图像数据，对所述预设拍摄场景进行感知建模，获得所述预设拍摄场景对应的真实结构场景模型，并发送给逻辑控制平台；具体实现上，所述生物特征场景感知与建模系统用于对全时段、光照变化明显条件下的复杂场景进行感知，反演出涵盖时间、光照的真实结构场景模型，同时为主动多元成像系统提供准确反馈运行参数。

[0098] 所述多模态生物特征主动感知系统，分别与多元传感数据处理系统和逻辑控制平台相连接，用于检测获得所述预设拍摄场景中的预设生物特征信息，并发送给逻辑控制平台；具体实现上，所述多模态生物特征主动感知系统用于对多目标多模态生物特征信息进行主动感知，包括复杂场景中的目标定位单元、感兴趣区域特征检测提取单元、多模态生物特征融合单元和多模态生物特征质量评价单元，根据主动感知信息指导主动多元成像系统进行有针对性地成像参数配置。

[0099] 如上所述，所述高级成像算法处理系统，与逻辑控制平台202相连接，用于根据所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息，执行预设成像处理操作，获得最终的多模态生物特征图像并进行显示(可以通过计算机等数据终端平台显示)。具体实现上，该高级成像算法处理系统用于实现多目标多模态生物特征的深度层析式成像和穿透式三维成像，在增大装置的成像景深范围的同时，提高装置对遮挡目标的成像能力。

[0100] 需要说明的是，对于本发明，所述预设成像处理操作可以通过深度层析式算法、去遮挡算法、三维成像算法进行。其中，采用光场成像中的数字重对焦技术，利用一次曝光获取的光场信息，通过调整重对焦参数，对场景目标在深度方向上实现不同对焦面的多目标层析式成像。利用合成孔径成像技术，对被遮挡目标进行还原成像。利用深度信息重建目标高精度的三维形状。基于三维形状，利用全局光照模型，分析目标表面局部变化特征，应用如阴影恢复形状算法等恢复局部光照模型，再结合场景图像的表面纹理信息，最终实现多目标的三维成像。

[0101] 参见图3，图3为本发明提供的一种复杂场景多模态生物特征图像获取装置中主动多元成像单元的结构分布前视示意图，表示了多光谱光源模块与多元成像模块(包括光场成像模块2012、高分辨率成像模块2013、高动态成像模块2014、红外成像模块2015以及深度成像模块2016)的机械分布情况。

[0102] 参见图3所示，本发明提供的一种复杂场景多模态生物特征图像获取装置包括装置外壳300，所述装置外壳的正面中心位置设置有主成像镜头303，所述主成像镜头303用于为高分辨率成像模块2013(高分辨率成像模块)和高动态成像模块2014(高动态成像模块)提供入射光镜头通路。

[0103] 需要说明的是，对于本发明，所述高分辨率成像和高动态成像共用由主成像镜头303提供的同一主成像光路，主成像光路采用望远结构设计，孔径大，可以满足对场景大范围成像需要；经主成像光路的光线经一组半反半透镜分别入射到面阵图像传感器(一种高分辨率图像传感器)和高动态图像传感器组，分别用于高分辨率成像和高动态范围成像；所述高动态传感器组由两个具有不同曝光系数的高动态传感器组成。

[0104] 在本发明中，所述主成像镜头303的左侧设置有红外成像镜头304，作为红外成像模块2015的入射光镜头通路；所述主成像镜头303的右侧设置有深度成像镜头305(具体为TOF深度成像镜头)，作为深度成像模块2016的入射光镜头通路；

[0105] 所述装置外壳的正面四周分别均匀分布有四个光场成像镜头组306，每一组由4个光场成像镜头子镜头组成，作为光场成像模块2012的入射光镜头通路，每上下两个光场成像子镜头构成一个光场成像模块单元。需要说明的是，光场成像模块具有的光场成像镜头组306不限于如图3所示的四个，还可以是不少于两个的任意多个。

[0106] 在本发明中，参见图3，所述光场成像镜头组306、红外成像镜头304和深度成像镜头305的周围分别有多个多光谱光源302，由所述多个多光谱光源302组成多光谱光源模块2011。也就是说明，所述多光谱光源模块2011呈阵列式分布于所述光场成像镜头组306、红外成像镜头304和深度成像镜头305的周围。

[0107] 图4为本发明提供的主动多元成像系统光路结构示意图，表示了光场成像模块2012、高分辨率成像模块2013、高动态成像模块2014、红外成像模块2015以及深度成像模块
2016的光路构成。

[0108] 一并参见图3、图4，其中2011为多光谱光源模块，呈阵列式分布于成像模块的四周，通过逻辑控制平台202来进行驱动控制，为多元成像模块(包括光场成像模块2012、高分辨率成像模块2013、高动态成像模块2014、红外成像模块2015以及深度成像模块2016)提供多光谱的补偿照明。

[0109] 主成像光路402包括主成像镜头303，采用望远结构设计，位于主动多元成像单元201的中心位置，对大范围的预设拍摄场景的物方光束进行会聚，会聚后的光线经第一半反半透棱镜403分为透射光束和反射光束，其中，透射光束入射到面阵图像传感器(一种高分辨率图像传感器)404而生成大视场的高分辨率图像，面阵图像传感器404为采用集成电路封装技术加工得到；反射光束投射给第二半反半透棱镜405，第二半反半透棱镜405输出的透射光束和反射光束分别投射到两个高动态图像传感单元406，每个高动态图像传感单元
406包括一个成像镜头和一个高动态图像传感器，其中成像镜头用于将入射光线进行会聚后投射到对应的传感器上，两个高动态传感成像单元的不同之处为各自的高动态图像传感器具有不同的曝光系数，可获得曝光不同的同一视场图像，以实现高动态成像。

[0110] 红外成像模块2015位于主成像镜头303的一侧，如图4中所示，用于对场景进行红外成像，由红外成像镜头和红外成像传感器组成，入射光经红外成像镜头会聚后投射到其后端的红外成像传感器上，完成红外成像过程。

[0111] 深度成像模块2016位于主成像镜头303的一侧，如图4中所示，用于对场景进行深度成像，获取场景深度信息；所述深度成像模块2016由深度成像镜头和深度成像传感器组成，入射光经深度成像镜头会聚后投射到其后端的深度成像传感器上，完成深度成像过程。

[0112] 光场成像模块2012位于主成像光路402的四周，每四个光场成像镜头为一组，如图3中所示，上下两个为一个光场成像单元410，如图4所示，所述光场成像单元410包括两个光场成像镜头411、两个第一反射镜412、两个第二反射镜413、一个半反半透棱镜414、两个视场拼接镜头415、一个虹膜成像传感单元416和一个人脸成像传感单元418；

[0113] 其中，每个所述光场成像镜头411的正后方倾斜分别设置有一个所述第一反射镜412，两个所述第一反射镜412的纵向中间位置倾斜设置有两个第二反射镜413，所述两个第二反射镜413的正后方倾斜分别设置有一个半反半透棱镜414；

[0114] 所述半反半透棱镜414左端与水平面的夹角为锐角；所述半反半透棱镜414的正下方和正右侧分别设置有一个所述视场拼接镜头415，其中，位于所述半反半透棱镜414的正下方的视场拼接镜头415与一个人脸成像传感单元418相连接，位于所述半反半透棱镜414的正右侧的视场拼接镜头415与一个虹膜成像传感单元416相连接。

[0115] 参见图4，对于光场成像模块2012，每四个光场成像镜头411为一组，每一个光场成像镜头组306包括两个光场成像单元410，如图4中所示，所述红外成像模块2015的上方和深度成像模块2016的下方分别具有一个所述光场成像单元410(实际包括两个，为了图4显示方便，只画出一个光场成像单元410示意)，入射光经上下两个光场成像镜头411会聚后分别投射到对应的第一反射镜412上，光场成像镜头411采用望远结构设计，以接受拍摄场景的多视角入射光束，第一反射镜412可以对入射光线进行反射；第一反射镜412的反射光线再经另外一组第二反射镜412反射后投射到半反半透棱镜414上；经过半反半透棱镜414后光线分为透射光束和反射光束，其中，透射光束入射到视场拼接镜头415，将上下两个光路得到的光束进行视场合并，再投射到其后端的高分辨率的虹膜成像传感单元416，高分辨率虹膜成像传感单元由微透镜阵列组和紧置于其后的采用集成电路封装技术加工的高分辨率虹膜光场成像传感器组成，而反射光束入射到视场拼接镜头415，将上下两个光路得到的光束进行视场合并，再投射到其后端的微透镜阵列形式的高分辨率的人脸成像传感单元418，高分辨率人脸成像传感单元由微透镜阵列组和紧置于其后的采用集成电路封装技术加工的高分辨率人脸光场成像传感器组成，也就是说光场成像模块2012通过其包括的所述高分辨率虹膜成像传感单元和高分辨率人脸成像传感单元，可以最终完成多视角大视场的虹膜、人脸光场成像。

[0116] 参见图5，基于上述本发明提供的一种复杂场景多模态生物特征图像获取装置的应用场景如图所示。本发明提供的装置可以获取多目标(例如用户2000)的虹膜、人脸和步态图像信息，实现“多模态、多目标、多维度”的生物特征信息有效获取。

[0117] 本发明所提供的装置1000具有虹膜生物特征有效感知区域1001，以及具有人脸和步态生物特征有效感知区域1002；具体实现上，经过检测，其中，虹膜生物特征有效感知区域1001的范围大概为距装置1000距离为1m(L1)至5m(L2)的区域范围；人脸和步态生物特征有效感知区域1002为距装置1000距离为5m(L2)-15m(L3)的区域范围。

[0118] 此外，本发明提供的装置100可在虹膜生物特征有效感知区域1001内获取多目标的虹膜2D图像，以及可以在人脸和步态生物特征有效感知区域1002内的较近区域(距装置1000距离为5m-8m范围内)获取多目标人脸和步态的3D图像，在较远区域(距装置1000距离为8m-15m范围内)获取多目标人脸和步态的2D图像。对于本发明，其以生物特征识别为应用背景，面向现实复杂场景条件(如室外大范围且背景复杂、环境光照变化、目标人群多且存在运动、姿态变化及相互遮挡等情况)，通过光电技术、视觉计算技术等领域的技术融合与创新，对大范围内的虹膜、人脸、步态多模态生物特征进行有效检测获取，并层次化获取多模态生物特征的多维图像信息，在生物识别、视频监控、智能安防等领域具有广阔的应用前景。

[0119] 此外，本发明还可以通过生物特征场景感知与建模系统和多模态生物特征主动感知系统对真实物理场景进行感知建模、对目标进行检测定位，为主动多元成像系统提供反馈校正，完成室外大范围且背景复杂、昼夜和光照变化等条件下场景的目标生物特征感知，实现多场景多模态生物特征信息的鲁棒控制成像，利用成像端与算法端的协同有效控制来保障高质量的多元数据获取。

[0120] 另外，本发明突破了传统生物特征获取设备成像景深有限且目标对象单一的局限，利用光场成像等计算成像技术，实现对处于场景不同深度的多目标生物特征进行选择性成像，不仅扩大场景的成像景深，亦可有选择性的确定成像平面，提高成像质量同时增强仪器设备的灵活性；针对复杂环境中多目标之间产生人群遮挡问题，本发明以深度信息为先验知识，利用相关计算成像技术，对场景目标的遮挡物进行识别、分割和剔除，实现对多人群目标环境下的生物特征信息更为全面精细的感知。

[0121] 综上所述，与现有技术相比较，本发明提供了一种复杂场景多模态生物特征图像获取方法及其装置，其可以对现实复杂场景条件(如室外大范围且背景复杂、环境光照变化、目标人群多且存在运动、姿态变化及相互遮挡等情况)下多个用户的生物特征进行多模态识别，满足复杂成像场景中多用户的身份识别需求，实现对大范围内的虹膜、人脸、步态多模态生物特征进行有效获取，进一步提高识别的准确性，实现远距离、高分辨、高速的多模态生物特征识别，有利于提高用户的产品使用感受，具有重大的生产实践意义。

[0122] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

标题	发布/更新时间	阅读量
V2V主动安全系统	2020-05-11	594
主动消磁系统	2020-05-11	597
主动笔、主动笔触控系统及方法	2020-05-12	552
主动悬挂系统	2020-05-12	12
主动降噪方法、主动降噪系统和耳机	2020-05-12	214
主动返回系统	2020-05-12	714
主动振动隔离系统	2020-05-13	679
主动减振系统	2020-05-11	157
智能主动-主动式高可用性DAS系统	2020-05-12	388
主动式防火系统	2020-05-13	728

一种复杂场景多模态生物特征图像获取方法及其装置

一种复杂场景多模态生物特征图像获取方法及其装置

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：