一种多视角小白鼠动态三维重建方法专利检索-动作捕捉视听技术与设备专利检索查询-专利查询网

一种多视角小白鼠动态三维重建方法

阅读：231发布：2020-05-08

专利汇可以提供一种多视角小白鼠动态三维重建方法专利检索，专利查询，专利分析的服务。并且本发明涉及一种多视角小白鼠动态三维重建方法，其特征在于，所述方法包括以下步骤：步骤S101，多视角同步视频序列采集；步骤S102，二维小白鼠骨架节点数据集标注；步骤S103，二维小白鼠骨架节点检测神经网络训练；步骤S104，摄像头标定；步骤S105，三维小白鼠骨架节点估计；步骤S106，基于模板的线性混合蒙皮网格变形。本发明通过多视角三维视觉技术捕捉小白鼠三维动作，直观、全面地获取小白鼠的行为模式和体型变化，相较于以往基于二维图片的行为分析更具医学观察价值。，下面是一种多视角小白鼠动态三维重建方法专利的具体信息内容。

权利要求

1.一种多视角小白鼠动态三维重建方法，其特征在于，所述方法包括以下步骤：
步骤S101，多视角同步视频序列采集；
步骤S102，二维小白鼠骨架节点数据集标注；
步骤S103，二维小白鼠骨架节点检测神经网络训练；
步骤S104，摄像头标定；
步骤S105，三维小白鼠骨架节点估计；
步骤S106，基于模板的线性混合蒙皮网格变形。
2.根据权利要求1所述的多视角小白鼠动态三维重建方法，其特征在于，所述步骤S101，多视角同步视频序列采集，具体如下，多路广角3.5mm焦距摄像头通过usb连接到计算机，同步采集小白鼠活动二维图像数据，并存储成多视角视频序列。
3.根据权利要求1所述的多视角小白鼠动态三维重建方法，其特征在于，所述步骤S102，二维小白鼠骨架节点数据集标注，具体如下：对小白鼠活动二维图像数据进行节点标注，构建二维小白鼠骨架节点标注图数据库，小白鼠骨架节点数为33，抽象表达头、躯干、四肢和尾巴。
4.根据权利要求1所述的多视角小白鼠动态三维重建方法，其特征在于，所述步骤S103，二维小白鼠骨架节点检测神经网络训练，具体如下：根据二维小白鼠骨架节点标注图数据库，对卷积神经网络进行训练，使用了编码-解码的网络结构作为网络的主干。
5.根据权利要求1所述的多视角小白鼠动态三维重建方法，其特征在于，所述步骤S104，摄像头标定，具体如下，先对每个摄像头进行单目标定确定摄像头内参，使用经典张正友标定法并使用其方法中k1、k2、p1、p2四个畸变参数；再同时估计所有摄像头外参，使用的是基于随机特征图案的多目标定法。
6.根据权利要求1所述的多视角小白鼠动态三维重建方法，其特征在于，所述步骤S105，三维小白鼠骨架节点估计，具体如下，读取多视角视频序列的同步帧，通过训练好的卷积神经网络获得多视角的二维小白鼠骨架节点，再据相机内参和外参，使用最小二乘法求解超定方程估计三维小白鼠骨架节点。
7.根据权利要求1所述的多视角小白鼠动态三维重建方法，其特征在于，所述步骤S106，基于模板的线性混合蒙皮网格变形，具体如下，根据获取的三维小白鼠骨架节点和小白鼠模板三维网格模型，通过线性混合蒙皮对小白鼠模板三维模型进行网格变形，得到小白鼠的三维模型。

说明书全文

一种多视角小白鼠动态三维重建方法

[0001]

技术领域

[0002] 本发明涉及了一种多视角小白鼠动态三维重建方法，属于计算机视觉中的三维重建和动作捕捉技术领域。

背景技术

[0003] 计算机视觉领域，三维重建研究广泛地吸引着研究者的兴趣。从使用的相机数量上区分，三维重建可分为一下三类：单目三维重建，双目三维重建和多目三维重建。早期的单目三维重建中，具有代表性的有阴影恢复形状法，其受光照和模型形状影响较大，不能解决绝大多数问题。近期的单目三维重建围绕基于深度学习方法恢复三维结构。双目三维重建利用对极几何原理，通过计算视察获取深度。但是双目视觉视角受限，应用于深度获取的场景较多，如自动驾驶领域。多目三维重建通过多个视角获取物体二维图片，通过预标定或者自标定方法获取相机内外参数，再匹配特征点，恢复物体三维深度信息。多目重建发挥多个视角的优势可以精细化重建物体的三维模型，是各种三维重建方案中实际应用较多的一种。但是设备开销和计算开销较大，很难实现实时重建。

[0004] 实验小白鼠是生物医学中用量最大、用途最广、品种品系最多的实验动物。小白鼠由于其基因和人类较为接近，并且培育简单，数量庞大，目前它已被用于包括癌症研究在内的整个生物医学领域。获取小白鼠的临床行为和体态变化信息，在医学多个领域具有重要意义，尤其在动物行为学分析领域有直接应用。目前，针对动物行为学分析与监控有多种商业解决方案中，但是均采用单目摄像头监控方式，缺失动物活动的三维特征信息。单目二维图像分析，受到动物活动的自遮挡影响严重，不能有效获取准确的动物活动的动作和体型，结果粗略，有一定的错误率，因此，迫切的需要一种新的方案解决上述技术问题。

发明内容

[0005] 本发明正是针对现有技术中存在的问题，提供一种多视角小白鼠动态三维重建方法，该技术方案通过多视角系统和神经网络，动态恢复小白鼠的三维模型，以获取带有丰富三维信息的小白鼠行为模式和体型特征，更有利于临床观察和行为学研究。

[0006] 为了实现上述目的，本发明的技术方案如下，一种多视角小白鼠动态三维重建方法，其特征在于，所述方法包括以下步骤：步骤S101，多视角同步视频序列采集；
步骤S102，二维小白鼠骨架节点数据集标注；
步骤S103，二维小白鼠骨架节点检测神经网络训练；
步骤S104，摄像头标定；
步骤S105，三维小白鼠骨架节点估计；
步骤S106，基于模板的线性混合蒙皮网格变形。

[0007] 作为本发明的一种改进，所述步骤S101，多视角同步视频序列采集，具体如下，多路广角3.5mm焦距摄像头通过usb连接到计算机，同步采集小白鼠活动二维图像数据，并存储成多视角视频序列。3.5mm广角镜头采集的画面角度更广，短焦距带来的长景深，保证了小鼠在视野范围内活动时不会产生因为摄像头虚焦导致的模糊，保证三维重建的精度。

[0008] 作为本发明的一种改进，所述步骤S102，二维小白鼠骨架节点数据集标注，具体如下：对小白鼠活动二维图像数据进行节点标注，构建二维小白鼠骨架节点标注图数据库，小白鼠骨架节点数为33，抽象表达头、躯干、四肢和尾巴。这样既很好地描述了小鼠的骨骼结构，又不失灵活性，可以表征小鼠的各种活动和体态特征。

[0009] 作为本发明的一种改进，所述步骤S103，二维小白鼠骨架节点检测神经网络训练，具体如下：根据二维小白鼠骨架节点标注图数据库，对卷积神经网络进行训练，使用了编码-解码的网络结构作为网络的主干，易于训练且运行快速。

[0010] 作为本发明的一种改进，所述步骤S104，摄像头标定，采用分步标定，先标定每个摄像头的内部参数，在估计外部参数，具体如下，先对每个摄像头进行单目标定确定摄像头内参，使用经典张正友标定法并使用其方法中k1、k2、p1、p2四个畸变参数；再同时估计所有摄像头外参，使用的是基于随机特征图案的多目标定法。这样可以精准建立每个摄像头的畸变模型，提升标定精度，消除广角镜头的图像畸变对重建带来的影响。

[0011] 作为本发明的一种改进，所述步骤S105，三维小白鼠骨架节点估计，具体如下，读取多视角视频序列的同步帧，通过训练好的卷积神经网络获得多视角的二维小白鼠骨架节点，再据相机内参和外参，使用最小二乘法求解超定方程估计三维小白鼠骨架节点。多视角的图像解决了单视角的节点遮挡问题，更加精确地估计出小白鼠的三维骨架节点位置作为本发明的一种改进，所述步骤S106，基于模板的线性混合蒙皮网格变形，具体如下，根据获取的三维小白鼠骨架节点和小白鼠模板三维网格模型，通过线性混合蒙皮对小白鼠模板三维模型进行网格变形，得到小白鼠的三维模型。得到的小白鼠的三维模型描述了小白鼠的三维体态特征。

[0012] 相对于现有技术，本发明具有如下优点，该技术方案通过多视角系统，可以全方位采集小白鼠活动视频数据，并获取小白鼠的三维模型。该方案解决了单目摄像头方法存在的自遮挡问题。相较于传统二维视频记录方法，该方法获取三维小鼠的动态三维模型，丰富了行为分析研究的信息源，直观准确地反映了小鼠的行为和体态模式。附图说明

[0013] 图1是本发明实施例的多视角小白鼠动态三维重建方法的流程图；图2是本发明实施例中使用的实验小白鼠模型的示意图，
其中：上：侧视图，中：俯视图，下：顶视图。

[0014] 具体实施方式：为了加深对本发明的理解，下面结合附图对本实施例做详细的说明。

[0015] 实施例1：参见图1，一种多视角小白鼠动态三维重建方法，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

[0016] 图1为本发明实施例的多视角小白鼠动态三维重建方法的流程图，下面参照图1，详细说明各步骤。

[0017] 如图1所示，该多视角小白鼠动态三维重建方法包括以下步骤：在步骤S101中，进行多视角同步视频序列采集，将八个焦距为3.5mm的Webcam摄像头通过usb连接到计算机主机。该计算机主机的主板经过改进，拥有多达8个usb连接口。不同于USB集线器方案，其多摄像头共用一个原生口并分时读取，该主机可以同时打开8路摄像头和读取摄像头数据，且带宽足够同时采集8路视频。视频分辨率为640×480，帧率为30fps时，该硬件系统可保证持续有效采集。

[0018] 进一步地，采集程序使用OpenCV开源计算机视觉处理库编写，底层摄像头驱动使用了微软流媒体开发包DirectShow。摄像头之间按操作系统内部设备号区分。在单次程序循环中，顺序访问所有摄像头，并将摄像头采集的数据读入内存并写入硬盘。多路视频序列实现了帧同步。由于实际运行误差，不同视频同步帧存在小于20ms的实际物理延迟。视频采用霍夫曼无损的编解码器（Huffman Lossless Codec）编码，存储格式为无损avi格式文件。

[0019] 在步骤S102中，标注二维小白鼠骨架节点数据集。小白鼠骨架被抽象成经由33个节点连接的骨架模型。根据这个骨架模型，标注采集的二维小白鼠图像数据。对于二维小白鼠图像数据中每一张图，人工判断骨架模型在其图像平面的投影，标注二维小白鼠骨架节点位置，不可见点亦标注为不可见。拍摄环境背景单一，小白鼠目标单一，标注的数据集总量为3K。标注的二维小白鼠图像数据作为下一步的训练集。

[0020] 在步骤S103中，对二维小白鼠骨架节点检测神经网络进行训练；使用的网络结构与全卷积网络相似并且易于训练。编码-解码的网络结构被用作网络的主干进行小鼠二维接节点检测。

[0021] 在步骤S104中，标定摄像头，获取所有相机内参和外参：采用的3.5mm摄像头属于广角镜头，有较大的镜像畸变，也包含一定的切向畸变。先需要对所有摄像头进行单目相机标定，获取焦距、主点和畸变参数，为计算机视觉领域的相机内参。相机内参标定采用传统张正友标定法，设定畸变模型包含k1、k2、p1、p2四个畸变参数。实际标定采用9×12棋盘格标定，单次标定采集100张棋盘格标定图片进行标定。单目标定结果使用常见的重投影误差作为标定评价指标。单目相机标定的重投影误差为亚像素级别，约为0.2px。

[0022] 进一步地，进行多目相机标定：使用基于随机特征图案的多目标定法标定相机的位置和旋转角度，为计算机视觉领域的相机外参。随机特征图案为随机灰度值图案，包含大量计算机视觉特征。相机外参标定使用三维视觉领域常用SFM（StructureFromMotion）算法。多目标定结果亦使用重投影误差作为标定评价指标。多目相机标定重投影误差为亚像素级别，约为0.3px。

[0023] 在步骤S105中，通过训练得到的二维小白鼠骨架节点检测，估计三维小白鼠骨架节点：在多视角视频序列数据中的提取同步帧画面，使用训练好的卷积神经网络获得多视角的二维小白鼠骨架节点。再据相机内参和外参，建立三维小白鼠骨架节点坐标位置的超定矩阵方程，并使用最小二乘法求解估计三维小白鼠骨架节点。

[0024] 在步骤S106中，基于模板的线性混合蒙皮网格变形：小白鼠模板三维网格模型被设计带有33个骨架节点。上一步骤求解出的三维小白鼠骨架节点估计，作为网格变形的目标骨架节点位置。通过线性混合蒙皮算法，得到最终网格变形后的小白鼠的三维模型。

[0025] 需要说明的是上述实施例，并非用来限定本发明的保护范围，在上述技术方案的基础上所作出的等同变换或替代均落入本发明权利要求所保护的范围。

标题	发布/更新时间	阅读量
温度计、密封容器、及保温杯	2020-05-08	855
基于相似性度量的机械臂仿人运动示教方法	2020-05-12	780
一种基于电场可视化的带电作业培训方法和系统	2020-05-11	690
一种基于运动生理参数实时反馈的正念运动康复装置及其方法	2020-05-12	785
一种可视化盾构机管片拼装系统	2020-05-12	829
基于虚拟现实的培训方法、系统和电子设备	2020-05-13	134
一种汽车电磁阀的电流响应时间测试装置及测试方法	2020-05-12	582
一种鱼类捕捉工具及应用该鱼类捕捉工具的捕鱼装置	2020-05-11	268
汽车储物盒开启时间测量装置	2020-05-13	922
一种无标记光学面部表情捕捉摄像头装置	2020-05-08	851

一种多视角小白鼠动态三维重建方法

一种多视角小白鼠动态三维重建方法

技术领域

背景技术

发明内容

该功能需要专业版企业版VIP权限，您可以：