一种视觉传感网络的快速通用标定方法专利检索-共中心点道集自然灾害的预防与保护专利检索查询-专利查询网

一种视觉传感网络的快速通用标定方法

阅读：849发布：2020-05-17

专利汇可以提供一种视觉传感网络的快速通用标定方法专利检索，专利查询，专利分析的服务。并且本发明公开一种视觉传感网络的快速通用标定方法，包括如下步骤：步骤一、视觉传感网络的内参标定；步骤二、双摄像机标定；步骤三、多摄像机标定；步骤四、全局标定。本发明方法所覆盖的范围广；其次，本发明要求摄像机内参标定在整个系统布局之前完成，即将摄像机内参作为已知量，减小待优化变量个数，可以简化整个优化过程；再次，在特征点对的最优提取过程中，本发明提出了一种基于k-means++ 算法来筛选出k组分散均匀的匹配点对，效率上更高；最后在多摄像机标定过程中，无向连接图的创建是以双摄像机标定的反投影误差作为权重值，提高了优化效率。因此本发明标定工具结构简单，易于设计与制作，标定过程简单便捷，标定精度高。，下面是一种视觉传感网络的快速通用标定方法专利的具体信息内容。

权利要求

1.一种视觉传感网络的快速通用标定方法，其特征在于：该方法的具体步骤如下：
步骤一、视觉传感网络的内参标定
利用标准棋盘格，对视觉传感网络中用的摄像机进行内参数标定，即估计每个摄像机的内参数内参数标定完成后，
在整个标定过程中其值保持不变；
步骤二、双摄像机标定
S21、特征点的检测与提取
首先，利用OpenCV自带的函数对图像数据预处理，依次包括阈值化处理cv::threshold函数、高斯平滑处理cv::GaussianBlur函数、轮廓获取cv::findContours函数；然后提取每个轮廓的中心点作为特征点坐标；
S22、最优匹配点对的获取：根据步骤S21可以得到两个摄像机获取的特征点对，然后根据三点共线原则以及长度比例关系剔除掉一部分特征点对，得到一系列匹配点对；接着基于k-means++算法筛选出k组分散均匀的匹配点对；
S23、外参数的初始化；包括：像素坐标转换为球面坐标m0j,m1j；由对应点求本质矩阵由本质矩阵求外参数
S24、捆绑调整：对于第j对图像，根据三维重建公式和步骤S23求解出的外参数，可以求解出
步骤三、多摄像机标定
S31、根据双摄像机标定构建无向连接图
首先对所有的摄像机分别进行两两标定，得到每组摄像机的反投影误差，将此误差作为权重，构建该视觉传感网络的无向连接图；图中每个顶点表示单个摄像机，每条边代表权重值，由求出来的反投影误差表示；
S32、外参数的初始化
根据构建的无向连接图，利用Dijkstra最短路径法来寻找参考摄像机到其它摄像机的最优路径，结合双摄像机标定结果，可以得到参考摄像机到其它摄像机的转换关系；
S33、捆绑调整；
步骤四、全局标定
全局标定是利用标定三角板，设置原点，将参考坐标系从第0号摄像机变换到三角板所建立的地球固连坐标系{e}＝{oexeyeze}。
2.根据权利要求1所述的一种视觉传感网络的快速通用标定方法，其特征在于：步骤S22所述的基于k-means++算法筛选出k组分散均匀的匹配点对，具体流程如下：
(1)初始化：值，已知两摄像机对应的匹配点对
将其增广为四维特征点
作为新的数据集
(2)从数据集中随机选取一个样本作为初始聚类中心
(3)首先计算数据集中每个样本于当前聚类中心之间的最短距离，即与最近的一个聚类中心的距离，用D(x)表示；接着计算每个样本被选为下一个聚类中心的概率最后按照轮盘赌算法选择出下一个聚类中心；
(4)重复步骤(3)直到选择出k个聚类中心。
3.根据权利要求1所述的一种视觉传感网络的快速通用标定方法，其特征在于：
所述步骤四全局标定的具体过程如下：
将三角板水平任意放置在地面，其上设置四个反光小球重建各个摄像机坐标系相对于惯性坐标系的外参数；根据四个反光小球四点的空间位置关系，可以知道他们分别在惯性坐标系下的空间坐标eM；
已知空间点M在惯性系下的坐标eM，利用前三个步骤得到的标定结果
则可以求解M点在第i号摄像机坐标系下的坐标：
其中由公式
求出，里面只有变量则可以直接利用反投影得到M点在第i号摄像机的图像坐标，接着直接利用LM算法最小化重投影误差得到最后，根据公式(ii)可以得到所有摄像机相对于地球固连坐标系的位姿信息

说明书全文

一种视觉传感网络的快速通用标定方法

技术领域

[0001] 本发明涉及一种视觉传感网络的快速通用标定方法，属于视觉传感网络领域。

背景技术

[0002] 随着电子器件、通讯技术以及信号处理等技术的不断发展，视觉传感网络在各个方面得到广泛的应用，比如民用跟踪、视觉定位、交通流量监测、运动捕捉系统等。视觉传感网络由多个摄像机组成，每个摄像机可以对其视场范围内的局部区域进行观测并反馈数据，基于所有摄像机获取得到的图像数据，可以开发各种应用。对于某些要求大范围跟踪定位的应用，视觉传感网络的摄像机参数标定是至关重要的环节，其标定结果的精度以及算法的稳定性直接影响着摄像机工作产生结果的准确性，直接决定了后续基于图像来测量环境特征的结果好坏。现有的标定方法大多依赖于高精度的标准件(比如电子经纬仪，红外扫描仪)，该方法虽然精度高，但是这些标准件的加工精度要求高，增加成本，而且在标定过程中安装复杂。而且目前大多标定方法仅仅针对于某些特定的摄像机，比如普通针孔摄像机或者广角摄像机，适应范围受限。因此，本申请提出了一种视觉传感网络的快速通用标定方法，该方法广泛适用于普通、广角和鱼眼摄像机，而且不需要依赖高精度的标准件，仅需要结构简单的一维标定杆和二维三角板，操作快速简便，标定结果精确。

[0003] 中国发明专利ZL201310303466.4(以下称“在先专利”)，提出了一种基于一维标定杆的普通、广角、鱼眼立体摄像机的通用标定方法，该方法利用简化的摄像机模型，内参数目少，在镜头有大畸变的时候不适合，而且内参数作为优化变化，增加优化难度；多摄像机标定算法简单，扩展性差，不适宜大范围标定。

发明内容

[0004] 本发明提供了一种视觉传感网络的快速通用标定方法，它解决了在大视场范围内多摄像机系统全局标定困难的问题，而且该方法适用于大部分摄像机模型，比如常用的针孔摄像机以及广角摄像机，标定工具结构简单，易于设计与制作，标定过程简单便捷，标定精度高，实用性好。

[0005] 本发明一种视觉传感网络的快速通用标定方法，具体步骤如下：

[0006] 步骤一、视觉传感网络的内参标定

[0007] 本部分的主要目的是利用标准棋盘格，对视觉传感网络中用的摄像机进行内参数标定，即估计每个摄像机的内参数其中，mu,mv分别为水平方向和垂直方向上单位长度的像素数目，u0,v0为主点坐标。k1,k2,k3,k4,k5是公式(3)中的参数，这九个参数表征摄像机的内参数。其中上标i表示摄像机序号，即总共有M个摄像机。内参数标定完成后，在整个标定过程中其值保持不变；即提前对每个摄像机进行内参数标定，在后续多相机系统的标定当中，这些标定的内参数直接作为已知量，减小待优化变量个数，大大简化整个优化过程。

[0008] 步骤二、双摄像机标定

[0009] S21、特征点的检测与提取

[0010] 首先，利用OpenCV自带的函数对图像数据预处理，依次包括阈值化处理cv::threshold函数、高斯平滑处理cv::GaussianBlur函数、轮廓获取cv::findContours函数；
然后提取每个轮廓的中心点作为特征点坐标；

[0011] S22、最优匹配点对的获取：根据步骤S21可以得到两个摄像机获取的特征点对，然后根据三点共线原则以及长度比例关系剔除掉一部分特征点对，得到一系列匹配点对。接着基于k-means++算法筛选出k组分散均匀的匹配点对。流程如下：

[0012] (1)初始化：值，已知两摄像机(假设为0号和1号摄像机)对应的匹配点对将其增广为四维特征点作为新的数据集

[0013] (2)从数据集中随机选取一个样本作为初始聚类中心

[0014] (3)首先计算数据集中每个样本于当前聚类中心之间的最短距离(即与最近的一个聚类中心的距离)，用D(x)表示；接着计算每个样本被选为下一个聚类中心的概率最后按照轮盘赌算法选择出下一个聚类中心；

[0015] (4)重复步骤(3)直到选择出k个聚类中心。

[0016] S23、外参数的初始化；包括：像素坐标转换为球面坐标m0j,m1j；由对应点求本质矩阵由本质矩阵求外参数

[0017] S24、捆绑调整：上述过程中得到的解，可以通过捆绑调整，进一步提高标定精度。本步骤主要是根据摄像机模型(3)-(6)和三维重建公式(17)，剔除部分误差大的图像点，并最小化所有点的重投影误差，最后对摄像机参数和三维空间点同时进行整体优化。

[0018] 步骤三、多摄像机标定

[0019] S31、根据双摄像机标定构建无向连接图

[0020] 首先对所有的摄像机分别进行两两标定，得到每组摄像机的反投影误差，将此误差作为权重，构建该视觉传感网络的无向连接图；图中每个顶点表示单个摄像机，每条边代表权重值，由求出来的反投影误差表示；

[0021] S32、外参数的初始化

[0022] 根据构建的无向连接图，利用Dijkstra最短路径法来寻找参考摄像机到其它摄像机的最优路径，结合双摄像机标定结果，可以得到参考摄像机到其它摄像机的转换关系；

[0023] S33、捆绑调整步骤四、全局标定

[0024] 全局标定是利用标定三角板，设置原点，将参考坐标系从第0号摄像机变换到三角板所建立的地球固连坐标系{e}＝{oexeyeze}。具体过程如下：

[0025] 将三角板水平任意放置在地面，其上设置四个反光小球是为了重建各个摄像机坐标系相对于惯性坐标系的外参数；根据四个反光小球四点的空间位置关系，可以知道他们分别在惯性坐标系下的空间坐标eM。

[0026] 已知空间点M在惯性系下的坐标eM，利用前三个步骤得到的标定结果则可以求解M点在第i号摄像机坐标系下的坐标：

[0027]

[0028] 其中由公式

[0029]

[0030] 求出，里面只有变量则可以直接利用反投影得到M点在第i号摄像机的图像坐标，接着直接利用LM算法最小化重投影误差得到最后，根据公式(ii)可以得到所有摄像机相对于地球固连坐标系的位姿信息即我们需要求解的。

[0031] 本发明提出的针对一种视觉传感网络的快速通用标定方法，优点在于：标定工具结构简单，易于设计与制作，标定过程简单便捷，标定精度高，实用性好；具体如下：

[0032] 首先本发明针对的是一种大范围的视觉传感网络的标定研究，方法所覆盖的范围进一步扩大；其次，本发明要求摄像机内参标定在整个系统布局之前完成，即将摄像机内参作为已知量，减小待优化变量个数，可以简化整个优化过程；再次，在特征点对的最优提取过程中，本发明设计了一种基于k-means++算法来筛选出k组分散均匀的匹配点对，相比在先专利在效率上更高；最后，在多摄像机标定过程中，无向连接图的创建是以双摄像机标定的反投影误差作为权重值，提高了优化效率。附图说明

[0033] 图1是坐标系示意图；

[0034] 图2a、2b是本发明所利用的标定工具；

[0035] 图3a、3b是摄像机通用投影模型；

[0036] 图4是本发明的流程示意图；

[0037] 图5是摄像机标定所用的二维棋盘格靶标示意图；

[0038] 图6是仿真实验中视觉传感网络的一组无向连接图以及最短路径示意图

[0039] 图7是真实实验中视觉传感网络的一组无向连接图以及最短路径示意图

[0040] 图中符号说明如下：

[0041] 图1中的符号说明：{e}＝{oexeyeze}为地球固连坐标系，为摄像机坐标系，Aj,Bj,Cj,j＝1,2...N为空间自由移动的三个反射红外光小球，(aij,bij,cij)为第j 帧图像中三个小球分别在第i个摄像机的投影点。

[0042] 图2a、2b中的符号说明：A,B,C表示一维标定杆上的三个反红外光小球，D,E,F,G表示标定三角板上的四个反红外光小球，oe-xeye为地球固连坐标系的水平面。

[0043] 图3a、3b中的符号说明：{ocxcyczc}表示摄像机坐标系，o-xy为图像坐标系，eP和cP分别表示空间点在地球固连坐标系和摄像机坐标系下的坐标，m为该点的球面坐标，p＝[u v]T为该点在通用投影模型下的投影，p′为该点在线性模型下的投影，θ是光轴和入射光线的夹角，r是图像点和主点之间的距离，是径向方向和x轴正方向的夹角，为摄像机坐标系相对于地球固连坐标系的旋转矩阵和平移向量，mu,mv分别为水平方向和垂直方向上单位长度的像素数目，u0,v0为主点坐标，r(θ)在公式(3)中定义，其中k1,k2,k3,k4,k5为参数。

具体实施方式

[0044] 本发明中针对的一种视觉传感网络是由多个智能摄像机构成，图像处理过程分别在各个摄像机端实时完成，组成一个分布式网络，共同覆盖监测某个大区域。在整个系统标定过程中，摄像机参数结构、位置以及方位都要求保持不变，一旦之后过程中有所变动，则需要重新进行标定。本发明中采用的部分理论知识如下：

[0045] 1.坐标系定义

[0046] 整个标定过程中坐标轴定义如图1所示。主要包括两个坐标系：地球固连坐标系{e}＝{oexeyeze}和摄像机坐标系其中i＝0,1,…,M-1为摄像机序号，总共有M个摄像机。地球固连坐标系{e}是整个视觉传感器网络标定中的全局坐标系，其满足右手坐标系原则，oexeye一般设置于水平面，该坐标系是有结构已知的标定三角板决定。摄像机坐标系{ci}固连在每个摄像机机体。整个标定过程中用到的标定工具如图2所示，其中图2a是一根结构已知的标定杆，其上有三个反射红外光小球A,B,C，且其结构LAC,LAB已知，该标定杆在视域范围内自由移动，每一帧的三个小球Aj,Bj,Cj,j＝1,2...N分别在各个摄像机的投影点定义为(aij,bij,cij)。图2b是结构已知的二维标定三角板，其上有四个反红外光小球D,E,F,G且结构LDE,LEF,LEG已知。

[0047] 2.摄像机通用模型

[0048] 由于线性模型对于大广角的鱼眼摄像机不适用，因此，本发明采用一种适用于透视摄像机和鱼眼摄像机的通用成像模型，模型描述如下：

[0049] 透视成像模型可以用下式表示:

[0050] r1(f,θ)＝ftanθ(透视投影) (1)

[0051] 其中，θ是光轴和入射光线的夹角，f是摄像机的焦距，r1(f,θ)是图像点和主点之间的距离。相比之下，鱼眼镜头经常被设计成如下成像模型中的某个：

[0052]

[0053] 事实上，实际使用的镜头不是严格满足公式(1)和(2)中的五种投影模型。本发明采用了一种适用于透视摄像机和鱼眼摄像机的通用成像模型为：

[0054] r(θ)＝k1θ+k2θ3+k3θ5+k4θ7+k5θ9+… (3)

[0055] 实验发现，前五项可以很好地近似各种投影模型。因此，本发明选取的模型参数中仅含有5个参数k1,k2,k3,k4,k5。注意此处与在先专利不同之处是：在先专利仅利用前两个参数k1,k2，模型过于简化，而在实际相机系统里面考虑到镜头畸变问题，本发明利用前五个参数的描述更加准确。

[0056] 如图3a所示，oc-xcyczc表示摄像机坐标系，o-xy表示图像坐标系(单位：mm)。某空间点在以oc为中心的单位半球面上的投影是

[0057]

[0058] 空间点cP在鱼眼摄像机的成像点为p，然而它在透视摄像机的成像点为p′。我们可以得到p在图像坐标系o-xy的坐标为

[0059]

[0060] 其中，r(θ)在公式(3)中定义，是径向方向和x轴正方向的夹角。我们可以推导出如下式子以得到p的像素坐标为

[0061]

[0062] 其中，mu,mv分别为水平方向和垂直方向上单位长度的像素数目，u0,v0为主点坐标。因此，公式(3)-(6)描述了本发明中的通用摄像机模型，对于每个摄像机，其需要标定的内参数为根据以上描述，图3b描述了相对于地球固连坐标系的空间三维点eP经过通用投影模型映射到图像上的二维像素点p的具体过程，后续的内参标定、三维重建过程都需要用到此过程，此过程可以抽象为如下函数[0063]

[0064] 其中，定义为地球固连坐标系到摄像机坐标系的旋转矩阵和平移向量，它们表征着摄像机的外参数，结合内参数构成了整个视觉传感网络需要标定的参数。

[0065] 3.本质矩阵

[0066] 假设某三维空间点Mj在以为中心的单位半球面上和以为中心的单位半球面上的投影点分别为

[0067]

[0068] 由于m0j,m1j, 是共面的，因此推导可得到

[0069]

[0070] 其中，

[0071]

[0072] 进一步，(9)式可以改写成如下形式

[0073]

[0074] 其中，称为本质矩阵。

[0075] 4.三维重建

[0076] 假设某三维空间点在和的齐次坐标分别为

[0077]

[0078] 该点M在以为中心的单位半球面上和以为中心的单位半球面上的投影点分别为

[0079]

[0080] 那么，我们有

[0081]

[0082] 其中，s0,s1为尺度因子，且

[0083]

[0084] 对于单位球面上的每个图像点，尺度因子可以通过叉乘消除，这样产生三个方程，但只有两个是线性无关的。则可以得到如下线性方程组：

[0085]

[0086] 所以，对于m0,m1来说，可以推导出如下的四个独立方程

[0087] AM0＝b (16)

[0088] 根据式(22)，到目前为止，给定m0,m1, 空间点在参考摄像机坐标系下的坐标M0可以线性重建出来，可以直接根据最小二乘法得结果是：

[0089] M0＝(ATA)-1ATb (17)

[0090] 进一步来说，线性三维重建算法可以很容易地扩展到n(n＞2)个摄像机的三维重建。

[0091] 本发明一种视觉传感网络的快速通用标定方法，其主要流程见图4，主要包含以下三个部分：

[0092] 1)视觉传感网络的内参标定

[0093] 本部分的主要目的是利用标准棋盘格，对视觉传感网络中用的摄像机进行内参数标定，即估计每个摄像机的内参数内参数一经标定后，要求摄像机内部结构不能改变，比如镜头焦距、分辨率等保持不变。

[0094] 2)视觉传感网络外参标定

[0095] 本部分的主要目的是利用一维标定杆在视场范围内自由移动，来标定视觉传感网络中每个摄像机相对于参考摄像机的位姿信息，假设0号摄像机确定为参考摄像机，则需要估计每个摄像机坐标系{ci}相对于参考摄像机坐标系{c0}的旋转矩阵和平移向量根据摄像机数目，可以分为双摄像机标定和多摄像机标定，注意在多摄像机标定过程中，算法仍然需要进行双摄像机标定，即首先对所有的两个摄像机进行双摄像机标定。

[0096] 3)视觉传感网络全局标定

[0097] 本部分的主要目的是利用标定三角板，确定视觉传感网络的地球固连坐标系，以及每个摄像机在该坐标系下的全局位姿信息，即估计每个摄像机坐标系{ci}相对于地球固连坐标系{e}的旋转矩阵和平移向量

[0098] 本发明提出了一种视觉传感网络的快速通用标定方法，其实现步骤具体如下：

[0099] 步骤一：摄像机内参标定

[0100] 在具体实现过程中，本发明利用二维棋盘格标定板(如图5)作为靶标，在摄像机视场内多角度移动靶标，用摄像机采集不同方位的靶标图像，保证整个靶标尽量占满图片。这样就可以得到图片序列(至少5张)，接下来，直接利用https://github.com/DengMark/CameraCalibrator的摄像机标定工具箱进行标定，获取最终标定结果，我们需要标定的是每个摄像机的内参数 mu,mv分别为水平方向和垂直方向上单位长度的像素数目，u0,v0为主点坐标。k1,k2,k3,k4,k5是公式(3)中的参数，这九个参数表征摄像机的内参数。其中上标i表示摄像机序号，即总共有M个摄像机内参数标定完成后，在整个标定过程中其值保持不变；即提前对每个摄像机进行内参数标定，在后续多相机系统的标定当中，这些标定的内参数直接作为已知量，减小待优化变量个数，大大简化整个优化过程。

[0101] 步骤二：双摄像机标定

[0102] S21、特征点的检测与提取

[0103] 首先，利用OpenCV自带的函数对图像数据预处理，依次包括阈值化处理cv::threshold函数、高斯平滑处理cv::GaussianBlur函数、轮廓获取cv::findContours函数。
然后提取每个轮廓的中心点作为特征点坐标。利用图像矩的特点来计算中心坐标如下：

[0104]

[0105] 其中，图像矩的计算公式是：

[0106]

[0107] 其中，I(u,v)为图像在像素点(u,v)处的灰度值。

[0108] S22、最优匹配点对的获取

[0109] 根据步骤S21可以得到两个摄像机获取的特征点对，然后根据三点共线原则以及长度比例关系剔除掉一部分特征点对，得到一系列匹配点对。接着基于k-means++算法筛选出k组分散均匀的匹配点对(区别于在先专利，可以大大提高有效匹配点对的质量)，流程如下：

[0110] (5)初始化：值，已知两摄像机(假设为0号和1号摄像机)对应的匹配点对将其增广为四维特征点作为新的数据集

[0111] (6)从数据集中随机选取一个样本作为初始聚类中心

[0112] (7)首先计算数据集中每个样本于当前聚类中心之间的最短距离(即与最近的一个聚类中心的距离)，用D(x)表示；接着计算每个样本被选为下一个聚类中心的概率最后按照轮盘赌算法选择出下一个聚类中心；

[0113] (8)重复步骤(3)直到选择出k个聚类中心。

[0114] S23、外参数的初始化

[0115] (1)像素坐标转换为球面坐标m0j,m1j

[0116] 给定摄像机的内参数和第j对图像中的匹配点对坐标通过公式(3)-(6)可以分
别计算得到θ0j, θ1j, 进而求得对应的球面坐标m0j,m1j。具体计算过程如下：

[0117]

[0118] (2)由对应点求本质矩阵

[0119] 根据步骤S23中(1)给出的两摄像机对应的球面坐标点对以及公式(10)，利用OpenCv函数findFundamentalMat计算本质矩阵该函数参数可采用八点法求解。

[0120] (3)由本质矩阵求外参数

[0121] 对本质矩阵进行奇异值分解，假设奇异值分解为其中

[0122]

[0123] 则有如下四种可能解：

[0124]

[0125] 判断出正确组合的方法为:一维标定物上的特征点在空间中必然位于两摄像机的前方,即通过三维重建公式(17)出来的空间点的Z坐标恒为正。

[0126] 要说明的是，前面求解本质矩阵时，假设所以得到的平移向量和真实的平移向量之间差一个比例因子。尺度因子λ的计算公式为

[0127]

[0128] 其中，N是图像对的总数目，表示A,C的重建点(内外参数已知后，重建点坐标由公式(17)给出)。最后，平移向量的初始值为

[0129]

[0130] 到目前为止，我们得到了外参数的初始值。

[0131] S24、捆绑调整对于第j对图像，根据三维重建公式(17)和步骤S23求解出的外参数，可以求解出如果

[0132]

[0133] 那么，会从观测量中去掉第j对图像。由于三维空间点Aj,Bj,Cj是共线的，它们之间存在如下关系

[0134]

[0135] 其中，φj,θj是以Aj为中心的球面坐标，nj＝[sinφj cosθj sinφj sinθj cosφj]T表示一维杆的方向。

[0136] 最终，捆绑调整最小化如下式所示的重投影误差

[0137]

[0138] 其中，

[0139]

[0140]

[0141]

[0142] 其中，分别表示三维点Aj,Bj,Cj在第i号摄像机上的成像点(根据公式(7)得到)。该优化问题可以利用稀疏的Levenberg-Marquardt算法来解决优化问题，稀疏LM算法的优化工具箱可以在http://users.ics.forth.gr/～lourakis/sparseLM/上下载。

[0143] 步骤三：多摄像机标定

[0144] 该步骤是在摄像机数目多余2个时候需要进行的，不过对于大视场范围的视觉传感网络，其摄像机总数目一般都大于2，因此在实际标定过程中需要本步骤。

[0145] 1.根据双摄像机标定构建无向连接图

[0146] 首先对所有的摄像机分别进行两两标定，得到每组摄像机的反投影误差，将此误差作为权重，构建该视觉传感网络的无向连接图。图中每个顶点表示单个摄像机，每条边代表权重值，由求出来的反投影误差表示。

[0147] 2.外参数的初始化

[0148] 根据构建的无向连接图，利用Dijkstra最短路径法来寻找参考摄像机到其它摄像机的最优路径，结合双摄像机标定结果，可以得到参考摄像机到其它摄像机的转换关系(以旋转矩阵和平移向量表示)。

[0149] 假设从第i号摄像机到第j号摄像机的转换关系为第j号摄像机到第k号摄像机的转换关系为那么从第i号摄像机到第k号摄像机的转换关系为

[0150]

[0151] 如果从参考摄像机到某一摄像机的最优路径长度大于2(不能直接转换，需要中间的摄像机来转换)，则可以依次使用公式来覆盖整个路径。

[0152] 3.捆绑调整

[0153] 捆绑调整最小化如下式所示的重投影误差：

[0154]

[0155] 其中，

[0156]

[0157]

[0158]

[0159] 其中，分别表示三维点Aj,Bj,Cj在第i号摄像机上的成像点(根据公式(7)得到)。当所有的优化变量都有初始值之后，采用稀疏LM算法求解上述非线性优化问题。

[0160] 步骤四：全局标定

[0161] 全局标定是利用标定三角板，设置原点，将参考坐标系从第0号摄像机变换到三角板所建立的地球固连坐标系{e}＝{oexeyeze}。在实际操作中，一般是将三角板水平任意放置在地面(一般放置于所有摄像机覆盖区域中心处)，其上的四个反光小球是为了重建各个摄像机坐标系相对于惯性坐标系的外参数。三角板示意图如图2b所示。根据四个反光小球即图中D,E,F,G四点的空间位置关系，可以知道他们分别在惯性坐标系下的空间坐标eM。

[0162] 已知空间点M在惯性系下的坐标eM，利用前三个步骤得到的标定结果则可以求解M点在第i号摄像机坐标系下的坐标：

[0163]

[0164] 其中由公式

[0165]

[0166] 求出，里面只有变量则可以直接利用反投影得到M点在第i号摄像机的图像坐标，接着直接利用LM算法最小化重投影误差得到最后，根据公式(29)可以得到所有摄像机相对于地球固连坐标系的位姿信息即我们需要求解的。

[0167] 至此，一种视觉传感网络的快速通用标定方法已经完成。

[0168] 本发明提出了一种视觉传感网络的快速通用标定方法，并进行了仿真实验和真实实验验证。具体实施例如下：

[0169] 1.仿真实验

[0170] 仿真实验所用的电脑配置如下：Intel(R)Core(TM)i7-4790 CPU，主频3.6GHz，内存16GB；仿真所需的视觉数据是在Unity 3D平台上进行的(版本：Unity 5.6.0f3,64bit)。实验中采用8台摄像机覆盖10×10×2.5m区域，它们的相关参数一样，设置如下：图像分辨率640×480像素，焦距为4mm，像素尺寸为5.3μm，视场角为58.6°，帧率100Hz，摄像机采用本发明所提出的通用摄影模型，利用步骤一对摄像机内参进行标定，标定参数为：

[0171]

[0172] 仿真利用的标定工具如图2所示，我们在仿真中让标定杆自由移动，采集7000帧图像点数据，做了多组实验，最后记录每次标定后摄像机的反投影误差，结果见表1，误差表明反投影误差很小，在0.2个像素之内，说明本发明的标定算法精度高。同时，我们得到其中某一组标定中视觉传感网络的无向连接图以及最短路径示意图(见图6)，每个相机都有到参考摄像机(0号摄像机)的最短路径(粗实线表示)，且整个路径数量减小，说明本发明能够有效简化整个传感网络，获得比较好的结果。

[0173]

[0174]

[0175] 表1仿真实验中摄像机标定时反投影误差(单位：像素)

[0176] 另外，我们利用相同的点数据，将本发明方法与在先专利的方法进行多组实验对比，结果如表2，结果表明本发明的标定精度更高。

[0177]

[0178] 表2仿真实验中本发明与在先专利方法的反投影误差(单位：像素)

[0179] 2.真实实验

[0180] 真实实验采用5台摄像机覆盖5×5×2.5m的区域，摄像机均为CMOS智能摄像机(型号：SCZE130M-GEHD)，图像分辨率为640×480像素，焦距为4mm(镜头型号：AZURE-0420MM)，像素尺寸为5.3μm，视场角为77.32°，帧率100Hz，运行的电脑配置：Intel(R)Core(TM)i7-4790CPU，主频3.6GHz，内存16GB；摄像机采用本发明所提出的通用摄影模型。

[0181] 真实实验中利用的标定工具如图2所示，我们在视场范围内自由挥动标定杆，采集7000帧图像点数据，做了多组实验，最后记录每次标定后摄像机的反投影误差，结果见表3，误差表明反投影误差很小，在0.3个像素之内，说明本发明的标定算法精度高。同时，我们得到其中某一组标定中视觉传感网络的无向连接图以及最短路径示意图(见图7)，每个相机都有到参考摄像机(0号摄像机)的最短路径(粗实线表示)，且整个路径数量减小，说明本发明能够有效简化整个传感网络，获得比较好的结果。

[0182]实验组 1 2 3 4 5 6 7
0号摄像机 0.2107 0.1952 0.2204 0.1664 0.2144 0.1768 0.1989
1号摄像机 0.2296 0.2266 0.2376 0.2347 0.2386 0.2318 0.2233
2号摄像机 0.2129 0.1935 0.2046 0.2006 0.2185 0.1855 0.1914
3号摄像机 0.2139 0.2834 0.2483 0.2422 0.2308 0.2418 0.2556
4号摄像机 0.3054 0.3022 0.3028 0.2855 0.2917 0.3181 0.2929

[0183] 表3真实实验中摄像机标定时反投影误差(单位：像素)

[0184] 最后，我们利用相同的点数据，将本发明方法与在先专利的方法进行多组实验对比，结果如表4，结果表明本发明的标定精度更高。

[0185]

[0186] 表4真实实验中本发明与在先专利方法的反投影误差(单位：像素)。

标题	发布/更新时间	阅读量
超市停车引导反向寻车和出场引导的系统和方法	2020-05-08	354
一种基于量化和事件的集值卡尔曼滤波方法	2020-05-18	757
一种自然场景文字检测的方法	2020-05-13	579
基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统	2020-05-12	491
一种基于5G的椎体强化遥操作系统	2020-05-17	544
一种视觉传感网络的快速通用标定方法	2020-05-17	849
一种基于图像处理的梨果实横纵径测量方法	2020-05-18	646
一种基于目标感知相关滤波的目标跟踪方法	2020-05-14	630
一种智慧景区实景语义地图的生成与辅助定位方法	2020-05-14	954
基于YOLO和LSTM的地震速度谱智能拾取方法	2020-05-16	857

一种视觉传感网络的快速通用标定方法

一种视觉传感网络的快速通用标定方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：