技术领域
[0001] 本
发明涉及生物机器人、全景激光
光源、全方位视觉传感器、无线传输以及
计算机视觉技术在狭小空间内工业表面的状态检测等方面的应用，尤其涉及一种基于生物机器人的微型无线主动式全景视觉传感器。
背景技术
[0002] 地
下管道存在着结构健康监测问题，其必要性和迫切性是不言而喻的。需要有一种对管道进行自动化的、全方位的、智能化的全面健康体检技术，定期对管道进行检测和维护。
[0003] 非结构环境下的
工业机器人的运动平稳性、灵活性、健壮性、环境适应性及
能源利用效率等方面远落后于动物。动物机器人在能源供给、运动灵活性、隐蔽性、机动性和适应性方面较机器人具有更明显的优势。
[0004] 2002年的《自然》杂志报道，在美国DARPA的大
力支持下，美国纽约州立大学的Sanjiv Talwar博士领导的科研小组已成功实现了人工制导老鼠的各种运动行为。科研人员通过在老鼠体上安装
微处理器，在其脑部产生快感的片区和体觉感受皮层植入
电极。在500m外可遥控其完成转弯、前行、爬树以及跳跃等动作，甚至可以控制老鼠产生一些有违其习性的运动行为，如暴露在充斥强光的空间中。这些研究给动物机器人应用于特殊领域指引了方向。
[0005] 我国现有各类管道13340km并且每年都在以10万以上速度增长，对在狭小空间内工业表面的状态检测有着十分旺盛的市场需求。如何完成如此浩大工程的管道检测和检修任务，是我国工程人员亟需解决的难题。而生物机器人作为目前采用的管道机器人的重要补充，在管道狭小、空间受限制时，以及在转
角、直径较小的管道和非圆管道应用中具有明显的优势。因此，生物机器人在狭小空间检测，管道或大楼
空调系统检测和检修等业务中具有广泛的应用市场。
[0006] 结构健康监测技术是一个多领域跨学科的综合性技术，它涉及
土木工程、动力学、材料学、传感技术、测试技术、
信号分析、计算机技术、网络通讯通信技术、
模式识别、
移动机器人等多个研究方向。
[0007] 从管道内表面视觉检测的目的进行分类，可分为以下两类：第一类是检测有无
缺陷，例如
腐蚀、裂缝、
泄漏、
变形等，有的检测需要对缺陷进行精确
定位，以此来进行维修；第二类是检测几何量，例如管道的内壁形貌、内径、直线度等参数，这类检测方法与第一类差别较大，需要准确获取管道内表面密集点
云的精确三维坐标。
[0008] 现今使用最普遍的检测工具是管道闭路电视检测系统，即CCTV法，该方法是专
门应用于地下管道检测的工具。
[0009]
申请号为201010170739.9的中国
专利申请公开了一种排
水管道视频检测机器人，其中包括摄像系统，镜头控制系统，
机身驱动系，
软件控制与数据传输系统和照明装置。由驱动系统负载其它系统在管道内爬行，镜头控制系统用以调整摄像系统的
位置与角度，摄像系统获取经照明后的管道内部信息，最后通过数据传输系统将这些信息输出到计算机屏幕上。这种技术主要存在的问题是，需要额外的镜头控制系统不断调整摄像系统的位置与角度来获取管道内部的全景图像信息，并且要从这些图像信息进行三维重构及三维检测是极其困难的，另外，需要相关的技术人员根据这些检测录像，进行管道内部状况的判读与分析，从严格意义上讲，这类技术仅仅是获取了管内的图像信息。
[0010] 申请号为201010022782.0的中国专利申请公开了一种CCTV闭路电视摄像检测方法，是采用CCTV管道内窥电视摄像检测系统,在管道内自动爬行，对管道的结构状况进行探测和摄像，通过有线传输方式进行显示和记录,并依据检测技术规程再进行评估的一种检测方法。从严格意义上讲，这类技术也仅仅是获取了管内的图像信息。
[0011] 综上所述，目前利用CCTV法进行管道检测时存在着以下的缺陷和不足：首先，摄像机所拍摄的范围有限，只能获取管道内壁某一部分的图像，为了获取管道内壁所有图像，需要不断改变摄像机的视角；另外，目前还只能靠检测人员用眼睛通过所获取管道内的图像来判断表面是否存在缺陷，一般人眼只能察觉尺寸变化达±10％以上的图像变异，难以实现管道检测的精准自动化和智能化；其次，目前的管内图像获取方法导致了难以对缺陷的尺寸以及具体位置作定量的测量和分析，仍然依靠地面上的工作人员的经验来判断，并对计算机处理结果进行综合分析，难以对管道内功能性缺陷和结构性缺陷进行高
精度的自动分析和评估，自动地将管道运行状况分为不同等级；最后，管道内部
侧壁的
三维建模困难，难以用三维数据方式再现管道的详细情况，为管道的维护管理提供有效的数据
支撑，为制定管道维修计划提供参考，以便采用不同的修复方法，及时、经济地进行修复。
[0012] 申请号为201510006892.0中国专利申请公开了一种基于主动式全景视觉的管道内部功缺陷检测装置及方法，该装置包括：摄像爬行系统、
控制电缆和检测分析核心
操作系统；检测分析核心操作系统包括：协调动作控制单元、爬行系统控制单元、图像接收单元、功能性缺陷和结构性缺陷的定性和定量分析判断模
块和储存单元；通过对管道内部全景影像及激光扫描断面切片图像两种图像进行
机器视觉处理分析和识别管道的功能性缺陷和结构性缺陷。该申请提案有效地克服了CCTV法进行管道检测时存在着一些的缺陷和不足，但是内容尚未涉及如何高精度进行3D测量的主动式全景视觉传感器设计技术，更进一步，该案尚未涉及如何应用主动式全景视觉传感器对管道内部进行
三维重建技术。
[0013] 上述管道视觉检测
机器人技术中，对于小口径管道的结构健康监测有一个非常棘手的问题，就是如何在一个狭小空间内让管道视觉检测机器人携带着视觉检测装置移动；目前的工业解决方案是采用蠕动机器人，但是这类蠕动机器人的制造成本非常昂贵，难以在实际推广应用；另一个棘手的问题是管道视觉检测装置除了要能实时获取管道内壁的全景图像外还必须微型化和轻量化设计。
发明内容
[0014] 为了克服已有的CCTV法的自动化和智能化水平低、管道检测车体积大难以对小口径管道内功能性缺陷和结构性缺陷进行高精度的自动分析和评估、管道内部侧壁的三维建模困难、蠕动机器人价格昂贵等不足，本发明提供一种基于生物机器人的微型无线主动式全景视觉传感器，能够提高管道检测自动化和智能化水平，对管道内功能性缺陷和结构性缺陷进行高精度的自动分析和评估，实现管道内部侧壁的三维建模。
[0015] 要实现上述发明内容，必须要解决几个核心问题：(1)发现一种适合狭长管道内爬行的生物机器人并能制导其爬行行为；(2)实现一种价格低廉、总体重量在生物机器人的负重能力范围内、具有无线视频图像传输能力、并能快速并高精度获得实际物体深度信息的主动式全景视觉传感器；(3)采用计算机视觉技术对管道内部侧壁的三维重建方法。
[0016] 本发明解决其技术问题所采用的技术方案是：
[0017] 首先能够在光滑或粗糙的各种斜度的表面上运动的移动系统，即三维空间无障碍运动机器人，即TDOF，是现代机器人最重要和最具难度的分支之一。本发明设计任务之一是要发现一种适合狭长管道内爬行的生物机器人并能制导其爬行行为；壁虎是能够再地面、
墙壁、
天花板等不同角度的斜面上运动的四足动物，它属爬行类动物，产于我国广西、云南、东南亚等地，体重大、运动速度快、灵活、负重能力强。其体色因栖息环境不同，有黑褐色，黑绿色，灰褐色等。尾具有6～7个灰白色环、四肢短小，只能爬不能跳。脚很特殊，有5个脚趾，能
吸附峭壁。喜温湿阴暗，怕寒冷、畏光。目前壁虎的养殖技术已经成熟，小壁虎成活率都达到90％以上。利用壁虎作为生物机器人在能源供给、运动灵活性等方面的优势，以及壁虎只能爬行和畏光的特性，通过光的控制来制导壁虎的爬行行为来替代人类实现狭长空间侦查工作。
[0018] 成年壁虎体重大可达150克，身长310mm，胸背厚4～5mm，运动速度可达1.5m/s，负重能力强在
天花板上负重可达体重的5倍；目前市场上养殖的成年壁虎价格在50元/对，因此，采用壁虎作为管道爬行生物机器人具有很强的价格优势。
[0019] 管道视觉检测设备主要包括无线通信单元、主动式全景视觉传感器和电源；本发明是让壁虎携带管道视觉检测设备进入管道进行视觉检测。
[0020] 成年壁虎负重能力与管道视觉检测设备的重量匹配的计算：无线通信单元，其重量<10g，有效通信距离5km；主动式全景视觉传感器，其重量<200g，成像
分辨率为300万
像素；电源，其重量50g；这三者重量的总和为260g；考虑到壁虎在管道中的爬行基本上在水平状态，因此，一个成年壁虎负重能力在水平方向上驱动力能足以带动管道视觉检测设备的总体重量。
[0021] 根据成年壁虎负重能力与管道视觉检测设备的重量匹配的计算结果，本发明的主动式全景视觉传感器必须在200g以内；这点要求主动式全景视觉传感器必须微型化轻量化设计；
[0022] 利用壁虎对环境的
感知对其进行运动干预：对环境的感知是运动决策的
基础，也是实施动物运动干预的基础；表1所示的是壁虎在不同顏色下的安定情形，实验研究表明，壁虎在浅绿和深绿
颜色情况下反映了不安定和非常不安定。
[0023] 表1 壁虎在不同顏色下的安定情形
[0024]
[0025] 由于狭长管道中爬行的壁虎基本上规定了壁虎的爬行方向，利用壁虎畏深绿光的特性，在壁虎的尾部配置带有绿色光源控制的主动式全景视觉传感器；当控制主动式全景视觉传感器的绿色光源发光时一方面为视觉检测管道提供照明，另一方面用于制导壁虎的爬行行为，即在深绿光照明情况下制导壁虎的前行，在光源关闭的情况下制导壁虎的停止爬行；
[0026] 主动式全景视觉传感器，其
硬件包括：全方位视觉传感器、全景激光光源和LED带光源；所述的全方位视觉传感器与所述的全景激光光源进行同轴固定连接，LED带光源环绕在所述的全方位视觉传感器的下固定座上；为了满足轻量化和低成本设计要求，所述的全方位视觉传感器与所述的全景激光光源中的部件采用塑料模具压制生产。
[0027] 为了最大限度获取小管道内壁的全景图像，要求所述的全方位视觉传感器的垂直视场能尽可能大些，成像焦距尽可能短些；根据轻量化和低成本设计要求，所述的全方位视觉传感器的采用塑料模具成型加工；根据管道的3D测量及3D建模的要求，所述的全方位视觉传感器的折反射镜面的光学成像必须能方便计算，垂直视场角度尽可能大，同时要尽可能减少畸变；
[0028] 折反射镜面的垂直剖面设计为凹圆弧曲线，如图2所示，根据光学反射原理，得到以下几个公式；
[0029]
[0030] δ＝2θ+r'-π (2)
[0031]
[0032]
[0033] 式中，r为入射光束的高度，r'为入射光束的角度，δ为反射光束的角度，R为反射镜面的圆弧半径，α为入射光束的入射角，θ为反射镜面圆弧曲线的切线角。对于
选定的固定焦距的摄像机，反射光束的角度δ只有在一个固定的范围内才能在成像芯片上成像；也就是说，入射光束的高度和角度只有满足一定条件才能在成像芯片上成像。
[0034] 全方位视觉传感器的折反射镜面是将凹圆弧的曲线环绕对称轴一周而形成的，如图11所示；这种设计便于塑料模具成型加工，全景成像的畸变小，垂直成像范围接近90°，并且成像焦距短；这些特性非常适合于小型管道内壁的视觉检测。
[0035] 所述的主动式3D立体全景视觉传感器，将实际物理空间
坐标系建立在所述的全景激光光源的轴心线与垂直于轴心线的全景激光的交点，坐标值分别用X、Y、Z表示；全景图像坐标系建立在全景图像的中心，坐标值分别用u、v表示；折反射镜面的坐标系建立在凹圆弧的中心，坐标值分别用X'、Y'表示；
[0036] 为了对管道进行3D测量，需要对全方位视觉传感器进行标定，标定的目的是从成像平面上的点p(u',v')上找出入射光束的高度r和入射光束的角度的r'对应关系，用公式(20)表示；
[0037] r＝f(p(u',v'))
[0038] (20)
[0039] r'＝g(p(u',v'))
[0040] 式中，p(u',v')是全景成像平面上的一个点，r为入射光束的高度，r'为入射光束的角度，f(…)和g(…)分别表示函数关系。
[0041] 所述的全方位视觉传感器包括凹圆弧镜面、凹圆弧镜面盖、透光玻璃、固定螺钉、外罩和摄像单元；如图1所示，所述的凹圆弧镜面的轴心线上开有一个
螺纹孔；所述的透光玻璃的中心开有一个小孔；所述的外罩由两个半圆柱型相合而成，半圆柱型上的雌雄扣相配合；装配时首先将透光玻璃嵌入到一个半圆柱型的外罩中，然后对准两半圆柱型的雌雄扣，并在其各自外壁上施加外力使其合成为一个固定了透光玻璃的外罩；所述的外罩下部开有一个摄像镜头孔；接着用固定螺钉穿过所述的透光玻璃的小孔与凹圆弧镜面上的
螺纹孔进行连接；所述的摄像单元的镜头固定在所述的外罩摄像镜头孔中；所述的凹圆弧镜面盖中心开有一个小孔。
[0042] 所述的全景激光光源，包括圆锥形镜面、透明外罩、圆圈形激光发射器和底座，圆圈形激光发射器固定在底座上，圆圈形激光发射器的发射光轴心线与底座轴心线一致，圆锥形镜面固定在透明外罩的一端，固定着圆圈形激光发射器的底座固定在透明外罩的另一端；圆圈形激光发射器发射出来的圆圈激光通过圆锥形镜面的反射产生垂直于轴心线的全景激光；所述的圆锥形镜面的背面开有一个螺纹孔，如图4所示。
[0043] 所述的全方位视觉传感器和所述的全景激光光源的固定连接步骤是：螺钉穿过所述的凹圆弧镜面盖上的小孔后对准所述的圆锥形镜面的背面的螺纹孔并旋紧；然后将所述的凹圆弧镜面盖与所述的凹圆弧镜面进行搭扣连接；通过上述连接将所述的全方位视觉传感器和所述的全景激光光源装配成主动式全景视觉传感器，如图5所示。
[0044] 如图12所示，全景激光投射到管道内壁上的点P(x,y,z)经全方位视觉传感器的凹圆弧
镜面反射在成像平面上成像，得到带有全景激光信息的全景图像；根据标定结果，从全景图像上的点p(u',v')获得该点光束高度r和角度r'；为了计算出管道内壁上的点P(x,y,z)空间坐标值，这里将实际空间坐标系建立在全景激光投射面与对称轴的交点上，建立圆柱形坐标系；根据设计，凹圆弧镜面的圆弧中心O(B,-H)，其中B为凹圆弧镜面的圆弧中心到圆柱形坐标系轴线的距离，H为凹圆弧镜面的圆弧中心到全景激光投射面的垂直距离；根据几何关系用公式(5)计算管道内壁上的点到空间坐标系原点的距离PR，[0045]
[0046] 式中，H为凹圆弧镜面的圆弧中心到全景激光投射面的垂直距离，B为凹圆弧镜面的圆弧中心到圆柱形坐标系轴线的距离，r为全景激光在管道内壁上的反射光束在凹圆弧镜面的高度，r'为全景激光在管道内壁上的反射光束的角度，R为凹圆弧镜面的
曲率半径，PR为管道内壁上的点到空间坐标系原点的距离。
[0047] 在实际检测过程中，主动式全景视觉传感器由壁虎牵引移动，随着壁虎沿管道轴线爬行，全景激光光源为管道内壁提供管道断截面全景扫描光，全方位视觉传感器获取全景激光扫描的切片图像；接着，需要在全景激光扫描的切片图像上解析出激光投影位置信息；本发明将上述处理过程称为全景激光截面法。
[0048] 激光投影位置信息是通过
帧间差法进行提取的，帧间差法通过对两个相邻位置所获得的全景激光扫描的切片图像作差分运算来获得激光投射点的方法；当壁虎爬行过程中，前后位置所获取的两帧全景激光扫描的切片图像，其帧与帧之间在沿管道轴线方向上会出现较为明显的差别，两帧相减，得到两帧图像
亮度差的绝对值，判断它是否大于
阈值来分析提取全景切片图像中的激光投射点。
[0049] 由于在检测过程中会存在着噪声的影响，得到的截面边缘信息会出现不连续的现象。因此需要通过局部连接法将不连续的截面边缘进行连接，连接
算法思想是通过比较梯度算子的响应强度和梯度方向确定两个点是否同属一条边，用公式(6)和公式(7)来进行判断，
[0050] |▽f(x,y)-▽f(x',y')|≤T▽ (6)
[0051] |α(x,y)-α(x',y')|≤Aα (7)
[0052] 式中，▽f(x,y)为管道内壁邻域内的边界点梯度值，▽f(x',y')为待确认点梯度值，T▽为梯度判断阈值，α(x,y)为管道内壁邻域内的边界点梯度向量的方向角，α(x',y')为待确认点梯度向量的方向角，Aα为梯度向量的方向角判断阈值。
[0053] 当公式(6)和公式(7)都成立时，表示待确认点与管道内壁邻域内的边界点的梯度值和方向角都是相似的，两点是连接的，即待确认点是属于管道内壁上的点；通过上述处理得到了在图像平面上的一条完整的封闭管道内壁边缘线。
[0054] 进一步，针对全景图像的成像特点，对得到的封闭管道内壁边缘线采用环形遍历的方式，以图像中心位置为圆心，以相等的间隔角度以方位角β从0°→360°进行遍历，根据公式(5)计算得到用圆柱形坐标系表示的管道内部实际空间点云几何数据；用公式(8)将用圆柱形坐标系表示的管道内部实际空间点云几何数据转化为用笛卡尔坐标系表示的管道内部实际空间点云几何数据P(x,y,z)；
[0055]
[0056] 式中，PR为管道内壁上的点到坐标系原点的距离，β为方位角。
[0057] 为了对狭长管道进行3D建模，需要对牵引着主动式3D立体全景视觉传感器的壁虎的运动进行估计；这里将检测坐标系建立在全景激光投射面与对称轴的交点上，使用SFM算法，即运动的结构重建算法，对壁虎的运动进行估计，得到测量点坐标变换的信息。
[0058] 具体管道3D建模过程如下：首先，全方位视觉传感器获得其运动过程中的全方向
图像序列；然后利用SFM算法提取和
跟踪特征点，以获得全方向图像序列中的相对应点；接着用线性估计方法估计壁虎的运动，主要利用对应点在每个观测点拍摄的两个图像的位置；最后为了更精确地估计壁虎的运动，用非线性估计方法重新估算壁虎的运动。
[0059] 特征点的提取和跟踪：为了在全方位图像序列中获得图像之间的对应点，首先在第一帧图像中提取特征点，然后沿着图像序列跟踪这些特征点；跟踪特征点采用SIFT算法，即尺度不变特征变换算法；然而，实际上全方位图像的畸变和投影畸变会影响对应特征点采集和跟踪；这是因为现有的SIFT算法是一种全局的算法，全景视觉在全局范围内难以保证尺度不变特征变换条件，从而导致了误跟踪；为了提高SIFT算法的跟踪精度，这里根据壁虎在管道中的运动特征，将对应特征点采集和跟踪规定在一个局部范围内，即通过划分跟踪扇区方法；该方法是基于在全方位图像序列中的两帧之间相对应点的空间位置是不会发生突变的假设，壁虎在前行过程中，相对应点是在某一个扇区范围内从全景图像的
外圈向图像中心方向移动的，或者是从图像中心向全景图像的外圈方向移动的；有了扇区约束条件来提高SIFT算法的跟踪精度；具体实现方法是：在第N帧图像中提取特征点，然后在第N+1帧图像中的同一扇区内跟踪同一特征点；
[0060] 壁虎的
运动估计：为了估计壁虎的运动，这里计算两个观测点，即两个不同位置的检测坐标系之间的相对位置和方位的差异信息的基本矩阵；本质矩阵E用公式(9)表示；
[0061]T
[0062] 其中，ri＝[xi,yi,zi]，r'i＝[x'i,y'i,z'i]分别为两个全景图像中对应点的光线向量，将公式(9)转
化成公式(10)；T
[0063] uie＝0 (10)
[0064] 其中，T
[0065] ui＝[xix'i,yix'i,zix'i,xiy'i,yiy'i,ziy'i,xiz'i,yiz'i,ziz'i] (11)T
[0066] e＝[e11,e12,e13,e21,e22,e23,e31,e32,e33] (12)
[0067] 通过对8组相应的光线向量r求解联立方程获得本质矩阵E，计算方法用公式(13)表示；
[0068]
[0069] 其中，U＝[u1,u2,…,un]T，本质矩阵E是以UTU的最小特征值的
特征向量e进行计算获得的；
[0070] 从本质矩阵E计算旋转矩阵R和平移向量t，由公式(14)所示，本质矩阵E由旋转T矩阵R和平移向量t＝[tx,ty,tz]，表示；
[0071] E＝RT (14)
[0072] 这里T用下面矩阵表示。
[0073]
[0074] 从本质矩阵E计算旋转矩阵R和T一种方法是采用奇异值方法，即SVD方法，该方法属于数值运算方法；但是这种分解方法分解出的四组解间的几何意义并不直观，难以保证分解结果是惟一正确解，而且实时性欠佳；因此，还需要对壁虎的运动进行再估计和尺度匹配方法处理。
[0075] 壁虎的运动再估计：用SVD方法从本质矩阵E来估计旋转矩阵R和平移向量T未必能得到良好的结果，这是因为在SVD方法中没有考虑图像中的各种错误。因此，需要重新估计壁虎运动中所获取全景图像内的每个特征点的测量误差；这里使用光束平差法对壁虎的运动进行重新估计；该方法的思想是将特征重投影误差总和最小化；
[0076] 尺度匹配方法：由于SFM算法中仅仅是对输入的全景图像进行处理，并不包含任何尺度的信息；因此，通过SFM算法还不能确定2个观测点之间的距离|t|；然而，在全景激光截面法处理结果中包括了尺度坐标信息；因此，通过融合这两种处理方法的结果来实现尺度匹配；
[0077] 首先，通过全景激光截面法测量一个管道内壁点的三维坐标；然后，用SFM算法测量同一点的三维坐标；最后，通过尽可能接近的三维坐标同一点来实现尺度匹配；
[0078] 当同一点远离观察点时，用两种不同算法，即SFM算法和全景激光截面法，对同一点进行处理所得到的坐标值之间的最小偏差更为敏感；基于此，这里采用最小偏差坐标值之间的距离来计算尺度s'，如公式(16)所示；
[0079]T T
[0080] 式中，pk＝[xk,yk,zk]表示全景激光截面法测量结果，pk'＝[xk',yk',zk']表示SFM算法测量结果；
[0081] 纹理映射：图8所示的是对管道的建模过程；在某一空间点对管道内壁进行3D测量后，随着壁虎的爬行对下一个测量点对管道内壁进行3D测量；将各个横断面的3D测量结果进行拼接，最后还需要进行纹理映射，实现狭长管道的自动3D建模。
[0082] 另一种从本质矩阵E计算旋转矩阵R和T方法是：首先，利用本质矩阵E秩2的属性求出壁虎移动前后间的平移量t，如公式(17)所示；
[0083]
[0084] 式中，eij为本质矩阵E的元素，Meij为eij的代数余子式；
[0085] 进而求得满足约束||t||2＝1的两个平移量t1＝1，t2＝-1，其中，
[0086]
[0087] 然后，利用求解旋转矩阵方程组的方法求出壁虎移动前后间的旋转矩阵R；
[0088] 将公式(18)代入到公式(14)计算旋转矩阵R，得到四组分解结果；最后，利用直接求取空间3D点成像深度的方法快速从四组分解结果中确定出满足空间3D点可见性约束的惟一正确解，计算方法如公式(19)给出；
[0089]-1 -1
[0090] 式中，K' 、K 分别为全方位视觉传感器的内外参数矩阵的逆矩阵，σ1，σ2分别为相对应点在壁虎移动前后间的全景图像中的成像深度，通过全景激光截面法测量得到；RT为旋转矩阵R的转矩阵，t为平移向量， 分别为相对应点在壁虎移动前后间的全景图像中的成像部分；
[0091] 只要公式(19)中的σ1，σ2均满足大于零的约束，则对应的R，t即为惟一正确解。
[0092] 毕竟壁虎的负重能力还是有限的，为了实时获取狭长管道内壁的全景图像并进行解析处理，这里采用无线通信方式将全方位视觉传感器所获取的全景图像传输给管道检测分析系统，目前无线通信的能力已达到公里级，基本上能满足管道检测时图像传输的要求；管道检测分析系统根据无线通信网络传输过来的全景视频图像对被检测的管道进行检测与3D建模处理。
[0093] 对于狭长管道的3D建模，本发明通过全景激光截面法对狭长管道的横断面的3D测量结果进行拼接，最后还需要进行纹理映射，实现狭长管道的自动3D建模；三角格网是将空间中的离散点云用三角面片构建成物体表面的方法，获取管道横截面的点云数据的过程是处理每一帧的全景切片图像，所得到的点云数据是规则排列的；这里采用三角格网模型来进行三维重构，并将全景图像中的纹理映射到3D模型中。
[0094] 本发明的有益效果主要表现在：
[0095] 1)提供了一种高性价比的、轻型的、能快速并高精度获得实际物体深度信息的主动式全景视觉传感器；
[0096] 2)提供了一种小口径管道的结构健康监测手段，在能源供给、运动灵活性、隐蔽性、机动性和适应性方面具有更明显的优势；
[0097] 3)提出了一种适合狭长管道内爬行的生物机器人并能制导其爬行行为。
附图说明
[0098] 图1为一种全方位视觉传感器的结构图；
[0099] 图2为凹面镜反射成像原理图；
[0100] 图3为凹圆弧镜面的正视图；
[0101] 图4为全景激光光源的结构图；
[0102] 图5为一种主动式全景视觉传感器的结构图；
[0103] 图6为主动式全景视觉传感器获取的激光投射全景图；
[0104] 图7为一种基于生物机器人的微型无线主动式全景视觉传感器进行管道检测的总体宏观示意图；
[0105] 图8为通过SFM算法确定管道壁虎的运动轨迹及3D建模的
流程图；
[0106] 图9为主动式全景视觉传感器的运动估计处理流程图；
[0107] 图10为全方位视觉传感器在某一范围内具有等角度分辨率特性曲线比较图；
[0108] 图11为全方位视觉传感器的成像原理图；
[0109] 图12为管道内壁的空间点云计算说明。
具体实施方式
[0110] 下面结合附图对本发明作进一步描述。
[0112] 参照图1～12，一种基于生物机器人的微型无线主动式全景视觉传感器，其硬件主要包括：壁虎和管道视觉检测设备；管道视觉检测设备
捆绑在壁虎上，壁虎向前爬行中牵引管道视觉检测设备在小口径的狭长管道中进行拍摄管道内壁的全景图像。
[0113] 管道视觉检测设备主要包括无线通信单元、主动式全景视觉传感器和电源。
[0114] 主动式全景视觉传感器主要包括全方位视觉传感器、LED带光源和全景激光光源；
[0115] 全方位视觉传感器包括凹圆弧镜面2、凹圆弧镜面盖1、透光玻璃3、固定螺钉4、外罩5和摄像单元7；如图1所示，凹圆弧镜面的轴心线上开有一个螺纹孔；透光玻璃的中心开有一个小孔；外罩由两个半圆柱型相合而成，半圆柱型上的雌雄扣相配合；装配时首先将透光玻璃嵌入到一个半圆柱型的外罩中，然后对准两半圆柱型的雌雄扣，并在其各自外壁上施加外力使其合成为一个固定了透光玻璃的外罩；外罩下部开有一个摄像镜头孔；接着用固定螺钉穿过透光玻璃的小孔与凹圆弧镜面上的螺纹孔进行连接；摄像单元的镜头固定在外罩摄像镜头孔中；凹圆弧镜面盖中心开有一个小孔8。
[0116] 全景激光光源，包括圆锥形镜面11、透明外罩12、圆圈形激光发射器13和底座14，圆圈形激光发射器固定在底座上，圆圈形激光发射器的发射光轴心线与底座轴心线一致，圆锥形镜面固定在透明外罩的一端，固定着圆圈形激光发射器的底座固定在透明外罩的另一端；圆圈形激光发射器发射出来的圆圈激光通过圆锥形镜面的反射产生垂直于轴心线的全景激光；圆锥形镜面的背面开有一个螺纹孔15，如图4所示。
[0117] 全方位视觉传感器和全景激光光源的固定连接步骤是：螺钉穿过凹圆弧镜面盖上的小孔8后对准圆锥形镜面的背面的螺纹孔15并旋紧；然后将凹圆弧镜面盖1与凹圆弧镜面2进行搭扣连接；通过上述连接将全方位视觉传感器和全景激光光源装配成主动式全景视觉传感器，如图5所示。
[0118] 折反射镜面的垂直剖面设计为凹圆弧曲线，如图2所示，根据光学反射原理，得到以下几个公式；
[0119]
[0120] δ＝2θ+r'-π (2)
[0121]
[0122]
[0123] 式中，r为入射光束的高度，r'为入射光束的角度，δ为反射光束的角度，R为反射镜面的圆弧半径，α为入射光束的入射角，θ为反射镜面圆弧曲线的切线角。对于选定的固定焦距的摄像机，反射光束的角度δ只有在一个固定的范围内才能在成像芯片上成像；也就是说，入射光束的高度和角度只有满足一定条件才能在成像芯片上成像。
[0124] 全方位视觉传感器的折反射镜面是将凹圆弧的曲线环绕对称轴一周而形成的，如图11所示；这种设计便于塑料模具成型加工，全景成像的畸变小，垂直成像范围接近90°，并且成像焦距短；这些特性非常适合于小型管道内壁的视觉检测；
[0125] 基于上述全景成像几何关系，下面研究全方位视觉传感器的标定问题；如图12所示，标定的目的是从成像平面上的点p(u',v')上找出入射光束的高度r和入射光束的角度的r'对应关系。
[0126] 本发明中将实际物理空间坐标系建立在全景激光光源的轴心线与垂直于轴心线的全景激光的交点，坐标值分别用X、Y、Z表示，如图12所示；全景图像坐标系建立在全景图像的中心，坐标值分别用u、v表示，如图11所示；折反射镜面的坐标系建立在凹圆弧的中心，坐标值分别用X'、Y'表示，如图12所示；
[0127] 全景激光投射到管道内壁上的点P(x,y,z)经全方位视觉传感器的凹圆弧镜面反射在成像平面上成像，得到带有全景激光信息的全景图像；根据标定结果，从全景图像上的点p(u',v')获得该点光束高度r和角度r'；为了计算出管道内壁上的点P(x,y,z)空间坐标值，这里将实际空间坐标系建立在全景激光投射面与对称轴的交点上，建立圆柱形坐标系；根据设计，凹圆弧镜面的圆弧中心O(B,-H)，其中B为凹圆弧镜面的圆弧中心到圆柱形坐标系轴线的距离，H为凹圆弧镜面的圆弧中心到全景激光投射面的垂直距离；根据几何关系用公式(5)计算管道内壁上的点到坐标系原点的距离PR，
[0128]
[0129] 式中，H为凹圆弧镜面的圆弧中心到全景激光投射面的垂直距离，B为凹圆弧镜面的圆弧中心到圆柱形坐标系轴线的距离，r为全景激光在管道内壁上的反射光束在凹圆弧镜面的高度，r'为全景激光在管道内壁上的反射光束的角度，R为凹圆弧镜面的
曲率半径。
[0130] 在实际检测过程中，主动式全景视觉传感器由壁虎牵引移动，随着壁虎沿管道轴线爬行，全景激光光源为管道内壁提供管道断截面全景扫描光，全方位视觉传感器获取全景激光扫描的切片图像；接着，需要在全景激光扫描的切片图像上解析出激光投影位置信息；本发明将上述处理过程称为全景激光截面法。
[0131] 激光投影位置信息是通过帧间差法进行提取的，帧间差法通过对两个相邻位置所获得的全景激光扫描的切片图像作差分运算来获得激光投射点的方法；当壁虎爬行过程中，前后位置所获取的两帧全景激光扫描的切片图像，其帧与帧之间在沿管道轴线方向上会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析提取全景切片图像中的激光投射点。
[0132] 由于在检测过程中会存在着噪声的影响，得到的截面边缘信息会出现不连续的现象。因此需要通过局部连接法将不连续的截面边缘进行连接，连接算法思想是通过比较梯度算子的响应强度和梯度方向确定两个点是否同属一条边，用公式(6)和公式(7)来进行判断，
[0133] |▽f(x,y)-▽f(x',y')|≤T▽ (6)
[0134] |α(x,y)-α(x',y')|≤Aα (7)
[0135] 式中，▽f(x,y)为管道内壁邻域内的边界点梯度值，▽f(x',y')为待确认点梯度值，T▽为梯度判断阈值，α(x,y)为管道内壁邻域内的边界点梯度向量的方向角，α(x',y')为待确认点梯度向量的方向角，Aα为梯度向量的方向角判断阈值。
[0136] 当公式(6)和公式(7)都成立时，表示待确认点与管道内壁邻域内的边界点的梯度值和方向角都是相似的，两点是连接的，即待确认点是属于管道内壁上的点；通过上述处理得到了在图像平面上的一条完整的封闭管道内壁边缘线；
[0137] 进一步，针对全景图像的成像特点，对得到的封闭管道内壁边缘线采用环形遍历的方式，以图像中心位置为圆心，以相等的间隔角度以方位角β从0°→360°进行遍历，根据公式(5)计算得到用圆柱形坐标系表示的管道内部实际空间点云几何数据；用公式(8)将用圆柱形坐标系表示的管道内部实际空间点云几何数据转化为用笛卡尔坐标系表示的管道内部实际空间点云几何数据P(x,y,z)；
[0138]
[0139] 式中，PR为管道内壁上的点到坐标系原点的距离，β为方位角；
[0140] 为了对狭长管道进行3D建模，需要对牵引着主动式3D立体全景视觉传感器的壁虎的运动进行估计；这里将检测坐标系建立在全景激光投射面与对称轴的交点上，使用SFM算法，即运动的结构重建算法，对壁虎的运动进行估计，得到测量点坐标变换的信息。
[0141] 具体管道3D建模过程如下：首先，全方位视觉传感器获得其运动过程中的全方向图像序列；然后利用SFM算法提取和跟踪特征点，以获得全方向图像序列中的相对应点；接着用线性估计方法估计壁虎的运动，主要利用对应点在每个观测点拍摄的两个图像的位置；最后为了更精确地估计壁虎的运动，用非线性估计方法重新估算壁虎的运动。
[0142] 特征点的提取和跟踪：为了在全方位图像序列中获得图像之间的对应点，首先在第一帧图像中提取特征点，然后沿着图像序列跟踪这些特征点；跟踪特征点采用SIFT算法，即尺度不变特征变换算法；然而，实际上全方位图像的畸变和投影畸变会影响对应特征点采集和跟踪；这是因为现有的SIFT算法是一种全局的算法，全景视觉在全局范围内难以保证尺度不变特征变换条件，从而导致了误跟踪；为了提高SIFT算法的跟踪精度，这里根据壁虎在管道中的运动特征，将对应特征点采集和跟踪规定在一个局部范围内，即通过划分跟踪扇区方法；该方法是基于在全方位图像序列中的两帧之间相对应点的空间位置是不会发生突变的假设，壁虎在前行过程中，相对应点是在某一个扇区范围内从全景图像的外圈向图像中心方向移动的，或者是从图像中心向全景图像的外圈方向移动的；有了扇区约束条件来提高SIFT算法的跟踪精度；具体实现方法是：在第N帧图像中提取特征点，然后在第N+1帧图像中的同一扇区内跟踪同一特征点。
[0143] 壁虎的运动估计：为了估计壁虎的运动，这里计算两个观测点，即两个不同位置的检测坐标系之间的相对位置和方位的差异信息的基本矩阵；本质矩阵E用公式(9)表示；
[0144]
[0145] 其中，ri＝[xi,yi,zi]T，r'i＝[x'i,y'i,z'i]分别为两个全景图像中对应点的光线向量，将公式(9)转化成公式(10)；
[0146] uiTe＝0 (10)
[0147] 其中，
[0148] ui＝[xix'i,yix'i,zix'i,xiy'i,yiy'i,ziy'i,xiz'i,yiz'i,ziz'i]T (11)[0149] e＝[e11,e12,e13,e21,e22,e23,e31,e32,e33]T (12)
[0150] 式中，xix'i,yix'i,zix'i,xiy'i,yiy'i,ziy'i,xiz'i,yiz'i,ziz'i分别表示两个全景图像中对应点的光线向量ri和r'i分量之间的乘积，式中，e11,e12,e13,e21,e22,e23,e31,e32,e33分别是矩阵e的元素。
[0151] 通过对8组相应的光线向量r求解联立方程获得本质矩阵E，计算方法用公式(13)表示；
[0152]
[0153] 其中，U＝[u1,u2,…,un]T，本质矩阵E是以UTU的最小特征值的特征向量e进行计算获得的；
[0154] 从本质矩阵E计算旋转矩阵R和平移向量t，由公式(14)所示，本质矩阵E由旋转T矩阵R和平移向量t＝[tx,ty,tz]，表示；
[0155] E＝RT (14)
[0156] 这里T用下面矩阵表示。
[0157]
[0158] 从本质矩阵E计算旋转矩阵R和T一种方法是采用奇异值方法，即SVD方法，该方法属于数值运算方法；但是这种分解方法分解出的四组解间的几何意义并不直观，难以保证分解结果是惟一正确解，而且实时性欠佳；因此，还需要对壁虎的运动进行再估计和尺度匹配方法处理。
[0159] 壁虎的运动再估计：用SVD方法从本质矩阵E来估计旋转矩阵R和平移向量T未必能得到良好的结果，这是因为在SVD方法中没有考虑图像中的各种错误。因此，需要重新估计壁虎运动中所获取全景图像内的每个特征点的测量误差；这里使用光束平差法对壁虎的运动进行重新估计；该方法的思想是将特征重投影误差总和最小化。
[0160] 尺度匹配方法：由于SFM算法中仅仅是对输入的全景图像进行处理，并不包含任何尺度的信息；因此，通过SFM算法还不能确定2个观测点之间的距离|t|；然而，在全景激光截面法处理结果中包括了尺度坐标信息；因此，通过融合这两种处理方法的结果来实现尺度匹配。
[0161] 首先，通过全景激光截面法测量一个管道内壁点的三维坐标；然后，用SFM算法测量同一点的三维坐标；最后，通过尽可能接近的三维坐标同一点来实现尺度匹配。
[0162] 当同一点远离观察点时，用两种不同算法，即SFM算法和全景激光截面法，对同一点进行处理所得到的坐标值之间的最小偏差更为敏感；基于此，这里采用最小偏差坐标值之间的距离来计算尺度s'，如公式(16)所示；
[0163]T T
[0164] 式中，pk＝[xk,yk,zk]表示全景激光截面法测量结果，pk'＝[xk',yk',zk']表示SFM算法测量结果；
[0165] 纹理映射：图8所示的是对管道的建模过程；在某一空间点对管道内壁进行3D测量后，随着壁虎的爬行对下一个测量点对管道内壁进行3D测量；将各个横断面的3D测量结果进行拼接，最后还需要进行纹理映射，实现狭长管道的自动3D建模。
[0166] 毕竟壁虎的负重能力还是有限的，为了实时获取狭长管道内壁的全景图像并进行解析处理，这里采用无线通信方式将全方位视觉传感器所获取的全景图像传输给管道检测分析系统，目前无线通信的能力已达到公里级，基本上能满足管道检测时图像传输的要求；管道检测分析系统根据无线通信网络传输过来的全景视频图像对被检测的管道进行检测与3D建模处理。
[0167] 实施例2
[0168] 其余与实施例1相同，所不同的是从本质矩阵E计算旋转矩阵R和T方法；该方法是：首先，利用本质矩阵E秩2的属性求出壁虎移动前后间的平移量t，如公式(17)所示；
[0169]
[0170] 式中，eij为本质矩阵E的元素，Meij为eij的代数余子式；
[0171] 进而求得满足约束||t||2＝1的两个平移量t1＝1，t2＝-1，其中，
[0172]
[0173] 然后，利用求解旋转矩阵方程组的方法求出壁虎移动前后间的旋转矩阵R；
[0174] 将公式(18)代入到公式(14)计算旋转矩阵R，得到四组分解结果；最后，利用直接求取空间3D点成像深度的方法快速从四组分解结果中确定出满足空间3D点可见性约束的惟一正确解，计算方法如公式(19)给出；
[0175]
[0176] 式中，K'-1、K-1分别为全方位视觉传感器的内外参数矩阵的逆矩阵，σ1，σ2分别为相对应点在壁虎移动前后间的全景图像中的成像深度，通过全景激光截面法测量得到；T
R为旋转矩阵R的转矩阵，t为平移向量，x， 分别为相对应点在壁虎移动前后间的全景图像中的成像部分；
[0177] 只要公式(19)中的σ1，σ2均满足大于零的约束，则对应的R，t即为惟一正确解。
