井字结构光相机系统及进行目标有尺度三维重建的方法
专利汇可以提供井字结构光相机系统及进行目标有尺度三维重建的方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种井字结构光相机系统及进行目标有尺度 三维重建 的方法，属于 计算机视觉 领域；本发明系统将井字结构光发射器和单目工业相机相结合，可以重建出目标的有尺度三维点 云 ；三维点云的重建主要包含以下步骤：1、井字结构光相机系统参数标定；2、井字标记的 图像识别 ；3、尺度因子估计和优化；获得无尺度三维模型和真实物体之间的尺度因子，从而将无尺度三维模型恢复到真实物体大小。，下面是井字结构光相机系统及进行目标有尺度三维重建的方法专利的具体信息内容。
1.一种井字结构光相机系统，其特征在于：由一个工业相机和一个井字结构光发射器组合而成，所述工业相机和井字结构光发射器平行放置，井字结构光发射器由两个直流十字结构光发射器组装而成，其中每个直流十字结构光发射器照射目标都会在目标表面产生十字标记，两个直流十字结构光发射器的组装关系使得一起同时照射目标时，目标表面两个十字标记相互交叉形成井字标记。
2.权利要求1的井字结构光相机系统进行目标有尺度三维重建的方法，其特征在于：具体步骤如下：
步骤1：井字结构光相机系统参数标定：对井字结构光相机系统进行参数标定，确定井字结构光发射器在工业相机坐标系下的位置以及结构光光线的方向向量，在标定过程中固定好井字结构光相机系统，保持其空间位置不动，以标定板为辅助工具标定井字结构光相机系统，前后不断移动标定板，那么井字结构光会在标定板上投射出多个井字标记，拟合所有井字标记的左上方十字交叉点得到井字结构光光线的空间直线方程；
由于在标定过程中会受到标定板的精度、井字结构光相机系统震动的影响，求解的十字交叉点坐标容易出现较大误差，即出现局外点，因此将最大互相关熵准则和空间直线的拟合相结合；具体结合方法为：
对于空间直线，其标准式方程为：
转化为：
设 那么空间直线表示为：
空间直线的误差形式为：
式中：i表示第i个十字交叉点，Zi、XYi表示第i个十字交叉点三维坐标形成的矩阵；所以目标函数为：
式中：θ＝[a b c d],Z表示由i个Zi组成的矩阵，XY表示由i个XYi组成的矩阵；利用最大互相关熵准则转换该目标函数为：
式中N表示十字交叉点的个数，ej表示误差矩阵中的第j个元素，σ表示高斯核带宽；通过不断地迭代求解该目标函数得到θ＝[a,b,c,d]T的值，利用a,b,c,d的值得到直线的未知参数[x0,y0,z0,A,B,C]，用公式 求得拟合直线与工业
相机坐标系XOY平面的交点；交点坐标PXOY和井字结构光光线的空间直线方向向量DL＝[A,B,C]T为井字结构光相机系统的参数标定结果；标定结果受外界影响小；
步骤2：井字标记的图像识别：井字标记图像识别的目的为得到十字交叉点的像素坐标，包括两个步骤：
1.候选区域的检测
井字标记的成像小，为了减小后续操作的时间复杂性，首先进行候选区域的检测；井字标记在图像中亮度高且属于连通域，且结构光本身和汉字有一定的相似性，所以利用字符检测常用的最大极值稳定区域算法进行候选区域检测，该算法能够检测出多个候选区域；
算法具体使用方法为：用工业相机拍摄带有井字标记的目标，将拍摄得到的彩色图像转为灰度图像，作为最大极值稳定区域算法的输入，该算法的检测函数拟合不规则的区域为椭圆区域，所以在使用该算法时根据井字标记的形状和大小对不符合条件的区域进行剔除处理：
(1)利用椭圆长短轴的长度剔除大小不合适的椭圆；
(2)椭圆离心率需要小于阈值，离心率较大，那么椭圆较为扁平，不符合井字区域的特征；
(3)为方便后续处理，得到椭圆区域的外接矩形框；计算两两矩形框的重叠率，并用二阶矩阵的形式表示，将重叠率小于阈值的位置设为零；将二阶矩阵转化为图，节点代表矩形框，所有非零重叠率的矩形框具有连接关系，然后利用图的连接分量将多个重叠的矩形框合并；
经过上述剔除处理，仅有少数的候选区域被保留；
2.井字标记的图像识别
对步骤2中1步骤得到的候选区域进行二值化处理，处理后的候选区域被定义为一个矩阵，每个元素的值为0或者1，由于井字标记有光晕，也就是井字标记中的直线会有宽度，采用Zhang-Suen细化算法对二值化后的候选区域进行细化处理，应用Zhang-Suen细化算法时，直接将二值化后的候选区域作为算法输入，输出为细化后的候选区域；
采用LSD直线检测算法检测井字标记中的四条直线；该算法具体使用方法为：将细化后的候选区域作为LSD直线检测算法输入，输出为一系列线段检测结果，为了得到井字标记的左上方十字交叉点坐标，首先对LSD直线检测结果进行直线合并，并用井字的几何性质识别井字标记，几何性质描述为：
(1)井字标记有两组平行直线；
(2)对于某组平行直线中的一条直线，和另一组平行直线都垂直；
(3)井字标记的四个交叉点形成四边形，其长宽比确定；
利用几何性质能够识别图像中的井字标记，并且得到井字标记的左上方十字交叉点坐标；
步骤3：尺度因子估计与优化
利用井字标记左上方十字交叉点在工业相机坐标系下的无尺度三维坐标以及有尺度三维坐标估计出尺度因子；井字标记左上方十字交叉点无尺度三维坐标的获得方法为：对步骤2中得到的井字标记左上方十字交叉点坐标，以其邻域为候选块，在下一位姿的图像中进行模板匹配，将十字交叉点像素坐标以及匹配块坐标加入特征点对中，使用单目多视图重建技术得到十字交叉点在工业相机坐标系下的无尺度三维坐标；
井字标记左上方十字交叉点有尺度三维坐标的获得方法为：井字标记的重建；具体为：
将井字结构光照射到目标物体表面，利用步骤1得到井字结构光发射器在工业相机坐标系XOY平面的交点坐标PXOY以及井字结构光光线的空间直线方程方向向量DL，利用步骤2得到井字标记的左上方十字交叉点M在工业相机C中的像素点坐标m1，那么光心线的方向向量DC便确定，则根据三角测量的原理，利用光心线的方向向量DC和井字结构光光线的方向向量DL能够得到十字交叉点在对应相机坐标系下的真实三维坐标；
用井字结构光相机系统在不同的角度、不同的姿态下拍摄目标物体，在各个姿态下，分别得到井字标记左上方十字交叉点在各自相机坐标系下的有尺度三维坐标和无尺度三维坐标，能够得到多个尺度因子，由于误差的原因，这些尺度因子不尽相同，计算多个尺度因子的均值作为最终的全局尺度因子；
利用光束法平差优化得到的全局尺度因子；具体方法为：
假设利用多个尺度因子的均值得到的全局尺度因子为k,那么将该全局尺度因子加入光束法平差，目标函数为：
式中：s为全局尺度因子的倒数，即s＝1/k；P为投影矩阵，P＝K[R|T]，其中K为相机的内参矩阵，R为旋转矩阵，T为平移矩阵；m为重建三维点的总个数；n为图像的总个数；X′j＝[X′j,y′j,z′j]为重建出的第j个三维点的有尺度坐标；xij＝[uij,vij,1]表示第j个三维点在第i个图像上的真实像素坐标；vij表示如果第j个三维点在第i张图片有投影点则vij为1，否则vij为0；多次迭代最小化目标函数，当达到最小迭代误差或者到达最大迭代次数时输出最优参数，也就是最优尺度因子，获得无尺度三维模型和真实物体之间的尺度因子，从而将无尺度三维模型恢复到真实物体大小。
井字结构光相机系统及进行目标有尺度三维重建的方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法 | 2020-05-08 | 47 |
| 一种基于学习的稀疏表示的超分辨率图像重建方法 | 2020-05-11 | 851 |
| 基于图论的低秩矩阵恢复三维骨架方法 | 2020-05-11 | 875 |
| 作业型飞行机器人的四自由度机械臂遥操作系统及方法 | 2020-05-13 | 644 |
| 保持锐利特征的三维重建方法及系统 | 2020-05-11 | 988 |
| 基于二维图像辅助的深度图像增强方法 | 2020-05-11 | 320 |
| 一种基于γ射线的地层层析成像系统及方法 | 2020-05-12 | 263 |
| 一种基于稀疏变换的低剂量CT图像重建方法 | 2020-05-08 | 649 |
| 基于AR2 U-Net神经网络的快速磁共振成像方法 | 2020-05-12 | 263 |
| 一种基于图像序列的模型形变人脸三维重建方案 | 2020-05-12 | 558 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
