技术领域
[0001] 本
发明涉及全景拼接相关领域，具体来讲是一种全景拼接方法、一种车用全景拼接方法及其全景系统。
背景技术
[0002] 随着社会经济和科技的快速发展，
汽车在人们生活中发挥着越来越重要的作用，并且越来越普及，然而随着汽车的广泛普及，面对泊车入位、窄道会车、障碍规避、倒车盲区等难题，有效减少剐蹭以及盲区引起的碾压人等事故发生的问题日益突出，现有的社会资源不能满足需求，尤其是对驾驶经验不足的人来说，如何能够更轻松更安全的把车泊入车位是很多驾驶人为之头疼的事情，为此车载360度全景泊车系统应运而生。
[0003]
现有技术的标定时必的全景泊车系统须使用标尺测量
车身长度，车宽等参数才能进行标定，这不单需要多人协同操作，并且标定之后无法灵活的对某个摄像头的拼接成像效果进行拉伸、缩放、旋转或者位移，安装过程的繁琐及拼接效果无法手工调试造成一旦拼接效果不佳必须重新挪动镜头
角度重新标定，这不仅浪费时间经济效益还不方便后期维护，车主行驶一段时间后，由于汽车震动造成镜头角度发生轻微偏移，此时四个摄像头所拼接出来的全景图像就会出现误差、失真影响泊车的功能使用。
发明内容
[0004] 因此，为了解决上述不足，本发明在此提供一种全景拼接方法，包括以下步骤：
[0005] S1、设置在不同
位置的广角摄像头获取拍摄图像；
[0006] S2、对所述拍摄图像进行畸变矫正拉直处理；
[0007] S3、在所述广角摄像头的采集范围内设置标定参照物，利用所述标定参照物进行描点标定，描出所述标定参照物上的特殊图像坐标，得到变化矩阵；
[0008] S4、对所述变换矩阵进行透视变换处理，得到多角度的拼接图像；
[0009] S5、对所述拼接图像进行
颜色均衡、融合，得到颜色光照一致的所述拼接图像，并分别计算出每一张所述拼接图像在全景拼接区域中的相对位移，得到全景拼接图像。
[0010] 优选的，所述标定参照物是一种标定布。
[0011] 优选的，所述步骤S5中，计算所述相对位移的
算法如下：
[0012] S1、通过图像
边缘检测算子处理，得到坐标点；
[0013] S2、通过坐标点对应到全景拼接图像上的坐标值作截图处理公式：
[0014] 规定：S表示源图，D表示拼接图
[0015] S坐标(X-位移，Y-位移)＝D坐标(X，Y)
[0016] S3、根据拼接图的坐标点和源图的坐标点，位移＝S坐标-D坐标，得到位移量。
[0017] 一种车用全景拼接方法，包含设置于车辆周围的多个广角摄像头，所述多个广角摄像头通过所述的全景拼接方法，形成车辆周围的全景拼接图像。
[0018] 优选的，对所述变化矩阵进行透视变换处理得到拼接原图，截取所述拼接原图部份范围，得到所述拼接图像，所述拼接图像略小于所述拼接原图。
[0019] 优选的，计算所述相对位移的算法如下：
[0020] S1、通过图像边缘检测算子处理，得到8个
顶点坐标(1，2，3，4，5，6，7，8)，即为源图坐标；
[0021] S2、通过1，2，3，4，5，6，7，8点坐标对应到拼接图像上的坐标值作截图处理公式：
[0022] 规定：S表示源图，D表示拼接图
[0023] S坐标1(X-位移，Y-位移)＝D坐标1(X，Y)
[0024] S坐标2(X-位移，Y-位移)＝D坐标2(X，Y)
[0025] S坐标3(X-位移，Y-位移)＝D坐标3(X，Y)
[0026] S坐标4(X-位移，Y-位移)＝D坐标4(X，Y)
[0027] S坐标5(X-位移，Y-位移)＝D坐标5(X，Y)
[0028] S坐标6(X-位移，Y-位移)＝D坐标6(X，Y)
[0029] S坐标7(X-位移，Y-位移)＝D坐标7(X，Y)
[0030] S坐标8(X-位移，Y-位移)＝D坐标8(X，Y)
[0031] S3、根据拼接图像的坐标点和源图的坐标点，位移＝S坐标-D坐标，得到位移量。
[0032] 优选的，拼接图像可通过移动、缩放、旋转、伸缩、倾斜、展开调整其拼接位置，获得拼接效果更好的全景拼接图像。
[0033] 一种基于所述车用全景拼接方法的全景系统，包含设置于车辆周围的多个广角摄像头、系统主机；所述系统主机包含
图像采集传感器、显示数据随机
存储器和内嵌式存储器，所述广角摄像头与所述图像采集传感器相连接，所述图像采集传感器与处理器相连接，所述处理器与所述显示数据随机存储器和所述内嵌式存储器均相连接；所述广角摄像头用于获得原始图像信息；所述图像采集传感器将图像信息转化为电
信号传输到所述处理器；所述处理器处理所接收的
电信号，得到所需要的图像信息，再将其传输到所述显示数据随机存储器，
可视化显示处理后的图像信息，需要长期储存的图像信息传输到所述内嵌式存储器存储起来。
[0034] 本发明具有如下优点：本发明通过改进在此提供一种全景拼接方法、一种车用全景拼接方法及其全景系统，与现有技术相比，具有如下改进及优点；
[0035] 优点1：本发明采用标定布辅助标定，标定布易携带，用于车辆周围全景拼接时，标定无需测量车身长度宽度，操作更加简捷。
[0036] 优点2：现有技术中需要计算
坐标系的映射表，再通过映射查表去拼接全景图，拼接完成后无法进行移动，缩放，旋转，伸缩，倾斜，展开等手段对全景拼接图像进行微调，而本发明解决了这个问题，拼接结束后，本发明可以实现全景拼接图像的微调，达到更好的拼接效果。
[0037] 优点3：本发明相比现有技术，拼接方式不用提取两张欲拼接图像的特征点(如：shif算法，surf算法,harris算法)，再进行特征点匹配(如：RANSAC算法)从而得到变换矩阵，这种拼接方法对环境要求较高，环境复杂时，按特征点匹配成功率和准确率很低，而本发明不依赖于特征点的匹配，对环境要求较低，更具有普适性。
[0038] 优点4：本发明采用图片式的拼接方法，后期可以通过移动，缩放，旋转，伸缩，倾斜，展开等来解决由于摄像头安装造成的拼接效果问题，或者由于摄像头移动造成的拼接问题；而现有技术一旦安装好就无法调整了。
附图说明
[0039] 图1是本发明全景系统的结构示意图；
[0040] 图2是本发明透视变换示意图；
[0041] 图3是本发明
实施例一拼接参数示意图。
[0042] 其中：1-前视鱼眼摄像头、2-后视鱼眼摄像头、3-左视鱼眼摄像头、4-右视鱼眼摄像头、5-图像采集传感器、6-处理器、7-显示数据随机存储器、8-内嵌式存储器、9-标定布具体实施方式
[0043] 下面将结合附图1-3对本发明进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044] 实施例一
[0045] 如图1所示，在汽车前后左右位置设置有4个广角摄像头，具体是一种鱼眼摄像头，其视角范围为200度，分别是前视鱼眼摄像头1、后视鱼眼摄像头2、左视鱼眼摄像头3和右视鱼眼摄像头4，4个鱼眼摄像头获得原始图像信息，并将原始图像信息传到图像采集传感器5，图像采集传感器5将图像信息转化为电
信号传输到处理器6。
[0046] 处理器6将所有鱼眼摄像头获取的图像信息进行畸变矫正处理，鱼眼镜头畸变矫正可通过张氏标定(张正友教授)法求出镜头的内外参数后对鱼眼镜头图像矫正后得到利于人眼观察或使用的图像。
[0047] 在汽车前后左右各设置一
块标定布9，标定布9上的图案是由黑白正方形组成，因为黑白正方形色差明显，最容易选取准确的点，选取4个经畸变矫正后图像中标定布9中合适的点进行描点标定，通过描点标定分别得到变换矩阵M1、M2、M3、M4共4个矩阵，这些矩阵分别对应前后左右4个方位；
[0048] 对4个变换矩阵M1、M2、M3、M4进行透视变换处理后分别得到4张拼接图像，参考图2，透视变换的通用公式为：
[0049]
[0050] 变换后的坐标x,y分别为：x＝x’,y＝y’/w’
[0051] 展开之后即：
[0052] 其中， 为透视变换矩阵； 表示线性变换，[a31a32]用于平移。
[0053] 把4张拼接图像通过颜色均衡、融合方法使其颜色光照一致，颜色均衡、融合方法采用现有较为成熟的颜色均衡、融合方法，并通过处理器6分别计算出每一张图片在全景拼接区域中的相对位移即可得到全景拼接图像，步骤如下：
[0054] 参考图3，E区域的宽度为100
像素；F区域的宽度为300像素；G区域的高度为120像素；H区域的宽高为60像素；I区域的宽度为100像素。圆圈表示拼接图像中前鱼眼摄像头图片放置的理想位置，假设为：
[0055] 坐标1(X＝40，Y＝60)
[0056] 坐标2(X＝40，Y＝120)
[0057] 坐标3(X＝100，Y＝60)
[0058] 坐标4(X＝100，Y＝120)
[0059] 坐标5(X＝200，Y＝60)
[0060] 坐标6(X＝200，Y＝120)
[0061] 坐标7(X＝260，Y＝60)
[0062] 坐标8(X＝260，Y＝120)
[0063] 计算算法为：
[0064] 通过图像边缘检测算子处理，得到8个顶点坐标(1，2，3，4，5，6，7，8)即为源图坐标，
[0065] 通过1，2，3，4，5，6，7，8点坐标对应到全景拼接图像上的坐标值作截图处理公式：
[0066] 规定：S表示源图，D表示拼接图
[0067] S坐标1(X-位移，Y-位移)＝D坐标1(X，Y)
[0068] S坐标2(X-位移，Y-位移)＝D坐标2(X，Y)
[0069] S坐标3(X-位移，Y-位移)＝D坐标3(X，Y)
[0070] S坐标4(X-位移，Y-位移)＝D坐标4(X，Y)
[0071] S坐标5(X-位移，Y-位移)＝D坐标5(X，Y)
[0072] S坐标6(X-位移，Y-位移)＝D坐标6(X，Y)
[0073] S坐标7(X-位移，Y-位移)＝D坐标7(X，Y)
[0074] S坐标8(X-位移，Y-位移)＝D坐标8(X，Y)
[0075] 由于拼接图像的坐标点已知，源图的坐标已知，因此位移＝S坐标-D坐标，即可得到位移量，假设上面源图中1点坐标值为X＝300，Y＝250，根据公式换算得位移量为[0076] 位移＝S坐标1(X＝300，Y＝250)＝D坐标1(X＝40，Y＝60)得到，X位移＝260，Y位移＝190。
[0077] 处理器将其拼接图像和全景拼接图像传输到显示数据随机存储器7，可视化显示图像信息；需要长期储存的图像信息则传输到内嵌式存储器8进行备份存储。由于采用图片式的拼接方式，如果算法拼接有误差，可以通过人为移动、缩放、旋转来调整图像位置达到最好的拼接效果。
[0078] 实施例二
[0079] 如图1所示，在汽车前后左右位置设置有4个广角摄像头，具体是一种鱼眼摄像头，其视角范围为200度，分别是前视鱼眼摄像头1、后视鱼眼摄像头2、左视鱼眼摄像头3和右视鱼眼摄像头4，4个鱼眼摄像头获得原始图像信息，并将原始图像信息传到图像采集传感器5，图像采集传感器5将图像信息转化为电信号传输到处理器6。
[0080] 处理器6将所有鱼眼摄像头获取的图像信息进行畸变矫正处理，鱼眼镜头畸变矫正可通过张氏标定(张正友教授)法求出镜头的内外参数后对鱼眼镜头图像矫正后得到利于人眼观察或使用的图像。
[0081] 在进行畸变矫正处理后得到拼接原图，可截取拼接原图的一定范围作为拼接图像，范围外作为拼接补偿区，当由于摄像头安装位置不对或者发生移动时，可通过移动、缩放、旋转、伸缩、倾斜、展开调整其拼接位置，可以实现在摄像头不进行调整的情况下具有一定的调整预度，因为使用的是广角摄像头，所以可以设置这样的拼接补偿区。
[0082] 在汽车前后左右各设置一块标定布9，标定布9上的图案是由黑白正方形组成，因为黑白正方形色差明显，最容易选取准确的点，选取4个经畸变矫正后图像中标定布9中合适的点进行描点标定，通过描点标定分别得到变换矩阵M1、M2、M3、M4共4个矩阵，这些矩阵分别对应前后左右4个方位；
[0083] 对4个变换矩阵M1、M2、M3、M4进行透视变换处理后分别得到4张拼接图像，参考图2，透视变换的通用公式为：
[0084]
[0085] 变换后的坐标x,y分别为：x＝x’,y＝y’/w’
[0086] 展开之后即：
[0087] 其中， 为透视变换矩阵； 表示线性变换，[a31a32]用于平移。
[0088] 把4张拼接图像通过颜色均衡、融合方法使其颜色光照一致，颜色均衡、融合方法采用现有较为成熟的颜色均衡、融合方法，并通过处理器6分别计算出每一张图片在全景拼接区域中的相对位移即可得到全景拼接图像，步骤如下：
[0089] 参考图3，E区域的宽度为100像素；F区域的宽度为300像素；G区域的高度为120像素；H区域的宽高为60像素；I区域的宽度为100像素。圆圈表示拼接图像中前鱼眼摄像头图片放置的理想位置，假设为：
[0090] 坐标1(X＝40，Y＝60)
[0091] 坐标2(X＝40，Y＝120)
[0092] 坐标3(X＝100，Y＝60)
[0093] 坐标4(X＝100，Y＝120)
[0094] 坐标5(X＝200，Y＝60)
[0095] 坐标6(X＝200，Y＝120)
[0096] 坐标7(X＝260，Y＝60)
[0097] 坐标8(X＝260，Y＝120)
[0098] 计算算法为：
[0099] 通过图像边缘检测算子处理，得到8个顶点坐标(1，2，3，4，5，6，7，8)即为源图坐标，
[0100] 通过1，2，3，4，5，6，7，8点坐标对应到全景拼接图像上的坐标值作截图处理公式：
[0101] 规定：S表示源图，D表示拼接图
[0102] S坐标1(X-位移，Y-位移)＝D坐标1(X，Y)
[0103] S坐标2(X-位移，Y-位移)＝D坐标2(X，Y)
[0104] S坐标3(X-位移，Y-位移)＝D坐标3(X，Y)
[0105] S坐标4(X-位移，Y-位移)＝D坐标4(X，Y)
[0106] S坐标5(X-位移，Y-位移)＝D坐标5(X，Y)
[0107] S坐标6(X-位移，Y-位移)＝D坐标6(X，Y)
[0108] S坐标7(X-位移，Y-位移)＝D坐标7(X，Y)
[0109] S坐标8(X-位移，Y-位移)＝D坐标8(X，Y)
[0110] 由于拼接图像的坐标点已知，源图的坐标已知，因此位移＝S坐标-D坐标，即可得到位移量，假设上面源图中1点坐标值为X＝300，Y＝250，根据公式换算得位移量为[0111] 位移＝S坐标1(X＝300，Y＝250)＝D坐标1(X＝40，Y＝60)得到，X位移＝260，Y位移＝190。
[0112] 处理器将其拼接图像和全景拼接图像传输到显示数据随机存储器7，可视化显示图像信息；需要长期储存的图像信息则传输到内嵌式存储器8进行备份存储。由于采用图片式的拼接方式，如果算法拼接有误差，可以通过人为移动、缩放、旋转来调整图像位置达到最好的拼接效果。
[0113] 本发明通过改进提供一种全景拼接方法、一种车用全景拼接方法及其全景系统，本发明采用标定布辅助标定，标定布易携带，用于汽车周围图像的全景拼接时，标定无需测量车身长度宽度，操作更加简捷；本发明可以实现全景拼接图像的微调，达到更好的拼接效果；而本发明不依赖于特征点的匹配，对环境要求较低，更具有普适性；本发明采用图片式的拼接方法，后期可以通过移动，缩放，旋转，伸缩，倾斜，展开等来解决由于摄像头安装造成的拼接效果问题，或者由于摄像头移动造成的拼接问题。
[0114] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种
修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
