技术领域
[0001] 本
发明涉及
图像处理技术领域，尤其是涉及一种基于路侧PTZ相机的高速公路路面图像拼接方法。
背景技术
[0002] 近年来，随着ITS(Intelligent Transportation Systems,
智能交通系统)的快速发展，高速公路路侧视频监控技术逐渐成为高速公路养护部
门进行决策依据的重要手段。截止2018年年底，我国高速公路总里程已达14.3万公里，其中部分主要省份已经实现了视频监控全
覆盖，每时每刻将产生大量的高速公路路面图像数据，这些图像数据对于高速公路的监管以及路况分析具有重要意义。现有高速公路路侧视频监控
硬件系统采用等距离间隔布设摄像机方式生成，受到摄像机
分辨率等因素影响，路侧每摄像机的可视距离有限，能够获取的高速公路路面图像大小有限。因此，可以通过图像拼接技术对每摄像机获取的局部路面
图像序列拼接，进而生成全局的路段图像，而全幅高速公路路面图像不仅
可视化效果更好，且更利于高速公路监管部门及时做出管理决策。
[0003] 图像拼接主要指通过图像序列间的覆盖区域将多幅图像组合，生成完整的具有大视
角与高分辨率图像的图像处理过程。图像拼接过程中的关键步骤在于图像匹配，而图像匹配的准确度直接制约拼接结果图像的可视化
精度与效果。目前主要的图像匹配
算法可分为基于区域匹配的方法与基于特征匹配的方法。基于区域的方法根据灰度信息评估匹配图像间的相似性，进而实现图像间的匹配，该方法适用于传统CCD相机获取图像或者跨通道遥感图像间的匹配，但该方法在光照变化显著以及
像素灰度不一致等情况下会因为图像间重叠区域的不一致性产生不正确的匹配结果；基于特征匹配的方法首先在待匹配的图像序列上提取特征，然后根据图像间的特征建立图像序列间的相关性，进而实现图像间的匹配，虽然基于特征的匹配方法能够更好地适应场景运动，但是在特征提取以及图像关联性计算过程中无法避免要引入计算误差，如场景成像造成的特征提取精度误差以及计算两幅图像单应阵时的解算误差，这些误差将对图像拼接算法精度造成影响。
发明内容
[0004] 本发明的目的就是为了克服上述
现有技术存在的匹配区域不一致、特征匹配解算误差较大的
缺陷而提供一种基于路侧PTZ相机的高速公路路面图像拼接方法。
[0005] 本发明的目的可以通过以下技术方案来实现：
[0006] 一种基于路侧PTZ相机的高速公路路面图像拼接方法，包括以下步骤：
[0007] 步骤S1：采集不同的太阳光辐照度下路侧PTZ相机生成的高速公路的路面图像，计算路面图像中像素的期望灰度值，对所述期望灰度值进行校正得到路面图像中像素的实际灰度值；
[0008] 步骤S2：根据完成校正的路面图像，计算不同视距、不同相机
姿态下路面图像的像素精度，并计算与摄像机的与感光板平面平行的虚拟投影面的长距与宽距；
[0009] 步骤S3：基于PTZ相机的扫描预置位，根据所述虚拟投影面与实际的成像区域平面间对应边长的变换关系，对相应高速公路路段进行完整路面扫描；
[0010] 步骤S4：根据扫描生成的完整路面的图像序列，进行路面图像拼接，实现单个PTZ相机对应路段的全幅高速公路路面图像无缝拼接；
[0011] 步骤S5：将相应高速公路路段上所有PTZ相机的完成图像无缝拼接的全幅高速公路路面图像再次拼接，得到该高速公路的全路段图像。
[0012] 所述太阳光辐照度通过最小二乘法计算出与所述路面图像的灰度值的对应关系，根据所述对应关系对期望灰度值进行校正。
[0013] 所述步骤S2中像素精度的计算过程具体包括：
[0014] 步骤S201：对获取的不同视距下的包含车道线的高速公路的路面图像进行直段线提取并细化，得到直线段集；
[0015] 步骤S202：根据相机成像原理，建立相机姿态参数{αi,βi,γi}、相机视距参数、图像上直线段像素长度以及对应实际直线段长度间的对应方程，所述对应方程具体如下：
[0016]
[0017] 其中，{αi,βi,γi}分别代表相机进行路面扫描时沿车道方向与立柱间夹角、相机相对光轴的旋转角以及沿车道面垂直方向与立柱间夹角，f为进行高速公路路面
图像采集时PTZ相机的焦距，di为相机视距参数，lij为路面图像上直线段li的像素长度，olij为lij对应线段到图像中心像素的像素长度，w为直线段li对应实际长度，sij为感光板平行平面的中心
位置距离路面的物理距离，wi为路面图像对应的相机姿态角为{αi,βi,γi}时路面图像上的
水平方向线段的倾斜角，h为PTZ相机距离实际路面的高度；
[0018] 步骤S203：根据所述步骤S201中得到直线段集进行计算，得到路面图像的像素精度，计算公式具体如下：
[0019]
[0020] 其中，api为路面图像的像素精度，m为直线段集中直线段的数量。
[0021] 所述倾斜角wi具体为：
[0022]
[0023] 其中， 与 分别为路侧PTZ相机在不同视距下，相机姿态参数中β＝0和γ＝0时生成的虚拟投影面的长距与宽距。
[0024] 所述虚拟投影面的长距与宽距的计算方式具有如下关系：
[0025]
[0026] 其中，Cl和Cw分别为路面图像的长距与宽距。
[0027] 所述步骤S3具体如下：
[0028] 步骤S301：根据路侧PTZ相机扫描高速公路的初始位置给出的位置距离信息，调整路侧PTZ相机的预置位对应的相机姿态参数，使所述预置位处于成像平面的中心处，调整后的相机姿态参数具体如下：
[0029]
[0030]
[0031] β1＝0
[0032] 其中，Sh为沿车道线方向初始位置距离路侧PTZ相机所在立柱的距离，Sv为沿车道垂直方向初始位置距离路侧PTZ相机所在立柱的距离；
[0033] 步骤S302：根据调整后的相机姿态参数{α1,β1,γ1}，计算路侧PTZ相机的初始扫描区域的视场区域面积，具体计算公式如下：
[0034]
[0035] 其中， 和 分别为路侧PTZ相机在不同视距下，相机姿态参数为{α1,β1,γ1}时生成的虚拟投影面的长距与宽距；
[0036] 步骤S303：路侧PTZ相机沿车道垂直方向依次扫描路面，相机姿态参数γj根据扫描情况实时变化，所述相机姿态参数γj满足转动约束条件如下所示：
[0037]
[0038] 其中，γj为路侧PTZ相机进行路面扫描时沿车道面垂直方向与立柱间夹角；
[0039] 当γj+1满足第一停止条件时路侧PTZ相机停止扫描，具体第一停止条件如下：
[0040]
[0041] 其中，Lh为当前高速公路路面宽度；
[0042] 步骤S304：路侧PTZ相机沿车道方向依次扫描路面，相机姿态参数αi根据扫描情况实时变化，所述相机姿态参数αi满足转动约束条件如下所示：
[0043]
[0044] 其中，αi为路侧PTZ相机进行路面扫描时沿车道方向扫描时与立柱间夹角；
[0045] 步骤S305：路侧PTZ相机沿与所述步骤S303相反的车道垂直方向依次扫描路面，相机姿态参数γj根据扫描情况实时变化，所述相机姿态参数γj转动约束条件同步骤S303；
[0046] 步骤S306：判断αi是否满足第二停止条件，若否将重新执行步骤S303-S305；若是则生成对应高速公路的路面扫描结果的图像序列，所述第二停止条件具体为：
[0047]
[0048] 其中，Lv为当前高速公路路段上路侧PTZ相机的安装间距。
[0049] 所述单个PTZ相机对应路段的全幅高速公路路面图像无缝拼接的拼接方法具体如下：
[0050]
[0051] 其中，Img为当前高速公路路段的全幅高速公路路面图像，ASij{i＝1,2,…,n,j＝1,2,…,m}为当前高速公路的路面扫描结果的图像序列。
[0052] 所述所有PTZ相机的完成图像无缝拼接的全幅高速公路路面图像进行再次拼接的方法如下所示：
[0053] I＝[Img1 Img2 … Imgk]
[0054] 其中，I为高速公路全路段图像，Imgi{i＝1,2,…,k}为完成图像无缝拼接的PTZ相机的全幅高速公路路面图像。
[0055] 与现有技术相比，本发明具有以下有益效果：
[0056] 1.现有图像拼接技术属于逆向工程范畴，通过计算相邻图像间的匹配关系进行图像拼接。这种计算方式，不可避免将引入计算误差，如特征提取的计算误差、图像匹配关系的计算误差等，进而导致图像拼接结果精度、拼接
质量有限。本发明中的图像拼接方法属于正向工程范畴，通过分析成像原理，计算PTZ相机的控制参数，以固定的扫描方式获取图像，扫描结果图像可直接进行拼接，拼接图像精度高、拼接质量更好。
[0057] 2.现有高速公路路面图像拼接方法，大部分基于安装视觉
传感器的自动巡检车等移动式装置，其图像采集环境受光照、动态场景干扰，图像的
稳定性以及拼接结果的精度均有待提高。本发明无需增加额外移动式传感装置，以固定式路侧PTZ相机作为图像采集手段，减少了光照、动态环境干扰。
[0058] 3.现有高速公路路面图像拼接方法由于精度制约，同
时移动式图像采集传感装置进行路面图像扫描时需要耗费较大的高速公路作业量，影响正常的交通状态，从而无法进行大范围工程化实施。本发明可以直接对装有路侧PTZ相机的高速公路路段进行PTZ相机二次开发，提出的图像拼接方法可嵌入其路侧视频
监控系统，无需增加高速公路工程作业量，满足ITS智能化发展需求。
附图说明
[0059] 图1为本发明的流程示意图；
[0060] 图2为本发明图像拼接方法主要原理及应用场景的示意图；
[0061] 图3为本发明路侧PTZ相机在不同姿态下产生的成像平面在高速公路路面投影变化关系示意图；
[0062] 图4为本发明高速公路路面沿车道垂直方向进行扫描时引起的光轴变化以及投影平面中心点间变化关系的示意图；
[0063] 图5为本发明高速公路路面沿车道方向进行扫描时引起的光轴变化以及投影平面中心点间变化关系的示意图。
具体实施方式
[0064] 下面结合附图和具体
实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0065] 如图1所示，一种基于路侧PTZ相机的高速公路路面图像拼接方法，包括以下步骤：
[0066] 步骤S1：根据高速公路路侧PTZ相机采集的不同太阳光辐照度条件下、不同相机视距下的的高速公路路面图像，进行路面图像像素非均匀校正；
[0067] 步骤S2：根据完成校正的路面图像，计算不同视距、不同相机姿态下路面图像的像素精度，由像素精度计算得到与摄像机感光板平面平行的虚拟投影面的距离参数；
[0068] 步骤S3：基于PTZ相机的扫描预置位，根据虚拟投影面与实际的成像区域平面间对应边长的变换关系，对相应高速公路路段进行完整路面扫描；
[0069] 步骤S4：根据扫描生成的完整路面的图像序列，进行路面图像拼接，实现单个PTZ相机对应路段的全幅高速公路路面图像无缝拼接；
[0070] 步骤S5：将相应高速公路路段上所有PTZ相机的完成图像无缝拼接的全幅高速公路路面图像再次拼接，得到该高速公路的全路段图像。
[0071] 如图2所示，步骤S1具体包括：
[0072] 步骤S101：通过高速公路路侧PTZ相机，采集不同太阳光辐照度(当天不同时刻、不同天气情况等条件)、不同相机视距下的高速公路路面图像，且这些图像包含完整的路面车道线信息；
[0073] 步骤S102：根据步骤S101中获得的高速公路的路面图像，计算成像感光板所有像素的灰度值，根据公式计算路面图像的像素相应的灰度值的期望Eq，具体公式为：
[0074]
[0075] 其中，xi＝{0,1,2…,255}为路面图像的像素灰度值，pi为该灰度值在路面图像中出现的概率；
[0076] 步骤S103：根据不同的太阳光辐照度以及对应的路面图像的灰度值期望，采用最小二乘法求取太阳辐照度与灰度值期望的参数估计，具体计算公式如下：
[0077] Eq＝αqE+σq
[0078] 其中，αq与σq为路侧PTZ相机成像时成像感光板的感光系数参数估计与电荷量参数估计，E为太阳光辐照度；
[0079] 步骤S104：采用最小二乘法对不同视距下采集的高速公路路面图像上每像素的感光系数参数与电荷电参数估计，得到如下关系：
[0080] Eq＝αiE+σi
[0081] 其中，αi与σi为路侧PTZ相机成像时成像感光板每个像素的感光系数参数估计与电荷量参数估计；
[0082] 步骤S105：将步骤S104的计算结果代入步骤S103中，计算得到路面图像的像素对应的实际灰度估计值，计算公式具体如下：
[0083]
[0084] 其中，Eqi为路面图像的像素对应的实际灰度估计值。
[0085] 步骤S2中像素精度的计算过程具体包括：
[0086] 步骤S201：对获取的不同视距下的包含车道线的高速公路的路面图像进行直段线提取并细化，得到直线段集；
[0087] 步骤S202：根据相机成像原理，建立相机姿态参数{αi,βi,γi}、相机视距参数、图像上直线段像素长度以及对应实际直线段长度间的对应方程，对应方程具体如下：
[0088]
[0089] 其中，{αi,βi,γi}分别代表相机进行路面扫描时沿车道方向与立柱间夹角、相机相对光轴的旋转角以及沿车道面垂直方向与立柱间夹角，f为进行高速公路路面图像采集时PTZ相机的焦距，di为相机视距参数，lij为路面图像上直线段li的像素长度，olij为lij对应线段到图像中心像素的像素长度，w为直线段li对应实际长度，sij为感光板平行平面的中心位置距离路面的物理距离，wi为路面图像对应的相机姿态角为{αi,βi,γi}时路面图像上的水平方向线段的倾斜角，h为PTZ相机距离实际路面的高度；
[0090] 倾斜角wi具体为：
[0091]
[0092] 其中， 与 分别为路侧PTZ相机在不同视距下，相机姿态参数中β＝0和γ＝0时生成的虚拟投影面的长距与宽距；
[0093] 虚拟投影面的长距与宽距和镜头焦距以及路面图像的长距与宽距具有如下关系：
[0094]
[0095] 其中，Cl和Cw分别为路面图像的长距与宽距；
[0096] 步骤S203：根据步骤S201中得到直线段集进行计算，得到路面图像的像素精度，计算公式具体如下：
[0097]
[0098] 其中，api为路面图像的像素精度，m为直线段集中直线段的数量；
[0099] 不同视距下产生的虚拟投影面的长距和宽距可由该视距下的图像像素精度与图像长宽计算得到，具体计算公式如下：
[0100]
[0101] 步骤S3具体如下：
[0102] 步骤S301：根据路侧PTZ相机扫描高速公路的初始位置Oi给出的位置距离信息，调整路侧PTZ相机的预置位对应的相机姿态参数，使预置位Oi处于成像平面的中心处，即预置位Oi为路侧PTZ相机
光心O在路面的实际投影点，调整后的相机姿态参数具体如下：
[0103]
[0104]
[0105] β1＝0
[0106] 其中，Sh为沿车道线方向初始位置距离路侧PTZ相机所在立柱的距离，Sv为沿车道垂直方向初始位置距离路侧PTZ相机所在立柱的距离；
[0107] 步骤S302：根据调整后的相机姿态参数{α1,β1,γ1}，计算路侧PTZ相机的初始扫描区域的视场区域面积，具体计算公式如下：
[0108]
[0109] 其中， 和 分别为路侧PTZ相机在不同视距下，相机姿态参数为{α1,β1,γ1}时生成的虚拟投影面的长距与宽距；
[0110] 如图3所示，路侧PTZ相机在高速公路路面虚拟投影面CAiCBiCCiCDi与实际的成像区域平面RAiRBiRCiRDi间对应边长的变换关系如下：
[0111]
[0112]
[0113] 步骤S303：路侧PTZ相机沿车道垂直方向依次扫描路面，相机姿态参数γj根据扫描情况实时变化，如图4所示，当γj变化时，两相邻两幅扫描图像间的间隔需满足
间隔条件来保证其无缝连接，具体间隔条件如下：
[0114]
[0115] 其中，Oj和Oj+1为路侧PTZ相机沿车道垂直方向扫描时相机光心在路面上的实际投影点，
[0116] 相机姿态参数γj满足转动约束条件如下所示：
[0117]
[0118] 其中，γj为路侧PTZ相机进行路面扫描时沿车道面垂直方向与立柱间夹角；
[0119] 当γj+1满足第一停止条件时路侧PTZ相机停止扫描，具体第一停止条件如下：
[0120]
[0121] 其中，Lh为当前高速公路路面宽度；
[0122] 步骤S304：路侧PTZ相机沿车道方向依次扫描路面，相机姿态参数αi根据扫描情况实时变化，如图5所示，当αi变化时，两相邻两幅扫描图像间的间隔需满足间隔条件来保证其无缝连接，具体间隔条件如下：
[0123]
[0124] 其中，Oi和Oi+1为路侧PTZ相机沿车道方向扫描路面时相机光心在路面实际投影点，
[0125] 相机姿态参数αi满足转动约束条件如下所示：
[0126]
[0127] 其中，αi为路侧PTZ相机进行路面扫描时沿车道方向扫描时与立柱间夹角；
[0128] 步骤S305：路侧PTZ相机沿与步骤S303相反的车道垂直方向依次扫描路面，相机姿态参数γj根据扫描情况实时变化，相机姿态参数γj转动约束条件同步骤S303；
[0129] 步骤S306：判断αi是否满足第二停止条件，若否将重新执行步骤S303-S305；若是则生成对应高速公路的路面扫描结果的图像序列，第二停止条件具体为：
[0130]
[0131] 其中，Lv为当前高速公路路段上路侧PTZ相机的安装间距。
[0132] 单个PTZ相机对应路段的全幅高速公路路面图像无缝拼接的拼接方法具体如下：
[0133]
[0134] 其中，Img为当前高速公路路段的全幅高速公路路面图像，ASij{i＝1,2,…,n,j＝1,2,…,m}为当前高速公路的路面扫描结果的图像序列。
[0135] 所有PTZ相机的完成图像无缝拼接的全幅高速公路路面图像进行再次拼接的方法如下所示：
[0136] I＝[Img1 Img2 … Imgk]
[0137] 其中，I为高速公路全路段图像，Imgi{i＝1,2,…,k}为完成图像无缝拼接的PTZ相机的全幅高速公路路面图像。
[0138] 本发明提出的基于路侧PTZ相机控制方法的高速公路路面图像拼接方法，在扫描过程中为保持成像区域间的连接一致性，并未对其成像感光平面进行旋转，即上述实例均在相机姿态参数βi＝0时条件下执行得到。当路侧PTZ相机姿态参数βi变化时，图3中生成的成像区域平面RAiRBiRCiRDi的每边长仍具有上述实际关系，但平面上所有点在该平面上产生了βi大小的转动。这部分内容虽不在本发明中进一步阐述，但其仍属本发明保护范围。
[0139] 此外，需要说明的是，本
说明书中所描述的具体实施例，所取名称可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等小变化或者简单变化，均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的
修改或补充或采用类似的方法，只要不偏离本发明的结构或者超越本
权利要求书所定义的范围，均应属于本发明的保护范围。
