1.一种针对大型卡车的全景式辅助驾驶系统，其特征在于，包括第一摄像头、第二摄像
头、第三摄像头、第四摄像头、第五摄像头、第六摄像头、第一摄像处理智能单元、第二摄像处理智能单元、第三摄像处理智能单元、第四摄像处理智能单元、第五摄像处理智能单元、第六摄像处理智能单元、交换机、主控处理模块、预警模块、显示屏、车辆接口模块、电源模块；
所述第一摄像头与所述第一摄像处理智能单元连接；所述第二摄像头与所述第二摄像
处理智能单元连接；所述第三摄像头与所述第三摄像处理智能单元连接；所述第四摄像头
与所述第四摄像处理智能单元连接；所述第五摄像头与所述第五摄像处理智能单元连接；
所述第六摄像头与所述第六摄像处理智能单元连接；所述交换机分别与所述的第一摄像处
理智能单元、第二摄像处理智能单元、第三摄像处理智能单元、第四摄像处理智能单元、第五摄像处理智能单元、第六摄像处理智能单元通过网线依次连接；所述交换机与所述主控
处理模块连接；所述主控处理模块与所述预警模块连接；所述主控处理模块与所述显示屏
连接；所述主控处理模块与所述车辆接口模块连接；所述电源模块分别与所述的第一摄像
头、第二摄像头、第三摄像头、第四摄像头、第五摄像头、第六摄像头、第一摄像处理智能单元、第二摄像处理智能单元、第三摄像处理智能单元、第四摄像处理智能单元、第五摄像处理智能单元、第六摄像处理智能单元、交换机、主控处理模块、预警模块、显示屏、车辆接口模块连接；
所述第一摄像头安装在卡车车头标志处，所述第二摄像头安装在卡车尾部中心处，所
述第三摄像头安装在卡车左侧后视镜的下方，所述第四摄像头安装在卡车右侧后视镜的下
方，所述第五摄像头安装在车头与车身牵引处车身顶部左侧，所述第六摄像头安装在车头
与车身牵引处车身顶部右侧。
2.根据权利要求1所述的针对大型卡车的全景式辅助驾驶系统，其特征在于：所述第一
摄像头至所述第六摄像头均为鱼眼摄像头对卡车周围360°视野进行实时图像采集，并分别
传输至第一摄像处理智能单元至第六摄像处理智能单元；所述第一摄像头安装在卡车车头
标志处，用于采集卡车前方的路况信息；所述第二摄像头安装在卡车尾部中心处，用于采集卡车尾部路况信息；所述第三摄像头安装在卡车左侧后视镜的下方，用于采集车头左侧的
路况信息；所述第四摄像头安装在卡车右侧后视镜的下方，用于采集车头右侧的路况信息；
所述第五摄像头安装在车头与车身牵引处车身顶部左侧，用于采集车身左侧的路况信息；
所述第六摄像头安装在车头与车身牵引处车身顶部左侧，用于采集车身右侧的路况信息；
在所述第一摄像处理智能单元至所述第六摄像处理智能单元中，结合预先标定的所述第一
摄像头至所述第六摄像头参数对采集的畸变图像进行矫正，再通过投影变换技术将采集的
六路图像转换成俯视视角的图像，并将俯视视角的图像高速传给所述主控处理模块，所述
主控处理模块对俯视视角的图像进行解码、融合拼接、亮度校正处理，将处理后全景图像用于行人、车辆障碍物检测；若在全景图像中检测出有障碍物，则在显示屏中用边界框将障碍物框出来，并通过预警模块发出报警响声，提醒驾驶员安全驾驶；卡车会根据运行情况，结合方向盘的转向信号和卡车的挂挡信号，自动切换到单路摄像头画面或多路摄像头画面；
所述车辆模块用于获取车辆状态；电源模块用于系统供电。
3.一种利用权利要求1所述的针对大型卡车的全景式辅助驾驶系统进行针对大型卡车
的全景式辅助驾驶方法，其特征在于，包括以下步骤：
步骤1：通过第一摄像头至第六摄像头分别进行图像采集以及标定，获取每个摄像头的
内参数和外参数，通过内参数和外参数对第一摄像头至第六摄像头采集的图像进行矫正，
建立采集图像与校正后图像映射模型；
步骤2：对采集的第一摄像头至第六摄像头鱼眼图像进行仿射变换，透视变换，缩放变
换得到俯视图像；
步骤3：用加速稳健特征配准算法对俯视图像进行图像匹配得到局部特征点；
步骤4：根据局部特征点进行图像拼接融合；
步骤5：对拼接后全景图像进行中值滤波去躁、Gamma亮度校正、自动颜色均衡算法来对
颜色进行均一化处理后得到预处理后全景图像；
步骤6：在主控处理模块中，根据车辆行驶状态对预处理后全景图像进行障碍物检测；
步骤7：主控处理模块根据车辆接口模块获得车辆状态，根据车辆状态中方向盘的转向
信号和卡车的挂挡信号，自动切换到单路摄像头画面或多路摄像头画面，根据障碍物检测
结果预警。
4.根据利用权利要求3所述的针对大型卡车的全景式辅助驾驶方法，其特征在于，步骤
1中所述标定为：
将安装好的六个摄像头分别对准一个W×H的棋盘格进行拍摄，通过固定的旋转中心将
棋盘格旋转一周，采集六组，每组m张棋盘格图像，所采集的图像为：
Ii,j(xi,j,yi,j)(1≤i≤6,1≤j≤L,1≤xi,j≤U,1≤yi,j≤V)
其中，Ii,j为第i个摄像头第j次采集的图像，在棋盘格整个旋转过程中，摄像头的位置
和角度固定不变,Ii,j为L行N列的图像，xi,j为Ii,j的横坐标，yi,j为Ii,j的纵坐标，(xi,j,yi,j)为Ii,j的像素坐标；
步骤1中所述获取每个摄像头的内参数和外参数为：
输入Ii,j，对第一摄像头至第六摄像头进行标定，以获得每个摄像头的4个内参数，记为
5个畸变系数，记为(k1,i,k2,i,p1,i,p2,i,k3,i)(i∈[1,6]),具体过
程如下：
qi,j＝MiQi,j，其中
(1≤i≤6,1≤j≤L,1≤xi,j≤U,1≤yi,j≤V,wij>0)
其中， 为第i个摄像头的宽度方向焦距， 为第i个摄像头的高度方向焦距， 表示第
i个摄像头的光心位置的横坐标值， 表示第i个摄像头的光心位置的纵坐标值，Mi为表示
第i个摄像头的相机矩阵，qi,j(xi,j,yi,j,wi,j)为像素坐标(xi,j,yi,j)的图像坐标，Qi,j点(Xi,j,Yi,j,Zi,j)为qi,j的三维空间坐标点，Xi,j为Qi,j点的横坐标，Yi,j为Qi,j点的纵坐标，Zi,j为Qi,j点的垂直坐标，wi,j＝Zi,j,点qi,j(xi,j,yi,j,wi,j)是齐次坐标形式，齐次坐标把维数为n投影空间上的点用(n+1)维向量，其额外限制是任何两点的交比不变，wi,j表示一个非零数平面；
径向畸变数学模型：
x′i,j＝xi,j(1+k1ri,j2+k2ri,j4+k3ri,j6)
y′i,j＝yi,j(1+k1ri,j2+k2ri,j4+k3ri,j6)
(1≤i≤6,1≤j≤L,1≤xi,j≤U,1≤yi,j≤V)
其中，ri,j2＝xi,j2+yi,j2，ri,j为Ii,j的畸变半径，图像边缘处的径向畸变较大，k1是第一径向形变系数，k2第二径向形变系数，k3第三径向形变系数，(xi,j,yi,j)为Ii,j的像素坐标，(x′i,j，y′i,j)是(xi,j,yi,j)校正后坐标；
切向畸变数学模型：
x′i,j＝xi,j+[2p1yi,j+p2(ri,j2+2xi,j2)]
2 2
y′i,j＝yi,j+[p1(ri,j+2yi,j)+2p2xi,j]
(1≤i≤6,1≤j≤L,1≤xi,j≤U,1≤yi,j≤V)
(1≤i≤6,1≤j≤L,1≤x′i,j≤U,1≤y′i,j≤V)
其中，p1为第一切向形变系数，p2为第二切向形变系数，ri,j为Ii,j的畸变半径，(xi,j,
yi,j)为Ii,j的像素坐标，(x′i,j，y′i,j)是(xi,j,yi,j)校正后坐标；步骤1中所述采集图像与校正后图像映射模型为：
dst(x′i,j,y′i,j)＝src(a00xi,j+a01yi,j+b0,a10xi,j+a11yi,j+b1)
其中，(xi,j,yi,j)为Ii,j的像素坐标，(x′i,j，y′i,j)是(xi,j,yi,j)校正后坐标，a00,a01,a10,a11为多项式系数，b0,b1为多项式常数项。
5.根据利用权利要求3所述的针对大型卡车的全景式辅助驾驶方法，其特征在于，步骤
2中所述仿射变换为：
A·X′i,j+B，在效果上就等于将向量X′i,j拓展成X″i,j并且只是将X″i,j左乘T，其中
T≡[A B],
a′00,a′01,a′10,a′11为A矩阵的元素，b′0,b′1为B矩阵的元素；
将步骤1中采集的图像进行畸变矫正后得到dst(x′i,j,y′i,j)图像，将得到的dst(x′i,j,y′i,j)图像点以 的形式进行点序列仿射变换得到变换后的图像点
步骤2中所述透视变换为：
x″′i,j＝x″″i,j/w″″i,j
y″′i,j＝y″″i,j/w″″i,j
(1≤i≤6,1≤j≤L,1≤x″′i,j≤U,1≤y″′i,j≤V,w″i,j>0,w″″i,j>0)
(x″i,j,y″i,j)为仿射变换后的图像坐标，也即进行透视变换的原始图像坐标，(x″′i,j,y″′i,j)为透视变化后的图像坐标；变换矩阵 可以拆分为成4部分，
表示线性变换，[a31 a32]用于平移，[a13 a23]T产生透视变换；
步骤2中所述缩放变换：
(1≤i≤6,1≤j≤L,1≤x″″i,j≤U,1≤y″″i,j≤V)
其中， 为透视变换后的图像坐标，也即进行图像缩放的输入图像坐标，
为缩放变换后的输出图像坐标即俯视图像坐标， 为水平方向的缩放因子， 为垂直方
向的缩放因子。
6.根据利用权利要求3所述的针对大型卡车的全景式辅助驾驶方法，其特征在于，步骤
3中所述用加速稳健特征配准算法对俯视图像进行图像匹配：
在获取六幅俯视图像后，通过加速稳健特征算法寻找图像中重叠部分的图像的局部特
征点：
(1≤i≤6,1≤j≤L,1≤x″″′i,j≤U,1≤y″″′i,j≤V)
其中，
为高斯滤波后图像在各个方向的二阶导数。
7.根据利用权利要求3所述的针对大型卡车的全景式辅助驾驶方法，其特征在于，步骤
4中所述根据局部特征点进行图像拼接融合：
根据步骤3中所述局部特征点的位置，找出需要匹配的图像之间的重合区域；
对重合区域进行像素级图像融合，有相同信息区域的图像进行对应像素点取像素平均
值，其它非相同信息区域分别取各自的像素值，其融合公式为：
(1≤i≤6,1≤j≤L,1≤x″″″i,j≤U,1≤y″″″i,j≤V)
其中，P(x″″″i,j,y″″″i,j)是拼接后图像坐标为(x″″″i,j,y″″″i,j)处的像素值，P1(x″″′i,j,y″″′i,j),P2(x″″′i,j,y″″′i,j)分别指第一以及第二输入图像在(x″″′i,j,y″″′i,j)处的像素值，I1，I0,I2分别是拼接图像的第一输入图像区域，重合区域，第二输入图像区域；
通过融合拼接后得到拼接后全景图像，拼接好的全景图像为P′γ(x″″″i,j,y″″″i,j),γ表示主控单元进行第γ次拼接后得到的第γ幅全景图像；
(1≤i≤6,1≤j≤L,1≤x″″″i,j≤U,1≤y″″″i,j≤V，γ≥0)。
8.根据利用权利要求3所述的针对大型卡车的全景式辅助驾驶方法，其特征在于，步骤
5中所述预处理后的全景图像为P″γ(x″″″i,j,y″″″i,j)，使其与显示屏相适应，γ表示预处理后的第γ幅全景图像；
(1≤i≤6,1≤j≤L,1≤x″″″i,j≤U,1≤y″″″i,j≤V，γ≥0)。
9.根据利用权利要求3所述的针对大型卡车的全景式辅助驾驶方法，其特征在于，步骤
6中所述根据车辆行驶状态对预处理后全景图像进行障碍物检测为：
主控处理模块通过车辆接口模块获得车辆行驶状态；
当车辆行驶状态为车辆静止时，预处理后全景图像通过方向梯度直方图和支持向量分
类器算法检测障碍物，若障碍物存在时用边界框框出障碍物；
当车辆行驶状态为车辆运动时，用深度学习的方法对障碍物进行识别；对预处理后全
景图像P″γ(x″″″i,j,y″″″i,j)进行网格划分，划分为π(π≥1)个图像，分别为
相应的，创建π个
线程，每个线程处理一个图像块 将这些图像块作为比对训练集Dn；
采用无监督学习算法K-Means聚类对比对训练集Dn进行训练以获得图像特征，也即η个特征点 与从ImageNet标准数据集上挑选的车辆及行人
图像特征点P″′(x0,y0)，P″′(x0,y0)∈C，x0为图像特征点的横坐标值，y0为图像特征点的纵坐标值，C表示图像特征点范围,也即C＝(Bdt∪Bgt)，x0∈[0，xΔ],y0∈[0,yΔ]，xΔ为Bdt∪Bgt中最大的x值，yΔ为Bdt∪Bgt中最大的y值，当特征点重合度也即置信度confidence≥0.8时，设置相应的行人或车辆的标签，并用边界框将其框出，置信度计算公式为：
confidence＝Pr(Object)×IOU
其中，area表示计算面积，Bgt为训练的参考标准框用K-Means聚类对比对训练集Dn进行
训练在获得图像特征时的预测框，Bdt为检测边界框将 点和P″′(x0,
y0)点完全重合的点所包含的部分全部框出的边界框，Pr(Object)为边界框包含物体的概
率，若边界框包含物体，则Pr(Object)＝1；否则Pr(Object)＝0；IOU为边界框与物体真实区域的面积交并比，IOU最大值对应的物体即为当前检测边界框框出障碍物。
10.根据利用权利要求3所述的针对大型卡车的全景式辅助驾驶方法，其特征在于，步
骤7中所述车辆状态为方向盘的转向信号和卡车的挂挡信号；
所述自动切换到单路摄像头画面或多路摄像头画面具体过程为：
当方向盘转向角度为0，且卡车挂前进挡时，显示屏显示第一摄像头、第三摄像头、第四
摄像头、第五摄像头、第六摄像头采集的路况信息；
当方向盘左右打角度超过θ和卡车挂前进档时，显示屏显示第三摄像头、第四摄像头、
第五摄像头、第六摄像头采集的路况信息；
当方向盘转向角度为0，且卡车挂后退挡时，显示屏显示第二摄像头、第三摄像头、第四
摄像头、第五摄像头、第六摄像头采集的路况信息；
方向盘左右打角度超过θ和卡车挂后退档时，显示屏显示第三摄像头、第四摄像头、第
五摄像头、第六摄像头采集的路况信息；
步骤7中所述根据障碍物检测结果预警为：
当卡车周围通过步骤6检测出有障碍物时，预警模块发出响声，提醒驾驶员安全驾驶。