首页 / 专利库 / 信号处理 / 信号 / 数字信号 / 一种驾驶辅助系统、特种车辆及方法

一种驾驶辅助系统、特种车辆及方法

阅读:1027发布:2020-05-08

专利汇可以提供一种驾驶辅助系统、特种车辆及方法专利检索,专利查询,专利分析的服务。并且本 发明 提供了一种驾驶辅助系统,主要应用于轴数大于3的特种车辆,包括 图像采集 模 块 ,用于采集特种车辆的周边环境画面,得到图像数字 信号 ; 图像处理 模块,用于将图像 数字信号 处理成特种车辆的 车身 环视图;车身状态获取模块,用于获取特种车辆所处的车身状态,得到特种车辆的侧倾 角 和 俯仰 角;图像校正模块,用于根据侧倾角和俯仰角,校正车身环视图。可见本发明通过采集特种车辆的周边环境画面,并根据特种车辆的侧倾角和俯仰角,将采集的图像数字 信号处理 并校正成车身环视图,以供驾驶员参考,可以有效提高特种车辆的驾驶安全性。本发明还公开了一种特种车辆和驾驶辅助方法,与上述任一项的驾驶辅助系统具有相同技术效果,在此不再赘述。,下面是一种驾驶辅助系统、特种车辆及方法专利的具体信息内容。

1.一种驾驶辅助系统,其特征在于,所述驾驶辅助系统设置于轴数大于3的特种车辆,包括:
图像采集,用于采集所述特种车辆的周边环境画面,得到图像数字信号
图像处理模块,用于将所述图像数字信号处理成所述特种车辆的车身环视图;
车身状态获取模块,用于获取所述特种车辆所处的车身状态,得到所述特种车辆的侧倾俯仰角;
图像校正模块,用于根据所述侧倾角和所述俯仰角,校正所述车身环视图。
2.根据权利要求1所述的驾驶辅助系统,其特征在于,所述图像采集模块包括用于获取车周边环境,得到图像信号的成像单元和用于处理所述图像信号的FPGA功能板,其中,所述FPGA功能板包括:
图像信号处理单元,用于处理所述图像信号,得到所述图像数字信号;
图像信号传输单元,用于将所述图像数字信号发送给所述图像处理模块;
供电单元,用于将所述特种车辆的输入电压转换成所述成像单元和所述FPGA功能板的工作电压。
3.根据权利要求2所述的驾驶辅助系统,其特征在于,所述图像处理模块包括:
图像畸变校正单元,用于将所述图像数字信号消除畸变,得到校正图像;
透视变换单元,用于将所述校正图像变换投影至第二平面,得到映射图像,其中,所述第二平面为所述特种车辆的俯视面;
图像拼接单元,用于将所述映射图像拼接为所述车身环视图。
4.根据权利要求3所述的驾驶辅助系统,其特征在于,所述成像单元共4组,分别设置于所述特种车辆车头中间位置、车尾中间位置和车身两侧外部中间位置,每组成像单元采用3个焦距2.8mm的CMOS摄像头。
5.根据权利要求3所述的驾驶辅助系统,其特征在于,所述车身状态获取模块包括:
测高仪,用于获取车身高度,其中,所述测高仪为2N个,N为大于1的正整数,沿车头车位中轴线对称设置于车身两侧及车位;
角度计算器,用于根据所述车身高度计算得到所述侧倾角和所述俯仰角。
6.根据权利要求5所述的驾驶辅助系统,其特征在于,所述车身状态获取模块还包括:
俯仰角纠正单元,当所述测高仪数量为6时,根据车身同侧测高仪获取的高度值,可计算出6组俯仰角,计算数值最小的4组的平均值,作为所述俯仰角。
7.根据权利要求5所述的驾驶辅助系统,其特征在于,还包括用于为驾驶员提供车辆转向角度的辅助泊车装置,包括靶向识别模块和相对位置计算模块,其中,所述靶向识别模块包括:
像素角点识别单元,识别所述校正图像中的角点,得到像素级角点卷积矩阵;
区域相似性过滤单元,对所述像素级角点卷积矩阵中任意一点在垂直和平方向进行二阶矩阵差运算,得到过滤卷积矩阵;
亚像素角点识别单元,用于以所述过滤卷积矩阵的局部最大点为中心选取窗口,根据相似度和影响因子,对所述窗口所有像素进行求加权和,得到亚像素级坐标偏移量,其中,所述相似度为所述窗口内像素点的响应值和所述局部最大响应值的商,所述影响因子为所述窗口内除所述最大响应值以外的像素点与所述局部最大点的坐标距离的倒数;
所述相对位置计算模块包括:
靶标确定单元,用于将所述车身环视图中的一个或多个图像特征确定为靶标,得到像素坐标,其中,所述像素坐标的所在坐标系的一条坐标轴与所述特种车辆轴向平行;
物理坐标获取单元,用于根据所述像素坐标、所述成像单元的焦距和所述亚像素级坐标偏移量进行计算,得到所述靶标的物理坐标;
转向角度计算单元,用于在所述特种车辆移动时,根据所述物理坐标变化值,得到所述车辆转向角度。
8.根据权利要求4所述的驾驶辅助系统,其特征在于,还包括画面融合模块,用于将任一组成像单元中的3个摄像头采集的图像融合成一个合成画面,其中,所述画面融合模块包括:
柱面投影单元,用于将所述摄像头采集的已被所述图像畸变校正单元消除畸变的校正图像进行柱面投影变换,得到柱面投影图像;
拼接匹配单元,用于在相邻的柱面投影图像之间寻找匹配点,根据所述匹配点进行图像拼接匹配,得到合成画面,其中,所述的相邻的柱面投影图像为任一组成像单元中3个摄像头中相邻的摄像头采集的,被所述柱面投影单元处理得到的柱面投影图像;
图像融合单元,用于根据相邻的柱面投影图像中重叠部分的像素值,对所述重叠部分的像素进行加权运算,使所述合成画面的更自然。
9.一种特种车辆,其特征在于,包括权利要求1至8任一项所述的驾驶辅助系统。
10.一种八轴特种车辆,其特征在于,包括权利要求4至8任一项所述的驾驶辅助系统,其中,4组所述成像单元中的2组分别设置于车头中间位置和车尾中间,据地高度为0.8米,另外2组分别设置于车身两侧外部中间,且位于车轮上沿水平线。
11.一种驾驶辅助方法,其特征在于,应用于轴数大于3的特种车辆,包括:
采集所述特种车辆的周边环境画面,得到图像数字信号;
将所述图像数字信号处理成所述特种车辆的车身环视图;
获取所述特种车辆所处的车身状态,得到所述特种车辆的侧倾角和俯仰角;
根据所述侧倾角和所述俯仰角,校正所述车身环视图。

说明书全文

一种驾驶辅助系统、特种车辆及方法

技术领域

[0001] 本发明涉及车辆驾驶辅助技术领域,特别涉及一种驾驶辅助系统、特种车辆及方法。

背景技术

[0002] 自2010年以来,我国已发展成为全球最大的特种车辆需求市场,特种车辆在发挥着举足轻重作用的同时,也伴随着很多安全问题。特种车辆作业环境复杂,车身庞大,驾驶人员在行驶或作业过程中只能依靠车身两侧及车内的后视镜来观察周围环境,存在很大视盲区,很难做到四周兼顾,仅仅依靠后视镜很难确保安全。
[0003] 综上所述,如何提高特种车辆的驾驶安全性是本领域技术人员目前需要解决的一项技术问题。

发明内容

[0004] 有鉴于此,本发明的目的在于提供一种驾驶辅助系统、特种车辆及方法,可以有效提高特种车辆的驾驶安全性。其具体方案如下:
[0005] 本发明提供了一种驾驶辅助系统,设置于轴数大于3的特种车辆,包括:
[0006] 图像采集,用于采集所述特种车辆的周边环境画面,得到图像数字信号
[0007] 图像处理模块,用于将所述图像数字信号处理成所述特种车辆的车身环视图;
[0008] 车身状态获取模块,用于获取所述特种车辆所处的车身状态,得到所述特种车辆的侧倾角和俯仰角;
[0009] 图像校正模块,用于根据所述侧倾角和所述俯仰角,校正所述车身环视图。
[0010] 优选的,所述图像采集模块包括用于获取车周边环境,得到图像信号的成像单元和用于处理所述图像信号的FPGA功能板,其中,所述FPGA功能板包括:
[0011] 图像信号处理单元,用于处理所述图像信号,得到所述图像数字信号;
[0012] 图像信号传输单元,用于将所述图像数字信号发送给所述图像处理模块;
[0013] 供电单元,用于将所述特种车辆的输入电压转换成所述成像单元和所述FPGA功能板的工作电压。
[0014] 优选的,所述图像处理模块包括:
[0015] 图像畸变校正单元,用于将所述图像数字信号消除畸变,得到校正图像;
[0016] 透视变换单元,用于将所述校正图像变换投影至第二平面,得到映射图像,其中,所述第二平面为所述特种车辆的俯视面;
[0017] 图像拼接单元,用于将所述映射图像拼接为所述车身环视图。
[0018] 优选的,所述成像单元共4组,分别设置于所述特种车辆车头中间位置、车尾中间位置和车身两侧外部中间位置,每组成像单元采用3个焦距2.8mm的CMOS摄像头。
[0019] 优选的,所述车身状态获取模块包括:
[0020] 测高仪,用于获取车身高度,其中,所述测高仪为2N个,N为大于1的正整数,沿车头车位中轴线对称设置于车身两侧及车尾;
[0021] 角度计算器,用于根据所述车身高度计算得到所述侧倾角和所述俯仰角。
[0022] 优选的,所述车身状态获取模块还包括:
[0023] 俯仰角纠正单元,当所述测高仪数量为6时,根据车身同侧测高仪获取的高度值,可计算出6组俯仰角,计算数值最小的4组的平均值,作为所述俯仰角。
[0024] 优选的,所述驾驶辅助系统,还包括用于为驾驶员提供车辆转向角度的辅助泊车装置,包括靶向识别模块和相对位置计算模块,其中,
[0025] 所述靶向识别模块包括:
[0026] 像素角点识别单元,识别所述校正图像中的角点,得到像素级角点卷积矩阵;
[0027] 区域相似性过滤单元,对所述像素级角点卷积矩阵中任意一点在垂直和平方向进行二阶矩阵差运算,得到过滤卷积矩阵;
[0028] 亚像素角点识别单元,用于以所述过滤卷积矩阵的局部最大点为中心选取窗口,根据相似度和影响因子,对所述窗口所有像素进行求加权和,得到亚像素级坐标偏移量,其中,所述相似度为所述窗口内像素点的响应值和所述局部最大响应值的商,所述影响因子为所述窗口内除所述最大响应值以外的像素点与所述局部最大点的坐标距离的倒数;
[0029] 所述相对位置计算模块包括:
[0030] 靶标确定单元,用于将所述车身环视图中的一个或多个图像特征确定为靶标,得到像素坐标,其中,所述像素坐标的所在坐标系的一条坐标轴与所述特种车辆轴向平行;
[0031] 物理坐标获取单元,用于根据所述像素坐标、所述成像单元的焦距和所述亚像素级坐标偏移量进行计算,得到所述靶标的物理坐标;
[0032] 转向角度计算单元,用于在所述特种车辆移动时,根据所述物理坐标变化值,得到所述车辆转向角度。
[0033] 优选的,所述辅助泊车装置还包括画面融合模块,用于将任一组成像单元中的3个摄像头采集的图像融合成一个合成画面,其中,所述画面融合模块包括:
[0034] 柱面投影单元,用于将所述摄像头采集的已被所述图像畸变校正单元消除畸变的校正图像进行柱面投影变换,得到柱面投影图像;
[0035] 拼接匹配单元,用于在相邻的柱面投影图像之间寻找匹配点,根据所述匹配点进行图像拼接匹配,得到合成画面,其中,所述的相邻的柱面投影图像为任一组成像单元中3个摄像头中相邻的摄像头采集的,被所述柱面投影单元处理得到的柱面投影图像;
[0036] 图像融合单元,用于根据相邻的柱面投影图像中重叠部分的像素值,对所述重叠部分的像素进行加权运算,使所述合成画面的更自然。
[0037] 本发明提供的一种驾驶辅助系统,主要应用于轴数大于3的特种车辆,包括图像采集模块,用于采集所述特种车辆的周边环境画面,得到图像数字信号;图像处理模块,用于将所述图像数字信号处理成所述特种车辆的车身环视图;车身状态获取模块,用于获取所述特种车辆所处的车身状态,得到所述特种车辆的侧倾角和俯仰角;图像校正模块,用于根据所述侧倾角和所述俯仰角,校正所述车身环视图。
[0038] 可见本发明通过采集特种车辆的周边环境画面,并根据特种车辆的侧倾角和俯仰角,将采集的图像数字信号处理并校正成车身环视图,以供驾驶员参考,可以有效提高特种车辆的驾驶安全性。
[0039] 本发明还公开了一种特种车辆,包括上述任一项所述的驾驶辅助系统,且具有相同技术效果,在此不再赘述。
[0040] 本发明还公开了一种八轴特种车辆,包括上述任一项所述的驾驶辅助系统,其中,4组所述成像单元中的2组分别设置于车头中间位置和车尾中间,据地高度为0.8米,另外2组分别设置于车身两侧外部中间,且位于车轮上沿水平线,该八轴特种车辆具有与上述相同技术效果,在此不再赘述。
[0041] 本发明还公开了一种驾驶辅助方法,应用于轴数大于3的特种车辆,包括:采集所述特种车辆的周边环境画面,得到图像数字信号;将所述图像数字信号处理成所述特种车辆的车身环视图;获取所述特种车辆所处的车身状态,得到所述特种车辆的侧倾角和俯仰角;根据所述侧倾角和所述俯仰角,校正所述车身环视图。上述驾驶辅助方法具有与上述相同技术效果,在此不再赘述。附图说明
[0042] 为了更清楚地说明本发明实施例现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
[0043] 图1为本发明实施例提供的一种驾驶辅助系统的结构示意图;
[0044] 图2为本发明实施例提供的一种具体的驾驶辅助系统中图像采集模块的结构示意图;
[0045] 图3为本发明实施例提供的一种具体的驾驶辅助系统中成像单元安装位置侧视示意图;
[0046] 图4为本发明实施例提供的一种具体的驾驶辅助系统中成像单元安装位置俯视示意图;
[0047] 图5为本发明实施例提供的一种具体的驾驶辅助系统中图像处理模块的结构示意图;
[0048] 图6为本发明实施例提供的一种具体的驾驶辅助系统中透视变换单元工作的流程示意图;
[0049] 图7为本发明实施例提供的一种具体的驾驶辅助系统中使用人工选取拼接区域方法,在各个成像单元公共区域放置拼接棋盘格车身环视拼接棋盘格摆放示意图;
[0050] 图8为本发明实施例提供的一种具体的驾驶辅助系统中车身状态获取模块的测高仪的安装位置示意图;
[0051] 图9为本发明实施例提供的一种具体的驾驶辅助系统中的基准坐标系侧视示意图;
[0052] 图10为本发明实施例提供的一种具体的驾驶辅助系统中的基准坐标系后视示意图;
[0053] 图11为本发明实施例提供的一种具体的驾驶辅助系统中辅助泊车装置的结构示意图;
[0054] 图12为本发明实施例提供的一种具体的驾驶辅助系统中像素卷积核示意图;
[0055] 图13为本发明实施例提供的一种具体的驾驶辅助系统中靶标定位示意图;
[0056] 图14为本发明实施例提供的一种具体的驾驶辅助系统中靶标位置发生变化的定位示意图;
[0057] 图15为本发明实施例提供的一种具体的驾驶辅助系统中画面融合模块工作流程示意图;
[0058] 图16为本发明实施例提供的一种具体的驾驶辅助系统中一组成像单元的3个摄像头采集的照片在畸变校正前的图像实例;
[0059] 图17为本发明实施例提供的一种具体的驾驶辅助系统中一组成像单元额3个摄像头采集的照片经过畸变矫正后的图像实例;
[0060] 图18为本发明实施例提供的一种具体的驾驶辅助系统中经过柱面投影单元处理后的图像实例;
[0061] 图19为本发明实施例提供的一种具体的驾驶辅助系统中拼接匹配单元拼接匹配得到合成画面,且该合成画面未经过图像融合单元进行图像融合处理的图像实例;
[0062] 图20为本发明实施例提供的一种具体的驾驶辅助系统中加权强度的函数示意图;
[0063] 图21为本发明实施例提供的一种具体的驾驶辅助系统中加权系数a的值域范围示意图;
[0064] 图22为本发明实施例提供的一种具体的驾驶辅助系统中合成画面经过图像融合单元进行图像融合处理后的图像实例;
[0065] 图23为本发明实施例提供的一种的驾驶辅助方法的流程示意图。

具体实施方式

[0066] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0067] 本发明提供了一种设置于轴数大于3的特种车辆驾驶辅助系统,参见图1所示,包括图像采集模块1、图像处理模块2、车身状态获取模块3和图像校正模块4,过采集特种车辆的周边环境画面,并根据特种车辆的侧倾角和俯仰角,将采集的图像数字信号处理并校正成车身环视图,以供驾驶员参考,可以有效提高特种车辆的驾驶安全性。由于所有的驾驶辅助系统均通过显示设备进行显示,故不再进行赘述,本发明具体实施方案如下。
[0068] 图像采集模块1,用于采集特种车辆的周边环境画面,得到图像数字信号。
[0069] 本发明提供了一种具体的实施案例,用以说明上述图像采集模块,参见图2所示,包括用于获取车周边环境,得到图像信号的成像单元11和用于处理上述图像信号的FPGA功能板12。
[0070] FPGA功能板12包括图像信号处理单元121、图像信号传输单元122和供电单元123。
[0071] 图像信号处理单元121,用于处理成像单元采集的图像信号,得到上述图像数字信号,通常由FPGA核心芯片实现。
[0072] 图像信号传输单元122,用于将上述图像数字信号发送给上述图像处理模块,在实际应用中,该单元一般由网络芯片和内部总线实现,当然,也可以采用其他传输方式,例如通过无线传输。
[0073] 供电单元123,用于将特种车辆的输入电压转换成成像单元和FPGA功能板的工作电压。通常来说,成像单元中CMOS工作电压为3.3V,FPGA功能板中图像信号处理单元,即核心芯片的工作电压为5V,FPGA功能板中图像信号传输单元,即网络芯片的工作电压为3.3V,当然,在实际应用中,对于其他定制FPGA芯片,供电单元也可以转换成相应的工作电压。
[0074] 通常来说,成像单元由摄像头实现,可通过CMOS、CCD摄像头实现,在实际应用中,通常使用成本相对较低的CMOS摄像头,当然,也可以使用成本相对较高的CCD摄像头。
[0075] 在实际应用中,摄像头一般设置在车头、车尾和车身两侧,且车身两侧的摄像头分别与另一侧位置对应。当然,若特种车辆的长度明显超过单个成像单元采集范围,车身外侧可设置多组摄像头。
[0076] 本发明考虑到实际应用中的经济性和实际操作性,提供一种使用CMOS摄像头的具体方案,参见图3和图4所示,通常成像单元共4组,分别设置于上述特种车辆车头中间位置、车尾中间位置和车身两侧外部中间位置,每组成像单元采用3个焦距2.8mm的CMOS摄像头。
[0077] 需要说明的是,图3和图4中的8轴车辆仅用于举例示意,也可应用于其他轴数的车辆,设置位置相同,在此不再赘述。
[0078] 图像处理模块2,用于将图像采集模块1采集特种车辆的周边环境画面,得到的图像数字信号处理成特种车辆的车身环视图。
[0079] 本发明提供一种具体实施方案,参见图5所示,图像处理模块包括:图像畸变校正单元21,用于将上述图像数字信号消除畸变,得到校正图像;透视变换单元22,用于将上述校正图像变换投影至第二平面,得到映射图像,其中,上述第二平面为上述特种车辆的俯视面;图像拼接单元23,用于将上述映射图像拼接为上述车身环视图。
[0080] 图像畸变校正单元21通过使用复合畸变模型公式将采集到的原始图像中的畸变消除,从而得到校正图像,具体复合畸变模型公式如下:
[0081]
[0082]
[0083] 其中,r2=x2+y2,空间点P在图像平面上的正常投影坐标向量为(x,y),镜头畸变后的投影坐标值用向量 来表示,k是径向和切向畸变系数,是大小为5X1的向量k=(k1,k2,k3,k4,k5)。
[0084] 透视变换单元22,将校正图像,即特种车辆的周围环境的正视图变换投影至特种车辆的俯视面,得到映射图像。需要说明的是,图像采集模块采集的环境图像,相对该图像采集模块为正视图。
[0085] 本发明利用将一个图像从一个平面投影到另一个平面而保持承影面上几何图像不变的原理,通过求解指定点在原图像与投影图像中对应关系的线性方程组,得到将校正图像变换为映射图像(俯视图)的单应性变换矩阵H。
[0086] 透视变换的基本公式:
[0087]
[0088] 其中, 为3x3的矩阵,s为系数,[u v]为畸变校正后的校正图像中任一点的像素坐标,[u′ v′]为根据需要和实际情况设定其透视变换后的目的坐标,即[u′ v′]是将该点应设置映射图像中的坐标。
[0089] 根据公式列方程组:
[0090]
[0091] 令h=|h1h2h3h4h5h6h7h81|T,则有以下公式:
[0092]
[0093] 在校正图像中选取4个不共线的点,获取其畸变校正后的原始像素坐标[u v],根据需要和实际情况设定其透视变换后的目的坐标[u′ v′],根据上面公式即可计算其透视变换矩阵H。
[0094] 其中H是一个3X3的单应性矩阵,单应性属于几何中的一个概念,指的是一个从实射影平面到射影平面的可逆变换,将一个视平面上的点映射到另一个新的视平面的可逆变换可经一个单应性矩阵实现。
[0095] 将校正图像转换为映射图像,对于特种车辆来说,即将正视图转为换为俯视图,关键在于求取单应性矩阵H,而求取矩阵H至少需要四对校正图像上的坐标与映射图像上的对应点。
[0096] 本发明提供一个具体实施方法,采用提前棋盘格角点标定的方法,选取棋盘格四个角的角点作为校正图像上的点,通过几何关系求出理论上的四个对应的坐标,求解出映射矩阵H。在实际应用中,摄像头安装高度和角度确定后,矩阵H就确定了,因此我们可以对矩阵H进行保存,无需每次都进行角点提取,就可以进行透视变换,得到映射图像,即特种车辆的瞰图。
[0097] 具体步骤参见图6所示,在特种车辆上安装固定摄像头,利用安装的摄像头拍摄棋盘格照片,畸变消除后在校正图像中提取预先设定的四个角的角点,计算映射图像中对应点坐标,根据预先设定的四个角的角点在校正图像的坐标和映射图像的对应的坐标,计算得到本特种车辆的单应性矩阵H,储存该单应性矩阵H;此特种车辆在以后的使用中,透视变换单元,无需再计算单应性矩阵H,只需调用储存的单应性矩阵H,即可对采集的校正图像进行透视映射,得到相应映射图像。
[0098] 图像拼接单元23,用于将上述映射图像拼接为上述车身环视图。
[0099] 现有技术,大部分图像拼接技术使用SIFT算法,但是,使用SIFT算法在提取特征点和在特征点的其他运算上消耗了大量的时间,而提取非重合区域的特征点对匹配不但没有意义,还会增加运算量和误匹配率。因此,确定重合区域对提高算法性能有着很大的作用。
[0100] 本发明公开了一种具体的图像拼接方法,比SIFT算法更简单更高效且成本更低,使用人工选取拼接区域方法,在各个成像单元公共区域放置拼接棋盘格,参见图7所示,选取特征点并确定环视图像显示范围,最为重要的是采用这种拼接方式,只需经过首次摆放拼接棋盘格,便能得到映射图像和车身环视图的映射关系,从而生成查找表,避开了重复多次图像配准,能够提高拼接速度,提升系统的实时性。
[0101] 需要说明的是,图7利用了安装了4组摄像头的8轴特种车辆的示意图进行说明,在实际应用中,也可将本发明应用于安装了4组以上摄像头的多轴特种车辆,其原理相同。此处,多轴特种车辆指轴数大于3的特种车辆。
[0102] 需要特别说明的是,首次进行图像拼接时需要在特种车辆停稳调平状态下进行静态标定。
[0103] 车身状态获取模块3,用于获取特种车辆所处的车身状态,得到该特种车辆的侧倾角和俯仰角。
[0104] 车身状态获取模块包括测高仪和角度计算器,通常测高仪为2N个,N为大于1的正整数,沿车头车位中轴线对称设置于车身两侧及车位;角度计算器根据上述车身高度计算得到上述侧倾角和上述俯仰角。
[0105] 本发明提供了一种具体的技术方案,用以获取该特种车辆的侧倾角和俯仰角,以安装了6个测高仪的8轴特种车辆为例,参见图8所示,以靠近车头左侧测高仪在地面的投影点为三维坐标系的坐标原点,车身宽度方向为x轴,车身长度方向为y轴,车身高度方向为z轴。按照从左到右、从车头到车尾的顺序,6组测高仪分别为D1~D6,采集到的实时高度信息为h1~h6。
[0106] 已知测高仪D1、D2之间的距离为l1,D3、D4之间的距离为l1,D4、D6之间的距离为l2,D1、D3与D2、D4之间的距离均为d1,D3到D5在车长方向上的距离为d2,车静止时侧面测高仪高度为H1,尾部测高仪高度为H2。
[0107] 由此可得,车身侧面测高仪D1~D4实时坐标计算如公式:D1(0,0,h1);
[0108]
[0109]
[0110]
[0111] 式中D1为左前方测高仪符号,D2为右前方测高仪符号,D3为左后方测高仪符号,D4为右后方测高仪符号,h1为左前方测高仪高度读数,h2为右前方测高仪高度读数,h3为左后方测高仪高度读数,h4为右后方测高仪高度读数,l1为左侧测高仪与右侧测高仪之间的距离,d1为前方测高仪与后方测高仪之间的距离。
[0112] 参见图9和图10,根据上述坐标,通过不在同一基准坐标平面上的任意三个点即可以计算得到确定车身姿态的车身倾侧角和俯仰角。
[0113] 车身倾侧角α和俯仰角β计算公式如下:
[0114]
[0115]
[0116] 尾部测高仪D5、D6坐标计算公式如下:
[0117]
[0118]
[0119] 式中,d2为侧后方测高仪与同侧尾部测高仪在y方向上的距离,H1为车身侧面测高仪的安装高度,H2为尾部测高仪的安装高度,l2为尾部两侧测高仪之间的距离。
[0120] 在上述安装了6个测高仪的8轴特种车辆的实施例中,为了进一步提高车身状态获取模块得到的倾侧角和俯仰角的准确性,车身状态获取模块还包括:俯仰角纠正单元,根据车身同侧测高仪获取的高度值,可计算出6组俯仰角,计算数值最小的4组的平均值,作为上述俯仰角。
[0121] 需要说明的是,本发明可应用于安装了6个测高仪的多轴特种车辆,其原理相同。此处,多轴特种车辆指轴数大于3的特种车辆。
[0122] 如上述计算结果所示,理论上计算得到的测高仪D4、D5、D6在基准坐标[0123] 系中Z方向的坐标h′4、h′5、h′6即为实际尾部测高仪的高度,应与尾部测高仪的读数h4、h5、h6相等,而实际使用中位于车侧起到主要计算作用的激光测高仪光束可能会受到障碍物的遮挡提前返回,导致读数与真实值存在偏差。
[0124] 为了减少可能出现的上述情况导致的误差对结果产生的影响,需要对计算结果进行筛选和校正。
[0125] 由上述推算过程可以得知,当车身结构近似于刚体结构,已知任意不在同一坐标平面的三个点的高度,均可以推算得到车身倾侧角和俯仰角。
[0126] 因此本发明采用筛选法,由于6个测高仪的安装位置均不在同一坐标平面,因此从中任取3个为一组,共20种选取方式,分别计算不同分组情况的倾侧角和俯仰角值。以上述计算中选取D1、D2、D3的测高读数计算结果为例,将计算得到D4、D5、D6的值与其读数相减得到该组计算的高度真实累积差值Δh1:
[0127] Δh1=(|h4-h′4|)+(|h5-h′5|)+(|h6-h′6|)
[0128] 按照上述方法分别计算出选取不同分组的测高读数作为计算依据计算得到的高度真实累积差值,一共能够得到20个结果,为排除6个测高仪中可能存在最多2个受到干扰导致数据出现异常的情况,因此需要至少 组数据为真。所以在得到的20个结果当中选取其中最小的4个值,并计算通过这4组数据计算出的车身倾侧角α和俯仰角β的平均值,作为最终的计算结果。
[0129] 图像校正模块4,用于根据上述侧倾角和上述俯仰角,校正上述车身环视图。本发明提供两种校正方式,一是根据侧倾角和俯仰角,通过透视变换单元进行投影,以确保车身环视图为该特种车辆的俯瞰图;二是在向驾驶员显示车身环视图时,将倾角和俯仰角反馈给该驾驶员,供其参考。
[0130] 进一步的说明的是,根据上述方法计算得到的倾侧角和俯仰角结合车辆静态测量的测高仪安装高度,可以推算得到动态测高仪的实时真实高度;通过该高度值结合已知的测高仪与成像单元的高度差,以及车辆静态测量的成像单元高度值,能够得到实时的成像单元高度变化;每个成像单元的高度变化用于推算车辆在行驶过程中,由于车辆震动颠簸导致的透视变换投影矩阵的变化,从而得到车辆实时的动态透视变换矩阵,进而通过透视变换单元按照新的透视变换矩阵进行投影,以确保车身环视图为该特种车辆的俯瞰图。
[0131] 为了进一步提高驾驶的安全性,参见图11所示,本发明还提供的驾驶辅助系统还包括用于为驾驶员提供车辆转向角度的辅助泊车装置5,包括靶向识别模块51和相对位置计算模块52,其中,靶向识别模块51包括:像素角点识别单元511,识别上述校正图像中的角点,得到像素级角点卷积矩阵;区域相似性过滤单元512,对上述像素级角点卷积矩阵中任意一点在垂直和水平方向进行二阶矩阵差运算,得到过滤卷积矩阵;亚像素角点识别单元513,用于以上述过滤卷积矩阵的局部最大点为中心选取窗口,根据相似度和影响因子,对上述窗口所有像素进行求加权和,得到亚像素级坐标偏移量,其中,上述相似度为上述窗口内像素点的响应值和上述局部最大响应值的商,上述影响因子为上述窗口内除上述最大响应值以外的像素点与上述局部最大点的坐标距离的倒数;相对位置计算模块52包括:靶标确定单元521,用于将上述车身环视图中的一个或多个图像特征确定为靶标,得到像素坐标,其中,上述像素坐标的所在坐标系的一条坐标轴与上述特种车辆轴向平行;物理坐标获取单元522,用于根据上述像素坐标、上述成像单元的焦距和上述亚像素级坐标偏移量进行计算,得到上述靶标的物理坐标;转向角度计算单元523,用于在上述特种车辆移动时,根据上述物理坐标变化值,得到上述车辆转向角度。
[0132] 像素角点识别单元511是根据目标角点沿对角线方向的两条相交直线上的像素值的和相差较大的特性,利用特定的卷积和对图像进行卷积处理,然后取最大值的方法进行识别。
[0133] 像素级识别的卷积核为以中心像素为交点十字型卷积核,如图12所示,水平方向上数值为-1,垂直方向上数值为1,中心点及其他位置数值均为0。
[0134] 将校正图像转换为灰度图像后与该卷积核相乘,得到大小与输入图像相同的像素级角点卷积矩阵Mp。
[0135] 目标角点沿对角线方向的两条相交直线中任意一条直线上,选取不同方向上与目标角点距离相等的两个像素点,以这两个像素点为中心的n×n的矩阵具有相似性(矩阵的大小n根据图像分辨率、以及目标角点在世界坐标系中与摄像头的距离等因素取不同的值,一般为5),即两个矩阵的图像二阶矩在目标角点处呈极小值的特性,因此利用该特性,对每个候选角点的两条对角线方向分别进行上述计算,并求和,得到的数据作为像素级角点识别的辅助判据。
[0136] 区域相似性过滤单元在像素级角点卷积矩阵基础上,在每个像素点再减去垂直和水平方向上的图像二阶矩的值,得到过滤卷积矩阵Mf,计算公式如下:
[0137] Mf(i,j)=Mp(i,j)-α[Kv(i,j)+Kh(i,j)]
[0138] 式中(i,j)为像素坐标,α为图像二阶矩加权系数,Kv(i,j)为垂直方向图像二阶矩,Kh(i,j)为水平方向图像二阶矩。
[0139] 取Mf中最大值处的像素坐标,作为区域相似性过滤结果。
[0140] 角点亚像素级识别的是为了进一步提高角点精度,在像素级角点识别并进行区域相似性过滤结果的基础上,对角点区域内像素点的Mf值做了进一步分析。其原理如下:以Mf值的局部最大点为中心选取一个窗口,根据响应值越大的点越可能成为角点和与局部最大点的距离越近的点越可能成为角点这个思想,定义相似度与影响因子。其中,相似度为窗口内像素点的响应值与局部最大响应值的商;影响因子为窗口内局部最大响应值以外的像素点与该局部最大点的坐标距离的倒数。以相似度和影响因子作为窗口内像素的加权因子,求窗口所有像素的加权和,作为亚像素级坐标相对像素级坐标的偏移量。
[0141] 亚像素级角点定位公式如下:
[0142]
[0143] 其中, 为亚像素角点坐标,ifW、jfW为Mf所确定的像素级精度的角点坐标,W为所选窗口,x、y为窗口内的坐标,axy为影响因子,kxy为相似度。
[0144] ifW、jfW为通过选取Mf值局部最大值得到的候选点的像素坐标,其中ifW为横坐标,jfW为纵坐标;W为以候选点为中心选取的用于计算亚像素级坐标的矩阵区域;x、y为W区域内非候选点的像素坐标;axy为影响因子,其值的大小与x、y和中心候选点的相对位置有关;kxy为相似度,其值的大小与中心候选点的像素级卷积结果有关; 为亚像素角点坐标,其中 为横坐标, 为纵坐标。
[0145] 相对位置计算模块用于计算特种车辆移动时与周围环境的相对变化,即向驾驶员提供车辆发生的转向角度,以供其参考。本发明提供的思路是建立一个坐标轴,该坐标轴一条坐标系与特种车辆轴向平行,以下实施例均将与特种车辆车厢平行的方向作为X轴,当然也可作为y轴或z轴,原理相同。当车辆未发生变化时,车身以及周围环境中物体在该坐标系中的坐标均未发生改变,当车辆移动时,车身指示点的坐标保持不变,即车辆与坐标系保持相对静止,相对的周围环境中物体产生移动,根据周围环境中物体发生的位移来计算特种车辆的转向角度。
[0146] 靶标确定单元521,用于将上述车身环视图中的一个或多个图像特征确定为靶标,得到像素坐标,其中,上述像素坐标的所在坐标系的一条坐标轴与上述特种车辆轴向平行。
[0147] 图像采集模块采集特种车辆周围环境画面,图像处理模块处理后生成车身环视图,靶标确定单元识别车身环视图,将车身环视图中一个或多个图像特征确定为靶标,在车身环视图中,将车身几何中心作为坐标系原点,得到靶标的像素坐标。
[0148] 本发明以在特种车辆两侧对称放置的靶标为例进行说明,参见图13所示,点Sl表示左侧靶标、点Sr表示为右侧靶标,车身几何中心作为坐标系原点,点C表示特种车辆行驶目标点,以经过Sl与Sr的直线正好与x坐标轴重合,过C点与x坐标轴的垂线与y坐标轴重合。当车辆移动时,车身指示点的坐标保持不变,即车辆与坐标系保持相对静止,相对的靶标与特种车辆行驶目标点构成的三角形在车辆行驶中相对坐标系产生移动。
[0149] 参见图14所示,Sl’与Sr’分别为左侧与右侧靶标移动后的坐标,C’为特种车辆行驶目标点,Pbl为左侧成像单元的位置坐标,Pbr为右侧成像单元的位置坐标,成像单元的参数均为已知参数,因此可以计算出靶标的移动数据。
[0150] 物理坐标获取单元522,用于根据靶标的像素坐标、成像单元的焦距和亚像素级坐标偏移量进行计算,得到上述靶标的物理坐标。
[0151] 通过识别车身环视图中在特种车辆两侧对称放置的靶标,得到成像单元与地面位置关系的旋转矩阵R:
[0152]
[0153] 根据成像单元的焦距,即摄像机焦距以及亚像素级坐标偏移量得到参数矩阵A:
[0154]
[0155] 其中,ax、ay为摄像机焦距,u0、v0为像素坐标系偏移量。
[0156] 由此,像素坐标(u,v)与物理坐标(xw,yw,zw)的关系式如下:
[0157]
[0158] 式中Zc为相机坐标系中z方向坐标,T为大小为1×3的平移向量。令其中平移向量T=0,则:
[0159]
[0160] 化简得:
[0161]
[0162] 其中,结果中XW为靶标中心相对于成像单元的X方向物理坐标;YW为靶标中心相对于成像单元Y方向的物理坐标,fx=ax,fy=ay。
[0163] 转向角度计算单元523,用于在特种车辆移动时,根据物理坐标变化值,得到车辆转向角度。
[0164] 转向角度计算单元根据靶标的坐标变化值,可计算出特种车辆行驶目标点的坐标位置,行驶目标点的位移矢量角度,即为车辆转向角度。
[0165] 通过靶标识别及物理计算可以得到Sl’与Sr’、Sl与Sr的坐标,则C’点的坐标计算公式为:
[0166]
[0167] 式中,(X′C,Y′C)为移动后目标停车点坐标,(XC,YC)为车辆指示点坐标,(XSl,YSl)为移动前左侧靶标坐标,(X′Sl,Y′Sl)为移动后左侧靶标坐标,(X′Sr,Y′Sr)为移动后右侧靶标坐标。
[0168] 车辆与目标停车点的位置偏差(ΔX,ΔY),即为C与C’的坐标偏差。
[0169] ΔX=X′C
[0170] ΔY=YC-Y′C
[0171] 当成像单元安装在车辆左右两侧对称位置时,车身转向角度θ计算公式为:
[0172]
[0173] 驾驶员在驾驶车辆中,可以根据上述方法实时获取车辆距行驶目标点的位置偏差以及车辆转向角度,以供驾驶员参考调整车辆的行驶方向和距离。
[0174] 可以理解的是,在实际应用中,根据靶标建立坐标轴,利用车辆相对坐标轴移动原理,计算车辆转向角度,实现方式与本发明原理一致,在此不再赘述。
[0175] 上文中,本发明公开了一种具体实施方案,即成像单元共4组,分别设置于上述特种车辆车头中间位置、车尾中间位置和车身两侧外部中间位置,每组成像单元采用3个焦距2.8mm的CMOS摄像头,针对该技术方案,本发明为了进一步提高驾驶员的视野,从而提高驾驶安全性,还提供了一种具体技术方案,驾驶辅助系统还包括画面融合模块,用于将任一组成像单元中的3个摄像头采集的图像融合成一个合成画面,其中,所述画面融合模块包括:
柱面投影单元,用于将所述摄像头采集的已被所述图像畸变校正单元消除畸变的校正图像进行柱面投影变换,得到柱面投影图像;拼接匹配单元,用于在相邻的柱面投影图像之间寻找匹配点,根据所述匹配点进行图像拼接匹配,得到合成画面,其中,所述的相邻的柱面投影图像为任一组成像单元中3个摄像头中相邻的摄像头采集的,被所述柱面投影单元处理得到的柱面投影图像;图像融合单元,用于根据相邻的柱面投影图像中重叠部分的像素值,对所述重叠部分的像素进行加权运算,使所述合成画面的更自然。
[0176] 参见图15所示,该技术方案的思路为,将成像单元采集的3组图像,经过图像畸变校正单元进行无损视角畸变校正,再又柱面投影单元生成柱面投影,经过拼接匹配单元后,由图像融合单元实现拼接缝融合,最终生成视角大于180度的大视角图像,即合成画面。
[0177] 图像畸变校正单元在不损失视角的状态下对同一组摄像头采集的画面进行图像畸变校正,消除畸变。本发明以一组摄像头采集的3张实际照片为例进行说明,图16为畸变校正前的图像,图17为畸变矫正后的图像。
[0178] 柱面投影单元,用于将所述摄像头采集的已被所述图像畸变校正单元消除畸变的校正图像进行柱面投影变换,得到柱面投影图像。
[0179] 为了保证拼接后的视觉一致性,需要将待拼接的图像分别投影到一个标准的坐标系下,然后再进行图像拼接。由于柱面坐标的变换比较简单并且投影图像与其投影到圆柱表面的位置无关,用其描述的柱面全景图像可在水平方向上满足360度环视,具有较好的视觉效果,所以可采用柱面投影完成图像拼接。参见图18所示,将图17进行柱面投影变换,得到起相应的柱面投影图像。
[0180] 柱面投影采用的公式如下:
[0181]
[0182] 其中,x′和y′为柱面投影后的图像坐标,x和y为图像原来的坐标,width和height为图像宽高,f为相机焦距。
[0183] 拼接匹配单元,用于在相邻的柱面投影图像之间寻找匹配点,根据所述匹配点进行图像拼接匹配,得到合成画面,其中,所述的相邻的柱面投影图像为任一组成像单元中3个摄像头中相邻的摄像头采集的,被所述柱面投影单元处理得到的柱面投影图像。
[0184] 进行大视角图像拼接时,首先将左图与中图进行拼接,然后将右图与拼接后的左中图再次进行拼接即可得到三头拼接后的效果图。
[0185] 图像拼接匹配算法采用Harris角点检测方法提取特征点,因为其具有良好的旋转、缩放不变特性,并且对环境光照和图像的噪声不敏感。因此需要找到多个匹配点后进行匹配点去伪,得到真正的匹配点后进行图像投影变换,合成一幅图像。下面描述基本步骤:
[0186] (1)Harris角点检测算法的基本原理是取以目标像素点为中心的一个小窗口,计算窗口沿任何方向移动后的灰度变化,并用解析形式表达。设以像素点(x,y)为中心的小窗口在X方向上移动u,y方向上移动v,Harris给出了灰度变化度量的解析表达式:
[0187]
[0188] 其中,Ex,y为窗口内的灰度变化度量;wx,y为窗口函数,一般定义为I为图像灰度函数,略去无穷小项有:
[0189] Ex,y=∑wx,y[u2(Ix)2+v2(Iy)2+2uvIxIy]=Au2+2Cuv+Bv2
[0190] 将Ex,y化为二次型有:
[0191]
[0192] M为实对称矩阵:
[0193]
[0194] 通过对角化处理得到:
[0195]
[0196] 其中,λ1、λ2为矩阵M的特征值。
[0197] R为旋转因子,对角化处理后并不改变以u,v为坐标参数的空间曲面的形状,其特征值反应了两个主轴方向的图像表面曲率。当两个特征值均较小时,表明目标点附近区域为″平坦区域″;特征值一大一小时,表明特征点位于″边缘″上;只有当两个特征值均比较大时,沿任何方向的移动均将导致灰度的剧烈变化。Harris的角点响应函数(CRF)表达式由此而得到:
[0198] CRF(X,y)=det(M)-k(trace(M))2
[0199] 其中,det(M)为对矩阵M进行行列式求值,det(M)=λ1·λ2;trace(M)为矩阵M的迹,trace(M)=λ1+λ2;k为系数,通常取k=0.04。
[0200] (2)得到所有特征点的响应值,然后进行特征点匹配即可获得两幅图像的匹配点。
[0201] (3)求解变换矩阵参数进行图像拼接。
[0202] 根据匹配点计算变换矩阵参数,此处的变换矩阵参数计算与透视变换单元的透视变换参数求解原理相同。只要能够确定变换矩阵的参数,参见图19所示,把图18中的左中右3个图像使用变换矩阵映射后叠加就能够得到最终的拼接图。
[0203] 图像融合单元,用于根据相邻的柱面投影图像中重叠部分的像素值,对所述重叠部分的像素进行加权运算,使所述合成画面的更自然。
[0204] 本发明中图像融合单元采用加权平均值法,加权平均值法也称为渐入渐出法,是对直接平均值法的一种改进,能避免明显带状区域的出现。主要思想是,在重叠部分由相邻的第一幅图像逐渐过渡到第二幅图像,拼接结果图中的像素值由原图像素加权得来,加权强度与像素点到原图像的距离成正比。
[0205] 使用公式表示如下:
[0206]
[0207] 其中a为加权系数,I1为进行融合拼接的第一幅图像,I2为进行融合拼接的第二幅图像,x,y图像中的像素坐标,R1为第一幅图像中非重叠区域,R2为第二幅图像中非重叠区域,R12为两幅图像重叠区域,IL(x,y)为拼接融合后的图像。
[0208] 设xmin为重叠处起始位置,xmax为重叠处终止位置,a的计算方法为:
[0209]
[0210] 加权强度的函数图形和加权系数a值域范围参见图20和图21所示。容易看出,平均值法是加权平均值法的特例,当a恒定取值为0.5时,两种方法等同。加权平均值法在一般情况下均能够取得比较好的效果。直接拼接效果如图19所示,图像的拼接并不自然,原因在于拼接图的交界处由于光照或曝光时间不同等原因使得两图交界处的过度很不自然,所以需要使用图像融合单元将图像重叠区域的像素值进行处理,使合成画面的接缝处过渡自然,图22为使用加权平均平均值法进行图像融合处理后的拼接效果。
[0211] 本发明还公开了一种特种车辆,包括上述任一项上述的驾驶辅助系统,且具有相同技术效果,在此不再赘述。
[0212] 本发明还公开了一种八轴特种车辆,包括上述任一项上述的驾驶辅助系统,其中,4组上述成像单元中的2组分别设置于车头中间位置和车尾中间,据地高度为0.8米,另外2组分别设置于车身两侧外部中间,且位于车轮上沿水平线,该八轴特种车辆具有与上述相同技术效果,在此不再赘述。
[0213] 本发明还公开了一种驾驶辅助方法,应用于轴数大于3的特种车辆,包括:
[0214] 步骤S1:采集特种车辆的周边环境画面,得到图像数字信号;
[0215] 步骤S2:将图像数字信号处理成特种车辆的车身环视图;
[0216] 步骤S3:获取特种车辆所处的车身状态,得到特种车辆的侧倾角和俯仰角;
[0217] 步骤S4:根据侧倾角和俯仰角,校正车身环视图。
[0218] 该驾驶辅助方法与上述任一项驾驶辅助系统具有相同技术效果,在此不再赘述。
[0219] 最后,还需要说明的是,在本文中,术语″包括″、″包含″或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句″包括一个……″限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0220] 以上对本发明所提供的一种驾驶辅助系统、特种车辆及方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈