首页 / 专利库 / 电脑图像 / 虚拟摄像机 / 汽车全景环视图像融合方法

汽车全景环视图像融合方法

阅读:512发布:2020-05-08

专利汇可以提供汽车全景环视图像融合方法专利检索,专利查询,专利分析的服务。并且本 发明 提供了一种 汽车 全景环视图像融合方法,包括以下步骤:基于世界 坐标系 将环视模型划分出融合区,所述融合区包括右前融合区、左前融合区、左后融合区和右后融合区:A1、分别确定所述右前融合区、左前融合区、左后融合区和右后融合区的参考原点;建立对照表,所述对照表的查询条件为雷达编号以及对应雷达的数据,所述对照表的查询结果为至少一个融合区的修正融合 角 度和修正融合范围;这种汽车全景环视图像融合方法将环视模型分割出四个融合区,根据采集到的车辆数据来修正融合区的融合角度和融合范围,从而确定融合区中的 像素 点的融合系数,进而计算得到像素点的 颜色 ,最终生成效果较好的全景环视影像,有效提升驾驶人员的驾驶体验和安全性。,下面是汽车全景环视图像融合方法专利的具体信息内容。

1.一种汽车全景环视图像融合方法,其特征在于,包括以下步骤:
基于世界坐标系将环视模型划分出融合区,所述融合区包括右前融合区、左前融合区、左后融合区和右后融合区:
A1、分别确定所述右前融合区、左前融合区、左后融合区和右后融合区的参考原点;
A2、预设右前融合区的初始融合度θ10和初始融合范围α10,左前融合区的初始融合角度θ20和初始融合范围α20,左后融合区的初始融合角度θ30和初始融合范围α30,右后融合区的初始融合角度θ40和初始融合范围α40;
建立对照表,所述对照表的查询条件为雷达编号以及对应雷达的数据,所述对照表的查询结果为至少一个融合区的修正融合角度和修正融合范围;
S1、获取雷达数据,根据雷达编号和雷达数据查找对照表,获得修正融合角度和修正融合范围:
根据修正融合角度和修正融合范围对相应融合区的融合角度和融合范围进行修正,得到右前融合区的修正融合角度θ11和修正融合范围α11,左前融合区的修正融合角度θ21和修正融合范围α21,左后融合区的修正融合角度θ31和修正融合范围α31,右后融合区的修正融合角度θ41和修正融合范围α41;
前置摄像机拍摄的前方影像的像素点的颜色为texture1;
左置摄像机拍摄的左方影像的像素点的颜色为texture2;
后置摄像机拍摄的后方影像的像素点的颜色为texture3;
右置摄像机拍摄的右方影像的像素点的颜色为texture4;
计算前方影像的像素点与右前融合区的参考原点的夹角β1前,计算右方影像的像素点与右前融合区的参考原点的夹角β1右,根据夹角β1前得到前方影像位于右前融合区中的像素点的颜色texture1,根据夹角β1右得到右方影像位于右前融合区中的像素点的颜色texture4,得到右前融合区的像素点的融合系数为:
右前融合区中的像素点的颜色为:
color1=(1-γ1)×texture1+γ1×texture4;
计算前方影像的像素点与左前融合区的参考原点的夹角β2前,计算左方影像的像素点与左前融合区的参考原点的夹角β2左,根据夹角β2前得到前方影像位于左前融合区中的像素点的颜色texture1,根据夹角β2左得到左方影像位于左前融合区中的像素点的颜色texture2,得到左前融合区的像素点的融合系数为:
左前融合区中的像素点的颜色为:
color2=(1-γ2)×texture2+γ2×texture1;
计算左方影像的像素点与左后融合区的参考原点的夹角β3左,计算后方影像的像素点与左后融合区的参考原点的夹角β3后,根据夹角β3左得到左方影像位于左后融合区中的像素点的颜色texture2,根据夹角β3后得到后方影像位于左后融合区中的像素点的颜色texture3,得到左后融合区的像素点的融合系数为:
右前融合区中的像素点的颜色为:
color3=(1-γ3)×texture3+γ3×texture2;
计算后方影像的像素点与右后融合区的参考原点的夹角β4后,计算右方影像的像素点与右后融合区的参考原点的夹角β4右,根据夹角β4后得到后方影像位于右后融合区中的像素点的颜色texture3,根据夹角β4右得到右方影像位于右后融合区中的像素点的颜色texture4,得到右后融合区的像素点的融合系数为:
右前融合区中的像素点的颜色为:
color4=(1-γ4)×texture4+γ4×texture3;
或者所述对照表的查找结果为至少一个融合区的修正融合系数;
S1、获取雷达数据,根据雷达编号和雷达数据查找对照表,获得修正融合系数,根据修正融合系数设置融合区中的像素点的颜色。
2.如权利要求1所述的汽车全景环视图像融合方法,其特征在于,还包括以下步骤:
为所述右前融合区、左前融合区、左后融合区和右后融合区设置存放布尔值的标志位F1、F2、F3和F4;
获取四个摄像机的外参并且根据下表设置标志位F1、F2、F3和F4的值:
在所述步骤S1之前判断标志位的值,如果标志位的值为true,则不允许根据雷达数据对相应的融合区的融合角度和融合范围进行修正,如果标志位的值为flase,则允许根据雷达数据对相应的融合区的融合角度和融合范围进行修正,修正后将修正的融合区的标志位的值修改为true。
3.如权利要求2所述的汽车全景环视图像融合方法,其特征在于,包括以下步骤:
根据下表修正四个融合区的融合角度和融合范围:
F1 F2 F3 F4 θ11 α11 θ21 α21 θ31 α31 θ41 α41
true true flase flase 89° 10° 101° 10°
flase true true flase 179° 10° 191° 10°
flase flase true true 269° 10° 281° 10°
true flase flase true 11° 10° 359° 10°
将标志位的值为true的两个融合区夹着的非融合区的影像设置为黑色。
4.如权利要求2所述的汽车全景环视图像融合方法,其特征在于,包括以下步骤:
设置阈值T,0<T<π/4
获取虚拟相机的heading分量为ωc,如果虚拟相机的视角内的融合区的标志位的值为flase则根据下表对融合区的融合角度进行修正:
5.如权利要求4所述的汽车全景环视图像融合方法,其特征在于:
所述阈值T=π/9。
6.如权利要求1~5任一项所述的汽车全景环视图像融合方法,其特征在于:通过以下公式计算融合区内的像素点与参考原点的夹角:
其中Px和Py分别代表像素点的x坐标以及y坐标。

说明书全文

汽车全景环视图像融合方法

技术领域

[0001] 本发明涉及图像处理技术领域,尤其涉及一种汽车全景环视图像融合方法。

背景技术

[0002] 汽车全景环视影像系统主要用于辅助驾驶员进行泊车操作,环视影像中的画面能够有效减少驾驶员盲区,辅助感知车身周围的环境。根据环视系统实现原理,车身的左前、
右前、左后、右后四个区域的画面需要融合两个摄像头的图像,而这四个区域的融合效果会
影响整个环视系统的使用体验。
[0003] 由于四个摄像头安装位置度差异比较大,因此对于模型上相同的顶点,不同位置的摄像头看到的内容都是不同的,导致实际物体在两个摄像头中会存在明显的差别,
而且受运算复杂度限制,在汽车的全景环视应用中无法通过图像算法对图像进行配准和拉
伸,所以最终呈现出的全景影像比较失真。

发明内容

[0004] 本发明要解决的技术问题是:为了解决现有技术中汽车上的全景影像失真严重,本发明提供了一种汽车全景环视图像融合方法来解决上述问题。
[0005] 本发明解决其技术问题所采用的技术方案是:一种汽车全景环视图像融合方法,包括以下步骤:
[0006] 基于世界坐标系将环视模型划分出融合区,所述融合区包括右前融合区、左前融合区、左后融合区和右后融合区:
[0007] A1、分别确定所述右前融合区、左前融合区、左后融合区和右后融合区的参考原点;
[0008] A2、预设右前融合区的初始融合角度θ10和初始融合范围α10,左前融合区的初始融合角度θ20和初始融合范围α20,左后融合区的初始融合角度θ30和初始融合范围α30,右后融合
区的初始融合角度θ40和初始融合范围α40;
[0009] 建立对照表,所述对照表的查询条件为雷达编号以及对应雷达的数据,所述对照表的查询结果为至少一个融合区的修正融合角度和修正融合范围;
[0010] S1、获取雷达数据,根据雷达编号和雷达数据查找对照表,获得修正融合角度和修正融合范围;
[0011] 根据修正融合角度和修正融合范围对相应融合区的融合角度和融合范围进行修正,得到右前融合区的修正融合角度θ11和修正融合范围α11,左前融合区的修正融合角度θ21
和修正融合范围α21,左后融合区的修正融合角度θ31和修正融合范围α31,右后融合区的修正
融合角度θ41和修正融合范围α41;
[0012] 前置摄像机拍摄的前方影像的像素点的颜色为texture1;
[0013] 左置摄像机拍摄的左方影像的像素点的颜色为texture2;
[0014] 后置摄像机拍摄的后方影像的像素点的颜色为texture3;
[0015] 右置摄像机拍摄的右方影像的像素点的颜色为texture4;
[0016] 计算前方影像的像素点与右前融合区的参考原点的夹角β1前,计算右方影像的像素点与右前融合区的参考原点的夹角β1右,根据夹角β1前得到前方影像位于右前融合区中的
像素点的颜色texture1,根据夹角β1右得到右方影像位于右前融合区中的像素点的颜色
texture4,
[0017] 得到右前融合区的像素点的融合系数为:
[0018]
[0019] 右前融合区中的像素点的颜色为:
[0020] color1=(1-γ1)×texture1+γ1×texture4;
[0021] 计算前方影像的像素点与左前融合区的参考原点的夹角β2前,计算左方影像的像素点与左前融合区的参考原点的夹角β2左,根据夹角β2前得到前方影像位于左前融合区中的
像素点的颜色texture1,根据夹角β2左得到左方影像位于左前融合区中的像素点的颜色
texture2,
[0022] 得到左前融合区的像素点的融合系数为:
[0023]
[0024] 左前融合区中的像素点的颜色为:
[0025] color2=(1-γ2)×texture2+γ2×texture1;
[0026] 计算左方影像的像素点与左后融合区的参考原点的夹角β3左,计算后方影像的像素点与左后融合区的参考原点的夹角β3后,根据夹角β3左得到左方影像位于左后融合区中的
像素点的颜色texture2,根据夹角β3后得到后方影像位于左后融合区中的像素点的颜色
texture3,
[0027] 得到左后融合区的像素点的融合系数为:
[0028]
[0029] 右前融合区中的像素点的颜色为:
[0030] color3=(1-γ3)×texture3+γ3×texture2;
[0031] 计算后方影像的像素点与右后融合区的参考原点的夹角β4后,计算右方影像的像素点与右后融合区的参考原点的夹角β4右,根据夹角β4后得到后方影像位于右后融合区中的
像素点的颜色texture3,根据夹角β4右得到右方影像位于右后融合区中的像素点的颜色
texture4,
[0032] 得到右后融合区的像素点的融合系数为:
[0033]
[0034] 右前融合区中的像素点的颜色为:
[0035] color4=(1-γ4)×texture4+γ4×texture3;
[0036] 或者所述对照表的查找结果为至少一个融合区的修正融合系数;
[0037] S1、获取雷达数据,根据雷达编号和雷达数据查找对照表,获得修正融合系数,根据修正融合系数设置融合区中的像素点的颜色。
[0038] 作为优选,还包括以下步骤:
[0039] 为所述右前融合区、左前融合区、左后融合区和右后融合区设置存放布尔值的标志位F1、F2、F3和F4;
[0040] 获取四个摄像机的外参并且根据下表设置标志位F1、F2、F3和F4的值:
[0041]
[0042] 在所述步骤S1之前判断标志位的值,如果标志位的值为true,则不允许根据雷达数据对相应的融合区的融合角度和融合范围进行修正,如果标志位的值为flase,则允许根
据雷达数据对相应的融合区的融合角度和融合范围进行修正,修正后将修正的融合区的标
志位的值修改为true。
[0043] 作为优选,包括以下步骤:
[0044] 根据下表修正四个融合区的融合角度和融合范围:
[0045] F1 F2 F3 F4 θ11 α11 α21 α21 θ31 α31 θ41 α41true true flase flase 89° 10° 101° 10°       
flase true true flase     179° 10° 191° 10°   
flase flase true true         269° 10° 281° 10°
true flase flase true 11° 10°        359° 10°
[0046] 将标志位的值为true的两个融合区夹着的非融合区的影像设置为黑色。
[0047] 作为优选,包括以下步骤:
[0048] 设置阈值T,0
[0049] 获取虚拟相机的heading分量为ωc,如果虚拟相机的视角内的融合区的标志位的值为flase则根据下表对融合区的融合角度进行修正:
[0050]
[0051] 作为优选,
[0052] 所述阈值T=π/9。
[0053] 具体的,通过以下公式计算融合区内的像素点与参考原点的夹角:
[0054]
[0055] 其中Px和Py分别代表像素点的x坐标以及y坐标。
[0056] 本发明的有益效果是,这种汽车全景环视图像融合方法将环视模型分割出四个融合区,根据采集到的车辆数据来修正融合区的融合角度和融合范围,从而确定融合区中的
像素点的融合系数,进而计算得到像素点的颜色,最终生成效果较好的全景环视影像,有效
提升驾驶人员的驾驶体验和安全性。
附图说明
[0057] 下面结合附图和实施例对本发明进一步说明。
[0058] 图1是一种环视模型的瞰图。
[0059] 图2是一种汽车全景环视图像融合方法的实施例的流程图
[0060] 图3是鸟瞰示意图和一个视角的三维视图。

具体实施方式

[0061] 下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附
图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
[0062] 在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“平”、“顶”、“底”“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以
特定的方位构造和操作,因此不能理解为对本发明的限制。
[0063] 此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“相连”、“连接”应
做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连
接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通
技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。此外,在本发明的描述
中,除非另有说明,“多个”的含义是两个或两个以上。
[0064] 流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模片段或部
分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺
序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明
的实施例所属技术领域的技术人员所
[0065] 汽车的车头、左侧车体、后备箱和右侧车体上分别安装了前置摄像机、左置摄像机、后置摄像机和右置摄像机,环视模型由这四个摄像机拍摄的影像构成,将车头方向作为
y轴正方向,车右侧作为x轴正方向,车身正上方为z轴正方向建立世界坐标,世界坐标原点
位置位于车身中间位置的地面上。如图1所示,前置摄像机、左置摄像机、后置摄像机和右置
摄像机通过拍摄获得前方影像、左方影像、后方影像和右方影像,环视模型又这些影像融合
构成。
[0066] 如图2所示,是一种汽车全景环视图像融合方法的实施例,包括以下步骤:
[0067] 基于世界坐标系将环视模型划分出融合区,融合区包括右前融合区、左前融合区、左后融合区和右后融合区,环视模型的其它部分为前非融合区、左非融合器、后非融合区以
及由非融合区。相邻两个影像之间重叠的部分并非是最终确定的融合区,因此在不同的环
境和车况下,融合区的融合参数应该针对性进行修正,才能最终获得较好的融合影像,此实
例中融合参数包括融合角度和融合范围。
[0068] A1、一共有四个影像重叠区域,分别对应一个融合区,对于每个重叠区域,计算重叠区域中的像素点与世界坐标原点之间的距离,把距离最小的点作为该重叠区域对应融合
区的参考原点,通过此方法分别确定右前融合区、左前融合区、左后融合区和右后融合区的
参考原点;
[0069] A2、预设右前融合区的初始融合角度θ10和初始融合范围α10,左前融合区的初始融合角度θ20和初始融合范围α20,左后融合区的初始融合角度θ30和初始融合范围α30,右后融合
区的初始融合角度θ40和初始融合范围α40;
[0070] 进行实车测试,测试各种雷达数据的条件下,能够产生观测效果较好的融合影像的融合参数,然后构建对照表,对照表的查询条件为雷达编号以及对应雷达的数据,对照表
的查询结果为至少一个融合区的修正融合角度和修正融合范围。在环视系统软件初始化阶
段,将该表格加载到内存中。
[0071] S1、获取雷达数据,根据雷达编号和雷达数据查找对照表,获得修正融合角度和修正融合范围;
[0072] 根据修正融合角度和修正融合范围对相应融合区的融合角度和融合范围进行修正,得到右前融合区的修正融合角度θ11和修正融合范围α11,左前融合区的修正融合角度θ21
和修正融合范围α21,左后融合区的修正融合角度θ31和修正融合范围α31,右后融合区的修正
融合角度θ41和修正融合范围α41;如果某个雷达没有数据,则融合参数使用初始值,例如左
前、前侧和右前雷达没有数据,则θ11=θ10,α11=α10,θ21=θ20,α21=α20。
[0073] 前置摄像机拍摄的前方影像的像素点的颜色为texture1;
[0074] 左置摄像机拍摄的左方影像的像素点的颜色为texture2;
[0075] 后置摄像机拍摄的后方影像的像素点的颜色为texture3;
[0076] 右置摄像机拍摄的右方影像的像素点的颜色为texture4;
[0077] 计算前方影像的像素点与右前融合区的参考原点的夹角β1前,计算右方影像的像素点与右前融合区的参考原点的夹角β1右,根据夹角β1前得到前方影像位于右前融合区中的
像素点的颜色texture1,根据夹角β1右得到右方影像位于右前融合区中的像素点的颜色
texture4,
[0078] 得到右前融合区的像素点的融合系数为:
[0079]
[0080] 右前融合区中的像素点的颜色为:
[0081] color1=(1-γ1)×texture1+γ1×texture4;
[0082] 计算前方影像的像素点与左前融合区的参考原点的夹角β2前,计算左方影像的像素点与左前融合区的参考原点的夹角β2左,根据夹角β2前得到前方影像位于左前融合区中的
像素点的颜色texture1,根据夹角β2左得到左方影像位于左前融合区中的像素点的颜色
texture2,
[0083] 得到左前融合区的像素点的融合系数为:
[0084]
[0085] 左前融合区中的像素点的颜色为:
[0086] color2=(1-γ2)×texture2+γ2×texture1;
[0087] 计算左方影像的像素点与左后融合区的参考原点的夹角β3左,计算后方影像的像素点与左后融合区的参考原点的夹角β3后,根据夹角β3左得到左方影像位于左后融合区中的
像素点的颜色texture2,根据夹角β3后得到后方影像位于左后融合区中的像素点的颜色
texture3,
[0088] 得到左后融合区的像素点的融合系数为:
[0089]
[0090] 右前融合区中的像素点的颜色为:
[0091] color3=(1-γ3)×texture3+γ3×texture2;
[0092] 计算后方影像的像素点与右后融合区的参考原点的夹角β4后,计算右方影像的像素点与右后融合区的参考原点的夹角β4右,根据夹角β4后得到后方影像位于右后融合区中的
像素点的颜色texture3,根据夹角β4右得到右方影像位于右后融合区中的像素点的颜色
texture4,
[0093] 得到右后融合区的像素点的融合系数为:
[0094]
[0095] 右前融合区中的像素点的颜色为:
[0096] color4=(1-γ4)×texture4+γ4×texture3。
[0097] 具体通过以下公式计算融合区内的像素点与参考原点的夹角:
[0098]
[0099] 其中Px和Py分别代表像素点的x坐标以及y坐标。
[0100] 在另一些实施方式汇总,将上述计算得到的融合系数的技术结果直接作为对照表的查找结果;那么步骤S1则变成S1、获取雷达数据,根据雷达编号和雷达数据查找对照表,
获得修正融合系数,根据修正融合系数设置融合区中的像素点的颜色。
[0101] 根据其它的一些实施方式,在修正融合参数前首先要考虑摄像机的状态,例如车门打开或者后备箱门打开都会导致摄像机错位或者被障碍遮蔽,所以为右前融合区、左前
融合区、左后融合区和右后融合区设置存放布尔值的标志位F1、F2、F3和F4;
[0102] 获取四个摄像机的外参并且根据下表设置标志位F1、F2、F3和F4的值:
[0103]
[0104] 在根据雷达数据修改融合参数之前先判断标志位的值,如果标志位的值为true,则不允许根据雷达数据对相应的融合区的融合角度和融合范围进行修正,如果标志位的值
为flase,则允许根据雷达数据对相应的融合区的融合角度和融合范围进行修正,修正后将
修正的融合区的标志位的值修改为true。
[0105] 如果有某个摄像机出现错位或者被遮挡的情况,则根据下表修正四个融合区的融合角度和融合范围:
[0106] F1 F2 F3 F4 θ11 α11 θ21 α21 θ31 α31 θ41 α41true true flase flase 89° 10° 101° 10°       
flase true true flase     179° 10° 191° 10°   
flase flase true true         269° 10° 281° 10°
true flase flase true 11° 10°        359° 10°
[0107] 将标志位的值为true的两个融合区夹着的非融合区的影像设置为黑色。例如左侧车门被打开,F2和F3的值应该为true,那么左方影像的非融合区的部分设置成黑色,此时左
前融合区和左后融合区收到了影响,根据上表修改左前融合区和左后融合区的融合参数。
[0108] 如图3所示,环视影像包括鸟瞰试图和三维视图,当用户根据需要选择四个方向中的一个视角的三维视图时则适配一个虚拟相机,
[0109] 设置阈值T,0
[0110] 获取虚拟相机的heading分量为ωc,如果虚拟相机的视角内的融合区的标志位的值为flase则根据下表对融合区的融合角度进行修正:
[0111]
[0112] 其中,NA表示不需要修改配置,由于虚拟相机的视角不可能超过180°,因此不在视野范围的区域不需要进配置;为了避免融合区域中心出现在虚拟相机的正前方造成模糊现
象,因此ωc在其它角度时也不需要修改融合参数。根据上表修改融合区域,能够尽可能让
虚拟相机看到的画面来自同一个摄像头。
[0113] 在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特
点包含于本发明的至少一个实施例或示例中。在本说明书中,对所述术语的示意性表述不
一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何
的一个或多个实施例或示例中以合适的方式结合。
[0114] 以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术
性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈