首页 / 专利库 / 航空电子 / 机载防撞系统 / 地形提示和警告系统 / 一种车辆行驶过程中的周围环境显示方法和系统

一种车辆行驶过程中的周围环境显示方法和系统

阅读:776发布:2020-05-08

专利汇可以提供一种车辆行驶过程中的周围环境显示方法和系统专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种车辆行驶过程中的周围环境显示方法和系统,包括以下步骤图像模 块 采集车辆周围的物体参数处理生成环境数据集;识别模块接收处理后的所述环境数据,并识别所述环境数据的具体类型;模型库内调取与所述识别模块识别出的具体类型相匹配的已有模型,或者自动生成新的模型;显示模块将调取和/或自动生成的模型进行周围环境的三维重构显示,场景重现后并警示车辆周围出现的危险物体。本发明的有益效果:通过对 车身 周围环境重建,从而帮助车内人员明确车身与周边环境的相关性对用户进行提示,规避 风 险;提高用户驾驶体验,增加用户行车安全性。,下面是一种车辆行驶过程中的周围环境显示方法和系统专利的具体信息内容。

1.一种车辆行驶过程中的周围环境显示方法,其特征在于:包括以下步骤,图像模(100)采集车辆周围的物体参数处理生成环境数据集;
识别模块(200)接收处理后的所述环境数据,并识别所述环境数据的具体类型;
模型库(300)内调取与所述识别模块(200)识别出的具体类型相匹配的已有模型,或者自动生成新的模型;
显示模块(400)将调取和/或自动生成的模型进行周围环境的三维重构显示,场景重现后并警示车辆周围出现的危险物体。
2.如权利要求1所述的车辆行驶过程中的周围环境显示方法,其特征在于:所述图像模块(100)包括,
通过摄像头(101)、车载雷达(102)和传感器(103)快速扫描车辆周围的物体参数,发送至图像处理模块(104)中处理生成环境数据集;且采集的数据包括行车相关的道路、行人、车辆以及周边的建筑物路灯、树木的实际物体三维参数。
3.如权利要求1或2所述的车辆行驶过程中的周围环境显示方法,其特征在于:所述模型库(300)包括地图厂商模型载入(301)、手工制作存入所述模型库(300)的手工模型(302)、以及自动生成新的模型(303)。
4.如权利要求3所述的车辆行驶过程中的周围环境显示方法,其特征在于:所述自动生成新的模型包括以下步骤,
对空间属性不具有变量的物体,采用地图厂商模型载入、手工制作或者点模型存入所述模型库(300);
对空间属性具有变量且会对车辆行驶产生影响的物体,使用手工制作模型并存入所述模型库(300)中;
所述图像模块(100)采集物体参数确认物体外轮廓;
所述模型库(300)已存入的模型根据确认的物体外轮廓的参数对比,将存在变量的部分自动拉起或缩小,生成与实际物体外轮廓符合的新模型。
5.如权利要求1、2或4任一所述的车辆行驶过程中的周围环境显示方法,其特征在于:
包括所述识别模块(200)将环境数据集分级的步骤,
自我定位级别,通过增加对照物定位车辆的位置信息;
环境级别,对车辆周围环境进行三维场景重构并显示;
提示级别,识别环境数据集中的危险数据,在重构的所述三维场景内显示提示标注,提示驾驶者;
警告级别,识别环境数据集中的碰撞数据,在重构的所述三维场景内显示警告标注和相关贴图。
6.如权利要求5所述的车辆行驶过程中的周围环境显示方法,其特征在于:包括所述识别模块(200)将环境数据集分类的步骤,
车辆自身,车辆自身状态的显示数据,包括采集的车身三维模型数据和车身行驶状态数据;
路面或地理信息,包括基本的路面信息、周边地形起伏的数据;
交通标志或标线,包括道路旁的指示牌、路障的数据;
交通参与物体,包括行人、车辆、建筑和障碍物的数据。
7.如权利要求6所述的车辆行驶过程中的周围环境显示方法,其特征在于:所述交通标志包括警告标志、禁令标志、指示标志、指路标志、旅游区标志和其他标志;所述交通标线包括禁止标线、指示标线和警告标线。
8.如权利要求6或7所述的车辆行驶过程中的周围环境显示方法,其特征在于:包括根据车辆在行驶过程中速度变化的不同行车场景,所述显示模块(400)呈现基于车辆周围不同视野范围的环境重建画面;在车辆高速行驶过程中,驾驶者能够看到更远和车后方更多的环境内容,在低速行驶过程中摄像机度变高,呈现车身约5-10米范围内的环境。
9.如权利要求8所述的车辆行驶过程中的周围环境显示方法,其特征在于:不同行车场景的对应视野范围的场景呈现包括以下步骤,
图像模块(100)采集当前车辆行驶的速度数据;
调节模块(500)区分:
高速状态下为≥120km/h,对应车辆前方200m、后发50m、左右各10m的呈现视角范围;
快速状态下为100≤v<120km/h,对应车辆前方100m、后发20m、左右各6m的呈现视角范围;
低速状态下为0≤v≤40km/h,对应车辆前方10m、后发6m、左右各5m的呈现视角范围;
倒车状态,档位位于R的位置,对应车辆前方5m、后发10m、左右各10m的呈现视角范围。
10.一种车辆行驶过程中的周围环境显示系统,其特征在于:包括图像模块(100)、识别模块(200)、模型库(300)、显示模块(400)和调节模块(500);
所述图像模块(100)用于采集车辆自身和周围环境的数据并处理;
所述识别模块(200)与所述图像模块(100)连接,用于接收所述图像模块(100)采集的数据进行识别数据类型;
所述模型库(300)与所述识别模块(200)连接,用于根据所述识别模块(200)识别的数据类型进行调取和/或生成新的模型;
所述显示模块(400)将所述模型库(300)筛选的模型显示于车辆的平视显示器上;
所述调节模块(500)与所述图像模块(100)连接,用于根据所述采集车辆自身的车速数据,对视野范围进行调整显示不同视野下的场景。

说明书全文

一种车辆行驶过程中的周围环境显示方法和系统

技术领域

[0001] 本发明涉及汽车内容人机交互图像视觉领域的技术领域,尤其涉及一种车辆行驶过程中的周围环境显示方法和基于该方法的系统。

背景技术

[0002] 基于车身雷达或摄像头作为环境数据采集,通过车辆内部计算单元还原车辆周围环境并在车辆车机、平视显示器、仪表盘等显示设备上呈现,目前特斯拉在其产品已有,但仅能模拟到车身周围对于汽车有驾驶影响的物体出现,并不能通过摄像头等传感器感知到真正的周边环境,用户能了解到的内容有限。
[0003] 当前市面上的车技在环境重建这部分,仅能模拟到车身周围对于汽车有驾驶影响的物体出现,并不能通过摄像头等传感器感知到真正的周边环境,用户能了解到的内容有限。

发明内容

[0004] 本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请说明书摘要发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
[0005] 鉴于上述现有存在的问题,提出了本发明。
[0006] 因此,本发明解决的技术问题是:提供一种车辆行驶过程中的周围环境显示方法,能够通过对车身周围环境重建,从而帮助车内人员明确车身与周边环境的相关性对用户进行提示,规避险。
[0007] 为解决上述技术问题,本发明提供如下技术方案:一种车辆行驶过程中的周围环境显示方法,包括以下步骤图像模采集车辆周围的物体参数处理生成环境数据集;识别模块接收处理后的所述环境数据,并识别所述环境数据的具体类型;模型库内调取与所述识别模块识别出的具体类型相匹配的已有模型,或者自动生成新的模型;显示模块将调取和/或自动生成的模型进行周围环境的三维重构显示,场景重现后并警示车辆周围出现的危险物体。
[0008] 作为本发明所述的车辆行驶过程中的周围环境显示方法的一种优选方案,其中:所述图像模块包括,通过摄像头、车载雷达和传感器快速扫描车辆周围的物体参数,发送至图像处理模块中处理生成环境数据集;且采集的数据包括行车相关的道路、行人、车辆以及周边的建筑物路灯、树木的实际物体三维参数。
[0009] 作为本发明所述的车辆行驶过程中的周围环境显示方法的一种优选方案,其中:所述模型库包括地图厂商模型载入、手工制作存入所述模型库的模型、以及自动生成新的模型。
[0010] 作为本发明所述的车辆行驶过程中的周围环境显示方法的一种优选方案,其中:所述自动生成新的模型包括以下步骤,对空间属性不具有变量的物体,采用地图厂商模型载入、手工制作或者点模型存入所述模型库;对空间属性具有变量且会对车辆行驶产生影响的物体,使用手工制作模型并存入所述模型库中;所述图像模块采集物体参数确认物体外轮廓;所述模型库已存入的模型根据确认的物体外轮廓的参数对比,将存在变量的部分自动拉起或缩小,生成与实际物体外轮廓符合的新模型。
[0011] 作为本发明所述的车辆行驶过程中的周围环境显示方法的一种优选方案,其中:包括所述识别模块将环境数据集分级的步骤,自我定位级别,通过增加对照物定位车辆的位置信息;环境级别,对车辆周围环境进行三维场景重构并显示;提示级别,识别环境数据集中的危险数据,在重构的所述三维场景内显示提示标注,提示驾驶者;警告级别,识别环境数据集中的碰撞数据,在重构的所述三维场景内显示警告标注和相关贴图。
[0012] 作为本发明所述的车辆行驶过程中的周围环境显示方法的一种优选方案,其中:包括所述识别模块将环境数据集分类的步骤,车辆自身,车辆自身状态的显示数据,包括采集的车身三维模型数据和车身行驶状态数据;路面或地理信息,包括基本的路面信息、周边地形起伏的数据;交通标志或标线,包括道路旁的指示牌、路障的数据;交通参与物体,包括行人、车辆、建筑和障碍物的数据。
[0013] 作为本发明所述的车辆行驶过程中的周围环境显示方法的一种优选方案,其中:所述交通标志包括警告标志、禁令标志、指示标志、指路标志、旅游区标志和其他标志;所述交通标线包括禁止标线、指示标线和警告标线。
[0014] 作为本发明所述的车辆行驶过程中的周围环境显示方法的一种优选方案,其中:包括根据车辆在行驶过程中速度变化的不同行车场景,所述显示模块呈现基于车辆周围不同视野范围的环境重建画面;在车辆高速行驶过程中,驾驶者能够看到更远和车后方更多的环境内容,在低速行驶过程中摄像机度变高,呈现车身约5-10米范围内的环境。
[0015] 作为本发明所述的车辆行驶过程中的周围环境显示方法的一种优选方案,其中:不同行车场景的对应视野范围的场景呈现包括以下步骤,图像模块采集当前车辆行驶的速度数据;调节模块区分:高速状态下为≥120km/h,对应车辆前方200m、后发50m、左右各10m的呈现视角范围;快速状态下为100≤v<120km/h,对应车辆前方100m、后发20m、左右各6m的呈现视角范围;低速状态下为0≤v≤40km/h,对应车辆前方10m、后发6m、左右各5m的呈现视角范围;倒车状态,档位位于R的位置,对应车辆前方5m、后发10m、左右各10m的呈现视角范围。
[0016] 因此,本发明解决的另一个技术问题是:提供一种车辆行驶过程中的周围环境显示系统,上述方法能够应用于该显示系统中。
[0017] 为解决上述技术问题,本发明提供如下技术方案:一种车辆行驶过程中的周围环境显示系统,包括图像模块、识别模块、模型库、显示模块和调节模块;所述图像模块用于采集车辆自身和周围环境的数据并处理;所述识别模块与所述图像模块连接,用于接收所述图像模块采集的数据进行识别数据类型;所述模型库与所述识别模块连接,用于根据所述识别模块识别的数据类型进行调取和/或生成新的模型;所述显示模块将所述模型库筛选的模型显示于车辆的平视显示器上;所述调节模块与所述图像模块连接,用于根据所述采集车辆自身的车速数据,对视野范围进行调整显示不同视野下的场景。
[0018] 本发明的有益效果:通过对车身周围环境重建,从而帮助车内人员明确车身与周边环境的相关性对用户进行提示,规避风险;提高用户驾驶体验,增加用户行车安全性。附图说明
[0019] 为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
[0020] 图1为本发明第一种实施例所述车辆行驶过程中的周围环境显示方法的方法流程图
[0021] 图2为本发明第一种实施例所述分级、分类的示意图;
[0022] 图3为本发明第一种实施例所述交通标志/标线的示意图;
[0023] 图4为本发明第一种实施例所述级别标注的示意图;
[0024] 图5为本发明第一种实施例所述位置/相对运动关系的分类示意图;
[0025] 图6为本发明第一种实施例所述安全距离的示意图;
[0026] 图7为本发明第一种实施例所述构建三维场景的示意图;
[0027] 图8为本发明第二种实施例所述视野随车速档位变化的示意图;
[0028] 图9为本发明第三种实施例所述车辆行驶过程中的周围环境显示系统的整体结构示意图;
[0029] 图10为本发明第三种实施例所述实际应用场景的一个示意图;
[0030] 图11为本发明第三种实施例所述实际应用场景的又一个示意图;
[0031] 图12为本发明第三种实施例所述实际应用场景的另一个示意图。

具体实施方式

[0032] 为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明,显然所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明的保护的范围。
[0033] 在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
[0034] 其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0035] 本发明结合示意图进行详细描述,在详述本发明实施例时,为便于说明,表示器件结构的剖面图会不依一般比例作局部放大,而且所述示意图只是示例,其在此不应限制本发明保护的范围。此外,在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0036] 同时在本发明的描述中,需要说明的是,术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一、第二或第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
[0037] 本发明中除非另有明确的规定和限定,术语“安装、相连、连接”应做广义理解,例如:可以是固定连接、可拆卸连接或一体式连接;同样可以是机械连接、电连接或直接连接,也可以通过中间媒介间接相连,也可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
[0038] 实施例1
[0039] 参照图1~4的示意,本实施例提出车辆行驶过程中的周围环境显示方法,应用于汽车内容人机交互图像视觉,包括但不限于汽车仪表盘、hud(平视显示器)或车机上呈现车体600的周围三维模型场景,通过对车身周围环境重建,从而帮助车内人员明确车身与周边环境的相关性对用户进行提示,规避风险。提高用户驾驶体验,增加用户行车安全性。无死角的重现车身周边环境,以3d建模的形式由远及近重现车身范围20-50米距离的环境以及对车身构成行车风险的要素。具体的,包括以下步骤,
[0040] 图像模块100采集车辆周围的物体参数处理生成环境数据集;本步骤中图像模块100包括,通过摄像头101、车载雷达102和传感器103快速扫描车辆周围的物体参数,发送至图像处理模块104中处理生成环境数据集;且采集的数据包括行车相关的道路、行人、车辆以及周边的建筑物、路灯、树木的实际物体三维参数。
[0041] 识别模块200接收处理后的环境数据,并识别环境数据的具体类型,本步骤中包括识别模块200将环境数据集分级的步骤,自我定位级别,通过增加对照物定位车辆的位置信息;环境级别,对车辆周围环境进行三维场景重构并显示;提示级别,识别环境数据集中的危险数据,在重构的三维场景内显示提示标注,提示驾驶者;警告级别,识别环境数据集中的碰撞数据,在重构的三维场景内显示警告标注和相关贴图。以及识别模块200将环境数据集分类的步骤,车辆自身,车辆自身状态的显示数据,包括采集的车身三维模型数据和车身行驶状态数据;路面或地理信息,包括基本的路面信息、周边地形起伏的数据;交通标志或标线,包括道路旁的指示牌、路障的数据;交通参与物体,包括行人、车辆、建筑和障碍物的数据。其中交通标志包括警告标志、禁令标志、指示标志、指路标志、旅游区标志和其他标志;交通标线包括禁止标线、指示标线和警告标线。参照图5~6本步骤还包括位置/相对运动关系分类的方法,考虑了当前方向盘角度和增量带来的影响,区分车体600倒车以及20km/h左右的级别,图中P为优先级别,D为安全距离,R为倒车档。表格说明了当车辆为R档,速度≤20km/h,速度>20时,车辆周围需要关注的范围。左/右(转向中+旷量转向角),则考虑转向时转向角度影响后需要关注的扇面范围。表格中说明不同车速时,刹车的安全距离保守值及增加缓冲后的安全距离保守值,缓冲时间为1s。
[0042] 模型库300内调取与识别模块200识别出的具体类型相匹配的已有模型,或者自动生成新的模型,其中模型库300包括地图厂商模型载入、手工制作存入模型库300的模型、以及自动生成新的模型。具体的包括以下步骤,对空间属性不具有变量的物体,采用地图厂商模型载入、手工制作或者点云模型存入模型库300;对空间属性具有变量且会对车辆行驶产生影响的物体,使用手工制作模型并存入模型库300中;图像模块100采集物体参数确认物体外轮廓;模型库300已存入的模型根据确认的物体外轮廓的参数对比,将存在变量的部分自动拉起或缩小,生成与实际物体外轮廓符合的新模型。
[0043] 显示模块400将调取和/或自动生成的模型进行周围环境的三维重构显示,场景重现后并警示车辆周围出现的危险物体。通过摄像头、雷达等传感设备,监测是否有对车辆行驶具有威胁的情况。遇到危险后,车辆智慧大脑自行做出相应决策,并于环境重建中提醒用户。且包括提供对车体600安全距离的监控和警示,保证车辆的安全驾驶。
[0044] 需要说明的是,本实施例需要大量的驾驶辅助信息,最重要的信息是道路网的精确三维参数,例如:交叉路口布局、路标位置、障碍物、车辆行人等。还包括许多语义信息,地图可能会报告交通灯上不同颜色的含义,也可能指示道路的速度限速,以及左转车道的位置。本实施例方法包括地图的三维模型导入与定位、感知与规划警示。
[0045] 定位、感知软件及规划都依赖高精度的地图,高精度地图可以帮助车辆找到合适的行车空间,帮助规划器确定不同的路线选择,并帮助预测软件预测道路上其他车辆在将来的位置,在有限速或障碍物的路段,高精度地图可以使车辆提前查看,提前加速或者变道。因此本实施例中模型库300可以采用地图厂商模型载入的方式,地图包括道路定义、交叉路口、交通信号、车道规则以及用于汽车导航的其他元素。采用多种传感器,如GPS、惯性测量单元、激光雷达和摄像机等,通过多种传感器收集大量数据。对收集到来的数据进行整理,分类和清洗以获得没有任何语义信息或注释的初始地图模板。
[0046] 单纯的图像数据是收集最容易的数据,摄像头便宜且种类繁多,还易于使用,但要用摄像头来实现高精度定位是很困难的。但是本实施例中将摄像头数据与地图和GPS结合起来,利用概率来判断摄像头数据与地图或者GPS等传感器采集的数据做比对,来定位车辆或者障碍物的位置。
[0047] 进一步的,因此本实施例对于三维场景的重建采用以下方式实现:
[0048] 利用地形可视化技术,是构建逼真三维地理场景的基础,重构三维场景的目的是模拟监控区域。地表上目标,同时为虚拟相机成像提供虚拟对象。在监控区域为裸地的情况下,可直接采用高精度已存在地图上的数据,也可采用三维激光扫描仪对所在区域进行扫描,形成点云数据,然后利用通用地理信息系统形成规则格网的地球表面模型;三维场景绘制可采用采用四叉树数据结构,对地形数据和纹理数据进行分层分块,构建数字地形和纹理图像的不同分辨率金字塔,建立不同层次地形块节点,这种绘制方法有利于提高场景建模的效率。
[0049] 成像过程为:在虚拟场景空间中,物体经过模型变换矩阵M进行旋转、平移及缩放变化,确定其大小、位置和形状;再经过透视投影矩阵P进行透视变换,形成二维图像;最后经过视口变换矩阵V,映射到屏幕显示,且变换过程对应的矩阵相乘公式为:
[0050] [x y 1]T=V·P·M[X Y Z 1]T
[0051] 式中:利用函数(Xl,Xr,Yb,Yt,Zn,Zf)实现透视投影变换,其中(Xl,Yb,Zn)、(Xr,Yt,Zn)分别为视锥体中近裁剪面上的左下角和右上角坐标,且Zn,Zf分别确定了投影视锥体的近远裁剪面,函数所定义的投影视锥可对应摄影测量的内方位元素。
[0052] 假设摄影底片的长宽分别为Lx、Ly,利用等比关系可将内方位元素(焦距f和像主点坐标x0,y0)代入成像函数参数列表中,从而模拟实际摄像机成像结果。
[0053] 换算关系如下式:
[0054]
[0055] 根据上式计算出相应的投影矩阵P,要将透视影像映射到计算机屏幕上且与实际摄像机成像结果一致,如下式:
[0056]
[0057] 需要根据长宽Lx、Ly计算相应的视口矩阵,如下式:
[0058]
[0059] 在摄影测量中,外方位元素记录摄影瞬间摄影机中心的位置及姿态。根据外方位元素可以计算得到外参数矩阵,即可设置仿真成像过程中的模型变换矩阵。根据上述分析,透视投影成像与摄影测量成像不仅在原理上吻合,而且投影成像的各参数与摄影测量存在对应关系。
[0060] 目标的空间定位:
[0061] 上述相机形成的仿真图像可与实际摄像机拍摄的单视频图像相对应。因此,可根据监控目标所在的视频图像坐标,在仿真图像中计算出其对应像素坐标(即屏幕坐标),如下式:
[0062]
[0063] 式中:winX、winY为屏幕坐标;wr、hr为实际图像宽和高;wv、hv为仿真图像宽和高;u、v为目标在实际图像上的像素坐标。依据成像的逆过程,通过屏幕坐标及对应的深度值winZ,可以推算出三维空间中的真实世界坐标(X,Y,Z),如下式:
[0064] [X Y Z 1]T=M-1·P-1·V-1[winX winY winZ]T
[0065] 最终在虚拟地理场景中便可得到目标在三维空间中的成像投影射线,将射线与虚拟场景中的表面模型求交,交点位置即是目标坐落在地表的空间坐标。
[0066] 进一步的,要实现三维场景的虚拟成像,还包括以下步骤:
[0067] 为了能将计算结果与点云数据相比较,三维场景构建采用扫描仪所使用的工程坐标系,通过分辨率为0.1m的地球表面模型,构建的三维场景参照图7的示意。由于相机拍摄每张照片(对应于摄像机的单帧图像)时的位置和姿态以矩阵形式存储在三维激光扫描仪系统中,因此在对虚拟相机成像矩阵计算过程中,需要涉及到三维激光扫描仪系统的相关矩阵之间的关系计算。例如:
[0068] 投影矩阵计算:根据数码相机固有参数,即焦距f为20mm,单位像素在X、Y方向上的距离dx、dy均为0.0055mm,摄影底片的Lx、Ly分别为23.584mm和15.664mm,进行相机标定得到像主点坐标为x0=0.222mm,y0=0.1875mm。将上述内方位元素代入上述公式,可得出相应的虚拟相机投影矩阵P,如下式所示:
[0069]
[0070] 将当前矩阵设置为投影矩阵后,即可模拟出真实相机的投影结果。接下来,对虚拟相机位置与姿态进行设定,使其与真实相机一致。
[0071] 模型视图矩阵计算:相机的位置和姿态可通过三维激光扫描仪系统三种坐标系的变换运算得到。三种坐标系分别为:扫描仪坐标系、相机坐标系、工程坐标系统。且坐标变换过程包括以下2个步骤:
[0072] 工程坐标系到扫描仪坐标系的转换。针对每一个扫描站点,都有一个坐标系统,记录了在其中的位置和方位,根据下式可将工程坐标系转化到扫描仪坐标系:Cs=SOP-1×Cp,式中Cp为工程坐标系,Cs为扫描仪坐标系,SOP为转换矩阵。
[0073] 扫描仪坐标系到相机坐标系的转换。假设相机的坐标系为Cc。矩阵记录了相机安装在扫描仪云台后与扫描仪之间的关系。相机在拍摄过程中以扫描仪的Z轴为旋转轴获取照片,因此需要一个矩阵来记录相机在每次拍摄瞬间相对于扫描仪的角度和姿态矩阵,用COP表示。因此,三维激光扫描仪坐标转化到相机坐标,转化公式如下:Cc=Mmount×COP-1×Cs,式中Mmount为矩阵。
[0074] 根据上述过程,可将工程坐标系转化到相机坐标系,转化过程如下式:
[0075] Cc=Mmount×COP-1×SOP-1×CP
[0076] 三维点云数据是以工程坐标系为参考,而且三维虚拟场景也是构建在工程坐标系下,因此以工程坐标系作为相机成像模型中的世界坐标系。根据以上关于三维激光扫描仪的坐标转化关系,可知相机拍摄每张图像时的外部参数矩阵M=Mmount×COP-1×SOP-1,就是对应仿真图像的模型视图矩阵。
[0077] 通过上述矩阵运算,可得到激光扫描时所拍摄3张照片的模型视图矩阵分别为M1、M2、M3,根据相机位置和姿态参数。将得出的投影矩阵和模型视图矩阵分别输入三维场景虚拟成像和目标定位系统,设置虚拟相机的位置、姿态和投影成像参数,可相应生成3幅仿真图像。在实际照片系列中,高亮点即为反射片所在位置,完成三维场景的构建。
[0078] 实施例2
[0079] 参照图8的示意,本实施例中提出根据车辆在行驶过程中速度变化的不同行车场景,显示模块400呈现基于车辆周围不同视野范围的环境重建画面;在车辆高速行驶过程中,驾驶者能够看到更远和车后方更多的环境内容,在低速行驶过程中摄像机角度变高,呈现车身约5-10米范围内的环境。具体的,不同行车场景的对应视野范围的场景呈现包括以下步骤,
[0080] 图像模块100采集当前车辆行驶的速度数据;调节模块500区分:高速状态下为≥120km/h,对应车辆前方200m、后发50m、左右各10m的呈现视角范围;快速状态下为100≤v<
120km/h,对应车辆前方100m、后发20m、左右各6m的呈现视角范围;低速状态下为0≤v≤
40km/h,对应车辆前方10m、后发6m、左右各5m的呈现视角范围;倒车状态,档位位于R的位置,对应车辆前方5m、后发10m、左右各10m的呈现视角范围。不同的视角根据用户不同的行车场景来变化,提供给用户更好的行车体验。
[0081] 实施例3
[0082] 参照图9~12的示意,为本实施例提出一种车辆行驶过程中的周围环境显示系统的整体结构示意图,将上述车辆行驶过程中的周围环境显示方法进行实际应用。具体的,该显示系统包括图像模块100、识别模块200、模型库300、显示模块400和调节模块500;图像模块100用于采集车辆自身和周围环境的数据并处理;识别模块200与图像模块100连接,用于接收图像模块100采集的数据进行识别数据类型;模型库300与识别模块200连接,用于根据识别模块200识别的数据类型进行调取和/或生成新的模型;显示模块400将模型库300筛选的模型显示于车辆的平视显示器上;调节模块500与图像模块100连接,用于根据采集车辆自身的车速数据,对视野范围进行调整显示不同视野下的场景。
[0083] 无死角的重现车身周边环境,以3d建模的形式由远及近重现车身范围20-50米距离的环境以及对车身构成行车风险的要素,其中3d建模具体可以是通过地图厂商模型载入、手工制作存入模型库的模型(3dmax Maya等三维模型制作软件制作)、点云模型(倾斜摄影、三维激光扫描)、自动生成的模型(确认物体外轮廓,自动拉起模型高度)。建筑模型使用地图厂商模型、点云模型,或采用自动生成的模型。
[0084] 其中车辆、行人等空间属性具有变量且会对车辆行驶产生影响的物体,使用手工制作并存入模型库的模型。树木、垃圾桶等空间属性不具有变量的物体,采用手工制作并存入模型库的模型或通过点云模型呈现
[0085] 实际应用过程中包括具体实施方式:
[0086] 通过车载雷达、摄像头、图像处理模块;通过3D建模的视觉呈现方式为用户在hud(平视显示器)上显示汽车周边环境。通过对于环境模型进行分类分级,软件直接调取模型库数据,识别到物体后直接调用模型库中的模型,更好更快于车身周边环境匹配。例如:建筑、行人、家用车、客车、自行车、路牌等等。
[0087] 通过车辆在行驶过程中速度不同,为用户在车机上呈现不同视角的环境重建,根据档位及车速进行判断,在高速行驶过程中,用户可以看到更远以及车后方更多的环境内容,在低速行驶过程中摄像机角度变高,更多关注车身约5-10米左右环境,不同的视角根据用户不同的行车场景来变化,提供给用户更好的行车体验。
[0088] 视觉表象层:通过摄像头、雷达等传感器,将车身周围的物体快速扫描、快速建模,给用户呈现最真实贴近的场景重现。环境重现以具有科技感的线条方式呈现,在视觉上不会对用户有干扰。
[0089] 危险警报:当周边环境的某个物体对行车造成了影响或威胁,环境重建上会以凸显的颜色视觉样式了提醒用户。通过摄像头、雷达等传感设备,监测是否有对车辆行驶具有威胁的情况。遇到危险后,车辆智慧大脑自行做出相应决策,并于环境重建中提醒用户。
[0090] 对于车辆自身状态(通过车内智慧大脑获取车内所有信息),用3d模拟出,灯光、开关、后备箱等状态效果,用户可直接在屏幕中观察到车身当前的全部状态。
[0091] 应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈