多视角汽车全景影像显示及记录系统 |
|||||||
| 申请号 | CN201610220322.6 | 申请日 | 2016-04-08 | 公开(公告)号 | CN107244292A | 公开(公告)日 | 2017-10-13 |
| 申请人 | 鹰驾科技(深圳)有限公司; | 发明人 | 郑智宇; 段侪杰; | ||||
| 摘要 | 本 发明 公开了一种多视 角 汽车 全景影像显示及记录系统，其特征在于，包括：主控制系统；与所述主控制系统连接的多路摄像头、视频输入、汽车CAN通讯、外接控制 信号 输入、视频记录和回放模 块 以及车载显示器；其中所述车载显示器是通过显示触发信号和视频输出对视频进行显示。本发明是一种基于 图像处理 等技术的多视角汽车全景影像显示及记录系统，该系统通过对 车身 周围的多路摄像头采集的视频进行实时处理及显示、记录，提供给驾驶者车身周围的全景图像，实现真正的多角度、无盲区驾驶，并对多路视频影像实时进行记录。 | ||||||
| 权利要求 | 1.一种多视角汽车全景影像显示及记录系统，其特征在于，包括：主控制系统；与所述主控制系统连接的多路摄像头、视频输入、汽车CAN通讯、外接控制信号输入、视频记录和回放模块以及车载显示器；其中所述车载显示器是通过显示触发信号和视频输出对视频进行显示。 |
||||||
| 说明书全文 | 多视角汽车全景影像显示及记录系统技术领域[0001] 本发明涉及汽车技术领域，更具体的说是涉及一种多视角汽车全景影像显示及记录系统。 背景技术[0002] 汽车驾驶者在驾驶过程中存在很多盲区，如车身前方被遮挡处，两侧后视镜盲区以及车后盲区。这些汽车盲区所潜在的危险，往往会给人们带来生命财产的重大损失以及精神上的严重伤害。另外随着汽车数量的急剧增长，私家车走进千家万户的同时，各大城市内的停车位变的越来越紧张，对驾驶员停车的入位技能的要求越来越高。而汽车盲区的存在更是加大了停车的难度，稍不小心就会刮伤或者与相邻车辆发生碰撞。因此盲区物体越来越受到人们的广泛关注。 [0003] 目前市场上常见的驾驶辅助系统主要分为三类：一种是在车身周围安装传感器等装置，当其接近并探测到有障碍物时报警。以倒车雷达为主要代表，采用超声波测距原理探测车周围是否有障碍物以及障碍物距车的距离，并发出警示信号。此类产品在很大程度上减小或弥补了汽车盲区，提醒驾驶员车周围障碍物的存在。然而倒车雷达也并不是绝对安全的，当障碍物过低、过高或角度超过探头侦测的范围时，倒车雷达便会失效。第二种是影像倒车系统，利用后视摄像头将车后方的事物影像清晰地传输到中控台显示屏上，而这种影像系统只解决了车后盲区，车身前方及后视镜盲区仍然存在，因此，无盲区驾驶仍然是有待解决的问题。第三种是全景视频系统，通常在车身周围安装多于一个摄像头，从而使视角覆盖车身周围全部或大部分区域，并通过在屏幕上分区域直接显示摄像头视频；或者通过图像视频拼接的方法，将几路摄像头视频进行变换和拼接，形成俯瞰效果的全景图像，直观显示车身和周围环境的位置关系，这种方法的问题在于只使用俯瞰的视角，视角单一。 [0004] 因此，如何提供一种多视角汽车全景影像显示系统是本领域技术人员亟需解决的问题。 发明内容[0005] 有鉴于此，本发明提供了一种多视角汽车全景影像显示及记录系统，不仅可以对车身周围的多路摄像头采集的视频进行实时处理、显示和记录，而且可以为驾驶者提供车身周围多视角的全景图像，实现真正的多角度、无盲区驾驶，并对多路视频影像实时进行记录。 [0006] 为了实现上述目的，本发明提供如下技术方案： [0007] 一种多视角汽车全景影像显示及记录系统，包括：主控制系统；与所述主控制系统连接的多路摄像头、视频输入、汽车CAN通讯、外接控制信号输入、视频记录和回放模块和车载显示器；其中所述车载显示器是通过显示触发信号和视频输出对视频进行显示。 [0008] 优选的，在上述多视角汽车全景影像显示及记录系统中，所述多路摄像头包括多个摄像头。 [0009] 优选的，在上述多视角汽车全景影像显示及记录系统中，所述多路摄像头经标定，建立地面坐标系到摄像头坐标系的转换关系；并根据所希望的观察视角，建立屏幕坐标系到地面坐标系的转换关系；其中，屏幕上不同区域显示经过处理后的不同摄像头的图像，形成从车身不同角度观察的全景图像视频，在全景视频中，地面上所有直线保持平直性，除非在俯瞰效果视图下，否则地面上的平行直线在沿透视方向会相交于一点。 [0010] 优选的，在上述多视角汽车全景影像显示及记录系统中，所述视频输入包括多路摄像头输入，并且输入的视频可以是模拟、数字等多种信号。 [0011] 优选的，在上述多视角汽车全景影像显示及记录系统中，所述外接控制信号输入包括但不限于红外、触摸、按键等多种控制信号。 [0013] 优选的，在上述多视角汽车全景影像显示及记录系统中，所述视频记录和回放模块包括但不限于对每一路摄像头输入视频的记录和回放，以及对处理后合成视频的记录和回放；其中回放可以是记录视频的直接输出播放，也可以是对记录视频进行处理后的输出播放。 [0014] 优选的，在上述多视角汽车全景影像显示及记录系统中，所述显示触发信号包括但不限于电平触发、基于CAN协议触发和通过视频输出触发。 [0015] 经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种多视角汽车全景影像显示及记录系统，该系统通过对车身周围的多路摄像头采集的视频进行实时处理显示、记录，提供给驾驶者车身周围的全景图像，实现真正的多角度、无盲区驾驶，并对多路视频影像实时进行记录。附图说明 [0016] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。 [0017] 图1附图为本发明的结构示意图。 [0018] 图2(a)附图为本发明多路摄像头分区示意图，以及俯瞰效果图。 [0019] 图2(b)世界坐标系示意图，其中设地面位于世界坐标系中z＝0的平面上。 [0020] 图2(c)附图为俯瞰情况下屏幕坐标系示意图。 [0021] 图3(a)附图为本发明伪3D全景图像显示效果示意图。 [0022] 图3(b)附图为本发明伪3D全景图像生成过程中，世界坐标系示意图，其中设地面位于世界坐标系中z＝0的平面上。 [0023] 图3(c)附图为本发明伪3D全景图像生成过程中，屏幕坐标系示意图。 [0024] 图4附图为本发明投影变换示意图。 具体实施方式[0025] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。 [0026] 本发明实施例公开了一种多视角汽车全景影像显示及记录系统，不仅对车身周围的多路摄像头采集的视频进行实时处理显示、记录，提供给驾驶者车身周围的全景图像，实现真正的多角度、无盲区驾驶，而且对多路视频影像实时进行记录。 [0027] 请参阅相关附图为本发明提供的一种多视角汽车全景影像显示及记录系统，包括：主控制系统；与主控制系统连接的多路摄像头、视频输入、汽车CAN通讯、外接控制信号输入、视频记录和回放模块以及车载显示器；其中车载显示器是通过显示触发信号和视频输出对视频进行显示。 [0028] 为了进一步优化上述技术方案，多路摄像头包括多个摄像头。 [0029] 为了进一步优化上述技术方案，多路摄像头经标定，建立地面坐标系到摄像头坐标系的转换关系；并根据所希望的观察视角，建立屏幕坐标系到地面坐标系的转换关系；其中，屏幕上不同区域显示经过处理后的不同摄像头的图像，形成从车身不同角度观察的全景图像视频，在全景视频中，地面上所有直线保持平直性，除非在俯瞰效果视图下，否则地面上的平行直线在沿透视方向会相交于一点。 [0030] 为了进一步优化上述技术方案，视频输入包括多路摄像头输入，并且输入的视频可以是模拟、数字等多种信号。 [0031] 为了进一步优化上述技术方案，外接控制信号输入包括但不限于红外、触摸、按键等多种控制信号。 [0032] 为了进一步优化上述技术方案，汽车CAN通讯是指通过汽车本身的ODB接口与汽车内部网络进行通讯，符合CAN总线协议。 [0033] 为了进一步优化上述技术方案，视频记录和回放模块包括但不限于对每一路摄像头输入视频的记录和回放，以及对处理后合成视频的记录和回放；其中回放可以是记录视频的直接输出播放，也可以是对记录视频进行处理后的输出播放。 [0034] 为了进一步优化上述技术方案，显示触发信号包括但不限于电平触发、基于CAN协议触发和通过视频输出触发。 [0035] 本发明的技术思路如下： [0036] (1)对所有的摄像头进行标定：建立以地面为代表的平面坐标系和摄像头坐标系之间的映射关系。标定主要包含三个步骤。 [0037] 步骤一：摄像头畸变校正，主要对广角镜头的径向和切向畸变进行校正，保证在全景显示的有效区域内，摄像头所成图像为实际世界坐标系中场景的透视变换，即世界坐标系中的直线在摄像头图像中仍然是直线。可以采用多项式拟合等方式进行处理，设畸变校正后的摄像头i的图像坐标系为Xci； [0038] 步骤二：计算世界坐标系中地面平面坐标Xw到每个摄像头的校正后的图像坐标系Xci的透视变换矩阵Mp，则有Xci＝A·Xw。其中Xci＝(Xci Yci hci)，为齐次坐标，Xw＝(Xw Yw 1)， Xci和Xw分别最少取4个对应的采样点，用来计算矩阵A中的参数，可 以使用直接线性变换法、奇异值分解法等方法获得计算结果； [0039] 步骤三：将车身周围分成不同的区域，如图2(a)是其中一种划分方式，每一个区域对应一个或多个摄像头；设区域i对应摄像头i，则使用步骤2中的方法计算世界坐标系中地面区域i中的坐标Xwi到摄像头畸变校正后图像坐标Xci的变换矩阵Ai。 [0040] (2)多角度显示图像的生成：在完成每一个摄像头由地面坐标系到摄像头校正图像坐标系的转换矩阵计算后，进一步生成显示屏幕坐标系Xs到地面坐标系Xw的投影转换关系，包括三个主要步骤： [0041] 步骤一：计算地面坐标系到显示屏幕坐标系的仿射换矩阵Baffine：首先设置屏幕坐标系和地面坐标系重合，然后屏幕坐标系根据希望观察的视角进行平移、旋转和放缩操作，设变换矩阵分别为Tt、Tr、Ts。则转换后，Xw中坐标在Xs的表达为Xs＝Bpers·Baffine·Xw；其中， 分别是Tt，Tr，Ts的逆矩阵。这里，设Xaffine＝Baffine·Xw，则Xs＝Bpers·Xaffine； [0042] 步骤二：计算世界坐标系在屏幕坐标系的投影Xs，可以采用两种方式： [0043] 方式1：计算投影变换矩阵Bpers：根据图4所示，认为屏幕view plane后有一个虚拟的摄像头，位于投影参考点Xprp＝(xprp yprp zprp)，仿射变换后的世界坐标系Xaffine中任意一点Xwa＝(xaffine yaffine zaffine)在屏幕坐标系Xs屏幕上的显示位置Xws＝(xws yws zwsp)是该点和投影参考点连线与屏幕的交点； [0044] 其中zwsp为定值，zaffine＝Axaffine+Byaffine+C为平面函数，A、B、C为常数。则有，[0045] [0046] zws＝zwsp [0047] 根据如上关系，可以计算出若干个Xws和Xaffine的对应点，则采用和摄像头标定中A矩阵的求解方法相同的方法，可以求解Bpers矩阵。 [0048] 方式2：根据公式①中的转换关系，以及其反变换关系，直接从Xws求取对应的Xaffine中的点坐标。 [0049] 步骤三：根据以上关系，产生从屏幕坐标系到摄像头坐标系的直接变换关系：首先，对屏幕上的显示全景区域的坐标依次计算 进一步确定Xw在图2(a)中所属的区域，有Xw＝Xwi，进一步从摄像头图像相应位置获得相应的像素亮度、色彩等信息对屏幕上相应的点进行填充，通过Xci＝Ai·Xwi获取摄像头坐标。 [0050] 多角度显示有一种经典的模式，即俯瞰模式。如图2(a)所示，这种方式下，认为屏幕坐标系Xs的Z轴和地面世界坐标系Xw的Z轴方向平行或反平行，两者的X，Y轴方向可以绕Z轴任意旋转，如图2(b)、2(c)所示，分别为地面坐标系和屏幕坐标系；另一种经典模式是伪三维(3dimensional，3D)显示，即Xs的Z轴和地面世界坐标系Xw的Z轴方向非平行或反平行关系，有一个夹角，因此车身和地面图像在屏幕显示上会产生近大远小的透视效果，如图3所示。图3(a)为显示效果示意图，图3(b)、3(c)分别为地面坐标系和屏幕坐标系。这两种方式的差异在于世界坐标系的仿射变换和投影变换矩阵Baffine、Bpers不同。(3)全景图像显示：图像显示就是在屏幕坐标中全景图的区域通过上述坐标变换，提取相应摄像头相应位置的像素值对屏幕图像进行填充和显示。坐标变换的过程，可以在系统工作的过程中实时进行计算，也可以将屏幕坐标系中全景区域的所有坐标进行坐标变换，然后把结果以表格的形式进行存储，在系统工作时，通过读取表格来获取相应摄像头的坐标，从而降低系统的实时计算负担。 [0053] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。 [0054] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。 |
||||||
QQ群二维码
意见反馈
意见反馈