一种全景影像驾驶辅助装置及方法 |
|||||||
| 申请号 | CN201510095581.6 | 申请日 | 2015-03-04 | 公开(公告)号 | CN104786933A | 公开(公告)日 | 2015-07-22 |
| 申请人 | 江苏大学; | 发明人 | 刘军; 王利明; 刘旻超; 谢俊; 熊明路; | ||||
| 摘要 | 本 发明 涉及一种驾驶辅助装置及方法，包括 图像采集 装置，显示器， 图像处理 装置及报警器；通过使用多个优化布置的图像采集装置和图像处理装置，获取并分析处理车辆周围的图像信息。一方面，取消了 汽车 上传统的物理成像 后视镜 ，消除驾驶员视觉盲区，减少汽车 空气阻 力 ；另一方面，使用图像处理装置对获取的图像进行处理，识别出在不同行车状态下的危险信息来实现变道和转弯侧碰预警、安全车距预警、道路标志识别预警、车道偏离预警、行人探测与防撞预警等主动安全驾驶辅助功能。 | ||||||
| 权利要求 | 1.一种全景影像驾驶辅助装置，其特征在于，包括图像采集装置，显示器（7），图像处理装置（8）； |
||||||
| 说明书全文 | 一种全景影像驾驶辅助装置及方法技术领域[0001] 本发明涉及车辆辅助驾驶领域，具体涉及一种全景影像驾驶辅助装置及方法。 背景技术[0002] 随着公路通车里程和机动车保有量的增加，我国道路交通事故逐年增多。为了降低由于人的感觉器官的因素（例如疲劳或视觉范围受限）产生事故的可能性，出现了各种驾 驶辅助装置。其中包括：1）被动辅助类装置，能够扩大驾驶员的视野范围。例如公开号为 CN200810085518的中国发明专利所提供的驾驶辅助方法以及驾驶辅助装置，该驾驶辅助装 置能使在驾驶员通过后视镜看车辆周边时由于支柱而产生了视觉盲区的情况下，将视觉盲 区区域的图像显示在支柱上。这类装置一方面预警作用有限，另一方面仍然保留传统后视 镜，不仅提高了空气阻力，而且由于多安装一套传统后视镜装置，因此成本较高。2）主动报 警类装置，能够根据实际情况主动进行报警。例如公开号为1586945的中国发明专利所提 供的基于雷达探测的汽车追尾防撞装置，该驾驶辅助装置能在本车辆与前方对象距离小于 安全距离时发出语音警报。这类装置一方面报警信息单一，不足以让驾驶员准确了解当前 危险状况的危险程度，以便作出有效的调整；另一方面只是单向检测，无法掌握车辆周围的 车外信息，不能实现类似在转向、变道行驶和掉头等多种行车状况时的驾驶辅助。 发明内容[0003] 为解决上述技术问题，本发明提供一种全景影像驾驶辅助装置及方法。其能取代传统的物理成像后视镜，在满足传统后视镜功能的前提下，消除汽车视觉盲区（ABC柱盲 区、前后盲区和后视镜盲区）；其图像采集装置获取的车俩前方、侧后方和后方的图像信息， 并处理获取的图像来识别出危险信息，通过设置危险信息的危险度来调整报警的频率，实 现在不同行车状况下的驾驶辅助。 [0004] 本发明提供的一种全景影像驾驶辅助装置，包括图像采集装置，显示器，图像处理装置；所述图像采集装置包括前置立体摄像头、左置摄像头、右置摄像头和后置摄像头；所 述前置立体摄像头安装在车辆室内的顶棚前方，所述左置摄像头安装在车辆左后视镜的位 置，所述右置摄像头安装在车辆右后视镜的位置，所述后置摄像头安装在在车辆室内顶棚 后方，用于取代传统的后视镜；所述前置立体摄像头、左置摄像头、右置摄像头和后置摄像 头均与显示器连接，用于分屏显示各摄像头获取的车辆前方、侧后方和后方的图像信息及 危险信息；所述前置立体摄像头、左置摄像头、右置摄像头和后置摄像头均与所述图像处理 装置连接，用于处理来自各摄像头获取的车辆周围图像信息，识别出在各种不同行车状态 时的危险信息；所述显示器、图像处理装置相连接，所述显示器对车外信息进行显示，用于 对车外路况进行监控；所述图像处理装置对车外图像信息进行处理分析，检测潜在的危险 信息，并将检测出的危险信息通过显示器显示。 [0005] 上述方案中，还包括报警器，所述报警器与所述图像处理装置连接，所述图像处理装置将检测到的潜在危险信息，通过所述报警器报出。 [0006] 上述方案中，所述前置立体摄像头包括两个CCD摄像头，并以一定的间隔安装在车辆室内的顶棚前方。 [0007] 上述方案中，所述左置摄像头、右置摄像头、后置摄像头均为CCD摄像头。 [0008] 本发明提供一种摄像头位置布置优化方法，包括如下步骤：步骤一：选取一款车，依据该车辆的尺寸选取眼点位置； 步骤二：计算摄像头视野角度，摄像头视野角度参数需满足水平角度能够覆盖到规定 视野和盲区边界，设置车身在画面中所占区域约为1/6～1/5；垂直角度也能够保证可以覆 盖到规定视野和盲区边界，同时后方视野在摄像头显示画面中的天空和地面视野占比满足 约2∶3； 步骤三：利用CATIA V5中的知识工程模块进行参数化设计，设置摄像头的相关参数包 括步骤二计算出的视野角度、安装中心坐标、水平转动角度、垂直转动角度； 步骤四：摄像头视野区域设计校核，输入并不断调整步骤三中的参数进行视野校核匹 配，使得各摄像头的视野范围在覆盖规定视野和盲区视野范围的前提下，尽量能在显示器 （7）上呈现出良好的路况信息。 [0009] 本发明提供一种全景影像驾驶辅助方法，包括如下步骤：步骤一：启动全景影像驾驶辅助装置，所述前置立体摄像头获取前方图像信息；所述 左置摄像头和右置摄像头获取侧后方图像信息；所述后置摄像头获取后方图像信息； 步骤二：将获取的前方、侧后方和后方图像信息输入到所述显示器，所述显示器对车外 路况进行监控； 步骤三：通过CAN总线获取车速信息，如果车速大于30km/h, 启动图像处理装置，如果 车速小于30km/h，不启动图像处理装置； 步骤四：图像处理装置对前方道路标识、前方车辆、车道白线进行 检测、如 果检 测出 危 险信 息，由 所 述 报 警器 向 驾驶 员 发出 报警 信 息； 如果驾驶员打开转向灯，所述图像处理装置接收转向灯开关位置的传感器发出的转向灯打 开信号，对开转向灯侧一定范围内的图像信息进行检测，如果识别出立体物则向驾驶员报 警； 如果驾驶员未打开转向灯，所述图像处理装置接收到方向盘转角传感器检测的方向盘 转角，如果大于设定阈值，则按照开转向灯的情况进行处理。 [0010] 本发明的有益效果：通过使用多个优化布置的图像采集装置和图像处理装置，获取并分析处理车辆周围的图像信息。一方面，取消了汽车上传统的物理成像后视镜，消除驾 驶员视觉盲区，减少汽车空气阻力；另一方面，使用图像处理装置对获取的图像进行处理， 识别出在不同行车状态下的危险信息来实现变道和转弯侧碰预警、安全车距预警、道路标 志识别预警、车道偏离预警、行人探测与防撞预警等主动安全驾驶辅助功能。 附图说明 [0011] 图1为搭载在车辆上的全景影像驾驶辅助装置示意图；图2为《GB 15084-2013 机动车辆间接视野装置性能和安装要求》规定的车外后视镜 视野范围； 图3为《ISO 17387-2008智能运输系统.路线改变决定辅助系统(LCDAS).性能要求 和试验程序》规定的车外后视镜盲区范围； 图4为《GB 15084-2013 机动车辆间接视野装置性能和安装要求》规定的车内后视镜 视野范围； 图5为纯音的标准等响曲线； 图6为全景影像驾驶辅助方法流程图。 [0012] 图中：1-车辆，2-车外图像监视及处理平台，3-前置立体摄像头，4-左置摄像头，5-右置摄像头，6-后置摄像头，7-显示器，8-图像处理装置，9-报警装置，S101-前置摄像 头拍摄前方图像，S102-左、右置摄像头拍摄侧后方图像，S103-后置摄像头拍摄后方图像， S104-输出到显示器，S105-车速达于30km/h，S106-检测前方道路标识，S107-检测前方 车辆，S108-检测车道白线，S109-转向灯开，S110-识别出危险信号，S111-小于安全距离， S112-偏离车道，S113-检测开转向灯侧一定范围内图像信息，S114-存在立体物，S115-方 向盘转角大于设定阈值，S116-发出警示讯息。 具体实施方式[0013] 下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。 [0014] 如图1所示，一种全景影像驾驶辅助装置包括图像采集装置，显示器7，图像处理装置8；所述图像采集装置包括前置立体摄像头3、左置摄像头4、右置摄像头5和后置摄像 头6；所述前置立体摄像头3安装在车辆室内的顶棚前方，所述左置摄像头4安装在车辆左 后视镜的位置，所述右置摄像头5安装在车辆右后视镜的位置，后置摄像头6由一个CCD摄 像头构成，安装在车辆室内顶棚后方用来取代传统的车内后视镜，同样，经过对后置摄像头 6进行安装位置和角度优化，使得其还不受车辆支柱、车内物件和后座乘客的影响，能很好 地反映后方的车外信息。后置摄像头6将拍摄的后方图像信息输出到图像处理装置8，消 除C柱盲区及后座乘客对视野干扰，提供更好的后视效果，同时对后方路况进行驾驶辅助； 所述前置立体摄像头3、左置摄像头4、右置摄像头5和后置摄像头6均与显示器7连接，用 于分屏显示各摄像头获取的车辆前方、侧后方和后方的图像信息及危险信息；所述前置立 体摄像头3、左置摄像头4、右置摄像头5和后置摄像头6均与所述图像处理装置8连接， 用于处理来自各摄像头获取的车辆周围图像信息，识别出在各种不同行车状态时的危险信 息；所述显示器7、图像处理装置8相连接，所述显示器7对车外信息进行显示，用于对车外 路况进行监控；所述图像处理装置8对车外图像信息进行处理分析，检测潜在的危险信息， 并将检测出的危险信息通过显示器7显示。 [0015] 显示器7为该驾驶辅助装置的显示装置，其由一台车载式的液晶显示器构成，可输出来自前置立体摄像头3、左置摄像头4、右置摄像头5和后置摄像头6拍摄的图像信息， 用来向驾驶员提供整个车辆周围的车外图像信息及危险信息（车距信息、危险道路标志信 息和车道偏离信息等）。 [0016] 图像处理装置8为该驾驶辅助装置的图像识别装置，其除接收来自摄像头拍摄的图像信息，还从CAN总线获取本车辆1的车速信息。该模块按如下方式进行对前置立体摄像 头3接收到的图像信息进行处理，即，针对通过前置立体摄像头3拍摄的本车辆行进方向的 左右一组图像（立体图像对），基于对应位置的偏移量根据三角测量原理生成距离信息。图 像处理装置8还对前方的立体物和车道标识线等进行分组处理，通过与预先设定的各种模 板进行模式匹配，由此识别本车辆前方的道路标识线、侧壁、立体物等。同时，图像处理装置 8还对前方道路标识进行辨识，识别出危险道路标志。即，图像处理装置8上存储有例如关 于道路标志或路面标志等标志的模板数据，通过与这些模板进行模式匹配来识别标志，获 取标志中的深度信息（限制速度、前方施工、禁止通行等）。除此之外，可以对道路标识线进 行识别处理，判断车辆是否偏离车道，以及对即将进入本车辆行驶车道的行人进行识别处 理，判断是否有与该行人碰撞的可能等驾驶辅助技术。 [0017] 图像处理装置8还能接收布置在转向灯开关位置的传感器信号，用来判断车辆是否正在变更车道或转弯。若接收转向灯开关信号为开，则判定驾驶员正在进行变道或转弯 操作。同时为防止一些驾驶新手出现转向不打转向灯的情况，可在方向盘位置安装角度传 感器，并设定阈值。当接收转向灯开关信号为关，但图像处理装置8接收的方向盘转动角度 超过设定阈值时，仍判定为正在进行变道或转弯操作。这时，可以通过图像处理装置8对开 转向灯侧车辆周围（如图3所示范围）进行立体物识别，若识别出立体物时，则向驾驶员报 警，起到变道和转弯侧碰预警的功能。 [0018] 针对行车时危险状况的危险程度，本发明设置了基于人耳听觉特性的报警装置-报警器9，其原理是：人耳对4000Hz左右的声音最敏感，对低频声、高频声的敏感程度 都大大降低。依据以上原理，对不同危险程度的危险信息设置不同的频率，即，危险程度越 高，设置的报警声音频率越接近于4000Hz，这样就使得驾驶员能通过人耳轻松的辨别出当 前危险状况的危险程度，以便作出相应的应对措施。 [0019] 所述报警器9与所述图像处理装置8连接，报警器9为该驾驶辅助装置的报警装置，其用来接收图像处理装置8识别出的危险信息，并对危险信息进行危险度设置。危险 度，即危险信息的危险性系数，危险程度越高，危险度值越大。报警器9进一步针对不同的 危险度调节语音报警的频率，向驾驶员进行报警。除了听觉上的语音报警，报警器9还提供 了视觉报警（通过显示器7显示危险信息）和触觉报警（振动驾驶员座椅）两种方式，而驾驶 员可以根据自己的情况，自行选择报警方式，提高报警的效率和驾驶的舒适性。 [0020] 进一步的，前置立体摄像头3由左右一组CCD摄像头构成，该CCD摄像头作为立体光学装置具有如电荷耦合元件（CCD）等的固体摄像器件，构成该前置立体摄像头3的各CCD 摄像头以一定的间隔安装在车辆室内的顶棚前方，从不同的视角对车外的对象进行立体拍 摄，将拍摄的前方图像信息输出到图像处理装置8，不仅能消除A柱盲区，向驾驶员提供较 好的前方车外信息，而且还可针对前方路况实现驾驶辅助。 [0021] 进一步的，左置摄像头4和右置摄像头5分别由一个CCD摄像头构成，安装在左右后视镜的位置用来取代传统的车外后视镜，由于传统后视镜成像范围有限存在视觉盲区 （如图3为车外后视镜盲区范围），而依据基于多摄像头的车辆视野分析的理论方法对摄像 头进行安装位置和安装角度优化，使得摄像头能获取良好侧后方视野。左置摄像头4和右 置摄像头5将拍摄的侧后方图像信息输出到图像处理装置8，同时对车辆侧后方路况进行 监视和的实现驾驶辅助。 [0022] 为了对摄像头在车辆上的布置进行优化，提出了基于多摄像头的车辆视野分析理论方法，使得摄像头特性参数、安装位置、安装角度能与汽车视野进行很好地匹配。具体的 理论方法包括如下顺序的步骤： 步骤一：选取眼点位置，首先选取一款车，再依据该车辆的尺寸参数参照《汽车人机工 程学》和《BOSCH汽车工程手册》上的相关标准来选取眼点位置。通过CATIA V5仿真出GB 规定的后视镜视野范围及ISO规定的后视镜盲区范围，具体参照规定《GB 15084-2013 机 动车辆间接视野装置性能和安装要求》和《ISO 17387-2008智能运输系统.路线改变决定 辅助系统(LCDAS).性能要求和试验程序》； 步骤二：计算摄像头视野角度，摄像头视野角度参数需满足水平角度能够覆盖到规定 视野和盲区边界，一般可设置车身在画面中的所占区域约为1/6～1/5；垂直角度也能够保 证可以覆盖到规定视野和盲区边界，同时后方视野在摄像头显示画面中的天空和地面视野 占比满足约2∶3； 步骤三：利用CATIA V5中的知识工程模块进行参数化设计，设置输入参数包括步骤二 计算的摄像头水平视角和垂直视角，以及摄像头中心坐标、水平转动角度、垂直转动角度。 [0023] 步骤四：进行摄像头视野区域设计校核，输入并不断调整步骤三中参数进行视野校核匹配，使得各摄像头的视野范围在覆盖规定视野和盲区视野范围的前提下，尽量能在 显示器上呈现出良好的路况信息，即，呈现的天空和地面的比例与驾驶员通过传统后视镜 观察的相近，符合驾驶员的驾驶习惯。 [0024] 一种全景影像驾驶辅助方法，包括如下步骤：步骤一：启动全景影像驾驶辅助装置，所述前置立体摄像头3获取前方图像信息；所述 左置摄像头4和右置摄像头5获取侧后方图像信息；所述后置摄像头6获取后方图像信息； 步骤二：将获取的前方、侧后方和后方图像信息输入到所述显示器7，所述显示器7对 车外路况进行监控； 步骤三：通过CAN总线获取车速信息，如果车速大于30km/h, 启动图像处理装置8，如 果车速小于30km/h，不启动图像处理装置8； 步骤四：图像处理装置8对前方道路标识、前方车辆、车道白线进行检测、如果检测出 危险信息，由所述报警器9向驾驶员发出报警信息； 如果驾驶员打开转向灯，所述图像处理装置8接收转向灯开关位置的传感器发出的转 向灯打开信号，对开转向灯侧一定范围内的图像信息进行检测，如果识别出立体物则向驾 驶员报警； 如果驾驶员未打开转向灯，所述图像处理装置8接收到方向盘转角传感器检测的方向 盘转角，如果大于设定阈值，则按照开转向灯的情况进行处理。 [0025] 图6为本发明的实施顺序流程图。首先，装置启动后同时进入步骤S101、步骤S102、步骤S103。进入步骤S101,由布置在车内顶棚前方的前置立体摄像头3获取前方图 像信息；进入步骤S102，由布置在左右后视镜位置的左置摄像头4和右置摄像头5获取侧 后方图像信息；进入步骤S103，由布置在车内顶棚后方的后置摄像头6获取后方图像信息。 接着进入步骤S104，将获取的前方、侧后方和后方图像信息输出到显示器7，用来对车外路 况进行监控。 [0026] 在步骤S105中通过对从CAN总线获取的车速信息进行判断，如果车速大于30km/h, 则启动图像处理装置8，否则返回退出操作。启动图像处理装置后，同时进入步骤S106、 S107、S108、S109进行操作。 [0027] 进入步骤S106，首先与存储的模板数据进行模式匹配来识别标志，再进入步骤S110对道路标志上的信息进行检测，如果检测出危险信息（例如限速、前方施工、禁止通行 等），则进入步骤S116，由报警器9向驾驶员发出报警信息，否则返回。 [0028] 进入步骤S107，首先通过模式匹配或特征分析识别出同车道内的前方车辆，再针对前置立体摄像头3获取立体图像对进行处理分析，根据三角测量原理生成距离信息。接 着由本车车速、车距信息、相对车速计算此时本车与前车的安全距离。如果车距小于安全距 离，则通过报警器9向驾驶员报警，否则返回。 [0029] 进入步骤S108，首先对车辆辆车的车道线进行识别，识别出车道线后，则检测车辆是否偏离了车道，如果偏离了车道线，则进行报警，否则返回。 [0030] 进入步骤S109，首先判断转向灯是否为开，如果驾驶员打开了一侧转向灯，则进入S113,由图像处理装置8对开转向灯侧一定范围（ 《ISO 17387-2008智能运输系统.路线 改变决定辅助系(LCDAS).性能要求和试验程序》规定的后视镜盲区范围）内的立体物进行 模式匹配，如果识别出立体物则向驾驶员报警，否则返回；如果判断出驾驶员未打开任一侧 转向灯，继续进入步骤S115，判断方向盘转角是否大于设定的阈值，如果大于设定阈值，则 进入步骤S113重复上述操作，否则返回。 [0031] 所述实施例为本发明优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或 变型均属于本发明的保护范围。 |
||||||
QQ群二维码
意见反馈
意见反馈