车辆用全景环视装置及具有该装置的车辆 |
|||||||
| 申请号 | CN201510279191.4 | 申请日 | 2015-05-27 | 公开(公告)号 | CN105270261A | 公开(公告)日 | 2016-01-27 |
| 申请人 | LG电子株式会社; | 发明人 | 金娟善; 林菜焕; 宋宗勋; | ||||
| 摘要 | 本 发明 提供一种车辆用全景环视装置及具有该装置的车辆。本发明的车辆用全景环视装置包括：至少一个摄像头，其安装在车辆上，能够变换自身的方向；处理器，其在所述车辆以第一速度以上的速度前进行驶时，使所述摄像头中的至少一部分摄像头以第一模式运行，以便拍摄不能通过车辆的车 外 后视镜 或 车内后视镜 确认的区域，在所述车辆以第二速度的速度前进行驶或倒车时，使所述摄像头以第二模式运行，以便拍摄与所述第一模式相比更多的拍摄地面区域。由此，利用能够变更方向的摄像头能够拍摄肉眼所不能确认的区域，并且能够提供全景环视图像。 | ||||||
| 权利要求 | 1.一种车辆用全景环视装置，其特征在于， |
||||||
| 说明书全文 | 车辆用全景环视装置及具有该装置的车辆技术领域[0001] 本发明涉及一种车辆用全景环视装置及具有该装置的车辆，更详细说是涉及一种利用能够转向的摄像头来能够拍摄肉眼所不能确认的区域并且能够提供全景环视图像的车辆用全景环视装置及具有该装置的车辆。 背景技术[0002] 车辆是由所搭乘的使用者按照所需的方向使其移动的装置。作为代表性的可举例汽车。 [0003] 另外，为了使利用车辆的使用者方便，逐渐形成了将各种传感器和电子装置等设置在车辆上的趋势。特别地，正在开发出用于使使用者的驾驶更加便利的各种装置等，这些装置在车辆倒车或车辆停车(驻车)时提供由后方摄像头拍摄得到的图像等。 发明内容[0004] 本发明的目的在于提供一种利用能够转向的摄像头来拍摄肉眼所不能确认的区域或提供全景环视图像的车辆用全景环视装置及具有该装置的车辆。 [0005] 为了实现上述目的，本发明的车辆用全景环视装置包括：至少一个摄像头，其安装在车辆上，能够变换自身的方向；处理器，其在所述车辆以第一速度以上的速度前进行驶时，使所述摄像头中的至少一部分摄像头以第一模式运行，以便拍摄不能通过车辆的车外后视镜或车内后视镜确认的区域，在所述车辆以第二速度的速度前进行驶或倒车时，使所述摄像头以第二模式运行，以便拍摄与所述第一模式相比更多的拍摄地面区域。 [0006] 另外，为了实现上述目的，本发明的实施例的车辆包括：用于驱动转向装置的转向驱动部；用于驱动制动器装置的刹车驱动部；用于驱动动力源的动力源驱动部；至少一个摄像头，其安装在车辆上，能够变换自身的方向；处理器，其在所述车辆以第一速度以上的速度前进行驶时，使所述摄像头中的至少一部分摄像头以第一模式运行，以便拍摄不能通过车辆的车外后视镜或车内后视镜确认的区域，在所述车辆以第二速度的速度前进行驶或倒车时，使所述摄像头以第二模式运行，以便拍摄与所述第一模式相比更多的拍摄地面区域。 [0007] 根据本发明的实施例的车辆用全景环视装置及具有该装置的车辆，其具有：至少一个摄像头，其安装在车辆上，能够变换自身的方向；处理器，其在所述车辆以第一速度以上的速度前进行驶时，使所述摄像头中的至少一部分摄像头以第一模式运行，以便拍摄不能通过车辆的车外后视镜或车内后视镜确认的区域，在所述车辆以第二速度的速度前进行驶或倒车时，使所述摄像头以第二模式运行，以便拍摄与所述第一模式相比更多的拍摄地面区域。由此，能够拍摄肉眼所不能确认的区域或者提供全景环视图像。 [0008] 另外，处理器可基于来自室内摄像头的图像而确定驾驶人员位置，并与驾驶人员位置对应地改变左侧摄像头和右侧摄像头的旋转或倾斜角度，从而能够拍摄肉眼所不能确认的区域。由此，能够提高驾驶人员的使用方便性。附图说明 [0009] 图1是示出本发明的一实施例的具有环视摄像头的车辆的外观的示意图。 [0010] 图2A是概略地示出在车辆上安装的环视摄像头的位置的示意图。 [0011] 图2B例示出图2A的环视摄像头拍摄得到的图像的全景环视图像。 [0012] 图3A至图3B例示出本发明的一实施例的车辆用全景环视装置的内部框图的多种例子。 [0013] 图4A至图4B例示出图3的处理器的内部框图的多种例子。 [0014] 图5是例示出图4A至图4B的处理器中的对象检测的示意图。 [0015] 图6是本发明的一实施例的车辆内部的框图的一个例子。 [0016] 图7是示出本发明的一实施例的车辆用全景环视装置的动作方法的流程图。 [0017] 图8A至图19是在图7的动作方法的说明中作为参照的示意图。 具体实施方式[0018] 以下参照附图对本发明进行更详细的说明。 [0020] 本说明书中阐述的车辆可以是包括汽车、摩托车的概念。以下，对于车辆将以汽车为主进行阐述。 [0022] 另外，本说明书中阐述的车辆用全景环视装置可以是具有多个摄像头，并通过组合由多个摄像头拍摄得到的多个图像来提供全景环视图像的装置。特别地，其可以是以车辆为基准而提供俯视(top view)或鸟瞰(bird eye view)的装置。以下，对本发明的多种实施例的车辆用全景环视装置及具有该装置的车辆进行阐述。 [0023] 图1是示出具有本发明的一实施例的环视摄像头的车辆的外观的示意图。 [0024] 参照附图，车辆200可具有：车轮103FR、103FL、103RL、…，其借助动力源来旋转；方向盘150，其用于调节车辆200的行驶方向；以及，多个环视摄像头195a、195b、195c、195d，其安装于车辆200上。另外，在附图中，为了说明上的便利而仅图示出左侧摄像头 195a和前方摄像头195d。 [0025] 当车辆的速度在规定速度以下或车辆倒车时，多个环视摄像头195a、195b、195c、195d将被激活，由此能够分别获取拍摄图像。可在车辆用全景环视装置(图3A或图3B的 100)中，对由多个摄像头获取的图像进行信号处理。 [0026] 图2A是概略地示出车辆上安装的环视摄像头的位置的示意图，图2B例示出基于图2A的环视摄像头拍摄得到的图像的全景环视图像。 [0027] 首先，参照图2A，多个环视摄像头195a、195b、195c、195d可分别配置于车辆的左侧、后方、右侧及前方。 [0028] 特别地，左侧摄像头195a和右侧摄像头195c可分别配置于围绕车外左侧后视镜的壳体和围绕车外右侧后视镜的壳体内。 [0030] 多个环视摄像头195a、195b、195c、195d拍摄得到的多个图像被传送至车辆200内的处理器(图3A或图3B的170)等，处理器(图3A或图3B的170)通过组合多个图像来生成全景环视图像。 [0031] 图2B例示出全景环视图像210的一个例子。全景环视图像210可具有：来自左侧摄像头195a的第一图像区域195ai；来自后方摄像头195b的第二图像区域195bi；来自右侧摄像头195c的第三图像区域195ci；来自前方摄像头195d的第四图像区域195di。 [0032] 图3A至图3B例示出本发明的一实施例的车辆用全景环视装置的内部框图的多种例子。 [0033] 图3A至图3B的车辆用全景环视装置100可通过组合从多个摄像头195a、…、195d接收的多个图像来生成全景环视图像。 [0034] 另外，车辆用全景环视装置100可基于从多个摄像头195a、…、195d接收的多个图像，对位于车辆附近的物体进行对象检测、确定及跟踪。 [0035] 首先，参照图3A，图3A的车辆用全景环视装置100可具有：通信部120、接口部(interface)130、存储器140、处理器170、显示器180、音频输出部185、供电部190及多个摄像头195a、…、195e。除此之外，还可具有音频输入部(未图示)。 [0036] 通信部120可以以无线(wireless)方式与移动终端600或服务器500进行数据交换。特别地，通信部120可以以无线方式与车辆驾驶人员的移动终端进行数据交换。无线数据通信方式可以有蓝牙(Bluetooth)、直通互联(WiFi Direct)、无线保真(WiFi)、汽车像素链(APiX)等多种数据通信方式。 [0037] 通信部120可从移动终端600或服务器500接收天气预报、道路的交通状况信息，例如，可接收传输协议专家组(Transport Protocol Expert Group，TPEG)信息。另外，车辆用全景环视装置100可将基于图像所确定的实时交通信息传送给移动终端600或服务器500。 [0038] 另外，在使用者搭乘于车辆的情况下，使用者的移动终端600和车辆用全景环视装置100可自动地或通过使用者运行应用来相互执行配对(pairing)。 [0039] 接口部130可接收车辆相关数据，或者将处理器170所处理或生成的信号传送给外部。为此，接口部130可通过有线通信或无线通信方式，与车辆内部的电子控制单元(ECU)770、音频视频导航(Audio Video Navigation，AVN)装置400、传感器部760等执行数据通信。 [0040] 接口部130可通过与AVN装置400的数据通信，接收与车辆行驶相关的地图(map)信息。 [0041] 另外，接口部130可从ECU 770或传感器部760接收传感器信息。 [0042] 其中，传感器信息可包括车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆斜率信息、车辆前进/倒车信息、电池信息、燃料信息、轮胎信息、车辆灯信息、车辆内部温度信息、车辆内部湿度信息中的至少一个。 [0043] 另外，传感器信息中的与车辆相关的车辆方向信息、车辆位置信息、车辆角度信息、车辆速度信息、车辆斜率信息等可命名为车辆行驶信息。 [0044] 存储器140可储存用于处理器170的处理或控制的程序等，用于车辆用全景环视装置100整体的动作的多种数据。 [0047] 处理器170用于控制车辆用全景环视装置100内的各单元的整体动作。 [0048] 特别地，处理器可从多个摄像头195a、…、195d获取多个图像，组合多个图像并生成全景环视图像。 [0049] 另外，处理器170可执行基于计算机视觉(computer vision)的信号处理。例如，可基于多个图像或所生成的全景环视图像，执行针对车辆周边的视差(disparity)运算，基于所运算出的视差信息而在图像内执行对象检测，并在对象检测之后继续跟踪对象的移动。 [0050] 特别地，处理器170在检测对象时，可执行车道检测(Lane Detection)、周边车辆检测(Vehicle Detection)、行人检测(Pedestrian Detection)、道路面检测等。 [0051] 此外，处理器170可执行针对检测出的周边车辆或行人的距离运算等。 [0052] 另外，处理器170可通过接口部130从ECU 770或传感器部760接收传感器信息。其中，传感器信息可包括车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆斜率信息、车辆前进/倒车信息、电池信息、燃料信息、轮胎信息、车辆灯信息、车辆内部温度信息、车辆内部湿度信息中的至少一个。 [0054] 另外，显示器180可包括车辆内部前面的群集(cluster)或平视显示器(Head Up Display，HUD)。另外，在显示器180为HUD的情况下，可包括用于向车辆200的前面玻璃投射图像的投射模块。 [0055] 音频输出部185基于处理器170所处理的音频信号，将声音输出到外部。为此，音频输出部185可具有至少一个扬声器。 [0056] 供电部190可通过处理器170的控制而供给各结构要素的动作所需的电源。特别地，供电部190可从车辆内部的电池等供给到电源。 [0057] 多个摄像头195a、…、195d是用于提供全景环视图像的摄像头，其优选为是广角的摄像头。 [0058] 另外，摄像头195e是安装于室内内部的摄像头，其可以是用于拍摄使用者，特别是拍摄驾驶人员的摄像头。处理器170可基于来自室内摄像头195e的图像确定驾驶人员位置，并根据驾驶人员位置来设定由车室外的后视镜或车内后视镜所不能确认的区域，为了拍摄不能确认的区域，能够通过使摄像头中的至少一部分摄像头倾斜(tilting)来使其以作为第一模式的盲点探测(Blind spot detection，BSD)模式运行。 [0059] 接着，参照图3B，图3B的车辆用全景环视装置100与图3A的车辆用全景环视装置100类似，其区别在于还具有输入部110及超声波传感器部198。以下，仅对输入部110及超声波传感器部198进行说明。 [0060] 输入部110可具有安装于显示器180周边的多个按键或配置于显示器180上的触摸屏。可通过多个按键或触摸屏开启车辆用全景环视装置100的电源并使其运行。除此之外，其还可执行多种输入动作。 [0061] 超声波传感器部198可具有多个超声波传感器。当在车辆内安装有多个超声波传感器时，可基于所发送的超声波和所接收的超声波之间的差分，来执行针对车辆周边的物体检测。 [0062] 另外，与图3B不同地，可由激光雷达(Lidar)(未图示)来替代超声波传感器部198，或者可一同具有超声波传感器部198和激光雷达(Lidar)。 [0063] 图4A至图4B例示出图3的处理器的内部框图的多种例子，图5是例示出图4A至图4B的处理器中的对象检测的示意图。 [0064] 首先，参照图4A，图4A是处理器170的内部框图的一个例子，车辆用全景环视装置100内的处理器170可具有：影像预处理部410、视差运算部420、对象检测部434、对象跟踪部440及应用部450。 [0065] 影像预处理部(image preprocessor)410可从多个摄像头195a、…、195d接收多个图像或所生成的全景环视图像，并对其执行预处理(preprocessing)。 [0066] 具体地，影像预处理部410可对多个图像或所生成的全景环视图像执行降噪(noise reduction)、矫正(rectification)、校准(calibration)、色彩增强(color enhancement)、色彩空间转换(color space conversion；CSC)、插值(interpolation)、摄像头增益控制(camera gain control)等。由此，可获取与多个摄像头195a、…、195d所拍摄的多个图像或所生成的全景环视图像相比更清晰的图像。 [0067] 视差运算部(disparity calculator)420接收影像预处理部410中被信号处理的多个图像或所生成的全景环视图像，对以规定时间内依次接收的多个图像或所生成的全景环视图像执行立体匹配(stereo matching)，并获取与立体匹配相对应的视差图(disparity map)。即，可获取针对车辆周边的视差信息。 [0068] 此时，立体匹配可按照图像的像素单位或规定块单位执行。另外，视差图可表示的是用数值来表现出图像，即，左、右图像的视差信息(binocular parallax information)的图(map)。 [0069] 分割部(segmentation unit)432可基于来自视差运算部420的视差信息来执行图像内的分割(segment)及聚类(clustering)。 [0070] 具体地，分割部432可基于视差信息，对于图像中的至少一个而分离出背景(background)和前景(foreground)。 [0071] 例如，可将视差图内的视差信息在规定值以下的区域运算为背景，并去除相应部分。由此，可相对地分离出前景。 [0072] 作为另一个例子，可将视差图内的视差信息为规定值以上的区域运算为前景，并提取相应部分。由此，可相对地分离出前景。 [0073] 如上所述，根据基于图像所提取的视差信息而分离出前景和背景，使在随后的对象检测时，可缩短信号处理速度、信号处理量等。 [0074] 接着，对象检测部(object detector)434可基于来自分割部432的图像分割而检测出对象。 [0075] 即，对象检测部434可基于视差信息，对于图像中的至少一个检测出对象。 [0076] 具体地，对象检测部434可对图像中的至少一个检测出对象。例如，可从通过图像分割而被分离的前景检测出对象。 [0077] 接着，对象确定部(object verification unit)436对被分离的对象进行分类(classify)并确定(verify)。 [0078] 为此，对象确定部436可使用利用神经网络(neural network)的识别法、支持向量机(Support Vector Machine，SVM)方法、由利用哈尔(Haar-like)特征的自适应增强(AdaBoost)进行识别的方法、梯度向量直方图(Histograms of Oriented Gradients，HOG)方法等。 [0079] 另外，对象确定部436可通过比较存储器140中储存的对象和所检测出的对象来确定对象。 [0080] 例如，对象确定部436可确定位于车辆周边的周边车辆、车道、道路面、标识牌、危险地区、隧道等。 [0081] 对象跟踪部(object tracking unit)440用于执行对被确定的对象的跟踪。例如，可对依次获取的图像内的对象进行确定，对被确定的对象的移动或移动向量进行运算，并基于运算出的移动或移动向量而跟踪相应对象的移动等。由此，可跟踪位于车辆周边的周边车辆、车道、道路面、标识牌、危险地区等。 [0082] 图4B是处理器的内部框图的另一个例子。 [0083] 参照附图，图4B的处理器170的内部结构单元与图4A的处理器170相同，其区别在于信号处理顺序不同。以下仅对其区别进行阐述。 [0084] 对象检测部434可接收多个图像或所生成的全景环视图像，并检测出多个图像或所生成的全景环视图像内的对象。与图4A不同的是，不是基于视差信息来对被分割的图像检测对象，而是可从多个图像或所生成的全景环视图像中直接检测出对象。 [0085] 接着，对象确定部(object verification unit)436基于来自分割部432的图像分割及对象检测部434所检测出的对象，对被检测及分离的对象进行分类(classify)并确定(verify)。 [0086] 为此，对象确定部436可使用利用神经网络(neural network)的识别法、支持向量机(Support Vector Machine，SVM)方法、由利用哈尔(Haar-like)特征的自适应增强(AdaBoost)进行识别的方法、梯度向量直方图(Histograms of Oriented Gradients，HOG)方法等。 [0088] 参照图5，在第一及第二帧区间，多个摄像头195a、…、195d依次获取各个图像FR1a、FR1b。 [0089] 处理器170内的视差运算部420接收影像预处理部410中被信号处理的图像FR1a、FR1b，对所接收的图像FR1a、FR1b执行立体匹配，从而获取视差图(disparity map)520。 [0090] 视差图(disparity map)520是对图像FR1a、FR1b之间的视差进行了等级化(level)，其可被运算为是，视差等级越大，与车辆的距离越近，视差等级越小，与车辆的距离越远。 [0091] 另外，当显示这样的视差图时，其可被显示为，视差等级越大，具有越高的亮度，视差等级越小，具有越低的亮度。 [0092] 在附图中例示出：在视差图520内，第一车道至第四车道528a、528b、528c、528d等各自具有相应的视差等级，施工地区522、第一前方车辆524、第二前方车辆526各自具有相应的视差等级。 [0093] 分割部432、对象检测部434、对象确定部436基于视差图520，对图像FR1a、FR1b中的至少一个执行分割、对象检测及对象确定。 [0094] 在附图中例示出使用视差图520对第二图像FR1b执行对象检测及确定的情况。 [0095] 即，在图像530内，可对第一车道至第四车道528a、528b、528c、528d、施工地区522、第一前方车辆524、第二前方车辆526执行对象检测及确定。 [0096] 另外，可通过持续地获取图像，使对象跟踪部440对被确定的对象执行跟踪。 [0097] 图6是本发明的一实施例的车辆内部的框图的一个例子。 [0098] 参照附图，车辆200可具有用于车辆控制的电子控制装置700。电子控制装置700可与AVN装置400进行数据交换。 [0099] 电子控制装置700可具有输入部710、通信部720、存储器740、灯驱动部751、转向驱动部752、刹车驱动部753、动力源驱动部754、天窗驱动部755、悬架驱动部756、空调驱动部757、车窗驱动部758、安全气囊驱动部759、传感器部760、ECU 770、显示器780、音频输出部785、供电部790及多个摄像头795。 [0100] 另外，ECU 770可以是包括处理器的概念。或者，除了ECU 770以外，还可具有用于对来自摄像头的图像进行信号处理的另外的处理器。 [0101] 输入部710可具有配置于车辆200内部的多个按键或触摸屏。通过多个按键或触摸屏可执行多种输入动作。 [0102] 通信部720可以以无线(wireless)方式与移动终端600或服务器500进行数据交换。特别地，通信部720可以无线方式与车辆驾驶人员的移动终端进行数据交换。无线数据通信方式可以有蓝牙(Bluetooth)、直通互联(WiFi Direct)、无线保真(WiFi)、汽车像素链(APiX)等多种数据通信方式。 [0103] 通信部720可从移动终端600或服务器500接收天气预报、道路的交通状况信息，例如，可接收传输协议专家组(Transport Protocol Expert Group，TPEG)信息。 [0104] 另外，在使用者搭乘于车辆的情况下，使用者的移动终端600和电子控制装置700可自动地或通过使用者运行应用来相互执行配对。 [0105] 存储器740可储存用于ECU 770的处理或控制的程序等，用于电子控制装置700整体的动作的多种数据。 [0106] 灯驱动部751可控制车辆内部、外部配置的灯的开启/关闭。并且，可控制灯的光亮度、方向等。例如，可执行对方向指示灯、刹车灯等的控制。 [0107] 转向驱动部752可执行对车辆200内的转向装置(steering apparatus)(未图示)的电子控制。由此，可变更车辆的行进方向。 [0108] 刹车驱动部753可执行对车辆200内的制动装置(brake apparatus)(未图示)的电子控制。例如，通过控制车轮上配置的制动器的动作，可减小车辆200的速度。作为另一个例子，使分别配置于左轮和右轮上的制动器的动作相互不同，从而可将车辆200的行进方向调整为向左侧或向右侧。 [0109] 动力源驱动部754可执行对车辆200内的动力源的电子控制。 [0111] 作为另一个例子，当基于电力的电机(未图示)作为动力源时，动力源驱动部754可对电机执行控制。由此，可控制电机的旋转速度、扭矩等。 [0112] 天窗驱动部755可执行对车辆200内的天窗装置(sunroof apparatus)(未图示)的电子控制。例如，可控制开放或封闭天窗。 [0113] 悬架驱动部756可执行车辆200内的悬架装置(suspension apparatus)(未图示)的电子控制。例如，在道路面颠簸的情况下，可通过控制悬架装置以减小车辆200的震动。 [0114] 空调驱动部757可执行对车辆200内的空调装置(air conditioner)(未图示)的电子控制。例如，当车辆内部的温度高时，可通过驱动空调装置以向车辆内部供给冷气。 [0115] 车窗驱动部758可执行对车辆200内的车窗装置(window apparatus)(未图示)的电子控制。例如，可控制开放或封闭车辆的侧面的左、右车窗。 [0116] 安全气囊驱动部759可执行对车辆200内的安全气囊装置(airbag apparatus)(未图示)的电子控制。例如，当发生危险时，可控制安全气囊被弹出。 [0117] 传感器部760用于检测与车辆100的行驶等相关的信号。为此，传感器部760可具有航向传感器(heading sensor)、偏航角传感器(yaw sensor)、陀螺仪传感器(gyro sensor)、定位模块(position module)、车辆前进/倒车传感器、车轮传感器(wheel sensor)、车速传感器、车体倾斜检测传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器等。 [0118] 由此，传感器部760可获取关于车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆斜率信息、车辆前进/倒车信息、电池信息、燃料信息、轮胎信息、车辆灯信息、车辆内部温度信息、车辆内部湿度信息等的检测信号。 [0119] 另外，传感器部760还可具有油门传感器、压力传感器、引擎转速传感器(engine speed sensor)、空气流量传感器(AFS)、吸气温度传感器(ATS)、水温传感器(WTS)、节气门位置传感器(Throttle Position Sensor，TPS)、TDC传感器、曲柄角传感器(CAS)等。 [0120] ECU 770可控制电子控制装置700内的各单元的整体动作。 [0121] 通过输入部710的输入，可执行特定动作，或者接收传感器部760中检测出的信号并传送给车辆用全景环视装置100，可从AVN装置400接收地图信息，并可控制各种驱动部751、752、753、754、756的动作。 [0122] 并且，ECU 770可从通信部720接收天气预报、道路的交通状况信息，例如，可接收传输协议专家组(Transport Protocol Expert Group，TPEG)信息。 [0123] 另外，ECU 770可通过组合从多个摄像头795接收的多个图像来生成全景环视图像。特别地，当车辆的速度在规定速度以下或车辆倒车时，可生成全景环视图像。 [0124] 显示器780可显示所生成的全景环视图像。特别地，除了全景环视图像以外，还可提供多种用户界面。 [0125] 为了显示这种全景环视图像等，显示器780可包括车辆内部前面的群集(cluster)或平视显示器(Head Up Display，HUD)。另外，在显示器780为HUD的情况下，可包括用于向车辆200的前面玻璃投射图像的投射模块。另外，显示器780可包括可进行输入的触摸屏。 [0126] 音频输出部785用于将来自ECU 770的电信号变换为音频信号并输出。为此，其可具有扬声器等。音频输出部785可输出与输入部710，即按键的动作相对应的声音。 [0127] 供电部790可通过ECU 770的控制而供给各结构要素的动作所需的电源。特别地，供电部790可从车辆内部的电池(未图示)等供给到电源。 [0128] 多个摄像头795是为了提供全景环视图像而被使用，为此，如图2A所示，可具有四个摄像头。例如，多个环视摄像头195a、195b、195c、195d可分别配置于车辆的左侧、后方、右侧及前方。多个摄像头795所拍摄的多个图像可传送给ECU 770或另外的处理器(未图示)。 [0129] 另外，在车辆行驶过程中，驾驶人员通过后视镜或车内后视镜确定后方车辆或侧后方车辆等。但是，存在有驾驶人员的肉眼所不能用肉眼确认的区域。这样的区域称为盲点(Blind spot)区域，盲点区域越大，驾驶人员的行驶中的危险度会增大。 [0130] 为了检测这样的盲点，本发明的实施例中提示出利用环视摄像头195a、195b、195c、195d的方法，其用于提供在车辆缓慢行驶时或车辆倒车时被激活的全景环视图像。 [0131] 特别地，在摄像头195a、195b、195c、195d中，控制左侧摄像头195a和右侧摄像头195c旋转(rotating)或倾斜(tilting)。除此之外，还可追加地使后面摄像头195b旋转或倾斜。对于这些内容，将参照图7以下进行详细的阐述。 [0132] 图7是示出本发明的一实施例的车辆用全景环视装置的动作方法的流程图，图8A至图19是在图7的动作方法的说明中作为参照的示意图。 [0133] 首先，参照图7，车辆用全景环视装置100判断车辆是否以第一速度以上前进行驶(步骤S705)。在“是”的情况下，使摄像头中的至少一部分摄像头以第一模式运行(步骤S710)。 [0134] 车辆用全景环视装置100可通过接口部130接收传感器部760所检测的速度信息、车辆行进方向信息等。 [0135] 此外，车辆用全景环视装置100内的处理器170可基于所接收的速度信息、车辆行进方向信息，判断出车辆是否以第一速度以上前进行驶中。例如，第一速度可以是约50Km。 [0136] 当车辆以第一速度以上前进行驶时，处理器170可通过控制使摄像头中的至少一部分摄像头以作为第一模式的盲点探测(Blind spot detection，BSD)模式运行，从而拍摄车室外的后视镜或车内后视镜不能确认的区域。 [0137] 例如，在第一模式的情况下，处理器170可通过控制使得用于拍摄地面方向的摄像头旋转或倾斜，从而使其拍摄侧后方。 [0138] 其中，以第一模式运行的摄像头可包括有围绕车外后视镜的壳体或后视镜和车门之间的固定部上安装的左侧摄像头195a和右侧摄像头195c。 [0139] 追加地，以第一模式运行的摄像头还可包括有后方摄像头195b。 [0140] 此外，处理器170可通过控制将以第一模式运行的摄像头拍摄得到的图像显示于显示器180。 [0141] 此时，在第一模式下，显示器180上显示的图像可以是包括有左侧摄像头195a和右侧摄像头195c拍摄得到的盲点区域的图像。 [0142] 另外，在第一模式下，显示器180上显示的图像可以是将左侧摄像头195a和右侧摄像头195c拍摄得到的图像和朝向地面方向的前方摄像头195d和后方摄像头195b拍摄得到的图像进行合成得到的全景环视图像。 [0143] 由此，驾驶人员可以无盲点地安全地进行驾驶。 [0144] 另外，处理器170还可基于来自室内摄像头195e的图像来确定驾驶人员位置，并根据驾驶人员位置来设定车室外的后视镜或车内后视镜不能确认的区域，将摄像头中的至少一部分摄像头倾斜，使其以作为第一模式的盲点探测(Blind spot detection，BSD)模式运行并拍摄不能确定的区域。 [0145] 即，处理器170可考虑使用者的眼睛高度和车室外的后视镜的位置、车内后视镜的位置等，当以第一模式运行时，改变左侧摄像头195a和右侧摄像头195c的旋转或倾斜角度。由此，能够提高驾驶人员的使用方便性。 [0146] 另外，在步骤S705步骤中车辆不以第一速度以上前进行驶时，车辆用全景环视装置100判断车辆是否以第二速度以下前进行驶中或倒车中(步骤S715)。此外，如果是，使摄像头中的至少一部分摄像头以第二模式运行(步骤S720)。 [0147] 此外，车辆用全景环视装置100内的处理器170可基于通过接口部130接收的速度信息、车辆行进方向信息，判断车辆是否以第二速度以下前进行驶或倒车。例如，第二速度可以为约30Km。 [0148] 当车辆以第二速度以下前进行驶中或倒车中时，处理器170可判断出驾驶人员要进行停车(驻车)等，并控制多个摄像头195a、…、195d以作为第二模式的环视监控(Around view monitor，AVM)模式运行，从而辅助驾驶人员进行驻车。 [0149] 其中，作为第二模式的AVM模式相比作为第一模式的BSD模式，其可以是将多个摄像头195a、…、195d设定为朝向地面方向，以能够更多地拍摄地面区域的模式。 [0150] 当以第二模式运行时，处理器170可通过控制合成多个摄像头195a、…、195d拍摄得到的图像来生成全景环视图像，并将所生成的全景环视图像显示于显示器180。 [0151] 由此，驾驶人员可通过所显示的全景环视图像而安全地执行低速驾驶或驻车。 [0152] 图8A至图8C是例示出安装于左后视镜113附近的左侧摄像头195a的多种倾斜情形的示意图。 [0153] 如图所示，左侧摄像头195a可配置于围绕左后视镜113的壳体114L的下部。或者，与此不同地，其也可安装于左后视镜113和左侧车门(未图示)之间的固定部112L。 [0154] 首先，图8A例示出左侧摄像头195a以与车辆以第一速度以上前进行驶中的情况相对应的第一模式运行。为此，左侧摄像头195a可进行旋转或倾斜，以能够拍摄侧后方区域LR的图像。 [0155] 接着，图8C例示出左侧摄像头195a以与车辆以第二速度以下前进行驶中或倒车中的情况相对应的第二模式运行。为此，可通过使左侧摄像头195a旋转或倾斜，来拍摄地面区域LB的图像。 [0156] 接着，图8C例示出当车辆以第三速度以上前进行驶中时，左侧摄像头195a以第三模式运行。为此，可通过使左侧摄像头195a旋转或倾斜，来拍摄车辆前方区域LF的图像。 [0157] 其中，第三速度可以是约80Km。在高度行驶中的情况下，为了注视前方情形，也可使左侧摄像头195a拍摄前方。 [0158] 本说明书中阐述的摄像头的倾斜，其可以是涵盖了包括镜头和图像传感器的摄像头的倾斜或者除了镜头以外的图像传感器的倾斜的概念。以下的图9至图10例示出除了镜头以外的图像传感器的倾斜。 [0159] 图9至图10是例示出多个摄像头195a、…、195d中的至少一个摄像头内部的图像传感器820倾斜的示意图。 [0160] 图9至图10的摄像头分别具有用于第一模式的第一镜头197和用于第二模式的第二镜头198，并具有包括图像传感器820的模块800、810。 [0161] 首先，图9A例示出包括图像传感器820的模块800朝向用于第一模式的第一镜头197方向倾斜。附图中例示出模块800朝右侧方向倾斜。此时的第一镜头197是用于BSD的镜头，其可被命名为BSD镜头。 [0162] 接着，图9B例示出包括图像传感器820的模块800朝向用于第二模式的第二镜头198方向倾斜。附图中例示出模块800朝下侧方向倾斜。此时的第二镜头198是用于AVM的镜头，其可被命名为AVM镜头。 [0163] 另外，由于第二镜头198是用于AVM的镜头，其广角优选地比第一镜头197要大。 [0164] 另外，图9中例示出图像传感器820在模块800内以离镜头方向最近的方向进行配置，但是其也可相反地以离镜头方向最远的方向进行配置。对此，将参照图10进行阐述。 [0165] 图10A例示出与图9不同结构的模块形态。附图中例示出包括图像传感器820的凸出凹凸形状的模块810。此时，模块810将以PT1为中心进行旋转。 [0166] 图10B例示出摄像头壳体1010内配置的第一镜头197和第二镜头198。其例示出在弧形状的摄像头壳体1010内，第一镜头197朝右侧方向进行配置，第二镜头198朝下侧方向进行配置。 [0167] 图10C例示出包括图像传感器820的模块810朝向用于第二模式的第二镜头198方向倾斜。附图中例示出模块810朝下侧方向倾斜。 [0168] 图10D例示出包括图像传感器820的模块810朝向用于第一模式的第一镜头197方向倾斜。附图中例示出模块810朝右侧方向倾斜。 [0169] 图10E是示出包括图像传感器820的模块810在图10C或图10D的之间倾斜的示意图。 [0170] 另外，处理器170可根据车辆的速度，当以作为第一模式的BSD模式运行时，变更从由摄像头获取的图像中提取的区域，并基于提取出的图像区域而执行对象检测。对此，将参照以下的图11以下进行阐述。 [0171] 图11是例示出通过左侧摄像头195a拍摄的与大致180度以上的广角相对应的拍摄区域1100和其中在图像处理中使用的区域1110、1115的示意图。 [0172] 首先，图11A例示出在与车辆为第二速度以下或倒车中的情况相对应的第二模式下，在处理器170中对拍摄区域1100中地面方向区域1110进行处理。由此，可生成用于AVM的全景环视图像。处理器170在生成全景环视图像后，可执行图像内的对象检测等。 [0173] 接着，图11B例示出在与车辆为第一速度以上的情况相对应的第一模式下，在处理器170中对拍摄区域1100中车辆侧后方区域1115进行处理。由此，可实现对盲点区域的监控。处理器170可生成与盲点区域相关的图像，并可执行图像内的对象检测等。 [0174] 图12是例示出在第一模式和第二模式下各摄像头拍摄得到的区域的示意图。 [0175] 首先，图12A例示出在第一模式下左侧摄像头195a拍摄左侧侧后方区域1210、后方摄像头195b拍摄后方区域1212、右侧摄像头195c拍摄右侧侧后方区域1214、前方摄像头195d拍摄前方区域1216的情况。 [0176] 接着，图12b例示出在第二模式下左侧摄像头195a拍摄左侧地面区域1211、后方摄像头195b拍摄后方区域1212、右侧摄像头195c拍摄右侧地面区域1213、前方摄像头195d拍摄前方区域1216的情况。 [0177] 在第二模式的情况下，处理器170可通过控制合成各个所拍摄的区域1211、1212、1213、1216来生成全景环视图像，并将所生成的全景环视图像显示于显示器180。 [0178] 另外，处理器170可基于来自后方摄像头195b的图像，当检测出后方车辆变更车道时，使左侧摄像头195a和右侧摄像头195c倾斜来以作为第一模式的BSD模式运行，在来自左侧摄像头195a和右侧摄像头195c的图像内存在与后方车辆相关的对象时，控制显示器180及音频输出部185中的至少一个输出提示消息。对此，将参照图13进行阐述。 [0179] 图13例示出后方测量朝向右侧进行车道变更。 [0180] 首先，图13A例示出左侧摄像头195a和右侧摄像头195c分别拍摄左侧前方区域1310和右侧前方区域1314。并且，例示出前方摄像头195d拍摄前方区域1216，后方摄像头 195b拍摄后方区域1212。 [0181] 当车辆200在第三速度以上时，如上述图8C所示，处理器170可控制左侧摄像头195a和右侧摄像头195c以第三模式分别拍摄左侧前方区域1310和右侧前方区域1314。 [0182] 另外，处理器170可通过与后方摄像头195b所拍摄的后方区域1212相关的图像而执行对象检测及跟踪，由此，能够确定与后方车辆1800相关的行进方向。 [0183] 特别地，如图13B所示，当从第一车道La1朝右侧方向变更车道至第二车道La2时，处理器170可识别出后方车辆1800的车道变更。 [0184] 在此情况下，为了精密监控车道变更的后方车辆1800，处理器170可通过控制改变左侧摄像头195a和右侧摄像头195c的拍摄区域。即，可通过控制使左侧摄像头195a和右侧摄像头195c旋转或倾斜。 [0185] 由此，如图13B所示，左侧摄像头195a和右侧摄像头195c可分别拍摄左侧侧后方区域1210和右侧侧后方区域1214。另外，前方摄像头195d可拍摄前方区域1216，后方摄像头195b按原来地拍摄后方区域1212。或者，也可使前方摄像头195d拍摄前方区域1216，后方摄像头195b则倾斜，以拍摄右侧后方区域而不是拍摄后方区域1212。由此，能够增大使用者的使用方便性。 [0186] 另外，当来自后方摄像头195b的图像内的后方车辆对象的区域比率为规定比率以下，或者后方车辆对象的大小在规定值以下时，处理器170可将其判断为是后方车辆在变更车道。对此，将参照图14进行阐述。 [0187] 图14例示出图13的后方摄像头195b拍摄得到的图像。 [0188] 在图13A的情况下，由于后方车辆1800与车辆200位于相同的车道上，如图14A所示，将在图像1405的中央区域包括有后方车辆对象1805。 [0189] 另外，在图13B的情况下，由于后方车辆1800位于比车辆200靠右侧的车道上，如图14B所示，将在图像1410的右侧区域包括有后方测量对象1810。附图中例示出与图像1410内的车道Ln1重叠的后方车辆对象1805。 [0190] 如图18所示，处理器170可基于后方摄像头195b拍摄得到的图像，来判断后方车辆变更车道。特别地，当图像1410内的后方车辆对象的区域比率为规定比率以下，或者后方车辆对象1810的大小在规定值以下的情况下，处理器170可判断为后方车辆在变更车道。 [0191] 另外，当以作为第二模式的AVM模式运行时，处理器170可通过控制合成来自前方摄像头、后方摄像头195b、左侧摄像头195a、右侧摄像头195c的各个图像来生成全景环视图像，并将所生成的全景环视图像显示于显示器180。对此，将参照图15进行阐述。 [0192] 图15例示出全景环视图像700的一个例子。 [0193] 在第二模式的情况下，处理器170可通过控制接收多个环视摄像头195a、195b、195c、195d拍摄得到的多个图像，并且通过组合多个图像来生成全景环视图像，并将其显示于显示器180。 [0194] 附图中例示出全景环视图像700具有来自左侧摄像头195a的第一图像区域195ai，来自后方摄像头195b的第二图像区域195bi，来自右侧摄像头195c的第三图像区域 195ci，来自前方摄像头195d的第四图像区域195di。 [0195] 此时，全景环视图像700还可一同包括有用于表示车辆的对象。 [0196] 另外，处理器170检测全景环视图像内的对象，当与检测出的对象的距离在规定值以下时，可生成提示消息或生成用于车辆制动的制动信号或用于使车辆转向的转向信号。对此，将参照图16进行阐述。 [0197] 图16示出全景环视图像800a的另一个例子。 [0198] 在第二模式的情况下，处理器170可如上所述生成全景环视图像。此外，处理器170可执行全景环视图像内的对象检测、确定、跟踪，针对对象的距离检测等。 [0199] 如图所示，当在车辆的左侧后方存在有立柱等障碍物时，处理器170可检测出全景环视图像800a内的障碍物对象1620，当与检测出的对象之间的距离在规定值以下时，可生成提示消息或生成用于车辆制动的制动信号或用于使车辆转向的转向信号。 [0200] 附图中例示出将影像提示消息911显示于显示器180，或者通过音频输出部185输出音频提示消息912。 [0201] 另外，处理器170可基于超声波传感器的传感器信号，当周边物体靠近车辆至规定距离以内时，可使摄像头中的至少一部分摄像头以作为第一模式的BSD模式运行。对此，将参照图17进行阐述。 [0202] 图17例示出利用车辆内的超声波传感器，使摄像头中的至少一部分摄像头以第一模式运行。 [0203] 图17A例示出车辆200具有用于检测全景环视图像可显示区域900内的规定物体靠近的多个超声波传感器198a、…、198j。 [0204] 第一至第三超声波传感器198a、198b、198c可安装于车辆前方区域，第四至第五超声波传感器198d、198e安装于车辆前方两侧，第六至第七超声波传感器198f、198g安装于车辆后方两侧，第八至第十超声波传感器198h、198i、198j安装于车辆后方区域。 [0205] 另外，当通过多个超声波传感器198a、…、198j判断出规定距离以内存在物体时，为了检测出盲点，处理器170控制多个摄像头195a、…195d中的至少一部分以第一模式运行。 [0206] 图17B例示出基于超声波传感器的动作而执行第一模式。附图中例示出左侧摄像头195a拍摄左侧侧后方区域1210、后方摄像头195b拍摄后方区域1212、右侧摄像头195c拍摄右侧侧后方区域1214、前方摄像头195d拍摄前方区域1216。由此，除了车辆速度以外，还可基于超声波传感器的运行来以第一模式运行，从而能够增大使用者的使用方便性。 [0207] 另外，在车辆以第一速度以上的速度前进行驶中的状态下，当车辆的方向改变或接收到侧方进入信号时，处理器170可使与方向或侧方相对应的摄像头以作为第一模式的BSD模式运行。 [0208] 或者，处理器170也可在使摄像头以第一模式运行的过程中，当车辆的方向改变或接收到侧方进入信号时，使摄像头朝相应方向旋转或倾斜。 [0209] 对此，将参照图18进行阐述。 [0210] 图18例示出摄像头以第一模式运行的过程中，当车辆200朝右侧方向移动时，改变摄像头的拍摄区域。 [0211] 图18A例示出在第一模式下，左侧摄像头195a拍摄左侧侧后方区域1210、后方摄像头195b拍摄后方区域1212、右侧摄像头195c拍摄右侧侧后方区域1214、前方摄像头195d拍摄前方区域1216。 [0212] 当车辆200朝右侧方向移动时，处理器170可与相应方向移动对应地控制左侧摄像头195a拍摄左侧侧方区域1810，右侧摄像头195c拍摄右侧侧方区域1814。除此之外，前方摄像头195d和后方摄像头195b可以无倾斜地按原来地拍摄前方区域1816和后方区域1812。由此，驾驶人员可获取与移动方向相关的信息。 [0213] 另外，存储器140可储存当摄像头中一部分以作为第一模式的BSD模式运行时拍摄得到的图像，并储存当摄像头以作为第二模式的AVM模式运行时拍摄得到的图像。 [0214] 另外，处理器170可进行如下控制：在车辆的行驶方向改变时，或者接收到车辆的行驶方向操作信号时，或者在该车辆和与其靠近的对象物(包含车辆)之间的距离在规定距离以下时，或者在该车辆和与其靠近的车辆的速度差在规定速度以上时，将作为第一模式的BSD模式或作为第二模式的AVM模式下拍摄得到的图像储存于存储器。对此，将参照图19进行阐述。 [0215] 图19A例示出因前方车辆1905的车道变更等，而与车辆200的间隔为规定距离以内的情况。 [0216] 在此情况下，处理器170可基于前方摄像头195d所拍摄的图像而执行针对前方车辆的对象检测、距离检测等。此外，当所检测出的距离为规定值以上时，可控制改变针对摄像头195a、…195d中一部分的拍摄区域。 [0217] 例如，在摄像头195a、…195d如图12A所示的以第一模式运行的过程中，当如图19A所示的因前方车辆1905的车道变更等，而与车辆200的间隔为规定距离以内时，处理器 170可控制左侧摄像头195a和右侧摄像头195c倾斜，以使其拍摄左侧前方区域1910、右侧前方区域1914。 [0218] 此外，当因前方车辆1905的车道变更等，而与车辆200的间隔为规定距离以内时，处理器170可控制将所拍摄的影像储存于存储器140。由此，驾驶人员能够简便地确保事故时或事故发生当前时的影像。 [0219] 另外，图19B例示出因后方车辆1907的车道变更等，而与车辆200的间隔为规定距离以内的情况。 [0220] 如图19B所示，当因后方车辆1907的车道变更等，而与车辆200的间隔在规定距离以内时，处理器170可通过控制使右侧摄像头195c倾斜，以使其拍摄右侧后方区域1913。 [0221] 此外，当因后方车辆1907的车道变更等，而与车辆200的间隔为规定距离以内时，处理器170可控制将所拍摄的影像储存于存储器140。由此，驾驶人员能够简便地确保事故时或事故发生当前时的影像。 |
||||||
QQ群二维码
意见反馈
意见反馈