车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆 |
|||||||
| 申请号 | CN201510284787.3 | 申请日 | 2015-05-28 | 公开(公告)号 | CN105270287B | 公开(公告)日 | 2017-11-17 |
| 申请人 | LG电子株式会社; | 发明人 | 吴尚杰; 金益圭; | ||||
| 摘要 | 本 发明 涉及车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆。根据本发明的 实施例 的车辆驾驶辅助装置包括：立体摄像头；以及处理器，在校准模式下，处理器基于由立体摄像头取得的立体图像中的包括车辆结构物对象或车辆外部结构物对象的第一区域来执行校准，而在标准模式下，处理器基于由立体摄像头取得的立体图像中的未包括车辆结构物对象或车辆外部结构物对象的第二区域来对车辆前方的对象执行距离检测。 | ||||||
| 权利要求 | 1.一种车辆驾驶辅助装置，其特征在于，包括： |
||||||
| 说明书全文 | 车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆技术领域[0001] 本发明涉及车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆，更详细地涉及基于由立体摄像头所拍摄的图像，能够执行正确的距离检测的车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆。 背景技术[0002] 车辆为搭乘的使用人员向所需的方向进行移动的装置。代表性地，可例举汽车。 发明内容[0004] 本发明的目的在于，提供基于由立体摄像头所拍摄的图像，能够执行正确的距离检测的车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆。 [0005] 为了实现上述目的的本发明的实施例的车辆驾驶辅助装置包括：立体摄像头；以及处理器，在校准模式下，处理器基于由立体摄像头取得的立体图像中的包括车辆结构物对象或车辆外部结构物对象的第一区域来执行校准，而在标准模式下，处理器基于由立体摄像头取得的立体图像中的未包括车辆结构物对象或车辆外部结构物对象的第二区域来对车辆前方的对象执行距离检测。 [0006] 另一方面，为了实现上述目的的本发明的实施例的车辆包括：转向驱动部，用于驱动转向装置；制动器驱动部，用于驱动制动装置；动力源驱动部，用于驱动动力源；悬架驱动部，用于驱动悬架装置；立体摄像头；处理器，在校准模式下，处理器基于由立体摄像头取得的立体图像中的包括车辆结构物对象或车辆外部结构物对象的第一区域来执行校准，而在标准模式下，处理器基于由立体摄像头取得的立体图像中的未包括车辆结构物对象或车辆外部结构物对象的第二区域来对车辆前方的对象执行距离检测；以及控制部，基于检测出的车辆前方的对象的距离来生成用于控制车辆的转向驱动部、制动器驱动部、动力源驱动部、悬架驱动部中的至少一种的控制信号。 [0007] 根据本发明的一实施例的车辆驾驶辅助装置及具有该装置的车辆，在校准模式下，基于由立体摄像头取得的立体图像中的包括车辆结构物对象或车辆外部结构物对象的第一区域来执行校准，而在标准模式下，基于由立体摄像头取得的立体图像中的第二区域来对车辆前方的对象执行距离检测，由此，可基于由立体摄像头所拍摄的图像，来执行正确的距离检测。 [0008] 尤其，在因受到外部冲击而导致立体摄像头的配置错位的情况下，通过这种校准模式，可对由立体摄像头取得的图像执行校准，进而，基于经校准的立体图像，可正确执行距离检测，提高车辆驾驶辅助装置的正确性。 [0009] 并且，基于这种距离检测，生成用于控制转向驱动部、制动器驱动部、动力源驱动部、悬架驱动部中的至少一种的控制信号，进而可执行对车辆的控制。 [0010] 另一方面，在车辆起动时或者规定按钮运行时或者对车辆的外部冲击达到规定值以上时或者车辆在行驶过程中暂停时等情况下执行这种校准模式，因此，可进一步确保使用者方便使用。 [0012] 图1为示出本发明一实施例的设有立体摄像头的车辆外观的图。 [0013] 图2为示出附着于图1的车辆的立体摄像头的外观的图。 [0014] 图3a至图3b例示本发明一实施例的车辆驾驶辅助装置的内部框图的多种例。 [0015] 图4a至图4b例示图3a至图3b的处理器的内部框图的多种例。 [0016] 图5a至图5b为图4a至图4b的处理器的工作说明所参照的图。 [0017] 图6a至图6b为图3a至图3b的车辆驾驶辅助装置的工作说明所参照的图。 [0018] 图7为图1的车辆的电子控制装置的内部框图的一例。 [0019] 图8为示出本发明一实施例的车辆驾驶辅助装置的工作方法的顺序图。 [0020] 图9至图12c为为了说明图8的工作方法的说明而参照的图。 [0021] 图13a至图13b为用于说明车辆打滑时的车辆姿势控制的参照图。 [0022] 图14至图15b为用于说明图13a或图13b的车辆姿势控制的参照图。 [0023] 图16a至图16b为示出图2的立体摄像头的内部框图。 具体实施方式[0024] 以下，参照附图对本发明进行详细说明。 [0026] 在本说明书中记述的车辆可为包括汽车、摩托车的概念。以下，以汽车作为主要的车辆进行记述。 [0028] 另一方面，在本说明中记述的车辆驾驶辅助装置可以被称为先进驾驶辅助系统(ADAS，Advanced Driver Assistance Systems)或先进驾驶辅助装置 (ADAA，Advanced Driver Assistance Apparatus)。以下，对本发明的多种实施例的车辆的车辆驾驶辅助装置及具有其的车辆进行记述。 [0029] 图1为示出本发明一实施例的设有立体摄像头的车辆外观的图。 [0030] 参照附图，车辆200可包括：轮胎103FR、103FL、103RL…，借助动力源来进行旋转；转向盘150，用于调整车辆200的前进方向；以及立体摄像头195，设置于车辆200的内部。 [0031] 立体摄像头195可具有多个摄像头，而通过多个摄像头来取得的立体图像可在车辆驾驶辅助装置100(图3a-图3b)内得到信号处理。 [0032] 另一方面，附图例示出立体摄像头195具有两个摄像头。 [0033] 图2为示出附着于图1的车辆的立体摄像头的外观的图。 [0034] 参照附图，立体摄像头模块195可包括：第一摄像头195a，设有第一镜头193a；以及第二摄像头195b，设有第二镜头193b。 [0035] 另一方面，立体摄像头模块195可包括分别用于遮蔽向第一镜头193a 和第二镜头193b入射的光的第一光遮蔽部(light shield)192a、第二光遮蔽部192b。 [0036] 图中的立体摄像头模块195可以为能够在顶部或前表面玻璃进行装拆的结构。 [0037] 具有这种立体摄像头模块195的车辆驾驶辅助装置(图3a-图3b中的100)可由立体摄像头模块195取得车辆前方的立体图像，基于立体图像来执行视差 (disparity)检测，并基于视差信息来对至少一个立体图像执行对象检测，在完成对象检测之后，继续跟踪对象的移动。 [0038] 图3a至图3b例示本发明一实施例的车辆驾驶辅助装置的内部框图的多种例。 [0039] 图3a至图3b的车辆驾驶辅助装置100能够基于计算机视觉(computer vision)来对从立体摄像头195接收的立体图像进行信号处理，从而生成与车辆相关的信息。其中，与车辆相关的信息可包括用于直接控制车辆的车辆控制信息或用于引导车辆驾驶人员进行驾驶的车辆驾驶辅助信息。 [0041] 通信部120能够以无线(wireless)方式与移动终端600或服务器500进行数据交换。尤其，通信部120能够以无线方式与车辆驾驶人员的移动终端进行数据交换。作为无线数据通信方式，可进行蓝牙(Bluetoote)、WiFi Direct、 WiFi、APIX等多种数据通信方式。 [0042] 通信部120可从移动终端600或服务器500接收天气信息、道路交通情况信息，例如传输协议专家组(TPEG，Transport Protocol Expert Group)信息。另一方面，可向移动终端600或服务器500传输基于立体图像来从车辆驾驶辅助装置100掌握的实时交通信息。 [0043] 另一方面，在使用人员搭乘车辆的情况下，使用人员的移动终端600和车辆驾驶辅助装置100能够自动或借助使用人员的应用执行来执行相互配对 (pairing)。 [0044] 接口部130可接收与车辆相关的数据或向外部传输在处理器170中处理或生成的信号。为此，接口部130可借助有线通信或无线通信的方式来与车辆的电子控制单元(ECU)770、音频视频导航(AVN，Audio Video Navigation) 装置400、传感部760等执行数据通信。 [0045] 接口部130可借助与音频视频导航装置400之间的数据通信来接收与车辆的行驶相关的图像(map)信息。 [0046] 另一方面，接口部130可从电子控制单元770或传感部760接收传感器信息。 [0047] 在此，传感器信息可包括车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息中的至少一个。 [0048] 这种传感器信息可从航向传感器(heading sensor)、偏航传感器(yaw sensor)、陀螺传感器(gyro sensor)、定位模块(position module)、车辆前进/后退传感器、车轮传感器(wheel sensor)、车辆速度传感器、自身倾斜检测传感器、电池传感器、燃料传感器、轮胎传感器、基于转向盘旋转的转向盘传感器、车辆内部温度传感器及车辆内部湿度传感器等取得。另一方面，定位模块可包括用于接收GPS信息的GPS模块。 [0049] 另一方面，在传感器信息中，可将与车辆行驶相关的车辆方向信息、车辆位置信息、车辆角度信息、车辆速度信息、车辆倾斜度信息等命名为车辆行驶信息。 [0050] 存储器140可存储用于处理或控制处理器170的程序等、用于车辆驾驶辅助装置100的整个动作的多种数据。 [0053] 处理器170控制车辆驾驶辅助装置100的各单元的整个动作。 [0054] 尤其，处理器170执行基于计算机视觉(computer vision)的信号处理。由此，处理器170可由立体摄像头195取得车辆前方的立体图像，基于立体图像来执行对车辆前方的视差计算，并基于所计算的视差信息来执行对立体图像中的至少一个执行对象检测，在完成对象检测后，继续跟踪对象的移动。 [0055] 尤其，当进行对象检测时，处理器170可执行车道检测(LD，Lane Detection)、周边车辆检测(VD，Vehicle Detection)、行人检测(PD，Pedestrian Detection)、灯光检测(BD，Brightspot Detection)、交通标志牌检测(TSR， Traffic Sign Recognition)及路面检测等。 [0056] 并且，处理器170可执行对所检测的周边车辆距离的计算、对所检测的周边车辆的速度的计算及对与所检测的周边车辆之间的速度差的计算等。 [0057] 另一方面，处理器170可通过通信部120来接收天气信息、道路的交通情况信息，例如，传输协议专家组信息。 [0058] 另一方面，处理器170可实时掌握基于立体图像来掌握的车辆驾驶辅助装置100中的车辆周边交通情况信息。 [0059] 另一方面，处理器170可通过接口部130来从音频视频导航装置400接收图像信息。 [0060] 另一方面，处理器170通过接口部130，可从电子控制单元770或传感部760接收传感器信息。其中，传感器信息可包括车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息中的至少一个。 [0061] 供电部190可通过处理器170的控制来提供各结构要素的工作所需的电源。尤其，供电部190可从车辆的电池等接收电源。 [0062] 立体摄像头195可包括多个摄像头。以下，如图2等所述，具有两个摄像头。 [0063] 立体摄像头195以可在车辆200的顶部或前表面玻璃进行装拆，并能包括设有第一镜头193a的第一摄像头195a、设有第二镜头193b的第二摄像头 195b。 [0064] 另一方面，立体摄像头195可包括用于遮蔽分别向第一镜头193a和第二镜头193b入射的光的第一遮蔽部192a、第二遮蔽部192b。 [0065] 然后，参照附图3b，与图3a的车辆驾驶辅助装置100相比，图3b的车辆驾驶辅助装置100还可包括输入部110、显示器180及音频输出部185。以下，仅对输入部110、显示器180及音频输出部185进行记述。 [0066] 输入部110可具有附着于车辆驾驶辅助装置100，尤其，附着于立体摄像头195的多个按钮或触摸屏。可通过多个按钮或触摸屏来使车辆驾驶辅助装置100的电源开启并工作。除此之外，也可执行多种输入工作。 [0067] 音频输出部185基于在处理器170中处理的音频信号来向外部输出声音。为此，音频输出部185可包括至少一个扬声器。 [0068] 显示器180可显示与车辆行驶辅助装置相关的图像。为了表示这种图像，显示器180可包括车辆的内部前表面的辅音群(cluster)或平视显示器(HUD， Head Up Display)。 另一方面，在显示器180为平视显示器的情况下，可在车辆200的前表面玻璃设有用于透视图像的透视模块。 [0069] 图4a至图4b例示图3a至图3b的处理器的内部框图的多种例，图5a至图5b为图4a至图4b的处理器的工作说明所参照的图。 [0070] 首先，参照附图4a，图4a作为处理器170的内部框图的一例，车辆驾驶辅助装置100的处理器170可包括影像预处理部410、视差计算部420、对象检测部434、对象跟踪部440及应用部450。 [0071] 影像预处理部(image preprocessor)410从立体摄像头195接收立体图像，来执行预处理(preprocessor)。 [0072] 具体地，影像预处理部410可执行对立体图像的降低噪音(noise reduction)、整流(rectification)、校准(calibration)、颜色增强(color enhancement)、颜色空间转变(CSC，color space conversion)、插补 (interpolation)、摄像头增益控制(camera gain control)等。与此同时，可取得比在立体摄像头195拍摄的立体图像更鲜明的立体图像。 [0073] 视差计算部(disparity calculator)420接收在影像预处理部410中进行信号处理的立体图像，执行对所接收的立体图像的立体匹配(stereo matching)，并取得基于立体匹配的视差图(dispartiy map)。即，可取得对车辆前方的、对立体图像的视差信息。 [0074] 此时，立体匹配能够以立体图像的像素单位或规定块单位执行。另一方面，视差图可意味着以数值方式呈现立体图像，即，左右图像的时差信息 (binocular parallax information)的图。 [0075] 分割部(segmentation unit)432可基于视差计算部420的视差信息来对立体图像中至少一个执行分割(segment)及聚类(clustering)。 [0076] 具体地，分割部432可基于视差信息来对立体图像中的至少一个进行背景(background)和前景(foreground)的分离。 [0077] 例如，在视差图内，可由视差信息将规定值以下的区域作为背景来计算，并除去对应部分。由此，可使前景相对分离。 [0078] 作为另一例，在视差图中，可由视差信息将规定值以上的区域作为前景来计算，并抽取相应部分。由此，可使前景分离。 [0079] 像这样，基于立体图像抽取的视差信息为基础来分离前景和背景，由此在之后进行对象检测时，可缩短信号处理速度、信号处理量等。 [0080] 然后，对象检测部(object detector)434可基于分割部432的图像分割来进行对象检测。 [0081] 即，对象检测部434可基于视差信息来对立体图像中的至少一个进行对象检测。 [0082] 具体地，对象检测部434可对立体图像中的至少一个进行对象检测。例如，可从通过图像分割来分离的前景进行对象检测。 [0083] 然后，对象确认部(object verification unit)436对被分离的对象进行分类(classify)并确认(verify)。 [0084] 为此，对象确认部436可使用利用神经式网络(neural network)的识别法、支持向量机(SVM，Support Vector Machine)方法、利用Haar-like特征的通过AdaBoost来识别的方法或梯度方向直方图(HOG，Histograms of Oriented Gradients)方法等。 [0085] 另一方面，对象确认部436可通过比较存储于存储器140的对象和所检测的对象来确认。 [0086] 例如，对象确认部436可确认位于车辆周边的周边车辆、车道、路面、标志牌、危险地带及隧道等。 [0087] 对象跟踪部(object tracking unit)440，执行对确认对象的跟踪。例如，可依次确认所取得的立体图像中的对象，计算所确认的对象的移动或移动向量，并基于所计算的移动或移动向量来跟踪对应对象的移动等。由此，可跟踪位于车辆周边的周边车辆、车道、路面、标志牌、危险地带及隧道等。 [0088] 然后，应用部450可基于位于车辆周边的多种对象，例如其他车辆、车道、路面及标志牌等来计算车辆的危险度等。并且，可计算与前方车辆的碰撞可能性、车辆是否滑动等。 [0089] 并且，应用部450能够能够基于所计算的危险度、碰撞可能性或是否滑动等来向使用人员输出用于告知这种信息的消息等作为车辆驾驶辅助信息。并且，能够生成用于控制车辆200的姿势或行驶的控制信号作为车辆控制信号。 [0090] 图4b为处理器的内部框图的另一例。 [0091] 参照附图，图4b的处理器170与图4a的处理器170相比，在内部结构单元相同，但信号处理顺序不同方面存在差异。以下，仅对差异进行记述。 [0092] 对象检测部434可接收立体图像，并对立体图像中的至少一个进行对象检测。与图4a不同，可从立体图像直接检测对象，而不是对基于视差信息来分割的图像进行对象检测。 [0093] 然后，对象确认部436基于分割部432的图像分割及在对象检测部434 中检测的对象来对所检测及分离的对象进行分类并确认。 [0094] 为此，对象确认部436可使用利用神经式网络的识别法、支持向量机方法、利用Haar-like特征的通过AdaBoost来识别的方法或梯度方向直方图方法等。 [0096] 首先，参照附图5a，在第一帧区间段中，立体摄像头195取得立体图像。 [0097] 处理器170中的视差计算部420接收在影像预处理部410中进行信号处理的立体图像FR1a、FR1b，并对所接收的图像FR1a、RF1b执行立体匹配，来取得视差图520。 [0098] 视差图520作为对立体图像FR1a、FR1b之间的时差进行等级化的图，视差等级越大，与车辆之间的距离越短，而视差等级越小，与车辆之间的距离越长。 [0099] 另一方面，在显示这种视差图的情况下，视差等级越大，具有越高的亮度，而视差等级越小，具有越低的亮度。 [0100] 附图例示出在视差图520中，第一车道528a、第二车道528b、第三车道 528c、第四车道528d等分别具有对应的等级，施工区域522、第一前方车辆524、第二前方车辆526分别具有对应的视差等级。 [0101] 分割部432、对象检测部434及对象确认部436基于视差图520来执行对立体图像FR1a、FR1b中的至少一个的分割、对象检测及对象确认。 [0102] 附图例示出使用视差图520来执行对第二立体图像FR1b的对象检测及确认。 [0103] 即，在图像530中，第一车道538a、第二车道538b、第三车道538c、第四车道538d、施工区域532、第一前方车辆534及第二前方车辆536可执行对象检测及确认。 [0104] 然后，参照附图5b，在第二帧区间中，立体摄像头195取得立体图像。 [0105] 处理器170中的视差计算部420接收在影像预处理部410中进行信号处理的立体图像FR2a、FR2b，执行对所接收的立体图像FR2a、FR2b的立体匹配，并取得视差图540。 [0106] 附图例示出在视差图540中，第一车道548a、第二车道548b、第三车道 548c、第四车道548d等分别具有对应的等级，施工区域542、第一前方车辆 524、第二前方车辆546分别具有对应的视差等级。 [0107] 分割部432、对象检测部434及对象确认部436基于视差图520来执行对立体图像FR2a、FR2b中的至少一个的分割、对象检测及对象确认。 [0108] 附图例示出使用视差图540来执行对第二立体图像FR2b的对象检测及确认。 [0109] 即，在图像550中，第一车道558a、第二车道558b、第三车道5358c、第四车道558d、施工区域552、第一前方车辆554级第二前方车辆556可执行对象检测及确认。 [0110] 另一方面，将图5a和图5b作比较，对象跟踪部440可执行对所确认的对象的跟踪。 [0111] 具体地，对象跟踪部440可基于在图5a和图5b中确认的各对象的移动或移动向量来跟踪对应对象的移动等。由此，可执行对位于车辆周边的车道、施工区域、第一前方车辆及第二前方车辆等的跟踪。 [0112] 图6a至图6b为图3a至图3b的车辆驾驶辅助装置的工作说明所参照的图。 [0113] 首先，图6a为例示出设于车辆的立体摄像头195所拍摄的车辆前方情况的图。尤其，以鸟瞰图(bird eye view)表示车辆前方的情况。 [0114] 参照附图可知，从左向右依次具有第一车道642a、第二车道644a、第三车道646a、第四车道648a，在第一车道642a和第二车道644a之间具有施工区域610a，而第一前方车辆620a位于第二车道644a和第三车道646a之间，第二前方车辆630a配置于第三车道646a和第四车道648a之间。 [0115] 然后，图6b例示了与各种信息一同显示借助车辆驾驶辅助装置来掌握的车辆前方情况。尤其，如图6b的图像可显示于由车辆驾驶辅助装置提供的显示器180或音频视频导航400。 [0116] 与图6a不同，图6b例示了基于立体摄像头195所拍摄的图像显示信息。 [0117] 参照附图可知，从左向右依次具有第一车道642b、第二车道644b、第三车道646b、第四车道648b，在第一车道642b和第二车道644b之间具有施工区域610b，而第一前方车辆620b位于第二车道644b和第三车道646b之间，第二前方车辆630b配置于第三车道646b和第四车道648b之间。 [0118] 车辆辅助装置100可基于立体摄像头195所拍摄的立体图像来进行信号处理，从而确认对施工区域610b、第一前方车辆620b及第二前方车辆630b 的对象。并且，可确认第一车道642b、第二车道644b、第三车道646b及第四车道648b。 [0119] 另一方面，附图例示出为了呈现对施工区域610b、第一前方车辆620b 及第二前方车辆630b的对象确认而分别向边缘突出。 [0120] 另一方面，车辆驾驶辅助装置100可基于立体摄像头195所拍摄的立体图像来计算对施工区域610b、第一前方车辆620b及第二前方车辆630b的距离信息。 [0121] 附图例示了显示分别与施工区域610b、第一前方车辆620b及第二前方车辆630b对应的已计算的第一距离信息611b、第二距离信息621b及第三距离信息631b。 [0122] 另一方面，车辆驾驶辅助装置100可从电子控制单元770或传感部760 接收有关车辆的传感器信息。尤其，可接收用于表示车辆速度信息、齿轮信息及车辆的旋转角(凹角)发生变化的速度的偏航角速度(yaw rate)信息、车辆的角度信息，且能够显示这种信息。 [0123] 附图例示了在车辆前方图像的上部670显示车辆速度信息672、齿轮信息671及偏航角速度信息673，且例示了在车辆前方图像的下部680显示车辆角度信息682，但可具有多种例。除此之外，可与车辆的角度信息一同显示车辆的幅度信息683、道路的曲率信息681。 [0124] 另一方面，车辆驾驶辅助装置100可通过通信部120或接口部130来接收车辆行驶中的道路的速度限制信息等。附图例示了显示速度限制信息 640b。 [0125] 车辆驾驶辅助装置100可通过显示器180来显示图6a所示的多种信息，但不同的是，可以在无需额外的显示的情况下，也能存储各种信息。并且，可利用这种信息来利用于多种应用。 [0126] 图7为图1的车辆的电子空间装置的内部框图的一例。 [0127] 参照附图，车辆200可具有用于控制车辆的电子控制装置700。电子控制装置700能够与上述车辆驾驶辅助装置100及音频视频装置400交换数据。 [0128] 电子控制装置700可包括输入部710、通信部720、存储器740、灯驱动部751、转向驱动部752、制动器驱动部753、动力源驱动部754、天窗驱动部755、悬架驱动部760、电子控制单元770、显示部780、音频输出部785 及供电部790。 [0129] 输入部710可具有配置于车辆200的多个按钮或触摸屏。可通过多个按钮或触摸屏来执行多种输入动作。 [0130] 通信部720能够以无线方式与移动终端600或服务器500进行数据交换。尤其，通信部720能够以无线方式与车辆驾驶人员的移动终端进行数据交换。作为无线数据通信方式，可进行蓝牙、WiFi Direct、WiFi、APIX等多种数据通信方式。 [0131] 通信部720可从移动终端600或服务器500接收天气信息、道路的交通情况信息，例如，传输协议专家组信息。 [0132] 另一方面，在使用人员搭乘车辆的情况下，使用人员的移动终端600和电子控制装置100能够自动或借助使用人员的应用执行来执行相互配对。 [0133] 存储器740可存储用于进行电子控制单元770的处理或控制的程序等用于电子控制装置700整个动作的多种数据。 [0134] 灯驱动部751可控制配置于车辆的内外部的灯的开启/关闭。并且，能够控制灯光的强度、方向等。例如，可执行对方向指示灯、制动灯等的控制。 [0135] 转向驱动部752可对车辆200的转向装置(steering apparatus)(未图示) 执行电子式控制。以此，可变更车辆的前进方向。 [0136] 制动器驱动部753可对车辆200的制动装置(未图示)执行电子式控制。例如，可通过控制配置于轮胎的制动的动作，来减小车辆200的速度。作为另一例，能够通过使分别配置于左侧轮胎和右侧轮胎的制动的工作不同，来将车辆200的前进方向调整为左侧或右侧。 [0137] 动力源驱动部754可对车辆200的动力源执行电子式控制。 [0138] 例如，在基于天然燃料的引擎(未图示)为动力源的情况下，动力源驱动部754可执行对引擎的电子式控制。由此，可控制引擎的输出扭矩等。 [0139] 作为另一例，在基于电的电机(未图示)为动力源的情况下，动力源驱动部754可执行对电机的控制。由此，可控制电机的转速、扭矩等。 [0140] 天窗驱动部755可对车辆200的天窗装置(sunroof apparatus)执行电子式控制。例如，可控制天窗的开放或封闭。 [0141] 悬架驱动部756可对车辆200的悬架装置(suspension apparatus)(未图示)执行电子式控制。例如，在路面存在弯曲的情况下，可通过控制悬架装置来以降低车辆200的振动的方式控制。 [0142] 空调驱动部757可对车辆200的空调装置(air cinditioner)(未图示) 执行电子式控制。例如，在车辆内部的温度高的情况下，能够以空调装置工作，并使冷气向车辆的内部供给的方式进行控制。 [0143] 车窗驱动部758可对车辆200的悬架装置(window apparatus)执行电子式控制。例如，可控制对车辆的侧面的左右窗的开放或封闭。 [0144] 气囊驱动部759可对车辆200的悬架装置(airbag apparatus)执行电子式控制。例如，当遇到危险时，能够以使气囊弹出的方式进行控制。 [0145] 传感部760感测与车辆100行驶等相关的信号。为此，传感部760可具有航向传感器、偏航传感器、陀螺传感器、定位模块、车辆前进/后退传感器、车轮传感器、车辆速度传感器、自身倾斜检测传感器、电池传感器、燃料传感器、轮胎传感器、基于转向盘旋转的转向盘传感器、车辆内部温度传感器及车辆内部湿度传感器等。 [0146] 由此，传感部760可取得对车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息及车辆内部湿度信息的感测信号。 [0147] 另一方面，除此之外，传感部760还可包括加速踏板传感器、压力传感器、引擎转速传感器(engine speed sensor)、空气流量传感器(AFS)、吸气温度传感器(ATS)、水温传感器(WTS)、节气门位置传感器(TPS)、上止点(TDC)传感器及曲轴角度传感器(CAS)等。 [0148] 电子控制单元770可控制电子控制装置700的各单元的整个动作。 [0149] 可借助基于输入部710的输入来执行特定工作，或者接收传感器760所感测的信号来向车辆驾驶辅助装置100传输，可从音频视频导航装置400接收图像信息，并能控制各种驱动部751、752、753、754、756的动作。 [0150] 并且，电子控制单元770可从通信部720接收天气信息、道路交通情况信息，例如，传输协议专家组信息。 [0151] 显示部780可显示与车辆驾驶辅助装置的动作相关的图像。为了显示这种图像，显示部780可包括车辆的内部前表面的辅音群或平视显示器。另一方面，在显示部780为平时显示器的情况下，可包括向车辆200的前表面玻璃投射图像的投射模块。另一方面，显示部780可包括能够用于输入的触摸屏。 [0152] 音频输出部785将从电子控制单元770接收的电信号变换为音频信号来输出。为此，可具有扬声器等。音频输出部785可输出与输入部710，即，按钮的工作相对应的声音。 [0153] 供电部790可借助电子控制单元770的控制来提供各结构要素的工作所需的电源。尤其，供电部790可从车辆的电池等接收电源。 [0154] 图8为示出本发明一实施例的车辆驾驶辅助装置的工作方法的顺序图，图9至图16b为为了说明图8的工作方法的说明而参照的图。 [0155] 参照附图，由车辆驾驶辅助装置100的处理器170判断是否为校准模式 (calibratiion mode)(步骤S810)，若是，则从立体摄像头接收立体图像(步骤S820)。并且，基于所接收的立体图像中的第一区域，来执行校准(步骤 S830)。 [0156] 在车辆起动时或者规定按钮运行时或者车辆在行驶过程中暂停时，处理器170进行控制，以进入校准模式。 [0157] 并且，对车辆的外部冲击达到规定值以上时，处理器170可进行控制，以执行校准模式。 [0158] 在执行校准模式时，处理器170可对立体图像中的第一区域执行视差计算，并对计算而得的视差和已存储的基准视差进行比较，来计算校准值。并且，在后续从立体图像生成视差图时，可利用所计算的校准值。 [0159] 在这里，第一区域可以是包括车辆结构物对象或车辆外部结构物对象的区域。车辆结构物作为车辆的车身的一部分，可包括车辆的特征线、罩徽或罩边缘线中的至少一种。 [0160] 或者，第一区域可以是包括车辆外部结构物对象的区域。车辆外部结构物可包括标志牌、信号灯、路灯中的至少一种。 [0161] 另一方面，在执行校准模式时，车辆驾驶辅助装置100可进行控制，以通过显示器180或显示器780显示用于表示校准模式的指示器，或者通过音频输出部185或音频输出部 785输出用于表示校准模式的声音，或者使两种方式组合。 [0162] 或者，在执行校准模式时，车辆驾驶辅助装置100可进行控制，以通过显示器180或显示器780显示用于表示校准的范围或校准值的指示器、校准模式的进行时间信息、校准模式的剩余时间信息中的至少一种。 [0163] 另一方面，在步骤S810中，若为标准模式，而非校准模式，则车辆驾驶辅助装置100的处理器170从立体摄像头接收立体图像(步骤S840)并且，基于所接收的立体图像中的第二区域，检测车辆前方对象的距离(步骤 S850)。并且，基于距离检测，生成车辆控制信号(步骤S860)。 [0164] 在这里，第二区域可以是不包括车辆结构物对象或车辆外部结构物对象的区域。或者，第二区域可以是不包括车辆外部结构物对象的区域。 [0165] 例如，在完成校准模式后执行标准模式时，处理器170可利用在校准模式中所计算的校准值对立体图像中的第二区域执行校准，基于经校准的立体图像中的第二区域，对车辆前方的对象执行距离检测。 [0166] 另一方面，处理器170可基于经校准的立体图像中的第二区域，来执行对象检测，在完成对象检测之后，继续跟踪对象的移动。并且，可执行对周边车辆的距离计算、所检测的周边车辆的速度计算、与所检测的周边车辆的速度差异计算等。 [0167] 或者，处理器170可基于所计算的周边车辆的速度、与周边车辆的距离等，生成并输出用于控制车辆200的姿势或行驶的控制信号。例如，可生成用于控制车辆的转向驱动部752、制动器驱动部753、动力源驱动部754、悬架驱动部756中的至少一种的控制信号。 [0168] 另一方面，若通过接口部130所接收的车辆的传感器信息和基于车辆的传感器信息检测出的对象的距离与基于立体图像检测出的检测对象的距离之间的误差为规定值以上，则车辆驾驶辅助装置100的处理器170可进行控制，以重新执行校准模式或调整标准模式下的校准值。 [0169] 例如，在基于立体图像检测出的前方的对象的距离计算成第一距离的状态下，并且在基于从车辆速度传感器取得的车辆速度信息的相同的前方对象的距离计算成第二距离的情况下，处理器170可计算出第一距离和第二距离之间的误差。 [0170] 并且，在第一距离与第二距离之间的误差为规定值以上的情况下，处理器170可进行控制，以自动重新执行校准模式或调整标准模式下的校准值。 [0171] 在第一距离和第二距离之间的误差为规定值以上的情况下，处理器170 可进行控制，以重新自动执行校准模式或调整标准模式下的校准值。 [0172] 此时，优选地，校准模式的重新执行与车辆起动时或者规定按钮运行时或者对车辆的外部冲击达到规定值以上时或者车辆在行驶过程中暂停时无关，应在规定时间内立即执行，如上所述。 [0173] 或者，若基于车辆的传感器信息检测出的与检测对象的距离和基于立体图像检测出的与检测对象的距离之间的误差为规定值以上，则处理器170进行控制，以使显示器180或显示器780或音频输出部185或音频输出部785 中的至少一个输出通知消息或者解除对车辆的控制。 [0174] 即，若基于车辆的传感器信息检测出的与检测对象的距离和基于立体图像检测出的与检测对象的距离之间的误差为规定值以上，则处理器170进行控制，以使输出通知消息，之后，在发生使用者输入按钮的动作的情况下，以手动方式重新执行校准模式。 [0175] 图9示出了由立体摄像头195中的左眼摄像头195a和右眼摄像头195b 拍摄前方的被摄物体910。 [0176] 图9的(a)部分表示左眼摄像头195a的景深912和右眼摄像头195b 的景深914，示出了左眼摄像头195a与右眼摄像头195b相隔Dca的距离。并且，示出了被摄物体910相隔Dis的距离。 [0177] 图9的(b)部分示出了在图9的(a)部分的条件下拍摄的右眼摄像头 195b的右眼图像920和左眼摄像头195a的左眼图像930。 [0178] 由于，各图像920、930中的被摄物体922、932的位置有差异，处理器 170计算各图像920、930中的被摄物体922、932的位置差异，即，计算视差(disparity)，利用视差Disp和左眼摄像头195a与右眼摄像头195b的间距(Dca)，来计算实际被摄物体的距离Dis。 [0179] 另一方面，当车辆运行时，因受到车辆发生冲撞、穿过障碍物、车辆转向等各种外部因素的影响，设置于车辆的车辆驾驶辅助装置100，尤其，立体摄像头195的位置会发生变形。 [0180] 尤其，左眼摄像头195a和右眼摄像头195b的水平间隔会大于或小于初始设置的Dca。并且，左眼摄像头195a和右眼摄像头195b的垂直间距也可不相同。 [0181] 在这种情况下，由于左眼摄像头195a和右眼摄像头195b的水平间隔或垂直间隔变化，在基于所拍摄的立体图像测定距离等的情况下，会发生严重的距离误差。或者，在检测出图像中的相同对象后计算视差的情况下，由于图像中的对象位置发生变更，计算量增多，进而导致发生计算速度变慢的问题。 [0182] 在本发明中，考虑到这种左眼摄像头195a和右眼摄像头195b的水平间隔或垂直间隔变化等，通过校准模式，来校准立体摄像头。 [0183] 优选地，车辆驾驶辅助装置100，特别是立体摄像头195开始运行的车辆起动时执行校准模式。 [0184] 或者，在车辆的输入部710或车辆驾驶辅助装置100的输入部110中，可借助规定按钮的动作来执行校准模式。 [0185] 或者，在车辆行驶过程中，通过设在车辆的冲击传感器或振动传感器检测出的冲击量的大小或振动量的大小为规定值以上的情况下，处理器170可进行控制，以执行校准模式。 [0186] 另一方面，优选地，以通过立体摄像头195所拍摄的图像中共同的被摄物体为基准，以在车辆起动时立即执行校准模式。 [0187] 此时，共同的被摄物体作为车辆车身的一部分，可包括车辆的特征线、罩徽或罩边缘线中的至少一个。 [0188] 或者，校准模式可在规定按钮运行时或车辆在行驶过程中暂停时也能够执行。 [0189] 为了在规定按钮运行时或车辆在行驶过程中暂停时执行校准模式，能够以车辆外部结构物为基准。在这里，车辆外部结构物可包括标志牌、信号灯、路灯中的至少一个。 [0190] 图10a至图10c示出了基于包括通过立体摄像头195来拍摄的车辆结构物的图像而执行校准模式的情况。 [0191] 图10a示出了通过立体摄像头195所拍摄的左眼图像940a和右眼图像 950a。尤其，左眼图像940a和右眼图像950a可包括作为车辆车身的一部分的罩边缘线947a、957a。 [0192] 另一方面，在校准模式中，作为通过立体摄像头195所拍摄的左眼图像 940a和右眼图像950a中的部分区域的第一区域。 [0193] 在附图中，示出了利用左眼图像940a和右眼图像950a的下部区域945a、 955a的情况。 [0194] 例如，在左眼图像940a和右眼图像950a的垂直线的数量为960线的情况下，可利用作为其中的一部分的与720线相对应的第一区域。即，可利用 241线至960线的区域。 [0195] 由此，如图所示，在左眼图像940a和右眼图像950a的下部区域945a、 955a中包括罩边缘线947a、957a，可将这种罩边缘线947a、957a用作共同的被摄物体，并计算出校准值。 [0196] 例如，在存储器中存储有包括罩边缘线的基准左眼图像和基准右眼图像的情况下，当执行校准模式时，对所拍摄的左眼图像和右眼图像以及基准左眼图像和右眼图像进行相互比较，进而分析其差异。并且，可对该差异进行数值化，并作为校准值进行计算。 [0197] 例如，如图10b所示，立体摄像头195中的左眼摄像头195a或右眼摄像头195b中的至少一个向水平方向移动时，处理器170在校准模式下可计算出水平校准值作为校准值。 [0198] 或者，如图10c所示，立体摄像头195中的左眼摄像头195a或右眼摄像头195b中的至少一个向垂直方向移动时，处理器170在校准模式下可计算出垂直校准值作为校准值。 [0199] 图10b表示在立体摄像头195中的左眼摄像头195a或右眼摄像头195b 的各种水平移动。 [0200] 参照附图，在第一状况case1中，左眼摄像头195a向左侧移动；在第二状况case2中，右眼摄像头195b向右侧移动，在第三状况case3中，左眼摄像头195a向右侧移动，在第四状况case4中，右眼摄像头195b向左侧移动。 [0201] 在各状况case1～case4中，由左眼摄像头195a所拍摄的左眼图像940a 和由右眼摄像头195b所拍摄的右眼图像950a中，表现出了罩边缘线947a、 957a的移动。 [0202] 在各状况case1～case4中，由左眼摄像头195a所拍摄的左眼图像940a 和由右眼摄像头195b所拍摄的右眼图像950a中，处理器170通过基准左眼图像和基准右眼图像分析罩边缘线947a、957a的移动(case1～case4)，可向与罩边缘线947a、957a的移动方向相反的方向设定校准值。 [0203] 另一方面，在各状况case1～case4组合的情况下，处理器170也可以考虑上述组合的情况而设定校准值。 [0204] 图10c表示在立体摄像头195中的左眼摄像头195a或右眼摄像头195b 的各种垂直移动。 [0205] 参照附图，在第五状况case5中，左眼摄像头195a向上侧移动，在第六状况case6中，左眼摄像头195a向下侧移动，在第七状况case7中，右眼摄像头195a向上侧移动，在第八状况case8中，右眼摄像头195b向下侧移动。 [0206] 在各状况case5～case8中，由左眼摄像头195a所拍摄的左眼图像940a 和由右眼摄像头195b所拍摄的右眼图像950a中，表现出了罩边缘线947a、 957a的移动。 [0207] 在各状况case5～case8中，由左眼摄像头195a所拍摄的左眼图像940a 和由右眼摄像头195b所拍摄的右眼图像950a中，处理器170通过基准左眼图像和基准右眼图像分析罩边缘线947a、957a的移动(case5～case8)，可向与罩边缘线947a、957a的移动方向相反的方向设定校准值。 [0208] 另一方面，在各状况case5～case8组合的情况下，处理器170也可以考虑上述组合的情况而设定校准值。 [0209] 图10d表示基于通过立体摄像头195所拍摄的图像来执行标准模式 (normal mode)。 [0210] 标准模式可利用作为通过立体摄像头195所拍摄的左眼图像940b和右眼图像950b中的部分区域的第二区域。此时，优选地，第二区域不包括车辆的车身的一部分。 [0211] 在附图中，示出了利用左眼图像940a和右眼图像950a的中央区域(945b、 955b)的情况。 [0212] 例如，在左眼图像940b和右眼图像950b的垂直线的数量为960线的情况下，可利用作为其中的一部分的与720线相对应的第二区域。即，可利用 121线至840线的区域。 [0213] 由此，左眼图像940b和右眼图像950b的中央区域945b、955b中不包括罩边缘线947b、957b。 [0214] 处理器170可基于针对车辆前方取得的立体图像，尤其针对第二区域的图像945b、955b，来执行对车辆前方对象进行距离检测。 [0215] 尤其，在执行校准模式后，处理器170可向针对第二区域的图像945b、 955b适用校准值来进行校准，并基于针对第二区域的图像，可执行对车辆前方对象进行距离检测。由此，可执行正确的距离检测。 [0216] 图10e至图10g示出了基于通过立体摄像头195所拍摄的包括车辆外部结构物的图像，来执行校准模式的情况。 [0217] 图10e示出了通过立体摄像头195所拍摄的左眼图像960a和右眼图像 970a。尤其，左眼图像960a和右眼图像970a可包括作为车辆外部结构物之一的信号灯967a、977a。 [0218] 另一方面，在校准模式中，可利用作为通过立体摄像头195所拍摄的左眼图像960a和右眼图像970a中的部分区域的第一区域。 [0219] 在附图中，示出了利用左眼图像960a和右眼图像970a的上部区域965a、 975a的情况。 [0220] 例如，在左眼图像960a和右眼图像970a的垂直线的数量为960线的情况下，可利用作为其中的一部分的与720线相对应的第一区域。即，可利用 1线至720线的区域。 [0221] 由此，如图所示，在左眼图像960a和右眼图像970a的上部区域965a、975a中包括信号灯967a、977a，可将这种信号灯967a、977a用作共同的被摄物体，并计算出校准值。 [0222] 例如，如图10f所示，立体摄像头195中的左眼摄像头195a或右眼摄像头195b中的至少一个向水平方向移动时，处理器170在校准模式下可计算出水平校准值作为校准值。 [0223] 或者，如图10g所示，立体摄像头195中的左眼摄像头195a或右眼摄像头195b中的至少一个向垂直方向移动时，处理器170在校准模式下可计算出垂直校准值作为校准值。 [0224] 图10f示出了立体摄像头195中的左眼摄像头195a或右眼摄像头195b 的各种水平移动。 [0225] 参照附图，在第一状况case1中，左眼摄像头195a向左侧移动；在第二状况case2中，右眼摄像头195b向右侧移动；在第三状况case3中，左眼摄像头195a向右侧移动；在第四状况case4中，右眼摄像头195b向左侧移动。 [0226] 在各状况case1～case4中，由左眼摄像头195a所拍摄的左眼图像960a 和由右眼摄像头195b所拍摄的右眼图像970a中，表现出了信号灯967a、977a 的移动。 [0227] 在各状况case1～case4中，由左眼摄像头195a所拍摄的左眼图像960a 和由右眼摄像头195b所拍摄的右眼图像970a中，处理器170通过基准左眼图像和基准右眼图像分析信号灯967a、977a的移动(case1～case4)，可向与信号灯967a、977a的移动方向相反的方向设定校准值。 [0228] 另一方面，在各状况case1～case4组合的情况下，处理器170也可以考虑上述组合的情况而设定校准值。 [0229] 图10g示出了立体摄像头195中的左眼摄像头195a或右眼摄像头195b 的各种垂直移动。 [0230] 参照附图，在第五状况case5中，左眼摄像头195a向上侧移动，在第六状况case6中，左眼摄像头195a向下侧移动，在第七状况case7中，右眼摄像头195a向上侧移动，在第八状况case8中，右眼摄像头195b向下侧移动。 [0231] 在各状况case5～case8中，由左眼摄像头195a所拍摄的左眼图像960a 和由右眼摄像头195b所拍摄的右眼图像970a中，表现出了信号灯967a、977a 的移动。 [0232] 在各状况case5～case8中，由左眼摄像头195a所拍摄的左眼图像960a 和由右眼摄像头195b所拍摄的右眼图像970a中，处理器170通过基准左眼图像和基准右眼图像分析信号灯967a、977a的移动case5～case8，可向与信号灯967a、977a的移动方向相反的方向设定校准值。 [0233] 另一方面，在各状况case5～case8组合的情况下，处理器170也可以考虑上述组合的情况而设定校准值。 [0234] 图10h示出了基于通过立体摄像头195所拍摄的图像，来执行标准模式 (normal mode)的情况。 [0235] 标准模式可利用作为通过立体摄像头195所拍摄的左眼图像960b和右眼图像970b中的部分区域的第二区域。此时，优选地，第二区域不包括信号灯。 [0236] 在附图中，示出了利用左眼图像960a和右眼图像970a的中央区域965b、975b的情况。 [0237] 例如，在左眼图像960b和右眼图像970b的垂直线的数量为960线的情况下，可利用作为其中的一部分的与720线相对应的第二区域。即，可利用 120线至840线的区域。 [0238] 由此，左眼图像960b和右眼图像970b的中央区域965b、975b中不包括信号灯967b、977b。 [0239] 处理器170可基于针对车辆前方取得的立体图像，尤其针对第二区域的图像965b、975b，来执行对车辆前方对象进行距离检测。 [0240] 尤其，在执行校准模式后，处理器170可向针对第二区域的图像965b、 975b适用校准值来进行校准，并基于针对第二区域的图像，可执行对车辆前方对象进行距离检测。由此，可执行正确的距离检测。 [0242] 首先，图11表示通过抬头数字显示方式的显示器输出用于表示校准模式的指示器。 [0243] 例如，用于表示车辆起动时的校准模式的指示器1410显示于输出区域 800，或者用于表示输入按钮时的校准模式的指示器1420显示于输出区域800，或者用于表示车辆冲击下的校准模式的指示器1430显示于输出区域 800。 [0244] 另一方面，在各个校准模式结束的情况下，可将用于表示校准模式结束的指示器显示于输出区域800。 [0245] 另一方面，不同于附图所示，当执行校准模式时，可在输出区域800中显示用于表示校准的范围或校准值的指示器、校准模式的进行时间信息、校准模式的剩余时间信息中的至少一种。 [0246] 或者，在基于车辆的传感器信息检测出的检测对象的距离和基于立体图像检测出的检测对象的距离之间的误差为规定值以上的情况下，可向输出区域800输出通知消息。 [0247] 接着，图12a至图12c表示在集群300上输出用于表示校准模式的指示器。 [0248] 图12a示出了在集群300上显示用于表示摄像头校准模式的指示器 1510，图12b示出了在集群300上显示用于表示摄像头校准结束模式的指示器1520，图12c示出了在集群300上显示用于表示摄像头校准的校准范围的指示器1530。 [0249] 由此，使用者可以直观地识别校准进行中或者校准结束。 [0250] 尤其，图12c表示从左眼摄像头取得的左眼图像向右侧移动，即，指示器1530表示将校准值设定为右侧移动值。此时，箭头的长度或大小可与校准值的大小呈正比。由此，使用者可以直观地识别校准范围。 [0251] 另一方面，不同于图示，当执行校准模式时，可在集群300上显示用于表示校准的范围或校准值的指示器、校准模式的进行时间信息、校准模式的剩余时间信息中的至少一种。 [0252] 或者，在基于车辆的传感器信息检测出的检测对象的距离和基于立体图像检测出的检测对象的距离之间的误差为规定值以上的情况下，可向集群 300输出通知消息。 [0253] 另一方面，不同于图11至图12c，可通过音频输出部(185或785)输出用于表示校准模式的声音、用于表示校准模式结束的声音等。 [0254] 或者，当执行校准模式时，可通过音频输出部(185或785)输出用于表示校准的范围或校准值的指示器、校准模式的进行时间信息、校准模式的剩余时间信息中的至少一种。 [0255] 或者，在基于车辆的传感器信息检测出的检测对象的距离和基于立体图像检测出的检测对象的距离之间的误差为规定值以上的情况下，可通过音频输出部185或音频输出部785输出通知消息。 [0256] 如此，可借助处理器170的控制，来执行对各种用户界面的操作。 [0257] 另一方面，在执行这种校准之后，在标准模式下，处理器170可基于对象检测、对象跟踪，来执行对车辆姿势的控制。 [0258] 车辆驾驶辅助装置100的处理器170通过组合基于立体图像的前方车辆信息、车道检测信息、道路面检测信息、从电子控制单元770或传感部760 取得的作为车辆行驶信息的车辆角度信息、车辆倾斜度信息以及从音视频导航装置400取得的地图信息，来计算出车辆姿势。 [0259] 例如，当车辆驾驶辅助装置100的处理器170基于立体图像检测出前方车辆及车道向右侧倾斜时，在车辆的角度信息表示车辆不倾斜的情况下，可利用地图信息，来计算出实际车辆在向右侧弯曲的曲线车道上行驶。 [0260] 由此，可基于立体图像及传感器信息等，来执行对车辆的姿势的控制。.[0261] 另一方面，作为对车辆的姿势的控制例，还有车辆打滑与否相关计算以及防止打滑相关控制。另一方面，关于车辆的打滑与否有关计算，将在下面参照图13a进行详细记述。 [0262] 车辆驾驶辅助装置100的处理器170在车辆打滑时或预测车辆打滑时，可生成用于控制转向驱动部752、制动器驱动部753、动力源驱动部754、悬架驱动部756中的至少一种的防滑控制信号。 [0263] 在计算出实际车辆向左侧打滑的情况下，车辆驾驶辅助装置100的处理器170可生成转向驱动控制信号或制动器驱动控制信号，使得车辆向右侧移动。 [0264] 电子控制单元770可通过接口部130接收转向驱动控制信号或制动器驱动控制信号中的至少一种，转向驱动部752可控制转向装置，以执行右侧转向盘，制动器驱动部753可使左侧制动器运行。 [0265] 由此，通过车辆驾驶辅助装置100可执行基于立体图像及传感器信息、地图信息、位置信息等的防滑控制。 [0266] 图13a至图13b是用于说明车辆打滑时的对车辆姿势进行控制的图，图 14至图15b是用于说明图13a或图13b的车辆姿势控制的参照图。 [0267] 首先，参照图13a，车辆驾驶辅助装置100的处理器170基于从立体摄像头195接收的立体图像，来检测基于图像的车辆周边信息。在这里，基于图像的车辆周边信息可包括前方车辆信息、车道信息及道路面信息、标志牌信息等。 [0268] 如上所述，基于所接收的立体图像，来执行视差计算，利用视差信息，可执行图像中的分割、对象检测以及对象确认。 [0269] 由此，车辆驾驶辅助装置100的处理器170可执行车辆检测1010、距离检测1011、车道检测1012、道路面检测1014、视觉行驶距离测定(visual odometry)1016。 [0270] 接着，车辆驾驶辅助装置100的处理器170基于从电子控制单元770或传感部760取得的传感器信息，来推测车辆动向。尤其，基于传感器信息中的车辆行驶信息，来推测车辆动向。 [0271] 车辆驾驶辅助装置100的处理器170基于从电子控制单元770或传感部 760取得的车辆行驶信息，来执行车辆位置预测(dead reckoning)1030。 [0272] 并且，车辆驾驶辅助装置100的处理器170基于车辆位置预测(dead reckoning)，来执行车辆动向(egomotion)跟踪1040。此时，除了车辆位置预测，还可基于视觉行驶距离测定(visual odometry)，来执行车辆动向 (egomotion)跟踪1040。 [0273] 另一方面，车辆驾驶辅助装置100的处理器170可基于车辆动向 (egomotion)跟踪1040，来执行行驶道路的曲率计算1050. [0274] 接着，车辆驾驶辅助装置100的处理器170基于所推测的车辆动向，来预测(prediction)车辆路径(path)。 [0275] 车辆驾驶辅助装置100的处理器170基于曲率计算1050、车道检测1010、以及道路面检测1014，可执行车辆行驶方向跟踪1060。 [0276] 并且，车辆驾驶辅助装置100的处理器170基于车辆行驶方向跟踪1060、车辆检测1010,距离检测1011、道路面检测1014，来执行冲撞危险性等危险性计算1065。 [0277] 并且，车辆驾驶辅助装置100的处理器170基于危险性计算1065及车辆动向跟踪1040，来执行车辆路径预测(path prediction)1070。即，车辆驾驶辅助装置100的处理器 170基于所推测的车辆动向1040来预测车辆路径。 [0278] 接着，基于所推测的车辆动向和所预测的车辆路径，来计算车辆打滑与否。 [0279] 车辆驾驶辅助装置100的处理器170基于车辆路径预测1070、危险性计算1065以及车辆动向跟踪1040，来执行车辆打滑有关计算1080。若不是打滑，则执行正常行驶1085，若为打滑，则执行防滑控制信号生成1090。 [0280] 所生成的防滑控制信号(步骤Sns)向电子控制单元770传输，电子控制单元770用于控制转向驱动部752、制动器驱动部753、动力源驱动部754、悬架驱动部756中的至少一个。 [0281] 例如，相对于行驶道路，当车辆200向左侧打滑时，基于防滑控制信号 (步骤Sns)，转向驱动部752控制转向装置，以执行右侧转向盘，或者，制动器驱动部753使左侧制动器运行。 [0282] 再例如，相对于行驶道路，当车辆200向右侧打滑时，基于防滑控制信号(步骤Sns)，转向驱动部752控制转向装置，以执行左侧转向盘，或者，制动器驱动部753使右侧制动器运行。 [0283] 由此，通过车辆驾驶辅助装置100，可执行基于立体图像及传感器信息等的防滑控制。 [0284] 接着，参照图13b，图13b与图13a类似，不同点在于，进一步执行从音视频导航装置400接收地图信息并进行地图匹配的步骤和跟踪车辆行驶方向的步骤。下面，仅对上述不同点进行记述。 [0285] 车辆驾驶辅助装置100的处理器170基于从电子控制单元770或传感部 760取得的传感器信息中的车辆行驶信息和从音视频导航装置400取得的地图信息，来执行地图匹配。 [0286] 车辆驾驶辅助装置100的处理器170可基于车辆行驶信息中作为车辆位置信息的全球定位系统信息和从音视频导航装置400取得的地图信息，使当前车辆与地图进行地图匹配1020。并且，基于车辆速度信息等车辆行驶信息等，可使地图上的当前车辆的位置发生变化。 [0287] 车辆驾驶辅助装置100的处理器170可基于车辆动向跟踪1040及地图匹配1020，来执行行驶道路的曲率计算1050。 [0288] 图14示出了通过组合基于图像的信息1120与地图信息1110，来计算车辆行驶的行驶道路的曲率。 [0289] 尤其，利用在基于图像的信息1120中所检测的车道信息1130和地图信息1110中的车道信息1135，车辆驾驶辅助装置100的处理器170可计算出前方道路的曲率θ，如图所示。 [0290] 接着，车辆驾驶辅助装置100的处理器170基于地图信息和基于图像的车辆周边信息，来跟踪车辆行驶方向。 [0291] 车辆驾驶辅助装置100的处理器170基于曲率计算1050及车道检测 1010，来执行车辆行驶方向跟踪1060。 [0292] 车辆驾驶辅助装置100的处理器170基于曲率计算1050、车道检测1010 及道路面检测1014，来执行车辆行驶方向跟踪1060。 [0293] 接着，车辆驾驶辅助装置100的处理器170基于所推测的车辆动向及所跟踪的行驶方向，来预测车辆路径。 [0294] 车辆驾驶辅助装置100的处理器170基于车辆行驶方向跟踪1060、车辆检测1010、距离检测1011、道路面检测1014，来执行冲撞危险性等危险性计算1065。 [0295] 并且，车辆驾驶辅助装置100的处理器170基于危险性计算1065及车辆动向跟踪1040，来执行车辆路径预测(path prediction)1070。即，车辆驾驶辅助装置100的处理器 170基于所推测的车辆动向1040及所跟踪的行驶方向 1060，来预测车辆路径。 [0296] 接着，基于所推测的车辆动向和所预测的车辆路径，来计算车辆打滑与否。 [0297] 由此，通过车辆驾驶辅助装置100，可执行基于立体图像及传感器信息、地图信息等的防滑控制。 [0298] 图15a至图15b用于说明车辆打滑时的车辆姿势控制的参照图。 [0299] 首先，图15a将行驶中的车辆200打滑的情况分为第一状况case1和第二状况case2示出。 [0300] 如第一状况case1，在行驶中的车辆200的左侧前方有其他车辆1220a 的状态下，行驶中的车辆200在曲线道路中向左侧打滑(步骤Slip)的情况下，打滑的车辆200P1存在与左侧前方车辆1220a冲撞的可能性。 [0301] 另一方面，如第二状况case2，行驶中的车辆200在曲线道路中向右侧打滑(步骤Slip)的情况下，打滑的车辆200P2存在脱离道路的可能性。 [0302] 在本发明中，为了防止如图15a所示的车辆200打滑，如上所述，基于立体图像，执行对车身姿势的控制，尤其，执行防滑控制。 [0303] 图15b是用于说明针对第一状况case1和第二状况case2的防滑控制的参照图。 [0304] 参照附图，在行驶中的车辆200的左侧前方有危险地区1210a，危险地区1210a中示出了有其他车辆1220a行驶的情况。 [0305] 另一方面，图15b的图像1270表示由立体摄像头取得的图像。车辆驾驶辅助装置100的处理器170基于立体图像1270，来检测危险地区1210b、其他车辆1220b、各车道1242b、 1244b、1246b、1248b。 [0306] 车辆驾驶辅助装置100的处理器170基于立体图像及传感器信息、地图信息、位置信息等，预测和计算如第一状况case1和第二状况case2的打滑是否发生，并在发生打滑时，进行控制，以防止打滑。 [0307] 例如，如第一状况case1所示，相对于行驶车道，当车辆200向左侧打滑时，车辆驾驶辅助装置100的处理器170生成防滑控制信号(步骤Sns)，以避免与前方车辆1220a发生冲撞，保持车道，尤其，保持在曲线道路上的车道。由此，转向驱动部752可控制转向装置，以执行右侧转向盘，或者，制动器驱动部753使左侧制动器运行。 [0308] 再例如，如第二状况case2所示，相对于行驶车道，当车辆200向右侧打滑时，车辆驾驶辅助装置100的处理器170生成防滑控制信号(步骤Sns)，以保持车道，尤其，保持在曲线道路上的车道。由此，转向驱动部752可控制转向装置，以执行左侧转向盘，或者，制动器驱动部753使右侧制动器运行。 [0309] 最终，通过车辆驾驶辅助装置100，可执行基于立体图像及传感器信息、地图信息、位置信息等的防滑控制。尤其，通过不仅仅是传感器信息的立体图像，考虑到前方的车辆信息、前方的危险地区信息等，可执行防滑控制或防滑预测控制，进而提高操作的正确性。 [0310] 图16a至图16b表示图2的立体摄像头的内部框图。 [0311] 首先，参照图16a，立体摄像头195可具有第一摄像头195a、第二摄像头195b及图像处理器830。 [0312] 另一方面，车辆驾驶辅助装置100(图3a-图3b)可具有独立于图16a的图像处理器830的如图所示的处理器170。 [0313] 第一摄像头195a可具有第一镜头193a和第一图像传感器820，第二摄像头195b可具有第二镜头193b和第二图像传感器825。 [0314] 第一镜头193a和第二镜头193b能够以200mm至400mm的间距分隔。 [0315] 第一图像传感器820和第二图像传感器825可分别取得三原色图像。 [0316] 图像处理器830可基于三原色图像从第一及第二图像传感器820、825 生成并输出视差图。此外，图像处理器830可生成并输出三原色图像。 [0317] 另一方面，车辆驾驶辅助装置100(图3a-图3b)中的处理器170接收在立体摄像头195中的图像处理器830中生成的视差图以及三原色图像，并执行与此相应的信号处理。 [0318] 例如，处理器170可基于视差图及三原色图像，来执行针对车辆前方的三原色图像的对象检测，在完成对象检测后，继续跟踪对象动向。并且，还可以执行针对周边车辆的距离计算、所检测的周边车辆的速度计算、与所检测的周边车辆的速度差异计算等。 [0319] 或者，处理器170可基于所计算的周边车辆的速度、与周边车辆的距离等，生成并输出用于控制车辆200的姿势或行驶的控制信号。例如，可生成用于控制车辆的转向驱动部752、制动器驱动部753、动力源驱动部754、悬架驱动部756中的至少一个的控制信号。 [0320] 另一方面，不同于上述说明，图像处理器830除了可生成视差图之外，还可以基于视差图及三原色图像，来执行针对车辆前方的三原色图像的对象检测，在完成对象检测后，继续跟踪对象动向。并且，还可以执行针对周边车辆的距离计算、所检测的周边车辆的速度计算、与所检测的周边车辆的速度差异计算等。 [0321] 此时，处理器170从图像处理器830接收针对周边车辆的距离信息、所检测的周边车辆的速度信息、与所检测的周边车辆的速度差异信息，并基于上述信息，生成用于控制车辆的转向驱动部752、制动器驱动部753、动力源驱动部754、悬架驱动部756中的至少一个的控制信号。 [0322] 另一方面，不同于上述说明，图像处理器830可执行视差图生成、对象检测、对象动向跟踪、针对周边车辆的距离计算、所检测的周边车辆的速度计算、与所检测的周边车辆的速度差异计算，并且，还可以生成用于控制车辆的转向驱动部752、制动器驱动部753、动力源驱动部754、悬架驱动部756 中的至少一个的控制信号。 [0323] 即，如图16b所示，立体摄像头195具有第一摄像头195a、第二摄像头 195b及图像处理器830，此时，车辆驾驶辅助装置100(图3a-图3b)可不另行具有如图16a所示的处理器170。即，立体摄像头195中的图像处理器830可执行上述的处理器170的所有功能。 [0324] 此时的图16b的立体摄像头195的概念能够是与上述的车辆驾驶辅助装置100(图3a-图3b)相同的概念。 [0325] 本发明实施例的车辆驾驶辅助装置及具有其的车辆并不以限制性的方式适用如上所述的实施例的结构和方法，而是以能够实现多种变形的方式由各实施例的全部或一部分选择性组合而构成上述实施例。 [0326] 另一方面，本发明的车辆驾驶辅助装置或车辆的工作方法能够在设置于车辆驾驶辅助装置或车辆的处理器能够读取的记录介质中，以处理器可读的代码体现。处理器可读取的记录介质包括存储有可被处理器读取的数据的所有种类的记录装置。作为处理器可读的记录介质的例，具有ROM、RAM、 CD-ROM、磁带、软盘、光数据存储装置等，并且，也包括如通过网络传输等以载波形态体现的。并且，处理器可读取的记录介质分散于利用网络来连接的电脑系统，能够以分散方式存储处理器可读取的代码并执行。 [0327] 并且，以上虽然对本发明的优选实施例进行了示出和说明，但本发明并不局限于上述的特定实施例，能够在不脱离发明要求保护范围的本发明要旨的情况下，可由本发明所属技术领域的普通技术人员进行多种变形，而这种变形实施不应从本发明的技术思想或前景中单独理解。 |
||||||
QQ群二维码
意见反馈
意见反馈