车辆用全景式监控影像系统及其方法 |
|||||||
| 申请号 | CN201510382290.5 | 申请日 | 2015-07-02 | 公开(公告)号 | CN105291981B | 公开(公告)日 | 2017-10-20 |
| 申请人 | 现代摩比斯株式会社; | 发明人 | 金钟涣; 金尚局; 金性完; | ||||
| 摘要 | 本 发明 公开一种车辆用全景式监控影像(AVM)系统及其方法，所述车辆用AVM系统包括：工作开始判断部，其根据车辆的变速模式及车速模式判断AVM系统的工作开始条件；路径转换部，其在工作开始判断部的判断结果为变速模式与车速模式满足AVM系统的工作开始条件时，按照工作开始判断部的控制将立体摄像头拍摄的左侧影像及右侧影像中任意一个影像的传递路径从主动安全系统转换到AVM系统；以及AVM影像处理部，其合成AVM系统中的多个摄像头拍摄的车辆的周边影像与通过路径转换部从主动安全系统接收的任意一个影像构成表示车辆的周边状况的周边影像。本发明能够简化现有车辆用AVM系统、降低整个系统 费用 。 | ||||||
| 权利要求 | 1.一种车辆用全景式监控影像系统，是与利用立体摄像头控制车辆的主动安全的车辆用主动安全系统联动的车辆用全景式监控影像系统,其特征在于，包括： |
||||||
| 说明书全文 | 车辆用全景式监控影像系统及其方法技术领域[0001] 本发明涉及车辆用全景式监控影像系统及其方法，尤其涉及利用摄像头监控车辆周边状况的全景式监控影像系统及其方法。 背景技术[0002] 车辆用全景式监控影像(Around View Monitoring；以下简称AVM)系统是指以本车辆为中心感测360度周边的事物的系统。 [0003] 图1为显示一般的车辆用AVM系统的构成的框图，图2为立体显示图1所示四个摄像头在车辆内的配置位置及这些摄像头拍摄的四个区域的示意图，图3为一般的车辆用AVM系统显示的AVM影像的示意图。 [0004] 参照图1及图2，一般的车辆用AVM系统由四个摄像头单元11-1、11-2、11-3、11-4、AVM单元13及显示单元15构成。 [0005] 四个摄像头单元11-1、11-2、11-3、11-4拍摄由车辆前方、后方、左侧方及右侧方区域构成的四个区域R1、R2、R3、R4生成四信道影像。 [0006] AVM单元13将所述四信道影像合成为一个影像(以下称为AVM影像)，并通过显示单元15提供给驾驶员。 [0007] 通过显示单元15提供给驾驶员的AVM影像如图3所示。 [0008] 参照图3，关于前方区域的前方影像31位于AVM影像39的上侧，关于后方区域的后方影像37位于AVM影像39的下侧，关于左侧区域及右侧区域的左侧方影像33及右侧方影像35分别位于AVM影像39的左侧及右侧。 [0009] 如上所述，驾驶员通过一个AVM影像即可识别一个以本车辆为中心的360度周边的事物。 [0010] 另外，现在车辆用电装系统领域在积极开发主动安全系统(Active Safety System)。主动安全系统是被动安全系统(Passive Safety System)的反概念。 [0011] 被动安全系统是在事故发生后启动特定装置确保驾驶员安全的系统的总称，例如感测到车辆追尾时启动气囊的气囊系统等。 [0012] 相反，主动安全系统是预测事故可能性并将预测结果警报给驾驶员的系统的总称，例如车道偏离警报(Lane Departure Warning；LDW)系统、前方碰撞预警(Forward Collision Warning；FCW)系统、远光灯辅助(High Beam Assistant；HBA)系统等。 [0013] 大多数车辆制造厂家利用立体摄像头的影像处理过程实现上述主动安全系统。 [0014] 如上所述，AVM系统与主动安全系统均为以车辆安全行驶为目的的系统，在车辆适用这些系统的情况下车辆电装系统复杂度上升。 [0015] 尤其，在一个车辆上同时设置AVM系统与主动安全系统的情况下，会浪费摄像头传感器资源。即，所述主动安全系统中使用的立体摄像头拍摄前方区域的情况下，所述立体摄像头与所述AVM系统中使用的四个摄像头中拍摄前方区域的摄像头重复拍摄相同的区域，这是摄像头传感器资源浪费。 发明内容[0016] 技术问题 [0018] 技术方案 [0019] 为达成上述目的，根据本发明一个方面的车辆用全景式监控影像系统，包括：工作开始判断部，其根据所述车辆的变速模式及车速模式判断所述全景式监控影像系统的工作开始条件；路径转换部，其在所述工作开始判断部的判断结果为所述变速模式与所述车速模式满足所述全景式监控影像系统的工作开始条件时，按照所述工作开始判断部的控制将所述立体摄像头拍摄的左侧影像及右侧影像中任意一个影像的传递路径从所述主动安全系统转换到所述全景式监控影像系统；以及全景式监控影像处理部，其合成所述全景式监控影像系统中的多个摄像头拍摄的所述车辆的周边影像与通过所述路径转换部从所述主动安全系统接收的所述任意一个影像构成表示所述车辆的周边状况的周边影像。 [0020] 根据本发明另一方面的利用车辆用全景式监控影像系统监控车辆的周边的方法，包括：根据所述车辆的变速模式及车速模式判断所述全景式监控影像系统的工作开始条件的步骤；在所述车辆的变速模式与所述车速模式满足所述全景式监控影像系统的工作开始条件时，将所述立体摄像头拍摄的左侧影像及右侧影像中任意一个影像的传递路径从所述主动安全系统转换到所述全景式监控影像系统的步骤；以及合成所述全景式监控影像系统中的多个摄像头拍摄的所述车辆的周边影像与从所述主动安全系统接收的所述任意一个影像构成用于监控所述车辆的周边的周边影像的步骤。 [0021] 根据本发明又一方面的车辆用全景式监控影像系统，是与利用平行配置的两个摄像头构成的立体摄像头控制车辆的主动安全的车辆用主动安全系统联动的车辆用全景式监控影像系统,包括：工作开始判断部，其根据所述车辆的变速模式及车速模式判断所述全景式监控影像系统的工作开始条件；路径转换部，其在所述车辆的变速模式及车速模式满足所述工作开始条件时，按照所述工作开始判断部的控制将所述摄像头中具有液体透镜的摄像头拍摄的广角影像的传递路径从所述主动安全系统转换到所述全景式监控影像系统；以及全景式监控影像处理部，其合成所述全景式监控影像系统中的多个摄像头拍摄的所述车辆的周边影像与通过所述路径转换部接收的所述广角影像构成用于监控所述车辆的周边状况的四信道影像。 [0022] 技术效果 [0024] 图1为显示一般的车辆用AVM系统的构成的框图； [0025] 图2为立体显示图1所示四个摄像头在车辆内的配置位置及这些摄像头拍摄的四个区域的示意图； [0026] 图3为显示一般的车辆用AVM系统构成的四个信道影像的示意图； [0027] 图4为显示根据本发明一个实施例的车辆电子控制系统的整体构成的框图； [0028] 图5为显示根据本发明一个实施例的车辆电子控制系统中摄像头的种类及配置结构的示意图； [0029] 图6为显示根据本发明一个实施例的利用AVM系统监控车辆周边的方法的流程图； [0030] 图7为显示根据本发明一个实施例的四信道影像的示意图； [0031] 图8至图10为说明根据本发明一个实施例的适用于立体摄像头的液体透镜的示意图； [0032] 图11为显示根据本发明另一实施例的车辆电子控制系统的示意图。 具体实施方式[0033] 本发明利用主动安全(Active Safety；AS)系统的立体摄像头替代车辆用AVM系统的前方摄像头，AVM系统与AS系统共享所述立体摄像头。因此，能够去除不必要的摄像头，达到简化整个系统、降低费用的效果。 [0034] 参照附图及以下说明的实施例便可明确本发明的优点、特征及达成方法。但是，本发明并非限定于以下公开的实施例，而是以不同的多种形态实现，本实施例仅仅使得本发明的公开更加完整，使本发明所属技术领域的普通技术人员容易理解本发明的范畴，本发明由技术方案的范畴定义。另外，本说明书中使用的术语用于说明实施例，而并非限定本发明。本说明书中在无特殊记载的情况下单数型还包括复数型。 [0035] 以下参照附图详细说明本发明的实施例。假设以下实施例为监控车辆的360度周边的全景式监控影像系统，但本发明并不限定于此。即，本发明可适用于能够根据行驶状态实现多种视图模式的任意种类的系统中，在此所述视图模式包括高速直行情况下监控前方及两侧方或监控一侧方的全景视图(panorama view)、低速直行情况下监控前方及后方的前后方视图，高速及低速转弯或变更车道的情况下监控前方、后方及两侧方或监控一侧方的全景视图等。 [0036] 图4为显示根据本发明一个实施例的车辆电子控制系统的整体构成的框图。 [0037] 参照图4，根据本发明一个实施例的车辆电子控制系统包括主动安全(Active Safety；AS)系统100及与所述AS系统100内的立体摄像头110联动的全景式监控影像(Around View Monitoring；AVM)系统200。 [0038] AS系统100包括立体摄像头110、立体影像处理部130及主动安全控制逻辑140。 [0039] 立体摄像头110如图5所示，包括设置于车辆前面拍摄车辆前方区域的左侧摄像头112及右侧摄像头114。左侧摄像头112拍摄车辆前方获取左视点前方影像，右侧摄像头114获取右视点前方影像。 [0040] 左视点前方影像或右视点前方影像被AVM系统用作四信道影像中的前方影像，以下将对此进行说明。本实施例假设将右视点前方影像用作AVM系统的前方影像。 [0041] 立体影像处理部130通过第一传递路径(PathWay1；PW1)从立体摄像头110接收左视点前方影像，通过AVM系统200的路径转换部220形成的第二传递路径(PathWay2；PW2)从立体摄像头110接收右视点前方影像。 [0042] 立体影像处理部130立体整合左视点前方影像与右视点前方影像，根据整合的立体影像生成具有距离信息(从立体摄像头110到客体的距离信息)的深度影像(depth image)。 [0043] 主动安全控制逻辑140利用从立体影像处理部130接收的深度影像执行车道偏离警报(Lane Departure Warning；LDW)控制、追尾警报(Forward Collision Warning；FCW)控制、远光灯辅助(High Beam Assistant；HBA)控制等关于主动安全的逻辑运算。 [0045] 与控制车辆的主动安全的上述AS系统100联动的AVM系统200包括工作开始判断部210、路径转换部220、AVM用摄像头230及AVM影像处理部240。 [0046] 工作开始判断部210根据车辆的变速模式及车速模式判断是否使AVM系统或AS系统开始工作。车辆的变速模式包括驻车模式、倒车模式及行驶模式。驻车模式与倒车模式可通过从变速器电子控制单元(Electronic Control Unit；ECU)30接收的变速杆的位置值进行判断。车速模式包括低速模式与行驶模式。低速模式是从车速传感器40接收的车速值低于预先设定的速度值(例如，20km/h)的情况。行驶模式是所述车速值大于所述预先设定的速度值的情况。 [0047] 通过工作开始判断部210判断的AVM系统200或AS系统的工作开始条件如下表所示。 [0048] [0049] 路径转换部220在判断结果为使AVM系统200开始工作时，将通过AS系统100内的立体摄像头110的右侧摄像头114获取的右侧前方影像分路(bypassing)到AVM影像处理部240。 [0050] 例如，路径转换部220在从工作开始判断部210接收表示AVM工作模式的转换信号时，将第二传递路径PW2转换为连接右侧摄像头与AVM影像处理部的第三传递路径PW3。在转换成第三传递路径PW3的状态下，当路径转换部220接收到表示AS工作模式的转换信号时，从第三传递路径PW3重新转换到第二传递路径PW2。 [0051] AVM用摄像头230包括拍摄车辆的左侧方周边、右侧方周边及后方周边的左侧方摄像头、右侧方摄像头及后方摄像头。其中，根据本发明一个实施例的AVM用摄像头230不包括拍摄车辆的前方周边的前方摄像头，这一点不同于现有AVM系统。 [0052] AVM影像处理部240通过执行影像处理生成表示车辆的360度周边状况的四信道影像，合成从AVM用摄像头230接收的左侧方影像、右侧方影像、后方影像及通过所述路径转换部220接收的右视点前方影像以构成如图3所示的四信道影像39。 [0053] 通过AVM影像处理部240构成的四信道影像39传输到显示单元90，显示单元90显示四信道影像39。 [0054] 驾驶员在驻车或倒车时可通过显示单元90显示的四信道影像39监控本车辆的360度周边状况。 [0055] 如上所述，根据本发明一个实施例的系统，AVM系统的前方摄像头被AS系统的立体摄像头替代。即，能够简化整个系统、降低费用。 [0056] 图6为显示根据本发明一个实施例的利用AVM系统监控车辆周边的方法的流程图。 [0057] 参照图6，首先在步骤S610中，车辆启动(ON)时设置于车辆前侧的立体摄像头的电源开启(ON)，立体摄像头进入能够运行的待工作状态。 [0058] 在步骤S612中，在立体摄像头处于待工作的状况下从变速器ECU接收到驻车模式(P)或倒车模式(R)时，向AVM影像处理部输入立体摄像头的一侧摄像头获取的前方影像。 [0059] 在步骤S614中，AVM影像处理部执行影像处理，即结合立体摄像头的一侧摄像头获取的前方影像与AVM用摄像头获取的左侧方影像、右侧方影像及后方影像构成四信道影像。 [0060] 在步骤S616中，通过车辆内的各种多媒体设备显示构成的四信道影像。 [0061] 另外，步骤S612中，未从变速器ECU接收到驻车模式(P)或倒车模式(R)时转到步骤S618。 [0062] 在步骤S618中，判断是否从变速器ECU接收到行驶模式(D)，在接收到行驶模式(D)时执行步骤S620。 [0063] 在步骤620中，判断从车速传感器接收的车速是不是低于预先设定的车速(例如，20km/h)的低速模式，在判断结果为低速模式时执行上述步骤S614及S616。 [0064] 在步骤S620的判断结果为从车速传感器接收的车速为预先设定的车速(例如，20km/h)以上的行驶模式时，在步骤S622中AS系统工作，在步骤S624中通过AS系统执行车辆主动控制。 [0065] 以上图4至图6的实施例说明了用车辆用主动安全系统用立体摄像头替代AVM系统的四信道摄像头中的前方摄像头的方法。 [0066] 为了利用AVM系统中使用的AVM用摄像头拍摄360度周边，需要搭载具有广角特性的广角透镜。然而，AS系统中使用的立体摄像头的用途非拍摄本车辆的360度周边，因此搭载的是具有窄角特性的窄角透镜。通过这种窄角透镜拍摄的影像的拍摄范围小于通过广角透镜拍摄的周边影像的拍摄范围，因此AVM系统可能无法实现完整的四信道影像。 [0067] 即，AVM系统利用立体摄像头内具有窄角特性的一侧摄像头获取的前方影像构成四信道影像的情况下如图7所示，无法显示区域P1、P2，因此无法显示用于监控本车辆的360度周边的完整四信道影像。 [0068] 对此，本发明另一实施的立体摄像头内的一个摄像头包括同时具有窄角特性及广角特性的液体透镜(Liquid lens)。并且，在具有液体透镜的所述一个摄像头与AVM系统之间形成信息传递路径，在AVM系统工作的情况下控制使得所述液体透镜具有广角特性，在AS系统工作的情况下控制使得所述液体透镜具有窄角特性。 [0069] 液体透镜 [0070] 图8至图10为说明根据本发明一个实施例的适用于立体摄像头的液体透镜的原理的示意图。 [0072] 并且，液体透镜包括具有圆筒壁的圆筒形状的流体腔5、配置于所述圆筒的内侧壁的流体接触层(contact layer)10、通过所述流体接触层10与所述第一流体A及第二流体B分离的第一电极2及激活所述第二流体B的第二电极12。 [0073] 所述第一电极2是圆筒形状，由金属性物质形成且涂布有绝缘层(insulating layer)8，所述第二电极12配置于流体腔5的一侧。并且，透明的前方要素4与透明的后方要素6形成容纳所述两种流体的所述流体腔5的外壳。 [0074] 液体透镜的工作如下所述。 [0076] 向所述第一电极与第二电极之间施加电压V1、V2、V3的情况下发生电润湿(electrowetting)，因此所述第二流体B的湿润性发生改变，因此图8至图10所示弯月面14的接触角Q1、Q2、Q3发生改变。因此，利用施加电压时弯月面的形状发生改变的原理调节所述液体透镜的焦点。 [0077] 即，根据图8至图10中施加的电压的大小，在第二流体B测定的所述弯月面14与流体接触层10之间的角度分别从钝角向锐角变化，例如变成约140°、100°、60°等。 [0078] 如上，通过施加的电压调节液体透镜的焦点，因此液体透能够兼具广角特性及窄角特性。 [0079] 以下说明利用具有上述说明的液体透镜的立体摄像头生成AVM影像的电子控制系统。 [0080] 图11为显示根据本发明另一实施例的车辆电子控制系统的示意图。 [0081] 参照图11，根据本发明另一实施例的车辆电子控制系统的AS系统用具有液体透镜的摄像头114'替代构成立体摄像头110'的一个摄像头。并且，还包括向所述液体透镜114-1施加电压使得在AS系统工作的情况下所述摄像头114'按照窄角特性工作，在AVM系统工作的情况下按照广角特性工作的电压施加部260。 [0082] 图11中的其他构件220、232、234、236、240的功能与图4中构件220、232、234、236、240的功能相同，因此省略以上构件的说明。 [0083] 但是，与图4的工作开始判断部210相比，图11中的工作开始判断部210'将图4所示实施例的判断结果发送给所述电压施加部260，这一点区别于图4中的工作开始判断部210。 [0084] 即，根据本发明另一实施例的工作开始判断部210'根据车辆的变速模式及车速模式判断使AS系统100或AVM系统200工作开始条件，并根据该判断结果向电压施加部260发送指示AS系统100的工作模式的AS工作模式信号与指示AVM系统的工作模式的AVM工作模式信号。 [0085] 电压施加部260在接收到AS工作模式信号的情况下，向所述液体透镜114-1施加第一电压使得构成立体摄像头的任意一个摄像头114'的液体透镜114-1按照窄角特性工作。 [0086] 相反，电压施加部260接收到AVM工作模式信号的情况下，向所述液体透镜114-1施加第二电压使得所述液体透镜114-1按照广角特性工作。 [0087] 如上所述，本发明另一实施例用具有在AVM工作模式按照广角特定性工作的液体透镜的立体摄像头替代AVM系统中四信道摄像头中的前方摄像头。 [0088] 最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。 |
||||||
