具有平移/缩放和虚拟俯视图的联结辅助 |
|||||||
| 申请号 | CN201610454271.3 | 申请日 | 2016-06-21 | 公开(公告)号 | CN106293385A | 公开(公告)日 | 2017-01-04 |
| 申请人 | 通用汽车环球科技运作有限责任公司; | 发明人 | J·王; W·张; R·M·弗雷克斯; M·A·乌尔格勒; R·D·西蒙斯三世; M·穆拉德; | ||||
| 摘要 | 一种用于通过 叠加 在倒车相机图像上的图形 覆盖 来提供视觉辅助以当拖车倒车时辅助车辆操作者将联结球与 挂车 牵引杆 耦接器对准的系统和方法，例如，该倒车相机图像显示在 触摸屏 上。该方法包括提供相机建模以将相机坐标中的相机图像与世界坐标相关联，其中相机建模提供图形覆盖以包括相机图像中的高度由挂车牵引杆耦接器的估计高度所确定的对准线。触摸屏也起到 人机界面 (HMI)的作用，其通过提供图像平移、图像缩放、 画中画 (PIP)和虚拟俯视联结图中的一个或多个来改进视觉辅助。 | ||||||
| 权利要求 | 1.一种用于提供辅助以在联结过程期间将拖车上的拖曳联结球与被拖车上的牵引杆对准的方法，所述方法包括： |
||||||
| 说明书全文 | 具有平移/缩放和虚拟俯视图的联结辅助[0001] 发明背景 技术领域[0002] 本发明总体涉及一种用于提供视觉辅助以将拖曳联结球和挂车牵引杆耦接器对准的系统和方法，并且更具体地涉及一种用于提供视觉辅助以在拖车倒车至被拖车时将拖曳联结球和挂车牵引杆耦接器对准的系统和方法，该方法包括提供作为后视相机图像中的图形覆盖的一部分的凸出对准线，其中该系统采用包括缩放、平移、画中画(PIP)和虚拟俯视联结图中的一个或多个的人机界面(HMI)。 [0003] 相关技术讨论 [0004] 某些车辆配备有拖曳联结装置，其允许挂车或其它被拖车与其耦接，从而使得拖车可拖曳挂车。通常，挂车联结装置安装至拖车的靠近车辆的后保险杠的后部支撑结构，并且包括具有一定直径的拖曳联结球。被拖车通常包括从被拖车的前端延伸的挂车牵引杆。挂车牵引杆通常包括其中联结球定位成将联结装置耦接至挂车牵引杆的耦接器。耦接器内的固定机构(诸如金属挡板)在其插入耦接器中以将牵引杆牢固地固定至联结装置时选择性地定位在该球周围。 [0005] 当被拖车脱离拖车时，挂车牵引杆通常支撑在高度可调的机座上，以使得耦接器在地面上方定位成比联结装置的球更高。当拖车的操作者将牵引杆附接至联结装置时，他将会使拖车倒车以将联结球定位成刚好在耦接器下方。一旦处于该位置，牵引杆便通过使机座下降而下降至该球上。 [0006] 通常，当拖车倒车以将被拖车连接至拖车时，车辆操作者需要大量的经验和技巧来将联结球精确地定位在牵引杆耦接器下方。无论操作者的技巧和经验如何，要将联结球精确地定位在合适的位置处几乎是不太可能的。因此，操作者通常必须使用挂车牵引杆来手动地将被拖车沿向右或向左或向前或向后方向移动，以提供精确对准。因为被拖车可能较大、沉重和笨重而难以移动，所以这通常是一项艰难的任务。 [0007] 现代车辆通常包括一个或多个相机，该相机提供视觉图像以提供倒车辅助、当车辆正在行驶时而出于碰撞避免目的提供道路图像、提供结构识别(诸如公路标志)等。用于车辆倒车辅助的相机系统通常采用视觉覆盖图形，该视觉覆盖图形叠加或覆盖在相机图像上以提供车辆倒车转向引导。对于其中图形覆盖在相机图像上的这些应用，精确地校准相机相对于车辆的位置和定向是至关重要的。相机校准通常涉及确定将相机图像坐标与车辆坐标(且反之亦然)相关联的一组参数。诸如相机焦距、光学中心等某些相机参数是稳定的，而诸如相机定向和位置的其它参数则是不稳定的。例如，相机的高度取决于车辆的负荷，该负荷将随时间改变。这种改变可导致车辆轨迹在相机图像上的覆盖图形变得不精确。 [0008] 2014年9月3日提交的标题为Smart Tow的第14/476,345号美国专利申请、2015年4月30日公布的转让给本申请的受让人的第2015/0115571号美国专利申请公开案公开了一种用于通过叠加在倒车相机图像上的图形覆盖来提供视觉辅助以在车辆倒车时辅助车辆操作者将拖曳联结球对准至挂车牵引杆的系统和方法。该方法包括提供相机建模以将车辆坐标中的相机图像与世界坐标关联，其中相机建模提供图形覆盖以包括相机图像中的高度由挂车牵引杆的估计高度所确定的拖曳线。该方法还包括提供车辆动态建模，以便在车辆围绕旋转中心移动时识别其运动。该方法接着预测该车辆在转向时的路径，其中包括计算旋转中心。 [0009] '345申请中的上述系统在将联结球对准至挂车牵引杆耦接器时能有效地向车辆操作者提供视觉辅助。然而，可结合此视觉辅助提供另外的元件，以改进联结球对准辅助。 发明内容[0010] 本发明公开并且描述了一种用于通过叠加在倒车相机图像上的图形覆盖来提供视觉辅助以当拖车倒车时辅助车辆操作者将联结球与挂车牵引杆耦接器对准的系统和方法，例如，该倒车相机图像显示在触摸屏上。该方法包括提供相机建模以将相机坐标中的相机图像与世界坐标关联，其中相机建模提供图形覆盖以包括相机图像中的高度由挂车牵引杆耦接器的估计高度所确定的对准线。触摸屏也起到人机界面(HMI)的作用，其通过提供图像平移、图像缩放、画中画(PIP)和虚拟俯视联结图中的一个或多个来改进视觉辅助。 附图说明[0012] 图1是后视相机图像的图示，其示出了相对于挂车后退的车辆，该车辆包括拖曳联结球，该挂车包括具有耦接器的挂车牵引杆，还示出了辅助联结球对准的HMI； [0013] 图2是图1中示出的相机图像的图示，其中车辆更靠近挂车； [0014] 图3是图2中示出的图像的虚拟俯视联结图的示意图；以及 [0015] 图4是示出了视觉拖曳辅助方法的操作的流程图。 具体实施方式[0016] 下文中对本发明实施例的讨论针对一种包括HMI组件的系统和方法，用于为驾驶拖车的驾驶员提供视觉辅助，以使用后视相机图像上的图形覆盖将拖曳联结球与挂车牵引杆对准，而该讨论在本质上仅仅是示例性的，且决不以任何方式意图限制本发明或其应用或用途。例如，如所讨论的，该系统和方法具有将车辆定位来使得拖曳联结球与挂车牵引杆耦接器对准的特定应用。然而，如本领域技术人员将会理解的，该系统和方法可以具有用于其它移动平台的应用，这些移动平台如火车、机器、拖拉机、船、娱乐车等等。 [0017] 本发明提出一种用于通过使用后视相机图像上叠加的图形覆盖来提供倒车视觉辅助以便在拖曳联结球与挂车牵引杆耦接器对准时对车辆操作者进行辅助的系统和方法，其中，该方法使用包括图像平移、图像缩放、画中画和虚拟俯视联结图的HMI组件。 [0018] 图1是图示8，其包括显示后视相机图像12的车辆触摸屏10，后视相机图像12来自于安装在图像12所示的车辆14后部的后视相机(见图4)，其中车辆14包括拖曳联结装置16，其具有从其延伸的拖曳联结球18。在一个实施例中，屏幕10是车辆14的中控台控制区域的一部分。倒车辅助系统20通常示出在车辆14上并且包括如下所述的本发明所需的所有内容：相机、相机图像处理器、算法、GPS、地图数据库、无线通信、控制器、CAN总线等。框22表示了车辆14上的显示装置，图像12可以在该装置上显示，以允许车辆操作者观看图像12。图像12示出了车辆14后面的挂车24，挂车24包括具有耦接器28的挂车牵引杆26，耦接器28定位在地面30上方一段距离处并高于拖曳联结球18。图2是触摸屏10的另一视图，其中后视图像 12示出了更靠近挂车24的车辆14。 [0019] 如下面将详细讨论的，倒车辅助系统20通过图像12上的图形覆盖32来提供视觉反馈和联结对准辅助，其中图形覆盖32包括叠加在图像12中的地面30之上的侧杆34和横杆36。此外，图形覆盖32包括挂车联结对准线38，其在图像12中覆盖在地面30上方的一定距离处，该距离是基于挂车牵引杆26离地面30的高度的估计值。连接到挂车联结对准线38的竖杆40表明，挂车联结对准线38已升离地面30。应当注意的是，竖杆40、侧杆34和横杆36仅仅是为了方便，不需要为了如本文所述的系统功能而显示在图像12中。当车辆操作者转动车辆方向盘时，覆盖32相对于车辆14旋转并移动，以显示任何一个时间点上车辆14的当前倒车路径。将图形覆盖32叠加到相机图像12上所需的基本程序和过程对本领域技术人员来说是公知的。 [0020] 在一个实施例中，倒车辅助系统20采用三步过程，其中，第一步包括相机建模，以将相机坐标中提供的图形覆盖32建模到地面30上的车辆坐标以及建模到挂车牵引杆26离地面30的高度的估计值，并令覆盖32在图像12中适当居中，其中，相机可能没有在车辆14的后部居中。相机模型还可以提供图像去扭曲，令鱼眼图像的图像平面扁平化。为此目的的相机建模是本领域技术人员所周知的，而且进行此类建模的许多算法也是已知的。一个合适的例子可见于2013年3月15日提交的标题为Wide FOV Camera Image Calibration and De-warping的第13/843,978号美国专利申请和2014年3月27日公布的转让给本申请的受让人的第2014/0085409号美国专利申请公开案。这种类型的相机建模通常包括确定将相机图像坐标关联到车辆坐标(且反之亦然)的一组参数。诸如相机焦距、光学中心等某些相机参数是稳定的，而诸如相机定向和位置的其它参数则是不稳定的。例如，相机的高度取决于车辆的负荷，该负荷将随时间改变。这种改变可导致车辆轨迹在相机图像12上的图形覆盖32变得不精确。 [0021] 该过程中的下一个步骤包括执行车辆动态建模以对车辆14的动态或运动进行建模，从而使得可预测当车辆14在倒车时的车辆路径并且可在车辆操作者在倒车操控期间将车辆14转向时精确地调整覆盖32。通过采用车辆动态模型，算法可响应于车辆操作者在倒车操控期间将车辆14转向而计算车辆14如何转弯。上文提及的'345申请提供了关于如何执行动态建模的详细讨论。一旦车辆14进行了建模且关联了坐标系统，那么，该过程中的下一个步骤便是预测车辆14在朝向挂车24倒车时其在世界坐标中的路径。'345申请还提供了关于如何执行此步骤的详细讨论。 [0022] 为了进一步增强如本文所述的视觉辅助，本发明提出了采用通过各种技术(诸如具有手指或触控笔输入的触摸屏、物理按钮或旋钮、手势识别等)来使用车辆操作者输入的HMI组件，以允许车辆操作者改变后视图像12，进而改进视觉倒车辅助。例如，包括位于车辆14的乘客车厢内部的相机的驾驶员监测系统(DMS)可以提供可用作界面的车辆操作者的手势的图像。如下文将讨论的，HMI组件包括(例如)图像平移、图像缩放、PIP和俯视联结图，它们可用来增强图像12中的关注区域，诸如将图像移位和缩放以相对于联结引导对准线38放大挂车牵引杆/耦接器区域。如将讨论的，HMI组件允许(例如)当车辆14靠近挂车14时，车辆操作者或车辆14上的感测系统在常规的后视图与合成的虚拟俯视联结图之间切换，其中系统20将自动地切换至虚拟俯视联结图，这要么是手动地通过用户输入，要么是自动地通过传感器检测，诸如超声传感器、视觉传感器等。 [0023] 这些HMI组件在此非限制性示例中是作为屏幕10上的触摸屏输入提供。例如，屏幕10包括右平移箭头40和左平移箭头42以及上平移箭头54和下平移箭头56(为了清楚起见，仅在图1中示出)，这些箭头允许图像12以虚拟方式通过合适的软件算法在某个旋转度范围内通过按下箭头40、42、54和56而移位至右侧和左侧以及上方和下方。HMI组件还包括正缩放按钮44和负缩放按钮46，这些按钮允许图像12以虚拟方式通过合适的软件算法放大和缩小，进而放大图像12中的特定区域。例如，当挂车24远离车辆14时，耦接器28在图像12中并非清楚可见，因此，可能需要放大该特征。平移和缩放特征可结合使用以隔离和放大图像12中的任何区域。 [0024] HMI组件还包括联结图按钮48，其使图像12从常规视图变为俯视联结图。图3是包括俯视联结图中如图2中所示的图像12的屏幕10的图示，其中车辆14和挂车24是在相同位置处。这种虚拟俯视联结图是可行的，这是因为后视相机的定向通常下斜，其中需要进行校准来提供相对于车辆14定向的后视图像。一旦联结球18进入由例如车辆14上的超声传感器50检测到的联结耦接器28的某个范围内，系统20便可自动地提供俯视联结图。联结图按钮 48上的条52通过当图像12是在俯视联结图中时改变颜色来提供指示。 [0025] HMI组件还包括PIP按钮60，该PIP按钮60在其被按下时使得在图像12的拐角中提供小的PIP图像62，这可为虚拟俯视联结图。切换按钮64与PIP按钮60相关联，从而使得当按下切换按钮64时，主图像12和PIP图像62进行切换。图2将主图像12示为正常视图且将PIP图像12示为俯视联结图，而图3将主图像12示为俯视联结图且将PIP图像12示为正常视图。PIP按钮60可在其被按下时改变颜色，以向用户提供PIP图像62被提供的指示。HMI组件还包括联结模式退出按钮64，其可例如通过消除对准线38来使系统20退出联结模式辅助。 [0026] 应注意，在替代实施例中，所有平移、缩放、PIP和俯视联结图可能不一定被采用，其中可提供这些特征的任何组合。例如，一种替代方式可以采用正常视图和具有预定义缩放和平移位置但不能提供平移、缩放和PIP的俯视联结图。 [0027] 图4是示出了用于提供如上所述的视觉倒车辅助的过程的流程图70。在框72处获得需要用来生成图形覆盖32的车辆信息，诸如车辆转向角。在框74处为由后视相机76提供的相机图像提供相机校准。在框78处提供来自HMI组件的HMI用户界面信号且在框80处提供相机视频流。算法使用来自框72的车辆信息以及来自框74的相机校准数据来在框82处生成如上所述的图形覆盖32。算法接着在判定菱形框84处确定是否已激活联结辅助模式来提供视觉辅助，且如果没有激活，那么该算法进行至显示模式框86以显示无对准线38的图形覆盖32。如果已在判定菱形框84处激活了联结辅助模式，那么该算法在框88处使用来自框74的相机校准信息以及来自框72的车辆信息来生成对准线38。该算法还在判定菱形框90处确定车辆14是否处于联结辅助模式中，如果不是，那么该算法使用相机数据来在框92处生成图形覆盖32。如果已在判定菱形框90处激活了联结辅助模式，那么该算法在判定菱形框94处确定是否应使用相机数据来提供俯视联结图和画中画，如果是，那么该算法在框96处使用来自框74的相机校准信息来生成俯视联结图。如果在判定菱形框94处没有请求俯视联结图或在框96处生成了俯视联结图或在框88处生成了对准线，那么该算法在框98处使用来自框78的HMI用户界面信息以及来自框88的对准线来绘制对准线38。该算法接着进行至框100处的联结显示模式。 [0028] 如本领域技术人员将充分理解的，本文讨论的用来描述本发明的若干和不同步骤和过程可以指的是由计算机、处理器或使用电现象操控和/或变换数据的其他电子计算装置执行的操作。这些计算机和电子装置可以采用包括非暂时性计算机可读介质的各种易失性和/或非易失性存储器，该非暂时性计算机具有其上存储的包括能够由计算机或处理器执行的各种代码或可执行指令的可执行程序，其中存储器和/或计算机可读介质可以包括所有形式和类型的存储器以及其他计算机可读介质。 [0029] 前述讨论仅仅公开且描述了本发明的示例性实施例。本领域技术人员将容易从此讨论和附图以及权利要求书中认识到，在不脱离如以下权利要求书中界定的本发明的精神和范围的情况下可在其中进行不同改变、修改和变型。 |
||||||
QQ群二维码
意见反馈
意见反馈