与图像裁剪叠加的动态参考

申请号 CN201310211936.4 申请日 2013-05-31 公开(公告)号 CN103448634A 公开(公告)日 2013-12-18
申请人 通用汽车环球科技运作有限责任公司; 发明人 W.张; B.B.利特库希; K.S.利贝克;
摘要 本 发明 涉及与图像裁剪 叠加 的动态参考。一种用于在从摄像装置获得的裁剪后的图像上动态配准图形的方法包括捕获从摄像装置获得的原始图像。监测摄像装置的内在校准信息、摄像装置的外部信息和车辆信息。基于裁剪参数生成裁剪后的图像以便从原始图像排除不需要的内容。基于与裁剪参数的关系调整内在校准信息。基于调整后的摄像装置的内在校准信息、监测的摄像装置的外部信息和监测的车辆信息将图形动态地配准在裁剪后的图像上。
权利要求

1.一种用于在从摄像装置获得的裁剪后的图像上动态地配准图形的方法,包括:
捕获从所述摄像装置获得的原始图像;
监测所述摄像装置的内在校准信息、所述摄像装置的外部信息和车辆信息;
基于裁剪参数生成所述裁剪后的图像以便从所述原始图像排除不需要的内容;
基于与所述裁剪参数的关系调整所述内在校准信息;以及
基于所述调整后的所述摄像装置的内在校准信息、所述监测的所述摄像装置的外部信息和所述监测的车辆信息将所述图形动态地配准在所述裁剪后的图像上。
2.根据权利要求1所述的方法,其中所述摄像装置包括后部摄像装置、前部摄像装置和侧视摄像装置中的至少一个。
3.根据权利要求2所述的方法,其中所述动态配准的图形包括表示在所述车辆后方的期望路径和位置信息的动态参考叠加特征。
4.根据权利要求1所述的方法,其中所述裁剪参数被构造成缩小沿第一轴线的所述原始图像的一部分和沿垂直于所述第一轴线的第二轴线的所述原始图像的一部分中的至少一个。
5.根据权利要求4所述的方法,其中所述第一轴线与图像宽度相关联,并且所述第二轴线与图像高度相关联。
6.根据权利要求4所述的方法,其中所述裁剪参数基于设置所述摄像装置的车辆的尺寸和设计来预定。
7.根据权利要求4所述的方法,其中所述裁剪参数包括在所述原始图像内的用户定义的感兴趣区域并且排除在所述感兴趣区域以外的用户定义的区域。
8.根据权利要求4所述的方法,其中所述摄像装置的所述内在校准信息包括所述摄像装置的焦距参数,并且其中基于与所述裁剪参数的所述关系调整所述内在校准信息包括:
基于在第一焦距参数、构造成缩小沿所述第一轴线的所述原始图像的所述部分的所述裁剪参数之间的数学关系而更新垂直于所述第一轴线的第一焦距参数;以及基于在第二焦距参数、构造成缩小沿所述第二轴线的所述原始图像的所述部分的所述裁剪参数之间的数学关系而更新垂直于所述第二轴线的第二焦距参数。
9.根据权利要求8所述的方法,其中所述摄像装置的所述内在校准信息还包括光学中心参数,并且其中基于与所述裁剪参数的所述关系调整所述内在校准信息还包括:
基于在第一光学中心参数、构造成缩小沿所述第一轴线的所述原始图像的所述部分的所述裁剪参数之间的数学关系而更新相对于所述第一轴线的所述第一光学中心参数;以及基于在第二光学中心参数、构造成缩小沿所述第二轴线的所述原始图像的所述部分的所述裁剪参数之间的数学关系而更新相对于所述第二轴线的所述第二光学中心参数。
10.一种用于在从摄像装置获得的裁剪后的图像上配准图形的方法,包括:
捕获从后部宽视场摄像装置获得的具有在车辆后方的视的原始后方图像,所述后部宽视场摄像装置定位成靠近所述车辆的后端;
监测包括焦距参数和光学中心参数的所述摄像装置的内在校准信息;
监测所述摄像装置的径向失真参数;
监测包括位置参数和定向参数的所述摄像装置的外部信息;
监测包括车辆速度、定向和转向角度参数的车辆信息;
基于预定的裁剪参数生成所述裁剪后的图像以便从所述原始图像排除不需要的内容,所述预定的裁剪参数被构造成缩小所述原始后方图像的一部分;
基于与所述预定裁剪参数的关系而更新所述内在校准信息,包括:
基于在第一焦距参数、构造成缩小沿第一轴线的所述原始图像的所述部分的所述预定裁剪参数之间的数学关系而更新沿所述第一轴线的所述第一焦距参数;以及基于在第二焦距参数、构造成缩小沿第二轴线的所述原始图像的所述部分的所述预定裁剪参数之间的数学关系而更新沿所述第二轴线的所述第二焦距参数,
基于在第一光学中心参数、构造成缩小沿第一轴线的所述原始图像的所述部分的所述预定裁剪参数之间的数学关系而更新沿所述第一轴线的所述第一光学中心参数,以及基于在第二光学中心参数、构造成缩小沿第二轴线的所述原始图像的所述部分的所述预定裁剪参数之间的数学关系而更新沿所述第二轴线的所述第二光学中心参数;
基于所述调整后的所述摄像装置的内在校准信息、所述监测的所述摄像装置的径向失真参数、所述监测的所述摄像装置的外部信息和所述监测的车辆信息而将所述图形动态地配准在所述裁剪后的图像上;以及
在图形投影显示器上显示所述裁剪后的图像和在所述裁剪后的图像上的所述动态配准的图形,所述图形投影显示器包括触摸屏显示器、人机界面显示器、后视镜显示器、侧视镜显示器和显示监视器中的一种。

说明书全文

与图像裁剪叠加的动态参考

技术领域

[0001] 本公开涉及车辆视觉系统。

背景技术

[0002] 此部分中的陈述仅提供与本公开有关的背景信息。因此,这样的陈述并非意图构成对现有技术的承认。
[0003] 现代化车辆可包括一个或多个摄像装置,该摄像装置提供例如倒车辅助、在车辆行驶时表示道路状况和操纵的道路的图像、以及沿道路或靠近道路的显示标牌的图像。对于将图形叠加到摄像图像上的应用来说,重要的是为摄像装置准确地校准焦距参数和光学中心参数。如果诸如焦距参数和光学中心参数的内在校准信息未准确地校准或调整,则裁剪摄像图像可导致叠加的摄像图像不准确。
[0004] 例如,已经知道将校准图案或网格应用到多个需要校准的图像上。校准点在每个图像上相对于校准图案或网格被手动加标签,尤其是对于宽视场摄像机来说。对校准点手动加标签作为单独的后道摄像机校准或售后摄像调整而进行,这导致耗时的摄像机校准过程。
[0005] 希望提供一种快速而可靠的方法,以便能够相对于校准摄像装置的内在校准信息来说以对现有生产系统的最小改变在摄像装置上实现具有图像裁剪功能的动态参考叠加特征(dynamic guideline overlay feature)。发明内容
[0006] 一种用于在从摄像装置获得的裁剪后的图像上动态配准图形的方法包括捕获从摄像装置获得的原始图像。监测摄像装置的内在校准信息、摄像装置的外部信息和车辆信息。基于裁剪参数生成裁剪后的图像以便从原始图像排除不需要的内容。基于与裁剪参数的关系调整内在校准信息。基于调整后的摄像装置的内在校准信息、监测的摄像装置的外部信息和监测的车辆信息将图形动态地配准在裁剪后的图像上。
[0007] 本发明提供下列技术方案。
[0008] 技术方案1. 一种用于在从摄像装置获得的裁剪后的图像上动态地配准图形的方法,包括:捕获从所述摄像装置获得的原始图像;
监测所述摄像装置的内在校准信息、所述摄像装置的外部信息和车辆信息;
基于裁剪参数生成所述裁剪后的图像以便从所述原始图像排除不需要的内容;
基于与所述裁剪参数的关系调整所述内在校准信息;以及
基于所述调整后的所述摄像装置的内在校准信息、所述监测的所述摄像装置的外部信息和所述监测的车辆信息将所述图形动态地配准在所述裁剪后的图像上。
[0009] 技术方案2. 根据技术方案1所述的方法,其中所述摄像装置包括后部摄像装置、前部摄像装置和侧视摄像装置中的至少一个。
[0010] 技术方案3. 根据技术方案2所述的方法,其中所述动态配准的图形包括表示在所述车辆后方的期望路径和位置信息的动态参考叠加特征。
[0011] 技术方案4. 根据技术方案1所述的方法,其中所述裁剪参数被构造成缩小沿第一轴线的所述原始图像的一部分和沿垂直于所述第一轴线的第二轴线的所述原始图像的一部分中的至少一个。
[0012] 技术方案5. 根据技术方案4所述的方法,其中所述第一轴线与图像宽度相关联,并且所述第二轴线与图像高度相关联。
[0013] 技术方案6. 根据技术方案4所述的方法,其中所述裁剪参数基于设置所述摄像装置的车辆的尺寸和设计来预定。
[0014] 技术方案7. 根据技术方案4所述的方法,其中所述裁剪参数包括在所述原始图像内的用户定义的感兴趣区域并且排除在所述感兴趣区域以外的用户定义的区域。
[0015] 技术方案8. 根据技术方案4所述的方法,其中所述摄像装置的所述内在校准信息包括所述摄像装置的焦距参数,并且其中基于与所述裁剪参数的所述关系调整所述内在校准信息包括:基于在第一焦距参数、构造成缩小沿所述第一轴线的所述原始图像的所述部分的所述裁剪参数之间的数学关系而更新垂直于所述第一轴线的第一焦距参数;以及基于在第二焦距参数、构造成缩小沿所述第二轴线的所述原始图像的所述部分的所述裁剪参数之间的数学关系而更新垂直于所述第二轴线的第二焦距参数。
[0016] 技术方案9. 根据技术方案8所述的方法,其中所述摄像装置的所述内在校准信息还包括光学中心参数,并且其中基于与所述裁剪参数的所述关系调整所述内在校准信息还包括:基于在第一光学中心参数、构造成缩小沿所述第一轴线的所述原始图像的所述部分的所述裁剪参数之间的数学关系而更新相对于所述第一轴线的所述第一光学中心参数;以及基于在第二光学中心参数、构造成缩小沿所述第二轴线的所述原始图像的所述部分的所述裁剪参数之间的数学关系而更新相对于所述第二轴线的所述第二光学中心参数。
[0017] 技术方案10. 根据技术方案4所述的方法,其中所述摄像装置的所述内在校准信息包括与所述原始图像相关联的多个像素,并且其中基于与所述裁剪参数的所述关系调整所述内在校准信息包括:在所述原始图像上施加具有第三轴线和第四轴线的二维网格,所述第四轴线垂直于所述第三轴线;
相对于施加在所述原始图像上的所述二维网格对所述多个像素手动加标签,每个像素具有相对于所述第三和第四轴线的相应的坐标;以及
将与所述原始图像相关联的所述多个像素转移到所述裁剪后的图像,包括:
基于在相对于所述第一轴线的所述多个像素、构造成缩小沿所述第一轴线的所述原始图像的所述部分的所述裁剪参数之间的数学关系,重新校准在所述裁剪后的图像中所述多个像素中每一个相对于所述第一轴线的位置,以及
基于在相对于所述第二轴线的所述多个像素、构造成缩小沿所述第二轴线的所述原始图像的所述部分的所述裁剪参数之间的数学关系,重新校准在所述裁剪后的图像中所述多个像素中每一个相对于所述第二轴线的位置。
[0018] 技术方案11. 根据技术方案10所述的方法,其中所述第三轴线对应于世界坐标平轴线,并且所述第四轴线对应于世界坐标竖直轴线。
[0019] 技术方案12. 根据技术方案10所述的方法,其中所述内在校准信息还包括焦距参数和光学中心参数,所述方法还包括:监测所述摄像装置的径向失真参数;
监测相对于所述第三轴线的所述重新校准的多个像素和相对于所述第四轴线的所述重新校准的多个像素;
基于所述监测的焦距参数、所述光学中心参数、所述径向失真参数、所述外部信息、在所述裁剪后的图像中相对于所述第一轴线的每个重新校准的像素位置和在所述裁剪后的图像中相对于所述第二轴线的每个重新校准的像素位置,确定所述裁剪后的图像中相对于所述第一和第二轴线的预计像素误差;
比较相对于所述第一轴线的所述预计像素误差与第一阈值
比较相对于所述第二轴线的所述预计像素误差与第二阈值;以及
如果相对于所述第一轴线的所述预计像素误差大于所述第一阈值或相对于所述第二轴线的所述预计像素误差大于所述第二阈值,确定校准失败。
[0020] 技术方案13. 根据技术方案7所述的方法,还包括:响应于调整感兴趣的区域的用户输入动态地更新所述裁剪参数;以及
响应于所述动态更新的裁剪参数动态地调整所述内在校准信息。
[0021] 技术方案14. 根据技术方案13所述的方法,其中调整所述感兴趣区域的所述用户输入包括调整缩放范围系数以实现增加和减小所述所需感兴趣区域中的一者的所述用户输入。
[0022] 技术方案15. 根据技术方案7所述的方法,其中所述图形包括当所述所需感兴趣区域涵盖显示标牌时表示所述显示标牌的文本、符号和形状中至少一种的叠加图形,所述叠加图形被动态地配准在所述显示标牌上。
[0023] 技术方案16. 根据技术方案7所述的方法,还包括:监测与所述感兴趣区域有关的信息输入;
分析所述信息输入以检测感兴趣的特征;以及
基于所述感兴趣的特征确定用于在所述裁剪后的图像上的动态配准的所述图形。
[0024] 技术方案17. 根据技术方案16所述的方法,其中所述感兴趣的特征包括即将出现的操纵点,并且所述图形包括表示所述即将出现的操纵点的导航状况图形。
[0025] 技术方案18. 根据技术方案16所述的方法,其中:所述感兴趣的特征包括行人、车道线和车辆中的至少一种;并且
所述图形包括表示所述感兴趣的特征的高亮图形。
[0026] 技术方案19. 根据技术方案1所述的方法,还包括:在图形投影显示器上显示所述裁剪后的图像和在所述裁剪后的图像上的所述动态配准的图形,所述图形投影显示器包括触摸屏显示器、人机界面显示器、后视镜显示器、侧视镜显示器和显示监视器中的一种。
[0027] 技术方案20. 一种用于在从摄像装置获得的裁剪后的图像上配准图形的方法,包括:捕获从后部宽视场摄像装置获得的具有在车辆后方的视的原始后方图像,所述后部宽视场摄像装置定位成靠近所述车辆的后端;
监测包括焦距参数和光学中心参数的所述摄像装置的内在校准信息;
监测所述摄像装置的径向失真参数;
监测包括位置参数和定向参数的所述摄像装置的外部信息;
监测包括车辆速度、定向和转向角度参数的车辆信息;
基于预定的裁剪参数生成所述裁剪后的图像以便从所述原始图像排除不需要的内容,所述预定的裁剪参数被构造成缩小所述原始后方图像的一部分;
基于与所述预定裁剪参数的关系而更新所述内在校准信息,包括:
基于在第一焦距参数、构造成缩小沿第一轴线的所述原始图像的所述部分的所述预定裁剪参数之间的数学关系而更新沿所述第一轴线的所述第一焦距参数;以及基于在第二焦距参数、构造成缩小沿第二轴线的所述原始图像的所述部分的所述预定裁剪参数之间的数学关系而更新沿所述第二轴线的所述第二焦距参数,
基于在第一光学中心参数、构造成缩小沿第一轴线的所述原始图像的所述部分的所述预定裁剪参数之间的数学关系而更新沿所述第一轴线的所述第一光学中心参数,以及基于在第二光学中心参数、构造成缩小沿第二轴线的所述原始图像的所述部分的所述预定裁剪参数之间的数学关系而更新沿所述第二轴线的所述第二光学中心参数;
基于所述调整后的所述摄像装置的内在校准信息、所述监测的所述摄像装置的径向失真参数、所述监测的所述摄像装置的外部信息和所述监测的车辆信息而将所述图形动态地配准在所述裁剪后的图像上;以及
在图形投影显示器上显示所述裁剪后的图像和在所述裁剪后的图像上的所述动态配准的图形,所述图形投影显示器包括触摸屏显示器、人机界面显示器、后视镜显示器、侧视镜显示器和显示监视器中的一种。
附图说明
[0028] 现在将以举例方式参照附图描述一个或多个实施例,在附图中:图1示出根据本公开的配有至少一个摄像装置和显示系统的示例性车辆;
图2示出根据本公开的从车辆后部针孔摄像装置获得的原始图像和构造成从原始图像排除不需要的内容的裁剪参数;
图3示出根据本公开的基于图2所示裁剪参数生成的裁剪后的图像;
图4示出根据本公开的用于在从摄像装置获得的裁剪后的图像上动态配准图形的示例性流程图
图5示出根据本公开的用于在图形投影显示器上显示在裁剪后的图像上动态配准的图形的示例性显示系统;
图6和图7示出根据本公开的相对于初始图像的用于摄像装置的焦距参数和光学中心参数以及相对于裁剪后的图像的用于摄像装置的更新的焦距参数和更新的光学中心参数;
图8示出初始图像、基于为涵盖初始图像内的所需感兴趣区域而由用户定义的裁剪参数生成的裁剪后的图像、以及在所需的感兴趣区域涵盖显示标牌时表示显示标牌的内容的叠加图形;
图9示出根据本公开的从具有变化的视角的后部摄像装置获得的后方图像,后方图像中的每一个与相应的视角和相应的裁剪参数相关联;
图10示出根据本公开的描绘车辆前方的驾驶场景的从前部摄像装置获得的前方图像;
图11示出根据本公开的相对于施加在原始图像上的二维网格被手动加标签的多个像素;以及
图12示出根据本公开的用于确定相对于裁剪后的图像中的第一和第二轴线的预计像素误差的预计误差。

具体实施方式

[0029] 现在参看附图,其中所示内容仅仅为了说明某些示例性实施例,而不是为了对其进行限制,图1示出根据本公开的配有至少一个摄像装置和显示系统145的示例性车辆5。至少一个摄像装置可包括后部摄像装置102,其靠近车辆5的后端并且被构造成获得具有在车辆后方的视角的后方图像。例如,后部摄像装置102可以是定位成靠近车辆后牌照的宽视场(FOV)摄像装置。至少一个摄像装置还可包括前部摄像装置104,其被构造成获得具有车辆前方的视角的前方图像。至少一个摄像装置还可包括至少一个侧视摄像装置103,其被构造成获得具有车辆的一侧或两侧的视角的侧视图像。因此,摄像装置可包括后部摄像装置102、前部摄像装置104和侧视摄像装置103中的一个或多个。应当理解,摄像装置
102和/或104可以是可调整的,以便能够实现宽范围的视角。车辆5还包括图形投影显示器,包括但不限于显示监视器152、侧视镜显示器154和后视镜显示器156,其中显示监视器
152可以是单独的或具有触摸屏显示器的人机界面(HMI)装置的一部分。车辆5还包括第一检测装置模160、第二检测装置模块161和第三检测装置模块170,分别用于监测和分析靠近车辆的信息输入以确定感兴趣的特征。第一检测装置模块160可包括前部激光雷达装置、前部激光装置、前部雷达装置和与3D地图数据库结合的GPS装置。第二检测装置模块
161可包括后部激光雷达装置、后部激光装置和后部雷达装置。第三检测装置模块170可包括无线通信接收机、车辆间信息收发机、无线通信收发机和车辆到基础设施信息接收机。车辆还包括多个车辆信息传感器,包括车辆速度传感器129、前部转向角度传感器130、后转向角度传感器132和偏航角速度传感器134。下文参照图5更详细讨论的显示系统145包括摄像机校准模块140和图形投影显示模块150。显示系统145包括可编程处理器,其包括程序以分别监测后部宽FOV摄像装置102、至少一个侧视摄像装置103、前部摄像装置104、车辆信息传感器以及第一检测装置模块160、第二检测装置模块161和第三检测装置模块
170。为简单起见,本文将仅引用后部摄像装置102,除非另外指明。如将要更详细讨论的,显示系统150基于用于后部摄像装置102的调整后的内在校准信息在裁剪后的图像上动态地配准图形,并且在图形投影显示器上显示裁剪后的图像和在裁剪后的图像上动态配准的图形。显示系统145可以与各种系统和装置直接通信,或者显示系统145可以通过LAN/CAN系统115通信。激光雷达装置包括能够通过用光照射靠近车辆的道路信息而测量到车辆的距离或靠近车辆的信息的其它性质的本领域已知的装置。雷达装置包括利用电磁辐射来检测靠近车辆的信息的本领域已知的装置。激光装置包括能够通过利用投射到靠近车辆的目标的微波无线电波的脉冲而测量到靠近车辆的信息的距离的本领域已知的装置。车辆间信息收发机可以与道路上的其它车辆通信以监测靠近车辆的信息。车辆到基础设施接收机可以接收监测到的从沿道路定位的基础设施收发机发射的信息。车辆速度传感器129、前转向角度传感器130、后转向角度传感器132和偏航角速度传感器134被描绘为提供此类车辆信息的传感器,其表示包括车辆运动参数的车辆操作,但本公开意图包括用来由显示系统
145使用的任何此类传感器。GPS装置是用于与诸如卫星系统的车辆外部的资源通信的本领域已知的装置。GPS装置可以结合3D地图数据库使用,该数据库包括与由GPS装置接收的地球坐标有关的关于车辆的当前位置的详细信息并跟踪此前经历的GPS信息。
[0030] 图2示出根据本公开的从车辆后部摄像装置获得的原始图像10以及第一裁剪参数2、第二裁剪参数4、第三裁剪参数6和第四裁剪参数8,这些参数分别被构造成从原始图像排除不需要的内容。在一个示例性实施例中,来自原始图像的不需要的内容包括多余的车辆保险杠区域14。然而,不需要的内容可包括在原始图像10内不需要查看的任何内容。原始图像10包括从后部摄像装置(例如,图1所示后部摄像装置102)获得的具有在车辆后方的视角的后方图像,其中后部摄像装置包括后部宽FOV摄像装置。例如,后部宽FOV摄像装置可定位成靠近车辆后牌照。裁剪参数2、4、6、8被构造成缩小沿第一轴线0的原始图像
10的一部分和沿第二轴线1的原始图像10的一部分中的至少一者。每一个裁剪参数可以以正被缩小的原始图像部分的百分比来表示。包括动态参考叠加特征16的图形在由裁剪参数2、4、6、8限定的区域内示出并且将参照图3进行讨论。第一轴线0对应于图像宽度。
因此,沿第一轴线0的原始图像10的一部分分别利用第三裁剪参数6和第四裁剪参数8来缩小。第二轴线1垂直于第一轴线并且对应于图像高度。因此,沿第二轴线1的原始图像
10的一部分分别利用第二裁剪参数2和第三裁剪参数4来缩小。在一个示例性实施例中,裁剪参数基于设置摄像装置的所选车辆的尺寸和设计来预定。在另一个示例性实施例中,裁剪参数为用户定义的,以便涵盖原始图像内的所需感兴趣区域并排除所需感兴趣区域之外的不需要的内容。
[0031] 图3示出根据本公开的基于图2所示裁剪参数2、4、6、8生成的裁剪后的图像12。如图3所示,裁剪后的图像12对应于由图2的裁剪参数2、4、6、8封闭的区域,从而有效地排除原始图像10中不需要的内容,例如保险杠区域14。应当理解,摄像装置包含诸如后部摄像装置102的摄像装置固有的内在校准信息和外部信息。基于裁剪参数生成裁剪后的图像需要调整该内在校准信息,以使得诸如动态参考叠加特征16的图形能被准确地动态配准在裁剪后的图像12上,以便最终显示在诸如显示监视器152的图形投影显示器上。摄像装置的外部校准信息包括位置参数和定向参数,并且不受裁剪后的图像的生成的影响。调整内在校准信息基于与裁剪参数2、4、6、8的关系,并且将在下文中更详细地讨论。在一个示例性实施例中,包括动态参考叠加特征16的动态配准的图形提供在车辆后方的期望路径和位置信息。例如,动态参考叠加特征16可提供帮助驾驶员将车倒至停车位的期望路径和与停车位有关的车辆的位置信息。在一个实施例中,动态参考叠加特征16被动态地配准在裁剪后的图像12上并且显示在图形投影显示器上,以便车辆的操作者在用户选择车辆的倒车操作时查看。其它实施例包括用于从车辆前方的前部摄像装置获得的图像和/或从相应的侧视摄像装置获得的从车辆任一侧获得的图像的动态参考叠加特征。还应当理解,后部、前部和侧视摄像装置可以合成以获得俯视图图像,其中动态参考特征可以被动态地配准在这样的俯视图上。
[0032] 图4示出根据本公开的用于在从摄像装置获得的裁剪后的图像上动态地配准图形的示例性流程图400。在该示例性实施例中,流程图400动态地配准包括图3所示裁剪后的图像12的动态参考叠加特征16的图形,除非另行说明。表1作为图4的要点提供,其中带数字编号的框和对应的功能阐述如下。
[0033] 流程图400集成在图1的前述显示系统145的可编程处理器内并且在图5中详细描述。因此,在流程图400的带数字编号的框的整个讨论中将引用图5。图5所示显示系统145包括摄像机校准模块140和图形投影显示模块150。摄像机校准模块140包括信息模块552、调整模块554、裁剪参数模块556和动态配准模块558。
[0034] 控制模块、模块、控制、控制器、控制单元、处理器和类似的术语表示下列中的一个或多个的任一个或各种组合:(多个)专用集成电路(ASIC)、(多个)电子电路、(多个)中央处理器(优选(多个)微处理器)和执行一个或多个软件固件程序或例程的相关联的存储器和存储装置(只读、可编程只读、随机存取、硬盘驱动器等)、(多个)组合逻辑电路、(多个)输入/输出电路和装置、合适的信号调节和缓冲电路、以及提供所述功能的其它部件。软件、固件、程序、指令、例程、代码、算法和类似术语表示包括校准值和查找表的任何控制器可执行的指令集。 控制模块具有为提供所需功能而执行的一组控制例程。例程例如通过中央处理器执行,并操作用于监测来自感测装置和其它联网控制模块的输入,并且执行控制和诊断例程以控制致动器的操作。例程可以以规则的间隔执行,例如,在进行中的发动机和车辆操作期间每隔3.125、6.25、12.5、25和100毫秒进行一次。
[0035] 流程图400始于框402,其中捕获从摄像装置获得的原始图像。在一个示例性实施例中,原始图像包括图2的原始图像10。
[0036] 参看框404,由信息模块552监测摄像装置的内在校准信息553、摄像装置的外部信息555、摄像装置的径向失真参数557和车辆信息559。在一个示例性实施例中,内在校准信息553包括摄像装置的焦距参数和摄像装置的光学中心参数。在一个备选实施例中,内在校准信息553包括与原始图像相关联的多个像素。如前所述,外部信息555可包括摄像装置的位置参数和定向参数。径向失真参数557包括这样的参数,该参数被应用到捕获的图像以校正在捕获的图像中为直的但看上去弯曲的特征。径向失真在本领域中对于宽FOV摄像装置是已知的,并且在本文中不进行讨论。车辆信息559可包括车辆速度(例如,从图1的车辆速度传感器129获得)、前转向角度(例如,从图1的前转向角度传感器130获得)、后转向角度(例如,从图1的后转向角度传感器132获得)和车辆偏航角速度(例如,从图1的偏航角速度传感器134获得)。如图5所示,仅监测的内在校准信息553被输入到调整模块554。外部信息555、径向失真参数557和车辆信息559均被输入到动态配准模块558。原始图像560(例如,图2的原始图像10)也被输入到动态配准模块558。
[0037] 参看框406,基于裁剪参数生成裁剪后的图像以便从原始图像排除不需要的内容。在一个示例性实施例中,裁剪参数模块556将裁剪参数561输入到调整模块554和动态配准模块558中。因此,在动态配准模块558内基于裁剪参数561而生成裁剪后的图像,以便从原始图像560排除不需要的内容。如前所述,裁剪参数561可基于设置摄像装置的所选车辆的尺寸而预先确定。其它实施例可包括将由用户定义的裁剪参数,以便涵盖原始图像内的所需感兴趣区域并排除所需感兴趣区域之外的不需要的内容。当裁剪参数为用户定义的时,可响应于调整所需感兴趣区域的用户输入而动态地更新裁剪参数。当裁剪参数被动态更新时,响应于动态更新的裁剪参数而动态地调整内在校准信息。此外,调整所需感兴趣区域的用户输入可包括调整缩放范围系数以实现增加或减小所需感兴趣区域中的一者。如将变得显而易见的,调整后的动态调整裁剪参数可以与改变捕获的图像的缩放范围系数相关联。
[0038] 参看框408,基于与裁剪参数的关系而调整内在校准信息。在一个示例性实施例中,调整模块554基于与裁剪参数561的关系而调整监测的内在校准信息553。因此,调整后的内在校准信息563被输入动态配准模块558。
[0039] 如前所述并且在一个示例性实施例中,内在校准信息553可包括摄像装置的焦距参数和摄像装置的光学中心参数。焦距参数可包括在第一方向上的第一焦距参数和在第二方向上的第二焦距参数。第二方向垂直于第一方向。光学中心参数可包括相对于第一方向的第一光学中心参数和相对于第二方向的第二光学中心参数。在一个示例性实施例中,图6和图7示出相对于原始图像604的摄像装置602的焦距参数611和711及光学中心参数
615和715以及相对于裁剪后的图像606的摄像装置602的更新的焦距参数613和713及更新的光学中心参数617和717。应当理解,图像宽度608对于原始图像604和裁剪后的图像606两者保持相同,因为图形投影显示器的分辨率和显示尺寸不变。同样,图像高度708对于原始图像604和裁剪后的图像606两者保持相同,因为图形投影显示器的分辨率和显示尺寸不变。在该示例性实施例中,摄像装置602对应于图1的后部摄像装置102,原始图像604对应于图1的原始图像10,并且裁剪后的图像606对应于图1的裁剪后的图像12。
[0040] 参看图5和图6,包括在内在校准信息553内的第一焦距参数611被输入到调整模块554。垂直于第一轴线0的第一焦距参数611基于在第一焦距参数611与第三裁剪参数6和第四裁剪参数8之间的数学关系而更新,第三裁剪参数6和第四裁剪参数8分别被构造成缩小沿对应于图像宽度的第一轴线的原始图像604的部分。更新的第一焦距参数613计算如下:
[1]
其中,fuupdated为更新的第一焦距参数613,
fu为监测的第一焦距参数611,
c为第三裁剪参数6,并且
d为第四裁剪参数8。
[0041] 仍然参看图5和图6,包括在内在校准信息553内的第一光学中心参数615被输入到调整模块554。相对于第一轴线0的第一光学中心参数615基于在第一光学中心参数615、第三裁剪参数6和第四裁剪参数8分别与图像宽度608之间的数学关系而更新。更新的第一光学中心参数617计算如下:
[2]
其中,u0updated为更新的第一光学中心参数617,
u0为监测的第一光学中心参数615,并且
imgW为图像宽度608。
[0042] 参看图5和图7,包括在内在校准信息553内的第二焦距参数711被输入到调整模块554。垂直于第二轴线1的第二焦距参数711基于在第二焦距参数711与第一裁剪参数2和第二裁剪参数4之间的数学关系而更新,第一裁剪参数2和第二裁剪参数4分别被构造成缩小沿对应于图像高度708的第二轴线的原始图像604的部分。更新的第二焦距参数713计算如下:[3]
其中,fvupdated为更新的第二焦距参数713,
fv为监测的第二焦距参数711,
a为第一裁剪参数2,并且
b为第二裁剪参数4。
[0043] 仍然参看图5和图7,包括在内在校准信息553内的第二光学中心参数715被输入到调整模块554。相对于第二轴线1的第二光学中心参数715基于在第二光学中心参数715、第一裁剪参数2和第二裁剪参数4分别与图像高度708之间的数学关系而更新。更新的第二光学中心参数717计算如下:
[4]
其中,v0updated为更新的第二光学中心参数717,
v0为监测的第二光学中心参数715,并且
imgH为图像宽度708。
[0044] 如前所述并且在一个备选实施例中,内在校准信息553可包括与原始图像相关联的多个像素。参看图11,在世界坐标中的具有第三轴线1102和第四轴线1104的二维网格被施加到原始图像1100上。二维网格外观上看起来像图11中的棋盘状图案,其中相应的子网格对应于二维网格的阴影部分和白色部分中相应的一个。应当理解,每个子网格包括在水平方向和竖直方向(即,分别为第三轴线1102和第四轴线1104)中每一个上相等的尺寸。多个像素1106相对于施加在原始图像上的二维网格被手动加标签。每个像素具有相对于第三轴线1102和第四轴线1104的相应的坐标,第四轴线1104垂直于第三轴线1102。因此,每个像素为在每个子网格的拐角中手动加标签的拐角像素。相应的坐标也对应于与图像宽度相关联的第一轴线和与图像高度相关联的第二轴线,并且因此包含与第一和第二轴线相关联的图像坐标。第三轴线可包括世界坐标水平轴线,并且第四轴线可包括世界坐标竖直轴线。像素1107对应于相对于二维网格的原点像素。
[0045] 表2示出相对于图11的施加在原始图像上的二维网格的手动加标签的多个像素的样本,每个像素具有相对于第三轴线和第四轴线的相应坐标。相应的坐标也对应于与图像宽度相关联的第一轴线和与图像高度相关联的第二轴线。
[0046] 表2第一轴线 第二轴线 第三轴线 第四轴线
152.05 410.26 6.000 0
202.75 416.51 6.000 1.000
259.66 418.04 6.000 2.000
318.13 417.62 6.000 3.000
377.62 415.48 6.000 4.000
435.30 412.10 6.000 5.000
490.68 406.71 6.000 6.000
在上表2中所示手动加标签之后,与原始图像相关联的多个像素被转移到裁剪后的图像。
[0047] 参看图5、图6、图7和图11,与原始图像相关联的多个像素被包括在内在校准信息553内并且被输入到调整模块554。调整模块554应用像素平移的数学关系以便将与原始图像相关联的多个像素转移到裁剪后的图像。因此,基于在相对于第一轴线的多个像素、第三裁剪参数6和第四裁剪参数8与图像宽度之间的如下数学关系重新校准在裁剪后的图像中像素1106中的每一个相对于第一轴线的位置,其中第三裁剪参数6和第四裁剪参数8分别被构造成沿第一轴线缩小原始图像的一部分:[5]
其中,xupdated为相对于第一轴线的裁剪后的图像中重新校准的像素位置,并且x为相对于第一轴线与原始图像相关联的像素位置。
[0048] 因此,相对于第一轴线的裁剪后的图像中的每个重新校准的像素位置xupdated对应于相对于此时与裁剪后的图像相关联的第一轴线的像素位置。类似地,基于在相对于第二轴线的多个像素、第一裁剪参数2和第二裁剪参数4与图像宽度之间的以下数学关系重新校准在相对于第二轴线的裁剪后的图像中的像素1106中的每一个的位置,第一裁剪参数2和第二裁剪参数4分别被构造成缩小沿第二轴线的原始图像的一部分:[6]
其中,yupdated为相对于第二轴线的裁剪后的图像中重新校准的像素位置,并且y为相对于第二轴线与原始图像相关联的像素位置。
[0049] 因此,相对于第二轴线的裁剪后的图像中的每个重新校准的像素位置yupdated对应于相对于此时与裁剪后的图像相关联的第二轴线的像素位置。
[0050] 在用于利用以上描述的图11中像素平移调整内在校准信息的备选实施例中,图12示出集成在调整模块554内的预计误差模块1210,其用于确定相对于第一轴线和第二轴线在裁剪后的图像中的预计像素误差。输入1202表示分别在公式[5]和[6]中计算的用于二维网格上加标签的像素1106中每一个的xupdated和yupdated。输入1253表示摄像装置的焦距参数和光学中心参数(例如,图6和图7中所示)。输入1257表示径向失真参数。输入1255表示具有施加在其上的二维网格的每个捕获的图像1100的外部参数。因此,预计误差模块1210确定相对于第一和第二轴线在裁剪后的图像中的预计像素误差1218。换言之,预计误差模块1218监测xupdated和yupdated、摄像装置的焦距参数和光学中心参数、摄像装置的径向失真参数和摄像装置的外部参数,并且确定相对于第一和第二轴线在裁剪后的图像中的预计像素误差1218。预计像素误差1218被输入到阈值模块1220。如果相对于第一轴线的预计像素误差大于水平阈值,则确定校准失败并且必须重新进行校准。如果相对于第二轴线的预计像素误差大于竖直阈值,则确定校准失败并且必须重新进行校准。如果相对于第一轴线的预计像素误差不大于水平阈值并且相对于第二轴线的预计像素误差不大于竖直阈值,则将调整后的内在校准信息563输入到图5的动态配准模块558,因为预计像素误差1218被认为是可接受的。应当理解,只有图像裁剪之后仍然可见的像素会在预计误差模块1210内被评估。
[0051] 参看流程图400的框410,基于调整后的摄像装置的内在校准信息、监测的摄像装置的外部信息和监测的车辆信息将图形动态地配准在裁剪后的图像上。在一个示例性实施例中,裁剪参数561、调整后的内在校准信息563、外部校准信息555、摄像装置的径向失真参数557、车辆信息559和原始图像560全部输入到动态配准模块558。如前所述,在动态配准模块558内基于裁剪参数561而生成裁剪后的图像,以便从原始图像560排除不需要的内容。动态配准模块558基于调整后的内在校准信息563、外部校准信息555、径向失真参数557和车辆信息559将图形进一步配准在裁剪后的图像上。动态配准模块558将表示在裁剪后的图像上的动态配准的图形的动态配准信号565输出到图形投影显示模块150。在一个非限制性示例中,动态配准的图形包括在图3所示裁剪后的图像12上动态配准的动态参考叠加特征16。本公开不限于图形的内容,并且可包括用于在裁剪后的图像上的动态配准的任何特征、形状、符号、文本或色彩。
[0052] 参看框412,裁剪后的图像和在裁剪后的图像上的动态配准的图形被显示在图形投影显示器上。在一个示例性实施例中,图形投影显示模块150在图形投影显示器上显示裁剪后的图像和在裁剪后的图像上的动态配准的图形。在一个示例中,图形投影显示器包括触摸屏显示器。在另一个示例中,图形投影显示器包括人机界面显示器。在又一个示例中,图形投影显示器包括后视镜显示器和侧视镜显示器中的一个。在又一个示例中,图形投影显示器可包括显示监视器。
[0053] 如前所述,裁剪参数561可以被用户定义,以便涵盖原始图像内的所需感兴趣区域并排除所需感兴趣区域之外的不需要的内容。例如,车辆的操作者可以经由输入装置直接输入裁剪参数以涵盖所需感兴趣区域。用户输入装置可包括但不限于操纵杆、触摸屏界面、手势装置、键盘鼠标。图8示出原始图像900、基于为涵盖原始图像内的所需感兴趣区域而由用户定义的裁剪参数生成的裁剪后的图像902、以及在所需的感兴趣区域涵盖显示标牌910时表示显示标牌的内容的叠加图形912的示例。在图8所示示例中,前部摄像装置(例如,图1的前部摄像装置104)可以捕获包括具有在店面上的显示标牌910的店面904的原始图像900。操作者或用户可能希望阅读显示标牌910的内容。操作者或用户可以基于用户输入限定原始图像内的所需感兴趣区域,以便获得显示标牌910的近距离视图。在一个示例中,所需感兴趣区域对应于裁剪后的图像902并且涵盖显示标牌910。包括叠加图形912的图形表示在显示标牌910上的文本内容。叠加图形可以使用图像识别软件从数据库获取,该软件利用摄像机位置和视角作为附加输入以译解显示标牌910的内容,从而将叠加图形912动态地配准在显示标牌910上。设想到的另外的实施例包括叠加图形表示在包括徽标的显示标牌上的显示标牌和/或符号的形状。
[0054] 图9是从具有变化的视角(即,聚焦的感兴趣区域(ROI))的后部宽FOV摄像装置获得的后方图像的示例。每一个后方图像与相应的ROI和代表性裁剪参数相关联。图像901-908中的每一个已根据动态更新的裁剪参数裁剪,以便从由后部宽FOV摄像装置捕获的原始图像排除不需要的内容。后部宽FOV摄像装置可调整,以使得摄像机的ROI能合成在每一个图像中的变化的ROI以模拟移动的虚拟摄像机。因此,图像901-908中的每一个对应于后部摄像装置的相应的虚拟视角。例如,后部宽FOV摄像装置假定平面假设,其中在图像901-908中的每一个中的俯角变化。在一个示例中,捕获的图像901的俯角为30°,而捕获的图像908的俯角为对应于停车位的瞰图的90°。如图9所示,图像包含包括动态参考叠加特征的第一图形910,该动态参考叠加特征基于与在图像901-906中的相应的一个中的相应的裁剪参数的关系而被动态地配准。包括动态参考叠加特征的第一图形910表示辅助车辆倒车并避免与该车辆后面的目标车辆碰撞的期望路径。第二图形912包括基于与在图像901-908中的相应的一个中的相应的裁剪参数的关系而动态地配准的目标叠加特征。包括目标叠加特征的第二图形912表示目标车辆相对于该车辆的位置。如图所示,包括目标叠加的第二图形912随着倒车的车辆和目标车辆之间的距离减小而尺寸增加。
[0055] 图10是从前部摄像装置获得的描绘车辆前方的驾驶场景的前方图像的示例。在该示例中,响应于调整所需感兴趣区域的用户输入而在图像1002、1004、1006和1008中的每一个之间动态地更新裁剪参数。例如,所需感兴趣区域可包括即将出现的路段。相应地,响应于动态更新的裁剪参数而动态地调整内在校准信息。在一个实施例中,调整所需感兴趣区域的用户输入可包括调整缩放范围系数以实现增加或减小所需感兴趣区域中的一者。例如,对于每一个图像的缩放范围系数在箭头1010的方向上从图像1002、1004、1006和
1008中的每一个起增加。参看图像1002,调整缩放范围系数缩小所需感兴趣区域1074,其中图像1004对应于图像1002的所需感兴趣区域1074。参看图像1004,调整缩放范围系数缩小所需感兴趣区域1076,其中图像1006对应于图像1004的所需感兴趣区域1076。参看图像1006,调整缩放范围系数缩小所需感兴趣区域1078,其中图像1008对应于图像1006的所需感兴趣区域1078。
[0056] 图10所示示例还可包括监测与所需感兴趣区域有关的信息输入。例如,第一检测装置模块160、第二检测装置模块161和第三检测装置模块170可分别监测与即将出现的路段有关的信息输入。该信息输入可以被分析以确定感兴趣的特征。在该示例中,感兴趣的特征可包括即将出现的操纵点1030,并且第一检测装置模块160、第二检测装置模块161和第三检测装置模块170中的至少一个可分别用来确定到即将出现的操纵点1030(例如右转弯)的时间或距离。随后,可以基于感兴趣的特征为在裁剪后的图像上的动态配准确定图形。例如,图形可包括导航状况图形1020,其表示包括即将出现的操纵点1030的感兴趣点。图10所示导航状况图形1020包括表示在即将出现的操纵点处的右转弯的指向右方的箭头。导航状况图形1020还包括到即将出现的操纵点的距离。在一个示例中,到即将出现的操纵点的距离考虑了诸如增加的缩放系数的更新的裁剪参数,以模拟该操作从更近的距离来看的情况。操纵点不限于距离和转弯并且可包括速度操纵、停止操纵和与车辆导航有关的任何操纵。
[0057] 在另一个示例性实施例中,经分析的信息输入可以检测包括例如行人、车道线和车辆在内的感兴趣的特征。基于感兴趣的特征在裁剪后的图像上用于动态配准的图形包括表示感兴趣的特征的高亮图形。在图10所示示例中,感兴趣的特征包括显示在图像1008中的检测到的行人1040。应当理解,检测到的行人1040仅仅由于与图像1008相关联的增加的缩放系数而在图像1008中变得可见。图形1050基于检测到的行人1040而在裁剪后的图像1008中被动态地配准。图形1050为勾勒出检测到的行人的位置的高亮图形。
[0058] 本公开已描述了某些优选实施例及其修改。在阅读和理解本说明书后,技术人员可以想到另外的修改和变型。因此,本公开意图不限于作为实现本公开构思到的最佳方式而公开的(多个)特定实施例,本公开还将包括落入所附权利要求范围内的所有实施例。
QQ群二维码
意见反馈