改进的环境感知技术已越来越被许多实际应用所需求，例如，监视系统、 视频会议可视系统和车辆视觉系统。这些应用的本质是需要监视一个广阔的操 作区域，并构成复合图像以方便不同的用户模式理解。为了最小化摄像机数量 和成本，具有全景镜头的摄像机可以拍摄到广阔的区域，但因为其固有的几何 形状和光学非线性，会产生失真。在监视系统应用中，多个全景摄像头可覆盖 建筑的整个外部和内部区域，并且所述系统可提供该区域的动态观测，并可手 动或自动地追踪经过该区域的物体。
在车辆视觉系统中，多个全景摄像机可提供整个区域以及障碍物周围360 度的观察。所述系统可将显示视角转至特定操作员模式，例如转向、倒车和车 道转换以改善环境观察。车辆视觉系统的其它优点是降低后视镜造成的风阻和 噪音，并通过去掉该突出的后视镜减小车辆的宽度。这些系统也能够检测移动 中的物体，提供接近物体的警告，并通过多个视区追踪该物体。视觉系统也可 通过各种技术显著地增强夜视能力，例如，红外线、雷达和光敏设备。
视觉系统包括一个或多个图像获取设备，连接至一个或多个可视显示单 元。图像获得设备可结合具有不同的焦距和景深的不同的镜头，例如，平面镜 头、全景镜头、鱼眼(fish-eye)镜头和环形镜头。鱼眼镜头和环形镜头具有 广阔的视野范围和较大的景深。它们可以抓取宽且深的视野范围。然而，它们 可能使图像失真，特别是边沿部分，使得图像看起来不成比例。在任何类型的 镜头中，也有因镜头切向和径向的非理想性、镜头偏置、镜头焦距和镜头外部 附近的光分散导致的光学失真。在视觉系统中，还有因亮度变化和色像差导致 的其它类型的图像失真。这些失真影响图像的质量和清晰度。
现有全景视觉系统在正确地混合多个图像的同时，未消除图像失真。美国 专利6,498,620 B2便公开了这样一种全景系统，名称为“车辆后视系统”。这 个系统由图像抓取设备、图像合成器和显示系统组成。无论是该专利还是本申 请引用的任何文献中，都没有提供用于校正几何、光学、颜色失常和亮度图像 失真的电子图像处理系统。公开号为2003/0103141A1的美国专利申请描述了 一种车辆视觉系统，仅包括有以预校准为基础的亮度校正，不包括其它光学和 几何校正。
失真的图像和多个图像之间的不连续性降低了操作员的视觉认知速度，并 因此，他/她的环境认知可能会产生错误。这是启动有效全景视觉系统的重要 阻碍之一。因此需要通过消除几何、光学、颜色失常、亮度和其它失真并提供 多个视角的合成图像，提供能准确呈现周围环境的全景视觉系统。这种校正可 帮助目视观察和识别，并改善可视图像质量。

本发明的一方面提供一种具有相关的摄像机、显示光学器件和几何特性的 全景视觉系统，所述系统包括：
(a)多个图像获取设备，从场景中抓取图像帧数据，并产生图像感应器 输入，所述图像帧数据共同地覆盖最高360°范围的视野，所述图像 获得设备具有几何和光学失真参数；
(b)数字转换器，连接至所述多个图像获取设备以对所述图像帧数据和 图像感应器输入采样并转换为数字图像数据；
(c)图像处理器，连接至所述数字转换器，所述图像处理器包括：
(i)图像测量设备，用以接收所述数字图像数据并测量所述数字图像 数据的图像亮度和环境光照度级别；
(ii)亮度校正模块，连接至所述图像测量设备以接收所述数字图像数 据以及所述摄像机、显示光学器件和几何特性、所述图像亮度和 环境光照度级别，并校正亮度不均性，优化所述数字图像数据中 选择区域的亮度范围；
(iii)卷积级，连接至所述亮度校正模块以组合所述几何和光学失真参 数以构成卷积失真参数，所述几何和光学失真参数包括所述图像 感应器输入、所述摄像机、显示光学器件和几何特性以及与之相 关的非理想性；
(iv)失真校正模块，连接至所述卷积级以对所述数字图像数据产生并 应用基于所述卷积失真参数的失真校正转换，以生成经校正的数 字图像数据；
(v)显示控制器，连接至所述失真校正模块以根据所述经校正的数字 图像数据组成合成图像；以及
(d)显示器系统，连接至所述图像处理器以在观察表面显示所述合成图 像以供观察，所述合成图像无视觉失真。
另一方面，本发明提供一种使用具有相关的摄像机、显示光学器件和几何 特性以及几何和光学失真参数的全景视觉系统生成覆盖最高360°或4π立体 弧度范围的合成图像以提供全景观察的方法，所述方法包括：
(a)从场景中获取图像帧数据，所述图像帧数据共同覆盖最高360°或4 π立体弧度的视野范围，并产生一组图像感应器输入；
(b)转换所述图像帧数据和图像感应器输入为数字图像数据，所述数字 图像数据与图像亮度和环境光照度级别相关；
(c)获取所述摄像机、显示光学器件和几何特性、所述图像亮度和环境 光照度级别，并校正亮度不均性以优化所述数字图像数据中选择区 域的亮度范围；
(d)对所述几何和光学失真参数进行卷积处理以构成卷积失真参数，所 述几何和光学失真参数包括所述图像感应器输入、所述摄像机、显 示光学器件和几何特性及与之相关的非理想性；
(e)对所述数字图像数据产生并应用基于所述卷积失真参数的失真校正 转换，以生成经校正的数字图像数据；
(f)根据所述经校正的数字图像数据组成合成图像；以及
(g)在观察表面显示所述合成图像以供观察，所述合成图像无视觉失真。
在另一方面，本发明提供一种图像处理器，用于具有相关的摄像机、显示 光学器件和几何特性以及几何和光学失真参数的全景视觉系统，所述全景视觉 系统使用多个图像获取设备以从场景中抓取图像帧并生成数字图像数据和图 像感应器输入，并使用数字转换器以转换所述数字图像数据和图像感应器输入 为数字图像数据，所述图像处理器包括：
(a)图像测量设备，用以接收所述数字图像数据并测量所述数字图像数 据的图像亮度和环境光照度级别；
(b)亮度校正模块，连接至所述图像测量设备以接收所述数字图像数据 以及所述摄像机、显示光学器件和几何特性、所述图像亮度和环境 光照度级别，并校正亮度不均性，优化所述数字图像数据中选择区 域的亮度范围；
(c)卷积级，连接至所述亮度校正模块以组合所述几何和光学失真参数 以构成卷积失真参数，所述几何和光学失真参数包括所述图像感应 器输入、所述摄像机、显示光学器件和几何特性以及与之相关的非 理想性；
(d)失真校正模块，连接至所述卷积级以对所述数字图像数据产生并应 用基于所述卷积失真参数的失真校正转换，以生成经校正的数字图 像数据；以及
(e)显示控制器，连接至所述失真校正模块以根据所述经校正的数字图 像数据组成合成图像。
在本发明的第一实施例中，提供了一种车辆视觉系统，覆盖高达360°的 水平视野范围以及高达180°的垂直视野范围，重点在车的后部、两侧和角落 的观察。所述环境显示图像可与其他车辆信息数据例如车辆状态或导航数据相 结合。图像首选显示在前控制面板上，接近驾驶员的视野范围。还可显示附加 的观察图像以改善覆盖性和灵活性，例如，替代后视镜的内部仪表板 (dashboard)角落显示器，可消除外部部件的突起和风阻。当一个视图比其它 的视图更重要时，所述系统适用于再配置显示器并基于控制输入在各视图之间 切换。
例如，在倒车时，显示器重新设置以显示车尾交广范围内的图像；或者， 右转灯打开且车辆在较高速度行驶时，显示右侧的图像；或者在右转灯打开， 车辆停止或低速行驶时，显示右侧拐角的图像。在优选实施例中，所述系统提 供相关帮助，用作停车助手，或通过对路边线、车道和物体的识别提供车道变 线警告，以及确定距离。
在另一个实施例中，本发明提供一种监测系统，覆盖某一结构(例如建筑 物、桥梁等)内部和/或外部高达360°的水平范围以及高达180°的垂直视野 范围。所述系统可提供多个经失真校正后的图像以产生连续图像带或扫描全景 视图。所述系统可执行动态检测和监测范围内的物体追踪，以及物体识别以识 别出人、车辆等。
在另一个实施例中，本发明提供一种视频会议视觉系统，产生宽达180° 或环形360°的广阔视野。在这个实施例中，本发明帮助观察会议或聚会的参 与者，并使用一个摄像机提供镜头拉近发言者的功能。
本发明实施例的各种细节以及本发明的优点将通过下面的描述和附图展 示。

附图中：
图1是本发明视觉系统及其内置的部件的整体视图；
图2A是图1中作为视觉系统一部分的图像处理器的结构示意图；
图2B是图1中图像处理器的逻辑流程图；
图3A是具有后视镜用于两侧和尾部观察的传统车辆的示意图；
图3B是车辆视觉系统实施例中摄像机的设置及其观察范围的示意图；
图3C是车辆视觉系统实施例中选择的摄像机观察范围的示意图；
图4A是车辆视觉系统实施例中视觉系统显示器的观察表面的示意图；
图4B是车辆视觉系统实施例中右转指示灯打开时图4A所示相同的观察表 面的示意图；
图5A是车辆视觉系统实施例中视觉系统显示器的观察表面的可选择的大 视野范围的示意图；
图5B是车辆倒车时图5A中的观察表面经重新设置后的示意图；
图6A是车辆变线时经重新设置的显示器的示意图；
图6B是车辆右转且驾驶员视野不清楚时经重新设置的显示器的示意图；
图7是显示车辆和临近物体的俯视图；
图8是车辆视觉系统中的控制输入的一个示例的示意图；
图9A是视频会议视觉系统实施例中设置在会议桌中央的半球形、180°(2 π的弧度)视野的摄像机的示意图；
图9B是视频会议视觉系统实施例的显示器的示意图；
图10是走廊或建筑墙上安装有两个摄像机作为监视系统实施例的一部分 的示意图；
图11A是本发明监视系统实施例的显示器的示意图；
图11B是图9A中同一显示器在稍后时间的示意图。

图1展示了根据本发明建立的视觉系统100的整体结构，其包括多个图像 获取设备如像摄像机110用以抓取图像帧，数字转换器118用以转换图像帧数 据为数字图像数据，图像处理器200用以调整亮度并校正图像失真并根据数字 图像数据和控制参数构成合成图像，控制器101用以传递用户和感应器参数至 图像处理器200，以及显示设备120用以在观察表面160上显示合成的图像以 供观察。本发明最终合成的图像覆盖高达360°，包括多个感兴趣的特定区域， 并且无失真。这一系统很大程度上增强了环境认知性。
图1中的摄像机110包括图像光学器件112、感应器阵列114和图像抓取 控制器116。对于需要较广区域覆盖的应用，图像光学器件112可使用广角镜 头以最小化需要的摄像机的数量。广角镜头也具有较大的景深，降低聚焦的调 整及其成本。这种镜头一般具有超过100°的视野范围，景深从几英尺到无限 远。这些属性均使得所述镜头正是全景视觉系统所需要的。广角镜头具有较大 的光学失真，光学地校正非常难并且成本很高。在本发明中，使用电子校正来 补偿任何光学和几何失真，以及光学或投影路径中任何其它的非线性和非理想 性。
在本发明中，摄像机镜头不需要完美或产生完美的图像。所有的图像失真， 包括镜头几何结构或非理想性导致的图像失真，均被数学模拟和电子校正。这 一特征的重要性在于其可允许用户使用便宜的可扩展景深的广角镜头。这类镜 头的缺点是会产生图像失真和亮度不均；这类镜头会拉伸物体，特别是靠近取 景范围的边缘处。这个效果是众所周知的，例如，鱼眼或环形镜头便是如此。 它们使得物体看起来不成比例。有大量的光学解决方案可用于补偿这些失真。 然而，附加大量光学器件将使得所述设备更大、更重和更贵。大量光学器件的 成本由人工成本决定，例如，磨光、对准等。但是电子元件变得较便宜且更有 效。众所周知，光学器件不可能完全消除某些失真。
光学器件解决方案的另一个缺点是对对准的敏感度以及碰撞后导致的功 能故障。因此，非常需要电子图像校正以使得视觉系统表示真实的设置，在使 其性能优良的同时，价格也相对低。这在视觉系统中得到证实，电子元件是最 可能被需要以完成其它任务。这些任务包括全景转换和显示器控制。稍后将描 述的图像处理器200提供了这些基本的功能。
图像感应器阵列114设置在摄像机110内。该感应器阵列适用于缓和通过 摄像机系统的取景范围的光强度的极剧变化。对于有效工作在不同光照情况下 的视觉系统，需要很大的动态范围。这个动态范围要求源于从白天到晚上环境 光照强度的变化，以及夜晚偶然的光源引起的变化。摄像机感应器基本上是多 个镶嵌的片段，每个片段从取景范围内一部分接收光线，记录光线强度作为电 压输出。图像抓取控制器116发送图像帧强度信息，并基于这些数据，从图像 处理器200接收命令以用于合成优化、镜头光圈控制和白平衡控制。
数字转换器118从图像抓取控制器116接收数据，并转换这些数据为数字 图像数据。在另一个实施例中，数字转换器118的功能可集成在图像感应器 114或图像处理器200中。在存在音频数据获取的情况下，数字转换器118从 音频设备阵列117接收音频数据。随后产生数字音频数据并将之与数字图像数 据合并。然后将数字图像数据发送至图像处理器200。
图2A展示图像处理器200的细节。该图像处理器的功能是接收数字图像 数据、测量图像统计值、增强图像质量、补偿亮度不均和校正这些数据中的各 种失真，以最终产生一个或多个无失真的合成图像。该图像处理器包括光学和 几何数据接口236，其包括摄像机光学数据、投影光学数据和投影几何数据， 以及控制数据接口202、图像测量模块210、亮度校正模块220、失真卷积级 250、失真校正模块260和显示器控制器280。为了理解图像处理器200的功 能，简单的讨论这些失真的特性和原因是重要的。
周围环境光线和点光源可导致亮度级别的极剧变化，从而产生较差的图像 质量并使图像元素难以识别。在本发明中，图像处理器200测量全部的和选择 的图像区域，并分析它们以控制曝光以在感兴趣的区域获得最佳图像质量。高 亮度光源例如前灯和聚光灯的强度被充分地降低，而低亮度物体的细节得到增 强以利于元素的识别。
图像感应器可以是任何类型和任何分辨率的感应器，本发明的实施例中， 高分辨率固态CCD或CMOS图像感应器在大小、成本、集成度和灵活性方面都 是恰当的。典型的应用包括通过光圈控制和积分时间(integration time)调 整至变化范围广的环境光线级别。除了光圈控制和积分时间控制，亮度校正模 块220对感兴趣的区域执行柱状图分析，扩大低光照度区域的对比度并降低高 光照度区域的对比度以提供增强的图像元素识别。
亮度不均是图像中不想要的亮度变化。造成亮度不均的主要物理原因是穿 过光学系统不同部分的光线经过不同的距离和区域密度。光线的强度的衰减与 其经过的距离的平方成比例。这种现象既发生在摄像机光学器件中，也发生在 显示器光学器件中。除了这些纯物理原因外，光学系统的非理想性也导致亮度 不均。所述非理想性的例子是投影镜头的虚影和侧面起伏，以及产生的投影光 线的不一致性。如果亮度变化对于3个不同的颜色成分不同，便称为色度不一 致。
另一种类型的光学失真是色像差。它源于光学元件例如镜头对于不同的波 长具有不同的折射率。通过光学元件传播的光线根据不同的波长以不同的角度 折射。这使得图像中颜色发生横向偏移。横向色像差导致点目标的不同颜色成 分分离和扩散。在观察表面上一个点目标看起来带有毛边。另一种类型的色像 差实质上是轴向的，因镜头对不同的光线波长具有不同的焦点而产生。这种类 型的色像差不能通过电子校正方法校正。
视觉系统种可能会出现各种其它的失真。镜头切向或径向的非理想性、镜 头偏置、投影器非理想性以及因偏轴投影引起的梯形失真是一些常见的失真。
除了上述的失真外，图像处理器200将捕捉到的场景映射在具有特定特性 的观察表面，例如，形状、大小和屏幕高宽比。例如，图像可由捕捉的场景的 不同部分构成，并投影到车辆的挡风玻璃的一部分上，在这种情况中，因为观 察表面的非平面形状以及特定的大小，会出现失真。本发明中的图像处理器校 正所有这些失真，如下将给出描述。
参照图2A中的图像处理器200的细节，数字图像数据由图像测量模块210 接收，在此将测得感兴趣的区域的图像的对比度和亮度柱状图。这些柱状图由 亮度校正模块220进行分析以控制感应器曝光度，并调整数字图像数据以改善 图像内容，用于观察和检测。某些调整包括高亮度压缩、扩大对比度、增强细 节和降低噪音。
连同这些测量信息一起，亮度校正模块220从光学和几何数据接口236 接收摄像机和投影光学数据。这些数据根据光学元件的精确光线传播计算和校 准来确定。这些数据对于亮度校正是很重要的，因为它们提供了通过摄像机和 投影系统的不同光线的光学路径长度。分离或组合的摄像机和投影校正图被生 成以计算每个象素的校正。
该校正图可离线获得，或者可根据环境动态地计算出。因此亮度校正模块 220的功能是接收数字图像数据并产生亮度已调整的数字图像数据。在色度不 一致的情况下，亮度校正模块220首选分别对三个不同的颜色成分应用亮度校 正。亮度校正模块的物理实现可以是软件程序或专用的处理电路，例如数字信 号处理器或集成电路中的计算逻辑。
亮度已调整的图像数据应该进行几何、光学和其它空间失真的校正。这些 失真称作“扭曲(warp)”校正，并且这种校正技术在本说明书中被称作“图 像扭曲”。图像扭曲的相关介绍可以在George Wolberg所著的《数字图像扭曲》 (George Wolberg，Digital Image Warping，IEEE Computer Society Press， 1998)中找到，本申请在此引用其相关内容。
图像扭曲基本上是坐标转换、映射输出象素至输入象素的有效参数表示。 理想情况下，一个网格点数据集表示每个输出象素至输入象素的映射。然而， 因为查找表的剪切尺寸，网格点数据表示相对于硬件实现是相当不能原谅的。 本发明中，图像扭曲技术提供一种有效的方法以通过一些参数来表示象素网格 点数据集。在一个实施例中，这些参数表示由n次多项式完成，n由组合失真 的复杂程度决定。
在本发明的另一个实施例中，输出空间的不同区域被分为具有内在几何属 性的多个小片，以降低多项式的次数。原理上，该小片的数量越大且适于每个 小片的多项式次数越高，网格点数据集的参数化就越准确。然而，在实时应用 中，这需要与处理能力相平衡。所述扭曲图因此表示输出象素至输入象素的映 射，表示摄像机光学、显示器光学和显示器几何特性，包括最终合成的图像的 规格和观察表面的形状特性。此外，任何控制参数，包括用户输入参数，也与 上述参数组合，并表示在一次转换中。
除了坐标转换以外，通常还需要采样或滤波功能。一旦输出图像数据被映 射到输入象素上，输入象素周围的区域被指定用于滤波。这个区域称作滤波器 覆盖区域(filter footprint)。滤波基本上是一个加权平均函数，基于覆盖 区域内所有的象素获得输出象素的颜色成分的强度。在特定的例子中，各向异 性椭圆形覆盖区域被用于获得最优图像质量。众所周知，覆盖区域面积越大， 输出图像的质量越高。图像处理200在本发明中执行坐标转换的同时执行图像 滤波。
为了校正图像失真，上述所有几何和光学失真参数在失真卷积级250被组 合在一起，用于不同的颜色成分。这些参数包括通过光学和几何接口236得到 的摄像机光学数据、投影光学数据、投影几何数据，以通过控制接口202得到 的控制输入。这些组合在一起的光学和几何失真参数随后由失真校正模块260 获得。这个模块的功能是将场景中每个元素的位置、形状和颜色强度转换到显 示象素上。观察表面160的形状也包括在投影几何数据234内。该表面不需要 是平面的，可以是任何常规的形状，只要获得表面图(surface map)并且与 其它失真参数组合。所述显示器表面图(display surface map)与剩余的失 真数据进行卷积处理。
在本发明的一个实施例中，失真校正模块260获得覆盖整个失真参数空间 的扭曲图(warp map)。该处理在美国专利申请No.2003/0020732-A1和 No.2003/0043303-A1中给出了详细的解释，在此引用其相关内容。对于每组 失真参数，将计算出转换，以补偿图像在通过摄像机光学器件、显示器光学器 件传播至特定形状的观察表面160上时所产生的失真。失真参数组的形成和转 换计算可离线完成，并存储在存储器中以供图像处理器200通过接口访问。在 参数变化的情况中，也可至少部分动态地完成。
显示器图像可由视窗组成，该视窗可以是独立的图像或彼此级联的图像。 对于每个视窗，失真校正模块260从扭曲表面等式中添加并计算空间转换和滤 波参数，并执行图像转换以便显示。
对于每个图像帧，失真校正模块260首先在失真参数空间中找出最接近的 网格数据点。随后失真校正模块260添加对应该组参数的现有转换以匹配实际 的失真参数。校正模块260随后对数字图像数据应用该转换以补偿所有失真。 来自每个摄像机的每个帧的数字图像数据被组合以构成符合观察表面及其子 结构的合成图像。对应的数字数据经过校正后，当图像形成在观察表面上时， 没有看得见的失真并且适配观察表面上的最优观察区域。失真校正模块260 的物理实现可以是通用数字信号处理器内的软件程序，或专用的处理电路，例 如专用集成电路。图像处理器200的物理实例结合在Silicon Optix公司的 sxW1和REON芯片内。
图2B是本发明一个实例中图像处理器200的逻辑流程图。这个流程图中 的数字数据流用粗线表示，而计算的数据流用细线表示。如图中所示，亮度和 对比度柱状图在步骤(10)从数字数据中测得。摄像机光学、显示器光学和显 示器几何参数在步骤(14)和(16)中获得。这些数据随后与亮度和对比度柱 状图一起在步骤(20)获得，在此图像亮度的不均被调整。来自步骤(14)和 (16)的光学和几何数据，以及步骤(26)获得的控制参数，随后在步骤(30) 中收集。在这个步骤，所有失真参数被合并。转化失真效果的转换在步骤(40) 被计算出。这个补偿转换随后应用于步骤(20)中获得的经亮度调整的数字图 像数据。
如前所述，为了较高的图像质量，象素数据在这个步骤被过滤。因此，步 骤(50)中同时进行坐标转换和图像处理。在步骤(50)，失真补偿后的数字 图像数据用于生成合成图像用于显示。
一个帧的数字图像数据被处理和合成后，显示器控制器280根据这些数据 产生图像。在本发明的一个实施例中，所述图像形成在显示设备120上，显示 设备120可以是直接可视显示器或投影显示设备。在一个实施例中，来自投影 显示设备120的图像通过显示光学器件122投影在观察表面160上。显示光学 器件122是大量光学元件，用以将投影光线从显示设备120引导至观察表面 160上。任何特定的显示器系统都具有额外的光学和几何失真，需要进行校正。 在这个例子中，图像处理器200将这些失真合并并校正合并后的失真。
需要注意的是，本发明不限于任何特定显示器系统的选择；该显示设备可 以是液晶、发光二极管、阴极射线管、电致发光管、等离子显示器或任何其它 可视显示设备。该显示设备可以是可直接观看的，或者可以通过显示光学器件 投影在集成的板上，用作观察屏幕。首选地，显示器系统的亮度通过环境光感 应器、单独的信号和用户调光开关来调整。该观察表面的大小最好可由用户根 据例如离操作员眼睛离屏幕的距离进行调整。
控制器101与图像处理器200连接。控制器101从用户接口150获取用户 参数，从感应器194获取输入，并将之发送至图像处理器200用于显示器控制。 本发明不同的实施例的应用对应的用户参数是特定的。感应器194优选包括环 境光感应器和直接闪光感应器。来自这些感应器的数据用于显示器调整。将控 制参数与其它参数进行卷积处理，可提供想要的图像。
对于本发明的某些应用，可能需要记录数据流或通过网络发送其至不同的 客户端。在这两种情况下，首先需要且必需压缩视频数据流以达到存储和带宽 限度。在一个例子中，压缩级132从图像处理器200接收视频流，并压缩该数 字视频数据。压缩后的数据存储在记录设备142中以供将来使用。在另一个实 施例中，数据在编码级134中进行编码，并通过网络接口144发送至网络上。
在详细解释了本发明的一般性特征后，以下将介绍视觉系统100的多个实 施例。在一个实施例中，本发明提供一种车辆视觉系统。图3A展示了一种现 有的汽车900，具有两个侧面后视镜和一个车内后视镜，覆盖右侧视野902、 左测视野904和后部视野906。众所周知，传统的后视镜位置和视野范围导致 出现盲点，并因为较宽的视角而可能具有失真。从这三个镜子提供的图像很难 得到完整的周围环境认知。
在本发明的一个例子中，如图3B所示，汽车900’配备有设置在驾驶员 座位前面的摄像机110’和摄像机111’。这些位置通过与驾驶员的直接视觉 范围重叠来增加覆盖范围。这个例子中的摄像机113’位于汽车尾部或车顶后 部的中间。通过选择不同视野范围的特定区域可以提供不重叠的连续图像。这 可防止驾驶员出现混淆。
在图3C展示的另一个例子中，汽车900”在车头的两个拐角设有摄像机 110”和摄像机111”，并在汽车尾部的中间位置设有摄像机113”。在这个例 子中，重点是根据用户输入或控制参数可调节视野范围。例如，在转向指示灯 打开时，转向侧面视野903”可用。需要注意的是，这个视野的覆盖范围是用 户输入的函数，并且在原理上，覆盖虚线内的整个区域。同样，驾驶侧面视野 905”用于普通驾驶模式，它也可扩展为覆盖虚线内的整个区域。本例子中的 后部视野根据控制参数具有两种模式。在倒车时，显示倒车后部视野907”。 这个视野能完全覆盖汽车后部，包括路面上的物体。这确保安全倒车并大大方 便了并排停车。然而，汽车在驾驶模式时，使用较窄的驾驶后部视野906”。 这些位置和角度确保驾驶员可以得到汽车外部附近的视图。这个例子大大方便 了并排停车和变道。
图4A是驾驶员见到的观察表面160的一个示例的示意图。后部视野图像 166在观察表面的底部，右侧视野图像162和左侧视野图像164分别位于观察 表面160的右上部和左上部。图5A展示了使用较宽显示器的观察表面160’ 的一个例子，其中侧面视野显示位于后部视野图像166’的两边。图像处理器 200具有全景转换和图像缝合功能以合成这种特殊的显示。图4B和图5B分别 展示了在汽车右转或倒车时，重新设置后的图4A和图5A的显示器的示例。
图6A是在汽车变线、换到右车道时重新设置的显示器的观察表面160的 示意图。在这个例子中，汽车右前方和后方完全可视，从而可以知道汽车右侧 的所有物体。图6B是右转指示灯打开时重新设置以用于右转的显示器的示意 图。图3C中的转向侧面视野903”现在显示在显示器的中上部，即转向侧面 视野163”。后部视野166”和右侧视野166”显示在显示器的底部。
图7展示了观察表面160的另一个例子。显示器的这一特定设置通过从图 像获取设备收集可视信息以及从集成在视觉系统100内的超声波和雷达感应 器确定距离来实现。在这个展示的例子中，黑粗线且有灰色阴影的汽车设有视 觉系统100，并示出了周围的设置，即其它车辆。本发明的这个实施例很大程 度上改善环境认知并帮助有助于驾驶汽车。每个物体的二维影像由摄像机直接 抓取。这些车辆和物体的形状和大小通过根据车道和路边的大小和形状推断摄 像机的图像来重新建立。通过模式识别和数据库中特定物体的查找表可以重新 建立驾驶场景的更精确的图像。
需要注意的是，本发明不限于这些展示的实施例；摄像机数量和位置的变 化以及观察表面的重新设置均落入本发明的范围。投影几何数据、投影光学数 据和摄像机光学数据覆盖图像处理器200中所有这些可选的实施例。
优选地，显示器亮度可通过环境光感应器进行调整，通过来自车头灯的信 号进行调整，或通过手动调光开关进行调整。此外，优选地，显示器表面的大 小也可通过驾驶员调整。此外，显示器图像的焦距最好在驾驶员焦距范围内， 如美国专利5,949,331所述，在此引用该专利的相关内容。然而，显示器系统 焦距最好可根据车辆的速度调整以确保图像永远在驾驶员的景深范围内。在较 高的速度，驾驶员自然地关注较远的距离。这种调整通过速度表信号156或传 输信号154实现。
图6展示了车辆视觉系统中用户输入150的一个例子。信号接口151从不 同的部件接收信号，并与控制器101连接。例如，在右转时转向指示灯152 打开，传送一个信号给信号接口151，并传送到控制器101上，最后传送到图 像处理器200。一旦图像处理器200接收到这个信号后，图像处理器配置显示 器，以在观察表面160上强调右侧显示图像162。图4B展示了这种情况下的 观察屏幕160。右侧视野图像现在占据了观察表面160的一半，另一办用于后 部视野图像166。图5B展示了使用宽观察表面的实施例的相同情况。其它的 信号引起其它的功能。
例如，在停车时，传输首选产生信号以强调后部视野。其它信号包括当方 向盘向一侧转动超过一个预设限度时发出的转向信号，刹车踏板被踩下时的刹 车信号，传送有关行驶速度和方法的信息的传输信号，以及速度表信号，在测 量不同速度下输入不同信号。在本发明中，所述显示器系统，依据任何这些控 制参数调整至不同的情况，并自动重新设置以使关键的图像可用。图像处理器 200可结合使用各种控制信号，在此我们仅提到了几个例子。
各种有用的信息可显示在观察表面160上，包括公路图、路边信息、6PS 信息和当地天气预报。视觉系统100通过下载的文件或通过驾驶员请求的无线 通信访问这些数据。随后视觉系统100将这些数据叠加在图像帧数据上以合成 显示器系统显示的图像。重要的警告系统也首选由该视觉系统接收，并通过显 示器系统显示出来和通过音频信号接口进行广播。视觉系统100也可通过交换 图像数据信息与高速公路驾驶系统集成。视觉系统100还可与距离确定器和目 标识别器集成，美国专利6,498,620 B2中有相关介绍，在此由本申请引用。
在本发明的一个实施例中，车辆视觉系统100包括有压缩级132和记录设 备142以建立摄像机和音频设备检测的事件的连续记录。这些特征结合的功能 可保存除驾驶员想要记录的事件外在撞击前和撞击后的特定片段，以供在事故 例如车祸、车辆胁持和交通违例之后进行重放。这些信息可由执法机关、司法 机关和保险公司使用。
在一个不同的实施例中，本发明提供一种视频会议视觉系统，根据给定的 设置可覆盖高达180°或360°的视野范围。在这个实施例中，音频信号和视 频信号均需要。在图1展示的视觉系统100中，除了来自摄像机的视频输入外， 音频设备阵列117提供音频输入。音频信号数据通过数字转换器118转换为数 字数据，并叠加在数字图像帧数据上。该系统提供有图像移位功能，基于音频 信号的三角测量扫视各个发言者和提问者。该扫视和缩放功能由图像处理器 200提供。在缺乏光学缩放的情况下，提供数字缩放。
图7A涉及视频会议系统的一个例子。图中所示的摄像机110位于会议桌 的中央。在这个特定的例子中，摄像机110具有半球形镜头系统并抓取桌面及 其上方的所有东西。原始图像是颠倒的、被拉伸且不成比例。然而，观察表面 160上显示的图像是无失真和经过全景转换的。
图7B展示了观察表面160，其中发言者的图像被放大，而与会的其它人 在同一观察表面以直线方式显示。
在另一个实施例中，本发明提供了一种具有运动检测和目标识别的监视系 统。图2A展示了图像处理器200的一个例子，用于监视系统。运动检测器270 评估连续输入的图像帧，并基于预设的检测运动级别和信号警报，发送运动区 域坐标至失真卷积级250。输入的图像帧用于监控当前视窗外的区域。追踪的 坐标由失真卷积级250用于计算视窗以显示检测到的目标经校正后的图像。已 校正失真的目标图像可通过对目标的运动补偿和时间内插(temporal interpolation)增强分辨率。该系统还可执行目标识别和分类。
图8展示了监视系统的一个例子。摄像机110和111设置在走廊内，安装 在走廊内的墙上。这两个摄像机监控走廊内的交通。这个实施例中的图像处理 器200使用运动监测器和追踪器270追踪某目标经过走廊时的移动。这个例子 中的特定时间的观察表面160如图9A所示，稍后时间的观察表面160如图9B 所示。当目标在视野内从一个摄像机移动至另一个摄像机时，该目标通过的全 程被抓取。该视觉系统还可执行对分辨率的增强，通过时间抽取(temporal extraction)改善目标的细节和识别，并在图9A和图9B的图像顶端显示它。 附图中的顶端部分提供了移动目标的全分辨率图像或对移动目标进行数字缩 放。目标的识别和追踪通过一帧接一帧的比较运动中的被检测目标来实现。轮 廓线突出被追踪目标以便于识别。