技术领域
[0001] 本
发明涉及视频
数据压缩，并特别涉及用于
机动车辆的数字视频系统和相应方法。
背景技术
[0002] 随着数量不断增长的高级驾驶员辅助系统以及视频采集、监视和乘客娱乐系统被集成在一起，数字视频信息在机动车辆中正变得越来越普遍。最新的机动车网络通信协议提供配备有容错和实时性能的高传输带宽。连接车辆的各种
电子控制单元和
致动器的庞大的布线
线束已经由数字总线线路(诸如
控制器区域网络(CAN)或FlexRay)取代。另一方面，多媒体应用经由基于媒体导向系统传输(MOST)或FireWire(IEEE1394)网络标准的专用总线系统进行通信。
[0003] 为了减小传输和存储视频数据所需的带宽量和存储容量，可采用传统视频数据压缩技术。这些技术利用空间(邻近
像素之间的相似性)和时间(相邻
帧之间的相似性)冗余来减少必须编码的信息量，并利用统计编码方案来将剩余信息转换为高度压缩的数据流。最新的视频压缩标准的显著实例是MPEG-2和H.264/AVC。
[0004] 传统的视频数据压缩方法根据先前编码的视频数据预测视频数据的当前帧并且仅编码当前帧与其预测之间的差异。
[0005] 图7是传统
视频编码器的
框图。通常，视频数据是逐
块编码的。为此，分割单元215将每个视频图像分成多个块，然后每个块被分别编码。减法器220被用来从输入视频数据210中减去预测的视频块。表示预测误差的差值由数据压缩单元230编码，该数据压缩单元230可应用
正交变换(诸如离散余弦变换)，量子化所得的变换系数，并采用统计编码方案以便生成压缩的视频数据290。预测的视频块由预测单元260生成。预测是基于由本地
解码器240提供并由(帧)
存储器250存储的先前编码的视频数据做出的，其中本地解码器240基本上进行数据压缩单元230和减法器220的操作的逆操作。
[0006] 预测可简单地基于先前的帧做出以便仅编码发生改变的像素值。更复杂的压缩方法保持视频图像内容的“模型”以便生成每个帧的更可靠的预测。显然，编码效率的任何改善仅能通过相当大的计算成本实现。
[0007] 图8显示出基于模型的视频
编码器的示例性配置。该编码器与图17的编码器的不同在于，模型单元270保持输入数据的模型，该输入数据的模型由预测单元260采用以生成输入视频数据210的改善的预测。在大多数情况下，输入数据的模型不是静态的，而是其参数必须由模型单元270根据当前的输入视频数据210不断地更新。为了解码压缩的视频数据290，预测必须是可由解码器再现的。因此，传递给预测单元260的模型参数也必须馈送给数据压缩单元230，以便被包括到压缩的视频数据290中。图8的基于模型的视频编码器的任何其它操作类似于图7的编码器，其中相似的功能单元以相似的
附图标记表示，因此省略其详细描述。
[0008]
运动估计和补偿是基于模型的视频压缩方法的实例。该方法将每个视频图像分成多个块。对于每个块，确定指示图像的相应部分的表观运动的
运动矢量。然后基于先前的帧和确定的运动矢量预测当前帧。与图8相比，模型参数因此由确定的运动矢量组成并且模型单元270表示运动估计单元。
[0009] 图9示出了确定运动矢量的步骤。当前视频图像920中的物体930已经相对于先前的视频图像910发生了移动。为了确定相应的运动矢量，使先前视频图像的块950偏移并将其与当前视频图像的内容进行比较。然后使用产生与当前视频图像的最佳匹配的偏移
位置来为该块定义运动矢量960。
[0010] 运动矢量的确定在计算成本方面非常昂贵，因为在比较步骤中必须计算大量像素差值。这要么转化为成本高的
硬件，要么转化为缓慢的非实时处理。
发明内容
[0011] 本发明的目的是提供一种用于车辆中的视频压缩的系统和相应的方法，其中运动矢量被更高效地确定。
[0012] 这是通过独立
权利要求中阐述的特征实现的。优选
实施例是
从属权利要求的主题。
[0013] 本发明的特定方法是利用关于安装有视频摄像机的车辆的当前运动状态的传感信息，来估计摄像机的视场内的光流，以便可以更高效地确定视频数据压缩所需的运动矢量。
[0014] 根据本发明的第一方面，提供了一种用于车辆(特别是用于机动车辆)的数字视频系统。该数字视频系统包括安装在车辆上的视频摄像机，提供指示车辆的当前运动状态的车辆运动信息的至少一个传感器，用于根据车辆运动信息估计视频摄像机的视场内的物体的表观运动的光流估计单元，以及适于根据估计的表观运动压缩由视频摄像机传递的视频数据的视频编码器。
[0015] 根据本发明的另一个方面，提供了一种用于车辆(特别是机动车辆)的视频压缩方法，该车辆配备有安装在车辆上的视频摄像机和提供指示车辆的当前运动状态的车辆运动信息的至少一个传感器。该方法包括以下步骤：根据车辆运动信息估计视频摄像机的视场内的物体的表观运动，以及根据估计的表观运动压缩由视频摄像机传递的视频数据。
[0016] 优选地，光流估计单元进一步包括用来根据至少一个传感器所提供的车辆运动信息重建车辆的当前运动状态的运动重建装置。以这种方式，视频摄像机的视场内的物体的表观运动可通过简单的几何计算根据车辆的重建的当前运动状态来确定。
[0017] 光流估计单元可以以指示流场的类型(诸如放大(zoom-in)或缩小(zoom-out)流场类型)或简单的左/右移动的定性信息的形式提供关于估计的表观运动的信息。该信息可易于由视频编码器考虑以便
加速压缩处理。
[0018] 可替换地，光流估计单元可以以矢量场表示的形式提供关于估计的表观运动的信息。以这种方式，物体的表观运动可取决于摄像机视场内物体的位置定量地描述。因此，可设置用于确定运动矢量的最优起始值或搜索范围，即使视场的一部分中的物体的表观运动不同于另一部分中的物体的表观运动。
[0019] 优选地，视频编码器包括：适于确定指示随后的视频图像内的运动的运动矢量的运动估计单元，所述运动矢量是根据摄像机视场内物体的估计的表观运动确定的；以及适于对视频数据和从确定的运动矢量预测的视频图像之间的差值进行编码的预测性编码单元。以这种方式，由摄像机传递的视频数据可基于运动估计和补偿方案而被压缩，同时用于确定运动矢量的计算工作量被显著减少。
[0020] 优选地，运动估计单元通过搜索可能的运动矢量的预先定义的搜索范围而确定运动矢量。这允许取决于编码需求和例如由传感器提供的可用的额外信息，来自适应地设置搜索范围，以便可以改善运动估计
算法的效率。
[0021] 优选地，运动估计单元根据估计的表观运动设置用于搜索运动矢量的搜索范围或起始值。以这种方式，与必须搜索整个视频图像的传统方法相比，可更快地找到正确的运动矢量。而且，所得的运动矢量的精确度可通过保证
迭代算法收敛于提供实际运动的最佳描述的运动矢量而得到改善。
[0022] 优选地，视频编码器进一步包括将视频图像分成块的分块设备，并且其中运动估计单元根据估计的表观运动和块在视频图像内的位置为每个块确定运动矢量。以这种方式，输入视频数据可根据传统视频压缩标准按块编码。而且，可以例如根据光流的矢量场表示来考虑视频图像的不同部分中的物体的不同表观运动。以这种方式，可以通过为视频图像的每个块选择矢量场的适当矢量作为用于确定该块的运动矢量的
基础，来选择用于确定运动矢量的最佳起始值。
[0023] 优选地，视频编码器根据运动图像专家组(MPEG)所推荐的任何标准来压缩视频数据。编码标准的特定实例是MPEG-2和H.264/AVC(MPEG-4)。例如，这允许与现有的解码器和/或记录器硬件兼容。
[0024] 优选地，至少一个传感器是转速计、加速计、
方向盘的
角度传感器、距离传感器、
陀螺仪、罗盘和GPS接收器中的任何一个。由这些传感器提供的信息允许车辆的当前运动状态的精确重建，并因此允许摄像机的视场内的物体的表观运动的精确估计。而且，这些传感器无论如何可以存在于传统车辆中，以便相应信息可易于在车辆的数字通信系统内利用。
[0025] 优选地，车辆运动信息包括速度、运动方向、线性加速度和径向加速度中的至少一个。以这种方式，可易于计算光流。
[0026] 优选地，数字视频系统进一步包括用于连接至少一个传感器和视频编码器的数字通信总线线路。连接也可以由连接两个不同总线系统(诸如控制总线(CAN/FlexRay)和多媒体总线(媒体导向系统传输，MOST))的网关介于中间。以这种方式，传感器信息可传递给视频编码器而无需庞大的布线线束。该系统也可利用现有的通信总线架构。
[0027] 优选地，数字视频系统进一步包括经由数字通信总线线路连接到视频编码器的显示设备和/或记录设备，用于解码和显示和/或记录视频数据。通过这些装置，所获取的视频图像可立即被记录和显示。而且，预记录的视频数据可被再现和分发到一个或多个远程显示设备，例如用于娱乐目的。
附图说明
[0028] 根据结合附图给出的下面的描述和优选实施例，本发明的上述和其它目的和特征将变得更加显而易见，在附图中：
[0029] 图1是显示出根据本发明的实施例的视频系统的配置的框图；
[0030] 图2是显示出根据本发明的实施例的视频编码器的配置的框图；
[0031] 图3A是示出视频图像内的表观运动的图；
[0032] 图3B是示出视频图像内的表观运动的图；
[0033] 图4A是示出由摄像机的适当运动引起的光流场的图；
[0034] 图4B是示出由摄像机的适当运动引起的光流场的图；
[0035] 图5是示出根据本发明的实施例的用于运动估计的方法的图；
[0036] 图6是示出根据本发明的实施例的由传感器辅助的视频压缩的方法的
流程图；
[0037] 图7是显示出传统视频编码器的配置的框图；
[0038] 图8是示出采用基于模型的预测的传统视频编码器的配置的框图；并且[0039] 图9是示出用于运动估计的传统方法的图。
具体实施方式
[0040] 图1示出了根据本发明的视频系统100的示例性实施例。在车辆中，数字总线142，诸如控制器区域网络(CAN)总线或FlexRay总线，被用来连接各种电子控制单元、致动器(未示出)、传感器130-132等等。另一方面，多媒体组件，诸如视频编码器110、视频解码器150和/或用于记录视频数据至记录介质165/从记录介质165再现视频数据的存储设备160，通过根据MOST(媒体导向系统传输)或FireWire(IEEE1394)连网标准的专用多媒体总线141进行通信。信息可在这两个子系统之间经由使控制总线142和多媒体总线141互连的网关145进行交换。直接连接到视频编码器110的视频摄像机120被安装到车辆上以便提供例如来自车辆前面或后面的区域的图像。该系统可进一步配备有连接至视频解码器155的显示单元155。
[0041] 视频编码器110接收来自摄像机的视频
信号，压缩该
视频信号，并输出压缩的视频数据至多媒体总线141。视频编码器还经由控制总线142和网关145接收由各种传感器130-132提供的信息。视频编码器可以例如根据接收的传感器信息重建车辆的当前运动状态，并且利用该信息以便加速视频数据压缩所需的运动矢量的确定。
[0042] 视频解码器150经由多媒体总线141接收例如来自视频解码器110或存储设备160的压缩的视频数据，解码压缩的视频数据，并馈送相应的视频信号至显示单元155。
[0043] 存储设备160经由多媒体总线141接收来自视频解码器110的压缩的视频数据，并记录接收到的数据至记录介质165，诸如磁带、
硬盘或光盘。存储设备160也可以用来再现来自记录介质的视频数据，输出再现的视频数据至通信总线，以便将其发送至视频解码器150以供显示。
[0044] 根据本发明的视频系统100允许广泛的应用。例如，由安装在车辆后部的摄像机拾取的视频信息可发送到安装在仪表板上的显示器，以便辅助驾驶员倒车至
停车位。由安装在车辆前部的摄像机拾取的视频信息可发送到存储设备以便被记录供以后分析或执行。记录的视频数据也可被再现并发送到视频解码器以便在显示器155上立即回放。最后，预记录的视频数据，诸如来自市场上可买到的DVD的电影，可被再现并经由多媒体总线141发送至一个或多个为乘客娱乐目的配置的视频解码器/显示器单元150、155。
[0045] 图2是根据本发明的实施例的视频编码器的框图。视频数据210通常由分割单元215分成多个块。然后每个块被馈送给减法器220，以便减去由预测单元260生成的预测的视频图像。与预测误差相对应的减法器的输出被馈送给数据压缩单元230。数据压缩单元230可应用传统数据压缩方法，包括正交变换、量子化和可变长度编码，以便生成压缩的视频数据290。预测单元基于存储在存储器单元250中的先前编码的视频块和由模型单元
270提供的图像内容的内部模型，来预测当前视频块。本地解码器240基本上执行由数据压缩单元和减法器执行的操作的逆操作，以便在图像以后由解码器重建时提供图像的参考副本。模型单元通过将模型与输入视频数据210进行比较并通过应用来自光流估计单元285的光流信息而使模型不断地得到更新。光流估计单元285根据由传感器130-132提供的信息280重建车辆的当前运动状态。基于当前运动状态和已知的摄像机参数，光流估计单元
285估计光流，然后该光流被馈送给模型单元270。表征用于预测
视频帧的模型的当前状态的任何参数也被馈送给数据压缩单元230，以便被包括到压缩的视频数据290中。
[0046] 根据本发明的实施例，模型和预测单元可采用运动估计/补偿技术以便减小相邻视频图像之间的时间相关性。为此，每个视频图像被分成多个块，确定指示每个块内物体的表观运动的运动矢量，并且根据确定的运动矢量预测视频帧。在这种情况下，模型参数包括运动矢量的整个集合。
[0047] 然而，本发明并不限于基于运动估计/补偿的视频编码器。作为替代，可采用用于预测视频图像的其它模型，包括基于
模式识别(识别和
跟踪物体，诸如其它车辆、路标、交通标志等)的模型。
[0048] 图3A示出了由安装在车辆上的视频摄像机获得的视频图像。视频摄像机指向车辆前面的区域，使得图像左边部分中的物体朝着图像的左下方移动，右边部分中的物体朝着右下方移动；参见图3A中的箭头。
[0049] 图3B示出了在车辆进行右转弯时由与图3A所示相同的摄像机获得的视频图像。在这种情况下，视频图像中物体的表观运动与车辆一直向前行驶时不同。
[0050] 更一般地，视频图像中物体的表观运动，除了它们适当的运动或距离外，还决定于车辆的当前运动状态，并且特别取决于车辆的速度和驾驶方向。其它参数，诸如摄像机的焦距和视向，也必须被考虑以用于估计物体的表观运动。然而，这些参数通常是固定的并且被认为是预先已知的。
[0051] 因此，如果车辆的当前运动状态和相关摄像机参数是已知的，则可以得出关于摄像机的视场内的物体的表观运动的结论。本发明的特定方法是利用关于车辆当前运动状态的信息以便加速模型参数(诸如视频数据压缩所需的运动矢量)的确定。
[0052] 关于车辆的当前运动状态的信息可由作为任何传统车辆的一部分的多个传感器提供，诸如连接到方向盘等的转速计和角度传感器，或额外的传感器，诸如加速计、陀螺仪、GPS接收器等等。
[0053] 从这些传感器中的至少一个所提供的信息中，可以根据速度、驾驶方向、线性和径向加速度来重建车辆的当前运动状态。在可获得的传感器信息不允许完全重建当前运动状态的情况下，可导出最重要的参数，诸如速度和驾驶方向，同时剩余的参数由缺省值(例如零加速度)取代。
[0054] 基于这样确定的车辆的当前运动状态，可以通过使用简单的几何考虑和关于摄像机视场内的距离和/或物体的适当运动的一些假定，来估计摄像机的视场内的光流。取决于摄像机的
帧速率，可以估计视场内物体的每帧的实际位移。可以采用该信息来加速视频压缩，如下面更详细说明的那样。
[0055] 例如，如果车辆以1m/s的速度倒车至停车位，摄像机的视域内的任何静止物体也将以v＝1m/s的速度移动。对于摄像机的给定
采样率，例如f＝25图像每秒，可计算两个相邻视频图像的物体位移s，也就是s＝v/f＝40mm。给定摄像机的视向和焦距，可导出光流并因此导出视频图像内物体的表观运动。
[0056] 如果关于当前运动状态的信息不完整，则可能无法定量计算光流场。然而，即使有限的关于当前运动状态的信息，也可被用来导出关于摄像机的视场内的物体的预期表观运动的有价值的结论。
[0057] 例如，如果方向盘的角度传感器指示右转弯，则可以推断，由沿着驾驶方向观察的摄像机记录的物体将看起来向左边移动，并且反之亦然。如果连接到换档
变速器的传感器指示车辆正在倒退，则可以推断，由连接在
汽车后部的停车辅助摄像机记录的物体将接近摄像机，并因此看起来朝着图像的边缘移动(放大)；否则它们将看起来朝着图像的中心移动(缩小)。任何这种形式的关于光流场的定性信息同样可用来加速视频压缩，如下面更详细说明的那样。
[0058] 光流的重建也可由仅间接涉及车辆运动状态的传感器信息辅助。例如，基于
超声波或雷达的距离传感器可用来测量例如在车辆倒回停车位时的车辆速度。它们也可以用来测量例如驶近的车辆的相对速度。通过使关于摄像机视场内物体的距离和适当运动的基本假定具体化，该信息与原始距离信息一起可用来提供更精确的光流场估计。
[0059] 根据本发明的实施例，视频图像被分成多个块。对于每个块，描述块的表观运动的矢量是根据车辆的当前运动状态确定的。这些矢量整体形成摄像机的运动所生成的光流场的表示。这样的光流场的实例分别在对应于直线和右转弯运动的图4A和4B中示出。
[0060] 图5示出了用于确定运动矢量的传统方法和根据本发明的实施例的方法之间的差异。如图5A所示，传统上通过限定以先前视频图像的当前块550为中心的搜索范围510，以用于搜索产生与当前视频图像的最佳匹配的块平移，来确定运动矢量。由于没有获得关于图像物体530的表观运动的先验信息，所以搜索范围必须足够大以便
覆盖所有可能的物体运动。因此，必须评估大量的候选平移，并且必须计算更大量的像素差值。
[0061] 根据本发明，摄像机的当前运动状态可从传感器信息280导出使得光流估计单元285可估计光流场。基于估计的块的光流矢量570，可以估计该块内图像物体的实际表观运动。如图5B所示，搜索范围511可因此根据估计的表观运动570来限定。由于可以预期图像物体530的实际表观运动仅稍微偏离该估计，所以搜索范围可以以估计570为中心，并且最重要的是，该搜索范围可以相当地小于传统方法。因此，仅少量的候选平移必须被评估，并且相应地，仅少量的像素差值必须被计算。这直接转化为编码器的提高的性能，因此可由更便宜的硬件组件来构建。
[0062] 即使仅可获得有限的关于估计的光流场的定性信息，也可以相应地设置搜索范围511以便实现计算效率方面的类似优点。例如，如果由于汽车向右转弯而已知物体向左手侧移动，则可以将传统搜索范围510分成左半边和右半边以便仅搜索左半边。如果取决于例如关于车辆驾驶方向的信息而已知光流是放大或缩小型流场，则可以实现相同的优点。在任何这些情况下，用于确定运动矢量的计算工作量可显著地得到减少。
[0063] 作为用于确定运动矢量的可替换方法，可采用任何传统的非线性
优化算法，诸如基于梯度的方法。根据该方法，通过计算先前视频图像的平移后的块和当前视频图像之间的像素差值的绝对值(absolutepixel difference)的总和的梯度，并基于计算的梯度反复调节平移直到像素差值的绝对值的总和达到最小值，来找到最优平移。
[0064] 在任何迭代方法中，最终结果的精确度以及收敛速度决定性地取决于起始值。在确定运动矢量的情况下，传统方法可采用零平移或者已经为前面的一对视频图像确定的运动矢量作为起始值。然而，根据本发明的实施例，用于迭代确定运动矢量的改进的起始值可基于
传感器数据280来定义。更具体地，基于根据传感器信息280计算的光流场的表观运动的估计可以用作改进的起始值。以这种方式，找到实际运动矢量所需的迭代数目可进一步减少。
[0065] 可替换地，不通过传统方法从某一起始矢量确定实际运动矢量，而是可以根据传感器信息校正先前确定的运动矢量。例如，如果传感器信息指示线性和/或径向加速度，则可以预测先前确定的运动矢量的改变。以这种方式，如果例如预测的运动矢量被用作传统方法的起始值，则找到实际运动矢量所需的迭代数目可进一步减少。
[0066] 在一些情况下，如果直接使用预测的运动矢量来代替迭代或搜索算法的结果，那么甚至根本不必要进行传统的迭代或搜索。更具体地，模型单元270可以通过仅仅每经过预定数目的视频图像才基于视频数据210应用传统方法一次，而对于其它视频图像则仅基于传感器数据280更新其模型，来校准其模型(即运动矢量)。以这种方式，确定运动矢量的计算成本可甚至进一步得到降低。
[0067] 例如，如果加速传感器指示车辆的运动状态没有改变，则完全相同的运动矢量集合可用来预测下一视频图像。另一方面，可以采用某些传感器报告的车辆运动状态的改变来在预测下一视频图像之前更新当前的运动矢量集合。例如，线性加速或减速简单地转化为运动矢量的比例因子。
[0068] 即使车辆的运动状态及其改变不能根据速度和加速度的矢量值参数完全知道，仍然可以使用可获得的信息来更新运动矢量以便获得用于实际运动矢量的传统迭代或搜索的改进的起始点。例如，如果仅能够测量到线性加速度，则运动矢量可相应地被成比例改变并通过从成比例改变后的运动矢量开始的传统迭代而被提炼。以这种方式，预测下一视频图像所需的实际运动矢量可更精确和更高效地得到确定。
[0069] 图6是示出根据本发明的实施例的用于由传感器辅助的视频压缩的方法的流程图。该方法在两个独立的步骤600和610中接收输入视频数据和传感器信息。在步骤620中采用传感器信息来重建车辆的当前运动状态。基于关于车辆的适当运动的信息和已知的摄像机参数(包括视向、焦距和帧速率)，可以估计指示摄像机视场内物体的表观运动的光流场。该估计可以是定量的并用矢量场表示形式表示，或者可以是定性的并提供例如关于矢量场的类型的信息。
[0070] 然后在步骤640中采用估计的光流场来高效地确定
运动补偿所需的运动矢量。为此，估计的光流场可以用作用于迭代确定运动矢量的起始点，以限定受限的搜索范围，或如上所述更新先前确定的运动矢量。基于这样确定的运动矢量，可在步骤650中预测当前视频图像。在步骤660中，对预测误差和运动矢量进行编码以便在步骤670中最终输出压缩的视频数据。
[0071] 已经主要结合基于运动估计和补偿的视频压缩描述了本发明。然而，本发明也可以应用于其它基于模型的视频编码器。例如，在具有用于识别和跟踪物体(诸如车辆、路标、交通标志等)的模型单元270的视频编码器中，也可以如上所述应用完全相同的原理。具体地，可以根据传感器数据确定和更新物体运动信息，如上面在运动矢量的内容中描述的那样。以这种方式，在每个视频图像中识别物体和它们的运动状态的计算成本可以得到显著的降低。
[0072] 总之，本发明涉及用于车辆中的视频压缩的设备和相应方法。各种传感器所提供的车辆运动信息被用来重建车辆的当前运动状态和估计摄像机视场内的光流。估计的光流被用来改善视频编码器的编码效率。特别地，在基于运动补偿的编码中，描述视频图像内物体的表观运动的运动矢量可通过考虑估计的光流而被更高效地确定。
