技术领域
[0001] 本
发明涉及一种用于确定街道标记的颜色的方法和一种用于确定街道标记的颜色的
图像处理系统。
背景技术
[0002] 在
现有技术中已知的应用允许在道路上检测和
跟踪街道标记，例如车道标记。这些应用所面临的挑战可能取决于不同的照明条件、下雨、不良的车道标记、以及区分街道标记与道路上物体的问题。
[0003] 颜色提取可以显著增强街道标记检测的功能，使得能够根据其颜色区分不同的街道标记。在这种情况下，道路标记条例可以规定街道标记应基于其颜色进行不同的处理。例如，根据欧洲交通规则，当检测到黄色车道标记和白色车道标记时，应该以更高优先级处理黄色车道标记以优先于白色车道标记提供的方向。这种黄色车道标记通常用于改善施工区域附近的道路安全。
[0004] 对于分别记录图像
像素的红色、绿色和蓝色信息的常规红-绿-蓝RGB摄像头，不同的颜色通道测量对应于可见
光谱的不同颜色强度，并且因此使得能够例如基于三色信息图表实现直接的颜色分类。
[0005] 然而，由于图像条件可能会影响检测到的颜色的正确性，因此可能需要调整颜色以正确
渲染特定颜色。为此目的，可以使用颜色平衡法，例如，灰平衡、中性平衡或
白平衡法。例如，白平衡的目标是正确地渲染图像中的颜色，特别是补偿由光照特性的变化而引起的色移效应。
[0006] 例如，在黄昏时，低太阳光照会产生较低的
温度，这使得一切都呈现淡红色。人眼在白平衡方面非常擅长，但仍有经验表明，在
白炽灯下拍摄的图像显示出明显的色移，其中白色物体通常看起来是黄色的。
[0007] 同样对于摄像头
传感器，校正色移可能具有挑战性。该问题与试图基于其颜色正确地检测和区分白色车道标记和黄色车道标记的车道检测系统尤其相关，特别是当面对变化的照明条件时。
[0008] 当使用红色-清色(red-clear)摄像头而不是常规的RGB摄像头时，问题更具挑战性，这通常是
汽车应用中的情况。在由红色-清色摄像头拍摄的图像中，像素仅提供红色信息和清色信息，其中清色信息不提供红色、绿色或蓝色信息。
[0009] 例如，在红色-清色摄像头的四像素排列中，一个像素可以捕获红光信息，而其余三个像素在它们的顶上没有提供R/G/B
过滤器。换句话说，由红色-清色摄像头拍摄的图像不提供完整的R/G/B颜色信息。由此可见，上述色彩平衡问题不能通过传统的色彩平衡法来补偿，因为由红色-清色摄像头拍摄的图像不提供绿色信息和蓝色信息。
发明内容
[0010] 鉴于前述内容，本发明的目的是提供一种改进的街道标记颜色确定，特别是用于区分具有不同颜色的街道道路，例如以提供具有改进的照明条件补偿的街道标记颜色确定。
[0011] 通过根据
权利要求1的用于确定街道标记的颜色的方法以及
独立权利要求9中描述的图像处理系统来满足这些目的。
[0012] 根据本发明的第一方面，一种用于确定街道标记的颜色的方法包括：
[0013] 拍摄街道的图像，
[0014] 检测作为由图像提供的像素集合的街道标记，其中，像素包括至少两条不同的颜色信息，
[0015] 通过比较所述至少两条不同的颜色信息，确定街道标记的颜色分数，以及[0016] 通过将颜色分数与至少一个
阈值进行比较来确定街道标记的颜色。
[0017] 该方法有利地通过将颜色分数与至少一个阈值进行比较来确定街道标记的颜色。颜色分数表示通过比较由像素集合提供的至少两条不同的颜色信息而确定的值，其中，该像素集合对应于街道标记。
[0018] 例如，图像可以包含由RGB摄像头(即用于拍摄具有红色信息、绿色信息和蓝色信息的像素的图像的摄像头)拍摄的像素集合。这里，例如，黄颜色对应于红色信息和绿色信息的组合。因此，对于RGB摄像头，可以通过比较来分析每个像素集合处的红色通道信息、绿色通道信息和蓝色通道信息的比例，以确定街道标记的颜色。这具有的优点是，例如，如果照明条件改变以致以类似的方式影响红色通道信息、绿色通道信息和蓝色通道信息(例如由于影响所有颜色的照明和
亮度变化)，则通道信息的比例可以保持相对不受影响。因此，颜色检测对于图像调节的变化不太敏感。
[0019] 类似地，当使用红色-清色型摄像头时，摄像头拍摄具有红色信息和清色信息的像素的图像。如上所述，清色信息对应于没有红色、绿色或蓝色区别的像素。
[0020] 如果没有绿色通道信息和蓝色通道信息，则无法区分所有可见光谱颜色。例如，不可能将黄颜色与纯红色，或例如洋红色区分开，洋红色是红色和蓝色的组合。
[0021] 然而，如果仅需要检测有限数量的颜色，则由红色-清色型摄像头提供的两条颜色信息足以区分颜色。例如，当确定街道标记的颜色，特别是道路边缘标记或车道标记的颜色时，交通规则可规定仅应使用白色和黄色。在这种情况下，红色通道信息可以与清色信息相比较，并且当满足一定比例的颜色信息时，可以检测出颜色，例如黄色。
[0022] 更具体地，根据本发明，通过比较由像素集合提供的至少两条颜色信息来确定街道标记的颜色，从而确定颜色分数。颜色分数可以表示指示检测到的颜色的值，例如，指示用于描述街道标记的黄色的颜色信息的比例的值。
[0023] 基于对由像素集合提供的不同颜色信息的比较，可以通过计算比例或其它关系来确定颜色分数，例如通过使用基于训练的分类器，例如神经网络或基于
模糊逻辑的分类器。在示例中，可以通过使用基于
机器学习的
训练数据集合(例如具有标为白色和黄色的车道标记)来训练分类器，以训练分类器基于由像素集合提供的颜色信息来计算颜色分数。
[0024] 为了确定街道标记的颜色，将颜色分数与至少一个阈值进行比较。例如，可以将颜色分数与一个阈值进行比较，以便在两种不同颜色之间进行判定，与两个阈值进行比较，以便在三钟不同颜色之间进行判定，或者与n个阈值进行比较，以便在n+1种不同颜色之间进行判定。因此，如果仅存在两种可能的颜色，例如街道车道标记的白色和黄色，则仅需要将颜色分数与单个阈值进行比较，以区分开两种颜色。
[0025] 如上所述，尽管图像条件可以影响由像素集合提供的不同条颜色信息中的每一条颜色信息的强度，但是颜色分数是基于不同条颜色信息的比较来确定的，并且因此可以以相同或相似的方式补偿影响不同的颜色的光照影响。
[0026] 优选地，确定所述至少一个阈值以进一步增强该有利特性。这在改变光照条件时特别有用，例如在城市/郊区夜间驾驶期间，难以正确区分不同的颜色。如上所述，黄昏时的低太阳光可能会在摄像头图像中将颜
色偏移为淡红色，这可能导致白色车道标记被错误地识别为黄色，尤其是在使用红色-清色摄像头时。在另一示例中，颜色偏移可能取决于
路灯的类型或车辆自身的前灯光谱和强度特性。
[0027] 鉴于该问题，优选地收集针对多个街道标记确定的颜色分数，以便基于所收集的颜色分数的统计分布来确定至少一个阈值。例如，可以基于在多个图像中(例如，在
视频流的多个图像
帧中)检测到的多个街道标记，尤其是在拍摄从车辆获取的视频流期间，对颜色分数进行收集。
[0028] 通过收集从每个摄像头帧中的街道标记确定的颜色分数，尤其是根据视频流的多个图像帧中的车道标记确定的颜色分数，可以分析和估计所确定的颜色分数的统计分布。例如，如果在多个帧中，只有拍摄的车道标记的一种颜色(例如白色或黄色)，则可以有效地对所确定的颜色分数的统计分布进行建模，以用于分类目的，例如建模为单个高斯统计分布。
[0029] 因此，通过分析跨多个帧的颜色分数分布，可以用统计术语描述不同颜色(例如黄色和白色)之间的相对差异。这使得能够基于不同的颜色分数统计分布确定有效的阈值以改进街道标记的颜色的分类，例如，基于从不同的颜色分数统计分布导出的概率计算。优选地，可以在拍摄从车辆获取的视频流期间，从视频流的帧中收集颜色分数，并且基于所收集的颜色分数确定相应的阈值。以这种方式，阈值可以适应于驾驶期间图像条件的变化。
[0030] 换句话说，优选地，基于被建模为多个统计颜色分布的
叠加的颜色分数的统计分布来确定阈值，其中每个统计颜色分布对应于一种街道标记的颜色，进一步优选地，其中统计分布被建模为多个高斯统计颜色分布的叠加。
[0031] 例如，如果仅涉及两种不同的颜色，例如黄色车道和白色车道，那么颜色分数可以被建模为两个可区分的高斯统计分布的叠加。
[0032] 在本发明的一个示例中，如果颜色分数大于阈值，则确定街道标记的颜色对应于第一颜色，并且如果颜色分数小于阈值，则确定街道标记的颜色对应于第二颜色。优选地，第一颜色和第二颜色对应于街道车道的颜色，进一步优选地，其中第一颜色和第二颜色分别对应于黄色和白色，或白色和黄色。
[0033] 根据本发明所提出的方法不同于用于RGB摄像头的常规颜色平衡，其中，特定颜色通道被放大，或者作为摄像头传感器上的模拟
信号，或者作为数字后处理
算法中的
数字信号，以正确地渲染颜色。根据本发明，阈值用于基于与颜色分数的比较来正确地区分不同颜色。因此，通过比较不同条的颜色信息来导出颜色分数，并且因此，结合与阈值的比较，可以增强颜色检测的鲁棒性和效率，尤其是其中改变的图像条件可能会影响由各像素集合提供的不同条颜色信息中的每一条颜色信息的强度。
[0034] 根据本发明的第二方面，提供一种图像处理系统，包括：
[0035] 用于拍摄街道图像的摄像头，
[0036] 联接到摄像头的图像处理装置，
[0037] 其中，图像处理装置被配置成：
[0038] 检测作为由图像提供的像素集合的街道标记，其中，像素包括至少两条不同的颜色信息，
[0039] 通过比较所述至少两条不同的颜色信息，确定街道标记的颜色分数，并且[0040] 通过将颜色分数与至少一个阈值进行比较来确定街道标记的颜色。
[0041] 该图像处理系统有利地通过将颜色分数与至少一个阈值进行比较来确定街道标记的颜色。颜色分数表示通过比较由像素集合提供的至少两条不同颜色信息确定的值，其中，该像素集合对应于街道标记。
[0042] 为此目的，图像处理系统包括摄像头和联接到摄像头的图像处理装置。根据本发明，图像处理装置可以包括计算装置，例如联接到存储装置的
微处理器，其中，存储装置包括适于由微处理器执行的
软件，以便使图像处理装置：检测作为由图像提供的像素集合的街道标记，其中，像素包括至少两条不同的颜色信息；通过比较所述至少两条不同的颜色信息确定街道标记的颜色分数；并且通过将颜色分数与至少一个阈值进行比较确定街道标记的颜色。
[0043] 优选地，摄像头是RGB摄像头，即用于拍摄具有红色信息、绿色信息和蓝色信息的像素的图像的摄像头，或者是红色-清色型摄像头，其中，该摄像头拍摄具有红色信息和清色信息的像素的图像。如上所述，清色信息对应于没有红色、绿色或蓝色区别的像素。
[0044] 如果没有绿色通道信息和蓝色通道信息，红色-清色型摄像头无法区分所有可见光谱颜色。例如，不可能将黄色与纯红色，或者例如洋红色区分开，洋红色是红色和蓝色的组合。
[0045] 然而，如果仅需要检测有限数量的颜色，则由红色-清色型摄像头提供的两条颜色信息足以对颜色进行区分。
[0046] 更具体地，根据本发明，通过使图像处理装置比较由像素集合提供的至少两条颜色信息确定街道标记的颜色，以便确定颜色分数。颜色分数可以表示指示检测到的颜色的值，例如，指示用于描述街道标记的黄色的颜色信息的比例的值。
[0047] 如上所述，基于由像素集合提供的不同颜色信息的比较，可以通过计算比例或其它关系来确定颜色分数，例如通过使用基于训练的分类器，例如神经网络或基于模糊逻辑的分类器。在一个示例中，可以通过使用基于机器学习的训练数据集合(例如具有标为白色和黄色的车道标记)来训练分类器，以便训练分类器以基于由像素集合提供的不同的颜色信息来计算颜色分数。
[0048] 根据本发明，图像处理装置被配置成通过将颜色分数与至少一个阈值进行比较来确定街道标记的颜色。例如，可以将颜色分数与一个阈值进行比较，以便在两种不同颜色之间进行判定，与两个阈值进行比较，以便在三种不同颜色之间进行判定，或者与n个阈值进行比较，以便在n+1种不同颜色之间进行判定。
[0049] 如上所详细描述的，尽管图像条件可能会影响由像素集合提供的每条不同颜色信息的强度，但是颜色分数是基于不同条颜色信息的比较来确定的，并且因此可以以相同或相似的方式补偿影响不同的颜色的光照影响。
[0050] 优选地，图像处理装置被配置成收集针对多个街道标记确定的颜色分数，并且基于所收集的颜色分数的统计分布确定至少一个阈值。例如，图像处理装置可以被配置成基于在由摄像头拍摄的多个图像中检测到的多个街道标记，优选地，在由摄像头拍摄的视频流的多个图像帧中检测到的多个街道标记，来收集颜色分数。
[0051] 以这种方式，收集针对多个街道标记确定的颜色分数以基于所收集到的颜色分数的统计分布来确定至少一个阈值。因此，可以分析所确定的颜色分数的统计分布并且将其用于确定至少一个阈值。例如，如果在多个帧中，只有一种颜色(例如白色或黄色)的拍摄的车道标记，则可以有效地对所确定的颜色分数的统计分布进行建模，以用于分类目的，例如建模为单个高斯统计分布。
[0052] 优选地，可以在拍摄从车辆获取的视频流期间从视频流的帧中收集颜色分数，并且基于所收集到的颜色分数确定相应的阈值。以这种方式，阈值可以适应于驾驶期间图像条件的变化。
[0053] 通过分析多个帧的颜色分数分布，可以用统计术语描述不同颜色(例如黄色和白色)之间的相对差异。这使得能够基于不同的颜色分数统计分布确定有效的阈值以改进街道标记的颜色的分类，例如，基于从不同的颜色分数统计分布导出的概率计算。
[0054] 优选地，图像处理装置被配置成基于将颜色分数的统计分布建模为多个统计颜色分布的叠加来确定至少一个阈值。这里，每个统计颜色分布对应于一种街道标记的颜色，进一步优选地，其中统计分布被建模为多个高斯统计颜色分布的叠加。
[0055] 例如，如果仅涉及两种不同的颜色，例如，黄色和白色车道，那么颜色分数可以被建模为两个可区分的高斯统计分布的叠加，使得计算上有效的方法能够基于概率考虑(例如通过最大似然考虑)来确定阈值。
[0056] 优选地，图像处理装置被配置成如果颜色分数大于阈值则确定街道标记的颜色对应于第一颜色，并且如果颜色分数小于阈值，则确定街道标记的颜色对应于第二颜色，优选地其中，第一颜色和第二颜色分别对应于黄色和白色，或白色和黄色。
[0057] 在示例中，根据本发明的图像处理系统的摄像头被配置为安装在车辆上，优选地，安装在车辆的前部、后部或侧部。以这种方式，摄像头被适当地
定位成在没有阻挡
视野的障碍物的情况下拍摄街道标记的图像。当拍摄视频流中的一系列图像帧以收集街道车道的颜色分数时，这尤其有用。
[0058] 优选地，街道标记的颜色是街道车道标记的颜色，进一步优选为黄色或白色。
[0059] 相应地，根据本发明的图像处理系统使用至少一个阈值来基于与颜色分数的比较正确地区分不同的颜色。通过比较不同条颜色信息得到颜色分数，并且因此结合与至少一个阈值的比较，可以增强颜色检测的鲁棒性和效率，尤其是当改变图像条件以相同或相似的方式影响不同条颜色信息中的每一条的强度时。
附图说明
[0060] 在以下对附图的描述中描述了本发明的其它实施方式。下面将通过实施方式并且参照附图来说明本发明，在附图中：
[0061] 图1示出了街道标记场景；
[0062] 图2示出了用于确定街道标记的颜色的方法；
[0063] 图3示出了红色-清色型摄像头像素排列；
[0064] 图4示出了颜色分数统计分布函数；以及
[0065] 图5示出了图像处理系统。
具体实施方式
[0066] 图1示出了街道标记场景100，其中，具有摄像头120的车辆110沿着具有白色街道标记130的道路行进。摄像头120安装在车辆110的
后视镜后面，以便提供一览无余的
正面视野。摄像头也可以安装在车辆110的前部、后部或侧部，例如以提供相对于街道标记的不同视点。
[0067] 白色街道标记130被布置成限定道路边缘并且分开两个道路车道。因此，白色街道标记130提供车道标记。白色街道标记还可以指示道路出口、道路交叉口或停车区域，这取决于所考虑的道路情况。
[0068] 在图1中，示出了具有施工机械150的道路施工区域140
覆盖了白色街道标记130中的一个，并且在车辆110所使用的街道内延伸。
[0069] 为了提高道路施工区域140的安全性，提供了优先于白色街道标记130的黄色街道标记160。因此，黄色街道标记被布置成在安全距离处引导车辆110穿过施工区域140。例如，根据欧洲交通规则，当使用黄色车道标记和白色车道标记时，应该以更高优先级处理黄色车道160标记以优先于白色车道标记提供的方向。
[0070] 因此，需要正确的颜色提取以基于其颜色区分不同的街道标记，例如以增强安全性，其中，例如在建筑区域140处提供了优先于白色街道标记130的黄色街道标记160。
[0071] 图2示出了用于确定街道标记200的颜色的相应方法。拍摄街道的图像210，并检测街道标记130、160(作为由图像提供的像素集合)220，其中像素包括至少两条不同的颜色信息。
[0072] 例如，由图像提供的像素集合可以由RGB摄像头(即用于拍摄具有红色信息、绿色信息和蓝色信息的像素的图像的摄像头)120提供。可选地，由图像提供的像素集合可以由红色-清色型摄像头(即用于拍摄具有红色信息像素和清色信息的图像的摄像头)120提供。
[0073] 例如，图3示出了红色-清色摄像头的像素排列，其中，像素310适合拍摄红光信息，而其余像素320在它们顶部没有提供R/G/B过滤器。换句话说，由红色-清色摄像头拍摄的图像不提供完整的R/G/B颜色信息。
[0074] 在图2所示的步骤230中，比较至少两条不同的颜色信息以确定街道标记的颜色分数。颜色分数可以表示指示检测到的颜色的值，例如，如上所述，指示用于描述街道标记的黄色的颜色信息的比例的值。
[0075] 例如，基于由像素集合提供的不同颜色信息的比较，可以通过计算比例或其它关系来确定颜色分数，例如通过使用基于训练的分类器，诸如例如神经网络或基于模糊逻辑的分类器。在一个示例中，可以通过使用基于机器学习的训练数据集合(例如具有标为白色和黄色的车道标记)来训练分类器，以便训练分类器以基于由像素集合提供的不同的颜色信息来计算颜色分数。
[0076] 然后，在图2所示的步骤240中，将颜色分数与至少一个阈值进行比较以确定街道标记的颜色。
[0077] 例如，当使用红色-清色摄像头时，无法区分所有可见光谱颜色。例如，不可能将黄色与纯红色，或者例如洋红色区分开，洋红色是红色和蓝色的组合。
[0078] 然而，由于图1中所示的街道标记130、160是白色或黄色，因此可以将红色通道信息与清色信息进行比较，例如以确定颜色信息的比例，并且得到的颜色分数可以用来区分这两种颜色。
[0079] 更具体地，为了区分街道标记的白色和黄色，将颜色分数与阈值进行比较。
[0080] 以这种方式，基于不同颜色信息的比较来确定颜色分数，并且因此可以以相同或相似的方式补偿影响不同颜色的光照效果。例如，可以通过比较不同的颜色信息，例如通过确定颜色信息的比例来补偿以相同或相似的方式影响不同颜色的亮度和光照的变化。
[0081] 此外，通过收集针对街道标记确定的颜色分数，可以基于所收集到的颜色分数的统计分布来确定阈值。例如，可以基于在多个图像中，例如在由摄像头120拍摄的视频流的多个图像帧中检测到的街道标记来收集颜色分数。
[0082] 以这种方式，可以分析和估计所确定的颜色分数的统计分布。例如，如果在多个帧中，只有一种颜色(例如白色或黄色)的拍摄的车道标记，则可以有效地对所确定的颜色分数的统计分布进行建模，以用于分类目的，例如建模为单个高斯统计分布。
[0083] 图4示出了颜色分数统计分布函数400，其中，针对白色410的高斯统计分布被定义为颜色分数的高斯概率
密度函数420。通过重复对在视频流的多个帧中拍摄的黄色车道标记进行分析，得到对应于黄色423的高斯统计分布。因此，两种不同的颜色对应于图4中所示的两个不同的高斯统计分布函数410、420。
[0084] 因此，可以用统计术语描述两种不同颜色之间的相对差异，并且可以基于从不同颜色分数统计分布410、430导出的概率计算来确定相应的阈值440。
[0085] 换句话说，基于被建模为多个统计颜色分布的叠加的颜色分数的统计分布来确定阈值，其中每个统计颜色分布对应于一种街道标记的颜色。
[0086] 然后，如果颜色分数大于阈值，则确定街道标记的颜色对应于黄色，并且如果颜色分数小于阈值，则确定街道标记的颜色对应于白色，反之亦然。
[0087] 如上所述，如果需要检测多于两种的颜色，则将颜色分数与n个阈值进行比较，以便在n+1种不同颜色之间进行判定。
[0088] 相应地，至少一个阈值用于基于与颜色分数的比较来正确地区分不同颜色。因此，通过比较不同的颜色信息来导出颜色分数，并且因此，结合与阈值的比较，可以增强颜色检测的鲁棒性和效率，尤其是当改变的图像条件可以以相同或相似的方式影响每条颜色信息的强度时。
[0089] 图5示出了被配置成执行图2中所示的方法200的图像处理系统500。为此目的，图像处理系统500包括用于拍摄街道图像的摄像头510、120，以及联接至摄像头510的图像处理装置520。图像处理装置被配置成执行上述步骤：检测作为由图像提供的像素集合的街道标记，其中，像素包括至少两条不同的颜色信息；通过比较所述至少两条不同的颜色信息确定街道标记的颜色分数；以及通过将颜色分数与至少一个阈值440进行比较来确定街道标记的颜色。
[0090] 这里，图像处理装置520包括联接到存储装置540的计算装置530，例如微处理器，其中，存储装置540包括被配置成由微处理器执行的软件，以便执行图2中所示的方法步骤。
[0091] 参考标号列表
[0092] 100 街道标记场景
[0093] 110 车辆
[0094] 120、510 摄像头
[0095] 130 白色街道标记
[0096] 140 道路施工区域
[0097] 150 施工机械
[0098] 160 黄色街道标记
[0099] 200 用于确定街道标记的颜色的方法
[0100] 210 拍摄街道的图像
[0101] 220 检测街道标记
[0102] 230 确定颜色分数
[0103] 240 将颜色分数与阈值进行比较
[0104] 300 红色-清色型摄像头像素排列
[0105] 310 适合拍摄红光信息的像素
[0106] 320 其顶部没有R/G/B过滤器的像素
[0107] 400 颜色分数统计分布函数
[0108] 410、430 第一颜色分数/第二颜色分数的高斯统计分布
[0109] 420 颜色分数轴
[0110] 440 阈值
[0111] 500 图像处理系统
[0112] 520 图像处理装置
[0113] 530 计算装置
[0114] 540 存储装置
