滤波装置 |
|||||||
| 申请号 | CN201410494252.4 | 申请日 | 2014-09-24 | 公开(公告)号 | CN104512334A | 公开(公告)日 | 2015-04-15 |
| 申请人 | 富士重工业株式会社; | 发明人 | 小野宏行; | ||||
| 摘要 | 本 发明 通过对基准区 块 彼此和比较区块彼此的相对 位置 关系进行评价，可恰当地导出对象物的差值。本发明的滤波装置在基准区块彼此的位置关系与比较区块彼此的位置关系不同的情况下，以使基准区块彼此的位置关系与比较区块彼此的位置关系相等的方式，排列对应的比较区块，使位置关系信息(相关性顺序与其位置关系)更新成本来应有的状态，从而恰当地导出对象物的差值。 | ||||||
| 权利要求 | 1.一种滤波装置，其特征在于，具备： |
||||||
| 说明书全文 | 滤波装置技术领域背景技术[0002] 以往，检测位于本车辆的前方的车辆等特定物，以避免与前行车辆的碰撞(碰撞避免控制)，或以使本车辆与前行车辆的车距保持在安全距离的方式进行控制(巡航控制)的技术已被人所知(例如，专利文献1)。 [0003] 在这样的碰撞避免控制、巡航控制中，为了获得位于本车辆前方的对象物与本车辆的相对距离，例如使用视角不同的两个摄像装置，分别从其中获取图像数据，利用图案匹配导出视差，所谓图案匹配是从基于另一个图像数据的图像(以下，称为比较图像)中检索与从基于一个图像数据的图像(以下，称为基准图像)任意抽取的区块(以下，称为基准区块)相关性高的区块(以下，称为比较区块)的处理。然后，参照摄像装置的设置位置和/或焦距等摄像参数，使用通过三角测量法进行的所谓立体视觉法，根据被导出的视差求出对象物相对于摄像装置的相对距离，变换为相对距离加上水平距离和高度的三维位置信息。然后，使用该三维位置信息进行各种识别处理。其中，“水平”表示画面横向，后述的“垂直”表示画面纵向。 [0004] 在上述图案匹配中，在比较图像上一边使比较区块沿水平方向移动一边计算与基准区块的相关性，将相关性最高的比较区块在比较图像上的坐标与基准区块的坐标的差分(差值)设为视差。然而，在本车辆前方会存在各种对象物，有时还包含多个类似的对象物、对象物中类似的对象部位。作为类似的对象物、对象部位的典型的例子，例如可举出道路的路锥列、照明灯或者电线杆、车辆的规定部位等。这样的类似的对象物、对象部位位于水平方向时，会与类似的其他的对象物和/或对象部位匹配，有可能导出错误的视差。 [0005] 因此，在图案匹配中，公开了如下的技术，即比较图像的一个比较区块与基准图像的多个基准区块的相关性最高的情况下(将所述现象简称为配对)，仅将视差最小的与基准区块相关的视差设为有效(例如，专利文献2)。 [0006] 现有技术文献 [0007] 专利文献 [0008] 专利文献1：日本专利第3349060号公报 [0009] 专利文献2：日本专利第3287465号公报 发明内容[0010] 然而，在专利文献2的技术中，由于排除没有判定为有效的与基准区块相关的视差(差值)，因而与该没有判定为有效的基准区块对应的比较区块尽管实际上是存在的，也作为不存在而处理了。另外，在与多个基准区块对应的多个比较区块相互错误而匹配时，即某一基准区块和与其他的基准区块对应的比较区块匹配，其他的基准区块和与某一基准区块对应的比较区块匹配时(将所述现象简称为交叉配对)，在专利文献2的技术中，无法更正其错误的匹配。 [0011] 本发明是鉴于这样的课题而提出的，其目的在于提供一种通过对基准区块彼此和比较区块彼此的相对位置关系进行评价，能够恰当地导出对象物的差值的滤波装置。 [0012] 为了解决上述课题，本发明的滤波装置，其特征在于，具备：评价值导出部，对于相互具有关联性的一对比较对象，用于导出表示从一个比较对象任意提取的基准提取部位与从另一个比较对象提取的多个比较提取部位的相关性的多个评价值；位置关系信息导出部，导出多个评价值的相关性顺序和该相关性顺序彼此的位置关系；位置关系置换部，从多个比较提取部位中确定出与基准提取部位对应的比较提取部位，以使多个比较提取部位彼此的位置关系和基准提取部位彼此的前后位置关系相同。 [0013] 可选地，上述位置关系信息导出部提取相对于基准提取部位相关性相对高的多个比较提取部位，导出比较提取部位相对于基准提取部位的相关性顺序和该相关性顺序彼此的位置关系而与该基准提取部位对应关联，上述位置关系置换部可以对比较提取部位相对于一个基准提取部位的相关性顺序及该相关性顺序彼此的位置关系和比较提取部位相对于其他的基准提取部位的相关性顺序及该相关性顺序彼此的位置关系进行比较，评价与基准提取部位对应的比较提取部位的相关性关系。 [0014] 可选地，位置关系置换部可以在相对于一个基准提取部位相关性最高的比较提取部位与相对于其他的基准提取部位相关性最高的比较提取部位的位置关系大致相同、并且相对于一个基准提取部位相关性第二高的比较提取部位与相对于其他的基准提取部位相关性第二高的比较提取部位的位置关系大致相同的情况下，评价为与某一个基准提取部位对应的比较提取部位的相关性关系发生错误。 [0015] 可选地，位置关系信息导出部可以导出提取的比较提取部位相对于基准提取部位的相对位置，位置关系置换部可以在相对于一个基准提取部位相关性第二高的比较提取部位的相对位置与相对于其他的基准提取部位相关性最高的比较提取部位的相对位置大致相同的情况下，评价为与一个基准提取部位对应的比较提取部位的相关性关系发生错误，将与一个基准提取部位对应的比较提取部位的相关性顺序相互置换。 [0016] 可选地，位置关系信息导出部可以导出提取的比较提取部位相对于基准提取部位的相对位置，位置关系置换部可以在相对于一个基准提取部位相关性最高的比较提取部位的相对位置与相对于其他的基准提取部位相关性第二高的比较提取部位的相对位置大致相同的情况下，评价为与其他的基准提取部位对应的比较提取部位的相关性关系发生错误，将与其他的基准提取部位对应的比较提取部位的相关性顺序相互置换。 [0017] 可选地，位置关系信息导出部可以导出提取的比较提取部位相对于基准提取部位的相对位置，位置关系置换部可以在相对于一个基准提取部位相关性第二高的比较提取部位的相对位置与相对于其他的基准提取部位相关性最高的比较提取部位的相对位置不大致相同、并且相对于一个基准提取部位相关性最高的比较提取部位的相对位置与相对于其他的基准提取部位相关性第二高的比较提取部位的相对位置不大致相同的情况下，将相对于基准提取部位相对位置最小的比较提取部位设为有效，将除此之外的比较提取部位的相对位置设为无效。 [0018] 可选地，位置关系置换部可以在相对于一个基准提取部位相关性最高的比较提取部位与相对于其他的基准提取部位相关性第二高的比较提取部位的位置关系大致相同、并且相对于一个基准提取部位相关性第二高的比较提取部位与相对于其他的基准提取部位相关性最高的比较提取部位的位置关系大致相同的情况下，评价为与两个基准提取部位对应的比较提取部位的相关性关系可能发生错误。 [0019] 可选地，位置关系信息导出部可以导出提取的比较提取部位相对于基准提取部位的相对位置，位置关系置换部可以在相对于一个基准提取部位相关性第二高的比较提取部位的相对位置与相对于其他的基准提取部位相关性第二高的比较提取部位的相对位置大致相同的情况下，将与两个基准提取部位对应的各自的比较提取部位的相关性关系相互置换。 [0020] 可选地，位置关系信息导出部可以导出提取的比较提取部位相对于基准提取部位的相对位置，位置关系置换部可以在相对于一个基准提取部位相关性最高的比较提取部位的相对位置与相对于其他的基准提取部位相关性最高的比较提取部位的相对位置大致相同的情况下，评价为与两个基准提取部位对应的各自的比较提取部位的相关性关系是正确的。 [0021] 可选地，位置关系信息导出部可以导出提取的比较提取部位相对于基准提取部位的相对位置，位置关系置换部可以在相对于一个基准提取部位相关性第二高的比较提取部位的相对位置与相对于其他的基准提取部位相关性第二高的比较提取部位的相对位置不大致相同、并且相对于一个基准提取部位相关性最高的比较提取部位的相对位置与相对于其他的基准提取部位相关性最高的比较提取部位的相对位置不大致相同的情况下，将两个基准提取部位中相对位置最小的基准提取部位的相对位置设为有效，将相对位置不是最小的基准提取部位的相对位置设为无效。 [0022] 滤波装置可以应用于生成相互具有关联性的一对图像的立体摄像装置，上述一对比较对象可以由用立体摄像装置的一个摄像机拍摄的基准图像和用立体摄像装置的另一个摄像机拍摄的比较图像构成。 [0023] 滤波装置可以应用于具有单目摄像机的单目摄像装置，上述一对比较对象可以由在相互不同的时刻拍摄的一对图像构成。 [0024] 滤波装置可以应用于具有单目摄像机的单目摄像装置，上述一对比较对象可以由拍摄图像和预先准备的模板图像构成。 [0026] 图1是表示环境识别系统的连接关系的框图。 [0027] 图2是表示车外环境识别装置的大致功能的功能框图。 [0028] 图3是例示了基准图像和比较图像的说明图。 [0029] 图4是表示图案匹配处理的动作的流程图。 [0030] 图5是说明平均值差分匹配的动作的说明图。 [0031] 图6是用于说明位置关系信息的说明图。 [0032] 图7是用于说明存储区域的说明图。 [0033] 图8是用于说明位置关系置换部的动作的说明图。 [0034] 图9是用于说明存储区域的说明图。 [0035] 图10是用于说明存储区域的说明图。 [0036] 图11是用于说明存储区域的说明图。 [0037] 图12是用于说明存储区域的说明图。 [0038] 图13是用于说明位置关系置换部的其他的动作的说明图。 [0039] 图14是用于说明存储区域的说明图。 [0040] 图15是用于说明存储区域的说明图。 [0041] 图16是用于说明存储区域的说明图。 [0042] 符号说明： [0043] 110：摄像装置 [0044] 120：车外环境识别装置(滤波装置) [0045] 160：评价值导出部 [0046] 162：位置关系信息导出部 [0047] 164：位置关系置换部 [0048] 166：差值决定部 [0049] 200：基准图像 [0050] 204：基准区块 [0051] 210：比较图像 [0052] 214：比较区块 具体实施方式[0053] 以下，参照附图，对本发明的优选的实施方式进行详细说明。所述实施方式所示的尺寸、材料、其他具体的数值等仅是用来使发明容易理解的例示，除了特别声明的情况之外，并不限定本发明。应予说明，在本说明书和附图中，对于实际上具有相同的功能、构成的要素，标记相同的符号而省略重复说明，并且与本发明没有直接关系的要素省略图示。 [0054] 近年来，搭载了碰撞防止功能的车辆逐渐被普及，所谓碰撞防止功能是指通过搭载于车辆的车载摄像机拍摄本车辆的前方的道路环境，基于图像(比较对象)内的颜色信息和/或位置信息，确定前行车辆等的对象物，避免本车辆与被确定的对象物之间的碰撞，或将本车辆与前行车辆之间的车距保持在安全的距离(ACC：Adaptive Cruise Control，自适应巡航控制)。 [0055] 在所述碰撞防止功能中，为了获得位于本车辆前方的对象物与本车辆的相对距离，例如使用视角不同的两个摄像装置(立体摄像装置)，对从两个摄像装置分别取得的一对比较对象即基准图像和比较图像进行比较，使用所谓的图案匹配来提取相关性高的区块(提取部位)。然而，多个类似的对象物、对象物中的类似的对象部位位于水平方向时，会与类似的其他对象物、对象部位匹配，因此存在导出错误的视差(差值)的可能性。因此，在本实施方式中，其目的在于，通过评价基准区块(基准提取部位)彼此和比较区块(比较提取部位)彼此的相对位置关系、特别是基准区块和比较区块的评价值中相关性从高到低的顺序的位置关系，从而恰当地导出对象物的视差。其中，区块表示由图像中的1个或者多个像素构成的部位。以下，说明用于实现这样的目的的环境识别系统，详细描述作为其具体的构成要素的设置于车外环境识别装置的滤波装置。 [0056] (环境识别系统100) [0057] 图1是表示环境识别系统100的连接关系的框图。环境识别系统100被构成为包含设置于本车辆1内的摄像装置110、车外环境识别装置120和车辆控制装置(ECU：Engine Control Unit，发动机控制单元)130。 [0058] 摄像装置110被构成为包含CCD(Charge-Coupled Device：电荷耦合器件)和/或CMOS(Complementary Metal-Oxide Semiconductor：互补金属氧化物半导体)等摄像元件，能够拍摄与本车辆1的前方相当的环境，并生成由三个色相(R(红)、G(绿)、B(蓝))构成的彩色图像和/或黑白图像。其中，采用利用摄像装置110拍摄的彩色图像作为亮度图像，与后述的距离图像进行区别。 [0059] 另外，就摄像装置110而言，在本车辆1的行进方向侧，两个摄像装置110以各自的光轴大致平行的方式在大致水平方向上分离而配置。摄像装置110例如按照1/60秒的帧(60fps)连续生成对本车辆1的前方的检测区域中存在的对象物进行拍摄而得到的图像数据。其中，识别的对象物不仅包括车辆、行人、信号灯、道路(前行路)、护栏、建筑物之类的独立存在的立体物，还包括尾灯或闪烁警示灯、信号灯的各亮灯部分等能够确定为立体物的一部分的物体。以下的实施方式中的各功能部以这样的图像数据的更新作为契机按照每个帧进行各处理。 [0060] 车外环境识别装置120分别从两个摄像装置110取得图像数据，使用所谓的图案匹配导出视差，将被导出的视差信息(相当于后述的相对距离)与图像数据对应关联而生成距离图像。对于图案匹配，在后面进行详细描述。另外，车外环境识别装置120使用基于亮度图像的亮度，以及基于距离图像的包含与本车辆1之间的相对距离的实际空间中的三维位置信息，将亮度相等且三维位置信息相近的区块彼此作为对象物而群组化，确定出本车辆1前方的检测区域中的对象物是否与哪个特定物对应。 [0061] 车外环境识别装置120一旦确定了特定物，则一边追踪该特定物(例如，前行车辆)，一边导出特定物的相对速度等，进行特定物与本车辆1碰撞的可能性是否高的判定。其中，当判定为碰撞的可能性高时，车外环境识别装置120将该情况通过设置于驾驶员的前方的显示器122向驾驶员进行警告显示(报告)，并且对车辆控制装置130输出表示该情况的信息。 [0062] 车辆控制装置130通过方向盘132、加速踏板134、制动踏板136接受驾驶员的操作输入，并传递到转向机构142、驱动机构144、制动机构146，从而控制本车辆1。另外，车辆控制装置130依照车外环境识别装置120的指示，控制驱动机构144、制动机构146。 [0063] 以下，对车外环境识别装置120的构成进行详细描述。此处对本实施方式中特征性的内容即滤波装置中的求出对象物的视差的处理进行详细说明，对与本实施方式的特征无关的构成省略说明。 [0064] (车外环境识别装置120) [0065] 图2是表示车外环境识别装置120的大致功能的功能框图。如图2所示，车外环境识别装置120被构成为包含I/F部150、数据存储部152和中央控制部154。 [0066] I/F部150是用于进行与摄像装置110和/或车辆控制装置130的双向的信息交换的接口。数据存储部152由RAM、闪存、HDD等构成，存储以下所示的各功能部的处理所需的各种信息，另外，临时存储从摄像装置110接收到的图像数据。 [0067] 中央控制部154由包括中央处理装置(CPU)、储存有程序等的ROM、作为工作区域的RAM等的半导体集成电路构成，通过系统总线156，控制I/F部150、数据存储部152等。另外，在本实施方式中，中央控制部154还作为评价值导出部160、位置关系信息导出部162、位置关系置换部164、差值决定部166发挥功能。另外，评价值导出部160、位置关系信息导出部162、位置关系置换部164以及差值决定部166还作为滤波装置发挥功能。以下，边例示基准图像和比较图像，边说明各功能部。 [0068] 图3是例示了基准图像200和比较图像210的说明图。其中，从视角不同的两个摄像装置110取得的一对图像中，将如图3(a)所示的来自位于右侧的摄像装置110的图像设定为基准图像200，将如图3(b)所示的来自位于左侧的摄像装置110的图像设定为比较图像210。 [0069] 根据基准图像200和比较图像210导出评价值的时候，例如在图3(a)和(b)的卡车的中央用椭圆包围的区域中，产生在垂直方向延长的类似的两个边缘230，在这两个边缘230中，基准区块彼此和比较区块彼此是类似的。在本实施方式中，如此地，在基准区块彼此类似的情况下，避免使本来不应对应的比较区块与该基准区块错误地对应。其是通过以下方式而实现。 [0070] 多个基准区块彼此类似的情况下，与其对应的多个比较区块彼此也类似。即，容易出现相对于一个基准区块，多个比较区块的相关性较高的情形。因此，在本实施方式中，不仅提取相对于一个基准区块，相关性最高的比较区块，还提取认为类似的相关性相对高的多个比较区块。然后，从多个比较区块中，确定出本来应对应的比较区块。 [0071] 另外，上述两个摄像装置110虽然视角不同，但由于拍摄的是同一被拍摄体，所以相对距离相等的对象物的基准区块与比较区块之间的位置关系在其对象物中的任一基准区块中几乎相同。这样，即使多个基准区块类似，分别与多个基准区块对应的多个比较区块彼此的位置关系与基准区块彼此的位置关系几乎相同。因此，在本实施方式中，排列与至少一个基准区块对应的比较区块，以使基准区块彼此的位置关系和比较区块彼此的位置关系相同。 [0072] 因此，评价值导出部160导出多个评价值，所述评价值是表示对于基于分别从两个摄像装置110取得的两个图像数据而得到的两个图像，从一个图像(基准图像200)任意提取的基准区块与从另一个图像(比较图像210)提取的多个比较区块之间的相关性。接下来，位置关系信息导出部162是从评价值导出部160导出的多个评价值中从相关性高的开始确定预先决定的预定数量的评价值，导出表示作为确定的评价值的相关性从高到低顺序的相关性顺序与相关性顺序彼此的位置关系的位置关系信息(与基准区块对应的比较区块的相关性关系)，与基准区块对应关联。在此，确定相关性顺序和相关性顺序彼此的暂时位置关系。 [0073] 如果与被导出的位置关系信息处于预定的关系的位置关系信息没有存储在数据存储部152，则位置关系置换部164使被导出的位置关系信息与基准区块对应关联而存储在数据存储部152中。关于所述的预定的关系，在后面详细记述。在此，基准区块与比较区块没有恰当地对应的情况下，有时新导出的位置关系信息和已经被存储在数据存储部152中的位置关系信息变成预定的关系。因此，如果与被导出的位置关系信息处于预定的关系的位置关系信息存储在数据存储部152中，则位置关系置换部164根据与被导出的位置关系信息对应的基准区块、与被存储的位置关系信息对应的基准区块、以及位置关系信息，以使多个比较区块彼此的位置关系与基准区块彼此前后的位置关系相同的方式，变更至少任一个基准区块的位置关系信息，从多个比较区块中确定出与基准区块对应的比较区块(相关性最高的相关性顺序的位置)。如此地，位置关系信息(相关性顺序及其位置关系)被更新为本来应具有的状态。而且，差值决定部166是使根据位置关系置换部164确定出的与基准区块相关的位置关系信息中的相关性最高的相关性顺序的位置作为基准区块的视差而决定出来。以下，说明图案匹配处理的详细动作。 [0074] (图案匹配处理) [0075] 图4是表示图案匹配处理的动作的流程图。其中，在摄像装置110中每次生成图像数据时，该图案匹配处理作为中断处理被执行。另外，为了便于说明，此处举出从相关性高的开始确定两个评价值的例子。因此，相关性顺序为第一和第二这两个。 [0076] (步骤S300) [0077] 评价值导出部160使设定在数据存储部152中的各存储区域(后述的视差候补存储区域、基准存储区域、第二存储区域、第二视差存储区域)复位。然后，评价值导出部160分别从两个摄像装置110取得图像数据，从基于所取得的两个图像数据的具有相互关联性的一对图像中的、成为基准的基准图像200中提取一个基准区块。 [0078] (步骤S302) [0079] 评价值导出部160通过所谓图案匹配而导出表示所提取的基准区块与作为比较对象的从比较图像210中提取的多个比较区块之间的相关性的多个评价值。 [0080] 作为该图案匹配，可在一对图像间，以任意的区块单位比较亮度(Y色差信号)。例如有获取亮度的差分的SAD(Sum of Absolute Difference，绝对误差和)、将差分平方而使用的SSD(Sum of Squared intensity Difference，误差平方和)和采用从各像素的亮度减去平均值而得到的分散值的相似度的NCC(Normalized Cross Correlation，归一化互相关)等的手法。其中，这里举出SAD的例子进行说明。另外，在本实施方式中，进行如下的平均值差分匹配，即求出基准图像200和比较图像210的区块周围的像素的亮度的平均值，从区块内的亮度减去各自的平均值，根据得到的结果导出评价值。以下，说明平均值差分匹配的动作。 [0081] 图5是说明平均值差分匹配的动作的说明图。首先，评价值导出部160如图5(a)所示，从基准图像200中，例如提取由水平4个像素×垂直4个像素的像素202的排列所表示的区块(以下，称为基准区块)204。然后，在以下的处理中，依次提取基准区块204，按照每个提取出的基准区块204导出视差。在此，虽然将基准区块204设定为水平4个像素×垂直4个像素，但基准区块204内的像素数量可以任意地设定。 [0082] 在所述基准区块204中，不重叠邻接的基准区块204彼此的像素。另外，在本实施方式中，由于使基准区块204彼此邻接，因此例如对于投射到检测区域(例如水平600个像素×垂直180个像素)的全部像素202，依次提取水平150×垂直45＝6750个区块作为基准区块204。 [0083] 但是，如上所述，在本实施方式中由于采用了平均值差分匹配，因此如图5(b)所示，评价值导出部160根据下述数学式1，求出以基准区块204为中心的由基准区块204的周围的水平8个像素×垂直8个像素表示的区域206内的像素202的亮度Rb(i，j)的平均值Ab。 [0084] Ab＝ΣRb(i，j)/64…(数学式1) [0085] 其中，i是由1～8表示的区域206内的水平像素位置，j是由1～8表示的区域206内的垂直像素位置。另外，在区域206未被收入到基准图像200的情况下(因位于端部而导致区域206缺失的情况)，省略未被收入的部分而求出平均值Ab。 [0086] 然后，评价值导出部160如下述数学式2那样，从基准区块204内的像素202的亮度Eb(i，j)中减去上述平均值Ab，导出平均值差分亮度EEb(i，j)。 [0087] EEb(i，j)＝Eb(i，j)－Ab…(数学式2) [0088] 其中，i是由1～4表示的基准区块204内的水平像素位置，j是由1～4表示的基准区块204内的垂直像素位置。 [0089] 接着，评价值导出部160如图5(c)所示从比较图像210中，例如提取由水平4个像素×垂直4个像素的像素212的排列所表示的区块(以下，称为比较区块)214。在此，针对一个基准区块204，依次提取多个比较区块214，分别导出表示与基准区块204的相关性的评价值。 [0090] 由于所述比较区块214例如在水平方向上每移动一个像素的距离提取一次，因此邻接的比较区块214彼此的像素重叠。在本实施方式中，对于一个基准区块204，从与基准区块204相当的位置216在水平方向的左右提取合计128个比较区块214。因此，提取范围(探索范围)变成水平(128+3＝)131个像素×垂直4个像素。与基准区块204相当的位置216和提取范围的位置关系根据基准图像200与比较图像210的视差的出现形式而设定。 [0091] 但是，如上所述，由于在本实施方式中采用了平均值差分匹配，因此与基准区块204同样，评价值导出部160根据下述数学式3求出以比较区块214为中心的由比较区块 214的周围的水平8个像素×垂直8个像素表示的区域内的像素的亮度Rc(i，j)的平均值Ac。 [0092] Ac＝ΣRc(i，j)/64…(数学式3) [0093] 其中，i是由1～8表示的区域内的水平像素位置，j是由1～8表示的区域内的垂直像素位置。 [0094] 然后，评价值导出部160如下述数学式4那样，从比较区块214内的像素的亮度Ec(i，j)中减去上述平均值Ac，导出平均值差分亮度EEc(i，j)。 [0095] EEc(i，j)＝Ec(i，j)－Ac…(数学式4) [0096] 其中，i是由1～4表示的比较区块214内的水平像素位置，j是由1～4表示的比较区块214内的垂直像素位置。 [0097] 接下来，评价值导出部160如下述数学式5所示从基准区块204的各像素202的平均值差分亮度EEb(i，j)中，减去比较区块214内的相当于相同的位置的各像素212的平均值差分亮度EEc(i，j)，将其累加导出评价值T。 [0098] T＝Σ(EEb(i，j)－EEc(i，j))…(数学式5) [0099] 这样被导出的多个评价值T越小，即差分越小，相关性越高。因此，针对一个基准区块204的与比较区块214之间的多个(这里是128个)评价值中，最小的评价值(最小值)的位置成为表示视差的一端的位置的候补。 [0100] 但是，在本实施方式中，不仅最小的评价值，第二小的评价值也是表示视差的一端的位置的候补。即，最小的评价值和第二小的评价值这两个成为处理对象。 [0101] 由于上述平均值差分匹配是仅以图像的高频成分为匹配的对象，具有与高通滤波器等效的作用，因此能够去除低频噪音。另外，即使对于基准图像200与比较图像210之间的亮度的轻微平衡失衡的影响、摄像机和/或模拟电路部件的老化所导致的增益变化的影响，视差的确定精度也高，能够提高视差的导出精度。 [0102] (步骤S304) [0103] 位置关系信息导出部162从多个评价值中从小的开始(从相关性高的开始)确定预先决定的预定数量(这里为两个)的评价值，导出表示作为被确定的评价值的值从小到大的顺序(相关性从高到低的顺序)的相关性顺序和相关性顺序彼此的位置关系的位置关系信息。 [0104] 图6是用于说明位置关系信息的说明图。例如，如图6所示，假设实施了与基准区块204a的平均值差分匹配的结果，比较区块214a中评价值最小，比较区块214b中评价值第二小。这样，对上述这两个比较区块214a、214b分别关联“第一”和“第二”的相关性顺序。然后，导出两个比较区块214a、214b位于比较图像210中的什么位置(位置关系)。例如，在图6的例子中，对于基准区块204a的区块位置Da，相关性顺序第一的比较区块214a位于Pa+Fa，相关性顺序第二的比较区块214b位于Pa+Sa，这就成为位置关系信息。如此导出相关性顺序和相关性顺序彼此的位置关系时，评价值本身是不需要的。其中，Dx(x与基准区块204的识别码对应)是基准图像200中的区块位置，Px、Fx、Sx是比较图像210中的像素位置。 [0105] (步骤S306) [0106] 接着，位置关系置换部164判定与被导出的位置关系信息处于预定的关系、具体而言处于相关性顺序彼此的位置关系相同的关系的位置关系信息是否存储在数据存储部152中。此处，相关性顺序彼此的位置关系相同是指与被导出的位置关系信息对应的比较区块214的相关性顺序的位置(例如，第一位置Pa+Fa、第二位置Pa+Sa)和与被存储的位置关系信息对应的比较区块214的相关性顺序的位置(例如，第一位置Px+Fx、第二位置Px+Sx)相同，或者几乎相同。此时，可以评价为与任一个基准区块204对应的比较区块214的相关性关系(位置关系信息)产生错误。 [0107] (步骤S308) [0108] 在图案匹配的比较早的阶段，如果与被导出的位置关系信息处于相关性顺序彼此的位置关系为相同的关系的位置关系信息没有存储在数据存储部152(S306中的否)，位置关系置换部164会判定与被导出的位置关系信息处于预定的关系、具体而言相关性顺序彼此的位置关系处于置换关系的位置关系信息是否存储在数据存储部152中。在此，相关性顺序彼此的位置关系处于置换关系是指与被导出的位置关系信息对应的比较区块214的相关性顺序的位置(例如，第一位置Pa+Fa、第二位置Pa+Sa)和与被存储的位置关系信息对应的比较区块214的相关性顺序的位置(例如，第一位置Px+Fx、第二位置Px+Sx)的第一和第二位置相互置换的关系。此时，可以评价为与两者基准区块204对应的比较区块214的相关性关系(位置关系信息)有可能产生错误。 [0109] (步骤S310) [0110] 在图案匹配的比较早的阶段，如果与被导出的位置关系信息相比，其相关性顺序彼此的位置关系为置换关系的位置关系信息没有存储在数据存储部152(S308中的否)中，位置关系置换部164使被导出的位置关系信息与基准区块204a对应关联而存储在数据存储部152的各存储区域，将处理移送至步骤S332。 [0111] 图7是用于说明存储区域的说明图，特别是图7(a)表示视差候补存储区域，图7(b)表示基准存储区域，图7(c)表示第二存储区域，图7(d)表示第二视差存储区域。例如，若尝试存储图6所示的位置关系信息，则在图7(a)的视差候补存储区域的区块位置Da，存储基准区块204a的视差、即与区块位置Da相当的像素位置Pa和第一位置Pa+Fa的差分(相对位置)Fa。另外，在图7(b)的基准存储区域的第一位置Pa+Fa，存储用于确定成为基础的基准区块204a的区块位置Da。在图7(c)的第二存储区域的第一位置Pa+Fa，存储与其第一位置对应的基准区块204a的第二位置Pa+Sa。在图7(d)的第二视差存储区域的第一位置Pa+Fa，存储与其第一位置对应的基准区块204a的第二位置Pa+Sa作为视差被选择时的差分(相对位置)Sa。这样，位置关系信息存储在数据存储部152。在所述存储区域中，参照基准存储区域，能够判定任意的比较区块214是否已经作为第一位置被提取，如果作为第一位置被提取，则参照第二存储区域、第二视差存储区域，能够取得第二位置的信息。 [0112] (配对) [0113] 图8是用于说明位置关系置换部164的动作的说明图。这样，若位置关系信息存储在数据存储部152，则以后的基准区块(例如204b)的位置关系信息(Db、Pb、Fb、Sb)有可能与被存储的位置关系信息(Da、Pa、Fa、Sa)处于相关性顺序彼此的位置关系相同的关系。因此，在步骤S306中，位置关系置换部164根据以下的数学式6和数学式7判定处于相关性顺序彼此的位置关系为相同的关系的位置关系信息是否存储在数据存储部152。 [0114] |(Pa+Fa)－(Pb+Fb)|<阈值…(数学式6) [0115] |(Pa+Sa)－(Pb+Sb)|<阈值…(数学式7) [0116] 上述数学式6表示如果第一位置的差小于阈值，则可以视为第一位置彼此相同或者几乎相同，上述数学式7表示如果第二位置的差小于阈值，则可以视为第二位置彼此相同或者几乎相同。满足所述数学式6和数学式7时，关于任一方的基准区块204相关性顺序发生错误的可能性高。 [0117] (步骤S312) [0118] 如果与被导出的位置关系信息处于相关性顺序彼此的位置关系为相同的关系的位置关系信息存储在数据存储部152中，即如果满足上述数学式6和数学式7的条件(S306中的是)，则位置关系置换部164判定是否满足以下的数学式8。 [0119] |Fb－Sa|<阈值…(数学式8) [0120] 通过使用上述数学式8，能够判定与基准区块204b的第一视差相当的差分(相对位置)Fb是否和与基准区块204a的第二视差相当的差分(相对位置)Sa相同或者几乎相同。 [0121] (步骤S314) [0122] 满足上述数学式8时(S312中的是)，由于可以视为关于一个基准区块204a，相关性顺序发生错误，因而位置关系置换部164交替置换基准区块204a的相关性顺序，并且使基准区块204a的位置关系信息存储在数据存储部152，将处理移送至步骤S332。 [0123] 图9和图10是用于说明存储区域的说明图。具体而言，位置关系置换部164对于已经被存储的基准区块204a的位置关系信息，如图9所示，置换基准区块204a的相关性顺序(第一和第二)。即，在图9(a)的视差候补存储区域的区块位置Da，新存储与区块位置Da相当的像素位置Pa与第二位置Pa+Sa的差分Sa。另外，在图9(b)的基准存储区域的第二位置Pa+Sa存储区块位置Da。在图9(c)的第二存储区域的第二位置Pa+Sa，存储基准区块204a的第一位置Pa+Fa。在图9(d)的第二视差存储区域的第二位置Pa+Sa存储与视差相当的差分Fa。如此，基准区块204a的位置关系信息被更新，能够与可能新产生的配对对应。 [0124] 另外，位置关系置换部164对于被导出的基准区块204b的位置关系信息，在图10(a)的视差候补存储区域的区块位置Db，存储与区块位置Db相当的像素位置Pb与第一位置Pb+Fb的差分Fb。另外，在图10(b)的基准存储区域的第一位置Pb+Fb，存储用于确定成为基础的基准区块204b的区块位置Db。在图10(c)的第二存储区域的第一位置Pb+Fb，存储第二位置Pb+Sb。在图10(d)的第二视差存储区域的第一位置Pb+Fb存储与视差相当的差分Sb。如此，基准区块204b的位置关系信息被存储在数据存储部152。 [0125] (步骤S316) [0126] 不满足上述数学式8的情况下(S312中的否)，位置关系置换部164判定是否满足以下的数学式9。 [0127] |Fa－Sb|<阈值…(数学式9) [0128] 通过使用上述数学式9，能够判定与基准区块204a的第一视差相当的差分(相对位置)Fa与和基准区块204b的第二视差相当的差分(相对位置)Sb是否相同或者几乎相同。 [0129] (步骤S318) [0130] 满足上述数学式9时(S316中的是)，由于可以视为关于另一个基准区块204b，相关性顺序发生错误，因而位置关系置换部164不更新基准区块204a的位置关系信息，将基准区块204b的相关性顺序(第一和第二)相互置换，使置换的位置关系信息存储在数据存储部152，将处理移送至步骤S332。 [0131] 图11是用于说明存储区域的说明图。具体而言，位置关系置换部164对于被导出的基准区块204b的位置关系信息，在图11(a)的视差候补存储区域的区块位置Db，存储与区块位置Db相当的像素位置Pb与第二位置Pb+Sb的差分Sb。另外，在图11(b)的基准存储区域的第二位置Pb+Sb存储区块位置Db。在图11(c)的第二存储区域的第二位置Pb+Sb，存储基准区块204b的第一位置Pb+Fb。在图11(d)的第二视差存储区域的第二位置Pb+Sb存储与视差相当的差分Fb。这样，基准区块204b的位置关系信息被存储在数据存储部152，能够与可能新产生的配对对应。 [0132] (步骤S320) [0133] 不满足上述数学式9的情况下(S316中的否)，仅将与两个基准区块204a、204b中的、视差最小的(与比较区块214的相对位置最小)一个基准区块204相关的视差设为有效，将视差不是最小的另一个基准区块204设为无效，将处理移送至步骤S332。 [0134] 图12是用于说明存储区域的说明图。假设将基准区块204a设为无效的情况下，位置关系置换部164对已经被存储的基准区块204a的位置关系信息，如图12所示，实施了复位处理。即，将图12(a)的视差候补存储区域的区块位置Da的值Fa变换为0。另外，将图12(b)～(d)的各存储区域的第一位置Pa+Fa的值全部复位。这样，基准区块204a的位置关系信息被无效化。对于所述视差不是最小的基准区块204的无效化处理，由于能够应用日本专利第3287465号公报等现有的技术，所以这里省略其详细的说明。 [0135] (交叉配对) [0136] 图13是用于说明位置关系置换部164的其他动作的说明图。在上述中，对基准区块(例如204b)的位置关系信息(Db、Pb、Fb、Sb)与被其存储的位置关系信息(Da、Pa、Fa、Sa)的相关性顺序彼此的位置关系相同的情况进行了说明。这里对两位置关系信息的相关性顺序彼此的位置关系处于置换关系的情况进行说明。在步骤S308中，位置关系置换部164根据数学式10和数学式11判定相关性顺序彼此的位置关系处于置换关系的位置关系信息是否存储在数据存储部152。 [0137] |(Pa+Fa)－(Pb+Sb)|<阈值…(数学式10) [0138] |(Pa+Sa)－(Pb+Fb)|<阈值…(数学式11) [0139] 上述数学式10表示如果基准区块204a的第一位置与基准区块204b的第二位置的差小于阈值，则可以视为它们相同或者几乎相同，上述数学式11表示如果基准区块204a的第二位置与基准区块204b的第一位置的差小于阈值，则可以视为它们相同或者几乎相同。满足所述数学式10和数学式11的情况下，有可能有关两基准区块204的相关性顺序发生错误。 [0140] (步骤S322) [0141] 如果与被导出的位置关系信息相比相关性顺序彼此的位置关系处于置换关系的位置关系信息存储在数据存储部152中，即如果满足上述数学式10和数学式11的条件(S308中的是)，位置关系置换部164判定是否满足以下的数学式12。 [0142] |Sa－Sb|<阈值…(数学式12) [0143] 通过使用上述数学式12，可以判定基准区块204a与基准区块204b的第二视差(相对位置)彼此是否相同或者几乎相同。 [0144] (步骤S324) [0145] 满足上述数学式12时(S322中的是)，由于可以视为关于两基准区块204a、204b，相关性顺序发生错误，位置关系置换部164将基准区块204a的相关性顺序相互置换，并且将基准区块204b的相关性顺序相互置换，使置换的位置关系信息存储在数据存储部152中，将处理移送至步骤S332。 [0146] 图14和图15是用于说明存储区域的说明图。具体而言，位置关系置换部164对已经被存储的基准区块204a的位置关系信息，如图14所示，置换基准区块204a的相关性顺序。即，在图14(a)的视差候补存储区域的区块位置Da，新存储与区块位置Da相当的像素位置Pa与第二位置Pa+Sa的差分Sa。另外，在图14(b)的基准存储区域的第二位置Pa+Sa存储区块位置Da。在图14(c)的第二存储区域的第二位置Pa+Sa，存储基准区块204a的第一位置Pa+Fa。在图14(d)的第二视差存储区域的第二位置Pa+Sa存储与视差相当的差分Fa。如此，基准区块204a的位置关系信息被更新。 [0147] 另外，位置关系置换部164对被导出的基准区块204b的位置关系信息，置换相关性顺序，在图15(a)的视差候补存储区域的区块位置Db，存储与区块位置Db相当的像素位置Pb和第二位置Pb+Sb的差分Sb。另外，在图15(b)的基准存储区域的第二位置Pb+Sb，存储用于确定成为基础的基准区块204b的区块位置Db。在图15(c)的第二存储区域的第二位置Pb+Sb，存储第一位置Pb+Fb。在图15(d)的第二视差存储区域的第二位置Pb+Sb存储与视差相当的差分Fb。如此，基准区块204b的位置关系信息被正确地更新，存储在数据存储部152中。 [0148] (步骤S326) [0149] 不满足上述数学式12时(S322中的否)，位置关系置换部164判定是否满足以下的数学式13。 [0150] |Fa－Fb|<阈值…(数学式13) [0151] 通过使用上述数学式13，可以判定基准区块204a与基准区块204b的第一视差(相对位置)彼此是否相同或者几乎相同。 [0152] (步骤S328) [0153] 满足上述数学式13时(S326中的是)，对于基准区块204a和基准区块204b这两区块，由于可以视为相关性顺序是正确的，所以位置关系置换部164不更新基准区块204a的位置关系信息，使基准区块204b的位置关系信息存储在数据存储部152中，将处理移送至步骤S332。 [0154] 图16是用于说明存储区域的说明图。具体而言，位置关系置换部164对于被导出的基准区块204b的位置关系信息，在图16(a)的视差候补存储区域的区块位置Db，存储与区块位置Db相当的像素位置Pb与第一位置Pb+Fb的差分Fb。另外，在图16(b)的基准存储区域的第一位置Pb+Fb存储区块位置Db。在图16(c)的第二存储区域的第一位置Pb+Fb，存储基准区块204b的第二位置Pb+Sb。在图16(d)的第二视差存储区域的第一位置Pb+Fb存储与视差相当的差分Sb。如此，基准区块204b的位置关系信息被存储在数据存储部152中。 [0155] (步骤S330) [0156] 不满足上述数学式13时(S326中的否)，仅将与两个基准区块204a、204b中视差最小的(与比较区块214的相对位置最小)基准区块204相关的视差设为有效，将视差不是最小的基准区块204设为无效，将处理移送至步骤S332。关于所述处理，已经使用图12进行了说明，因而这里省略其详细的说明。 [0157] (步骤S332) [0158] 接着，位置关系置换部164判定对成为对象的全部的基准区块204，步骤S302～步骤S330的处理是否结束。 [0159] (步骤S334) [0160] 如果对于成为对象的全部的基准区块204的处理没有结束(S332中的否)，从成为基准的基准图像新提取一个基准区块204，重复从步骤S302开始的处理。 [0161] (步骤S336) [0162] 如果对于成为对象的全部的基准区块204的处理结束(S332中的是)，差值决定部166决定通过位置关系置换部164确定的与基准区块204相关的位置关系信息中的相关性最高的相关性顺序的位置，即第一位置作为基准区块204的视差，结束该图案匹配处理。 [0163] 如上所述，在图案匹配中，在比较图像210的一个比较区块214与基准图像200的多个基准区块204的相关性最高的情况下，不是仅将一个基准区块204设为无效，而是通过评价基准区块彼此、比较区块彼此的相对的位置关系，置换不是原本的相关性顺序的位置关系信息的相关性顺序使其得到更正，能够适当地导出对象物的视差。如此，基准区块204彼此与比较区块214彼此的位置关系更为明确地被对应关联。 [0164] 另外，还提供了使计算机作为上述的滤波装置和/或环境识别系统100发挥功能的程序或记录了该程序的可用计算机读取的软盘、光磁盘、ROM、CD、DVD、BD等存储介质。其中，程序是指采用任意的言语或记述方法而记述的数据处理手段。 [0165] 以上，参照附图，对本发明的优选的实施方式进行了说明，但本发明当然不限定于所述实施方式。如果是本领域的技术人员，在权利要求中记载的范围内，能够想到各种的变更例或修改例是显而易见的，对于这些当然也属于本发明的技术范围。 [0166] 例如，在上述的实施方式中，作为比较对象，举出了使用视角不同的两个摄像装置110中同时拍摄的一对图像的例子进行说明，但并不限于上述情况，对于相互具有关联性的一对图像也能够广泛应用。作为这样的相互具有关联性的一对图像，例如可考虑作为所谓光流的处理对象的用根据单目摄像机的一个摄像装置(单目摄像装置)在不同时刻拍摄且按时间序列输出的两个图像，或作为所谓模板匹配的处理对象的被拍摄的图像与预先准备的图像(模板图像)的组合等。另外，上述的实施方式中，作为差值，举出了视角不同的两个摄像装置110中同时拍摄的一对图像中的“视差”进行说明，但并不限于上述情况，差值是相互具有关联性的一对图像中的基准区块的差分等对应的提取部位彼此之间的差分即可。 [0167] 另外，在上述的实施方式中，虽然将亮度图像设定为比较对象，根据亮度图像的亮度导出评价值，但并不限于上述情况，可以将除亮度以外的信息、例如由远红外线摄像机得到的热分布，或由激光雷达或毫米波雷达得到的反射强度的分布等作为比较对象，基于这些导出评价值。该情况与上述同样，差值是对应的提取部位彼此的差分即可。 [0168] 另外，在上述的实施方式中，如图3所示，举例说明了卡车的中央区域，但当然也适用于道路的路锥列、照明灯或者电线杆、尾灯等车辆的规定部位。 [0169] 另外，在上述的实施方式中，例示了针对“第一”和“第二”这两个差值的候补的处理，但是成为候补的差值不限于两个，通过追加数据存储部152的相当的存储区域，能够对三个以上的差值的候补进行相同的配对和交叉配对。 [0170] 此外，本说明书的图案匹配处理的各工序不是必须按照流程图所记载的顺序按时间顺序进行处理，例如配对和交叉配对也可以使之包含并列或子程序的处理。并列执行配对和交叉配对时，有时两个现象同时成立。此时，可以优先进行任一处理，也可以再使用其他的处理结果，判定哪一个处理正确。 [0171] 产业上的可利用性 [0172] 本发明可以利用于恰当导出多个图像中的对象物的差值(视差)的滤波装置。 |
||||||
QQ群二维码
意见反馈
意见反馈