自身位置计算装置以及自身位置计算方法 |
|||||||
| 申请号 | CN201480080905.2 | 申请日 | 2014-08-04 | 公开(公告)号 | CN106663376A | 公开(公告)日 | 2017-05-10 |
| 申请人 | 日产自动车株式会社; | 发明人 | 山口一郎; 西内秀和; 平泉宣久; 松本淳; | ||||
| 摘要 | 本 发明 提供可以高 精度 地检测在路面上投光的图案光，高精度地计算车辆的自身 位置 的自身位置计算装置。包括：在路面上投光图案光的投光器(11)；拍摄被投光了图案光的区域，获取图像的摄像单元(12)；从图像提取图案光的位置的图案光提取单元(21)；从图案光的位置计算车辆相对路面的 姿态 角 的姿态角计算单元(22)；根据图像中的路面上的多个特征点的时间变化，计算车辆的姿态变化量的姿态变化量计算单元(24)；以及通过对车辆的初始位置以及姿态角逐渐加上姿态变化量，计算车辆的当前位置以及姿态角的自身位置计算单元(26)，在图案光的检测状态为 阈值 以上的情况下，图案光提取单元(21)从使摄像单元(12)获取的 帧 间的图像重合的重叠图像提取图案光的位置。 | ||||||
| 权利要求 | 1.一种自身位置计算装置，其特征在于，包括： |
||||||
| 说明书全文 | 自身位置计算装置以及自身位置计算方法技术领域[0001] 本发明涉及自身位置计算装置以及自身位置计算方法。 背景技术[0002] 以往，已知通过在车辆上安装的摄像机拍摄并获取车辆近旁的图像，根据该图像的变化求车辆的移动量的技术(例如，参照专利文献1)。在专利文献1中，从图像中检测特征点，求该特征点的位置，从特征点的移动方向以及移动距离(移动量)求车辆的移动量，使得即使在车辆低速且轻微地移动了的情况下可以高精度地求移动量。 [0003] 而且，已知使用投光格子图案(图案光)的激光投光器进行三维测量的技术(例如，参照专利文献2)。在专利文献2中，用摄像机拍摄图案光的投光区域，从拍摄的图像检测图案光，从图案光的位置求车辆的行为。 [0004] 现有技术文献 [0005] 专利文献 [0006] 专利文献1:日本专利特开2008－175717号公报 [0007] 专利文献2:日本专利特开2007－278951号公报 发明内容[0008] 但是，在屋外环境中，如专利文献2中记载的那样在路面投光了图案光时，因为受周围光的影响，难以检测在路面上投光的图案光。 [0009] 本发明鉴于上述课题而完成，其目的是提供可以高精度地检测在路面上投光的图案光、可以高精度地计算车辆的自身位置的自身位置计算装置以及自身位置计算方法。 [0010] 本发明的一个方式的自身位置计算装置，其特征在于，从投光器对车辆周围的路面投光图案光，通过摄像单元拍摄包含被投光了图案光的区域的车辆周围的路面，获取图像，从摄像单元获取的图像提取图案光的位置，从提取的图案光的位置，计算车辆相对路面的姿态角，根据摄像单元获取的图像中的路面上的多个特征点的时间变化，计算车辆的姿态变化量，通过对车辆的初始位置以及姿态角逐渐加上姿态变化量，计算车辆的当前位置以及姿态角。然后，在提取图案光的位置时，在图案光的检测状态为阈值以上的情况下，使摄像单元获取的帧间的图像重合，生成重叠图像，从重叠图像提取图案光的位置。附图说明 [0011] 图1是表示第1实施方式的自身位置计算装置的整体结构的方框图。 [0012] 图2是表示在车辆10上的投光器11以及摄像机12的安装例的外观图。 [0013] 图3(a)是表示从投光器11和摄像机12之间的基线长Lb和各亮点光在图像上的坐标(Uj，Vj)，计算被照射了各亮点光在的路面31上的位置的状况的图，图3(b)是表示从与照射了图案光32a的区域不同的其它区域33检测的特征点的时间变化，求摄像机12的移动方向34的状况的示意图。 [0014] 图4(a)以及图4(b)是表示对摄像机12获取的图像实施了二值化处理的图案光32a的图像的图，图4(a)表示图案光32a整体，图4(b)将一个亮点光Sp扩大表示，图4(c)是表示由图案光提取单元21提取的各亮点光Sp的重心的位置He的图。 [0015] 图5是用于说明计算距离以及姿态角的变化量的方法的示意图。 [0016] 图6(a)表示在时刻t获取的第1帧(图像)38的一例。图6(b)表示在从时刻t经过了时间Δt后的时刻(t+Δt)获取的第2帧38’。 [0017] 图7(a)表示在外部环境明亮的情况下生成重叠图像时的车辆的移动量。图7(b)表示在外部环境明亮的情况下生成重叠图像的状况。 [0018] 图8(a)表示在外部环境明亮的情况下生成重叠图像时的车辆的移动量。图8(b)表示在外部环境明亮的情况下生成重叠图像的状况。 [0019] 图9(a)～图9(d)是表示第1实施方式的自身位置计算装置的重置标记、重叠的图像数、特征点检测状态、以及相对应的特征点数的变化的定时图。 [0020] 图10是表示使用了图1的自身位置计算装置的自身位置计算方法的一例的流程图。 [0021] 图11是表示图10的步骤S18的详细的步骤的流程图。 [0022] 图12是表示第2实施方式的自身位置计算装置的整体结构的方框图。 [0023] 图13是用于说明从第2实施方式的图案光的位置估计路面的高度的变化量的方法的图。 [0024] 图14(a)～图14(e)是表示第2实施方式的自身位置计算装置的重置标记、重叠的图像数，路面状态的好坏、以及路面的高度差(凹凸)的大小的变化的定时图。 [0025] 图15是表示第2实施方式的自身位置计算装置的自身位置计算处理的处理步骤的流程图。 [0026] 图16是表示第2实施方式的自身位置计算装置的图15的步骤S28的详细的处理步骤的流程图。 [0027] 图17是表示第2实施方式的自身位置计算装置的整体结构的方框图。 [0028] 图18(a)以及图18(b)是表示第3实施方式的自身位置计算装置的亮度变化以及特征点检测标记的变化的定时图。 [0029] 图19(a)～图19(c)是表示第3实施方式的自身位置计算装置的图案光和特征点的说明图。 [0030] 图20(a)～图20(d)是表示第3实施方式的自身位置计算装置的重置标记、各周期结束的定时、重叠的周期数、以及投光功率的变化的定时图。 [0031] 图21是表示第3实施方式的自身位置计算装置的处理步骤的流程图。 具体实施方式[0032] 参照附图，说明第1～第3实施方式。对于附图的记载中同一部分附加同一标号，省略说明。 [0033] (第1实施方式) [0035] 首先，参照图1，说明第1实施方式的自身位置计算装置的硬件结构。自身位置计算装置包括：投光器11、摄像机12和发动机控制单元(ECU)13。投光器11被安装在车辆上，在车辆周围的路面上投光图案光。摄像机12被安装在车辆上，是拍摄包含被投光了图案光的区域的车辆周围的路面，获取图像的摄像单元的一个例子。ECU13是执行控制投光器11，并且从摄像机12获取的图像估计车辆的移动量的一连串的信息处理循环的控制单元的一个例子。 [0036] 摄像机12是使用了固体摄像元件，例如CCD以及CMOS的数字摄像机，获取可进行图像处理的数字图像。摄像机12的摄像对象是车辆周围的路面，在车辆周围的路面中，包含车辆的前部、后部、侧部、车辆底部的路面。例如，如图2所示，摄像机12可以安装在车辆10的前部，具体地说可以安装在前保险杠上。 [0037] 调整设置摄像机12的高度以及朝向，并且自动调整摄像机12具有的镜头的焦点和光圈,以便可以拍摄车辆10的前方的路面31上的特征点(网纹)以及由投光器11投光的图案光32b。摄像机12每隔规定的时间间隔反复进行拍摄，获取一连串的图像(帧)群。由摄像机12获取的图像数据被转发至ECU13，存储在ECU13具有的存储器中。 [0038] 如图2所示，投光器11朝向摄像机12的摄像范围内的路面31，投光包含具有正方形和长方形的格子像的规定形状的图案光32b。摄像机12拍摄通过路面31被照射的图案光。投光器11例如具有激光指示器以及衍射光栅。通过用衍射光栅衍射从激光指示器射出的激光，如图2～图4所示，投光器11生成被排列为格子像、或者矩阵状的多个亮点光Sp构成的图案光(32b、32a)。在图3以及图4所示的例子中，生成5×7的亮点光Sp构成的图案光32a。 [0039] 返回图1，ECU13由具有CPU、存储器、以及输入输出单元的微控制器构成，通过执行预先安装的计算机程序，构成自身位置计算装置具有的多个信息处理单元。ECU13对于每个图像(帧)反复执行从摄像机12获取的图像计算车辆的当前位置的一连串的信息处理循环。ECU13也可以与和车辆10有关的其它控制中使用的ECU兼用。 [0040] 在多个信息处理单元中包含图案光提取单元(重叠图像生成单元)21、姿态角计算单元22、特征点检测单元23、姿态变化量计算单元24、亮度判断单元(图案光检测状态判断单元)25、自身位置计算单元26、图案光控制单元27、检测状态判断单元28以及计算状态判断单元29。特征点检测单元23也可以包含在姿态变化量计算单元24中。 [0041] 图案光提取单元21从存储器读入由摄像机12获取的图像，从图像提取图案光的位置。如图3(a)所示，例如，投光器11将排列为矩阵状的多个亮点光构成的图案光32a向路面31投光，通过摄像机12检测被路面31反射的图案光32a。图案光提取单元21通过对摄像机12获取的图像实施二值化处理，如图4(a)以及图4(b)所示，仅提取亮点光Sp的图像。如图4(c)所示，图案光提取单元21通过计算各亮点光Sp的重心的位置He，即亮点光Sp在图像上的坐标(Uj，Vj)，提取图案光32a的位置。坐标将摄像机12的摄像元件的像素作为单位，在5×7的亮点光Sp的情况下，“j”是1以上35以下的自然数。亮点光Sp的图像上的坐标(Uj，Vj)作为表示图案光32a的位置的数据存储在存储器中。 [0042] 姿态角计算单元22从存储器读入表示图案光32a的位置的数据，从摄像机12获取的图像中的图案光32a的位置计算车辆10相对路面31的距离以及姿态角。例如，如图3(a)所示，使用三角测量的原理，从投光器11和摄像机12之间的基线长Lb、各亮点光在图像上的坐标(Uj，Vj)，计算各亮点光在被照射了各亮点光的路面31上的位置，作为相对摄像机12的相对位置。然后，姿态角计算单元22从各亮点光相对摄像机12的相对位置，计算被投光了图案光32a的路面31的平面式，即，摄像机12相对路面31的距离以及姿态角(法线向量)。而且，因为摄像机12相对车辆10的安装位置以及摄像方向已知，所以在本实施方式中，计算摄像机12相对路面31的距离以及姿态角，作为车辆10相对路面31的距离以及姿态角的一例。以后，将摄像机12相对路面31的距离以及姿态角简称为“距离以及姿态角”。由姿态角计算单元22算出的距离以及姿态角被存储在存储器中。 [0043] 具体地说，因为摄像机12以及投光器11被分别固定在车辆10上，所以图案光32a的照射方向、摄像机12和投光器11的距离(基线长Lb)已知。因此，姿态角计算单元22可以使用三角测量的原理，从各亮点光在图像上的坐标(Uj，Vj)求出各亮点光在被照射的路面31上的位置，作为对于摄像机12的相对位置(Xj，Yj，Zj)。 [0044] 而且，各亮点光相对摄像机12的相对位置(Xj，Yj，Zj)不存在于同一平面上的情况较多。这是因为，各亮点光的相对位置与路面31上表露出的沥青的凹凸相应地变化。因此，也可以使用最小二乘法，求出与各亮点光的距离误差的平方和为最小的平面式。 [0045] 特征点检测单元23从存储器读入由摄像机12获取的图像，从由存储器读入的图像，检测路面31上的特征点。特征点检测单元23为了检测路面31上的特征点，例如可以使用“D.G.Lowe，“Distinctive Image Features from Scale-Invariant Keypoints,”Int.J.Comput.Vis.,vol.60,no.2,pp.91-110,Nov.200”，或者，“金澤靖,金谷健一“,コンピュータビジョンのための画像の特徴点抽出,”信学誌,vol.87,no.12,pp.1043-1048,Dec.2004」中记载的方法。 [0046] 具体地说，特征点检测单元23例如使用哈里斯(Harris)算子或者SUSAN算子，检测物体的顶点那样亮度值比周围较大地变化的点作为特征点。或者，特征点检测单元23也可以使用SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)特征量，在其周围检测亮度值按照某个规律性进行变化的点作为特征点。然后，特征点检测单元23对从一个图像检测出的特征点的总数N进行计数，对各特征点附加识别号(i(1≦i≦N))。各特征点的图像上的位置(Ui，Vi)被存储在ECU13内的存储器中。图6(a)以及图6(b)表示从摄像机12获取的图像检测到的特征点Te的例子。各特征点的图像上的位置(Ui，Vi)被存储在存储器中。 [0047] 而且，本实施方式中，路面31上的特征点主要设想大小为1cm以上2cm以下的沥青混合物的颗粒。为了检测该特征点，摄像机12的分辨率为VGA(约30万像素)。而且，摄像机12相对路面31的距离约为70cm。而且，使摄像机12的摄像方向从水平面向路面31倾斜约45度。而且，将由摄像机12获取的图像转发至ECU13时的亮度值在0～255(0：最暗，255：最亮)的范围内。 [0048] 姿态变化量计算单元24从存储器读入每固定的信息处理循环所拍摄的帧中、前次帧中包含的多个特征点在图像上的位置(Ui，Vi)，进而，从存储器读入本次帧中包含的多个特征点的图像上的位置(Ui，Vi)。然后，根据多个特征点在图像上的位置变化，求出车辆的姿态变化量。这里，所谓“车辆的姿态变化量”，包含相对路面31的“距离以及姿态角”的变化量，以及路面上的“车辆(摄像机12)的移动量”双方。以下，对距离以及姿态角的变化量以及车辆的移动量的计算方法进行说明。 [0049] 图6(a)是表示在时刻t获取的第1帧(图像)38的一例。如图5或者图6(a)所示，考虑在第1帧38中，分别计算例如三个特征点Te1、Te2、Te3的相对位置(Xi，Yi，Zi)的情况。在该情况下，可以将由特征点Te1、Te2、Te3确定的平面G视为路面。由此，姿态变化量计算单元24可以从相对位置(Xi，Yi，Zi)求出摄像机12相对路面(平面G)的距离以及姿态角(法线向量)。进而，姿态变化量计算单元24通过已知的摄像机模型，求出各特征点Te1、Te2、Te3之间的距离(l1，l2，l3)以及连接各个特征点Te1、Te2、Te3的直线构成的角度。图5的摄像机12表示第1帧中的摄像机的位置。 [0050] 而且，作为表示相对摄像机12的相对位置的3维坐标(Xi，Yi，Zi)，将摄像机12的摄像方向设定为Z轴，将摄像方向设为法线，并且在包含摄像机12的平面内，设定相互正交的X轴以及Y轴。另一方面，作为图像38上的坐标，将水平方向以及垂直方向分别设定为V轴以及U轴。 [0051] 图6(b)表示在从时刻t经过了时间Δt的时刻(t+Δt)获取的第2帧。图5的摄像机12’表示拍摄了第2帧38’时的摄像机的位置。如图5或者图6(b)所示，在第2帧38’中，摄像机 12’拍摄特征点Te1、Te2、Te3，并且特征点检测单元23检测特征点Te1、Te2、Te3。在该情况下，姿态变化量计算单元24由时刻t中的各特征点Te1、Te2、Te3的相对位置(Xi，Yi，Zi)、各特征点的第2帧38’上的位置P1(Ui，Vi)、以及摄像机12的摄像机模型，不仅可以计算时间Δt的摄像机 12的移动量(ΔL)，还可以计算距离以及姿态角的变化量。例如，通过解以下的(1)～(4)式构成的联立方程式，姿态变化量计算单元24可以计算摄像机12(车辆)的移动量(ΔL)、以及距离以及姿态角的变化量。而且，(1)式是摄像机12作为没有失真和光轴偏差的理想的针孔摄像机而模型化的算式，λi是常数，f是焦点距离。摄像机模型的参数只要进行预先校准即可。 [0052] [0053] (x1-x2)2+(y1-y2)2+(z1-z2)2＝l12···(2) [0054] (x3-x2)2+(y3-y2)2+(z3-z2)2＝l22···(3) [0055] (x1-x3)2+(y1-y3)2+(z1-z3)2＝l32···(4) [0056] 图3(b)示意地表示从摄像机12的摄像范围中，从与照射了图案光32a的区域不同的其它区域33检测到的特征点的时间变化，求摄像机12的移动方向34的状况。而且，在图6(a)以及图6(b)中，将表示各特征点Te的位置的变化方向以及变化量的向量Dte重叠在图像上表示。姿态变化量计算单元24不仅可以计算时间Δt中的摄像机12的移动量(ΔL)，还可以同时计算距离以及姿态角的变化量。因此，姿态变化量计算单元24可以考虑距离以及姿态角的变化量，高精度地计算6自由度的移动量(ΔL)。即，即使距离或姿态角由于车辆10的转弯或加减速导致的摇摆运动或者俯仰运动而变化，也可以抑制移动量(ΔL)的估计误差。 [0057] 而且，姿态变化量计算单元24不仅可以使用算出了相对位置的全部特征点，也可以根据特征点之间的位置关系选定最佳的特征点。作为选定方法，例如，可以使用对极几何(对极极线几何，R.I.Hartley:“A linear method for reconstruction from lines and points,”Proc.5th International Conference on Computer Vision,Cambridge,Massachusetts,pp.882-887(1995))。 [0058] 为了在前后帧之间将特征点相对应，例如，只要将检测到的特征点的周边的小区域的图像记录在存储器中，从亮度或颜色信息的类似度进行判断即可。具体地说，ECU13将以检测到的特征点为中心的5×5(水平×垂直)像素分的图像记录在存储器中。例如，只要亮度信息在20像素以上收敛在误差1％以下，姿态变化量计算单元24判断为在前后帧之间取得对应关系的特征点。 [0059] 这样，在以后的定时从获取的图像38’中也检测到算出了相对位置(Xi，Yi，Zi)的特征点Te1、Te2、Te3的情况下，姿态变化量计算单元24可以根据路面上的多个特征点的时间变化，计算“车辆的姿态变化量”。 [0060] 自身位置计算单元26从姿态变化量计算单元24算出的“距离以及姿态角的变化量”计算距离以及姿态角。进而，从姿态变化量计算单元24中算出的“车辆的移动量”计算车辆的当前位置。 [0061] 具体地说，在姿态角计算单元22(参照图1)中算出的距离以及姿态角被设定作为起点的情况下，对于该起点(距离以及姿态角)，通过将姿态变化量计算单元24中算出的各帧的每一帧的距离以及姿态角的变化量逐次相加(进行积分运算)，将距离以及姿态角更新为最新的数值。而且，将在姿态角计算单元22中算出距离以及姿态角时的车辆位置设定作为起点(车辆的初始位置)，通过从该初始位置将车辆的移动量逐次相加(进行积分运算)，计算车辆的当前位置。例如，通过设定与地图上的位置对照的起点(车辆的初始位置)，可以逐次计算地图上的车辆的当前位置。 [0062] 这样，只要可以持续检测在前后帧之间取得对应关系的3点以上的特征点，则通过持续进行将距离以及姿态角的变化量相加的处理(积分运算)，可以不使用图案光32a，将距离或姿态角持续更新为最新的数值。其中，最初的信息处理循环中，也可以利用使用图案光32a算出的距离以及姿态角、或者规定的初始距离以及初始姿态角。即，成为积分运算的起点的距离以及姿态角可以使用图案光32a计算，或者，也可以使用规定的初始值。规定的初始距离以及初始姿态角希望是至少考虑了至车辆10的乘员以及安装物的距离以及姿态角。 例如，在车辆10的点火开关为接通状态，并且换挡位从泊车移动至其他档位时，投光图案光 32a，使用从图案光32a算出的距离以及姿态角作为规定的初始距离以及初始姿态角即可。 由此，可以求出在未发生车辆10的转弯或加减速造成的摇摆运动或者俯仰运动时的距离或姿态角。 [0063] 而且，在本实施方式中，通过计算距离以及姿态角的变化量，将距离以及姿态角的变化量逐次相加，将距离以及姿态角更新为最新的数值。但是，也可以仅将摄像机12相对路面31的姿态角作为该变化量的计算以及更新的对象。在该情况下，只要将摄像机12相对路面31的距离假定为固定即可。由此，可以考虑姿态角的变化量，抑制移动量(ΔL)的估计误差，并且减轻ECU13的运算负担，并且提高运算速度。 [0064] 检测状态判断单元28判断特征点检测单元23的特征点Te的检测状态是否不满足第1基准，为较差的状态。例如，在如隧道内的混凝土路面那样，在路面上沥青混合物的颗粒等的图案或凹凸少的情况下，可从图像检测的特征点变少。在该情况下，在前后帧之间取得对应关系的特征点的持续检测变得困难，距离以及姿态角的更新精度降低。 [0065] 因此，例如，在算出了相对摄像机12的相对位置的特征点中，在之后的信息处理循环中获取的图像中也可以检测的特征点的数为规定的阈值(例如，三个)以下的情况下，检测状态判断单元28判断为特征点的检测状态不满足第1基准，为较差的状态。即，在不能检测在前后帧之间取得对应的4点以上的特征点的情况下，检测状态判断单元28判断为特征点Te的检测状态不满足第1基准，为较差的状态。而且，为了求出距离和姿态角的变化量，需要在前后帧之间取得对应的至少三个特征点。这是因为，为了确定平面G需要三个特征点。为了提高估计精度，需要更多的特征点，所以希望规定的阈值为4或者5以上。 [0066] 在检测状态判断单元28判断为特征点的检测状态满足第1基准的情况下，自身位置计算单元26维持积分运算的起点。另一方面，在检测状态判断单元28判断为特征点的检测状态不满足第1基准，为较差的状态的情况下，自身位置计算单元26在相同的信息处理循环中，将姿态角计算单元22(参照图1)算出的距离以及姿态角、以及此时的车辆位置设定为新的起点(车辆的姿态角以及初始位置)，从该起点开始车辆的姿态变化量的相加。 [0067] 而且，在第1实施方式中，检测状态判断单元28根据在前后帧之间取得对应关系的特征点的数，判断了特征点的检测状态，但是也可以根据从一个图像检测的特征点的总数N，判断特征点的检测状态。即，可以在特征点的总数N为规定的阈值(例如9)以下的情况下，判断为特征点的检测状态不满足第1基准，作为较差的状态。考虑被检测出的特征点中存在未关联对应的特征点，将规定的阈值(3)的3倍的数(9)设定为阈值即可。 [0068] 计算状态判断单元29判断姿态角计算单元22的距离以及姿态角的计算状态是否不满足第2基准，为较差的状态。例如，在路面31上的高低处照射了图案光的情况下，路面31上的高低比沥青的凹凸大，所以距离以及姿态角的计算精度极端地降低。在特征点的检测状态比第1基准还差，并且距离以及姿态角的计算状态不满足第2基准，在较差的状态的情况下，没有高精度地检测距离以及姿态角、及其变化量的手段。 [0069] 因此，计算状态判断单元29例如在由姿态角计算单元22算出的距离以及姿态角的标准偏差大于规定的阈值的情况下，判断为姿态角计算单元22的距离以及姿态角的计算状态不满足第2基准，为较差的状态。而且，在35个亮点光中可检测的亮点光的数不足3点的情况下，从原理上不能求出路面31的平面式，所以判断为姿态角计算单元22的距离以及姿态角的计算状态不满足第2基准，为较差的状态。在使用最小二乘法求平面式的情况下，在与各亮点光的距离误差的最大值的绝对值为某个阈值(例如0.05m)以上的情况下，也可以判断为姿态角计算单元22的距离以及姿态角的计算状态不满足第2基准，为较差的状态。 [0070] 在检测状态判断单元28判断为特征点的检测状态不满足第1基准，为较差的状态、并且计算状态判断单元29判断为姿态角计算单元22的距离以及姿态角的计算状态不满足第2基准，为较差的状态的情况下，自身位置计算单元26使用之前的信息处理循环中的距离以及姿态角、以及车辆的当前位置作为积分运算的起点。由此，可以抑制车辆的移动量的计算误差。 [0071] 图案光控制单元27控制投光器11的图案光32a的投光。例如，与车辆10的点火开关为接通状态，自身位置计算装置起动的同时，图案光控制单元27开始图案光32a的投光。之后，图案光控制单元27连续投光图案光32a，直至自身位置计算装置停止。或者，也可以隔开规定的时间间隔，反复进行投光的接通/关断。或者，也可以仅限于检测状态判断单元28判断为特征点Te的检测状态不满足第1基准，为较差的状态的情况，暂时地投光图案光32a。 [0072] 亮度判断单元(图案光检测状态判断单元)25判定由摄像机12获取的图案光的检测状态是否为规定的阈值以上。例如，亮度判断单元25判断由摄像机12获取的图像的亮度平均值(图案光的检测状态)是否为路面亮度阈值Bth(规定的阈值)以上。而且，亮度判断单元25也可以判断由摄像机12获取的图像的照度是否为阈值以上。而且，也可以取代亮度判断单元25，将照度传感器安装在车辆上。 [0073] 例如可以通过以下的步骤预先求出路面亮度阈值Bth。首先，在车辆上没有搭乘人、货物、燃料等的空载状态中，通过摄像机12拍摄将图案光投光在沥青路面时的图像。这时，图像上的沥青路面的亮度大致相同。例如，调整光环境进行拍摄，使得未映照图案光的部分的像素的95％收敛在离亮度平均值±20以内。而且，由摄像机12获取的图像的亮度值在0～255(0：最暗，255：最亮)的范围内。进而，在获得的图像中，比较照射了图案光的像素的亮度平均值Bp和除此以外的映照沥青路面的像素的亮度平均值Ba。一边将映照沥青路面的部分的亮度平均值Ba从0至10级增大，一边反复进行这一连串的处理，将成为Bp×0.7＜Ba时的亮度平均值Ba设为路面亮度阈值Bth。即，将沥青路面的亮度成为图案光的亮度的约30％的亮度值设为路面亮度阈值Bth。 [0074] 在由亮度判断单元25判定为图案光的检测状态为规定的阈值以上的情况下，图案光提取单元21使由摄像机12获得的前后帧间的图像重合规定的张数。而且，作为重合的图像，说明使用从现在起已过去了的存储器中蓄积的前后帧间的图像的情况。而且，作为重合的图像，也可以包含从现在起将来由摄像机12获取的图像。图案光提取单元21进而从生成的重叠图像提取图案光的位置。姿态角计算单元22可以从由重叠图像提取的图案光的位置，计算相对路面的车辆的姿态角。而且，自身位置计算单元26可以将这时的车辆的当前位置以及由重叠图像算出的姿态角设定为车辆的初始位置以及姿态角(起点)，开始姿态变化量的相加。 [0075] 这里，图案光提取单元21根据摄像机12中获取的图像中的图案光的检测状态设定规定的图像的数。图案光的检测状态例如是图案光相对周围光的亮度值的亮度值的比(S/N比)。S/N比越小(外部环境越亮)，图案光提取单元21越增多重合的图像数。 [0076] 如图7(a)所示，在外部环境相对明亮的情况下，需要的图像数相对较多，所以用于获取图像群的车辆100的移动量相对较大。而且，如图7(b)所示，使相对较多数的图像I1重合，生成重叠图像I2。另一方面，如图8(a)所示，在外部环境相对较暗的情况下，需要的图像数相对较少，所以用于获取图像群的车辆100的移动量相对较小。而且，如图8(b)所示，使相对较少数的图像I1重合，生成重叠图像I2。 [0077] 应由图案光提取单元21重合的图案光提取所需要的图像的数，例如可以通过以下的步骤设定。首先，与求出路面亮度阈值Bth时相同，将映照沥青路面的部分的亮度平均值Ba从0至10级增大，通过预先实验等求出各亮度平均值Ba中的、照射了图案光的像素的亮度平均值Bp的比Rap＝Ba/Bp，存储在ECU的存储器中。然后，在进行实际地控制的情况下，参照将摄像机12获取的图像的亮度平均值的个位四舍五入时的S/N比Rap，将通过以下的式(5)求出的Sn的小数点第一位进位后的张数，设定为图案光提取所需要的图像的数。 [0078] Sn＝max{(0.5÷(1－Rap)2)，50}···(5) [0079] 即，如果沥青路面的亮度平均值Ba为图案光的亮度平均值Bp的约29％以下则设为1张，如果为75％则设为8张，如果为90％以上则设为50张。而且，由于照射了图案光的部分与图像整体相比十分小，所以也可以从图像整体计算亮度平均值。而且，在实际地将亮度平均值Ba从0至10级增大，求各Rap的实验中，也可以实际地重叠，进行提取亮点光的提取，设定为图案光的各亮点光的提取的成功率为95％以上的张数。 [0080] 而且，如在以下说明的那样，在不能通过图案光提取单元21生成重叠图像(或者难以生成)的情况下，将前次的信息处理循环中采用的距离以及姿态角(以下，简单称为“前次值”。)，或者上述的车辆的规定的初始距离以及初始姿态角(简单称为“初始值”。)用作起点。 [0081] 首先，存在S/N比过小(过亮)，积分时间过长的情况。例如，参照由摄像机12获取的图像的亮度平均值的个位四舍五入时的比Rap，如果比Rap为0.95以上，即，沥青路面的亮度平均为图案光的亮度平均的90％以上，在重叠图像作成上过多花费时间，在此期间的路面变化小的假定不成立，或者原理上判断图案光的提取本身困难，将前次值或者初始值用作起点。 [0082] 而且，有车辆行为过大(车速过高)的情况。例如，在拍摄被设定的重叠图像的张数期间，车辆的行进距离超过0.2[m]的情况下，判断为路面变化小的假定不成立，判断为不能生成重叠图像。这里，如果使用1000fps的摄像机，则在沥青路面的亮度平均为图案光的亮度平均的75％的情况下，重叠图像需要8张。由此，如以下的式(6)那样，在90km/h以上中，将前次值或者初始值用作起点。 [0083] 0.2[m]÷(8[张]÷1000[fps]) [0084] ＝25[m/s] [0085] ＝90[km/h]···(6) [0086] 而且，有路面变化(高低或凹凸)过大的情况。例如，在拍摄被设定的重叠图像的张数期间，判定车辆周围的路面状态是否变化了阈值以上。然后，在车辆周围的路面状态成为变化了阈值以上的状态的图像数超过了5％的情况下，判断为路面变化小的假定不成立，将前次值或者初始值用作起点。而且，在第2实施方式中说明路面状态的变化的判定的细节。 [0087] 图9(a)～图9(d)表示第1实施方式的自身位置计算装置的重置标记、重叠的图像数、特征点检测状态、以及相对应的特征点数的变化。例如，在时刻t11、t12的信息处理循环中，如图9(d)所示，相对应的特征点数不足3点，如图9(c)所示，判断为特征点检测状态较差。与其相伴，如图9(a)所示，重置标记被设定为“1”。 [0088] 其中，在时刻t11的信息处理循环中，如图9(b)所示，图案光提取单元21由摄像机12的图像的平均亮度值，将重叠的图像数设定为1张(即，不重叠)。然后，图案光提取单元21从当前的时刻t11的信息处理循环中获取的1张图像中提取图案光。 [0089] 另一方面，在时刻t12的信息处理循环中，如图9(a)所示，图案光提取单元21从摄像机12的图像的平均亮度值，将重叠的图像数设定为2张。进而，图案光提取单元21使时刻t12中由摄像机12获取的图像、和前次的信息处理循环中由摄像机12获取的图像的2张重合(合并计算亮度值)，生成重叠图像。然后，图案光提取单元21从重叠图像提取图案光。 [0090] [信息处理循环] [0091] 接着，作为从摄像机12获取的图像38估计车辆10的移动量的自身位置计算方法的一例，参照图10以及图11，说明由ECU13反复执行的信息处理循环。图10的流程图所示的信息处理循环，与车辆10的点火开关成为导通状态，自身位置计算装置起动的同时开始，直至自身位置计算装置停止，被反复执行。 [0092] 在图10的步骤S10中，图案光控制单元27控制投光器11，在车辆周围的路面31投光图案光32a。在图10的流程图中，说明连续投光图案光32a的例子。 [0093] 进至步骤S11，ECU13控制摄像机12，拍摄包含了投光图案光32a的区域的车辆周围的路面31，获取图像38。ECU13将由摄像机12获取的图像数据存储在存储器中。而且，ECU13可以自动控制摄像机12的光圈。也可以由在之前的信息处理循环中获取的图像38的平均亮度，反馈控制摄像机12的光圈，使得成为亮度值的最大值和最小值的中间值。而且，因为投光图案光32a的区域的亮度值高，所以也可以从去除提取了图案光32a的部分后的区域，求平均亮度值。 [0094] 进至步骤S12，亮度判断单元25从存储器读入由摄像机12获取的图像38，判断图像的平均亮度是否为路面亮度阈值Bth以上。在判断为图像的平均亮度不足路面亮度阈值Bth的情况下，进至步骤S15。 [0095] 进至步骤S15，首先，图案光提取单元21从存储器读入由摄像机12获取的图像38，如图4(c)所示，从图像38提取图案光32a的位置。图案光提取单元21将作为表示图案光32a的位置的数据算出的亮点光Sp在图像上的坐标(Uj，Vj)存储在存储器中。 [0096] 另一方面，在步骤S12中，在判断为图像的平均亮度为路面亮度阈值Bth以上的情况下，进至步骤S13。在步骤S13中，图案光提取单元21从摄像机12获取的图像的平均亮度，设定图案光提取所需要的图像数(帧数)。 [0097] 在步骤S14中，图案光提取单元21从存储器读入由摄像机12获取的图像38，通过使设定的图像数的前后帧的图像重合(合计亮度值)，生成重叠图像。进而，图案光提取单元21从生成的重叠图像提取图案光32a的位置。图案光提取单元21将作为表示图案光32a的位置的数据而算出的亮点光Sp在图像上的坐标(Uj，Vj)存储在存储器中。 [0098] 在步骤S16中，姿态角计算单元22从存储器读入表示在步骤S14或者步骤S15中提取的图案光32a的位置的数据，从图案光32a的位置计算距离以及姿态角，存储在存储器中。 [0099] 进至步骤S17，ECU13从图像38检测特征点，提取在前后的信息处理循环之间取得对应关系的特征点，从特征点的图像上的位置(Ui，Vi)，计算距离以及姿态角的变化量、以及车辆的移动量。 [0100] 具体地说，首先，特征点检测单元23从存储器读入由摄像机12获取的图像38，从图像38检测路面31上的特征点，将各特征点的图像上的位置(Ui，Vi)存储在存储器中。姿态变化量计算单元24从存储器读入各特征点的图像上的位置(Ui，Vi)，从距离以及姿态角、和特征点的图像上的位置(Ui，Vi)，计算特征点相对摄像机12的相对位置(Xi，Yi，Zi)。而且，姿态变化量计算单元24使用在之前的信息处理循环的步骤S16中设定的距离以及姿态角。姿态变化量计算单元24将特征点相对摄像机12的相对位置(Xi，Yi，Zi)存储在存储器中。 [0101] 然后，姿态变化量计算单元24从存储器读入特征点的图像上的位置(Ui，Vi)、和在之前的信息处理循环的步骤S17中算出的特征点的相对位置(Xi，Yi，Zi)。姿态变化量计算单元24使用在前后的信息处理循环之间取得对应关系的特征点的相对位置(Xi，Yi，Zi)以及图像上的位置(Ui，Vi)，计算距离以及姿态角的变化量。进而，从前次的信息处理循环中的特征点的相对位置(Xi，Yi，Zi)和本次的信息处理循环中的特征点的相对位置(Xi，Yi，Zi)，计算车辆的移动量。在步骤S17中算出的“距离以及姿态角的变化量”以及“车辆的移动量”，在步骤S19的处理中被使用。 [0102] 进至步骤S18，ECU13根据特征点的检测状态、以及基于图案光的距离以及姿态角的计算状态，设定积分运算的起点。细节参照图11，在后叙述。 [0103] 进至步骤S19，自身位置计算单元26从在步骤S18的处理中设定的积分运算的起点、以及在步骤S17的处理中算出的车辆的移动量，计算车辆的当前位置。 [0104] 这样，本实施方式的自身位置计算装置通过反复执行上述的一连串的信息处理循环，将车辆10的移动量合计，可以计算车辆10的当前位置。 [0105] 参照图11的流程图，说明图10的步骤S18的详细的步骤。在步骤S100中，ECU13判断本次的信息处理循环是否为初次。然后，在为初次的情况下，即，没有前次的信息处理循环的数据的情况下进至步骤S104，在不是初次的情况下进至步骤S101。 [0106] 在步骤S101中，检测状态判断单元28判断特征点检测单元23的特征点Te的检测状态是否不满足第1基准，为较差的状态。在判断为较差的情况下(步骤S101中为“是”)，进至步骤S102，在判断为不变差的情况下(步骤S101中为“否”)，进至步骤S106。在步骤S106中，ECU13维持当前被设定的积分运算的起点。 [0107] 在步骤S102中，ECU13判断是否可以生成重叠图像。作为不能生成重叠图像的情况，例如，举出为了还包含将来获取的图像，为获取规定张数的图像而花费时间，正在生成重叠图像中的情况，或者原理上不可能或者难以生成重叠图像的情况。在判断为不能生成重叠图像的情况下(步骤S102中为“是”)，进至步骤S103，在判断为可以生成重叠图像的情况下(步骤S102中为“否”)，进至步骤S104。 [0108] 在步骤S103中，计算状态判断单元29判断姿态角计算单元22的距离以及姿态角的计算状态是否不满足第2基准，为较差的状态。例如，判断在距离以及姿态角的计算上是否成功。在判断为成功的情况下(步骤S103中为“是”)，进至步骤S104，在判断为不成功的情况下(步骤S103中为“否”)，进至步骤S105。 [0109] 在步骤S104中，ECU13设定车辆的当前位置作为起点，进而，将在相同的信息处理循环的步骤S16中算出的距离以及姿态角设定作为积分运算的起点。将该距离以及姿态角作为起点开始新的积分运算。而且，将车辆的当前位置作为起点重新开始车辆的移动量的积分运算。 [0110] 在步骤S105中，ECU13设定车辆的当前位置作为起点，进而，设定在前次的信息处理循环中采用的距离以及姿态角作为积分运算的起点。将该距离以及姿态角作为起点开始新的积分运算。而且，将车辆的当前位置作为起点重新开始车辆的移动量的积分运算。之后，进至图10的步骤S19。 [0111] [第1实施方式的效果] [0112] 如以上说明的那样，按照第1实施方式，亮度判断单元25判断图案光的检测状态，在图案光的检测状态为阈值以上的情况下，图案光提取单元21通过使前后帧间的图像重合而生成重叠图像，从重叠图像提取图案光，即使在外部环境明亮的情况下，也可以高精度地检测在路面上投光的图案光，可以高精度地计算车辆的自身位置。 [0113] 而且，通过根据由摄像机12获取的图像的平均亮度等图案检测状态，设定图案光提取单元21为了生成重叠图像所需要的图像数，可以根据外部环境的亮度调整检测的图案光的亮度值，可以高精度地检测图案光。 [0114] 而且，在图11的步骤S102那样重叠图像的生成中，通过使用前次的信息处理循环中采用的距离以及姿态角、或者规定的初始距离以及初始姿态角作为起点，可以抑制在计算自身位置时的误差。 [0115] 而且，在图11的步骤S105中，ECU13也可以设定规定的初始距离以及初始姿态角作为积分运算的起点，取代在前次的信息处理循环中采用的距离以及姿态角。详细地说，在检测状态判断单元28判断特征点的检测状态不满足第1基准，为较差的状态时，并且计算状态判断单元29判断出姿态角计算单元22的距离以及姿态角的计算状态不满足第2基准，为较差的状态的情况下，自身位置计算单元26也可以设定至少考虑了在车辆10上的乘员以及安装物的规定的初始距离以及初始姿态角，作为积分运算的起点。例如，可以使用将自身位置计算装置起动紧接之后的信息处理循环的步骤S15中算出的距离以及姿态角。由此，可以将没有发生车辆10的转弯或加减速导致的摇摆运动或者俯仰运动时的距离或姿态角作为起点，计算距离以及姿态角的更新以及移动量的计算。 [0116] (第2实施方式) [0117] [硬件结构] [0118] 作为本发明的第2实施方式，说明根据车辆周围的路面状态的变化计算自身位置的情况。如图12所示，本发明的第2实施方式的自身位置计算装置取代检测状态判断单元28以及计算状态判断单元29而具有路面状态判定单元30这一点，与第1实施方式不同。其它的结构与第1实施方式相同，所以省略说明。 [0119] 路面状态判定单元30检测车辆周围的路面状态的变化，判定路面状态是否变化了阈值以上。然后，在判定为路面状态变化了阈值以上的情况下，自身位置计算单元26固定为在前次的信息处理循环中算出的车辆10的当前位置、对于路面的距离以及姿态角。由此，姿态角计算单元22停止车辆10相对路面的距离以及姿态角的计算。而且，自身位置计算单元26对在前次的信息处理循环中算出的车辆10的当前位置、相对路面的距离以及姿态角加上姿态变化量，计算当前的车辆的当前位置、相对路面的距离以及姿态角。 [0120] 这里，说明判定路面状态的变化的方法。在本实施方式中，在路面上投影35(5×7)个图案光32a的亮点光。因此，例如，在35个亮点光中，在摄像机12的图像中仅检测出80％以下，即28个以下的情况下，路面状态判定单元30判定为路面的高度差或凹凸剧烈，路面状态变化了阈值以上。 [0121] 这时，也可以由路面的高度的变化量估计路面状态的变化。路面的高度的变化量可以由安装在车辆的各车轮的悬挂装置上的行程传感器的检测值的振动来检测。例如，行程传感器的检测值的振动为1Hz以上的情况下，路面状态判定单元30估计为路面的高度差或凹凸剧烈，判定为路面状态变化了阈值以上。而且，在将测量垂直方向的加速度的加速度传感器的检测值积分来计算垂直方向的速度，该速度的朝向的变化为1Hz以上的情况下，路面状态判定单元30也可以判定为路面的高度差或凹凸剧烈，路面状态变化了阈值以上。 [0122] 进而，路面的高度的变化量也可以由摄像机12拍摄的图像中的图案光32a的位置来估计。在本实施方式中，如图13所示的图案光32a被投影在路面31上。因此，拉出将图案光32a的亮点光在X方向连结的线段71、和在Y方向连结的线段73。然后，如点75所示，在这些线段的斜率在中途变化了15deg以上的情况下，路面状态判定单元30估计为路面的高度差或凹凸变得剧烈，判定为路面状态变化了阈值以上。而且，如图13所示，在相邻的亮点光的间隔d1、d2的差变化了50％以上的情况下，路面状态判定单元30也可以判定为路面状态变化了阈值以上。 [0123] 在这样判定为路面状态变化了阈值以上时，自身位置计算单元26固定为在前次的信息处理循环中算出的车辆10的当前位置、相对路面的距离以及姿态角。因此，姿态角计算单元22停止车辆10相对路面的距离以及姿态角的计算，自身位置计算单元26对在前次的信息处理循环中算出的车辆10的当前位置、相对路面的距离以及姿态角加上姿态变化量，计算当前的车辆10的当前位置、相对路面的距离以及姿态角。 [0124] 例如，如图14(e)所示，路面状态判定单元30监视被检测出的亮点光的数，将阈值设定为相当于35个亮点光的80％的28个。在该情况下，在可检测出多于28个亮点光期间，路面状态判定单元30将姿态角计算标记设定为“1”。由此，姿态角计算单元22进行车辆10相对路面的距离以及姿态角的计算，自身位置计算单元26使用在姿态角计算单元22中算出的车辆的距离以及姿态角计算当前的距离以及姿态角，通过在前次的信息处理循环中算出的车辆10的当前位置上加上车辆的移动量(持续积分运算)，计算当前的车辆的自身位置。 [0125] 但是，在时刻t21中，在亮点光的检测个数低于阈值时，自身位置计算单元26将姿态角计算标记切换为“0”。由此，车辆10的当前位置、相对路面的距离以及姿态角被固定为在前次的信息处理循环中算出的车辆10的当前位置、相对路面的距离以及姿态角，姿态角计算单元22停止车辆10的距离以及姿态角的计算。因此，自身位置计算单元26对前次的信息处理循环中算出的车辆10的当前位置、相对路面的距离以及姿态角加上姿态变化量，计算当前的车辆的当前位置、相对路面的距离以及姿态角。 [0126] 之后，在时刻t22中亮点光的检测个数再次超过阈值时，姿态角计算标记被设定为“1”，姿态角计算单元22再次开始车辆10的距离以及姿态角的计算。然后，自身位置计算单元26使用在姿态角计算单元22中算出的车辆10的距离以及姿态角计算车辆10的当前的距离以及姿态角。这样，本实施方式的自身位置计算装置在路面状态较大地变化了的情况下，由于使用在前次的信息处理循环中算出的车辆10的当前位置、相对路面的距离以及姿态角，所以即使路面状态较大地变化，也可以高精度地、并且稳定地计算车辆10的自身位置。 [0127] 与第1实施方式同样，在图案光的检测状态为规定的阈值以上的情况下，图案光提取单元21使规定的张数的图像重合而生成重叠图像。图案光提取单元21从生成的重叠图像提取图案光。 [0128] 而且，在因为路面变化大而不能生成重叠图像的情况下，将前次值或者初始值用作起点。例如，在拍摄设定的重叠图像的张数期间，路面状态判定单元30判定车辆周围的路面状态是否变化阈值以上。在判定为变化了的图像数超过了5％的情况下，判断为路面变化小的假定不成立，将前次值或者初始值用作起点。 [0129] 图14(a)～图14(e)表示第2实施方式的自身位置计算装置的重置标记、重叠的图像数、路面状态的好坏、以及路面的高度差或凹凸的大小的变化。如图14(b)所示，判断是否以规定的周期重置。这里，将规定的周期设为10帧，但是例如也可以将规定的周期设定为10秒。 [0130] 如图14(e)所示，在时刻t21～t22、时刻t24～t25中，路面的高度差或凹凸为阈值以下，如图14(d)所示，判断为路面状态较差。由此，如图14(b)所示，即使是规定的周期的重置的定时，如图14(a)所示，重置标记仍为“0”，也不生成重叠图像。 [0131] 另一方面，在时刻t23中，如图14(b)所示，是规定的周期的重置定时，如图14(d)所示，由于被判断为路面状态良好，所以如图14(a)所示，重置标记被设定为“1”。如图14(c)所示，图案光提取单元21由摄像机12的图像的平均亮度值，将重叠的图像数设定为3张。进而，图案光提取单元21使时刻t23中由摄像机12获取的1张的图像、和前一帧以及再前一帧中由摄像机12获取的2张的图像重合，生成重叠图像。然后，图案光提取单元21从生成的重叠图像提取图案光。 [0132] [信息处理循环] [0133] 接着，使用图15以及图16，说明本发明的第2实施方式的自身位置计算方法。如图15所示的步骤S20～S27、S29的步骤与图10所示的步骤S10～S17、S19的步骤相同，所以省略说明。 [0134] 在步骤S28中，ECU13根据车辆周围的路面状态的变化，设定用于计算自身位置的积分运算的起点。参照图16的流程图，说明图15的步骤S28的详细的步骤。 [0135] 如图16所示，在步骤S201中，路面状态判定单元30判定是否已经过了规定的周期。规定的周期，例如设定为可以足够获取图案光提取单元21的重叠图像的生成所需要的数的图像的间隔即可。如在图14中说明的那样，路面状态判定单元30监视是否在发生周期计数脉冲，在发生的情况下判定为经过了规定的周期，进至步骤S202。另一方面，在未发生周期计数脉冲的情况下，判定为未经过规定的周期，进至步骤S205。 [0136] 在步骤S202中，路面状态判定单元30检测车辆周围的路面状态的变化。具体地说，路面状态判定单元30一边检测图案光32a的亮点光的数，一边检测在各车轮中安装的行程传感器的检测值的振动。而且，路面状态判定单元30也可以一边将可计测车辆的垂直方向的加速度的加速度传感器的检测值进行积分，计算垂直方向的速度，一边检测图案光32a的位置。 [0137] 接着，在步骤S203中，路面状态判定单元30判定车辆周围的路面状态是否变化了阈值以上。例如，在检测图案光32a的亮点光的数的情况下，在从35个亮点光中在摄像机的图像中只能检测28个以下的情况下，路面状态判定单元30判定为路面的高度差或凹凸剧烈，路面状态变化了阈值以上。 [0138] 而且，在使用行程传感器的情况下，在检测值的振动为1Hz以上的情况下，路面状态判定单元30判定为路面状态变化了阈值以上。进而，在使用加速度传感器的情况下，将加速度传感器的检测值积分，计算垂直方向的速度，在该速度的朝向的变化为1Hz以上的情况下，路面状态判定单元30判定为路面状态变化了阈值以上。 [0139] 而且，在使用图案光32a的位置的情况下，在连接亮点光的线段的斜率在中途变化了15deg以上的情况下，路面状态判定单元30判定为路面状态变化了阈值以上。或者，在相邻的亮点光的间隔的差变化了50％以上的情况下，路面状态判定单元30也可以判定为路面状态变化了阈值以上。 [0140] 这样，进行车辆周围的路面状态是否变化了阈值以上的判定，在路面状态判定单元30判定为变化了阈值以上的情况下(步骤S203中为“是”)进至步骤S204。另一方面，在路面状态判定单元30判定为未变化阈值以上的情况下(步骤S203中为“否”)进至步骤S205。 [0141] 在步骤S204中，自身位置计算单元26将车辆10的当前位置、相对路面的距离以及姿态角固定为前次的信息处理循环中算出的车辆10的当前位置、相对路面的距离以及姿态角。即，自身位置计算单元26设定前次的信息处理循环中算出的车辆10的当前位置、相对路面的距离以及姿态角作为积分运算的起点。 [0142] 由此，姿态角计算单元22停止计算车辆10相对路面的距离以及姿态角，自身位置计算单元26对前次的信息处理循环中算出的车辆10的当前位置、相对路面的距离以及姿态角加上姿态变化量，计算当前的车辆10的当前位置、相对路面的距离以及姿态角。 [0143] 另一方面，在步骤S205中，自身位置计算单元26设定在本次的信息处理循环的步骤S15中算出的车辆10的当前位置、相对路面的距离以及姿态角作为积分运算的起点。由此，自身位置计算单元26对本次的信息处理循环中算出的车辆10的当前位置、相对路面的距离以及姿态角加上姿态变化量，计算车辆10的当前位置、相对路面的距离以及姿态角。 [0144] 这样，在设定用于计算当前的车辆10的当前位置、相对路面的距离以及姿态角的积分运算的起点时，步骤S28的处理结束，进至图15的步骤S29。 [0145] [第2实施方式的效果] [0146] 如以上说明的那样，按照第2实施方式，亮度判断单元25判断图案光的检测状态，在图案光的检测状态为阈值以上的情况下，图案光提取单元21通过使帧间的图像重合，生成重叠图像，即使在外部环境明亮的情况下也可以高精度地检测对路面投光的图案光，可以高精度地计算车辆的自身位置。 [0147] 而且，通过根据由摄像机12获取的图像的平均亮度等图案检测状态，设定为了图案光提取单元21生成重叠图像所需要的图像数，可以根据外部环境的亮度调整检测的图案光的亮度值，可以高精度地检测图案光。 [0148] (第3实施方式) [0149] [硬件结构] [0150] 作为本发明的第3实施方式，说明使通过同步检波获得的图像重合相当于规定周期，生成重叠图像的情况。如图17所示，本发明的第3实施方式的自身位置计算装置在没有检测状态判断单元28以及计算状态判断单元29这一点，与第1实施方式不同。其它的结构与第1实施方式相同，使用省略说明。 [0151] 图案光控制单元27开始投光亮度周期性地变化的图案光32a。之后，图案光控制单元27连续投光图案光32a，直至自身位置计算装置停止。或者，也可以根据需要投光图案光32a。在本实施方式中，作为亮度变化的一例，控制对投光器11供给的电力，使得投光图案的亮度变化为规定频率的正弦波状。 [0152] 图案光提取单元21从存储器读入由摄像机12获取的图像，进而，通过按照前述的规定频率实施同步检波处理，提取图像中包含的图案光32a。 [0153] 接着，说明同步检波处理。在将摄像机12中拍摄的图像中包含的测量信号设为sin(ω0+α)时，除了投光图案以外，在该测量信号中包含各种频率成分的太阳光或人工光。因此，如果将频率为调制频率ωr的参照信号sin(ωr+β)乘以测量信号sin(ω0+α)，则其结果为cos(ω0－ωr+α－β)/2－cos(ω0+ωr+α+β)/2。 [0154] 在将该测量信号通过低通滤波器时，ω0≠ωr的信号，即，频率不是ωr的投光图案以外的太阳光或人工光被除去。另一方面，ω0＝ωr的信号，即，频率为ωr的投光图案成为，cos(α－β)/2而可以提取。这样，通过使用同步检波处理，可以从包含各种频率成分的测量信号中，得到仅提取了投光图案的图像。 [0155] 即，在本实施方式中，图案光控制单元27按照预先设定的规定的调制频率ωr对图案光32a进行亮度调制。因此，在路面上投光以频率ωr进行了亮度调制的投光图案。然后，姿态角计算单元22通过对摄像机12拍摄的图像(测量信号)乘以调制频率ωr，可以仅提取投光图案。 [0156] 图18(a)表示由投光器11投光的图案光32a的亮度变化的特性图，图18(b)是表示特征点检测标记的变化的特性图。例如，图18(a)所示，进行控制，使得亮度变化为正弦波状。 [0157] 这里，说明图案光32a的亮度的设定。在本实施方式中，设定该图案光32a的最大亮度(图18(a)所示的亮度B1上的峰值)，以便即使在接近日照量最多的夏至(6月)的晴天中也可以检测图案光32a。而且，设定图案光的最小亮度(图18(a)所示的亮度B1下的峰值)，使得即使在图案光的影响最大的夜间，也可以以99％以上的概率不误检测投光图案和路面的特征点。 [0158] 图案光的亮度调制的频率例如设为200[Hz]，将摄像机12的帧率(1秒间的拍摄数)设为2400[fps]。这是因为，在本实施方式中，在设想了车辆的最高速度72Km/h(≒20m/s)的情况中，为了将1周期中的移动量抑制为0.1m以下。这是因为，希望本实施方式的原理上被投光图案光32a的区域、与检测特征点的区域尽可能接近，或者相同。而且，从同步检波的原理上，在1周期之间的移动量变大，路面状态变化时，投光图案以外的太阳光或人工光变化，有同步检波的前提被破坏的可能性，通过将1周期中的移动量抑制得小，可以避免这种情况。因此，使用更高速的摄像机，将该一定周期进一步缩短时，可以期待性能进一步提高。 [0159] 特征点检测单元23判断由投光器11投光的图案光32a的亮度是否为预先设定的阈值亮度Bth以下。在大于阈值亮度Bth的情况下，图案光提取单元21通过上述的同步检波处理提取图案光32a。例如，如图19(a)，(c)所示，从在图18(b)所示的时刻t1或者时刻t3(亮度B1大于阈值亮度Bth的时刻)拍摄的图像，通过同步检波处理提取图案光32a。 [0160] 另一方面，在为阈值亮度Bth以下的情况下，特征点检测单元23检测路面31上存在的特征点。具体地说，在图案光32a的亮度B1如图18(a)所示变化为正弦波状的情况下，在亮度B1为阈值亮度Bth以下的时间段检测特征点。即，如图18(b)所示，在亮度B1为阈值亮度Bth以下的时间段将特征点检测标记设为“1”，在该时间段检测特征点。例如，如图19(b)所示，从在图8所示的时刻t2(亮度B1为阈值亮度Bth以下的时刻)拍摄的图像检测特征点。进而，姿态变化量计算单元24根据特征点检测单元23中检测的特征点在图像上的位置，计算特征点相对摄像机12的变化量。这时，检测特征点的区域设为与投光图案光32a的区域全部或者一部分重合的区域。 [0161] 在本实施方式中，在通过亮度判断单元25判断出图案检测状态为规定的阈值以上的情况下，图案光提取单元21使以规定的调制频率对摄像机12拍摄的图像进行了同步检波的同步图像重合相当于规定周期(合计亮度值)，生成重叠图像。仅提取了投光图案的图像从参照信号1周期中拍摄的图像被求出。在进行2周期以上的情况下，对于在各个周期中提取的图像的各像素合计亮度值，使其重合。而且，在从重合的图像提取亮点光的情况下，也可以将各像素的亮度值除以重合的图像的张数，进行归一化后，通过二值化处理提取。 [0162] 接着，说明重叠的规定周期的设定方法的一个例子。首先，参照将由摄像机12获取的图像的亮度平均值个位四舍五入时的比Rap，将通过以下的式(7)求出的Fn的小数点第一位进位后的周期设为规定的周期的数。即，如果沥青路面的亮度平均不足图案光的亮度平均的50％，则设为1周期，如果为75％则设为2周期，如果为90％以上则设为5周期。 [0163] Fn＝max{(0.5÷(1－Rap))，10}···(7) [0164] 而且，在实际地将亮度平均值Ba从0至10级增大，求出各Rap的实验中，也可以实际地进行基于同步检波的提取，设定为图案光的各亮点光的提取的成功率为95％以上的周期。 [0165] 这里，在车速过高而不能生成重叠图像的情况下，将前次值或者初始值用作起点。例如，沥青路面的亮度平均为图案光的亮度平均的75％的情况下，同步检波的周期需要2周期。而且，在将每同步检波的1周期的图像数设为4张时，如以下的式(8)那样，在90km/h以上，将前次值或者初始值用作起点。 [0166] 0.2[m]÷{(4[张]×2[周期])÷1000[fps]} [0167] ＝25[m/s] [0168] ＝90[km/h]···(8) [0169] 而且，在路面变化大，不能生成重叠图像的情况下，将前次值或者初始值用作起点。在设定的同步检波的周期中，判定车辆周围的路面状态是否变化了阈值以上，在成为所谓变化了的状态的图像数超过了5％的情况下，判定为所谓路面变化小的假定不成立，将前次值或者初始值用作起点。在使用同步检波的情况下，可以使用利用行程传感器进行判定的方法。 [0170] 图20(a)～图20(d)表示第3实施方式的自身位置计算装置的重置标记、各周期结束的定时、重叠的周期数、以及投光电力的变化。如图20(b)所示，时刻t31、t32、t33是参照信号的投光结束了1周期的定时，如图20(d)所示，投光电力周期性地变小，如图20(a)所示，重置标记被设定为“1”。 [0171] 在时刻t31、t33中，如图20(c)所示，重叠的周期数被设定为1周期。图案光提取单元21使时刻t31、t33以前的1周期的图像重合，生成重叠图像。 [0172] 另一方面，在时刻t32中，如图20(c)所示，重叠的周期数被设定为2周期。图案光提取单元21使时刻t32以前的相当于2周期T1、T2的图像重合，生成重叠图像。 [0173] [信息处理循环] [0174] 接着，作为从摄像机12获取的图像38(参照图5)估计车辆10的移动量的自身位置计算方法的一个例子，参照图21所示的流程图说明由ECU13反复执行的信息处理循环。 [0175] 图21所示的信息处理循环在车辆10的点火开关成为导通状态，自身位置计算装置100起动的同时开始，直至该自身位置计算装置100停止，被反复执行。 [0176] 首先，在图21的步骤S31中，图案光控制单元27控制投光器11，向车辆周围的路面31投光图案光。这时，如图18(a)所示，图案光控制单元27控制投光电力，使得图案光的亮度B1变化为规定周期的正弦波状。例如，将正弦波的频率设为200[Hz]。其结果，亮度B1伴随时间经过变化为正弦波状的图案光被投光在路面31上。 [0177] 在步骤S32中，摄像机12拍摄包含投光图案光的区域的路面31，获取图像。 [0178] 在步骤S33中，ECU1判断同步检波的参照信号的投光是否完成了1周期。在判断为同步检波的参照信号的投光完成了1周期的情况下进至步骤S35，在判断为未完成的情况下进至步骤S34。 [0179] 在步骤S34中，特征点检测单元23从图像38检测特征点(例如，沥青上存在的凹凸部位)，提取在前次的信息处理循环和本次的信息处理循环之间取得对应关系的特征点，从特征点在图像上的位置(Ui，Vi)，更新距离以及姿态角。 [0180] 具体地说，在特征点检测标记为“1”时，特征点检测单元23从存储器读入由摄像机12获取的图像38，从图像38检测路面31上的特征点，将各特征点的图像上的位置(Ui，Vi)存储在存储器中。姿态变化量计算单元24从存储器读入各特征点在图像上的位置(Ui，Vi)，从距离以及姿态角、特征点在图像上的位置(Ui，Vi)，计算特征点相对摄像机12的相对位置(Xi，Yi，Zi)。姿态变化量计算单元24将特征点相对摄像机12的相对位置(Xi，Yi，Zi)存储在存储器中。 [0181] 然后，姿态变化量计算单元24从存储器读入特征点在图像上的位置(Ui，Vi)、和在前次的信息处理循环的步骤S31中算出的特征点的相对位置(Xi，Yi，Zi)。姿态变化量计算单元24使用在本次的信息处理循环和本次的信息处理循环之间取得对应关系的特征点的相对位置(Xi，Yi，Zi)以及图像上的位置(Ui，Vi)，计算距离以及姿态角的变化量。姿态变化量计算单元24通过对在前次的信息处理循环中求出的距离以及姿态角加上上述的距离以及姿态角的变化量，更新距离以及姿态角。然后，将更新后的距离以及姿态角存储在存储器中。即，通过对前次的循环的步骤S34或者步骤S37(后述)的处理中设定的距离以及姿态角，将本次的信息处理循环的每一个的距离以及姿态角的变化量进行积分运算，执行更新距离以及姿态角的处理。之后，进至步骤S38。 [0182] 另一方面，在步骤S35中，图案光提取单元21从摄像机12获取的图像的亮度平均，设定图案光提取所需要的同步检波的频率。 [0183] 在步骤S36中，图案光提取单元21从通过同步检波以当前的参照信号的周期获取的图像群中提取图案光。 [0184] 在步骤S37中，图案光提取单元21使在过去的周期中使用同步检波提取的图案光的图像，追溯步骤S35中设定的周期数进行重合，生成重叠图像。图案光提取单元21进而从生成的重叠图像提取图案光的位置。姿态角计算单元22根据该图案光的位置计算距离以及姿态角。 [0185] 在步骤S38中，ECU13选择积分运算的起点。在该处理中，在最初的信息处理循环中，选择由图案光算出的距离以及姿态角进行设定。进而，在预先设定的条件成立的情况下，例如，在特征点检测单元23中的特征点的检测状态降低，对特征点在标记成为“1”的定时不能检测多个特征点的情况下，移动量计算的起点重置为通过图案光计算的距离以及姿态角，即在步骤S37的处理中算出的距离以及姿态角。另一方面，在特征点检测单元23中正常地检测特征点的情况下，根据该特征点的位置更新距离以及姿态角。 [0186] 即，在通过特征点检测单元23，特征点不被正常地检测的情况下，不能高精度地设定摄像机12的距离以及姿态角，如果采用该精度低的距离以及姿态角计算车辆的移动量，则不能高精度地检测车辆的移动量。因此，在这样的情况下，将移动量计算的起点重置为从图案光的位置求出的距离以及姿态角。这样，防止在距离以及姿态角中产生大幅度的误差。 [0187] 接着，在步骤S39中，自身位置计算单元26从步骤S34或者S37的处理中求出的距离以及姿态角、积分运算的起点，以及特征点在图像上的位置(Ui，Vi)的变化量，计算摄像机12相对路面31的移动量(ΔL)，即车辆10的移动量。 [0188] 这样，在第3实施方式的自身位置计算装置中，通过反复执行上述的一连串的信息处理循环，计算车辆10的移动量，可以计算车辆10的位置。 [0189] [第3实施方式的效果] [0190] 如以上说明的那样，按照第3实施方式，亮度判断单元25判断图案光的检测状态，在图案光的检测状态为阈值以上的情况下，通过图案光提取单元21使帧间的图像重合相当于规定的周期，生成重叠图像，即使在外部环境明亮的情况下，也可以高精度地检测对路面投光的图案光，可以高精度地计算车辆的自身位置。 [0191] 而且，通过根据由摄像机12获取的图像的平均亮度等的图案检测状态，设定图案光提取单元21为了生成重叠图像所需要的周期数，可以根据外部环境的亮度，调整进行检测的图案光的亮度值，可以高精度地检测图案光。 [0192] (其它的实施方式) [0193] 如上述那样记载了本发明的第1～第3实施方式，但是成为本公开的一部分的论述以及附图不应被理解为限定本发明。对于本领域的技术人员来说，应该可以从本公开明白各种代替实施方式、实施例以及运用技术。 [0194] 在本发明的第1～第3实施方式中，主要说明了从过去在现在中使由摄像机12获取的图像重合，生成重叠图像的情况，但是也可以将包含一张以上由摄像机12在将来获取的图像而使其重合，生成重叠图像。作为包含将来获取的图像的情况，例如，设想图案光不始终点亮，而是间歇地点亮的情况等。在该情况下，图案光提取单元21在获取了图案光提取所需要的张数的时刻，生成重叠图像。直至获取图案光提取所需要的张数为止的期间(重叠图像生成中)，自身位置计算单元也可以将前次值或者初始值作为起点，开始积分运算。 [0195] 而且，在图2中，示出了将摄像机12和投光器11安装在车辆10的前面的例子，但是也可以朝向车辆10的侧方、后方、正下方设置。而且，在本实施方式中，作为车辆10的一例，在图2中示出了四轮的乘用汽车，但也可以适用于摩托车、货车、或者例如搬运建筑机械的特殊车辆等，能够拍摄道路的路面或者墙面上的特征点的全部移动体(车辆)。 [0196] 标号说明 [0197] 1 ECU [0198] 10 车辆 [0199] 11 投光器 [0200] 12 摄像机(摄像单元) [0201] 21 图案光提取单元(重叠图像生成单元) [0202] 22 姿态角计算单元 [0203] 23 特征点检测单元 [0204] 24 姿态变化量计算单元 [0205] 25 亮度判断单元(图案光检测状态判断单元) [0206] 26 自身位置计算单元 [0207] 28 检测状态判断单元 [0208] 29 计算状态判断单元 [0209] 30 路面状态判定单元 [0210] 31 路面 [0211] 32a，32b 图案光 [0212] 36 平面计算单元 [0213] Te 特征点 |
||||||
QQ群二维码
意见反馈
意见反馈