[0001] 本发明涉及一种利用车载摄像装置拍到的图像来监测车辆周围情况的车辆周围监测装置。

[0002] 背景技术

[0003] 在现有技术中，有人提出如下一种技术方案，即，根据车载摄像头所拍到的图像测定行人等被监测对象的实际空间位置，再根据测得的测定结果判定车辆触碰被监测对象的可能性的大小(参照日本发明专利公开公报特开2007-213561号)。

[0004] 但如果考虑到要规避车辆与被监测对象触碰时，最好还能判别出被监测对象的种类。

[0005] 发明内容

[0006] 本发明的目的在于提供一种能够解决上述技术问题的车辆周围监测装置，通过该监测装置可以精准地判别被监测对象的种类。

[0007] 为了实现上述目的，本发明所述的车辆周围监测装置利用车载摄像装置拍到的显示该车辆周围情况的图像来监测该车辆的周围情况。该车辆周围监测装置包括：被监测对象检测机构，其从上述图像中检测有无被监测对象；被监测对象跟踪机构，对该被监测对象检测机构从第一时刻所拍到的上述图像中检测到的被监测对象和从第二时刻所拍到的上述图像中检测到的被监测对象进行判定，判定两者是否是同一被监测对象即是否满足同一性条件；距离检测机构，由其测定从上述车辆到上述检测到的被监测对象之间的距离；第一监测对象区域设定机构，由其在上述图像中将上述检测到的被监测对象所在的区域设定为第一监测对象区域；第一局部区域设定机构，以上述第一时刻 时的第一监测对象区域为基准设定第一局部区域，该第一局部区域有与多个不同种类的物体分别对应的样式；第二监测对象区域设定机构，对于通过上述被监测对象跟踪机构判定为满足同一性条件的上述被监测对象，将上述第二时刻时的所设定的上述第一监测对象区域按比例扩大或缩小后的区域设定为第二监测对象区域，该比例为由上述距离检测机构测得的上述第一时刻时的被监测对象的距离与上述第二时刻时的被监测对象的距离之比；第二局部区域设定机构，以上述第二监测对象区域设定机构设定的第二监测对象区域为基准，按上述第一局部区域设定机构设定的第一局部区域的样式，设置区域并将其设定为第二局部区域；相关度评定机构，对经上述第一局部区域设定机构设定的上述第一局部区域和经上述第二局部区域设定机构设定的上述第二局部区域之间的相关度进行评定；被监测对象分类机构，对由上述相关度评定机构评定出的上述相关度大于阈值的上述第一局部区域，按其设置时的样式所对应的种类，对检测到的被监测对象进行分类。

[0008] 采用本发明所述的车辆周围监测装置时，可分别根据不同的两个时刻(第一时刻和第二时刻)的车辆到被监测对象的距离，使设定在不同两个时刻(第一时刻和第二时刻)的显示车辆周围情况的图像中的同一被监测对象所在的被监测对象区域(第一监测对象区域)的大小相等。另外还能分别以大小相等的该被监测对象区域(第一时刻的第一监测对象区域和第二监测对象区域(扩大或缩小了的第二时刻的第一监测对象区域))为基准设定相同设置状态的局部区域(第一局部区域和第二局部区域)。还有，可将被监测对象分到第一局部区域和第二局部区域的相关度大于阈值的设置状态的物体分类中。由于属于上述设置状态种类的被监测对象分别处在第一局部区域和第二局部区域的概率较大，所以，如上所述，将被监测对象分到对应于多个设置状态中相关度大于阈值时的设置状态的物体分类中时，可以精准地判别被监测对象的种类。

[0009] 本发明所述的车辆包括上述车辆周围监测装置，该车辆周围监测 装置利用摄像装置拍到的显示该车辆周围情况的图像来监测该车辆的周围情况。

[0010] 采用本发明所述的车辆时，由于可用车辆周围监测装置精准地判别被监测对象的种类，所以考虑到要规避车辆与该被监测对象触碰时，可根据上述判定结果适当地控制车载机器的动作。

[0011] 本发明所述的车辆周围监测程序在车载计算机上运行，使其具有上述车辆周围监测装置的作用，该车辆周围监测装置利用上述车载摄像装置拍到的显示该车辆周围情况的图像来监测该车辆的周围情况。

[0012] 采用本发明所述的车辆周围监测程序时，可以使车载计算机具有车辆周围监测装置的作用，该车辆周围监测装置可精准地判别被监测对象的种类。附图说明

[0013] 图1是说明本发明中车辆的结构图。

[0014] 图2是说明本发明中车辆周围监测装置的结构图。

[0015] 图3是表示本发明中车辆周围监测装置的功能的流程图。

[0016] 图4是表示有关第一监测对象区域设定方法的说明图。

[0017] 图5是表示有关第二监测对象区域设定方法的说明图。

[0018] 图6是表示有关第一和第二局部区域设定方法的说明图。

[0019] 下面，参照附图说明本发明车辆周围监测装置等的实施方式。 [0020] 图1所示的车辆(四轮汽车)1上搭载有车辆周围监测装置10和单个红外线摄像头(摄像装置)11。在车辆1上如图1所示设定实际空间的坐标系，其原点0位于车辆1的前侧，X轴、Y轴和Z轴分别朝向车辆1的左右方向、上下方向和前后方向延伸。为了拍摄车辆1的前方，将红外线摄像头11安装在车辆1的前侧。另外，如图2所示，车辆1上搭载有：偏航角速度传感器13，车速传感器14和制动传感器15等多种传感器，这些传感器根据车辆1的偏航角速度、速度和制动状态分别输出相应的信号。还有，如图2所示，车辆1上还搭载有声音输出装置16和图像输出装置17。作为图像输出装置17而言，除了可使用安装在车辆1前车窗上用来显示图像的HUD(平视显示器)之外，还可以使用显示车辆1的行驶状况的显示仪表或用于构成导航装置的显示器装置等。

[0021] 车辆周围监测装置10是根据红外线摄像头拍到的图像监测车辆1的周围情况的装置。其由电脑(由CPU、ROM、RAM以及I/O回路和A/D变换回路等电子电路构成)构成。由红外线摄像头11、偏航角速度传感器13、速度传感器14和制动传感器15等输出的模拟信号经A/D变换回路变为数字信号再输入车辆周围监测装置10。电脑根据该输入数据并依从存储在存储器中的车辆周围监测程序进行如下处理：识别有无行人或其他车辆等被监测对象的处理；判定车辆1触碰被识别到的被监测对象可能性的高低的判定处理；根据该判定结果由声音输出装置16发出相应的声音，或由图像输出装置17示出相应的图像。另外，程序可在任意时刻从服务器经网络或卫星而下载或传送到车载电脑并存储在其RAM等存储装置中。车辆周围监测装置10可由ECU构成，也可由构成分散控制系统的多个ECU构成。

[0022] 如图2所示，车辆周围监测装置10包括被监测对象检测机构102、被监测对象跟踪机构104、距离检测机构106、第一监测对象区域设定机构112、第一局部区域设定机构114、第二监测对象区域设定机构122、第二局部区域设定机构124、相关度评定机构132和被监测对象分类机构134。其中，被监测对象检测机构102从红外线摄像头11拍到的显示车辆1的周围情况的图像中检测有无被监测对象。被监测对象跟踪机构104对被监测对象检测机构102从第一时刻所拍到的图像中检测到的被监测对象和从第二时刻所拍到的图像中检测到的被监测对象进行判定，判定两者是否是同一被监测对象即是否满足同一性条件。本发明中“某一个时刻的图像或区域”，其意为该时刻时显示车辆1的周围情况的图像或在该图像中所设定的区域。距离检测机构106测定车辆1到检测到的被监测对象的距离。由第一监测对象 区域设定机构112在图像中将检测到的被监测对象所在的区域设定为“第一监测对象区域”。第一局部区域设定机构114将以第一时刻时的第一监测对象区域为基准设定“第一局部区域”，该“第一局部区域”有与多个不同种类的物体分别对应的样式。对于被监测对象跟踪机构104判定为满足同一性条件的被监测对象，由第二监测对象区域设定机构122设定第二监测对象区域，该第二被监测对象区域是将上述第二时刻时的所设定的上述第一监测对象区域按比例扩大或缩小后的区域，该比例为由上述距离检测机构106测得的上述第一时刻时的被监测对象的上述距离与上述第二时刻时的被监测对象的上述距离之比。按照上述第一局部区域设定机构114设定的第一局部区域的样式，由第二局部区域设定机构124以上述第二监测对象区域设定机构122设定的第二监测对象区域为基准，设置区域并将其设定为“第二局部区域”。由相关度评定机构132对经第一局部区域设定机构114设定的第一局部区域和经第二局部区域设定机构124设定的第二局部区域的相关度进行评定。通过被监测对象分类机构134对由上述相关度评定机构132评定出的上述相关度大于阈值的上述第一局部区域，按其设置时的样式所对应的种类，对检测到的被监测对象进行分类。

[0023] 下面说明具有上述结构的车辆1和车辆周围监测装置10的功能。 [0024] 首先，由被监测对象检测机构102从红外线摄像头11拍到的图像中检测被监测对象。具体地讲，对红外线摄像头11的输出信号，即红外线图像进行A/D变换以形成灰色等级图像(图3中的步骤S002)。另外，灰色等级图像经二值图像处理后形成二值图像(图3中的步骤S004)。所谓的二值图像处理，是指将构成灰色等级图像的各像素根据其辉度是否在阈值以上而分为“1”(白)和“0”(黑)的处理。灰色等级图像和二值图像分别存储在不同图像存储器中。还有，对于构成二值图像的高辉度区域的“1”的集中在一起的像素组进行划分，将各像素组分成在图像的纵向方向(y轴方向)上只有1个像素的宽度而沿横向方向(x轴方向)延伸的线组，各线组由其位置(图像中的二维位置)坐标和长度(像素数)被转换成游程编码数 据(图3中的步骤S006)。接下来对由该游程编码数据所表示的线组中，对图像纵向方向具有重叠部分的线组分别标注标签(标识符)(图3中的步骤S008)，以该线组作为被监测对象而进行检测(图3中的步骤S010)。由此，如图4中(a)所示，二值图像中用斜线表示的被监测对象(二值处理后的被监测对象)就被检测出来。被监测对象除了包括人(行人)等生物外，还包括车辆等人造物品。另外，有时会将同一物体中的多个局部部分作为被监测对象被检测出来。

[0025] 另外，由被监测对象跟踪机构104对被监测对象进行跟踪处理。即，对在被监测对象检测机构102的每个运算周期监测到的被监测对象是否是同一被监测对象进行判定处理(图3中的步骤S012)。例如，可以采用日本发明专利公开公报特开2001-6096号所述的方法，根据时刻k-1和时刻k时的两个图像中检测到的被监测对象形状或大小，或者根据灰色等级图像中辉度分布的相关性等进行判定处理。接下来，当判定这些被监测对象是同一被监测对象时，会将时刻K时被监测对象的标签变为与时刻K-1时被监测对象相同的标签。

[0026] 还有，由距离检测机构106根据图像测定车辆1到被监测对象检测机构102检测到的被监测对象的距离。具体地讲，不仅要求出二值图像中被监测对象的重心位置，还设定被监测对象的外接四边形(图3中的步骤S014)。可通过如下方法求出被监测对象的重心位置：用对应于该被监测对象的由游程编码数据所表示的各线组的中心位置坐标乘以该各个线组长度，所有线组的这一运算完成后将其运算结果加到一起，再用图像中被监测对象的面积除以该相加结果。另外，也可求出被监测对象的外接四边形重心(中心)位置，用以代替被监测对象的重心。另外，对表示不同时刻时标注有同一标签的被监测对象的被监测对象区域的大小变化率要进行评定(图3中的步骤S016)。具体地讲，相对于时刻k时被监测对象区域的大小(用外接四边形的高度、宽度或面积表示)size(k)而言，将时刻k-1时被监测对象区域的大小size(k-1)与其的比值定为变化率rate(k)＝size(k-1)/size(k)(＜1)。还有，可分别根据偏航角速度传感器13和车 速传感器14的输出信号测得车辆1的速度和偏航角速度，再对偏航角速度测定值进行积分计算而求出车辆1的偏航角(方位角)(图3中的步骤S018)。

[0027] 另外，包括此次变化率rate(k)在内，根据此次速度v(k)和红外线摄像头11的摄像时间间隔δT，再按公式(1)测定车辆1到被监测对象的距离Z(k)(图3中的步骤S020)： [0028] 【公式1】

[0029] Z(k)＝rate(k)v(k)dt/(1-rate(k))··(1)

[0030] 另外，根据车辆1到被监测对象的距离，可由车辆周围监测装置10求出该被监测对象在实际空间中的位置的P(k)＝(X(k)、Y(k)、Z(k))(图3中的步骤S022)。具体地讲，可根据车辆1到各被监测对象的距离Z(k)、红外线摄像头11的焦距f、对应于拍到的图像中被监测对象的区域的图像坐标x(k)和y(k)，按公式(2)求出实际空间坐标系中的X坐标X(k)和Y坐标Y(k)。拍到的图像的中心向右方向和向下方向分别被定义为图像坐标系中原点0+x方向和0+y方向。另外，可根据由偏航角速度传感器13输出的信号而测得的偏航角对各个被监测对象的实际空间位置(X(k)、Y(k)、Z(k))的偏航角进行修正。 [0031] 【公式2】

[0032] X(k)＝x(k)·Z(k)/f

[0033] Y(k)＝y(k)·Z(k)/f··(2)

[0034] 另外，通过第一监测对象区域设定机构112，可根据二值图像中被监测对象的重心位置和外接四边形的设置样式，将灰色等级图像中表示被监测对象的区域设定为“第一监测对象区域”(图3中的步骤S024)。具体地讲，首先在第一时刻时显示车辆1的周围情况的灰色等级图像中设定以被监测对象为基准而设置的多个遮掩部。因此，可在如图4中(a)用斜线表示的被监测对象的上下方向设定并排设置的多个矩形ai+(i＝1，2··)和aj-(j＝1，2··)。该多个矩形的设置方式为：通过被监测对象的重心或中心，中心位置位于沿图像上 下方向延伸的基准线(单点划线)上。另外，可以在显示先于第一时刻的第二时刻时车辆1的周围情况的灰色等级图像中，搜索与该多个遮掩部的相关度大于阈值的遮掩部。因此，可在图4中(b)所示的第二时刻时的图像中，搜索到大于第一时刻时的多个遮掩部ai+和aj-的相关度的阈值的遮掩部ai+和aj-。接下来，将含有被监测对象以及该多个掩膜中，与第一时刻和第二时刻时被监测对象的位置关系相同或大致相同的连续遮掩部的区域，设定为第一监测对象区域。因此，如图4中(b)所示，可以将含有被监测对象和其在下方连续设置的掩膜a1-～a4-的矩形区域设定为第一监测对象区域。

[0035] 还有，由于第二时刻时第一监测对象区域扩大而获得的区域会被第二监测对象区域设定机构122设定为“第一监测对象区域”(图3中的步骤S026)。因此，图5中(a)所示的第二时刻时的第一监测对象区域会被扩大，从而被设定为图5中(b)所示的第二监测对象区域。由距离检测机构106测定第一监测对象区域的扩大率。其与第二时刻时车辆1到被监测对象的距离相对于第一时刻时车辆1到被监测对象的距离的比值相等。另外，当第二时刻在第一时刻之后时，由于第二时刻时的第一监测对象区域会被缩小，从而被设定为第二监测对象区域。另外，当该比值不足1时，由于第二时刻时的第一监测对象区域会被缩小，从而被设定为第二监测对象区域。

[0036] 另外，由第一局部区域设定机构114将以第一时刻时的第一监测对象区域为基准而设定一个或多个“第一局部区域”(图3中的步骤S028)。因此，分别如图6中(a)和图6中(b)的上侧部分所示，被单点划线包围的区域被设定为第一局部区域。以第一监测对象区域为基准的第一局部区域的设置方式是其分别对应于多个不同分类。如图6中(a)所示的第一局部区域的设置方式是以“人”这个分类而设置。另外，如图6中(b)所示的第一局部区域的设置方式是以“汽车”这个分类而设置。

[0037] 还有，由第二局部区域设定机构124将以第二监测对象区域为基准而设置的一个或多个区域设定为“第二局部区域”(图3中的步骤S030)。因此，分别如图6中(a)和图6中(b)的下侧部分所示，被双点划线包围的区域被设定为第二局部区域。与以第一监测对象区域为基准设置第一局部区域的方式相同，以第二监测对象区域为基准而设置第二局部区域。

[0038] 另外，由相关度评定机构132对第一局部区域和第二局部区域的相关度进行评定(图3中的步骤S032)。接下来判定每个第一局部区域的设置状态是否满足其相关度大于阈值(其不同于设定第一监测对象区域时的遮掩部的相关度的阈值)的“关联条件”(图3中的步骤S034)。接下来，当上述判定结果是肯定结果(图3中的步骤S034··YES)或否定结果(图3中的步骤S034··NO)时，由被监测对象分类机构134设定以不同于先前的方式设置的第一局部区域和第二局部区域，还要再次判定关联条件(图3中的步骤S028、S030、S032)。另外将被监测对象分到对应于第一局部区域的设置状态的物体分类中(图3中的步骤S036)。因此，如果图6中(a)所示的第一局部区域和第二局部区域之间的相关度大于阈值时，将被监测对象分到对应于该第一局部区域的设置状态的分类“人”中。另外，如果图6中(b)所示的第一局部区域和第二局部区域之间的相关度大于阈值时(图3中的步骤S034··YES)，则将被监测对象分到对应于该第一局部区域的设置状态的分类“汽车”中。另外，被监测对象不仅可分为人和汽车，还可分为鹿等动物和固定物等，该固定物含树木等植物和建筑物等。

[0039] 另外，可以根据不同时刻时各被监测对象所在的实际空间位置P(k)，例如采用日本发明专利公开公报特开2001-6096号中所述的判定触碰可能性的方法，判定车辆1触碰各被监测对象的可能性的高低或者有无触碰的可能性(图3中的步骤S038)。接下来，当判定为车辆1触碰被监测对象的可能性较高时(图3中的步骤S038··YES)会进行提醒处理(图3中的步骤S040)，该提醒处理方式与被监测对象分类机构134判别的被监测对象种类相对应。具体地讲，与上述触碰可能性判定结果和被监测对象分类结果对应的声音和图像(用来突 出显示该被监测对象的框架等)，会分别通过声音输出装置16和图像输出装置17输出。例如与被监测对象被分类为车辆时的情况相比，当被监测对象被分类为人时，为使车辆1的驾驶员能更明确地区分，可以调节声音和图像的输出方式。另外，也可只输出该声音和图像中的某一个。还有，可参照如下情况进行提醒处理：一种情况是根据制动传感器15的输出情况确认驾驶员未进行车辆1的制动操作，另一种情况是根据速度传感器14或加速度传感器(省略其图示)的输出情况来确认车辆1负加速度小于阈值。还有，当判定为车辆1触碰被监测对象的可能性较低时(图3中的步骤S038··NO)不会进行提醒处理。

[0040] 还有，车辆1的转向装置、制动装置和加速装置的一部分或全部都要通过执行器进行操作，当对车辆1进行行驶操作时，也可以用对车辆行驶状态进行控制的方法代替提醒处理或与之并用。具体地讲，为了规避触碰被判定为与车辆1触碰可能性较高的被监测对象，或者为了使驾驶员很容易地规避触碰该被监测对象，可以由车辆控制单元(省略其图示)控制车辆1的转向装置、制动装置和加速装置的一部分或全部的动作。例如可以采用如下控制方法，即，与不可能触碰被监测对象的通常情况相比，加大操作加速装置时由驾驶员踩踏加速踏板所需的踩踏力，从而使得车辆1难以加速。或在操作转向装置进行转向时，为了规避车辆1触碰被监测对象，将顺着转向方向施加给方向盘所需的操作力设置得比施加给相反方向时所需的操作力小，从而使驾驶员易于朝向转向方向操作方向盘。还有，与通常情况相比，可以加大随着制动装置的制动踏板的踩踏量变化时的车辆1的制动力的增加速度。通过上述控制操作，会使驾驶员易于对可规避触碰被监测对象的车辆1进行驾驶操作。

[0041] 采用具有上述功能的车辆周围监测装置10时，可分别根据不同的两个时刻(第一时刻和第二时刻)时车辆1到被监测对象的距离，使设定在不同两个时刻(第一时刻和第二时刻)时显示车辆周围情况的图像中的同一被监测对象所在的被监测对象区域(第一监测对象区 域)的大小相等(参照图3中的步骤S020、S024、S026、图5中(a)和图5中(b))。另外还能分别以大小相等的上述被监测对象区域(第一时刻时的第一监测对象区域和第二监测对象区域(扩大或缩小了的第二时刻时的第一监测对象区域))为基准设定相同设置状态的局部区域(第一局部区域和第二局部区域)(参照图3中的步骤S028、S030、图6中(a)和图6中(b))。还有，可将被监测对象分到对应于第一局部区域和第二局部区域的相关度大于阈值的设置状态的分类中(参照图3中的步骤S034、S036)。由于属于上述设置状态种类的被监测对象分别处在第一局部区域和第二局部区域的概率较大，所以，如上所述，将被监测对象分到对应于多个设置状态中相关度大于阈值时的设置状态的分类中时，可精准地判别被监测对象的种类。其中，第一局部区域和第二局部区域分别以第一时刻时第一监测对象区域和第二监测对象区域为基准设置，它们之间的相关度大于阈值。接下来，如果考虑到要规避车辆1与被监测对象触碰时，可根据该被监测对象的分类结果适当地控制车辆1上搭载的机器(声音输出装置16、图像输出装置17、转向装置、制动装置和加速装置)的动作。

[0042] 另外，在上述实施方式中用单个红外线摄像头(单镜头摄像头)测定车辆1到被监测对象的距离，但是作为另一实施方式而言，也可以用毫米波雷达、激光雷达或超声波雷达等测定车辆1到被监测对象的距离。还有，作为再一实施方式而言，也可以通过以车辆前部中央部位为基准左右对称设置的一对红外线摄像头的视差来出上述距离。另外，作为摄像装置而言，也可以用将灵敏度调至可见光等其他波长区域的摄像头代替红外线摄像头11。