技术领域
[0001] 本
发明涉及装载于车体并且基于与从车体摄像的周围的图像对应的图像数据来对其他的车辆或行人、白线等车体的周围的状况进行识别的图像识别装置以及其控制方法。
背景技术
[0002] 历来，已知有装载于车体并且基于与从车体摄像的周围的图像对应的图像数据来对其他的车辆或行人、白线等车体的周围的状况进行识别的图像识别装置以及其控制方法。在这种图像识别装置中，在车体装载有摄像机等，根据摄像机的光轴变化量来变更图像的作为识别的对象的区域，提高针对识别对象的识别性能，并且，校正了摄像机的光轴的
位置的偏离（例如，参照
专利文献1）。
[0003]
现有技术文献专利文献
专利文献1：日本特开2012-093872号
公报。
发明内容
[0004] 发明要解决的课题然而，在根据上述现有的技术的图像识别装置中，在对特别是两轮车等具有向左右方向较大地倾斜的车体行动的车体装载摄像机等摄像装置的情况下，摄像装置也与车体一起较大地倾斜，因此，难以适当地执行对其他的车辆或行人进行识别的
物体识别或对白线等进行识别的白线识别等图像识别。
[0005] 本发明的目的在于提供解决上述的现有的技术具有的课题而即使车体倾斜也能够适当地执行图像识别的图像识别装置以及其控制方法。
[0006] 用于解决课题的方案本发明是一种图像识别装置，装载于车体并且基于与从所述车体摄像的周围的图像对应的图像数据来对所述车体的周围的状况进行识别，其特征在于，具备：倾斜检测部，对所述车体的倾斜进行检测；图像旋转部，根据所述倾斜检测部所检测的所述倾斜来对所述图像数据进行旋转校正；以及图像识别部，基于所述图像旋转部对所述图像数据进行旋转校正而生成的校正图像数据来对所述车体的周围的状况进行识别。
[0007] 在该情况下，所述图像旋转部以使所述图像向所述倾斜的方向倾斜的方式对所述图像数据进行旋转校正也可。所述图像旋转部以使所述图像倾斜所述倾斜的量的方式对所述图像数据进行旋转校正也可。所述倾斜检测部使用倾斜
角传感器来对所述车体的倾斜进行检测也可。所述倾斜检测部基于所述图像数据来对所述车体的倾斜进行检测也可。所述倾斜检测部将与所述倾斜对应的倾斜信息向所述图像旋转部输出也可。
[0008] 此外，本发明是一种图像识别装置的控制方法，所述图像识别装置装载于车体并且基于与从所述车体摄像的周围的图像对应的图像数据来对所述车体的周围的状况进行识别，并且，具备：倾斜检测部，对所述车体的倾斜进行检测；图像旋转部，根据所述倾斜检测部所检测的所述倾斜来对所述图像数据进行旋转校正；以及图像识别部，基于所述图像旋转部对所述图像数据进行旋转校正而生成的校正图像数据来对所述车体的周围的状况进行识别，所述控制方法的特征在于，具备：使所述倾斜检测部检测所述车体的倾斜的步骤；使所述图像旋转部根据所述倾斜检测部所检测的所述倾斜来旋转校正所述图像数据的步骤；以及使所述图像识别部基于所述图像旋转部对所述图像数据进行旋转校正而生成的校正图像数据来识别所述车体的周围的状况的步骤。
[0009] 在该情况下，所述图像旋转部以使所述图像向所述倾斜的方向倾斜的方式对所述图像数据进行旋转校正也可。所述图像旋转部以使所述图像倾斜所述倾斜的量的方式对所述图像数据进行旋转校正也可。所述倾斜检测部使用倾斜角传感器来对所述车体的倾斜进行检测也可。所述倾斜检测部基于所述图像数据来对所述车体的倾斜进行检测也可。所述倾斜检测部将与所述倾斜对应的倾斜信息向所述图像旋转部输出也可。
[0010] 发明效果在本发明中，即使车体倾斜也能够适当地执行图像识别。
附图说明
[0011] 图1是示出第一实施方式的图像识别装置和倾斜角传感器的
框图。
[0012] 图2是从车体的前方示意性地示出车体倾斜的情况的图。
[0013] 图3是示出从车体侧对车体的前方进行摄像后的图像的图。
[0014] 图4是示出对所摄像的图像进行旋转校正后的图像的图。
[0015] 图5是示出第二实施方式的图像识别装置20的框图。
[0016] 图6是从车体的前方示意性地示出在倾斜的路面上车体倾斜的情况的图。
具体实施方式
[0017] 以下，参照附图来对本发明的优选的实施方式进行说明。
[0018] ［1］第一实施方式图1（a）是示出第一实施方式的图像识别装置和倾斜角传感器的框图。该图像识别装置
10是装载于摩托车等的车体而基于与从车体摄像的周围的图像对应的图像数据利用对其他的车辆或行人进行识别的物体识别、对白线等进行识别的白线识别等图像识别来对车体的周围的状况进行识别的装置。
[0019] 图像识别装置10与倾斜角传感器1连接，具备：倾斜角输入部（倾斜检测部）2、摄像部3、图像旋转部4、图像识别部5、驾驶支援控制部6和输出部7。
[0020] 倾斜角传感器1是用于检测车体的倾斜角的传感器。该倾斜角传感器1与倾斜角输入部2连接，将与所检测的倾斜角对应的倾斜角
信号向倾斜角输入部2输出。在本实施方式中，将所检测的倾斜角作为信号向倾斜角输入部2输出，但是，也可以做成与倾斜角对应的倾斜角数据向倾斜角输入部2输出。
[0021] 倾斜角输入部2是用于图像识别装置10基于从倾斜角传感器1输入的倾斜角信号来对车体的倾斜角进行检测的检测部。该倾斜角输入部2基于所输入的倾斜角信号来生成倾斜角数据，将所生成的倾斜角数据作为倾斜信息向摄像部3输出。
[0022] 摄像部3为摄像机，将车体的前方摄像为静止图像或活动图像。该摄像部3基于所摄像的图像来生成图像数据，并与从倾斜角输入部2输入的倾斜角数据一起向图像旋转部4输出。
[0023] 图像旋转部4是用于以使与图像数据对应的图像旋转的方式对图像数据执行旋转校正的
图像处理部。该图像旋转部4基于作为由倾斜角输入部2检测并经由摄像部3输入的倾斜信息的倾斜角数据来对从摄像部3输入的图像数据进行旋转校正。图像旋转部4将对图像数据进行旋转校正后的校正图像数据向图像识别部5输出。
[0024] 图像识别部5基于输入的图像数据来对车体的周围的状况进行识别。即，图像识别部5执行根据图像数据对在图像中显现的其他的车辆、行人、摩托车、
自行车进行识别的物体识别或者进行对白线等进行识别的行车线识别或者执行对道路标识等进行识别的标识识别等。图像识别部5当执行各识别时，将包含所识别的各物体等的位置信息的位置信息数据向驾驶支援控制部6输出。
[0025] 驾驶支援控制部6支援由驾驶者进行的操作或者向驾驶者报告警报。该驾驶支援控制部6基于从图像识别部5输入的位置信息数据来执行与在车体的前方存在障碍物等的情况下的自动紧急
制动器制动、ACC（Adaptive Cruise Control，
自适应巡航控制）、行车线维持等车体控制或者冲突警报、行车线越出警报、标识识别等驾驶支援系统中的向驾驶者的警报有关的处理。驾驶支援控制部6执行与车体控制或警报有关的处理，并将与这些处理对应的
控制信号向输出部7输出。
[0026] 输出部7能够从图像识别装置10向车体的制动器单元或
发动机ECU（Electric Control Unit，电控单元）、EPS（Electric Power Steering，电动助
力转向）等
输出信号。该输出部7将从驾驶支援控制部6输入的控制信号向车体的ECU等输出，由此，车体能够通过ECU等的控制来执行上述的车体控制或警报。
[0027] 以下，对由图像识别装置10进行的图像数据的旋转校正处理的概要进行说明。
[0028] 图2是从车体的前方示意性地示出车体倾斜的情况的图，图3是示出从车体侧对车体的前方进行摄像后的图像的图，图4是示出对所摄像的图像进行旋转校正后的图像的图。再有，在图3和图4中，示出了在设置在
水平的地面g之上的右弯道（right curve）的路面r上作为
汽车的车辆c在车体的前方行驶的情况。
[0029] 关于摩托车，在对弯道进行拐弯时，为了对抗
离心力，驾驶者使车体倾斜地行驶，如图2所示那样，例如，在向右方拐弯时，车体向右侧倾斜。再有，在图2中示出了车体相对于在重力的方向上延伸的假想线Ｏ以倾斜角α倾斜的情况。当车体向右侧倾斜倾斜角α时，固定地装载于车体的摄像部3与车体一起倾斜，因此，如图3所示那样，摄像部3所摄像的图像为逆
时针地旋转倾斜角α而倾斜了角度α的图像。
[0030] 首先，当倾斜角传感器1检测出车体的倾斜角α时，倾斜角传感器1将倾斜角信号向倾斜角输入部2输出。由此，倾斜角输入部2检测出车体的倾斜角α，作为倾斜信息而将倾斜角数据向摄像部3输出。
[0031] 当从倾斜角输入部2输入倾斜角数据时，摄像部3将与所摄像的图像对应的图像数据与倾斜角数据一起向图像旋转部4输出。
[0032] 当从摄像部3输入倾斜角数据和图像数据时，图像旋转部4基于倾斜角数据来对图像数据进行旋转校正，生成校正图像数据。此时，关于图像数据的旋转校正，以使与图像数据对应的图像倾斜车体向车体的倾斜的方向倾斜的量的方式进行校正。即，与利用旋转校正校正后的校正图像数据对应的图像如图4所示那样被顺时针地旋转角度α，图像中的路面r、地面g和在前方行驶的车辆c被显示为车体相对于路面r水平地行驶。图像旋转部4将所生成的校正图像数据向图像识别部5输出。
[0033] 当校正图像数据被输入时，图像识别部5基于校正图像数据来执行图像识别处理而识别车体的周围的状况，将包含所识别的各物体等的位置信息的位置信息数据向驾驶支援控制部6输出。再有，位置信息数据是旋转校正后的图像数据和所识别的各物体等的位置信息结合后的数据，例如，与位置信息数据对应的图像也可以是在图像上显示了所识别的各物体等的位置信息的图像。
[0034] 当位置信息数据被输入时，驾驶支援控制部6执行与车体控制或警报有关的处理，将控制信号向输出部7输出。
[0035] 当控制信号被输入时，输出部7将所输入的控制信号向车体的ECU等各装置输出。
[0036] 通过以上的处理，图像识别装置10在对与在车体倾斜的状态下摄像的图像对应的图像数据进行旋转校正之后，执行图像识别处理。
[0037] 在本实施方式中，图像识别装置10具备：根据倾斜输入部2检测出的倾斜角α来对图像数据进行旋转校正的图像旋转部4、以及基于图像旋转部4对图像数据进行旋转校正而生成的校正图像数据来对车体的周围的状况进行识别的图像识别部5。由此，图像识别部能够利用与车体未倾斜时相同的
算法来执行图像识别处理。因此，即使车体倾斜也能够适当地执行图像识别。
[0038] ［2］第二实施方式图5是示出第二实施方式的图像识别装置20的框图。图6是从车体的前方示意性地示出在倾斜的路面上车体倾斜的情况的图。再有，关于第二实施方式的图像识别装置20，代替第一实施方式的倾斜角传感器1和倾斜角输入部2而具备倾斜角估计部（倾斜检测部）8这样的结构与第一实施方式不同。再有，在图5中，关于与第一实施方式大致相同的结构，标注同一附图标记并省略重复的说明，详细地说明不同的部分。
[0039] 本实施方式的图像识别装置20具备倾斜角估计部8。该倾斜角估计部8对与由摄像部3摄像的图像对应的图像数据进行解析，对车体相对于与路面r垂直的假想线Ｏ’的倾斜角γ进行检测。即，也可以不使用倾斜角传感器等检测车体相对于重力方向的假想线Ｏ的倾斜角α。此时，倾斜角估计部8例如使用光流（optical flow）在图像之中以矢量表示物体的运动，由此，估计车体的倾斜角γ。由此，如图6所示那样，即使路面r以倾斜角β倾斜，也以路面r为基准对车体的倾斜角γ进行检测来对车体相对于与路面r垂直的假想线Ｏ’的倾斜角γ进行检测。由此，图像识别装置20即使车体在倾斜的路面r之上行驶中也以消除车体的倾斜角γ的方式进行旋转校正后的校正图像数据所对应的图像如图4所示那样水平地显示图像中的路面r和地面g。
[0040] 倾斜角估计部8当基于由摄像部3摄像的图像来对车体的倾斜角γ进行检测时，生成倾斜角数据，将所生成的倾斜角数据向图像旋转部4输出。即，在第二实施方式中，倾斜角数据不经由摄像部3而直接地向图像旋转部4输出，从摄像部3仅将图像数据向图像旋转部4输出。
[0041] 在本实施方式中，图像识别装置20具备倾斜角估计部8，基于由摄像部3摄像的图像来对车体相对于与路面r垂直的假想线Ｏ’的倾斜角γ进行检测。由此，关于在不需要倾斜角传感器等对以重力的方向为基准的倾斜角α进行检测的情况下旋转校正后的校正图像数据所对应的图像，即使路面r倾斜，也总是能够水平地显示路面r。因此，即使车体或路面r倾斜，也能够适当地执行图像识别。
[0042] 以上，基于实施方式来说明了本发明，但是，本发明并不限定于此。例如，在第一实施方式中，仅使用倾斜角传感器1检测出的倾斜角α来执行与图像对应的图像数据的旋转校正，但是，并不限定于此。除了倾斜角传感器之外，也可以将
俯仰速率（pitch rate）传感器等连接于图像识别装置，通过使用俯仰速率等车体行动信息来执行
精度更高的图像数据的旋转校正。此外，车体行动信息也可以使用雷达或
超声波传感器等摄像机以外的传感器来取得。
[0043] 此外，在上述实施方式中，通过倾斜角来检测车体的倾斜，但是，并不限定于此。只要能够检测车体的倾斜，则无论角度而基于其他的要素来检测车体的倾斜也可。
[0044] 进而，在上述实施方式中，在摩托车装载有图像识别装置10、20，但是，并不限定于此。只要是能够进行图像识别装置的装载的车辆，则为汽车等其他的车辆也可。
