监视系统、其控制方法和用于监视系统的半导体集成电路

申请号 CN201180012469.1 申请日 2011-03-03 公开(公告)号 CN102783146A 公开(公告)日 2012-11-14
申请人 松下电器产业株式会社; 发明人 来田和久; 柴田晃宏; 下田直之; 远藤岳志;
摘要 一种监视系统,配备有图像比较单元,当运动感测单元判定车辆在运行中时,所述图像比较单元根据从运动感测单元输入的输出 信号 ,将当前图像与在当前周期之前至少一个周期中获得的过去图像数据进行比较。图像比较单元基于比较结果判定在 照相机 或 图像处理 单元中是否发生故障。当发生故障时,图像比较单元将通知存在故障的 输出信号 输出到图像处理单元。在接收到输出信号时,图像处理单元执行发生故障时的图像处理,并发送故障信息与图像信号,以便将显示装置上的显示改变为单色显示或警报显示。因此,当在显示装置上显示先前图像时,如果监视系统由于任何故障而停止,则可以向驾驶员通知故障。
权利要求

1.一种监视移动物体的监视系统,包括:
照相机,拍摄周围环境的图像并输出图像信号
图像处理单元,处理从所述照相机输入的图像信号,以生成图像数据;
显示装置,显示根据所述图像处理单元生成的图像数据的图像;
运动感测单元,感测所述移动物体在运动中;以及
图像比较单元,以预定周期接收所述图像处理单元生成的图像数据的输入,并且在所述运动感测单元检测到所述移动物体在运动中时,将所述图像处理单元生成的第一图像数据与在所述第一图像数据之前至少一个周期中生成的第二图像数据进行比较,所述比较单元具有
判定单元,根据比较结果判定所述照相机或所述图像处理单元中是否存在故障;以及发送单元,在所述判定单元判定存在故障时,将故障信息发送到所述显示装置。
2.如权利要求1所述的监视系统,还包括:
第一存储器和第二存储器,存储所述图像处理单元生成的图像数据;
所述第一存储器存储所述第一图像数据,并且所述第二存储器存储所述第二图像数据。
3.如权利要求2所述的监视系统,所述第一存储器和所述第二存储器各自具有至少两个或更多图像数据。
4.如权利要求1至3中的任一项所述的监视系统,当检测到故障时,所述图像比较单元暂停图像比较。
5.如权利要求2或3所述的监视系统,所述第二存储器被提供在所述图像比较单元内。
6.如权利要求1至5中的任一项所述的监视系统,从所述图像比较单元发送的故障信息通过所述图像处理单元发送到所述显示装置。
7.如权利要求6所述的监视系统,除了具有所述显示装置外,还包括用于报告故障的装置,从所述图像比较单元发送的故障信息被发送到所述用于报告故障的装置,而不涉及所述图像处理单元。
8.如权利要求1至7中的任一项所述的监视系统,所述显示装置根据所述发送单元发送的故障信息提供单色显示或警报显示。
9.如权利要求1至7中的任一项所述的监视系统,当所述移动物体是车辆时,所述运动感测单元通过使用轮胎旋转信号、速度表的速度信号或操作信号来感测所述车辆在运动中。
10.如权利要求1至9中的任一项所述的监视系统,所述图像处理单元具有拍摄图像处理单元、警报显示图像生成单元和显示图像选择单元;并且
当所述图像比较单元判定存在故障时,所述显示图像选择单元使得所述显示装置优先显示所述警报显示图像生成单元生成的图像数据,而不是所述拍摄图像处理单元生成的图像数据。
11.如权利要求1至10中的任一项所述的监视系统,至少所述图像处理单元、所述运动感测单元和所述图像比较单元实施在一个半导体集成电路基底上。
12.如权利要求11所述的监视系统,所述第一存储器和所述第二存储器的至少一个包括位于所述半导体集成电路基底外部的外部存储器。
13.如权利要求1至3中的任一项所述的监视系统,还包括信号生成单元,用于生成对应于关于所述图像比较单元的预定周期的信号,
通过能够改变所述周期的硬件或者所述硬件与软件的组合来构造所述信号生成单元。
14.一种用于控制监视移动物体的监视系统的方法,包括:
图像处理步骤,处理从拍摄周围环境的图像并输出图像信号的照相机输入的图像信号,从而生成图像数据;
显示步骤,显示根据所述图像处理步骤中生成的图像数据的图像;
运动感测步骤,感测所述移动物体在运动中;
图像比较步骤,以预定周期接收所述图像处理步骤中生成的图像数据的输入,并且在所述运动感测步骤中检测到所述移动物体在运动中时,将所述图像处理步骤中生成的当前图像数据与在所述图像数据的生成之前至少一个周期中生成的过去图像数据进行比较,判定步骤,根据比较结果判定所述照相机或图像处理单元是否存在故障;以及发送步骤,在所述判定步骤中判定存在故障时,将故障信息发送到显示装置。
15.一种半导体集成电路,包括:
图像处理单元,处理从照相机输入的图像信号,以生成图像数据;
运动感测单元,感测移动物体在运动中;以及
图像比较单元,以预定周期接收所述图像处理单元生成的图像数据的输入,并且在所述运动感测单元检测到所述移动物体在运动中时,将所述图像处理单元生成的第一图像数据与在所述第一图像数据之前至少一个周期中生成的第二图像数据进行比较,所述比较单元具有:
判定单元,根据比较结果判定所述照相机或所述图像处理单元中是否存在故障;并且在所述判定单元判定存在故障时输出故障信息。

说明书全文

监视系统、其控制方法和用于监视系统的半导体集成电路

技术领域

[0001] 本发明涉及用于监视移动物体的监视系统、用于控制所述系统的方法、以及用于所述系统的半导体集成电路。

背景技术

[0002] 近来,在显示装置上显示照相机拍摄的与车辆周围环境有关的图像数据、或者通过合成图像而生成的图像数据的监视系统已广泛作为监视移动物体的监视系统。图13是示出现有技术的监视系统的结构的框图。图13中所示的监视系统配备有照相机(camera)1、图像处理单元2和显示装置3。图像处理单元2处理照相机1拍摄的图像数据。显示装置3显示从图像处理单元2输入的图像。配备有监视系统的车辆的驾驶员基于显示装置3上显示的信息在确认安全条件的同时向前或向后驾驶。
[0003] 这种监视系统应用于关于专利文献1所述的结构。具体地,存在一种监视系统,其显示合成图像,从而拓宽视场并使得驾驶员能够在仅确认显示装置的同时向后驾驶。此外,为了易于感知到驾驶员的车辆的近邻周围环境之间的位置关系,另一监视系统向驾驶员提供关于驾驶员的车辆的近邻的信息,并同时显示周围环境的图像,仿佛从驾驶员的车辆上方看到它们一样。
[0004] 现有技术文献
[0005] 专利文献
[0006] 专利文献1:JP-A-2002-125224

发明内容

[0007] 本发明要解决的问题
[0008] 然而,现有技术的监视系统在照相机等拍摄的信息不能恰当地发送到显示装置时可能导致问题。必须通过消除这种问题发生的险以及升级安全性来增强故障保护功能。
[0009] 具体地,在监视系统发生故障的情况中,系统必须适当地处理在显示装置上显示在驾驶员的眼睛中表现为正确的图像的情形。例如,针对监视系统由于任何故障已经停止工作、同时原本要输出的图像之前的图像仍然保留在显示装置上的情形的故障保护功能是有必要的。
[0010] 当在显示装置上显示明确表示故障的图像时,驾驶员意识到监视系统的故障。此时,驾驶员可以通过使用辅助功能(例如,后视镜)将车辆临时移动到安全位置来避免事故。然而,如果驾驶员在原本要显示的图像之前的图像仍然保留在显示装置上的同时继续驾驶,则发生事故碰撞的概率将增加。
[0011] 本发明的目的在于提供一种监视系统、用于控制所述监视系统的方法和用于所述监视系统的半导体集成电路,所述监视系统能够在所述监视系统已经由于任何原因停止了工作、同时原本要显示的图像之前的图像仍保留在显示装置上的情况下,向用户通知所述监视系统发生了故障。
[0012] 解决问题的手段
[0013] 本发明提供一种监视移动物体的监视系统,包括:照相机,拍摄周围环境的图像并将如此拍摄的图像作为图像信号输出;图像处理单元,处理从所述照相机输入的图像信号,从而生成图像数据;显示装置,显示与所述图像处理单元生成的图像数据一致的图像;运动感测单元,感测所述移动物体在运动中;以及图像比较单元,以预定周期接收所述图像处理单元生成的图像数据的输入,并且在所述运动感测单元检测到所述移动物体在运动中时,将所述图像处理单元生成的第一图像数据与在所述第一图像数据之前至少一个周期中生成的第二图像数据进行比较,所述图像比较单元具有判定单元,根据比较结果判定所述图像处理单元中是否存在故障;以及发送单元,在所述判定单元判定存在故障时将故障信息发送到所述显示装置。
[0014] 因此,当监视系统因为任何故障而不工作、同时原本要显示的图像之前的图像仍保留在显示装置上时,监视系统可以向驾驶员报告监视系统的故障。因此,当监视系统应用于作为移动物体的车辆时,驾驶员可以获知监视系统的故障,并通过使用辅助功能(例如后视镜)将车辆暂时驾驶到安全位置,从而能够避免事故。因此,可以使车辆的安全性升级,并实现了对安全性敏感的系统的构造。
[0015] 本发明还提供一种监视系统,其包括第一存储器和第二存储器,存储所述图像处理单元生成的图像数据,所述第一存储器存储所述第一图像数据,并且所述第二存储器存储所述第二图像数据。
[0016] 结果,可以通过将两个图像数据彼此比较,由此执行连续的图像比较。在发生故障的情况中,可以立即引起用户的注意。
[0017] 此外,本发明还提供一种监视系统,所述第一存储器和所述第二存储器各自具有至少两个或更多图像数据。
[0018] 因此,可以通过将两个图像数据进行比较而执行连续的图像比较。在发生故障时,可以立即引起用户的注意,并且可以在多个周期存储图像数据。使用如此存储的数据进行比较,这使得可以容易地判定问题是故障还是暂时失灵。
[0019] 本发明还提供一种监视系统,当检测到故障时所述图像比较单元暂停图像比较。
[0020] 由此,将图像处理单元生成的警报屏幕和先前图像数据彼此进行比较。因此,可以防止系统由于图像之间存在差别而没有发生故障的情况
[0021] 本发明提供一种监视系统,所述第二存储器被提供在所述图像比较单元内。
[0022] 从而,可以缩短信号传输距离,并防止在信号传输中发生延迟。此外,还获得减小布置半导体集成电路的基底的面积以及功耗的优点。
[0023] 本发明提供一种监视系统,从所述图像比较单元发送的故障信息通过所述图像处理单元而发送到所述显示装置。
[0024] 通过图像处理单元发送故障信息,这使得可以将警报信息叠加在显示屏幕上或者改变显示模式,例如警报显示屏幕的颜色亮度,从而有助于吸引驾驶员的注意
[0025] 本发明还提供一种监视系统,除了具有所述显示装置外还包括用于报告故障的装置,将从所述图像比较单元发送的故障信息发送到所述用于报告故障的装置,而不涉及所述图像处理单元。
[0026] 从而可以在不涉及图像处理单元的情况下将故障信息输出到显示装置。甚至当图像处理单元的所有功能都不可靠时,也可以报告是否发生故障。具体地,当发送故障时并且当图像处理单元的执行图像处理并向显示装置输出结果的部分存在故障时,可以确实地引起驾驶员的注意。
[0027] 本发明还提供一种监视系统,所述显示装置根据所述发送单元发送的故障信息提供单色显示或警报显示。
[0028] 由此,用户能够容易地意识到故障。
[0029] 本发明还提供一种监视系统,当所述移动物体是车辆时,所述运动感测单元通过使用轮胎旋转信号和速度表的速度信号或操作信号来感测所述车辆在运动中。
[0030] 由此,当车辆在运动中时,可以将监视系统的故障发送给驾驶员,从而可以避免事故。
[0031] 本发明还提供一种监视系统,所述图像处理单元具有拍摄图像处理单元、警报显示图像生成单元和显示图像选择单元;并且当所述图像比较单元判定存在故障时,所述显示图像选择单元使得所述显示装置优先显示所述警报显示图像生成单元生成的图像数据,而不是所述拍摄图像处理单元生成的图像数据。
[0032] 从而,通过使用警报显示屏幕生成单元生成的图像数据发送故障信息,这有助于以直接的方式吸引用户的注意。
[0033] 本发明还提供一种监视系统,至少所述图像处理单元、所述运动感测单元和所述图像比较单元实施在一个半导体集成电路基底上。
[0034] 从而,可以缩短信号传输距离并防止在信号传输中发生延迟。此外,还获得减小布置半导体集成电路的基底的面积以及功耗的优点。
[0035] 本发明提供一种监视系统,所述第一存储器和所述第二存储器的至少一个是位于所述半导体集成电路基底外部的外部存储器。
[0036] 从而,可以设法减小半导体集成电路的尺寸。
[0037] 本发明还提供一种监视系统,包括:信号生成单元,用于生成对应于关于所述图像比较单元的预定周期的信号,通过能够改变所述周期的硬件或者硬件与软件的组合来构造所述信号生成单元。
[0038] 从而,可以以符合移动物体的运动的周期来检测监视系统的故障。
[0039] 本发明还提供一种用于控制监视移动物体的监视系统的方法,包括:图像处理步骤,处理从拍摄周围环境的图像并输出图像信号的照相机输入的图像信号,从而生成图像数据;显示步骤,显示根据所述图像处理步骤生成的图像数据的图像;运动感测步骤,感测所述移动物体在运动中;图像比较步骤,以预定周期接收所述图像处理步骤所生成的图像数据的输入,并且在所述运动感测步骤中检测到所述移动物体在运动中时,将所述图像处理步骤中生成的当前图像数据与在所述图像数据的生成之前至少一个周期中生成的过去图像数据进行比较,判定步骤,根据比较结果判定所述照相机或图像处理单元中是否存在故障;以及发送步骤,在所述判定步骤中判定存在故障时将故障信息发送到显示装置。
[0040] 因此,当监视系统因为任何故障而不工作、同时原本要显示的图像之前的图像仍保留在显示装置上时,监视系统可以向驾驶员报告监视系统的故障。因此,当监视系统应用于作为移动物体的车辆时,驾驶员可以获知监视系统的故障,并通过使用辅助功能(例如后视镜)将车辆暂时驾驶到安全位置,从而能够避免事故。因此,可以使车辆的安全性升级,并实现了对安全性敏感的系统的构造。
[0041] 本发明还提供一种半导体集成电路,包括:图像处理单元,处理从照相机输入的图像信号,从而生成图像数据;运动感测单元,感测移动物体在运动中;以及图像比较单元,以预定周期接收所述图像处理单元所生成的图像数据的输入,并且在所述运动感测单元检测到所述移动物体在运动中时,将所述图像处理单元所生成的第一图像数据与在所述第一图像数据之前至少一个周期中生成的第二图像数据进行比较,所述图像比较单元具有判定单元,根据比较结果判定所述照相机或所述图像处理单元中是否存在故障;以及在所述判定单元判定存在故障时输出故障信息。
[0042] 从而,当监视系统因为任何故障而不工作、同时原本要显示的图像之前的图像仍保留在显示装置上时,监视系统可以向驾驶员报告监视系统的故障。因此,当监视系统应用于作为移动物体的车辆时,驾驶员可以获知监视系统的故障,并通过使用辅助功能(例如后视镜)将车辆暂时驾驶到安全位置,从而能够避免事故。因此,可以使车辆的安全性升级,并实现了对安全性敏感的系统的构造。
[0043] 本发明的优点
[0044] 本发明的监视系统、用于控制所述监视系统的方法以及用于所述监视系统的半导体集成电路使得当监视系统已经因为任何原因而不工作、同时原本要显示的图像之前的图像仍保留在显示装置上时,能够向用户通知监视系统发生故障。因此,当本发明应用于车辆或移动物体时,驾驶员可以意识到监视系统发生了故障,并可以通过使用辅助功能(例如后视镜)将车辆暂时驾驶到安全位置来避免事故。因此,可以使车辆的安全性升级,并实现了对安全性敏感的系统的构造。附图说明
[0045] 图1是示出第一实施例的监视系统的结构的框图。
[0046] 图2是示出图像处理单元的结构的框图。
[0047] 图3是示出图像存储器的结构的框图。
[0048] 图4是示出图像处理单元中的图像处理的周期的时序图。
[0049] 图5是示出监视系统的操作过程的时序图。
[0050] 图6是示出监视系统的操作过程的时序图。
[0051] 图7是示出监视系统的操作过程的时序图。
[0052] 图8是示出当改变进行图像比较的周期时的结构的框图。
[0053] 图9是示出监视系统的操作过程的流程图
[0054] 图10是示出第二实施例的监视系统的结构的框图。
[0055] 图11是示出第三实施例的监视系统的结构的框图。
[0056] 图12是示出第四实施例的监视系统的结构的框图。
[0057] 图13是示出现有技术的监视系统的结构的框图。

具体实施方式

[0058] 参照附图说明本发明的监视系统、用于控制所述系统的方法以及用于所述系统的半导体集成电路的实施例。本实施例的监视系统适用于监视用户的车辆的近邻周围环境的监视系统,所述车辆上安装有照相机。
[0059] (第一实施例)
[0060] 图1是示出第一实施例的监视系统的结构的框图。如图1中所示,第一实施例的监视系统包括照相机10;具有图像处理单元20、周期信号生成单元40、图像比较计算单元50和运动感测单元60的半导体集成电路100;图像存储器70;以及显示装置30。监视系统具有CPU和存储器。CPU执行存储在存储器中的控制程序,从而与硬件一起实施各个单元的功能。顺便提及,也可以用硬件实施所有功能。
[0061] 监视系统配备有至少一个照相机10,并且照相机10拍摄车辆及其周围环境的图像。图像处理单元20合成从照相机10输入的多个图像信号,从而生成合成图像,并输出所述合成图像。所述图像被存储在图像存储器70中。接着,从图像存储器70输出的图像信号(图像数据)输出到显示装置30,并且显示装置30显示与所述信号对应的图像。图像信号还输出到图像比较计算单元50,并存储在图像比较计算单元50中提供的图像存储器51中。运动感测单元60检测车辆是否在运行中,并将感测结果输出到图像比较计算单元50。
[0062] 现在参照图2说明图像处理单元20的结构和操作。图像处理单元20包括:拍摄图像处理单元21,其处理从照相机10输出的图像信号;故障标志22,当存在故障时向所述故障标志22提供从图像比较计算单元50输出的信号p1;警报显示图像生成单元23,其输出用于报告故障的警报显示图像;以及显示图像选择单元24,其选择从拍摄图像处理单元21输出的信号或从警报显示图像生成单元23输出的信号之一作为要显示在显示装置30上的图像信号。图像比较计算单元50将输出信号p1输出到显示图像选择单元24,以报告是否存在故障。
[0063] 当输出信号p1改变为所述信号表示在图像之间存在匹配的状态时设定故障标志22。故障标志22保持所述状态,直到故障复位。当故障复位时,故障标志22也复位。
[0064] 当检测到输出信号p1的状态表示在图像之间存在匹配时或者当设定故障标志时,显示图像选择单元24选择从警报显示图像生成单元23输出的信号,并将如此选择的信号输入到图像存储器70。对于其余情况,即不存在任何故障的常规状态,显示图像选择单元24将从拍摄图像处理单元21输出的图像输出到图像存储器70。
[0065] 如图3中所示,图像存储器70和图像比较计算单元50各自具有1和帧2,用于存储至少两个以预定周期更新的图像数据。
[0066] 现在参照图4说明图像处理单元20的处理时序。从照相机10输出的图像信号输入到顺序地处理信号的图像处理单元20。在此情况下,如图4中所示,可以在输出在第n-1个图像的处理之后生成的图像的同时,并行地处理作为下一图像的“第n个”图像。
[0067] 当运动感测单元60检测到车辆的运动时,图像比较计算单元50通过使用所述结构以预定周期将当前图像数据与在至少一个先前周期中获取的过去图像数据进行比较,从而确认照相机10或图像处理单元20是否已经发生故障。
[0068] 现在通过使用图5至图7中示出的时序图详细说明故障检测方法。首先,如图5中所示,图像处理单元20顺序地处理从照相机10输入的图像信号,并输出如此处理的图像信号。如此输出的图像n-1、n、n+1、……交替地存储在图像存储器70的帧1或帧2中,并接着顺序地输出到显示装置30。同时,图像存储器70也向图像比较计算单元50输出图像。图像比较计算单元50将输入图像一个接着一个存储到图像存储器51的帧1或帧2中。在图像存储器70的帧1中存储的图像被存储在图像存储器51的帧1中,并且图像存储器70的帧2中存储的图像被存储在图像存储51的帧2中。在第n-1个图像已存储在图像存储器70的帧1中时,将图像数据在延迟后输入到图像存储器51。结果,第n-3个图像被存储在图像存储器51的帧1中。当运动感测单元60检测到车辆在运动时,图像比较计算单元
50以给定周期将存储在图像存储器70的帧1中的图像与存储在图像存储器51的帧1中的图像进行比较,并将存储在图像存储器70的帧2中的图像与存储在图像存储器51的帧
2中的图像进行比较。当在图像之间存在差别时,图像比较计算单元50判定不存在任何故障。
[0069] 同时,当在图像处理单元中发生故障时,如图6中所示,存储在图像存储器中的图像不更新。当图像比较计算单元50将存储在各个帧中的图像彼此进行比较时,它们之间变得匹配。当在图像之间存在匹配时,图像比较计算单元50已经判定存在故障。如图7中所示,要向驾驶员报告故障的警报显示图像被存储在图像存储器70的帧1和帧2中,所述图像存储器70将图像输入到显示装置30。
[0070] 如上所示,图像比较计算单元50在故障检测期间执行图像匹配,从而判定要比较的两个图像数据(即,当前图像数据和过去图像数据)之间的相似性。具体地,当在两个图像之间存在高相关性时,这两个图像被判定为基本相同。因为尽管车辆周围环境发生了变化但两个图像保持不变,所以判定存在故障。同时,当在两个图像之间存在低相关性时,这两个图像被判定为彼此不同。因此,判定不存在任何故障。在发生故障的情况下,图像比较计算单元50向图像处理单元20输出报告故障的输出信号p1。
[0071] 在接收到报告故障的输出信号p1时,图像处理单元20执行针对照相机10或图像处理单元20的故障的情况的图像处理。具体地,图像处理单元20输出警报显示图像的图像信号,从而将显示装置30上的显示改变为单色显示或警报显示。然而,以上操作的前提条件是:图像处理单元20保持执行用于故障的图像处理并将故障信息发送到显示装置30的常规无故障功能。
[0072] 在接收到报告曾经在图像之间存在匹配的输出信号p1时,图像处理单元20停止输出图像,直到故障状态复位。此时,显示装置30保持显示存储在图像存储器70中的警报显示图像。此外,在输出报告曾经在图像之间存在匹配的输出信号p1之后,图像比较计算单元50可以暂停(halt)图像比较,直到故障状态复位。
[0073] 当图像比较计算单元50执行比较时,将预定周期设定为显著短于作为试图刹车的人的反应时间与在车辆变为停止之前经过的机械时间的和的反应时间段的时段。如前面所提到的,通过在多个周期上的一定时间段中检查车辆的运动,可以判定问题是故障还是暂时失灵(temporal failure)。
[0074] 运动感测单元60配备有选择电路80,其从用于通过不同的感测系统检测车辆运动的多个电路中选择任一个。作为用于通过不同感测系统感测车辆运动的电路,选择电路80与下述电路连接:用于发送轮胎的旋转信号k1的旋转确认电路81;用于发送速度表的速度信号k2的速度确认电路82;以及用于发送另一运动信号k3的运动确认电路83。运动感测单元60根据从选择电路80选择的电路输入的信号,向图像比较计算单元60重复地馈送表示车辆是否在运动的输出信号p2。
[0075] 用于生成等于预定周期的信号的周期信号生成单元40也连接到图像比较计算单元50。图像比较计算单元50进行比较的周期不是作为预定周期的固定值,而是可以根据来源于周期信号生成单元40的输出信号p3相应地改变为最佳周期。
[0076] 在本实施例中,周期信号生成单元40配备有至少一个或更多个(N)周期选择端子41。可以仅通过硬件步进地改变周期,只要例如在高电平和低电平之间切换输入到周期选择端子41的信号。具体地,当提供一个周期选择端子41时,周期信号生成单元40可以在两个电平中选择周期。此外,当提供N个(整数个)周期选择端子41时,周期信号生成单元
40可以在2N个电平中选择周期。被馈送了周期信号生成单元40选择的输出信号p3的图像比较计算单元50以对应于所选择的输出信号p3的周期,将当前图像数据与在至少一个先前周期中获取的过去图像数据进行比较。
[0077] 也可以向周期选择端子41输入其电平可以模拟量变化的信号来取代高/低电平信号。在此情况下,模数转换电路(ADC)插入在周期信号生成单元40与一个周期选择端子41之间,从而使得能够连续地改变周期。
[0078] 此外,图像比较计算单元50进行比较的周期也可以通过软件改变。图8是示出当通过软件改变图像比较计算单元50进行比较的周期时采用的结构的框图。周期选择寄存器42连接到周期信号生成单元40。根据软件设定的值,周期选择寄存器42向周期信号生成单元40输出用于选择周期的输出信号p4。
[0079] 周期选择寄存器42所选择的周期的宽度(选择的范围)取决于从周期选择寄存器42输入的输出信号p4的数目。当输出信号p4的数目是M时,周期信号生成单元40可以在
2M个电平中选择周期。此外,周期信号生成单元40所选择的输出信号p3馈送到图像比较计算单元50,从而图像比较计算单元50以对应于所选择的输出信号p3的周期,将当前图像数据与在至少一个先前周期中获取的过去图像数据进行比较。
[0080] 现在说明具有以上结构的监视系统的操作。图9是示出监视系统的操作过程的流程图。作为位于监视系统中的微计算机中的CPU执行存储在存储器中的控制程序的结果的功能,实施所述操作。图像比较计算单元50以预定周期重复地执行操作。
[0081] 首先,图像比较计算单元50根据从运动感测单元60输入的输出信号p2,判定车辆是否在运动(步骤S1)。当车辆被判定为没有运动时,图像比较计算单元50立即终止处理。同时,当车辆被判定为在运动时,图像比较计算单元50将当前图像数据与在至少一个先前周期中获得的过去数据进行比较(步骤S2)。要彼此进行比较的图像数据的组合不限于上述,而是可以从多个可能的组合中合适地选择组合。
[0082] 图像比较计算单元50根据图像数据之间的比较结果,判定照相机10或图像处理单元20是否发生故障(步骤S3)。当不存在任何故障时,图像比较计算单元50直接终止处理。同时,当存在故障时,图像比较计算单元50向图像处理单元20输出报告故障的输出信号p1(步骤S4)。在接收到输出信号p1时,图像处理单元20处理在照相机10或图像处理单元20发生故障时获取的图像,并输出显示图像处理信息(故障信息)的图像信号g2,从而将显示装置30改变为单色显示或警报显示。接着,图像比较计算单元50终止处理。
[0083] 当监视系统由于任何故障不工作、同时原本要显示的图像之前的图像仍然保留在显示装置30上时,第一实施例的监视系统可以向驾驶员报告监视系统的故障。结果,驾驶员可以得知监视系统的故障,并通过使用辅助功能(例如后视镜)将车辆暂时驾驶到安全位置,从而能够避免事故。因此可以使车辆的安全性升级,并且实现了对安全性敏感的系统的构造。
[0084] 此外,通过图像处理单元20发送故障信息使得可以在显示屏幕上叠加警报信息或改变显示模式(例如警报显示屏幕的颜色或亮度),从而有助于吸引驾驶员的注意。此外,可以在车辆运动的同时将监视系统的故障传达给驾驶员,从而驾驶员可以避免事故。只要使得周期可变,就可以以符合移动物体(例如车辆)的运动的周期检测到监视系统的故障。
[0085] 除了在硬件或软件中包括缺陷(bug),图像处理单元20的故障的原因还包括进行另一处理的图像处理单元20由于吞吐量的临时增加而落后于图像处理的情况。
[0086] 在本实施例中,通过显示装置30的显示屏幕报告关于故障的警报。也可以通过使用显示屏幕与另一方法组合来报告警报。
[0087] (第二实施例)
[0088] 图10是示出包括另一警报通告装置的监视系统的结构的框图,所述另一警报通告装置被添加到关于第一实施例所述的结构中。与关于第一实施例所述的构成要素相同的构成要素被标以相同的附图标记,并且省略对它们的重复说明。下面将说明与关于第一实施例所述的结构和操作不同的结构和操作。
[0089] 图10中所示的监视系统配备有警报指示单元90和警报声音生成单元91,作为警报生成单元,从图像比较计算单元50向所述警报指示单元90和警报声音生成单元91输入输出信号p1。
[0090] 在本实施例中,图像比较计算单元50将报告故障的输出信号p1输入到图像处理单元20,并且还将输出信号p1输入到警报指示单元90和警报声音生成单元91。除了显示装置30提供的警报显示之外,警报指示单元90也提供警报显示。此外,警报声音生成单元91发出警报声音。顺便提及,可以仅提供和激活警报指示单元90和警报声音生成单元91之一。
[0091] 除了显示装置30提供的警报显示之外,警报指示单元90因此也提供警报显示,并且警报声音生成单元91也发出警报声音,从而使得可以确定地将驾驶员的注意力吸引到故障上。特别地,甚至当图像处理单元20与显示装置30之间的功能存在故障时,将输出信号p1直接从图像比较计算单元50输入到警报指示单元90和警报声音生成单元91中也能够确定地吸引驾驶员的注意力。此外,由于将输出信号p1直接输入到警报指示单元90和警报声音生成单元91而不涉及图像处理单元20和图像存储器70,所以可以在检测到故障时立即向驾驶员报告故障。
[0092] (第三实施例)
[0093] 图11是示出第三实施例的监视系统的结构的框图。省略与关于第一实施例所述的构成要素相同的构成要素的重复说明。下面说明与关于第一实施例所述的结构和操作不同的结构和操作。
[0094] 在本实施例中,图像比较计算单元50中不提供已经内置到第一实施例的图像比较计算单元50中的图像存储器70。图像存储器51提供在半导体集成电路200外部。本实施例中采用的图像存储器70存储从图像处理单元20输出的图像信号,并将如此存储的图像信号输出到显示装置30、图像存储器51和图像比较计算单元50。
[0095] 图像存储器51存储从图像存储器70输出的图像信号,并将如此存储的图像信号输出到图像比较计算单元50。在此情况下,从图像存储器70输入的图像“n”以及从图像存储器51输入的在图像“n”之前一个周期的图像n-1被同时输入到图像比较计算单元50。当运动感测单元60确认车辆在运动时,图像比较计算单元50以预定的周期将图像“n”与图像“n-1”进行比较,从而在所有时间确认照相机10或图像处理单元50是否发生故障。
[0096] 在故障检测期间,图像比较计算单元50执行图像匹配,判定彼此比较的两个图像数据(即,当前图像数据和过去图像数据)之间的相似性。更具体地,当在这两个图像之间存在高相关性时,这两个图像被判定为基本相同。因为尽管车辆周围环境发生变化但这两个图像保持不变,所以判定存在故障。同时,当两个图像之间存在低相关性时,这两个图像被判定为彼此不同。因此,判定不存在任何故障。在发生故障的情况下,图像比较计算单元50向图像处理单元20输出报告故障的输出信号p1。
[0097] 在接收到输出信号p1时,图像处理单元20执行针对照相机10或图像处理单元20的故障的情况的图像处理。具体地,图像处理单元20输出表示图像处理信息(故障信息)的图像信号,从而将显示装置30上的显示改变为单色显示或警报显示。顺便提及,以上操作的前提条件是:图像处理单元20保持执行用于故障的图像处理并将故障信息发送给显示装置30的常规无故障功能。
[0098] 在已经检测到故障的情况下,图像比较计算单元50暂停后续图像比较。在此情况下,显示装置30优选显示警报。
[0099] 如上,使用半导体集成电路200的外部存储器,而不是内置于图像比较计算单元50中的图像存储器51,从而可以使半导体集成电路小型化。
[0100] 周期信号生成单元40也可以以与关于第一实施例所述的相同方式连接到图像比较计算单元50。图像比较计算单元50执行比较的周期不是作为预定周期的固定值,而是可以根据来源于周期信号生成单元40的输出信号p3相应地改变到最佳周期。在此方面,周期选择端子41或周期选择寄存器也可以连接到周期信号生成单元40,从而改变周期。此外,除了通过显示装置30提供警报显示之外,如关于第一实施例中所述的,还可以生成警报指示单元90提供的警报显示或警报声音生成单元91发出的警报声音。
[0101] (第四实施例)
[0102] 图12是示出第四实施例的监视系统的结构的框图。省略与关于第一实施例所述的构成要素相同的构成要素的重复说明。下面说明与关于第一实施例所述的结构和操作不同的结构和操作。
[0103] 在本实施例中,在第一实施例中置于半导体集成电路外部的图像存储器70提供在半导体集成电路300内。在所有其他方面,监视系统在执行和处理上与关于第一实施例所描述的监视系统是同样的。
[0104] 如上所提及,将图像存储器70放置在半导体集成电路中,这使得可以缩短信号传输距离,并防止信号传输发生延迟。还获得减小功耗和布置半导体集成电路的基底的面积的优点。
[0105] 周期信号生成单元40也可以以与关于第一实施例所述的相同方式连接到图像比较计算单元50。图像比较计算单元50进行比较的周期可以根据来源于周期信号生成单元40的输出信号p3相应地改变到最佳周期,而不是固定的预定周期。在此方面,周期选择端子41或周期选择寄存器也可以连接到周期信号生成单元40,从而改变周期。此外,除了通过显示装置30提供警报显示之外,如关于第一实施例中所述的,还可以生成警报指示单元
90提供的警报显示或警报声音生成单元91发出的警报声音。
[0106] 第一至第四实施例示出了监视系统应用到车辆的情况。然而,本发明也可以以相同的方式应用于车辆以外的移动物体。车辆以外的移动物体包括可移动监视相机等。
[0107] 在第一至第四实施例中,已经将监视系统简单地描述为整体构造为单元的系统。然而,也可以将外部照相机、外部显示装置、以及监视单元与其他内置单元彼此分离地构造。
[0108] 然而,本发明不限于关于第一至第四实施例所描述的结构。本发明可以适用于任何结构,只要所述结构能够实施关于权利要求中所描述的功能或关于第一至第四实施例描述的结构所呈现的功能。虽然已经参照具体实施例详细描述了本发明,但本领域的技术人员可知,可以在不偏离本发明的精神和范围的情况下对本发明进行各种修改或改变。
[0109] 本专利申请基于2010年3月5日提交的日本专利申请(JP-2010-049740),通过引用将其全部细节合并到这里。
[0111] 本发明的监视系统作为在原本要显示的图像之前的图像仍然保持显示在显示装置上时、向用户报告发生故障的监视系统是有用的。
[0112] 附图标记列表
[0113] 1、10照相机
[0114] 2、20图像处理单元
[0115] 21拍摄图像处理单元
[0116] 22故障标志
[0117] 24显示图像选择单元
[0118] 3、30显示装置
[0119] 40周期信号生成单元
[0120] 41周期选择端子
[0121] 42周期选择寄存器
[0122] 50图像比较计算单元
[0123] 51图像存储器
[0124] 511图像存储器51中的帧1
[0125] 522图像存储器51中的帧2
[0126] 60运动感测单元
[0127] 70图像存储器
[0128] 71图像存储器70中的帧1
[0129] 72图像存储器70中的帧2
[0130] 80选择电路
[0131] 81旋转确认电路
[0132] 82速度确认电路
[0133] 90警报指示单元
[0134] 91警报声音生成单元
[0135] 100、200、300半导体集成电路
QQ群二维码
意见反馈