车辆用死影像显示系统和车辆用死角影像显示方法

申请号 CN201080031778.9 申请日 2010-07-02 公开(公告)号 CN102474596A 公开(公告)日 2012-05-23
申请人 歌乐牌株式会社; 发明人 佐藤德行;
摘要 本 发明 提供一种透视式侧视监视器系统(A1),具备侧面摄像机(1)、外部监视器(2)和 图像处理 控制单元(3),其中,图像处理控制单元(3)具有:图像 变形 部(33),对从侧面摄像机(1)输入的实际摄像机影像 信号 进行视点变换,变换成从驾驶员的视点 位置 观看到的死 角 图像;车厢内图像形成部(34),形成从驾驶员的视点位置观看到的车厢内图像;图像合成装置(36),生成透过半透明车厢内图像而显现死角图像的透过显示图像;图像合成装置(36),生成用于对逐渐从车厢内图像中浮现出的死角图像进行显现的动画显示图像。
权利要求

1.车辆用死影像显示系统,包括:
摄像机,对从驾驶员来看成为死角的车辆周边进行摄像;
监视器,设定在车厢内位置
图像处理控制装置,利用基于从所述摄像机输入的实际摄像机影像信号的图像处理,生成发送给所述监视器的监视器影像信号,
其特征在于:
所述图像处理控制装置具有:
死角图像形成部,对从所述摄像机输入的实际摄像机影像信号进行视点变换,成为从驾驶员的视点位置观看到的死角图像;
车厢内图像形成部,形成从所述驾驶员的视点位置观看到的车厢内图像;
透过显示图像生成部,使重叠到所述死角图像上的所述车厢内图像变成半透明车厢内图像;
动画显示图像生成部,对下述动画显示图像进行生成,该动画显示图像使重叠到所述死角图像上的所述车厢内图像从不透明图像分阶段向透过图像转移。
2.根据权利要求1所述的车辆用死角影像显示系统,其特征在于,
对于所述动画显示图像生成部,若动画显示开始,则利用对基于从所述摄像机输入的实际摄像机影像获得的死角图像和下述车厢内图像进行的图像合成,生成发送给所述监视器的显示图像,该车厢内图像由开始时的不透明图像,每经过设定时间,则使车厢内图像的透过率增加设定透过率,从而逐步分阶段向半透明图像转移。
3.根据权利要求1或2所述的车辆用死角影像显示系统,其特征在于,对于所述动画显示图像生成部,在从已经将所述摄像机的电源接通的时刻起到经过初始稳定化时间为止的期间里,利用对预先存储的存储信息进行读取而获得的死角图像,生成发送给所述监视器的显示图像。
4.根据权利要求1所述的车辆用死角影像显示系统,其特征在于,
对于所述动画显示图像生成部,准备包括车厢内图像和死角图像在内的多个图层,将所述多个图层按照从车厢内图像到死角图像的顺序多层组合在一起而形成图层结构,该图层结构作为源图像,若动画显示开始,则利用使各图层的透过率改变的图像合成,生成由开始时的不透明车厢内图像起而以分阶段透过车厢内图像的方式向死角图像过渡的显示图像。
5.根据权利要求1所述的车辆用死角影像显示系统,其特征在于,
对于所述动画显示图像生成部,给所述车厢内图像施加立体信息,并以虚拟方式设定平面或者曲面的屏幕,该屏幕从车厢内的跟前侧朝向外侧移动而将立体的车厢内图像剖切,若动画显示开始,则让所述屏幕分阶段从跟前侧朝外侧移动,由屏幕在移动时切开的跟前这侧取为半透明、外侧取为不透明,生成由开始时的不透明图像车厢内图像起而以分阶段透过车厢内图像的方式向死角图像过渡的显示图像。
6.根据权利要求1所述的车辆用死角影像显示系统,其特征在于,
设置有具有系统起动开关的外部操作部,对于所述动画显示图像生成部,当打算进行死角图像的透过显示而对所述系统起动开关进行投入操作,则开始动画显示。
7.根据权利要求1所述的车辆用死角影像显示系统,其特征在于,
设置有外部操作部,该外部操作部具有至少对动画显示禁止位置和动画手动显示位置进行切换选择的模式选择开关,
对于所述动画显示图像生成部,若通过所述模式选择开关进行从动画显示禁止位置切换到动画手动显示位置的操作,则开始动画显示。
8.根据权利要求1所述的车辆用死角影像显示系统,其特征在于,
对于所述动画显示图像生成部,在分阶段对所述车厢内图像的透过率进行提高的过程中,若车厢内图像的透过率达到用于获取在所述透过显示图像生成部的半透明车厢内图像的初始设定透过率,则将动画显示结束,
所述透过显示图像生成部接着动画显示的结束,再继续自动开始透过显示。
9.一种车辆用死角影像显示方法,根据从对从驾驶员来看成为死角的车辆周边进行摄像的摄像机输入的实际摄像机影像信号,将死角影像显示在监视器上,
其特征在于,包括如下工序:
系统起动操作工序,当打算对发送给所述监视器的死角影像进行显示,进行系统起动操作;
动画显示工序,所述系统起动操作作为触发器,将随着时间经过而分阶段从不透明车厢内影像状态中浮现出来的死角影像加以显现,并以画面显示在所述监视器上;
透过显示工序,所述动画影像结束显示作为触发器,将以透过半透明车厢内影像的方式显现从驾驶员的视点位置看到的死角图像的透过死角影像,以画面显示在所述监视器上。

说明书全文

车辆用死影像显示系统和车辆用死角影像显示方法

技术领域

[0001] 本发明涉及在将死角影像显示于监视器时,犹如透过半透明车厢内影像而显示从驾驶员的视点位置观看到的死角影像的车辆用死角影像显示系统和车辆用死角影像显示方法。

背景技术

[0002] 目前,对于被实用化的侧视监视器系统来说,在车侧反射镜(side mirror)的内部设定侧面摄像机(CCD摄像机等),在与导航系统兼用的前部显示器单元的监视器画面上,显示来自侧面摄像机的实际摄像机影像。
[0003] 即,在监视器画面上,显示成为驾驶员的死角的车辆的前侧方部分,由此,驾驶员能够辨别成为死角的部分的状况。
[0004] 但是,由于侧面摄像机配置在车侧反射镜的内部,所以,在摄像机视点和驾驶员视点之间具有较大的视差(1m到2m左右的视差),对于障碍物或其他物体的形状来说,摄像机影像中的形状和从驾驶员的座位观看到的形状完全不同。
[0005] 对此,一方面,在通常情况下,根据驾驶员自身的习惯,将摄像机影像在头脑中进行再构成,对物体的位置关系进行再构筑并进行判断,由此,取得与驾驶员自身观看到的影像的一致性;另一方面,在不习惯的驾驶员的情况或特突然的瞬间的情况下,画面影像和从驾驶员的座位观看到的影像之间的一致性被破坏,产生不适感。
[0006] 为了消除这样的不适感,将由设置在车体外侧的死角摄像机所取得的摄像机影像信号进行图像变换,变换成犹如从驾驶员的视点位置观看到的虚拟摄像机影像,生成变换外部图像。此外,根据在驾驶员的视点位置附近所设置的驾驶员视点摄像机取得的摄像机影像,生成除死角区域之外的其它识别区域图像。并且,提出了一种车辆用死角影像显示系统,可获得把变换外部图像合成到从识别区域图像除去的死角区域上的合成图像(例如参考专利文献1)。
[0007] 现有技术文献
[0008] 专利文献1:日本特开2004-350303号公报

发明内容

[0009] 但是,在以往的车辆用死角影像显示系统中,存在以下列举的问题。
[0010] (1)主要是将两个摄像机影像剪切并合成,并且,对该影像的窗框等的边缘部分进行强调检测,用此进行叠加,由此努消除死角和不适感,但是,这些都存在极限,在影像中产生不适感。
[0011] (2)在作为例子所叙述的使用了相对于仰角、俯角方向的上下方向的宽角度的死角摄像机的情况下,充分覆盖室内摄像机(驾驶员视点摄像机)的视野,有助于消除室内摄像机的影像的死角的仅仅是后货箱上部等的一部分的视野,系统上浪费的部分很多。
[0012] (3)对于将摄像机影像合成时使用的边缘强调引起的叠加框来说,并不仅限于需要追加图像处理功能,在向驾驶员提供观看车辆的死角部分的辨别的方面,其效果也不充分。
[0013] 为此,本申请人提供一种车辆用死角影像显示系统,从车载摄像机输入的实际摄像机影像被视点变换成从驾驶员的视点位置观看到的虚拟摄像机图像,利用将达到了半透明化的车厢内图像重叠到该虚拟摄像机图像上的图像合成,以透过半透明车厢内图像的方式来表现虚拟摄像机图像(日本特愿2008-39395号:平成20年2月20日申请)。
[0014] 根据上述提案,对怎样才能让人在从驾驶员的位置观看的情况下,观看到实际车辆本来无法看到的部分被加以显现过的影像进行运算,并进行图像变换处理,从而提供较少不适感的死角影像。这样很方便对透过包含车在内的车厢内图像而看到外部那样的半透明影像进行模拟,目的是实现在特别突然的瞬间非常易于直觉判明的影像表现,从而有助于安全驾驶。
[0015] 但是,在实际运用使用了上述提案的系统时,产生了下述这样的视觉辨认性的问题。根据使用了受检者的实验结果判明,即使显示半透明影像,仍然有包括年岁大的人士在内的一部分人在一瞬间不能领会理解。若进行相应解说,例如对于侧面摄像机的影像进行视点变换,把本来应该不能够看到的死角影像表现成为、半透明状态下的影像,则大致上在100个人中100人都会理解,承认其实用性。但是,当不进行这样的说明的情况下,有极少一部分人不能判明该影像是什么而不能领会理解。也就是说,可以判明的是:在有的情况下,作为上述提案的主要目的即、“使用了易于直觉判明的影像表现达到将死角消除,从而有助于安全驾驶”并不能被实现。
[0016] 根据受检者的信息对上述原因进行类推,其原因很有可能是,由监视器显示的影像仅作为平面的影像被捕获,在本来表现空间影像的监视器的影像和大脑内的空间辨别之间没有建立起关联性,从而空间识别不一致。此外,半透过部分的车厢内影像从它的目的出发,将透过率设定得稍微高一些,因而,构成半透明影像部分的车厢内影像不易辨别,这起因于从车厢内观看外部的表现难以传达。但是,若降低该透过影像的透过率,则这次又出现关键的死角影像难以被看到的问题。
[0017] 此外,作为整个照相机系统的问题来说,为了获得节能效果,往往是在系统开始运行时也将摄像机电源接通。但是,在这种情况下,由于摄像机的起动时间存在时间滞后,因而在大多的情况下,监视器显示画面出现缓慢,在显示实际的摄像机的影像以前持续显示蓝屏或者黑色画面。
[0018] 本发明正是着眼于上述问题,其目的是提供一种车辆用死角影像显示系统和车辆用死角影像显示方法,可以促进用户对这种透过半透明车厢内图像而显示出从驾驶员的视点位置看到的死角影像的系统加深理解,将死角消除,从而有助于安全驾驶的实现。
[0019] 为了实现上述目的,本发明的车辆用死角影像显示系统包括:摄像机,对从驾驶员来看成为死角的车辆周边进行摄像;监视器,设定在车厢内位置;图像处理控制装置,利用基于从所述摄像机输入的实际摄像机影像信号的图像处理,生成发送给所述监视器的监视器影像信号。在该车辆用死角影像显示系统中,所述图像处理控制装置具有:死角图像形成部,对从所述摄像机输入的实际摄像机影像信号进行视点变换,成为从驾驶员的视点位置观看到的死角图像;车厢内图像形成部,形成从所述驾驶员的视点位置观看到的车厢内图像;透过显示图像生成部,使重叠到所述死角图像上的所述车厢内图像变成半透明车厢内图像;动画显示图像生成部,对下述动画显示图像进行生成,该动画显示图像使重叠到所述死角图像上的所述车厢内图像从不透明图像分阶段向透过图像转移。
[0020] 由此,本发明的车辆用死角影像显示系统追加有进行动画显示的功能,该动画显示与让人透过半透明车厢内影像而看到死角影像的透过显示有区别,通过使重叠到死角图像上的车厢内图像从不透明图像分阶段转移到透过图像的图像处理,从而让人看到死角影像逐渐从车厢内影像之中浮现出来。附图说明
[0021] 图1是示出实施例1的透视式侧视监视器系统A1(车辆用死角影像显示系统的一例)的整体系统框图
[0022] 图2是示出由实施例1的透视式侧视监视器系统A1的控制装置执行的动画显示控制处理的流程的流程图
[0023] 图3-1是表示对在实施例1中侧面摄像机的影像进行视点变换,变换成从驾驶员位置观看到的影像的外部视点变换影像的一例的图。
[0024] 图3-2是表示在实施例1中从驾驶员视点观看到的车厢内图像的一例的图。
[0025] 图3-3是表示在实施例1中将外部视点变换影像和透过了20%左右的半透明车厢内图像进行合成后的半透明合成图像(1)的一例的图。
[0026] 图3-4是表示在实施例1中将外部视点变换影像和透过了50%左右的半透明车厢内图像进行合成后的半透明合成图像(2)的一例的图。
[0027] 图3-5是表示在实施例1中将外部视点变换影像和按照初始设定透过率进行透过的半透明车厢内图像进行合成后的半透明合成图像(3)的一例的图。
[0028] 图4是示出实施例2的透视式侧视监视器系统A2(车辆用死角影像显示系统的一例)的整体系统框图。
[0029] 图5是示出由实施例2的透视式侧视监视器系统A2的控制装置执行的动画显示控制处理的流程的流程图。
[0030] 图6是示出实施例3的透视式侧视监视器系统A3(车辆用死角影像显示系统的一例)的整体系统框图。
[0031] 图7-1是表示在实施例3中从驾驶员视点观看到的图层1用车厢内图像的一例的图。
[0032] 图7-2是表示在实施例3中从驾驶员视点观看到的图层2用车门内部影像(1)的一例的图。
[0033] 图7-3是表示在实施例3中从驾驶员视点观看到的图层3用车门内部影像(2)的一例的图。
[0034] 图7-4是表示对在实施例3中侧面摄像机的影像进行视点变换,变换成从驾驶员位置观看到的影像的外部视点变换影像的一例的图。
[0035] 图7-5是利用在实施例3中的内部装饰图像的图层(1)、内部图像1的图层(2)、内部图像2的图层(3)和外部影像的图层(4)构成画面的概念性的一例的立体图。
[0036] 图8-1是表示将在实施例3中的画面构成设定为内部装饰图像的图层(1)的非透过率是100%的合成图像例的图。
[0037] 图8-2是表示将在实施例3中的画面构成设定为内部装饰图像的图层(1)的非透过率是80%、内部图像1的图层(2)的非透过率是20%的合成图像例的图。
[0038] 图8-3是表示将在实施例3中的画面构成设定为内部装饰图像的图层(1)的非透过率是30%、内部图像1的图层(2)的非透过率是70%的合成图像例的图。
[0039] 图8-4是表示将在实施例3中的画面构成设定为内部装饰图像的图层(1)的非透过率是10%、内部图像1的图层(2)的非透过率是90%的合成图像例的图。
[0040] 图8-5是表示将在实施例3中的画面构成设定为内部图像1的图层(2)的非透过率是70%、内部图像2的图层(3)的非透过率是30%的合成图像例的图。
[0041] 图8-6是表示将在实施例3中的画面构成设定为内部图像1的图层(2)的非透过率是20%、内部图像2的图层(3)的非透过率是80%的合成图像例的图。
[0042] 图8-7是表示将在实施例3中的画面构成设定为内部图像2的图层(3)的非透过率是70%、外部影像的图层(4)的非透过率是30%的合成图像例的图。
[0043] 图8-8是表示在将实施例3中的画面构成设定为内部图像2的图层(3)的非透过率是30%、外部影像的图层(4)的非透过率是70%的合成图像例的图。
[0044] 图8-9是表示将在实施例3中的画面构成设定为内部装饰图像的图层(1)的非透过率是15%、外部影像的图层(4)的非透过率是85%的合成图像例的图。
[0045] 图9是示出实施例4的透视式侧视监视器系统A4(车辆用死角影像显示系统的一例)的整体系统框图。
[0046] 图10是示出在实施例4的透视式侧视监视器系统A4中,将使用三维空间信息表示成立体的结构部件如剖开模型那样切成圆片状而形成半透过图像的立体透过映像的立体图。

具体实施方式

[0047] 下面,根据附图中所示的实施例1到实施例4,对用于实现本发明的车辆用死角影像显示系统和车辆用死角影像显示方法的优选方式进行说明。
[0048] 另外,在实施例1到实施例4中,透过型的车辆用死角影像显示系统以侧重于“透视式侧视监视器系统”的形式进行说明,所述“透视式侧视监视器系统”是使用侧面摄像机,将成为驾驶员的死角的车辆的前部侧方部分的侧面摄像机影像,作为从车厢内透过车体的影像显示于外部监视器上。
[0049] 实施例1
[0050] 首先,对结构进行说明。
[0051] 图1是表示实施例1的透视式侧视监视器系统A1(车辆用死角影像显示系统的一例)的整体系统框图。
[0052] 在实施例1的透视式侧视监视器系统A1中,作为进行动画表现的图像处理手法是一种将使透过率分阶段改变的车厢内图像合成到基于实际摄像机影像信号得到的死角图像上的半透过手法(这种手法由于是使单个车厢内图像一边改变它的透过率一边与基于实际摄像机影像信号得到的死角图像相合成的图像合成手法,因而后文中称其为“单个图层型半透过手法”)。所述系统A1如图1所示,具有侧面摄像机1(摄像机)、外部监视器2(监视器)、图像处理控制单元3(图像处理控制装置)和外部操作部4。
[0053] 所述侧面摄像机1,通过内置在左侧反射镜中或者配置在左侧反射镜附近从而进行安装,对成为驾驶员的死角的车辆的前侧方部分进行摄像。该侧面摄像机1利用内置的摄像元件11(CCD、CMOS等),取得在摄像机透镜的光轴上存在的车辆的前侧方部分的实际摄像机影像数据。
[0054] 所述外部监视器2设定在驾驶员能够识别的车厢内位置(例如,仪表板位置等)。在该外部监视器2中,具有利用液晶显示器或有机EL显示器等进行显示的监视器画面21,输入由图像处理控制单元3生成的监视器影像信号进行影像显示。此处,作为外部监视器
2,可以在透视式侧视监视器系统A1中设定专用的监视器,此外,也可以在死角消除用的摄像机系统中设定专用的监视器,此外,也可以借用导航系统等其他系统的监视器。
[0055] 所述图像处理控制单元3,在从侧面摄像机1输入的实际摄像机影像信号的基础上,还根据来自外部操作部4的输入信息,依据已经设定的图像处理程序,进行图像变形、图像形成、图像合成等图像处理,并且生成发送给所述外部监视器2的监视器影像信号。
[0056] 所述外部操作部4具有:在系统起动时进行接通操作的系统起动开关41;对动画自动显示位置、动画显示禁止位置、动画手动显示位置进行选择和切换的模式选择开关42。作为该外部操作部4,可以采用利用显示于外部监视器2的监视器画面21上的触摸面板开关的结构,也可以采用设定于外部监视器2的外周位置处的操作按钮或操作拨号盘等结构。
[0057] 该图像处理控制单元3如图1所示,具有译码器31、图像存储器32、图像变形部33(死角图像形成部)、车体图像形成部34(车厢内图像形成部)、控制装置(CPU)35、图像合成装置36(动画显示图像生成部、透过显示图像生成部)和编码器37。下面对各构成要件进行说明。
[0058] 所述译码器31,对从侧面摄像机1输入的实际摄像机影像信号进行模拟/数字变换,并生成实际摄像机图像数据。
[0059] 所述图像存储器32,暂时对从译码器31送来的经过数字变换过的实际摄像机图像数据进行储存。
[0060] 所述图像变形部33基于来自控制装置35的指令,通过视点变换处理,将从图像存储器32输入的经过数字变换过的实际摄像机图像数据变形为从设置在驾驶员视点附近的虚拟摄像机观看到的外部视点变换图像数据。在图像变形部33中,作为图像处理来说,可以对利用实际摄像机图像数据得到的周围影像进行视点变换处理,还可以一并进行其它各种图像处理(亮度调整、色调校正、边缘校正等)。
[0061] 所述车体图像形成部34用来形成与来自图像变形部33的外部视点变换图像数据进行图像合成(叠加)的半透明车厢内图像数据。在该车体图像形成部34,事先将从驾驶员的视点预先摄影的不透明车厢内图像数据准备好,利用基于控制装置35发出的透过率指令采取的α混合处理,形成不同透过率的半透明车厢内图像数据。对于该半透明车厢内图像数据,
[0062] 并不是使车厢内图像数据的整个透过率不同,而是对于透过死角影像的作为优选区域进行设定,仅就车门或者驾驶室仪表板而言,将它规定为透过率不同的“半透明部分”。并且,将与车前窗和车门窗有关的窗区域规定为透过率为100%的“透明部分”,将本车投影到道路面上的影子区域规定为透过率为0%的“不透明部分”。
[0063] 所述控制装置35是中央运算处理装置(CPU),该中央运算处理装置(CPU)根据来自外部操作部4的输入信息,对涉及图像处理的全部的信息处理和控制输出进行管理,在该控制装置35中设定有控制程序,通过对图像变形部33、车体图像形成部34和图像合成装置36发出的控制指令,进行动画显示控制或者死角影像显示控制。另外,在该控制装置35中还设定有其它控制程序,这些控制程序用于进行例如外部影像亮度跟随显示控制、亮度急变应对显示控制、色调变换显示控制、警告显示控制等其它的图像处理控制。
[0064] 所述图像合成装置36,通过把来自车体图像形成部34的半透明车厢内图像数据重叠到来自图像变形部33的外部视点变换图像数据上的图像合成处理,从而生成合成图像数据。例如,在进行动画显示控制的情况下,
[0065] 把分阶段不断增强透过率的车厢内图像数据重叠到外部视点变换图像数据上,从而生成合成图像数据;例如,在进行死角影像透过显示控制的情况下,把利用已设定的透过率得到的半透明车厢内图像数据重叠到外部视点变换图像数据上,从而生成合成图像数据。
[0066] 所述编码器37,从图像合成装置36输入合成图像数据,经过合成图像数据的数字/模拟变换,向外部监视器2输出监视器影像信号。例如在进行动画显示控制的情况下,输出下述监视器影像信号,即:该监视器影像信号是借助监视器画面21上的影像表现,以死角影像随时间经过而逐渐从不透明车厢内影像状态中浮现出的方式表现;例如在进行死角影像透过显示控制的情况下,输出下述监视器影像信号,即:该监视器影像信号是借助监视器画面21上的影像表现,以犹如透过半透明车厢内影像而表现从驾驶员观看到的死角影像。
[0067] 图2是示出由实施例1的图像处理控制单元3执行的动画显示处理以及透过显示处理的流程的流程图。下面就图2的各步骤进行说明。
[0068] 在步骤S 1中,判断侧面摄像机1的电源是否接通,当YES(摄像机接通)的情况下,则转移到步骤S2;当NO(摄像机关闭)的情况下,则反复进行步骤S1的判断。在此处,将侧面摄像机1的电源接通需是在进行下述操作模式的时候:
[0069] ·在利用模式选择开关42选择动画自动显示位置的选择状态下,进行了系统起动开关41的接通操作的时候。
[0070] ·在利用模式选择开关42选择动画显示禁止位置的选择状态下,进行了系统起动开关41的接通操作和向动画手动显示位置切换的切换操作的时候。
[0071] 另外,本系统为了获得节约能源的效果,要使摄像机电源和系统起动操作两者连动,在开始系统起动操作时,并把摄像机电源接通。
[0072] 在步骤S2中,接着在步骤S1中的摄像机电源接通,设定在半透明车厢内图像数据的透过率Tra_N=0,转移到步骤S3。
[0073] 在步骤S3中,接着在步骤S2中的Tra_N=0设定、或者在步骤S5中的得到T≤Tc的判断、或者是在步骤S7中的得到Tra_N<Tra_0的判断,再使用已经设定的透过率Tra_N来形成半透明车厢内图像数据,通过把半透明车厢内图像数据合成到外部视点变换图像数据上的图像数据合成,生成监视器影像信号,输送给外部监视器2,由此,在监视器画面21上显示外部视点变换影像和半透明车厢内影像的合成影像,转移到步骤S4。
[0074] 另外,由于自摄像机电源接通起算的经过时间T达到初始稳定化时间Tc之前,基于摄像机影像得到的外部视点变换图像数据一直是不存在的,所以,显示的是透过率Tra_N=0的车厢内影像(单独影像),而不是合成影像。
[0075] 在步骤S4中,接着在步骤S3中的使用了透过率Tra_N的合成影像的显示,一直保持着这次的合成图像并等候用于阶段显示的设定时间Δt的经过,转移到步骤S5。
[0076] 在步骤S5中,接着在步骤S4中的用于阶段显示的设定时间Δt的经过,再对自摄像机电源接通起算的经过时间T是否超过了初始稳定化时间Tc进行判断,当YES(T>Tc)的情况下,则转移到步骤S6;当NO(T≤Tc)的情况下,则返回到步骤S3。
[0077] 在步骤S6中,接着在步骤S5中得出T>Tc的判断,在此次的透过率Tra_N基础上加上设定透过率ΔTra,得到后续的透过率Tra_N(=Tra_N+ΔTra),转移到步骤S7。
[0078] 在步骤S7中,接着在步骤S6中的后续的透过率Tra_N的设定,再对已设定的透过率Tra_N是否在初始设定透过率Tra_0以上进行判断,当YES(Tra_N≥Tra_0)的情况下,则转移到步骤S8;当NO(Tra_N<Tra_0)的情况下,则返回到步骤S3。在此处,初始设定透过率Tra_0是指在进行死角影像透过显示时,表示半透明车厢内图像数据的透过率的数值。
[0079] 在步骤S8中,接着在步骤S7中的得到Tra_N≥Tra_0的判断,使用透过率Tra_0形成半透明车厢内图像数据,并通过把半透明车厢内图像数据合成到外部视点变换图像数据上的图像数据合成,生成监视器影像信号,输送给外部监视器2,由此,在监视器画面21上显示外部视点变换影像和半透明车厢内影像的合成影像(基于透过显示得到的死角影像),从而转移到结束。
[0080] 下面对作用进行说明。首先,进行“本发明的要点”的说明,接下来,再对在实施例1的透视式侧视监视器系统A1中“从动画显示到透过显示的连续显示的作用”进行说明。
[0081] (本发明的要点)
[0082] (发明点)
[0083] 本发明是针对有少部分人对于有关特愿2008-039395号涉及的透过半透明车辆的叠加的车辆影像的内容无法理解,作为其应对措施而提出的。
[0084] 使用现有技术,仅使利用内部装饰的静态图像和影像得到的死角部分的区域逐渐地半透明化,车门内部的静态图像也使用它并分阶段通过动画方式加以透明化,由此使用户加深理解该影像就是透过影像。
[0085] 基本上是采用了下述手法的表现方法。
[0086] (1)在透过型的车辆用死角影像显示系统中,当以从车厢内透到外部的方式加以显示的情况下,并不是说从一开始将已经固定的半透明车厢内图像重叠并显示,而是在最初显示不透过(不透明)的车厢内影像,接着使透明度逐渐增强,并且,按车门内部的结构材料、窗玻璃、外板那样分阶段经历,一边进行半透明化和α混合处理,一边采取下述方式进行表现,即:犹如是通过用户的操作使车辆逐渐变得透明,且最终可以看到外部的死角影像(实施例1、实施例2)。
[0087] (2)至少下面这两种手法是涉及分阶段透明化的提出方案。
[0088] i)一种手法是平面式半透明手法,将多张静态图像或者直接摄影的车厢内影像作为多图层结构的源图像加以利用,进行图像处理,然而,进行该半透明化处理的单位是每一图层,使各图层的透过率改变且逐一地分阶段进行透过(实施例3)。
[0089] ii)另一种手法是立体式半透明手法,给车厢内影像施加立体信息,当虚拟配置的平面或者曲面的屏幕从跟前侧向外侧移动过去时,由该屏幕呈立体切开的跟前侧取作半透明、它的外侧使用实际的车辆结构体或者内部装饰品的影像和图像,从而获得分阶段的半透明图像(实施例4)。
[0090] (3)关于其它手法,利用声音信息,针对用户选择的现在的监视器的画面,播送相关的声音说明,从而可以加深用户的理解(其它实施例)。
[0091] 本文的提出方案是:在系统起动时利用动画通俗易懂地表现透过型影像看是否可行。
[0092] 具体而言提出如下的手法:在让人看到透过影像时,最初一次至习惯为止,或者只要想看的话,按照车厢内影像、车门内装的去除影像、车门内部的影像、车门外板影像、外部影像那样的顺序,依次透过进行。从而提供一种包含像这样的示范影像在内的、在系统起动时显示半透过影像的手法。
[0093] (发明概要)
[0094] ·提供一种系统,使死角摄像机的影像与将其经视点变换进行显示的系统中的其它摄像机图像或者车厢内图像(静态图像)组合,以犹如透过半透明的车体方式显示外部影像,由此使半透明车体影像变得易于辨别,有助于安全驾驶。
[0095] ·利用摄像机起动时的稳定化期间,以从不透明到半透明使影像连续改变的方式进行显示,从而加深用户的理解。
[0096] ·在系统起动时初始,以从上述不透明到半透明使影像连续改变的方式进行显示,但用户也可以选择不进行这种显示。
[0097] (发明目的)
[0098] ·构筑一种能够看一眼即可理解半透过影像的系统,并将构筑后的系统提供给部分不擅于掌握空间的人。
[0099] ·对在摄像机起动时产生的时间滞后的时间反而加以利用,这段时间用来播放说明半透过影像的动画影像。由此,通过辨别半透过车体观看到的影像,加深系统的理解,从而构筑更易于识别的系统。
[0100] ·在实际的摄像机影像加载的等候时间内,(大约几秒)播放动画影像,从而可提高娱乐性,提升商品价值。
[0101] ·在进行口头讲解的情况下,大致100%的使用者都能够理解,通过追加语音说明功能,从而构筑一种更易于理解和有助于安全的系统。
[0102] (发明效果)
[0103] 本案是在实现实际的透过型的车辆用死角影像显示系统时,作为显示手法而被使用的可能性较高的表现方法,可以期待有下述效果。
[0104] ·尽管对于早前提供的系统,几乎所有的人也都可以理解半透过的死角影像的情景,能对安全驾驶帮助很大,但是,还是出现过部分例外。因而构筑一种对这些例外人士来说也可以易于理解影像的系统,其与安全性的提高息息相关。
[0105] ·在作为原有不足之处的摄像机起动时间(初始稳定化时间)内,播放动画影像,从而可将无用的等候时间加以利用,不仅能够提高系统的理解度,还可以消除人们的焦躁情绪。
[0106] ·在以前提出的系统中也可以对透明度进行人工手动调整,然而,只要每次系统起动不由外部操作进行关闭的话,每次都一定会播放动画,由此理解加深,与直觉理解有密切关系。
[0107] (从动画显示到透过显示的连续显示的作用)
[0108] 利用图2中所示的流程图、和图3-1到图3-5中所示的影像或者图像例,对从动画显示到透过显示的连续显示的作用进行说明。
[0109] 若接通侧面摄像机1的电源,则在图2的流程图中,从步骤S1经过步骤S2、步骤S3、步骤S4,接下来转移到步骤S5,在步骤S5中在判断为从摄像机电源接头起算的经过时间T没有超过初始稳定化时间Tc以前,一直反复进行从步骤S3到步骤S4、接下来转移到步骤S5的流程。即,在没有超过初始稳定化时间Tc之前,基于由侧面摄像机1发送的摄像机影像信号得到的外部视点变换图像数据不能被形成,因而,在监视器画面21上显示出利用透过率Tra_N=0的不透明车厢内图像数据得到的不透明车厢内影像。
[0110] 接下来,在步骤S5中,若判断为自摄像机电源接通起算的经过时间T超过了初始稳定化时间Tc,则在图2的流程图中,从步骤S5转移到步骤S6,在步骤S6中,在此次的透过率Tra_N基础上加上设定透过率ΔTra,得到后续的Tra_N(=Tra_N+ΔTra)。即,从透过率Tra_N=0设定为透过率Tra_N=ΔTra。接下来,在已经设定的透过率Tra_N在没有达到初始设定透过率Tra_0以上以前,始终进行从步骤S6起、经过步骤S7、步骤S3再转移到步骤S4的内容,使用已经设定的透过率Tra_N来形成半透明车厢内图像数据,并且把半透明车厢内图像数据合成到外部视点变换图像数据上而进行图像数据合成,从而,把利用该图像数据合成得到的合成影像显示在监视器画面21上,直到经过用于阶段显示的设定时间Δt为止。
[0111] 接下来,每当经过用于阶段显示的设定时间Δt,则在图2的流程图中,从步骤S4起,经过步骤S5再转移到步骤S6,在步骤S6中,在本次的透过率Tra_N基础上加上设定透过率ΔTra,得到接下来的透过率Tra_N(=2ΔTra)。即,从透过率Tra_N=ΔTra,被设定成Tra_N=2ΔTra。接下来,在已经设定的透过率Tra_N在没有达到初始设定透过率Tra_0以上以前,始终进行从步骤S6起、经过步骤S7、步骤S3再转移到步骤S4的动作,使用已经设定的透过率Tra_N来形成半透明车厢内图像数据,并且把半透明车厢内图像数据合成到外部视点变换图像数据上而进行图像数据合成,从而,把利用该图像数据合成得到的合成图像显示在监视器画面21上,直到经过用于阶段显示的设定时间Δt为止。
[0112] 像这样多次反复进行在本次的透过率Tra_N基础上加上设定透过率ΔTra而得到后续的透过率Tra_N的内容,并且,每隔用于阶段显示的设定时间Δt,使半透明车厢内图像数据的半透明化分阶段推进一步,从而,一旦在步骤S7中判断为已经设定的透过率Tra_N在初始设定透过率Tra_0以上,则将动画显示结束,从而转移到自动进行死角影像透过显示的步骤S8。
[0113] 图3-1是对侧面摄像机1的影像进行视点变换而成为从驾驶员位置观看到的影像的外部视点变换影像;图3-2是从驾驶员的视点观看到的不透明车厢内图像。在以前提出的系统中,采取对上述两种影像利用系数α(α值)进行半透明合成的混合功能,从而立刻将车厢内图像显示成半透明状态的影像、即图3-5中所示的半透明图像(3)。
[0114] 但是,如上所述,在突然显现与在图3-5中所示的半透明图像(3)有关的监视器影像的情况下,有一少部分人不能够理解车门部分可透视而变成半透明的情景。有鉴于此,通过将形成有关图像的中途过程也一并显示,从而让大家加深理解。
[0115] 首先,如图2的流程图所示,在系统起动时(摄像机接通),显示在图3-2中所示的不透明车厢内图像。系统的摄像机影像自身在显示稳定图像以前,需要经过初始稳定化时间Tc,对于这种系统,在经过初始稳定化时间Tc后便开始下述动作。
[0116] 若经过初始稳定化时间Tc,则每隔已经初始设定的用于阶段显示的设定时间Δt,车厢内图像的透过率每次提高ΔTra。反复进行该动作一直到达到初始设定透过率Tra_0为止,每次都使用运算结果得到的透过率Tra_N表示合成图像。其结果是,从在图3-2中所示的不透明的车厢内图像起,经过在图3-3中所示的外部视点变换影像透过20%左右的半透过合成图像(1)和在图3-4中所示的外部视点变换影像透过50%左右的半透过合成图像(2),向着在图3-5中所示的外部视点变换影像已透过到初始设定透过率Tra_0的半透过图像(3)过渡。即,可以作为就像死角影像(外部视点变换影像)逐渐从车厢内影像之中浮现出来那样连续动作的影像(动画影像)进行观看。
[0117] 如上所述,在实施例1中追加有进行动画显示的功能,该动画显示是与让人透过半透明车厢内影像而看到死角影像的透过显示相区别的,通过使重叠到死角图像上的车厢内影像从不透明影像分阶段过渡到半透明影像的图像处理,从而让人看到死角影像逐渐从车厢内影像之中浮现出来。
[0118] 因而,用户可以很容易地理解的是:在系统起动操作后,呈现在外部监视器2上的监视器影像就是透过半透明车厢内影像而被显示的死角影像。即,对最终的半透过图像(3)的理解加深,可以有效对此后的直观感受到的死角影像进行掌握,得以消除死角,从而有助于安全驾驶的实现。
[0119] 下面对效果进行说明。
[0120] 在实施例1的透视式侧视监视器系统A1中,可以获得下述列举的效果。
[0121] (1)车辆用死角影像显示系统(透视式侧视监视器系统A1),包括:摄像机(侧面摄像机1),对从驾驶员来看成为死角的车辆周边进行摄像;
[0122] 监视器(外部监视器2),设定在驾驶员可以目视到的车厢内位置;图像处理控制装置(图像处理控制单元3),利用基于从所述摄像机(侧面摄像机1)输入的实际摄像机影像信号的图像处理,生成发送给所述监视器(外部监视器2)的监视器影像信号,其中:所述图像处理控制装置(图像处理控制单元3)具有:死角图像形成部(图像变形部33),对从所述摄像机(侧面摄像机1)输入的实际摄像机影像信号进行视点变换,成为从驾驶员的视点位置观看到的死角图像;车厢内图像形成部(车体图像形成部34),形成从所述驾驶员的视点位置观看到的车厢内图像;透过显示图像生成部(图像合成装置36、图2的步骤S8),使重叠到所述死角图像上的所述车厢内图像变成半透明车厢内图像;动画显示图像生成部(图像合成装置36、图2的步骤S1到步骤S7),对下述动画显示图像进行生成,该动画显示图像使重叠到所述死角图像上的所述车厢内图像从不透明图像分阶段向透过图像转移。
[0123] 因而,可以提供一种车辆用死角影像显示系统(透视式侧视监视器系统A1),可以促进用户对这种透过半透明车厢内影像而显示从驾驶员的视点位置得到的死角影像的系统的理解,得以消除死角,从而有助于安全驾驶的实现。
[0124] (2)对于所述动画显示图像生成部(图像合成装置36、图2的步骤S1到步骤S7),若动画显示开始,则利用对基于从所述摄像机(侧面摄像机1)输入的实际摄像机影像获得的死角图像和下述车厢内图像进行图像合成,生成发送给所述监视器(外部监视器2)的显示图像,该车厢内图像是通过使车厢内图像的透过率每经过设定时间Δt,便增高设定透过率ΔTra那样大,从而由开始时的不透明图像分阶段过渡到半透明图像。因而,动画显示可以按照下述方式进行,即:不用追加新的结构要件或者结构变更,仅依靠施加使不透明车厢内图像分阶段实现半透明化的α混合的处理算法,直接借用由死角影像的透过显示所使用的构成要件(图像合成装置36等)即可。
[0125] (3)设置具有系统起动开关41的外部操作部4,对于所述动画显示图像生成部(图像合成装置36、图2的步骤S1到步骤S7),当打算进行死角图像的透过显示而对所述系统起动开关41进行投入操作,则动画显示开始进行。
[0126] 因而,只要进行系统起动操作,即可利用作为摄像机(侧面摄像机1)起动时的待机时间、即稳定化期间,自动开始动画显示。
[0127] (4)设置有外部操作部4,该外部操作部4具有至少对动画显示禁止位置和动画手动显示位置进行选择切换的模式选择开关42,所述动画显示图像生成部(图像合成装置36、图2的步骤S1到步骤S7)若通过所述模式选择开关42进行从动画显示禁止位置切换到动画手动显示位置的操作,则开始动画显示。
[0128] 因而,可以根据用户的意愿选择禁止动画显示,而且还可以根据用户的显示要求随时开始动画显示。
[0129] (5)对于所述动画显示图像生成部(图像合成装置36、图2的步骤S1到步骤S7),在使所述车厢内图像的透过率Tra_N分阶段提高的过程中,若车厢内图像的透过率Tra_N达到用于获取在所述透过显示图像生成部(图像合成装置36、图2的步骤S8)的半透明车厢内图像的初始设定透过率Tra_0,则将动画显示结束,所述透过显示图像生成部(图像合成装置36、图2的步骤S8)接着动画显示的结束,再继续自动开始透过显示。
[0130] 因而,动画显示的结束区域到死角影像透过显示的开始区域之间,没有出现监视器显示影像剧烈改变,而形成连续性有关联的影像表现,从而可以防止给用户造成不适感。
[0131] (6)一种车辆用死角影像显示方法,根据从对从驾驶员来看成为死角的车辆周边进行摄像的摄像机(侧面摄像机1)输入的实际摄像机影像信号,将死角影像显示在监视器(外部显示器2)上,其中,包括如下工序:系统起动操作工序,当打算对发送给所述监视器(外部监视器2)的死角影像进行显示而进行系统起动操作;动画显示工序,所述系统起动操作作为触发器,将随着时间经过而分阶段从不透明车厢内影像状态中浮现出来的死角影像加以显现,以画面显示在所述监视器(外部监视器2)上;透过显示工序,所述动画影像结束显示作为触发器,将以透过半透明车厢内影像的方式而显现从驾驶员的视点位置看到的死角图像的透过死角影像,以画面显示在所述监视器(外部监视器2)上。
[0132] 因而,通过利用摄像机起动时的稳定化期间使从不透明到半透明的影像连续改变而显示的手法,可以促进用户对这种透过半透明车厢内图像而显示出从驾驶员的视点位置看到的死角影像的系统的理解,将死角消除,从而有助于安全驾驶的实现。
[0133] 实施例2
[0134] 实施例2是在动画显示时,不利用由摄像机影像得到的死角图像、而利用通过对预先存储的存储信息进行读取所获得的死角图像的示例。
[0135] 首先对结构进行说明。图4是示出实施例2的透视式侧视监视器系统A2(车辆用死角影像显示系统的一例)的整体系统框图。
[0136] 在实施例2的透视式侧视监视器系统A2中,作为进行动画表现的图像处理手法采用了单个图层型半透过手法,该单个图层型半透过手法是将使透过率分阶段改变的车厢内图像合成到基于储存器信息得到的死角图像上的手法。该系统2如图4所示,具备:侧面摄像机1(摄像机)、外部监视器2(监视器)、图像处理控制单元3(图像处理控制装置)和外部操作部4。
[0137] 所述图像处理控制单元3如图4所示,具备:译码器31、图像存储器32、图像变形部33(死角图像形成部)、车体图像形成部34(车厢内图像形成部)、控制装置(CPU)35、图像合成装置36(动画显示图像生成部、透过显示图像生成部)、编码器37和最终画面用图像存储器38。
[0138] 所述最终画面用图像存储器38是用于储存摄像机关闭时的死角图像的存储器。对于存储在该最终画面用图像存储器38中的死角图像,在将进行动画显示时,在摄像机接通时到经过侧面摄像机1的初始稳定化时间Tc为止的期间内,可以替代由摄像机获得的死角图像而将其加以使用。另外,其他结构是与实施例1的图1相同的结构,因而对应的结构采用同一附图标记并省略说明。
[0139] 图5是示出由实施例2的图像处理控制单元3执行的动画显示处理以及透过显示处理的流程的流程图。下面对图5的各步骤进行说明。另外,步骤S21、步骤S24到步骤S28的各个步骤,由于进行与图2的步骤S1、步骤S4到步骤S8的各个步骤相同的处理,所以省略说明。
[0140] 在步骤S22中,接着在步骤S21中的摄像机电源接通,设定在半透明车厢内图像数据的透过率Tra_N=0,且外部视点变换图像数据使用储存在最终画面用图像存储器38中的存储内容,转移到步骤S23。
[0141] 在步骤S23中,接着在步骤S2中的Tra_N=0的设定和利用存储内容得到外部影像的设定、或者在步骤S30中对显示画面进行警告显示、或者是在步骤S27中的得出Tra_N<Tra_0的判断,利用已设定过的透过率Tra_N来形成半透明车厢内图像数据,并且通过把半透明车厢内图像数据合成到外部视点变换图像数据上的图像数据合成,生成监视器影像信号而输出给外部监视器2,从而,在监视器画面21上显示外部视点变换影像和半透明车厢内影像的合成影像,转移到步骤S4中。
[0142] 另外,在自摄像机电源接通起算的经过时间T达到初始稳定化时间Tc之前,基于摄像机影像得到的外部视点变换图像数据是不存在的,因而,显示的合成影像是这样的,即:该合成影像是基于上次摄像机关闭时存储过的外部视点变换图像数据得到的外部视点变换影像、与透过率Tra_N=0的车厢内影像的合成影像。
[0143] 在步骤S29中,接着在步骤S25中的得到T≤Tc的判断,以闪烁·围上红色边框等进行针对显示画面的警告显示,转移到步骤S23中。
[0144] 在步骤S30中,接着在步骤S25中的得到T>Tc的判断,将根据发自侧面摄像机1的现在的摄像机影像数据所得到的外部视点变换图像数据作为外部视点变换图像数据加以利用,转移到步骤S26中。
[0145] 在步骤S31中,接着在步骤S28中的将外部视点变换影像(死角影像)与使用了透过率Tra_N=0的半透明车厢内影像的合成影像显示于监视器画面21上,判断侧面摄像机1的电源是否已经关闭,当YES(摄像机电源关闭)的情况下,则转移到步骤S32中;当NO(摄像机电源接通)的情况下,则返回到步骤S28中。
[0146] 在步骤S32中,接着在步骤S31中的摄像机电源关闭的判断,将在摄像机电源关闭时的显示画面的外部影像(最终的外部视点变换图像数据)读入最终画面用图像存储器38中,从而转移到结束。
[0147] 接下来对作用进行说明。
[0148] (从动画显示到透过显示的连续显示的作用)
[0149] 若接通侧面摄像机1的电源,则在图5的流程图中,从步骤S21经过步骤S22、步骤S23、步骤S24,接下来转移到步骤S25,并且,在步骤S25中当判断出从摄像机电源接通起算的经过时间T没有超过初始稳定化时间Tc以前,一直反复进行从步骤S23到步骤S24、步骤S25、再转移到步骤S29的流程。即,在没有超过初始稳定化时间Tc之前,基于由侧面摄像机1发送的摄像机影像信号得到的外部视点变换图像数据不能被形成,因而,在监视器画面21上可以显示如下合成影像,该合成影像是利用替代它的存储在最终画面用图像存储器38中的外部视点变换图像数据、与透过率Tra_N=0的车厢内图像数据而获取的。但是,在侧面摄像机1的初始稳定化时间Tc还没有经过的期间,利用了存储在存储器中的图像而不是现在的摄像机影像,因而,在步骤S29中,通过显示在外部监视器2中的整体影像的闪烁或者围上红色边框、文字显示等表现方式,给使用者发出现在影像不是实时的影像的警告。
[0150] 接下来,在步骤S25中,当判断为自摄像机电源接通起算的经过时间T已经超过了初始稳定化时间Tc,则在图5的流程图中,从步骤S25经过步骤S30、再转移到步骤S26,在步骤30中,作为外部视点变换影像,从存储器影像切换到摄像机影像,在步骤S26中,在此次的透过率Tra_N基础上加上设定透过率ΔTra,得到后续那个的Tra_N(=Tra_N+ΔTra)。即,从透过率Tra_N=0被设定为透过率Tra_N=ΔTra。接下来,在已经设定的透过率Tra_N没有达到初始设定透过率Tra_0以上以前,始终进行从步骤S26起、经过步骤S27、步骤S23再转移到步骤S24的动作,并且使用已经设定的透过率Tra_N来形成半透明车厢内图像数据,把半透明车厢内图像数据合成到外部视点变换图像数据上而进行图像数据合成,从而把利用该图像数据合成得到的合成图像显示在监视器画面21上,直到经过用于阶段显示的设定时间Δt为止。
[0151] 而且,若经过用于阶段显示的设定时间Δt,则在图5的流程图中,从步骤S24起,经过步骤S25、步骤S30再转移到步骤S26,在步骤S26中,在本次的透过率Tra_N基础上加上设定透过率ΔTra,得到接下来的透过率Tra_N(=2ΔTra)。即,从透过率Tra_N=ΔTra,设定成Tra_N=2ΔTra。接下来,在已经设定的透过率Tra_N在达到初始设定透过率Tra_0以上以前,始终进行从步骤S26起、经过步骤S27、步骤S23再转移到步骤S24的动作,使用已经设定的透过率Tra_N来形成半透明车厢内图像数据,并且把半透明车厢内图像数据合成到外部视点变换图像数据上而进行图像数据合成,从而把利用该图像数据合成得到的合成图像显示在监视器画面21上,直到经过用于阶段显示的设定时间Δt为止。
[0152] 像这样,反复进行在本次的透过率Tra_N基础上加上设定透过率ΔTra而得到后续的透过率Tra_N的动作,每隔用于阶段显示的设定时间Δt,则进一步推进半透明车厢内图像数据的半透明化,从而,一旦在步骤S27中判断为已经设定的透过率Tra_N达到初始设定透过率Tra_0以上,则将动画显示结束,从进行接下来的死角影像透过显示的步骤S28转移到步骤S31,并且在步骤S31在判断为摄像机电源关闭以前,要一直持续死角影像透过显示。
[0153] 接下来,若利用步骤S31判断为摄像机电源关闭,则转移到步骤S32,把在摄像机电源关闭时的显示画面的外部影像(最终的外部视点变换图像数据)存入最终画面用图像存储器38,结束处理。
[0154] 像这样,在自摄像机电源接通起算的经过时间T没有超过初始稳定化时间Tc以前,不具有基于摄像机影像得到外部视点变换图像,在这期间不能够进行利用图像合成的动画显示。与之相对,实施例2能够进行利用图像合成得到的动画显示,而不必等待初始稳定化时间Tc的经过。即,这样做的目的是,这些连续的半透过图像的动画动作使驾驶员对透过型的侧视系统加深理解,并且在图3-5的半透过图像(3)中所示的最终画面的阶段,可以显示正确的外部摄像机影像。换言之,在动画动作中,不是基于摄像机影像得到的实时死角影像也没有任何关系。
[0155] 考虑到这一点,预先把车载摄像机系统已关闭时的图像储存在最终画面用图像存储器38中(步骤S32),将其作为在动画显示开始区域的外部视点影像(死角影像)来利用(步骤S22)。这种情况与实施例1同样,每隔设定时间Δt就将透过率Tra_N提高一次(步骤S26),逐步进行影像显示,直到最终达到初始设定透过率Tra_0为止。此时,在经过初始稳定化时间Tc后,摄像机的影像自身稳定下来而能够使用,因而在经过初始稳定化时间Tc之后,使用外部摄像机影像进行显示(步骤S30)。另外,其它作用与实施例1同样而省略说明。
[0156] 下面对效果进行说明。在实施例2的透视式侧视监视器系统A2中,在获得实施例1的(1)到(6)的效果的基础上,还可以获得下述效果。
[0157] (7)对于所述动画显示图像生成部(图像合成装置36、图5),在从已经将所述摄像机(侧面摄像机1)的电源接通的时刻起到经过初始稳定化时间Tc为止的期间里,利用通过读取预先存储的存储信息而获得的死角图像,生成发送给所述监视器(外部监视器2)的显示图像。
[0158] 因而,无需等候摄像机(侧面摄像机1)经过初始稳定化时间Tc,可以在将摄像机(侧面摄像机1)的电源接通的同时,开始利用死角影像和车厢内影像的合成影像显示得到的动画动作。
[0159] 实施例3
[0160] 实施例3是相对于采用单个图层型半透过手法的实施例1、2而言的,它是通过多个平面图层型的半透过手法进行动画表现的示例。
[0161] 首先对结构进行说明。图6是示出实施例3的透视式侧视监视器系统A3(车辆用死角影像显示系统的一例)的整体系统框图。
[0162] 对于实施例3的透视式侧视监视器系统A3,作为进行动画表现的图像处理手法采用了半透过手法(这种手法由于是使多个车厢内图像一边改变它们的透过率一边与作为基础的死角图像相合成的图像合成手法,因而后文中称其为“多图层型半透过手法”),该半透过手法具有利用分阶段分解开的多层结构而得到的多个图层,使每一图层透过率改变并表现动画动作。该系统A3如图6所示具备:侧面摄像机1(摄像机)、外部监视器2(监视器)、图像处理控制单元3(图像处理控制装置)和外部操作部4。
[0163] 所述图像处理控制单元3如图6所示,具备:译码器31、图像存储器32、图像变形部33(死角图像形成部)、车体图像形成部34(车厢内图像形成部)、控制装置(CPU)35、图像合成装置36(动画显示图像生成部、透过显示图像生成部)、编码器37和最终画面用图像存储器38。
[0164] 上述实施例3构成为,在车体图像形成部34中增设有可以对应于多图层的图像存储器。在此处,采用了总计为四层结构的系统,其中,具有作为透过的图层的图层1、图层2、图层3这样三层,具有外部视点变换影像用的图层4这样一层(参考图7-5)。
[0165] 即,在所述车体图像形成部34中,增设有作为图像存储器的图层1用工作存储器34a、图层2用工作存储器34b和图层3用工作存储器34c。如图7-1中所示,在所述图层1用工作存储器34a中,对透过率等于0的图层1用车厢内图像进行储存和设定;如图7-2中所示,在所述图层2用工作存储器34b中,对透过率等于0的图层2用车门内部影像(1)进行储存和设定;如图7-3中所示,在所述图层3用工作存储器34c中,对透过率等于0的图层3用车门内部影像(2)进行储存和设定。
[0166] 而且,如图7-4所示,在所述图像变形部33中设定有用于生成外部视点变换影像的图层。而且,所述4图层影像如图7-5所示,从概念上来说是相互重叠的,并利用由各个图层定义的透过率进行多图层之间的α混合,结果形成半透明状态的影像。
[0167] 所述最终画面用图像存储器38与实施例2相同,也是储存摄像机关闭时的死角图像的存储器。存储在该最终画面用图像存储器38中的死角图像,可以替代由摄像机获得的死角图像,在后面动画显示时,在摄像机接通时到经过侧面摄像机1的初始稳定化时间Tc为止的期间内加以使用。另外,其他结构是与实施例1的图1相同的结构,因而对应的结构附有同一附图标记而省略说明。
[0168] 接下来对作用进行说明。
[0169] (从动画显示到透过显示的连续显示的作用)
[0170] 采取实施例1、2的单图层型透过手法,将具有外部影像和车厢内影像的双图层结构的系统逐步透明化的状况进行动画显示。对此,采取实施例3的多图层型透过手法,不仅利用车厢内图像,还利用分阶段分解车门或者面板内部的影像,表现更加逼真的透过动作。
[0171] 图8-1到图8-9均表示动作映像。附图中的(1)到(4)的数值是指图7-5的各个图层。
[0172] 最初阶段如图8-1所示,一开始显示作为图层(1)是非透过率100%(透过率0%)的车厢内图像。接下来,使透过率在图层(1)和作为下一层的图层(2)之间逐步改变,并以透过图层(1)的车厢内图像而显示图层(2)的车门内部影像(1)的方式进行转移。即,第二阶段如图8-2所示,规定显示为图层(1)的车厢内图像是非透过率80%、图层(2)的车门内部影像(1)是非透过率20%;第三阶段如图8-3所示,规定显示为图层(1)的车厢内图像是非透过率30%、图层(2)的车门内部影像(1)是非透过率70%;第四阶段如图8-4所示,规定显示为图层(1)的车厢内图像是非透过率10%、图层(2)的车门内部影像(1)是非透过率90%。
[0173] 接下来,使透过率在这一时刻的图层(2)和作为下一内层的图层(3)之间逐步改变,并以透过图层(2)的车门内部影像(1)而显示图层(3)的车门内部影像(2)的方式进行转移。即,第五阶段如图8-5所示,规定显示为图层(1)的车厢内图像是非透过率10%、图层(2)的车门内部影像(1)是非透过率70%、图层(3)的车门内部影像(2)是非透过率20%;第六阶段如图8-6所示,规定显示为图层(2)的车门内部影像(1)是非透过率20%、图层(3)的车门内部影像(2)是非透过率80%。
[0174] 接下来,使透过率在这一时刻的图层(3)和作为下一内层的图层(4)之间逐步改变,并以透过图层(3)的车门内部影像(2)而显示图层(4)的外部视点变换影像的方式进行转移。即,第七阶段如图8-7所示,规定显示为图层(3)的车门内部影像(2)是非透过率70%、图层(4)的外部视点变换影像是非透过率30%;第八阶段如图8-8所示,规定显示为图层(3)的车门内部影像(2)是非透过率30%、图层(4)的外部视点变换影像是非透过率
70%。
[0175] 接下来,最后在作为外部影像的图层(4)的外部视点变换影像为主的时刻,图层(3)的车门内部影像(2)被替换成图层(1)的车厢内图像,如图8-9所示,从而显示根据图层(1)的车厢内图像是非透过率15%、图层(4)的外部视点变换影像是非透过率85%得到的、通常的透过型侧视画面。
[0176] 如上所述,与实施例1、2的单个图层型半透过手法相比,在实施例3中,由于形成利用了具有若干层的图层结构的透明图像,所以其说服力更强一些,可以加深用户对于合成图像的理解,更加容易直观理解该系统。
[0177] 另外,在本实施例3中,描述了仅在相邻的图层之间利用α混合形成半透明图像的内容,然而,并不限定于此,也可以形成在三种以上的多个图层之间的、利用混合得到的图像。
[0178] 此外,如实施例2的图5所示,通过将以上动作显示在作为摄像机起动延迟时间的初始稳定化时间Tc的期间内,从而可以收到降低在起动好以前出现的等候时的焦躁情绪的效果。另外,其它作用与实施例1同样而将说明省略。
[0179] 下面对效果进行说明。在实施例3的透视式侧视监视器系统A3中,不仅具有实施例1的(1)、(3)到(5)、(7)的效果,还可以获得以下效果。
[0180] (8)所述动画显示图像生成部(图像合成装置36)是按照如下方式设定的:准备包括车厢内图像和死角图像在内的多个图层,将所述多个图层按照从车厢内图像到死角图像的顺序多层组合在一起而形成图层结构,该图层结构作为源图像,若动画显示开始,则利用使各图层的透过率改变的图像合成,从而,生成由开始时的不透明车厢内图像起,以分阶段透过车厢内图像的方式向死角图像过渡的显示图像。
[0181] 因而,与单个图层型半透过手法相比,这种手法说服力更强一些,可以加深用户对于合成图像的理解,更加容易直观了解该系统。
[0182] 实施例4
[0183] 实施例4是基于立体形状型半透过手法的例子,所述立体形状型半透过手法是利用三维空间信息以立体形式构成每个部件,并且把该构成部件如剖开模型的那样切成圆片状,从而形成半透过图像。
[0184] 首先说明一下结构。图9是示出实施例4的透视式侧视监视器系统A4(车辆用死角影像显示系统的一例)的整体系统框图。
[0185] 在实施例4的透视式侧视监视器系统A4中,作为进行动画显示的图像处理手法采用了立体形状型半透过手法,该立体形状型半透过手法是利用三维空间信息呈立体状掌握车体部件,以虚拟方式设定用于垂直剖切立体式样的车体部件的屏幕,使该屏幕分阶段朝向外侧移动,此时由屏幕剖切的这侧取为半透明、外侧取为不透明,由此表现动画动作。系统A4如图9所示,具备:侧面摄像机1(车载外部摄像机)、外部监视器2(监视器)、图像处理控制单元3(图像处理控制装置)和外部操作部4。
[0186] 所述图像处理控制单元3如图9所示,具备:译码器31、图像存储器32、图像变形部33(死角图像形成部)、车体图像形成部34(车厢内图像形成部)、控制装置(CPU)35、图像合成装置36(动画显示图像生成部、透过显示图像生成部)和编码器37和最终画面用图像存储器38。
[0187] 所述车体图像形成部34,利用3D-CAD数据那样的三维空间信息以立体形式来表现每个部件。例如,对于呈立体表现出的各部件,将各个部件的影像作为纹理结构贴在整个表面,此外,考虑到空间的位置关系,在车门的内装的内侧设置有车门扬声器和作为内部构造材料的板。
[0188] 在所述车体图像形成部34中增设有移动屏幕存储器34d。在该移动屏幕存储器34d中,存储有在距车厢内的驾驶员视点(虚拟视点)位置一定距离处垂直竖立的、基于虚拟平面或者虚拟曲面得到的屏幕。
[0189] 而且,分阶段朝向外放移动的屏幕作为透过画面的触发器,基于虚拟平面或者虚拟曲面得到的屏幕将被立体表现的车体结构切断,并且由透过影像来表现该界面的这一侧,由非透过影像来表现外侧。
[0190] 所述最终画面用图像存储器38与实施例2相同,也是储存摄像机关闭时的死角图像的存储器。存储在该最终画面用图像存储器38中的死角图像,可以替代由摄像机获得的死角图像,在后面动画显示时,在摄像机接通时到经过侧面摄像机1的初始稳定化时间Tc为止的期间内加以使用。另外,其他结构是与实施例1的图1相同的结构,因而对应的结构标有同一附图标记而省略说明。
[0191] 下面对作用进行说明。
[0192] (从动画显示到透过显示的连续显示的作用)
[0193] 实施例3的手法是使每图层的整个图层的透过率改变并进行混合,从而得到合成图像,其是所谓的利用平面图层型的手法。
[0194] 对此,在实施例4中,是利用3D-CAD数据那样的三维空间信息以立体形式构成每个部件,并且把该构成部件如剖开模型的那样切成圆片状,从而形成半透过图像。
[0195] 具体而言,通过加入空间形状的数据,如图10所示,把立体切成圆片后的这一侧切开而可以窥视到内部的映像。通过从切成圆片的位置按顺序朝外移动,结果获得半透明影像。
[0196] 首先,在距车厢内的驾驶员视点(虚拟视点)位置起的一定位置处,垂直竖立基于虚拟平面或者虚拟曲面得到的屏幕。将该屏幕取为透过画面的触发器,若屏幕切断立体,则由透过影像来表现该截面的这一侧,由非透过影像来表现截面的外侧。对于呈立体表现出的各部件,将各个部件的影像作为纹理结构贴在整个表面,此外,考虑到空间的位置关系,在车门的内装的内侧设置有车门扬声器和作为内部构造材料的铁板,因而,在车门的内装的部分被屏幕切开而形成透明的情况下,从该部位起,内部的扬声器等以可被透视看见的形式表现出来。该虚拟平面逐渐向外侧移动。
[0197] 作为结果来说,如同垂直剖切洋葱时那样,呈年轮状形成多个纹理重叠在一起的透过影像。像这样,成为用屏幕将由立体捕获的车体结构切成圆片的动画表现,因而,与单图层型半透明透过手法相比,其说服力更强一些,可以加深用户对于合成图像的理解,更加容易直观了解该系统。
[0198] 在此处,通过与外部传感器之间的联合运动,从而以立体再现方式显示轮胎的切角、反光镜的倾斜度、窗玻璃的位置等可动部件的现在的位置关系,这样的状况也可施加上述那样的透过处理。
[0199] 此外,简单来说,被切成圆片的构成部件粗略处理即可,在实施例3中可以仅将所述的多图层的影像作为纹理进行贴图,从而构成部件。即,如果存在对应于该图层影像的部件群的凹凸的立体空间信息的话,则作为纹理仅贴在相应立体的前表面上,即使是用垂直平面将其切成圆片那样的结构,也没有问题。另外,其它作用与实施例1同样,说明被省略。
[0200] 接下来说明效果。实施例4的透视式侧视监视器系统A4,不仅具有实施例1的(1)、(3)到(5)、(7)的效果,而且还可以获得下述效果。
[0201] (9)对于所述动画显示图像生成部(图像合成装置36),给所述车厢内图像施加立体信息,并以虚拟方式设定平面或者曲面的屏幕,该屏幕从车厢内的跟前侧朝向外侧移动而将立体的车厢内图像剖切,若动画显示开始,则让所述屏幕分阶段从跟前侧朝外侧移动,由屏幕在移动时切开的跟前这侧取为半透明、外侧取为不透明,从而,生成由开始时的不透明图像车厢内图像起,以分阶段透过车厢内图像的方式向死角图像过渡的显示图像。因而,与单图层型半透明透过手法相比,其说服力更强一些,可以加深用户对于合成图像的理解,更加容易直观了解该系统。
[0202] 以上,基于实施例1到实施例4,对本发明的车辆用死角影像显示系统和车辆用死角影像显示方法进行了说明,但是,就具体结构而言,并不限定于这些实施例,只要不脱离权利要求书中的各个权利要求所涉及的发明的主旨,允许进行设计变更和追加等。
[0203] 在实施例1到4之中,全是表示仅利用监视器影像来加深系统理解度的机构的例子。但是也可以采用下述结构,即:在实施例1到4的各例的监视器影像生成手法的基础上,再增加用于追加带声音说明的声音追加型手法,不言而喻使用监视器影像和声音两者可以加深理解度。
[0204] 在实施例1到4之中,全是表示作为外部操作部4具有系统起动开关41和模式选择开关42的例子。但是,也可以让外部操作部4具备以下功能,即例如通过手动操作任意地对车厢内图像的初始设定透过率进行调整操作;此外,还可以让外部操作部4具备以下功能,即例如通过手动操作任意地对车厢内图像的整体色调进行调整操作。
[0205] 在实施例1到4之中,表示的是车辆周边图像显示系统是使用了获取车辆左侧方的死角区域的影像的侧面摄像机的透视式侧视监视器系统的例子。但是,也可以是作为使用了获取车辆后方的死角区域的影像的后部摄像机的透视式侧视监视器系统的例子。此外,也可以是获取车辆前方的死角区域的影像的前部摄像机的例子。而且,还可以是获取车辆整个周围的死角区域的影像的整个周围摄像机的透视式侧视监视器系统的例子。此外,作为车辆周边图像显示系统,可以被应用于下述这样的监视器系统,即:该监视器系统共用外部监视器,并可以从侧视、后视和前视等中选择其中之一;或者是,该监视器系统利用既定的条件而被自动切换。
[0206] (同关联申请的相互参考)
[0207] 本申请基于在2009年7月13日向日本专利局提出的特愿2009-164726而主张优先权,其全部公开内容经过参考而被完全引用于本说明书中。
QQ群二维码
意见反馈