作业机械的周围监视装置专利检索-立体像对显示技术专利检索查询-专利查询网

作业机械的周围监视装置

阅读：447发布：2023-12-29

专利汇可以提供作业机械的周围监视装置专利检索，专利查询，专利分析的服务。并且一种作业机械的周围监视装置，其对多个摄像机(30)所拍摄到的各图像(31)进行上方视点转换处理而生成上方视点图像(35)，并且当从各上方视点图像(35)中切割出显示图像，并对所切割出的各显示图像进行合成而生成以与作业机械对应的图像为中心的周围的俯瞰图像(300)时，以基于所设定的对照面高度(Z)，使从上述各上方视点图像(35)切割出的显示图像的区域比标准的切割区域宽，并使切割出的各显示图像成为上述标准的切割区域的方式进行调整来合成。由此，能够确实地显示存在于构成该俯瞰图像的各显示图像间的边界线附近的立体物(障碍物)。，下面是作业机械的周围监视装置专利的具体信息内容。

权利要求

1.一种作业机械的周围监视装置，其特征在于，具有：
多个摄像机，其安装在作业机械的车身上并拍摄其周围；
上方视点图像生成机构，其对该各摄像机所拍摄到的原图像进行上方视点转换而生成上方视点图像；
俯瞰图像生成机构，其从该上方视点图像生成机构所生成的各上方视点图像中切割出显示图像，并对所切割出的各显示图像进行合成而生成组合有与所述作业机械对应的图像的、周围的俯瞰图像；
显示机构，其显示该俯瞰图像生成机构所生成的俯瞰图像；和
对照面高度设定机构，其设定当合成所述上方视点图像生成机构所生成的各上方视点图像时的虚拟的对照面高度，
所述俯瞰图像生成机构以基于所述对照面高度设定机构所设定的对照面高度，使从所述各上方视点图像切割出的显示图像的区域比标准的切割区域宽，并使切割出的各显示图像成为所述标准的切割区域的方式进行调整来合成。
2.根据权利要求1所述的作业机械的周围监视装置，其特征在于，
所述对照面高度设定机构根据所述作业机械的动作状态而工作。
3.根据权利要求1所述的作业机械的周围监视装置，其特征在于，
所述对照面高度设定机构通过手动来工作。
4.根据权利要求2所述的作业机械的周围监视装置，其特征在于，
所述对照面高度设定机构当所述对照面高度设定为与标准相比不同的高度时，经过规定时间之后使所述对照面高度返回至标准的对照面高度。
5.根据权利要求3所述的作业机械的周围监视装置，其特征在于，
所述对照面高度设定机构当所述对照面高度设定为与标准相比不同的高度时，经过规定时间之后使所述对照面高度返回至标准的对照面高度。
6.根据权利要求1所述的作业机械的周围监视装置，其特征在于，
具有立体物检测机构，其检测在所述作业机械附近有无立体物，
所述对照面高度设定机构在由所述立体物检测机构检测到所述作业机械附近的立体物时设定对照面高度。
7.根据权利要求6所述的作业机械的周围监视装置，其特征在于，
所述对照面高度设定机构能够将对照面高度多层级地设定，并根据所述无线检测机构所检测到的所述作业机械附近的立体物的种类或大小而调整该对照面高度的设定。
8.根据权利要求1所述的作业机械的周围监视装置，其特征在于，
还具有生成如下合成图像的图像合成机构，该合成图像在所述俯瞰图像生成机构所生成的俯瞰图像中，合成有显示所述对照面高度设定机构所设定的对照面高度的、文字或者图形、符号的任一个或者两个以上，
所述显示机构显示所述图像合成机构所生成的合成图像。

说明书全文

作业机械的周围监视装置

技术领域

[0001] 本发明涉及用于通过安装在液压挖掘机或翻斗卡车等作业机械上的多个摄像机来生成组合有与该作业机械对应的图像的俯瞰图像而监视其周围状况的装置。

背景技术

[0002] 一般来说，液压挖掘机或翻斗卡车等的大型工程/作业机械，其周围的视觉辨认性较差。因此，例如在以下的专利文献1等中，在液压挖掘机的上部旋转体的右侧面和后部分别设置摄像机，并将这些摄像机所拍摄到的图像显示在驾驶席的显示器上，由此确保了视觉辨认性。

[0003] 另外，在以下的专利文献2等中，公开有如下周围监视装置：在车身四周上设置多个摄像机，并对各摄像机所拍摄到的车身周围的图像进行上方视点转换处理，将这些图像进行合成而生成在以与上述作业机械对应的图像为中心的周围合成并将视点转换为车身上方的俯瞰图像，并在驾驶席的显示器上显示该俯瞰图像，由此能够在感觉方面掌握车身与其周围障碍物等的距离。

[0004] 现有技术文献

[0005] 专利文献

[0006] 专利文献1：日本特开2008-95307号公报

[0007] 专利文献2：日本特开2008-248613号公报

发明内容

[0008] 然而，在生成如所述专利文献2那样的俯瞰图像并将其显示的周围监视装置中，若在构成俯瞰图像的各上方视点图像间的边界线附近，存在有如人物或电杆等那样的比较细且长度高的障碍物(立体物)的话，则具有该障碍物的大部分会消失且无法显示在俯瞰图像中的情况。例如在为人物的情况下只能显示其脚下部分，或者在为电杆等的情况下只显示其根部，从而有可能无法注意到该障碍物的存在。

[0009] 因此，本发明是为了解决这些课题而研究出的，其目的在于提供一种新型的作业机械的周围监视装置，能够将存在于构成俯瞰图像的上方视点图像间的边界线附近的立体物(障碍物)准确地显示。

[0010] 为了解决上述技术课题，第1方案为一种作业机械的周围监视装置，其特征在于，具有：多个摄像机，其安装在作业机械的车身上并拍摄其周围；上方视点图像生成机构，其对该各摄像机所拍摄到的原图像进行上方视点转换而生成上方视点图像；俯瞰图像生成机构，其从该上方视点图像生成机构所生成的各上方视点图像中切割出显示图像，并对所切割出的各显示图像进行合成而生成组合有与所述作业机械对应的图像的、周围的俯瞰图像；显示机构，其显示该俯瞰图像生成机构所生成的俯瞰图像；和对照面高度设定机构，其设定当合成所述上方视点图像生成机构所生成的各上方视点图像时的虚拟的对照面高度，所述俯瞰图像生成机构以基于所述对照面高度设定机构所设定的对照面高度，使从所述各上方视点图像切割出的显示图像的区域比标准的切割区域宽，并使切割出的各显示图像成为所述标准的切割区域的方式进行调整来合成。

[0011] 根据这种构成，对多个摄像机所拍摄到的各图像进行上方视点转换处理之后切割出显示图像，并对所切割出的各显示图像进行合成而生成以与所述作业机械对应的图像为中心的周围的俯瞰图像，此时，能够将存在于构成该俯瞰图像的各显示图像间的边界线附近的立体物(障碍物)准确地显示。

[0012] 第2方案为一种作业机械的周围监视装置，在第1方案中，所述对照面高度设定机构根据所述作业机械的动作状态而工作。根据这种构成，能够根据作业机械的动作状态，例如停止时或作业时等来将通常的俯瞰图像和基于对照面高度设定值所生成的俯瞰图像进行适当切换并显示。

[0013] 第3方案为一种作业机械的周围监视装置，在第1方案中，所述对照面高度设定机构通过手动来工作。根据这种构成，能够通过操作员的手动而任意地切换并显示通常的俯瞰图像和基于对照面高度设定值所生成的俯瞰图像。

[0014] 第4方案为一种作业机械的周围监视装置，在第2方案中，所述对照面高度设定机构当所述对照面高度设定为与标准相比不同的高度时，经过规定时间之后使所述对照面高度返回至标准的对照面高度。根据这种构成，能够防止在根据作业机械的动作状态而自动地修正对照面高度的情况下，操作员在之后将该已修正的对照面高度错认为标准的对照面高度。

[0015] 第5方案为一种作业机械的周围监视装置，在第3方案中，所述对照面高度设定机构当所述对照面高度设定为与标准相比不同的高度时，经过规定时间之后使所述对照面高度返回至标准的对照面高度。根据这种构成，能够防止在通过手动来修正对照面高度的情况下，操作员在之后将该已修正的对照面高度错认为标准的对照面高度。

[0016] 第6方案为一种作业机械的周围监视装置，在第1方案中，具有立体物检测机构，其检测在所述作业机械附近有无立体物，所述对照面高度设定机构在由所述立体物检测机构检测到所述作业机械附近的立体物时设定对照面高度。根据这种构成，能够根据检测作业机械附近有无立体物而将通常的俯瞰图像和基于对照面高度设定值所生成的俯瞰图像进行自动地切换并显示。

[0017] 第7方案为一种作业机械的周围监视装置，在第6方案中，所述对照面高度设定机构能够将对照面高度多层级地设定，并根据所述无线检测机构所检测到的所述作业机械附近的立体物的种类或大小而调整该对照面高度的设定。根据这种构成，能够根据该立体物的种类或大小等而自动地调整存在于各显示图像间的边界线附近的立体物(障碍物)的可见性。

[0018] 第8方案为一种作业机械的周围监视装置，在第1方案中，还具有生成如下合成图像的图像合成机构，该合成图像在所述俯瞰图像生成机构所生成的俯瞰图像中，合成有显示所述对照面高度设定机构所设定的对照面高度的文字或者图形、符号的任一个或者两个以上，所述显示机构显示所述图像合成机构所生成的合成图像。根据这种构成，操作员不仅能够由目视瞬时且准确地掌握标准的对照面高度被修正的情况，还能够由目视瞬时且准确地掌握修正了多大程度。另外，通过与俯瞰图像合成地显示，以最小限度移动视线即可实现，由此容易看且容易明白。

[0019] 发明的效果

[0020] 根据本发明，在从多个摄像机所拍摄的图像生成作业机械周围的俯瞰图像时，基于所设定的对照面高度使构成俯瞰图像的各显示图像的区域比标准的切割区域宽而合成，因而能够准确地显示存在于各显示图像间的边界线附近的立体物(障碍物)。由此，即使为人物或电杆等那样的比较细且长度高的障碍物(立体物)也不会担心其会消失，从而操作员等能够准确地识别其存在。附图说明

[0021] 图1是表示作为本发明的作业机械之一的液压挖掘机100的一个实施方式的整体立体图。

[0022] 图2是表示本发明的周围监视装置200的一个实施方式的结构图。

[0023] 图3是表示搭载在车身上的各摄像机30的拍摄区域的例子的概念图。

[0024] 图4是表示根据拍摄到的图像生成上方视点图像35而进行合成的例子的概念图。

[0025] 图5是表示对拍摄到的原图像31进行透镜失真修正，并进行视点转换从而为了得到上方视点图像的图像处理流程的概念图。

[0026] 图6是表示在对照面高度为0m的情况下(标准)生成的俯瞰图像300的例子的概念图。

[0027] 图7是表示在对照面高度为0.5m的情况下生成的俯瞰图像300的例子的概念图。

[0028] 图8是表示在对照面高度为1.0m的情况下生成的俯瞰图像300的例子的概念图。

[0029] 图9是表示基于本发明的周围监视装置200进行的处理的流程的流程图。

[0030] 图10是表示在对照面高度Z为0m的情况下的上方视点图像的显示区域(切割区域)的概念图。

[0031] 图11是表示在对照面高度Z为1.0m的情况下的上方视点图像的显示区域(切割区域)的概念图。

[0032] 图12是表示对照面高度设定部211的对照面高度设定处理的一个例子的流程图。

[0033] 图13是表示本发明的周围监视装置200的其他实施方式的结构图。

[0034] 图14是表示作业机械为翻斗卡车400的情况下与其对照面高度Z的关系的概念图。

[0035] 图15是表示将本发明的周围监视装置200应用到翻斗卡车400的情况下的一个实施方式的结构图。

[0036] 图16是表示将本发明的周围监视装置200应用到翻斗卡车400的情况下的一个实施方式的结构图。

[0037] 图17是表示本发明的周围监视装置200的其他实施方式的结构图。

[0038] 图18是表示在俯瞰图像300中合成关于对照面高度Z的信息(数字)的合成图像的一个例子的概念图。

[0039] 图19是表示在俯瞰图像300中合成关于对照面高度Z的信息(文字)的合成图像的一个例子的概念图。

[0040] 图20是表示在俯瞰图像300中合成关于对照面高度Z的信息(条形图302)的合成图像的一个例子的概念图。

[0041] 图21是表示在俯瞰图像300中合成关于对照面高度Z的信息(条形图303)的合成图像的一个例子的概念图。

[0042] 图22是表示在俯瞰图像300中合成关于对照面高度Z的信息(数字与条形图302)的合成图像的一个例子的概念图。

[0043] 图23是表示在俯瞰图像300中合成关于对照面高度Z的信息(数字与条形图304)的合成图像的一个例子的概念图。

具体实施方式

[0044] 接下来，参照附图说明本发明的一个实施方式。图1是表示作为本发明的作业机械之一的液压挖掘机100的一个实施方式的整体立体图。如图所示，该液压挖掘机100主要由下部行驶体10和旋转自如地设在该下部行驶体10上的上部旋转体20构成。下部行驶体10在未图示的行驶体架上具有相互平行地设置的一对履带11(11)，在这些各履带11(11)上分别设有用于驱动各个履带而使其行驶的液压驱动式的行驶马达12。

[0045] 另一方面，上部旋转体20主要由以下部分构成：设置在未图示的旋转体架上的发动机和蓄电池；收容有燃料箱等各种设备类的发动机室21；设在该发动机室21的前方左侧的驾驶室22；从该驾驶室22的右侧向前方延伸的前作业机23；和为了谋求与该前作业机23的重量平衡而设在发动机室21后方的配重24。

[0046] 驾驶室22在供操作员搭乘的舱室22a内除设置有操作前作业机23的操作杆、旋转杆和仪表类等以外，还设置有后述的周围监视显示器。前作业机23主要由以下部分构成：从旋转体架侧向前方延伸的动臂23a；摆动自如地设在该动臂23a的前端的斗杆23b；和摆动自如地设在该斗杆23b的前端的铲斗23c。这些动臂23a、斗杆23b、铲斗23c分别通过因液压而伸缩的动臂液压缸23d、斗杆液压缸23e、铲斗液压缸23f而分别动作。

[0047] 另外，在该发动机室21的两侧、驾驶室22的上部、和配重24的上部，设置有用于连续地拍摄各个方向的四个摄像机30a、30b、30c、30d。即，摄像机30a以180°的视场角在倾斜俯视的方向上连续地拍摄上部旋转体20的右侧区域，且摄像机30b以180°的视场角在倾斜俯视的方向上连续地拍摄上部旋转体20的左侧区域，且摄像机30c以180°的视场角在倾斜俯视的方向上连续地拍摄上部旋转体20的前方区域，且摄像机30d以180°的视场角在倾斜俯视的方向上连续地拍摄上部旋转体20的后方区域。

[0048] 而且，这些各摄像机30a、30b、30c、30d所拍摄到的各图像(原图像)如图2所示地分别输入到本发明的周围监视装置200的显示控制器210中。此外，该摄像机30a、30b、30c、30d由例如具有在耐久性和耐气候性等优异的CCD或CMOS等摄像元件和广角透镜的广角摄像机等构成。另外，在以下说明中，将设置(搭载)有这些各摄像机30a、30b、30c、30d的上部旋转体20的各部分总称为车身20。

[0049] 图2是表示搭载在该液压挖掘机100上的周围监视装置200的一个实施方式的结构图。如图所示，该周围监视装置200主要由显示控制器210和周围监视显示器220构成。显示控制器210具有对照面高度设定部211、上方视点图像生成部212和俯瞰图像生成部
213。此外，该显示控制器210由具有未图示的CPU和RAM、ROM、输入输出接口等的图像处理LSI(硬件)构成，并且该CPU通过预先存储于ROM等中的各种数据和专用的图像处理程序等来实现上述各部分211至213的功能。

[0050] 对照面高度设定部211输入来自控制该液压挖掘机100的车身控制器230的车身控制信号，并基于该输入信号设定在由俯瞰图像生成部213合成上方视点图像时的虚拟的对照面高度。此外，作为输入到该对照面高度设定部211的来自车身控制器230的车身控制信号，并没有特别限定，例如是左右的行驶杆41(42)、旋转杆43(44)、锁定杆45的操作信号等。

[0051] 上方视点图像生成部212根据各摄像机30a、30b、30c、30d所拍摄到的多幅(四幅)原图像，以例如30 帧/秒的单位来生成上方视点图像，并将生成的上方视点图像(动态图像)输出到俯瞰图像生成部213。具体而言，当从各摄像机30a、30b、30c、30d分别输入原图像的NTSC等合成信号后，该上方视点图像生成部212对这些各合成信号进行A/D转换，在解码成RGB信号之后分别存储到专用的帧存储器中。然后，在进行透镜失真修正处理之后，通过基于投影变换矩阵的平面投影转换处理、或三维空间下的投影处理等公知的图像转换处理而将各原图像转换处理为将视点移动到其上方的上方视点图像。

[0052] 图3及图5是关于该上方视点图像生成部212的上方视点图像的转换处理的说明图。首先，图3所示的车身20周围的各矩形区域E1、E2、E3、E4分别表示能够由该车身20的各摄像机30a、30b、30c、30d拍摄到的区域，各矩形区域E1、E2、E3、E4分别在其两端部分与相邻的区域重复地拍摄。

[0053] 图5(a)表示出了这些各摄像机30a、30b、30c、30d所拍摄到的各矩形区域E1、E2、E3、E4的原图像31的一例。各摄像机30a、30b、30c、30d所拍摄到的原图像31由于用左右的视场角为约180°的广角透镜拍摄，所以通常如格子线32所示那样以中央部放大而周边部缩小的方式失真。图5(b)是基于上方视点图像生成部212进行透镜失真修正处理后的修正图像33。修正处理后的图像33如地面(路面)上的横纵的虚拟坐标线34所示那样，修正成基于各摄像机30a、30b、30c、30d的视点的按照透视法的形状。此外，该透镜失真修正处理通过例如使用了专用的像素转换表的像素坐标转换处理而进行，其中该专用的像素转换表预先保存于存储器中，且记载有构成转换前图像的各像素的地址与转换后各像素的地址之间的对应关系。

[0054] 图5(c)表示出了在图5(b)中进行了透镜失真修正处理的地面(路面)图像33的视点转换处理后的上方视点图像35。在该视点转换处理后的上方视点图像35中，视点从车身侧部转换到车身上方，图5(b)的虚拟坐标线34转换成虚拟正交坐标线36。此外，该视点转换处理也通过使用了预先保存于存储器中的专用的像素转换表的像素坐标转换而进行。

[0055] 俯瞰图像生成部213像这样从生成的各上方视点图像35切割出实际显示的图像，进行合成而生成以与作业机械对应的图像为中心的周围的俯瞰图像(动态图像)。图5(c)中，虚线所包围的梯形的切割区域e0至e100示出了为了消除各上方视点图像35的重复部分来得到容易观察的合成图像，而通过该俯瞰图像生成部213从各上方视点图像35切割并进行显示的显示图像的例子。而且，该俯瞰图像生成部213如图4所示将从这四个各上方视点转换图像35切割出的显示图像e1～e4环状地接合在以与液压挖掘机100对应的图像G为中心的其周围，而生成一个连续的车身周围整体的俯瞰图像300，并将其图像数据输出到帧存储器。

[0056] 图6示出了由该俯瞰图像生成部213生成并在周围监视显示器220上显示的俯瞰图像300的一例，并且在其中央部设有用于显示预先生成的与液压挖掘机100对应的车身图像G的矩形的显示区域S。而且，以该显示区域S为中心在其前后左右分别具有独立的梯形的显示区域S1至S4，在这些各显示区域S1至S4中与该区域配合地分别配置有从所述各上方视点图像35切割出的显示图像e1至e4。

[0057] 即，在显示区域S1中，配置有来自上方视点图像35R的切割区域e1的显示图像，该上方视点图像35R是如图4所示那样从摄像机30a所拍摄到的上部旋转体20的右侧方的拍摄图像得到的，并在显示区域S2中，配置有来自上方视点图像35L的切割区域图像e2的显示图像，该上方视点图像35L是从摄像机30b所拍摄到的上部旋转体20的左侧方的拍摄图像得到的。另外，在显示区域S3中，配置有来自上方视点图像35F的切割区域e3的显示图像，该上方视点图像35F是由摄像机30c所拍摄到的上部旋转体20的前方的拍摄图像构成的，并在显示区域S4中，配置有来自上方视点图像35B的切割区域e4的显示图像，该上方视点图像35B是由摄像机30d所拍摄到的上部旋转体20的后方的拍摄图像构成的。其结果可知，在图6的俯瞰图像300的例子中，至少在液压挖掘机100的右斜后方存在有两个人物P2、P3。

[0058] 周围监视显示器220以输入并显示该俯瞰图像生成部213所生成的车身周围整体的俯瞰图像300的方式形成。具体而言，将输入的俯瞰图像300的数据存储到输出用帧存储器中，在将该合成图像的数据(RGB信号)编码成合成信号后，进行D/A转换而显示到显示部221上。此外，在该周围监视显示器220上除显示部221以外还设有输入部222，操作员通过操作该输入部222，而能够任意进行电源的通断、所显示的合成图像的放大、缩小、旋转、显示范围的变更、向通常的摄像机拍摄图像或双画面图像的切换等各种操作。

[0059] 接下来，主要参照图9的流程图来说明这样构成的本发明的周围监视装置200的作用。首先，该周围监视装置200的显示控制器210在接通电源后进行初始的系统检测，若没有异常则转移到最初的步骤S100。在步骤S100中，如上述那样通过设置在车身20四周的四个摄像机30a、30b、30c、30d来拍摄车身周围而获取其图像，并转移到下一步骤S102。

[0060] 在步骤S102中对拍摄到的四个原图像31如上述那样进行上方视点转换处理而生成各自的上方视点图像35(图5(c))，并转移到步骤S104。在步骤S104中，判断对照面高度Z的设定中是否有修正，即，判断对照面高度是否与标准的切割区域不同，在判断为对照面高度Z的设定中没有修正时(否)跳转到步骤S108，但是在判断为对照面高度Z的设定中有修正时(是)转移到步骤S106。

[0061] 在步骤S106中，如后述那样在根据该对照面高度Z的修正值而调整各上方视点图像35的切割区域(显示图像)后转移到步骤S108并生成俯瞰图像，在步骤S110中在周围监视器220上显示该俯瞰图像并结束处理。

[0062] 在这里，步骤S104中的对照面高度Z是指，将上方视点图像35的切割区域以实际的地表面(高度0m)的切割领域(标准的切割领域)作为基准，而称为比其高的虚拟的地表面的高度，例如多层级地设定为0.5m和1.0m等。图6的俯瞰图像300是在该对照面高度是0m的情况下，即，根据以实际的地表面(高度0m)为基准所切割出的显示图像来生成的图像。在该情况下，虽然在液压挖掘机100的右斜后方清楚地映出两个人物P2、P3的整体，但是尽管在左斜后方的边界线部分存在有一个人物P1，却只映出其脚下部分而大部分都消失了，所以成为难以识别其存在的状况。

[0063] 像这样在图6的俯瞰图像300中只映出人物P1的脚下部分的理由在于，如图5(c)所示将沿从各上方视点图像35的切割区域e0而提取的显示图像直接与俯瞰图像300的各显示区域S1至S4组合并配置，由此使各显示图像的边界基本不重复地使各显示图像连续显示。即，如图10(a)至(c)所示，在由某相邻的两个摄像机，例如由各摄像机30b、30d分别拍摄到的各上方视点图像的标准的切割区域(显示图像领域)的边界线附近存在(站着)有人物P1的情况下，该人物P1虽然在切割处理前的上方视点图像上映出其全身，但是以在边界线处图像不重复的方式按照标准的切割区域e0而进行切割处理的结果导致其大部分会成为显示区域外。

[0064] 因此，若像这样地按照标准的切割区域e0来合成所切割出的各显示图像并合成俯瞰图像的话，则在合成图像的各显示图像的边界线附近只会映出该人物P1的脚下部分。由此即使在各上方视点图像的切割区域的边界线上存在人物P1，也有可能不注意而被看漏。

[0065] 因此，在本发明中设置有设定虚拟的对照面高度的对照面高度设定部211，在步骤S106中将比成为标准的实际的地表面的高度(Z＝0.0m)高的虚拟的地表面高度，例如地上1.0m(Z＝1.0m)作为虚拟的对照面高度Z来设定，并将其假定为地表面并设定各上方视点图像的切割区域。像这样做的话，例如如图11(a)至(c)所示，由于从摄像机30b、30d分别所拍摄到的各上方视点图像的边界上站着的人物P1的至少脚下到胸附近为止的部分进入到切割区域内，所以在生成俯瞰图像时这些部分如图11(c)所示地在边界线附近确实重复地显示，由此不会发生不注意而看漏掉该人物P1那样的情况。

[0066] 图7以及图8示出了将该对照面高度Z分别设为0.5m、1.0m的情况下的俯瞰图像300的一个例子。根据图可知，虽然如图6所示在对照面高度Z是0m的情况下(没有修正)，在液压挖掘机100的左斜后方的边界线附近只映出有人物P1的脚下(脚腕)部分，但是如图7那样地在对照面高度Z成为0.5m后，会从人物P1的脚下映出到膝盖部分为止。并且，如图8那样地在对照面高度成为1.0m后，成为从人物P1的脚下映出到胸部分为止，如果是这种程度的话，则能够在周围监视显示器220上清楚地识别在液压挖掘机100的左斜后方的边界线附近存在有人物的情况。

[0067] 在这里，虽然随着该对照面高度Z变高而越容易映出站在边界线附近的人物P1的整体，但是若对照面高度Z变高，则具有随之人物和障碍物的大小变小而不容易观察的倾向。因此，期望该对照面高度Z最大也就是地上2.0m(Z＝2.0m)左右。图6至图8中矩形虚线L是表示离作业机械G的外缘部分的距离(例如1.0m)的线。在这些俯瞰图像300中可知以下情况：随着对照面高度变高，而能够更清楚地掌握在离液压挖掘机100的左后方约1.0m前后的位置上站有人物P1的状态，但是随着对照面高度Z的设定变大而线L靠近中央，人物P2、P3也随之变小。

[0068] 此外，像这样修正对照面高度Z的话，如图5(c)所示由于切割区域比通常的情况(e0)放大并且显示图像会变大，因此在这种状态下不能收至俯瞰图像300的各显示区域S1至S4。因此，在修正了对照面高度Z的情况下，需要进行将该切割区域与对照面高度Z是0m的切割区域e0(标准区域)配合地缩小的处理。在图5(c)的例子中，与对照面高度Z是
0m的切割区域e0(标准区域)相比对照面高度Z是0.5m的切割区域e50变大，并且对照面高度Z是1.0m的切割区域e100变得更大。因此，在使用这些各切割区域e50、e100的显示图像来生成俯瞰图像300时，需要进行以将这些各切割区域e50、e100的显示图像与标准的切割区域e0配合地缩小的方式调整的处理。

[0069] 像这样以使对照面高度Z变得比通常(标准)高的方式进行修正的话，则即使在俯瞰图像300的边界线附近存在有人物和电杆那样的长度高的立体物(障碍物)的情况下，也能够将这些准确地显示在俯瞰图像300上。

[0070] 在这里，若如上述那样地修正(提高)对照面高度Z的话，则障碍物较小地映出、或者在该边界线附近重复地看到障碍物，由此，也能够根据状况来适当调整该对照面高度Z的修正值。例如在适用本发明的周围监视装置200的作业机械是如图1所示的液压挖掘机100的情况下，将停止时的对照面高度Z设定为标准高度(0m)，在作业开始时能够通过操作员的手动开关来将该对照面高度Z修正为1.0m等操作员所期望的对照面高度Z。并且，也能够将该修正结果从显示控制器210向周围监视显示器220输出，并在周围监视显示器220中显示。

[0071] 具体而言，如图2所示在周围监视显示器220的输入部222等中设置切换开关223，该切换开关223由能够由手动提高地增加修正的开关和能够由手动降低地减少修正的开关这两个开关构成。驾驶室22内的操作员通过由手动来操作该切换开关223，而使显示控制器210内的对照面高度设定部211输入来自周围监视显示器220的切换开关223的对照面高度切换信号，此时，由于在对照面高度设定部211中能够根据该对照面高度切换信号变更对照面高度Z，所以操作员能够自如地修正对照面高度Z。

[0072] 例如，当操作员在切换开关223中，阶段性地按下能够增加修正对照面高度Z的切换开关时，能够从标准高度(0m)到0.5m、从0.5m到1.0m依次向增加方向修正，并且当在切换开关223中，阶段性地按下能够减少修正的切换开关时，能够从1.0m到0.5m、从0.5m到标准高度(0m)依次向减少方向修正。

[0073] 并且，在像这样由手动来修正该对照面高度Z时，也能够进行将对照面高度Z自动地返回到标准高度(0m)的修正，使得操作员不会将该修正过的对照面高度Z误认为标准高度(0m)。具体而言，如图2所示在周围监视显示器220内设置未图示的计时器，在经过由计时器所设定的规定时间之后，从周围监视显示器220向对照面高度设定部211输出以对照面高度Z作为标准高度(0m)的对照面高度切换信号。当对照面高度设定部211输入了该对照面高度切换信号时，能够根据该对照面高度切换信号而使对照面高度Z返回到标准高度(0m)。

[0074] 另外，也可以根据液压挖掘机100的动作状态自动地调整该对照面高度Z。例如也可以如图2所示，当从车身控制器230输入有操作了左右行驶杆41(42)、旋转杆43(44)或者锁定杆45的任一个、或者复合操作了其两个以上而得到的信号时，使该对照面高度Z从标准高度(0m)自动地修正到1.0m。

[0075] 图12示出了像这样对照面高度设定部211的对照面高度设定处理的一个例子。首先，该对照面高度设定部211在最初的步骤200中监视来自车身控制器230的车身信息，并且判断是否具有操作了行驶杆41(42)、旋转杆43(44)或者锁定杆45的任一个、或者复合操作了其两个以上而得到的信号。当没有任何操作信号(车身信息)(否)时跳转到步骤S204。当具有任一个操作信号(车身信息)时(是)转移到步骤S202，并使该对照面高度Z从标准高度(0m)自动地修正到1.0m并转移到下一个步骤S204。

[0076] 在步骤S204中，监视有无基于来自周期监视显示器220的手动而得的对照面高度Z的切换信号，并在没有切换信号时(否)跳转到步骤S208。在有切换信号时(是)转移到步骤S206，并根据该切换信号修正对照面高度Z并转移向下一个步骤S208。在步骤S208中，将该设定值或者修正值向俯瞰图像生成部213发送并转移到下一个步骤S210。根据该设定值或者修正值，俯瞰图像生成部213如上述那样地设定来自各上方视点图像35的切割显示区域并生成俯瞰图像300。

[0077] 并且，在步骤S210中监视有无来自周围监视显示器220的计时器的信号，在接收到表示经过规定时间的信号时(是)转移到步骤S212，将标准的对照面高度Z的设定值(0m)发送到俯瞰图像生成部213并返回到最初的步骤S200。由此，即使对照面高度Z变化也能够在经过规定时间之后自动地将该对照面高度Z返回到标准高度(0m)。

[0078] 图13至图23示出了本发明的周围监视装置200的其他实施方式。首先，图13所示的实施方式是如下的构成：在显示控制器210中还设有摄像机输入部214和障碍物检测部215，并将由摄像机30a、30b、30c、30d所拍摄的图像通过摄像机输入部214取入到上方视点图像生成部212和障碍物检测部215中，并由该障碍物检测部215处理所取入的图像来检测有无障碍物。并且，当检测到在其附近具有某种障碍物时，根据该检测到的障碍物信息，由对照面高度设定部211修正该对照面高度Z。由此，当在车身20的周围具有障碍物时，或者在接近障碍物时能够将其准确地显示在俯瞰图像300上。

[0079] 接下来，作为其他实施方式，在适用本发明的周围监视装置200的作业机械是如图14所示的大型翻斗卡车400的情况下，也可以将启动发动机前的对照面高度Z设定为标准状态(0m)，并将发动机启动作为触发而自动地将该对照面高度Z修正为1.0m等。

[0080] 即，也可以为，根据如下的动作状态而使对照面高度设定部211自动地将该对照面高度Z从0m设定为1.0m，上述动作状态为：当如图15所示以使翻斗卡车用的车身控制器240的车身信息取入到显示控制器210内的对照面高度设定部211的方式，启动发动机50时或接通电源51时、或解除停车制动52时、或将档杆53从空挡(N)移入至前进挡(D)或者倒车档(R)时、或由速度传感器54检测到行驶开始时等。

[0081] 另外，也可以为，当将该对照面高度Z从0m修正为1.0m后，由速度传感器54检测到行驶速度例如超过10km/h时，因为意味着在现场内车身在加速移动，所以，对照面高度设定部Z输入从车身控制器240检测到的行驶速度，并与此对应地再次将该对照面高度Z自动地返回到0m。此外，也可以为，自动返回的功能能够通过操作员操作周围监视显示器220的输入部222等而任意地选择。

[0082] 另外，也可以为，如图16所示在显示控制器210上设有摄像机输入部214和障碍物检测部215，将由摄像机30a、30b、30c、30d所拍摄的图像通过摄像机输入部214取入到上方视点图像生成部212和障碍物检测部215中，并由该障碍物检测部215处理所取入的图像并检测有无障碍物，当在该翻斗卡车的附近检测到某种障碍物时，根据该检测到的障碍物信息，由对照面高度设定部211来修正该对照面高度Z。

[0083] 另外，作为基于该障碍物检测部215的障碍物的检测方法，并不只是像上述那样的图像处理，也能够直接利用其他以往周知的技术。例如也可以像图示那样地，将毫米波雷达或超音波传感器等的障碍物检测传感器60a、60b、60c、60d装备到车身20的周围，在通过这些障碍物检测传感器60a、60b、60c、60d检测到某种障碍物时，根据该检测到的障碍物信息而使对照面高度设定部211将该对照面高度Z从0m修正为1.0m。

[0084] 另外，而且还可以为，根据由该障碍物检测部215所检测的障碍物的种类或者大小多层级地切换(增减)该对照面高度Z的修正值。例如，也可以为，虽然在所检测到的障碍物是人物等的情况下，将该对照面高度修正为1.0m(或者0.5m)，但是在为服务车辆等的车辆的情况下，将该对照面高度Z修正为0.5m(或者1.0m)。

[0085] 基于该障碍物检测部215的障碍物的种类能够通过其检测信息的内容容易地判别。例如能够构成为，如图16所示在作业员的安全帽等上具有发射装置80，由设在车身20的周围的无线信号式障碍物检测传感器70a、70b、70c、70d来检测从该发射装置80所发射的规定频率的无线信号，从该信号的频率等包含在该信号中的信息容易地判断该障碍物是不是人物。

[0086] 另外，也可以设定为，当基于障碍物的检测信号和来自车身控制器240的车身信息等而自动地修正对照面高度Z时，与手动的情况相同地在经过规定时间之后或者在该检测信号或车身信息消失时，使该对照面高度Z自动地返回到标准的状态。此外，也可以为，操作员能够任意地选择自动返回的功能。

[0087] 在如上述那样通过自动或手动来修正对照面高度Z的情况下，也能够以操作员能够识别的方式来显示所修正的对照面高度Z。图17示出了在图2所示的显示控制器210内附加有图像合成部216的构成。该图像合成部216生成如下的合成图像，并将该合成图像输出到周围监视显示器220，由该周围监视显示器220显示该合成图像，其中，该合成图像合成有来自对照面高度设定部211的对照面高度Z的修正值信息、和来自俯瞰图像生成部213的俯瞰图像300。

[0088] 图18至图23示出了将图像合成部216所合成的图像显示到周围监视显示器220上时的显示例。图18示出了以具体文字(数值)来表示所修正的对照面高度Z，并将该文字合成到俯瞰图像300内的左上方的显示例。由此，操作员不仅能够由目视来瞬时且准确地掌握所显示的俯瞰图像300的标准的对照面高度Z已被修正的情况，还能够由目视来瞬时且准确地掌握修正了多大程度。另外，由于通过合成在俯瞰图像300上来显示，因此，以最小限度移动视线即可，所以容易观察且容易明白。

[0089] 另外，图19是表示在俯瞰图像300上设有专用的对照面高度显示区域301，并在该显示领域301上显示并合成有对照面高度Z的具体文字(数值)的例子。另外，图20是用条形图302等的图形表示对照面高度Z的修正值，并将该图形合成到俯瞰图像300内并显示的例子。另外，图21是在俯瞰图像300的右侧设有专用的对照面高度显示领域304，并在该显示领域304中合成有表示对照面高度Z的修正值的大型条形图303的显示例。在图20以及图21中，各条形图302、303中，有色地变化的部分的高度意味着对照面高度Z，通过目视识别该有色部分的高度，操作员能够瞬时且准确地掌握对照面高度Z的修正量。

[0090] 并且，如图22、23所示也可以为，在这些条形图302、303等的图形中配合地显示表示对照面高度Z的修正值的具体文字(数字)。另外，作为将对照面高度Z的修正值与俯瞰图像300共同视觉表示的方法，也可以为，在像上述那样的文字或图形之外，通过记号和色彩的变化或者它们的组合等来表示的方法。此外，也可以为，将图17所示的图像合成部216附加到图13、图15、图16所示的构成中，在该情况下也能够共同得到像上述那样地由图
13、图15、图16所示的构成所发挥的作用/效果。

[0091] 附图标记说明

[0092] 100…液压挖掘机(作业机械)

[0093] 200…周围监视装置

[0094] 210…显示控制器

[0095] 211…对照面高度设定部(对照面高度设定机构)

[0096] 212…上方视点图像生成部(上方视点图像生成机构)

[0097] 213…俯瞰图像生成部(俯瞰图像生成机构)

[0098] 214…摄像机输入部

[0099] 215…障碍物检测部(立体物检测机构)

[0100] 216…图像合成部(图像合成机构)

[0101] 220…周围监视显示器(显示机构)

[0102] 230、240…车身控制器

[0103] 300…俯瞰图像

[0104] 301、304…对照面高度显示区域

[0105] 302、303…条形图(图形)

[0106] 400…翻斗卡车(作业机械)

[0107] 20…上部旋转体(车身)

[0108] 30、30a、30b、30c、30d…摄像机(拍摄机构)

[0109] 31…原图像

[0110] 35…上部视点图像

[0111] e0…标准的切割区域(显示图像)

[0112] e50…将对照面高度设定(修正)为0.5m时的切割区域(显示图像)[0113] e100…将对照面高度设定(修正)为1.0m时的切割区域(显示图像)[0114] Z…对照面高度

标题	发布/更新时间	阅读量
一种3D测量人类表型的数据库系统	2020-05-08	114
基于多视角立体视觉的人体手部三维采集方法	2020-05-08	955
基于虚拟现实的孤独症早期筛查评估系统及方法	2020-05-08	246
一种基于人工智能的服务器巡检方法及系统	2020-05-08	862
基于ROS的灾后救援通道检测机器人	2020-05-08	947
体积测算方法、装置及用户终端	2020-05-11	238
一种远距离大视场虹膜光学成像的装置及方法	2020-05-08	389
一种基于AKAZA的卫星遥感像对的特征匹配方法	2020-05-08	649
一种基于增强现实的机械组件质检方法及系统	2020-05-08	779
机器人	2020-05-08	159

作业机械的周围监视装置

作业机械的周围监视装置

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：