信息处理装置、信息处理方法和计算机程序

申请号 CN202280039993.6 申请日 2022-02-15 公开(公告)号 CN117480544A 公开(公告)日 2024-01-30
申请人 索尼集团公司; 发明人 丰浦雅贵;
摘要 [问题]提供能够抑制处理负荷或 存储器 使用的信息处理设备。[解决方案]该信息处理设备包括: 传感器 信息分析单元,其分析传感器信息并创建地图 基础 数据,该地图基础数据是用于更新具有环境信息的环境地图的数据;地图存储单元,其存储环境地图并基于地图基础数据来更新环境地图;以及地图分析单元,其分析环境地图并补偿或校正环境地图的环境信息。
权利要求

1.一种信息处理装置,包括:
传感器信息分析单元,其被配置成分析传感器信息并且创建地图基础数据,所述地图基础数据是用于更新包括环境信息的环境地图的数据;
地图累积单元,其被配置成保持所述环境地图并且基于所述地图基础数据来更新所述环境地图;以及
地图分析单元,其被配置成分析所述环境地图并且补偿或校正所述环境地图中的所述环境信息。
2.根据权利要求1所述的信息处理装置,其中,
所述地图分析单元补偿所述环境地图中的所述环境信息的缺失部分。
3.根据权利要求2所述的信息处理装置,其中,
所述地图分析单元通过评估另一种环境信息的连续性来估计预定种类的环境信息的缺失部分的内容,并且提供所估计的内容作为对所述缺失部分的补偿。
4.根据权利要求2所述的信息处理装置,其中,
所述地图分析单元以标识出由所述地图分析单元补偿的所述环境信息的格式来补偿所述环境信息的缺失部分。
5.根据权利要求1所述的信息处理装置,其中,
所述传感器信息分析单元创建具有第一范围和第一分辨率的第一地图基础数据以及具有比所述第一范围宽的第二范围和比所述第一分辨率低的第二分辨率的第二地图基础数据,
所述地图累积单元包括第一地图累积单元和第二地图累积单元,所述第一地图累积单元被配置成基于所述第一地图基础数据来更新具有第三范围和所述第一分辨率的第一环境地图,所述第二地图累积单元被配置成基于所述第二地图基础数据来更新具有比所述第三范围宽的第四范围和所述第二分辨率的第二环境地图,并且
所述地图分析单元分析至少所述第一环境地图或所述第二环境地图,并且补偿或校正所分析的环境地图中的环境信息。
6.一种信息处理装置,包括:
传感器信息分析单元,其被配置成分析传感器信息并且创建地图基础数据,所述地图基础数据是用于更新包括环境信息的环境地图的数据;以及
地图累积单元,其被配置成保持所述环境地图并且基于所述地图基础数据来更新所述环境地图,其中,
所述传感器信息分析单元创建具有第一范围和第一分辨率的第一地图基础数据以及具有比所述第一范围宽的第二范围和比所述第一分辨率低的第二分辨率的第二地图基础数据,并且
所述地图累积单元包括第一地图累积单元和第二地图累积单元,所述第一地图累积单元被配置成基于所述第一地图基础数据来更新具有第三范围和所述第一分辨率的第一环境地图,所述第二地图累积单元被配置成基于所述第二地图基础数据来更新具有比所述第三范围宽的第四范围和所述第二分辨率的第二环境地图。
7.根据权利要求6所述的信息处理装置,其中,
所述第二地图基础数据不包括与所述第一地图基础数据交叠的区域中的数据的至少一部分,并且
所述第二地图累积单元基于所述第一环境地图中的环境信息和所述第二地图基础数据来更新所述第二环境地图。
8.根据权利要求6所述的信息处理装置,还包括
动作计划单元,其被配置成准备移动体的动作计划,其中,
所述动作计划单元根据情形选择所述第一环境地图和所述第二环境地图中之一,并且基于所选择的环境地图来准备所述动作计划。
9.根据权利要求8所述的信息处理装置,其中,
所述动作计划单元基于所述第二环境地图来准备所述动作计划,并且在确定需要更精确的动作计划的情况下基于所述第一环境地图来准备所述动作计划。
10.根据权利要求6所述的信息处理装置,还包括
地图分析单元,其被配置成分析至少所述第一环境地图或所述第二环境地图,并且补偿或校正所分析的环境地图中的环境信息。
11.一种信息处理方法,包括:
获取传感器信息的步骤;
分析所述传感器信息并且创建地图基础数据的步骤,所述地图基础数据是用于更新包括环境信息的环境地图的数据;
基于所述地图基础数据来更新所述环境地图的步骤;以及
分析所述环境地图以补偿或校正所述环境地图中的所述环境信息的步骤。
12.一种信息处理方法,包括:
获取传感器信息的步骤;
分析所述传感器信息并且创建地图基础数据的步骤,所述地图基础数据是用于更新包括环境信息的环境地图的数据;以及
基于所述地图基础数据来更新所述环境地图的步骤,其中,
所述创建地图基础数据的步骤包括创建具有第一范围和第一分辨率的第一地图基础数据的步骤,以及创建具有比所述第一范围宽的第二范围和比所述第一分辨率低的第二分辨率的第二地图基础数据的步骤,并且
所述更新所述环境地图的步骤包括基于所述第一地图基础数据来更新具有第三范围和所述第一分辨率的第一环境地图的步骤,以及基于所述第二地图基础数据来更新具有比所述第三范围宽的第四范围和所述第二分辨率的第二环境地图的步骤。
13.一种计算机程序,其使计算机执行:
获取传感器信息的步骤;
分析所述传感器信息并且创建地图基础数据的步骤,所述地图基础数据是用于更新包括环境信息的环境地图的数据;
基于所述地图基础数据来更新所述环境地图的步骤;以及
分析所述环境地图以补偿或校正所述环境地图中的所述环境信息的步骤。
14.一种计算机程序,其使计算机执行:
获取传感器信息的步骤;
分析所述传感器信息并且创建地图基础数据的步骤,所述地图基础数据是用于更新包括环境信息的环境地图的数据;以及
基于所述地图基础数据来更新所述环境地图的步骤,其中,
所述创建地图基础数据的步骤包括创建具有第一范围和第一分辨率的第一地图基础数据的步骤,以及创建具有比所述第一范围宽的第二范围和比所述第一分辨率低的第二分辨率的第二地图基础数据的步骤,并且
所述更新所述环境地图的步骤包括基于所述第一地图基础数据来更新具有第三范围和所述第一分辨率的第一环境地图的步骤,以及基于所述第二地图基础数据来更新具有比所述第三范围宽的第四范围和所述第二分辨率的第二环境地图的步骤。

说明书全文

信息处理装置、信息处理方法和计算机程序

技术领域

[0001] 本公开内容涉及信息处理装置、信息处理方法和计算机程序。

背景技术

[0002] 在诸如机器人的自主行进和汽车的自动驾驶的移动体的自动移动的技术领域中,已知根据由诸如LiDAR的传感器获取的移动体周围的环境信息创建环境地图并且基于环境地图来准备移动体的动作计划的技术(参见专利文献1)。
[0003] 引文列表
[0004] 专利文献
[0005] 专利文献1:日本专利申请公开第2020‑87248号发明内容
[0006] 发明要解决的问题
[0007] 为了准备用于移动体的自动移动的高精度动作计划,需要使环境地图更详细。然而,使环境地图更详细导致创建环境地图并准备动作计划的计算机的处理负荷和存储器使用的增加。此外,设置在移动体中的传感器的数目或类型的数目的增加导致成本的增加。
[0008] 鉴于这样的情况,本公开内容的目的是提供能够减少处理负荷或存储器使用的信息处理装置、信息处理方法和计算机程序。
[0009] 问题的解决方案
[0010] 根据本公开内容的一个方面的信息处理装置包括:传感器信息分析单元,其被配置成分析传感器信息并且创建地图基础数据,该地图基础数据是用于更新包括环境信息的环境地图的数据;地图累积单元,其被配置成保持环境地图并且基于地图基础数据来更新环境地图;以及地图分析单元,其被配置成分析环境地图并且补偿或校正环境地图中的环境信息。
[0011] 地图分析单元补偿环境地图中环境信息的缺失部分。地图分析单元通过评估另一种环境信息的连续性来估计预定种类的环境信息的缺失部分的内容,并且提供所估计的内容作为对缺失部分的补偿。地图分析单元以其中能够标识出由地图分析单元补偿的环境信息的形式补偿环境信息的缺失部分。
[0012] 根据本公开内容的另一方面的信息处理装置包括:传感器信息分析单元,其被配置成分析传感器信息并且创建地图基础数据,该地图基础数据是用于更新包括环境信息的环境地图的数据;以及地图累积单元,其被配置成保持环境地图并且基于地图基础数据来更新环境地图,其中,传感器信息分析单元创建具有第一范围和第一分辨率的第一地图基础数据以及具有比第一范围宽的第二范围和比第一分辨率低的第二分辨率的第二地图基础数据,并且地图累积单元包括第一地图累积单元和第二地图累积单元,第一地图累积单元被配置成基于第一地图基础数据来更新具有第三范围和第一分辨率的第一环境地图,第二地图累积单元被配置成基于第二地图基础数据来更新具有比第三范围宽的第四范围和第二分辨率的第二环境地图。
[0013] 第二地图基础数据不包括与第一地图基础数据交叠的区域中的数据的至少一部分,并且第二地图累积单元基于第一环境地图中的环境信息和第二地图基础数据来更新第二环境地图。
[0014] 信息处理装置还包括动作计划单元,该动作计划单元被配置成准备移动体的动作计划,其中,动作计划单元根据情形选择第一环境地图和第二环境地图中之一,并且基于所选择的环境地图来准备动作计划。动作计划单元基于第二环境地图来准备动作计划,并且在确定需要更精确的动作计划的情况下基于第一环境地图来准备动作计划。
[0015] 根据本公开内容的一个方面的信息处理方法包括:获取传感器信息的步骤;分析传感器信息并且创建地图基础数据的步骤,该地图基础数据是用于更新包括环境信息的环境地图的数据;基于地图基础数据来更新环境地图的步骤;以及分析环境地图以补偿或校正环境地图中的环境信息的步骤。
[0016] 根据本公开内容的另一方面的信息处理方法包括:获取传感器信息的步骤;分析传感器信息并且创建地图基础数据的步骤,该地图基础数据是用于更新包括环境信息的环境地图的数据;以及基于地图基础数据来更新环境地图的步骤,其中,创建地图基础数据的步骤包括创建具有第一范围和第一分辨率的第一地图基础数据的步骤,以及创建具有比第一范围宽的第二范围和比第一分辨率低的第二分辨率的第二地图基础数据的步骤,并且更新环境地图的步骤包括基于第一地图基础数据来更新具有第三范围和第一分辨率的第一环境地图的步骤,以及基于第二地图基础数据来更新具有比第三范围宽的第四范围和第二分辨率的第二环境地图的步骤。
[0017] 根据本公开内容的一个方面的计算机程序使计算机执行以下步骤:获取传感器信息的步骤;分析传感器信息并且创建地图基础数据的步骤,该地图基础数据是用于更新包括环境信息的环境地图的数据;基于地图基础数据来更新环境地图的步骤;以及分析环境地图以补偿或校正环境地图中的环境信息的步骤。
[0018] 根据本公开内容的另一方面的计算机程序使计算机执行以下步骤:获取传感器信息的步骤;分析传感器信息并且创建地图基础数据的步骤,该地图基础数据是用于更新包括环境信息的环境地图的数据;以及基于地图基础数据来更新环境地图的步骤,其中,创建地图基础数据的步骤包括创建具有第一范围和第一分辨率的第一地图基础数据的步骤,以及创建具有比第一范围宽的第二范围和比第一分辨率低的第二分辨率的第二地图基础数据的步骤,并且更新环境地图的步骤包括基于第一地图基础数据来更新具有第三范围和第一分辨率的第一环境地图的步骤,以及基于第二地图基础数据来更新具有比第三范围宽的第四范围和第二分辨率的第二环境地图的步骤。附图说明
[0019] 图1是示出包括根据本实施方式的信息处理装置的移动体的配置的示例的框图
[0020] 图2是示出传感器单元的配置的示例的框图。
[0021] 图3A是示出环境地图的示例的视图,示出了在平平面中布置的体素
[0022] 图3B是示出环境地图的示例的视图,示出了在竖直平面中布置的体素。
[0023] 图4是说明环境地图的更新的视图。
[0024] 图5是示出根据本实施方式的信息处理装置的配置的示例的框图。
[0025] 图6是说明对传感器信息的分析的视图。
[0026] 图7是示出窄范围高分辨率环境地图和宽范围低分辨率环境地图的视图。
[0027] 图8A是用于说明环境地图的分辨率的影响的视图,并且示出了环境地图具有低分辨率的情况。
[0028] 图8B是用于说明环境地图的分辨率的影响的视图,并且示出了环境地图具有高分辨率的情况。
[0029] 图9是示出传感器的感测区的示例的视图。
[0030] 图10是示出要由传感器感测的空间的示例的视图。
[0031] 图11A是用于说明对环境信息的缺失部分的补偿的视图。
[0032] 图11B是用于说明对环境信息的缺失部分的补偿的视图。
[0033] 图11C是用于说明对环境信息的缺失部分的补偿的视图。
[0034] 图12A是示出根据本实施方式的信息处理装置的操作的示例的流程图
[0035] 图12B是示出根据本实施方式的信息处理装置的操作的示例的流程图。
[0036] 图12C是示出根据本实施方式的信息处理装置的操作的示例的流程图。
[0037] 图12D是示出根据本实施方式的信息处理装置的操作的示例的流程图。
[0038] 图13是示出根据第一修改例的信息处理装置的配置的示例的框图。
[0039] 图14是示出根据第二修改例的信息处理装置的配置的示例的框图。
[0040] 图15是示出根据第三修改例的信息处理装置的配置的示例的框图。
[0041] 图16是示出根据第四修改例的信息处理装置的配置的示例的框图。
[0042] 图17是示出信息处理装置的硬件配置的示例的框图。
[0043] 图18是示出车辆控制系统的配置的示例的框图,该车辆控制系统是应用本公开内容的技术的移动装置系统的示例。
[0044] 图19是示出感测区的示例的视图。

具体实施方式

[0045] 下面,将参照附图描述本公开内容的实施方式之一(在下文中,称为本实施方式)。将按以下顺序给出描述。
[0046] 1.信息处理装置的配置的示例
[0047] 2.信息处理装置的操作的示例
[0048] 3.修改例
[0049] 4.硬件配置的示例
[0050] 5.对车辆控制系统的应用的示例
[0051] 6.结论
[0052] <1.信息处理装置的配置的示例>
[0053] 首先,将描述根据本实施方式的信息处理装置200的配置的示例。
[0054] (移动体)
[0055] 图1是示出包括根据本实施方式的信息处理装置200的移动体100的配置的示例的框图。
[0056] 注意,在包括图1的以下附图中,附接至连接各个单元的直线的箭头指示主要的数据流等,并且在一些情况下,控制信号等在与箭头相反方向上流动。
[0057] 移动体100包括传感器单元300、信息处理装置200和驱动单元400。
[0058] 移动体100是自动移动的装置。例如,移动体100是自主移动机器人或自动驾驶汽车。替选地,移动体100可以是诸如无人机的飞行体。替选地,移动体100可以是附接至移动单元的物体诸如包括在装置中的机器人臂。
[0059] 传感器单元300利用传感器310感测移动体100周围的环境以获取传感器信息。
[0060] 图2是示出传感器单元300的配置的示例的框图。
[0061] 传感器单元300包括传感器310和传感器控制单元320。
[0062] 例如,传感器310是光检测和测距传感器(LiDAR)、RGB相机、雷达、声波传感器或全球定位系统(GPS)传感器。在图2中示出的示例中,传感器单元300包括作为传感器310的第一光检测和测距传感器(LiDAR)311、第二LiDAR 312和RGB相机313。
[0063] 传感器310的类型和数目不限于任何特定类型或数目,但是至少需要能够检测物体的位置的传感器。此外,在稍后描述的分析环境地图500的过程中,除了关于物体的位置的信息之外,还需要两种或更多种环境信息。因此,需要具有不同特性的两种或更多种类型的传感器310。
[0064] 传感器控制单元320控制这些传感器310,并且将由这些传感器310获取的传感器信息发送至信息处理装置200。此外,优选的是,传感器控制单元320应用适当的噪声滤波器以去除传感器信息中的噪声,并且然后将传感器信息发送至信息处理装置200。
[0065] 信息处理装置200根据由传感器单元300获取的传感器信息创建环境地图500,并且基于环境地图500来准备移动体100的动作计划。稍后将描述信息处理装置200的配置的示例。
[0066] 驱动单元400移动移动体100以遵循由信息处理装置200准备的动作计划。驱动单元400例如包括达。
[0067] (环境地图)
[0068] 环境地图500是描述移动体100的周围环境的地图。环境地图500包括环境信息,即关于移动体100的周围环境的信息。
[0069] 图3A和图3B是示出环境地图500的示例的视图。图3A示出了在跨移动体100延伸的水平平面上布置的体素510。图3B示出了在跨移动体100延伸的竖直平面上布置的体素510。
[0070] 注意,在包括图3A和图3B的以下附图中,在水平平面中彼此垂直的两个方向被定义为X方向和Y方向,并且竖直方向被定义为Z方向。
[0071] 环境地图500是通过使用诸如同时定位和地图构建(SLAM)的技术来创建的。
[0072] 在图3A和图3B中示出的示例中,环境地图500被配置为其中三维空间被分割成体素网格的体素地图。然后,与环境地图500的每个体素510相关联地记录指示物体的占用状态的环境信息。
[0073] 物体的占用状态是指示体素510是否被物体占用的信息。例如,在体素510中存在LiDAR 311或312的点数据的测量点611的情况下,确定体素处于占用状态,而在体素510中不存在LiDAR 311或312的点云数据的测量点611的情况下,确定体素处于未占用状态。
[0074] 如上所述,环境地图500被配置为体素510的集合,其中与每个体素相关联地记录诸如物体的占用状态的环境信息。
[0075] 基于使用诸如SLAM或GPS的技术获取的移动体100的自身位置来设置环境地图500的空间中的目标区域。例如,环境地图500的空间中的目标区域被设置在以移动体100的自身位置为中心的特定范围中的区域处。此外,环境地图500的空间中的目标区域可以以这样的方式由时间轴限制,使得保持环境信息达预定时段的区域应当被设置为目标区域。
[0076] 根据移动体100的移动特性和用途适当地设置环境地图500的空间中的目标区域的大小。例如,对于以高速移动的移动体100,在环境地图500的空间中设置宽的目标区域。对于以低速移动的移动体100,设置窄的目标区域。
[0077] 上述环境地图500在任何时候随着移动体100移动而需要时被更新。更新环境地图500的频率例如为大约每秒10次到100次,并且根据移动体100的用途等被适当地设置。
[0078] 然后,基于地图基础数据550来更新环境地图500。这里,地图基础数据550意指具有与环境地图500相同的数据结构并用于更新环境地图500的数据。
[0079] 图4是用于说明环境地图500的更新的视图。
[0080] 如图4所示,使用地图基础数据550更新环境地图500。具体地,在环境地图500中,将地图基础数据550中的目标区域中的环境信息重写为地图基础数据550的环境信息。此外,在环境地图500中,地图基础数据550中的除了目标区域之外的其他区域中的环境信息保持原样。
[0081] 用于更新环境地图500的地图基础数据550具有与环境地图500相同的数据结构,但是其空间中的目标区域通常比环境地图500中的目标区域窄,如图4所示。然而,例如,在移动体100在极窄区域内移动的情况下等,取决于移动体100的用途,地图基础数据550中的目标区域可以比环境地图500中的目标区域更宽。
[0082] 上面已经描述了环境地图500包括三维体素网格的示例。然而,在本公开内容的信息处理装置200中使用的环境地图500不限于包括三维体素网格的环境地图。环境地图500可以包括三维体素网格的修改或诸如二维占用网格地图的另一地图模型。
[0083] (信息处理装置)
[0084] 图5是示出根据本实施方式的信息处理装置200的配置的示例的框图。
[0085] 根据本实施方式的信息处理装置200包括传感器信息分析单元210、传感器信息临时累积单元215、窄范围高分辨率地图累积单元220A、窄范围高分辨率地图分析单元230A、数据转换单元225、宽范围低分辨率地图累积单元220B、宽范围低分辨率地图分析单元230B、动作计划单元240和操作控制单元250。
[0086] 在描述信息处理装置200的每个单元的配置之前,将描述本实施方式的信息处理装置200的三个特征。
[0087] (第一特征——对传感器信息的分析)
[0088] 作为第一特征,根据本实施方式的信息处理装置200使用分析结果信息作为环境信息创建地图基础数据550,并且基于地图基础数据550来更新环境地图500。
[0089] 这里,分析结果信息意指通过对传感器单元300中获取的传感器信息的分析而获取的信息。例如,分析结果信息包括物体的倾斜度、平坦度、反射强度、颜色亮度、类别等。
[0090] 例如,根据LiDAR 311和312的点云数据计算物体的倾斜度、平坦度和反射强度。例如,根据RGB相机313的图像数据计算物体的颜色和亮度。稍后将描述对传感器信息的分析的具体示例。
[0091] 物体的类别指示占用体素510的物体的类别,并且指示例如地板、墙壁、障碍物、道路、人行道、标志等。基于关于另一类别的分析结果信息来确定物体的类别。例如,使用诸如语义分割的图像识别技术根据RGB相机313的图像数据确定物体的类别。此外,可以基于物体的倾斜度、平坦度、反射强度、颜色、亮度等来确定物体的类别。
[0092] 图6是用于说明对传感器信息的分析的示例的视图。
[0093] 这里,将以移动体100朝向斜坡610移动的情形为例描述对传感器信息的分析。
[0094] 获取当由LiDAR 311感测到斜坡610的区域时获取的传感器信息作为点云数据,该点云数据是大量测量点611的集合。然而,关于环境地图500上的物体的占用状态的信息被量化成体素510的大小。因此,现实中平坦的斜坡610在环境地图500上被表达为阶梯状斜坡。结果,尽管根据斜坡610的倾斜度努控制移动体100,但是没有正确地检测到斜坡610的倾斜度。
[0095] 在这点上,正确地检测斜坡610的倾斜度的一种可能方式是提高环境地图500的分辨率。然而,随着环境地图500的分辨率提高,创建环境地图500并准备动作计划的计算机的处理负担和存储器使用增加。
[0096] 然后,根据本实施方式的信息处理装置200创建其中环境信息除了物体的占用状态之外还包括关于物体的倾斜度的分析结果信息的地图基础数据550,并且执行基于由此创建的地图基础数据550更新环境地图500的过程。过程的细节如下。
[0097] 首先,拾取体素510中的测量点611之一作为观察点612。
[0098] 其次,设置评估窗口613,该评估窗口613是包括观察点612的特定区域。例如,基于距观察点612的距离来设置评估窗口613。
[0099] 随后,对评估窗口613中的测量点611进行采样,并且基于采样测量点611来计算物体的倾斜度。
[0100] 然后,将计算的物体的倾斜度用作从其拾取观察点612的体素510的分析结果信息。
[0101] 然后,对每个体素510执行上述过程。
[0102] 这里,描述了使用关于物体的倾斜度的分析结果信息的示例,但是要使用的分析结果信息不限于关于物体的倾斜度的信息。例如,信息处理装置200可以使用关于物体的平坦度、反射强度、色调或亮度的分析结果信息。
[0103] 例如,对于关于物体的平坦度和反射强度的分析结果信息,对LiDAR 311的点云数据进行分析,并且对评估窗口613中的测量点611进行采样。基于采样测量点611来计算分析结果信息。例如,对于关于反射强度的分析结果信息,对LiDAR 311的点云数据进行分析,并且计算评估窗口613中的测量点611的反射强度的平均值。例如,对于关于物体的色调或亮度的分析结果信息,对RGB相机313的图像数据进行分析,并且计算评估窗口613中的像素的平均值。
[0104] 即,信息处理装置200设置评估窗口613,并且使用评估窗口613中的测量点611计算体素510的分析结果信息,该评估窗口613是包括作为体素510中的测量点611中之一的观察点612的特定区域。
[0105] 如上所述,信息处理装置200不使用原始传感器信息作为环境地图500的环境信息,而是使用分析结果信息作为环境地图500的环境信息,并且因此与直接使用原始传感器信息作为环境信息的情况相比,减少了存储器使用。此外,分析结果信息反映被设置为包括观察点612的特定区域的评估窗口613中的所有传感器信息,并且因此信息处理装置200可以减少环境地图500中的环境信息的量化的影响。
[0106] 在传感器信息分析单元210中执行分析传感器信息以获取分析结果信息的过程。
[0107] 利用上述第一特征,在本实施方式的信息处理装置200中,即使环境地图500的分辨率低,也可以记录详细信息,并且结果,可以减少处理负荷或存储器使用。
[0108] (第二特征——多分辨率环境地图)
[0109] 第二特征在于,本实施方式的信息处理装置200保持窄范围高分辨率环境地图500A和宽范围低分辨率环境地图500B这两个环境地图500。
[0110] 这里,“窄范围高分辨率”意指比宽范围低分辨率更窄的范围和更高的分辨率。相反,术语“宽范围低分辨率”意指比窄范围高分辨率更宽的范围和更低的分辨率。
[0111] 图7是示出窄范围高分辨率环境地图500A和宽范围低分辨率环境地图500B的视图。
[0112] 将参照图8A和图8B描述信息处理装置200保持两个环境地图500的原因。
[0113] 例如,假设在移动体100在夹在两个障碍物620之间的狭窄处移动的情况下创建环境地图500。此时,由于环境地图500被量化为体素510,因此障碍物620占用的区域看起来可能最大增大了一个体素。因此,在环境地图500中,两个障碍物620之间的空间被表示为狭窄空间。
[0114] 于是,在环境地图500具有低分辨率的情况下,该趋势是明显的。在图8A中示出的示例中,关于障碍物620的占用状态的信息被量化到体素510中,使得环境地图500中两个障碍物620之间没有空间。因此,移动体100无法在两个障碍物620之间行进。
[0115] 同时,在具有高分辨率的环境地图500的情况下,如图8B所示,在环境地图500上表示两个障碍物620之间的空间的存在。因此,移动体100可以在夹在两个障碍物620之间的狭窄处移动。然而,随着环境地图500的分辨率提高,创建环境地图500并准备动作计划的计算机的处理负担和存储器使用增加。
[0116] 于是,在本实施方式的信息处理装置200中,除了低分辨率环境地图500之外,还保持其中目标区域比低分辨率环境地图500的目标区域更窄的高分辨率环境地图500。如上所述,信息处理装置200将涉及计算机的大处理负荷和大存储器使用的高分辨率环境地图500的目标区域缩小到适当的程度,从而减少计算机的处理负荷或存储器使用的增加。
[0117] 在传感器信息分析单元210、窄范围高分辨率地图累积单元220A和宽范围低分辨率地图累积单元220B中执行保持和更新环境地图500的过程。
[0118] 然后,信息处理装置200可以根据情形在低分辨率环境地图500与高分辨率环境地图500之间切换来使用。此外,信息处理装置200保持低分辨率环境地图500和高分辨率环境地图500两者,并且可以在低分辨率环境地图500与高分辨率环境地图500之间迅速切换。
[0119] 在动作计划单元240中执行使用环境地图500和在环境地图500之间切换的过程。
[0120] 利用上述第二特征,在本实施方式的信息处理装置200中,可以减少处理负担或存储器使用,并且在窄范围高分辨率环境地图500A与宽范围低分辨率环境地图500B之间迅速切换。
[0121] (第三特点——对环境地图的分析)
[0122] 第三特征在于,本实施方式的信息处理装置200对环境地图500进行分析以补偿环境地图500中的环境信息的缺失部分。
[0123] 这里,环境信息的缺失部分意指形成环境信息的个体数据的缺失部分。例如,环境信息的缺失部分是在环境地图500的空间的部分区域中物体的类别的数据缺失的部分。此外,环境信息的缺失部分不限于空白数据,并且可以是旧数据,即例如在预定时间之前记录的数据。
[0124] 注意,对于对环境信息的缺失部分的补偿,不一定需要补偿环境信息的所有缺失部分。对于对环境信息的缺失部分的补偿,仅需要补偿环境信息的缺失部分的至少一部分。此外,对于对环境信息的缺失部分的补偿,当没有可估计的缺失部分时,可以不进行补偿。
[0125] 这里,将以对物体的类别的数据的缺失部分的补偿为例,描述对环境信息的缺失部分的补偿。
[0126] 图9是示出传感器310的感测区的示例的视图。图9示出了第一LiDAR 311的感测区Ra、第二LiDAR 312的感测区Rb和RGB相机313的感测区Rc。
[0127] 图10是示出要由传感器310感测的空间的示例的视图。图10中示出的空间是其中存在被配置为水平平面的地板表面的空间。此外,地板表面具有道路区域Rx和人行道区域Ry。然后,移动体100被定位在地板表面上的道路区域Rx中。
[0128] 图11A至图11C是用于说明在图9和图10中示出的情形中对环境信息的缺失部分的补偿的视图。在图11A至图11C中,环境地图500被示出为布置在与地板表面对应的水平平面上的体素510的集合。
[0129] 图11A示出了在图10中示出的情形中,通过对LiDAR 311和312的点云数据的分析而获取的物体的反射强度或平坦度的数据在环境地图500上的分布。这里,物体是地板表面。
[0130] 在图11A中示出的示例中,道路区域Rx中的每个体素510中的物体的反射强度或平坦度具有基本相同的值。同样,人行道区域Ry中的每个体素510中的物体的反射强度或平坦度也具有基本相同的值。
[0131] 图11B示出了在图10中示出的情形中,通过对LiDAR 311的点云数据和RGB相机313的图像数据的分析而获取的物体的类别的数据在环境地图500上的分布。
[0132] 一般地,使用图像识别技术根据RGB相机313的图像数据确定物体的类别。然后,通过与从LiDAR 311和312的点云数据等获取的物体的占用状态的数据相结合,确定物体存在于何类别以及物体存在于何处。
[0133] 因此,在环境地图500中LiDAR 311的感测区Ra与RGB相机313的感测区Rc交叠的区域中,可以确定物体的类别,并且记录物体的类别的数据。在图11B中,道路区域Rx中的物体的类别的数据用C1表示,意为道路,并且人行道区域Ry中的物体的类别的数据用C2表示,意为人行道。
[0134] 同时,在LiDAR 311和312的感测区Ra和Rb中,在感测区与RGB相机313的感测区Rc不交叠的区域中不存在图像数据,使得无法确定该处的物体的类别。因此,在该区域中,物体的类别的数据缺失。
[0135] 因此,在计划诸如移动体100的转弯或向后移动的朝向RGB相机313的感测区Rc之外的动作时,由于道路区域Rx和人行道区域Ry无法彼此区分,因此可能会准备允许进入人行道区域Ry的动作计划。
[0136] 注意,在移动体100如图4中示出的情形在一个方向上行进的情况下,已经在移动体100存在于当前位置后方期间记录的物体的类别的数据仍然存在,并且因此,在环境地图500中移动体100后方的区域中也存在物体的类别的数据。因此,物体的类别的数据的丢失的问题特别地在移动体100开始移动或沿曲线移动时出现。
[0137] 克服该问题的一种可能方式是,通过在移动体100中布置多个RGB相机313来消除RGB相机313的感测区Rc的盲点。然而,RGB相机313的数目的增加导致处理负荷、存储器使用和成本的增加。
[0138] 于是,本实施方式的信息处理装置200通过分析环境地图500来估计环境地图500中环境信息的缺失部分的内容,并且执行提供估计内容作为对环境信息的缺失部分的补偿的过程。
[0139] 更具体地,本实施方式的信息处理装置200通过评估另一环境信息的连续性来估计预定种类的环境信息的缺失部分的内容,并且执行提供估计内容作为对环境信息的缺失部分的补偿的过程。
[0140] 此外,本实施方式的信息处理装置200执行以能够标识出通过对环境地图500的分析补偿的环境信息的形式对环境信息的缺失部分进行补偿的过程。
[0141] 图11C是用于说明根据图11A和图11B中示出的环境地图500的数据估计物体的类别的数据的缺失部分并且对缺失部分进行补偿的过程的视图。
[0142] 通过相对于物体的类别的数据缺失的区域评估与记录了物体的类别的数据的区域的连续性,来估计物体的类别的数据的缺失部分。
[0143] 例如,在与记录为道路C1的区域连续的区域中,可以将具有与记录为道路C1的区域的物体的反射强度或平坦度相同的反射强度或相同的平坦度的区域估计为道路。同样,在与记录为人行道C2的区域连续的区域中,可以将具有与记录为人行道C2的区域的物体的反射强度或平坦度相同的反射强度或相同的平坦度的区域估计为人行道。
[0144] 然后,通过估计获取的数据以能够标识出通过估计获取的数据的形式记录在环境地图500中,以与通过对传感器信息的分析获取的分析结果信息明确区分开。关于该形式,例如,能够想到与对应的环境信息的数据相关联地记录指示数据是否通过估计获取的标识信息。
[0145] 在图11C中示出的示例中,估计为道路的区域中的物体的类别的数据用与C1区分开的gC1表示,并且估计为人行道的区域中的物体的类别的数据用与C2区分开的gC2表示。
[0146] 通过这种方式,信息处理装置200执行以能够标识出通过对环境地图500的分析补偿的环境信息的形式对环境信息的缺失部分进行补偿的过程。因此,信息处理装置200可以将标识信息与移动体100的动作计划链接。
[0147] 例如,在其中移动体100朝向存在通过对环境地图500的分析补偿的环境信息的区域移动的动作计划中,准备更精确的动作计划的一种可能方式是在减速的同时将RGB相机313指向该区域,并且从RGB相机313的图像数据中获取物体的类别的数据。
[0148] 在下文中,以下述情况为例给出描述:其中通过评估物体的反射强度或平坦度的数据的连续性来估计物体的类别的数据的缺失部分的内容,并且将估计的内容提供为对物体的类别的数据的补偿。然而,要补偿的环境信息不限于物体的类别。此外,用于评估连续性的环境信息不限于物体的反射强度或平坦度。
[0149] 执行分析环境地图500的过程的时间不限于任何特定时间。例如,可以在每次更新环境地图500时执行分析环境地图500的过程。替选地,可以以规则的时间间隔执行分析环境地图500的过程。替选地,可以在假定会导致许多环境信息的缺失部分的情况下例如移动体100启动或沿曲线移动时的时间执行分析环境地图500的过程。
[0150] 此外,取决于动作计划,可以对移动体100未来极有可能进入的区域以相对较高的频率执行分析环境地图500的过程,并且可以对移动体100不太可能入侵的区域以相对较低的频率执行分析环境地图500的过程。在这种情况下,可以减少计算机的处理负荷和存储器使用。
[0151] 此外,本实施方式的信息处理装置200可以分析环境地图500,以校正环境地图500中环境信息的异常值。因此,可以防止由于环境地图500的异常值而导致瑕疵。
[0152] 在窄范围高分辨率地图分析单元230A和宽范围低分辨率地图分析单元230B中执行分析环境地图500的过程。
[0153] 利用第三特征,在本实施方式的信息处理装置200中,可以减少在移动体100中布置的传感器310的数目,并且因此可以减少处理负荷或存储器使用。此外,在本实施方式的信息处理装置200中,可以减少在移动体100中布置的传感器310的数目,并且因此可以降低成本。
[0154] 如上所述,本实施方式的信息处理装置200补偿环境地图500中环境信息的缺失部分,但是本公开内容的信息处理装置200不限于此。本公开内容的信息处理装置200仅需要分析环境地图500以补偿或校正环境地图500中的环境信息。通过这种配置,可以使环境地图500适用于准备动作计划。
[0155] 接下来,将描述信息处理装置的各个单元的配置。
[0156] (传感器信息分析单元)
[0157] 传感器信息分析单元210分析由传感器单元300获取的传感器信息,并且创建窄范围高分辨率地图基础数据550A和宽范围低分辨率地图基础数据550B。
[0158] 如稍后所述,通过使用窄范围高分辨率环境地图500A中的环境信息更新宽范围低分辨率环境地图500B。因此,宽范围低分辨率地图基础数据550B不包括与窄范围高分辨率地图基础数据550A的空间的区域交叠的空间的区域中的数据。通过这种配置,可以减少信息处理装置200中的处理负荷或存储器使用。注意,宽范围低分辨率地图基础数据550B仅需要省略与窄范围高分辨率地图基础数据550A交叠的区域中的至少一部分数据。
[0159] 此外,传感器信息分析单元210将窄范围高分辨率地图基础数据550A发送至窄范围高分辨率地图累积单元220A,并且将宽范围低分辨率地图基础数据550B发送至宽范围低分辨率地图累积单元220B。
[0160] (传感器信息临时累积单元)
[0161] 传感器信息临时累积单元215连接至传感器信息分析单元210,并且在其中临时累积从传感器单元300发送的传感器信息,以使得上述传感器信息分析单元210能够分析传感器信息。例如,利用传感器信息临时累积单元215,在传感器信息的密度不足的情况下,可以将过去时间的少量数据组合以供使用,这使得能够利用足够密度的信息进行分析。此外,由于包括传感器信息临时累积单元215,例如,传感器信息分析单元210可以执行去除传感器信息中时间轴方向上的噪声的过程。然而,信息处理信息200不一定需要包括传感器信息临时累积单元215。
[0162] (窄范围高分辨率地图累积单元)
[0163] 窄范围高分辨率地图累积单元220A在其中累积窄范围高分辨率环境地图500A。
[0164] 更具体地,窄范围高分辨率地图累积单元220A保持窄范围高分辨率环境地图500A,并且使用由传感器信息分析单元210创建的窄范围高分辨率地图基础数据550A更新窄范围高分辨率环境地图500A。
[0165] 如上所述,基于使用诸如SLAM或GPS的技术获取的移动体100的自身位置来设置环境地图500的空间中的目标区域。
[0166] (窄范围高分辨率地图分析单元)
[0167] 窄范围高分辨率地图分析单元230A分析窄范围高分辨率地图累积单元220A中保持的窄范围高分辨率环境地图500A,并且补偿窄范围高分辨率环境地图500A中的环境信息的缺失部分。
[0168] 更具体地,窄范围高分辨率地图分析单元230A分析窄范围高分辨率环境地图500A,以估计窄范围高分辨率环境地图500A中环境信息的缺失部分的内容,并且提供估计内容作为对环境信息的缺失部分的补偿。
[0169] 更具体地,窄范围高分辨率地图分析单元230A通过评估另一环境信息的连续性来估计预定种类的环境信息的缺失部分的内容,并且提供估计内容作为对环境信息的缺失部分的补偿。
[0170] 然后,窄范围高分辨率地图分析单元230A以能够标识出为通过对环境地图500的分析补偿的环境信息的形式来补偿环境信息的缺失部分。
[0171] 此外,窄范围高分辨率地图分析单元230A可以分析窄范围高分辨率地图累积单元220A中保持的窄范围高分辨率环境地图500A,并且校正窄范围高分辨率环境地图500A中的环境信息的异常值。
[0172] 同时,本实施方式的窄范围高分辨率地图分析单元230A补偿窄范围高分辨率环境地图500A中的环境信息的缺失部分,但是本公开内容的窄范围高分辨率地图分析单元不限于此。本公开内容的窄范围高分辨率地图分析单元仅需要分析窄范围高分辨率地图累积单元220A中保持的窄范围高分辨率环境地图500A,并且补偿或校正窄范围高分辨率环境地图500A中的环境信息。
[0173] (数据转换单元)
[0174] 数据转换单元225被设置在窄范围高分辨率地图累积单元220A与宽范围低分辨率地图累积单元220B之间,并且将窄范围高分辨率环境地图500A中的环境信息的数据转换成宽范围低分辨率环境地图500B中的环境信息的数据。
[0175] 在数据转换单元225中的数据转换中,通常,窄范围高分辨率环境地图500A中的多个体素510对应于宽范围低分辨率环境地图500B中的一个体素510。于是,数据转换单元225中的数据转换例如可以通过取窄范围高分辨率环境地图500A中的多个体素510的数据的中值、取数据的平均值、取数据的最大值、取数据的最小值等的方法来执行。
[0176] 此外,数据转换单元225中的数据转换可以通过对窄范围高分辨率环境地图500A中的多个体素510的数据进行加权和平均来执行,使得多个体素510中的更接近宽范围低分辨率环境地图500B的体素510的重心的体素的数据被更强地反映。由一个体素510指示的空间坐标可以被认为是在其重心处。然后,通过向更接近一个体素510的重心的体素分配更大权重,可以使得能够更强地反映更接近重心的区域中的高分辨率信息。结果,由数据转换单元225转换的数据接近于观察到的实际情况。
[0177] (宽范围低分辨率地图累积单元)
[0178] 宽范围低分辨率地图累积单元220B在其中累积宽范围低分辨率环境地图500B。
[0179] 更具体地,宽范围低分辨率地图累积单元220B保持宽范围低分辨率环境地图500B,并且使用窄范围高分辨率环境地图500A中的环境信息和由传感器信息分析单元210创建的宽范围低分辨率地图基础数据550B来更新宽范围低分辨率环境地图500B。
[0180] 当更新宽范围低分辨率环境地图500B时,除了宽范围低分辨率地图基础数据550B之外,宽范围低分辨率地图累积单元220B还使用窄范围高分辨率环境地图500A中的环境信息。即,在宽范围低分辨率环境地图500B的更新中,通过使用窄范围高分辨率环境地图500A中的环境信息来更新与窄范围高分辨率环境地图500A交叠的空间的区域,并且通过使用由传感器信息分析单元210创建的宽范围低分辨率地图基础数据550B来更新空间的其他区域。通过这种配置,可以减少信息处理装置200中的处理负荷或存储器使用。
[0181] (宽范围低分辨率地图分析单元)
[0182] 宽范围低分辨率地图分析单元230B分析宽范围低分辨率地图累积单元220B中保持的宽范围低分辨率环境地图500B,并且补偿宽范围低分辨率环境地图500B中的环境信息的缺失部分。宽范围低分辨率地图分析单元230B的配置类似于窄范围高分辨率地图分析单元230A的配置。
[0183] (动作计划单元)
[0184] 动作计划单元240基于窄范围高分辨率地图累积单元220A中保持的窄范围高分辨率环境地图500A或宽范围低分辨率地图累积单元220B中保持的宽范围低分辨率环境地图500B来准备动作计划,并且将动作计划发送至操作控制单元250。
[0185] 在准备动作计划时,动作计划单元240根据情形选择窄范围高分辨率环境地图500A或宽范围低分辨率环境地图500B。
[0186] 更具体地,动作计划单元240首先基于宽范围低分辨率环境地图500B来准备动作计划。然后,当确定需要更精确的动作计划时,动作计划单元240基于窄范围高分辨率环境地图500A来准备动作计划。
[0187] 关于高精度动作计划的必要性,例如,可以认为在下述情况下确定需要高精度动作计划:宽范围低分辨率环境地图500B上存在不可通行处的情况、车辆正在接近停止位置的情况、车辆附近存在障碍物或移动体的情况等。
[0188] 通过这种配置,信息处理装置200可以准备适当的动作计划,同时减少处理负荷或存储器使用。
[0189] 注意,动作计划单元240不是信息处理装置200的必要部件,并且可以被设置在信息处理装置200外部的装置中。
[0190] (操作控制单元)
[0191] 操作控制单元250基于在动作计划单元240中准备的动作计划来控制驱动单元400。然后,驱动单元400在操作控制单元250的控制下移动移动体100。
[0192] 注意,操作控制单元250不是信息处理装置200的必要部件,并且可以被设置在信息处理装置200外部的装置中。
[0193] <2.信息处理装置的操作的示例>
[0194] 接下来,将描述信息处理装置200的操作的示例。
[0195] 图12A至图12D是示出根据本实施方式的信息处理装置200的操作的示例的流程图。
[0196] 如图12A所示,根据本实施方式的信息处理装置200顺序地执行以下步骤:(1)获取传感器信息的步骤S100,(2)创建地图基础数据的步骤S200,(3)更新和分析环境地图的步骤S300,(4)准备动作计划的步骤S400,以及(5)控制驱动单元的步骤S500。
[0197] (获取传感器信息的步骤)
[0198] 在上述如(1)的获取传感器信息的步骤S100中,传感器信息分析单元210获取从传感器单元300发送的传感器信息。
[0199] (创建地图基础数据的步骤)
[0200] 如图12B所示,上述如(2)的创建地图基础数据的步骤S200包括:(2‑1)创建窄范围高分辨率地图基础数据的步骤S210,以及(2‑2)创建宽范围低分辨率地图基础数据的步骤S220。
[0201] 在上述如(2‑1)的创建窄范围高分辨率地图基础数据的步骤S210中,传感器信息分析单元210分析传感器信息,并且创建窄范围高分辨率地图基础数据550A。
[0202] 在上述如(2‑2)的创建宽范围低分辨率地图基础数据的步骤S220中,传感器信息分析单元210分析传感器信息,并且创建宽范围低分辨率地图基础数据550B。
[0203] (更新和分析环境地图的步骤)
[0204] 如图12C所示,上述如(3)的更新和分析环境地图的步骤S300包括:(3‑1)更新和分析窄范围高分辨率环境地图的步骤S310,以及(3‑2)更新和分析宽范围低分辨率环境地图的步骤S320。
[0205] 上述如(3‑1)的更新和分析窄范围高分辨率环境地图的步骤S310包括:更新窄范围高分辨率环境地图500A的步骤S311,以及分析窄范围高分辨率环境地图500A的步骤S312。
[0206] 在更新窄范围高分辨率环境地图的步骤S311中,窄范围高分辨率地图累积单元220A基于由传感器信息分析单元210创建的窄范围高分辨率地图基础数据550A来更新窄范围高分辨率环境地图500A。
[0207] 在分析窄范围高分辨率环境地图的步骤S312中,窄范围高分辨率地图分析单元230A分析窄范围高分辨率环境地图500A,并且补偿窄范围高分辨率环境地图500A中的环境信息的缺失部分。
[0208] 上述如(3‑2)的更新和分析宽范围低分辨率环境地图的步骤S320包括:更新宽范围低分辨率环境地图的步骤S321,以及分析宽范围低分辨率环境地图的步骤S322。
[0209] 在更新宽范围低分辨率环境地图的步骤S321中,宽范围低分辨率地图累积单元220B基于窄范围高分辨率环境地图500A的数据和由传感器信息分析单元210创建的宽范围低分辨率地图基础数据550B来更新宽范围低分辨率环境地图500B。
[0210] 在分析宽范围低分辨率环境地图的步骤S322中,宽范围低分辨率地图分析单元230B分析宽范围低分辨率环境地图500B,并且补偿宽范围低分辨率环境地图500B中的环境信息的缺失部分。
[0211] (准备动作计划的步骤)
[0212] 如图12D所示,上述如(4)的准备动作计划的步骤S400包括:(4‑1)基于宽范围低分辨率环境地图来准备动作计划的步骤410,(4‑2)确定高精度计划的必要性的步骤S420,以及(4‑3)基于窄范围高分辨率环境地图来准备动作计划的步骤S430。
[0213] 在上述如(4‑1)的基于宽范围低分辨率环境地图来准备动作计划的步骤410中,动作计划单元240基于宽范围低分辨率地图累积单元220B中保持的宽范围低分辨率环境地图500B来准备动作计划。
[0214] 在上述如(4‑2)的确定高精度计划的必要性的步骤S420中,动作计划单元240确定更精确的动作计划的必要性。在确定更精确的计划的必要性的步骤S420中,在识别到更精确的计划的必要性的情况下,过程进行到上述如(4‑3)的基于窄范围高分辨率环境地图来准备动作计划的步骤S430。在没有识别到更精确的计划的必要性的情况下,上述如(4)的准备动作计划的步骤S400结束。
[0215] 在上述如(4‑3)的基于窄范围高分辨率环境地图来准备动作计划的步骤S430中,动作计划单元240基于窄范围高分辨率地图累积单元220A中保持的窄范围高分辨率环境地图500A来准备动作计划。
[0216] (控制驱动单元的步骤)
[0217] 在上述如(5)的控制驱动单元的步骤S500中,操作控制单元250基于在动作计划单元240中准备的动作计划来控制驱动单元400。
[0218] 综上所述,根据本实施方式的信息处理装置200包括传感器信息分析单元210、窄范围高分辨率地图累积单元220A(第一地图累积单元)、窄范围高分辨率地图分析单元230A(第一地图分析单元)、宽范围低分辨率地图累积单元220B(第二地图累积单元)和宽范围低分辨率地图分析单元230B(第二地图分析单元)。
[0219] 此外,由根据本实施方式的信息处理装置200执行的信息处理方法包括获取传感器信息的步骤S100、创建地图基础数据的步骤S200、更新和分析窄范围高分辨率环境地图的步骤S310、以及更新和分析宽范围低分辨率环境地图的步骤S320。
[0220] 因此,通过本实施方式的信息处理装置200和信息处理方法,可以减少处理负担或存储器使用,并且在窄范围高分辨率环境地图500A与宽范围低分辨率环境地图500B之间迅速切换。
[0221] <3.修改例>
[0222] 接下来,将描述根据修改例的信息处理装置200。
[0223] (第一修改例)
[0224] 图13是示出根据第一修改例的信息处理装置200的配置的示例的框图。
[0225] 第一修改例的信息处理装置200与本实施方式的信息处理装置200的不同之处在于使用仅一个环境地图500。
[0226] 第一修改例的信息处理装置200包括传感器信息分析单元210、传感器信息临时累积单元215、地图累积单元220、地图分析单元230、动作计划单元240和操作控制单元250。
[0227] 第一修改例的传感器信息分析单元210分析由传感器单元300获取的传感器信息以创建地图基础数据550。第一修改例例的地图累积单元220基于地图基础数据550来更新环境地图500。第一修改例的地图分析单元230分析地图累积单元220中保持的环境地图500,并且补偿环境地图500中环境信息的缺失部分。第一修改例的动作计划单元240基于地图累积单元220中保持的环境地图500来准备动作计划,并且将动作计划发送至操作控制单元250。
[0228] 第一修改例的信息处理装置200的其他部件类似于本实施方式的信息处理装置200的上述部件。此外,除了使用仅一个环境地图500之外,第一修改例的信息处理装置200的操作类似于本实施方式的信息处理装置200的上述操作。
[0229] 如上所述,第一修改例的信息处理装置200包括传感器信息分析单元210、地图累积单元220和地图分析单元230。
[0230] 此外,由根据第一修改例的信息处理装置200执行的信息处理方法包括获取传感器信息的步骤S100、创建地图基础数据的步骤S200、更新环境地图的步骤S311、以及分析环境地图的步骤S312。
[0231] 通过上述第一修改例的信息处理装置200和信息处理方法,可以减少处理负担或存储器使用。
[0232] (第二修改例)
[0233] 图14是示出根据第二修改例的信息处理装置200的配置的示例的框图。
[0234] 第二修改例的信息处理装置200与本实施方式的信息处理装置200的不同之处在于,装置不执行分析环境地图500和补偿环境信息的缺失部分的过程。换言之,第二修改例的信息处理装置200与本实施方式的信息处理装置200的不同之处在于,装置不包括窄范围高分辨率地图分析单元230A和宽范围低分辨率地图分析单元230B。
[0235] 第二修改例的信息处理装置200的其他部件类似于本实施方式的信息处理装置200的上述部件。此外,除了装置不执行分析环境地图500和补偿环境信息的缺失部分的过程之外,第二修改例的信息处理装置200的操作类似于本实施方式的信息处理装置200的上述操作。
[0236] 如上所述,第二修改例的信息处理装置200包括传感器信息分析单元210、窄范围高分辨率地图累积单元220A(第一地图累积单元)和宽范围低分辨率地图累积单元220B(第二地图累积单元)。
[0237] 此外,由第二修改例的信息处理装置200执行的信息处理方法包括获取传感器信息的步骤S100、创建地图基础数据的步骤S200、更新窄范围高分辨率环境地图的步骤S311、以及更新宽范围低分辨率环境地图的步骤S321。
[0238] 通过上述第二修改例的信息处理装置200,可以减少处理负担或存储器使用,并且在窄范围高分辨率环境地图500A与宽范围低分辨率环境地图500B之间迅速切换。
[0239] 注意,第二修改例的信息处理装置200既不包括窄范围高分辨率地图分析单元230A,也不包括宽范围低分辨率地图分析单元230B,但是本公开内容的信息处理装置200可以包括窄范围高分辨率地图分析单元230A或宽范围低分辨率地图分析单元230B。
[0240] 注意,在移动体100中,接近其自身的区域中的信息在许多情况下是最重要的,并且因此,优选的是尽可能详细地掌握接近其自身的区域中的环境信息。此外,如上所述,在宽范围低分辨率环境地图500B中,通过使用窄范围高分辨率环境地图500A中的环境信息来更新其中与窄范围高分辨率环境地图500A交叠的空间的区域。从这个度,信息处理装置200优选地包括窄范围高分辨率地图分析单元230A。
[0241] (第三修改例)
[0242] 图15是示出根据第三修改例的信息处理装置200的配置的示例的框图。
[0243] 第三修改例的信息处理装置200与本实施方式的信息处理装置200的不同之处在于使用具有不同水平的分辨率的三个环境地图500。换言之,第三修改例的信息处理装置200与本实施方式的信息处理装置200的不同之处在于,除了窄范围高分辨率环境地图500A和宽范围低分辨率环境地图500B之外,装置还保持中范围中分辨率环境地图。
[0244] 这里,术语“中范围中分辨率”意指与窄范围高分辨率相比更宽的范围和更低的分辨率,并且与宽范围低分辨率相比更窄的范围和更高的分辨率。
[0245] 第三修改例的信息处理装置200还包括中范围中分辨率地图累积单元220C和中范围中分辨率地图分析单元230C。
[0246] 除了窄范围高分辨率地图基础数据550A和宽范围低分辨率地图基础数据550B之外,第三修改例的传感器信息分析单元210还创建中范围中分辨率地图基础数据550。
[0247] 第三修改例的中范围中分辨率地图累积单元220C基于窄范围高分辨率环境地图500A的数据和中范围中分辨率地图基础数据550来更新中范围中分辨率环境地图500。
[0248] 第三修改例的中范围中分辨率地图分析单元230C分析中范围中分辨率地图累积单元220C中保持的中范围中分辨率环境地图500,并且补偿中范围中分辨率环境地图500中环境信息的缺失部分。
[0249] 第三修改例的宽范围低分辨率地图累积单元220B基于中范围中分辨率环境地图500的数据和宽范围低分辨率地图基础数据550B来更新宽范围低分辨率环境地图500B。
[0250] 在准备动作计划时,第三修改例的动作计划单元240根据情形选择窄范围高分辨率环境地图500A、中范围中分辨率环境地图500和宽范围低分辨率环境地图500B中之一。
[0251] 更具体地,动作计划单元240首先基于宽范围低分辨率环境地图500B来准备动作计划。然后,当确定需要更精确的动作计划时,动作计划单元240基于中范围中分辨率环境地图500来准备动作计划。然后,当确定需要甚至更精确的动作计划时,动作计划单元240基于窄范围高分辨率环境地图500A来准备动作计划。
[0252] 这里,取决于动作计划所需的精度,可以在准备了基于宽范围低分辨率环境地图500B的动作计划之后直接准备基于窄范围高分辨率环境地图500A的动作计划,而无需准备基于中范围中分辨率环境地图500的动作计划。
[0253] 第三修改例的信息处理装置200的其他部件类似于本实施方式的信息处理装置200的上述部件。此外,除了使用具有不同水平的分辨率的三个环境地图500之外,第三修改例的信息处理装置200的操作类似于本实施方式的信息处理装置200的上述操作。
[0254] 如上所述,第三修改例的信息处理装置200使用具有不同水平的分辨率的三个环境地图500。通过上述第三修改例的信息处理装置200,可以准备更适合于情形的动作计划。注意,本公开内容的信息处理装置200可以使用具有不同水平的分辨率的四个或更多个环境地图500。
[0255] (第四修改例)
[0256] 图16是示出根据第四修改例的信息处理装置200的配置的示例的框图。
[0257] 第四修改例的信息处理装置200与本实施方式的信息处理装置200的不同之处在于装置被设置在移动体100外部。
[0258] 第四修改例的信息处理装置200的其他部件类似于本实施方式的信息处理装置200的上述部件。此外,第四修改例的信息处理装置200的操作类似于本实施方式的信息处理装置200的上述操作。
[0259] 如上所述,本公开内容的信息处理装置200可以被设置在移动体100外部。
[0260] <4.硬件配置的示例>
[0261] 接下来,将描述信息处理装置200的硬件配置的示例。
[0262] 图17是示出信息处理装置200的硬件配置的示例的框图。
[0263] 信息处理装置200包括计算机设备900。
[0264] 计算机设备900包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903、记录介质904、总线905、输入/输出接口906和通信接口907。
[0265] CPU 901包括例如诸如微处理器的处理器,并且执行记录在ROM 902和记录介质904中的计算机程序。计算机程序是实现信息处理装置200的上述功能部件中的每一个的程序。计算机程序可以由多个程序和脚本的组合而不是一个程序实现。当CPU 901执行计算机程序时,实现信息处理装置200的功能部件中的每一个。
[0266] ROM 902在其中存储控制数据等,例如要由CPU 901使用的计算机程序和计算参数。
[0267] RAM 903在其中临时存储由CPU 901执行的计算机程序、正在使用的数据等。
[0268] 记录介质904例如包括诸如硬盘驱动器(HDD)的磁存储设备、诸如固态驱动器(SSD)的半导体存储设备、光学存储设备、磁光存储设备等,并且在其中存储由CPU 901执行的计算机程序和各种数据。记录介质904可以是外部记录介质(可移除介质),例如磁盘、光盘、磁光盘或半导体存储器例如存储卡、因特网上的服务器等。
[0269] 总线905是用于将CPU 901、ROM 902、RAM 903、记录介质904、通信接口906和输入/输出接口907彼此连接的电路
[0270] 通信接口906是用于执行至/来自外部装置的有线或无线通信的电路。通信接口906连接至移动体100的传感器单元300和驱动单元400。然后,通信接口906执行与来自传感器单元300的传感器信息有关的通信以及与用于驱动驱动单元400的信号有关的通信。
[0271] 输入/输出接口907是用于连接至诸如各种开关键盘鼠标和麦克的输入设备以及诸如显示器和扬声器的输出设备的电路。
[0272] 注意,计算机程序可以被预先安装在计算机设备900中,或者可以被存储在诸如CD‑ROM的存储介质中。此外,可以将计算机程序上传在因特网上。
[0273] 此外,信息处理装置200可以包括单个计算机设备900,或者可以被配置为包括彼此连接的多个计算机设备900的系统。
[0274] <5.对车辆控制系统的应用的示例>
[0275] 接下来,将描述本公开内容的信息处理装置200对车辆控制系统11的应用的示例。
[0276] 图18是示出车辆控制系统11的配置的示例的框图,该车辆控制系统是应用本公开内容的技术的移动装置系统的示例。
[0277] 车辆控制系统11被设置在车辆1中,并且执行与车辆1的行驶辅助和自动驾驶有关的处理。
[0278] 车辆控制系统11包括车辆控制电子控制单元(ECU)21、通信单元22、地图信息累积单元23、位置信息获取单元24、外部识别传感器25、车载传感器26、车辆传感器27、存储单元28、行驶辅助/自动驾驶控制单元29、驾驶员监视系统(DMS)30、人机接口(HMI)31和车辆控制单元32。
[0279] 车辆控制ECU 21、通信单元22、地图信息累积单元23、位置信息获取单元24、外部识别传感器25、车载传感器26、车辆传感器27、存储单元28、行驶辅助/自动驾驶控制单元29、驾驶员监视系统(DMS)30、人机接口(HMI)31和车辆控制单元32经由通信网络41彼此可通信地连接。通信网络41例如包括符合任何数字双向通信标准的车载通信网络、总线等,所述任何数字双向通信标准是例如控制器区域网络(CAN)、局域互连网络(LIN)、局域网(LAN)、FlexRay(注册商标)、以太网(注册商标)等。可以取决于要发送的数据的类型选择性地使用通信网络41。例如,可以将CAN应用于与车辆控制有关的数据,而可以将以太网应用于大容量数据。注意,车辆控制系统11的每个单元例如可以通过诸如近场通信(NFC)或蓝牙(注册商标)的针对相对短距离通信的无线通信直接连接,而无需通信网络41的介入。
[0280] 注意,关于车辆控制系统11的每个单元之间经由通信网络41的通信,将省略对通信网络41的描述。例如,在车辆控制ECU 21和通信单元22经由通信网络41执行通信的情况下,将简单地描述车辆控制ECU 21和通信单元22执行通信。
[0281] 例如,车辆控制ECU 21包括各种处理器,例如中央处理单元(CPU)和微处理单元(MPU)。车辆控制ECU 21控制车辆控制系统11的功能的全部或一部分。
[0282] 通信单元22执行至/来自车辆内部和外部的各种设备、另一车辆、服务器、基站等的通信,并且发送和接收各种数据。此时,通信单元22可以使用多种通信方法执行通信。
[0283] 将示意性地描述能够在通信单元22与车辆外部之间执行的通信。通信单元22经由基站或接入点,例如通过诸如第五代移动通信系统(5G)、长期演进(LTE)、专用短程通信(DSRC)等的无线通信方法,进行至/来自存在于外部网络上的服务器(在下文中,被称为外部服务器)等的通信。通信单元22在其上执行通信的外部网络例如是因特网、云网络、公司专用网络等。在通信单元22与外部网络之间执行的通信方法不限于任何特定的方法,所述方法是能够在彼此相距预定距离或更长的物体之间并且以预定速度或更高的通信速度进行数字双向通信的无线通信方法。
[0284] 此外,例如,通信单元22可以使用对等(P2P)技术进行至/来自在本车辆附近设置的终端的通信。在本车辆附近设置的终端例如是由诸如行人或自行车的以相对低速度移动的移动体穿戴的终端、安装在商店等中的固定位置处的终端或机器类型通信(MTC)终端。此外,通信单元22还可以执行V2X通信。例如,V2X通信是指本车辆与另一物体之间的通信,例如本车辆与另一车辆之间的通信(车辆对车辆)、本车辆与路边机器之间的通信(车辆对基础设施)、本车辆与家庭之间的通信(车辆对家庭)、或本车辆与由行人携带的终端之间的通信(车辆对行人)。
[0285] 例如,通信单元22可以从外部(通过空中传输)接收用于更新控制车辆控制系统11的操作的软件的程序。通信单元22还可以从外部接收地图信息、交通信息、关于车辆1的周围环境的信息等。此外,例如,通信单元22还可以向外部发送关于车辆1的信息、关于车辆1的周围环境的信息等。由通信单元22向外部发送的关于车辆1的信息的的示例例如包括指示车辆1的状态的数据、由识别单元73执行的识别的结果等。此外,例如,通信单元22执行适于诸如eCall的车辆紧急呼叫系统的通信。
[0286] 例如,通信单元22接收由诸如无线电波信标、光信标或FM多路广播的道路交通信息通信系统(车辆信息和通信系统(VICS),注册商标)发送的电磁波
[0287] 将示意性地描述能够在通信单元22与车辆内部之间执行的通信。通信单元22可以使用例如无线通信进行至/来自车辆中的每个设备的通信。例如,通信单元22可以通过能够使用诸如无线LAN、蓝牙、NFC或无线USB(WUSB)的无线通信以预定通信速度或更高的通信速度进行数字双向通信的通信方法,执行至/来自车载设备的无线通信。除此之外,通信单元22还可以使用有线通信进行至/来自车辆中的每个设备的通信。例如,通信单元22可以通过经由连接至未示出的连接端子的线缆的有线通信进行至/来自车辆中的每个设备的通信。
通信单元22可以通过能够使用诸如通用串行总线(USB)、高清晰度多媒体接口(HDMI)(注册商标)或移动高清晰度链路(MHL)的有线通信以预定通信速度或更高的通信速度进行数字双向通信的通信方法进行至/来自车辆中的每个设备的通信。
[0288] 这里,车载设备例如是指在车辆中未连接至通信网络41的设备。作为车载设备,例如,可以考虑由诸如驾驶员的乘员携带的移动装置或可穿戴设备、携带到车辆上并临时安装的信息设备等。
[0289] 地图信息累积单元23在其中累积从外部获取的地图和在车辆1中创建的地图中的一者或两者。例如,地图信息累积单元23在其中累积三维高精度地图、精度低于高精度地图并且覆盖宽区域的全局地图等。
[0290] 高精度地图例如是动态地图、点云图、矢量图等。动态地图例如是包括动态信息、半动态信息、半静态信息和静态信息四个层的地图,并且从外部服务器等提供给车辆1。点云地图是包括点云(点云数据)的地图。矢量地图例如是其中诸如车道和交通灯的位置的交通信息与点云地图相关联并适于高级驾驶员辅助系统(ADAS)或自动驾驶(AD)的地图。
[0291] 点云地图和矢量地图可以从例如外部服务器等提供,或者可以在车辆1中基于通过相机51、雷达52、LiDAR 53等的感测的结果创建为用于执行与稍后描述的局部地图的匹配的地图,并且可以在地图信息累积单元23中累积。此外,在从外部服务器等提供高精度地图的情况下,例如,从外部服务器等获取关于车辆1未来将行进的计划路径的几百平方米的地图数据,以减少通信容量。
[0292] 位置信息获取单元24接收来自全球导航卫星系统(GNSS)卫星的GNSS信号,并且获取关于车辆1的位置信息。获取的位置信息被提供给行驶辅助/自动驾驶控制单元29。注意,位置信息获取单元24不限于使用GNSS信号的方法,并且可以使用例如信标获取位置信息。
[0293] 外部识别传感器25包括用于识别车辆1的外部情形的各种传感器,并且将来自每个传感器的传感器数据提供给车辆控制系统11的每个单元。外部识别传感器25中包括的传感器的类型和数目是随机选择的。
[0294] 例如,外部识别传感器25包括相机51、雷达52、光检测和测距或激光成像检测和测距传感器(LiDAR)53、以及超声波传感器54。除此之外,外部识别传感器25还可以包括相机51、雷达52、LiDAR 53和超声波传感器54中的一种或更多种类型的传感器。相机51、雷达52、LiDAR 53和超声波传感器54的数目不限于实际可以安装在车辆1中的任何特定数目。此外,外部识别传感器25中包括的传感器的类型不限于该示例中的传感器的类型,并且外部识别传感器25可以包括另一类型的传感器。稍后将描述外部识别传感器25中包括的每个传感器的感测区的示例。
[0295] 注意,相机51的成像方法不限于任何特定方法。例如,可以根据需要将诸如飞行时间(ToF)相机、立体相机、单目相机和红外相机的执行能够测距的各种成像方法的相机应用于相机51。除此之外,相机51还可以是不考虑测距的仅获取捕获图像的相机。
[0296] 此外,例如,外部识别传感器25可以包括用于检测车辆1的环境的环境传感器。环境传感器是用于检测诸如天气、气候和亮度的环境的传感器,并且例如可以包括诸如雨滴传感器、雾传感器、阳光传感器、传感器和照度传感器的各种传感器。
[0297] 此外,例如,外部识别传感器25包括用于检测车辆1周围的声音、声源的位置等的麦克风。
[0298] 车载传感器26包括用于检测车辆内部的信息的各种传感器,并且将来自每个传感器的传感器数据提供给车辆控制系统11的每个单元。车载传感器26中包括的各种传感器的类型和数目不限于实际可以安装在车辆1中的任何特定类型或数目。
[0299] 例如,车载传感器26可以包括相机、雷达、就座传感器、方向盘传感器、麦克风和生物传感器中的一种或更多种类型的传感器。例如,作为车载传感器26中包括的相机,可以使用诸如ToF相机、立体相机、单目相机和红外相机的执行能够测距的各种成像方法的相机。除此以外,车载传感器26中包括的相机还可以是不考虑测距的仅获取捕获图像的相机。车载传感器26中包括的生物传感器被设置在例如座椅、方向盘等上,并且检测关于诸如驾驶员的乘员的各种生物信息。
[0300] 车辆传感器27包括用于检测车辆1的状态的各种传感器,并且将来自每个传感器的传感器数据提供给车辆控制系统11的每个单元。车辆传感器27中包括的各种传感器的类型和数目不限于实际可以安装在车辆1中的任何特定类型或数目。
[0301] 例如,车辆传感器27包括速度传感器、加速度传感器、角速度传感器(陀螺仪传感器)和集成有这些传感器的惯性测量单元(IMU)。例如,车辆传感器27包括检测方向盘的转向角的转向角传感器、横摆率传感器、检测加速器踏板的操作量的加速器传感器以及检测制动踏板的操作量的制动传感器。例如,车辆传感器27包括检测发动机或马达的旋转次数的旋转传感器、检测轮胎的气压的气压传感器、检测轮胎的滑移比率的滑移比率传感器以及检测车轮的旋转速度的车轮速度传感器。例如,车辆传感器27包括检测电池的剩余电池电力和温度的电池传感器以及检测外部冲击的冲击传感器。
[0302] 存储单元28包括非易失性存储介质或易失性存储介质中的至少之一,并且在其中存储数据和程序。例如,存储单元28用作电可擦除可编程只读存储器(EEPROM)和随机存取存储器(RAM),并且作为存储介质,可以应用诸如硬盘驱动器(HDD)的磁存储设备、半导体存储设备、光学存储设备和磁光存储设备。存储单元28在其中存储由车辆控制系统11的每个单元使用的各种程序和数据。例如,存储单元28包括事件数据记录器(EDR)和用于自动驾驶的数据存储系统(DSSAD),并且在其中存储关于诸如事故的事件之前和之后的车辆1的信息以及由车载传感器26获取的信息。
[0303] 行驶辅助/自动驾驶控制单元29控制车辆1的行驶辅助和自动驾驶。例如,行驶辅助/自动驾驶控制单元29包括分析单元61、动作计划单元62和操作控制单元63。
[0304] 分析单元61执行分析车辆1和周围环境的情形的过程。分析单元61包括自身位置估计单元71、传感器融合单元72和识别单元73。
[0305] 自身位置估计单元71基于来自外部识别传感器25的传感器数据和在地图信息累积单元23中累积的高精度地图来估计车辆1的自身位置。例如,自身位置估计单元71基于来自外部识别传感器25的传感器数据来创建局部地图,并且执行局部地图与高精度地图之间的匹配以估计车辆1的自身位置。车辆1的位置例如基于后轮车轴的中心。
[0306] 局部地图例如是使用诸如同时定位和地图构建(SLAM)等的技术而创建的三维高精度地图、占用网格地图等。三维高精度地图例如是上述点云地图等。占用网格地图是如下地图,其中将车辆1周围的三维或二维空间划分成预定大小的网格,并且以网格为单位指示物体的占用状态。例如,由物体的存在或不存在或者存在概率指示物体的占用状态。局部地图例如还可以用于由识别单元73执行的检测和识别车辆1外部的情形的过程。
[0307] 注意,自身位置估计单元71可以基于由位置信息获取单元24获取的位置信息和来自车辆传感器27的传感器数据来估计车辆1的自身位置。
[0308] 传感器融合单元72执行组合多个不同种类的传感器数据(例如,从相机51提供的图像数据和从雷达52提供的传感器数据)以获取新信息的传感器融合过程。组合不同种类的传感器数据的方法包括整合、融合、关联等。
[0309] 识别单元73执行车辆1外部的情形的检测过程以及车辆1外部的情形的识别过程。
[0310] 例如,识别单元73基于来自外部识别传感器25的信息、来自自身位置估计单元71的信息、来自传感器融合单元72的信息等来执行车辆1外部的情形的检测过程和识别过程。
[0311] 具体地,例如,识别单元73执行车辆1周围的物体的检测过程和识别过程等。物体的检测过程是检测物体的存在或不存在、大小、形状、位置、运动等的过程。物体的识别过程例如是识别诸如物体的类型的属性或识别特定物体的过程。然而,检测过程和识别过程不一定被清楚地区分开,并且可以交叠。
[0312] 例如,识别单元73通过执行聚类来检测车辆1周围的物体,在聚类中,基于来自雷达52、LiDAR 53等的传感器数据的点云被分类成点云的簇。因此,检测车辆1周围的物体的存在或不存在、大小、形状和位置。
[0313] 例如,识别单元73通过执行用于跟踪通过聚类进行分类的点云的簇的运动的跟踪来检测车辆1周围的物体的运动。因此,检测车辆1周围的物体的速度和行进方向(运动矢量)。
[0314] 例如,识别单元73可以基于从相机51提供的图像数据来检测或识别车辆、人员、自行车、障碍物、结构体、道路、交通灯、交通标志、道路标志等。此外,识别单元73可以通过执行诸如语义分割的识别过程来识别车辆1周围的物体的类别。
[0315] 例如,识别单元73可以基于在地图信息累积单元23中累积的地图、从自身位置估计单元71提供的自身位置的估计的结果、以及从识别单元73提供的车辆1周围的物体的识别的结果,来执行识别车辆1周围的交通规则的过程。通过该过程,识别单元73可以识别交通灯的位置和状态、交通标志和道路标志的内容、交通管制的内容、可行驶车道等。
[0316] 例如,识别单元73可以执行识别车辆1的周围环境的过程。作为要由识别单元73识别的周围环境,可以考虑天气、温度、湿度、亮度、道路表面的状态等。
[0317] 动作计划单元62准备车辆1的动作计划。例如,动作计划单元62执行全局路径计划和路径跟踪的过程以准备动作计划。
[0318] 注意,全局路径计划是计划从起点到目标的粗略路径的过程。路径计划包括执行被称为轨迹计划的局部路径计划的过程,该轨迹计划考虑到车辆1在计划路径中的运动特性,实现在车辆1附近的安全平稳行驶。
[0319] 路径跟踪是计划用于在计划时间内沿通过全局路径计划计划的路径的安全且准确的行驶的操作的过程。例如,动作计划单元62可以基于路径跟踪的过程的结果来计算车辆1的期望速度和期望角速度。
[0320] 操作控制单元63控制车辆1的操作,以实现由动作计划单元62准备的动作计划。
[0321] 例如,操作控制单元63控制稍后描述的车辆控制单元32中包括的转向控制单元81、制动控制单元82和驱动控制单元83以控制加速/减速和方向,使得车辆1在通过轨迹计划计算的轨迹上行驶。例如,操作控制单元63为了实现例如碰撞避免或冲击减轻、跟随行驶、车速保持行驶、自身车辆的碰撞警告、自身车辆的车道偏离警告等的ADAS的功能而执行协调控制。例如,操作控制单元63出于其中车辆自主地行驶而不依赖于驾驶员的操作的自动驾驶等的目的而执行协调控制。
[0322] DMS 30基于来自车载传感器26的传感器数据、输入至稍后描述的HMI 31的输入数据等来执行认证驾驶员的过程、识别驾驶员的状况的过程等。作为要识别的驾驶员的状况,例如,可以考虑了身体状况、清醒度、集中度、疲劳度、视线方向、醉酒度、驾驶操作、姿势等。
[0323] 注意,DMS 30可以执行认证除了驾驶员之外的乘员的过程以及识别乘员的状况的过程。此外,例如,DMS 30可以基于来自车载传感器26的传感器数据来执行识别车辆内部的情形的过程。作为要识别的车辆内部的情形,例如,可以考虑温度、湿度、亮度、气味等。
[0324] HMI 31接收各种数据、指令等,并且将各种数据呈现给驱动器等。
[0325] 将示意性地描述在HMI 31中的数据的输入。HMI 31包括供人输入数据的输入设备。HMI 31基于使用输入设备输入的数据、指令等来生成输入信号,并且将输入信号提供给车辆控制系统11的每个单元。HMI 31例如包括诸如触摸面板、按钮、开关和操纵杆的操作单元作为输入设备。除此之外,HMI 31还可以包括除了手动操作之外还能够通过使用语音、姿势等的方法输入信息的输入设备。此外,HMI 31可以使用例如使用红外线或无线电波的远程控制设备或者诸如适于车辆控制系统11的操作的移动设备或可穿戴设备的外部连接设备作为输入设备。
[0326] 将示意性地描述通过HMI 31的数据的呈现。HMI 31生成关于乘员或车辆外部的视觉信息、听觉信息和触觉信息。此外,HMI 31执行用于控制每条生成信息的输出、输出内容、输出时间、输出方法等的输出控制。例如,HMI 31生成并输出由图像或灯指示的信息例如操作画面、车辆1的状况指示器、警告指示器、示出车辆1周围的情形的监视图像作为视觉信息。此外,HMI 31生成并输出由声音指示的信息例如语音引导、警告声音和警告消息作为听觉信息。此外,HMI 31生成并输出通过力、振动、运动等给予乘员触感的信息作为触觉信息。
[0327] 作为HMI 31通过其输出视觉信息的输出设备,例如,可以应用自身显示图像以呈现视觉信息的显示设备或投影图像以呈现视觉信息的投影仪设备。注意,例如,除了具有普通显示器的显示设备之外,显示设备可以是在乘员的视野中显示视觉信息的设备,例如平视显示器、透射式显示器或具有增强现实(AR)功能的可穿戴设备。此外,HMI 31可以使用车辆1中设置的导航设备、仪表板、相机监视系统(CMS)、电子镜、灯等中包括的显示设备作为输出视觉信息的输出设备。
[0328] 作为HMI 31通过其输出听觉信息的输出设备,例如可以应用音频扬声器、头戴式机或耳机。
[0329] 作为HMI 31通过其输出触觉信息的输出设备,例如可以应用使用触觉技术的触觉元件。触觉元件例如设置在由车辆1的乘员触摸的部分例如方向盘或座椅。
[0330] 车辆控制单元32控制车辆1的每个单元。车辆控制单元32包括转向控制单元81、制动控制单元82、驱动控制单元83、车身系统控制单元84、灯控制单元85和喇叭控制单元86。
[0331] 转向控制单元81执行对车辆1的转向系统的状态的检测、控制等。转向系统包括例如包括方向盘等的转向机构、电动助力转向器等。转向控制单元81包括例如控制转向系统的转向ECU、驱动转向系统的致动器等。
[0332] 制动控制单元82执行对车辆1的制动系统的状态的检测、控制等。制动系统包括例如包括制动踏板等的制动机构、防抱死制动系统(ABS)、再生制动系统等。制动控制单元82包括例如控制制动系统的制动ECU、驱动制动系统的致动器等。
[0333] 驱动控制单元83执行对车辆1的驱动系统的状态的检测、控制等。驱动系统包括例如用于生成加速器踏板、内燃机、驱动马达等的驱动力的驱动力生成设备,用于将驱动力传递给车轮的驱动力传递机构等。驱动控制单元83包括例如控制驱动系统的驱动ECU、驱动驱动系统的致动器等。
[0334] 车身系统控制单元84执行对车辆1的车身系统的状态的检测、控制等。车身系统包括例如无钥匙进入系统、智能钥匙系统、电动车窗设备、电动座椅、空调、安全气囊、安全带、换档杆等。车身系统控制单元84包括例如控制车身系统的车身系统ECU、驱动车身系统的致动器等。
[0335] 灯控制单元85执行对车辆1的各种灯的状态的检测、控制等。作为要控制的灯,例如可以考虑前灯、后灯、雾灯转向灯刹车灯、投影灯、保险杠指示器等。灯控制单元85包括控制灯的灯ECU、驱动灯的致动器等。
[0336] 喇叭控制单元86执行对车辆1的汽车喇叭的状态的检测、控制等。喇叭控制单元86包括例如控制汽车喇叭的喇叭ECU、驱动汽车喇叭的致动器等。
[0337] 图19是示出要由图18中的外部识别传感器25的相机51、雷达52、LiDAR 53、超声波传感器54等感测的感测区的示例的视图。注意,图2示意性地示出了从上方观察的车辆1,其中左端侧是车辆1的前端(前)侧,并且右端侧是车辆1的后端(后)侧。
[0338] 感测区101F和感测区101B是超声波传感器54的感测区的示例。感测区101F通过多个超声波传感器54覆盖车辆1的前端的周边。感测区101B通过多个超声波传感器54覆盖车辆1的后端的周边。
[0339] 感测区101F和感测区101B中的感测的结果用于例如车辆1的停车辅助等。
[0340] 感测区102F至感测区102B是用于短范围或中范围的雷达52的感测区的示例。感测区102F覆盖车辆1前方的比感测区101F更远的位置。感测区102B覆盖车辆1后方的比感测区101B更远的位置。感测区102L覆盖车辆1的左侧表面的后部的周边。感测区102R覆盖车辆1的右侧表面的后部的周边。
[0341] 感测区102F中的感测的结果例如用于存在于车辆1前方的车辆、行人等的检测等。感测区102B中感测的结果用于例如车辆1后方的防碰撞功能等。感测区102L和102R中感测的结果用于对处于车辆1的侧上的盲点处的物体的检测等。
[0342] 感测区103F至感测区103B是要由相机51感测的感测区的示例。感测区103F覆盖车辆1前方的比感测区102F更远的位置。感测区103B覆盖车辆1后方的比感测区102B更远的位置。感测区103L覆盖车辆1的左侧表面的周边。感测区103R覆盖车辆1的右侧表面的周边。
[0343] 感测区103F中感测的结果可以用于例如对交通灯或交通标志的识别、车道偏离防止辅助系统和自动前灯控制系统。感测区103B中感测的结果可以用于例如停车辅助和环绕视图系统。感测区103L和感测区103R中感测的结果可以用于例如环绕视图系统。
[0344] 感测区104是LiDAR 53的感测区的示例。感测区104覆盖车辆1前方的比感测区103F更远的位置。同时,感测区104的横向范围比感测区103F的横向范围窄。
[0345] 感测区104中感测的结果可以用于例如对诸如邻近车辆的物体的检测。
[0346] 感测区105是用于长范围的雷达52的感测区的示例。感测区105覆盖车辆1前方的比感测区104更远的位置。同时,感测区105的横向范围比感测区104的横向范围窄。
[0347] 感测区105中感测的结果可以用于自适应巡航控制(ACC)、紧急制动、碰撞避免等。
[0348] 注意,外部识别传感器25中包括的相机51、雷达52、LiDAR 53和超声波传感器54的各个传感器的感测区可以具有除了图2中的配置之外的各种配置。具体地,超声波传感器54还可以感测车辆1的侧面,或者LiDAR 53可以感测车辆1的后方。此外,每个传感器的设置位置不限于上述每个示例中的设置位置。此外,传感器的数目可以是一个或更多个。
[0349] 本公开内容的信息处理装置200如下应用于上述车辆控制系统11。
[0350] 作为前提,上述车辆1对应于本公开内容的移动体100。此外,车辆控制系统11的外部识别传感器25对应于本公开内容的传感器单元300。此外,车辆控制系统11的车辆控制单元32对应于本公开内容的驱动单元400。
[0351] 然后,车辆控制系统11的地图信息累积单元23具有与本公开内容的地图累积单元220、220A和220B的配置相同的配置。此外,车辆控制系统11的分析单元61具有与本公开内容的传感器信息分析单元210和地图分析单元230、230A和230B的配置相同的配置。此外,车辆控制系统11的动作计划单元62具有与本公开内容的动作计划单元240的配置相同的配置。此外,车辆控制系统11的操作控制单元63具有与本公开内容的操作控制单元250的配置相同的配置。
[0352] 因此,车辆控制系统11包括信息处理装置200。
[0353] 通过上述车辆控制系统11,可以在环境地图500中记录详细信息,在窄范围高分辨率环境地图500A与宽范围低分辨率环境地图500B之间迅速切换,同时减少处理负担或存储器使用,并且减少移动体100中布置的传感器310的数目。
[0354] <6.结论>
[0355] 上面描述了本公开内容的实施方式的示例,但是本公开内容可以以各种其他形式实现。例如,在不脱离本公开内容的主旨的情况下,可以进行各种修改、替换、省略或其组合。其中进行这样的修改、替换、省略等的形式也被包括在本公开内容的范围内,并且同样被包括在权利要求中描述的发明及其等同范围内。
[0356] 此外,本说明书中描述的本公开内容的效果仅是示例,并且可以提供其他效果。
[0357] 注意,本公开内容还可以具有以下配置。
[0358] [项1]
[0359] 一种信息处理装置,包括:
[0360] 传感器信息分析单元,其被配置成分析传感器信息并且创建地图基础数据,所述地图基础数据是用于更新包括环境信息的环境地图的数据;
[0361] 地图累积单元,其被配置成保持所述环境地图并且基于所述地图基础数据来更新所述环境地图;以及
[0362] 地图分析单元,其被配置成分析所述环境地图并且补偿或校正所述环境地图中的所述环境信息。
[0363] [项2]
[0364] 根据项1所述的信息处理装置,其中,
[0365] 所述地图分析单元补偿所述环境地图中所述环境信息的缺失部分。
[0366] [项3]
[0367] 根据项2所述的信息处理装置,其中,
[0368] 所述地图分析单元通过评估另一种环境信息的连续性来估计预定种类的环境信息的缺失部分的内容,并且提供所估计的内容作为对所述缺失部分的补偿。
[0369] [项4]
[0370] 根据项2或项3所述的信息处理装置,其中,
[0371] 所述地图分析单元以其中能够标识出由所述地图分析单元补偿的所述环境信息的形式补偿所述环境信息的缺失部分。
[0372] [项5]
[0373] 根据项1至项4中任一项所述的信息处理装置,其中,
[0374] 所述传感器信息分析单元创建具有第一范围和第一分辨率的第一地图基础数据以及具有比所述第一范围宽的第二范围和比所述第一分辨率低的第二分辨率的第二地图基础数据,
[0375] 所述地图累积单元包括第一地图累积单元和第二地图累积单元,所述第一地图累积单元被配置成基于所述第一地图基础数据来更新具有第三范围和所述第一分辨率的第一环境地图,所述第二地图累积单元被配置成基于所述第二地图基础数据来更新具有比所述第三范围宽的第四范围和所述第二分辨率的第二环境地图,并且
[0376] 所述地图分析单元分析至少所述第一环境地图或所述第二环境地图,并且补偿或校正所分析的环境地图中的环境信息。
[0377] [项6]
[0378] 一种信息处理装置,包括:
[0379] 传感器信息分析单元,其被配置成分析传感器信息并且创建地图基础数据,所述地图基础数据是用于更新包括环境信息的环境地图的数据;以及
[0380] 地图累积单元,其被配置成保持所述环境地图并且基于所述地图基础数据来更新所述环境地图,其中,
[0381] 所述传感器信息分析单元创建具有第一范围和第一分辨率的第一地图基础数据以及具有比所述第一范围宽的第二范围和比所述第一分辨率低的第二分辨率的第二地图基础数据,并且
[0382] 所述地图累积单元包括第一地图累积单元和第二地图累积单元,所述第一地图累积单元被配置成基于所述第一地图基础数据来更新具有第三范围和所述第一分辨率的第一环境地图,所述第二地图累积单元被配置成基于所述第二地图基础数据来更新具有比所述第三范围宽的第四范围和所述第二分辨率的第二环境地图。
[0383] [项7]
[0384] 根据项6所述的信息处理装置,其中,
[0385] 所述第二地图基础数据不包括与所述第一地图基础数据交叠的区域中的数据的至少一部分,并且
[0386] 所述第二地图累积单元基于所述第一环境地图中的环境信息和所述第二地图基础数据来更新所述第二环境地图。
[0387] [项8]
[0388] 根据项6或项7所述的信息处理装置,还包括
[0389] 动作计划单元,其被配置成准备移动体的动作计划,其中,
[0390] 所述动作计划单元根据情形选择所述第一环境地图和所述第二环境地图中之一,并且基于所选择的环境地图来准备所述动作计划。
[0391] [项9]
[0392] 根据项8所述的信息处理装置,其中,
[0393] 所述动作计划单元基于所述第二环境地图来准备所述动作计划,并且在确定需要更精确的动作计划的情况下基于所述第一环境地图来准备所述动作计划。
[0394] [项10]
[0395] 根据项6至项9中任一项所述的信息处理装置,还包括
[0396] 地图分析单元,其被配置成分析至少所述第一环境地图或所述第二环境地图,并且补偿或校正所分析的环境地图中的环境信息。
[0397] [项11]
[0398] 一种信息处理方法,包括:
[0399] 获取传感器信息的步骤;
[0400] 分析所述传感器信息并且创建地图基础数据的步骤,所述地图基础数据是用于更新包括环境信息的环境地图的数据;
[0401] 基于所述地图基础数据来更新所述环境地图的步骤;以及
[0402] 分析所述环境地图以补偿或校正所述环境地图中的所述环境信息的步骤。
[0403] [项12]
[0404] 一种信息处理方法,包括:
[0405] 获取传感器信息的步骤;
[0406] 分析所述传感器信息并且创建地图基础数据的步骤,所述地图基础数据是用于更新包括环境信息的环境地图的数据;以及
[0407] 基于所述地图基础数据来更新所述环境地图的步骤,其中,
[0408] 所述创建地图基础数据的步骤包括创建具有第一范围和第一分辨率的第一地图基础数据的步骤,以及创建具有比所述第一范围宽的第二范围和比所述第一分辨率低的第二分辨率的第二地图基础数据的步骤,并且
[0409] 所述更新所述环境地图的步骤包括基于所述第一地图基础数据来更新具有第三范围和所述第一分辨率的第一环境地图的步骤,以及基于所述第二地图基础数据来更新具有比所述第三范围宽的第四范围和所述第二分辨率的第二环境地图的步骤。
[0410] [项13]
[0411] 一种计算机程序,其使计算机执行以下步骤:
[0412] 获取传感器信息的步骤;
[0413] 分析所述传感器信息并且创建地图基础数据的步骤,所述地图基础数据是用于更新包括环境信息的环境地图的数据;
[0414] 基于所述地图基础数据来更新所述环境地图的步骤;以及
[0415] 分析所述环境地图以补偿或校正所述环境地图中的所述环境信息的步骤。
[0416] [项14]
[0417] 一种计算机程序,其使计算机执行以下步骤:
[0418] 获取传感器信息的步骤;
[0419] 分析所述传感器信息并且创建地图基础数据的步骤,所述地图基础数据是用于更新包括环境信息的环境地图的数据;以及
[0420] 基于所述地图基础数据来更新所述环境地图的步骤,其中,
[0421] 所述创建地图基础数据的步骤包括创建具有第一范围和第一分辨率的第一地图基础数据的步骤,以及创建具有比所述第一范围宽的第二范围和比所述第一分辨率低的第二分辨率的第二地图基础数据的步骤,并且
[0422] 所述更新所述环境地图的步骤包括基于所述第一地图基础数据来更新具有第三范围和所述第一分辨率的第一环境地图的步骤,以及基于所述第二地图基础数据来更新具有比所述第三范围宽的第四范围和所述第二分辨率的第二环境地图的步骤。
[0423] 附图标记列表
[0424] 100 移动体
[0425] 200 信息处理装置
[0426]     210 传感器信息分析单元
[0427]     215 传感器信息临时累积单元
[0428]     220 地图累积单元
[0429]         220A 窄范围高分辨率地图累积单元(第一地图累积单元)
[0430]         220B 宽范围低分辨率地图累积单元(第二地图累积单元)
[0431]         220C 中范围中分辨率地图累积单元
[0432]     225 数据转换单元
[0433]     230 地图分析单元
[0434]         230A 窄范围高分辨率地图分析单元(第一地图分析单元)
[0435]         230B 宽范围低分辨率地图分析单元(第二地图分析单元)
[0436]         230C 中范围中分辨率地图分析单元
[0437]     240 动作计划单元
[0438]     250 操作控制单元
[0439] 300 传感器单元
[0440]     310 传感器
[0441]         311 第一LiDAR
[0442]         312 第二LiDAR
[0443]         313 RGB相机
[0444]     320 传感器控制单元
[0445] 400 驱动单元
[0446] 500 环境地图
[0447]     500A 窄范围高分辨率环境地图(第一环境地图)
[0448]     500B 宽范围低分辨率环境地图(第二环境地图)
[0449] 510 体素
[0450] 550 地图基础数据
[0451]     550A 窄范围高分辨率地图基础数据(第一地图基础数据)
[0452]     550B 宽范围低分辨率地图基础数据(第二地图基础数据)
[0453] 610 斜坡
[0454] 620 障碍物
[0455] 900 计算机设备
[0456]     901 CPU
[0457]     902 ROM
[0458]     903 RAM
[0459]     904 磁记录介质
[0460]     905 总线
[0461]     906 通信接口
[0462]     907 输入/输出接口
QQ群二维码
意见反馈