首页 / 专利库 / 医疗设备 / 远程运动中心 / 一种智能驾驶训练系统

一种智能驾驶训练系统

阅读:392发布:2021-10-16

专利汇可以提供一种智能驾驶训练系统专利检索,专利查询,专利分析的服务。并且本 发明 涉及一种智能驾驶训练系统。包括车载智能训练子系统、 数据处理 子系统、运行管控子系统以及系统级数据通信子系统。车载智能训练子系统安装于实际机动车之上,用于对驾驶人进行交互式驾驶训练以及采集上报驾驶人训练过程数据;数据处理子系统对 基础 信息进行管理,用于接收、存储与处理车载智能训练子系统采集上报的训练过程数据;运行管控子系统对车辆被操作和运行状态进行实时监控,并根据实际情况对被监控车辆进行系统自动操控或人工远程操控;车载智能训练子系统通过系统级数据通信子系统与数据处理子系统以及运行管控子系统连接并实现双向信息互通。实现对驾驶人驾驶行为的监控、分析、评价、反馈与指导。,下面是一种智能驾驶训练系统专利的具体信息内容。

1.一种智能驾驶训练系统,其特征在于,包括车载智能训练子系统、数据处理子系统、运行管控子系统以及系统级数据通信子系统;
所述车载智能训练子系统安装于实际机动车之上,用于对驾驶人进行交互式驾驶训练以及采集上报驾驶人训练过程数据;
所述数据处理子系统对基础信息进行管理,用于接收、存储与处理所述车载智能训练子系统采集上报的训练过程数据;
所述运行管控子系统对车辆被操作和运行状态进行实时监控,并根据实际情况对被监控车辆进行系统自动操控或人工远程操控;
所述车载智能训练子系统通过系统级数据通信子系统与数据处理子系统以及运行管控子系统连接并实现双向信息互通。
2.根据权利要求1所述的一种智能驾驶训练系统,其特征在于,所述车载智能训练子系统包括多媒体3D虚拟现实人机交互,所述多媒体3D虚拟现实人机交互模块包括:
场景模型建立子模块,用于建立外部场地的场景三维数据模型;
车辆模型建立子模块,用于根据车辆参数建立车辆三维数据模型;
模型融合子模块,用于将所述车辆三维数据模型植入场景三维数据模型中;
位置获取子模块,用于通过GPS获取车辆在外部场地的位置信息,并根据所述位置信息获得所述车辆三维数据模型在场景三维数据模型中的空间位置;
显示子模块,用于显示车辆三维数据模型在场景三维数据模型中的空间位置。
3.根据权利要求2所述的一种智能驾驶训练系统,其特征在于,所述多媒体3D虚拟现实人机交互模块还包括视图场景构建子模块,用于通过虚拟可移动摄像机围绕车辆构建车辆的多个度的视图场景,并将所述多个角度的视图场景发送至显示子模块。
4.根据权利要求3所述的一种智能驾驶训练系统,其特征在于,所述多个角度的视图场景包括从车辆外部多角度观看车辆位置状态的视图场景以及从车辆内部的驾驶位置观看外部场地的视图场景。
5.根据权利要求4所述的一种智能驾驶训练系统,其特征在于,所述多媒体3D虚拟现实人机交互模块还包括教学子模块,用于预先录入训练项目及其训练内容的教学视频,并将所述教学视频发送至显示子模块。
6.根据权利要求5所述的一种智能驾驶训练系统,其特征在于,所述多媒体3D虚拟现实人机交互模块还包括特征获取子模块,用于获取外部场地中的库位标线、道路标线或特征点,并将所述库位标线、道路标线或特征点植入场景三维数据模型中,并发送给显示子模块加亮显示。
7.根据权利要求6所述的一种智能驾驶训练系统,其特征在于,所述多媒体3D虚拟现实人机交互模块还包括轨迹动态回放子模块,用于根据车辆三维数据模型在场景三维数据模型中的空间位置的变化情况绘制动态运动轨迹,并根据所述运动轨迹对车辆三维数据模型在场景三维数据模型中的行驶路线进行动态回放。
8.根据权利要求1至7任一项所述的一种智能驾驶训练系统,其特征在于,所述车载智能训练子系统还包括车辆位姿与轨迹感知模块;所述车辆位姿与轨迹感知模块,包括:
车辆坐标系建立子模块,用于建立车辆坐标系;
第一定位子模块,用于确定车辆预设点中每一个点分别在所述车辆坐标系中的坐标位置;以及获取所述车辆坐标系中的原点在场景坐标系中的相对坐标位置;
第二定位子模块,用于确定所述车头方向的偏航角度,其中,所述车头方向的偏航角度为所述车头方向偏离所述场景坐标系中预设的基准线的角度;
处理子模块,用于根据所述车辆预设点中除所述原点之外的每一个点在所述车辆坐标系中的坐标位置、所述车头方向的偏航角度以及所述原点在所述场景坐标系中的相对坐标位置,计算所述车辆预设点中除所述原点之外的每一个点,在所述场景坐标系中的相对坐标位置。
9.根据权利要求8所述的一种智能驾驶训练系统,其特征在于,所述第一定位子模块具体用于,接收车辆GPS天线发送的所述原点在所述场景坐标系中的相对坐标位置。
10.根据权利要求9所述的一种智能驾驶训练系统,其特征在于,所述处理子模块计算所述车辆预设点中除所述原点之外的第一点在所述场景坐标系中的相对坐标位置的公式如下:
X′=(x-x0)cos a-(y-y0)sin a+x0
Y′=(x-x0)sin a-(y-y0)cos a+y0
其中,X′为所述第一点在所述场景坐标系中的相对横坐标,x为所述第一点在所述车辆坐标系中的横坐标,x0为所述原点在所述场景坐标系中的相对横坐标,a为所述车头方向的偏航角度,Y′为所述第一点在所述场景坐标系中的相对纵坐标,y为所述第一点在所述车辆坐标系中的纵坐标,y0为所述原点在所述场景坐标系中的相对纵坐标,其中,所述第一点为所述车辆预设点中除所述原点之外的任意一点。
11.根据权利要求10所述的一种智能驾驶训练系统,其特征在于,所述车辆位姿与轨迹感知模块包括:至少一个第一定位子模块。
12.根据权利要求10所述的一种智能驾驶训练系统,其特征在于,所述车辆位姿与轨迹感知模块包括:至少一个第二定位子模块。
13.根据权利要求1至7、9至12任一项所述的一种智能驾驶训练系统,其特征在于,所述车载智能训练子系统还包括驾驶人头部位姿感知模块,所述驾驶人头部位姿感知模块用于通过摄像头获取驾驶人头部图像,通过对驾驶人头部识别标签的图像处理解算出驾驶人的头部位姿。
14.根据权利要求13所述的一种智能驾驶训练系统,其特征在于,所述驾驶人头部位姿感知模块包括:
位姿坐标系建立子模块,用于基于摄像头位置建立摄像头坐标系,基于目标物体旋转中心建立目标坐标系;
坐标位置获取子模块,用于根据预先设置在目标物体上的识别标签和目标物体的尺寸参数分别获得该识别标签在摄像头坐标系和目标坐标系中的坐标位置;
位置变化获取子模块,用于通过所述识别标签在摄像头坐标系和目标坐标系中的坐标位置获得目标物体在旋转过程中的位置变化参数;
旋转角度获取子模块,用于根据所述识别标签在旋转过程中的位置变化参数获得目标物体的角度变化参数,进而根据所述目标物体的角度变化参数获得目标物体的旋转角度。
15.根据权利要求14所述的一种智能驾驶训练系统,其特征在于,所述驾驶人头部位姿感知模块还包括动作识别子模块,用于根据目标物体在旋转过程中的位置变化参数以及目标物体的旋转角度,识别目标物体的动作状态。
16.根据权利要求15所述的一种智能驾驶训练系统,其特征在于,所述坐标位置获取子模块用于在目标坐标系中设定位置1、位置2和位置3,所述位置1、位置2和位置3处于同一平面,其中位置2与目标物体中心的连线与位置1和位置3与目标物体中心的连线所成的夹角均为α;识别标签分别处于位置1、位置2和位置3时,通过图像识别技术分别得到识别标签在摄像头坐标系中的位置 和 其中, 和 分别为识别标签在摄像头
坐标系中位置1、位置2和位置3的齐次坐标变换。
17.根据权利要求16所述的一种智能驾驶训练系统,其特征在于,所述坐标位置获取子模块还用于通过



获得识别标签在目标坐标系中的坐标位置;
其中, 和 分别为识别标签在目标坐标系中位置1、位置2和位置3的齐次坐标变换,Z为目标坐标系的Z轴,r0为目标半径,Trans(Z,r0)为识别标签坐标变换时沿着Z轴移动r0,Y为目标坐标系的轴,-α为识别标签由位置1移动到位置2时所旋转的角度,α为识别标签由位置3移动到位置2时所旋转的角度,R(Y,-α)为识别标签坐标变换时沿着Y轴旋转-α角度,R(Y,α)为识别标签坐标变换时沿着Y轴旋转α角度。
18.根据权利要求17所述的一种智能驾驶训练系统,其特征在于,所述位置变化获取子模块用于通过 计算获得目标物体在旋转过程中的位置变
化参数,其中, 为目标物体未移动时目标坐标系原点在摄像头坐标系中的位置, 为目标物体移动后目标坐标系原点在摄像头坐标系中的位置, 为识别标签在摄像头坐标系下的坐标的齐次变换, 为识别标签在目标坐标系下的坐标的齐次变换,i=1,2,3。
19.根据权利要求18所述的一种智能驾驶训练系统,其特征在于,所述旋转角度获取子模块用于通过

获得目标物体的角度变化参数;
其中, 为目标物体由位置A移动至位置B时的欧拉变换矩阵,ψ为目标物体的偏航角,θ为目标物体的俯仰角,为目标物体的滚转角,R(Z,ψ)为识别标签坐标变换时沿着Z轴旋转ψ角度,R(Y,θ)为识别标签坐标变换时沿着Y轴旋转θ角度, 为识别标签坐标变换时沿着X轴旋转 角度;
根据所述目标物体的角度变化参数获得目标物体的旋转角度:

20.根据权利要求1至7、9至12、14至19任一项所述的一种智能驾驶训练系统,其特征在于,所述车载智能训练子系统还包括驾驶人操作行为与车辆状态感知模块;所述驾驶人操作行为与车辆状态感知模块包括驾驶人操作行为感知模块,所述驾驶人操作行为感知模块包括驾驶行为检测模块、处理模块和提示模块;
所述驾驶行为检测模块,用于检测驾驶员的驾驶行为,并将检测信息发送至所述处理模块;
所述处理模块,用于根据所述检测信息判断所述驾驶行为,并将判断结果发送至所述提示模块;
所述提示模块,用于接收所述判断结果并对驾驶员进行提示。
21.根据权利要求20所述的一种智能驾驶训练系统,其特征在于,所述驾驶行为检测模块包括绕车一周检测子模块、车开关检测子模块、转向灯操作使用检测子模块、喇叭操作使用检测子模块、安全带使用检测子模块、车速控制操作检测子模块、档位操作检测子模块和后视镜观察检测子模块中的一种或多种。
22.根据权利要求21所述的一种智能驾驶训练系统,其特征在于,绕车一周检测子模块包括至少四个距离检测单元,所述至少四个距离检测单元的检测区域覆盖车身四周;每个距离检测单元用于检测驾驶人是否进入检测区域,且当驾驶人进入检测区域时发送检测信息至处理模块;
所述处理模块具体用于根据接收到检测信息的先后顺序判断驾驶人是否绕车一周以及绕车方向是否正确,并在不正确时通过提示模块给予提示。
23.根据权利要求21所述的一种智能驾驶训练系统,其特征在于,所述车门开关检测子模块包括车门状态检测单元和至少两个距离检测单元;所述至少两个距离检测单元的检测区域覆盖至少一个车门;
每个距离检测单元用于检测驾驶人是否进入检测区域,且当驾驶人进入检测区域时发送检测信息至处理模块;
所述车门状态检测单元用于检测车门的开闭状态;
所述处理模块具体用于根据接收到各个距离检测单元发送的检测信息的先后顺序判断驾驶人的行走方向,并根据所述车门的开闭状态判断所述行走方向是否正确,并在不正确时通过提示模块给予提示。
24.根据权利要求21所述的一种智能驾驶训练系统,其特征在于,所述转向灯操作使用检测子模块包括转向灯检测单元和方向盘转角检测单元;
所述转向灯检测单元用于检测转向灯的亮灭;
所述方向盘转角检测单元用于检测方向盘的转动角度;
所述处理模块具体用于根据所述方向盘的转动角度判断转向,并根据转向灯的亮灭判断驾驶人在转向时的操作是否正确,并在不正确时通过提示模块给予提示。
25.根据权利要求21所述的一种智能驾驶训练系统,其特征在于,所述喇叭操作使用检测子模块包括喇叭检测单元;
所述喇叭检测单元用于检测是否有按喇叭操作;
所述处理模块具体用于根据在车辆启动时刻起在预设时间内是否有按喇叭操作来判断驾驶人的喇叭操作是否正确,并在不正确时通过提示模块给予提示。
26.根据权利要求25所述的一种智能驾驶训练系统,其特征在于,所述喇叭操作使用检测子模块还包括距离检测单元;
所述距离检测单元用于检测障碍物是否进入检测区域,并将检测信息发送至所述处理模块;
所述处理模块具体用于根据在障碍物进入检测区域时刻起在预设时间内是否有按喇叭操作来判断驾驶人的喇叭操作是否正确,并在不正确时通过提示模块给予提示。
27.根据权利要求21所述的一种智能驾驶训练系统,其特征在于,所述车速控制操作检测子模块包括速度检测单元;
所述速度检测单元用于检测车辆行驶速度;
所述处理模块具体用于根据车辆行驶速度和预设速度判断车辆是否超速,并在车辆行驶速度超过预设速度时通过提示模块给予提示。
28.根据权利要求21所述的一种智能驾驶训练系统,其特征在于,所述安全带使用检测子模块包括第一图像采集单元和安全带检测单元;
所述第一图像采集单元用于采集驾驶座位的图像信息,并发送至处理模块;
所述安全带检测单元用于检测安全带是否处于使用状态;
所述处理模块具体用于根据所述图像信息判断驾驶人是否在驾驶座位上,且当判断驾驶人在驾驶座位上时根据安全带使用状态的检测结果判断安全带是否被正确使用,在安全带未使用的情况下通过提示模块给予提示。
29.根据权利要求28所述的一种智能驾驶训练系统,其特征在于,所述档位操作检测子模块包括第二图像采集单元和档位检测单元;
所述第二图像采集单元用于采集驾驶座位的图像信息,并发送至处理模块;
所述档位检测单元用于检测车辆变档时是否经过空挡;
所述处理模块具体用于根据检测结果判断驾驶人的变档操作是否正确,还用于根据所述图像信息判断驾驶人进行变档操作时是否低头,并在档位使用不正确,以及变档操作时低头时通过提示模块给予提示。
30.根据权利要求29所述的一种智能驾驶训练系统,其特征在于,所述后视镜观察检测子模块包括第三图像采集单元;
所述第三图像采集单元用于采集驾驶座位的图像信息,并发送至处理模块;
所述处理模块用于根据所述图像信息判断驾驶人是否在预设时间间隔内观察后视镜,如在预设时间间隔内未执行观察后视镜的操作通过提示模块给予提示。
31.根据权利要求30所述的一种智能驾驶训练系统,其特征在于,所述第一图像采集单元、所述第二图像采集单元和所述第三图像采集单元为同一图像采集单元或不同的图像采集单元。
32.根据权利要求1至7、9至12、14至19、21至31任一项所述的一种智能驾驶训练系统,其特征在于,所述车载智能训练子系统还包括车辆安全控制模块,所述车辆安全控制模块包括:
车辆信息检测模块,用于采集车辆自身的状态参数信息,以及与障碍物对应的参数信息;
控制模块,用于根据所述车辆自身的状态参数信息,以及与障碍物对应的参数信息,确定所述车辆当前是否采取预设安全策略,其中所述预设安全策略包括:刹车、熄火、踩下离合器定车辆中的至少一种;且当确定对所述车辆当前采取预设安全策略时,向车辆安全执行模块发出控制指令;
所述车辆安全执行模块,用于接收所述控制指令,根据所述控制指令,对所述车辆采取预设安全策略。
33.根据权利要求32所述的一种智能驾驶训练系统,其特征在于,所述与障碍物对应的参数信息包括:车辆所在第一预设区域内存在的障碍物的位置,以及所述车辆当前位置与所述障碍物的位置之间的距离信息;所述车辆信息检测模块具体包括:
车辆定位子模块,用于对所述车辆进行定位,获取所述车辆当前所在位置;
距离传感子模块,用于检测所述车辆所在第一预设区域内存在障碍物的位置,以及所述车辆当前位置与所述障碍物的位置之间的第一距离;
车辆信号采集子模块,用于采集车辆自身的状态参数信息。
34.根据权利要求33所述的一种智能驾驶训练系统,其特征在于,所述车辆定位子模块还用于:
检测所述车辆是否超出第二预设区域;
且当所述车辆超出所述第二预设区域时,向所述控制模块发出报警信号,以便所述控制模块根据所述报警信号,确定对所述车辆采取预设安全策略。
35.根据权利要求33或34所述的一种智能驾驶训练系统,其特征在于,所述控制模块包括:
数据处理子模块,用于对所述车辆自身的状态参数信息,以及与障碍物对应的参数信息按照预设规则进行运算,获取运算结果;
策略判定子模块,用于根据所述运算结果确定是否对所述车辆采取预设安全策略;
发送子模块,用于在所述策略判定子模块确定对所述车辆采取预设安全策略时,向所述车辆安全执行模块发送控制指令;
通信子模块:用于建立所述控制模块与车辆信息检测模块之间的通信连接,以及建立所述控制模块与所述车辆安全执行模块之间的通信连接。
36.根据权利要求35所述的一种智能驾驶训练系统,其特征在于,所述车辆自身的状态参数包括车辆的当前车速信息,所述数据处理子模块具体用于:计算所述车辆当前位置与所述障碍物的位置之间的第一距离,和所述车辆的当前车速之间的比值;
所述策略判定子模块具体用于,判定所述第一距离和所述车辆的当前车速之间的比值小于或者等于第一预定阈值时,确定对所述车辆采取预设安全策略。
37.根据权利要求36所述的一种智能驾驶训练系统,其特征在于,所述车辆自身的状态参数还包括所述车辆的加速踏板在预定时间内移动的第二距离;所述策略判定子模块还用于:当确定所述车辆的加速踏板在预定时间内移动的第二距离大于或者等于第二预定阈值时,确定对所述车辆采取预设安全策略。
38.根据权利要求33或34所述的一种智能驾驶训练系统,其特征在于,所述车辆安全执行模块,具体包括第一执行子模块、第二执行子模块、第三执行子模块或第四执行子模块中的至少一种;
第一执行子模块,用于执行车辆刹车的动作;
第二执行子模块,用于控制车辆熄火;
第三执行子模块,用于控制车辆离合被踩下;
第四执行子模块,用于锁定车辆。

说明书全文

一种智能驾驶训练系统

技术领域

[0001] 本发明涉及机动车驾驶训练领域,特别涉及一种智能驾驶训练系统。

背景技术

[0002] 机动车驾驶人培训是道路交通安全的第一道屏障。随着国民经济的飞速发展,我国正在快速迈向汽车社会,公众对驾驶技能训练与认证考试的需求呈现出井喷式发展。相对于社会公众对驾培驾考的巨量需求,我国在驾培驾考的技术手段、培训能等诸多方面存在着明显的“瓶颈”与“短板”。当前,驾驶人培训方面仍主要采用“口传身教”的传统培训模式,由教练员采用人工方式对学员展开教学培训。面对新时期驾培驾考需求与社会信息化趋势,此种方式暴露出越来越多的问题:(1)培训效果与效率不高:由于缺乏必要的信息化技术手段,一些高度依赖学员自身体验的操作环节(如车辆半联动的状态感觉、倒车入库时的空间感等)往往很难由教练通过语言描述导入给学员,加之部分教练表达能力的不足以及学员理解能力的差异,易导致培训效率难以提高,培训效果不佳的现象;(2)对教练员能力与素质的依赖性过高:单纯依赖人工教学的培训方式必然导致对人的高度依赖,培训效果与质量严重依赖教练员的个人业务能力与职业操守,易导致培训质量的起伏与差异;(3)培训知识和经验难以有效积累和复制:具有丰富知识和经验的优秀教练员是驾培行业的稀缺资源,其知识和经验是驾培机构的宝贵财富,而人工培训的方式在相当程度上阻碍了驾培知识和经验积累、挖掘与复制推广;(4)标准化培训课程难以推行:一些优质驾校在长期实践中通过教学研究形成了完善的标准化课程体系,但人工教学方式往往造成标准课程体系在执行终端环节的失真、缩
[0003] 因此,亟待将数字化、信息化等先进技术手段引入传统驾培驾考领域,研制基于信息化技术的先进驾驶人培训系统,为机动车驾驶人培训提供先进教学手段与平台。针对上述需求,市场上曾出现过一些用于驾驶人培训的驾驶训练模拟器。该类系统可在固定的仿真设备上,通过屏幕上的画面运动营造驾驶模拟环境。此类系统所营造的驾驶体验以及学员的心理感受均与驾驶实际车辆存在较大差距,难以收到良好的训练效果。
[0004] 帮助学员正确建立车辆空间感是机动车驾驶人培训中的重要环节,也是培训教学的难点之一。初学者往往由于视觉误差难以快速建立对车辆与外部场地标线和参照物的相对位置关系的正确理解。在传统教学过程中,教练员往往通过口传身教的方式帮助学员建立空间感。由于教练员口头表达传递欠精准,传递信息量有限,学员往往会产生错误理解,且需要让学员频繁下车查看车辆空间位置状态,教学效率低、效果差。现有的驾驶电子训练系统也只是能够为学员提供基于模拟考试的训练和操作情况反馈,而无法对学员进行主动的引导式训练教学。
[0005] 近年来,随着计算机硬件性能的快速提升和计算机图形学技术的快速发展,虚拟现实增强现实技术受到越来越多的研究与关注,在工业、娱乐、教育、科普等领域的应用日趋广泛,但驾培产业领域中的应用则一直处于空白。
[0006] 此外,在驾驶培训过程中,通过在车上安装GPS定位天线,仅能够单纯地确定GPS天线所在的位置,而无法做到实时掌握车辆在训练场地和道路上的运动状态,以及车辆相对于道路标线和库位标线的位置和姿态,生成、存储并管理包含车辆整体轮廓和特殊点的运动轨迹。这是一个有待解决的问题。
[0007] 在现实的驾驶过程中,驾驶员根据当前行驶状况以及路况,应该相应的做出或避免做出不同的动作,例如,在倒车或转弯时需要通过后视镜观察后方情况,并且根据实际情况不同所观察的后视镜也不同,换挡过程中应该避免做出低头看档位的动作,而类似于这种习惯性的动作需要在学车过程中就要掌握,而这种情况在现实中只能够通过教练的提醒学员才能进行更正,时效性低,无法智能识别驾驶学员的操作行为,无法使学员自主的形成习惯。
[0008] 在学员学习驾驶车辆过程中,由于对驾驶技术不熟练,可能会导致不安全事件的发生,甚至会造成生命危险。即使副驾驶位置有教练进行人为指导,但是仍然会出现学员在紧张的情况下的误操作行为,导致教练和学员的不同程度的伤害。而如何避免因为人为的误操作而造成伤亡事故的发生,成为了亟待解决的技术问题。

发明内容

[0009] 本发明提供一种智能驾驶训练系统,目的在于解决现有技术中驾驶训练过程中训练效果差以及智能化低的问题。
[0010] 本发明解决上述技术问题的技术方案如下:一种智能驾驶训练系统,包括车载智能训练子系统、数据处理子系统、运行管控子系统以及系统级数据通信子系统;
[0011] 所述车载智能训练子系统安装于实际机动车之上,用于对驾驶人进行交互式驾驶训练以及采集上报驾驶人训练过程数据;
[0012] 所述数据处理子系统对基础信息进行管理,用于接收、存储与处理所述车载智能训练子系统采集上报的训练过程数据;
[0013] 所述运行管控子系统对车辆被操作和运行状态进行实时监控,并根据实际情况对被监控车辆进行系统自动操控或人工远程操控;
[0014] 所述车载智能训练子系统通过系统级数据通信子系统与数据处理子系统以及运行管控子系统连接并实现双向信息互通。
[0015] 本发明的有益效果是:本发明紧密融合了数字化、信息化、人工智能、多媒体、虚拟现实等先进技术手段,直接安装、部署在真实的机动车上,通过智能化、多媒体、虚拟现实等先进技术手段展开基于实际机动车的教学训练活动,可以为驾驶技术受训学员提供直接、生动、直观、真实、智能、安全的驾驶技能训练课程,全部或部分替代人工教练员,提高训练质量与效率,降低训练成本;同时,本系统可对学员训练过程的操作与学习数据进行采集,并上报中央数据处理系统进行存储与分析;可对训练过程及车辆进行实时监视与管控。从而,在为机动车驾驶人训练提供数字化、多媒体、智能化先进手段的同时,为政府监管部提供机动车驾驶人培训监管所需的数据支持。
[0016] 进一步,所述车载智能训练子系统包括多媒体3D虚拟现实人机交互,所述多媒体3D虚拟现实人机交互模块包括:
[0017] 场景模型建立子模块,用于建立外部场地的场景三维数据模型;
[0018] 车辆模型建立子模块,用于根据车辆参数建立车辆三维数据模型;
[0019] 模型融合子模块,用于将所述车辆三维数据模型植入场景三维数据模型中;
[0020] 位置获取子模块,用于通过GPS获取车辆在外部场地的位置信息,并根据所述位置信息获得所述车辆三维数据模型在场景三维数据模型中的空间位置;
[0021] 显示子模块,用于显示车辆三维数据模型在场景三维数据模型中的空间位置。
[0022] 采用上述进一步方案的有益效果是:通过将车辆和外部场景进行3D虚拟处理,能够使学员在实际练车期间就可以知道车辆的行驶轨迹,解决了学员在学车过程中凭感觉练习,同时只能依靠言传身教学习的缺陷。使学员能够对车辆位姿、行驶轨迹有真实了解,很直观的就可以学会驾驶车辆。
[0023] 进一步,所述多媒体3D虚拟现实人机交互模块还包括视图场景构建子模块,用于通过虚拟可移动摄像机围绕车辆构建车辆的多个度的视图场景,并将所述多个角度的视图场景发送至显示子模块。
[0024] 采用上述进一步方案的有益效果是:采用3D虚拟增强现实场景中的虚拟可移动摄像机实现在虚拟场景中的多视角漫游显示场景的效果。
[0025] 进一步,所述多个角度的视图场景包括从车辆外部多角度观看车辆位置状态的视图场景以及从车辆内部的驾驶位置观看外部场地的视图场景。
[0026] 采用上述进一步方案的有益效果是:能够多角度、全方位展示车辆位姿,使学员不用下车就可全面了解车辆空间位置姿态,快速建立正确车感。
[0027] 进一步,所述多媒体3D虚拟现实人机交互模块还包括教学子模块,用于预先录入训练项目及其训练内容的教学视频,并将所述教学视频发送至显示子模块。
[0028] 采用上述进一步方案的有益效果是:学员在训练过程中可以随时观看教学视频以寻求帮助。
[0029] 进一步,所述多媒体3D虚拟现实人机交互模块还包括特征获取子模块,用于获取外部场地中的库位标线、道路标线或特征点,并将所述库位标线、道路标线或特征点植入场景三维数据模型中,并发送给显示子模块加亮显示。
[0030] 采用上述进一步方案的有益效果是:将教学中需要学员观察或参照的在外部实际场地中的库位标线、道路标线或特征点以加亮显示线或高亮度指示点或指引箭头的方式直接同步显示于场景三维数据模型中,将物理世界中的真实教学场景和3D虚拟现实数字场景的同步一致,以达到3D增强虚拟现实效果,提升学员理解教学内容与操作要领的效率与效果。使学员不用下车就可以精准了解、感知车辆空间位置关系,显著提高学习效果与效率。
[0031] 进一步,所述多媒体3D虚拟现实人机交互模块还包括轨迹动态回放子模块,用于根据车辆三维数据模型在场景三维数据模型中的空间位置的变化情况绘制动态运动轨迹,并根据所述运动轨迹对车辆三维数据模型在场景三维数据模型中的行驶路线进行动态回放。
[0032] 采用上述进一步方案的有益效果是:在学员完成练车过程后,可以通过动态回放的方式对学员在驾车期间车辆的运行轨迹,进而获知练车的情况,有利于学员及时对驾驶习惯或驾驶方式进行改变。
[0033] 进一步,所述车载智能训练子系统还包括:车辆位姿与轨迹感知模块;车辆位姿与轨迹感知模块,包括:
[0034] 车辆坐标系建立子模块,用于建立车辆坐标系;
[0035] 第一定位子模块,用于确定车辆预设点中每一个点分别在车辆坐标系中的坐标位置;以及获取车辆坐标系中的原点在场景坐标系中的相对坐标位置;
[0036] 第二定位子模块,用于确定车头方向的偏航角度,其中,车头方向的偏航角度为车头方向偏离场景坐标系中预设的基准线的角度;
[0037] 处理子模块,用于根据车辆预设点中除原点之外的每一个点在车辆坐标系中的坐标位置、车头方向的偏航角度以及原点在场景坐标系中的相对坐标位置,计算车辆预设点中除原点之外的每一个点,在场景坐标系中的相对坐标位置。
[0038] 采用上述进一步方案的有益效果是:通过车辆在场景坐标系中的实时坐标和偏航角度,可以实时掌握车辆在训练场地和道路上的运动状态,车辆相对于道路标线和库位标线的位置和姿态,生成、存储并管理车辆运动轨迹。以便后续根据学员当前的对车辆的操作行为做出适应性的指导,帮助学员在执行驾车过程中做出正确的操作,或对学员的不当操作进行提醒,分析不当操作的原因和影响,给出改进操作的建议,从而使学员快速掌握科学、规范、安全的驾驶技能。
[0039] 进一步,第一定位子模块具体用于,接收车辆GPS天线发送的原点在场景坐标系中的相对坐标位置。
[0040] 采用上述进一步方案的有益效果是:原点在场景坐标系中的相对坐标位置由车辆GPS天线发送,以便后续根据原点在场景坐标系中的相对坐标位置,确定车辆预设点中其他点在场景坐标系中的相对坐标位置。
[0041] 进一步,处理子模块计算车辆预设点中除原点之外的第一点在场景坐标系中的相对坐标位置的公式如下:
[0042] X′=(x-x0)cos a-(y-y0)sin a+x0
[0043] Y′=(x-x0)sin a-(y-y0)cos a+y0
[0044] 其中,X′为所述第一点在所述场景坐标系中的相对横坐标,x为所述第一点在所述车辆坐标系中的横坐标,x0为所述原点在所述场景坐标系中的相对横坐标,a为所述车头方向的偏航角度,Y′为所述第一点在所述场景坐标系中的相对纵坐标,y为所述第一点在所述车辆坐标系中的纵坐标,y0为所述原点在所述场景坐标系中的相对纵坐标,其中,所述第一点为所述车辆预设点中除所述原点之外的任意一点。
[0045] 采用上述进一步方案的有益效果是:利用上述公式,可以精确的计算出车辆预设点中每一个点在场景坐标系中的相对坐标位置。
[0046] 进一步,车辆位姿与轨迹感知模块包括:至少一个第一定位子模块。
[0047] 采用上述进一步方案的有益效果是:当第一定位子模块包括多个时,定位更加精确。
[0048] 进一步,车辆位姿与轨迹感知模块包括:至少一个第二定位子模块。
[0049] 采用上述进一步方案的有益效果是:与上一步相类似的,当第二定位子模块包括多个时,同样可以使定位更加精确。
[0050] 进一步,所述车载智能训练子系统还包括驾驶人头部位姿感知模块,所述驾驶人头部位姿感知模块用于通过摄像头获取驾驶人头部图像,通过对驾驶人头部识别标签的图像处理解算出驾驶人的头部位姿。
[0051] 采用上述进一步方案的有益效果是:通过摄像头获取驾驶人头部图像,通过对驾驶人头部识别标签的图像处理解算出驾驶人的头部位姿,能够监测驾驶员有没有适时观察后视镜,在挂挡时有没有低头看档。帮助驾驶员从培训阶段养成良好的驾驶习惯,减少事故发生率;帮助驾驶员培训机构为其学员提供更好的培训,为考试机构提供更精准的评分依据。
[0052] 进一步,所述驾驶人头部位姿感知模块包括:
[0053] 位姿坐标系建立子模块,用于基于摄像头位置建立摄像头坐标系,基于目标物体旋转中心建立目标坐标系;
[0054] 坐标位置获取子模块,用于根据预先设置在目标物体上的识别标签和目标物体的尺寸参数分别获得该识别标签在摄像头坐标系和目标坐标系中的坐标位置;
[0055] 位置变化获取子模块,用于通过所述识别标签在摄像头坐标系和目标坐标系中的坐标位置获得目标物体在旋转过程中的位置变化参数;
[0056] 旋转角度获取子模块,用于根据所述识别标签在旋转过程中的位置变化参数获得目标物体的角度变化参数,进而根据所述目标物体的角度变化参数获得目标物体的旋转角度。
[0057] 采用上述进一步方案的有益效果是:上述方案能够实现对目标物体位姿进行动态捕捉和识别,能够精确分析出驾驶员头部的移动状态,进而获知此时驾驶员头部在进行何种动作。
[0058] 进一步,所述驾驶人头部位姿感知模块还包括动作识别子模块,用于根据目标物体在旋转过程中的位置变化参数以及目标物体的旋转角度识别目标物体的动作状态。
[0059] 采用上述进一步方案的有益效果是:能够根据目标物体在旋转过程中的位置变化参数以及目标物体的旋转角度识别目标物体的动作状态,进而识别出目视前方、左侧头观察后视镜、右侧头观察后视镜、回头观察车辆后方、低头看档位、仰头以及将头伸出车窗外的动作位姿,以便对驾驶员动作状态的准确性进行评分及指正。
[0060] 进一步,所述坐标位置获取子模块用于在目标坐标系中设定位置1、位置2和位置3,所述位置1、位置2和位置3处于同一水平面,其中位置2与目标物体中心的连线与位置1和位置3与目标物体中心的连线所成的夹角均为α;识别标签分别处于位置1、位置2和位置3时,通过图像识别技术分别得到识别标签在摄像头坐标系中的位置 和 其中,和 分别为识别标签在摄像头坐标系中位置1、位置2和位置3的齐次坐标变换。
[0061] 采用上述进一步方案的有益效果是:通过在目标坐标系中设定设定三个位置得到在摄像头坐标系中识别标签与目标坐标系原点的相对位置关系。当目标物体位置发生变化时,可以通过识别标签的位置解算出目标物体旋转中心的位置;通过图像识别技术能够快速的确定识别标签在摄像头坐标系中的位置坐标。
[0062] 进一步,所述坐标位置获取子模块还用于通过
[0063]
[0064]
[0065]
[0066] 获得识别标签在目标坐标系中的坐标位置;
[0067] 其中, 和 分别为识别标签在目标坐标系中位置1、位置2和位置3的齐次坐标变换,Z为目标坐标系的Z轴,r0为目标半径,Trans(Z,r0)为识别标签坐标变换时沿着Z轴移动r0,Y为目标坐标系的轴,-α为识别标签由位置1移动到位置2时所旋转的角度,α为识别标签由位置3移动到位置2时所旋转的角度,R(Y,-α)为识别标签坐标变换时沿着Y轴旋转-α角度,R(Y,α)为识别标签坐标变换时沿着Y轴旋转α角度。
[0068] 采用上述进一步方案的有益效果是:通过对识别标签在目标坐标系中的移动过程进行分析计算,获得识别标签移动的距离和旋转的角度,能够为后续头部位姿的计算获得数据支持。
[0069] 进一步,所述位置变化获取子模块用于通过 计算获得目标物体在旋转过程中的位置变化参数,其中, 为目标物体未移动时目标坐标系原点在摄像头坐标系中的位置, 为目标物体移动后目标坐标系原点在摄像头坐标系中的位置, 为识别标签在摄像头坐标系下的坐标的齐次变换, 为识别标签在目标坐标系下的坐标的齐次变换,i=1,2,3。
[0070] 采用上述进一步方案的有益效果是:通过识别标签在摄像头坐标系和目标坐标系下的位置变化情况获得目标物体在旋转过程中的位置变化参数,通过该位置变化参数能够获知目标物体的移动距离和旋转角度。
[0071] 进一步,所述旋转角度获取子模块用于通过
[0072]
[0073] 获得目标物体的角度变化参数;
[0074] 其中, 为目标物体由位置A移动至位置B时的欧拉变换矩阵,ψ为目标物体的偏航角,θ为目标物体的俯仰角,为目标物体的滚转角,R(Z,ψ)为识别标签坐标变换时沿着Z轴旋转ψ角度,R(Y,θ)为识别标签坐标变换时沿着Y轴旋转θ角度, 为识别标签坐标变换时沿着X轴旋转 角度;
[0075] 根据所述目标物体的角度变化参数获得目标物体的旋转角度:
[0076]
[0077] 采用上述进一步方案的有益效果是:通过上述过程最终实现了对头部位姿进行识别的过程,能够在驾驶员驾驶期间识别头部转动情况,进而判断出此时驾驶员做出的动作,能够为驾驶员养成良好的驾驶习惯,也能够为驾驶员的考核提供重要的依据。
[0078] 进一步,所述车载智能训练子系统还包括驾驶人操作行为与车辆状态感知模块;所述驾驶人操作行为与车辆状态感知模块包括驾驶人操作行为感知模块,所述驾驶人操作行为感知模块包括驾驶行为检测模块、处理模块和提示模块;
[0079] 所述驾驶行为检测模块,用于检测驾驶员的驾驶行为,并将检测信息发送至所述处理模块;
[0080] 所述处理模块,用于根据所述检测信息判断所述驾驶行为,并将判断结果发送至所述提示模块;
[0081] 所述提示模块,用于接收所述判断结果并对驾驶员进行提示。
[0082] 采用上述进一步方案的有益效果是:通过在车辆上加装一些检测模块来对驾驶员的驾驶行为进行检测,由处理模块进行判断后通过提示模块对驾驶员进行提示,能够对驾驶人的操作行为进行规范与校正,从而可以全部或部分替代人工教练员,提高训练质量与效率,降低训练成本。
[0083] 进一步,所述驾驶行为检测模块包括绕车一周检测子模块、车门开关检测子模块、转向灯操作使用检测子模块、喇叭操作使用检测子模块、安全带使用检测子模块、车速控制操作检测子模块、档位操作检测子模块和后视镜观察检测子模块中的一种或多种。
[0084] 进一步,绕车一周检测子模块包括至少四个距离检测单元,所述至少四个距离检测单元的检测区域覆盖车身四周;每个距离检测单元用于检测驾驶人是否进入检测区域,且当驾驶人进入检测区域时发送检测信息至处理模块;所述处理模块具体用于根据接收到检测信息的先后顺序判断驾驶人是否绕车一周以及绕车方向是否正确,并在不正确时通过提示模块给予提示。
[0085] 采用上述进一步方案的有益效果是:有助于驾驶人养成上车前按照正确方向绕车一周的习惯。
[0086] 进一步,所述车门开关检测子模块包括车门状态检测单元和至少两个距离检测单元;所述至少两个距离检测单元的检测区域覆盖至少一个车门;每个距离检测单元用于检测驾驶人是否进入检测区域,且当驾驶人进入检测区域时发送检测信息至处理模块;所述车门状态检测单元用于检测车门的开闭状态;所述处理模块具体用于根据接收到各个距离检测单元发送的检测信息的先后顺序判断驾驶人的行走方向,并根据所述车门的开闭状态判断所述行走方向是否正确,并在不正确时通过提示模块给予提示。
[0087] 采用上述进一步方案的有益效果是:有助于驾驶人养成面向车尾开门的习惯。
[0088] 进一步,所述转向灯操作使用检测子模块包括转向灯检测单元和方向盘转角检测单元;所述转向灯检测单元用于检测转向灯的亮灭;所述方向盘转角检测单元用于检测方向盘的转动角度;所述处理模块具体用于根据所述方向盘的转动角度判断转向,并根据转向灯的亮灭判断驾驶人在转向时的操作是否正确,并在不正确时通过提示模块给予提示。
[0089] 采用上述进一步方案的有益效果是:有助于驾驶人养成转弯时打转向灯的习惯。
[0090] 进一步,所述喇叭操作使用检测子模块包括喇叭检测单元;所述喇叭检测单元用于检测是否有按喇叭操作;所述处理模块具体用于根据在车辆启动时刻起在预设时间内是否有按喇叭操作来判断驾驶人的喇叭操作是否正确,并在不正确时通过提示模块给予提示。
[0091] 采用上述进一步方案的有益效果是,有助于驾驶人养成起步前先按喇叭的习惯。
[0092] 进一步,所述喇叭操作使用检测子模块还包括距离检测单元;所述距离检测单元用于检测障碍物是否进入检测区域,并将检测信息发送至所述处理模块;所述处理模块具体用于根据在障碍物进入检测区域时刻起在预设时间内是否有按喇叭操作来判断驾驶人的喇叭操作是否正确,并在不正确时通过提示模块给予提示。
[0093] 采用上述进一步方案的有益效果是,有助于驾驶人养成在有障碍物时及时按喇叭的习惯。
[0094] 进一步,所述车速控制操作检测子模块包括速度检测单元;所述速度检测单元用于检测车辆行驶速度;所述处理模块具体用于根据车辆行驶速度和预设速度判断车辆是否超速,并在车辆行驶速度超过预设速度时通过提示模块给予提示。
[0095] 采用上述进一步方案的有益效果是:有助于驾驶人养成按照速度规定驾车的习惯。
[0096] 进一步,所述安全带使用检测子模块包括第一图像采集单元和安全带检测单元;所述第一图像采集单元用于采集驾驶座位的图像信息,并发送至处理模块;所述安全带检测单元用于检测安全带是否处于使用状态;所述处理模块具体用于根据所述图像信息判断驾驶人是否在驾驶座位上,且当判断驾驶人在驾驶座位上时根据安全带使用状态的检测结果判断安全带是否被正确使用,在安全带未使用的情况下通过提示模块给予提示。
[0097] 采用上述进一步方案的有益效果是:有助于驾驶人养成开车前系安全带的习惯。
[0098] 进一步,所述档位操作检测子模块包括第二图像采集单元和档位检测单元;所述第二图像采集单元用于采集驾驶座位的图像信息,并发送至处理模块;所述档位检测单元用于检测车辆变档时是否经过空挡;所述处理模块具体用于根据检测结果判断驾驶人的变档操作是否正确,还用于根据所述图像信息判断驾驶人进行变档操作时是否低头,并在档位使用不正确,以及变档操作时低头时通过提示模块给予提示。
[0099] 采用上述进一步方案的有益效果是:有助于驾驶人养成正确的变档操作习惯。
[0100] 进一步,所述后视镜观察检测子模块包括第三图像采集单元块;所述第三图像采集单元用于采集驾驶座位的图像信息,并发送至处理模块;所述处理模块用于根据所述图像信息判断驾驶人是否在预设时间间隔内观察后视镜,如在预设时间间隔内未执行观察后视镜的操作通过提示模块给予提示。
[0101] 采用上述进一步方案的有益效果是:有助于驾驶人养成正确观察后视镜的习惯。
[0102] 进一步,所述第一图像采集单元、所述第二图像采集单元和所述第三图像采集单元为同一图像采集单元或不同的图像采集单元。
[0103] 采用上述进一步方案的有益效果是:图像采集单元的具体选择可以根据实际情况而定,如果安装空间位置有限的话则可以将第一图像采集单元、所述第二图像采集单元和所述第三图像采集单元作为同一图像采集单元进行图像采集。
[0104] 进一步,所述车载智能训练子系统还包括车辆安全控制模块,所述车辆安全控制模块包括:
[0105] 车辆信息检测模块,用于采集车辆自身的状态参数信息,以及与障碍物对应的参数信息;
[0106] 控制模块,用于根据所述车辆自身的状态参数信息,以及与障碍物对应的参数信息,确定所述车辆当前是否采取预设安全策略,其中所述预设安全策略包括:刹车、熄火、踩下离合器定车辆中的至少一种;且当确定对所述车辆当前采取预设安全策略时,向车辆安全执行模块发出控制指令;
[0107] 所述车辆安全执行模块,用于接收所述控制指令,根据所述控制指令,对所述车辆采取预设安全策略。
[0108] 采用上述进一步方案的有益效果是:通过采集车辆自身的参数信息和与障碍物对应的参数信息,确定车辆当前是否需要采取预设安全策略。由此可以在驾驶员误操作(包括操作错误),或者车辆出现问题时,自动执行安全策略,保证人车安全。
[0109] 进一步,与障碍物对应的参数信息包括:车辆所在第一预设区域内存在的障碍物的位置,以及车辆当前位置与障碍物的位置之间的距离信息;车辆信息检测模块具体包括:
[0110] 车辆定位子模块,用于对车辆进行定位,获取车辆当前所在位置;
[0111] 距离传感子模块,用于检测车辆所在第一预设区域内存在障碍物的位置,以及车辆当前位置与障碍物的位置之间的第一距离;
[0112] 车辆信号采集子模块,用于采集车辆自身的状态参数信息。
[0113] 采用上述进一步方案的有益效果是:车辆信息检测模块主要用于采集车辆自身的状态参数信息,以及与障碍物对应的参数信息。采集与障碍物对应的参数信息时,主要采集在第一预设区域内,车辆与第一预设区域内的障碍物之间的第一距离,其中车辆当前同样在第一预设区域内。以用于后续根据第一距离和车辆自身的参数信息,判断车辆当前位置是否安全,并且预测未来一段时间内是否会发生碰撞危险。
[0114] 进一步,车辆定位子模块还用于:检测车辆是否超出第二预设区域;且当车辆超出第二预设区域时,向控制模块发出报警信号,以便控制模块根据报警信号,确定对车辆采取预设安全策略。
[0115] 采用上述进一步方案的有益效果是:车辆定位子模块还用于检测车辆当前是否已经超出的可行驶的安全范围,也即是第二预设区域。当超出可行驶的安全范围时,则可以发出报警信号,以便控制模块根据报警信号,确定对车辆采取预设安全策略,保证人车安全。
[0116] 进一步的,控制模块包括:
[0117] 数据处理子模块,用于对车辆自身的状态参数信息,以及与障碍物对应的参数信息按照预设规则进行运算,获取运算结果;
[0118] 策略判定子模块,用于根据运算结果确定是否对车辆采取预设安全策略;
[0119] 发送子模块,用于在策略判定子模块确定对车辆采取预设安全策略时,向车辆安全执行模块发送控制指令;
[0120] 通信子模块:用于建立控制模块与车辆信息检测模块之间的通信连接,以及建立控制模块与车辆安全执行模块之间的通信连接。
[0121] 采用上述进一步方案的有益效果是:控制模块主要包括数据处理子模块,用于对采集的参数信息进行运算处理。而策略判定子模块则根据运算结果确定是否要对车辆采取预设安全策略,并在确定需要采取预设安全策略的情况下,利用发送子模块将控制指令发送至车辆安全执行模块。以便车辆安全装置执行控制指令,实现人车安全。通信子模块则是车辆信息检测模块、控制模块以及车辆安全执行模块之间必不可少的通信子模块,用于建立三者之间的通信连接。
[0122] 进一步的,车辆自身的状态参数包括车辆的当前车速信息,数据处理子模块具体用于:计算车辆当前位置与障碍物的位置之间的第一距离,和车辆的当前车速之间的比值;
[0123] 策略判定子模块具体用于,判定第一距离和车辆的当前车速之间的比值小于或者等于第一预定阈值时,确定对车辆采取预设安全策略。
[0124] 采用上述进一步方案的有益效果是:当车辆自身的状态参数信息包括车辆的当前车速信息时,数据处理子模块具体用于计算车辆当前位置与障碍物的位置之间的第一距离,和车辆的当前车速之间的比值,当比值小于或者等于第一预定阈值时,策略判定子模块判定对车辆采取预设安全策略。
[0125] 进一步的,车辆自身的状态参数还包括车辆的加速踏板在预定时间内移动的第二距离;策略判定子模块还用于:当确定车辆的加速踏板在预定时间内移动的第二距离大于或者等于第二预定阈值时,确定对车辆采取预设安全策略。
[0126] 采用上述进一步方案的有益效果是:当车辆的加速踏板在预定时间内移动的第二距离大于或者等于第二预定阈值时,说明驾驶人员很可能是误操作,或者操作错误。误将油门当做刹车使用了,那么需要对车辆采取安全措施,保证驾驶人员和车辆的安全。
[0127] 进一步的,车辆安全执行模块,具体包括第一执行子模块、第二执行子模块、第三执行子模块或第四执行子模块中的至少一种;
[0128] 第一执行子模块,用于执行车辆刹车的动作;
[0129] 第二执行子模块,用于控制车辆熄火;
[0130] 第三执行子模块,用于控制车辆离合被踩下;
[0131] 第四执行子模块,用于锁定车辆。
[0132] 采用上述进一步方案的有益效果是:安全策略包括刹车或者锁定车辆,由此在发生可控的突发情况,或者异常情况时,保证人车安全。附图说明
[0133] 图1为本发明所述的智能驾驶训练系统的原理示意图;
[0134] 图2为本发明所述智能驾驶训练系统在网络版部署发行模式下的安装部署结构框图
[0135] 图3为本发明所述智能驾驶训练系统在单车版部署发行模式下的安装部署结构框图;
[0136] 图4为本发明所述的车载智能训练子系统的部署图;
[0137] 图5为本发明所述的多媒体3D虚拟现实人机交互模块106的原理示意图;
[0138] 图6为本发明所述的车辆位姿与轨迹感知模块103的原理示意图;
[0139] 图7为本发明所述的驾驶人头部位姿感知模块104的原理示意图;
[0140] 图8为本发明所述的驾驶人操作行为与车辆状态感知模块102的原理示意图;
[0141] 图9为本发明所述的驾驶行为检测模块的原理示意图;
[0142] 图10为本发明所述的车辆安全控制模块109的原理示意图。

具体实施方式

[0143] 以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
[0144] 如图1所示,本实施例提出的一种智能驾驶训练系统,包括车载智能训练子系统100、数据处理子系统200、运行管控子系统300、系统级数据通信子系统400四个部分。
[0145] 本实施例所述的一种智能驾驶训练系统可采用网络版和单车板两种部署发行模式。其中:①在网络版部署发行模式下,如图2所示,车载智能训练子系统100可同时部署在多个机动车上,数据处理子系统200和运行管控子系统300分别部署在不同的相互独立的中央服务器或共同部署在一台中央服务器上。三者之间通过系统级数据通信子系统400以有线或无线方式建立双向数据通信连接。此时,数据处理子系统200同时面向多个车载智能训练子系统提供数据接收、数据存储、数据查询、数据分析和数据传送服务;运行管控子系统300提供对多台机动车的运行管控功能。②在单车版部署发行模式下,如图3所示,车载智能训练子系统100、数据处理子系统200、车辆管控子系统300集中部署在同一台机动车上的一台或多台车载计算机上,通过系统级数据通信子系统400以有线/无线(当三个子系统分别部署在2台或3台计算机上时)或内部程序调用(当三个子系统部署在同一台计算机上时)的方式建立双向数据通信连接。此时,本实施例所述的一种智能驾驶训练系统仅面向单台机动车提供全部功能服务。
[0146] 如图4所示,所述车载智能训练子系统100包括车载控制计算机101、驾驶人操作行为与车辆状态感知模块102、车辆位姿与轨迹感知模块103、驾驶人头部位姿感知模块104、智能化驾驶训练教学执行与决策评价模块105、多媒体3D虚拟现实人机交互模块106、数字化智能场地地图模块107、驾驶训练数据采集上报模块108、车辆安全控制模块109、车载智能训练子系统级通信模块110,其中,驾驶人操作行为与车辆状态感知模块102、车辆位姿与轨迹感知模块103、驾驶人头部位姿感知模块104的视频采集器1041、车辆安全控制模块109以及多媒体3D虚拟现实人机交互模块106的触摸显示屏通过车载智能训练子系统级通信模块110以有线或无线方式与车载智能训练子系统100连接并实现双向信息交互,驾驶人头部位姿感知模块104的软件部分1042、多媒体3D虚拟现实人机交互模块106的软件部分,以及智能化驾驶训练教学执行与决策评价模块105、数字化智能场地地图模块107、驾驶训练数据采集上报模块108模块运行在车载智能训练子系统100的车载计算机101上。
[0147] 所述车载控制计算机101是车载智能训练子系统100的主要运行平台,可以采用通用的便携式计算机、工业控制计算机以及其它能够满足系统运行性能要求的计算机设备。
[0148] 所述的驾驶人操作行为与车辆状态感知模块102通过部署在车辆不同部位的传感器以及数据采集器能够实时反映驾驶人操作车辆的行为、车辆被操控机件所处状态以及车辆运行参数的信息,包括:左右转向灯开关状态信息、方向盘角度信息、车速、车辆加速度、发动机转速、驻车制动器开关状态、档位状态、汽车喇叭鸣放状态与鸣放持续时间等。驾驶人操作行为与车辆状态感知模块102将采集到的车辆操作状态信息通过有线或无线通道或内部集成调用方式,发送给车载控制计算机101,供车载智能训练子系统100的相关模块调用。
[0149] 具体的,所述驾驶人操作行为与车辆状态感知模块102包括驾驶人操作行为感知模块。图8为本发明实施例提供的驾驶人操作行为感知模块的结构图,如图8所示,该模块包括驾驶行为检测模块、处理模块和提示模块;所述驾驶行为检测模块,用于检测驾驶员的驾驶行为,并将检测信息发送至所述处理模块;所述处理模块,用于根据所述检测信息判断所述驾驶行为,并将判断结果发送至所述提示模块;所述提示模块,用于接收所述判断结果并对驾驶员进行提示。
[0150] 本发明根据具体需要检测的操作行为来选用合适的检测模块,处理模块控制各个检测模块进行信号的采集与传输,同时对信号进行分析处理,判断出驾驶人的操作行为,并控制提示模块进行提示,提示模块可选用扬声器、显示屏等设备,能够对驾驶员的驾驶行为进行规范与校正,实现了驾驶训练的无人化、智能化和自动化。
[0151] 可选地,在该实施例中,如图9所示,所述驾驶行为检测模块包括绕车一周检测子模块、车门开关检测子模块、转向灯操作使用检测子模块、喇叭操作使用检测子模块、安全带使用检测子模块、车速控制操作检测子模块、档位操作检测子模块和后视镜观察检测子模块中的一种或多种。
[0152] 可选地,作为本发明的一个实施例中,绕车一周检测子模块包括至少四个距离检测单元,所述至少四个距离检测单元的检测区域覆盖车身四周;每个距离检测单元用于检测驾驶人是否进入检测区域,且当驾驶人进入检测区域时发送检测信息至处理模块;所述处理模块具体用于根据接收到检测信息的先后顺序判断驾驶人是否绕车一周以及绕车方向是否正确,并在不正确时通过提示模块给予提示。
[0153] 应理解,在上车之前,驾驶人应该先逆时针绕车一周,检查车辆状况。
[0154] 具体的,当四个距离检测单元分别检测到驾驶人进入检测区域后,处理模块即可根据接收到检测信息的顺序判断驾驶人的绕车方向是否正确及是否绕车一周,可选地,本实施例通过在车身四周安装声波雷达探头来检测人员在车身四周的走动。
[0155] 可选地,作为本发明的一个实施例中,所述车门开关检测子模块包括车门状态检测单元和至少两个距离检测单元;所述至少两个距离检测单元的检测区域覆盖至少一个车门;每个距离检测单元用于检测驾驶人是否进入检测区域,且当驾驶人进入检测区域时发送检测信息至处理模块;所述车门状态检测单元用于检测车门的开闭状态;所述处理模块具体用于根据接收到各个距离检测单元发送的检测信息的先后顺序判断驾驶人的行走方向,并根据所述车门的开闭状态判断所述行走方向是否正确,并在不正确时通过提示模块给予提示。
[0156] 应理解,上车前正确的开车门操作应该是在面向车尾的方向开门,这样可以兼顾车后方是否有其余车辆人员接近,确保安全。
[0157] 具体的,两个距离检测器一个靠近车头,一个靠近车尾,两个距离检测单元分别检测驾驶人是否进入检测区域,若处理模块检测到驾驶人先靠近车头,后靠近车尾,则认为驾驶人面向车尾。
[0158] 可选地,作为本发明的一个实施例中,所述转向灯操作使用检测子模块包括转向灯检测单元和方向盘转角检测单元;所述转向灯检测单元用于检测转向灯的亮灭;所述方向盘转角检测单元用于检测方向盘的转动角度;所述处理模块具体用于根据所述方向盘的转动角度判断转向,并根据转向灯的亮灭判断驾驶人在转向时的操作是否正确,并在不正确时通过提示模块给予提示。
[0159] 应理解,在驾车进行转向和变道操作时,应该打开转向灯。
[0160] 具体的,在行驶过程中,当方向盘转角检测单元检测到方向盘的转动角度(左转为正角度,右转为负角度)绝对值超过预设角度(如45度)时,处理模块判断车辆在转向或变道,如果转向前并未提前打开相应方向的转向灯,则判断驾驶人的操作不正确。
[0161] 可选地,作为本发明的一个实施例中,所述喇叭操作使用检测子模块包括喇叭检测单元;所述喇叭检测单元用于检测是否有按喇叭操作;所述处理模块具体用于根据在车辆启动时刻起在预设时间内是否有按喇叭操作来判断驾驶人的喇叭操作是否正确,并在不正确时通过提示模块给予提示。
[0162] 应理解,车辆启动状态有多种判断方式,如ACC信号、发动机转速、车速等。
[0163] 可选地,作为本发明的一个实施例中,所述喇叭操作使用检测子模块还包括距离检测单元;所述距离检测单元用于检测障碍物是否进入检测区域,并将检测信息发送至所述处理模块;所述处理模块具体用于根据在障碍物进入检测区域时刻起在预设时间内是否有按喇叭操作来判断驾驶人的喇叭操作是否正确,并在不正确时通过提示模块给予提示。
[0164] 可选地,作为本发明的一个实施例中,所述车速控制操作检测子模块包括速度检测单元;所述速度检测单元用于检测车辆行驶速度;所述处理模块具体用于根据车辆行驶速度和预设速度判断车辆是否超速,并在车辆行驶速度超过预设速度时通过提示模块给予提示。
[0165] 具体的,处理模块还可以与车辆的制动控制器和熄火控制器连接,用于在车辆的超速时长超过预设时长时通过车辆的制动控制器发送制动信号控制制动电机和离合电机执行刹车操作,以及通过车辆的熄火控制器控制车辆断电或断油来使车辆熄火,从而保障驾驶学员的安全。
[0166] 可选地,作为本发明的一个实施例中,所述安全带使用检测子模块包括第一图像采集单元和安全带检测单元;所述第一图像采集单元用于采集驾驶座位的图像信息,并发送至处理模块;所述安全带检测单元用于检测安全带是否处于使用状态;所述处理模块具体用于根据所述图像信息判断驾驶人是否在驾驶座位上,且当判断驾驶人在驾驶座位上时根据安全带使用状态的检测结果判断安全带是否被正确使用,在安全带未使用的情况下通过提示模块给予提示。
[0167] 应理解,驾驶人及乘员在进入车辆后应该系上安全带。
[0168] 具体的,本实施例在驾驶座位处安装图像采集单元(如在主驾驶位前挡玻璃上加装摄像头),处理模块根据图像采集单元采集的图像判断是否有人员进入驾驶人位置,处理模块具体还用于在未系安全带时,禁止车辆打火启动,以及在手刹未拉起且车辆档位未在空档时,如果将安全带拔下则通过车辆的熄火控制器控制车辆断电或断油来使车辆熄火,从而进一步强化驾驶人开车系上安全带的习惯。
[0169] 可选地,作为本发明的一个实施例中,所述档位操作检测子模块包括第二图像采集单元和档位检测单元;所述第二图像采集单元用于采集驾驶座位的图像信息,并发送至处理模块;所述档位检测单元用于检测车辆变档时是否经过空挡;所述处理模块具体用于根据检测结果判断驾驶人的变档操作是否正确,还用于根据所述图像信息判断驾驶人进行变档操作时是否低头,并在档位使用不正确,以及变档操作时低头时通过提示模块给予提示。
[0170] 应理解,驾驶人员正常的变档操作一定要从一个档位先变到空挡,再由空挡向下一个档位变动,如果不经过空挡直接进行加减档则认为操作不正确,另外在变档时不可以低头看档。
[0171] 具体的,档位检测单元可选用霍尔检测器检测挡杆的位置,从而进行档位检测。处理模块使用头部位姿识别技术可识别图像中驾驶人的头部位姿,从而判断驾驶人是否低头。
[0172] 可选地,作为本发明的一个实施例,所述后视镜观察检测子模块包括第三图像采集单元块;所述第三图像采集单元用于采集驾驶座位的图像信息,并发送至处理模块;所述处理模块用于根据所述图像信息判断驾驶人是否在预设时间间隔内观察后视镜,如在预设时间间隔内未执行观察后视镜的操作通过提示模块给予提示。
[0173] 应理解,当驾驶人员在车内时,在固定时间间隔内一定要左右转头观察后视镜。
[0174] 具体的,处理模块使用头部位姿识别技术可识别图像中驾驶人的头部位姿,从而判断驾驶人在预设的时间间隔是否左右转头。
[0175] 可选地,作为本发明的一个实施例中,所述第一图像采集单元、所述第二图像采集单元和所述第三图像采集单元为同一图像采集单元或不同的图像采集单元。
[0176] 所述的车辆位姿与轨迹感知模块103从定位系统获取车辆基准点和基准轴在场地、道路中的位置及姿态信息,进而计算出车辆轮廓边界在场地、道路中的实际位置以及车辆前进方向的方向角,并提供给车载智能训练子系统100的相关模块调用。
[0177] 具体的,如图6所示,图6为车辆位姿与轨迹感知模块103的结构框图。车辆位姿与轨迹感知模块103,具体可以包括:坐标系建立子模块、第一定位子模块、第二定位子模块以及处理子模块。
[0178] 其中,车辆坐标系建立子模块,用于建立车辆坐标系。
[0179] 具体的,首先在车辆上设置一定数量的点,预设点中多点连线范围能够尽量涉及到车辆的周身表面(包括车轮,这里的车辆表面指的是在外部所能看到的车辆所有的面)。在车辆上建立车辆坐标系,其中车辆坐标系的原点可以为预设点中的一个点。
[0180] 第一定位子模块,用于确定车辆预设点中每一个点分别在车辆坐标系中的坐标位置;以及获取车辆坐标系中的原点在场景坐标系中的相对坐标位置。
[0181] 具体的,当车辆坐标系确定后,第一定位子模块可以直接确定车辆预设点中除原点之外的其他点在车辆坐标系中的坐标位置。
[0182] 具体的,第一定位子模块获取原点在场景坐标系中的相对坐标位置时,可以直接通过车辆GPS天线获取。也即是,接收车辆GPS天线发送的原点在场景坐标系中的相对坐标位置。需要说明的是,本文中所定义的场景坐标系是人为建立的一个场景坐标系。例如,在驾驶培训过程中,在训练场地上安装一个GPS,以GPS天线所在位置为原点,建立的一个训练场地坐标系。
[0183] 第二定位子模块,用于确定车头方向的偏航角度。具体的,车头方向的偏航角度为车头方向偏离场景坐标系中预设的基准线的角度。这里的基准线可以为任意角度、任意方向的基准线,在本申请文件中不做任何限定。而在一个具体的实施例中,可以以场景坐标系中的y轴方向作为基准线。又或者,因为场景坐标系本身就是人为建立的,那么还可以以实际方向中的正北方向作为场景坐标系中的基准线。
[0184] 处理子模块,用于根据车辆预设点中除原点之外的每一个点在车辆坐标系中的坐标位置、车头方向的偏航角度以及原点在场景坐标系中的相对坐标位置,计算车辆预设点中除原点之外的每一个点,在场景坐标系中的相对坐标位置。
[0185] 具体的,处理子模块计算车辆预设点中除原点之外的第一点在场景坐标系中的相对坐标位置的公式可以由式1-1表示:
[0186]
[0187] 其中,X′为所述第一点在所述场景坐标系中的相对横坐标,x为所述第一点在所述车辆坐标系中的横坐标,x0为所述原点在所述场景坐标系中的相对横坐标,a为所述车头方向的偏航角度,Y′为所述第一点在所述场景坐标系中的相对纵坐标,y为所述第一点在所述车辆坐标系中的纵坐标,y0为所述原点在所述场景坐标系中的相对纵坐标,其中,所述第一点为所述车辆预设点中除所述原点之外的任意一点。
[0188] 由公式1-1可以看出,只要清楚车辆预设点中任一点在车辆坐标系中的坐标,车头方向的偏航角度以及原点在场景坐标系中的相对坐标位置,就可以利用该公式精确的计算出车辆预设点中任意一点的坐标位置。
[0189] 进一步具体的,为了能够将车辆周身的位置定位的更加准确,该装置中可以包括至少一个第一定位子模块。也可以包括至少一个第二定位子模块。这里的第一定位子模块和第二定位子模块相结合使用,使的获取的车辆预设点的坐标位置更加精确,获取的车头方向的偏航角度也更加准确。通过精准的获取基站经纬度坐标和经过一系列数学模型计算,获取高精度的坐标位置。
[0190] 在本申请文件中,上述第一定位子模块和第二定位子模块在实际应用中,具体的,可以采用GPS作为定位装置。通过GPS工作原理,可得出两个天线位置距离越远,定位越准确。为了能够定位更加准确,具体的,可以将两个GPS的天线在车辆的前后各安装一个,前面的GPS天线安放在车辆顶棚靠近前玻璃交界处的中心位置,第二个GPS天线则放在车辆顶棚靠近与后玻璃交界处中心位置。车辆坐标系的原点可以设置在第二个GPS天线安放的位置,随着车辆的移动,基准位置(原点)也将随之移动。但是,通过上述公式,则可以通过移动量计算出相应真实的车辆位置。
[0191] 为便于安装,也可以将两个GPS天线横向对称安装于车顶之上,使两个GPS天线的连线垂直于车辆纵向中心线。上述两种安装GPS的方式只是具体的示例,而并非局限于这两种方式。其他安装方式同样适用,本申请文件中不做任何限定。
[0192] 所述的驾驶人头部位姿感知模块104通过安装在车辆驾驶室合适位置的摄像头获取驾驶人头部图像,通过对驾驶人头部特定标识的图像处理解算出驾驶人的头部位姿,进而识别出目视前方、左侧头观察后视镜、右侧头观察后视镜、回头观察车辆后方、低头看档位、仰头、将头伸出车窗外等动作位姿,并将识别结果实时报送至智能化驾驶训练教学执行与决策评价模块105。
[0193] 具体的,如图7所示,所述驾驶人头部位姿感知模块104包括:
[0194] 位姿坐标系建立子模块,用于基于摄像头位置建立摄像头坐标系,基于目标物体旋转中心建立目标坐标系;
[0195] 坐标位置获取子模块,用于根据预先设置在目标物体上的识别标签和目标物体的尺寸参数分别获得该识别标签在摄像头坐标系和目标坐标系中的坐标位置;
[0196] 位置变化获取子模块,用于通过所述识别标签在摄像头坐标系和目标坐标系中的坐标位置获得目标物体在旋转过程中的位置变化参数;
[0197] 旋转角度获取子模块,用于根据所述识别标签在旋转过程中的位置变化参数获得目标物体的角度变化参数,进而根据所述目标物体的角度变化参数获得目标物体的旋转角度;
[0198] 动作识别子模块,用于根据目标物体在旋转过程中的位置变化参数以及目标物体的旋转角度识别目标物体的动作状态。
[0199] 具体获得驾驶人的头部位姿的计算过程如下:
[0200] 在目标坐标系中设定位置1、位置2和位置3,所述位置1、位置2和位置3处于同一水平面,其中位置2与目标物体中心的连线与位置1和位置3与目标物体中心的连线所成的夹角均为α。
[0201] 识别标签分别处于位置1、位置2和位置3时,通过图像识别技术分别得到识别标签在摄像头坐标系中的位置 和 其中, 和 分别为识别标签在摄像头坐标系中位置1、位置2和位置3的齐次坐标变换。
[0202] 通过
[0203]
[0204]
[0205]
[0206] 其中, 和 分别为识别标签在目标坐标系中位置1、位置2和位置3的齐次坐标变换,Z为目标坐标系的Z轴,r0为目标半径,Trans(Z,r0)为识别标签坐标变换时沿着Z轴移动r0,Y为目标坐标系的轴,-α为识别标签由位置1移动到位置2时所旋转的角度,α为识别标签由位置3移动到位置2时所旋转的角度,R(Y,-α)为识别标签坐标变换时沿着Y轴旋转-α角度,R(Y,α)为识别标签坐标变换时沿着Y轴旋转α角度,计算获得目标物体在目标坐标系中的坐标位置;
[0207] 通过所述识别标签在摄像头坐标系和目标坐标系中的坐标位置获得目标物体在旋转过程中的位置变化参数 其中, 为目标物体未移动时目标坐标系原点在摄像头坐标系中的位置, 为目标物体移动后目标坐标系原点在摄像头坐标系中的位置, 为识别标签在摄像头坐标系下的坐标的齐次变换, 为识别标签在目标坐标系下的坐标的齐次变换,i=1,2,3。
[0208] 根据所述目标物体在旋转过程中的位置变化参数求得其对应的欧拉角表示,最终获得目标物体的旋转角度:
[0209]
[0210] 其中, 为目标物体由位置A移动至位置B时的欧拉变换矩阵,ψ为目标物体的偏航角,θ为目标物体的俯仰角,为目标物体的滚转角,R(Z,ψ)为识别标签坐标变换时沿着Z轴旋转ψ角度,R(Y,θ)为识别标签坐标变换时沿着Y轴旋转θ角度, 为识别标签坐标变换时沿着X轴旋转 角度,目标物体的旋转角度为: sinθ=-c31,
[0211] 所述的智能化驾驶训练教学执行与决策评价模块105的实施方案描述如下:
[0212] (1)安装运行平台:模块105安装在车载计算机101上。
[0213] (2)教学模式:模块105在教学模式上,采用带有闭环反馈的智能化、多通道交互式教学模式。在教学训练交互通道设计上,采用多媒体视频、语音和三维交互图形界面构建智能化、互动式教学环境;在教学逻辑控制上,模块105的教学引导系统首先按照课程教学控制逻辑指导驾驶人进行训练操作,同时,根据驾驶人操作行为与车辆状态感知模块102、车辆位姿与轨迹感知模块103、驾驶人头部位姿感知模块104反馈的信号,再按照知识库中设计的智能逻辑,对驾驶人的驾驶行为进行识别,并进一步做出反馈响应,智能化指导驾驶人进行后续操作或调整,从而实现互动式智能教学。
[0214] (3)课程内容设计:模块105在训练课程内容设计上,覆盖了学员熟练、安全驾驶机动车辆并通过各类驾驶执照考试所需知识与技能的训练课程。
[0215] (4)教学技法设计:模块105在教学技法的设计上,采用了渐进式方案,帮助学员由易到难、由简单到复杂地渐进掌握驾驶知识和技能:首先,以多媒体教学视频方式进行操作项目的初步讲解,并基于三维数字化虚拟现实场景,对操作要领进行详细讲解;随后,按步骤详细指导驾驶人进行操作,并根据获取的驾驶人操作情况做出智能化互动与反馈,纠正驾驶人错误操作,分析驾驶人错误原因,提醒驾驶人进行下一步操作;之后,由驾驶人自主进行操作,系统对操作过程进行监控,当发现操作错误时,及时提醒驾驶人所犯错误以及纠正措施;最后,进入模拟考试阶段,驾驶人完全自主进行驾驶操作,系统在操作过程中不给出任何提示性信息,在操作完成后按照标准考试准则给出量化评分,判断驾驶人是否已熟练掌握机动车驾驶技能,并给出模拟考试是否通过的结论。
[0216] (5)可视化反馈功能设计:在学员训练过程中,对学员操作车辆的轨迹信息进行采集与存储,在学员完成驾驶操作后,将轨迹数据传送至多媒体3D虚拟现实人机交互模块106进行可视化轨迹回放,以帮助学员分析操作中存在的问题。
[0217] (6)智能化分析评价功能设计:模块105还设计了对驾驶人操作车辆轨迹的评价与分析的功能。可根据驾驶人操作行为与车辆状态感知模块102、车辆位姿与轨迹感知模块103、驾驶人头部位姿感知模块104等传来的参数,结合场地或道路电子地图,判断驾驶人驾驶行为的合理性、合规性。并且,基于知识库,识别驾驶过程中的问题及原因,给出智能化反馈意见和分析报告。
[0218] 具体的,如图5所示,所述多媒体3D虚拟现实人机交互模块106包括:
[0219] 场景模型建立子模块,用于建立外部场地的场景三维数据模型;
[0220] 车辆模型建立子模块,用于根据车辆参数建立车辆三维数据模型;
[0221] 模型融合子模块,用于将所述车辆三维数据模型植入场景三维数据模型中;
[0222] 位置获取子模块,用于通过GPS获取车辆在外部场地的位置信息,并根据所述位置信息获得所述车辆三维数据模型在场景三维数据模型中的空间位置;
[0223] 显示子模块,用于显示车辆三维数据模型在场景三维数据模型中的空间位置。
[0224] 所述的多媒体3D虚拟现实人机交互模块106中在实现机制上采用了数字化车辆模型和数字场景地图相结合的技术,首先建立了机动车的三维全息数字仿真模型,数字仿真模型在外形尺寸、轮廓、材质、颜色,以及内部空间与零部件(方向盘、仪表板、座椅、前后风挡玻璃、车窗玻璃、前后雨刮器、左后视镜、中后视镜、右后视镜、档位、油门踏板、离合器踏板、制动踏板、驻车制动器、车轮)等细节方面与真实机动车辆完全保持一致。进而将车辆数字模型植入基于场地电子地图构建的三维场景中,构造出基于多窗口的虚拟现实交互场景。基于多窗口的虚拟现实交互场景,通过虚拟可移动摄像机分别提供了外部正上方俯视、外部后上方俯视、内部驾驶人眼睛视角等多种视角场景,并与驾驶人及车辆所处的真实场景保持实时、完全、同步仿真显示。以上所述的虚拟可移动摄像机是利用了现有技术当中的视点成像技术,可根据实际练车情况在所需观察的视点实时设置相应的摄像机视角,进而实现不同视角场景的虚拟成像。
[0225] 借助三维虚拟现实场景,模块106设计了基于多窗口的虚拟现实交互场景的讲解同步指引功能,在智能化驾驶训练教学执行与决策评价模块105进行操作讲解的过程中,同步播放基于多窗口虚拟现实交互场景的标准操作过程,同时,对讲解中所提及的相关要素进行同步加亮显示并闪烁,帮助受训驾驶人准确理解操作要领。
[0226] 具体的,所述多媒体3D虚拟现实人机交互模块106还包括特征获取子模块,用于获取外部场地中的库位标线、道路标线或特征点,并将所述库位标线、道路标线或特征点以加亮显示线、高亮度指示点或引导箭头的方式植入场景三维数据模型中发送给显示子模块。将教学中需要学员观察或参照的在外部实际场地中的库位标线、道路标线或特征点以加亮显示线或高亮度指示点或指引箭头的方式直接同步显示于场景三维数据模型中,将物理世界中的真实教学场景和3D虚拟现实数字场景的同步一致,以达到3D增强虚拟现实效果,提升学员理解教学内容与操作要领的效率与效果。使学员不用下车就可以精准了解、感知车辆空间位置关系,显著提高学习效果与效率。
[0227] 获取外部场地中的库位标线、道路标线或特征点之前,首先通过场地测绘技术将所有需要学员观察或参照的外部实际场地中的库位标线、道路标线或特征点进行现场测绘,将其植入场景三维数据模型中。
[0228] 具体的,所述多媒体3D虚拟现实人机交互模块106还包括轨迹动态回放子模块,用于根据车辆三维数据模型在场景三维数据模型中的空间位置的变化情况绘制动态运动轨迹,并根据所述运动轨迹对车辆三维数据模型在场景三维数据模型中的行驶路线进行动态回放。在学员完成练车过程后,可以通过动态回放的方式对学员在驾车期间车辆的运行轨迹,进而获知练车的情况,有利于学员及时对驾驶习惯或驾驶方式进行改变。
[0229] 具体的,本实施例所述的多媒体3D虚拟现实人机交互模块106可以与车辆位姿与轨迹感知模块103配合使用,车辆位姿与轨迹感知模块103能够精确定位车辆在场景三维数据模型中的位置以及方向,同时也能够具体检测到车辆轮廓与实际场地中需要观察或参考的库位标线、道路标线或特征点的相对位置,并通过多媒体3D虚拟现实人机交互模块106从驾驶员第一人称视点等多方向观察视点进行实时同步显示,从而能够实现驾驶训练过程中的智能化和可视化。
[0230] 所述的数字化智能场地地图模块107中提供了对机动车驾驶训练场地地图、道路地图、车辆标准轨迹、车辆外形轮廓的测绘和管理功能。在场地与道路测绘方面,利用定位系统采集场地、道路中的各项设施、科目及相关要素的空间坐标,进而通过对坐标的存储与处理,实现对机动车驾驶场地、道路等的数字化描述。在对机动车驾驶标准轨迹的采集与记录的方面,利用安装在车辆上的定位系统获取车辆的运动轨迹数据,从而进行标准行驶轨迹的采集与记录;在对机动车轮廓边界的测绘功能的实现方式上,通过采集定位系统反馈的车身轮廓边界点坐标,绘制车身轮廓电子地图。
[0231] 所述的驾驶训练数据采集上报模块108可采集机动车驾驶人在训练期间的过程数据,包括受训人、训练任务、开始时间、结束时间、车辆实际轨迹、训练结果等;在数据采集实现机制上,对于受训人、训练任务、开始时间、结束时间、训练结果等信息,模块108通过和智能化驾驶训练教学执行与决策评价模块105的内部数据集成获得;模块108将采集到的机动车驾驶人训练过程数据上传到数据处理子系统200进行统一存储与管理;
[0232] 所述的车辆安全控制模块109负责对车辆和系统运行进行安全控制。模块109通过和驾驶人操作行为与车辆状态感知模块102、车辆位姿与轨迹感知模块103的集成实时获取车辆的操控状态信息,并按照预先设定的风险控制规则进行主动的智能安全控制,当车辆操控状态达到规定的危险状态时,根据危险程度,自动做出适当的安全响应和控制措施,包括:降低车辆速度、切断油路、制动车辆、停止车辆运行等;模块109与运行管控子系统300之间亦建立了数据连接,按照约定的格式接收来自运行管控子系统发来的控制指令,对车辆进行管控。
[0233] 具体的,如图10所示,车辆安全控制模块109包括:车辆信息检测模块、控制模块以及车辆安全执行模块。
[0234] 其中,车辆信息检测模块,用于采集车辆自身的状态参数信息,以及与障碍物对应的参数信息。
[0235] 具体的,与障碍物对应的参数信息包括:车辆所在第一预设区域内存在的障碍物的位置,以及车辆当前位置与障碍物的位置之间的距离信息。车辆信息检测模块具体包括:
[0236] 车辆定位子模块,用于对车辆进行定位,获取车辆当前所在位置。
[0237] 距离传感子模块,用于检测车辆所在第一预设区域内存在障碍物的位置,以及车辆当前位置与障碍物的位置之间的第一距离。其中,第一区域可以分为车前左侧区域,车前右侧区域,车辆正前区域,车后左侧区域,车辆正后区域以及车后右侧区域等等。距离传感子模块也可以根据区域的不同,设置一个或者多个。例如,按照上述的区域方位不同,每个方位各安装一个车辆信号采集子模块,用于采集车辆自身的状态参数信息。
[0238] 具体的,车辆自身的状态信息可以包括多种,例如车门状态、左右转向灯状态、喇叭状态、刹车状态、手刹状态,安全带状态等。这些参数均为开关量信号。方向盘角度为总线数字量信号,离合传踩下状态为模拟量信号。更重要的是,还包括当前车速信息、车辆的加速踏板在预定时间内移动的第二距离信息、车辆的档位信息、方向盘转向以及所转角度信息等等。而与障碍物对应的参数信息可以包括车辆所在第一预设区域内存在障碍物的位置,以及车辆当前位置与障碍物的位置之间的距离信息。
[0239] 其中,采集车辆自身的状态信息可以通过车辆信号采集子模块获取。
[0240] 具体的,车辆定位子模块还用于:检测车辆是否超出第二预设区域,这里的第二区域为安全驾驶的区域。例如,驾驶员在练车场训练时的区域。当驾驶员即将驶出该区域时,也即是当车辆超出第二预设区域时,向控制模块发出报警信号,以便控制模块根据报警信号,确定对车辆采取预设安全策略。
[0241] 控制模块,用于根据车辆自身的状态参数信息,以及与障碍物对应的参数信息,确定车辆当前是否采取预设安全策略,其中预设安全策略包括:刹车、熄火、踩下离合器或锁定车辆中的至少一种;且当确定对车辆当前采取预设安全策略时,向车辆安全执行模块发出控制指令。
[0242] 具体的,控制模块包括:数据处理子模块,用于对车辆自身的状态参数信息,以及与障碍物对应的参数信息按照预设规则进行运算,获取运算结果;
[0243] 策略判定子模块,用于根据运算结果确定是否对车辆采取预设安全策略;
[0244] 发送子模块,用于在策略判定子模块确定对车辆采取预设安全策略时,向车辆安全执行模块发送控制指令;
[0245] 通信子模块:用于建立控制模块与车辆信息检测模块之间的通信连接,以及建立控制模块与车辆安全执行模块之间的通信连接。其中,通信子模块可以由CAN总线、OBD总线、开关量线以及串行接口等组合实现。用于在控制模块和车辆信息检测模块之间传输数据,或者在控制模块和车辆安全执行模块之间传输控制指令等等。
[0246] 还需要说明的是,虽然在本系统中,因为执行的功能不同,包括了发送子模块和通信子模块。但在实际应用中,这两个模块其实可以用同一个通信装置实现。本申请文件中对此并不做任何限定。
[0247] 具体的,在一种情况中,车辆自身的状态参数包括车辆的当前车速信息,数据处理子模块具体用于:计算车辆当前位置与障碍物的位置之间的第一距离,和车辆的当前车速之间的比值;
[0248] 策略判定子模块具体用于,判定第一距离和车辆的当前车速之间的比值小于或者等于第一预定阈值时,确定对车辆采取预设安全策略。
[0249] 在另一种情况中,车辆自身的状态参数还包括车辆的加速踏板在预定时间内移动的第二距离;策略判定子模块还用于:当确定车辆的加速踏板在预定时间内移动的第二距离大于或者等于第二预定阈值时,确定对车辆采取预设安全策略。
[0250] 车辆安全执行模块,用于接收控制指令,根据控制指令,对车辆采取预设安全策略。
[0251] 具体的,车辆安全执行模块,具体包括第一执行子模块、第二执行子模块、第三执行子模块或第四执行子模块中的至少一种;第一执行子模块,用于执行车辆刹车的动作;第二执行子模块,用于控制车辆熄火;第三执行子模块,用于控制车辆离合被踩下;第四执行子模块,用于锁定车辆。
[0252] 所述的数据处理子系统200构建在通用的数据库平台上,实现对多媒体教学课件资源、场地电子地图、驾驶人信息、机动车信息、驾培机构信息等基础信息进行管理,亦可接收车载智能训练子系统100通过系统级数据通信子系统400上报的训练过程数据进行接收、存储与管理等功能。
[0253] 所述的运行管控子系统300可对车辆操作和运行状态进行实时监控,可通过接收车载智能训练子系统100通过系统级数据通信子系统400传来的车辆训练和操控数据,在屏幕上动态显示车辆在训练场地上的位置和运动信息,以及车辆运行参数;运行管控子系统300通过与车辆安全管控模块109之间建立的数据链路实现对车辆的远程控制。
[0254] 所述的系统级数据通信子系统400基于通用的局域网或广域网通讯技术搭建数据链路,以支持车载智能训练子系统100、数据处理子系统200、运行管控子系统300之间的数据交互需求。可使用的网络通讯技术包括但不限于园区无线局域网、有线局域网、电信宽带、2G/3G/4G移动网、无线电台等多种形式。
[0255] 本发明紧密融合了数字化、信息化、人工智能、多媒体、虚拟现实等先进技术手段,直接安装、部署在真实的机动车上,通过智能化、多媒体、虚拟现实等先进技术手段展开基于实际机动车的教学训练活动,可以为驾驶技术受训学员提供直接、生动、直观、真实、智能、安全的驾驶技能训练课程,全部或部分替代人工教练员,提高训练质量与效率,降低训练成本;同时,本系统可对学员训练过程的操作与学习数据进行采集,并上报中央数据处理系统进行存储与分析;可对训练过程及车辆进行实时监视与管控。从而,在为机动车驾驶人训练提供数字化、多媒体、智能化先进手段的同时,为政府监管部门提供机动车驾驶人培训监管所需的数据支持。
[0256] 以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈