技术领域
[0001] 本
发明属于车载HUD显示技术领域，尤其涉及一种结合语音和视频识别的HUD显示装置。
背景技术
[0002] HUD(Heads Up Display)抬头数字显示，又叫平视显示系统，它可以把重要的信息，如转速、导航、时间，利用光学
镜面反射的原理投射到
汽车挡
风或立起来的小屏幕上让人感觉图像是在车头前方几米的距离内，使驾驶员不必低头，就能看清重要的信息。也有在原来
挡风玻璃成像的
基础上加入透镜，将显示的内容放大到更远的地方，驾驶员在行驶过程中可以不调节视线的焦距，向前看清路面情况的同时平行看到HUD显示的车况信息。
[0003] 现有的HUD显示系统无法结合实际环境仅能显示有限的内容，驾驶员在行驶过程中不能与HUD显示的内容进行有效交互和控制。如需驾驶员回应HUD显示内容还得视线离开前方，手动
接触相关操作界面，使得驾驶员应用该系统受到局限性，难以保障驾驶安全。
发明内容
[0004] 为了克服
现有技术的不足的问题，HUD显示系统无法结合实际环境仅能显示有限的内容，驾驶员在行驶过程中不能与HUD显示的内容进行有效交互和控制，如需驾驶员回应HUD显示内容还得视线离开前方，手动接触相关操作界面，使得驾驶员应用该系统受到局限性，难以保障驾驶安全，本发明提供了一种结合语音和视频的HUD显示装置，用以解决现有技术中的技术问题。
[0005] 本发明为达到上述目的提供的技术方案是：一种结合语音和视频识别的HUD显示装置，具有用于将车辆信息投射到车辆前挡风玻璃上的HUD模
块，还包括：
[0006] 摄像模块，用于拍摄车辆和驾驶员状态的图像，并将图像转化为图像
信号；
[0007] 语音模块，用于记录驾驶员输入的语音，并将语音转化为
语音信号；
[0008]
电路模块，所述电路模块集成GPU、ARM处理器、
加速度
传感器、GPS传感器、无线WIFI和蓝牙模块，其中GPU获取摄像模块传送的图像信号与预设图像信号进行匹配，ARM处理器识别麦克风采集声音样本获取语音模块传送的语音信号与预设语音信号进行匹配，得到相匹配的动作指令；ARM处理器将驾驶员采取的手势、眼睛的动作，或者录入的语音进行识别得到动作指令并自动执行该动作，通过WIF或蓝牙获取手机相关的数据，结合电路模块的其他传感器状态，如GPS传感器，加速度传感器，形成最终显示的界面，由投影模块投影到HUD模块上显示给驾驶员。
[0009] 进一步的，驾驶员通过该HUD显示装置与汽车进行互动，采取手势动作是该HUD显示装置内部预设的可识别动作之一，用于电路模块对手势动作进行分析；采集的语音是包含语音激活词在内的语音信号，
语音识别模块对语音进行特征值分析。该HUD显示装置最终结合手势和语音的结果得到相匹配的动作指令。
[0010] 进一步的，所述摄像模块通过CSI
接口，或者MIPI视频接口，或者BNC接口，或者USB接口，或者无线模块与电路模块电性连接，该摄像模块包括：彩色摄像头和红外摄像头。彩色摄像头设置在挡风玻璃正前方，用于拍摄车辆周围的环境状态；红外摄像头面对驾驶员设置拍摄驾驶员手势的轮廓及用于分析司机疲劳状态的眼睛眨眼
频率。
[0011] 进一步的，彩色摄像头拍摄周围环境的状态包括但不限于，前车路口红绿灯情况，前车距离，行人状况，采集到的各项数据ARM处理器根据不同场景的设定显示在HUD显示模块。
[0012] 进一步的，所述红外摄像头的周侧具有LED红外
光源，LED红外光源主动发出红外线，利用红外摄像装置内的CCD或CMOS可以感受周围景物和环境反射回来的红外光的
光谱特性，配合红外灯作为“照明源”实现夜视监控。红外摄像头采集手势的轮廓影像和眼睛的动作影像为RAW光学信号，RAW光学信号经A/D转换器转换为
数字信号后，将数字信号传送给电路模块的GPU进行信号分类及指令识别。LED红外光源下方还设置一红外透视层，用于阻隔可见光以及消除可见光对视频识别的干扰。该红外滤光层可以由透红外聚
碳酸酯制成，也可以由透红外亚克
力制成，也可以由塑料透红外滤光片制成。
[0013] 进一步的，GPU获取摄像模块传送的数字信号进行信号分类及指令识别包括：提取红外拍摄的手势或者眼睛图像进行背景分离，用于消除背景对图形过滤的影响；将背景分离后的图像与预设图像对比进行分类；将分类后的图片根据手势或者眼睛的运动轨迹进行指令识别，确定运动轨迹代表的动作指令。
[0014] 进一步的，HUD模块包括光学显示结构、投影模块，其中光学显示结构包括正投成像膜和
光学透镜，投影模块是基于带有DLP技术的微投模块或者基于激光投影的微投模块或者高
亮度的
液晶屏幕；投影模块将成像投射到相对投影模块的正投成像膜，该正投成像膜就是在膜的表面使用芯片印刷工艺在上面印刷接近
纳米级别的超过10万个以上的凸面结构，再通过
真空磁控溅射镀膜工艺镀制纳米级的感光涂层，保证对投影到成像膜有很好的漫反射效果又具备高光学增益。正投成像膜再将成像光线反射到相对正投成像膜的HUD模块的光学透镜上，驾驶员透过该光学透镜可在汽车挡风玻璃前看到投影模块发送光线的最终成像。
[0015] 进一步的，所述光学透镜两面具有相同的
曲率，厚薄一致，且内弧面镀膜的反射率高于外弧面镀膜的反射率，如：内弧面的反射率是30％，外弧面的反射率1％，保证驾驶员看车外有70％透光率的正常影像，而正透成像膜上成的像能在内弧面上有30％的光线反射到驾驶员眼睛，具备放大成虚像的效果。
[0016] 进一步的，HUD模块悬挂在驾驶员
位置的遮阳板下方或者中控台正前方。
[0017] 进一步的，汽车或者智能终端可以通过无线控制HUD的显示内容。用户通过汽车上的按键或者智能终端通过车联网与汽车的HUD模块进行通讯，可以调整HUD所显示的内容。
[0018] 本发明的有益效果是：相比当前车载HUD的显示技术，本发明具有以下优点：
[0019] 1、通过语音和加速度传感器等的数据极大丰富了HUD显示的内容。
[0020] 2、驾驶员通过HUD观看展现的内容视线不离开路面，可以安全及时地获取车辆及周边信息，人机互动，迅速便捷。
[0021] 3、驾驶员通过和车载HUD系统进行信息交互，联网分享路况信息，提高了交通行驶效率。
附图说明
[0022] 图1为本发明提供的一种结合语音和视频识别的HUD显示装置的模块构成图；
[0023] 图2为本发明
实施例一提供的一种结合语音和视频识别的HUD显示装置的安装方式图；
[0024] 图3为为本发明实施例一提供的一种结合语音和视频识别的HUD显示装置的
硬件构成图；
[0025] 图中标识说明：1、HUD模块，2、摄像模块，3、语音模块，4、电路模块，5、汽车前挡风玻璃，6、彩色摄像头拍摄
角度，7、遮阳板，8、红外摄像头拍摄角度，9、光学透镜，10、彩色摄像头，11、红外摄像头，12、红外透视层，13、投影模块，14、正投成像膜。
具体实施方式
[0026] 以下将结合附图1至附图3对本发明做进一步的说明，但不应以此来限制本发明的保护范围。
[0027] 参考附图1，本发明提供一种结合语音和视频识别的HUD显示装置，具有用于将车辆信息投射到车辆前挡风玻璃上的HUD模块1，其特征在于，还包括：
[0028] 摄像模块2，用于拍摄车辆和驾驶员状态的图像，并将图像转化为图像信号；
[0029] 语音模块3，用于记录驾驶员的语音，并将语音转化为语音信号；
[0030] 电路模块4，所述电路模块4集成GPU、ARM处理器、加速度传感器、GPS传感器、无线WIFI和蓝牙模块，其中GPU获取摄像模块2传送的图像信号与预设图像信号进行匹配，ARM处理器识别麦克风采集声音样本获取语音模块3传送的语音信号与预设语音信号进行匹配，得到相匹配的动作指令；ARM处理器将驾驶员采取的手势、眼睛的动作，或者录入的语音进行识别得到动作指令并自动执行该动作，通过WIF或蓝牙获取手机相关的数据，结合电路模块4的其他传感器状态，如GPS传感器，加速度传感器，形成最终显示的界面，由投影模块投影到HUD模块1上显示给驾驶员。
[0031] 实施例一
[0032] 参考附图2和附图3，本发明提供的一种结合语音和视频识别的HUD显示装置，该HUD显示装置的一种车内安装方式：
[0033] HUD模块1中的投影模块13和正投成像膜14悬挂在车辆的遮阳板7下方，光学透镜9悬挂在投影模块13后侧，彩色摄像头10设置在挡风玻璃5正前方的角度6，用于拍摄车辆周围的环境状态，红外摄像头11设置在面对驾驶员的角度8，用于监测驾驶员的手势及眼睛眨眼的动作。红外摄像头11的周侧具有LED红外光源，LED红外光源下方设置一由透红外的聚碳酸酯材料制成。红外透视层12，用于阻隔可见光以及消除可见光对视频识别
算法的干扰，语音模块设置在摄像模块内部，用于监听驾驶员输出含有关键词的语音。
[0034] 实施例二
[0035] 本发明提供的一种结合语音和视频识别的HUD显示装置，该HUD显示装置的工作过程：
[0036] 启动该HUD显示装置，摄像模块中的彩色摄像头拍摄道路的状况，红外摄像头拍摄驾驶员的手势和眼睛动作，电路模块中的GPU实时处理摄像模块发送的图像信号；同时麦克风监听驾驶员的语音，电路模块中的ARM处理器实时匹配语音模块发送的语音信号；加速度传感器和GPS传感器实时收集车况和位置数据；该HUD显示装置通过无线wifi或者蓝牙无线连接手机。上述所有数据最终被都发送到电路模块的ARM处理器进行计算，得到的状态数据发送到HUD模块形成投影通过光学透镜的放大显示到挡风玻璃外。上述得到的状态数据包括但不限于，
前方车辆距离，轨道偏移，交通信号状态，驾驶员疲劳状态。驾驶员可以通过手势或者语音命令控制HUD显示的内容，包括但不限于，音乐信息，微信等社交网络信息，接听拨打电话信息，导航信息。
[0037] 实施例三
[0038] 驾驶员开动载有本发明装置的车辆在
马路上行驶，遇到十字路口是红灯时停车。驾驶员在
方向盘上方，红外摄像头下方的采集范围内，根据HUD显示界面的提示，举起食指左右滑动。该HUD显示装置的红外摄像头连续记录驾驶员的所有行为，通过GPU和ARM处理器匹配该动作对应的动作指令，获知驾驶员想要打开手机端的微信，该装置通过蓝牙把指令传输给与之相连的手机。装有微信的手机开启微信后，也通过蓝牙推送微信消息给HUD模块，HUD模块获取信息后通过投影模块把微信信息投影到挡风玻璃外显示。同时，该HUD显示装置的彩色摄像头持续的监控车窗外的交通信号，当ARM处理器计算路口的红灯已经转变为绿灯，HUD模块展示内容的即转变成通行标志，微信的内容关闭，提醒用户继续驾驶。
[0039] 本
申请发明的积极效果：通过语音和加速度传感器等的数据极大丰富了HUD显示的内容；驾驶员通过HUD观看展现的内容视线不离开路面，可以安全及时地获取车辆及周边信息，人机互动，迅速便捷；驾驶员通过和车载HUD系统进行信息交互，联网分享路况信息，提高了交通行驶效率。
[0040] 根据上述
说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和
修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对本发明的一些修改和变更也应当落入本发明的
权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。
