一种投影方法及装置、车辆及AR-HUD |
|||||||
| 申请号 | CN202180001479.9 | 申请日 | 2021-05-18 | 公开(公告)号 | CN114258319A | 公开(公告)日 | 2022-03-29 |
| 申请人 | 华为技术有限公司; | 发明人 | 姜欣言; 张宇腾; 于海; | ||||
| 摘要 | 本 申请 适用于智能 汽车 领域，具体提供了一种投影方法及装置、车辆及AR‑HUD，其中，该投影方法包括：获取标定物的图像信息和 位置 信息；根据所述标定物的图像信息和位置信息、以及成像模型，投影所述标定物；在所述标定物与所述标定物的投影面的重合度小于第一 阈值 时，调整所述成像模型的参数。本申请可使投影显示的图像与现实世界对齐，提高投影显示效果。 | ||||||
| 权利要求 | 1.一种投影方法，其特征在于，包括： |
||||||
| 说明书全文 | 一种投影方法及装置、车辆及AR‑HUD技术领域背景技术[0002] 抬头显示器(Head Up Display，HUD)是一种将图像投影显示到驾驶员前方视野中的显示装置，其主要是利用光学反射的原理，将重要的相关资讯以二维图像的方式投影显示在汽车的挡风玻璃上面，高度大致与驾驶员的眼睛成水平，驾驶员透过挡风玻璃往前方看的时候，可看到HUD投影的二维图像显示在挡风玻璃前方的一虚像面上。相比传统仪表和中控屏幕，驾驶员在观察HUD投影显示的图像时，无需低头，避免了在图像和路面之间来回切换，减小了危机反应时间，提高了驾驶安全性。近年来提出的增强现实(Augmented Reality，AR)抬头显示器(AR‑HUD)，可以将HUD投影显示的AR效果与真实路面信息融合起来，增强驾驶员对路面信息的获取，实现AR导航、AR预警等功能。 [0003] 要实现AR‑HUD的道路导航、预警等功能，需要将传感器获得的三维感知数据送入虚拟三维空间进行增强现实效果绘制，绘制完成后映射到HUD显示的二维虚像面，最后通过人眼再映射回三维空间。在此过程中，必须确保“人眼‑HUD的显示画面‑真实物体”保持三点一线，保证通过人眼观察到的HUD的显示画面与真实物体的尺寸、位置一致，使得如图1所示中人眼观察到HUD的显示画面中的虚拟图像恰好能够与对应的真实物体融合，以实现AR效果与显示场景的匹配融合。并且，对于同一驾驶员在驾驶过程中的不同位置，或者对于不同驾驶员来说，人眼的位置的改变要求HUD的显示画面必须进行相应的调整，以保证人眼观察到的HUD的显示画面始终与真实路面信息融合。 [0004] 因此，在驾驶员的不同坐姿、或者不同驾驶员的前提下，如何保证HUD的显示画面始终与现实世界融合，成为提高AR‑HUD的显示效果的重点研究方向。发明内容 [0005] 有鉴于此，本申请提供了一种投影方法及装置、车辆及AR‑HUD，可使投影显示的图像始终与现实世界对齐，提高投影显示效果。 [0006] 应理解，本申请所提供的方案中，投影方法可以由投影装置或该投影装置中的部分器件执行，其中，投影装置具有投影功能，例如，AR‑HUD、HUD或其他具有投影功能的装置。投影装置中的部分器件可以是处理芯片、处理电路、处理器等。 [0007] 本申请的第一方面提供一种投影方法，包括：获取标定物的图像信息和位置信息，根据该标定物的图像信息和位置信息、以及成像模型，投影该标定物。在该标定物与该标定物的投影面的重合度小于第一阈值时，调整该成像模型的参数。 [0008] 由上，本方法通过获取现实中的标定物的图像信息和位置信息，并根据该标定物的图像信息和位置信息、以及成像模型，对该标定物进行投影显示，并根据该标定物及该标定物的投影面的重合度，调整成像模型的参数，以使标定物和标定物的投影面尽可能的重合，达到对齐效果，提高用户的沉浸式体验。本方法可应用于AR‑HUD、HUD或其他具有投影功能的装置，以实现对装置的校准、标定，提高投影显示效果。 [0009] 在第一方面的一种可能的实现方式中，该调整该成像模型的参数包括：调整该成像模型的视场角和成像面位置中的一个或多个参数。 [0010] 由上，根据获取的标定物的图像信息和位置信息，可在成像模型的成像面生成对应该标定物的二维图像，并且在进行投影时，将该成像模型的成像面作为完整的投影图像进行投影显示。示例的，该成像模型可以为成像视锥体、成像圆柱体或成像立方体等形式，其中该成像模型的视场角参数可决定成像面的面积大小以及标定物的二维图像相对于该成像面的比例大小，该成像模型的成像面位置参数可决定标定物的二维图像相对于该成像面的位置，因此，当标定物和标定物的投影面的重合度低于预设的第一阈值时，可根据面积偏移或位置偏移或尺寸偏移，对应调整成像模型的视场角或成像面位置。 [0011] 在第一方面的一种可能的实现方式中，该在该标定物与该标定物的投影面的重合度小于第一阈值时，调整该成像模型的参数具体包括：在该标定物与该标定物的投影面的面积差大于第二阈值时，调整该成像模型的视场角。 [0012] 由上，当标定物与标定物的投影面的面积差大于预设的第二阈值时，此时可通过调整成像模型的视场角来调整成像面的面积，当标定物的投影面的面积大于标定物的面积时，可放大成像模型的视场角，成像面则会等比例放大，生成的标定物的二维图像在成像面中的比例则会等比例缩小，此时投影显示的标定物的投影面相对于标定物的面积也会等比例缩小，以使标定物的投影面与标定物的面积差小于预设的第二阈值；同理，当标定物的投影面的面积小于标定物的面积时，可缩小成像模型的视场角，成像面则会等比例缩小，生成的标定物的二维图像在成像面中的比例则会等比例放大，此时投影显示的标定物的投影面相对于标定物的面积也会等比例放大，以使标定物的投影面与标定物的面积差小于预设的第二阈值。 [0013] 在第一方面的一种可能的实现方式中，该在该标定物与该标定物的投影面的重合度小于第一阈值时，调整该成像模型的参数具体包括：在该标定物与该标定物的投影面的偏移量大于第三阈值时，调整该成像模型的成像面的二维位置。 [0014] 由上，当标定物与标定物的投影面的偏移量大于预设的第三阈值时，由于标定物的位置是固定的，此时可通过调整成像模型的成像面的二维位置，该二维位置具体是指成像面的上下位置和左右位置，以对应调整生成的标定物的二维图像在成像面中的相对位置，从而使得标定物与标定物的投影面的偏移量小于预设的第三阈值。 [0015] 在第一方面的一种可能的实现方式中，该标定物与该标定物的投影面的重合度是通过该标定物与该标定物的投影面的像素偏移确定的；该像素偏移是通过摄像头采集的包含该标定物与该标定物的投影面的图像确定的。 [0016] 由上，本方法在实现标定物与标定物的投影面的校准或标定时，可在用户的人眼位置设置一摄像头，以模拟人眼观察的效果，通过摄像头对标定物与标定物的投影面进行拍摄，生成一张或多张图像，并根据生成的图像确定标定物与标定物的投影面的像素偏移量，从而确定标定物与标定物的投影面的重合度，采用摄像头拍摄的方式，可提高检测标定物与标定物的投影面的重合度时的精确度，并以数据的形式直观展现，避免用户人眼观察带来的误差。 [0017] 在第一方面的一种可能的实现方式中，该成像模型是根据包括多个训练样本的训练集训练的，其中该训练样本包括人眼位置信息参数、标定物的图像信息和位置信息参数、以及该标定物与该标定物的投影面的重合度参数。 [0018] 由上，为提高成像模型的精确度，可采用神经网络或深度学习的方式，采用多个训练样本组成的训练集对该成像模型进行训练，其中，可以以人眼位置信息参数、标定物的图像信息和位置信息参数为主作为输入，以标定物与该标定物的投影面的重合度参数作为输出，组成一个训练样本，通过多次训练，以提高标定物与该标定物的投影面的重合度，使得该成像模型的适用范围更广，且具有深度学习、优化的特性，以满足不同用户的使用体验。 [0019] 在第一方面的一种可能的实现方式中，还包括： [0020] 获取用户的校准需求，向用户发送校准开始的提示消息。获取用户的人眼位置，根据该用户的人眼位置对该成像模型的参数进行校准。在校准完成后，向用户发送校准完成的提示消息。 [0021] 由上，本方法可以在用户无感知的情况下，根据用户的人眼位置，自动校准成像模型的参数，还可以通过人机交互的方式，引导用户提出校准需求，并在语音提示、显示提示等方式下，实现成像模型的参数的校准，并在校准完成后，向用户发送校准完成的提示消息，以提升用户的使用体验。 [0022] 在第一方面的一种可能的实现方式中，还包括： [0023] 通过人眼确定该标定物与该标定物的投影面是否重合； [0024] 在该标定物与该标定物的投影面未重合时，根据用户的调整指令，对校准完成的该成像模型的参数进行调整。 [0025] 由上，本方法可根据用户的人眼位置，校准成像模型的参数，以使标定物与该标定物的投影面的重合度达到预设的阈值，同时，当用户对当前标定物与该标定物的投影面的重合度不满意时，还可根据主观体验，对成像模型的参数进行调整，实现投影显示的客制化，以达到用户的目标需求。 [0026] 本申请的第二方面提供一种投影装置，包括： [0027] 获取模块，用于获取标定物的图像信息和位置信息； [0028] 投影模块，用于根据该标定物的图像信息和位置信息、以及成像模型，投影该标定物； [0029] 调整模块，用于在该标定物与该标定物的投影面的重合度小于第一阈值时，调整该成像模型的参数。 [0030] 在第二方面的一种可能的实现方式中，该调整模块用于调整该成像模型的参数时，具体用于： [0031] 调整该成像模型的视场角和成像面位置中的一个或多个参数。 [0032] 在第二方面的一种可能的实现方式中，该调整模块具体用于： [0033] 在该标定物与该标定物的投影面的面积差大于第二阈值时，调整该成像模型的视场角。 [0034] 在第二方面的一种可能的实现方式中，该调整模块具体用于： [0035] 在该标定物与该标定物的投影面的偏移量大于第三阈值时，调整该成像模型的成像面的二维位置。 [0036] 在第二方面的一种可能的实现方式中，该标定物与该标定物的投影面的重合度是通过该标定物与该标定物的投影面的像素偏移确定；该像素偏移是通过摄像头采集的包含该标定物与该标定物的投影面的图像确定。 [0037] 在第二方面的一种可能的实现方式中，该成像模型是根据包括多个训练样本的训练集训练，其中该训练样本包括人眼位置信息参数、标定物的图像信息和位置信息参数、以及该标定物与该标定物的投影面的重合度参数。 [0038] 在第二方面的一种可能的实现方式中，还包括： [0039] 提示模块，用于在获取用户的校准需求时，向用户发送校准开始的提示消息； [0040] 该调整模块还用于根据获取的用户的人眼位置，对该成像模型的参数进行校准； [0041] 该提示模块还用于在校准完成后，向用户发送校准完成的提示消息。 [0042] 在第二方面的一种可能的实现方式中， [0043] 该提示模块还用于提示用户通过人眼确定该标定物与该标定物的投影面是否重合； [0044] 该调整模块还用于在该标定物与该标定物的投影面未重合时，根据用户的调整指令，对校准完成的该成像模型的参数进行调整。 [0045] 为达到上述目的，本申请的第三方面提供一种系统，包括： [0046] 如第二方面及上述各种可选的实现方式提供的多种技术方案中的投影装置，以及车机。 [0047] 在一种可能的实现方式中，该系统还包括：存储装置，用于存储成像模型及成像模型的训练集；以及通信装置，用于实现该存储装置与云端的通信交互。 [0048] 在一种可能的实现方式中，该系统为车辆。 [0049] 本申请的第四方面提供一种计算设备，包括：处理器，以及存储器，其上存储有程序指令，该程序指令当被该处理器执行时使得该处理器执行如第一方面及上述各种可选的实现方式提供的多种技术方案中的投影方法。 [0050] 在一种可能的实现方式中，该计算设备为AR‑HUD、HUD中的一个。 [0051] 在一种可能的实现方式中，该计算设备为车。 [0052] 在一种可能的实现方式中，该计算设备为车机、车载电脑中的一个。 [0053] 本申请的第五方面提供一种计算机可读存储介质，该计算机可读存储介质上存储有程序代码，该程序代码当被计算机或处理器执行时使得该计算机或处理器执行如第一方面及上述各种可选的实现方式提供的多种技术方案中的投影方法。 [0054] 本申请的第六方面提供一种计算机程序产品，该计算机程序产品包含的程序代码当被计算机或处理器执行时使得该计算机或处理器执行如第一方面及上述各种可选的实现方式提供的多种技术方案中的投影方法。 [0055] 应理解，上述多种技术方案中还提供了投影调整相关联的多种阈值，包括：第一阈值，第二阈值，第三阈值。应理解，这些阈值相互之间并不互斥，可以组合使用。可以是小数，也可以是相对比例，比如百分比。对于这些门限中的任一种门限，当投影面积或重合度或面积差或偏移量等于上述一个预设阈值时，可以认为是临界状态。对于临界状态，既可以认为满足门限判断条件，执行相应地后续操作，也可以认为不满足门限判断条件，不执行相应地后续操作。 [0056] 综上，本申请提供的投影方法及装置、车辆及AR‑HUD，通过获取标定物的图像信息和位置信息，根据成像模型，对标定物进行投影显示，并通过调整成像模型的参数，提高标定物和标定物的投影面的重合度，以提高投影显示的效果。在本申请中，成像模型可根据获取的用户的人眼位置信息，标定物的图像信息和位置信息，在成像模型的成像面上生成该标定物的二维图像，并通过投影装置进行投影显示，其中标定物和标定物的投影面的重合度可用于评价该成像模型的准确性和稳定性。在本申请的一些实施例中，该成像模型还可采用神经网络或深度学习的方式进行训练，以使得该成像模型的准确性和稳定性不断得到优化，使得该成像模型适用于不同用户的人眼位置的变化。并且随着5G技术和智能汽车的快速发展，该成像模型还可以通过云端交互的方式，进行优化训练，以适用于不同的车机投影装置，并根据不同的车机投影装置的硬件参数，自动调整成像模型的一个或多个参数，以满足不同用户的客制化需求。附图说明 [0057] 图1为现有的AR‑HUD在使用场景的成像示意图； [0058] 图2为本申请实施例提供的投影方法的一种应用场景的示意图； [0059] 图3为本申请实施例提供的投影方法的另一种应用场景的示意图； [0060] 图4为本申请实施例提供的一种投影方法的流程图； [0061] 图5为本申请实施例提供的一种标定方法的流程图； [0062] 图6为本申请实施例提供的AR‑HUD的系统架构示意图； [0063] 图7为本申请实施例提供的一种AR‑HUD的投影方法的流程图； [0064] 图8A为本申请实施例提供的成像视锥体的示意图； [0065] 图8B为本申请实施例提供的成像视锥体到AR‑HUD的空间转换示意图； [0066] 图9A为本申请实施例提供的虚拟坐标系下的虚拟人眼与成像视锥体的平视示意图； [0067] 图9B为本申请实施例提供的现实坐标系下的人眼与AR‑HUD的虚像面组成的俯视示意图； [0068] 图10A为本申请实施例提供的AR‑HUD的虚像面显示的目标框与标定板的垂直偏移示意图； [0069] 图10B为本申请实施例提供的AR‑HUD的虚像面显示的目标框与标定板的水平偏移示意图； [0070] 图11为本申请实施例提供的一种投影装置的架构图； [0071] 图12A为本申请实施例的一种人机交互界面的示意图； [0072] 图12B为本申请实施例的另一种人机交互界面的示意图； [0073] 图13为本申请实施例的一种计算设备的架构图。 [0074] 应理解，上述结构示意图中，各框图的尺寸和形态仅供参考，不应构成对本发明实施例的排他性的解读。结构示意图所呈现的各框图间的相对位置和包含关系，仅为示意性地表示各框图间的结构关联，而非限制本发明实施例的物理连接方式。 具体实施方式[0075] 下面结合附图并举实施例，对本申请提供的技术方案作进一步说明。应理解，本申请实施例中提供的系统结构和业务场景主要是为了说明本申请的技术方案的可能的实施方式，不应被解读为对本申请的技术方案的唯一限定。本领域普通技术人员可知，随着系统结构的演进和新业务场景的出现，本申请提供的技术方案对类似技术问题同样适用。 [0076] 应理解，本申请实施例提供的内存管理方案，包括投影方法、装置、车辆及AR‑HUD。由于这些技术方案解决问题的原理相同或相似，在如下具体实施例的介绍中，某些重复之处可能不再赘述，但应视为这些具体实施例之间已有相互引用，可以相互结合。 [0077] 抬头显示设备通常安装于汽车座舱内，通过向汽车的前挡风玻璃投影，投影的显示信息经过前挡风玻璃反射后进入用户的眼睛，在车辆前方呈现，使得显示信息与现实世界的环境相融合，形成增强现实的显示效果。例如，通过建立摄像头坐标系、人眼坐标系，确定所述摄像头坐标系和人眼坐标系的对应关系，根据车载摄像头拍摄的图像信息、以及该摄像头坐标系和人眼坐标系的对应关系，确定增强现实显示图像，然后根据增强现实显示图像与HUD图像的映射关系进行投影显示。然而该实现方式在驾驶过程中，需要实时标定人眼坐标系与摄像头坐标系之间的转换关系，计算量较大，任务的复杂度较高。 [0078] 为了实现更好的投影显示效果，本申请实施例提供了一种投影方法及装置、车辆及AR‑HUD，可实现根据用户人眼的位置变化，实时调整投影显示效果，使投影显示的AR显示图像始终与现实世界对齐，提高投影显示效果。其中，用户通常是驾驶员。用户也可以是副驾乘客或后排乘客等，例如，在车辆座舱内安装有多台HUD设备，不同的HUD设备针对的用户不同。在调整过程中，针对主驾驶位的驾驶员的HUD设备，可根据驾驶员的人眼位置，调整该主驾驶位的HUD设备，使得驾驶员看到的AR显示图像能够与前方的现实世界对齐，该AR显示图像可以为导航信息、车速信息，还可以为道路上的其他提示信息。针对副驾驶位的乘客的HUD设备，可根据副驾乘客的人眼位置，调整该副驾驶位的HUD设备，使得乘客看到的AR显示图像也能够与前方世界对齐。 [0079] 图2‑图3示出了本申请实施例提供的投影方法的一种应用场景的示意图，参照如图2‑图3，本实施例的应用场景具体涉及一种车辆，该车辆1具有采集装置10、投影装置20、显示装置30。 [0080] 采集装置10可以包括车外采集装置和车内采集装置，其中车外采集装置具体可以采用激光雷达、车载摄像头或其他具有图像采集或光学扫描功能的一个设备或多个组合设备，可以设置在车辆1的顶部、头部或车辆座舱的后视镜的朝向车外的一侧，可以安装在车辆的内部，也可以安装在车辆的外部。其主要用于对车辆前方的环境进行图像信息和位置信息进行检测和采集，车辆前方的环境可以包括前方车辆、障碍物、道路指示等相关信息；车内采集装置具体可以采用车载摄像头、人眼检测仪等设备，车内采集装置在具体实现过程中，可以按照需求设置按照位置，例如，可以设置在车辆座舱的A柱、B柱或车辆座舱的后视镜的朝向用户的一侧，还可以设置在方向盘、中控台附近区域，还可以设置在座椅后方显示屏上方等位置。其主要用于对车辆座舱的驾驶员或乘客的人眼位置信息进行检测和采集。车内采集装置可以是一台，也可以是多台，本申请对其位置和数量不做限定。 [0081] 投影装置20可以为HUD、AR‑HUD或其他具有投影功能的设备，可以安装于车辆座舱的中控台上方或中控台内部，其通常包括投影仪、反射镜、投影镜、调节电机及控制单元，所述控制单元为电子设备，具体可以为中央处理器(CPU)、微处理器(MCU)等常规的芯片处理器，也可以为手机、平板等终端硬件。该控制单元分别与所述采集装置10和显示装置30通信连接，该控制单元内可以预设有成像模型或通过获取车辆其他器件内预设的成像模型，该成像模型的参数与车内采集装置采集的人眼位置信息具有关联关系，能够根据人眼位置信息进行参数校准，然后根据车外采集装置采集的环境信息，生成投影图像，并在投影仪输出。如图3所示，投影的图像中可以包括根据环境信息生成的增强现实显示图像，还可以包括车速、导航等图像。 [0082] 显示装置30可以为车辆的前挡风玻璃或独立显示的透明屏幕，用于反射所述投影装置发出的图像光线后进入到用户的眼中，使驾驶员透过该显示装置30望向车外时，能够看到具有景深效果的虚拟图像，并与现实世界的环境产生重合，向用户呈现增强现实的显示效果。 [0083] 其中，采集装置10、投影装置20以及其他装置可以分别通过有线通信或无线通信(如蓝牙、wifi)等方式进行数据的通信，例如，采集装置10在采集到图像信息后，可以通过蓝牙通信将该图像信息传输给投影装置20。再例如，投影装置20可以通过蓝牙通信，将控制信令发送给采集装置10，并调整采集装置10的采集参数，如拍摄角度等。应理解的是，数据的处理可以在投影装置20中完成，也可以在采集装置10中完成，还可以在其他处理设备中完成，例如车机、车载电脑等设备。 [0084] 通过上述结构，车辆能够实现基于现实世界的环境信息的增强现实显示效果，并且能够根据用户的人眼位置信息调整生成的投影图像，以使投影显示的增强现实显示图像始终与现实世界的环境信息重合，提高用户的沉浸式观看体验。 [0085] 图4示出了本申请实施例提供的一种投影方法的流程图，该投影方法可以由投影装置或投影装置中的部分器件来执行，例如，AR‑HUD、HUD、车、处理器等，具体可以实现上述投影装置或投影装置中的部分器件的校准、标定以及投影显示等功能，其应用过程可以为车辆静止启动的状态下，也可以为车辆的行驶过程中。如图4所示，该投影方法包括： [0086] S401：获取标定物的图像信息和位置信息； [0087] 其中，标定物具体可以是位于车外的静态物体，例如静止的车辆、树木、交通标识、或者是一具有几何形状的标定板，还可以是位于车外的动态物体，例如行驶的车辆、走动的行人等。处理器可以通过接口电路，获得采集装置所采集到的该标定物的图像信息和位置信息，其中，图像信息可以是摄像头采集的图像、或者激光雷达采集的点云数据或其他形式的信息，该图像信息中还包括分辨率、大小、尺寸、颜色等信息；位置信息可以是坐标数据、方向信息或其他形式的信息。该处理器可以是投影装置的处理器，也可以是车机或车载电脑等车载处理装置的处理器。 [0088] S402：根据所述标定物的图像信息和位置信息、以及成像模型，投影所述标定物； [0089] 根据步骤S401获取的标定物的图像信息和位置信息，处理器可以在成像模型中生成与该标定物对应的标定图像，并通过接口电路进行投影输出。该成像模型可以根据人眼位置，HUD的位置、HUD的视场角(Field of view，FOV)、HUD的投影面(虚像面)、HUD的显示分辨率，人眼到HUD的下视角等参数构建，构建的成像模型中包括原点、视场角、近平面(成像面)、远平面等参数，示例的，该成像模型可以为成像视锥体、成像圆柱体或成像立方体等形式。例如，当成像模型为成像视锥体时，原点可以根据所述人眼位置确定，视场角可以根据HUD的视场角确定，用于决定该成像视锥体的视场范围，近平面作为成像时的成像面，远平面可以根据人眼最远观看距离确定。该处理器根据获取的标定物的图像信息和位置信息，可在成像模型的成像面生成对应该标定物的二维图像，并且在进行投影时，将该成像模型的成像面作为完整的投影图像进行投影显示。 [0090] S403：在所述标定物与所述标定物的投影面的重合度小于第一阈值时，调整所述成像模型的参数。 [0091] 在一些实施例中，标定物与标定物的投影面的重合度可以通过用户的人眼进行观察确定，此时该第一阈值可能不再是一个具体的数值，而是用户的主观体验，例如是否重合。并根据用户的反馈进行后续的调整。在另一些实施例中，该标定物与标定物的投影面的重合度可以是通过采集装置获得的信息来确定的，例如，根据标定物与标定物的投影面的像素偏移确定的，例如，在模拟用户的人眼位置处设置一摄像头，通过该摄像头对包含该标定物与标定物的投影面的图像进行采集，通过拍摄得到的一张或多张图像，根据图像的分辨率，可确定标定物与标定物的投影面的像素偏移，根据该像素偏移可计算得到标定物与标定物的投影面的重合度，计算得到的该重合度具体可以是一个具有百分比的数值，此时，该第一阈值也是一个具体的百分比数值，通过对比该重合度和该第一阈值，以确定是否要对成像模型的参数进行调整。应理解，重合度也可以是小数或其他形式，本申请对此不做限定。 [0092] 当所述标定物与标定物的投影面的重合度低于预设的第一阈值时，投影装置的处理器可以可通过调整成像模型的参数，改善标定物与标定物的投影面的重合度。其中，该成像模型可供调整的参数包括视场角和成像面位置中的一个或多个参数，例如，视场角参数可决定成像模型的成像面的面积大小以及标定物的二维图像相对于该成像面的比例大小，该成像模型的成像面位置参数可决定标定物的二维图像相对于该成像面的位置，因此，当标定物和标定物的投影面的重合度低于预设的第一阈值时，可根据面积偏移或位置偏移，对应调整成像模型的视场角或成像面位置。具体的，该步骤S403的实现方式包括： [0093] 在所述标定物与所述标定物的投影面的面积差大于第二阈值时，调整所述成像模型的视场角； [0094] 在所述标定物与所述标定物的投影面的偏移量大于第三阈值时，调整所述成像模型的成像面的二维位置。 [0095] 本实施例中，上述的第一阈值、第二阈值和第三阈值都可以根据用户需求或行业标准进行预设和调整，当标定物与标定物的投影面的面积差大于预设的第二阈值时，此时可通过调整成像模型的视场角来调整成像面的面积，当标定物的投影面的面积大于标定物的面积时，可放大成像模型的视场角，成像面则会等比例放大，生成的标定物的二维图像在成像面中的比例则会等比例缩小，此时投影显示的标定物的投影面相对于标定物的面积也会等比例缩小，以使标定物的投影面与标定物的面积差小于预设的第二阈值；同理，当标定物的投影面的面积小于标定物的面积时，可缩小成像模型的视场角，成像面则会等比例缩小，生成的标定物的二维图像在成像面中的比例则会等比例放大，此时投影显示的标定物的投影面相对于标定物的面积也会等比例放大，以使标定物的投影面与标定物的面积差小于预设的第二阈值。当标定物与标定物的投影面的偏移量大于预设的第三阈值时，由于标定物的位置是固定的，此时可通过调整成像模型的成像面的二维位置，该二维位置具体是指成像面在该成像模型的二维平面上的上下位置和左右位置，以对应调整生成的标定物的二维图像在成像面中的相对位置，例如，当将成像模型的成像面的二维位置向上移动时，标定物的二维图像在成像面的位置会相应的向下移动，同理当将成像模型的成像面的二维位置向左移动时，标定物的二维图像在成像面的位置会相应的向右移动，通过调整成像模型的成像面的二维位置，从而使得标定物与标定物的投影面的偏移量小于预设的第三阈值。 [0096] 应理解，上面的面积差、重合度等都是可以一些示例性的比较参数，可以结合使用，或互相替代，也可以使用其他类似的比较参数来替代，例如，尺寸差。主要目的是为了确定当前采集设备采集到的标定物与投影出来的标定物的图像差异大小。以便于调整成像参数或成像模型。 [0097] 另外，为了提高处理效率，本实施例中构建的成像模型还可以通过神经网络模型或深度学习模型来实现。具体地，可以采用多个训练样本组成的训练集对该成像模型进行训练。其中，可以以人眼位置信息参数、标定物的图像信息和位置信息参数为主作为输入，以标定物与所述标定物的投影面的重合度参数作为输出，组成一个训练样本。以某个设定的重合度阈值作为目标(label)，通过引入多个训练样本，对该成像模型多次训练，以获得与目标接近的结果，并获得相应的成像模型。根据训练得到的成像模型，在进行标定物的投影时，可使标定物与所述标定物的投影面的重合度达到需求，并且随着该成像模型的使用，其具有不断地深度学习及优化的特性，能够使得该成像模型的投影效果越来越好，且适用范围更广，以满足不同用户的使用体验。 [0098] 本实施例提供的投影方法可根据用户的人眼位置自动实现成像模型的参数校准，从而实现投影显示效果的调整。随着智能驾驶技术的发展，该投影方法不仅可以适用于驾驶员位置的投影，还可以适用于副驾乘客位置或后排乘客位置的投影，例如对影音娱乐内容的投影。在一些扩展实施例中，本申请的投影方法还可以通过引导用户实现投影显示的校准，例如在用户具有校准需求时，可以向用户发送校准请求或校准开始的提示消息，并通过车内的摄像头或人眼检测仪获取用户的人眼位置，根据用户的人眼位置，对成像模型的参数进行校准，并在校准完成时，向用户发送校准完成的提示消息。该校准过程可以通过车辆的人机交互界面(Human Machine Interface，HMI)引导用户完成，还可以通过驾驶员监测系统(Driver Monitor System，DMS)引导用户完成，所述提示消息可以为语音提示、车辆的中控屏幕上图文提示等，以使用户能够直观的体验到该校准过程。同时，在该校准过程在，用户还可以根据个人的主观体验，发送调整指令，对成像模型的参数进行调整，以满足用户的客制化需求。如图12A‑图12B所示的一种人机交互界面的示意图中，当通过车辆的人机交互界面实现该校准过程时，可以通过车辆的中控屏幕向用户实现图文提示，以提示并引导用户完成对投影装置的校准及调整过程。例如，当检测到用户上车时，可自动开启投影装置的校准功能，在图12A所示的中控屏幕上显示“车辆已激活投影装置的校准，请保持正确的坐姿”的提示消息，然后通过获取用户的人眼位置，对投影装置的成像模型的参数进行校准，并在校准完成后，在图12B所示的中控屏幕上显示“车辆已完成投影装置的校准”的提示消息。在一些变形实施例中，在该校准过程中，用户还可以根据个人的主观体验在该车辆的中控屏幕上对成像模型的参数进行调整。在另一些变形实施例中，该校准过程还可以通过语音交互实现，车辆可以通过音响系统向用户发送语音提示，并通过麦克风获取用户的语音反馈，从而实现该校准过程。 [0099] 如上所述，本申请实施例提供的投影方法可以实现上述投影装置的校准、标定以及投影显示等功能，其应用过程可以为车辆静止启动的状态下，也可以为车辆的行驶过程中。例如，图5示出了本申请实施例提供的一种标定方法的流程图，该标定方法可以在车辆静止启动的状态下实现，具体涉及了成像模型的构建过程及调整过程，调整完成的成像模型能够针对不同用户的人眼位置自动校准参数，使得投影显示的图像始终与现实世界的环境信息相融合。本实施例中，投影装置可以为AR‑HUD，成像模型可以为成像视锥体，用户可以为车辆的驾驶员，该标定方法的验证可以采用驾驶员的人眼作为验证方式。图5所示的该标定方法包括： [0100] S501：构建以驾驶员人眼为原点的虚拟的成像视锥体； [0101] 示例性的，可以选用车内的AR‑HUD或者车内其他的位置固定的点作为原点构建现实坐标系和虚拟坐标系，确定所述虚拟坐标系与所述现实坐标系的对应关系。其中，现实坐标系是现实三维空间的坐标系，用于对现实世界中的人眼、AR‑HUD的虚像面和标定物等进行现实位置的确定，虚拟坐标系是虚拟三维空间的坐标系，用于对现实世界中的人眼、AR‑HUD的虚像面和标定物等进行虚拟位置的确定，以便于进行三维AR效果的绘制。 [0102] 本实施例中，由于驾驶员人眼的位置会不断变化，因此一般情况下不选用人眼作为构建现实坐标系和虚拟坐标系的原点。 [0103] 本实施例中，根据构建的现实坐标系，将检测到的人眼、标定物以及AR‑HUD的安装位置、投影角度等信息，引入到该现实坐标系中，即可分别获取该现实坐标系下的人眼的位置、AR‑HUD的虚像面的位置和标定物的位置，该位置具体可以为该现实坐标系下的三维坐标。其中，AR‑HUD的虚像面是人眼透过汽车的挡风玻璃所能看到的虚像平面，通过人眼的观察，可将该虚像面显示的二维图像映射到三维的现实世界。为便于标定，选用标定物时，需要选择所述人眼和所述AR‑HUD的虚像面构成的观察范围内，其中，选择的标定物可以为一具有规则几何形状的物体，示例性的，可以为一四边形的标定板，基于该标定板生成的标定图像可以具体为一四边形的虚拟框，将该虚拟框投影到AR‑HUD的虚像面进行显示时，通过人眼观察该虚拟框与标定板是否完全重合，以验证该虚拟框与标定板在AR‑HUD的虚像面是否对齐显示。 [0104] 根据所述现实坐标系下的人眼的位置，以及所述虚拟坐标系与所述现实坐标系的对应关系，获取所述虚拟坐标系下的人眼的位置；以所述虚拟坐标系下的人眼的位置为原点，并根据设定的视场角，构建所述成像视锥体，所述标定物位于所述成像视锥体的视锥范围内。本实施例中，构建的成像视锥体具体可以为一平视的成像视锥体，即成像视锥体的原点与该成像视锥体的近平面、远平面的中心点在一条水平线上；该成像视锥体还可以为一俯视的成像视锥体，即成像视锥体的原点高于该成像视锥体的近平面、远平面的中心点，使原点以一俯视角与近平面、远平面构成视锥体。 [0105] 通过构建与现实坐标系原点相同的虚拟坐标系，可实现虚拟空间与现实空间的对应，在进行标定图像的生成时，仅需要将现实坐标系下的标定物和人眼的位置对应转换到该虚拟坐标系下即可，并且由于虚拟坐标系与现实坐标系的原点相同，转换计算的过程会相对简单。根据虚拟坐标系下的人眼的位置，可选择一合适的视场角，构建以该虚拟坐标系下的人眼的位置为原点的成像视锥体，由此可将该成像视锥体的视锥范围内的所有物体进行增强现实AR效果的绘制，例如车道线、交通标识等复杂效果的绘制。 [0106] S502：根据位于车外的标定物在所述成像视锥体中的位置，在所述成像视锥体的成像面生成所述标定物的标定图像； [0107] 根据构建的虚拟坐标系与现实坐标系的对应关系，将现实坐标系下的标定物转换到该虚拟坐标系下，并获取该虚拟坐标系下的该标定物的位置，该标定物位于该虚拟坐标系下的成像视锥体的视锥范围内，根据该标定物在成像视锥体的位置和成像视锥体的原点，基于成像视锥体的向前映射图像的成像原理，选取该标定物和成像视锥体的原点之间的一个近平面作为成像面，并根据该标定物与成像面的距离关系，在该成像面进行锥形映射，生成该标定物的标定图像，其中该标定图像为一二维图像。 [0108] S503：将包含所述标定图像的所述成像面投影到增强现实抬头显示器AR‑HUD的虚像面进行显示； [0109] 当该成像视锥体的成像面作为AR‑HUD的输入图像，投影到AR‑HUD的虚像面显示时，该标定图像也会根据其在成像面的位置，在AR‑HUD的虚像面的对应位置进行显示，由此使得生成的标定图像投影到现实世界的标定物上，并通过人眼的观察视角，映射到三维世界中，实现增强显示。 [0110] 在一些实施例中，将成像视锥体的成像面作为输入图像输入到AR‑HUD中时，AR‑HUD会根据其所能显示画面的限制，对接收到的输入图像进行裁剪，裁剪出合适大小的画面在其虚像面进行显示。 [0111] S504：调整所述成像视锥体的参数，使所述人眼观察到的位于所述虚像面的标定图像与所述标定物对齐。 [0112] 本实施例中，直接使用人眼对标定图像与标定物在AR‑HUD的虚像面的对齐效果进行验证，该对齐效果具体可以包括尺度对齐以及位置对齐。 [0113] 当通过人眼观察，该标定图像与标定物在AR‑HUD的虚像面的尺度未对齐时，由于成像面是所述成像视锥体的一个近平面，本实施例可通过调整该成像视锥体的视场角，以调整该成像面的尺度，由于成像面与成像视锥体的原点的相对距离并未改变，因此成像面生成的标定图像的尺度大小不会发生改变，但其相对于成像面的比例大小发生改变。尺度得到调整后的成像面，作为输入图像重新输入到AR‑HUD中，并投影到AR‑HUD的虚像面进行显示时，标定图像在AR‑HUD的虚像面的尺度会对应改变。因此，根据人眼观察到AR‑HUD的虚像面的显示效果，适应性的调整成像视锥体的视场角参数，即可使所述标定图像与所述标定物在所述AR‑HUD的虚像面的尺度对齐显示。 [0114] 同理，当通过人眼观察，该标定图像与标定物在AR‑HUD的虚像面的位置未对齐时，由于成像面是所述成像视锥体的一个近平面，本实施例可通过调整该成像视锥体的成像面在虚拟坐标系下所属的二维平面的位置，由于虚拟坐标系下的目标物的位置并未改变，当成像面的二维位置发生变化时，因此成像面生成的标定图像在成像面的相对位置会适应改变，位置得到调整后的成像面，作为输入图像重新输入到AR‑HUD中，并投影到AR‑HUD的虚像面进行显示时，标定图像在AR‑HUD的虚像面的相对位置也会对应改变。因此，根据人眼观察到AR‑HUD的虚像面的显示效果，适应性的调整所述成像视锥体的成像面在所述虚拟坐标系的二维偏移量，即可使所述标定图像与所述标定物在所述AR‑HUD的虚像面的位置对齐显示。 [0115] 在本申请的一些实施例中，由于构建的成像视锥体中，人眼的位置影响成像视锥体的原点的初始位置，因此，根据对齐显示的标定图像和标定物，可得到调整后的所述成像视锥体与人眼的位置的对应关系，该对应关系中，人眼的位置发生变化时，成像视锥体的原点也会发生变化，该成像视锥体的成像面的位置会根据上述的二维偏移量对应调整。由此实现驾驶员的人眼发生变化，或者出现不同的驾驶员时，成像视锥体的参数会对应发生变化，从而保证人眼观察到的AR‑HUD的虚像面显示的标定图像始终与现实世界对齐，降低投影显示效果的抖动，防止眩晕。同时，调整后的成像视锥体还可用于对驾驶过程中检测到的现实世界的物体进行标定图像的实时生成，并在AR‑HUD的虚像面进行实时显示，由此增强驾驶员对路面信息的获取，实现沉浸式的体验。 [0116] 本申请实施例还提供了一种AR‑HUD的投影方法，该方法的目标是使得人眼观察到的AR‑HUD投影显示的AR效果能够与现实世界对齐，为达到该目标，本实施例采用人眼作为直接验证方式，通过构建与现实中的人眼成像模型对应的虚拟成像模型，对AR‑HUD的显示画面与现实世界进行尺度对齐和位置对齐的标定。本实施例还通过人眼检测模块实时获取人眼的位置信息，能够实现AR‑HUD的显示画面针对人眼的位置变化的实时适配功能，从而保证AR‑HUD的显示画面始终与现实世界的对齐，保证AR‑HUD的显示效果和沉浸式体验。 [0117] 如图6所示，首先对本实施例所述投影方法的系统架构进行介绍，本实施例的系统架构包括道路检测模块601、AR模块602、HUD模块603和人眼检测模块604；其中，该HUD模块603中具体还包括对齐模块6031和显示模块6032； [0118] 其中，所述道路检测模块601可以为图2所示的车外采集装置，例如激光雷达、车载摄像头或其他具有图像采集或光学扫描功能的一个设备或多个组合设备，可以设置在车辆的顶部、头部或车辆座舱的后视镜的朝向车外的一侧，其主要用于对车辆前方的环境进行图像信息和位置信息进行检测和采集，车辆前方的环境可以包括前方车辆、障碍物、道路指示等相关信息；所述人眼检测模块604可以为图2所示的车内采集装置，例如车载摄像头、人眼检测仪等设备，可以设置在车辆座舱的A柱、B柱或车辆座舱的后视镜的朝向用户的一侧，其主要用于对车辆座舱的驾驶员或乘客的人眼位置信息进行检测和采集；所述AR模块602和HUD模块603可以集成在图2所示的投影装置20中，以一个完整的AR‑HUD终端产品实现。 [0119] 在驾驶过程中，通过道路检测模块601获得道路中的环境信息，例如行人及车道三维坐标、车道线位置等；将检测得到的环境信息传入到AR模块602，在该AR模块602中构建三维的虚拟坐标系，并在环境信息的对应位置实现三维AR效果的绘制，并将该三维的AR效果映射成二维图像；完成二维图像的映射后，结合人眼检测模块604实时检测的人眼的位置，通过HUD模块603中的对齐模块6031完成二维图像与环境信息之间的尺度对齐与位置对齐；最后将对齐后的二维图像输入到显示模块6032上进行投影显示。此时在AR‑HUD的有效投影显示范围内，无论人眼的位置如何变化，始终可以观察到AR‑HUD投影显示的二维图像与道路中的环境信息完全对齐。 [0120] 基于图6所示的系统架构，参照如图7所示的流程图，对本实施例提供的AR‑HUD的投影方法进行详细介绍，根据该方法所实现的AR‑HUD与现实世界的对齐效果将会贯穿于整个驾驶过程中，而在驾驶开始前，可以提前实现AR‑HUD与现实世界的对齐标定，该对齐标定过程具体包括： [0121] S701：以空间中某一点为原点构建现实坐标系和虚拟坐标系； [0122] 本实施例可以以车内某一点为原点，同时构建现实坐标系和虚拟坐标系，该现实坐标系和虚拟坐标系的原点相同且具有对应关系。具体的，该车内某一点可以为车内的摄像头，或者可以为车内的AR‑HUD。其中，该现实坐标系用于确定现实世界中的环境信息的三维坐标，其单位可以为米，该虚拟坐标系的单位可以为像素，其中现实坐标系下的1米与虚拟坐标系下的1个单位具有等比例的对应关系。根据获取到的环境信息在现实坐标系中的三维坐标，以及现实坐标系与虚拟坐标系的对应关系，可在虚拟坐标系中进行对应该环境信息的三维的AR效果的绘制，并将该三维的AR效果映射成二维图像，本实施例的对齐标定过程，即是二维图像与环境信息的对齐标定过程。 [0123] S702：在AR‑HUD的虚像面所在位置设置一标定板； [0124] 根据人眼检测模块检测到的驾驶员的人眼，可获取现实坐标系下的人眼的位置，根据AR‑HUD的安装位置及投影角度，可获取现实坐标系下的AR‑HUD的虚像面的位置，其中该AR‑HUD的虚像面为通过驾驶员的人眼观察到的AR‑HUD的虚像显示平面，一般AR‑HUD的虚像面位于驾驶员的人眼朝向车辆前方的7‑10米处，通过驾驶员的人眼观察该虚像面上的二维图像，可将二维图像映射到现实世界中，实现三维的显示效果； [0125] 通过在AR‑HUD的虚像面设置一标定板，该标定板在本实施例的对齐标定过程中作为标定参照物，本实施例中，该标定板具体可以为一具有规则几何形状的基板。 [0126] S703：在虚拟坐标系的成像面生成目标框，并投影到AR‑HUD的虚像面进行显示； [0127] 根据步骤S702中，现实坐标系下的人眼的位置、AR‑HUD的虚像面的位置，以及现实坐标系和虚拟坐标系的对应关系，在虚拟坐标系中确定对应的虚拟人眼，由于现实坐标系和虚拟坐标系具有相同原点，该虚拟人眼在虚拟坐标系下的位置对应现实坐标系下的人眼的位置，成像面在虚拟坐标系下的位置对应现实坐标系下的AR‑HUD的虚像面位置，并且该成像面与虚像面具有现实坐标系和虚拟坐标系的对应关系相同的对应关系。 [0128] 如图8A所示，以该虚拟人眼为原点，并设定一视场角(Field of view，FOV)，在虚拟坐标系中构建锥形的透视投影模型，该透视投影模型具体为一成像视锥体，以实现对现实世界的环境信息的AR效果绘制，以及对该AR效果的二维映射。其中该虚拟人眼为成像视锥体的原点，该视场角决定该成像视锥体的视锥范围。通过选择该成像视锥体的一个近平面作为成像面，本实施例可以根据AR‑HUD的虚像面在现实坐标系中的位置，选择成像视锥体在该虚拟坐标系下的对应位置的近平面作为成像面，以使成像面在虚拟坐标系下的位置与AR‑HUD的虚像面在现实坐标系下的位置对应相同。 [0129] 如图8A所示，在该成像视锥体的无限远的距离处还具有一远平面，根据成像视锥体的成像原理，位于该成像视锥体的视场角(Field of view，FOV)范围内，且位于成像面与远平面之间的绘制的AR效果，均会根据其距离远近，以锥形映射的方式等比例映射在该成像面中，即在成像面生成AR效果的二维图像。如图8B所示，将该映射有二维图像的成像面作为输入图像发送到AR‑HUD，该成像面与AR‑HUD的虚像面具有对应的投影关系，根据该投影关系，可将成像面上的二维图像进行投影显示在AR‑HUD的虚像面。其中成像视锥体中的绘制过程以及二维图像的投影过程，具体是将虚拟坐标系下的AR效果的三维坐标进行矩阵变换，转换到现实坐标系下的坐标，该矩阵变换的公式为， [0130] S＝P*V*O [0131] 其中，O为虚拟坐标系下绘制的AR效果的三维坐标，V为虚拟坐标系下的虚拟人眼的观察矩阵，P为成像视锥体的成像面的映射矩阵，S为现实坐标系下的HUD的虚像面的坐标。通过将虚拟坐标系下绘制的AR效果以二维图像的形式映射到成像视锥体的成像面，并将该成像面作为AR‑HUD的输入图像，在AR‑HUD的虚像面进行投影显示。 [0132] 本实施例中，可根据AR‑HUD的虚像面的标定板，在该成像视锥体的成像面生成对应的目标框，该目标框具有与标定板的相同的几何形状，然后将该成像面作为输入图像，在AR‑HUD的虚像面进行投影显示，本实施例中的对齐标定过程，具体是将该AR‑HUD的虚像面显示的目标框与标定板对齐的过程。 [0133] S704：观察目标框与标定板的尺度是否对齐； [0134] 本实施例中，尺度是否对齐具体可以为目标框在AR‑HUD的虚像面的尺寸大小与标定板的尺寸大小是否对齐，若对齐，则进入步骤S706，若未对齐，则进入步骤S705。 [0135] S705：尺度对齐调整； [0136] 当目标框与标定板的尺度未对齐时，表示在成像面生成的目标框经过投影后，与AR‑HUD的虚像面的标定板的尺度未对齐，由于成像面作为AR‑HUD的输入图像时，AR‑HUD会根据其显示像素，对输入图像进行裁剪，即对输入的成像面图像进行裁剪，裁剪出与显示像素匹配的尺度进行显示。在虚拟坐标系的单位、成像视锥体、以及AR‑HUD的显示像素均已确定的前提下，当目标框与标定板的尺度未对齐时，需要等比例调整成像视锥体的成像面的尺度大小，以实现等比例调整AR‑HUD裁剪的图像的尺度大小，进而实现等比例调整目标框在裁剪出的图像中的相对大小，使其与标定板的尺度对齐； [0137] 本实施例中，调整成像视锥体的成像面的尺度大小，可通过调整成像视锥体的视场角实现，具体的，当目标框的尺度比标定板大时，此时可通过增大成像视锥体的视场角，以等比例放大成像面的尺度，进而实现输入到AR‑HUD的成像面的等比例放大。同理，当目标框的尺度比标定板小时，此时可通过减小成像视锥体的视场角，以等比例缩小成像面的尺度，进而实现输入到AR‑HUD的成像面的等比例缩小。由此，在生成的目标框的大小不变、成像面的位置不变的情况下，AR‑HUD的虚像面显示的目标框的尺度调整，可通过调整成像视锥体的视场角的大小实现，以完成与标定板的尺度对齐，即完成成像视锥体的成像面与AR‑HUD的虚像面的尺度对齐。 [0138] S706：观察目标框与标定板的位置是否对齐； [0139] 通过步骤S705的调整后，尽管使得虚拟坐标系下的成像视锥体的成像面与现实坐标系下的AR‑HUD的虚像面实现了尺度对齐，然而AR‑HUD的虚像面显示的目标框和标定板的位置仍然存在偏移，造成该偏移的原因通常有两种，其一是在虚拟坐标系下构建的成像视锥体中，虚拟人眼对应的是近平面和远平面的中心点，如图9A所示；而在现实坐标系下，AR‑HUD的虚像面位置通常位于人眼的位置的下方，即虚像面的中心点低于人眼，如图9B所示。因此，当成像面作为输入图像投影到AR‑HUD的虚像面进行显示时，实际显示的二维图像会低于现实世界中的环境信息，导致显示的目标框的位置低于标定板的位置。其二是，在人眼观察过程中，人眼的位置并非固定的，而对于安装完成的AR‑HUD，其虚像面的位置是固定的，因此当人眼的位置发生移动时，人眼与AR‑HUD的虚像面的中心点的相对位置会对应的发生偏移，导致显示的目标框与标定板的位置无法始终对齐。 [0140] 本实施例中，位置是否对齐具体可以为目标框在AR‑HUD的虚像面的位置与标定板的位置是否对齐，若对齐，则进入步骤S708，若未对齐，则进入步骤S707。 [0141] S707：位置对齐调整； [0142] 当目标框与标定板的位置未对齐时，表示在成像面生成的目标框经过投影后，与AR‑HUD的虚像面的标定板的位置未对齐，由于成像面作为AR‑HUD的输入图像时，HUD会根据其显示像素，对输入图像进行裁剪，即对输入的成像面图像进行裁剪，裁剪出与显示像素匹配的尺度进行显示。在虚拟坐标系的单位、成像视锥体、以及AR‑HUD的显示像素、裁剪位置均已确定的前提下，当目标框与标定板的位置未对齐时，需要调整成像视锥体的成像面在其所属平面的位置，以调整输入到AR‑HUD成像面的位置，进而调整目标框在裁剪出的图像中的相对位置，使其与标定板的位置对齐； [0143] 本实施例中，可通过调整成像视锥体的成像面在虚拟坐标系下的二维偏移量，以调整目标框在该成像面的相对位置。需要说明的是，调整成像面在虚拟坐标系下的二维偏移量，实质上是调整成像面在其所属平面的水平位置或垂直位置。 [0144] 具体的，如图10A所示，当显示的目标框的垂直位置比标定板的垂直位置低时，此时可通过向下垂直移动成像视锥体的成像面在虚拟坐标系下的位置，以向上垂直移动目标框与成像面的相对位置，使得目标框在AR‑HUD裁剪出的图像中的相对位置高于原来的位置，从而使得调整后显示的目标框与标定板的垂直位置对齐。同理，如图10B所示，当目标框的水平位置比标定板的水平位置相对靠右时，此时可通过向右水平移动成像视锥体的成像面在虚拟坐标系下的位置，以向左水平移动目标框与成像面的相对位置，使得目标框在AR‑HUD裁剪出的图像中的相对位置偏左于原来的位置，从而使得调整后显示的目标框与标定板的水平位置对齐。由此，在生成的目标框的大小不变、成像面的尺度不变的情况下，AR‑HUD的虚像面显示的目标框的位置调整，可通过调整成像视锥体的成像面的位置实现，以完成与标定板的位置对齐，即完成成像视锥体的成像面与AR‑HUD的虚像面的位置对齐。 [0145] 其中，可根据补偿原理，对该成像视锥体的成像面的水平偏移量和垂直偏移量(Xoffset，Yoffset)进行下述计算， [0146] [0147] [0148] 其中，虚拟坐标系的单位为像素，现实坐标系的单位为米，则1像素＝m米，(Xhud，Yhud)为现实坐标系下的AR‑HUD的虚像面的中心点的横纵坐标，(Xeye，Yeye)为现实坐标系下的人眼的横纵坐标。根据上述计算公式，可计算得到成像视锥体的成像面在虚拟坐标系下所需调整的水平偏移量Xoffset和垂直偏移量Yoffset，根据该水平偏移量Xoffset和垂直偏移量Yoffset，以像素为单位对成像视锥体的成像面进行二维方向上的调整，使得AR‑HUD的虚像面显示的目标框与标定板的位置对齐。 [0149] S708：将标定板移动至AR‑HUD的虚像面的后方； [0150] 完成步骤S704‑S706的尺度对齐和位置对齐后，可以通过移动标定板在现实坐标系下的位置，对尺度对齐和位置对齐的效果进行验证。通过将标定板移动至AR‑HUD的虚像面的后方，即将标定板移动至距离人眼更远的距离，以观察虚像面显示的目标框与标定板是否对齐。 [0151] S709：观察目标框与标定板是否完全对齐； [0152] 将标定板移动至距离人眼更远的距离时，该标定板在虚拟坐标系下的位置仍然处于成像视锥体的成像面和远平面之间，此时根据成像原理，在成像面生成的目标框的尺度会随着标定板的距离的拉远而等比例缩小，通过观察重新生成的目标框在AR‑HUD的虚像面的显示效果与移动至远距离处的标定板是否完全对齐，以验证本方法的对标标定效果。若完全对齐，则进入步骤S710，若未完全对齐，则进入步骤S704，重新进行尺度对齐和位置对齐的调整步骤。 [0153] S710：将标定板移动至AR‑HUD的虚像面的前方； [0154] 通过将标定板移动至AR‑HUD的虚像面的前方，即将标定板移动至距离人眼更近的距离，以观察虚像面是否可显示该标定板对应的目标框，以及该目标框与标定板是否完全对齐。 [0155] S711：AR‑HUD的虚像面可显示目标框； [0156] 由于构建的成像视锥体中，选取成像面时，是根据现实坐标系下的AR‑HUD的虚像面的位置选取的，因此当将标定板移动至AR‑HUD的虚像面的前方时，标定板在虚拟坐标系下的对应位置，也相对移动到了成像面的前方，根据成像视锥体的成像原理，此时位于成像面前方的标定板无法映射到该成像面上。 [0157] S712：近距离显示调整； [0158] 基于成像视锥体的成像原理，本实施例根据标定板在虚拟坐标系下的对应位置，调整成像面在成像视锥体中的位置，即重新选择该成像视锥体中的位于该标定板在虚拟坐标系下的对应位置与成像视锥体的原点之间的近平面，作为新的成像面，并根据成像原理，在该新的成像面中重新生成对应该标定板的目标框。本实施例中，成像面与原点的相对距离的变化，不会改变成像面的尺度，该成像面的尺度仅由成像视锥体的视场角决定，而通过调整成像面相对于成像视锥体的原点的距离，以对该成像视锥体的视锥范围内的环境信息进行选择性的二维映射，由此改变成像面可生成的二维图像的数量。 [0159] S713：观察目标框与标定板是否完全对齐； [0160] 通过观察重新生成的目标框在AR‑HUD的虚像面的显示效果与移动至近距离处的标定板是否完全对齐，以验证本方法的对标标定效果。若完全对齐，则进入步骤S714，若未完全对齐，则进入步骤S704，重新进行尺度对齐和位置对齐的调整步骤。 [0161] S714：完成AR‑HUD与现实世界的对齐； [0162] 通过改变标定板在现实坐标系下的位置，并将改变位置的标定板对应生成的目标框与标定板在AR‑HUD的虚像面处的显示效果进行对齐，由此实现基于人眼的位置构建的成像视锥体的成像面与AR‑HUD的虚像面的对齐标定，完成该对齐标定后，当驾驶员的人眼位置发生变化后，或者不同的驾驶员进行驾驶时，构建的成像视锥体均会对应调整，以保证人眼观察到的AR‑HUD的虚像面的显示效果始终与现实世界完全对齐，提高驾驶员的观察体验，达到更好的辅助驾驶的效果。 [0163] 如图11所示，本申请实施例提供了一种投影装置，该投影装置可以用于实现上述实施例中的投影方法、标定方法、AR‑HUD的投影方法与显示方法，如图11所示，该投影装置1100具有获取模块1101、投影模块1102、调整模块1103。 [0164] 获取模块1101用于执行上述投影方法中的S401步骤以及其中的示例。投影模块1102用于执行上述投影方法中的S402、上述标定方法中的S501～S503、上述AR‑HUD的投影方法中的S701～S703中任一步骤以及其中任一可选的示例。调整模块1103用于执行上述投影方法中的S403、上述标定方法中的S504、上述AR‑HUD的投影方法中的S704～S714中任一步骤以及其中任一可选的示例。具体可参见方法实施例中的详细描述，此处不做赘述。 [0165] 在一些实施例中，该投影装置1100还可以具有提示模块1104，该提示模块1104可以实现上述投影方法、标定方法、AR‑HUD的投影方法中涉及人机交互的部分，通过向用户发送提示消息，引导用户参与完成上述投影方法、标定方法、AR‑HUD的投影方法中的校准过程或调整过程，例如，可以通过该提示模块1104提示用户通过人眼确定所述标定物与所述标定物的投影面是否重合；还可以在获取用户的校准需求时，通过该提示模块1104向用户发送校准开始的提示消息，以及校准完成的提示消息。 [0166] 应理解的是，本申请实施例中的投影装置可以由软件实现，例如可以由具有上述功能计算机程序或指令来实现，相应计算机程序或指令可以存储在终端内部的存储器中，通过处理器读取该存储器内部的相应计算机程序或指令来实现上述功能。或者，本申请实施例的投影装置还可以由硬件来实现，例如，该获取模块1101可以由车辆上的采集装置实现，例如车载摄像头或激光雷达等，或者，该获取模块1101也可以由处理器与车辆上的车载摄像头或激光雷达之间的接口电路来实现。该提示模块1104可以由车辆上的中控屏幕或音响、麦克风等装置来实现。该投影模块1102可以由车辆上的HUD或AR‑HUD实现，或者该投影模块1102也可以由HUD或AR‑HUD的处理器实现，又或者该投影模块还可以由手机或平板等终端实现。该调整模块1103可以由HUD或AR‑HUD的处理器实现，或者该调整模块1103也可以由车机或车载电脑等车载处理装置的处理器实现。或者，本申请实施例中的投影装置还可以由处理器和软件模块的结合实现。 [0167] 应理解，本申请实施例中的装置或模块的处理细节可以参考图4、图5、图7所示的实施例及相关扩展实施例的相关表述，本申请实施例将不再重复赘述。 [0168] 另外，本申请实施例还提供了具有上述投影装置的车辆，该车辆可以是家用轿车或载货汽车等，还可以是特种车辆例如救护车、消防车、警车或工程抢险车等。该车辆可以采用本地存储的方式，存储上述实施例中的成像模型及相关训练集，当需要实现上述投影方法、标定方法时，可以更快的载入成像模型，实现快速根据用户人眼位置的投影显示校准或调整，具有低延时、体验好的优势。除此之外，该车辆还可以采用与云端交互的方式，通过从云端下载的方式，将云端存储的成像模型下载到本地，以实现根据用户人眼位置的投影显示校准或调整，采用云端交互具有数据量丰富、模型更新及时，精确度更高的优势。 [0169] 图13是本申请实施例提供的一种计算设备1500的结构性示意性图。该计算设备可以作为投影装置，执行上述投影方法、标定方法或AR‑HUD的投影方法中的各可选实施例，该计算设备可以是终端，也可以是终端内部的芯片或芯片系统。如图13所示，该计算设备1500包括：处理器1510、存储器1520、通信接口1530、总线1540。 [0170] 应理解，图13所示的计算设备1500中的通信接口1530可以用于与其他设备之间进行通信，具体可以包括一个或多个收发电路或接口电路。 [0171] 其中，该处理器1510可以与存储器1520连接。该存储器1520可以用于存储该程序代码和数据。因此，该存储器1520可以是处理器1510内部的存储单元，也可以是与处理器1510独立的外部存储单元，还可以是包括处理器1510内部的存储单元和与处理器1510独立的外部存储单元的部件。 [0172] 可选的，计算设备1500还可以包括总线1540。其中，存储器1520、通信接口1530可以通过总线1540与处理器1510连接。总线1540可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。所述总线1540可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。 [0173] 应理解，在本申请实施例中，该处理器1510可以采用中央处理单元(central processing unit，CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器1510采用一个或多个集成电路，用于执行相关程序，以实现本申请实施例所提供的技术方案。 [0174] 该存储器1520可以包括只读存储器和随机存取存储器，并向处理器1510提供指令和数据。处理器1510的一部分还可以包括非易失性随机存取存储器。例如，处理器1510还可以存储设备类型的信息。 [0175] 在计算设备1500运行时，所述处理器1510执行所述存储器1520中的计算机执行指令执行上述投影方法、标定方法或AR‑HUD的投影方法的任一操作步骤以及其中任一可选的实施例。 [0176] 应理解，根据本申请实施例的计算设备1500可以对应于执行根据本申请各实施例的方法中的相应主体，并且计算设备1500中的各个模块的上述和其它操作和/或功能分别为了实现本实施例各方法的相应流程，为了简洁，在此不再赘述。 [0177] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。 [0178] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。 [0179] 在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。 [0180] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。 [0181] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。 [0182] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read‑Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。 [0183] 本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行一种多样化问题生成方法，该方法包括上述各个实施例所描述的方案中的至少之一。 [0184] 本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD‑ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。 [0185] 计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。 [0186] 计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括、但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。 [0187] 可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。 [0188] 需要说明的是，本申请所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，上述对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。 [0189] 说明书和权利要求书中的词语“第一、第二、第三等”或模块A、模块B、模块C等类似用语，仅用于区别类似的对象，不代表针对对象的特定排序，可以理解地，在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。 [0190] 在上述的描述中，所涉及的表示步骤的标号，如S110、S120……等，并不表示一定会按此步骤执行，还可以包括中间的步骤或者由其他的步骤代替，在允许的情况下可以互换前后步骤的顺序，或同时执行。 [0191] 说明书和权利要求书中使用的术语“包括”不应解释为限制于其后列出的内容；它不排除其它的元件或步骤。因此，其应当诠释为指定所提到的所述特征、整体、步骤或部件的存在，但并不排除存在或添加一个或更多其它特征、整体、步骤或部件及其组群。因此，表述“包括装置A和B的设备”不应局限为仅由部件A和B组成的设备。 [0192] 本说明书中提到的“一个实施例”或“实施例”意味着与该实施例结合描述的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在本说明书各处出现的用语“在一个实施例中”或“在实施例中”并不一定都指同一实施例，但可以指同一实施例。此外，在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。 [0193] 注意，上述仅为本申请的较佳实施例及所运用的技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明的构思的情况下，还可以包括更多其他等效实施例，均属于本发明的保护范畴。 |
||||||
QQ群二维码
意见反馈
意见反馈