技术领域
[0001] 本
发明实施例涉及地面三维重建技术领域，具体涉及一种基于地面图像纹理的地面三维重建方法和装置，另外还涉及一种
电子设备和计算机可读存储介质。
背景技术
[0002] 近年来，随着信息技术的快速发展，数字化建模技术的应用越来越广泛。尤其是在智能驾驶、智慧交通等领域发挥着至关重要的作用。基于精准的地面三维图像可协助自动驾驶车辆准确
感知周围的车道线、文字符号以及障碍物的
位置信息，实现智能化、自动化的车辆无人驾驶。在
现有技术中，通常基于
激光雷达设备主动发射
激光束获取三维地面信息实现三维地面重建，其工作原理是：激光雷达设备向目标区域发射探测
信号，然后将接收从目标区域反射回来的信号与发射的探测信号进行比较，经过处理之后，可获得目标区域的位置和反射强度信息。然而，随着经济社会的快速发展，目前基于激光雷达设备的三维重建方法在成本和鲁棒性已经无法满足用户的实际需要。
[0003] 基于此，本领域技术人员迫切需要一种低成本、高鲁棒性的方案取代传统的三维重建方法。
发明内容
[0004] 为此，本发明实施例提供一种基于地面图像纹理的地面三维重建方法，以解决现有技术中存在的基于激光雷达设备主动发射激光束获取三维地面信息实现三维地面重建方案，激光点
云比较稀疏，对地面的细节刻画不充分，无法有效满足对细节要求较高的应用场景，比如：道路裂缝；同时，缺少丰富的
颜色、纹理信息，不利于道路路面要素的精准提取，导致鲁棒性较差的问题。
[0005] 为了实现上述目的，本发明实施例提供如下技术方案：
[0006] 第一方面，本发明实施例提供一种基于地面图像纹理的地面三维重建方法，包括：通过车辆上设置的采集设备获取目标区域的地面图像纹理信息和所述采集设备的当前位置信息；其中，所述采集设备包括单目工业相机、惯性测量装置以及
定位装置；根据所述地面图像纹理信息和所述当前位置信息进行三维重建，生成所述目标区域的地面三维点云数据。
[0007] 进一步的，所述根据所述地面图像纹理信息和所述当前位置信息进行三维重建，生成所述目标区域的地面三维点云数据，具体包括：对所述采集设备中的所述单目工业相机、所述惯性测量装置以及所述定位装置之间的相对位置和
角度关系进行标定，获得设备标定参数；根据所述设备标定参数，计算获得所述采集设备的当前
位姿信息；基于所述当前位姿信息对所述采集设备的
姿态进行调整；通过所述采集设备中的相机
传感器获取所述目标区域的实时地面图像纹理数据；采用运动恢复结构的方式对所述地面图像纹理数据进行处理，获得所述目标区域的地面三维点云数据。
[0008] 进一步的，所述采用运动恢复结构的方式对所述地面图像纹理数据进行处理，获得所述目标区域的地面三维点云数据，具体包括：根据所述地面图像纹理数据提取图像特征点；基于预设的匹配网络对所述图像特征点进行匹配，将采集的多
帧图像中特征相似度值达到或者超过预设相似度
阈值的两个
像素点建立匹配关系；对于匹配的特征点，根据三角测量原理测量出的所述特征点的初始位置信息，获得所述目标区域的地面特征点点云；根据所述地面特征点点云和图像信息，获得所述目标区域的地面三维点云数据。
[0009] 进一步的，所述的基于地面图像纹理的地面三维重建方法，还包括：确定非高可信的设备位姿和非高可信的特征点；针对所述非高可信的设备位姿的测量信息和所述非高可信的特征点的测量信息进行优化，将所述非高可信的设备位姿转变为高可信的设备位姿，以及将所述非高可信的特征点转变为高可信的特征点，分别获得所述高可信的设备位姿和高可信的特征点的目标测量信息；
[0010] 进一步的，所述的基于地面图像纹理的地面三维重建方法，还包括：采用图像语义分割的方式对地面进行分割提取，确定所述目标区域的范围。
[0011] 第二方面，本发明实施例还提供一种基于地面图像纹理的地面三维重建装置，包括：信息采集单元，用于通过车辆上设置的采集设备获取目标区域的地面图像纹理信息和所述采集设备的当前位置信息；其中，所述采集设备包括单目工业相机、惯性测量装置以及定位装置；地面三维点云数据生成单元，用于根据所述地面图像纹理信息和所述当前位置信息进行三维重建，生成所述目标区域的地面三维点云数据。
[0012] 进一步的，所述地面三维点云数据生成单元具体包括：设备标定单元，用于对所述采集设备中的所述单目工业相机、所述惯性测量装置以及所述定位装置之间的相对位置和角度关系进行标定，获得设备标定参数；姿态新信息计算单元，用于根据所述设备标定参数，计算获得所述采集设备的当前位姿信息；姿态调整单元，基于所述当前位姿信息对所述采集设备的姿态进行调整；图像纹理数据获取单元，用于通过所述采集设备中的相机传感器获取所述目标区域的实时地面图像纹理数据；地面三维点云数据获得单元，用于采用运动恢复结构的方式对所述地面图像纹理数据进行处理，获得所述目标区域的地面三维点云数据。
[0013] 进一步的，所述地面三维点云数据获得单元具体用于：根据所述地面图像纹理数据提取图像特征点；基于预设的匹配网络对所述图像特征点进行匹配，将采集的多帧图像中特征相似度值达到或者超过预设相似度阈值的两个像素点建立匹配关系；对于匹配的特征点，根据三角测量原理测量出的所述特征点的初始位置信息，获得所述目标区域的地面特征点点云；根据所述地面特征点点云和图像信息，获得所述目标区域的地面三维点云数据。
[0014] 进一步的，所述的基于地面图像纹理的地面三维重建装置，还包括：非高可信数据确定单元，用于确定非高可信的设备位姿和非高可信的特征点；优化单元，用于针对所述非高可信的设备位姿的测量信息和所述非高可信的特征点的测量信息进行优化，将所述非高可信的设备位姿转变为高可信的设备位姿，以及将所述非高可信的特征点转变为高可信的特征点，分别获得所述高可信的设备位姿和高可信的特征点的目标测量信息；
[0015] 进一步的，所述的基于地面图像纹理的地面三维重建装置，还包括：语义分割单元，用于采用图像语义分割的方式对地面进行分割提取，确定所述目标区域的范围。
[0016] 第三方面，本发明实施例还提供了一种电子设备，包括：处理器和
存储器；其中，所述存储器，用于存储基于地面图像纹理的地面三维重建方法的程序，该电子设备通电并通过所述处理器运行该基于地面图像纹理的地面三维重建方法的程序后，执行上述所述的任意一项所述的基于地面图像纹理的地面三维重建方法。
[0017] 第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被
服务器执行上述基于地面图像纹理的地面三维重建方法中任一项所述的方法。
[0018] 采用本发明所述的基于地面图像纹理的地面三维重建方法，能够生成更加稠密的地面三维点云，方便、快捷的实现目标区域的地面三维重建，且具有丰富的纹理和颜色信息，提高了进行地面三维重建的效率和鲁棒性。
附图说明
[0019] 为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。
[0020] 图1为本发明实施例提供的一种基于地面图像纹理的地面三维重建方法的
流程图；
[0021] 图2为本发明实施例提供的一种基于地面图像纹理的地面三维重建装置的示意图；
[0022] 图3为本发明实施例提供的一种电子设备的示意图。
具体实施方式
[0023] 以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本
说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0024] 下面基于本发明所述的一种基于地面图像纹理的地面三维重建方法，对其实施例进行详细描述。如图1所示，其为本发明实施例提供的一种基于地面图像纹理的地面三维重建方法的流程图，具体实现过程包括以下步骤：
[0025] 步骤S101：通过车辆上设置的采集设备获取目标区域的地面图像纹理信息和所述采集设备的当前位置信息。
[0026] 在本发明实施例中，可预先采用图像语义分割的方式对地面进行分割提取，确定所述目标区域的范围。通过在车辆上设置的采集设备获取所述目标区域的地面纹理信息和当前位置信息。所述采集设备包括单目工业相机、高
精度惯性测量装置(Inertial measurement unit；IMU装置)以及定位装置。
[0027] 其中，所述单目工业相机用于采集地面图像纹理数据；所述高精度惯性测量装置用于记录设备的实时姿态；定位装置(比如：GPS定位装置或者北斗定位装置等)用于记录所述采集设备实时的当前位置信息。需要说明的是，所述单目工业相机、所述惯性测量装置、所述定位装置三个设备之间均为刚体结构，相对位置固定不变。
[0028] 在具体实施过程中，可由高精度惯性测量装置和定位装置两个设备共同确定所述采集设备的位姿信息。所述位姿信息包括(x，y，z，roll，pitch，azimuth)。其中，(x，y，z)为所述采集设备的当前位置信息，即：具体地理位置的坐标位置；(roll，pitch，azimuth)是惯性测量装置的
俯仰角、
横滚角、平移角等实时姿态信息。进一步的，通过调整单目工业相机位姿，采用单目工业相机向地面倾斜拍摄的方式，同时开启相机
闪光灯并控制车速，可获取信息清晰的地面纹理信息。在实际实施过程中，车速通常可控制在20～40km/h之间。
[0029] 步骤S102：根据所述地面图像纹理信息和所述当前位置信息进行三维重建，生成所述目标区域的地面三维点云数据。
[0030] 在步骤S101中获取目标区域的地面图像纹理信息和所述采集设备的当前位置信息之后，在本步骤中可根据所述地面图像纹理信息和所述当前位置信息进行三维重建，进而生成所述目标区域的地面三维点云数据。
[0031] 所述的根据所述地面图像纹理信息和所述当前位置信息进行三维重建，生成所述目标区域的地面三维点云数据，具体实现过程可包括如下部分：
[0032] 对所述采集设备中的所述单目工业相机、所述惯性测量装置以及所述定位装置之间的相对位置和角度关系进行标定，获得设备标定参数；根据所述设备标定参数，计算获得所述采集设备的当前位姿信息；基于所述当前位姿信息对所述采集设备的姿态进行调整，通过调整所述采集设备的姿态获取所述目标区域的实时地面图像纹理数据；采用运动恢复结构的方式对所述地面图像纹理数据进行处理，获得所述目标区域的地面三维点云数据。
[0033] 举例而言，在具体实施过程中当确定所述单目工业相机的当前位姿信息时：若定位装置和惯性测量装置的相对位置差为d，则将定位装置加上d就是惯性测量装置的位置；同样，若惯性测量装置和单目工业相机的位置差是e，则定位装置的位置加上d+e就是单目工业相机的当前位置信息；进一步的，再根据设备标定参数得到的单目工业相机与惯性测量装置的三个角度的差：dr，dp，da；则惯性测量装置得到的三个角度分别加上所述三个角度的差dr，dp，da就是单目工业相机的三个角度，结合上述得到的单目工业相机的位置信息，即可得到所述单目工业相机的当前位姿信息。
[0034] 需要说明的是，设备标定的目的是标定采集设备中各个装置之间的相对位置和角度关系，进而便于计算出单目工业相机的位姿信息。在实际实施过程中，倾斜的角度太小，地面信息不够丰富，地面重建时无足够特征点选择；而倾斜的角度太大，前后图像帧之间重叠的信息区域小，不利于整体重建。因此，为了得到清晰的地面纹理信息，单目工业相机拍摄的角度应该向地面倾斜。即：需要将倾斜的角度设定在预设的倾斜角度范围内，从而得到清晰的地面纹理信息。
[0035] 另外，所述运动恢复结构(Structure from motion)是一种通过分析
图像序列得到相机参数并进行三维重建的技术。采集到清晰的带丰富的地面图像纹理数据后，使用运动恢复结构的方式可进一步得到稠密的地面三维点云数据。
[0036] 所述的采用运动恢复结构的方式对所述地面图像纹理数据进行处理，获得所述目标区域的地面三维点云数据，具体实现过程可包括：根据所述地面图像纹理数据提取图像特征点；基于预设的匹配网络对所述图像特征点进行匹配，将采集的多帧图像中特征相似度值达到或者超过预设相似度阈值的两个像素点建立匹配关系；对于匹配的特征点，根据三角测量原理测量出的所述特征点的初始位置信息，获得所述目标区域的地面特征点点云；根据所述地面特征点点云和图像信息，获得所述目标区域的地面三维点云数据。
[0037] 所述图像特征点是指图像中纹理比较明显的像素点，比如：一个采集设备拍摄到的地面上的一根车道线，则车道线的四个角点即作为图像特征点，在此不再一一赘述。为了向后续环节的测量提供同名像素点，并且可以使用反投来计算匹配的误差，便于后续进行优化
迭代，可通过特征点提取和匹配过程将多帧图像中特征相似的两个像素点建立匹配关系，建立匹配关系之后的像素点称为同名像素点。在本发明实施例中，可使用经典的图像特征点提取和匹配网络SuperPoint进行特征点的提取和匹配，在此不做具体限定。
[0038] 本发明实施例中，在进行全局优化的时候，考虑到全局优化没有全局最优解，仅针对非高可信的相机位姿和特征点进行优化，并不针对高可信的位姿进行优化。因此，在具体实施例中，还可确定非高可信的设备位姿和非高可信的特征点；针对所述非高可信的设备位姿的测量信息和所述非高可信的特征点的测量信息进行优化，将所述非高可信的设备位姿转变为高可信的设备位姿，以及将所述非高可信的特征点转变为高可信的特征点，分别获得所述高可信的设备位姿和高可信的特征点的目标测量信息。位姿优化，实际上是根据三维重建的结果以及反投方式来计算重投影误差，通过预设的优化
算法来迭代优化，使得重投影误差最小。
[0039] 采用本发明所述的基于地面图像纹理的地面三维重建方法，能够生成更加稠密的地面三维点云，方便、快捷的实现目标区域的地面三维重建，且具有丰富的纹理和颜色信息，提高了进行地面三维重建的效率和鲁棒性。
[0040] 与上述提供的一种基于地面图像纹理的地面三维重建方法相对应，本发明还提供一种基于地面图像纹理的地面三维重建装置。由于该装置的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的基于地面图像纹理的地面三维重建装置的实施例仅是示意性的。请参考图2所示，其为本发明实施例提供的一种基于地面图像纹理的地面三维重建装置的示意图。
[0041] 本发明所述的一种基于地面图像纹理的地面三维重建装置包括如下部分：
[0042] 信息采集单元201，用于通过车辆上设置的采集设备获取目标区域的地面图像纹理信息和所述采集设备的当前位置信息。
[0043] 在本发明实施例中，可预先采用图像语义分割的方式对地面进行分割提取，确定所述目标区域的范围。通过在车辆上设置的采集设备获取所述目标区域的地面纹理信息和当前位置信息。所述采集设备包括单目工业相机、高精度惯性测量装置以及定位装置。其中，所述单目工业相机用于采集地面图像纹理数据；所述高精度惯性测量装置用于记录设备的实时姿态；定位装置(比如：GPS定位装置或者北斗定位装置等)用于记录所述采集设备实时的当前位置信息。需要说明的是，所述单目工业相机、所述惯性测量装置、所述定位装置三个设备之间均为刚体结构，相对位置固定不变。
[0044] 地面三维点云数据生成单元202，用于根据所述地面图像纹理信息和所述当前位置信息进行三维重建，生成所述目标区域的地面三维点云数据。
[0045] 在信息采集单元201中获取目标区域的地面图像纹理信息和所述采集设备的当前位置信息之后，在地面三维点云数据生成单元202中可根据所述地面图像纹理信息和所述当前位置信息进行三维重建，进而生成所述目标区域的地面三维点云数据。
[0046] 所述的根据所述地面图像纹理信息和所述当前位置信息进行三维重建，生成所述目标区域的地面三维点云数据，具体实现过程可包括如下部分：对所述采集设备中的所述单目工业相机、所述惯性测量装置以及所述定位装置之间的相对位置和角度关系进行标定，获得设备标定参数；根据所述设备标定参数，计算获得所述采集设备的当前位姿信息；基于所述当前位姿信息对所述采集设备的姿态进行调整，通过调整所述采集设备的姿态获取所述目标区域的实时地面图像纹理数据；采用运动恢复结构的方式对所述地面图像纹理数据进行处理，获得所述目标区域的地面三维点云数据。
[0047] 需要说明的是，设备标定的目的是标定采集设备中各个装置之间的相对位置和角度关系，进而便于计算出单目工业相机的位姿信息。在实际实施过程中，倾斜的角度太小，地面信息不够丰富，地面重建时无足够特征点选择；而倾斜的角度太大，前后图像帧之间重叠的信息区域小，不利于整体重建。因此，为了得到清晰的地面纹理信息，单目工业相机拍摄的角度应该向地面倾斜。即：需要将倾斜的角度设定在预设的倾斜角度范围内，从而得到清晰的地面纹理信息。
[0048] 另外，所述运动恢复结构(Structure from motion)是一种通过分析图像序列得到相机参数并进行三维重建的技术。采集到清晰的带丰富的地面图像纹理数据后，使用运动恢复结构的方式可进一步得到稠密的地面三维点云数据。所述的采用运动恢复结构的方式对所述地面图像纹理数据进行处理，获得所述目标区域的地面三维点云数据，具体实现过程可包括：根据所述地面图像纹理数据提取图像特征点；基于预设的匹配网络对所述图像特征点进行匹配，将采集的多帧图像中特征相似度值达到或者超过预设相似度阈值的两个像素点建立匹配关系；对于匹配的特征点，根据三角测量原理测量出的所述特征点的初始位置信息，获得所述目标区域的地面特征点点云；根据所述地面特征点点云和图像信息，获得所述目标区域的地面三维点云数据。
[0049] 本发明实施例中，在进行全局优化的时候，考虑到全局优化没有全局最优解，仅针对非高可信的相机位姿和特征点进行优化，并不针对高可信的位姿进行优化。因此，在具体实施例中，还可确定非高可信的设备位姿和非高可信的特征点；针对所述非高可信的设备位姿的测量信息和所述非高可信的特征点的测量信息进行优化，将所述非高可信的设备位姿转变为高可信的设备位姿，以及将所述非高可信的特征点转变为高可信的特征点，分别获得所述高可信的设备位姿和高可信的特征点的目标测量信息。位姿优化，实际上是根据三维重建的结果以及反投方式来计算重投影误差，通过预设的
优化算法来迭代优化，使得重投影误差最小。
[0050] 采用本发明所述的基于地面图像纹理的地面三维重建装置，能够生成更加稠密的地面三维点云，方便、快捷的实现目标区域的地面三维重建，且具有丰富的纹理和颜色信息，提高了进行地面三维重建的效率和鲁棒性。
[0051] 与上述提供的一种基于地面图像纹理的地面三维重建方法相对应，本发明还提供一种电子设备。由于该电子设备的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的电子设备仅是示意性的。如图3所示，其为本发明实施例提供的一种电子设备的示意图。
[0052] 该电子设备具体包括：处理器301和存储器302；其中，存储器302用于运行一个或多个程序指令，用于存储基于地面图像纹理的地面三维重建方法的程序，该服务器通电并通过所述处理器301运行该基于地面图像纹理的地面三维重建方法的程序后，执行上述任意一项所述的基于地面图像纹理的地面三维重建方法。
[0053] 与上述提供的一种基于地面图像纹理的地面三维重建方法相对应，本发明还提供一种计算机存储介质。由于该计算机存储介质的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的计算机存储介质仅是示意性的。
[0054] 所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被服务器执行上述所述的基于地面图像纹理的地面三维重建方法。所述的服务器可以是指与上述电子设备对应的后台服务器。
[0055] 在本发明实施例中，处理器或处理器模
块可以是一种集成
电路芯片，具有信号的处理能
力。处理器可以是通用处理器、
数字信号处理器(Digital Signal Processor，简称DSP)、
专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程
门阵列(Field Programmable Gate Array，简称FPGA)或者其他
可编程逻辑器件、分立门或者晶体管逻辑器件、分立
硬件组件。
[0056] 可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑
框图。通用处理器可以是
微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及
软件模块组合执行完成。
软件模块可以位于随机存储器，闪存、
只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
[0057] 存储介质可以是存储器，例如可以是易失性存储器或
非易失性存储器，或可包括易失性和非易失性存储器两者。
[0058] 其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、
电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
[0059] 易失性存储器可以是
随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、
动态随机存取存储器(Dynamic RAM，简称DRAM)、
同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍
数据速率同步动态随机存取存储器(Double Data Rate SDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，简称SLDRAM)和直接内存总线随机存取存储器(Direct Ram bus RAM，简称DRRAM)。
[0060] 本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
[0061] 本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当
应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送
计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0062] 以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的
基础之上，所做的任何
修改、等同替换、改进等，均应包括在本发明的保护范围之内。
