街景采集方法和系统、车辆
阅读：1022发布：2020-05-26
专利汇可以提供街景采集方法和系统、车辆专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种街景采集方法和系统、车辆，其中方法包括：在车辆行驶的过程中，通过车载 定位 装置获取所述车辆的当前地理 位置 ，以及通过车载环视摄像设备获取所述车辆周围的图像，所述车载环视摄像设备至少包括分别部署于所述车辆前、后、左、右的四个摄像头；由所述车载环视摄像设备获取的图像生成当前地理位置的全景图像；根据所述当前地理位置信息、 电子 地图和当前地理位置的全景图像生成街景全景地图。本发明无需改造车辆、在车辆上安装专业拍摄设备，通过车载环视摄像设备便可无损获取车辆周边的图像、并自动生成全景图像和街景全景地图，当前地理位置无需专业的地图 图像处理 团队人工处理，降低了成本，并提高了街景全景地图的获取效率。，下面是街景采集方法和系统、车辆专利的具体信息内容。
1.一种街景采集方法，其特征在于，包括：
在车辆行驶的过程中，通过车载定位装置获取所述车辆的当前地理位置，以及通过车载环视摄像设备获取所述车辆周围的图像，所述车载环视摄像设备至少包括分别部署于所述车辆前、后、左、右的四个摄像头；
由所述车载环视摄像设备获取的图像生成当前地理位置的全景图像；
根据所述当前地理位置信息、电子地图和当前地理位置的全景图像生成街景全景地图。
2.根据权利要求1所述的方法，其特征在于，所述车载环视摄像设备包括以下任意一种或多种：环视摄像头、先进驾驶辅助系统ADAS摄像头、夜视摄像头；
和/或，
所述车载环视摄像设备在垂直方向上的摄像范围包括120～180度，在水平方向的摄像范围包括180度；
和/或，
所述车载环视摄像设备包括八个摄像头，所述八个摄像头分别部署于所述车辆的前、前左、前右、左、右、后、后左、后右位置。
3.根据权利要求1或2所述的方法，其特征在于，由所述车载环视摄像设备获取的图像生成当前地理位置的全景图像，包括：
分别对所述车载环视摄像设备获取的图像进行透视变换，将所述车载环视摄像设备获取的图像投影为在所述车辆中心、以所述车载环视摄像设备的垂直摄像角度拍摄的投影图像；
采用柱面投影方式，将所述投影图像投影到以所述车载环视摄像设备的摄像焦距为半径的柱面上，在所述柱面上获得投影拼接图像；
分别基于所述投影拼接图像中相邻两幅图像重叠区域中的匹配特征点，对所述相邻两幅图像进行图像配准；
采用颜色拟合法对重叠区域的图像进行融合，获得当前地理位置的全景图像。
4.根据权利要求3所述的方法，其特征在于，对所述车载环视摄像设备获取的图像进行透视变换，包括：
根据预先设置的图像坐标系与照相机坐标系、以及照相机坐标系与世界坐标系之间的坐标变换关系，将车载环视摄像设备获取的图像由图像坐标系变换到世界坐标系，获得景物以所述车载环视摄像设备的摄影中心为原点的第一世界坐标系图像；
根据所述车载环视摄像设备的摄影中心相对于所述车辆中心的位置关系，获得所述景物以车辆中心为原点的第二世界坐标系图像；
根据预先设置的照相机坐标系与世界坐标系、以及图像坐标系与照相机坐标系之间的坐标变换关系，获得所述投影图像。
5.根据权利要求4所述的方法，其特征在于，获得所述投影图像之后，还包括：
对所述投影图像进行矫正处理，消除所述投影图像中的畸变和噪声信息。
6.根据权利要求3至5任意一项所述的方法，其特征在于，分别基于所述投影拼接图像中每两幅图像重叠区域中的匹配特征点，对所述的两幅图像进行图像配准，包括：
利用预设算法获取相邻两幅图像的重叠区域，从所述重叠区域中提取特征点；
获取所述重叠区域中所述相邻两幅图像中的一组以上的初始匹配特征点，每组匹配特征点包括所述相邻两幅图像中一幅图像中的第一特征点和所述相邻两幅图像中另一幅图像中的第二特征点；
根据所述第一特征点到所述一幅图像中心点之间的距离、以及所述第二特征点到所述另一幅图像中心点之间的距离之间的相似性，从所述一组以上的初始匹配特征点中选取一组以上精确匹配特征点；
通过所述一组以上精确匹配特征点中各组精确匹配特征点之间的对应关系，获取所述相邻两幅图像进行图像对齐所需的变换参数；
基于所述变换参数对所述相邻两幅图像进行图像对齐。
7.根据权利要求3至6任意一项所述的方法，其特征在于，所述采用颜色拟合法对重叠区域的图像进行融合，获得当前地理位置的全景图像，包括：
对所述重叠区域的图像进行双线性插值处理，获得当前地理位置的全景图像。
8.一种街景采集系统，其特征在于，包括：
车载定位装置，用于在车辆行驶的过程中，获取所述车辆的当前地理位置；
车载环视摄像设备，用于在车辆行驶的过程中，获取所述车辆周围的图像，所述车载环视摄像设备至少包括分别部署于所述车辆前、后、左、右的四个摄像头；
图像处理装置，用于由所述车载环视摄像设备获取的图像生成当前地理位置的全景图像；
地图生成单元，用于根据所述当前地理位置信息、电子地图和当前地理位置的全景图像生成街景全景地图。
9.根据权利要求8所述的系统，其特征在于，所述车载环视摄像设备包括以下任意一种或多种：环视摄像头、ADAS摄像头、夜视摄像头；
和/或，
所述车载环视摄像设备在垂直方向上的摄像范围包括120～180度，在水平方向的摄像范围包括180度；
和/或，
所述车载环视摄像设备包括八个摄像头，所述八个摄像头分别部署于所述车辆的前、前左、前右、左、右、后、后左、后右位置。
10.根据权利要求8或9所述的系统，其特征在于，所述图像处理装置，包括：
透视变换单元，用于分别对所述车载环视摄像设备获取的图像进行透视变换，将所述车载环视摄像设备获取的图像投影为在所述车辆中心、以所述车载环视摄像设备的垂直摄像角度拍摄的投影图像；
投影处理单元，用于采用柱面投影方式，将所述投影图像投影到以所述车载环视摄像设备的摄像焦距为半径的柱面上，在所述柱面上获得投影拼接图像；
图像配准单元，用于分别基于所述投影拼接图像中相邻两幅图像重叠区域中的匹配特征点，对所述相邻两幅图像进行图像配准；
图像融合单元，用于采用颜色拟合法对重叠区域的图像进行融合，获得当前地理位置的全景图像。
11.根据权利要求10所述的系统，其特征在于，所述透视变换单元具体用于：
根据预先设置的图像坐标系与照相机坐标系、以及照相机坐标系与世界坐标系之间的坐标变换关系，将车载环视摄像设备获取的图像由图像坐标系变换到世界坐标系，获得景物以所述车载环视摄像设备的摄影中心为原点的第一世界坐标系图像；
根据所述车载环视摄像设备的摄影中心相对于所述车辆中心的位置关系，获得所述景物以车辆中心为原点的第二世界坐标系图像；
根据预先设置的照相机坐标系与世界坐标系、以及图像坐标系与照相机坐标系之间的坐标变换关系，获得所述投影图像。
12.根据权利要求11述的系统，其特征在于，所述透视变换单元，还用于在获得所述投影图像之后，对所述投影图像进行矫正处理，消除所述投影图像中的畸变和噪声信息。
13.根据权利要求10值12任意一项所述的系统，其特征在于，所述图像配准单元具体用于：
利用预设算法获取相邻两幅图像的重叠区域，从所述重叠区域中提取特征点；
获取所述重叠区域中所述相邻两幅图像中的一组以上的初始匹配特征点，每组匹配特征点包括所述相邻两幅图像中一幅图像中的第一特征点和所述相邻两幅图像中另一幅图像中的第二特征点；
根据所述第一特征点到所述一幅图像中心点之间的距离、以及所述第二特征点到所述另一幅图像中心点之间的距离之间的相似性，从所述一组以上的初始匹配特征点中选取一组以上精确匹配特征点；
通过所述一组以上精确匹配特征点中各组精确匹配特征点之间的对应关系，获取所述相邻两幅图像进行图像对齐所需的变换参数；
基于所述变换参数对所述相邻两幅图像进行图像对齐。
14.根据权利要求10至13任意一项所述的系统，其特征在于，所述图像融合单元具体用于：对所述重叠区域的图像进行双线性插值处理，获得当前地理位置的全景图像。
15.一种车辆，其特征在于，包括权利要求8至14任意一项所述的街景采集系统。
街景采集方法和系统、车辆
技术领域
背景技术
[0002] 随着地图应用的发展，用户希望能够获取到更直观的街景地图。但是实景地图的采集需要配备专门车辆、人员和专业的360度摄像设备。由于车辆和人员稀少导致采集周期长，更新不及时，成本很高。
[0003] 现有的车辆都是功能型汽车，传统的功能型汽车完全不具备获取街景的能力，现有技术中，主要通过以下方式获取街景地图：在现有车辆的顶部加装专业摄像设备，在行驶的过程中，根据环境，通过电脑调节相机的快门、光圈和感光度(ISO)，360度拍摄沿路的街景，使用车辆本身携带现有的或者加装定位系统采集位置信息，然后由专业的地图图像处理团队处理获取到的街景图像，生成街景地图。
[0004] 在实现本发明的过程中，发明人发现，上述现有技术获取街景地图的方式至少存在以下问题：
[0005] 以单反相机作为用于街景拍摄的专业拍摄设备，由于需要360度拍摄沿路的街景，就需要至少在四个方向就需要四个单反相机，加上在车辆顶部加装要求苛刻的改装技术，价格昂贵，而且单反相机需要固定在车辆顶部，顶部凸起的拍摄架也容易碰到低空异物导致安全事故、财务损坏；
[0006] 另外，需要由专业的地图图像处理团队人工处理获取到的街景图像，生成街景地图，成本较高。
发明内容
[0007] 本发明实施例所要解决的一个技术问题是：提供一种街景采集方法和系统、车辆，以至少部分解决上述现有技术获取街景地图的方式存在的问题。
[0008] 根据本发明实施例的一个方面，提供的一种街景采集方法，包括：
[0009] 在车辆行驶的过程中，通过车载定位装置获取所述车辆的当前地理位置，以及通过车载环视摄像设备获取所述车辆周围的图像，所述车载环视摄像设备至少包括分别部署于所述车辆前、后、左、右的四个摄像头；
[0010] 由所述车载环视摄像设备获取的图像生成当前地理位置的全景图像；
[0011] 根据所述当前地理位置信息、电子地图和当前地理位置的全景图像生成街景全景地图。
[0012] 可选地，在上述各方法实施例中，所述车载环视摄像设备包括以下任意一种或多种：环视摄像头、先进驾驶辅助系统ADAS摄像头、夜视摄像头；
[0013] 和/或，
[0014] 所述车载环视摄像设备在垂直方向上的摄像范围包括120～180度，在水平方向的摄像范围包括180度；
[0015] 和/或，
[0016] 所述车载环视摄像设备包括八个摄像头，所述八个摄像头分别部署于所述车辆的前、前左、前右、左、右、后、后左、后右位置。
[0017] 可选地，在上述各方法实施例中，由所述车载环视摄像设备获取的图像生成当前地理位置的全景图像，包括：
[0018] 分别对所述车载环视摄像设备获取的图像进行透视变换，将所述车载环视摄像设备获取的图像投影为在所述车辆中心、以所述车载环视摄像设备的垂直摄像角度拍摄的投影图像；
[0019] 采用柱面投影方式，将所述投影图像投影到以所述车载环视摄像设备的摄像焦距为半径的柱面上，在所述柱面上获得投影拼接图像；
[0020] 分别基于所述投影拼接图像中相邻两幅图像重叠区域中的匹配特征点，对所述相邻两幅图像进行图像配准；
[0021] 采用颜色拟合法对重叠区域的图像进行融合，获得当前地理位置的全景图像。
[0022] 可选地，在上述各方法实施例中，对所述车载环视摄像设备获取的图像进行透视变换，包括：
[0023] 根据预先设置的图像坐标系与照相机坐标系、以及照相机坐标系与世界坐标系之间的坐标变换关系，将车载环视摄像设备获取的图像由图像坐标系变换到世界坐标系，获得景物以所述车载环视摄像设备的摄影中心为原点的第一世界坐标系图像；
[0024] 根据所述车载环视摄像设备的摄影中心相对于所述车辆中心的位置关系，获得所述景物以车辆中心为原点的第二世界坐标系图像；
[0025] 根据预先设置的照相机坐标系与世界坐标系、以及图像坐标系与照相机坐标系之间的坐标变换关系，获得所述投影图像。
[0026] 可选地，在上述各方法实施例中，获得所述投影图像之后，还包括：
[0027] 对所述投影图像进行矫正处理，消除所述投影图像中的畸变和噪声信息。
[0028] 可选地，在上述各方法实施例中，分别基于所述投影拼接图像中每两幅图像重叠区域中的匹配特征点，对所述的两幅图像进行图像配准，包括：
[0030] 获取所述重叠区域中所述相邻两幅图像中的一组以上的初始匹配特征点，每组匹配特征点包括所述相邻两幅图像中一幅图像中的第一特征点和所述相邻两幅图像中另一幅图像中的第二特征点；
[0031] 根据所述第一特征点到所述一幅图像中心点之间的距离、以及所述第二特征点到所述另一幅图像中心点之间的距离之间的相似性，从所述一组以上的初始匹配特征点中选取一组以上精确匹配特征点；
[0032] 通过所述一组以上精确匹配特征点中各组精确匹配特征点之间的对应关系，获取所述相邻两幅图像进行图像对齐所需的变换参数；
[0033] 基于所述变换参数对所述相邻两幅图像进行图像对齐。
[0034] 可选地，在上述各方法实施例中，所述采用颜色拟合法对重叠区域的图像进行融合，获得当前地理位置的全景图像，包括：
[0035] 对所述重叠区域的图像进行双线性插值处理，获得当前地理位置的全景图像。
[0036] 根据本发明实施例的另一个方面，提供的一种街景采集系统，包括：
[0037] 车载定位装置，用于在车辆行驶的过程中，获取所述车辆的当前地理位置；
[0038] 车载环视摄像设备，用于在车辆行驶的过程中，获取所述车辆周围的图像，所述车载环视摄像设备至少包括分别部署于所述车辆前、后、左、右的四个摄像头；
[0039] 图像处理装置，用于由所述车载环视摄像设备获取的图像生成当前地理位置的全景图像；
[0040] 地图生成单元，用于根据所述当前地理位置信息、电子地图和当前地理位置的全景图像生成街景全景地图。
[0041] 可选地，在上述各系统实施例中，所述车载环视摄像设备包括以下任意一种或多种：环视摄像头、ADAS摄像头、夜视摄像头；
[0042] 和/或，
[0043] 所述车载环视摄像设备在垂直方向上的摄像范围包括120～180度，在水平方向的摄像范围包括180度；
[0044] 和/或，
[0045] 所述车载环视摄像设备包括八个摄像头，所述八个摄像头分别部署于所述车辆的前、前左、前右、左、右、后、后左、后右位置。
[0046] 可选地，在上述各系统实施例中，所述图像处理装置，包括：
[0047] 透视变换单元，用于分别对所述车载环视摄像设备获取的图像进行透视变换，将所述车载环视摄像设备获取的图像投影为在所述车辆中心、以所述车载环视摄像设备的垂直摄像角度拍摄的投影图像；
[0048] 投影处理单元，用于采用柱面投影方式，将所述投影图像投影到以所述车载环视摄像设备的摄像焦距为半径的柱面上，在所述柱面上获得投影拼接图像；
[0049] 图像配准单元，用于分别基于所述投影拼接图像中相邻两幅图像重叠区域中的匹配特征点，对所述相邻两幅图像进行图像配准；
[0050] 图像融合单元，用于采用颜色拟合法对重叠区域的图像进行融合，获得当前地理位置的全景图像。
[0051] 可选地，在上述各系统实施例中，所述透视变换单元具体用于：
[0052] 根据预先设置的图像坐标系与照相机坐标系、以及照相机坐标系与世界坐标系之间的坐标变换关系，将车载环视摄像设备获取的图像由图像坐标系变换到世界坐标系，获得景物以所述车载环视摄像设备的摄影中心为原点的第一世界坐标系图像；
[0053] 根据所述车载环视摄像设备的摄影中心相对于所述车辆中心的位置关系，获得所述景物以车辆中心为原点的第二世界坐标系图像；
[0054] 根据预先设置的照相机坐标系与世界坐标系、以及图像坐标系与照相机坐标系之间的坐标变换关系，获得所述投影图像。
[0055] 可选地，在上述各系统实施例中，所述透视变换单元，还用于在获得所述投影图像之后，对所述投影图像进行矫正处理，消除所述投影图像中的畸变和噪声信息。
[0056] 可选地，在上述各系统实施例中，所述图像配准单元具体用于：
[0057] 利用预设算法获取相邻两幅图像的重叠区域，从所述重叠区域中提取特征点；
[0058] 获取所述重叠区域中所述相邻两幅图像中的一组以上的初始匹配特征点，每组匹配特征点包括所述相邻两幅图像中一幅图像中的第一特征点和所述相邻两幅图像中另一幅图像中的第二特征点；
[0059] 根据所述第一特征点到所述一幅图像中心点之间的距离、以及所述第二特征点到所述另一幅图像中心点之间的距离之间的相似性，从所述一组以上的初始匹配特征点中选取一组以上精确匹配特征点；
[0060] 通过所述一组以上精确匹配特征点中各组精确匹配特征点之间的对应关系，获取所述相邻两幅图像进行图像对齐所需的变换参数；
[0061] 基于所述变换参数对所述相邻两幅图像进行图像对齐。
[0062] 可选地，在上述各系统实施例中，所述图像融合单元具体用于：对所述重叠区域的图像进行双线性插值处理，获得当前地理位置的全景图像。
[0063] 根据本发明实施例的又一个方面，提供的一种车辆，包括本发明上述任一实施例所述的街景采集系统。
[0064] 基于本发明上述实施例提供的街景采集方法和系统、车辆，在车辆行驶的过程中，通过车载定位装置获取车辆的当前地理位置，以及通过车载环视摄像设备获取车辆周围的图像，其中的车载环视摄像设备至少包括分别部署于所述车辆前、后、左、右的四个摄像头；由车载环视摄像设备获取的图像生成当前地理位置的全景图像，根据当前地理位置信息、电子地图和当前地理位置的全景图像生成街景全景地图。基于本发明实施例的技术方案，无需改造车辆、在车辆上安装专业拍摄设备，通过车载环视摄像设备便可无损获取车辆周边的图像、并自动生成全景图像和街景全景地图，无需专业的地图图像处理团队人工处理，减少了人员和设备，降低了成本，并提高了街景全景地图的获取效率。
附图说明
[0067] 参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
[0068] 图1为本发明街景采集方法一个实施例的流程图。
[0069] 图2a～2c为本发明实施例中车载环视摄像设备的一个部署位置和摄像范围示意图。
[0070] 图2d～2f为本发明实施例中车载环视摄像设备的另一个部署位置和摄像范围示意图。
[0071] 图3为本发明实施例中生成当前地理位置的全景图像的一个流程图。
[0072] 图4为本发明实施例中对车载环视摄像设备获取的图像进行透视变换的一个流程图。
[0073] 图5为本发明实施例中图像坐标系、照相机坐标系、世界坐标系之间关系的一个示意图。
[0074] 图6为本发明实施例中对两幅图像进行图像配准的一个流程图。
[0075] 图7为本发明街景采集系统一个实施例的结构示意图。
[0076] 图8为本发明实施例中图像处理装置的一个结构示意图。
[0077] 图9为本发明一个具体应用实施例中的车辆的结构框图。
具体实施方式
[0078] 现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和的相对布置、数字表达式和数值不限制本发明的范围。
[0079] 同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
[0080] 以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
[0081] 对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0082] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0083] 本发明实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
[0084] 计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
[0085] 图1为本发明街景采集方法一个实施例的流程图。如图1所示，该实施例的街景采集方法包括：
[0086] 10，在车辆行驶的过程中，通过车载定位装置获取车辆的当前地理位置，以及通过车载环视摄像设备获取车辆周围的图像。
[0087] 其中，车载环视摄像设备至少包括分别部署于车辆前、后、左、右的四个摄像头。
[0088] 20，由车载环视摄像设备获取的图像生成当前地理位置的全景图像。
[0089] 30，根据车载定位装置获取的当前地理位置信息、电子地图和当前地理位置的全景图像生成街景全景地图。
[0090] 基于本发明上述实施例提供的街景采集方法，在车辆行驶的过程中，通过车载定位装置获取车辆的当前地理位置，以及通过车载环视摄像设备获取车辆周围的图像车载环视摄像设备；由车载环视摄像设备获取的图像生成当前地理位置的全景图像，根据当前地理位置信息、电子地图和当前地理位置的全景图像生成街景全景地图，本发明实施例的街景采集方法，无需改造车辆、在车辆上安装专业拍摄设备，通过车载环视摄像设备便可无损获取车辆周边的图像、并自动生成全景图像和街景全景地图，无需专业的地图图像处理团队人工处理，减少了人员和设备，降低了成本，并提高了街景全景地图的获取效率。
[0091] 在本发明各街景采集方法实施例的一个具体示例中，采用的车载环视摄像设备具体可以包括以下任意一种或多种：环视摄像头、先进驾驶辅助系统(ADAS)摄像头、夜视摄像头等。
[0092] 车载环视摄像设备在垂直方向上的摄像范围可以包括但不限于120～180度，在水平方向的摄像范围可以包括但不限于180度。
[0093] 本发明各实施例中，在实际情况下，车辆上部署的摄像头越多，环视成像的效果越好，越能获得完整且图像畸变少的全景图像。在其中一个具体应用中，车载环视摄像设备包括八个摄像头，这八个摄像头具体可以是环视摄像头或者ADAS摄像头，例如可以分别部署于车辆的前、前左、前右、左、右、后、后左、后右位置。
[0094] 在另一个具体应用中，车载环视摄像设备包括四个摄像头，分别部署于车辆前方、后方、左侧和右侧。其中的摄像头可以采用广角高清晰摄像头，例如180度广角的摄像头，广角摄像头的摄像范围可以达到120-180度，可以获取车辆周围较广范围内的图像。图2a～2c为本发明实施例中车载环视摄像设备的一个部署位置和摄像范围示意图。如图2a～2c所示，四个摄像设备分别部署在车辆的前端、后端和左右两侧，图2a中显示了设置在车辆前后两端的前置摄像设备A和后置摄像设备B在垂直方向的拍摄范围；图2b中显示了设置在车辆左右两侧的摄像设备C和D在垂直方向上的拍摄范围；图2c中显示了设置在车辆前端、后端和左右两侧的四个摄像设备在水平方向的拍摄范围。图2a～2c中仅示例性地示出了四个摄像设备的一种部署情况，实际应用中可以采用其他方式进行部署。
[0095] 图2d～2f为本发明实施例中车载环视摄像设备的另一个部署位置和摄像范围示意图。如图2d～2f所示，该应用实施例中，车载环视摄像设备具体可以是ADAS双目摄像头、夜视摄像头、行车记录仪摄像头等，车辆前方安装前置摄像设备，车辆左右两侧分别安装摄像设备，车辆后方安装后置摄像设备；或者在车辆前左、前、前右安装ADAS摄像头，在车辆左、右、后的环视摄像头。图2d～2f示出了采用广角摄像设备或者利用软件方法扩展摄像设备前后，摄像设备的拍摄范围的拍摄范围从原来①变成了②。其中个，图2d中显示了前置摄像设备和后置摄像设备在垂直方向扩大拍摄范围；图2e中显示了左右两侧的摄像设备在垂直方向上扩大拍摄范围；图2f中显示了前后、左右摄像设备在水平方向扩大拍摄范围。
[0096] 图3为本发明实施例中生成当前地理位置的全景图像的一个流程图。如图3所示，该实施例中，上述操作30具体可以通过如下方式实现：
[0097] 301，分别对车载环视摄像设备获取的图像进行透视变换，将车载环视摄像设备获取的图像投影为在车辆中心、以该车载环视摄像设备的垂直摄像角度拍摄的投影图像。
[0098] 302，采用柱面投影方式，将上述投影图像投影到以车载环视摄像设备的摄像焦距为半径的柱面上，在柱面上获得投影拼接图像。
[0099] 303，分别基于上述投影拼接图像中相邻两幅图像重叠区域中的匹配特征点，对匹配特征点所在的相邻两幅图像进行图像配准。
[0100] 304，采用颜色拟合法对重叠区域的图像进行融合，获得当前地理位置的全景图像。
[0101] 由于车辆上的部署的摄像头拍摄场景和实际街景图像有差别，即车辆上前后左右方部署的四个镜头之间均相距较远，且可能不在同一平面上、且俯仰角不同，通过透视变换将摄像头拍摄到的图像投影为在车辆中心以一定的俯仰角拍摄的图像，之后再采用柱面投影，将所有得到的图形重投影到一个以相机焦距(即：摄像头的摄像焦距，车辆上部署的几个摄像头的摄像焦距相同)为半径的柱面上，在柱面上进行全景图的投影拼接，把拼接问题转化为柱面上图像间的平移问题，从而实现在水平方向360°环视、垂直方向小于180°视角的圆柱形全景图像。本发明实施例中，通过透视变换、柱面投影、图像配准和图像融合，获得了当前地理位置的全景图像，无需改造车辆，即可通过智能车辆低成本地无损获取车辆周边的全景数据，地图数据采集单位可以减少采集车辆、人员和设备，降低成本。
[0102] 图4为本发明实施例中对车载环视摄像设备获取的图像进行透视变换的一个流程图。如图4所示，本实施例中，301具体可以通过如下方式，对车载环视摄像设备获取的图像进行透视变换：
[0103] 401，根据预先设置的图像坐标系与照相机坐标系、以及照相机坐标系与世界坐标系之间的坐标变换关系，将车载环视摄像设备获取的图像由图像坐标系变换到世界坐标系，获得景物以车载环视摄像设备的摄影中心为原点的第一世界坐标系图像。
[0104] 402，根据车载环视摄像设备的摄影中心相对于车辆中心的位置关系，由上述第一世界坐标系图像获得景物以车辆中心为原点的第二世界坐标系图像。
[0105] 403，根据预先设置的照相机坐标系与世界坐标系、以及图像坐标系与照相机坐标系之间的坐标变换关系，获得在车辆中心、以车载环视摄像设备的垂直摄像角度拍摄的投影图像。
[0106] 图5为本发明实施例中图像坐标系、照相机坐标系、世界坐标系之间关系的一个示意图。如图5所示，本实施例中，世界坐标系(x，y，z)的坐标轴x、y、z为相互垂直的三条直线。车载环视摄像设备(例如：摄像机)所在的坐标系称为照相机坐标系(xc，yc，zc)，在照相机坐标系中，以车载环视摄像设备的光轴作为zc轴，在车载环视摄像设备获取图像时，设其光轴zc轴相对于z轴的旋转角为θ，俯仰角(即：垂直摄像角度)为α，车载环视摄像设备绕光轴旋转的角度为0，则从照相机坐标系到世界坐标系的坐标变换公式如下：
[0107]
[0108] 从照相机坐标系到图像坐标系的坐标变换公式如下：
[0109]
[0110] 其中(u0，v0)为图像中心在图像坐标系中的坐标，ax、ay为预设照相机参数，这四个常数通过标定均可得知。zc是物距，即：拍摄点到车载环视摄像设备的光轴的直线距离，可以通过车载环视摄像设备预先获取。
[0111] 假设摄像机A是其中一个车载环视摄像设备，以摄像机A拍到的图像为例，可以将其拍摄到的图像通过公式(2)进行反变换获得照相机坐标系坐标，再通过公式(1)进行变换，得到景物以摄像机A的摄影中心为原点的世界坐标系图像。在得知摄像机A相对于车辆中心位置的情况下，可以得到该景物在以车辆中心为坐标原点的世界坐标系中的坐标，再依次通过公式(1)进行反变换、(2)进行变换即可获得相应的投影图像。
[0112] 在本发明上述各实施例的一个具体示例中，为了保证图像配准的精度，消除图像中的无关信息，通过操作301获得投影图像之后，还可以进一步对投影图像进行矫正处理，消除投影图像中的畸变和噪声信息。其中的矫正处理，例如可以是对投影图像采用几何变换、归一化、平滑与边缘锐化、复原、增强等几个处理方法进行一系列的处理，矫正投影图像的几何畸变和抑制图像噪声。
[0113] 图6为本发明实施例中对两幅图像进行图像配准的一个流程图。如图6所示，该实施例中，上述操作303中，具体可以通过如下方式，对匹配特征点所在的相邻两幅图像进行图像配准：
[0114] 501，利用预设算法获取相邻两幅图像的重叠区域，从重叠区域中提取特征点。
[0115] 其中的预设算法具体可以是相位相关算法，例如Harris-Affine算法，其具有仿射不变性，提取的特征点更准确。
[0116] 利用相位相关算法计算出相邻两幅图像的重叠区域，在重叠区域中提取特征点，这样缩小了特正点的匹配范围，增加了匹配点选取的准确性，且降低了计算量，缩减了大量时间。
[0117] 502，获取重叠区域中上述相邻两幅图像中的一组以上的初始匹配特征点。
[0118] 其中，每组匹配特征点包括相邻两幅图像中一幅图像中的第一特征点和相邻两幅图像中另一幅图像中的第二特征点。
[0119] 503，根据第一特征点到一幅图像中心点之间的距离、以及第二特征点到另一幅图像中心点之间的距离之间的相似性，从一组以上的初始匹配特征点中选取一组以上精确匹配特征点。
[0120] 例如，设P、Q是一对匹配特征点，pij是以P为图像中心点、r1为半径的一幅图像中的特征点集，qij是以Q为图像中心点、r2为半径的一幅图像中的特征点集，若P、Q是匹配的，则P与pij的关系和Q与qij的关系应具有相似性，通过计算对应特征点与图像中心的平均距离，相邻两幅图像中特征点与图像中心点距离的相对差异，可以量化P、Q的整体匹配度，将匹配度较低的点删除，匹配度较高的点保留为待匹配点，即：精确匹配特征点。
[0121] 504，通过一组以上精确匹配特征点中各组精确匹配特征点之间的对应关系，获取上述相邻两幅图像进行图像对齐所需的变换参数。
[0122] 基于得到的一组以上精确匹配特征点之间的对应关系构造方程组，通过数值计算得到变换参数，以便基于此变换参数确定相邻两幅图像的匹配位置、进行相邻两幅图像的对齐。
[0123] 505，基于该变换参数对上述相邻两幅图像进行图像对齐。
[0124] 相应地，本发明街景采集方法的又一个实施例中，操作304中，采用颜色拟合法对重叠区域的图像进行融合具体可以包括：
[0125] 对重叠区域的图像进行双线性插值处理，获得当前地理位置的全景图像。
[0127] 基于上述实施例，采用柱面投影方式，将投影图像投影到以车载环视摄像设备的摄像焦距为半径的柱面上，在柱面上获得投影拼接图像后，相邻两幅图像会有重叠区域，这就导致重叠区域内图像在颜色等视觉上的不一致性，对重叠区域内的两幅图像进行双线性插值，通过消除图像光强或色彩的不连续性，让图像的光强平滑过渡以消除光强的突变。
[0128] 基于本发明上述各实施例提供的街景采集方法，每一个用户均可通过部署有车载环视摄像设备和街景图像处理模块的车辆生成街景全景地图，并可进一步通过移动通信网络将其生成的街景全景地图上传服务器。在进一步应用中，可以将该街景全景地图发布到地图应用，例如高德地图、百度地图等中。用户还可以将个人拍摄得到的街景全景地图通过自媒体等方式进行分享，其他用户可以看到当前用户分享的实时街景。
[0129] 本领域普通技术人员可以理解：实现上述方法实施例的全部或部分可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
[0130] 图7为本发明街景采集系统一个实施例的结构示意图。该实施例的街景采集系统可用于实现本发明上述各街景采集方法实施例。如图7所示，该实施例的街景采集系统包括：车载定位装置1，车载环视摄像设备2，图像处理装置3和地图生成单元4。其中：
[0131] 车载定位装置1，用于在车辆行驶的过程中，获取该车辆的当前地理位置。
[0132] 车载环视摄像设备2，用于在车辆行驶的过程中，获取该车辆周围的图像，该车载环视摄像设备至少包括分别部署于车辆前、后、左、右的四个摄像头。
[0133] 在本发明实施例的一个具体示例中，车载环视摄像设备例如可以包括但不限于以下任意一种或多种：环视摄像头、ADAS摄像头、夜视摄像头。
[0134] 在本发明实施例的另一个具体示例中，车载环视摄像设备在垂直方向上的摄像范围例如可以包括但不限于120～180度，在水平方向的摄像范围例如可以包括但不限于180度。
[0135] 在本发明实施例的又一个具体示例中，车载环视摄像设备例如可以包括八个摄像头，这八个摄像头可以分别部署于车辆的前、前左、前右、左、右、后、后左、后右位置。
[0136] 图像处理装置3，用于由车载环视摄像设备1获取的图像生成当前地理位置的全景图像。
[0137] 地图生成单元4，用于根据车载定位装置1获取的当前地理位置信息、电子地图和图像处理装置3获取的当前地理位置的全景图像，生成街景全景地图。
[0138] 基于本发明上述实施例提供的街景采集系统，在车辆行驶的过程中，可以通过车载定位装置获取车辆的当前地理位置，以及通过车载环视摄像设备获取车辆周围的图像，车载环视摄像设备由车载环视摄像设备获取的图像生成当前地理位置的全景图像，根据当前地理位置信息、电子地图和当前地理位置的全景图像生成街景全景地图，本发明实施例进行街景采集时，无需改造车辆、在车辆上安装专业拍摄设备，通过车载环视摄像设备便可无损获取车辆周边的图像、并自动生成全景图像和街景全景地图，无需专业的地图图像处理团队人工处理，减少了人员和设备，降低了成本，并提高了街景全景地图的获取效率。
[0139] 车载环视摄像设备车载环视摄像设备车载环视摄像设备图8为本发明实施例中图像处理装置的一个结构示意图。如图8所示，该实施例中，图像处理装置3具体可以包括：透视变换单元31，投影处理单元32，图像配准单元33和图像融合单元34。其中：
[0140] 透视变换单元31，用于分别对车载环视摄像设备获取的图像进行透视变换，将车载环视摄像设备获取的图像投影为在车辆中心、以该车载环视摄像设备的垂直摄像角度拍摄的投影图像。
[0141] 投影处理单元32，用于采用柱面投影方式，将上述投影图像投影到以车载环视摄像设备的摄像焦距为半径的柱面上，在柱面上获得投影拼接图像。
[0142] 图像配准单元33，用于分别基于投影拼接图像中相邻两幅图像重叠区域中的匹配特征点，对相邻两幅图像进行图像配准。
[0143] 图像融合单元34，用于采用颜色拟合法对重叠区域的图像进行融合，获得当前地理位置的全景图像。
[0144] 在本发明上述各实施例的一个具体示例中，透视变换单元31具体用于：
[0145] 根据预先设置的图像坐标系与照相机坐标系、以及照相机坐标系与世界坐标系之间的坐标变换关系，将车载环视摄像设备获取的图像由图像坐标系变换到世界坐标系，获得景物以车载环视摄像设备的摄影中心为原点的第一世界坐标系图像；
[0146] 根据车载环视摄像设备的摄影中心相对于车辆中心的位置关系，获得景物以车辆中心为原点的第二世界坐标系图像；以及
[0147] 根据预先设置的照相机坐标系与世界坐标系、以及图像坐标系与照相机坐标系之间的坐标变换关系，获得投影图像。
[0148] 在本发明上述各实施例的另一个具体示例中，透视变换单元31，还可用于在获得投影图像之后，对投影图像进行矫正处理，消除投影图像中的畸变和噪声信息。
[0149] 在本发明上述各实施例的又一个具体示例中，图像配准单元33具体用于：
[0150] 利用预设算法获取相邻两幅图像的重叠区域，从所述重叠区域中提取特征点；
[0151] 获取重叠区域中相邻两幅图像中的一组以上的初始匹配特征点，每组匹配特征点包括相邻两幅图像中一幅图像中的第一特征点和相邻两幅图像中另一幅图像中的第二特征点；
[0152] 根据第一特征点到一幅图像中心点之间的距离、以及第二特征点到另一幅图像中心点之间的距离之间的相似性，从一组以上的初始匹配特征点中选取一组以上精确匹配特征点；
[0153] 通过一组以上精确匹配特征点中各组精确匹配特征点之间的对应关系，获取相邻两幅图像进行图像对齐所需的变换参数；
[0154] 基于变换参数对相邻两幅图像进行图像对齐。
[0155] 在本发明上述各实施例的再一个具体示例中，图像融合单元34具体用于：对重叠区域的图像进行双线性插值处理，获得当前地理位置的全景图像。
[0156] 本发明实施例提供了一种车辆，包括上述实施例任意一项的街景采集系统。
[0157] 本发明实施例提供的车辆，可以在行驶的过程中，通过车载定位装置获取车辆的当前地理位置，以及通过车载环视摄像设备获取车辆周围的图像，其中的车载环视摄像设备至少包括分别部署于所述车辆前、后、左、右的四个摄像头；由车载环视摄像设备获取的图像生成当前地理位置的全景图像，根据当前地理位置信息、电子地图和当前地理位置的全景图像生成街景全景地图，无需改造车辆、在车辆上安装专业拍摄设备，通过车载环视摄像设备便可无损获取车辆周边的图像、并自动生成全景图像和街景全景地图，无需专业的地图图像处理团队人工处理，减少了人员和设备，降低了成本，并提高了街景全景地图的获取效率。
[0158] 图9示出了本发明一个具体应用实施例中的车辆的结构框图。如图9所示，该车辆可以包括：中控模块、仪表盘、行车记录仪、HUD(Head Up Display，平视显示器)抬头显示器、智能车载信息娱乐系统、智能驾驶模块。
[0159] 仪表盘具有12.3寸LCD显示设备，该仪表盘可以采用TI的J6 CPU；仪表盘的操作系统可以基于QNX嵌入式系统，仪表盘可以用于显示车辆状态、地图、车辆导航信息、车辆播放音乐等，所述车辆状态信息包括速度、转速、电量、胎压、车辆驻车、档位等。HUD抬头显示器可以显示GPS导航信息、导航路径信息、时间信息等。
[0160] 在一个实施例中，智能驾驶模块可以用于处理与智能驾驶相关的操作，智能驾驶模块可以包括高级辅助驾驶系统(Advanced Driver Assistance Systems，ADAS)、主动安全系统、注意力辅助系统(Attention Assist System，AAS)、疲劳警告系统(Fatigue Waming System，FWS)、车辆智能声学报警系统(Acoustic Vehicle Alerting System，AVAS)等。车辆可以结合ADAS等进行智能驾驶，该智能驾驶可以是完全无人的驾驶，也可以是驾驶员进行驾驶控制的辅助并线、车道偏移等高级辅助驾驶功能。
[0161] 中控装置可以由多个模块组成，主要可以包括：主板；SATA(Serial Advanced Technology Attachment，串行高级技术附件)模块，连接到如SSD的存储设备，可以用来存储数据信息；AM(Amplitude Modulation，调幅)/FM(Frequency Modulation，调频)模块，为车辆提供收音机的功能；功放模块，用于声音处理；WIFI(Wireless-Fidelity，无线保真)/Bluetooth模块，为车辆提供WIFI/Bluetooth的服务；LTE(Long Term Evolution，长期演进)通信模块，为车辆提供与电信运营商的通信功能；电源模块，电源模块为该中控装置提供电源；Switch转接模块，该Switch转接模块可以作为一种可扩展的接口连接多种传感器，例如如果需要添加夜视功能传感器、PM2.5功能传感器，可以通过该Switch转接模块连接到中控装置的主板，以便中控装置的处理器进行数据处理，并将数据传输给中控显示器。
[0162] 在一个实施例中，该车辆还包括环视摄像头、ADAS摄像头、夜视摄像头、毫米波雷达、超声波雷达、ESR雷达等传感器。车辆硬件在生产后即挂载上述智能驾驶相关硬件，后期可以通过OTA升级使用上述硬件完善自动驾驶相关功能。
[0163] 本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0164] 可能以许多方式来实现本发明的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的上述顺序仅是为了进行说明，本发明的方法的不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
[0165] 本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 接触网非接触式监测缺陷识别方法 | 2020-05-08 | 246 |
| 一种电缆井下全景图像采集器 | 2020-05-08 | 996 |
| 兼容空气和水中的拍摄方法和拍摄系统 | 2020-05-14 | 58 |
| 一种爆破后岩石块度的图像统计方法 | 2020-05-14 | 82 |
| 一种获取动态对象的图像的方法以及系统 | 2020-05-14 | 160 |
| 用于提供虚拟飞行器构建过程的系统和方法 | 2020-05-13 | 794 |
| 测量和计算热传输的方法 | 2020-05-11 | 156 |
| 用于分析电梯设备的电梯竖井的方法和用于测量电梯设备的电梯竖井的测量系统 | 2020-05-12 | 234 |
| 兼容空气和水中的拍摄方法和拍摄系统 | 2020-05-16 | 622 |
| 一种反射式环绕显示系统 | 2020-05-13 | 397 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
全景照相机热门专利
QQ群二维码
意见反馈
意见反馈