技术领域
[0001] 本
发明涉及
图像识别处理的技术领域，尤其涉及一种基于车载摄像头的路侧停车位感知方法及系统。
背景技术
[0002] 近年来，越来越多的设备和技术被应用到车辆驾驶中来增加驾驶的舒适性和安全性，而停车(泊车)是
汽车驾驶相关的技术领域中的重要一环，准确的识别路边是否有可供停车的停车位是实现安全停车的
基础。
[0003] 在停车位的识别中，最重要的部分就是识别出是否有障碍物影响停车，目前在停车位的检测中，主要采用
超声波雷达方案，
超声波雷达通过声波进行
定位，来测量前方障碍物的距离，从而进一步判断车位空间是否可停车。但这种方案存在很多问题，例如传统的超声波雷达一般在安装在车辆尾部，需要车辆行驶过停车位才能进行识别，且传统的超声波雷达无法检测停车位中低矮、横截面积较小的物体，如路崖、电线杆等，造成障碍物的判断失误，导致停车问题。因此需要在感知停车位时，既能提前发现路侧停车位，又能精确识别侧方停车位内的是否存在障碍物。
发明内容
[0004] 本部分的目的在于概述本发明的
实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本
申请的
说明书摘要和
发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
[0005] 鉴于上述现有存在的问题，提出了本发明。
[0006] 因此，本发明解决的技术问题是：提供了一种基于车载摄像头，采用
深度学习和
计算机视觉识别路侧停车位和前后车辆的方法，能够有效避免泊车时车辆被低矮、狭窄障碍物摩擦和碰撞的
风险。
[0007] 为解决上述技术问题，本发明提供如下技术方案：一种基于车载摄像头的路侧停车位感知方法，包括以下步骤，采集模
块采集后车图像并输入识别模块，所述识别模块基于深度学习的方法对后车图像进行识别，输出
车轮的
像素坐标并传输给计算机视觉模块；所述计算机视觉模块将所述像素坐标转换成世界坐标，并画出参考线和参考车框；将所述参考车框输入至检测模块，通过粗检和细检判断是否能够停车以及标出停车位框。
[0008] 作为本发明所述的基于车载摄像头的路侧停车位感知方法的一种优选方案，其中：所述识别模块部署于车载计算终端内，还包括以下步骤，采集模块采集图像作为训练样本；基于所述训练样本对识别模块进行训练；利用训练后的识别模块识别后车图像并输出车轮的像素坐标。
[0009] 作为本发明所述的基于车载摄像头的路侧停车位感知方法的一种优选方案，其中：所述训练还包括以下步骤，所述样本图像的采集在不同环境下进行，并对采集到的图像进行分割，保留含有汽车车轮的图像作为训练样本；使用打标工具对训练样本进行打标并标注出车轮四个
角点
位置，输出标注图像；所述识别模块对采集模块采集的后车图像进行识别，识别出车轮四个角点位置，并计算出前、后车轮边框下边框中心点坐标。
[0010] 作为本发明所述的基于车载摄像头的路侧停车位感知方法的一种优选方案，其中：所述计算还包括以下步骤，根据识别模块得到的车轮位置坐标，计算出车轮下边框中心点坐标，计算公式如下：
[0011]
[0012] yc＝yright
[0013] 其中，(xc,yc)为车轮下边框中心点的像素坐标，(xleft,yleft)和(xright,yright)分别为车轮边框左上角和右下角点的坐标；分别检测前、后两个车轮的下边框中心点的像素坐标，两个中心点相连接后能够画出一条直线。
[0014] 作为本发明所述的基于车载摄像头的路侧停车位感知方法的一种优选方案，其中：所述将像素坐标转换成世界坐标是利用相机标定原理进行的坐标转换。
[0015] 作为本发明所述的基于车载摄像头的路侧停车位感知方法的一种优选方案，其中：所述画出参考线和参考框包括以下步骤，以前、后两个车轮的中心点相连接画出的直线作为参考线，根据所述参考线画出一个长为5m、宽为2.5m的汽车参考框；随着车辆的移动不停地画参考框，且画框的
频率为每秒20
帧。
[0016] 作为本发明所述的基于车载摄像头的路侧停车位感知方法的一种优选方案，其中：所述粗检还包括以下步骤，将所述参考框输入检测模块的深度学习网络模型中，检测图像中是否存在障碍物；若所述输入的参考框中没有障碍物，则判断可以停车并进行进一步的细检，反之则判断不可停并终止自动泊车。
[0017] 作为本发明所述的基于车载摄像头的路侧停车位感知方法的一种优选方案，其中：所述细检还包括以下步骤，在所述参考框的基础上以5cm为单位继续前后画细参考框，共画出40个细参考框并输入检测模块的深度学习网络模型；所述深度学习网络模型检测所述细参考框中是否存在障碍物，若存在则终止自动泊车；若不存在障碍物，则计算所有可停车框中心点的平均值，再根据该中心点坐标计算车框四角的物理坐标，最终画出可停车位。
[0018] 本发明解决的另一个技术问题是：提供了一种基于车载摄像头，采用深度学习和计算机视觉识别路侧停车位和前后车辆的系统，上述基于车载摄像头的路侧停车位感知方法能够依托于本系统实现。
[0019] 为解决上述技术问题，本发明提供如下技术方案：一种基于车载摄像头的路侧停车位感知系统，其特征在于：包括，采集模块，所述采集模块用于采集车辆周围环境数据；识别模块，所述识别模块能够识别所述采集模块采集的车辆周围环境数据；计算机视觉模块，所述计算机视觉模块用于像素坐标和世界坐标的转换和参考车框的画出；检测模块，所述检测模块用于进行停车位的粗检和细检，判断是否能够进行停车。
[0020] 作为本发明所述的基于车载摄像头的路侧停车位感知系统的一种优选方案，其中：还包括，车载计算终端，所述车载计算终端与所述采集模块连接并能够接收其采集的车辆周围环境数据，所述识别模块、所述计算机视觉模块和所述检测模块均部署于所述车载计算终端内。
[0021] 本发明的有益效果：基于车载摄像头，采用深度学习和计算机视觉识别路侧停车位和前后车辆，能够精确检测空闲车位中的所有障碍物和确定靠路崖距离，有效避免泊车时车辆被低矮、狭窄障碍物摩擦和碰撞的风险。
附图说明
[0022] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0023] 图1为本发明第一种实施例所述基于车载摄像头的路侧停车位感知方法的整体流程示意图；
[0024] 图2为本发明第一种实施例所述基于车载摄像头的路侧停车位感知方法中坐标转换的
坐标系关系示意图；
[0025] 图3为本发明第一种实施例所述基于车载摄像头的路侧停车位感知方法中点P和点p的坐标关系示意图；
[0026] 图4为本发明第一种实施例所述基于车载摄像头的路侧停车位感知方法中采集并识别后车图像的示意图；
[0027] 图5为本发明第一种实施例所述基于车载摄像头的路侧停车位感知方法中画出参考车框的示意图；
[0028] 图6为本发明第一种实施例所述基于车载摄像头的路侧停车位感知方法中画框并进行细检的示意图；
[0029] 图7为传统基于超声波雷达定位的车位检测方法的检测示意图；
[0030] 图8为本发明第二种实施例所述基于车载摄像头的路侧停车位感知系统的整体结构示意图。
具体实施方式
[0031] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
[0032] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0033] 其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0034] 本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0035] 同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0036] 本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0037] 如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是
硬件、
固件、硬件和
软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以
信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
[0038] 实施例1
[0039] 停车作为车辆驾驶中重要的一环，对于驾驶员、特别是新手驾驶员来说是一个较为复杂的环节，而驾驶员坐在汽车内很难直接仔细的观察停车位的情况，因此需要有辅助设备帮助对停车位的情况进行检测并判断是否能够停车。现有使用超声波雷达进行检测的方法具有无法检测横截面积较小障碍物、无法判断低矮的路崖位置的
缺陷，因此需要提供一种可以精确检测空闲车位中的所有障碍物的方法用于停车位的检测。
[0040] 参照图1～6所示，本实施例提供了一种基于车载摄像头的路侧停车位感知方法，具体的，包括以下步骤，
[0041] 采集模块100采集后车图像并输入识别模块200，识别模块200基于深度学习的方法对后车图像进行识别，输出车轮的像素坐标并传输给计算机视觉模块300；计算机视觉模块300将像素坐标转换成世界坐标，并画出参考线和参考车框；将参考车框输入检测模块400，通过粗检和细检判断是否能够停车以及标出停车位框。
[0042] 其中，识别模块200部署于车载计算终端500内，识别模块200采用基于深度学习的神经网络模型对采集模块100采集的后车图像进行识别，识别模块200投入实际识别前需要先对识别模块200的神经网络模型进行充分训练，具体还包括以下步骤，
[0043] 采集模块100采集图像作为训练样本。其中，采集模块100可以为能够采集图像的摄像头，通常安装于汽车前方，参照图4，能够采集包含汽车以及车轮的图像作为训练样本以及在实际使用时采集停车位的侧方位后车的前后轮图像。
[0044] 采集完训练样本后，基于训练样本对识别模块200的神经网络模型进行训练，确认识别模块200的神经网络模型得到充分训练后投入实际使用。
[0045] 利用训练后的识别模块200识别后车图像包含的元素。识别过程包括通过采集模块100采集停车位的侧方位后车图像，并将图像输入识别模块200中，识别模块200的神经网络模型识别车轮四个角点位置,并返回车轮边框下边框中心点位置，输出车轮的像素坐标。
[0046] 具体的，对于识别模块200的训练还包括以下步骤，
[0047] 采集模块100采集样本图像在不同环境下进行，并对采集到的图像进行分割，保留包含车轮的图像作为训练样本。其中，为了使训练更加充分、识别模块200能够适应不同的使用场景，采集训练样本的过程需要在不同环境下进行，包括白天、雨天、阴天、上午、下午等各种光照和阴影环境，训练样本由采集模块100从路边和各种场地内进行采集，并对采集到的图像进行分割，保留包含汽车车轮的图像作为训练样本。
[0048] 得到训练样本的图片后，使用打标工具对训练样本进行打标并标注出车轮四个角点位置，输出标注图像。其中，本实施例中的打标工具可以使用labelme软件，labelme软件能够对目标进行详细的标绘，将目标物体用方框标注出来，并返回目标物体在图像中的相对位置，并用xml文件格式的形式保存下来，得到标注图像。
[0049] 识别模块200的基于训练样本进行训练。其中，本实施例中识别模块200可以采用神经网络模型yolo3_darknet用于识别，本领域技术人员可以理解的是，该模型是一种能够用于
物体识别的模型，且检测准确率高、对于小物体也有较好的检测效果。将训练样本输入识别模块200的神经网络模型中，由神经网络模型对车轮的四个角点位置进行识别并标出，并将得到的结果与标注图像对比，根据对比结果计算通过反向传播的方式更新主干网络的参数，使输出的检测结果更接近标注图像显示的位置，当训练至无法得到更好的结果时，认为神经网络模型已经得到充分训练，可以投入实际使用。
[0050] 训练后的识别模块200投入使用，此时利用识别模块200识别后车图像并输出车轮的像素坐标，通过对采集模块100采集的后车图像进行识别，识别出车轮四个角点位置，并计算出前、后车轮边框下边框中心点坐标。具体的，计算还包括以下步骤，[0051] 根据识别模块200得到的车轮位置坐标，计算出车轮下边框中心点坐标，计算公式如下：
[0052]
[0053] yc＝yright
[0054] 其中，(xc,yc)为车轮下边框中心点的像素坐标，(xleft,yleft)和(xright,yright)分别为车轮边框左上角和右下角点的坐标。
[0055] 根据公式，分别检测前、后两个车轮的下边框中心点的像素坐标，此时前、后两个车轮的中心点相连接后能够画出一条直线。
[0056] 参照图5，识别模块200识别并计算出的像素坐标输入计算机视觉模块300中，由计算机视觉模块300将像素坐标转换成世界坐标，并画出参考线和参考车框。
[0057] 具体的，坐标转换是利用相机标定原理进行的，包括以下步骤，
[0058] 确定世界坐标系，世界坐标系也称为测量坐标系，是一个三维直角坐标系，以其为基准可以描述相机和待测物体的空间位置。世界坐标系的位置可以根据实际情况自由确定。相机坐标系也是一个三维直角坐标系，原点位于镜头
光心处，x、y轴分别与相面的两边平行，z轴为镜头光轴，与像平面垂直。将世界坐标系转换为相机坐标系：
[0059]
[0060] 其中，R为3*3的旋转矩阵，t为3*1的平移矢量，等号左侧公式为相机坐标系的齐次坐标，右侧公式为世界坐标系的齐次坐标。
[0061] 由于像素坐标系不利于坐标变换，原点是相机光轴与相面的交点，称为主点，即图像的中心点。故两个坐标系实际是平移关系，即可以通过平移就可得到图像坐标系转换为像素坐标系，参照图2所示：
[0062]
[0063] 其中，(u0,v0)为主点的坐标。
[0064] 参照图3示意为空间任意一点P与其图像点p之间的关系，P与相机光心o的连线为oP，oP与像面的交点p即为空间点P在图像平面上的投影。该过程为透视投影，如下矩阵表示：
[0065]
[0066] 其中，s为比例因子且s不为0，f为有效焦距，即光心到图像平面的距离，右式是空间点P在相机坐标系中的齐次坐标，左式是像点p在图像坐标系中的齐次坐标。因此将世界坐标系转换为像素坐标系参考如下公式：
[0067]
[0068] 根据该过程的逆变换即为从像素坐标到世界坐标的转换。
[0069] 具体的，画出参考线和参考框包括以下步骤，
[0070] 以前、后两个车轮的中心点相连接画出的直线作为参考线，根据参考线画出一个长为5m、宽为2.5m的汽车参考框；随着车辆的移动不停地画参考框，且画框的频率为每秒20帧。具体的，采集模块100随着车辆的移动每100ms采集一张图片，并根据采集到的图片画参考框。
[0071] 将画出的参考车框输入检测模块400，并且在画参考框的过程中，一直对参考框进行粗检。粗检还包括以下步骤，
[0072] 将参考框输入检测模块400的深度学习网络模型中，检测图像中是否存在障碍物。具体的，检测模块400采用resent18网络，本领域技术人员可以理解的是，resent18网络在传统
卷积神经网络中加入残差学习，从而确保网络的
精度和速度。检测模块400的resent18网络模型对输入的参考框进行检测，判断参考框中是否存在障碍物。
[0073] 若检测到参考框中没有障碍物，则判断可以停车并进行进一步的细检，反之则判断不可停并终止自动泊车。
[0074] 通过粗检的参考框还需要进行进一步的细检，具体的，细检还包括以下步骤，[0075] 参照图6，在通过粗检的参考框的基础上以5cm为单位继续前后画细参考框，共画出40个细参考框并输入检测模块400的深度学习网络模型。其中，用于细检的深度学习网络模型也为resent18网络模型，检测参考框前后各1m的距离是否安全，从而判断能否进行停车。
[0076] 深度学习网络模型resent18检测所述考框中是否存在障碍物，若存在则终止自动泊车；若细参考框不存在障碍物，则计算所有可停车框中心点的平均值，再根据该中心点坐标计算车框四角的物理坐标，最终画出可停车位。
[0077] 其中，可停车框中心点为车框矩形的对角线，已知车框矩形的长宽，其长、宽的二分之一即为中心点坐标，并根据中心点坐标计算车框四角的物理坐标，此时能够得到可停车位的坐标。
[0078] 场景一：
[0079] 为了验证本发明的实际应用效果，以
马路边的侧方位停车的场地作为测试区域，并设置多种工况场景，本次包括路侧内有积
水、路面不平、井盖、大石头等场景，基于本发明提供的车位检测方法和传统的检测方法对停车位进行真实检测，并观察检测结果。
[0080] 其中，传统的停车位检测方法最常用的是基于超声波雷达定位的车位检测方法，即当车主手动开过路侧的侧方位后，利用车尾部的超声波雷达检测路侧空停车位的距离，从而进一步判断车位大小，该方案如图7所示，该方案缺陷明显，仅依靠雷达感知距离无法有效分辨出车位中的障碍物，并且市面上的雷达普遍探测距离较近，以tesla model s使用的法雷奥雷达为例，UPA和DPA的探测最远距离仅为2m，而车辆所需的车位一般5m以上，所以成功率较低。
[0081] 分别基于传统检测方法和本发明提供的方法，在设置的不同场景下进行停车位检测，得到的检测结果如下表1所示，
[0082] 表1：
[0083]
[0084] 根据检测结果可以看出，在面对存在障碍物的停车位时，传统方法存在较高的误检率，不能够准确判断出车位是否可停，但本发明提供的检测方法则能够根据实际情况得出准确结果。
[0085] 实施例2
[0086] 参照图8的示意，本实施例中提出一种基于车载摄像头的路侧停车位感知系统，上述基于车载摄像头的路侧停车位感知方法能够依托于本系统实现。该系统包括采集模块100、识别模块200、计算机视觉模块300、检测模块400和车载计算终端500，其中，采集模块
100用于采集车辆周围环境数据，识别模块200能够对采集模块100采集的车辆周围环境数据进行识别处理，计算机视觉模块300用于像素坐标和世界坐标的转换和画出参考车框，检测模块400则能够进行停车位的粗检和细检，并判断是否能够进行停车。
[0087] 具体的，采集模块100为车载摄像头，安装于汽车上并能够对汽车周围的环境进行
图像采集；识别模块200包括能够进行图像识别的神经网络模型yolo3_darknet，以及用于对训练样本进行标注的标注工具labelme软件；计算机视觉模块300能够利用相机标定原理进行坐标转换；检测模块400包括用于停车位检测的resent18网络模型，并且最终输出是否能够停车的信息；识别模块200、计算机视觉模块300和检测模块400均部署于车载计算终端500内，且采集模块100与车载计算终端500相连，采集模块100采集的车辆周围环境数据能够传输至车载计算终端500，供其内部的识别模块200、计算机视觉模块300和检测模块400处理。
[0088] 实际停车过程中，采集模块100先对停车位附近的后车图像进行采集，通过识别模块200识别出后车车辆的前、后轮像素坐标，并输入至计算机视觉模块300，计算机视觉模块300将像素坐标转换为世界坐标，并画出参考线和参考车框后输入给检测模块400进行粗检和细检，最终判断出能否有停车位进行停车，若有则标出停车框作为停车参考，本方案减少了基于超声波雷达方案或人工判断的失误率，提供了一种方便、可靠的停车辅助方法和系统。
[0089] 应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行
修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的
权利要求范围当中。
