基于立体视觉的速度测量方法专利检索-视觉识别系统飞机类型专利检索查询-专利查询网

基于立体视觉的速度测量方法

阅读：191发布：2024-02-13

专利汇可以提供基于立体视觉的速度测量方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于立体视觉的速度测量方法，包括以下步骤：S1，采集载体运行时前方静止标识物的图像，根据图像信息在空间和时间上的相关性，通过在空间维度和时间维度对图像进行处理，得到载体的运行速度的测量值；S2，测量载体运行轨道的坡度φ的变化率ω，并测量载体运行方向的加速度ax，利用运行速度的测量值、变化率ω以及加速度ax建立进行载体运行速度估计的过程模型和测量模型，然后根据该过程模型和测量模型利用卡尔曼滤波算法估计出载体的运行速度作为最终结果。本发明的方法能够消除车轮空转、打滑对速度测量精度的影响；而且能够实现低噪声、实时的速度测量。，下面是基于立体视觉的速度测量方法专利的具体信息内容。

权利要求

1.一种基于立体视觉的速度测量方法，其特征在于，包括以下步骤：
S1，实施基于视频的速度计算方法：采集载体运行时前方静止标识物的图像，根据图像信息在空间和时间上的相关性，通过在空间维度和时间维度对图像进行处理，得到载体的运行速度的测量值
S2，实施融合算法：测量载体运行轨道的坡度φ的变化率ω，并测量载体运行方向的加速度ax，利用运行速度的测量值变化率ω以及加速度ax建立进行载体运行速度估计的过程模型和测量模型，然后根据该过程模型和测量模型利用卡尔曼滤波算法估计出载体的运行速度作为最终结果。
2.如权利要求1所述的基于立体视觉的速度测量方法，其特征在于，在步骤S1中，利用两个摄像头采集标识物的图像，该两个摄像头平行放置，构成双目立体视觉系统，且两个摄像头均安装在车头，视安装高度，调整使其相对水平线的夹角在5度到85度之间。
3.如权利要求1或2所述的基于立体视觉的速度测量方法，其特征在于，在步骤S2中，利用陀螺仪测量载体运行轨道的坡度φ的变化率ω，利用加速度计测量载体运行方向的加速度ax。
4.如权利要求3所述的基于立体视觉的速度测量方法，其特征在于，步骤S1进一步包括以下步骤：
S11，在时刻t1对载体运行时前方静止标识物进行视频采样，得到两个摄像头在同一时刻对相同标识物的图像；
S12，在其中一幅图像中选择特征点Pi，所述特征点是指相对来说边界明显、对比清晰、且易于跟踪和识别的像素区域中的点；
S13，利用步骤S12中选出的特征点Pi，在另一幅图像寻找相匹配的特征点P′i，形成同一特征点在两幅图像中的匹配对集合{Pi，i＝1，2，...，N}和{P′i，i＝1，2，...，N}；
S14，根据两个摄像头的位置间距b以及步骤S13所得到的匹配对集合，计算特征点Pi在摄像头坐标系中的位置xi，并记录特征点Pi及其坐标位置{Pi，xi}；
S15，在时刻t2进行视频采样；
S16，同样利用步骤S12中得到的特征点的集合，在同一摄像头在时刻t2所摄图像中进行匹配查找，得到匹配的特征点集合
S17，利用步骤S16所得的结果在t2时刻另一摄像头所摄图像中进行匹配，得到相应的匹配点集合按步骤S14中的方法计算出步骤S12确定的特征点Pi在时刻t2在摄像头坐标系下的位置{Pi，xi′}；
S18，根据步骤S14和S17所得的结果以及相邻两次视频采样的时间间隔，计算出特征点在摄像头坐标系下的速度
S19，根据两个摄像头安装的几何位置进行坐标变换，得到特征点在载体坐标系下的速度，计算出的速度即为载体的运行速度；
S10，计算同一时刻所有特征点的速度，取其平均值作为该时刻载体的运行速度v，然后取运行速度v在载体运行方向的分量作为载体运行速度的测量值。
5.如权利要求4所述的基于立体视觉的速度测量方法，其特征在于，步骤S2进一步包括以下步骤：
S21，利用单轴陀螺仪测量轨道的坡度φ的变化率ω，并利用单轴加速度计测量载体运行方向的加速度ax，将单轴陀螺仪和单轴加速度计的测量模型分别用下式描述：
$\{\begin{matrix} \overset{\cdot}{φ} = ω + b + υ \\ \overset{\cdot}{b} = 0 \\ {\overset{\cdot}{v}}_{x} = a_{x} - g \sin φ + η \end{matrix} - - - (1)$
其中，b为单轴陀螺仪的测量偏差，υ为单轴陀螺仪的测量噪声，g为重力加速度，η为单轴加速度计的测量噪声，采用高斯白噪声模型表示两种测量噪声：υ～N(0，Q)，η～N(0，R)，其中E[υ′υ]＝Q，E[η′η]＝R，E[*]表示期望值，其根据实际测量数据统计得到，上标“’”表示转置运算；
S22，利用步骤S1得到的测量值将载体速度表示为
$v_{x}^{m} = v_{x} + ϵ - - - (2)$
其中ε为测量误差，ε～N(0，H)，其中E[ε′ε]＝H，H根据实际测量数据统计得到，vx为载体速度的真实值；
S23，将式(1)线性化为：
$[\begin{matrix} \overset{\cdot}{φ} \\ \overset{\cdot}{b} \\ {\overset{\cdot}{v}}_{x} \end{matrix}] = [\begin{matrix} 0 & 1 & 0 \\ 0 & 0 & 0 \\ - g & 0 & 0 \end{matrix}] [\begin{matrix} φ \\ b \\ v_{x} \end{matrix}] + [\begin{matrix} 1 & 0 \\ 0 & 0 \\ 0 & 1 \end{matrix}] [\begin{matrix} ω \\ a_{x} \end{matrix}] + [\begin{matrix} 1 & 0 \\ 0 & 0 \\ 0 & 1 \end{matrix}] [\begin{matrix} υ \\ η \end{matrix}] - - - (3)$
$v_{x}^{m} = [\begin{matrix} 0 & 0 & 1 \end{matrix}] [\begin{matrix} φ \\ b \\ v_{x} \end{matrix}] + ϵ - - - (4)$
式(3)和式(4)分别是利用卡尔曼滤波算法进行速度估计的过程模型和测量模型，根据该过程模型和测量模型利用卡尔曼滤波算法估计出载体的运行速度。
6.如权利要求5所述的基于立体视觉的速度测量方法，其特征在于，根据该过程模型和测量模型利用卡尔曼滤波算法估计出载体的运行速度的过程如下：
(1)利用所选取的采样频率fs分别将式(3)、(4)离散化，得到离散化模型，其中采样频率fs大于10Hz；
(2)根据(1)中得到的离散化模型，和统计得到的单轴陀螺仪和单轴加速度计的测量噪声的噪声方差，利用标准的稳态卡尔曼滤波算法计算得到卡尔曼滤波器；
(3)在每个采样时刻执行步骤a：读取单轴加速度计及单轴陀螺仪的测量值，然后把同一采样时刻步骤S1和步骤a的测量值输入到卡尔曼滤波器，经过滤波处理，得到的输出作为所述最终结果。
7.如权利要求6所述的基于立体视觉的速度测量方法，其特征在于，利用Matlab 软件控制工具箱的卡尔曼命令实现所述标准的稳态卡尔曼滤波算法。
8.如权利要求6所述的基于立体视觉的速度测量方法，其特征在于，所述采样频率fs大于10Hz。
9.如权利要求8所述的基于立体视觉的速度测量方法，其特征在于，所述采样频率fs取30Hz。
10.如权利要求1～9所述的基于立体视觉的速度测量方法，其特征在于，所述载体为列车。

说明书全文

技术领域

本发明属于轨道交通技术领域，特别涉及一种基于立体视觉的速度测量方法。

背景技术

速度是火车驾驶和安全控制的一个重要数据，其准确性及可靠性决定列车的运行质量。目前，列车的运行速度主要是通过直接或间接地对车轮计数来测量，然后根据车轮周长及单位时间内车轮的转数计算出列车的速度。这种方法的准确度受轮径磨耗及轮轨间相对滑动的影响。现有的一些复合测速方法虽然融合了一些传感器的数据，但是基于车轮计数的测量数据还是其进行速度估计的主要依据，因此其准确度仍然受轮径磨耗及轮轨间相对滑动的影响。
因此，基于车轮计数的测速方法虽然原理简单、容易实现，但是其测量精度容易受到轮径变化、车轮空转、打滑影响。而且，空转和打滑的时机以及由此引发的误差很难用数学的方法进行描述，从而其影响也无法通过复杂的数学处理和融合滤波的方式消除。

发明内容

(一)要解决的技术问题
本发明要解决的技术问题其一是，如何消除车轮空转、打滑对速度测量精度的影响；其二是如何实现低噪声、实时的速度测量。
(二)技术方案
为解决上述技术问题，本发明提供了一种基于立体视觉的速度测量方法，包括以下步骤：
S1，实施基于视频的速度计算方法：采集载体运行时前方静止标识物的图像，根据图像信息在空间和时间上的相关性，通过在空间维度和时间维度对图像进行处理，得到载体的运行速度的测量值
S2，实施融合算法：测量载体运行轨道的坡度φ的变化率ω，并测量载体运行方向的加速度ax，利用运行速度的测量值变化率ω以及加速度ax建立进行载体运行速度估计的过程模型和测量模型，然后根据该过程模型和测量模型利用卡尔曼滤波算法估计出载体的运行速度作为最终结果。
其中，在步骤S1中，利用两个摄像头采集标识物的图像，该两个摄像头平行放置，构成双目立体视觉系统，且两个摄像头均安装在车头，视安装高度，调整使其相对水平线的夹角在5度到85度之间。
其中，在步骤S2中，利用陀螺仪测量载体运行轨道的坡度φ的变化率ω，利用加速度计测量载体运行方向的加速度ax。
其中，步骤S1进一步包括以下步骤：
S11，在时刻t1对载体运行时前方静止标识物进行视频采样，得到两个摄像头在同一时刻对相同标识物的图像；
S12，在其中一幅图像中选择特征点Pi，所述特征点是指相对来说边界明显、对比清晰、且易于跟踪和识别的像素区域中的点；
S13，利用步骤S12中选出的特征点Pi，在另一幅图像寻找相匹配的特征点P′i，形成同一特征点在两幅图像中的匹配对集合{Pi，i＝1，2，...，N}和{P′i，i＝1，2，...，N}；
S14，根据两个摄像头的位置间距b以及步骤S13所得到的匹配对集合，计算特征点Pi在摄像头坐标系中的位置xi，并记录特征点Pi及其坐标位置{Pi，xi}；
S15，在时刻t2进行视频采样；
S16，同样利用步骤S12中得到的特征点的集合，在同一摄像头在时刻t2所摄图像中进行匹配查找，得到匹配的特征点集合
S17，利用步骤S16所得的结果在t2时刻另一摄像头所摄图像中进行匹配，得到相应的匹配点集合按步骤S14中的方法计算出步骤S12确定的特征点Pi在时刻t2在摄像头坐标系下的位置{Pi，xi′}；
S18，根据步骤S14和S17所得的结果以及相邻两次视频采样的时间间隔，计算出特征点在摄像头坐标系下的速度
S19，根据两个摄像头安装的几何位置进行坐标变换，得到特征点在载体坐标系下的速度，计算出的速度即为载体的运行速度；
S10，计算同一时刻所有特征点的速度，取其平均值作为该时刻载体的运行速度v，然后取运行速度v在载体运行方向的分量作为载体运行速度的测量值。
其中，步骤S2进一步包括以下步骤：
S21，利用单轴陀螺仪测量轨道的坡度φ的变化率ω，并利用单轴加速度计测量载体运行方向的加速度ax，将单轴陀螺仪和单轴加速度计的测量模型分别用下式描述：

\{\begin{matrix} \overset{\cdot}{φ} = ω + b + υ \\ \overset{\cdot}{b} = 0 \\ {\overset{\cdot}{v}}_{x} = a_{x} - g \sin φ + η \end{matrix} - - - (1)

其中，b为单轴陀螺仪的测量偏差，υ为单轴陀螺仪的测量噪声，g为重力加速度，η为单轴加速度计的测量噪声，采用高斯白噪声模型表示两种测量噪声：υ～N(0，Q)，η～N(0，R)，其中E[υ′υ]＝Q，E[η′η]＝R，E[*]表示期望值，其根据实际测量数据统计得到，上标“’”表示转置运算；
S22，利用步骤S1得到的测量值将载体速度表示为

v_{x}^{m} = v_{x} + ϵ - - - (2)

其中ε为测量误差，ε～N(0，H)，其中E[ε′ε]＝H，H根据实际测量数据统计得到，vx为载体速度的真实值；
S23，将式(1)线性化为：

[\begin{matrix} \overset{\cdot}{φ} \\ \overset{\cdot}{b} \\ {\overset{\cdot}{v}}_{x} \end{matrix}] = [\begin{matrix} 0 & 1 & 0 \\ 0 & 0 & 0 \\ - g & 0 & 0 \end{matrix}] [\begin{matrix} φ \\ b \\ v_{x} \end{matrix}] + [\begin{matrix} 1 & 0 \\ 0 & 0 \\ 0 & 1 \end{matrix}] [\begin{matrix} ω \\ a_{x} \end{matrix}] + [\begin{matrix} 1 & 0 \\ 0 & 0 \\ 0 & 1 \end{matrix}] [\begin{matrix} υ \\ η \end{matrix}] - - - (3)

v_{x}^{m} = [\begin{matrix} 0 & 0 & 1 \end{matrix}] [\begin{matrix} φ \\ b \\ v_{x} \end{matrix}] + ϵ - - - (4)

式(3)和式(4)分别是利用卡尔曼滤波算法进行速度估计的过程模型和测量模型，根据该过程模型和测量模型利用卡尔曼滤波算法估计出载体的运行速度。
其中，根据该过程模型和测量模型利用卡尔曼滤波算法估计出载体的运行速度的过程如下：
(1)利用所选取的采样频率fs分别将式(3)、(4)离散化，得到离散化模型，其中采样频率fs大于10Hz；
(2)根据(1)中得到的离散化模型，和统计得到的单轴陀螺仪和单轴加速度计的测量噪声的噪声方差，利用标准的稳态卡尔曼滤波算法计算得到卡尔曼滤波器；
(3)在每个采样时刻执行步骤a：读取单轴加速度计及单轴陀螺仪的测量值，然后把同一采样时刻步骤S1和步骤a的测量值输入到卡尔曼滤波器，经过滤波处理，得到的输出作为所述最终结果。
其中，利用Matlab 软件控制工具箱的卡尔曼命令实现所述标准的稳态卡尔曼滤波算法。
其中，所述采样频率fs大于10Hz。
其中，所述采样频率fs优选30Hz。
其中，所述载体优选为列车。
(三)有益效果
本发明能产生如下有益效果：利用双摄像头构成立体视觉配置，安装于载体前部，通过拍摄载体行进前方静态场景实现对速度的推算；基于视频的速度估计算法利用图像的空间关联对特征点进行定位，利用特征点的时间关联性进行跟踪。通过对相邻连续帧的处理，计算得到载体的速度。以上测量方法不依赖于对轮轴的计数，从而消除了车轮空转、打滑对测量精度的影响。进一步，利用Kalman(卡尔曼)滤波的融合算法实现载体速度测量值与加速度计、陀螺仪测量值的融合，实现了低噪声、实时的速度测量。另外，测量装置安装简单，维护方便。
附图说明
图1是本发明实施例的方法流程图；
图2是本发明实施例的方法所使用的系统构成框图；
图3是实施本发明实施例的方法时摄像头安装位置及角度示意图；
图4是本发明实施例的方法中基于视频的速度计算方法原理示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本发明实施例以列车为例进行说明。本发明实施例的方法流程图如图1所示。如图2所示，本发明的方法利用如下几个装置构成的系统实现：2个CCD(Charge-coupled Device，电荷耦合元件)(或CMOS(Complementary metal-oxide-semiconductor，互补性氧化金属半导体))摄像头1、2、单轴加速度计、单轴陀螺仪。其中，单轴加速度计测量列车运行方向的加速度，单轴陀螺仪用来测量列车运行轨道的坡度的变化率。两个摄像头平行配置，构成双目立体视觉系统，完成对车辆运行前方视景的实时捕获。系统还包括两个DSP(Digital Signal Processor，数字信号处理器)，其一是视频处理DSP，负责视频运算处理，另一个是速度计算DSP，用于运行速度测量算法。
如图3所示，两个摄像头安装在车头，视安装高度，调整使其相对水平线的夹角在5度到85度之间，这样保证摄像头捕获的图像不包括车本身的图像。
本发明实施例的方法包括两个主要步骤，第一，依据摄像头采集的图像信息，基于视频的速度计算方法得到速度的测量值；第二，结合加速度计和陀螺仪进行数据融合，利用Kalman滤波算法估计出列车速度。
基于视频的速度估计算法是根据图像信息在空间和时间上的相关性，通过在空间维度和时间维度对图像进行相关运算，推算出列车的运行速度。原理说明如图3所示。
图4中，A、B、C、D为同一物体或标识物分别在在不同摄像头、不同时刻的映像。A和B为分别表示在时刻1时同一标识物在两个摄像头中的映像；C和D则分别表示这一标识物在时刻2时在两个摄像头中的映像。依据同一时刻的空间关联，可以计算出标识物在摄像头坐标系下的位置，而依据时间上的关联，则可以计算出在时刻1和时刻2间的这段时间载体的平均运动速度。当按视频的采集频率(通常为30Hz)进行连续运算处理时，便可得到载体的即时速度。算法的处理步骤如下：
1，在时刻1(t1)进行视频采样，得到摄像头1和摄像头2在同一时刻对相同场景的快照。
2，在其中一幅图像中(如摄像头1所摄图像)寻找和选择特征点Pi，特征点是那些边界明显、对比清晰，易于跟踪和识别的像素区域中的点。
3，利用步骤2中选出的特征点Pi，在另一幅图像寻找相匹配的特征点P′i，形成同一特征点在两幅图像中的匹配对集合{Pi，i＝1，2，...，N}和{P′i，i＝1，2，...，N}。
4，根据两摄像头的位置间距b以及步骤3所形成的匹配集合，计算特征点在摄像头坐标系中的位置xi。位置xi的计算采用文献[1](Milan Sonka，Vaclav Hlavac，Roger Boyle：Image Processing，Analysis and Machine Vision，Second Edition，ISBN 0-534-95393-X，Brooks/Cole，pp.460.)中的立体视觉算法(Stereo vision algorithm)进行。记录特征点Pi及其坐标位置{Pi，xi}。
5，在时刻2(t2)进行视频采样。
6，同样利用步骤2中得到的特征点集合，在该摄像头在时刻2所摄图像中进行匹配查找，得到匹配的特征点集合
7，利用6中结果在t2时刻另一摄像头所摄图像中进行匹配，得到相应的匹配点集合按步骤4中同样方法计算出步骤2确定的特征点Pi在时刻2时在摄像头坐标系下的位置{Pi，xi′}。
8，根据步骤4和7所得结果以及两次相邻视频采样间时间间隔，可以计算出特征点Pi在摄像头坐标系下的速度
9，根据摄像头安装的几何关系进行坐标变换，可以得到特征点Pi在列车坐标系下的速度。由于摄像头所视场景为静止场景，则计算出的速度大小即为列车的运行速度。

v_{t}^{i} = \begin{matrix} [\begin{matrix} \cos θ & \sin θ \\ - \sin θ & \cos θ \end{matrix}] v_{c}^{i}, \end{matrix}

θ的定义见图3。
10，计算所有特征点的速度，取其平均值作为该时刻列车的速度：

v = \frac{Σ_{i = 1}^{N} v_{t}^{i}}{N}

由于列在轨道上运行，我们关注其前进的速度。所以取v的x方向分量(列车坐标系参见图3)作为列车速度的测量值。
11，返回步骤1继续运行。
根据上面步骤，可得到利用视频图像计算出的列车速度。由于视频处理受摄像头采样率及DSP处理能力影响，计算出的速度会存在延时。为了改善延时，减小噪声，由视频处理得出的速度和加速度计及陀螺仪利用Kalman滤波算法进行进一步融合，从而达到即时、低噪、准确的速度估计。过程如下：
陀螺仪测量轨道水平坡度φ的变化率ω。加速度计测量列车运行方向的加速度ax。考虑到噪声和测量偏差，陀螺仪和加速度计的测量模型可分别由下式描述。

\{\begin{matrix} \overset{\cdot}{φ} = ω + b + υ \\ \overset{\cdot}{b} = 0 \\ {\overset{\cdot}{v}}_{x} = a_{x} - g \sin φ + η \end{matrix} - - - (1)

其中，等式左边的符号中，变量上方加“·”表示对该变量微分，b为陀螺仪测量偏差，g为重力加速度，υ和η分别为两个传感器的测量噪声，我们采用高斯白噪声模型，
υ～N(0，Q)，η～N(0，R)
其中E[υ′υ]＝Q，E[η′η]＝R，根据实际测量数据统计得到。
利用基于视频的速度计算方法计算出的测量值将列车速度表示为

v_{x}^{m} = v_{x} + ϵ - - - (2)

其中ε为测量误差，ε～N(0，H)，E[ε′ε]＝H，vx为列车速度真实值。
由于轨道坡度通常不超过10％(5.7°)，式(1)可以线性化。

[\begin{matrix} \overset{\cdot}{φ} \\ \overset{\cdot}{b} \\ {\overset{\cdot}{v}}_{x} \end{matrix}] = [\begin{matrix} 0 & 1 & 0 \\ 0 & 0 & 0 \\ - g & 0 & 0 \end{matrix}] [\begin{matrix} φ \\ b \\ v_{x} \end{matrix}] + [\begin{matrix} 1 & 0 \\ 0 & 0 \\ 0 & 1 \end{matrix}] [\begin{matrix} ω \\ a_{x} \end{matrix}] + [\begin{matrix} 1 & 0 \\ 0 & 0 \\ 0 & 1 \end{matrix}] [\begin{matrix} υ \\ η \end{matrix}] - - - (3)

v_{x}^{m} = [\begin{matrix} 0 & 0 & 1 \end{matrix}] [\begin{matrix} φ \\ b \\ v_{x} \end{matrix}] + ϵ - - - (4)

式(3)和式(4)分别是基于视觉速度估计的过程模型和测量模型，根据此模型可以利用稳态Kalman滤波算法，估计出列车的运行速度。具体过程如下：
(1)选定计算采样频率fs，将模型式(3)、(4)离散化，得到离散化数学模型。为保证测量精度，fs应大于10Hz，通常选择30Hz。
(2)利用(1)中得到的离散化模型，和统计得到的噪声方差，利用标准的稳态Kalman滤波算法(如利用Matlab软件控制工具箱的kalman命令)计算的到Kalman滤波器。
(3)在每个采样时刻：b，读取加速度传感器及陀螺仪测量数据；c，把基于视频的速度计算方法计算出的测量值和b的结果输入到kalman滤波器，经过滤波处理，得到的输出作为列车速度测量结果。
本发明的方法不仅可用于列车测速也可用于对其它载体进行测速，只是由于铁路运行环境比较单一，因此比较适合应用视觉方法。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

标题	发布/更新时间	阅读量
一种基于IR-UWB和图像矩的装备展示导览系统	2020-09-24	0
弓网接触硬点检测装置及方法	2020-09-28	2
一种生物识别方法、装置和系统	2020-09-27	0
基于视觉图像的油田作业区安全监控系统	2020-09-28	2
光体积描记术测量中识别运动伪影并且改善测量结果和警报的可靠性的方法和系统	2021-03-10	1
一种基于深度学习和双目定位的海参自主识别和抓取方法	2020-06-15	1
一种来料预处理方法及一种机器人分拣系统	2020-06-14	2
现场检查系统、用于共享现场信息的系统及现场信息系统	2023-06-18	1
具有低误报率的雷达视觉融合智能警戒系统	2021-10-22	0
一种胶块自动切胶称量装置	2020-05-19	0

基于立体视觉的速度测量方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：