铁路轨道异常检测
阅读：687发布：2020-05-12
专利汇可以提供铁路轨道异常检测专利检索，专利查询，专利分析的服务。并且公开了用于检测和报告 铁 路轨道异常的技术。在一个 实施例 中，轨道检查应用程序被配置为接收由安装在列车上的摄像机拍摄的 铁路轨道 的图像（或其他 传感器 数据），将所拍摄的图像与从基本相同 位置 和有利位置拍摄的对应参考图像（或其他 传感器数据 ）进行比较，并检测由所拍摄图像和对应参考图像之间的差异所表示的铁路轨道中的异常。在另一个实施例中，检查应用程序可以基于通过例如三 角 测量确定的深度，生成铁路轨道的三维（3D）模型，并且从3D模型确定铁路轨道的几何结构。随后，检查应用程序可以基于所确定的轨道几何结构与存储的轨道几何结构之间的差异来检测与轨道几何结构相关联的异常，诸如 导轨 之间的不正确距离或轨道的不正确整体位置。，下面是铁路轨道异常检测专利的具体信息内容。
1.一种用于检测可影响铁路轨道异常且由计算机实现的方法，包括：
接收由安装在列车上的一个或多个传感器拍摄的传感器数据，当列车穿过铁路轨道时拍摄所述传感器数据；
标准化所述所接收的传感器数据，以匹配相应的参考传感器数据；以及至少部分地基于所述标准化传感器数据与所述对应参考传感器数据之间的差异来检测异常。
2.根据权利要求1所述的方法，其中：
所述传感器数据包括由安装在列车上的至少一个摄像机拍摄的多个图像；以及将所述多个图像中的每个图像标准化，以匹配从与图像基本相同的位置和有利位置拍摄的对应参考图像。
3.根据权利要求2所述的方法，其中，所述至少一个摄像机包括具有重叠视野的两个摄像头，所述摄像机安装在所述列车的前部，两个具有重叠视野的摄像头安装在所述列车的后部。
4.根据权利要求2所述的方法，其中，所述至少一个摄像机包括至少一个拍摄描绘所述铁路轨道图像的摄像头，或者拍摄描绘所述铁路轨道上方的一个或多个电力线图像的摄像头。
5.根据权利要求1所述的方法，还包括：
至少部分地基于标准化的传感器数据，来确定铁路轨道的轨道几何结构；以及至少部分地基于所确定的轨道几何结构与预定轨道几何结构之间的差异，来检测轨道几何结构中的异常。
6.根据权利要求5所述的方法，其中确定轨道几何结构包括：
至少部分地基于三角测量，来确定所述标准化传感器数据中点的深度；以及至少部分地基于所确定的深度，来生成三维（3D）模型。
7.根据权利要求6所述的方法，其中检测所述轨道几何结构中的异常包括将所述铁路轨道的铁轨之间的距离和所述预定轨道几何结构的铁轨之间的距离进行比较，所述铁路轨道的铁轨之间的距离至少部分地基于所述3D模型来测量。
8.根据权利要求6所述的方法，其中检测所述轨道几何结构中的异常包括将所述铁路轨道的全球定位系统（GPS）位置与所述预定轨道几何结构的GPS位置进行比较。
9.根据权利要求1所述的方法，其中，所述参考图像被定期更新。
10.根据权利要求1所述的方法，其中，所述参考图像包括描绘铁路轨道部件的标准图像。
11.根据权利要求1所述的方法，其中，所述一个或多个传感器包括至少一个LIDAR（激光雷达）传感器。
12.根据权利要求1所述的方法，还包括：将详细说明检测到的异常的报告推送到在手持设备中运行的应用程序。
13.一种用于存储指令的永久性计算机可读存储介质，所述指令在由处理器执行时，使计算机系统执行用于检测铁路轨道异常的操作，所述操作包括：
接收由安装在列车上的一个或多个传感器拍摄的传感器数据，当列车穿过铁路轨道时，所述传感器数据被拍摄；
标准化所接收的传感器数据，以匹配对应的参考传感器数据；以及
至少部分地基于所述标准化传感器数据与所述对应参考传感器数据之间的差异来检测异常。
14.根据权利要求13所述的计算机可读存储介质，其中：
所述传感器数据包括由安装在列车上的至少一个摄像机拍摄的多个图像；以及将所述多个图像中的每个图像标准化，以匹配从与所述图像基本相同的位置和有利位置拍摄的对应参考图像。
15.根据权利要求14所述的计算机可读存储介质，其中，所述至少一个摄像机包括两个摄像头，所述两个摄像头具有安装在所述列车前部的重叠视野，以及所述两个摄像头具有安装在所述列车后部的重叠视野。
16.根据权利要求14所述的计算机可读存储介质，其中，所述至少一个摄像机包括至少一个拍摄描绘所述铁路轨道图像的摄像头，或者拍摄描绘所述铁路轨道上方的一个或多个电力线图像的摄像头。
17.根据权利要求13所述的计算机可读存储介质，所述操作还包括：
至少部分地基于标准化的传感器数据，来确定铁路轨道的轨道几何结构；以及至少部分地基于所确定的轨道几何结构与预定轨道几何结构之间的差异，来检测轨道几何结构中的异常。
18.根据权利要求13所述的计算机可读存储介质，其中，所述参考图像是定期更新的，或者包括描绘铁路轨道部件的标准图像。
19.根据权利要求13所述的计算机可读存储介质，其中，所述一个或多个传感器包括至少一个LIDAR（激光雷达）传感器。
20.一种系统，包括：
处理器；及
存储器，其被配置为执行用于检测铁路轨道异常的操作，所述操作包括：
接收由安装在列车上的一个或多个传感器拍摄的传感器数据，当列车穿过铁路轨道时，所述传感器数据被拍摄，
标准化所接收的传感器数据，以匹配对应的参考传感器数据，及
至少部分地基于所述标准化传感器数据与所述对应参考传感器数据之间的差异来检测异常。
铁路轨道异常检测
[0001] 相关申请的交叉引用本申请要求于2017年8月2日提交的美国临时申请（申请号为62 / 540,158）的优先权，其全部内容通过引用结合于此。
[0002] 背景。发明领域
[0004] 相关技术描述铁路轨道的损坏和轨道几何结构的变化会降低铁路轨道的效能，并产生安全隐患。损坏电气列车上方电力线路的损坏也是有问题的。传统上，铁路轨道和电力线路通过人工检查，并且根据这些检查，根据需要进行维修。但是，这种人工检查要耗费大量劳力。此外，检查员可能会忽视需要维修的轨道和电力线问题。
发明内容
[0005] 一实施例提供了一种用于检测可影响铁路轨道异常的方法。该方法通常包括接收由安装在列车上的一个或多个传感器拍摄的传感器数据，传感器数据是当列车穿过铁路轨道时拍摄的。该方法还包括标准化所接收的传感器数据，以匹配对应的参考传感器数据。另外，该方法包括至少部分地基于该标准化的传感器数据与对应的参考传感器数据之间的差异来检测异常。
[0007] 为了可以详细地理解本发明上述特征的方式，可以通过参考实施例获得以上简要概述的本发明的更具体描述，其中一些实施例在附图中示出。然而，应当注意的是，附图仅示出了本发明的典型实施例，因此不应视为限制本发明的范围，因为本发明可允许其他同等有效的实施例。
[0008] 图1是根据一个实施例，示出拍摄用于检测铁路轨道异常图像的方法。
[0009] 图2示出了可以实现实施例的系统。
[0010] 图3是根据一个实施例，示出标准化图像的示例。
[0011] 图4是根据一个实施例，示出所拍摄图像与参考图像的示例比较。
[0012] 图5是根据一个实施例，示出用于检测铁路轨道异常的基于图像的方法。
[0013] 示例性实施例的详细描述本发明的实施例提供用于检测铁路轨道异常的技术。在一个实施例中，轨道检查应用程序被配置为接收当列车穿过铁路轨道时，由安装在列车上的传感器拍摄的传感器数据。
例如，传感器可以包括安装在列车前部和后部的摄像机，用于从多个有利位置拍摄描绘铁路轨道和/或架空电力线的各个部分的图像，以及轨道检查应用程序可以将每个拍摄图像与从基本相同的位置和有利位置拍摄的对应参考图像进行比较，以便检测拍摄图像和对应参考图像之间的异常差异。检测到的异常可以指示铁路轨道和/或电力线的损坏，外来物体等。在比较拍摄的图像和对应参考图像之前，轨道检查应用程序可以通过标准化拍摄的图像以匹配对应的参考图像，来校正图像之间的摄像机角度/位置和颜色/照明条件的差异。
在另一个实施例中，轨道检查应用程序可以基于通过三角测量确定的深度来生成铁路轨道的三维（3D）模型，并且从3D模型确定铁路轨道的几何结构。如这里所使用的，轨道几何结构是指铁路轨道的3D布局和相关联的测量。轨道检查应用程序可以基于所确定的轨道几何结构与存储的轨道几何结构之间的差异，来检测轨道几何结构中的异常，例如轨道之间的不正确距离或轨道的不正确整体位置。
例如，传感器可以包括安装在列车前部和后部的摄像机，用于从多个有利位置拍摄描绘铁路轨道和/或架空电力线的各个部分的图像，以及轨道检查应用程序可以将每个拍摄图像与从基本相同的位置和有利位置拍摄的对应参考图像进行比较，以便检测拍摄图像和对应参考图像之间的异常差异。检测到的异常可以指示铁路轨道和/或电力线的损坏，外来物体等。在比较拍摄的图像和对应参考图像之前，轨道检查应用程序可以通过标准化拍摄的图像以匹配对应的参考图像，来校正图像之间的摄像机角度/位置和颜色/照明条件的差异。
在另一个实施例中，轨道检查应用程序可以基于通过三角测量确定的深度来生成铁路轨道的三维（3D）模型，并且从3D模型确定铁路轨道的几何结构。如这里所使用的，轨道几何结构是指铁路轨道的3D布局和相关联的测量。轨道检查应用程序可以基于所确定的轨道几何结构与存储的轨道几何结构之间的差异，来检测轨道几何结构中的异常，例如轨道之间的不正确距离或轨道的不正确整体位置。
[0014] 这里，参考本发明的实施例。然而，应当理解的是，本发明不限于具体描述的实施例。相反，预期以下特征和元件的任何组合，无论是否与不同的实施例相关，都可以实现和实践本发明。此外，尽管本发明的实施例可以实现优于其他可能的解决方案和/或优于现有技术的优点，但是给定实施例是否实现特定优点不是对本发明的限制。因此，以下方面、特征、实施例和优点仅是说明性的，并且不被认为是所附权利要求的要素或限制，除非在权利要求中明确地陈述。同样地，对“本发明”的引用不应被解释为本文公开的任何发明主题的概括，并且除非在权利要求中明确叙述，否则不应认为是所附权利要求的要素或限制。
[0015] 如本领域技术人员将理解的，本发明的各方面可以体现为系统、方法或计算机程序产品。因此，本发明的各方面可以采取完全硬件实施例，完全软件实施例（包括固件、常驻软件、微代码等）的形式或者组合软件和硬件方面的实施例，这些实施例通常被称为“电路”、“模块”或“系统”。此外，本发明的各方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质具有包含在其上的计算机可读程序代码。
[0016] 一个或多个计算机可读介质的任何组合可被利用。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是，例如但不限于电子、磁、光、电磁、红外或半导体系统、装置或设备，或者前述的任何合适组合。计算机可读存储介质的更具体示例（非详尽列表）包括以下内容：具有一条或多条电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM），可擦可编程只读存储器（EPROM或闪存）、光纤、便携式光盘只读存储器（CD-ROM）、光学存储设备、磁存储设备或任何前述的合适组合。在本文件的上下文中，计算机可读存储介质可以是任何有形介质，其可以包含或存储由指令执行系统，装置或设备使用或与其结合使用的程序。
[0017] 计算机可读信号介质可以包括其中带有计算机可读程序代码的传播数据信号，例如，在基带中或作为载波的一部分。这种传播信号可以采用多种形式中的任何一种，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以是任何计算机可读介质，但不是计算机可读存储介质，并且可以通信、传播或传输程序以供指令执行系统，装置或设备使用或与之结合使用。
[0018] 计算机可读介质上包含的程序代码可以使用任何适当的介质传输，包括但不限于无线、有线、光纤电缆、RF等，或者前述的任何合适的组合。
[0019] 用于执行本发明各方面操作的计算机程序代码可以用一种或多种编程语言的任何组合来编写，包括诸如Java、Smalltalk、C ++等面向对象的编程语言和传统的过程编程语言，例如“C”编程语言或类似的编程语言。程序代码可以完全在用户的计算机上执行，或部分在用户的计算机上执行，作为独立的软件包，部分在用户的计算机上执行，部分在远程计算机上执行或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络，包括局域网（LAN）或广域网（WAN），连接到用户的计算机，或者可以连接到外部计算机（例如，通过使用互联网服务提供商的互联网）。
[0020] 下面参考本发明实施例的方法、装置（系统）和计算机程序产品的流程图图示和/或框图来描述本发明的各方面。应当理解的是，流程图图示和/或框图的每个块，以及流程图图示和/或框图中框的组合可以由计算机程序指令实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置以产生机器，使得通过计算机处理器或其他可编程数据处理装置执行的指令创建用于实现流程图和/或框图块中指定的功能/动作的工具。
[0021] 这些计算机程序指令还可以存储在计算机可读介质中，该计算机可读介质可以指示计算机，其他可编程数据处理装置或其他设备以特定方式起作用，使得存储在计算机可读介质中的指令产生包括指令的制品，该指令实现流程图和/或框图块中指定功能/动作。
[0022] 计算机程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机，其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机或其他可编程装置上执行的指令提供用于实现在流程图和/或框图块中指定功能/动作的过程。
[0023] 可以通过云计算基础设施向终端用户提供本发明的实施例。云计算通常是指将可扩展计算资源作为网络上的服务提供。更正式地，云计算可以被定义为提供计算资源与其底层技术架构（例如，服务器、存储器、网络）之间抽象概念的计算能力，从而能够方便地按需网络访问可配置计算资源的共享池，可配置计算资源可以通过最少的管理工作或服务提供商交互来快速配置和发布。因此，云计算允许用户访问“云”中的虚拟计算资源（例如，内存、数据、应用程序，甚至完整的虚拟化计算系统），而不考虑用于提供计算资源的底层物理系统（或那些系统的位置）。
[0024] 通常，云计算资源在按使用付费的基础上向用户提供，其中仅针对实际使用的计算资源（例如，用户所消耗的存储空间量或由用户实例化的多个虚拟化系统）向用户收费。用户可以随时从Internet上的任何位置访问驻留在云中的任何资源。在本发明的上下文中，用户可以访问应用程序（例如，铁路轨道检查管理应用程序）或云中可用的相关数据。例如，如本文所公开的，铁路轨道检查应用可以在云中的计算系统上执行并处理视频和/或图像，以跟踪异常及跟踪几何结构问题。这样做允许用户从连接到网络的任何计算系统访问该信息，该网络与云（例如，因特网）连接。
[0025] 现在参考图1，示出了拍摄用于检测铁路轨道异常图像的方法。如图所示，安装在列车100上的摄像机1101-4从多个有利位置拍摄铁路轨道120的图像。需要说明地，两个摄像机1101-2安装在列车100的前部，另外两个摄像机1103-4安装在列车100的后部。尽管示出了两个摄像机面向列车的前部和后部，应当理解的是，可以使用任意数量的摄像机（例如，分别在列车的前部和后部的两个全景摄像机），并且摄像机可以放置在能够拍摄列车100前部和后部图像的任何合适位置，包括在列车100的前部和后部，顶部或底部，和/或侧部。此外，尽管示出了摄像机1101-4，但在备选实施例中，可以使用其他类型的传感器来代替摄像机或者除了摄像机之外还使用其他类型的传感器。例如，热感摄像机，LIDAR（激光雷达）和/或其他传感器可用于从列车的前部和后部拍摄数据。应当理解的是，其他类型的传感器能够拍摄照摄像机无法拍摄的不可见光的频率。
[0026] 如图所示，前置1101-2和后置1103-4摄像机拍摄铁路轨道120两侧的图像，使得例如可以检测到对枕木122i的两侧的损坏和其上的物体。虽然关于拍摄铁路轨道120的摄像机1101-4进行了描述，但是在一些实施例中，也可以定位摄像机以拍摄列车上方可能受到损坏的电力线。在操作中，摄像机1101-4可以单独地或作为视频帧连续地拍摄图像。在一个实施例中，摄像机1101-4可以是高质量摄像机，每个摄像机每秒拍摄至少20个图像。结果，即使当列车100以每小时400公里的速度行进时，摄像机1101-4也能够在不遗漏铁路轨道120的任何部分的情况下拍摄图像。此外，应当理解的是，使用安装在列车上的摄像机1101-4允许在列车100的正常操作期间拍摄和分析图像。
[0027] 如图所示，前置摄像头1101-2的视野1151-2重叠，后置摄像头1103-4的视野1153-4也重叠。这种重叠视野允许轨道检查应用程序通过三角测量估计拍摄图像中的深度，并基于估计的深度生成3D模型，以检测轨道几何结构异常，如以下更详细描述的。在备选实施例中，可以使用诸如LIDAR深度图之类的其他技术来代替来自重叠摄像机的图像。除了拍摄图像本身之外，摄像机1101-（4 或另一设备）可以记录位置信息，例如与每个拍摄图像相关联的全球定位系统（GPS）坐标。
[0028] 在一个实施例中，由摄像机1101-4拍摄的图像和相关的GPS坐标被上传到服务器计算机，其中轨道检查应用程序（例如，图2中所示的轨道检查应用程序210）在服务器计算机运行。反过来，轨道检查应用程序将拍摄的图像与轨道120相同部分所存储的参考图像进行比较，参考图像是先前从基本相同的GPS坐标和有利位置拍摄的，并基于对所拍摄的和参考图像的对比，如所拍摄图像和参考图像之间的这种简单减法，来检测轨道120中的异常。如上所述，异常可能对应于轨道损坏的损坏、外来物体等。轨道检查应用程序还可以生成详细说明检测到的异常的报告，并将其推送到用户的手持设备，以便将异常通知给用户，以采取适当的补救措施。
[0029] 除了通过比较拍摄图像和参考图像来检测异常之外，轨道检查应用程序还可以基于从拍摄图像确定的轨道几何结构与存储的轨道几何结构之间的差异来检测异常。应当理解的是，轨道几何结构可能由于天气，侵蚀等而随时间改变，并且轨道检查应用程序可以比较所确定和存储的轨道几何结构以检测这种变化。如上所述，安装在列车上的摄像机1101-4重叠的视野允许通过三角测量来估计深度。在一个实施例中，导轨检查应用程序可以基于估计的深度生成3D模型，使用3D模型和接收的GPS信息进行测量，并将这些测量值与存储的轨道几何结构中的测量值进行比较。例如，轨道之间的距离（有时称为轨距）可以通过将表示3D模型中表示导轨的点之间的距离转换为基于转换因子的真实世界距离来测量。然后，轨道检查应用程序可以将这样的测量距离与存储的距离进行比较，并将测量和存储的距离之间的差异报告为异常。
[0030] 图2示出了根据一个实施例的用于检测和报告铁路轨道异常的系统。如图所示，系统200包括服务器系统202，其经由网络230与安装在列车上的摄像机1101-4和手持设备240通信。通常，网络230可以是电信网络和/或广域网（WAN）。在一个实施例中，网络230可以是因特网。
[0031] 服务器202通常包括经由总线连接到存储器206的处理器204、网络接口设备210、存储器212、输入设备220和输出设备222。服务器系统202由操作系统208控制。操作系统的示例包括UNIX®操作系统，Microsoft Windows®操作系统的版本以及Linux®操作系统的发行版。更一般地，可以使用支持本文公开的功能的任何操作系统。包括处理器204以代表单个中央处理单元（CPU），多个CPU，具有多个处理核，eon或多个图形处理单元（GPU）的单个CPU，CPU和GPU的一些组合等。存储器206可以是随机存取存储器。网络接口设备216可以是允许服务器系统202经由网络230与手持设备240通信的任何类型的网络通信设备。
[0032] 输入设备220可以是用于向服务器系统202提供输入的任何设备。例如，可以使用键盘和/或鼠标。输出设备222可以是用于向服务器系统202的用户提供输出的任何设备。例如，输出设备222可以是任何传统的显示屏或一组扬声器。尽管与输入设备220分开示出，但是可以组合输出设备222和输入设备220。例如，可以使用具有集成触摸屏的显示屏。
[0033] 需要说明地，存储器206包括轨道检查应用程序210。轨道检查应用程序210提供配置成从列车安装的摄像机1101-（4 其可以是其他类型的传感器，如备选实施例中的LIDAR）接收图像和/或视频的软件应用程序，并处理图像和/或视频以检测轨道异常，包括轨道几何结构问题。在一个实施例中，轨道检查应用程序210可以被配置为对由列车安装的摄像机拍摄的接收图像进行标准化，基于标准化图像与对应存储的参考图像214之间的差异来检测异常，以及基于确定的轨道几何结构和存储的轨道几何结构215之间差异来跟踪几何结构问题，生成并推送详细描述检测到的异常和轨道几何结构问题的报告到在手持设备240中运行的移动应用程序242中，以详细说明检测到的异常。在备选实施例中，可以使用其他技术（例如，拉技术而不是推技术）将生成的报告发送到手持设备240和/或可以将报告发送到某些其他设备，例如个人计算机或笔记本电脑。
[0034] 图3示出了根据一个实施例的标准化图像的示例。如上描述的，使用安装在列车上的摄像机拍摄的接收图像300可以被标准化，以与先前由安装在列车上的摄像机拍摄（和存储）的对应参考图像（或多个图像）对准在基本相同的位置，和当摄像机拍摄所接收到图像300时的有利位置处。尽管为了说明性目的示出了描绘列车轨道的图像，但是应该理解的是，所处理的标准化和比较也适用于其他拍摄的图像，例如描绘电力线的所拍摄图像。此外，尽管出于说明性目的示出了由摄像机拍摄的图像，但是也可以针对其他类型的拍摄数据（例如热感摄像机图像和LIDAR数据）执行标准化和与参考的比较。
[0035] 在一个实施例中，应用于使接收的图像300与对应的参考匹配的标准化可以包括通过缩放、平移、旋转、歪斜等变换接收的图像300，以校正摄像机角度和位置的差异。例如，图像分析应用程序310可以通过将图像300中的像素和/或区域的特征（例如，RANSAC特征）与对应的参考图像中的特征进行匹配来变换接收的图像300，从而确定接收的图像300和参考图像之间的映射，映射来自接收图像300中的匹配特征与参考图像中的匹配特征的对比，并应用该映射来变换接收图像300。
[0036] 在一个实施例中，标准化过程还可以包括去除光条件效应。例如，为了考虑图像300和参考图像之间的颜色/光照差异，轨道检查应用程序可以调整图像300的像素值，使得这些值的直方图匹配参考图像402的直方图。此外，可以在与图像300类似的时间拍摄与图像300进行比较的参考图像402，并且可以在夜间借助于人工照明（例如，列车的前灯）拍摄图像本身。如关于图4更详细地描述的，在标准化之后，图像300和参考图像402应该基本上对齐，并且轨道检查应用程序可以通过将标准化图像310与参考图像402进行比较，来确定这些图像之间的差异。
[0037] 图4示出了根据一个实施例的图像比较过程的示例。需要说明的，将描绘铁路轨道的标准化图像310与对应的参考图像402进行比较。如上所述，参考图像402可以是由安装在列车上基本相同位置的摄像机和在于摄像机拍摄标准化图像310的有利位置之前拍摄的图像。例如，轨道检查应用程序可以从存储的参考图像的数据库中选择所存储的参考图像之一，所存储的参考图像由安装在列车上标准化图像310相同位置（例如，在相同的左前摄像机1101），且在最接近的GPS坐标处的摄像机拍摄的（当然，其与接收图像300的相同GPS坐标和列车安装位置相关联）。在一个实施例中，可以在列车的正常操作期间使用安装在列车上的摄像机拍摄包括用作参考图像的图像。另外，存储为参考图像的图像可以定期更新，例如每个月、每年或任何其他时间段，以便反映轨道环境随时间的变化。在备选实施例中，参考图像可以包括描绘铁路轨道部件的标准图像，例如处于未损坏状态的枕木（例如，当轨道是新的时采取的），其被单独地或一起地与拍摄的图像中示出的铁路轨道部件进行比较。
[0038] 在一个实施例中，轨道检查应用程序210通过从标准化图像310中扣除参考图像402（和/或反之亦然）来比较标准化图像310和对应的参考图像402，以获得显示两者图像之间差异的增量图像404。这种差异可以指示自从拍摄参考图像402以来出现的异常，例如轨道的损坏或轨道上的外来物体。尽管这里主要描述了关于涉及图像的简单减法的比较，但是在备选实施例中，可以执行其他类型的比较，例如利用傅立叶域中的标准化交叉相关的比较。
[0039] 需要说明地，在从标准化图像310中扣除参考图像402之后，铁路轨道枕木的缺失部分406保留在增量图像404中。在一个实施例中，轨道检查应用程序210可以自动地分配唯一标识符（ID）到铁路轨道的每个枕木上，并且轨道检查应用程序210随后可以检测异常，作为所拍摄的相同枕木（即，具有相同ID的枕木）和参考图像中描绘之间的差异，例如枕木的缺失部分406。可以基于拍摄图像中枕木的位置以及这些图像的GPS坐标，通过例如对拍摄图像中的枕木进行计数来为每个计数枕木分配新ID，从而将ID分配给枕木。
[0040] 在一个实施例中，轨道检查应用程序210可以生成异常报告，异常是通过比较过程检测到的（以及相关枕木的异常和ID位置，如果有的话），然后将这样的报告推送到移动应用程序242，使得用户可以根据需要确认异常并采取补救措施。在另一个实施例中，可以训练机器学习模型，例如卷积神经网络，以对不同类型的异常进行分类，例如裂缝、凹痕、其他表面异常等。在这种情况下，图像分析应用程序210可以使用这种训练的机器学习模型来对每个识别的异常表示的损伤类型进行分类，并且图像分析应用程序210还可以指示所生成的报告中由机器学习模型输出的损坏类型。
[0041] 图5示出了根据一个实施例的用于检测铁路轨道异常的基于图像的方法500。如图所示，方法500开始于步骤510，其中轨道检查应用程序210接收由安装在列车上的摄像机拍摄的图像。安装在列车上的摄像机可以包括一个或多个安装在列车上的具有重叠视野的前置摄像头，以及安装在列车上的具有重叠视野的一个或多个后置摄像机，例如图1所示配置中的摄像机。这种安装在列车上的摄像机可以定位成拍摄描绘列车下方铁路轨道的图像和/或描绘列车上方电力线的图像。可以使用任何合适类型的摄像机，例如照相机和/或热感摄像机。此外，一些实施例可以使用其他类型的传感器，例如LIDAR，可以使用其他类型的传感器来代替摄像机或者除了摄像机之外还使用其他类型的传感器。通常，可以使用一个或多个传感器来拍摄列车前后的数据。
[0042] 在步骤520，轨道检查应用程序210对每个接收的图像（或其他传感器数据）进行标准化以匹配对应的参考图像（或其他传感器数据）。如上所述，相应的参考图像可以是先前由安装在列车上的摄像机从基本相同的位置（例如，GPS坐标）和有利位置拍摄的存储图像，并且用作参考图像的图像通常是定期更新，例如每月或每年。可选地，参考图像可以包括描绘铁路轨道部件的标准图像，例如处于未损坏状态的枕木，单独地或一起地相对于拍摄图像中示出的铁路轨道部件进行比较。在一个实施例中，应用于使接收的图像与对应的参考图像匹配的标准化可以包括：（1）通过缩放、平移、旋转、歪斜等变换接收的图像，以校正摄像机角度和位置的差异；（2）调整像素值以校正接收图像和参考图像之间的颜色/光照条件的差异，如上面参考图3所述。此外，轨道检查应用程序210可以使用在与接收到的图像类似的时间拍摄的参考图像，使得颜色/照明条件类似于开始，并且可以在夜间借助于人工照明（例如，列车的前灯）拍摄图像本身。
[0043] 在步骤530，轨道检查应用程序210基于标准化图像和对应参考图像的比较来检测异常。在一个实施例中，轨道检查应用程序210可以从它们对应的参考图像中扣除标准化图像，并且将像素值相差超过阈值量的任何足够大的区域检测为异常，以最小化对不想要的噪点的检测。在备选实施例中，可以使用其他比较来检测标准化参考图像和相应参考图像之间的差异，例如利用傅里叶域中的标准化交叉相关的比较。
[0044] 在又一个实施例中，可以应用诸如人工智能（AI）的技术来去除由例如跟踪四处移动的压载岩产生的随机噪点。例如，可以使用先前拍摄的图像来训练AI，以区分通常观察到的统计上常见的噪点和应该被检测为异常的异常（即，统计上不常见的）变化。在又一个实施例中，轨道检查应用程序210可以向铁路轨道的每个枕木分配唯一ID，并检测与每个枕木相关联的异常，如标准化图像和相应参考图像中描绘的枕木之间的差异所示的。
[0045] 在步骤540，轨道检查应用程序210根据描绘铁路轨道（或来自原始接收图像）的标准化图像确定铁路轨道的几何结构。在一个实施例中，轨道检查应用程序210可以将由前置摄像头拍摄的每个图像中的像素和/或区域与其他前置摄像头基本上同时拍摄的其他图像中的像素和/或区域进行匹配，对由后置摄像头拍摄的图像的操作也类似。然后可以基于通过三角测量的匹配像素位置之间的差异来估计前方图像和后方图像中的像素深度。在备选实施例中，可以使用诸如LIDAR深度图之类的其他技术来代替由重叠摄像机拍摄的图像。
[0046] 在一个实施例中，轨道检查应用程序210可以使用所确定的像素深度来生成诸如点云的3D模型。反过来，轨道检查应用程序210可以使用3D模型、已知距离以及GPS位置来进行轨道几何结构的测量。例如，可以通过基于转换因子将3D模型中的距离转换为真实世界距离来测量导轨之间的距离。转换因子本身可以来源于例如前置或后置摄像机之间的已知距离，以及由这些摄像机拍摄的图像之间的预期与观察到的差异。作为另一示例，与图像一起拍摄的GPS信息可用于确定整个轨道（或轨道之一）是否已相对于其曾经移动的位置移动。轨道检查应用程序210可以测量的其他轨道几何结构包括高度、对齐、曲率等。
[0047] 在步骤550，轨道检查应用程序210基于所确定的轨道几何结构和存储的轨道几何结构之间的差异来检测轨道几何结构中的异常。类似于参考图像，存储的轨道几何结构可以从数据库中检索，并且轨道检查应用程序210可以将这样检索的几何信息与在步骤240确定的轨道几何结构进行比较。继续导轨之间的距离和在整个轨道（或轨道之一）中移动的示例，轨道检查应用程序210可以分别将导轨和轨道（或轨道）GPS坐标之间的测量距离与存储的距离和GPS坐标进行比较，以确定轨道距离和轨道（或铁路）位置是正确的。可以类似地将诸如高度、对齐、曲率等的其他轨道几何测量与存储的信息进行比较，以检测这种测量中的异常。
[0048] 在步骤560，轨道检查应用程序210生成并向手持设备推送详细说明检测到的异常的报告。结果，手持设备的用户可以获得通知检测到的异常，并采取适当的补救措施。例如，可以将示出检测到的异常和相关联的GPS坐标的图像推送到在用户的手持设备中运行的移动应用程序。反过来，移动应用程序可以显示所接收的图像，以及标记有GPS坐标的地图，使得用户可以物理地定位检测到的异常。如所描述的，在一个实施例中，还可以训练机器学习模型，例如卷积神经网络，以对不同类型的异常进行分类，并且在这种情况下，图像分析应用程序210可以使用训练的机器学习模型来对损坏的类型进行分类，每个识别的异常表示并包括报告中那些类型的损坏的指示，报告被生成并推送到手持设备。
[0049] 尽管上面主要对摄像机进行了描述，但是在备选实施例中，可以使用其他类型的传感器来代替摄像机或者除了摄像机之外还使用其他类型的传感器。例如，在一个实施例中可以使用热感摄像机来拍摄铁路轨道的热能特征，并且可以将这种热能特征与参考热感摄像机图像中的热能特征进行比较，以检测轨道的损坏。作为另一示例，LIDAR可用于基于脉冲激光的反射来拍摄距离测量值。尽管这里主要对铁路轨道异常和电力线异常进行了描述，但是备选实施例还可以检测可能出现在由列车安装的摄像机拍摄的图像中的其他类型的异常，例如可能存在危险的铁路轨道侧部的环境变化。
[0050] 有利地，本文公开的技术提供了一种用于检测铁路轨道和电力线异常的自动化及基于图像的方法。通过使用安装在列车上的摄像机拍摄图像并分析这些图像，可以在列车的正常操作期间基本上实时地检测铁路轨道和电力线异常。此外，本文公开的自动化技术比传统的手动检查更省劳力。
[0051] 附图中的流程图和框图显示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这方面，流程图或框图中的每个块可以表示代码的模块、片段或部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。还应注意的是，在一些备选实施方式中，块中提到的功能可以不按图中所示的顺序发生。例如，连续示出的两个块实际上可以基本上同时执行，或者这些块有时可以以相反的顺序或乱序执行，这取决于所涉及的功能。还应注意的是，框图和/或流程图图示中的每个块以及框图和/或流程图图示中的块的组合可以由执行指定功能或动作的基于专用硬件的系统来实现，或专用硬件和计算机指令的组合来实现。
[0052] 虽然前述内容针对本发明的实施例，但是可以在不脱离本发明的基本范围的情况下设计本发明的其他和进一步的实施例，并且本发明的范围由所附权利要求确定。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种铁路轨道养护装置 | 2020-05-12 | 642 |
| 铁路轨道扣件涂油器 | 2020-05-12 | 643 |
| 铁路轨道支撑板 | 2020-05-11 | 659 |
| 铁路轨道板掺合料 | 2020-05-13 | 1028 |
| 铁路轨道交叉口 | 2020-05-11 | 372 |
| 一种铁路轨道除锈装置 | 2020-05-13 | 914 |
| 一种铁路轨道用螺栓 | 2020-05-14 | 41 |
| 铁路轨道辙叉及转辙器 | 2020-05-15 | 411 |
| 一种钢结构铁路轨道 | 2020-05-12 | 151 |
| 一种铁路轨道除雪机 | 2020-05-15 | 32 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
铁路轨道热门专利
QQ群二维码
意见反馈
意见反馈