一种车辆数据管理系统
阅读：788发布：2020-05-13
专利汇可以提供一种车辆数据管理系统专利检索，专利查询，专利分析的服务。并且本 发明 提供了一种车辆数据管理系统，涉及车辆通信领域。车辆数据管理系统包括原始数据源模 块 、数据加工模块和工作流调度编排监控模块。原始数据源模块包括数据接收单元、临时存储单元和正式存储单元，数据接收单元用于通过 云 服务平台获取多个车辆的原始总线数据，并将所述原始总线数据存入所述临时存储单元；工作流调度编排监控模块用于生成第一控制指令并发送至所述数据加工单元；数据加工模块用于根据所述第一控制指令加载所述临时存储单元内的所述原始总线数据并对其进行加载、分类和归档处理，并将处理后的所述原始总线数据存入所述正式存储单元。本发明的能够自动将车辆自动驾驶产生的数据进行分类并存储、降低人工操作和执行成本。，下面是一种车辆数据管理系统专利的具体信息内容。
1.一种车辆数据管理系统，其特征在于，包括原始数据源模块、数据加工模块和工作流调度编排监控模块；
所述原始数据源模块包括数据接收单元、临时存储单元和正式存储单元，所述数据接收单元用于通过云服务平台获取多个车辆的原始总线数据，并将所述原始总线数据存入所述临时存储单元；
所述工作流调度编排监控模块用于生成第一控制指令并发送至所述数据加工单元；
所述数据加工模块用于根据所述第一控制指令加载所述临时存储单元内的所述原始总线数据并对其进行加载、分类和归档处理，并将处理后的所述原始总线数据存入所述正式存储单元。
2.根据权利要求1所述的车辆数据管理系统，其特征在于，
所述第一控制指令根据所述数据加工模块的工作状态生成，包括第一加载周期信息。
3.根据权利要求1或2所述的车辆数据管理系统，其特征在于，还包括：
系统管理员GUI/CLI客户端应用模块，用于通过浏览器GUI界面或者CLI命令行界面访问和操作所述工作流调度编排监控模块，以控制所述工作流调度编排监控模块生成所述第一控制指令。
4.根据权利要求3所述的车辆数据管理系统，其特征在于，还包括：
数据仓库模块，包括数据仓库；
所述工作流调度编排监控模块还用于生成第二控制指令并发送至所述数据加工单元；
所述数据加工模块还用于根据所述第二控制指令提取所述原始数据源模块的所述正式存储单元的数据并对其进行过滤、清洗和降噪处理，并将处理后的数据发送至所述数据仓库，以在所述数量仓库内形成事实表和维度表。
5.根据权利要求4所述的车辆数据管理系统，其特征在于，还包括：
远程监控数据源模块，用于获取并存储所述多个车辆的行车状态数据；
所述工作流调度编排监控模块还用于生成第三控制指令并发送至所述数据加工单元；
所述数据加工模块还用于根据所述第三控制指令提取所述远程监控数据源模块中的数据并对其进行过滤、清洗和降噪处理，并将处理后的数据发送至所述数据仓库，以在所述数量仓库内形成业务表。
6.根据权利要求5所述的车辆数据管理系统，其特征在于，
所述行车状态数据包括：行车异常检测数据、故障诊断数据、车辆出行数据、驾驶员安全评分数据。
7.根据权利要求5所述的车辆数据管理系统，其特征在于，
还包括：云-应用数据交互模块，与所述远程监控数据源模块数据连接，用于提取并存储所述远程监控数据源模块内的维度数据；和
历史业务视图模块；
所述数据仓库模块还包括处理引擎；
所述工作流调度编排监控模块还用于生成第四控制指令并发送至所述处理引擎；
所述处理引擎用于根据所述第四控制指令提取并联机分析处理所述云-应用数据交互模块中的数据和所述数据仓库内的所述事实表和维度表，并将处理后的数据存储至所述历史业务视图模块内。
8.根据权利要求7所述的车辆数据管理系统，其特征在于，还包括实时数据分析模块、实时业务视图模块、汇聚处理服务模块和业务服务视图模块：
所述实时数据分析模块用于通过云服务平台获取所述多个车辆的原始总线数据并进行实时分析，将实时分析后的数据实时存入所述实时业务视图模块；
所述工作流调度编排监控模块还用于生成第五控制指令并发送至所述汇聚处理服务模块；
所述汇聚处理服务模块用于根据所述第五控制指令提取并联机分析处理所述实时业务视图模块和所述历史业务视图模块内的数据，并将处理后的数据保存至所述业务服务视图模块内。
9.根据权利要求8所述的车辆数据管理系统，其特征在于，还包括：
互联网高并发客户端应用模块，与所述云-应用数据交互模块通信连接；
所述云-应用数据交互模块还用于接收所述实时业务视图模块、所述历史业务视图模块和所述业务服务视图模块的数据并发送至所述互联网高并发客户端应用模块。
10.根据权利要求1所述的车辆数据管理系统，其特征在于，还包括：
数仓元数据管理模块，用于存储所述多个车辆的元数据并建立所述元数据的内表和外表，所述内表的数据存储至所述数据仓库指向的路径，所述内表记录数据所在的路径。
一种车辆数据管理系统
技术领域
[0001] 本发明涉及车辆通信领域，特别是涉及一种车辆数据管理系统。
背景技术
[0002] 目前，整车厂OEM(Original Equipment Manufacturer，原始设备制造商)注重车辆自身的研发和换代升级，不擅长车外系统的研发，更不了解云计算。同时，市面上的互联网公司，虽然可能有大数据分析处理方案，但对于智能网联汽车这个“新生事物”，缺乏行之有效的数据采集方案(整车厂OEM不会轻易把车辆大数据释放出来)，并且数据格式、通信接口等都是保密的。
[0003] 此外，智能驾驶领域是当前最新、最热的研究领域之一，要分析什么业务场景、要采集哪些车辆数据，尚没有统一标准，而且基于云计算平台，对于车辆大数据的处理和统计分析流程，也没有统一标准。
发明内容
[0004] 本发明的一个目的是提供一种能够自动将车辆自动驾驶产生的数据进行分类并存储的车辆数据管理系统。
[0005] 本发明的另一个目的是降低人工操作和执行成本。
[0006] 本发明提供了一种车辆数据管理系统，其特征在于，包括原始数据源模块、数据加工模块和工作流调度编排监控模块；
[0007] 所述原始数据源模块包括数据接收单元、临时存储单元和正式存储单元，所述数据接收单元用于通过云服务平台获取多个车辆的原始总线数据，并将所述原始总线数据存入所述临时存储单元；
[0008] 所述工作流调度编排监控模块用于生成第一控制指令并发送至所述数据加工单元；
[0009] 所述数据加工模块用于根据所述第一控制指令加载所述临时存储单元内的所述原始总线数据并对其进行加载、分类和归档处理，并将处理后的所述原始总线数据存入所述正式存储单元。
[0010] 可选地，所述第一控制指令根据所述数据加工模块的工作状态生成，包括第一加载周期信息。
[0011] 可选地，车辆数据管理系统还包括：
[0013] 可选地，车辆数据管理系统还包括：
[0014] 数据仓库模块，包括数据仓库；
[0015] 所述工作流调度编排监控模块还用于生成第二控制指令并发送至所述数据加工单元；
[0016] 所述数据加工模块还用于根据所述第二控制指令提取所述原始数据源模块的所述正式存储单元的数据并对其进行过滤、清洗和降噪处理，并将处理后的数据发送至所述数据仓库，以在所述数量仓库内形成事实表和维度表。
[0017] 可选地，车辆数据管理系统还包括：
[0018] 远程监控数据源模块，用于获取并存储所述多个车辆的行车状态数据；
[0019] 所述工作流调度编排监控模块还用于生成第三控制指令并发送至所述数据加工单元；
[0020] 所述数据加工模块还用于根据所述第三控制指令提取所述远程监控数据源模块中的数据并对其进行过滤、清洗和降噪处理，并将处理后的数据发送至所述数据仓库，以在所述数量仓库内形成业务表。
[0021] 可选地，所述行车状态数据包括：行车异常检测数据、故障诊断数据、车辆出行数据、驾驶员安全评分数据。
[0022] 可选地，车辆数据管理系统还包括：云-应用数据交互模块，与所述远程监控数据源模块数据连接，用于提取并存储所述远程监控数据源模块内的维度数据；和[0023] 历史业务视图模块；
[0024] 所述数据仓库模块还包括处理引擎；
[0025] 所述工作流调度编排监控模块还用于生成第四控制指令并发送至所述处理引擎；
[0026] 所述处理引擎用于根据所述第四控制指令提取并联机分析处理所述云-应用数据交互模块中的数据和所述数据仓库内的所述事实表和维度表，并将处理后的数据存储至所述历史业务视图模块内。
[0027] 可选地，车辆数据管理系统还包括实时数据分析模块、实时业务视图模块、汇聚处理服务模块和业务服务视图模块：
[0028] 所述实时数据分析模块用于通过云服务平台获取所述多个车辆的原始总线数据并进行实时分析，将实时分析后的数据实时存入所述实时业务视图模块；
[0029] 所述工作流调度编排监控模块还用于生成第五控制指令并发送至所述汇聚处理服务模块；
[0030] 所述汇聚处理服务模块用于根据所述第五控制指令提取并联机分析处理所述实时业务视图模块和所述历史业务视图模块内的数据，并将处理后的数据保存至所述业务服务视图模块内。
[0031] 可选地，车辆数据管理系统还包括：
[0032] 互联网高并发客户端应用模块，与所述云-应用数据交互模块通信连接；
[0033] 所述云-应用数据交互模块还用于接收所述实时业务视图模块、所述历史业务视图模块和所述业务服务视图模块的数据并发送至所述互联网高并发客户端应用模块。
[0034] 可选地，车辆数据管理系统还包括：
[0035] 数仓元数据管理模块，用于存储所述多个车辆的元数据并建立所述元数据的内表和外表，所述内表的数据存储至所述数据仓库指向的路径，所述内表记录数据所在的路径。
[0036] 本发明通过原始数据源模块、数据加工模块和工作流调度编排监控模块实现了一种车辆大数据统计分析平台的大数据存储方法。该系统支持海量车载CAN总线大数据的存储和预处理，即分类和归档处理，为后续的车辆历史CAN总线大数据的离线分析提供了数据基础服务保障。通过工作流调度编排监控模块自动化地完成车辆CAN总线大数据从临时存储单元到正式存储单元的数据逻辑计算和数据转移，自动将车辆自动驾驶产生的数据进行分类并存储。
[0037] 进一步地，在AWS公有云环境中，通过分布式工作流引擎进行服务编排，完成车辆大数据仓库的建立、自动化ETL和OLAP分析全过程，系统管理员更多的是通过可视化界面监控各项数据处理任务的完成情况，从而使人工操作和执行成本降至最低。
[0038] 本发明通过Amazon的7层负载均衡器集群、AirFlow on Amazon EC2工作流引擎、Livy监控服务插件、Spark on Amazon EMR并行计算框架、Hive on Amazon EMR大数据仓库、Amazon S3简单存储服务桶、Presto on Amazon EMR的OLAP查询分析引擎、Amazon托管的关系型数据库MySql集成联动，实现了一套智能网联汽车大数据分类存储方案，包括数据仓库建表，车辆大数据从Amazon S3到Amazon EMR Hive的ETL处理，以及车辆大数据从Hive数据仓库被OLAP处理后保存到Amazon托管数据库服务RDB(MySql)历史业务视图的整个数据处理、工作流任务编排、数据处理任务调度监控全过程，为后续的分析、检索和可视化提供技术和数据服务保障。附图说明
[0039] 后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
[0040] 图1是根据本发明一个实施例的车辆数据管理系统的原理框图；
[0041] 图2是根据本发明另一个实施例的车辆数据管理系统的原理框图。
具体实施方式
[0042] 图1是根据本发明一个实施例的车辆数据管理系统的原理框图。如图1所示，本发明提供了一种车辆数据管理系统，其一般性地可以包括原始数据源模块10、数据加工模块20和工作流调度编排监控模块30。原始数据源模块10包括数据接收单元、临时存储单元和正式存储单元，数据接收单元用于通过云服务平台获取多个车辆的原始总线数据，并将原始总线数据存入临时存储单元。工作流调度编排监控模块30用于生成第一控制指令并发送至数据加工单元。数据加工模块20用于根据第一控制指令加载临时存储单元内的原始总线数据并对其进行加载、分类和归档处理，并将处理后的原始总线数据存入正式存储单元。
[0043] 本实施例通过原始数据源模块10、数据加工模块20和工作流调度编排监控模块30实现了一种车辆大数据统计分析平台的大数据存储方法。该系统支持海量车载CAN总线大数据的存储和预处理，即分类和归档处理，为后续的车辆历史CAN总线大数据的离线分析提供了数据基础服务保障。通过工作流调度编排监控模块30自动化地完成车辆CAN总线大数据从临时存储单元到正式存储单元的数据逻辑计算和数据转移。
[0044] 一个实施例中，第一控制指令根据数据加工模块20的工作状态生成，包括第一加载周期信息。即按第一加载周期去触发数据加工模块20对临时存储单元内的数据进行分类和归档处理。
[0045] 图2是根据本发明另一个实施例的车辆数据管理系统的原理框图。如图2所示，可选地，云服务平台为AWS车联网核心服务域201，其设有规则引擎。原始数据源模块10的数据接收单元为Kinesis DataStream和Kinesis Firehose；临时存储单元为Amazon S3的临时桶；正式存储单元为Amazon S3的正式桶。AWS车联网核心服务域201的规则引擎将所有采集到的车辆原始CAN数据路由给原始数据源模块10的Kinesis Stream，以便后续历史数据统计分析。
[0046] 原始数据源模块10包括多种异构数据的来源，一般包括两种：一种是由前台的业务系统产生的数据，也就是业务系统会去记录和处理的数据；另一种是系统运行产生的日志数据。异构数据源存储介质覆盖但不限于DynamoDB、Amazon S3等。本发明中在前期的车辆数据监控平台中已经采集到的原始CAN数据作为原始数据源模块10的输入，车辆所有生成的消息都通过AWS IoT的规则引擎存入该域的Kinesis DataStream传输加密的数据流，Kinesis Firehose根据缓存大小(设置10MB)和时间间隔(5分钟)为触发条件(满足任一条件将触发)，获取Kinesis DataStream数据，并写入Amazon S3临时桶中。一个Kinesis Firehose只能与一个Kinesis Stream连接。
[0047] Kinesis Stream分区：每个Kinesis流由一个或多个分片Shard组成，每个Shard提供一个固定的容量单位。每个Shard均可支持最多每秒5次交易可用于读取，最多可达的最大总数据读取速率为2MB/s和最多每秒1000条记录可用于写入，最多可达的最大总数据写入速率为1MB/s(包括分区键)。流的总容量是其分片容量的总和。
[0048] 车辆的数据是串行发送到云端(AWS车联网核心服务域201)的，且每条数据尺寸<250Bytes，所以1个Shard只能支持1000辆车的数据。在Kinesis DataStream中创建了200个Shard(如果需求的Shard数量更大，则需要AWS提供底层技术支持)，那么可以支持20万辆车。当然也可以考虑创建多个Kinesis Stream，但这样做成本将会比较高。
[0049] Kinesis Stream分区键：分区键用于按分片对流中的数据进行分组。Kinesis DataStream将属于一个流的数据记录隔离到多个分片中，它使用与每个数据记录关联的分区键确定指定数据记录属于哪个分片。分区键是最大长度限制为256个字节的Unicode字符串。MD5哈希函数用于将分区键映射到128位整数值并将关联的数据记录映射到分片。但应用程序将数据放入流中时，它必须指定一个分区键。本案例中将车辆编号VIN作为分区键，这就意味着，同一辆车的数据会被保存到同一个Kinsis Stream的分片中。
[0050] 数据加工模块20为原始数据源模块10Amazon S3桶里存储的车辆原始数据做分类整理和正式归档，包括周期性的对Amazon S3临时桶数据加载、数据并行计算、以及将分类处理完的数据回写存储Amazon S3正式桶。
[0051] 一个实施例中，数据加工模块20为Amazon的EMR，采用Amazon的EMR托管环境提供的HiveSQL和Spark处理程序，未来Amazon的Glue服务在中国开放后，将进行升级替换。
[0052] 部署和运行在AWS的EC2上的Spark Core包含了Spark的基本功能，比如任务调度、内存管理、容错机制等，内部定义了RDD、DataFrame、DataSet等，另外定义了相关的操作API和动作。Spark是一个围绕速度、易用性和复杂分析构建的、全面的、统一的大数据处理框架，基于AWS的EC2的Spark运行流程为：
[0053] 为应用构建起基本的运行环境，即由Driver创建一个SparkContext进行资源的申请、任务的分配和监控；
[0055] SparkContext根据RDD的依赖关系构建DAG图，DAG图提交给DAGScheduler解析成Stage，然后把一个个TaskSet提交给底层调度器TaskScheduler处理；
[0056] Executor向SparkContext申请Task，TaskScheduler将Task发放给Executor运行并提供应用程序代码；
[0057] Task在Executor上运行，把执行结构反馈给TaskScheduler，然后反馈给DAGScheduler，运行完毕后写入数据并释放所有资源；
[0058] 一个实施例中，工作流调度编排监控模块30包括AWS的弹性Http应用程序负载均衡器ELB，以及EC2双节点集群。每个EC2服务节点安装了AirFlow服务系统(因为AirFlow不是AWS的标准托管服务，为了保证高可用性，需要使用至少2个EC2节点进行AirFlow的安装和部署)。本案AirFlow定时任务触发，自动周期性调度数据加工模块20的Spark处理程序/HiveSQL。
[0059] AirFlow是Airbnb公司于2014年开发开发的一个编排、调度和监控的工作流平台，现在在Apache Software Foundation孵化。AirFlow通过Python文件作流，而不用其他调度器使用XML或者text文件方式定义工作流，本案我们通过编写Python脚本代码，完全自定义自己的业务级工作流。然后由AirFlow将workflow编排为tasks组成的DAGs，调度器在一组workers上按照指定的依赖关系执行tasks。AirFlow同时对工作流执行过程中步骤进行监控和报警。
[0060] 工作流调度编排监控模块30的AirFlow将每小时触发一次数据加工模块20的Spark程序，读取原始数据源模块10的Amazon S3临时桶数据，解析并通过VIN车辆编号与时间段将原始数据组合(每小时组合生成一个结果文件)，并将它存储到Amazon S3的正式桶中，最后删除临时桶数据。
[0061] 本发明基于AWS公有云环境，通过AWS IoT Core的规则引擎、Kinesis Stream、Kinesis Firehose、Amazon S3、Amazon EMR(Spark/HiveSQL)、Amazon EC2上的AirFlow、Amazon弹性Http应用程序负载均衡器ELB的组合，实现了一种车辆大数据统计分析平台的大数据存储方法。通过AmazonEC2上的AirFlow，实现了分布式工作流程自定义，周期性地触发大数据处理任务，自动化地完成车辆CAN总线大数据从Amazon S3临时桶到正式桶的数据逻辑计算和数据转移。
[0062] 如图2所示，另一个实施例中，车辆数据管理系统还包括系统管理员GUI/CLI客户端应用模块40，用于通过浏览器GUI界面或者CLI命令行界面访问和操作工作流调度编排监控模块30，以控制工作流调度编排监控模块30生成第一控制指令。
[0063] 系统管理员可通过浏览器GUI界面或者CLI命令行界面，访问和操作AirFlow，以实现AirFlow对工作流进行编排，对任务进行管理、触发、监控等。
[0064] 如图2所示，一个实施例中，车辆数据管理系统还包括数据仓库模块50，数据仓库模块50包括数据仓库。工作流调度编排监控模块30还用于生成第二控制指令并发送至数据加工单元。数据加工模块20还用于根据第二控制指令提取原始数据源模块10的正式存储单元的数据并对其进行过滤、清洗和降噪处理，并将处理后的数据发送至数据仓库，以在数量仓库内形成事实表和维度表。
[0065] 数据仓库具有四个特点：面向主题、集成性、相对稳定性、反映历史变化。面向主题：数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的面，一个主题通常与多个操作型信息系统相关。而操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离。集成性：数据仓库中的数据是在对原有分散的数据库数据抽取、清洗的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。相对稳定性：数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。反映历史变化：数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势作出定量分析和预测。而操作型数据库主要关心当前某一个时间段内的数据。
[0066] 如图2所示，一个实施例中，数据仓库模块50由Amazon的EMR实现，其内置了大数据仓库Hive和OLAP处理引擎Presto。大数据仓库Hive存储了干净的、一致的、准确的、清洗后的数据，它的数据一般都遵循数据库第三范式，并按照一定的主题域进行组织，包含了事实表、维度表。Hive数据仓库模块50会保存BI系统中所有的历史数据，保存期一般为10年。
[0067] 数据仓库内的数据包括行星模式和雪花模式。星型模式是多维的数据关系，它由事实表和维表组成。每个维表中都会有一个维作为主键，所有这些维的主键的结合成事实表的主键。事实表的非主键属性称为事实，他们一般都是数值或其他可以进行计算的数据；而维大都是文字、时间等类型的数据，按这种方式组织好数据，就可以按照不同的维(事实表主键的部分或全部)来对这些事实数据进行求和、求平均、计数、百分比的聚集计算，甚至可以做20～80分析。这样就可以从不同的角度数字来分析业务主题的情况。雪花模型是当有一个或多个维表没有直接连接到事实表上，而是通过其他维表连接到事实表上时，其图解就像多个雪花连接在一起，故称雪花模型。雪花模型是对星型模型的扩展。它对星型模型的维表进一步层次化，原有的各维表可能被扩展为小的事实表，形成一些局部的“层次”区域，这些被分解的表都连接到主维度表而不是事实表。相比星型模型，雪花模型的特点是贴近业务，数据冗余较少。但由于表连接的增加，导致了效率相对星型模型来的要低一些。
[0068] 如图2所示，一个实施例中，车辆数据管理系统还包括远程监控数据源模块60，用于获取并存储多个车辆的行车状态数据。工作流调度编排监控模块30还用于生成第三控制指令并发送至数据加工单元。数据加工模块20还用于根据第三控制指令提取远程监控数据源模块60中的数据并对其进行过滤、清洗和降噪处理，并将处理后的数据发送至数据仓库，以在数量仓库内形成业务表。
[0069] 可选地，行车状态数据包括：行车异常检测数据、故障诊断数据、车辆出行数据、驾驶员安全评分数据。
[0070] 如图2所示，可选地，远程监控数据源模块60内置有DynamoDB业务库。DynamoDB数据库是一种完全托管的NoSQL数据库服务，提供快速而可预测的性能，能够实现无缝扩展。DynamoDB可自动将表的数据和流量分布到足够多的服务器中，以便处理客户指定的容量请求和数据存储量，同时还能保持性能一致、访问高效。为了快速、有效地分析DynamoDB中存储的数据，需要将DynamoDB和Amazon EMR与自定义版本的Hive配合使用。
[0071] 如果要对车辆远程监控的数据进行统计分析，需要从远程监控数据源模块60获取车辆业务级大数据。在车辆远程监控平台中，涉及到的业务级数据库包括行车异常检测数据库、故障诊断数据库、车辆出行数据库、驾驶员安全评分数据库，这些业务数据都采用DynamoDB进行存储持久化。
[0072] 如图2所示，一个实施例中，车辆数据管理系统还包括云-应用数据交互模块70、历史业务视图模块80、数据仓库模块50还包括处理引擎。云-应用数据交互模块70与远程监控数据源模块60数据连接，用于提取并存储远程监控数据源模块60内的维度数据。工作流调度编排监控模块30还用于生成第四控制指令并发送至处理引擎。处理引擎用于根据第四控制指令提取并联机分析处理云-应用数据交互模块70中的数据和数据仓库内的事实表和维度表，并将处理后的数据存储至历史业务视图模块80内。
[0073] 在Hive数据仓库中，事实表的内容来源于原始数据源模块10的Amazon S3，业务表的内容来源于远程监控原始数据源模块10的DynamoDB，维度表的内容是自建的。如果涉及到海量维度数据，比如车辆VIN和对应的车型，这个内容是在车辆远程监控平台中保存到云-应用数据交互模块70的业务应用MySql数据库中的。可以由数据仓库模块50EMR的Presto集群对多个数据源(Hive事实表、业务应用MySql数据库)进行跨库联合查询和并行计算。
[0074] Hive数据仓库中的业务表，将与远程监控原始数据源模块10的DynamoDB数据库表建立映射关系，并由数据加工模块20EMR的Spark集群完成ETL、数据格式的转换、表字段的映射、以及向数据仓库Hive中保存数据。Hive中建立好的业务数据表，后续可由Presto框架进行OLAP分析计算。
[0075] Hive外部表与内部表之间的区别是：大多数情况，两者的区别不明显，如果数据的所有处理都在Hive中进行，那么倾向于选择内部表；但是如果Hive和其它工具要针对相同的数据集进行处理，外部表更合适。使用外部表访问存储在HDFS上的初始数据，然后通过Hive转换数据并存到内部表中，使用外部表的场景是针对一个数据集有多个不同的Schema。通过外部表和内部表的区别和使用选择的对比可以看出，Hive其实仅仅只是对存储在HDFS上的数据提供了一种新的抽象，而不是管理存储在HDFS上的数据。所以不管创建内部表还是外部表，都可以对Hive表的数据存储目录中的数据进行增删操作。删除内部表时，将删除内部表中的业务数据；而删除外部表时，仅删除Hive中对外部表的引用，而不删除业务数据。
[0076] Hive分区表和分桶表的区别：Hive数据表可以根据某些字段进行分区操作，细化数据管理，可以让部分查询更快。同时表和分区也可以进一步被划分为Buckets，分桶表的原理和MapReduce编程中的HashPartitioner的原理类似。分区和分桶都是细化数据管理，但是分区表是手动添加分区。由于Hive是读模式，所以对添加进分区的数据不做模式校验。分桶表中的数据是按照某些分桶字段进行hash散列形成的多个文件，所以数据的准确性也高很多。在本案中，以VIN车辆编号和数据产生日期作为分区字段，即VIN车辆编号作为Hive外部表的一级目录，数据产生日期作为某个VIN车辆编号目录下的二级子目录。另外，根据数据分析业务需求，暂未定义分桶表。未来随着业务开展，如果要方便抽样和提高表join查询效率，将考虑增加分桶表。而实际生产中分桶策略使用的频率较低，更常见的还是使用数据分区。
[0077] 数据加工模块20根据数据分析需求，为数据仓库创建事实表、维度表。然后从异构数据源提取数据，经过加工处理(比如过滤、清洗、降噪等)，将ETL处理后的数据结果生成到数据仓库中；这里主要采用Amazon的EMR托管环境提供的HiveSQL和Spark处理程序，未来Amazon的Glue服务在中国开放后，将进行升级替换。原始数据源模块10到数据仓库模块50的数据抽取，可以考虑每天定时抽取一次，或者通过在Hive大数据仓库建立外表关联Amaon S3。远程监控原始数据源模块10到数据仓库模块50的数据抽取，也是每天定时抽取一次。对于DynamoDB业务库数据的ETL，可由该域的Amazon EMR的Spark程序调用和执行并行计算，并将处理后的数据格式写入数据仓库模块50的Hive业务表中。AWS提供的EMR Spark集群默认运行模式是Yarn-Client，当然可以修改成Yarn-Cluster。另外，需要在该域的EMR集群上配置livy服务，以便AirFlow对spark任务处理集群的返回结果进行监控和实现工作流编排。
[0078] Apache Livy是一个服务，它可以通过一个REST接口与Spark集群轻松交互。它可以通过一个简单的REST(Representational State Transfer)接口或RPC(Remote Procedure Call)客户机库，轻松提交Spark作业或Spark代码片段、同步或异步结果检索以及Spark上下文管理。Apache Livy还简化了Spark和应用服务器之间的交互，从而使Spark能够用于交互式Web/移动应用程序。其功能包括：具有可供多个客户机用于多个Spark作业的长时间运行的Spark上下文；跨多个作业和客户端共享缓存的RDD或数据帧；可以同时管理多个Spark上下文、Spark上下文在集群(yarn/mesos)上运行，而不是在Livy服务器上运行，以获得良好的容错性和并发性；作业可以作为预编译的JAR、代码片段或通过Java/Scala客户端API提交；通过安全的认证通信确保安全。
[0079] 如图2所示，另一个实施例中，车辆数据管理系统还包括实时数据分析模块90、实时业务视图模块100、汇聚处理服务模块110和业务服务视图模块120。实时数据分析模块90用于通过云服务平台获取多个车辆的原始总线数据并进行实时分析，将实时分析后的数据实时存入实时业务视图模块100。工作流调度编排监控模块30还用于生成第五控制指令并发送至汇聚处理服务模块110。汇聚处理服务模块110用于根据第五控制指令提取并联机分析处理实时业务视图模块100和历史业务视图模块80内的数据，并将处理后的数据保存至业务服务视图模块120内。
[0080] AirFlow定时任务触发，自动周期性调度数据加工模块20的Spark处理程序/HiveSQL，数据仓库模块50的Presto，以及汇聚处理服务模块110的Presto。
[0081] 数据加工模块20的EMR计算集群，有三个主要的周期性处理任务，任务一是对原始数据源模块10的Amazon S3桶数据进行分类处理；任务二是从Amazon S3提取数据做ETL，然后生成到数据仓库模块50的Hive中；任务三是从DynamoDB数据库中提取数据做ETL，然后将处理转换后的数据格式生成到数据仓库模块50Hive中的业务表。
[0082] 此外，数据仓库模块50EMR的Presto集群，有周期性计算任务，它每天执行一次，完成从Hive数据仓库的事实表、维度表、以及云-应用数据交互模块70的业务应用MySql数据库表中提取数据，做联合join，并将OLAP处理后的结果数据保存到历史业务视图模块80的BI数据库MySql中。
[0083] 最后，汇聚处理服务模块110EMR的Presto集群，也有周期性计算任务，它根据较短的时间周期(比如每半小时执行一次)，将访问实时业务视图模块100的Redis和历史业务视图模块80的MySql，将并行计算后的结果数据生成到业务服务视图模块120的统计分析结果库MySql中。
[0084] 以上这些周期性计算任务的启动，有些依赖于其他任务执行的完成。因此需要使用AirFlow创建工作流编排服务，这里在AirFlow所在的EC2上，采用Python脚本编程，通过Http协议对远端数据加工模块20的EMR Spark任务集群的工作状态进行轮询检测，默认30秒一次Request-Reponse(可以调整轮询时间间隔)，直至获取到Spark的Job任务全部完成的应答，才结束轮询检测。而对于各个EMR的Presto计算任务的触发，采用AirFlow定时器技术，周期性的触发任务事件，来引导Presto计算集群的执行。
[0085] 如图2所示，另一实施例中，车辆数据管理系统还包括：互联网高并发客户端应用模块130，与云-应用数据交互模块70通信连接。云-应用数据交互模块70还用于接收实时业务视图模块100、历史业务视图模块80和业务服务视图模块120的数据并发送至互联网高并发客户端应用模块130。
[0086] 业务服务视图模块120通过云-应用数据交互模块70为互联网高并发客户端应用模块130130提供数据来源，供客户可视化地分析和检索。
[0087] 如图2所示，一个实施例中，车辆数据管理系统还包括：数仓元数据管理模块140，用于存储多个车辆的元数据并建立元数据的内表和外表，内表的数据存储至数据仓库指向的路径，内表记录数据所在的路径。
[0088] 默认情况下，Hive元数据保存在内嵌的Derby数据库中，只能允许一个会话连接，只适合简单的测试。为了支持多用户多会话，则需要一个独立的元数据库。
[0089] Hive的元数据信息通常存储在关系型数据库中，Hive内部队MySql提供了很好的支持。Hive的元数据信息在MySQL数据库中有57张表，其中主要涉及到的表包括：TBLS(所有Hive表的基本信息，包括表名、创建时间、所属者等)，TABLE_PARAM(表级属性，包括如是否外部表、表注释、最后修改时间等)，COLUMNS(Hive表字段信息，包括字段注释、字段名、字段类型、字段序号等)，SDS(所有Hive表、表分区所对应的HDFS数据目录和数据格式)，SERDE_PARAM(序列化-反序列化信息，包括行分隔符、列分隔符、NULL的表示在字符等)，PARTITIONS(Hive表分区信息，包括所属表、分区值等)，PARTITION_KEYS(Hive分区表分区键，即分区字段)，PARTITION_KEY_VALS(Hive表分区名，即键值)。
[0090] Hive的数据在HDFS的warehouse目录下，一个表对应一个子目录。本地的/tmp目录存放日志和执行计划。Hive的表分为两种，内表和外表。Hive创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。
[0091] 根据上述实施例的内容，本发明具有以下优点：
[0092] 本发明从车辆主机厂OEM的背景出发(天然地具有车辆数据采集优势)，针对车辆主机厂OEM的车辆大数据消息和信号，结合全球云计算排名在首的AWS公有云环境，提出了一套车辆数据的分类以及存储方法，实现了一个车辆大数据统计分析平台的数据仓库建设方案，为智能驾驶业务的开展提供了有力的数据服务支撑。
[0093] 在AWS公有云环境中，通过分布式工作流引擎进行服务编排，完成车辆大数据仓库的建立、自动化ETL和OLAP分析全过程，系统管理员更多的是通过可视化界面监控各项数据处理任务的完成情况，从而使人工操作和执行成本降至最低。
[0094] 本发明通过Amazon的7层负载均衡器集群、AirFlow on Amazon EC2工作流引擎、Livy监控服务插件、Spark on Amazon EMR并行计算框架、Hive on Amazon EMR大数据仓库、Amazon S3简单存储服务桶、Presto on Amazon EMR的OLAP查询分析引擎、Amazon托管的关系型数据库MySql集成联动，实现了一套智能网联汽车大数据分类存储方案，包括数据仓库建表，车辆大数据从Amazon S3到Amazon EMR Hive的ETL处理，以及车辆大数据从Hive数据仓库被OLAP处理后保存到Amazon托管数据库服务RDB(MySql)历史业务视图的整个数据处理、工作流任务编排、数据处理任务调度监控全过程，为后续的分析、检索和可视化提供技术和数据服务保障。
[0095] 根据服务、组件的高内聚、低耦合和平台抽象化思路，设计和划分不同的服务域和系列服务组件，保证了车辆大数据分析平台具有良好的可扩展性、灵活性。
[0096] 通过Amazon EC2上的AirFlow，在分布式环境下实现了自定义的工作流程任务编排，让数据加工模块20的EMR自动化地、周期性地触发大数据处理任务：一是为原始数据源模块10Amazon S3桶里存储的车辆原始数据做分类整理和正式归档，包括周期性的对Amazon S3临时桶数据加载、数据并行计算、以及将分类处理完的数据回写存储Amazon S3正式桶；二是根据数据分析需求，为数据仓库创建事实表、维度表。然后从异构数据源提取数据，经过加工处理(比如过滤、清洗、降噪等)，将ETL处理后的数据结果生成到数据仓库中；三是周期性触发数据仓库模块50EMR的Presto和汇聚处理服务模块110EMR的Presto，做数据OLAP处理；各业务组件职责单一、分工明确，因此整体技术架构具有良好的可维护性和可扩展性。
[0097] 从技术框架层面，通过自定义方式创建的Amazon EMR Spark集群，让基于Amazon的EMR大数据存储分析系统(Hive/Presto)，能够很好地与Amazon自主研发的S3和DynamoDB中存储的大数据交互，完成各种车辆历史大数据统计分析功能。
[0098] 在设置网络时，将整个计算集群建立在VPC私有子网中，可使Amazon的EMR集群应用能够访问处在DB子网中的ElasticCache和MySql等，进而在保证网络安全的情况下，完成车辆大数据业务分析功能。
[0099] 另外，Amazon的EMR集群设置了三个基本节点，即Master、Core、Task。Master负责Resource Manager，Name Node等控制进程的部署；Core主要负责集群所有数据的部署，可以按需进行扩容；Task不保存数据，主要用作调整集群的计算力，可以按需追加。三种类型的节点采用统一的通用型实例规格硬件配置，根据未来数据进入量，可调整硬件配置。三种节点硬件配置为：4vCore,8GiB memory,EBS only storage，EBS Storage:32GiB；通过这样的硬件和集群配置，保证了EMR环境对大数据处理的能力，可未来的可扩展性。
[0100] 同时，系统开启日志记录功能，将日志数据保存到Amazon的S3路径下，对作业调试和错误排查都有极大的帮助；另外使用EC2key pair完成SSH登录访问的安全配置。
[0101] 至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种数据实时处理系统及数据实时处理方法 | 2020-05-08 | 223 |
| 一种智慧协同网络族群创建的方法和系统 | 2020-05-16 | 919 |
| 密码找回方法、装置、网络设备及计算机可读存储介质 | 2020-05-11 | 171 |
| 控制方法及电子设备 | 2020-05-19 | 730 |
| 构建项目框架的方法、终端设备及计算机可读存储介质 | 2020-05-15 | 183 |
| 基于Kubernetes平台的联盟区块链系统 | 2020-05-17 | 366 |
| 基于修改日志的软件包来源自动分析方法 | 2020-05-19 | 608 |
| 一种网络数据包负载均衡和预解析方法 | 2020-05-19 | 526 |
| 一种基于代码注释自动生成开发文档的方法及系统 | 2020-05-08 | 540 |
| ONU透传模式的配置方法及系统 | 2020-05-18 | 871 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
命令行界面热门专利
QQ群二维码
意见反馈
意见反馈