技术领域
[0001] 本
发明涉及大数据技术领域，尤其涉及一种基于大数据的文件传输方法、装置、设备和存储介质。
背景技术
[0002] 随着分布式系统
基础架构(hadoop)应用越来越广泛，分布式文件系统(Hadoop Distributed File System，HDFS)上的数据和linux
服务器上的数据传输的需求越来越急迫，有多种方式可以实现把HDFS上的数据下载到本地，把本地的数据上载到HDFS上去，如把HDFS dfs–put，HDFS dfs–get等HDFS shell命令封装成脚本可以实现需求。
[0003] 但是现有的多种方式均含有如下弊端：不能友好的支持根据需求做的配置化；不符合安全规范，不允许所有的用户使用HDFS shell命令去上载和下载等。
发明内容
[0004] 有鉴于此，有必要针对HDFS与linux服务器之间上载下载数据出现的问题，提供一种基于大数据的文件传输方法及相关设备。
[0005] 一种基于大数据的文件传输方法，包括：
[0006] 接收用户启动的任务
请求，获取所述任务请求中的配置参数，通过所述配置参数确定任务类型，所述任务类型包括上载任务和下载任务；
[0007] 获取源文件，将所述源文件分发到预设的临时目录中存储，得到目标文件，对存储在临时目录中的所述目标文件进行校验；
[0008] 若校验失败，则终止任务，返回失败提示；
[0009] 若校验成功，则向目标服务器发起所述任务类型对应的任务请求，将所述目标文件分发到所述目标服务器中。
[0010] 一种可能的设计中，所述接收用户启动的任务请求，包括：
[0011] 通过预设的任务调度工具接收用户启动的任务请求，搜索是否存在与所述任务请求相同的已有任务，若存在，则结束所述已有任务对应的子
进程后，开启任务请求对应的
子进程，若不存在，则直接开启任务请求对应的子进程。
[0012] 一种可能的设计中，所述获取所述任务请求中的配置参数，通过配置参数确定任务类型，包括：
[0013] 获取任务请求中的配置参数，对所述配置参数进行格式验证；
[0014] 若验证失败，则返回失败提示，若验证通过，则解析配置参数，得到包括任务类型、服务器的IP列表、文件拥有者和文件所在目录在内的参数。
[0015] 一种可能的设计中，所述获取源文件，将所述源文件分发到预设的临时目录中存储，得到目标文件，对存储在临时目录中的所述目标文件进行校验，包括：
[0016] 若所述任务类型是上载任务，则通过所述配置参数读取所述源文件，若所述任务类型是下载任务，则直接从分布式文件系统中读取所述源文件；
[0017] 将读取的所述源文件存储于预设的临时目录中，得到目标文件；
[0018] 获取所述目标文件的文件大小及文件名称，将所述文件大小和所述文件名称分别与所述源文件的文件大小及文件名称进行比较，若所述目标文件的文件大小与所述源文件的文件大小一致，且所述目标文件的文件名称与所述源文件的文件名称均一致，则校验成功，否则校验失败。
[0019] 一种可能的设计中，所述若所述任务类型是上载任务，通过所述配置参数读取所述源文件，包括：
[0020] 通过所述配置参数中的服务器的IP列表、文件拥有者、文件所在目录确定源文件
位置后，读取所述源文件；
[0021] 若读取所述源文件失败，则从备份服务器中获取所述源文件。
[0022] 一种可能的设计中，所述若校验成功，则向目标服务器发起所述任务类型对应的任务请求，将所述目标文件分发到所述目标服务器中，包括：
[0023] 通过所述配置参数判断对所述目标文件是否需要压缩解压，若不需要，则直接向目标服务器发起所述任务类型对应的任务请求，并将所述目标文件分发到所述目标服务器中；
[0024] 否则若需要，若所述任务类型是上载任务，将所述目标文件进行解压后，向目标服务器发起所述任务类型对应的任务请求，将解压后的所述目标文件分发到所述目标服务器中；
[0025] 若所述任务类型是下载任务，将所述目标文件进行压缩后，向目标服务器发起所述任务类型对应的任务请求，将压缩后的所述目标文件分发到所述目标服务器中。
[0026] 一种可能的设计中，所述若校验成功，则向目标服务器发起所述任务类型对应的任务请求，将所述目标文件分发到所述目标服务器中，包括：
[0027] 若所述任务类型是上载任务，所述目标服务器为分布式文件系统，所述目标文件直接分发到所述分布式文件系统中；
[0028] 若所述任务类型是下载任务，通过所述配置参数中的服务器的IP列表、文件拥有者、文件所在目录确定目标服务器位置后，将所述目标文件分发到所述目标服务器中，若所述目标文件无法分发到所述目标服务器中，则将所述目标文件同步到备份服务器中。
[0029] 一种基于大数据的文件传输装置，包括：
[0030] 接收请求模
块，用于接收用户启动的任务请求，获取所述任务请求中的配置参数，通过所述配置参数确定任务类型，所述任务类型包括上载任务和下载任务；
[0031] 临时存储模块，用于获取源文件，将所述源文件分发到预设的临时目录中存储，得到目标文件，对存储在临时目录中的所述目标文件进行校验；
[0032] 校验失败模块，用于若校验失败，则终止任务，返回失败提示；
[0033] 传输文件模块，用于若校验成功，则向目标服务器发起所述任务类型对应的任务请求，将所述目标文件分发到所述目标服务器中。
[0034] 一种计算机设备，包括
存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述基于大数据的文件传输方法的步骤。
[0035] 一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述基于大数据的文件传输方法的步骤。
[0036] 上述基于大数据的文件传输方法、装置、设备和存储介质，包括接收用户启动的任务请求，获取所述任务请求中的配置参数，通过所述配置参数确定任务类型，所述任务类型包括上载任务和下载任务；获取源文件，将所述源文件分发到预设的临时目录中存储，得到目标文件，对存储在临时目录中的所述目标文件进行校验；若校验失败，则终止任务，返回失败提示；若校验成功，则向目标服务器发起所述任务类型对应的任务请求，将所述目标文件分发到所述目标服务器中。通过本发明的方法，在用户端和目标服务器之间建立了较好的文件传输通道，从用户端将源文件的数据同步到目标服务器，从目标服务器同步回用户端，实现了安全可靠的数据上载下载功能，上载之前数据可自动解压缩，下载之后数据可自动压缩，既符合安全规范，又支持对文件服务器的参数配置。
附图说明
[0037] 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
[0038] 图1为本发明一个
实施例中的基于大数据的文件传输方法的
流程图；
[0039] 图2为本发明一个实施例中步骤S1的流程图；
[0040] 图3为本发明一个实施例中步骤S2的流程图；
[0041] 图4为本发明一个实施例中步骤S4的流程图；
[0042] 图5为本发明一个实施例中一种文件传输示意图；
[0043] 图6为本发明一个实施例中基于大数据的文件传输装置的结构图。
具体实施方式
[0044] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0045] 本技术领域技术人员可以理解，除非特意
声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的
说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
[0046] 图1为本发明一个实施例中的基于大数据的文件传输方法的流程图，如图1所示，一种基于大数据的文件传输方法，包括以下步骤：
[0047] 步骤S1，确定任务类型：接收用户启动的任务请求，获取任务请求中的配置参数，通过配置参数确定任务类型，任务类型包括上载任务和下载任务。
[0048] 本步骤在源文件服务器和分布式文件系统(HDFS)之间增设文件服务器(Fileserver)，通过文件服务器从源文件服务器将数据同步到分布式文件系统中，从分布式文件系统中将数据同步回源文件服务器。文件服务器作为源文件服务器和分布式文件系统之间的
桥梁，实现数据的上载和下载任务。
[0049] 用户通过源文件服务器的客户端启动任务请求命令，客户端可以部署到集群外或集群内，因此上传时的源
节点、下载时的目标节点可以是集群内或集群外。用户通过客户端在启动任务请求命令时，可以通过任务调度工具(oozie)调度，用户在启动命令后，由任务调度工具发起任务，通过资源管理器(yarn)将任务发到集群任意节点直接执行启动shell命令脚本。脚本执行linux提供的ssh命令，连接到文件服务器发起任务请求，文件服务器接收此任务请求。
[0050] 在一个实施例中，步骤S1中，接收用户启动的任务请求，包括：
[0051] 通过预设的任务调度工具接收用户启动的任务请求，搜索是否存在与任务请求相同的已有任务，若存在，则结束已有任务对应的子进程后，开启任务请求对应的子进程，若不存在，则直接开启任务请求对应的子进程。
[0052] 在进行上载或下载任务之前，还通过搜索任务的方式判断是否存在相同任务，搜索时，采用liunx服务器的ps–ef搜索命令进行进行搜索，若存在相同的任务，则将任务对应已拉起的子进程通过liunx提供的kill-9命令强制杀掉，再拉起此任务对应的子进程。
[0053] 本实施例通过检索任务、强制停止相同任务的方式，防止相同任务重复上载或下载过程中出现数据的冲突等问题引起的数据异常，保证任务的唯一性。
[0054] 在一个实施例中，步骤S1中，获取任务请求中的配置参数，通过配置参数确定任务类型，如图2所示，包括：
[0055] 步骤S101，验证配置参数：获取任务请求中的配置参数，对配置参数进行格式验证。
[0056] 在用户提交的任务请求中包含了配置参数，通过映射把实参赋给形参，这些参数采用预设的shell命令脚本进行非空和格式验证，验证是否符合预设规范的逻辑判断。
[0057] 步骤S102，解析配置参数：若验证失败，则返回失败提示，若验证通过，则解析配置参数，得到包括任务类型、服务器的IP列表、文件拥有者和文件所在目录在内的参数。
[0058] 若配置参数内的数据不符合预设规范或者配置参数为空，则认为任务请求失败或存在
风险，则向任务请求方，如用户的客户端返回失败提示。若验证通过，则需要解析配置参数，本步骤还通过预设的shell命令脚本解析参数，得到服务器的IP列表(srcips)、文件拥有者(srcuser)、文件所在目录(filepath)、任务类型(processtype)、最大带宽(bandwidth)、文件同步时间(triggerdate)。其中任务类型默认提交的任务是下载请求，任务类型为下载任务，当解析得到的processtype参数为upload时则为上载请求，任务类型为上载任务。
[0059] 本实施例在解析任务请求中的配置参数，确定任务类型前，还对配置参数进行非空及格式验证，确保请求的安全性。在验证通过的前提下，通过预设的命令脚本解析出所有的参数，以便于后续根据这些自定义的参数个性化的上载或下载数据，满足用户的个性化需求。
[0060] 步骤S2，临时存储并校验：获取源文件，将源文件分发到预设的临时目录中存储，得到目标文件，对存储在临时目录中的目标文件进行校验。
[0061] 在获取源文件时，文件服务器根据配置参数，分别以任务类型不同，采用不同方式获取源文件。为了符合安全规范，在获取到源文件后，文件服务器对每个用户专
门开辟了一个预设的
指定的临时目录，将源文件暂存到此临时目录中，当确认文件的完整性后，再发起上载或下载请求。
[0062] 本步骤中，在获取源文件前，还读取配置参数中的最大带宽和文件同步时间，在文件同步时间开始，采用本步骤，以最大带宽参数进行带宽限制，获取源文件，进一步实现用户个性化配置，实现文件传输的目的。
[0063] 在一个实施例中，步骤S2，如图3所示，包括：
[0064] 步骤S201，获取源文件：若任务类型是上载任务，则通过配置参数读取源文件，若任务类型是下载任务，则直接从分布式文件系统中读取源文件。
[0065] 其中，若任务类型是上载任务，通过配置参数读取源文件，包括：通过配置参数中的服务器的IP列表、文件拥有者、文件所在目录确定源文件位置后，读取源文件。若读取源文件失败，则从备份服务器中获取源文件。
[0066] 当文件服务器获取的请求是上载请求，任务类型是上载任务时，在获取源文件时，通过解析配置参数后得到的服务器的IP列表、文件拥有者、文件所在目录三个参数，从而得到源文件。
[0067] 在上载请求时，若服务器的IP列表对应的源服务器不可用，则从备份服务器获取源文件。源服务器和备份服务器之间存在映射关系，通过参数srcips得到服务器的IP列表，服务器的IP列表中的参数以逗号分隔，参数的第一个IP为源文件的源服务器，后面通过逗号分隔的为备份服务器。其中，判断源服务器是否可用的方式为：通过执行预设的shell命令脚本刺探
感知文件拥有者是否有权限，源服务器是否可以用，文件所在目录是否存在。
[0068] 当文件服务器获取的请求是下载请求，任务类型是下载任务时，在获取源文件时，直接从分布式文件系统触发的文件作为源文件进行读取。
[0069] 步骤S202，存储目标文件：将读取的源文件存储于预设的临时目录中，得到目标文件。
[0070] 文件服务器为每个用户都预设了独立的文件同步用户(filesyncUser)，开辟对应的指定的临时目录，用以暂存源文件，一旦源文件存储于临时目录中后，此源文件成为目标文件。
[0071] 步骤S203，校验目标文件：获取目标文件的文件大小及文件名称，将文件大小和文件名称分别与源文件的文件大小及文件名称进行比较，若目标文件的文件大小与源文件的文件大小一致，且目标文件的文件名称与源文件的文件名称均一致，则校验成功，否则校验失败。
[0072] 文件的完整性通过对文件大小及文件名称的一致性校验完成：分别获取存放在临时目录中的目标文件的文件大小及文件名称，源文件的文件大小及文件名称，将分别文件大小和文件名称进行比对，若文件大小和文件名称都一致，则通过校验。
[0073] 本实施例通过配置文件确定的任务类型，采用不同方式获取源文件，且根据不同用户开辟不同临时目录来确保整个文件传输符合安全规范，在源文件的源服务器不可用时，还配置了备份服务器来确保获取到源文件。在对目标服务器进行请求之前，还对临时目录中的目标文件进行校验，进一步确保了需要传输的文件的安全性。
[0074] 步骤S3，校验失败提示：若校验失败，则终止任务，返回失败提示。
[0075] 当目标文件的文件件大小及文件名称和源文件的文件大小及文件名称中任一一项不一致，或两项都不一致时，认为校验失败，存在存储风险或数据异常，此时，可以通过任务调度工具终止此任务，并向用户返回失败提示。
[0076] 步骤S4，传输目标文件：若校验成功，则向目标服务器发起任务类型对应的任务请求，将目标文件分发到目标服务器中。
[0077] 文件服务器只有在目标文件的文件大小及文件名称和源文件的文件大小及文件名称完全一致的情况下，才对目标服务器发起任务类型对应的任务请求，若任务类型为上载任务，则任务请求是上载请求，若任务类型为下载任务，则任务请求是下载请求。
[0078] 其中，任务类型是上载任务时，目标服务器为分布式文件系统，目标文件直接分发到分布式文件系统中。即目标文件需要上载到从分布式文件系统触发的目录中。
[0079] 任务类型是下载任务时，通过配置参数中的服务器的IP列表、文件拥有者、文件所在目录确定目标服务器位置后，将目标文件分发到目标服务器中，若目标文件无法分发到目标服务器中，则将目标文件同步到备份服务器中。
[0080] 与上载请求获取源文件类似的，在下载任务过程中，若服务器的IP列表对应的目标服务器不可用，则将目标文件同步到备份服务器中。目标服务器和备份服务器之间存在映射关系，通过参数srcips得到服务器的IP列表，服务器的IP列表中的参数以逗号分隔，参数的第一个IP为目标文件的目标服务器，后面通过逗号分隔的为备份服务器。其中，判断目标服务器是否可用的方式为：通过执行预设的shell命令脚本刺探感知文件拥有者是否有权限，目标服务器是否可以用，文件所在目录是否存在。
[0081] 在一个实施例中，步骤S4，如图4所示，还包括：
[0082] 步骤S401，判断压缩参数：通过配置参数判断对目标文件是否需要压缩解压，若不需要，则直接向目标服务器发起任务类型对应的任务请求，并将目标文件分发到目标服务器中。
[0083] 在对目标服务器发起任务请求前，文件服务器还对目标文件是否需要压缩或解压进行判断，在步骤1)中配置参数中还包括压缩后缀(compresspostfix)参数，若存在此参数，如compresspostfix：gz，则认为需要压缩或解压缩，若此参数为空，则任务不需要压缩或解压缩，文件服务器不做其他工作，直接向目标服务器进行任务请求即可。
[0084] 步骤S402，上载任务时的解压：否则若需要，若任务类型是上载任务，将目标文件进行解压后，向目标服务器发起任务类型对应的任务请求，将解压后的目标文件分发到目标服务器中。
[0085] 若需要压缩解压，在上载任务时，将目标文件进行解压缩后存储到分布式文件系统中。例如，当配置参数中的compresspostfix：gz，表示将gz压缩的目标文件进行解压缩后存储入分布式文件系统触发目录中。
[0086] 步骤S403，下载任务时的压缩：若任务类型是下载任务，将目标文件进行压缩后，向目标服务器发起任务类型对应的任务请求，将压缩后的目标文件分发到目标服务器中。
[0087] 若需要压缩解压，在下载任务时，将目标文件进行压缩后进行存储。例如，当配置参数中的compresspostfix：gz，表示从分布式文件系统下载的目标文件，压缩成gz格式的压缩文件后，存储到服务器的IP列表、文件拥有者、文件所在目录这三个配置参数确定的目标服务器中。
[0088] 上述压缩和解压缩的格式可以是.tar.gz、.tar、.gz、.zip、.tgz等格式，实现上载之前自动解压缩，下载之后可以自动压缩的目的。本实施例通过读取解析后的配置参数，确定对目标文件是否进行压缩或解压缩，为用户提供了更多的个性化配置。
[0089] 在一个实施例中，如图5所示，文件服务器通过任务调度工具进行任务的调度和开启。上载任务时，文件服务器从源文件服务器指定的目录中将源文件安全复制(secure copy，SCP)到指定临时目录中，得到目标文件，对目标文件进行校验后，上载到分布式文件系统上。下载任务时，文件服务器从分布式文件系统中将源文件下载到指定临时目录中，得到目标文件，通过安全复制分发到目标服务器上。
[0090] 本实施例基于大数据的文件传输方法，通过在源文件服务器和分布式文件系统之间增设文件服务器的方式，通过文件服务器实现两者的同步，在同步过程中，用户可进行个性化配置，根据配置参数不同，文件服务器进行压缩或解压缩、限制文件传输带宽、确定文件传输时间等个性化操作。文件服务器还通过开辟专门的用户临时目录，实现shell命令的上载和下载工作，使本发明符合安全规范。在源文件服务器或目标文件服务器无法使用时，通过备份服务器，确保同步的
稳定性。
[0091] 在一个实施例中，提出了一种基于大数据的文件传输装置，如图6所示，包括：
[0092] 接收请求模块，用于接收用户启动的任务请求，获取任务请求中的配置参数，通过配置参数确定任务类型，任务类型包括上载任务和下载任务；
[0093] 临时存储模块，用于获取源文件，将源文件分发到预设的临时目录中存储，得到目标文件，对存储在临时目录中的目标文件进行校验；
[0094] 校验失败模块，用于若校验失败，则终止任务，返回失败提示；
[0095] 传输文件模块，用于若校验成功，则向目标服务器发起任务类型对应的任务请求，将目标文件分发到目标服务器中。
[0096] 在一个实施例中，提出了一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行计算机可读指令时实现上述各实施例的基于大数据的文件传输方法中的步骤。
[0097] 在一个实施例中，提出了一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例的基于大数据的文件传输方法中的步骤。其中，存储介质可以为非易失性存储介质。
[0098] 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的
硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：
只读存储器(ROM，Read Only Memory)、
随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
[0099] 以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0100] 以上所述实施例仅表达了本发明一些示例性实施例，其描述较为具体和详细，但并不能因此而理解为对本发明
专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干
变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附
权利要求为准。
