一种面向海量延时摄影胚胎图像存储与查询的方法及系统专利检索-子节点节点电信专利检索查询-专利查询网

一种面向海量延时摄影胚胎图像存储与查询的方法及系统

阅读：606发布：2023-12-29

专利汇可以提供一种面向海量延时摄影胚胎图像存储与查询的方法及系统专利检索，专利查询，专利分析的服务。并且本发明提供一种面向海量延时摄影(Time-lapse)胚胎图像存储与查询的方法及系统，所述方法包括：部署Hbase分布式数据存储集群，构建延时摄影胚胎图像存储数据库；接收传感器数据，将延时摄影胚胎图像按照预置文件大小有序的划分为多块；将多块数据顺序插入存储数据库中，并自动补齐图片的综合属性；查询时，将检索到的多个胚胎图像块按照时间戳重新组合；本发明将延时摄影胚胎图像分块存储，不同数据块之间顺序用时间戳标识，实现小文件合并对用户的透明性，采用Hbase作为存储介质，实现海量延时摄影胚胎图像存储场景下的秒级检索。，下面是一种面向海量延时摄影胚胎图像存储与查询的方法及系统专利的具体信息内容。

权利要求

1.一种面向海量延时摄影胚胎图像存储与查询的方法，其特征在于，包括：
步骤1，部署Hbase分布式数据存储集群，构建Time-lapse胚胎图像存储数据库；
步骤2，接收传感器数据，将Time-lapse胚胎图像按照预置文件大小和预先约定顺序划分为多个胚胎图像数据块；
步骤3，将多块胚胎图像数据顺序插入Time-lapse胚胎图像存储数据库的同一列簇中，并补齐图片的综合属性；
步骤4，客户端发起图像查询，将检索到的多个胚胎图像块按照时间戳重新组合，恢复原图像后返回检索结果。
2.根据权利要求1所述的方法，其特征在于，步骤1所述部署Hbase分布式数据存储集群，构建Time-lapse胚胎图像存储数据库包括：
部署开源大数据平台至服务器集群中，并安装Hbase应用服务，将角色合理分配至每一个集群节点；
创建Time-lapse胚胎图像存储数据库，分为image_info和satellite_info两个列簇，其中image_info保存分块后的胚胎图片信息，satellite_info保存胚胎图片的附属综合信息；
设置Time-lapse胚胎图像存储数据库中的image_info列簇的数据块的大小为512KB，satellite_info列簇的数据块大小为256KB；
设置Time-lapse胚胎图像存储数据库预分区项，保证胚胎发育周期内的图像能够全部保存在同一个分区当中。
3.根据权利要求1所述的方法，其特征在于，步骤2所述接收传感器数据，将Time-lapse胚胎图像按照预置文件大小和预先约定顺序划分为多个胚胎图像数据块包括：
从传感器接收胚胎图像数据，按照512KB文件的大小，将胚胎文件划分为多个数据块；
从传感器接收胚胎图像的综合属性，并将综合属性放入对列中；
分块后的多个胚胎图像数据块按照从上至下、从左至右的的顺序放入队列中，等待插入Time-lapse胚胎图像存储数据库；
其中，综合属性与胚胎图像数据块放入对列操作为原子操作。
4.根据权利要求1所述的方法，其特征在于，步骤3所述将多块胚胎图像数据顺序插入Time-lapse胚胎图像存储数据库的同一列簇中，并补齐图片的综合属性包括：
检测队列中包含代插入的数据后，取出一条综合属性，取出多个图像数据块，为该数据分配统一的行键RowKey；
将图像数据块依次插入image_info列簇下不同的列中，Time-lapse胚胎图像存储数据库为每一个图像数据块赋予时间戳，记录图像的插入顺序；
将综合属性插入satellite_info列簇下不同的列中。
5.根据权利要求1所述的方法，其特征在于，步骤4所述将检索到的多个胚胎图像块按照时间戳重新组合，恢复原图像后返回检索结果包括：
根据时间戳信息，将图像块按照先后顺序排列；
将排列好的图像块按照从上至下、从左至右的顺序拼接图像数据块，恢复出原胚胎图像。
6.一种面向海量延时摄影胚胎图像存储与查询的系统，其特征在于，包括：
存储数据库模块，用于部署Hbase分布式数据存储集群，构建Time-lapse胚胎图像存储数据库；
数据划分模块，用于接收传感器数据，将Time-lapse胚胎图像按照预置文件大小和预先约定顺序划分为多个胚胎图像数据块；
数据处理模块，用于将多块胚胎图像数据顺序插入Time-lapse胚胎图像存储数据库的同一列簇中，并补齐图片的综合属性；
客户端查询模块，用于客户发起图像查询，将检索到的多个胚胎图像块按照时间戳重新组合，恢复原图像后返回检索结果。
7.根据权利要求6所述的系统，其特征在于，所述存储数据库模块具体用于：
部署开源大数据平台至服务器集群中，并安装Hbase应用服务，将角色合理分配至每一个集群节点；
创建Time-lapse胚胎图像存储数据库，分为image_info和satellite_info两个列簇，其中image_info保存分块后的胚胎图片信息，satellite_info保存胚胎图片的附属综合信息；
设置Time-lapse胚胎图像存储数据库中的image_info列簇的数据块的大小为512KB，satellite_info列簇的数据块大小为256KB；
设置Time-lapse胚胎图像存储数据库预分区项，保证胚胎发育周期内的图像能够全部保存在同一个分区当中。
8.根据权利要求6所述的系统，其特征在于，所述数据划分模块，具体用于：
从传感器接收胚胎图像数据，按照512KB文件的大小，将胚胎文件划分为多个数据块；
从传感器接收胚胎图像的综合属性，并将综合属性放入对列中；
分块后的多个胚胎图像数据块按照从上至下、从左至右的的顺序放入队列中，等待插入Time-lapse胚胎图像存储数据库；
其中，综合属性与胚胎图像数据块放入对列操作为原子操作。
9.根据权利要求6所述的系统，其特征在于，所述数据处理模块具体用于：
检测队列中包含代插入的数据后，取出一条综合属性，取出多个图像数据块，为该数据分配统一的行键RowKey；
将图像数据块依次插入image_info列簇下不同的列中，Time-lapse胚胎图像存储数据库为每一个图像数据块赋予时间戳，记录图像的插入顺序；
将综合属性插入satellite_info列簇下不同的列中。
10.根据权利要求6所述的系统，其特征在于，所述客户端查询模块具体用于：
根据时间戳信息，将图像块按照先后顺序排列；
将排列好的图像块按照从上至下、从左至右的顺序拼接图像数据块，恢复出原胚胎图像。

说明书全文

一种面向海量延时摄影胚胎图像存储与查询的方法及系统

技术领域

[0001] 本发明大数据存储与检索领域，尤其涉及一种面向海量延时摄影(Time-lapse)胚胎图像存储与查询的方法和系统。

背景技术

[0002] 辅助生殖在现代医学中，获得了飞速的发展。辅助生殖旨在通过对精子、卵细胞、胚胎的人工操作，帮助没有生育能力的夫妇妊娠。该技术包括人工授精和体外受精-胚胎移植。早在上个世纪八十年代我国就已经成功培养出第一个试管婴儿，逐步改善了目前夫妇不孕症状所带来的困扰。虽然经过几十年的发展，辅助生殖技术得到极大发展，选择具有发育潜能的胚胎，提高妊娠率仍是一个极具研究意义的方向。胚胎的发育具有连贯性，质量好的胚胎和异常胚胎，他的发育和运动是不同的，每种类型的胚胎有它的发育和运动规律。形态学方法是一种常见的选择和评估方法，它通过对胚胎发育的特定阶段的形态表现进行综合评分，最终选择高质量的胚胎。

[0003] 传统的培养箱只能在一个时间点观察、或者几个时间点观察、不能连续的观察胚胎或者卵裂球的运动，且内的环境不稳定，在进行形态学观测时需要频繁开关培养箱，使得培养箱内的酸碱度PH值、湿度、温度等重要影响因素发生波动，影响胚胎生长。所获取的样本又难以满足原有的条件，容易获得错误的观测结论。且胚胎发育为一个持续动态的过程，较长的时间间隔观察无疑会忽略掉胚胎发育的详细信息，由于传统方法带来的不确定性，延时摄影(Time-lapse)技术运营而生。Time-lapse技术是一种瞬时曝光连续拍摄的成像技术，观测仪将高分辨率的摄像头与培养箱相结合，对胚胎分裂活动实时动态监测，并且将图像实时传输到存储集群中进行形态学分析。该技术有效避免频繁干扰培养箱内环境，已经成为当下形态学挑选胚胎方法的主流。

[0004] Time-lapse技术为形态学评分方法带来了极大便利，但也为胚胎图像的存储带来了不小的挑战。正常的胚胎发育需要经历受精卵、2细胞、4细胞、8细胞、胚囊过程。该过程均在培养箱中完成，需要5天～6天。一张胚胎图像大小约在2MB～3MB(MB为储存单位，1TB＝1024GB，1GB＝1024MB，1MB＝1024KB)之间，若三分钟记录一次胚胎图像，则整个同一胚胎图像所需要的存储空间至少为4.68GB。较多胚胎培养的情况下，数据量非常容易到达TB级别。
普通的业务数据库难以胜任这一级别存储检索任务。在大数据存储领域，常用的技术有HDFS(Hadoop Distributed File System)分布式文件系统、Hive(基于Hadoop的数据仓库工具)数据仓库和Hbase(基于Hadoop的数据库)列式分布式数据库等。HDFS主要面向大文件的存储，默认分块大小为64MB，若直接将图片文件存储在HDFS分布式文件中，则会导致元数据过多塞满管理文件系统的命名空间NameNode节点，在扩展性和性能方面均存在较大的问题。Hive善于利用存储的数据进行离线联机分析处理，对于频繁检索也具有一定的性能瓶颈。Hbase默认的块大小为64KB，对于不同的业务数据，块大小的合理设置对读写性能有较大影响。

发明内容

[0005] 本发明为解决上述问题，提出了一种面向海量延时摄影胚胎图像存储与查询的方法及系统，本发明提供的方法和系统能使得Time-lapse胚胎图像可以快速、安全、可靠的存储，解决了小文件在传统存储解决方案上的弊端，实现检索的透明性和实时性。

[0006] 根据本发明的一个方面，提供一种面向海量延时摄影胚胎图像存储与查询的方法，包括：

[0007] 步骤1，部署Hbase分布式数据存储集群，构建Time-lapse胚胎图像存储数据库；

[0008] 步骤2，接收传感器数据，将Time-lapse胚胎图像按照预置文件大小和预先约定顺序划分为多个胚胎图像数据块；

[0009] 步骤3，将多块胚胎图像数据顺序插入Time-lapse胚胎图像存储数据库的同一列簇中，并补齐图片的综合属性；

[0010] 步骤4，客户端发起图像查询，将检索到的多个胚胎图像块按照时间戳重新组合，恢复原图像后返回检索结果。

[0011] 根据本发明的另一个方面，提供一种面向海量延时摄影胚胎图像存储与查询的系统，包括：

[0012] 存储数据库模块，用于部署Hbase分布式数据存储集群，构建Time-lapse胚胎图像存储数据库；

[0013] 数据划分模块，用于接收传感器数据，将Time-lapse胚胎图像按照预置文件大小和预先约定顺序划分为多个胚胎图像数据块；

[0014] 数据处理模块，用于将多块胚胎图像数据顺序插入Time-lapse胚胎图像存储数据库的同一列簇中，并补齐图片的综合属性；

[0015] 客户端查询模块，用于客户发起图像查询，将检索到的多个胚胎图像块按照时间戳重新组合，恢复原图像后返回检索结果。

[0016] 本发明提出的一种面向海量延时摄影胚胎图像存储与查询的方法及系统，利用Hbase解决海量的中等大小胚胎图像存储问题，且优化随机读取，并发写入的性能，结合Time-lapse胚胎图像的大小合理设计块大小，将图像拆分为几个数据块进行存储，检索时从新组合数据块恢复原图像，使中等文件拆分与合并对用户透明，且适当的块大小保证了Hbase的检索效率，解决了大量摄像头传感器高并发写入所带来的问题。附图说明

[0017] 图1是本发明实施例提供的一种面向海量延时摄影胚胎图像存储与查询的方法流程图；

[0018] 图2是本发明实施例提供的一种面向海量延时摄影胚胎图像存储与查询的方法逻辑示意图；

[0019] 图3是是本发明实施例提供的一种面向海量延时摄影胚胎图像存储与查询的系统结构示意图。

具体实施方式

[0020] 下面结合附图和实施例作进一步的详细说明。可以理解的事，此处所描述的具体实例仅用于解释本发明实施例，而非对本发明实施例的限定。另外需要说明的是，为了便于描述，附图仅出示了与本发明实施例相关的部分而非全部结构。

[0021] 图1是本发明实施例提供的一种面向海量延时摄影胚胎图像存储与查询的方法流程图，所述方法包括四个步骤：

[0022] 步骤1，部署Hbase分布式数据存储集群，构建Time-lapse胚胎图像存储数据库；

[0023] 步骤2，接收传感器数据，将Time-lapse胚胎图像按照预置文件大小和预先约定顺序划分为多个胚胎图像数据块；

[0024] 步骤3，将多块胚胎图像数据顺序插入Time-lapse胚胎图像存储数据库的同一列簇中，并补齐图片的综合属性；

[0025] 步骤4，客户端发起图像查询，将检索到的多个胚胎图像块按照时间戳重新组合，恢复原图像后返回检索结果。

[0026] 下面对本发明各个步骤的实施方式进行介绍。

[0027] 步骤1，部署Hbase分布式数据存储集群，构建Time-lapse胚胎图像存储数据库。

[0028] 优选的，步骤1所述部署Hbase分布式数据存储集群，构建Time-lapse胚胎图像存储数据库包括：

[0029] 部署开源大数据平台至服务器集群中，并安装Hbase应用服务，将角色合理分配至每一个集群节点，其中开源大数据平台可以是CDH(Cloudera’s Distribution Including Apache Hadoop，基于Apache Hadoop的Cloudera版本)大数据平台；

[0030] 创建Time-lapse胚胎图像存储数据库，分为image_info和satellite_info两个列簇，其中image_info保存分块后的胚胎图片信息，satellite_info保存胚胎图片的附属综合信息；

[0031] 设置Time-lapse胚胎图像存储数据库中的image_info列簇的数据块的大小为512KB，satellite_info列簇的数据块大小为256KB；

[0032] 设置Time-lapse胚胎图像存储数据库预分区项，保证胚胎发育周期内的图像能够全部保存在同一个分区当中；其中预设分区的每个分区容量可以为468GB，保证的胚胎发育周期可以按照实际需求设定，比如设定为10个胚胎周期。

[0033] 步骤2，接收传感器数据，将Time-lapse胚胎图像按照预置文件大小和预先约定顺序划分为多个胚胎图像数据块；

[0034] 优选的，步骤2所述接收传感器数据，将Time-lapse胚胎图像按照预置文件大小和预先约定顺序划分为多个胚胎图像数据块包括：

[0035] 从传感器接收胚胎图像数据，按照512KB文件的大小，将胚胎文件划分为多个数据块；

[0036] 从传感器接收胚胎图像的综合属性，并将综合属性放入对列中；

[0037] 分块后的多个胚胎图像数据块按照从上至下、从左至右的的顺序放入队列中，等待插入Time-lapse胚胎图像存储数据库；

[0038] 其中，综合属性与胚胎图像数据块放入对列操作可以是原子操作，对综合属性和胚胎图像放入队列的操作不可分割，只能同时成功或同时失败。

[0039] 其中，综合属性与胚胎图像数据可以来自于同一个传感器，也可以来自不同的传感器。综合属性可以包括温度、PH、湿度、培养箱编号等。

[0040] 步骤3，将多块胚胎图像数据顺序插入Time-lapse胚胎图像存储数据库的同一列簇中，并补齐图片的综合属性。步骤3的目的在于监测到对列中存在插入数据后，自动完成数据存储。

[0041] 优选的，步骤3所述将多块胚胎图像数据顺序插入Time-lapse胚胎图像存储数据库的同一列簇中，并补齐图片的综合属性包括：

[0042] 检测队列中包含代插入的数据后，取出一条综合属性，取出多个图像数据块，为该数据分配统一的行键RowKey；

[0043] 将图像数据块依次插入image_info列簇下不同的列中，Time-lapse胚胎图像存储数据库为每一个图像数据块赋予时间戳，记录图像的插入顺序；

[0044] 将综合属性插入satellite_info列簇下不同的列中。

[0045] 步骤4，客户端发起图像查询，将检索到的多个胚胎图像块按照时间戳重新组合，恢复原图像后返回检索结果。

[0046] 优选的，客户端发起检索请求，客户端从Time-lapse胚胎图像存储数据库中检索到满足检索要求的多个胚胎图像数据块后，根据每个数据块的时间戳信息，按照从上至下，从左至右的顺序拼接在一起恢复原图像，并作为检索结果返回到客户端。

[0047] 优选的，步骤4所述将检索到的多个胚胎图像块按照时间戳重新组合，恢复原图像后返回检索结果包括：

[0048] 根据时间戳信息，将图像块按照先后顺序排列；

[0049] 将排列好的图像块按照从上至下、从左至右的顺序拼接图像数据块，恢复出原胚胎图像。

[0050] 本发明实施例提供的方法在Time-lapse胚胎图像存储数据库部署成功后，通过步骤2至步骤4的处理或者步骤2至4的循环处理，可自动完成Timpe-lapse图像的收集、分割存储、检索还原等，有效解决了Time-lapse胚胎图像在传统存储解决方案上的弊端，实现检索的透明性和实时性。

[0051] 图2是本发明实施例提供的一种面向海量延时摄影胚胎图像存储与查询的方法逻辑示意图，从多种传感器接收胚胎图像数据，胚胎综合属性数据。将图像数据和综合属性存储到Hbase Time-lapse胚胎图像数据库中。将划分后的多块胚胎图像存储于image_info列簇下的不同列中，分别是image_1到image_4，对应的时间戳为timestamp1到timestamp4。将综合属性存放于satellite_info列簇下的不同列中，该综合属性为温度temperature，数值为37.5摄氏度。客户端发起检索请求时，从Hbase Time-lapse胚胎图像数据库中取出综合数据放入satellite_info列簇，取出多个图像数据放入image_info列簇。根据每个数据块的时间戳信息，按照从上至下，从左至右的顺序拼接在一起恢复原图像，并作为检索结果返回到客户端。图2中RowKey为行键，split、combine、output分别表示划分、合并、输出操作。

[0052] 图3是本发明实施例提供的一种面向海量延时摄影胚胎图像存储与查询的系统结构图，所述系统包括四个模块：

[0053] 存储数据库模块1，用于部署Hbase分布式数据存储集群，构建Time-lapse胚胎图像存储数据库；

[0054] 数据划分模块2，用于接收传感器数据，将Time-lapse胚胎图像按照预置文件大小和预先约定顺序划分为多个胚胎图像数据块；

[0055] 数据处理模块3，用于将多块胚胎图像数据顺序插入Time-lapse胚胎图像存储数据库的同一列簇中，并补齐图片的综合属性；

[0056] 客户端查询模块4，用于客户发起图像查询，将检索到的多个胚胎图像块按照时间戳重新组合，恢复原图像后返回检索结果。

[0057] 下面对本发明的各个模块的实施方式进行介绍。

[0058] 存储数据库模块1，用于部署Hbase分布式数据存储集群，构建Time-lapse胚胎图像存储数据库。

[0059] 优选的，存储数据库模块1，具体用于：

[0060] 部署开源大数据平台至服务器集群中，并安装Hbase应用服务，将角色合理分配至每一个集群节点，其中开源大数据平台可以是一种CDH大数据平台；

[0061] 创建Time-lapse胚胎图像存储数据库，分为image_info和satellite_info两个列簇，其中image_info保存分块后的胚胎图片信息，satellite_info保存胚胎图片的附属综合信息；

[0062] 设置Time-lapse胚胎图像存储数据库中的image_info列簇的数据块的大小为512KB，satellite_info列簇的数据块大小为256KB；

[0063] 设置Time-lapse胚胎图像存储数据库预分区项，保证胚胎发育周期内的图像能够全部保存在同一个分区当中。

[0064] 数据划分模块2，用于接收传感器数据，将Time-lapse胚胎图像按照预置文件大小和预先约定顺序划分为多个胚胎图像数据块。

[0065] 优选的，数据划分模块2，具体用于：

[0066] 从传感器接收胚胎图像数据，按照512KB文件的大小，将胚胎文件划分为多个数据块；

[0067] 从传感器接收胚胎图像的综合属性，并将综合属性放入对列中；

[0068] 分块后的多个胚胎图像数据块按照从上至下、从左至右的的顺序放入队列中，等待插入Time-lapse胚胎图像存储数据库；

[0069] 其中，综合属性与胚胎图像数据块放入对列操作为原子操作，对综合属性和胚胎图像放入队列的操作不可分割，只能同时成功或同时失败。

[0070] 数据处理模块3，用于将多块胚胎图像数据顺序插入Time-lapse胚胎图像存储数据库的同一列簇中，并补齐图片的综合属性。

[0071] 优选的，数据处理模块3，具体用于：

[0072] 检测队列中包含代插入的数据后，取出一条综合属性，取出多个图像数据块，为该数据分配统一的行键RowKey；

[0073] 将图像数据块依次插入image_info列簇下不同的列中，Time-lapse胚胎图像存储数据库为每一个图像数据块赋予时间戳，记录图像的插入顺序；

[0074] 将综合属性插入satellite_info列簇下不同的列中。

[0075] 客户端查询模块4，用于客户发起图像查询，将检索到的多个胚胎图像块按照时间戳重新组合，恢复原图像后返回检索结果。

[0076] 优选的，客户端查询模块4，具体用于：

[0077] 根据时间戳信息，将图像块按照先后顺序排列；

[0078] 将排列好的图像块按照从上至下、从左至右的顺序拼接图像数据块，恢复出原胚胎图像。

[0079] 本发明实施例提供的系统在Time-lapse胚胎图像存储数据库部署成功后，通过在各个模块的处理或者模块间的循环处理，可自动完成Timpe-lapse图像的收集、分割存储、检索还原等，有效解决了Time-lapse胚胎图像在传统存储解决方案上的弊端，实现检索的透明性和实时性。

[0080] 以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

标题	发布/更新时间	阅读量
一种基于图数据库的建筑设计规范知识图谱构建方法	2020-05-08	337
参考信号资源的分配方法及装置	2020-05-11	459
一种输电断面热稳定功率极限区间识别方法及系统	2020-05-08	992
存储系统中的节点扩容方法和存储系统	2020-05-11	654
一种基于贝叶斯估计和种子节点邻居集合的链路预测方法	2020-05-08	662
冗余协议数据单元会话的配置方法及装置	2020-05-11	686
区块链网络构建方法、装置及区块链网络系统	2020-05-08	134
主体关系网络的生成方法和装置、电子设备和存储介质	2020-05-08	290
物联网设备的管理方法、装置、服务器及存储介质	2020-05-08	950
直播视频的回看方法、装置、电子设备、系统及存储介质	2020-05-08	510

一种面向海量延时摄影胚胎图像存储与查询的方法及系统

一种面向海量延时摄影胚胎图像存储与查询的方法及系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：