专利汇可以提供基于缓冲池的数据缓存排序在线处理方法专利检索,专利查询,专利分析的服务。并且基于缓冲池的数据缓存排序在线处理方法,属于互联网领域,为了解决目前常见的多线程下载 软件 对于下载数据乱序和重复的节目批量并发下载,不能实现基于内存的下载数据在线缓存、排序和去重,因而无法支持实时在线的识别、检索等处理的问题。本 发明 将所有缓冲区组织成缓冲区池,采用多个缓冲区缓存同一节目的下载数据。在接收节目数据包后,先查询节目的下载日志,若无新数据则丢弃不做任何处理,否则:首先选择合适的节目已有缓冲区接收数据,若无合适缓冲区且允许的情况下, 申请 新缓冲区接收数据;然后更新下载日志;最后调用分析处理模 块 将该缓冲区中排好的数据取走处理。重复上述过程,直至节目下载完成,将节目分配的缓冲区释放到缓冲区池中。?,下面是基于缓冲池的数据缓存排序在线处理方法专利的具体信息内容。
1.基于缓冲池的数据缓存排序在线处理方法,在计算机系统内存中设置缓冲池,缓冲池中设置多个缓冲区,所有缓冲区组织成链表集中管理,其特征在于,为每个节目创建下载日志,用于记录节目已下载数据的偏移量范围,并设置节目的生命周期初始值为k,k为自然数,且k>0,对接收到的节目下载数据进行基于缓冲池的数据缓存排序在线处理方法,包括以下步骤:
步骤一、接收下载模块下载的节目数据包,节目数据包中含有的信息有节目ID、起始地址、字节数、偏移量,
步骤二、查询节目的下载日志,判断所述节目数据包中的数据是否下载过,判断结果为是,则丢弃所述节目数据包不做任何处理,返回步骤一接收下一个节目数据包;
判断结果为否,执行步骤三;
步骤三、获取所述节目数据包的信息,并写入下载日志,计算节目数据包中的下载数据与所有缓冲区的距离中的最小距离iMinDist,最小距离对应的缓冲区命名为PInBuffer;
步骤四、判断条件iMinDist<0是否成立,
判断结果为是,执行步骤七,
判断结果为否,执行步骤五;
步骤五、判断iMinDist是否大于缓冲区申请阈值,且节目拥有的缓冲区数小于缓冲区数量上限,
判断结果为是,则执行步骤六;
判断结果为否,则丢弃所述节目数据包不做任何处理,返回步骤一接收下一个节目数据包;
步骤六、申请新的缓冲区,并且做如下赋值:PInBuffer=新申请缓冲区;
步骤七、将所述节目数据包中的新数据存入缓冲区PInBuffer中,并返回缓冲区PInBuffer中第一块连续数据的字节数、首字节指针,将节目数据包中的下载数据的偏移量范围记录到该节目的下载日志中,并将节目生命期重新置为初始值k;
步骤八、调用分析处理程序,从缓冲区PInBuffer中将排好序的连续字节数据取出,分析处理程序返回取出的字节数m;
步骤九、判断条件m>0是否成立,
判断结果为是,执行步骤十,
判断结果为否,结束本次操作,返回步骤一接收下一个节目数据包;
步骤十、删除缓冲区PInBuffer中的前m个字节数据,并更新缓冲区PInBuffer的状态信息;
重复执行步骤一至步骤十,同时系统周期的将节目的生命周期做减法操作,直至该节目的生命周期小于等于0,表示该节目下载完毕,释放该节目所占用的缓冲区,完成对该节目的数据缓存排序的在线处理。
2.根据权利要求1所述的基于缓冲池的数据缓存排序在线处理方法,其特征在于,获取所述节目数据包与所有缓冲区的距离中的最小距离iMinDist的过程为:
按如下公式计算节目数据包与每个缓冲区块的距离Dist :
Dist=min(数据包偏移量+数据包长度-缓冲区原始偏移量,
数据包偏移量-缓冲区目前偏移量-缓冲区长度),
其中,
缓冲区原始偏移量:是指缓冲区刚刚申请到时,所保存的第一个数据包的偏移量,即,缓冲区获取后保存的第一个字节数据的偏移量;
缓冲区目前偏移量:是指目前缓冲区中第一个字节数据对应的偏移量,
将数据包与每个缓冲区块的距离Dist 中的最小值作为节目数据包与所有缓冲区的距离中的最小距离iMinDist。
3.根据权利要求1所述的基于缓冲池的数据缓存排序在线处理方法,其特征在于,步骤五缓冲区数量上限的设置方法为:
缓冲区数量上限= ,
其中, 为大于1的系数,并根据缓冲池利用率动态调整其数值。
4.根据权利要求3所述的基于缓冲池的数据缓存排序在线处理方法,其特征在于,的动态调整过程为:
当缓冲池利用率η 小于阈值 时,按一定幅度增加 的数值,如5%~50%;
当缓冲池利用率η 超过阈值 时,按一定幅度减小 的数值,如10%~50%;
其中,缓冲池利用率η 按如下公式计算:
,
阈值 的数值取0.6~0.9。
5.根据权利要求1所述的基于缓冲池的数据缓存排序在线处理方法,其特征在于,步骤六申请新的缓冲区的方法为:
从缓冲池中缓冲区链表的头部或尾部取下一个缓冲区作为节目下载数据的新的缓冲区。
6.根据权利要求1所述的基于缓冲池的数据缓存排序在线处理方法,其特征在于,释放该节目所占用的缓冲区的方法为:
当一个节目下载、处理完毕,将该节目申请的所有缓冲区依次挂到缓冲池中缓冲区链表的尾部或头部。
7.根据权利要求1所述的基于缓冲池的数据缓存排序在线处理方法,其特征在于,将所述节目数据包中的下载数据存入缓冲区PInBuffer中的过程为:
步骤a、判断节目数据包的数据与缓冲区PInBuffer内已有数据是否不连续,即是否存在空白块,
判断结果为是,则记录空白块的起始位置和长度,然后分别执行步骤b和步骤c,判断结果为否,则执行步骤d,再执行步骤f,
步骤b、判断节目数据包中的数据与缓冲区PInBuffer内的已有的空白块是否有交叠,判断结果为是,则修正相应空白块的位置和长度,然后执行步骤d,
判断结果为否,则执行步骤d,
步骤c、判断节目数据包中的数据是否覆盖缓冲区PInBuffer内的已有的空白块,判断结果为是,删除该空白块,然后执行步骤d,
判断结果为否,执行步骤d,
步骤d、将所述节目数据包写入缓冲区PInBuffer内,
步骤e、在缓冲区PInBuffer中具有空白块的情况下,判断缓冲区PInBuffer的空闲率是否小于空闲率阈值下限BufFull1,BufFull1取50%~85%,
判断结果为是,将第一个空白块和第一块空白块之前的数据移出缓冲区PInBuffer,结束本次操作,判断结果为否,结束本次操作,
步骤f、在缓冲区PInBuffer中无空白块的情况下,判断缓冲区PInBuffer的空闲率是否小于空闲率阈值上限BufFull2,BufFull2取90%~95%,
判断结果为是,将缓冲区PInBuffer中的前h 个字节数据移除,结束本次操作,判断结果为否,结束本次操作,
其中,h按如下公式计算:
,
上式中的c为比例系数阈值,满足如下关系:
,
BufFull2满足条件:
。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
一种计算机网络技术路标指示牌 | 2020-05-14 | 1 |
一种基于引文网络社区发现的数据推荐方法 | 2020-05-21 | 1 |
Interactive action figures for gaming system | 2021-01-03 | 0 |
Angular distance calculation for BGP best path selection | 2021-07-26 | 1 |
INSTANT MESSAGING APPLICATIONS IN SECURITY SYSTEMS | 2022-11-07 | 0 |
Point-To-Point Communication Using UPnP Protocol | 2024-02-12 | 0 |
计算机网络MAC表演示教学装置 | 2020-08-15 | 1 |
SYSTEM AND METHOD FOR ANALYZING UNATHORIZED INTRUSION INTO A COMPUTER NETWORK | 2020-10-25 | 0 |
PROFILE ENRICHMENT | 2020-08-25 | 0 |
DIVERSE PATHS USING A SINGLE SOURCE ROUTE IN COMPUTER NETWORKS | 2021-07-28 | 1 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。