搜索 分析 新世界 法规 图书 网址导航 更多
高级用户登录 | 登录 | |

一种实时更正数据的存储与缓存读取方法
审中-实审

申请号:201710149222.3 申请日:2017-03-14
摘要:本发明涉及一种大规模实时更正数据的存储与缓存读取方法,属于计算机数据管理技术领域。本发明面向工业物联网、气象信息网中出现的一类重要的实时更正数据,数据读取以按时间维度的批量读取为主,数据量大且需要进行实时更正。本发明方法实现数据存储、数据直接读取与数据缓存读取,既能快速返回数据,又支持更正数据的实时更新,并通过缓存提升用户获取速度的时间。本发明克服了目前的分布式系统中广泛存在的大规模实时更正数据存储和读取性能无法达到要求的难题,方法直观有效、便于使用。
申请人: 清华大学
地址: 100084 北京市海淀区清华园********(隐藏)
发明(设计)人: 王建民 黄向东 董一峰 龙明盛
主分类号: G06F17/30(2006.01)I
分类号: G06F17/30(2006.01)I
  • 法律状态
2017-08-08  实质审查的生效 IPC(主分类):G06F 17/30申请日:20170314
2017-07-14  公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
  • 其他信息
主权项  1.一种实时更正数据的存储与缓存读取方法,其特征在于该方法包括以下步骤:
(1)数据存储,具体步骤如下:
(1-1)建立数据存储表T1和更新数据存储表T2,所述的数据存储表T1用于存储设定时刻 下的数据,数据存储表T1以该设定时刻为主键或索引项,数据存储表T1中相邻数据的时刻间 隔为Tt,存储数据的有效时间为Tm,所述的更新数据存储表T2用于存储对数据存储表T1中存 储的数据进行更新的信息,以数据的更新时刻tu为主键或索引项;
(1-2)按照时刻间隔Tt,获取当前时刻tc的待处理实时数据,将当前时刻tc获取的待处 理实时数据存成一个文件,以文件形式存放在T1表中,同时删除数据存储表T1和更新数据存 储表T2中数据获取时刻小于tc-Tm的数据;
(1-3)获取更新的数据,若数据的更新时刻tu大于tc-Tm,则把新数据存储在更新数据存 储表T2中;
(2)数据读取,具体步骤如下:
数据直接读取:
(2-1)从数据存储表T1中读取设定时刻ta的数据D1
(2-2)从更新数据存储表T2读取设定时刻ta的更新数据D2
(2-3)用更新数据D2中的更新数据替代数据D1中相对应的数据;
(2-4)将读取数据D1返回用户;
或数据缓存读取:
(2-5)建立一个预读取队列Qc和一个缓存C1,其中预读取队列Qc存储缓存时刻,缓存C1用 于存储该缓存时刻的数据;
(2-6)从缓存C1中读取设定时刻ta的数据,判断缓存C1中是否存在设定时刻ta的数据,若 设定时刻ta的数据在缓存C1中,则读取缓存C1中设定时刻ta的数据,返回给用户,进行步骤 (2-11),若设定时刻ta的数据不在缓存C1中,则进行步骤(2-7);
(2-7)从数据存储表T1中读取设定时刻ta的数据D1
(2-8)从更新数据存储表T2读取设定时刻ta的更新数据D2
(2-9)用更新数据D2中的更新数据替代数据D1中相对应的数据,记更新后的数据为D1
(2-10)将上述步骤(2-9)中更新后的数据D1返回给用户,并将数据D1存入缓存C1中,进 行步骤(2-11);
(2-11)将设定时刻ta的前、后在时段(ta-Tn)~(ta+Tn)内的所有时刻放入预读取队列 Qc,其中Tn为一个设定时段,取值为上述步骤(1-1)中时刻间隔Tt的2~5倍;
(2-12)对预读取队列Qc进行判断,若预读取队列Qc为空,则进行步骤(2-18),若预读取 队列Qc不为空,则进行步骤(2-13);
(2-13)对预读取队列Qc中的每一个缓存时刻tg进行判断,若与缓存时刻tg相对应的数 据不在缓存C1中,且缓存时刻tg在时段(ta-Tn)~(ta+Tn)中,则进行步骤(2-14),若与缓存时 刻tg相对应的数据不在缓存C1中,且缓存时刻tg不在时段(ta-Tn)~(ta+Tn),或与缓存时刻tg 相对应的数据在缓存C1中,且缓存时刻tg在时段(ta-Tn)~(ta+Tn),或与缓存时刻tg相对应 的数据在缓存C1中,且缓存时刻tg不在时段(ta-Tn)~(ta+Tn),则进行步骤(2-18);
(2-14)从数据存储表T1中读取设定时刻tg的数据D1
(2-15)从更新数据存储表T2读取设定时刻tg的更新数据D2
(2-16)用更新数据D2中的更新数据替代数据D1中相对应的数据;
(2-17)将更新后的设定时刻tg的数据D1存入缓存C1中;
(2-18)遍历缓存C1中的所有数据,对与该数据相对应的时刻进行判断,若该数据时刻不 在(ta-Tn)~(ta+Tn)中,则在缓存C1中删除该数据,若该数据时刻在(ta-Tn)~(ta+Tn)中,则 在缓存C1中保留该数据。
公开号  106951490A
公开日  2017-07-14
专利代理机构  北京清亦华知识产权代理事务所(普通合伙) 11201
代理人  罗文群
颁证日  
优先权  
国际申请  
国际公布  
进入国家日期