分布式数据库在气象大数据云平台中的应用与扩容研究.pdf
《分布式数据库在气象大数据云平台中的应用与扩容研究.pdf》由会员分享,可在线阅读,更多相关《分布式数据库在气象大数据云平台中的应用与扩容研究.pdf(4页珍藏版)》请在文库网上搜索。
1、第期气 象 水 文 海 洋 仪 器N o 年月M e t e o r o l o g i c a l,H y d r o l o g i c a l a n dM a r i n e I n s t r u m e n t sS e p 收稿日期:基金项目:年甘肃省气象大数据云平台本地化应用项目(G S Q X S J )和 年甘肃省气象大数据支持与服务创新团队项目(G S Q X C X T D )资助.作者简介:许竹霞(),女,硕士,高级工程师.主要从事气象信息技术与气象数据处理工作.分布式数据库在气象大数据云平台中的应用与扩容研究许竹霞,张卫卫,刘昊,牛喆(甘肃省气象信息与技术装备保障中
2、心,兰州 )摘要:针对气象数据存储难扩展、单点故障等问题,文章采用分布式关系型数据库、分布式分析型数据库和分布式表格型数据库,建立了分布式气象数据存储系统.通过对比分析分布式数据库与传统数据库访问性能的差异,发现分布式数据库的访问时效显著高于传统数据库;分布式虚谷数据库在扩容期间可完成数据实时入库并通过数据服务接口进行数据访问,实时业务不受影响,能有效满足气象数据实时服务的要求.关键词:分布式数据库;虚谷数据库;G B a s e a数据库;数据库扩容中图分类号:P 文献标识码:A文章编号:X()R e s e a r c ho nt h ea p p l i c a t i o na n d
3、e x p a n s i o no fd i s t r i b u t e dd a t a b a s e i nm e t e o r o l o g i c a l b i gd a t ac l o u dp l a t f o r mX uZ h u x i a,Z h a n gW e i w e i,L i uH a o,N i uZ h e(G a n s uM e t e o r o l o g i c a lI n f o r m a t i o na n dT e c h n i c a lE q u i p m e n tS u p p o r tC e n t e
4、 r,L a n z h o u )A b s t r a c t:A i m i n ga t t h ep r o b l e m so fd i f f i c u l te x p a n s i o na n ds i n g l ep o i n t f a i l u r eo fm e t e o r o l o g i c a ld a t as t o r a g e,t h i sp a p e re s t a b l i s h e sad i s t r i b u t e dm e t e o r o l o g i c a ld a t as t o r a g
5、 es y s t e mb yu s i n gd i s t r i b u t e dr e l a t i o n a ld a t a b a s e,d i s t r i b u t e da n a l y t i c a ld a t a b a s ea n dd i s t r i b u t e dt a b u l a rd a t a b a s e B yc o m p a r i n ga n da n a l y z i n gt h ed i f f e r e n c eo f a c c e s sp e r f o r m a n c eb e t w
6、 e e nd i s t r i b u t e dd a t a b a s e a n d t r a d i t i o n a l d a t a b a s e,i ti s f o u n dt h a tt h ea c c e s st i m eo fd i s t r i b u t e dd a t a b a s ei ss i g n i f i c a n t l yh i g h e rt h a nt h a to ft r a d i t i o n a ld a t a b a s e T h ed i s t r i b u t e dX u g ud
7、a t a b a s ec a nc o m p l e t er e a l t i m ed a t as t o r a g ea n dd a t aa c c e s st h r o u g ht h ed a t as e r v i c e i n t e r f a c ed u r i n g t h ee x p a n s i o np e r i o d,a n d t h e r e a l t i m eb u s i n e s s i sn o t a f f e c t e d,w h i c hc a ne f f e c t i v e l ym e
8、e t t h er e q u i r e m e n t so f r e a l t i m em e t e o r o l o g i c a l d a t as e r v i c e K e yw o r d s:d i s t r i b u t e dd a t a b a s e;X u g ud a t a b a s e;G B a s e ad a t a b a s e;d a t a b a s ee x p a n s i o n引言气象数据是气象预报、服务和科研等业务开展的基础.随着气象信息化技术、气象探测技术等的发展,气象数据的种类和数量越来越多,甘肃省气
9、象信息中心每日接收存储的数据量大约为 G .陈晴等 进行气象大数据存储的分析探讨,认为解决好气象数据存储问题是气象数据应用的关键环节之一.年,集气象数据收集、加工处理、存储管理和共享于一体的全国综合气象信息共享平台在甘气 象 水 文 海 洋 仪 器S e p 肃省气象局正式业务化运行,随着气象数据爆发式增长,用户访问量急剧增加,传统的集中式存储架构的性能已无法满足气象数据存储需求.随着信息技术发展及应用水平不断提高,云计算、大数据的广泛应用为气象数据服务开拓了新的思路和方向,沈文海认为建立分布式的存储环境支撑气象业务是气象信息化发展的必由之路.年国家气象信息中心启动气象大数据云平台,采用了多种
10、分布式存储技术.甘肃省气象大数据云平台采用了V R O C技术,高性能的NVM e固态盘为结构化数据提供了更高的存储性能 .文章主要对大数据云平台应用的分布式关系型数据库、分布式分析型数据库、分布式表格数据库,以及数据存储流程进行简要概述,在此基础上提出了分布式数据库扩容并进行实践应用,为气象大数据云平台的运维工作提供参考.分布式数据库分布式数据库系统(D i s t r i b u t e dD a t aB a s eS y s t e m,D D B S)是在传统数据库技术的基础上,结合计算机网络技术的产物.分布式数据库是一个数据集合,这些数据分布在若干个节点上,节点之间由计算机网络连接
11、组成集群模式,通过存储接口进行数据访问.气象大数据云平台中主要使用分布式虚谷数据库、分布式G B a s e a数据库和分布式C a s s a n d r a数据库.分布式数据库较传统数据存储模式具有明显的优势,主要表现为点:一是高扩展性,支持在线动态扩展数据库处理、存储能力,且扩展后每个节点上的数据可自动均衡;二是高可用性,多副本的存储技术,避免了单点性能瓶颈,而且主控节点采用多机方案消除了管理节点的单节点故障问题;三是数据的强一致性,多副本存储技术将数据分布在不同节点上,系统会自动同步数据,确保数据的一致性;四是透明性,用户在数据访问时不需要知道数据如何分片实现多副本存储,以及分布式数据
12、库节点之间如何同步数据等 .气象大数据云平台数据存储流程气象数据通过大数据云平台及质控系统进行数据传输、快速质控和解码入库,根据数据类型和应用场景存储于不同的分布式数据库中,通过接口向用户提供数据服务.其中,采用虚谷数据库作为数据缓冲库和基础数据服务库;采用分布式G B a s e a数据库建立历史分析库;为了支撑典型的气象应用场景(如短临/短期天气预报),采用C a s s a n d r a分布式表格数据库建立实时应用库;对于非结构化数据,文件实体存储在分布式N A S或分布式对象存储中.数据存储流程如图所示.图气象大数据云平台数据存储流程()第期许竹霞,等:分布式数据库在气象大数据云平台
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 分布式 数据库 气象 数据 平台 中的 应用 扩容 研究