分布式数据库系统设计研究.pdf
《分布式数据库系统设计研究.pdf》由会员分享,可在线阅读,更多相关《分布式数据库系统设计研究.pdf(4页珍藏版)》请在文库网上搜索。
1、 2023 年第 9 期103计算机应用信息技术与信息化分布式数据库系统设计研究潘忠英1PAN Zhongying 摘要 基于 Shared-Nothing 并行计算架构,选取独立网络计算机、后台服务器、内存及磁盘等硬件,以及Segment Host、Master Host、PostgreSQL、WAN/LAN 的软件技术,建构起面向 OLAP 数据处理的分布式数据库系统,开展 SQL 语义分析器、DDL 语句处理、分布式查询与存储等的功能操作,完成用户数据处理请求、数据库表关联计算的响应执行,提升不同数据资源的分布式处理、存储与备份的工作成效。关键词 OLAP 联机事务处理;分布式;数据库系
2、统;设计 doi:10.3969/j.issn.1672-9528.2023.09.0221.山西工程职业学院 山西太原 0300010 引言利用分布式技术、并行云计算技术,建立具有动态性、可扩展性的分布式实时数据库系统,可依据主节点(Maslernode)、实时数据节点(RTDalanode)、数据采集器和用户客户端等组成模块,对用户输入的 SQL 语句、DDL语句作词法或语法分析,并进行结构化/非结构化数据的采集、功能性命令处理、信息共享与存储,从而实现系统主从节点间的并行任务处理、协调管理。1 分布式数据库系统中涉及的功能性、非功能性需求企业 OLAP 业务场景中存在大量的数据信息,传统
3、GreenPlum 分布式数据库系统,通常使用 SQL 标准语句、SQL 解析器,对不同类型的数据作出定义、统计与操控分析。而本文针对 OLAP 业务场景的功能性、非功能性需求,主要采用DDL语句、DML语句,来完成数据库内数据资源的定义、操纵分析1。1.1 功能性需求(1)数据定义功能(data defi nition language,DDL)。7 MAJOR D P W.Integrating modeling and simulation with test and evaluation activitiesC.Woodland Hills,California:USAF Develo
4、pmental Test and Evaluation Summit,2004:16-18.8 高鑫宇.测试性虚拟验证中的故障建模技术研究D.长沙:国防科学技术大学,2009.9 王立兵,马彦恒,李泽天.PSPICE 仿真的测试性验证方法J.火力指挥控制,2009,34(12),131-134.10 张勇,邱静,刘冠军,等.面向测试性虚拟验证的功能-故障-行为-测试-环境一体化模型 J.航空学报,2012,33(2):273-286.11 TOM S,HARRY W,BJRN F,et al.Efficient code generation ina region-based dynamic
5、binary translatorC/Proceedings of the 2014 SIGPLAN/SIGBED Conference onLanguages,Compilers and Tools for Embedded Systems.Edinburgh,United Kingdom:LCTES,2014:3-12.12 CARSTEN S,FLORIAN M,STEPHAN F.LLBMC:a bounded modelchecker for LLVMs intermediate representationC/International Conference on Tools an
6、d Algorithms for theConstruction and Analysis of Systems.Tallinn,Estonia:ETAPS,2012:542-544.13 HSU C C,HONG D Y,HSU W C,et al.A Dynamic binarytranslation system in a client/server environmentJ.Journal of systems architecture,2015,61(7):307-319.14 董卫宇,刘金鑫,戚旭衍,等.基于热例程的动态二进制翻译优化 J.计算机科学,2016(5):27-41.1
7、5 聂同攀.基于模型的机电系统多物理域仿真技术应用研究 J.航空科学技术,2017(7):68-72.【作者简介】石磊(1978),男,湖南永州人,硕士,中国空空导弹研究院高级工程师,研究方向:弹载软件测试。(收稿日期:2023-03-20 修回日期:2023-04-18)2023 年第 9 期104计算机应用信息技术与信息化数据定义为 MySQL 数据库中 SQL 语句的最常用法,主要用于定义数据表、数据字段、数据库对象等。因此,DDL 语句是用来描述数据或数据库的结构,而不是数据本身,如 DDL语句对数据库定义语言,可表示为 show databases()、select database
8、(),或者 create database if not exists 数据库名 default charset 字符集 collate 排序规则,不同描述信息可被保存至数据字典之中。(2)数据操纵功能(data manipulation language,DML)。数据操纵语言主要围绕数组,将某一数据表、指定字段批量插入到数据库中,包括对数据添加、删除、修改、查询的操纵。因而 DML 语句用于数据表查询、表中记录的修改,可完成复杂数据表、数据列、数据类型的查询及修改操作。1.2 非功能性需求依据企业 OLAP 业务场景中业务量大、数据实时传输的特性,作出分布式数据库系统的非功能性需求分析。(
9、1)大规模数据处理、高效存储。基于 PostgreSQL 数据库的分布式数据处理系统,支持 DDL、DML 等绝大部分的 SQL 标准语法,可兼容企业内部的绝大多数管理系统,所以利用 PostgreSQL 数据库开发的分布式数据库系统,可通过多种扩展组件、并行处理技术,进行海量数据的高效处理、分类存储。(2)数据存储高可扩展性、高并发性。在大数据挖掘技术、云计算技术背景下,分布式数据库系统具有着高可扩展性、高并发性的特点,在存储空间不足时可通过增加主节点、从节点,响应大规模的数据读写、访问请求,使外部用户能够快速、随机地访问自身需要数据,实现对大存储空间、高并发访问的业务执行支持。2 企业 O
10、LAP 业务场景下分布式数据库系统的整体架构2.1 分布式数据库系统的组成架构分布式数据库系统作为企业数据的管理与控制系统,是针对不同用户的数据查询、增加、删除、修改、存储等操作需求,依托于 WAN/LAN 网络、PostgreSQL 数据库、主节点主机(master host)、从节点主机(segment host)、用户客户端等软硬件,建立起分布式数据库系统,2具体系统的整体架构如图 1 所示。图 1 分布式数据库系统的组成架构其中分布式数据库系统在面对大规模数据集时,可执行包括 SQL 语句解析、并行计算的数据处理流程。SQL 语句的语义解析是借助于 SQL 解析器、语义分析器,定义 S
11、QL语法脚本、生成分析引擎,对用户输入的不同数据词法、语法作出分析。之后由 PostgreSQL 数据库根据用户输入的SQL 数据语句,包括 DDL 语句、DMLSQL 语句,若用户输入 DDL 语句,则生成数据分析树、执行 UTILITY 命令处理逻辑;若用户输入 DML 语句,则生成数据查询树、并执行QUERY 命令处理逻辑。因此,PostgreSQL 数据库对企业内SQL 数据信息的解析,整个执行流程如图 2 所示。图 2 PostgreSQL 数据库对企业内 SQL 数据信息的解析流程2.2 分布式数据库系统的业务请求处理流程当前在 OLAP 业务数据处理的场景下,企业建立分布式数据库
12、系统开展数据处理,通常包含数据处理任务分发、子任务执行、结果合并的执行流程。对于分布式数据库系统而言,用户输入 DDL、DML 语句后,应利用功能性、非功能性命令处理模块,进行 SQL 语句的解析及分析、并行计算、结果合并与返回。(1)SQL 语义解析与分析。根据企业用户输入的DDL、DML 语句,利用 SQL 解析器、语义分析器,检查DDL、DML 语句中是否存在不规范语义成分、数据类型,并将不同数据类型分发到多个系统节点、处理模块之中。(2)并行计算处理。基于网络云服务的并行计算思想,将企业数据处理的任务分解成多个子任务,每个子任务都下发到相应的 Segment 节点进行执行,并行计算包括
13、 Map、Reduce 两个阶段3。其中 Map 阶段负责将任务分解为 N 个子任务,Reduce 阶段负责将 N 个子任务排序、归并处理,得到较为客观准确的执行结果。这一执行结果可作为后续操作的子任务,直至所有的数据处理子任务完成后,由 Master 节点合并不同任务并返回至用户客户端。(3)返回结果。按照 DML 语句处理的执行流程,是先借助于 Master 数据库、SQL 解析器、语义分析器,向不同系统主从节点分发 Segment 子任务,得到最终的并行处理结果后重新返回至 Master 数据库,实现对不同业务模块数据的联机处理。2023 年第 9 期105计算机应用信息技术与信息化3
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 分布式 数据库 系统 设计 研究