《云计算与大数据概论》课件第3章 云计算平台.pptx
《《云计算与大数据概论》课件第3章 云计算平台.pptx》由会员分享,可在线阅读,更多相关《《云计算与大数据概论》课件第3章 云计算平台.pptx(29页珍藏版)》请在文库网上搜索。
1、目标掌握Google云计算体系结构掌握Google文件系统GFS了解GoogleAppEngine掌握Amazon云平台相关技术和服务了解微软云平台服务了解阿里云平台、百度云平台和腾讯云平台服务Google云计算平台体系结构-1Google云计算平台体系结构如图:Google云计算平台体系结构-2从整体看来,Google云计算平台包含如下结构层次:网络系统:包括内部网络和外部网络。内部网络是用于连接Google自建的各数据中心的网络系统,这一高速的网络系统将Google的每一台服务器连接成为一个负载均衡的集群;外部网络是指在Google数据中心之外,由Google自己搭建的用于不同国家/地区及
2、不同应用之间的数据交换网络。硬件系统:从层次上来看,包括单个服务器,整合多个服务器的机架,以及存放、连接各服务器机架的数据中心(IDC)。软件系统:包括每个服务器上安装的单机操作系统,以及Google云计算底层软件系统(包括文件系统GFS、并行计算模型MapReduce、并行数据库BigTable、并行锁服务Chubby和云计算消息队列GWQ等)。Google应用:Google内部使用的软件开发工具,包括C+、Java、Python等。Google云计算平台核心技术-1Google云计算技术主要包括:Google文件系统GFS、并行计算编程模型MapReduce、分布式锁服务Chubby、分布
3、式结构化数据存储系统BigTable、分布式存储系统Megastore以及分布式监控系统Dapper等。Google云计算平台核心技术-21.Google文件系统(GFS)GFS(GoogleFileSystem)是一个大型的分布式文件系统,为Google云计算提供海量存储。GFS的工作量主要包括对大量数据的流方式的读操作和对少量数据的随机方式的读操作。GFS的特点:单Master模式、块规模为64MB、不缓存文件数据,缓存元数据。Google云计算平台核心技术-32.分布式数据处理技术MapReduceMapReduce是一个编程模型,用来处理大数据的数据集合。用户指定一个Map函数处理一个
4、键值对,从而产生中间的键值对集,然后再指定一个Reduce函数,合并所有具有相同中间键的中间值集合。MapReduce将对数据集的大规模操作分发给一个主节点管理下的各分节点来共同完成,通过这种方式实现任务的可靠执行与容错机制。在每个时间周期,主节点都会对分节点的工作状态进行标记,一旦某个分节点标记为死亡状态,则这个节点的所有任务都将分配给其他分节点重新执行。Google通过使用这一编程模式,保持了服务器之间的均衡,提高了整体效率。Google云计算平台核心技术-43.ChubbyChubby是一种为了实现MapReduce或BigTable而开发的内部工具。Chubby是一个Lock服务,通过
5、该Lock服务可以解决分布式系统中的一致性问题,而其实现形式是一个分布式的文件系统。在GFS中,存在很多服务器,需要从中选取一台作为主服务器,这就是一个很典型的分布式的一致性问题。Google云计算平台核心技术-54.分布式数据库BigTableBigTable是Google基于GFS、MapReduce和Chubby开发的分布式存储数据库系统,被设计用来处理海量数据,通常是分布在数千台普通服务器上的PB级的数据,并且能够部署到上千台机器上。BigTable和数据库很类似:它使用了很多数据库的实现策略,但它并不是一个完全的关系型数据库,它不支持完整的关系数据模型,而是提供了一个简单的数据模型接
6、口,使得数据的存储更加灵活。Google的很多数据,包括Web索引、卫星图像数据等在内的海量结构化和半结构化数据,都是存储在BigTable中的。Google云计算平台核心技术-65.分布式存储系统Megastore与传统的数据存储不同的是:互联网上的应用对于数据的可用性和系统的扩展性有很高的要求,一方面,一般的互联网应用都需要做到7天x24小时的不间断服务,否则会导致较差的用户体验;另一方面,热门的应用又往往会在短时间内经历急剧的用户数量增长,这就要求系统具有良好的可扩展性。为实现较好的可扩展性,互联网应用常常会采用NoSQL存储方式,但从应用程序的构建方面来看,传统的关系型数据库又有着No
7、SQL所不具备的优势。为此,Google设计构建了分布式存储系统Megastore,用于互联网中的交互式服务,这一系统成功地将关系型数据库和NoSQL的特点与优势进行了融合。Google云计算平台核心技术-76.Dapper监控系统Google设计了Dapper监控系统。Dapper能对几乎所有的Google后台服务器进行监控,并将海量的监控信息记录汇集在一起产生有效的监控信息。Dapper监控信息的汇总需要经过以下三个步骤:(1)将区间的数据写入到本地的日志文件。(2)将所有机器上的本地日志文件汇集在一起。(3)将汇集后的数据写入到BigTable存储库中。Google App Engine
8、近年来,Google公司不断推出新产品,比如Google搜索、GoogleMaps、GoogleEarth、GoogleAdsense、GoogleReader等,同时,Google倾力打造了一个平台,以集成自己的服务并供开发者使用,这就是GoogleAppEngine平台。使用GoogleAppEngine时,用户既可以使用域上的免费域名为应用程序提供服务,也可以使用Google企业应用套件从自己的域为它提供服务;既可以与全世界的人共享自己的应用程序,也可以只允许自己组织内的成员访问该程序。GoogleAppEngine的使用是免费的,注册一个免费账户即可开发和发布应用程序,免费账户可以使用
9、多达500MB的持久存储空间,以及能够支持每月约500万页面浏览量的超大CPU和带宽。Amazon云平台-1Amazon的云计算服务主要包括:弹性计算云服务EC2、简单存储服务S3、简单数据库服务SimpleDB、简单队列服务SQS、弹性MapReduce服务、内容推送服务CloudFront、移动服务、安全服务和身份服务等。这些服务涉及云计算的方方面面,用户可以根据自己的需要选用一个或多个,而且所有这些服务都是按需获取计算资源,具有极强的可扩展性和灵活性。Amazon的云计算服务平台称为AmazonWebServices,简称AWS,致力于为全世界范围内的客户提供云解决方案。AWS面向用户提
10、供包括弹性计算、存储、数据库、应用程序等在内的一整套云计算服务,并允许最终用户通过程序访问Amazon的计算基础设施。Amazon云平台-21.存储架构存储架构DynamoDynamo是一种分布式、去中心化的存储架构,大量的用户服务数据都被存储在其中,它为Amazon的电子商务平台及其云计算服务提供了最基础的支持。Dynamo以很简单的键值方式存储数据,不支持复杂的查询,但这并不影响客户的使用,因为通常情况下用户只需要能根据键读取值就足够了。Dynamo中存储的数据值是以原始形式,也就是以位(bit)的形式存储,不解析数据的具体内容。Dynamo也不识别任何数据结构,这使得它几乎可以处理所有的
11、数据类型。Amazon云平台-32.弹性弹性计算云(计算云(EC2)Amazon弹性计算云(ElasticComputeCloud,简称EC2)是一个允许用户租用云端电脑来运行自己所需应用的系统。EC2借由提供Web服务的方式,让用户可以地配置自己的计算资源,使虚拟机映像运行在弹性环境上。EC2使用了虚拟化技术。每个虚拟机(又称实例)能够运行小、大、极大三个处理级别的虚拟私有服务器。Amazon云平台-43.简单简单存储服务(存储服务(S3)S3(SimpleStorageServices,简称S3)是Amazon推出的简单存储服务,用户通过Amazon提供的服务接口,就可以将文件临时或永久地
12、存储在S3服务器上。S3存储系统涉及三个基本概念:对象(Object)、键(Key)和桶(Bucket),如图Amazon云平台-54.简单简单队列服务(队列服务(SQS)简单队列服务(SimpleQueueService,简称SQS)是一种用来在分布式应用的组件之间传递数据的消息队列服务,这些组件可能分布在不同的计算机上,甚至是不同的网络中。利用SQS,能够将分布式应用的各个组件以低耦合的方式结合起来,从而创建可靠的大规模分布式系统。SQS的基本模型非常简单,如图Amazon云平台-65.其他其他AWS(Amazon Web Services)关系型数据库服务(RelationalDatab
13、aseService,简称RDS)是一种基于云的关系型数据库服务,允许用户在云中配置、操作和扩展关系数据库。AmazonRDS支持AmazonAurora、Oracle、MicrosoftSQLServer、PostgreSQL、MySQL和MariaDB等关系型数据库,用户无需在本地维护这些数据库,RDS会代为管理。AmazonCloudFront提供全球的内容分发服务,简单来说,Amazon会在全球很多节点缓存数据,当用户访问时,可以使访问客户端获取最小延迟的数据。AWSElasticBeanstalk是一种简化AWS上部署和管理应用程序的操作的服务。用户只需要上传自己的程序,系统就会自动
14、完成需求分配、负载均衡、自动缩放、监督检测等一些具体的部署细节。AWSCloudFormation服务为开发者和系统管理员提供了一个简化的、可视的AWS资源调用方式。开发者可以直接利用CloudFormation提供的模板或自己创建的模板方便地建立自己的服务,这些模板包含了AWS资源及相关参数的设置、应用程序的调用方式等。微软Windows Azure平台WindowsAzure平台是一个为应用程序提供托管和运行的互联网规模的平台,该平台完全按照云计算的要求和技术构建,比如资源按需动态分配,开发人员只需针对平台开发应用程序,而不用关心底层平台的安全、系统升级、补丁安装等具体情况。Windows
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 云计算与大数据概论 云计算与大数据概论课件第3章 云计算平台 计算 数据 概论 课件 平台