《大数据的系统架构支持》.pdf

1、大数据的系统架构支持 林仕鼎 2013/4/26, BDGS13 互联网服务的典型技术特点 超大规模 快速迭代 百 度的数据规模 1001000PB 数据总量 10100PB/天 数据处理量 千亿 万亿 网页 百亿 千亿 索引 十亿 百亿 /天 更新量 十亿 百亿 /天 请求 100TB1PB/天 日志 离线 在线 离线分析与在线实验相结合 通过反馈来验证算法优劣 算法 A 算法 B 算法 B 快速迭代是互联网产品的 主要创新手段 搜索引擎的迭代 网页库 倒排表 网页 5% 5% 策略 数据 机器学习 平台 Online Learning A/B test Feature Training D

2、ata Mining 互联网产品的迭代 想法 原型 系统 快速开发 测试 产品 部署运维 A/B测试，持续优化 开发框架 数据智能 验证 数据分析 应用引擎云测试 应用 引擎 数据 架构 技术 数据智能 enable 互联网服务 IT产业生产力的变化 60 70 80 90 00 10 硬件 软件 软件 +人 Inf +人 +数据 Mainframe PC Internet Cloud 迭代的本质是让人参与系统 进化 ，而 Big Data为迭代指导方向， Infrastructure则加速迭代 。 数据智能 软件基础架构 大数据 数据中心、网络、服务器 数据中心计算 云 计算技术体系 主要技术领域 超大规模系统 存储 计算 实时 结构 访问模式 数据密集型计算密集型 通讯密集型 体系结构、虚拟化 数据中心 设计、开发、测试、运维