大数据系统核心技术.pdf

1、大数据系统 引擎 技术 简介 高光荣 ACM Fellow、 IEEE Fellow 中国计算机学会（ CCF）海外杰出贡献奖获得者 特拉华大学终身教授 CAPSL实验室主任 ET International公司 创始人 CCF-大数据 -12-13-2014 1 Outline Motivation: 大数据 Hype Cycle的最新预测 Symbiotic trend between big data and big compute Background:大数据系统 面 临的严重挑战 大数据系统核心技术简介 数据 流与大数据引擎的创新 大数 据系统发展在 中国的机遇与挑 战 总结 CCF

2、-大数据 -12-13-2014 2 CCF-大数据 -12-13-2014 3 Gartner Report Hype Cycle and Big Data This Hype Cycle sits mainly on the Peak of Inflated Expectations. And big-data has just passed the peak. We encourage department-level experimentation without enterprise commitment over the next three to five years. CCF-

3、大数据 -12-13-2014 4 Challenges and Opportunities Symbiotic of Bigdata and Big compute Symbiotic HPC computing and data-Intensive processing Heterogeneity: including sensors, controllers, mobile devices, etc. Massive opportunity of concurrency Vast dynamic and distributed environment Asynchronous strea

4、m processing Realtime continuous interaction with environment Energy efficiency, resiliency and security challenges Supercomputing 2014 特邀论坛， Gao， 11/19/2014 5 Outline Motivation: 大数据 Hype Cycle的最新预测 Symbiotic trend between big data and big compute 大数据系统引擎面临挑战 大数据系统核心技术简介 数据 流与大数据引擎的创新 大数 据系统发展在 中国的

5、机遇与挑 战 总结 CCF-大数据 -12-13-2014 6 基础需求 能从大数据中挖掘出有价值的信息 性能需求 不仅关注要如何挖掘数据，更关注这个过程 有多快 功能需求 对实时数据的复杂分析 正成为最普遍的需求 成本需求 大数据技术需要的大量的处理资源对成本造成压力 进一步提高性能，降低成本，让“大象”飞起来 新的需求需要 新的技术 CCF-大数据 -12-13-2014 7 让大象飞起来的 关键 8 适合飞行的 引擎 新的 模型 ： 从地面动力学模型到空气动力学模型 新的 结构 ： 从腿到翅膀、热气球、滑翔伞 ？ CCF-大数据 -12-13-2014 Outline Motivation: 大数据 Hype Cycle的最新预测 Symbiotic trend between big data and big compute Background:大数据系统 面 临的严重挑战 大数据系统核心技术简介 数据 流与大数据引擎的创新 大数 据系统发展在 中国的机遇与挑 战 总结 CCF-大数据 -12-13-2014 9 大 数据引擎的核心技术 大 数 据 引 擎 大 数据引 擎 执 行模型和 结构 技术 大 数据 引擎 系统软件 技术 大数据引擎 编程模型和优化 技术 CCF-大数据 -12-13-2014 10