大数据行业应用平台v1.3.pdf

1、大数据行业应用平台重点。1、大数据行业应用平台介绍2、应用案例分享李克强总理指出：李克强在政府工作报告中提出，“制定互联网+行动计划，推动移动互联网、云计算、大数据、物联网等与现代制造业结合，促进电子商务、工业互联网和互联网金融健康发展，引导互联网企业拓展国际市场。”李克强总理还指出：“大众创业、万众创新，大众创业、万众创新，蕴藏着无穷的创意和无限的财富，是取之不竭的金矿”。大数据也将成为推动中国经济转型升级的新引擎。节选自李克强总理政府工作报告节选自达沃斯论坛中国经济转型的全球影响主题演讲大数据的发展已经上升到促进国家经济的战略高度商业应用辅助选址：根据用户属性和流动情况，指导商铺网点选址智

2、能引流：根据商铺周边客流特征和位置，通过三位一体营销，将客流引导到店铺中。广告精准投放：为广告投放选址，以及广告分时段动态播放提供参考依据交通出行出行参考：提供实时人流信息，为用户出行提供参考交通告警：根据交通事故报警信息，评估事故级别和堵塞节点车辆调度：根据用户迁徙习惯和数量，指导车站车辆调度医疗应用疾控分析：根据用户迁徙分析疾病传播情况和重点布控区域救护调度：根据历史呼叫120位置、时段信息，合理规划救护车位置和数量城市建设城市规划：结合用户属性、工作和居住地位置、交通流动轨迹，为城市规划提供指导金融行业规避欺诈风险：利用持卡人基本信息、卡基本信息、交易历史、客户历史行为模式、正在发生行为

3、模式（如转账）等，结合智能规则引擎进行实时的交易反欺诈分析贷款风险评估：通过个人或企业的360度画像，量化客户的信用额度，降低呆帐风险公共安全人员流动监控监控：人员聚集、迁徙监控反恐警报：根据区域大面积的报警情况、区域周边的人流动向，评估可能存在的群体性事件刑侦追踪：实现对嫌疑人的追踪能力，并根据其行动轨迹、接触记录分析其犯罪特征犯罪预测：结合公安系统历史犯罪时间、地点、类型数据，预测犯罪并指导警力巡逻大数据行业应用概览And more过去的过去的10年年现在现在互联网互联网大型大型企业企业中小型中小型企业企业万亿字节万亿字节千兆字节千兆字节兆字节兆字节千万亿字节千万亿字节万亿字节万亿字节千兆

4、字节千兆字节从支撑大数据到大数据支撑基于硬件基于硬件专有，昂贵专有，昂贵不可扩展不可扩展针对针对OLTP进行了优化进行了优化主流主流当今的数据仓库0123456789101995200020052010新一代数据库的要新一代数据库的要求求传统数据库的要传统数据库的要求求今天的数据库供应今天的数据库供应商商网络运算的发展速度已经超过了主流数据库网络运算的发展速度已经超过了主流数据库海量规模海量规模高性价比高性价比高效率高效率数据库管理系统（数据库管理系统（DBMS）的）的规模规模/容量容量n 大数据解决数据的管理问题n 数据科学解决数据的价值问题5数据生成数据分析数据知识面向海量数据批处理任务的

5、分布式处理架构Hadoop, Spark,kafka，Storm, 面向海量数据的数据挖掘引擎R, SciPy, Blaze,Pig, Hive, Spark 大数据时代解决方案：从大数据到数据科学数据存储7数据仓库和分析应用程序数据仓库和分析应用程序行业应用平台平台行业应用平台平台数据数据架构架构商用硬件集群商用硬件集群分析分析数据市场数据市场企业数据企业数据仓库仓库大数据行业应用平台愿景：企业数据集合、开放 在企业内创建统一的数据运算平台在企业内创建统一的数据运算平台 企业所有者可以直接控制其数据实例企业所有者可以直接控制其数据实例 通过实体整合提供企业级数据访问功能通过实体整合提供企业级

6、数据访问功能 灵活的扩展和配置降低了投资的平均风险灵活的扩展和配置降低了投资的平均风险大数据行业应用平台数据源模型计算层应用处理层数据采集大数据行业应用平台技术架构企业CRMBI生产系统日志互联网信息实时分析引擎数据总线数据总线(共享与服务）共享与服务）数据服务服务展示层数据展示任务调度管理MYSQL基础数据管理JSPAPPGISHTML5大屏APIWSFTP短/彩信推送VoltDB(分布式关系型数据库）实时查询引擎HBASE+HDFS（大数据查询平台）storm(流式计算)Redis(内存数据库）实时流处理批量处理Spark+HDFS（大数据计算平台）Python+SparkSql+Spar

7、kR(数据挖掘)ETL批量采集工具KAKFA(分布式消息队列)大数据行业应用平台数据流图10平台技术优势-数据4V问题有效解决大数据4VlTB/EB和ZB级数据l大量表格、文件、记录l实时l流形式l非结构化数据l结构化数据l半结构化数据l有巨大价值l但价值密度低容量大VOLUMEVALUE有价值种类多VARIETYVELOCITY速度快需要分布式存储和计算技术，解决海量数据的“能存”和“能用”问题需要分布式流计算技术，解决网络线性流量数据的“价值发现”问题实时处理引擎kafka/MDB/strom(Stream computing)数据分析引擎spark(Cloud computing)可扩展

8、性和稳定性：经过大规模生产系统海量数据的考验；I/O时延大；安全机制：访问控制：支持RBAC模型，支持任意多个用户组，不同用户组有不同访问权限配额管理：可针对目录和文件设置数量限额和存储空间的限额企业级存储功能：存储加密：提供端对端的存储加密支持集中Cache管理：可将常用HDFS文件缓存在DataNode节点内存中异构存储：支持磁盘、SSD和内存等存储介质和热、温、冷等多种存储策略平台技术优势-企业级数据存储平台：HDFS统一存储企业级数据SparkSQL：SQL on Spark，将SQL语句翻译成Spark任务来执行支持基本的SQL语法对于TB级数据处理秒级响应能力SparkR:计算引擎

9、：在Spark平台上利用数据分析利器R进行大数据交互分析避免了R能处理的数据不能大于一台机器的内存的弊端解决R和Hadoop结合性能低下，用户体验差的问题平台技术优势-企业级数据分析平台： SparkSQL +SparkR计算分析引擎实体整合实体整合提高服务器使用率降低总硬件成本降低能量成本可以预估的服务等级可以预估的服务等级确保关键任务的可靠性最出色的性能高度灵活性高度灵活性逐步扩展计算能力动态措施数据访问：数据访问：在一个系统中协调所有企业数据的位置可以通过任何语言（SQL、M/R等）进行分析13平台技术优势-高聚集、高可用、高性能、高可扩展性、低成本重点。1、大数据行业应用平台介绍2、平

10、台应用案例分享背景DEMO移动大数据n 高速网络+高增长的用户群体，产生丰富的管道数据n 管道信息量变大n “信息密度”降低住所工作餐厅健身房8时空序列分析！用户时空行为的4W描述: Who, Where, When, What移动用户的时空轨迹各行业对移动大数据应用的诉求急迫现现状状数据：有数据汇聚、共享原则，采集方案，难难平台，平台，无无平台建设谁来主导：投资、建设、运营，乱乱管理，管理，急急数据掌握在丌同部门、行业，有效收集使用，散散平台能力要求信令数据处理性能要求MC口信令数据40亿条/每天，存储大小300G/天，要求系统性能达到15万条/秒扩展性要求目前规划系统支撑用户容量7000万

11、，系统需要支持良好的scale out能力，在增加硬件的情况下，快速提升系统处理用户数，记录数，存储量的能力基于用户、基站、区域的查询要求数据更新周期（以数据接收时间算）小于5分钟，查询请求应答时间99%小于1000毫秒流量话单处理性能要求BSS域每天流量话单数据15亿条/每天，存储大小100G/天，要求系统性能达到5万条/秒大数据行业应用平台数据源模型计算层应用处理层数据采集系统功能架构实时流采集非实时批量采集Mc口信令LTE信令WLAN atach信息外部数据（BI、BSS、etc)CS域、PS域清单客户标签用户精准位置模型运动轨迹模型区域特征模型疏导能力模型客流趋势模型人群饱和度模型客流

12、预警模型停留时长模型位置分析模型位置基础模型旅游服务交通服务区域人流量分析人流停留时长分析人流量超标预警特殊人群监控特定人员轨迹监控地域属性统计景区人流量监控景点自助讲解配置管理商业服务广告服务城市安全接口管理（数据总线）接口管理（数据总线）统计报表GIS可视化明细信息预警短信彩信推送实时接口非实时接口数据服务分析报告服务展示层数据展示任务调度管理元数据管理重点。1、大数据行业应用平台介绍2、平台应用案例分享背景DEMO春运期间某火车站客流分析报告春运期间某火车站客流分析报告春运期间某火车站客流分析报告春运期间某火车站客流分析报告春运期间某火车站客流分析报告春运期间某火车站客流分析报告春运期间某火车站客流分析报告春运期间某火车站客流分析报告春运期间某火车站客流分析报告DEMO 首 页区 域 监 控通过“地区选择”、“时间选择”查询当天客流情况有“客流量”、“环比”、“同比”三种图表模式可增加多个地点进行比较客 流 信 息 总 览根据“日期选择”、“人群特性”、“数据视角”查询人 群 监 控通过“号码选择”可以实现“个人轨迹跟踪”随时间的行进可以看出轨迹的变换过程当关注人群越过了电子围栏时，进行告警。通过“关注人群选择”可以查询“关注人群分布情况”Q&A