《构建低延时大数据系统平台.pdf》由会员分享,可在线阅读,更多相关《构建低延时大数据系统平台.pdf(25页珍藏版)》请在文库网上搜索。
1、构建低时延大数据系统 Low Latency BigData System Dr Zhaohong Lai (CEO) 北京卓越讯通科技有限公司 2014.12.08 背景 采集时延及处理 网络时延及处理 软件时延及处理 总结 目录 大数据 : 时间驱动 时间 人类数字化进程 : Explosive increment Time matters 价值和时间紧密相关 结构化转为 非结构化为主流 数据量 多样性 价值 Velocity & Latency 存储 采集 处理 大数据生产者 HDFS 内存数据库 HBASE Raw feeds, ftp etc Flume/specified coll
2、ectors Hardware 10G/40G MapReduce Spark Storm 在大数据中, Velocity 可以理解为多个含义 1. 数据产生的快慢 2. 数据采集的快慢 3. 数据传输的快慢 4. 数据处理的快慢 1. 用户资料 2. 统计数据 3. 历史数据库 等等 Equity, Option, Future Exchange 数据接口 国内外市场行情,价格等等 1. 行业新闻 2.热点论坛,微博数据等等 交易用户 期货市场行情 外汇数据 交易所数据 新闻动态 Latency Importance: 大数据的交易平台 Latency is the key 50% Sign
3、al 50% Latency 3us limit (tick to trade) FX Broker 数据接口 时延 : Where is the limit? Beijing to London RTT 200-500 ms For human being: Light Speed in theory But fiber/electronic transmission travels at 70% of light speed (考虑 30% 的衰减 ) in reality. 采集 网络 存储 处理 结果数据获取 Data/Feeds collection Latency Network/
4、NIC Transmission Latency Storage latency Process S/W latency Access/API/GUI latency 时延:是一个 Chain L.total=L1+L2+Ln L.total 文件批处理 , 日志实时采集 , 消息实时 ,交易所 Ticks Batching 设计 : FTP 典型 (TCP Based, secured line), Batching Mode Streaming 设计 : Storm 软件时延:缓存、 TCP connection setup, transmission 硬件实延 : 通用芯片处理问题 (A
5、RM eg) TCP Buffer, less node BDP setting etc 采集时延 数据采集 Web Feeds Logs 文件 消息 Ticks Through FPGA dedicated processing Example, HFT: 10G NIC card, FPGA to fast process pkts + FeedHandler All the work completed on FPGA card CPU is only for management and data backup. From tick to trade , about 3-10us, A
6、t least 10times faster! 采集时延 : FPGA FeedHandler 网络时延 : 设计是关键 UDP 比 TCP 快! 多通道 UDP 采集 UDP 可靠性通过 TCP Recovery 来弥补 Always Two lines Line Arbitration U D P _ A U D P _ BR e a l t i m eM u l t i c a s t i n gT C P _ A T C P _ BT C PS e r v e rS t e p 1 : U D P A a n d B C h a n n e l , g e t o n e , i g
7、n o r e t h e o t h e rS t e p 2 : P k t l o s s , c a c h e r e a l t i m e T i c k s , s e n d p k t l o s s s e qt o T C P S e r v e r f o r r e - t r a n sS t e p 3 : R c v a l l t h e l o s s p k t s , t o s y n c t h e c a c h e b u f f e r w i t ht h e T C P b u f f e rS t e p 4 : i f m u l t i p l e l o s s e v e n t h a p p e n s , r e p e a t s t e p 1 - 3 ,C h a n n e l AC h a n n e l BR e a l t i m eT C PC h a n n e l AT C PC h a n n e l B