1、Flink介绍和就业情况分析 目录 1 Flink简介 2 Flink应用场景 3 Flink基础架构 4 大数据行业就业情况 Flink简介 Flink介绍：分布式流处理框架 Flink的优点：能实现高吞吐，低延迟，能处理批数据和流数据 Flink应用场景 （1）实时智能推荐场景 对用户购买行为的历史数据分析，通过推荐模型，预测用户可能会购买哪些商品，然后实时推荐商品给用户； （2）实时报表分析 实时报表分析是近年来很多公司采用的报表统计方案之一，其中最主要的应用便是实时大屏展示。利用流式计算实时得出 的结果直接被推送到前端应用，实时显示出重要指标的变换情况。最典型的案例便是淘宝的双十一活动
2、，每年双十一购物节， 除疯狂购物外，最引人注目的就是天猫双十一大屏不停跳跃的成交总额。 （3）我们自己的用法 Flink的基础架构 Flink程序结构 step01: 获得flink的执行环境（Execution Environment） step02: 加载或创建初始数据源 (Source) step03: 对数据集执行转换处理 (Transformation) step04: 指定输出结果位置 (Sink) step05: 指定任务名称并处触发任务执行 获得flink执行环境的三种方式介绍 1、StreamExecutionEnvironment.getExecutionEnvironme
3、nt （自动识别获取本地还是集群flink环境 ） 2、StreamExecutionEnvironment.createLocalEnvironment （获取本地flink环境） 3、StreamExecutionEnvironment.createRemoteEnvironment （获取集群flink环境） Flink程序结构-01获得flink的执行环境 （1）基于文件File的数据源: readTextFile(path) （2）基于集合的数据源: fromCollection(seq) （3）第三方数据源: kafka、mq等数据源 Flink程序结构-02加载或创建初始数据源
4、（1）Map算子：DataStream DataStream：输入一个参数产生一个参数 （2）FlatMap算子：DataStream DataStream：输入一个参数，产生0个、1个或者多个输出； （3）Filter算子：DataStream DataStream：结算每个元素的布尔值，并返回布尔值为true的元素； （4）KeyBy算子：DataStream KeyedStream：输入必须是Tuple类型，在内部以hash的形式实现的。 . Flink程序结构-03对数据集执行转换处理 （1）输出到文本文件：writeAsText （2）以CSV的格式输出：WriteAsCsv （3）直接打印到控制台：print （4）输出到redis，kafak的地方 Flink程序结构-04加载或创建初始数据源 大数据行业就业情况
个人主页