【大数据兵工厂】2万字Flink面试体系手册.pdf
5墨值下载
大家好，我是老兵。
本系列为 大数据技术栈面试体系 系列，每期将分享一个技术组件的知识全体系，并结合面试的形式由浅入
深讲解。
本期将介绍大数据实时计算利器Flink面试体系，全文内容已制作成PDF，同时免费赠送2本《Flink实战
派》 实体书 。
请大家在观看内容的同时，不要错过文末的福利~
一 基础篇
1 简单介绍下Flink及使用场景
Apache Flink是开源的大数据实时计算框架，具有分布式、高性能、内存计算等特点。Flink因其独特的
流批一体 设计模式，被广泛应用于 实时 和 离线 数据应用场景。
Flink被称为第四代大数据计算引擎，在其前面存在Mapreduce、Storm、Spark等计算框架。在流处理
领域中，Flink是目前最全面、最强大的实时计算引擎。
结合官网的示意图，我们来看下Flink的工作场景。
数据源：支持多种数据源接入。包含事务型数据库、日志、IOT设备、点击事件等数据。
处理层：基于Yarn|K8s调度引擎和HDFS|S3存储组件，提供完整的 事件驱动 、 时间语义 、 流&批一
体 的Flink计算服务。
应用层：输出端提供应用系统、事件日志、存储系统等数据对接。
2 Flink编程模型了解吗
1）Flink分层模型
Flink底层通过封装和抽象，提供四级分层编程模型，以此支撑业务开发实时和批处理程序。
结合示意图，我们由下而上进行介绍。
Runtime层: Flink程序的最底层入口。提供基础的核心接口完成流、状态、事件、时间等复杂操
作，功能灵活但使用成本较高，一般面向源码研发人员。
DataStream/Dataset API层: 这一层主要面向开发者。基于Runtime层抽象为两类API，其中
DataStream API处理实时流程序；Dataset API处理批数据程序。
Table API: 统一DataStream/DataSet API，抽象成带有Schema信息的表结构API。通过Table操
作和注册表完成数据计算，支持与DataStream/Dataset相互转换。
SQL: 面向数据分析和开发人员，抽象为SQL操作，降低开发门槛和平台化。
2）Flink计算模型
Flink的计算模型和Spark的模型有些类似。包含输入端（source）、转换（Transform）、输出端
（sink）。
source端 ：Flink程序的输入端，支持多个数据源对接
Transformation ：Flink程序的转换过程，实现DataStream/Dataset的计算和转换
sink端 : Flink的输出端，支持内部和外部输出源
of 31
5墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论