面试官，您好！我叫 xxx , xxxx 年 x 月毕业于 xxx 学校，xx 学历，目前就职于 xxx 公司 xxx 部门，职位为：大数据开发工程师，主要从事于 xxx 组件、平台的开发工作。

　　工作以来，我先后参加了 xxx 项目、xxx 项目以及 xxx 项目，积累了丰富的项目经验，同时，这 x 个项目都得到了领导的一致好评。

　　我对 Flink 组件有着浓厚的兴趣，工作之余经常钻研技术、例如：Flink 四大基石、Flink 内核应用提交流程、Flink 调度策略等。

　　好的，那我重点介绍一下 流计算平台。该平台对标阿里云的实时计算 Flink，是一个 一站式、高性能的大数据计算、分析平台，底层基于Flink实现，平台提供多种核心功能，支持多种 source、sink 插件，内置统一的元数据管理，支持 一键提交、应用管理、断点调试、监控告警、Ranger 鉴权等多个核心模块。

　　我主要负责对该平台的Flink版本升级、从原先的Flink 1.11.0 升级到 1.14.0,同时对平台进行架构重构及代码优化，并参与核心模块应用管理、Ranger 鉴权模块的开发工作。

　　主要解决了多部门提交 Flink 任务需要大量开关配置问题， 版本升级后的 SQL 语法校验、应用提交报错问题，以及 Ranger 鉴权问题。

　　首先该流计算平台底层基于 Flink 实现，在鉴权方面，由于编写的 SQL 在提交过程中需要走 Flink SQL 提交流程，所以在鉴权时直接通过 SQL 解析，校验 拿到 对应的 operation 类型，同时为了和流计算平台更适配，满足更多业务场景需求，才最终选用 Flink SQL 鉴权，其实用 Hive SQL 也是可以鉴权的。

　　5 面试官：Flink sql operation 之前的解析流程清楚吗？可以详细介绍一下

　　（1） 调用parse 方法，将 sql 转为 未经校验的 AST 抽象语法树（sqlNode) ，在解析阶段主要用到词法解析和语法解析。

　　词法解析将 sql 语句转为一组 token，语法解析对 token 进行递归下降语法分析。

　　（2）调用validate 方法，将 AST 抽象语法树转为经过校验的抽象语法树（SqlNode）.在校验阶段主要校验 两部分：

　　校验特殊的类型是否正确，如 join 操作、groupby 是否有嵌套等。

　　（3）调用rel 方法，将 抽象语法树 SqlNode 转为 关系代数树 RelNode(关系表达式) 和 RexNode(行表达式) ，在这个步骤中，DDL 不执行 rel 方法，因为 DDL 实际是对元数据的修改，不涉及复杂查询。

　　RBO 规则优化中 包含 谓词下推、Join 优化、列裁剪，分区裁剪等等。

　　分区剪裁就是对于分区表或者分区索引来说，优化器可以自动从 from 和 where 中根据分区键直接提取出需要访问的分区，从而避免扫描所有的分区，降低了 IO 请求。

　　分区剪裁可以细分为静态分区剪裁和动态分区剪裁，其中静态分区剪裁发生在 sql 语句编译阶段，而动态分区剪裁则发生在 sql 语句执行阶段，对于分区键是常量值优化器在会走静态分区剪裁的，如果分区键是变量形式优化器只会走动态分区剪裁。

　　9 面试官：那在 flink sql 中， join 都包含哪些类型？（引擎层的实现）

　　在 spark 中，shuffle 前后的分区不同，如果分区数太少，那么每个分区处理的数据大小可能非常大，导致大分区处理时需要落盘，查询效率太低，如果分区过多，导致每个分区处理数据较少，这也会导致 IO 请求增多降低查询效率。

　　动态合并 shuffle 的含义就是 当 map 端的两个分区 经过 shuffle 操作后，本来产生五个分区的，但因为有两个分区数据过小，所以直接对其进行合并，最终输出 3 个分区。

　　所以当 两张表 join 时，如果 A 表的数据量大于 广播大小的阈值，此时不能选择 broadcast hash join ,但恰好可以通过 filter 条件 将 A 表无用数据过滤掉，且 B 表不包含 无用数据，这时候 过滤掉后的 A 表数据量小于 广播大小的阈值，此时就可以选择 broadcast hash join。

　　有遇到过，checkpoint 失败一般都和反压相结合。导致 checkpoint 失败的原因有两个：

　　我们知道， Flink checkpoint 机制是基于 barrier 的, 在数据处理过程中， barrier 也需要像普通数据一样，在 buffer 中排队，等待被处理。当 buffer 较大或者数据处理较慢时，barrier 需要很久才能够到达算子，触发 checkpoint。尤其是当存在反压时，barrier 需要在 buffer 中流动数个小时，从而导致 checkpoint 执行时间过长，超过了 timeout 还没有完成，从而导致失败。

　　当算子需要 barrier 对齐时，如果一个输入的 barrier 已经到达，那么该输入的 barrier 后面的数据会被阻塞住，不能被处理，需要等到其他输入 barrier 到达之后，才能继续处理。在 barrier 对齐过程中，其他输入数据处理都要暂停，将严重导致应用实时性，从而让 checkpoint 执行时间过长，超过了 timeout 还没有完成， 导致执行失败。

　　当状态数据过大，会影响每次 checkpoint 的时间，并且在 chackpoint 时 IO 压力也会很大，执行时间过长，导致超时还没有执行成功，从而导致执行失败。

　　对于 barrier 对齐问题。社区提出 FLIP-76 Unaligned Checkpoint。其解决思路是 对于实时性要求很好，但数据重复性要求低的，可采用 barrier 不对齐模式，当还有其他流的 barrier 还没到达时，为了不影响性能，不用理会，直接处理 barrier 之后的数据。等到所有流的 barrier 的都到达后，就可以对该 Operator 做 CheckPoint 了。

　　FLIP-158 提出通用的增量快照方案，其核心思想是基于 state changelog, changelog 能够细粒度地记录状态数据的变化。具体描述如下：

　　独立于 checkpoint 之外，state table 周期性上传，这些上传到持久存储中的数据被成为物化状态。

　　state stable 上传后，之前部分预写日志就没用了，可以被裁剪。

　　Flink 支持的窗口包含两个重要属性(窗口长度size和滑动间隔interval)，通过窗口长度和滑动间隔来区分滚动窗口和滑动窗口。

　　LRU 被称作最近最少使用算法，是一种页面置换算法。其核心思想是将最近最久未使用的页面予以淘汰。就是一种缓存淘汰算法。

　　LRU 缓存机制可以通过哈希表 + 双向链表实现，我们用一个哈希表和一个双向链表维护所有在缓存中的键值对。

　　双向链表按照被使用的顺序存储了这些键值对，靠近头部的键值对是最近使用的，而 靠近尾部的键值对是最久未使用的 。

　　哈希表即为普通的哈希映射（HashMap），通过缓存数据的键映射到其在双向链表中的位置。

　　这样以来，我们首先使用哈希表进行定位，找出缓存项在双向链表中的位置，随后将其移动到双向链表的头部，即可在 O(1) 的时间内完成 get 或者 put 操作。

　　// 如果 key 存在，先通过哈希表定位，再修改 value，并移到头部

　　以上就是 字节跳动大数据架构 1 面 面经，后续 2、3、4 面面经会陆续发布。