后端岗位面试题更新 2026-08-05
请介绍 Spark 中 Shuffle 的过程及其涉及的主要组件。
滴滴后端开发性能优化技术原理Apache Spark
考察说明
考察对 Spark Shuffle 机制的理解,包括数据分区、磁盘读写和网络传输等核心环节
回答思路
- 说明 Shuffle 在宽依赖中的触发条件
- 描述 Map 端写入与 Reduce 端拉取的过程
- 提及 Shuffle 过程中涉及的文件与索引结构
- 讨论数据倾斜或频繁 GC 等常见性能问题及其根源
本题附完整参考答案与评分标准
登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。