请解释 PySpark 中分区器的概念，并阐述实现自定义分区器的步骤。

回答思路

1. 【回答框架 1】分区器负责决定数据如何分布到各个分区。PySpark 默认使用 HashPartitioner，它会根据键的哈希值进行分区，以确保相同键的数据被分配到同一分区。
2. 【回答框架 2】自定义分区器需要继承 pyspark.sql.Partitioner 类或实现 RDD 的 partitionBy 方法。核心是重写 numPartitions 和 getPartition 方法，前者指定分区数量，后者根据键计算分区索引。
3. 【回答框架 3】getPartition 方法应确保相同键返回相同分区，同时尽量保持数据均衡。可以通过对键进行哈希、范围划分或业务逻辑映射来实现。
4. 【回答框架 4】自定义分区器常用于数据倾斜优化或特定业务需求，例如将热点键单独分区。使用时需注意分区数不宜过大，否则可能增加调度开销。
5. 【关键点 1】分区器核心是决定键到分区的映射，遵循相同键必在同一分区。
6. 【关键点 2】自定义分区器需实现 numPartitions 和 getPartition 方法。
7. 【关键点 3】合理分区可提升 join、groupBy 等操作的性能。
8. 【易错点 1】getPartition 返回的分区索引必须小于 numPartitions，否则会报错。
9. 【易错点 2】自定义分区器若未考虑数据分布，可能导致数据倾斜。
10. 【易错点 3】分区数过多会增加 task 调度开销。