在 Apache Iceberg 中，底层数据文件的存储格式（如 Parquet、ORC、Avro）会从哪些方面影响查询性能？请列举 Iceberg 支持的主要数据格式，并分别说明其特点与适用场景。
考察说明
考察候选人对 Iceberg 数据文件格式影响查询性能的机制理解，以及不同格式的选型能力。
回答思路
- 【回答框架 1】Iceberg 中的数据文件默认采用列式存储格式，如 Parquet 和 ORC。列式存储按列组织数据，查询时只需读取涉及列的数据块，能显著减少 I/O 和内存消耗，尤其适合分析型查询。行式存储（如 Avro）则更适合点查和小批量写入场景，但全列扫描时性能较差。
- 【回答框架 2】文件内的压缩与编码也是关键。Parquet 和 ORC 支持多种压缩算法（如 Snappy、Zstd），并采用谓词下推、列裁剪等技术，能跳过无关数据块。ORC 还支持轻量级索引和布隆过滤器，进一步加速查询。查询引擎（如 Spark、Trino）会利用这些特性优化执行计划。
- 【回答框架 3】Iceberg 的元数据层（Manifest 文件）记录了文件统计信息，如数据范围、列最大值等，在规划查询时结合分区裁剪和数据文件裁剪，可跳过不匹配的文件。数据格式的压缩率、编码效率影响文件大小和读取成本，进而影响整体查询性能。
- 【回答框架 4】选择数据格式需考虑查询模式：若以聚合、扫描为主，优先选择 Parquet 或 ORC；若涉及频繁更新或小事务，可考虑 Avro。同时需权衡压缩率和 CPU 开销，以及生态兼容性，例如 Parquet 在 Spark 生态中更常用。
- 【关键点 1】列式格式（Parquet、ORC）通过列裁剪和谓词下推减少 I/O。
- 【关键点 2】ORC 支持布隆过滤器和轻量索引，可加速点查。
- 【关键点 3】Parquet 在 Spark 和 Trino 生态中集成更广泛。
- 【关键点 4】Avro 为行式格式，适合小写入和点查场景。
- 【关键点 5】Iceberg 元数据可配合文件统计信息跳过无效文件。
- 【易错点 1】不能只关注格式本身，数据排序和分区策略同样重要。
- 【易错点 2】压缩算法选择需权衡压缩率与解压 CPU 开销，避免一刀切。
- 【易错点 3】不同查询引擎对同一格式的支持度有差异，需验证实际效果。