在 Apache Iceberg 中，针对 Parquet、ORC 等不同数据存储格式，系统是如何实现格式转换与性能优化的？

回答思路

1. 【回答框架 1】Iceberg 通过表格式（Table Format）层抽象数据文件，不直接绑定具体存储格式。每个数据文件在 manifest 中记录其格式、路径、分区、列统计等信息，查询引擎根据 manifest 元数据读取文件，因此同一表可混合存储不同格式的文件。
2. 【回答框架 2】格式转换通常通过重写数据文件（Rewrite Data Files）实现，例如使用 Spark 或 Flink 的 Iceberg 操作将 Parquet 文件重写为 ORC 文件。转换过程中，Iceberg 会更新 manifest，确保元数据与文件实际格式一致，并支持在转换时进行压缩、排序等优化。
3. 【回答框架 3】优化方面，Iceberg 提供文件大小优化（Compact Small Files）、列统计信息用于谓词下推、以及分区裁剪。对于不同格式，查询引擎（如 Spark、Trino）会利用各自的原生读取器，Iceberg 不干预内部编码，但通过元数据过滤减少扫描数据量。
4. 【回答框架 4】选择格式时需考虑压缩率、读取性能、写入速度及引擎兼容性。Parquet 通常适合列式扫描和压缩，ORC 在 Hive 生态中优化较好。Iceberg 的格式无关性允许按工作负载混合使用，但需注意跨格式查询时的性能差异。
5. 【回答框架 5】优化策略还包括使用 Iceberg 的 Sort Order 和 Distribution Mode，在重写时按指定列排序，提升查询局部性。此外，Iceberg 支持隐藏分区和元数据表，便于监控文件格式分布和优化效果。
6. 【关键点 1】Iceberg 通过 manifest 元数据抽象文件格式，支持同一表混合存储 Parquet 和 ORC。
7. 【关键点 2】格式转换依赖重写数据文件操作，并同步更新元数据。
8. 【关键点 3】优化重点在文件大小、列统计、分区裁剪和排序，而非格式内部编码。
9. 【关键点 4】格式选择需权衡压缩、读写性能和引擎兼容性。
10. 【易错点 1】不要认为 Iceberg 能自动转换格式，转换需要显式触发重写操作。
11. 【易错点 2】避免忽略不同格式在查询引擎中的性能差异，混合格式可能导致计划不稳定。
12. 【易错点 3】重写文件时需考虑资源消耗和事务性，确保转换过程原子性。