如何对十亿级别的文件进行去重？请说明你的设计思路和关键考量。

Question

Accepted Answer

考察点：考察海量数据去重的方案设计、哈希策略与权衡。回答思路：能明确去重依据（文件内容而非文件名） 能提出分片或抽样等降维策略 能讨论哈希碰撞风险与校验策略 能说明内存、磁盘和排序方案的取舍

考察说明