请设计一个爬虫系统，说明其核心架构和关键组件。

Question

Accepted Answer

考察点：考察系统设计能力，重点在规模预估、去重、调度、扩展性和反爬应对。回答思路：明确抓取目标、数据规模和实时性要求 设计 URL 调度与去重机制 说明爬取、解析、存储分层架构 讨论分布式扩展、限速、容错和反爬策略

考察说明