怎样实现 Druid 对流式与批处理两种数据源的统一接入与处理？

回答思路

1. 【回答框架 1】Druid 通过统一的数据摄入层将流式与批处理数据整合，流式数据通常借助 Kafka 索引服务（Kafka Indexing Service）实时摄取，而批处理数据则通过 Hadoop 批处理索引任务（Hadoop Indexing）在离线集群中批量加载，两者最终都会写入同一份 Segment 文件。
2. 【回答框架 2】在 Druid 中，流式与批处理数据的本质区别在于摄取方式：流式摄取以实时推送的方式连续生成 Segment，提供近实时查询能力；批处理摄取则以离线任务的方式一次性生成 Segment，适合历史数据回填。两种方式生成的 Segment 在存储层是统一的，都存储在 Deep Storage 中，因此 Druid 可以在同一数据源下同时管理来自流和批的 Segment。
3. 【回答框架 3】为了实现流批结合，Druid 提供了统一的 Segment 管理和元数据服务，所有摄取任务都会向元数据存储（Metadata Storage）注册 Segment 信息，Coordinator 通过元数据来协调 Segment 的加载和淘汰，确保查询能跨流批数据无缝执行。此外，Druid 还支持通过离线摄入任务对实时任务产生的 Segment 进行压缩或替换，以保证数据的一致性和存储优化。
4. 【回答框架 4】一个典型的实践方案是：实时数据通过 Kafka Indexing Service 摄入，同时定期运行 Hadoop Indexing 任务将历史数据或修正过的数据批量导入，两者可以共用同一数据源（DataSource），Druid 会自动处理 Segment 之间的重叠和替换。如果需要更精细的流批协同，可以结合 Kafka 的 Compacted Topic 或使用 Druid 的 Overlord 来管理任务优先级。
5. 【关键点 1】Druid 通过统一的数据摄入层将流式与批处理数据统一为 Segment 进行管理
6. 【关键点 2】流式摄取（如 Kafka Indexing Service）提供近实时数据接入，批处理摄取（如 Hadoop Indexing）用于离线数据回填和批量处理
7. 【关键点 3】流批结合的底层是统一的 Segment 存储和元数据管理，Coordinator 负责协调
8. 【关键点 4】可以通过定时运行批处理任务对实时 Segment 进行压缩，实现流批协同
9. 【易错点 1】不能将流式与批处理生成的数据看作是分离的，它们在 Druid 中是统一的 Segment 集合
10. 【易错点 2】若只使用流式摄取，会缺乏对历史数据的覆盖能力，需要结合批处理任务进行数据修正
11. 【易错点 3】流批结合时需注意任务并发和 Segment 替换策略，否则可能导致数据不一致或重复