后端岗位面试题更新 2026-08-05

请谈谈你对推理基础设施(Inference Infra)调度策略的理解,例如动态批处理(Dynamic Batching)等关键调度机制。

北京智谱华章科技后端开发互联网/IT性能优化技术原理方案权衡

考察说明

考察对推理系统调度机制的理解与设计权衡

回答思路

  1. 能解释动态批处理的目标与触发时机
  2. 能说明离散批处理、连续批处理(Continuous Batching)等常见策略的区别
  3. 能讨论调度策略对吞吐、延迟和利用率的影响
  4. 能结合具体场景分析权衡与适用条件